特開 2024-126280 オブジェクトトラッキング用カメラ配置支援システム、マルチカメラオブジェクトトラッキングシステム、オブジェクトトラッキング用カメラ配置支援プログラム、及びマルチカメラオブジェクトトラッキングプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024126280

(43)【公開日】2024-09-20

(54)【発明の名称】オブジェクトトラッキング用カメラ配置支援システム、マルチカメラオブジェクトトラッキングシステム、オブジェクトトラッキング用カメラ配置支援プログラム、及びマルチカメラオブジェクトトラッキングプログラム

(51)【国際特許分類】

   G06T 7/70 20170101AFI20240912BHJP

   G06T 7/292 20170101ALI20240912BHJP

   H04N 23/90 20230101ALI20240912BHJP

   H04N 7/18 20060101ALI20240912BHJP

【ＦＩ】

G06T7/70 Z

G06T7/292

H04N23/90

H04N7/18 G

【審査請求】未請求

【請求項の数】15

【出願形態】ＯＬ

(21)【出願番号】P 2023034562

(22)【出願日】2023-03-07

(71)【出願人】

【識別番号】516249414

【氏名又は名称】ＡＷＬ株式会社

(74)【代理人】

【識別番号】100084375

【弁理士】

【氏名又は名称】板谷 康夫

(74)【代理人】

【識別番号】100142077

【弁理士】

【氏名又は名称】板谷 真之

(74)【代理人】

【識別番号】100125221

【弁理士】

【氏名又は名称】水田 愼一

(72)【発明者】

【氏名】藤村 浩司

【テーマコード（参考）】

5C054

5C122

5L096

【Ｆターム（参考）】

5C054CA04

5C054CC02

5C054FC12

5C054HA19

5C122DA11

5C122EA55

5C122EA65

5C122EA68

5C122FA18

5C122FH10

5C122FH14

5C122HA13

5C122HA35

5C122HA46

5C122HA48

5C122HA86

5C122HA88

5C122HB01

5L096BA02

5L096CA05

5L096DA02

5L096FA52

5L096FA53

5L096FA59

5L096FA66

5L096FA67

5L096FA69

5L096FA77

5L096GA19

5L096HA05

5L096JA03

(57)【要約】

【課題】オブジェクトトラッキング用カメラ配置支援システム等において、最適なカメラの配置案の出力に要する時間を短くする。
【解決手段】複数の固定カメラが配置されるエリアを、いくつかのグリッド５６に区切って、入力されたカメラの数の情報と、複数の固定カメラの各々の撮影範囲に関する情報と、これらの固定カメラが配置されるエリアのマップのデータとを用いて、所定の評価基準に基づく組み合わせ最適化により、複数の固定カメラの各々を、どのグリッド５６に配置するかを決定するようにした。これにより、固定カメラの配置案の候補となる、複数の固定カメラの配置位置の組み合わせの数を、グリッド５６の組み合わせの数に減らすことができるので、最適な固定カメラの配置案の出力に要する時間を短くできる。
【選択図】図８

【特許請求の範囲】

【請求項1】

マルチカメラオブジェクトトラッキングに用いる画像を取得するためのカメラの配置案を出力する、オブジェクトトラッキング用カメラ配置支援システムにおいて、
複数のカメラの数の情報と、前記複数のカメラの各々の撮影範囲に関する情報と、前記複数のカメラが配置されるエリアのマップのデータとを入力する入力手段と、
前記複数のカメラが配置されるエリアを、いくつかの小領域に区切る領域分割手段と、
前記入力手段により入力されたカメラの数の情報と、前記撮影範囲に関する情報と、前記マップのデータとを用いて、所定の評価基準に基づく組み合わせ最適化により、前記複数のカメラの各々を、前記領域分割手段により区切られた小領域のうちのどの小領域に配置するかを決定する決定手段と、
前記決定手段により決定された決定結果を、前記カメラの配置案として出力する出力手段とを備える、オブジェクトトラッキング用カメラ配置支援システム。

【請求項2】

前記組み合わせ最適化の評価基準として、前記マップの有効面積全体のうち、前記複数のカメラ全体の撮影範囲がカバーする割合である、カバー割合に基づく評価基準を用いることを特徴とする請求項１に記載のオブジェクトトラッキング用カメラ配置支援システム。

【請求項3】

前記組み合わせ最適化の評価基準として、前記複数のカメラの各々の間の距離に基づく評価基準を用いることを特徴とする請求項１に記載のオブジェクトトラッキング用カメラ配置支援システム。

【請求項4】

前記複数のカメラの各々の間の距離に基づく評価基準は、前記複数のカメラのうちの隣接するカメラ間の距離が均等であるか否かを示す指標であることを特徴とする請求項３に記載のオブジェクトトラッキング用カメラ配置支援システム。

【請求項5】

前記組み合わせ最適化の評価基準として、前記複数のカメラの各々の間の距離に基づく評価基準と、前記カバー割合に基づく評価基準とを用いることを特徴とする請求項２に記載のオブジェクトトラッキング用カメラ配置支援システム。

【請求項6】

請求項１に記載のオブジェクトトラッキング用カメラ配置支援システムから出力された前記配置案に従って配置された複数のカメラからの画像に映り込んだ物体に対するマルチカメラオブジェクトトラッキングを行うシステムであって、
複数の追跡対象の物体を、複数のカメラの撮影範囲にまたがって追跡するマルチカメラオブジェクトトラッキングを行うマルチカメラオブジェクトトラッキング手段と、
前記カメラの配置案における隣接するカメラ間の距離に応じて、前記マルチカメラオブジェクトトラッキングの方法を変更するように設定する変更手段とを備えるマルチカメラオブジェクトトラッキングシステム。

【請求項7】

請求項２に記載のオブジェクトトラッキング用カメラ配置支援システムから出力された前記配置案に従って配置された複数のカメラからの画像に映り込んだ物体に対するマルチカメラオブジェクトトラッキングを行うシステムであって、
複数の追跡対象の物体を、複数のカメラの撮影範囲にまたがって追跡するマルチカメラオブジェクトトラッキングを行うマルチカメラオブジェクトトラッキング手段と、
前記カメラの配置案における前記カバー割合に応じて、前記マルチカメラオブジェクトトラッキングの方法を変更するように設定する変更手段とを備えるマルチカメラオブジェクトトラッキングシステム。

【請求項8】

前記変更手段は、前記カメラの配置案における隣接する２つのカメラの撮影範囲が重なる場合に、前記隣接する２つのカメラの撮影画像において、前記マップ上の同じ座標位置に、同時刻に物体が存在するときは、これらの物体のトラックを同じ物体のトラックとみなすように設定することを特徴とする請求項６又は請求項７に記載のマルチカメラオブジェクトトラッキングシステム。

【請求項9】

前記変更手段は、前記マルチカメラオブジェクトトラッキング手段が、第１のカメラの撮影範囲内における物体の追跡結果である第１のトラックと、前記第１のカメラに隣接する第２のカメラの撮影範囲内における物体の追跡結果である第２のトラックとのマッチングを行うときに、前記カメラの配置案における前記第１のカメラと前記第２のカメラの間の距離が大きくなるほど、前記第１のカメラの撮影画像と前記第２のカメラの撮影画像の類似度を重視して、前記第１のトラックと前記第２のトラックとのマッチングを行うように設定することを特徴とする請求項６に記載のマルチカメラオブジェクトトラッキングシステム。

【請求項10】

前記変更手段は、前記マルチカメラオブジェクトトラッキング手段が、第１のカメラの撮影範囲内における物体の追跡結果である第１のトラックと、前記第１のカメラに隣接する第２のカメラの撮影範囲内における物体の追跡結果である第２のトラックとのマッチングを行うときに、前記カメラの配置案における前記第１のカメラと前記第２のカメラの間の距離が小さくなるほど、前記第１のカメラと前記第２のカメラについてのオブジェクトのカメラ渡りの時間とオブジェクトの現在位置との整合性を重視して、前記第１のトラックと前記第２のトラックとのマッチングを行うように設定することを特徴とする請求項６に記載のマルチカメラオブジェクトトラッキングシステム。

【請求項11】

前記変更手段は、前記マルチカメラオブジェクトトラッキング手段が、第１のカメラの撮影範囲内における物体の追跡結果である第１のトラックと、前記第１のカメラに隣接する第２のカメラの撮影範囲内における物体の追跡結果である第２のトラックとのマッチングを行うときに、前記カメラの配置案における前記カバー割合が小さくなるほど、前記第１のカメラの撮影画像と前記第２のカメラの撮影画像の類似度を重視して、前記第１のトラックと前記第２のトラックとのマッチングを行うように設定することを特徴とする請求項７に記載のマルチカメラオブジェクトトラッキングシステム。

【請求項12】

前記変更手段は、前記マルチカメラオブジェクトトラッキング手段が、第１のカメラの撮影範囲内における物体の追跡結果である第１のトラックと、前記第１のカメラに隣接する第２のカメラの撮影範囲内における物体の追跡結果である第２のトラックとのマッチングを行うときに、前記カメラの配置案における前記カバー割合が大きくなるほど、前記第１のカメラと前記第２のカメラについてのオブジェクトのカメラ渡りの時間とオブジェクトの現在位置との整合性を重視して、前記第１のトラックと前記第２のトラックとのマッチングを行うように設定することを特徴とする請求項７に記載のマルチカメラオブジェクトトラッキングシステム。

【請求項13】

マルチカメラオブジェクトトラッキングに用いる画像を取得するためのカメラの配置案を出力するための、オブジェクトトラッキング用カメラ配置支援プログラムであって、
コンピュータを、
複数のカメラの数の情報と、前記複数のカメラの各々の撮影範囲に関する情報と、前記複数のカメラが配置されるエリアのマップのデータとを入力する入力手段と、
前記複数のカメラが配置されるエリアを、いくつかの小領域に区切る領域分割手段と、
前記入力手段により入力されたカメラの数の情報と、前記撮影範囲に関する情報と、前記マップのデータとを用いて、所定の評価基準に基づく組み合わせ最適化により、前記複数のカメラの各々を、前記領域分割手段により区切られた小領域のうちのどの小領域に配置するかを決定する決定手段と、
前記決定手段により決定された決定結果を、前記カメラの配置案として出力する出力手段として機能させるためのオブジェクトトラッキング用カメラ配置支援プログラム。

【請求項14】

請求項1３に記載のオブジェクトトラッキング用カメラ配置支援プログラムを用いて出力された前記配置案に従って配置された複数のカメラからの画像に映り込んだ物体に対するマルチカメラオブジェクトトラッキングを行うためのマルチカメラオブジェクトトラッキングプログラムであって、
コンピュータを、
複数の追跡対象の物体を、複数のカメラの撮影範囲にまたがって追跡するマルチカメラオブジェクトトラッキングを行うマルチカメラオブジェクトトラッキング手段と、
前記カメラの配置案における隣接するカメラ間の距離に応じて、前記マルチカメラオブジェクトトラッキングの方法を変更するように設定する変更手段として機能させるためのマルチカメラオブジェクトトラッキングプログラム。

【請求項15】

請求項1３に記載のオブジェクトトラッキング用カメラ配置支援プログラムを用いて出力された前記配置案に従って配置された複数のカメラからの画像に映り込んだ物体に対するマルチカメラオブジェクトトラッキングを行うためのマルチカメラオブジェクトトラッキングプログラムであって、
前記組み合わせ最適化の評価基準として、前記マップの有効面積全体のうち、前記複数のカメラ全体の撮影範囲がカバーする割合である、カバー割合に基づく評価基準を用い、
コンピュータを、
複数の追跡対象の物体を、複数のカメラの撮影範囲にまたがって追跡するマルチカメラオブジェクトトラッキングを行うマルチカメラオブジェクトトラッキング手段と、
前記カメラの配置案における前記カバー割合に応じて、前記マルチカメラオブジェクトトラッキングの方法を変更するように設定する変更手段として機能させるためのマルチカメラオブジェクトトラッキングプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、オブジェクトトラッキング用カメラ配置支援システム、マルチカメラオブジェクトトラッキングシステム、オブジェクトトラッキング用カメラ配置支援プログラム、及びマルチカメラオブジェクトトラッキングプログラムに関する。

【背景技術】

【0002】

従来から、あるエリアに複数のカメラを設置して、これら複数のカメラの撮影範囲内のオブジェクト（人等の物体）を、これらのカメラの撮影画像を用いて追跡するマルチカメラオブジェクトトラッキングの技術が知られている（例えば、非特許文献１参照）。このマルチカメラオブジェクトトラッキングは、正確に言うと、複数の追跡対象の物体を、オクルージョン（追跡対象の物体がカメラから隠れることで、例えば、追跡対象の物体が、他の物体の影に入った場合や、カメラの撮影範囲内外に出入りした場合に発生する）を考慮しながら、複数のカメラ（の撮影画像）にまたがって追跡することである。上記のマルチカメラオブジェクトトラッキングの技術を用いることにより、追跡対象の物体の安全を確認したり、追跡対象の物体の行動を分析して、その分析結果を、カメラが設置されるエリアにおける経路や物の配置の再検討に活用したりすることができる。

【0003】

上記のマルチカメラオブジェクトトラッキングを行う際に、どのようなカメラの間隔で、どこに複数のカメラを配置するかを決定するのは、難しい課題である。この複数のカメラの配置（設置）を人が行うことは、可能ではあるが、専門の技術スタッフが、カメラの設置場所に赴いて、複数のカメラを設置する必要があり、コスト（人件費）がかかるため、カメラの配置案を自動的に提案するシステムが望まれている。

【0004】

上記のマルチカメラオブジェクトトラッキングを意識したものではないが、上記のようなカメラの配置案を自動的に提案するシステムとしては、例えば、特許文献１に記載の装置が知られている。この特許文献１に記載の最適配置探索装置では、評価手段２４によって、空間モデル（監視空間に存在する現実世界の建物等の物体の３次元の幾何形状データ）２０に基づいて、監視空間に配置されるカメラの全ての配置条件（カメラの設置位置、姿勢、画角等のカメラの視野に関するパラメータ）を評価した評価値を算出する。また、寄与度算出手段２８によって、評価手段２４で算出した配置対象となる全てのカメラの配置条件の評価値に対して、各カメラがどれほど寄与しているかを表す寄与度を算出する。さらに、更新手段３０によって、カメラ各々の配置条件を更新する更新処理であって、寄与度が最小値のカメラの配置条件（設置位置、姿勢、画角等）の更新を、それ以外のカメラの配置条件の更新よりも大きく変化させる更新処理を行う。そして、寄与度算出手段２８による寄与度の算出、更新手段３０による配置条件の更新、及び評価手段２４による評価値の算出を順に繰り返し、最適なカメラの配置条件（設置位置、姿勢、画角等）を探索する。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２０１８－１２８９６１号公報

【非特許文献】

【0006】

【非特許文献1】Nicolai Wojke, Alex Bewley, Dietrich Paulus, “SIMPLE ONLINE AND REALTIME TRACKING WITH A DEEP ASSOCIATION METRIC”, [online], 2017年3月21日, University of Koblenz-Landau, Queensland University of Technology, [2023年1月6日検索], インターネット＜URL:https://userpages.uni-koblenz.de/~agas/Documents/Wojke2017SOA.pdf＞

【発明の概要】

【発明が解決しようとする課題】

【0007】

ところが、上記特許文献１に記載されたような従来のカメラの配置案を提案（出力）するシステムでは、最適なカメラの配置条件（設置位置、姿勢、画角等）の候補となる、複数のカメラの配置条件の組み合わせが、膨大な数になるので、最適なカメラの配置条件の探索の処理負荷が大きくなり、最適なカメラの配置条件を決めるのに膨大な時間がかかる。

【0008】

本発明は、上記課題を解決するものであり、カメラの配置案の決定に必要な処理負荷を小さくして、最適なカメラの配置案の出力に要する時間を短くすることが可能なオブジェクトトラッキング用カメラ配置支援システム、及びオブジェクトトラッキング用カメラ配置支援プログラムを提供することを目的とする。また、複数の追跡対象の物体を、複数のカメラの撮影範囲にまたがって追跡することが容易なマルチカメラオブジェクトトラッキングシステム、及びマルチカメラオブジェクトトラッキングプログラムを提供することも目的とする。

【課題を解決するための手段】

【0009】

上記課題を解決するために、本発明の第1の態様によるオブジェクトトラッキング用カメラ配置支援システムは、マルチカメラオブジェクトトラッキングに用いる画像を取得するためのカメラの配置案を出力する、オブジェクトトラッキング用カメラ配置支援システムにおいて、複数のカメラの数の情報と、前記複数のカメラの各々の撮影範囲に関する情報と、前記複数のカメラが配置されるエリアのマップのデータとを入力する入力手段と、前記複数のカメラが配置されるエリアを、いくつかの小領域に区切る領域分割手段と、前記入力手段により入力されたカメラの数の情報と、前記撮影範囲に関する情報と、前記マップのデータとを用いて、所定の評価基準に基づく組み合わせ最適化により、前記複数のカメラの各々を、前記領域分割手段により区切られた小領域のうちのどの小領域に配置するかを決定する決定手段と、前記決定手段により決定された決定結果を、前記カメラの配置案として出力する出力手段とを備える。

【0010】

このオブジェクトトラッキング用カメラ配置支援システムにおいて、前記組み合わせ最適化の評価基準として、前記マップの有効面積全体のうち、前記複数のカメラ全体の撮影範囲がカバーする割合である、カバー割合に基づく評価基準を用いるようにしても良い。

【0011】

このオブジェクトトラッキング用カメラ配置支援システムにおいて、前記組み合わせ最適化の評価基準として、前記複数のカメラの各々の間の距離に基づく評価基準を用いるようにしても良い。

【0012】

このオブジェクトトラッキング用カメラ配置支援システムにおいて、前記複数のカメラの各々の間の距離に基づく評価基準は、前記複数のカメラのうちの隣接するカメラ間の距離が均等であるか否かを示す指標であるようにしても良い。

【0013】

このオブジェクトトラッキング用カメラ配置支援システムにおいて、前記組み合わせ最適化の評価基準として、前記複数のカメラの各々の間の距離に基づく評価基準と、前記カバー割合に基づく評価基準とを用いることが望ましい。

【0014】

本発明の第２の態様によるマルチカメラオブジェクトトラッキングシステムは、上記オブジェクトトラッキング用カメラ配置支援システムから出力された前記配置案に従って配置された複数のカメラからの画像に映り込んだ物体に対するマルチカメラオブジェクトトラッキングを行うシステムであって、複数の追跡対象の物体を、複数のカメラの撮影範囲にまたがって追跡するマルチカメラオブジェクトトラッキングを行うマルチカメラオブジェクトトラッキング手段と、前記カメラの配置案における隣接するカメラ間の距離に応じて、前記マルチカメラオブジェクトトラッキングの方法を変更するように設定する変更手段とを備える。

【0015】

本発明の第３の態様によるマルチカメラオブジェクトトラッキングシステムは、上記オブジェクトトラッキング用カメラ配置支援システムから出力された前記配置案に従って配置された複数のカメラからの画像に映り込んだ物体に対するマルチカメラオブジェクトトラッキングを行うシステムであって、複数の追跡対象の物体を、複数のカメラの撮影範囲にまたがって追跡するマルチカメラオブジェクトトラッキングを行うマルチカメラオブジェクトトラッキング手段と、前記カメラの配置案における前記カバー割合に応じて、前記マルチカメラオブジェクトトラッキングの方法を変更するように設定する変更手段とを備える。

【0016】

上記第２の態様、又は第３の態様のマルチカメラオブジェクトトラッキングシステムにおいて、前記変更手段は、前記カメラの配置案における隣接する２つのカメラの撮影範囲が重なる場合に、前記隣接する２つのカメラの撮影画像において、前記マップ上の同じ座標位置に、同時刻に物体が存在するときは、これらの物体のトラックを同じ物体のトラックとみなすように設定することが望ましい。

【0017】

上記第２の態様のマルチカメラオブジェクトトラッキングシステムにおいて、前記変更手段は、前記マルチカメラオブジェクトトラッキング手段が、第１のカメラの撮影範囲内における物体の追跡結果である第１のトラックと、前記第１のカメラに隣接する第２のカメラの撮影範囲内における物体の追跡結果である第２のトラックとのマッチングを行うときに、前記カメラの配置案における前記第１のカメラと前記第２のカメラの間の距離が大きくなるほど、前記第１のカメラの撮影画像と前記第２のカメラの撮影画像の類似度を重視して、前記第１のトラックと前記第２のトラックとのマッチングを行うように設定することが望ましい。

【0018】

上記第２の態様のマルチカメラオブジェクトトラッキングシステムにおいて、前記変更手段は、前記マルチカメラオブジェクトトラッキング手段が、第１のカメラの撮影範囲内における物体の追跡結果である第１のトラックと、前記第１のカメラに隣接する第２のカメラの撮影範囲内における物体の追跡結果である第２のトラックとのマッチングを行うときに、前記カメラの配置案における前記第１のカメラと前記第２のカメラの間の距離が小さくなるほど、前記第１のカメラと前記第２のカメラについてのオブジェクトのカメラ渡りの時間とオブジェクトの現在位置との整合性を重視して、前記第１のトラックと前記第２のトラックとのマッチングを行うように設定することが望ましい。

【0019】

上記第３の態様のマルチカメラオブジェクトトラッキングシステムにおいて、前記変更手段は、前記マルチカメラオブジェクトトラッキング手段が、第１のカメラの撮影範囲内における物体の追跡結果である第１のトラックと、前記第１のカメラに隣接する第２のカメラの撮影範囲内における物体の追跡結果である第２のトラックとのマッチングを行うときに、前記カメラの配置案における前記カバー割合が小さくなるほど、前記第１のカメラの撮影画像と前記第２のカメラの撮影画像の類似度を重視して、前記第１のトラックと前記第２のトラックとのマッチングを行うように設定することが望ましい。

【0020】

上記第３の態様のマルチカメラオブジェクトトラッキングシステムにおいて、前記変更手段は、前記マルチカメラオブジェクトトラッキング手段が、第１のカメラの撮影範囲内における物体の追跡結果である第１のトラックと、前記第１のカメラに隣接する第２のカメラの撮影範囲内における物体の追跡結果である第２のトラックとのマッチングを行うときに、前記カメラの配置案における前記カバー割合が大きくなるほど、前記第１のカメラと前記第２のカメラについてのオブジェクトのカメラ渡りの時間とオブジェクトの現在位置との整合性を重視して、前記第１のトラックと前記第２のトラックとのマッチングを行うように設定することが望ましい。

【0021】

本発明の第４の態様によるオブジェクトトラッキング用カメラ配置支援プログラムは、マルチカメラオブジェクトトラッキングに用いる画像を取得するための複数のカメラの配置案を出力するための、オブジェクトトラッキング用カメラ配置支援プログラムであって、コンピュータを、複数のカメラの数の情報と、前記複数のカメラの各々の撮影範囲に関する情報と、前記複数のカメラが配置されるエリアのマップのデータとを入力する入力手段と、前記複数のカメラが配置されるエリアを、いくつかの小領域に区切る領域分割手段と、前記入力手段により入力されたカメラの数の情報と、前記撮影範囲に関する情報と、前記マップのデータとを用いて、所定の評価基準に基づく組み合わせ最適化により、前記複数のカメラの各々を、前記領域分割手段により区切られた小領域のうちのどの小領域に配置するかを決定する決定手段と、前記決定手段により決定された決定結果を、前記カメラの配置案として出力する出力手段として機能させる。

【0022】

本発明の第５の態様によるマルチカメラオブジェクトトラッキングプログラムは、上記第４の態様のオブジェクトトラッキング用カメラ配置支援プログラムを用いて出力された前記配置案に従って配置された複数のカメラからの画像に映り込んだ物体に対するマルチカメラオブジェクトトラッキングを行うためのマルチカメラオブジェクトトラッキングプログラムであって、コンピュータを、複数の追跡対象の物体を、複数のカメラの撮影範囲にまたがって追跡するマルチカメラオブジェクトトラッキングを行うマルチカメラオブジェクトトラッキング手段と、前記カメラの配置案における隣接するカメラ間の距離に応じて、前記マルチカメラオブジェクトトラッキングの方法を変更するように設定する変更手段として機能させる。

【0023】

本発明の第６の態様によるマルチカメラオブジェクトトラッキングプログラムは、上記第４の態様のオブジェクトトラッキング用カメラ配置支援プログラムを用いて出力された前記配置案に従って配置された複数のカメラからの画像に映り込んだ物体に対するマルチカメラオブジェクトトラッキングを行うためのマルチカメラオブジェクトトラッキングプログラムであって、前記組み合わせ最適化の評価基準として、前記マップの有効面積全体のうち、前記複数のカメラ全体の撮影範囲がカバーする割合である、カバー割合に基づく評価基準を用い、コンピュータを、複数の追跡対象の物体を、複数のカメラの撮影範囲にまたがって追跡するマルチカメラオブジェクトトラッキングを行うマルチカメラオブジェクトトラッキング手段と、前記カメラの配置案における前記カバー割合に応じて、前記マルチカメラオブジェクトトラッキングの方法を変更するように設定する変更手段として機能させる。

【発明の効果】

【0024】

本発明の第１の態様によるオブジェクトトラッキング用カメラ配置支援システム、及び第４の態様によるオブジェクトトラッキング用カメラ配置支援プログラムによれば、複数のカメラが配置されるエリアを、いくつかの小領域に区切って、入力されたカメラの数の情報と、複数のカメラの各々の撮影範囲に関する情報と、これらのカメラが配置されるエリアのマップのデータとを用いて、所定の評価基準に基づく組み合わせ最適化により、上記複数のカメラの各々を、上記の小領域のうちのどの小領域に配置するかを決定するようにした。これにより、上記特許文献１記載の従来のシステムと比べて、カメラの配置案の候補となる、複数のカメラの配置位置の組み合わせの数を減らすことができるので、カメラの配置案の決定に必要な処理負荷を小さくして、最適なカメラの配置案の出力に要する時間を短くすることができる。

【0025】

また、本発明の第２の態様によるマルチカメラオブジェクトトラッキングシステム、第３の態様によるマルチカメラオブジェクトトラッキングシステム、第５の態様によるマルチカメラオブジェクトトラッキングプログラム、及び第６の態様によるマルチカメラオブジェクトトラッキングプログラムによれば、カメラの配置案における隣接するカメラ間の距離又は上記のカバー割合に応じて、前記マルチカメラオブジェクトトラッキングの方法を変更することにより、複数の追跡対象の物体を、複数のカメラの撮影範囲にまたがって追跡することが容易になる。

【図面の簡単な説明】

【0026】

【図1】本発明の一実施形態のマルチカメラオブジェクトトラッキングシステムの概略の構成を示すブロック構成図。

【図2】同マルチカメラオブジェクトトラッキングシステムのエッジ側分析装置の概略のハードウェア構成を示すブロック図。

【図3】同マルチカメラオブジェクトトラッキングシステムの分析サーバの概略のハードウェア構成を示すブロック図。

【図4】マルチカメラオブジェクトトラッキング処理の概要の説明図。

【図5】上記図３の分析サーバのＣＰＵの機能ブロックのうち、カメラ配置案の出力処理に関するブロックの入出力関係を示す図。

【図6】上記分析サーバにより実現されるオブジェクトトラッキング用カメラ配置支援システムの処理のフローチャート。

【図7】上記図６のＳ１で入力されたマップの例を示す図。

【図8】入力された固定カメラの数が１７で、モードが、「できるだけ対象範囲をカバーするモード」の場合における、固定カメラの配置案の一例を示す図。

【図9】上記図６のＳ２における、マップのグリッドへの分割の仕方の一例を示す図。

【図10】上記図３の分析サーバのＣＰＵの機能ブロックのうち、マルチカメラオブジェクトトラッキングに関するブロックの入出力関係を示す図。

【図11】上記マルチカメラオブジェクトトラッキングシステムにおけるマルチカメラオブジェクトトラッキング処理の概要を示すフローチャート。

【図12】上記マルチカメラオブジェクトトラッキング処理のベースアルゴリズムの説明図。

【図13】同ベースアルゴリズムの説明図。

【図14】上記図１０及び図１１の説明で述べた、隣接する固定カメラ間の距離に応じて、マルチカメラオブジェクトトラッキングの方法を変更する処理の具体例の説明図。

【図15】入力された固定カメラの数が７個で、モードが、「分散モード」と「角／交点モード」とを組み合わせたモードである場合における、固定カメラの配置案の一例を示す図。

【発明を実施するための形態】

【0027】

以下、本発明を具体化した実施形態によるオブジェクトトラッキング用カメラ配置支援システム、マルチカメラオブジェクトトラッキングシステム、オブジェクトトラッキング用カメラ配置支援プログラム、及びマルチカメラオブジェクトトラッキングプログラムについて、図面を参照して説明する。図１は、本実施形態によるマルチカメラオブジェクトトラッキングシステム１０の概略の構成を示すブロック構成図である。図１に示すように、本実施形態では、所定の撮影エリアを撮影する監視用のネットワークカメラである複数の固定カメラ３（請求項における「カメラ」に相当）と、各固定カメラ３からの映像の分析を行うエッジ側分析装置２とが、チェーン店等の店舗Ｓに配置される場合の例について説明する。

【0028】

上記のマルチカメラオブジェクトトラッキングシステム１０は、主に、各店舗Ｓに設置された、上記の複数の固定カメラ３と、エッジ側分析装置２と、エッジ側分析装置２とインターネットを介して接続された、クラウドＣ上の分析サーバ１（請求項における「オブジェクトトラッキング用カメラ配置支援システム」、及び「コンピュータ」に相当）とから構成される。

【0029】

上記のマルチカメラオブジェクトトラッキングシステム１０は、図１に示すように、上記の固定カメラ３及びエッジ側分析装置２が配される店舗Ｓに、ハブ７と、ルータ８とを備えている。なお、以下の説明では、固定カメラ３とエッジ側分析装置２とが別体である場合の例について説明するが、本発明のマルチカメラオブジェクトトラッキングシステムにおけるカメラは、上記の固定カメラ３とエッジ側分析装置２とが一体になった、いわゆるＡｌカメラであってもよい。

【0030】

上記の固定カメラ３は、ＩＰアドレスを持ち、ネットワークに直接接続することが可能である。図１に示すように、エッジ側分析装置２は、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）とハブ７とを介して、複数の固定カメラ３と接続され、これらの固定カメラ３の各々から入力された画像を分析する。より詳細に言うと、エッジ側分析装置２は、固定カメラ３の各々から入力された画像に対する物体（オブジェクト）検出処理（具体的には、人の（バウンディングボックスの）検出処理）や、この物体検出処理で検出された人の画像を切り出して、切り出した人の画像から特徴ベクトルを抽出する処理等を行う。

【0031】

上記の分析サーバ１は、店舗Ｓの管理部門（本社等）に設置されたサーバである。詳細については後述するが、分析サーバ１は、各店舗Ｓ内に設置されたエッジ側分析装置２から送信された、各人（各オブジェクト）のバウンディングボックスの（位置や大きさの）情報と、各人の特徴ベクトルとを用いて、複数の追跡対象の人を、オクルージョン（手前にある物体が背後にある物体を隠して見えないようにする状態）を考慮しながら、複数のカメラの撮影範囲にまたがって追跡する処理であるマルチカメラオブジェクトトラッキング処理を行う。また、分析サーバ１（請求項における「オブジェクトトラッキング用カメラ配置支援システム」）は、上記のマルチカメラオブジェクトトラッキング処理に用いる画像を取得するためのカメラの配置案を出力する。すなわち、分析サーバ１は、各店舗Ｓにおいてマルチカメラオブジェクトトラッキング処理を行うのに適したカメラ配置案の出力（提案）を行う。

【0032】

次に、図２を参照して、エッジ側分析装置２のハードウェア構成について説明する。エッジ側分析装置２は、ＳｏＣ（Ｓｙｓｔｅｍ－ｏｎ－ａ－Ｃｈｉｐ）２１と、各種のデータやプログラムを格納するハードディスク２２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２３と、通信制御ＩＣ２５とを備えている。ＳｏＣ２１は、装置全体の制御及び各種演算を行うＣＰＵ２１ａと、上記の物体検出処理や特徴ベクトル抽出処理を含む、各種の推論処理用学習済ＤＮＮ（Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ）モデルの推論処理等に用いられるＧＰＵ２１ｂとを備えている。また、ハードディスク２２に格納されるデータには、固定カメラ３の各々から入力された映像ストリーム（のデータ）をデコードした後の映像データが含まれている。また、ハードディスク２２に格納されるプログラムには、上記の物体検出処理や特徴ベクトル抽出処理を含む、各種の推論処理用の学習済ＤＮＮモデル（各種推論処理用学習済ＤＮＮモデル）と、分析装置制御プログラムとが含まれている。

【0033】

次に、図３を参照して、分析サーバ１のハードウェア構成について説明する。分析サーバ１は、装置全体の制御及び各種演算を行うＣＰＵ３１と、各種のデータやプログラムを格納するハードディスク３２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）３３と、ディスプレイ３４と、操作部３５と、通信部３６とを備えている。上記のハードディスク３２に格納されるプログラムには、オブジェクトトラッキング用カメラ配置支援プログラム３７と、マルチカメラオブジェクトトラッキングプログラム３８とが含まれている。また、ハードディスク３２には、図１２及び１３の説明で後述する追跡オブジェクトＤＢ３９が格納されている。

【0034】

次に、上記のマルチカメラオブジェクトトラッキング処理の概要について、説明しておく。このマルチカメラオブジェクトトラッキング処理は、複数の追跡対象の物体（本実施形態では、人）を、オクルージョンを考慮しながら、複数のカメラ（本実施形態では、固定カメラ３）の撮影範囲にまたがって追跡する処理である。この処理は、図４に示すように、複数の固定カメラ３（図４の例では、３台の固定カメラ３ａ～３ｃ）の撮影画像を用いて、異なる固定カメラ３の撮影画像に映っている人が同じ人であるか否かを判定する処理を繰り返すことにより、複数の人を、複数の固定カメラ３の撮影範囲にまたがって追跡する処理である。この追跡処理により、各人が、店舗Ｓにおいて、どのような経路を辿ったかを知ることができる。

【0035】

上記の異なる固定カメラ３の撮影画像に映っている人が同じ人であるか否かを判定する処理は、オブジェクトのカメラ渡りの時間とオブジェクトの現在位置との整合性を考慮して、例えば、以下のように行われる。図４のクエリＸに示すように、１５時０分に固定カメラ３ｂの撮影画像に映り込んだ人（パーソン１とパーソン２）については、２分以内（１４時５８分～１５時０分）に固定カメラ３ａの撮影範囲を通過した（固定カメラ３ａの撮影画像に映り込んだ）人のみとのマッチングを行う。これにより、パーソン１が、固定カメラ３ａの撮影範囲から、固定カメラ３ｂの撮影範囲に移動したことを知ることができる。また、図４のクエリＹに示すように、１６時０分に固定カメラ３ｃの撮影画像に映り込んだ人（パーソン３）については、１０分以内（１５時５０分～１６時０分）に固定カメラ３ａの撮影範囲を通過した（固定カメラ３ａの撮影画像に映り込んだ）人、及び２分以内（１４時５８分～１５時０分）に固定カメラ３ｂを通過した（固定カメラ３ｂの撮影画像に映り込んだ）人のみとのマッチングを行う。これにより、パーソン３が、固定カメラ３ａの撮影範囲から、固定カメラ３ｃの撮影範囲に移動したことを知ることができる。

【0036】

次に、図５、及び図７乃至図９を参照して、上記の分析サーバ１が行うカメラ配置案の出力（提案）処理の概要について説明する。図５は、分析サーバ１のＣＰＵ３１の機能ブロックのうち、カメラ配置案の出力処理に関するブロックの入出力関係を示す。図５における入力部４１と、グリッド分割部４２と、決定部４３と、出力部４９とは、それぞれ、請求項における入力手段と、領域分割手段と、決定手段と、出力手段とに相当する。

【0037】

上記の入力部４１は、固定カメラ３の数（請求項における「複数のカメラの数の情報」に相当）と、複数の固定カメラ３の各々の撮影範囲（請求項における「複数のカメラの各々の撮影範囲に関する情報」に相当）と、複数の固定カメラ３が配置されるエリアのマップのデータとを入力する。これらのデータの入力は、分析サーバ１の通信部３６を介して受信したデータを用いて行っても良いし、ユーザが操作部３５を用いて行っても良い。上記の複数の固定カメラ３が配置されるエリアのマップ５１は、例えば、図７に示すような店舗のマップである。

【0038】

図５に示すグリッド分割部４２は、図８に示すように、マップ５１のエリア（複数の固定カメラ３が配置されるエリア）を、グリッド５６に分割する。すなわち、マップ５１のエリアを、グリッド線５５により区切られた、いくつかの小領域に分割する（区切る）。グリッドカメラ配置部４４は、上記のグリッド５６（小領域）に分割されたマップ５１に、入力部４１に入力された数の固定カメラ３を配置する（より正確に言うと、グリッドカメラ配置部４４は、入力部４１に入力された数の固定カメラ３の配置案の一つを提示する）。グリッドカメラ配置部４４は、グリッド５６の中心位置に、各固定カメラ３を配置する。図８において、グリッド５６ａに配置した固定カメラ３の撮影範囲５２ａは、破線で示す撮影範囲枠５７に囲まれた範囲となる。

【0039】

図５に示すカバー範囲評価値算出部４５は、グリッドカメラ配置部４４により配置された固定カメラ３の位置と、各固定カメラ３の撮影範囲に基づいて、マップ５１をどれだけカバーしたかのカバー範囲評価値を算出する。具体的には、カバー範囲評価値算出部４５は、マップ５１の有効面積全体のうち、複数の固定カメラ３全体の撮影範囲がカバーする割合である、カバー割合を算出して、このカバー割合に基づくカバー範囲評価値を算出する。ここで、マップ５１の有効面積とは、図７に示す店舗Ｓのマップ５１内のエリアのうち、倉庫や調理場等の、追跡対象のオブジェクト（人）が通らないエリアを除いた部分の面積を意味する。また、図５に示すカメラ間距離評価値算出部４６は、グリッドカメラ配置部４４により配置された固定カメラ３の位置から、各固定カメラ３の間の距離（各固定カメラ間距離）を算出し、この各固定カメラ間距離の分散等に基づく評価尺度であるカメラ間距離評価値（請求項における「複数のカメラの各々の間の距離に基づく評価基準」に相当）を算出する。

【0040】

図５に示す評価値算出部４７は、カバー範囲評価値算出部４５により算出したカバー範囲評価値（カバー割合に基づく評価基準）と、カメラ間距離評価値算出部４６により算出したカメラ間距離評価値とから、今回のグリッドカメラ配置部４４による複数の固定カメラ３の配置（複数の固定カメラ３の位置の組み合わせ）について、マルチカメラオブジェクトトラッキングに用いる画像を取得するためのカメラの配置案としての評価値（オブジェクトトラッキングカメラ配置評価値）を算出する。

【0041】

分析サーバ１のＣＰＵ３１（の決定部４３）は、グリッドカメラ配置部４４から提供されるカメラの配置案のうち、検討すべきカメラの配置案が残っている場合には、グリッドカメラ配置部４４、カバー範囲評価値算出部４５、カメラ間距離評価値算出部４６、及び評価値算出部４７による処理を繰り返す。そして、最終評価値決定部４８は、上記のグリッドカメラ配置部４４、カバー範囲評価値算出部４５、カメラ間距離評価値算出部４６、及び評価値算出部４７による処理の繰り返しの結果、最もオブジェクトトラッキングカメラ配置評価値が高かった、カメラ配置案を提示すべき配置案として決定する。出力部４９は、最終評価値決定部４８により決定された決定結果（提示すべき配置案）を、（最終的な）固定カメラ３の配置案として出力する。

【0042】

なお、図５に示す決定部４３は、上記のグリッドカメラ配置部４４、カバー範囲評価値算出部４５、カメラ間距離評価値算出部４６、評価値算出部４７、及び最終評価値決定部４８から構成される。この決定部４３は、請求項における「決定手段」に相当し、入力部４１により入力された固定カメラ３の数と、複数の固定カメラ３の各々の撮影範囲と、複数の固定カメラ３が配置されるエリアのマップのデータとを用いて、上記のオブジェクトトラッキングカメラ配置評価値に基づく組み合わせ最適化により、複数の固定カメラ３の各々を、グリッド分割部４２により区切られたグリッド５６（請求項における「小領域」）のうちのどのグリッド５６に配置するかを決定する。ここで、「最適化」とは、何らかの関数を最小化（若しくは最大化）することである。

【0043】

図５において、グリッド分割部４２の後に、グリッドの修正、及びグリッドへの情報追加が可能なユーザ・インタフェース部を用意し、ユーザの手入力による修正を受け付けてもよい。グリッドへの情報とは、カメラ不設置グリッド（固定カメラ３を設置できないグリッド）の情報や、重要撮影範囲箇所の情報などである。上記のユーザ・インタフェース部は、グリッド分割部４２により自動的に作成（分割）されたグリッド５６をディスプレイ３４に表示して、ユーザが、操作部３５（マウスやキーボード等の入力デバイス）によるグリッドの修正、及びグリッドへの情報追加を行う機能を提供する。なお、上記のグリッドへの情報追加とは、カメラ不設置グリッドの指定や、重要撮影範囲箇所（例えば、金庫等が設置されたエリアや、店舗Ｓの出入口のエリア等）のグリッドの指定などである。

【0044】

次に、図６のフローチャートを参照して、上記の分析サーバ１により実現されるオブジェクトトラッキング用カメラ配置支援システムの処理について、より詳細に説明する。まず、分析サーバ１の入力部４１（図５参照）は、固定カメラ３の数と、複数の固定カメラ３の各々の撮影範囲と、複数の固定カメラ３が配置されるエリア（配置エリア）のマップのデータとを入力する（Ｓ１）。ここでは、複数の固定カメラ３が、天井に配置されて下方（真下）を撮影する３６０度カメラである場合を例に説明するが、本発明の適用対象のカメラはこれに限るものではない。また、複数の固定カメラ３が、異なる種類のカメラを含むようにしてもよいが、ここでは説明を簡単にするために、全て同じ種類の固定カメラ３であって、これらの固定カメラ３が同じ（形状と面積の）撮影範囲を持つものとする。また、ここでは、固定カメラ３の数を５とする。３６０度カメラでは画角と設置場所の高さから撮影範囲（の形状と面積）を決定することができる。ここでは、固定カメラ３の撮影範囲を半径３ｍの円とする。また、以下の例では、上記の配置エリアのマップが、２次元のマップである場合の例について説明するが、３次元のマップであっても良い。分析サーバ１の入力部４１（図５参照）は、これらの情報（固定カメラ３の数と、各固定カメラ３の撮影範囲と、複数の固定カメラ３の配置エリアのマップ）を、デジタルデータとして受け付ける。

【0045】

上記Ｓ１の入力処理が完了すると、分析サーバ１のグリッド分割部４２（図５参照）は、デジタルデータとして受け付けた上記の配置エリアのマップを、小領域（グリッド）に分割する（Ｓ２）。ここでは、入力した配置エリアのマップを、図９に示すように、1つのグリッド５６の辺が実寸の２mに相当する正方形で、縦５個、横１０個のグリッド５６に区切るものとする。また、上記のユーザ・インタフェース部を用いて、上記の配置エリアのマップと、グリッド分割部４２により引かれたグリッド線５５とをディスプレイ３４に表示して、ユーザが、操作部３５により、上記の配置エリアのマップに対して、グリッド線５５全体を移動させて、グリッド線５５の上記マップに対する位置の微修正を行うことができるものとする。また、上記のユーザ・インタフェース部を用いて、上記のカメラ不設置グリッドや、重要撮影範囲箇所のグリッドを選択（指定）し、これらの種類のグリッドとして設定することもできるものとする。

【0046】

上記Ｓ２の分割処理が完了すると、分析サーバ１のグリッドカメラ配置部４４（図５参照）は、上記のグリッド５６（小領域）に分割されたマップに、Ｓ１で入力された数の固定カメラ３を配置する（より正確に言うと、グリッドカメラ配置部４４は、Ｓ１で入力された数の固定カメラ３の配置案の一つを提示する）（Ｓ３）。グリッドカメラ配置部４４は、Ｓ１で入力された数の固定カメラ３を、上記のカメラ不設置個所のグリッド以外のグリッド５６に、配置する（固定カメラ３を、カメラ不設置個所のグリッド以外のグリッド５６に配置した配置案を提示する）。固定カメラ３の種類が全て同じ場合、Ｓ１で入力された数の固定カメラ３の配置の組み合わせは、グリッド数をＮ、入力カメラ数（Ｓ１で入力された固定カメラ３の数）をrとすると、（Ｓ１で入力された数の固定カメラ３の配置の）全組み合わせ数Ｔは、
Ｔ＝_ＮＣ_ｒ
で求められる。

【0047】

グリッド分割部４２により作成（分割）された計５０（＝１０×５）個のグリッド５６の中で、カメラ不設置個所のグリッド５６が１０個あった場合、固定カメラ３を設置（配置）可能なグリッド数は、４０個となる。この例では、上記のように、固定カメラ３を５個設置するため（上記の入力カメラ数ｒ＝５であるため）、上記の全組み合わせ数Ｔは、
Ｔ＝_４０Ｃ_５＝ ６５８００８ [個]
となる。ここで総数に制限を設け、全組み合わせ数Ｔが多すぎる場合は、上記ユーザ・インタフェース部が、分析サーバ１のディスプレイ３４に警告を表示して、ユーザが、操作部３５によりグリッド数を半分にするなどの処理を行う機能を提供するようにしてもよい。

【0048】

ここでは，横軸をＸ軸、縦軸をＹ軸(Ｘ，Ｙ)としたときに、一番左下に位置するグリッド５６の座標を（１，１）、一番右上に位置するグリッド５６の座標を（１０，５）とし、５つの固定カメラ３ (Ｃａ,Ｃｂ,Ｃｃ,Ｃｄ,Ｃｅ)を設置（配置）するものとする。また、Ｙ軸が３の箇所にあるグリッド５６を、カメラ不設置グリッドとする。

【0049】

上記Ｓ３の固定カメラ３の配置処理が完了すると、分析サーバ１のカバー範囲評価値算出部４５（図５参照）は、Ｓ３で配置した固定カメラ３のカバー範囲評価値を算出する（Ｓ４）。具体的には、カバー範囲評価値算出部４５は、Ｓ３で配置した各固定カメラ３の設置座標（設置位置）と、Ｓ１で入力された固定カメラ３の撮影範囲とから、複数の固定カメラ３全体がカバーする面積（複数の固定カメラ３全体の撮影範囲の面積）Ｓを求めて、このカバー面積Ｓと、Ｓ１で入力されたマップ５１（図７参照）のデータに基づいて求めた，マップ５１の（エリアの）有効面積Ｓ_Ｔとから、カバー割合（Ｓ／Ｓ_Ｔ）を算出し、このカバー割合に基づくカバー範囲評価値Ｅ_ａを算出する。すなわち、下記の式により、カバー範囲評価値Ｅａを求める。
Ｅａ＝１－（Ｓ／Ｓ_Ｔ）

【0050】

ただし、複数の固定カメラ３全体の撮影範囲が、Ｓ２で指定した重要撮影範囲箇所のグリッドの少なくとも一部をカバーしていた（重要撮影範囲箇所のグリッドの少なくとも一部が、複数の固定カメラ３全体の撮影範囲に含まれていた）場合は、下記の式により、重要撮影範囲箇所のグリッドの面積Icのうち、複数の固定カメラ３全体の撮影範囲に含まれていた面積Iscを上記Ｓにプラスし、重要撮影範囲箇所のグリッドの面積Ｉｃ（の全体）を分母側に足した上で、Ｅａを算出する。
Ｅａ=１－｛（Ｓ＋Isc）／（Ｓ_Ｔ＋Ｉｃ）｝
この場合、重要撮影範囲箇所の（グリッドの）面積の重みは、通常撮影範囲の面積の（重みの）２倍となるが、２倍以外の重みも用いてもよい。ここで、重要撮影範囲箇所とは、例えば、金庫の設置エリアや、出入口のエリア等である。

【0051】

上記Ｓ４のカバー範囲評価値の算出処理が完了すると、分析サーバ１のカメラ間距離評価値算出部４６（図５参照）は、Ｓ３で配置した複数の固定カメラ３のカメラ間距離評価値を算出する（Ｓ５）。具体的には、カメラ間距離評価値算出部４６は、Ｓ３で配置した５つの固定カメラ３のそれぞれについて、最も近い固定カメラ３との距離（最近固定カメラ間距離）を算出し、これらの固定カメラ間距離から、その分散値v²を算出する。ここでは、算出した分散値v²の正の平方根の値である標準偏差vを上記のカメラ間距離評価値Ｅ_ｄとする。けれども、Ｓ３で配置した５つの固定カメラ３のそれぞれについて、最も近い固定カメラ３との距離（最近固定カメラ間距離）を算出し、その中で最も大きい固定カメラ間距離d_maxを、カメラ間距離評価値Ｅ_ｄとすることや、上記の（分散値v²から求められる）標準偏差v と最大の固定カメラ間距離d_maxとを重みを付けて足し合わせて、カメラ間距離評価値Ｅ_ｄとすることも可能である。このカメラ間距離評価値Ｅ_ｄを導入することによって、固定カメラ３の配置案としての評価値（後述するオブジェクトトラッキングカメラ配置評価値Eob）に、各固定カメラ３間の距離が離れすぎていないか、各固定カメラ３が均等に配置されているかなどといった要素を反映することが可能となる。このカメラ間距離評価値Ｅ_ｄは、請求項における「複数のカメラの各々の間の距離に基づく評価基準」に相当する。また、上記の最近固定カメラ間距離の標準偏差vが、請求項における「複数のカメラのうちの隣接するカメラ間の距離が均等であるか否かを示す指標」に相当する。

【0052】

上記Ｓ５のカメラ間距離評価値の算出処理が完了すると、分析サーバ１の評価値算出部４７（図５参照）は、Ｓ４で算出したカバー範囲評価値Ｅ_ａと、Ｓ５で算出したカメラ間距離評価値Ｅ_ｄから、上記Ｓ３で行われた（提示された）、複数の固定カメラ３の配置について、上記のオブジェクトトラッキングカメラ配置評価値（マルチカメラオブジェクトトラッキングに用いる画像を取得するための複数の固定カメラ３の配置案としての評価値）を算出する（Ｓ６）。具体的には、カバー範囲評価値Ｅ_ａとカメラ間距離評価値Ｅ_ｄとの重みをα、βとすると、オブジェクトトラッキングカメラ配置評価値Eobは、
Eob = αEa + βEd
となる。このオブジェクトトラッキングカメラ配置評価値Eobは、値が低い方が固定カメラ３の配置（案）の評価としては良い数値となる。上記の重みα、βの値は、実験により決める。

【0053】

上記Ｓ６のオブジェクトトラッキングカメラ配置評価値の算出処理が完了すると、分析サーバ１の評価値算出部４７（又は決定部４３）（図５参照）は、グリッドカメラ配置部４４から提供されるカメラの配置案のうち、検討すべきカメラの配置案が残っている場合には（Ｓ７でＹＥＳ）、Ｓ３に戻り、検討すべきカメラの配置案が残っていない場合には（Ｓ７でＮＯ）、Ｓ８の処理に進む。この例では、固定カメラ３の配置の全組み合わせ数Ｔは、上記のように、６５８００８[個]なので、６５８００８個の全てのカメラ配置案について、上記Ｓ４乃至Ｓ６の処理が完了した場合に、Ｓ８の処理に進む（移行する）。

【0054】

Ｓ８では、分析サーバ１の最終評価値決定部４８（図５参照）が、Ｓ６で算出したオブジェクトトラッキングカメラ配置評価値に基づき、最終的なカメラ配置案（固定カメラ３の配置案）を決定する。すなわち、最終評価値決定部４８は、上記Ｓ３～Ｓ６の処理の繰り返しの結果、Ｓ３で提示された今までのカメラ配置案の候補の中から、最もオブジェクトトラッキングカメラ配置評価値が良かったカメラ配置案を、提示すべき配置案として決定する。この例では、検討したカメラ配置案の中で、オブジェクトトラッキングカメラ配置評価値Ｅｏｂの値が最も低いものを、提示すべきカメラ配置案として選択する。そして、分析サーバ１の出力部４９（図５参照）が、上記Ｓ８で決定された決定結果（提示すべきカメラ配置案）を、（最終的な）固定カメラ３の配置案として出力する（Ｓ９）。すなわち、この例における組み合わせ最適化とは、上記のオブジェクトトラッキングカメラ配置評価値Ｅｏｂの値が最も低い、カメラ配置案（複数の固定カメラ３の配置の組み合わせ）を求めることを意味する。

【0055】

ここで、予め、オブジェクトトラッキングカメラ配置評価値Ｅｏｂの値に応じて、ユーザに、この設置（Ｓ８で決定されたカメラ配置）でのマルチカメラオブジェクトトラッキングの予測精度を通知することも可能である。例えば、基準となる閾値ａ，ｂ，ｃをあらかじめ設定しておいて、Ｅｏｂ＜ａの場合は、「マルチカメラオブジェクトトラッキングの精度が高くなる」、ａ＜Ｅｏｂ＜ｃの場合は、「マルチカメラオブジェクトトラッキングの精度が中位である」、ｃ＜Ｅｏｂの場合は、「マルチカメラオブジェクトトラッキングの精度が低くなる」ことをユーザに通知するようにしてもよい。

【0056】

次に、図１０のブロック図と図１１のフローチャートに沿って、本実施形態のマルチカメラオブジェクトトラッキングシステム１０について説明する。本マルチカメラオブジェクトトラッキングシステム１０は、上記の（分析サーバ１により実現される）オブジェクトトラッキング用カメラ配置支援システムから出力された固定カメラ３の配置案（カメラ配置案）に従って配置された複数のカメラからの画像に映り込んだ物体に対するマルチカメラオブジェクトトラッキングを行うシステムである。図１０は、分析サーバ１のＣＰＵ３１の機能ブロックのうち、マルチカメラオブジェクトトラッキングに関するブロックの入出力関係を示す。図１０における変更部６２と、マルチカメラオブジェクトトラッキング部６３とは、それぞれ、請求項における変更手段と、マルチカメラオブジェクトトラッキング手段とに相当する。

【0057】

図１１は、上記マルチカメラオブジェクトトラッキングシステム１０におけるマルチカメラオブジェクトトラッキング処理の概要を示すフローチャートである。まず、分析サーバ１のカメラ間距離取得部６１（図１０参照）は、出力部４９（図５参照）から出力された最終的な固定カメラ３のカメラ配置案から、カメラ間距離取得部６１により、各固定カメラ３間の距離を取得する（Ｓ１０）。この各固定カメラ３間の距離には、上記図６のＳ５でカメラ間距離評価値算出部４６が算出した各固定カメラ３間の距離をそのまま使用することができる。次に、分析サーバ１の変更部６２（図１０参照）は、上記のカメラ間距離取得部６１が取得した隣接する固定カメラ３間の距離に応じて、マルチカメラオブジェクトトラッキングの方法を変更する設定を行う（Ｓ１１）。そして、この設定に応じて、マルチカメラオブジェクトトラッキング部６３は、隣接する固定カメラ３間の距離に応じた方法で、複数の追跡対象の物体（この実施形態では、人）を、複数のカメラ（この実施形態では、固定カメラ３）の撮影範囲にまたがって追跡する処理であるマルチカメラオブジェクトトラッキングを行う（Ｓ１２）。

【0058】

次に、本実施形態におけるマルチカメラオブジェクトトラッキング処理について、説明する。本実施形態のマルチカメラオブジェクトトラッキング処理では、各固定カメラ３の撮影範囲内での（各固定カメラ３の撮影画像を用いた）人物トラッキング結果（すなわち、トラック）を用いる。この各固定カメラ３の撮影範囲内での人物トラッキングには、非特許文献１のようなDeepSORT(Simple Online and Realtime Tracking with a deep association metric)を用いる。DeepSORTのベースであるSORTは、カルマンフィルターで物体の動きを予測し、ハンガリアンアルゴリズムで、予測した物体と検出した物体のＩｏＵを計算し、これらの物体（実際には、バウンディングボックス）を対応付けることで、トラッキングを行うものである。DeepSORTは、上記のSORTの改良版であり、SORTが、いわゆるオクルージョンに弱いという問題（オクルージョンがあった場合に、簡単に、追跡対象物体のＩＤのスイッチングが発生する（追跡対象物体に新しいＩＤが付与されてしまう）という問題）を解消するために、上記のSORTと、Person Re-Identificationの技術を併用して、検出物体のバウンディングボックスとトラックとの紐づけを行う技術である。DeepSORTについては公知であるため、その詳細についての説明を省略する。

【0059】

上記のDeepSORTによるトラッキング結果を用いて、ある人が一つの固定カメラ３の撮影範囲内に入ってから出ていくまでを１トラックとし、この１トラックに対応する人（上記の「ある人」）がデータベース（図３、図１２及び図１３の追跡オブジェクトＤＢ３９）に登録してあるIDの人と同じかどうかを判定する。この判定結果がデータベースに登録してあるいずれかのIDの人物と同じであれば、そのトラックを該当IDに紐づけし、いずれのIDの人とも合致しなければ、そのトラックに新しいIDを付与して、このトラックの情報をデータベースに登録する。

【0060】

次に、図１２及び図１３を参照して、本実施形態におけるマルチカメラオブジェクトトラッキング処理のベースアルゴリズムについて、説明する。今、図１２に示すように、固定カメラ３ａ，固定カメラ３ｂ，固定カメラ３ｃの各々（の撮影画像）について、人のトラッキング結果のデータである、トラック１、トラック２、トラック３が存在するとする。図１２に示すように、このトラック１、トラック２、及びトラック３の各々のデータには、対応する固定カメラ３（固定カメラ３ａ、固定カメラ３ｂ、又は固定カメラ３ｃ）の撮影範囲内に人が入ってきた時間と出ていった時間（タイム（スタート、エンド））と、 その人の移動軌跡と、その人の特徴ベクトルが含まれる。このマルチカメラオブジェクトトラッキング処理のベースアルゴリズムでは、上記のトラックの各々が、追跡オブジェクトＤＢ３９に登録されている、どのパーソンＩＤに紐づくかを推定し、推定結果のパーソンＩＤを、各トラックに割り当てる。

【0061】

以下の説明において、クエリとは、追跡オブジェクトＤＢ３９のデータベース管理システム（ＤＢＭＳ）に対して、データの検索などの処理を行うように求める命令文のことを意味する。図１３のステップ１に示すように、クエリとしてトラック１が入力されたときに（トラック１が、どのパーソンＩＤに紐づくかを推定するときに）、追跡オブジェクトＤＢ３９に、未だ何のパーソンＩＤも登録されていない場合、分析サーバ１のＣＰＵ３１は、上記のデータベース管理システムを用いて、追跡オブジェクトＤＢ３９に、上記のトラック１をパーソン１として登録する（パーソンＩＤ＝パーソン１を、トラック１に割り当てる）。すなわち、パーソン１の情報として、このパーソンＩＤ自体に加えて、上記のトラック１に含まれる、タイム（スタート、エンド）及び特徴ベクトル（図１２参照）と移動軌跡とを、追跡オブジェクトＤＢ３９に登録（格納）する。

【0062】

次に、図１３のステップ２に示すように、クエリとしてトラック２が入力されたときには、分析サーバ１のＣＰＵ３１は、追跡オブジェクトＤＢ３９にパーソン１の情報として登録されているトラック１の情報を用いて、２つのトラック（トラック１とトラック２）の特徴ベクトル間のマッチングを行う。この結果、分析サーバ１のＣＰＵ３１が、パーソン１の情報として登録されているトラック１の特徴ベクトルと、トラック２の特徴ベクトルとが合致しないと判定した場合、分析サーバ１のＣＰＵ３１は、上記のデータベース管理システムを用いて、トラック２をパーソン２として登録する（パーソンＩＤ＝パーソン２を、トラック２に割り当てる）。

【0063】

次に、図１３のステップ３に示すように、クエリとしてトラック３が入力されたときには、分析サーバ１のＣＰＵ３１は、トラック３の特徴ベクトルと、追跡オブジェクトＤＢ３９に登録されているパーソン１及びパーソン２の特徴ベクトルとのマッチングを行う。この結果、分析サーバ１のＣＰＵ３１が、トラック３の特徴ベクトルと、パーソン１の情報として登録されているトラック１の特徴ベクトルとが合致すると判定した場合、分析サーバ１のＣＰＵ３１は、トラック３がパーソン１のトラックであるとみなし、上記のデータベース管理システムを用いて、追跡オブジェクトＤＢ３９に登録されているパーソン１の情報を、トラック３の情報を用いてアップデートする。すなわち、例えば、追跡オブジェクトＤＢ３９に登録されているパーソン１の情報に対して、（トラック３に対応する）固定カメラ３ｃの撮影範囲内にパーソン１が入ってきた時間と出ていった時間（タイム（スタート、エンド））を追加する処理と、固定カメラ３ｃの撮影範囲内におけるパーソン１の移動軌跡を考慮した、パーソン１の移動軌跡の更新処理と、トラック３の特徴ベクトルを用いたパーソン１の特徴ベクトルの更新処理（例えば、パーソン１の特徴ベクトルを、トラック３の特徴ベクトルに置き換える処理）を行う。

【0064】

分析サーバ１のＣＰＵ３１は、図１３のステップ１～３のような処理を繰り返して、全てのトラックに対するパーソンＩＤの割り当てを行う。上記のアルゴリズムが、本実施形態におけるマルチカメラオブジェクトトラッキング処理のベースアルゴリズムである。

【0065】

次に、図１４を参照して、上記図１０及び図１１の説明で簡単に述べた、隣接する固定カメラ３間の距離に応じて、マルチカメラオブジェクトトラッキングの方法を変更する処理の具体例について、説明する。まず、図１４のパターン１のようなケースについて、説明する。例えば、半径３ｍの円状の撮影範囲をもつ固定カメラ３ａ，３ｂを用いているときに、固定カメラ３ａと固定カメラ３ｂとの間の距離が６ｍ以内だった場合、これら２つの固定カメラ３ａ，３ｂの撮影範囲は重なる。図１４のパターン１のケースでは、固定カメラ３ａと固定カメラ３ｂとの間の距離が、５ｍ以内とする。この場合、パーソン１が、固定カメラ３ａ側から固定カメラ３ｂ側に移動するときに、固定カメラ３ａの撮影範囲における右側の部分と、固定カメラ３ｂの撮影範囲における左側の部分において、同一人物（すなわち、パーソン１）が、同時刻（例えば、１５時０分０秒）に、２つの固定カメラ３ａ、３ｂの撮影画像に映る。

【0066】

従って、固定カメラ３ａの撮影画像と、固定カメラ３ｂの撮影画像のそれぞれについて、標準的な人物画像追跡処理を実施し、これらの固定カメラ３ａ、３ｂの撮影画像において、同時刻に、マップ（図７の５１参照）における同じ座標に当たる部分に人がいるという結果が得られれば、固定カメラ３ａで追跡している人のトラックと、固定カメラ３ｂで追跡している人のトラックにおいて、その２つのトラックが同一人物（同じ人）のトラックであるとみなすことができる。このため、隣接する２つの固定カメラ３間の距離が５ｍ以内の場合には、上記のマルチカメラオブジェクトトラッキングの方法を実施するように設定を行う。この場合、上記図１２及び図１３で説明したベースアルゴリズムのマッチング手法は用いず、上記のマルチカメラオブジェクトトラッキングの方法のみを用いて、隣接する固定カメラ３で取得したトラック間のマッチングを行う。なお、上記の標準的な人物画像追跡処理とは、例えば、SORT(Simple Online and Realtime Tracking)のように、YOLO（You only Look Once）v3等の物体検出アルゴリズムで検出したバウンディングボックスを使用して、該当のフレーム画像の前後で近い大きさと近い動きのバウンディングボックスを対応付けることにより、人にＩＤをつけてトラッキングする処理である。

【0067】

次に、図１４のパターン２のようなケースについて、説明する。例えば、半径３ｍの円状の撮影範囲をもつ固定カメラ３ａ，３ｃを用いているときに、固定カメラ３ａと固定カメラ３ｃとの間の距離が６ｍより大きい場合、これら２つの固定カメラ３ａ，３ｃの撮影範囲は重ならない。しかし、固定カメラ３ａと固定カメラ３ｃとの間の距離が十分に近い場合には、ある時刻付近において、固定カメラ３ｃの方向に向かって、固定カメラ３ａの撮影範囲から外に出たトラックと、固定カメラ３ａの方向から固定カメラ３ｃの撮影範囲に入ってきたトラックは、同一人物（図１４では、パーソン１）のトラックとみなすことができる。

【0068】

このため、隣接する２つの固定カメラ３間の距離が５ｍ～１０ｍの場合には、分析サーバ１のＣＰＵ３１（のマルチカメラオブジェクトトラッキング部６３）は、図１２及び図１３で述べたマルチカメラオブジェクトトラッキング処理のベースアルゴリズムを用いて、固定カメラ３ｃの撮影画像で検出されたトラックのスタート時間から前後数秒以内（例えば、上記スタート時間の２秒前～１秒後の間）のエンド時間の情報を持つトラックに対応するパーソンＩＤのみを対象に、固定カメラ３ｃの撮影画像で検出されたトラックと、追跡オブジェクトＤＢ３９に登録されているパーソンＩＤとの照合（マッチング）処理を行う。

【0069】

例えば、図１４のパターン２に示すように、固定カメラ３ｃの撮影画像で検出されたトラック（以下、「固定カメラ３ｃのトラック」と略す）のスタート時間が、１５時００分０１秒であり、固定カメラ３ａの撮影画像で検出されたトラック（以下、「固定カメラ３ａのトラック」と略す）のエンド時間が、１５時００分００秒であって、１４時５９分５９秒～１５時００分０２秒の間のエンド時間の情報を持つトラックが固定カメラ３ａのトラック以外に無いものとする。

【0070】

この場合には、分析サーバ１のＣＰＵ３１は、マルチカメラオブジェクトトラッキング処理のベースアルゴリズムを用いて、固定カメラ３ｃのトラックのスタート時間の２秒前～１秒後のエンド時間の情報を持つ、固定カメラ３ａのトラックに対応するパーソンＩＤ（図１２及び図１３の例では、トラック１に対応するパーソン１）のみを対象に、固定カメラ３ｃのトラックと、追跡オブジェクトＤＢ３９に登録されているパーソンＩＤとの照合（マッチング）処理を行う。すなわち、例えば、分析サーバ１のＣＰＵ３１が、固定カメラ３ｃのトラック（図１２及び図１３の例では、トラック３）の特徴ベクトルと、固定カメラ３ａのトラックに対応するパーソンＩＤ（図１２及び図１３の例では、パーソン１）の情報として登録されているトラック（図１２及び図１３の例では、トラック１）の特徴ベクトルとが合致すると判定した場合、分析サーバ１のＣＰＵ３１は、固定カメラ３ｃのトラック（トラック３）が、固定カメラ３ａのトラックに対応するパーソンＩＤ（パーソン１）のトラックであるとみなし、図１３に示すように、追跡オブジェクトＤＢ３９に登録されているパーソン１の情報を、トラック３の情報を用いてアップデートする。

【0071】

このパターン２のように、隣接する２つの固定カメラ３間の距離が十分に近い場合（例えば、５ｍ～１０ｍの場合）には、後述するパターン３のように、隣接する２つの固定カメラ３間の距離が離れている（例えば、１０ｍ以上離れている）場合と異なり、分析サーバ１のＣＰＵ３１の変更部６２（図１０参照）は、オブジェクトのカメラ渡りの時間（具体的には、人が、固定カメラ３ａの撮影範囲を出てから、固定カメラ３ｃの撮影範囲に入るまでの時間）と、固定カメラ３ａの撮影画像におけるオブジェクト（人）の現在位置との整合性を重視して、隣接する２つの固定カメラ３のトラック間のマッチングを行う。より正確に言うと、分析サーバ１のＣＰＵ３１の変更部６２は、時間的に後でオブジェクトの撮影を行う固定カメラ３ｃの撮影範囲のトラックの特徴ベクトルと、追跡オブジェクトＤＢ３９に登録されている（時間的に前にオブジェクトの撮影を行った固定カメラ３ａの撮影範囲のトラックに対応する）パーソンＩＤの特徴ベクトルとのマッチングを行う。

【0072】

次に、図１４のパターン３のようなケースについて、説明する。パターン１及び２の場合と同様に、半径３ｍの円状の撮影範囲をもつ固定カメラ３ａ，３ｄを用いているときに、固定カメラ３ａと固定カメラ３ｄとの間の距離が１０ｍより大きい場合、上記のパターン２の場合と異なり、固定カメラ３ａから固定カメラ３ｄへの人（図１４の例では、パーソン１）の移動に要する時間の予測が難しくなる。そこで、このような場合には、上記図１２及び図１３で述べたマルチカメラオブジェクトトラッキング処理のベースアルゴリズムをそのまま適用して、固定カメラ３ｄのトラックと、追跡オブジェクトＤＢ３９に登録されているパーソンＩＤとの照合（マッチング）処理を行う。

【0073】

上記図１４のパターン１の説明から、分析サーバ１のＣＰＵ３１の変更部６２（図１０参照）が、出力部４９（図５参照）が出力した（最終的な）固定カメラ３の配置案（カメラ配置案）における隣接する２つの固定カメラ３の撮影範囲が重なる場合に、隣接する２つの固定カメラ３の撮影画像において、マップ５１（図７参照）上の同じ座標位置に、同時刻に人が存在するときは、これらの人のトラックを同じ人のトラックとみなすように設定することが分かる。このように、最終的なカメラ配置案における隣接する２つの固定カメラ３の撮影範囲が重なる場合には、上記のように、マルチカメラオブジェクトトラッキングの方法を変更することにより、マップ５１上のエリアにおいて、複数の追跡対象のオブジェクト（人）を、複数のカメラの撮影範囲にまたがって、正確、かつ、容易に追跡することができる。

【0074】

また、上記図１４のパターン１～３の説明から、分析サーバ１のＣＰＵ３１の変更部６２（図１０参照）が、マルチカメラオブジェクトトラッキング部６３が、ある固定カメラ３の撮影範囲内における人の追跡（トラッキング）結果である第１のトラックと、この固定カメラ３に隣接する別の固定カメラ３の撮影範囲内における人の追跡結果である第２のトラックとのマッチングを行うときに、出力部４９が出力した（最終的な）固定カメラ３の配置案における上記の２つの固定カメラ３間の距離が大きくなるほど、これらの固定カメラ３の撮影画像の類似度（具体的には、これらの固定カメラ３の撮影画像の特徴ベクトル間の距離）を重視して、上記の第１のトラックと第２のトラックとのマッチング（すなわち、隣接する２つの固定カメラ３のトラック間のマッチング）を行うように設定することが分かる。これにより、最終的なカメラ配置案における隣接する２つの固定カメラ３間の距離が大きく、オブジェクト（人）のカメラ渡りの時間が長い場合に、これらの固定カメラ３の撮影画像の類似度を中心に、隣接する２つの固定カメラ３のトラック間のマッチングを行うことができるので、隣接する２つの固定カメラ３間の距離が大きいにも拘わらず、これらの固定カメラ３の撮影範囲にまたがって、複数の追跡対象のオブジェクト（人）を、正確に追跡することができる。

【0075】

また、上記図１４のパターン２及び３の説明から、分析サーバ１のＣＰＵ３１の変更部６２が、マルチカメラオブジェクトトラッキング部６３が、ある固定カメラ３の撮影範囲内における人の追跡（トラッキング）結果である第１のトラックと、この固定カメラ３に隣接する別の固定カメラ３の撮影範囲内における人の追跡結果である第２のトラックとのマッチングを行うときに、出力部４９が出力した（最終的な）固定カメラ３の配置案における上記の２つの固定カメラ３間の距離が小さくなるほど、オブジェクト（人（パーソン１））のカメラ渡りの時間（例えば、パターン２の場合については、人（パーソン１）が、固定カメラ３ａの撮影範囲を出てから、固定カメラ３ｃの撮影範囲に入るまでの時間）と、オブジェクトの現在位置との整合性を重視して、上記の第１のトラックと第２のトラックとのマッチング（すなわち、隣接する２つの固定カメラ３のトラック間のマッチング）を行うように設定することが分かる。これにより、最終的なカメラ配置案における隣接する２つの固定カメラ３間の距離が小さく、オブジェクト（人）のカメラ渡りの時間が短い場合に、オブジェクト（人）のカメラ渡りの時間と、オブジェクト（人）の現在位置との整合性を中心に、隣接する２つの固定カメラ３のトラック間のマッチングを行うことができるので、マップ５１上のエリアにおいて、複数の追跡対象のオブジェクト（人）を、複数の固定カメラ３の撮影範囲にまたがって、正確、かつ、容易に追跡することができる。

【0076】

なお、上記の図１４のパターン２の場合について、固定カメラ３ｃのトラックのスタート時間と、追跡オブジェクトＤＢ３９に登録されている各パーソンＩＤのエンド時間との時間差（以下、「スタート時間とエンド時間との時間差」と略す）に応じて、固定カメラ３ｃのトラックの特徴ベクトルと、追跡オブジェクトＤＢ３９に登録されている各パーソンＩＤの特徴ベクトルとのマッチングの結果に対して重みをかけるなどをしても良い。すなわち、例えば、上記のスタート時間とエンド時間との時間差が所定の秒数より大きい場合には、固定カメラ３ｃのトラックの特徴ベクトルと、追跡オブジェクトＤＢ３９に登録されている各パーソンＩＤの特徴ベクトルとの演算により求めた、これらの特徴ベクトルの類似度にかける重みを一律に減らしたり、上記のスタート時間とエンド時間との時間差に比例して、上記の類似度にかける重みを減らしたりして、固定カメラ３ｃのトラックのスタート時間と、追跡オブジェクトＤＢ３９に登録されている各パーソンＩＤのエンド時間との時間差が大きい場合には、固定カメラ３ｃのトラックと、追跡オブジェクトＤＢ３９に登録されているパーソンＩＤとが合致しにくくなるようにしても良い。

【0077】

上記のように、本実施形態の（分析サーバ１から構成される）オブジェクトトラッキング用カメラ配置支援システムによれば、複数の固定カメラ３が配置されるエリア（例えば、図７のマップ５１のエリア）を、いくつかのグリッド５６（小領域）に区切って、入力された固定カメラ３の数の情報と、複数の固定カメラ３の各々の撮影範囲に関する情報と、これらの固定カメラ３が配置されるエリアのマップ５１のデータとを用いて、所定の評価基準（例えば、上記のオブジェクトトラッキングカメラ配置評価値Eob）に基づく組み合わせ最適化により、上記複数のカメラの各々を、上記のグリッド５６（小領域）のうちのどのグリッド５６に配置するかを決定するようにした。これにより、上記特許文献１記載の従来のシステムと比べて、固定カメラ３の配置案の候補となる、複数の固定カメラ３の配置位置の組み合わせの数を、グリッド５６（小領域）の組み合わせの数に減らすことができるので、固定カメラ３の配置案の決定に必要な処理負荷を小さくして、最適な固定カメラ３の配置案の出力に要する時間を短くすることができる。

【0078】

また、本実施形態のオブジェクトトラッキング用カメラ配置支援システムによれば、組み合わせ最適化の評価基準として、上記のマップ（例えば、図７のマップ５１）の有効面積全体のうち、複数の固定カメラ３全体の撮影範囲がカバーする割合である、カバー割合に基づく評価基準（カバー範囲評価値Ｅａ）を用いるようにした。これにより、上記のカバー割合（マップの有効面積全体のうち、複数の固定カメラ３全体の撮影範囲がカバーする割合）を基準にして、最終的な固定カメラ３の配置案を出力（提案）することができるので、入力部４１により入力された条件（固定カメラ３の数と、複数の固定カメラ３の各々の撮影範囲と、複数の固定カメラ３が配置されるエリア（配置エリア）のマップ）の下において、できるだけ、マップにおける広い範囲を撮影可能な固定カメラ３の配置案を出力（提案）することができる。従って、このオブジェクトトラッキング用カメラ配置支援システムにより出力（提案）された固定カメラ３の配置案に基づいて、マップ上の追跡（トラッキング）対象のオブジェクト（人）の動きを把握し易いように、複数の固定カメラ３を配置することができる。

【0079】

また、本実施形態のオブジェクトトラッキング用カメラ配置支援システムによれば、組み合わせ最適化の評価基準として、複数の固定カメラ３の各々の間の距離に基づく評価基準（カメラ間距離評価値Ｅ_ｄ）を用いるようにした。これにより、固定カメラ３の配置案としての評価基準に、各固定カメラ３間の距離が離れすぎていないか、各固定カメラ３が均等に配置されているかなどといった要素を反映することができる。従って、このオブジェクトトラッキング用カメラ配置支援システムにより出力（提案）された固定カメラ３の配置案に基づいて、マップ上の追跡（トラッキング）対象のオブジェクト（人）の動きを把握し易いように、複数の固定カメラ３を配置することができる。

【0080】

また、本実施形態のオブジェクトトラッキング用カメラ配置支援システムによれば、上記の複数の固定カメラ３の各々の間の距離に基づく評価基準（カメラ間距離評価値Ｅ_ｄ）を、複数の固定カメラ３のうちの隣接するカメラ間の距離が均等であるか否かを示す指標（例えば、上記図５及び図６の説明で述べた「最近固定カメラ間距離」の標準偏差v）とするようにした。これにより、このオブジェクトトラッキング用カメラ配置支援システムが出力する固定カメラ３の配置案（カメラ配置案）を、隣接する固定カメラ３間の距離が均等なカメラ配置案とすることができるので、このカメラ配置案に基づいて、マップ上の追跡（トラッキング）対象のオブジェクト（人）の動きを把握し易いように、複数の固定カメラ３を配置することを、確実に行うことができる。

【0081】

また、本実施形態のオブジェクトトラッキング用カメラ配置支援システムによれば、組み合わせ最適化の評価基準として、複数の固定カメラ３の各々の間の距離に基づく評価基準（カメラ間距離評価値Ｅ_ｄ）と、上記のカバー割合（マップの有効面積全体のうち、複数の固定カメラ３全体の撮影範囲がカバーする割合）に基づく評価基準とを用いるようにした。これにより、複数の固定カメラ３の配置案としての評価基準に、マップにおける、できるだけ広い範囲を撮影することができるという要素を取り込むと共に、各固定カメラ３間の距離が離れすぎていないか、各固定カメラ３が均等に配置されているかなどといった要素を反映することができる。従って、このオブジェクトトラッキング用カメラ配置支援システムにより出力（提案）された固定カメラ３の配置案に基づいて、マップ上の追跡（トラッキング）対象のオブジェクト（人）の動きを把握し易いように、複数の固定カメラ３を配置することができる。

【0082】

また、本実施形態のマルチカメラオブジェクトトラッキングシステム１０によれば、上記のオブジェクトトラッキング用カメラ配置支援システムから出力された最終的なカメラ配置案における隣接するカメラ間の距離に応じて、マルチカメラオブジェクトトラッキングの方法を変更することにより、マップ５１上のエリアにおいて、複数の追跡対象のオブジェクト（人）を、複数のカメラの撮影範囲にまたがって追跡することが容易になる。

【0083】

変形例：
なお、本発明は、上記の各実施形態の構成に限られず、発明の趣旨を変更しない範囲で種々の変形が可能である。次に、本発明の変形例について説明する。

【0084】

変形例１：
上記実施形態における図１０、図１１、及び図１４の説明では、隣接する固定カメラ３間の距離に応じて、マルチカメラオブジェクトトラッキングの方法を変更する例について述べたが、本発明のマルチカメラオブジェクトトラッキングシステムは、これに限られず、例えば、（出力部４９（図５参照）から出力された）最終的な固定カメラ３のカメラ配置案におけるカバー割合（マップ５１の有効面積全体のうち、複数の固定カメラ３全体の撮影範囲がカバーする割合）に応じて、マルチカメラオブジェクトトラッキングの方法を変更するようにしても良い。何故なら、最終的な固定カメラ３のカメラ配置案におけるカバー割合が小さい場合には、隣接する固定カメラ３間の距離が長い場合と同様に、全般に、隣接する固定カメラ３の撮影範囲の間が離れているし、固定カメラ３のカメラ配置案におけるカバー割合が大きい場合には、隣接する固定カメラ３間の距離が短い場合と同様に、全般に、隣接する固定カメラ３の撮影範囲の間が離れていないからである。

【0085】

この変形例１のマルチカメラオブジェクトトラッキングシステムによれば、上記のオブジェクトトラッキング用カメラ配置支援システムから出力された最終的なカメラ配置案における上記のカバー割合（マップの有効面積全体のうち、複数の固定カメラ３全体の撮影範囲がカバーする割合）に応じて、マルチカメラオブジェクトトラッキングの方法を変更することにより、マップ上のエリアにおいて、複数の追跡対象のオブジェクト（人）を、複数の固定カメラ３の撮影範囲にまたがって追跡することが容易になる。

【0086】

この変形例１の一具体例としては、例えば、分析サーバ１のＣＰＵ３１の変更部６２（図１０参照）が、マルチカメラオブジェクトトラッキング部６３が、ある固定カメラ３の撮影範囲内における人の追跡結果である第１のトラックと、この固定カメラ３に隣接する別の固定カメラ３の撮影範囲内における人の追跡結果である第２のトラックとのマッチングを行うときに、上記の最終的な固定カメラ３の配置案における上記のカバー割合が小さくなるほど、これらの固定カメラ３の撮影画像の類似度（具体的には、これらの固定カメラ３の撮影画像の特徴ベクトル間の距離）を重視して、上記の第１のトラックと第２のトラックとのマッチング（すなわち、隣接する２つの固定カメラ３のトラック間のマッチング）を行うように設定することが挙げられる。これにより、最終的なカメラ配置案における上記のカバー割合が小さく、オブジェクト（人）のカメラ渡りの時間が長いと想定される場合に、これらの固定カメラ３の撮影画像の類似度を中心に、隣接する２つの固定カメラ３のトラック間のマッチングを行うことができるので、最終的なカメラ配置案における上記のカバー割合が小さいにも拘わらず、マップ５１上のエリアにおいて、複数の追跡対象のオブジェクト（人）を、複数の固定カメラ３の撮影範囲にまたがって、正確に追跡することができる。

【0087】

この変形例１の他の具体例としては、例えば、分析サーバ１のＣＰＵ３１の変更部６２が、マルチカメラオブジェクトトラッキング部６３が、ある固定カメラ３の撮影範囲内における人の追跡結果である第１のトラックと、この固定カメラ３に隣接する別の固定カメラ３の撮影範囲内における人の追跡結果である第２のトラックとのマッチングを行うときに、上記のカバー割合が大きくなるほど、図１４のパターン２の場合と同様に、オブジェクト（人）のカメラ渡りの時間とオブジェクト（人）の現在位置との整合性を重視して、上記の第１のトラックと第２のトラックとのマッチング（すなわち、隣接する２つの固定カメラ３のトラック間のマッチング）を行うように設定することが挙げられる。これにより、最終的なカメラ配置案における上記のカバー割合が大きく、オブジェクト（人）のカメラ渡りの時間が短いと想定される場合に、オブジェクト（人）のカメラ渡りの時間と、オブジェクト（人）の現在位置との整合性を中心に、隣接する２つの固定カメラ３のトラック間のマッチングを行うことができるので、マップ５１上のエリアにおいて、複数の追跡対象のオブジェクト（人）を、複数の固定カメラ３の撮影範囲にまたがって、正確、かつ、容易に追跡することができる。

【0088】

変形例２：
上記の実施形態では、請求項における「組み合わせ最適化の評価基準」として、各固定カメラ３の間の距離に基づく評価基準（カメラ間距離評価値）と、上記のカバー割合（マップ５１の有効面積全体のうち、複数の固定カメラ３全体の撮影範囲がカバーする割合）に基づく評価基準（カバー範囲評価値）とを用いるようにした。けれども、請求項における「組み合わせ最適化の評価基準」として、各固定カメラ３の間の距離に基づく評価基準（カメラ間距離評価値）のみを用いるようにしても良いし、上記のカバー割合に基づく評価基準（カバー範囲評価値）のみを用いるようにしても良い。

【0089】

変形例３：
また、ユーザ（システム管理者）が、マップにおける、追跡対象のオブジェクト（人）が通る経路の形状等に応じて、固定カメラ３の配置案の提案モードを変更できるようにしてもよい。この提案モードとしては、「できるだけ対象範囲をカバーするモード」、「分散モード」、「重要箇所モード」、「角／交点モード」、及び「辺モード」のいずれか一つを用いても良いし、これらのモードを２つ以上組み合わせて用いても良い。

【0090】

上記の「できるだけ対象範囲をカバーするモード」とは、図７に示すマップ５１の有効面積全体のうち、複数の固定カメラ３全体の撮影範囲がカバーする割合である、「カバー割合」をできるだけ大きくするモードである。例えば、入力部に入力された固定カメラの数が１７で、モードが、できるだけ対象範囲をカバーする（ように固定カメラを配置する）モードの場合は、最終評価値決定部４８により決定される決定結果（提示すべき配置案）の一例は、図８に示すものになる。なお、この「できるだけ対象範囲をカバーするモード」は、変形例２における、「組み合わせ最適化の評価基準」としてカバー割合に基づく評価基準（カバー範囲評価値）のみを用いるようにした場合の一例に相当する。

【0091】

また、上記の「分散モード」とは、分析サーバのＣＰＵが、例えば、上記のカメラ間距離評価値算出部４６（図５参照）が算出した、隣接する各固定カメラ間の距離の標準偏差vに基づいて、できるだけ、隣接する各固定カメラ間の距離が離れるような、各固定カメラの配置の組み合わせを探索するモードである。なお、この「分散モード」は、変形例２における、「組み合わせ最適化の評価基準」として各固定カメラ３の間の距離に基づく評価基準（カメラ間距離評価値）のみを用いるようにした場合の一例に相当する。

【0092】

また、「重要箇所モード」とは、図６のＳ５の説明で言及した重要撮影範囲箇所（例えば、金庫の設置エリアや、出入口のエリア等）を、ユーザが分析サーバの操作部等を用いて指示（選択）すると、分析サーバのＣＰＵが、そこ（重要箇所）に重点的に固定カメラを配置するように、各固定カメラの組み合わせを探索するモードである。「角／交点モード」とは、分析サーバのＣＰＵが、マップ上における「角」や「分岐点」に対応するグリッドに、重点的に固定カメラを配置するように、各固定カメラの組み合わせを探索するモードである。ここで、マップ上における「角」に対応するグリッドとは、図１５上に一点鎖線で示す辺５４（マップ上のエリアにおける人の動線になり得る経路）の角５８に対応するグリッド（例えば、図１５におけるグリッド５６ａ）を意味し、「分岐点」（又は「交点」）に対応するグリッドとは、上記の辺５４の分岐点５３に対応するグリッド（例えば、図１５におけるグリッド５６ｂ）を意味する。また、「辺モード」とは、分析サーバのＣＰＵが、マップにおける辺５４（図１５参照）上に、１つ以上の固定カメラを配置することを優先して、各固定カメラの組み合わせを探索するモードである。

【0093】

図１５に示す例では、入力部４１により入力された固定カメラ３の数が７個であり、各固定カメラの撮影範囲が、破線で示す撮影範囲枠５７で囲まれたエリアであり、マップに固定カメラを配置するモードが、上記の「分散モード」と「角／交点モード」とを組み合わせたモードである場合において、オブジェクトトラッキング用カメラ配置支援システムが出力（提案）した固定カメラの配置案の例を示す。図１５において、各撮影範囲枠５７の中心に位置するグリッド（例えば、グリッド５６ａや、グリッド５６ｂ）（の中心位置）に、固定カメラが配置されている。

【0094】

変形例４：
上記の実施形態では、エッジ側分析装置２が、固定カメラ３の各々から入力された画像に対する人の（バウンディングボックスの）検出処理や、この物体検出処理で検出された人の画像を切り出して、切り出した人の画像から特徴ベクトルを抽出する処理を行い、分析サーバ１が、各店舗Ｓ内に設置されたエッジ側分析装置２から送信された、各人のバウンディングボックスの（位置や大きさの）情報と、各人の特徴ベクトルとを用いて、マルチカメラオブジェクトトラッキング処理を行う場合の例を示した。けれども、本発明のマルチカメラオブジェクトトラッキングシステムは、これに限られず、例えば、エッジ側のデバイス（上記実施形態におけるエッジ側分析装置２や、いわゆるＡＩカメラに相当）が、１つの固定カメラの撮影範囲内におけるトラッキングまでを行って、分析サーバが、各エッジ側デバイスから送信された、各固定カメラの撮影範囲内におけるトラッキング結果（トラック）を用いて、マルチカメラオブジェクトトラッキング処理を行ってもよい。

【符号の説明】

【0095】

１ 分析サーバ（オブジェクトトラッキング用カメラ配置支援システム、コンピュータ）
３ 固定カメラ（カメラ）
１０ マルチカメラオブジェクトトラッキングシステム
３７ オブジェクトトラッキング用カメラ配置支援プログラム
３８ マルチカメラオブジェクトトラッキングプログラム
４１ 入力部（入力手段）
４２ グリッド分割部（領域分割手段）
４３ 決定部（決定手段）
４９ 出力部（出力手段）
５１ マップ
６２ 変更部（変更手段）
６３ マルチカメラオブジェクトトラッキング部（マルチカメラオブジェクトトラッキング手段）
Ｅａ カバー範囲評価値（カバー割合に基づく評価基準）
Ｅｄ カメラ間距離評価値（複数のカメラの各々の間の距離に基づく評価基準）
ｖ 標準偏差 (複数のカメラのうちの隣接するカメラ間の距離が均等であるか否かを示す指標)

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】