特許 6925295 オブジェクト追跡装置、方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6925295

(24)【登録日】2021年8月5日

(45)【発行日】2021年8月25日

(54)【発明の名称】オブジェクト追跡装置、方法およびプログラム

(51)【国際特許分類】

   G06T 7/292 20170101AFI20210812BHJP

   H04N 7/18 20060101ALI20210812BHJP

【ＦＩ】

   G06T7/292

   H04N7/18 G

【請求項の数】6

【全頁数】15

(21)【出願番号】特願2018-59010(P2018-59010)

(22)【出願日】2018年3月26日

(65)【公開番号】特開2019-174868(P2019-174868A)

(43)【公開日】2019年10月10日

【審査請求日】2020年2月6日

(73)【特許権者】

【識別番号】000208891

【氏名又は名称】ＫＤＤＩ株式会社

(74)【代理人】

【識別番号】100092772

【弁理士】

【氏名又は名称】阪本 清孝

(74)【代理人】

【識別番号】100119688

【弁理士】

【氏名又は名称】田邉 壽二

(72)【発明者】

【氏名】サビリン ホウアリ

(72)【発明者】

【氏名】内藤 整

【審査官】 佐田 宏史

(56)【参考文献】

【文献】 特開２００４−０７２６２８（ＪＰ，Ａ）

【文献】 特開２０１６−０２６３５５（ＪＰ，Ａ）

【文献】 Yu-Shan Chen et al.，"Multiple People Visual Tracking in a Multi-Camera System for Cluttered Enviroments"，2016 IEEE/RSJ International Conference on Intelligent Robots and Systems，米国，IEEE，２００６年１０月 ９日，pp.675-680

【文献】 岩元 浩太、外２名，“信頼度パラメータを用いた広域動画像における人物追跡”，電子情報通信学会技術研究報告，日本，社団法人電子情報通信学会，２００２年 １月１０日，Vol.101, No.558，pp.13-18

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ７／００−７／９０

Ｈ０４Ｎ ７／１８

Ｇ０８Ｂ １３／１９４−１３／１９６，２５／００

(57)【特許請求の範囲】

【請求項1】

視野が重なる複数のカメラ映像のフレーム画像に基づいてオブジェクトを追跡する装置において、
各カメラ映像からフレームごとに抽出したオブジェクトを共通のフロアマップにマッピングする手段と、
オブジェクト間のフロアマップ上での距離を表すマップベース距離を算出する手段と、
オブジェクト間の色の相違を表す色ベース距離を算出する手段と、
前記マップベース距離および色ベース距離に基づいて、一のカメラ映像から抽出したオブジェクトと他の一のカメラ映像から抽出したオブジェクトとのマッチングを実行するカメラ間マッチング手段と、
前記カメラ間のマッチング結果に基づいて、今回フレームから抽出したオブジェクトと前回フレームから抽出したオブジェクトとのマッチングを実行するフレーム間マッチング手段とを具備し、
前記カメラ間マッチング手段は、
マップベース距離に基づいてマッチングを行い、
前記マップベース距離に基づくマッチング結果に応じて前記色ベース距離に基づいてカメラ間マッチングを行い、
前記フレーム間マッチング手段は、
フロアマップ上での各オブジェクト間の距離を算出し、
各カメラ映像上での各オブジェクト間の距離をそれぞれ算出し、
前記各距離に基づいてオブジェクト間の相対距離を算出し、
前記相対距離を行列要素とする相対距離行列に基づいてフレーム間マッチングを実行することを特徴とするオブジェクト追跡装置。

【請求項2】

前記カメラ間マッチング手段は、
注目エントリのマップベース距離が第１位置閾値未満であるか否かを判別する第１手順と、
第１位置閾値未満であると、前記注目エントリと同一列上および同一行上の各エントリのマップベース距離の最小値を探索する第２手順と、
前記注目エントリのマップベース距離が前記各最小値と等しければ当該注目エントリのマッチング結果をセットする第３手順とを含むことを特徴とする請求項１に記載のオブジェクト追跡装置。

【請求項3】

前記カメラ間マッチング手段は、
前記注目エントリのマップベース距離が前記第１位置閾値未満でないと当該第１位置閾値よりも大きい第２位置閾値未満であるか否かを判別する第４手順と、
前記第４手順で前記第２位置閾値未満と判別されると、前記注目エントリと同一列上に当該注目エントリよりもマップベース距離の小さいエントリが存在するか否かを判定する第５手順と、
前記第５手順において、前記マップベース距離の小さいエントリが存在すると判定されると、当該エントリの色ベース距離が同一列上で最小であるか否かを判定する第６手順と、
前記第６手順で最小であると判定されると当該エントリのマッチング結果をセットすることを特徴とする請求項２に記載のオブジェクト追跡装置。

【請求項4】

視野空間へ出入口近傍でのオブジェクト数の変化に基づいてオブジェクトの視野空間への入退を監視し、入退の有無に基づいて前記フレーム間マッチングを評価することを特徴とする請求項１ないし３のいずれかに記載のオブジェクト追跡装置。

【請求項5】

視野が重なる複数のカメラ映像のフレーム画像に基づいてコンピュータがオブジェクトを追跡する方法において、
各カメラ映像からフレームごとに抽出したオブジェクトを共通のフロアマップにマッピングし、
オブジェクト間のフロアマップ上での距離を表すマップベース距離を算出し、
オブジェクト間の色の相違を表す色ベース距離を算出し、
前記マップベース距離および色ベース距離に基づいて、一のカメラ映像から抽出したオブジェクトと他の一のカメラ映像から抽出したオブジェクトとのカメラ間マッチングを実行し、
前記カメラ間のマッチング結果に基づいて、今回フレームから抽出したオブジェクトと前回フレームから抽出したオブジェクトとのフレーム間マッチングを実行し、
前記カメラ間マッチングでは、
マップベース距離に基づいてマッチングを行い、
前記マップベース距離に基づくマッチング結果に応じて前記色ベース距離に基づいてカメラ間マッチングを行い、
前記フレーム間マッチングでは、
フロアマップ上での各オブジェクト間の距離を算出し、
各カメラ映像上での各オブジェクト間の距離をそれぞれ算出し、
前記各距離に基づいてオブジェクト間の相対距離を算出し、
前記相対距離を行列要素とする相対距離行列に基づいてフレーム間マッチングを実行することを特徴とするオブジェクト追跡方法。

【請求項6】

視野が重なる複数のカメラ映像のフレーム画像に基づいてオブジェクトを追跡するプログラムにおいて、
各カメラ映像からフレームごとに抽出したオブジェクトを共通のフロアマップにマッピングする処理と、
オブジェクト間のフロアマップ上での距離を表すマップベース距離を算出する処理と、
オブジェクト間の色の相違を表す色ベース距離を算出する処理と、
前記マップベース距離および色ベース距離に基づいて、一のカメラ映像から抽出したオブジェクトと他の一のカメラ映像から抽出したオブジェクトとのカメラ間マッチングと、
前記カメラ間のマッチング結果に基づいて、今回フレームから抽出したオブジェクトと前回フレームから抽出したオブジェクトとのフレーム間マッチングと、をコンピュータに実行させ、
前記カメラ間マッチングが、
マップベース距離に基づいてマッチングを行う処理と、
前記マップベース距離に基づくマッチング結果に応じて前記色ベース距離に基づいてマッチングを行う処理とを含み、
前記フレーム間マッチングが、
フロアマップ上での各オブジェクト間の距離を算出する処理と、
各カメラ映像上での各オブジェクト間の距離をそれぞれ算出する処理と、
前記各距離に基づいてオブジェクト間の相対距離を算出する処理とを含み、
前記相対距離を行列要素とする相対距離行列に基づいてフレーム間マッチングを実行させることを特徴とするオブジェクト追跡プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、カメラ映像に基づいてオブジェクトを追跡する装置、方法およびプログラムに係り、特に、視野が重なる複数のカメラ映像から抽出したオブジェクトの同一性をカメラ間およびフレーム間で識別して追跡するオブジェクト追跡装置、方法およびプログラムに関する。

【背景技術】

【0002】

非特許文献１には、複数のカメラを使用して複数のオブジェクトを検出および追跡する技術が開示されている。非特許文献２には、マルチカメラシステムにおけるオブジェクトの追跡情報を決定するためにグラフ構造を利用する技術が開示されている。

【0003】

特許文献１には、視野が重なり合わないカメラ映像から人体を再識別する技術が開示されている。特許文献２には、複数のカメラ映像から抽出した複数のオブジェクトに基づくグラフトポロジーを整合させることでカメラ間でのオブジェクトの同一性を識別する技術が開示されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】WO2017101434 A1

【特許文献2】特願2017-188650号

【非特許文献】

【0005】

【非特許文献1】Ｗ. Lu, O. Camps, M. Sznaier, "Multi-camera Multi-object Tracking," arXiv:1709.07065, 2017.

【非特許文献2】J. Dias and P. M. Jorge, "People Tracking with Multi-camera System," Int. Conference on Distributed Smart Cameras, pp. 181-186, 2015.

【発明の概要】

【発明が解決しようとする課題】

【0006】

非特許文献１、２は、視野が重なり合うカメラおよび視野が重なり合わないカメラにおけるオブジェクトの検出および追跡に関する技術を提供し、これらはカメラ視野内の全域を歩き回る複数のオブジェクトの検出および追跡を可能にし、カメラ視野間でオブジェクトの同一性を維持することができる。しかしながら、いずれの方式でもオブジェクトの存在範囲が広範にわたり、検知されたオブジェクトは短時間で一のカメラの視野から他の一のカメラの視野へ移動する傾向がある。

【0007】

特許文献２によれば、2台のカメラで類似のオブジェクトを識別できるので、あるカメラ視野内のオブジェクトと他のカメラ視野内の対応するオブジェクト（同じオブジェクト）との同一性を識別することが可能になる。しかしながら、これらの方式ではカメラ間で正しくマッチングできたオブジェクトをフレーム間で追跡することができない。

【0008】

本発明の目的は、上記の技術課題を解決し、視野が重なる複数のカメラ映像から抽出したオブジェクトの同一性をカメラ間およびフレーム間で識別して追跡するオブジェクト追跡装置、方法およびプログラムを提供することにある。

【課題を解決するための手段】

【0009】

上記の目的を達成するために、本発明は、視野が重なる複数のカメラ映像のフレーム画像に基づいてオブジェクトを追跡する装置において、以下の構成を具備した点に特徴がある。

【0010】

(1) 各カメラ映像からフレームごとに抽出したオブジェクトを共通のフロアマップにマッピングする手段と、オブジェクト間のフロアマップ上での距離を表すマップベース距離を算出する手段と、オブジェクト間の色の相違を表す色ベース距離を算出する手段と、前記マップベース距離および色ベース距離に基づいて、一のカメラ映像から抽出したオブジェクトと他の一のカメラ映像から抽出したオブジェクトとのマッチングを実行するカメラ間マッチング手段と、前記カメラ間のマッチング結果に基づいて、今回フレームから抽出したオブジェクトと前回フレームから抽出したオブジェクトとのマッチングを実行するフレーム間マッチング手段とを具備した。

【0011】

(2) 前記フレーム間マッチング手段が、フロアマップ上でのオブジェクト間の距離を算出する手段と、一のカメラ映像上でのオブジェクト間の距離を算出する手段と、他の一のカメラ映像上でのオブジェクト間の距離を算出する手段と、前記各距離に基づいてオブジェクト間の相対距離を算出する手段とを具備し、前記相対距離を行列要素とする相対距離行列に基づいてフレーム間マッチングを実行するようにした。

【発明の効果】

【0012】

本発明によれば、以下のような効果が達成される。

【図面の簡単な説明】

【0013】

【図1】本発明の一実施形態に係るオブジェクト追跡装置の機能ブロック図である。

【図2】カメラ映像から抽出したオブジェクトを共通のフロアマップ上へマッピングする方法を示した図である。

【図3】グラフ構築部（１０４）の機能を模式的に示した図である。

【図4】カメラ映像から抽出したオブジェクト集合をグラフ化する方法を示した図である。

【図5】カメラ間マッチング部（１０５）による各オブジェクトのマッチング手順を示したフローチャートである。

【図6】フレーム間マッチング部（１０７）による各オブジェクトのマッチング手順を示したフローチャートである。

【図7】マッチング結果処理部（１０８）によるマッチング結果の修正手順を示したフローチャートである。

【図8】再投影部（１０９）によるグラフ頂点の再投影方法を示した図である。

【図9】５台のカメラが設置された環境への適用例を示した図である。

【発明を実施するための形態】

【0014】

以下、図面を参照して本発明の実施の形態について詳細に説明する。図１は、本発明の一実施形態に係るオブジェクト追跡装置の主要部の構成を示した機能ブロック図であり、視野が重複し、視点が異なる複数のカメラ映像に基づいてオブジェクトを識別し、フレーム間で追跡する。本実施形態では、視野が重複するカメラが２台設置されており、２つのカメラ映像に基づいてオブジェクトを識別、追跡する場合を例にして説明する。

【0015】

このようなオブジェクト追跡装置は、汎用のコンピュータやサーバに各機能を実現するアプリケーション（プログラム）を実装することで構成できる。あるいはアプリケーションの一部がハードウェア化またはROM化された専用機や単能機としても構成できる。

【0016】

画像取得部１０１は、一方のカメラ映像Ic1および他方のカメラ映像Ic2を取得する。オブジェクト抽出部１０２は、各カメラ映像Ic1，Ic2のフレーム画像から全てのオブジェクトTを抽出する。マッピング部１０３は、フレーム画像から抽出したオブジェクトTを共通のフロアマップMf上にマッピングする。これにより、カメラ映像の抽出元に関わらず、各オブジェクトTに対して共通の座標系上で位置属性を付することが可能になる。

【0017】

図２は、２つのカメラ映像Ic1，Ic2から抽出したオブジェクトTを共通のフロアマップMf上にマピングする例を示した図であり、一方のカメラ映像Ic1から抽出した４つのオブジェクトT11，T12，T13，T14および他方のカメラ映像Ic2から抽出した４つのオブジェクトT21，T22，T23，T24が、フロアマップMf上の位置p1'，p2'，p3'，p4'にそれぞれマッピングされている。

【0018】

グラフ構築部１０４は、各カメラ映像Icからフレームごとに抽出したオブジェクトTに基づいて、各オブジェクトTに対応した頂点Viおよび各オブジェクトTを関連付けるエッジEiを用いて、次式(1)-(5)で定義される属性付き無向グラフGiを構築する。

【0019】

【数1】

【0020】

なお、各符号の定義は以下の通りである。
Gi：カメラ映像Iciに基づいて構築したグラフ
Vi：グラフGiの頂点群
N，M：各頂点を識別する序数
Ei：グラフGiのエッジ群
vn：n番目の頂点
emn：m番目の頂点とn番目の頂点とを関連付けるエッジ

【0021】

p：カメラビュー上での位置
p'：フロアマップ上での位置
c：オブジェクトの色特徴量
θ：２つの頂点間の方向角度
d：２つの頂点間の距離

【0022】

また、本実施形態では、説明を簡略化するために次の表記法を定義する。
vn[p]：n番目の頂点のカメラビュー上での位置属性
vn[p']：n番目の頂点のフロアマップ上での位置属性
vn[c]：n番目の頂点に対応したオブジェクトの色特徴
emn[θ]：m番目の頂点とn番目の頂点とを関連付けるエッジの方向属性
emn[d]：m番目の頂点とn番目の頂点とを関連付けるエッジの長さ属性

【0023】

Vi[p]：グラフGi内の全頂点のカメラビュー上での位置属性のセット
Vi[p']：グラフGi内の全頂点のフロアマップ上での位置属性のセット
Vi[c]：グラフGi内の全頂点に対応したオブジェクトの色属性のセット
Ei[θ]：グラフGi内の全エッジの方向属性のセット
Ei[d]：グラフGi内の全エッジの長さ属性のセット

【0024】

図３は、前記グラフ構築部１０４の機能を模式的に示した図であり、オブジェクトTが頂点V1で定義されている。同一フレーム内で他のオブジェクトを定義する頂点V2，V3は、エッジE12，E13によって前記頂点V1に関連付けることができる。頂点V1は頂点V3に対して方向角度θ13および長さL13の属性を有する。

【0025】

図４は、上記の手順を繰り返して、前記カメラ映像Ic1から抽出したオブジェクト集合をグラフ化する方法を示した図であり、前記４つのオブジェクトT11，T12，T13，T14が、それぞれ頂点V11，V12，V13，V14で表現され、各頂点VをエッジE1112，E1113，E1114，E1213，E1214，E1314で関連付けることでグラフG1が構築されている。

【0026】

カメラ間マッチング部１０５は、グラフG1の各頂点V1とグラフG2の各頂点V2とを、フロアマップ上での各頂点間の位置属性および各オブジェクトの色属性に基づいて齟齬なく対応付ける。

【0027】

マップベース距離計算部１０５ａは、フロアマップ上での各頂点Vの位置属性に基づいてグラフG1，G2間での各頂点間のユークリッド距離を次式(6)に基づいて計算する。色ベース距離計算部１０５ｂは、各頂点Vに対応するオブジェクトの色属性に基づいてグラフG1，G2間での各頂点間のバッチチェリ距離を次式(7)に基づいて計算する。なお、式(7)において、μは各頂点に対応するオブジェクトの色分布の平均であり、σ²は各頂点に対応するオブジェクトの色分布の分散である。

【0028】

【数2】

ラウンドマッチング実行部１０５ｃは、グラフG1，G2の各頂点間で前記位置属性のユークリッド距離および色属性のバッチチェリ距離を指標としてラウンドマッチングを実行し、対応するオブジェクトを識別する。

【0029】

図５は、前記カメラ間マッチング部１０５における各オブジェクトのマッチング手順を示したフローチャートである。

【0030】

ステップＳ３００では、グラフG1の全ての頂点Vに関して後述する処理が完了したか否かが判断される。完了していなければ、ステップＳ３０１へ進んで今回の注目エントリ(i，j)のマッチング結果Match(i，j)がリセット（＝０）される。ステップＳ３０２では、グラフG2の全ての頂点Vに関して処理が終了したか否かが判断される。終了していなければステップＳ３０３へ進み、注目エントリ(i，j)のフロアマップ上での距離S(p'(i)，p'(j))が取得される。

【0031】

ステップＳ３０４では、前記マップベース距離S(p'(i)，p'(j))が第１閾値未満であるか否かが判断される。本実施形態では、第１閾値が「３２」に設定されており、マップベース距離S(p'(i)，p'(j))＜３２であればステップＳ３０５へ進む。

【0032】

ステップＳ３０５では、グラフG1のi番目の頂点とグラフG2の全頂点との距離の最小値p'_min(i)が取得される。ステップＳ３０６では、グラフG2のj番目の頂点とグラフG1の全頂点との距離の最小値p'_min(j)が取得される。ステップＳ３０７では、前記各最小距離p'_min(i)，p'_min(j)が今回の注目ペア(i，j)のマップベース距離S(p'(i)，p'(j))と一致するか否かが判断される。一致すればステップＳ３０８へ進み、注目エントリ(i，j)のマッチング結果Match(i，j)がセット（＝１）される。

【0033】

一方、前記ステップＳ３０４においてマップベース距離S(p'(i)，p'(j))＜３２ではないと判断されるとステップＳ３０９へ進み、マップベース距離S(p'(i)，p'(j))＜１２８であるか否かが判断される。マップベース距離S(p'(i)，p'(j))＜１２８であればステップＳ３１０へ進み、注目エントリ(i，j)の色ベース距離S(c(i)，c(j))が取得される。ステップＳ３１１では、色ベース距離S(c(i)，c(j))＜２５であるか否かが判断される。

【0034】

色ベース距離S(c(i)，c(j))＜２５であればステップＳ３１２へ進み、グラフG1のi番目の頂点を除いた全頂点に関して判断が終了したか否かが判断される。終了していなければステップＳ３１３へ進み、注目エントリ(i，j)と同一列上の他のエントリのマップベース距離S(p'(k)，p'(j))が取得される。ステップＳ３１４では、注目エントリのマップベース距離S(p'(i)，p'(j))と前記同一列上の各エントリのマップベース距離S(p'(k)，p'(j))とが比較され、S(p'(k)，p'(j))＜S(p'(i)，p'(j))であればステップＳ３１５へ進む。

【0035】

ステップＳ３１５では、前記同一列上の各エントリの色ベース距離の最小値S_min(c(i)，c(j))が取得される。ステップＳ３１６では、色ベース距離の最小値S_min(c(i)，c(j))が前記ステップＳ３１４の要件を満たしたエントリS(p'(k)，p'(j))の色ベース距離S(c(k)，c(j))と比較され、値が一致していればステップＳ３１７へ進む。ステップＳ３１７では、前記同一列上のエントリ(k，j)のマッチング結果Match(k，j)がセットされる。

【0036】

これに対して、前記ステップＳ３１６において、S_min(c(i)，c(j))とS(c(k)，c(j))とが等しくないと判断されるとステップＳ３１８へ進み、S(c(k)，c(j))とS_min(c(i)，c(j))とが比較され、S(c(k)，c(j))＜S_min(c(i)，c(j))であれば、ステップＳ３１９へ進んでエントリ(k，j)のマッチング結果Match(k，j)がセットされる。

【0037】

図１へ戻り、グラフ構築部１０６は前記グラフ構築部１０４と同様に、今回フレームから抽出したオブジェクトTに基づいて無向グラフGfを構築し、前回フレームから抽出したオブジェクトTに基づいて無向グラフGf-1を構築する。
フレーム間マッチング部１０７は、前回フレームで抽出されたオブジェクトと今回フレームで抽出されたオブジェクト間で、一方のカメラビュー上での位置属性、他のカメラビュー上での位置属性およびマッピング先のフロアマップ上での位置属性に基づいてオブジェクトマッチングを実施する。

【0038】

フレーム間マッチング部１０７において、マップベース距離計算部１０７ａは、次式(8)に基づいてフロアマップ上での各頂点間距離SFを計算する。第１カメラビューベース距離計算部１０７ｂは、次式(9)に基づいて、第１カメラビューでの位置属性に基づいて各頂点間距離Sc1を算出する。第２カメラビューベース距離計算部１０７ｃは、次式(10)に基づいて、第２カメラビューでの位置属性に基づいて各頂点間距離Sc2を算出する。

【0039】

【数3】

【0040】

相対距離計算部１０７ｄは、上記３種の類似度パラメータを統合して類似度指標値Distを次式(11)に基づいて計算する。Dist行列構築部１０７ｅは、この類似度指標値Distを行列要素とするDist行列を構築する。ラウンドマッチング実行部１０７ｆは、グラフGf，Gf-1の各頂点間で前記Dist値を指標としてラウンドマッチングを実行し、対応するオブジェクトを識別する。

【0041】

【数4】

【0042】

ここで、相関位置Pos_cは次式(12)で求められる。

【0043】

【数5】

【0044】

図６は、前記フレーム間マッチング部１０７によるマッチング手順を示したフローチャートであり、ステップＳ６０１，Ｓ６０２では、それぞれ今回フレームから抽出したグラフGfの全頂点および前回フレームから抽出したグラフGf-1の全頂点の全ての組み合わせに関して、後述する頂点間の相対距離の計算が完了したか否かが判断される。完了していなければ、ステップＳ６０３以降へ進んで各頂点間の相対距離の計算が繰り返される。

【0045】

ステップＳ６０３では、各グラフGf，Gf-1の頂点座標をマッピングしたフロアマップ上での各頂点間距離SFが上式(8)に基づいて計算される。ステップＳ６０４では、第１カメラビューの座標系上での各頂点間距離Sc1が上式(9)に基づいて計算される。ステップＳ６０５では、第２カメラビューの座標系上での各頂点間距離Sc2が上式(10)に基づいて計算される。ステップＳ６０６では、前記各頂点間距離SF，Sc1，Sc2に基づいて各頂点間類似度Dist_x,yが上式(11)に基づいて計算され、ステップＳ６０７において、各頂点間の相対距離を行列要素Dist_x,yとするDist行列が完成する。

【0046】

ステップＳ６０８では、Dist行列において注目するエントリと同一行の各エントリに関して後述する全ての処理が完了したか否かが判断される。完了していなければステップＳ６０９へ進み、今回の注目エントリ(x,y)のマッチング結果Match(x,y)が初期化（＝０）される。ステップＳ６１０では、注目エントリ(x,y)の同一列に関して後述する全ての処理が完了したか否かが判断され、完了していなければステップＳ６１１へ進む。

【0047】

ステップＳ６１１では、注目エントリの相対距離Dist_x,yが取得される。ステップＳ６１２では、相対距離Dist_x,yが所定の第１閾値Dref1（ここでは、Dref1=２４）未満であるか否かが判断され、Dist_x,y＜Dref1であればステップＳ６１３以降へ進む。

【0048】

ステップＳ６１３では、注目エントリ(x,y)と同一列状の全てのエントリに関して判断が終了したか否かが判断される。最初は終了していないと判断されるのでステップＳ６１４へ進み、注目エントリと同一行の他のエントリの相対距離Dist_z,yが取得される。ステップＳ６１５では、Dist_z,y＜Dist_x,yであるか否かが判断される。Dist_z,y＜Dist_x,yでなければステップＳ６１６，Ｓ６１７へ進み、前記Dist_z,yと同一列内で相対距離が最小値Dist_x,y|minのエントリが探索される。ステップＳ６１８では、当該最小値Dist_x,y|minを与えるエントリ(x,y)のマッチング結果Match(x,y)がセットされる。

【0049】

一方、前記ステップＳ６１５において、Dist_z,y＜Dist_x,yと判断されるとステップＳ６１９，Ｓ６２０，Ｓ６２１へ進み、同一列内に相対距離Dist_x,yが４０未満となるエントリ(x,y)が存在するか否かが判断される。

【0050】

相対距離Dist_x,y＜４０のエントリが存在すればステップＳ６２２，Ｓ６２３，Ｓ６２４へ進み、同一行内で当該相対距離Distx,yよりも相対距離の小さいエントリが探索され、そのようなエントリ(x,z)が見つかると、ステップＳ６２５において、当該エントリのマッチング結果Match(x,z)がセットされる。

【0051】

図１へ戻り、マッチング結果処理部１０８は、今回フレームから抽出したグラフGfの各頂点と前回フレームから抽出したグラフGf-1の各頂点とのマッチング結果が一対一対応となるようにマッチング結果を修正すると共に、視野空間へのオブジェクトの入退が検知されていると、一対一対応とならない場合でもフレーム間マッチングの結果を正当と評価する。
図７は、前記マッチング結果処理部１０８によるマッチング結果の修正手順を示したフローチャートであり、ステップＳ７０１では、今回フレームから抽出されてマッチング結果Match(x,y)がセットされているオブジェクトの個数N1が取得される。ステップＳ７０２では、今回フレームと前回フレームとの各オブジェクトの類似度指標値Distに関する行列が取得される。
ステップＳ７０３では、同一列の全てのエントリに関して処理が完了したか否かが判断され、最初は完了していないと判断されるのでステップＳ７０４へ進み、同一行の全てのエントリに関して処理が完了したか否かが判断される。完了していなければステップＳ７０５へ進み、今回の注目エントリ(x,y)のDist(x,y)値およびマッチング結果Match(x,y)が取得される。
ステップＳ７０６では、マッチング結果Match(x,y)が参照され、セット（対応するオブジェクトとして登録されている）されていればステップＳ７０７へ進む。ステップＳ７０７では、注目エントリ(x,y)と同一列での全エントリのDist値の最小値Dist_x｜minおよび同一行での全エントリのDist値の最小値Dist_y｜minが探索される。
ステップＳ７０８では、注目エントリ(x,y)のDist(x,y)値が前記最小値Dist_x｜minおよび最小値Dist_y｜minのいずれとも一致するか否かが判断される。いずれとも一致すれば、現在のマッチング結果Match(x,y)=１を維持したままステップＳ７０４へ戻る。これに対して、少なくとも一方と一致しなければ、重複マッチングの可能性があるのでステップＳ７０９へ進み、マッチング結果Match(x,y)をリセットした後にステップＳ７０４へ戻る。
一方、前記ステップＳ７０６において、マッチング結果Match(x,y)がセットされていないと判断されるとステップＳ７１０へ進み、注目エントリ(x,y)と同一列での全エントリのDist(x,y)値の最小値Dist_x｜minおよび同一行での全エントリのDist(x,y)値の最小値Dist_y｜minであって、かつそのDist値がマッチング判定の閾値に準ずる程度に小さい（本実施形態では、2.8＜Dist値＜<100）エントリが探索される。
ステップＳ７１１では、探索結果が今回の注目エントリ(x,y)と同一であるか否かが判断される。同一であれば、ステップＳ７１２へ進んでマッチング結果Match(x,y)がセットされ、同一でなければ、現在のマッチング結果Match(x,y)=０を維持したままステップＳ７０４へ戻る。
上記の処理が全てのエントリに対して完了するとステップＳ７１３へ進み、今回フレームから抽出されてマッチング結果Match(x,y)がセットされているオブジェクトの個数N2が改めて取得される。ステップＳ７１４では、N1とN2とが比較され、N1=N2であれば当該処理を終了する。
これに対して、N1≠N2であればステップＳ７１５へ進み、オブジェクトの入退室の有無が判断される。オブジェクトの入退室が検知されていなければステップＳ７０２へ戻って当該処理が繰り返される。これに対して、オブジェクトの入退室が検知されていれば、N1≠N2の原因が当該入退室にあり、マッチング結果は正当なので当該処理を終了する。
すなわち、オブジェクトのフロアマップ上での位置p'をオブジェクト領域の中心位置または重心位置で代表したような場合、同一のオブジェクトであってもフレーム間でオブジェクト領域の大きさが異なる場合がある。そして、オブジェクト領域が大きくなるほど、オブジェクトの実際の位置とオブジェクト領域の中心位置（重心位置）との距離が大きくなる傾向があるため、フレーム間での距離が同一オブジェクトにかかわらず大きくなってマッチング関係に無いと誤判断される場合がある。
そこで、本実施形態ではこのような誤判断を修正すべく、注目エントリのDist(x,y)が同一列、同一行内で最小値であり、かつマッチング判定の閾値に準ずる程度に小さければ、マッチング結果をセットするようにした。
本実施形態では、撮影範囲の出入口近傍の所定範囲内でオブジェクトの個数を検知してフレーム間で比較し、前回フレーフとの比較で今回フレームのオブジェクト数が増えていれオブジェクトの入室があったと判断し、オブジェクト数が減っていれオブジェクトの退室があったと判断するようにしている。
よび退出を検知して処理する。

【0052】

再投影部１０９は、図８に示したように、マッチングされたグラフの各頂点VをフロアマップMf上にマッピングし、さらにフロアマップMf上の各頂点Vを各カメラビューに再投影する。これにより、各カメラ映像から抽出したオブジェクトTの対応関係を正確に識別できるようになる。

【0053】

なお、上記の実施形態では本発明をカメラが２台の場合を例にして説明したが、本発明はこれのみに限定されるものではなく、撮影範囲が広く、カメラが３台以上設置される場合にも同様に適用できる。

【0054】

図９は、５台のカメラ（cam1，cam2，cam3，cam4，cam5）が設置された例を示した図であり、このような場合、本実施形態では５台のカメラから選択した２台のカメラ間でオブジェクトの抽出、カメラ間追跡およびフレーム間追跡が実行される。例えば、cam1/cam5のカメラペア、cam2/cam5のカメラペア、cam3/cam5のカメラペアおよびcam3/cam4のカメラペアにおいて、それぞれをカメラ間追跡およびフレーム間追跡が実行される。その結果、各カレラペアでの追跡結果を、例えばフロアマップ上への各オブジェクトのマッピング位置に基づいて追跡結果を同期させることができる。

【0055】

例えば、カメラペアcam1/cam5の視野内で各カメラ映像に基づいて追跡されていたオブジェクトObj11がカメラペアcam2/cam5の視野内に移動すると、カメラペアcam2/cam5は各カメラ映像に基づいてオブジェクトObj11の追跡を開始すると同時に、カメラペアcam1/cam5による追跡結果に基づいて識別情報を受け取ることができ、これにより移動前後での一貫した追跡が可能になる。

【符号の説明】

【0056】

１０１…画像取得部，１０２…オブジェクト抽出部，１０３…マッピング部，１０４，１０６…グラフ構築部，１０５…カメラ間マッチング部，１０５ａ…マップベース距離計算部，１０５ｂ…色ベース距離計算部，１０５ｃ…ラウンドマッチング実行部，１０７…フレーム間マッチング部，１０７ａ…マップベース距離計算部，１０７ｂ…第１カメラビューベース距離計算部，１０７ｃ…第２カメラビューベース距離計算部，１０７ｄ…相対距離計算部，１０７ｅ…Dist行列構築部，１０７ｆ…ラウンドマッチング実行部，１０８…マッチング結果処理部，１０９…再投影部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】