特許7488673移動物体追跡装置、移動物体追跡方法及び移動物体追跡プログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-05-14
(45)【発行日】2024-05-22
(54)【発明の名称】移動物体追跡装置、移動物体追跡方法及び移動物体追跡プログラム
(51)【国際特許分類】
G06T 7/20 20170101AFI20240515BHJP
H04N 7/18 20060101ALI20240515BHJP
【ＦＩ】
G06T7/20
H04N7/18 D
H04N7/18 G
【請求項の数】
7
(21)【出願番号】P 2020050234
(22)【出願日】2020-03-19
(65)【公開番号】P2021149686
(43)【公開日】2021-09-27
【審査請求日】2023-02-16
(73)【特許権者】
【識別番号】000108085
【氏名又は名称】セコム株式会社
(74)【代理人】
【識別番号】100086232
【弁理士】
【氏名又は名称】小林 博通
(74)【代理人】
【識別番号】100210240
【弁理士】
【氏名又は名称】太田 友幸
(72)【発明者】
【氏名】水戸 豪二
(72)【発明者】
【氏名】宗片 匠
【審査官】新井 則和
(56)【参考文献】
【文献】特開２０１６－１７０６０３（ＪＰ，Ａ）
【文献】特開２０１９－０６１４０７（ＪＰ，Ａ）
【文献】Jeroen S. Van Gastel et al.，Occlusion-Robust Pedestrian Tracking in Crowded Scenes，2015 IEEE 18th International Conference on Intelligent Transportation Systems，2015年09月15日，https://ieeexplore.ieee.org/document/7313246
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ ７／２０
Ｈ０４Ｎ ７／１８
(57)【特許請求の範囲】
【請求項1】
順次撮影した撮影画像に基づいて１又は複数の移動物体を追跡する移動物体追跡装置であって、前記撮影画像に撮影された前記移動物体の混雑度を推定する混雑度推定手段と、
前記混雑度に応じて各移動物体の候補位置数を割り当てる候補位置数割当手段と、
前記各移動物体に割り当てられた前記候補位置数と同じ数だけ、過去の前記移動物体の位置から現時刻における前記移動物体の候補位置を求める候補位置設定手段と、
前記各移動物体における前記複数の候補位置に基づいて、現時刻における前記移動物体の物体位置を求める物体位置判定手段と、
を備え、
前記候補位置数割当手段は、前記混雑度が高いほど前記移動物体の候補位置数を多く割り当てることを特徴とする移動物体追跡装置。
【請求項2】
前記混雑度推定手段は、前記撮影画像を入力されると当該撮影画像内の任意の位置の前記混雑度を出力するよう予め学習した推定器に前記撮影画像を入力して前記撮影画像内の任意の位置の前記混雑度を推定し、前記候補位置数割当手段は、前記撮影画像上の当該移動物体の物体位置または候補位置の前記混雑度に応じて各移動物体の候補位置数を割り当てることを特徴とする請求項１記載の移動物体追跡装置。
【請求項3】
前記候補位置数割当手段は、１時刻における全追跡対象の前記移動物体の前記候補位置の総和が総数上限値に収まるように各移動物体の候補位置数を圧縮することを特徴とする請求項１または２記載の移動物体追跡装置。
【請求項4】
前記候補位置設定手段は、前記混雑度が小さいほど前記移動物体の前記候補位置を設定する範囲を広くすることを特徴とする請求項１～３のうち何れかに記載の移動物体追跡装置。
【請求項5】
順次撮影した撮影画像に基づいて１又は複数の移動物体を追跡する移動物体追跡装置であって、
前記撮影画像に撮影された前記移動物体の混雑度を推定する混雑度推定手段と、
前記混雑度に応じて各移動物体の候補位置数を割り当てる候補位置数割当手段と、
前記各移動物体に割り当てられた前記候補位置数と同じ数だけ、過去の前記移動物体の位置から現時刻における前記移動物体の候補位置を求める候補位置設定手段と、
前記各移動物体における前記複数の候補位置に基づいて、現時刻における前記移動物体の物体位置を求める物体位置判定手段と、
を備え、
前記混雑度が一定以上の領域では、前記候補位置数割当手段、前記候補位置設定手段、前記物体位置判定手段での処理を行わず、
順次撮影した前記撮影画像上における移動物体群の位置を記憶することを特徴とする移動物体追跡装置。
【請求項6】
順次撮影した撮影画像に基づいて１又は複数の移動物体を追跡する移動物体追跡装置による移動物体追跡方法であって、前記撮影画像に撮影された前記移動物体の混雑度を推定し、
前記混雑度が高いほど前記各移動物体の候補位置数を多く割り当て、
前記各移動物体に割り当てられた前記候補位置数と同じ数だけ、過去の前記移動物体の位置から現時刻における前記移動物体の候補位置を求め、
前記各移動物体における前記複数の候補位置に基づいて、現時刻における前記移動物体の物体位置を求める
ことを特徴とする移動物体追跡方法。
【請求項7】
順次撮影した撮影画像に基づいて１又は複数の移動物体を追跡する移動物体追跡装置において実行される移動物体追跡プログラムであって、前記撮影画像に撮影された前記移動物体の混雑度を推定する処理と、
前記混雑度に応じて各移動物体の候補位置数を割り当てる処理と、
前記各移動物体に割り当てられた前記候補位置数と同じ数だけ、過去の前記移動物体の位置から現時刻における前記移動物体の候補位置を求める処理と、
前記各移動物体における前記複数の候補位置に基づいて、現時刻における前記移動物体の物体位置を求める処理と、
を実行させ、
前記候補位置数を割り当てる処理は、前記混雑度が高いほど前記移動物体の候補位置数を多く割り当てることを特徴とする移動物体追跡プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、 順次撮影した撮影画像に基づいて移動物体を追跡する技術に関する。
【背景技術】
【0002】
警備等の目的で、カメラによって順次撮影した撮影画像を解析して人等の移動物体を追跡することが行われ、追跡の処理に用いられる手法のひとつとしてパーティクルフィルタ（Particle Filter）が知られている。パーティクルフィルタによれば、追跡中の移動物体それぞれの移動先の候補（候補位置）を表す多数の仮説を設定し、撮影画像において各候補位置に当該移動物体の特徴が現れている度合いに基づいて当該移動物体の位置を決定する。
【0003】
例えば、特許文献１には、移動物体を構成するパーツごとに候補位置を設定する移動物体追跡装置が記載されている。この移動物体追跡装置においては、各移動物体に設定する候補位置の総数が予め定められており、各パーツに割り当てる候補位置の個数を当該パーツの過去追跡信頼度に応じて定めることによって、姿勢変動によるオクルージョンが原因で追跡困難となったパーツの仮説を他のパーツに割り当てて追跡に有効な仮説の減少を防止している。
【先行技術文献】
【特許文献】
【0004】
【文献】特開２０１６－１７０６０３号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、従来技術においては、１移動物体当たりの候補位置の個数が固定値であったため、イベント会場のように人が多く集まるエリアでの追跡に適用した場合、混雑度が高まると１撮影画像当たりの候補位置の個数が増加しすぎて追跡処理の大幅な遅延を生じさせる問題があった。
【0006】
また、遅延防止のために、１撮影画像当たりの候補位置の個数を定め、当該個数を追跡中の移動物体で等分することも考えられる。しかし、その場合、混雑度が高まると１移動物体当たりの候補位置の個数が少なくなり過ぎて追跡精度が低下する問題があった。
【0007】
本発明は、上記問題を鑑みてなされたものであり、移動物体の混雑度が高くなった場合でも追跡処理の遅延と精度低下を抑制できる移動物体追跡技術を提供することを目的とする。
【課題を解決するための手段】
【0008】
（１）本発明に係る移動物体追跡装置は、順次撮影した撮影画像に基づいて１又は複数の移動物体を追跡する移動物体追跡装置であって、前記撮影画像に撮影された前記移動物体の混雑度を推定する混雑度推定手段と、前記混雑度に応じて各移動物体の候補位置数を割り当てる候補位置数割当手段と、前記各移動物体に割り当てられた前記候補位置数と同じ数だけ、過去の前記移動物体の位置から現時刻における前記移動物体の候補位置を求める候補位置設定手段と、前記各移動物体における前記複数の候補位置に基づいて、現時刻における前記移動物体の物体位置を求める物体位置判定手段と、を備える。
【0009】
（２）上記（１）に記載する本発明に係る移動物体追跡装置において、前記混雑度推定手段は、前記撮影画像を入力されると当該撮影画像内の任意の位置の前記混雑度を出力するよう予め学習した推定器に前記撮影画像を入力して前記撮影画像内の任意の位置の前記混雑度を推定し、前記候補位置数割当手段は、前記撮影画像上の当該移動物体の物体位置または候補位置の前記混雑度に応じて各移動物体の候補位置数を割り当てる。
【0010】
（３）上記（１）または（２）に記載する本発明に係る移動物体追跡装置において、前記候補位置数割当手段は、前記混雑度が高くなるにつれて前記移動物体の候補位置数を多く割り当てる。
【0011】
（４）上記（３）に記載する本発明に係る移動物体追跡装置において、前記候補位置数割当手段は、１時刻における全追跡対象の前記移動物体の前記候補位置の総和が総数上限値に収まるように各移動物体の候補位置数を圧縮する。
【0012】
（５）上記（１）～（４）に記載する本発明に係る移動物体追跡装置において、前記候補位置設定手段は、前記混雑度が小さいほど前記移動物体の前記候補位置を設定する範囲を広くする。
【0013】
（６）上記（１）に記載する本発明に係る移動物体追跡装置において、前記混雑度が一定以上の領域では、前記候補位置数割当手段、前記候補位置設定手段、前記物体位置判定手段での処理を行わず、順次撮影した前記撮影画像上における移動物体群の位置を記憶する。
【発明の効果】
【0014】
本発明によれば、移動物体の混雑度が高くなった場合でも追跡処理の遅延と精度低下を抑制できる。
【図面の簡単な説明】
【0015】
【図1】移動物体追跡装置の概略の構成を示すブロック図である。
【図2】移動物体追跡装置の概略を示す機能ブロック図である。
【図3】混雑度推定部による処理を示す模式図である。
【図4】混雑度に比例した候補位置数の関数を示す図である。
【図5】実施形態に係る移動物体追跡装置の全体的な処理を示す概略のフロー図である。
【図6】変形例における混雑度に応じた候補位置数の関数を示す図である。
【発明を実施するための形態】
【0016】
以下、本発明の実施の形態（以下実施形態という）について、図面に基づいて説明する。本実施形態は、撮影部と表示部とがコンピュータに接続された移動物体追跡装置であり、撮影部により順次撮影された撮影画像をコンピュータが解析して移動物体である人の追跡を行う。
【0017】
本実施形態にて一例として示す移動物体追跡装置１は、移動物体ごとに、過去の位置から現時刻における位置の候補を求め、現時刻の撮影画像において候補の位置に当該移動物体の画像特徴が現れている度合いに基づいて現時刻の位置を求めるものである。以下、移動物体の位置の候補を候補位置と称する。候補位置は１時刻、１移動物体当たり複数設定されるものとし、その個数を候補位置数と称する。また、移動物体の位置を物体位置と称する。物体位置は１時刻、１移動物体当たり１つ設定されるものとする。すなわち、候補位置は物体位置の候補であり、複数の候補位置を統合して１つの物体位置が決定される。なお移動物体追跡装置１は混雑度に応じて各移動物体の候補位置数を割り当てることを特徴としている。
【0018】
図１は移動物体追跡装置１の概略の構成を示すブロック図である。移動物体追跡装置１は撮影部２、通信部３、記憶部４、画像処理部５および表示部６からなる。
【0019】
撮影部２はいわゆる監視カメラである。撮影部２は通信部３を介して画像処理部５と接続され、監視空間を所定の時間間隔で撮影して画像を生成し、生成した画像を順次、画像処理部５に入力する。例えば、撮影部２は、監視空間であるイベント会場に立てられたポールに当該監視空間に存在する人を俯瞰する固定視野を有して設置され、監視空間を時間間隔１／５秒で撮影してカラー画像を生成する。なお、撮影部２はカラー画像の代わりにモノクロ画像を生成してもよい。
【0020】
通信部３は通信回路であり、その一端が画像処理部５に接続され、他端が撮影部２および表示部６と接続される。通信部３は撮影部２から画像を取得して画像処理部５に入力する。また、通信部３は画像処理部５から移動物体の追跡結果を表示部６へ出力する。
【0021】
なお、撮影部２、通信部３、記憶部４、画像処理部５および表示部６の間は各部の設置場所に応じた形態で適宜接続される。例えば、撮影部２と通信部３および画像処理部５とが遠隔に設置される場合、撮影部２と通信部３との間をインターネット回線にて接続することができる。また、通信部３と画像処理部５との間はバスで接続する構成とすることができる。その他、接続手段として、ＬＡＮ（Local Area Network）、各種ケーブルなどを用いることができる。
【0022】
記憶部４は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等のメモリ装置であり、各種プログラムや各種データを記憶する。例えば、記憶部４は学習用のデータや、学習済みモデルである推定器の情報を記憶し、画像処理部５との間でこれらの情報を入出力する。すなわち、推定器の学習に用いる情報や当該処理の過程で生じた情報などが記憶部４と画像処理部５との間で入出力される。
【0023】
画像処理部５は、ＣＰＵ（Central Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＭＣＵ（Micro Control Unit）、ＧＰＵ(Graphics Processing Unit)等の演算装置で構成される。画像処理部５は記憶部４からプログラムを読み出して実行することにより各種の処理手段・制御手段として動作し、必要に応じて、各種データを記憶部４から読み出し、生成したデータを記憶部４に記憶させる。例えば、画像処理部５は推定器を学習し生成すると共に、生成した推定器を通信部３経由で記憶部４に記憶させる。
【0024】
表示部６は、液晶ディスプレイまたは有機ＥＬ（Electro-Luminescence）ディスプレイ等であり、通信部３を経由して画像処理部５から入力される移動物体の追跡結果を表示する。
【0025】
図２は移動物体追跡装置１の概略の機能ブロック図であり、記憶部４が混雑度記憶手段４０、物体情報記憶手段４１として機能し、画像処理部５が混雑度推定手段５０、候補位置数割当手段５１、候補位置設定手段５２、物体位置判定手段５３として機能する。また、通信部３が画像処理部５と協働し、画像取得手段３０および追跡結果出力手段３１として機能する。
【0026】
画像取得手段３０は撮影部２から順次撮影した撮影画像を取得して混雑度推定手段５０および物体位置判定手段５３に出力する。
【0027】
混雑度推定手段５０は、撮影画像に撮影された移動物体の混雑度を推定する。混雑度推定手段５０は、例えば、１時刻前の物体位置の数を撮影画像全体または撮影画像を複数のブロックに分割したブロックごとに計数することによって現時刻の混雑度（の近似値）を推定してもよい。しかし、追跡結果から混雑度を算出し、その混雑度を追跡に用いた場合、追跡精度が下がると追跡結果に基づいた混雑度の推定精度も低下してしまい、追跡精度の低下が倍化してしまう。そのため、追跡や混雑度推定の誤差が倍化してしまわないよう、追跡とは独立した処理によって混雑度を推定するのが望ましい。
【0028】
すなわち好適には混雑度推定手段５０は過去の撮影画像に基づかずに現時刻の撮影画像から現時刻の撮影画像上の任意の位置に撮影された移動物体の混雑度を推定する。本実施形態においては、混雑度推定手段５０は、撮影画像を入力されると当該撮影画像内の任意の位置の混雑度を出力するよう予め学習した推定器に撮影画像を入力して撮影画像内の任意の位置の混雑度を推定する。具体的には、混雑度推定手段５０は、撮影画像を入力されると各画素の混雑度を推定した混雑度マップを出力するよう予め学習した推定器に、撮影画像を入力して当該撮影画像の混雑度マップを出力させ、得られた混雑度マップを混雑度記憶手段４０に記憶させる。
【0029】
推定器は具体的にはディープラーニングの技術を用いて実現できる。すなわち推定器は撮影画像を入力されると当該撮影画像の混雑度マップを出力するＣＮＮ（畳み込みニューラルネット―ワーク；convolutional neural network）でモデル化することができる。学習のために、例えば、群衆が撮影された大量の学習用画像と、学習用画像それぞれにおける各人の頭部の重心位置を平均値とし当該頭部のサイズに応じた分散を有する確率密度関数を設定して頭部ごとの当該関数の値を画素ごとに加算した混雑度マップとが用意される。そして、モデルに学習用画像それぞれを入力したときの出力を当該画像に対応する混雑度マップに近づける学習が事前に行われる。こうして得られた学習済みモデルを混雑度推定手段５０のプログラムの一部をなす推定器として記憶部４に記憶させておく。例えば、“Single image crowd counting via multi-column convolutional neural network”, Zhang, Y. ,Zhou他, CVPR 2016に記載されているＭＣＮＮ（multi-column convolutional neural network）は推定器の一例であり、当該論文に記載されている群衆密度マップ（crowd density map）は混雑度マップの一例である。
【0030】
また、混雑度推定手段５０は、混雑度が閾値Ｔ３以上である超高混雑領域を検出して、超高混雑領域の情報を混雑度記憶手段４０に記憶させる。超高混雑領域は俯角が小さな位置（横から撮影したようになる位置）に移動物体が密集した場合に生じる。例えば移動物体が人であれば超高混雑領域では頭と肩付近しか写らなくなる上に頭同士のオクルージョンが生じて追跡困難となる。閾値Ｔ３は事前の実験を通じて予め定めておく。
【0031】
混雑度記憶手段４０は、撮影画像に対して推定された混雑度を記憶する。具体的には最新所定数の混雑度マップを循環記憶する。図３は混雑度推定手段５０の処理を示す模式図である。図３（ａ）の撮影画像に対し、出力された混雑度マップが図３（ｂ）である。また、図３（ｃ）は図３（ａ）の直線５１０上の混雑度を示したものである。混雑している場所ほど高い値が出力され、人物５０１，５０２，５０３の位置における混雑度はそれぞれ０．２，１．２，２．８と推定される。
【0032】
物体情報記憶手段４１は、追跡中の移動物体の情報（物体情報）を記憶する。具体的には、追跡中の移動物体それぞれを識別する物体ＩＤと対応付けて、当該移動物体のテンプレート、当該移動物体の物体位置、当該移動物体の仮説を記憶する。また、物体情報記憶手段４１は、移動物体の形状モデルを記憶する。
【0033】
移動物体のテンプレートの一例は撮影画像から該当する人物の領域を切り出したテンプレート画像である。テンプレート画像に代えて、又はそれと併せて、テンプレート画像から算出される色ヒストグラムや輝度勾配等の特徴量などとしてもよい。移動物体の仮説は、物体ＩＤ、仮説ＩＤ、候補位置及び尤度などを対応付けた情報であり、移動物体と候補位置の組み合わせの数だけ生成される。なお、移動物体の物体位置や候補位置は、撮影画像の水平方向、垂直方向をそれぞれｘ軸，ｙ軸とし、撮影画像における位置をｘ座標，ｙ座標の組（ｘ，ｙ）で表す。移動物体の形状モデルの一例は立位の人を近似した楕円の図形データである。楕円に代えて矩形、又は頭部・胴部・脚部をそれぞれ近似した楕円を３つ連結した図形としてもよい。好適には形状モデルは撮影画像内の各位置の人の像の大きさの違いに対応させ、基準の図形データおよび位置と図形データの大きさを対応付けたデータで構成する。
【0034】
候補位置数割当手段５１は混雑度に応じて各移動物体に候補位置数を割り当てる。その一例として、候補位置数割当手段５１が、混雑度が高くなるにつれて移動物体の候補位置数を多く割り当てる。
【0035】
基本的には、候補位置数を増やせば、真の物体位置からのずれ（位置ずれ）の小さな候補位置が含まれる可能性が高まるため移動物体間の比較を厳格化でき、追跡精度を高めることができる。例えば真の物体位置からずれたテンプレートマッチングは背景の特徴量との比較が混ざるため移動物体の特徴量同士の厳格な比較とならない。
【0036】
しかし、候補位置数を増やすほど処理負荷は増加する。そして、混雑度が高まるほど移動物体間の距離は近くなる上に近接移動物体の数も増えるため位置ずれによる追跡精度低下が生じやすくなる。他方、混雑度が低くなるほど移動物体間の距離は遠くなり近接移動物体の数は減るため位置ずれによる追跡精度低下は生じにくくなる。
【0037】
よって、混雑度が高まるほど各移動物体の候補位置数を増やすことで混雑による追跡精度低下を防止でき、混雑度が低い場合は各移動物体の候補位置数を少なく抑えることで処理負荷を抑えることができるようになる。
【0038】
このようにすることで、例えば、撮影画像全体で一つの混雑度を推定する場合、混雑度が高い期間に処理の遅延が生じてもその後の混雑度が低下した期間に短時間で遅延を解消できる。また、例えば、複数の撮影部で撮影した撮影画像ごとに一つの混雑度を推定する場合、撮影画像間での移動物体の分布の偏りを利用して、混雑による追跡精度低下を防止しつつ処理負荷を抑えることができる。
【0039】
また、候補位置数割当手段５１が、撮影画像における移動物体それぞれの物体位置の混雑度に応じて当該移動物体の候補位置数を割り当てる構成としてもよい。つまり、物体位置における混雑度が高いと予測される移動物体については候補位置数を増やし、物体位置における混雑度が低いと予測される移動物体の候補位置数を少なく抑える。こうすることで、撮影画像内における移動物体の分布の偏りを利用して、混雑による追跡精度低下を防止しつつ処理負荷を抑えることができる。
【0040】
具体的には、候補位置数割当手段５１は、混雑度記憶手段４０に記憶されている混雑度マップと物体情報記憶手段４１に記憶されている各移動物体の物体位置および移動物体の数とを参照して、各移動物体の候補位置数を決定し、決定した候補位置数を候補位置設定手段５２に出力する。
【0041】
候補位置数割当手段５１による移動物体それぞれに割り当てる候補位置数の算出方法の具体例を示す。図４に示す関数（ａ）～（ｄ）は、混雑度に応じた候補位置数を算出する関数であり、これに基づき混雑度から候補位置数を算出する。
【0042】
（ｄ）は最も単純な候補位置数を算出する関数であり、混雑度に比例して候補位置数が多くなる。これに対して（ｃ）では混雑度が閾値Ｔ１未満の場合は候補位置数は一定であり混雑度が閾値Ｔ１以上である場合は混雑度に比例して候補位置数が多くなる。混雑度が閾値Ｔ１未満の場合の候補位置数は１移動物体に割り当てる候補位置数の最小値であり事前の実験を通じて設定される。最小値を設定することで混雑度推定の誤差の影響で実際には移動物体が存在する位置の混雑度が低い値となり候補位置数が極端に少なく設定されてしまうことを防ぐことができる。一方で、追跡人物が移動可能な範囲は、ある程度限られており、候補位置数を必要以上に増やしても精度の向上は期待できない。このため（ｂ）では候補位置数が一定数（最大値）に到達する閾値Ｔ２以上の混雑度である場合は混雑度がさらに上昇したとしても候補位置数を最大値で一定としている。（ａ）は候補位置数に最小値と最大値の両方が設定されている関数である。また、図４中のＴ３は超高混雑領域を弁別するための閾値である。
【0043】
［総数上限値による候補位置数の圧縮］
上記関数で追跡人物に対する候補位置数を定めた場合、高混雑領域に存在する人物の数が増えてくると、全追跡人物の候補位置数の合計が大きくなり処理に遅延が発生する。
上記関数で追跡人物に対する候補位置数を定めた場合、高混雑領域に存在する人物の数が増えてくると、全追跡人物の候補位置数の合計が大きくなり処理に遅延が発生する。
【0044】
例えば監視空間が交差点の信号待ち領域である場合、混雑度が信号の周期によって定期的に変動するため、一時的に高混雑状況に伴う遅延が発生しても、混雑解消以降に遅延を復旧することが可能である。一方で、イベント会場の入退場口などでは、混雑が長時間継続する可能性がある。このような監視空間では、遅延が発生すると復旧するのが困難であるため、あらかじめ候補位置数に総数上限値を設け遅延を発生させないことが望ましい。
【0045】
具体的には各人物に対し上記処理において１時刻における全追跡対象の移動物体の候補位置の総和が総数上限値に収まるように一度求めた各移動物体の候補位置数を圧縮する。ある追跡人物ｉに対する候補位置数は、混雑度ｄiと関数ｆ（ｘ）から求まる圧縮前の候補位置数をｆ（ｄi）とすると以下の（１）式とすることができる。なお、総数上限値は、１時刻に割り当てる候補位置の上限数である。換言すると候補位置数の総和の上限値である。総数上限値は、予め移動物体追跡装置の性能等に応じて処理の遅延が生じない範囲の値に定める。
【0046】
【数1】
【0047】
ここで、ｍｉｎ（１．０，総数上限値／Σjｆ（ｄj））は候補位置数の圧縮率であり、１．０を最大値とすることで、総候補位置数Σjｆ（ｄj）が総数上限値に到達していない場合は、候補位置数を維持している。これは、圧縮前の候補位置数が必要十分数であるということを前提にしているためである。このように総数上限値を設けることで、総数上限値を超えない範囲で混雑度に応じた候補位置数の割り当てが可能となるため、混雑が長時間継続する監視空間であっても追跡精度低下を防止しつつ遅延の発生を防止できる。
【0048】
［各追跡人物に対する候補位置数の下限数］
総数上限値を用いて候補位置数を圧縮する場合、圧縮された候補位置数が著しく少ない数となり、極端に低混雑領域での追跡性能が低下する可能性がある。これを防ぐため、追跡人物に対する候補位置数の下限数を設定してもよい。（２）式は各移動物体に下限数を割り当てたうえで、総数上限値から割り当て済みの候補位置数を減じ残余数とし、各移動物体の圧縮前の候補位置数から下限数を除いた数の比に応じて分配する。なお、下限数は、１移動物体に割り当てる候補位置の下限数である。下限数は、予めの実験を通じ、混雑度が低い状態で目標値以上の追跡精度が得られる最小の割当数に定める。
総数上限値を用いて候補位置数を圧縮する場合、圧縮された候補位置数が著しく少ない数となり、極端に低混雑領域での追跡性能が低下する可能性がある。これを防ぐため、追跡人物に対する候補位置数の下限数を設定してもよい。（２）式は各移動物体に下限数を割り当てたうえで、総数上限値から割り当て済みの候補位置数を減じ残余数とし、各移動物体の圧縮前の候補位置数から下限数を除いた数の比に応じて分配する。なお、下限数は、１移動物体に割り当てる候補位置の下限数である。下限数は、予めの実験を通じ、混雑度が低い状態で目標値以上の追跡精度が得られる最小の割当数に定める。
【0049】
【数2】
【0050】
候補位置数割当手段５１は、各移動物体について、当該移動物体の物体位置から当該移動物体が存在し得る領域を求め、混雑度マップから当該領域の混雑度を取得して当該移動物体が存在し得る領域についての混雑度とする。本実施形態においては、候補位置数割当手段５１は、人物ごとに、物体情報記憶手段４１に記憶されている過去の物体位置に現時刻の物体位置を外挿し、外挿した現時刻の物体位置の混雑度を取得する。ただし、過去の物体位置が２つ以上存在しない人物については１時刻前の物体位置の混雑度を取得する。その場合は混雑度マップも１時刻前のものを用いることが望ましい。別の実施形態においては、候補位置数割当手段５１は、人物ごとに、外挿した現時刻の物体位置とその周囲の混雑度を読み取ってそれらの代表値を移動物体が存在し得る領域についての混雑度とする。代表値は平均値、最頻値または最大値とすることができる。ただし、過去の物体位置が２つ以上存在しない人物については１時刻前の物体位置とその周囲の混雑度の代表値とする。さらに、１時刻前の混雑度マップに１時刻前の候補位置を適用して混雑度を取得しても良い。その場合、１時刻前の混雑度を１時刻前の候補位置の尤度で重み付け平均して移動物体の混雑度を算出する。
【0051】
候補位置設定手段５２は、各移動物体に割り当てられた候補位置数と同じ数だけ、過去の移動物体の位置から現時刻における移動物体の候補位置を求める。すなわち、追跡中の各移動物体について、当該移動物体の過去の物体位置、または、過去の候補位置、または、過去の物体位置および候補位置から当該移動物体の現時刻の候補位置を当該移動物体に割り当てられた候補位置数と同数だけ設定し、当該移動物体の各候補位置を含んだ仮説を設定する。
【0052】
具体的には、候補位置数割当手段５１から入力された候補位置数と物体情報記憶手段４１に記憶されている各移動物体の過去の物体位置または／および過去の仮説を必要に応じて参照して、各移動物体に対する現時刻の仮説を設定し、設定した仮説を物体情報記憶手段４１に記憶させる。さらに、混雑度記憶手段４０から混雑度マップを入力して、それを参照してもよい。
【0053】
候補位置設定手段５２は、移動物体のそれぞれについて、現時刻において移動物体の存在が予測される候補位置を設定する。現時刻ｔにおける第ｉ番の候補位置Ｐi,tは過去の物体位置又は過去の候補位置に基づき、次の３つの方法のいずれかにより算出することができる。
【0054】
〔第１方法〕
一時刻前の物体位置Ｑt-1を中心に候補位置Ｐi,tを分布させる方法である。候補位置設定手段５２は、移動物体ごとに、乱数に基づいて拡散量Δ０を設定しては物体位置Ｑt-1に拡散量Δ０を加算して候補位置Ｐi,tとする処理（Ｐi,t＝Ｑt-1＋Δ０）を候補位置数と同じ回数だけ行う。
一時刻前の物体位置Ｑt-1を中心に候補位置Ｐi,tを分布させる方法である。候補位置設定手段５２は、移動物体ごとに、乱数に基づいて拡散量Δ０を設定しては物体位置Ｑt-1に拡散量Δ０を加算して候補位置Ｐi,tとする処理（Ｐi,t＝Ｑt-1＋Δ０）を候補位置数と同じ回数だけ行う。
【0055】
〔第２方法〕
現在の物体位置を予測した予測値ｑtを中心に候補位置Ｐi,tを分布させる方法である。候補位置設定手段５２は、移動物体ごとに、まず過去の複数の物体位置に等速運動モデル等の運動モデル又はカルマンフィルタ等の予測フィルタを適用して予測値ｑtを予測し、次に乱数に基づいて拡散量Δ１を設定しては予測値ｑtに拡散量Δ１を加算して候補位置Ｐi,tとする処理（Ｐi,t＝ｑt＋Δ１）を候補位置数と同じ回数だけ行う。
現在の物体位置を予測した予測値ｑtを中心に候補位置Ｐi,tを分布させる方法である。候補位置設定手段５２は、移動物体ごとに、まず過去の複数の物体位置に等速運動モデル等の運動モデル又はカルマンフィルタ等の予測フィルタを適用して予測値ｑtを予測し、次に乱数に基づいて拡散量Δ１を設定しては予測値ｑtに拡散量Δ１を加算して候補位置Ｐi,tとする処理（Ｐi,t＝ｑt＋Δ１）を候補位置数と同じ回数だけ行う。
【0056】
〔第３方法〕
過去の候補位置から現在の候補位置を予測する方法である。まず、候補位置設定手段５２は、移動物体ごとに、候補位置数と同数の仮説を、重複を許容して１時刻前の仮説の中から乱数に基づいて選出する。１時刻前の各仮説の当選確率は、例えば、当該移動物体の１時刻前の仮説の尤度の総和に対する当該仮説の尤度の比とする。次に、候補位置設定手段５２は、移動物体ごとに、選出した各仮説について、当該仮説および当該仮説に対応する過去の複数の仮説の候補位置に上記運動モデル又は上記予測フィルタを適用して予測値ｑi,tを算出するとともに乱数に基づいて拡散量Δ２を設定し、予測値ｑi,tに拡散量Δ２を加算して候補位置Ｐi,tとする（Ｐi,t＝ｑi,t＋Δ２）。
過去の候補位置から現在の候補位置を予測する方法である。まず、候補位置設定手段５２は、移動物体ごとに、候補位置数と同数の仮説を、重複を許容して１時刻前の仮説の中から乱数に基づいて選出する。１時刻前の各仮説の当選確率は、例えば、当該移動物体の１時刻前の仮説の尤度の総和に対する当該仮説の尤度の比とする。次に、候補位置設定手段５２は、移動物体ごとに、選出した各仮説について、当該仮説および当該仮説に対応する過去の複数の仮説の候補位置に上記運動モデル又は上記予測フィルタを適用して予測値ｑi,tを算出するとともに乱数に基づいて拡散量Δ２を設定し、予測値ｑi,tに拡散量Δ２を加算して候補位置Ｐi,tとする（Ｐi,t＝ｑi,t＋Δ２）。
【0057】
本実施形態においては、速度が算出可能になるまでは第１方法（物体位置判定手段５３が新規移動物体として登録した時刻を含め２時刻～５時刻）で候補位置が算出され、速度が算出可能になって以降は第３方法で候補位置が算出される。
【0058】
また、混雑度が小さいほど移動物体の候補位置を設定する範囲を広くしてもよい。すなわち、候補位置設定手段５２は、上記第１方法から第３方法に記載された拡散量Δ０～Δ２を混雑度が小さいほど大きな量とする。例えば、拡散量Δ０～Δ２は、混雑度の高い領域にいる人物に対しては０ｃｍ～６０ｃｍの範囲に設定され、混雑度の低い領域にいる人物に対しては、３０ｃｍ～１００ｃｍの範囲に設定される。このようにする理由は以下の通りである。すなわち混雑度が小さいと移動物体が動き得る範囲が広くなるため候補位置を広い範囲に設定しなければ対応づけのし損ねが生じやすくなる。そこで候補位置を設定する範囲を混雑度に基づいて制御することで混雑度が小さい場合の対応付けのし損ねを防止できる。特に、追跡とは独立して推定した混雑度で追跡のパラメータを制御できるため、信頼性の高い制御が可能となる。
【0059】
物体位置判定手段５３は、各移動物体における複数の候補位置に基づいて、現時刻における移動物体の物体位置を求める。すなわち、追跡中の各移動物体について、当該移動物体に対して現時刻に設定された複数の仮説それぞれが示す候補位置に対応する現時刻の撮影画像上の位置に当該移動物体の特徴量が現れている度合いを仮説の尤度として算出し、複数の仮説が示す候補位置を当該仮説の尤度の高さに応じて統合することによって当該移動物体の現時刻における物体位置を算出する。ただし、撮影画像外に位置している仮説および超高混雑度領域に位置している仮説については、尤度の信頼性が低くなるため予め算出対象から除外する。
【0060】
具体的には、物体位置判定手段５３は、物体情報記憶手段４１に記憶されている各移動物体の現時刻の仮説と形状モデルとテンプレートとを読み出し、各移動物体について、当該移動物体の仮説が示す候補位置に形状モデルを配置して形状モデルと重なる領域の部分画像を撮影画像から抽出し、部分画像の画像特徴と当該移動物体のテンプレートの画像特徴との類似度を算出し、類似度に応じた尤度を算出する。また、物体位置判定手段５３は物体情報記憶手段４１に尤度を仮説に対応付けて追加記憶させる。
【0061】
その際、物体位置判定手段５３は、さらに、背景画像と撮影画像との差分処理を行って背景差分領域を検出し、各移動物体について、当該移動物体の部分画像において背景差分領域が占める割合に応じた補正値で尤度を補正してもよい。背景画像は後述する新規移動物体の検出処理のために記憶部４に記憶されている。
【0062】
物体位置判定手段５３は、移動物体ごとに、当該移動物体の仮説が示す候補位置を当該仮説の尤度に基づいて統合して当該移動物体の物体位置を算出する。好適には、当該移動物体の仮説が示す候補位置を当該仮説の尤度で重みづけて平均した重み付け平均値を当該移動物体の物体位置とする。また、予め設定された閾値ＴＬ以上の尤度を複数選出し、選出された尤度と組をなしている候補位置を当該尤度で重み付けて平均した重み付け平均値を物体位置と判定することもできる。また、尤度の高い順に上位所定個数の尤度を選出し、選出された尤度と組をなしている候補位置を当該尤度で重み付けて平均した重み付け平均値を物体位置と判定することもできる。また、各移動物体について最大の尤度を選出するとともに当該尤度と閾値ＴＬとを比較し、最大の尤度が閾値ＴＬ以上であれば当該尤度と組をなしている候補位置を物体位置と判定してもよい。
【0063】
算出した尤度を仮説に対応付けて物体情報記憶手段４１に記憶させ、算出した物体位置を移動物体と対応付けて物体情報記憶手段４１に記憶させる。
【0064】
また、物体位置判定手段５３は、追跡中の移動物体について、物体位置やテンプレートの更新処理を行うと共に、新規移動物体の存在を判定し、当該新規移動物体について物体情報を登録する処理、及び消失移動物体についての処理を行う。以下、追跡中の移動物体についての処理、新規移動物体についての処理、及び消失移動物体についての処理を順次、説明する。
【0065】
〔追跡中の移動物体〕
物体位置判定手段５３は物体位置が判定された移動物体について、物体情報記憶手段４１に、当該判定された物体位置を追加記憶させ、当該移動物体のテンプレートを現時刻の画像特徴により更新する。更新は、抽出された画像特徴を、記憶されている画像特徴と置き換えてもよいし、抽出された画像特徴と記憶されている画像特徴とを重み付け平均してもよい。
物体位置判定手段５３は物体位置が判定された移動物体について、物体情報記憶手段４１に、当該判定された物体位置を追加記憶させ、当該移動物体のテンプレートを現時刻の画像特徴により更新する。更新は、抽出された画像特徴を、記憶されている画像特徴と置き換えてもよいし、抽出された画像特徴と記憶されている画像特徴とを重み付け平均してもよい。
【0066】
〔新規移動物体〕
物体位置判定手段５３は、監視空間に移動物体が存在しないときに撮影された背景画像と撮影画像との差分処理を行って背景差分領域を検出するとともに、現時刻の物体位置それぞれに形状モデルを配置していずれの形状モデルとも重ならない背景差分領域を抽出する。そして、物体位置判定手段５３は、非重複の背景差分領域が移動物体（人）として有効な面積を有していれば、非重複の背景差分領域に新規移動物体が存在すると判定する。物体位置判定手段５３は、非重複の背景差分領域に形状モデルを当てはめて新規移動物体の物体位置および領域を決定し、物体ＩＤと対応付けて当該移動物体のテンプレート、当該移動物体の物体位置を物体情報記憶手段４１に記憶させる。また、物体位置判定手段５３は、移動物体が存在しないときの撮影画像を背景画像として記憶部４に記憶させ、背景差分領域が検出されなかった領域の撮影画像で背景画像を更新する。なお尤度の算出に際して背景差分領域を検出する場合は改めての検出を行わずに流用すればよい。
物体位置判定手段５３は、監視空間に移動物体が存在しないときに撮影された背景画像と撮影画像との差分処理を行って背景差分領域を検出するとともに、現時刻の物体位置それぞれに形状モデルを配置していずれの形状モデルとも重ならない背景差分領域を抽出する。そして、物体位置判定手段５３は、非重複の背景差分領域が移動物体（人）として有効な面積を有していれば、非重複の背景差分領域に新規移動物体が存在すると判定する。物体位置判定手段５３は、非重複の背景差分領域に形状モデルを当てはめて新規移動物体の物体位置および領域を決定し、物体ＩＤと対応付けて当該移動物体のテンプレート、当該移動物体の物体位置を物体情報記憶手段４１に記憶させる。また、物体位置判定手段５３は、移動物体が存在しないときの撮影画像を背景画像として記憶部４に記憶させ、背景差分領域が検出されなかった領域の撮影画像で背景画像を更新する。なお尤度の算出に際して背景差分領域を検出する場合は改めての検出を行わずに流用すればよい。
【0067】
〔消失移動物体〕
物体位置判定手段５３は、全候補位置の尤度が閾値ＴＬ以下となった移動物体を消失移動物体と判定し、当該移動物体の物体情報を削除する。遮蔽物により全体が隠蔽された移動物体や撮影画像外に移動した移動物体や超高混雑領域に移動した移動物体が消失移動物体と判定される。そして、追跡対象外の移動物体群として超高混雑領域記憶手段（図示省略）に記憶する。なお、当該移動物体は超高混雑領域から抜け出たときに新規移動物体として改めて追跡される。
物体位置判定手段５３は、全候補位置の尤度が閾値ＴＬ以下となった移動物体を消失移動物体と判定し、当該移動物体の物体情報を削除する。遮蔽物により全体が隠蔽された移動物体や撮影画像外に移動した移動物体や超高混雑領域に移動した移動物体が消失移動物体と判定される。そして、追跡対象外の移動物体群として超高混雑領域記憶手段（図示省略）に記憶する。なお、当該移動物体は超高混雑領域から抜け出たときに新規移動物体として改めて追跡される。
【0068】
追跡結果出力手段３１は、例えば、追跡中の移動物体ごとの物体位置の系列をプロットした軌跡画像を生成するとともに、予め混雑度に対応する色を定めておき、混雑度マップの各画素と対応する画素に当該画素の混雑度に対応する色の画素値を設定した混雑度画像を生成して、軌跡画像と混雑度画像とを透過合成した画像を表示部６に出力する。さらに現時刻の撮影画像を重畳してもよい。
【0069】
[動作例]
以下、移動物体追跡装置１の動作を説明する。図５は移動物体追跡装置１の動作の全体フロー図である。移動物体追跡装置１の動作が開始されると、撮影部２は予め規定したフレームレートで撮影画像を取得し、画像処理部５に撮影画像を出力する。画像処理部５は撮影画像が入力されるたびに（ステップＳ１）、ステップＳ２～Ｓ１１の一連の処理を繰り返す。
以下、移動物体追跡装置１の動作を説明する。図５は移動物体追跡装置１の動作の全体フロー図である。移動物体追跡装置１の動作が開始されると、撮影部２は予め規定したフレームレートで撮影画像を取得し、画像処理部５に撮影画像を出力する。画像処理部５は撮影画像が入力されるたびに（ステップＳ１）、ステップＳ２～Ｓ１１の一連の処理を繰り返す。
【0070】
画像処理部５は撮影部２で取得した撮影画像に対し混雑度推定手段５０により混雑度マップを出力する。さらに物体情報記憶手段４１に記録された各追跡対象の移動物体の混雑度を追跡対象の現時刻の移動物体の物体位置を予測した位置に対応する混雑度マップの値を参照することにより求める。また、追跡が困難となる超高混雑領域を抽出する（ステップＳ２）。
【0071】
画像処理部５は各追跡対象の人物の混雑度から人物ごとの候補位置数の割り当てを候補位置数割当手段５１にて行う（ステップＳ３）。
【0072】
画像処理部５は追跡対象の人物について追跡処理を行い現在の物体位置を推定する（ステップＳ４～Ｓ９）。画像処理部５は物体情報記憶手段４１に記録されている人物を順次、注目人物に設定して注目人物の追跡処理を行い、全ての人物について追跡処理が完了した場合は、画像処理部５は処理をステップＳ１０に進め、一方、未処理の人物が存在する場合は追跡処理を継続する（ステップＳ９）。
【0073】
以下、ステップＳ４～Ｓ９の追跡処理をさらに詳しく説明する。画像処理部５は候補位置設定手段５２として機能し、注目人物についてステップＳ３で割り当てられた候補位置数に基づき仮説の設定を行う（ステップＳ４）。すなわち、候補位置設定手段５２は、注目人物の過去の物体位置に現在の物体位置を外挿してその近傍に、割り当てられた個数と同じ数だけの候補位置を設定し、各候補位置を含んだ仮説を設定する。その後、候補位置が撮影画像外またはステップＳ２にて抽出された超高混雑領域内となっている仮説は削除する。
【0074】
画像処理部５は物体位置判定手段５３として機能し、物体位置判定手段５３はステップＳ４で設定された各仮説に対して尤度の算出を行う（ステップＳ５）。
【0075】
その後、物体位置判定手段５３は注目物体が消失移動物体か否かを判定し（ステップＳ６）、消失移動物体と判定した場合は追跡終了処理を行う（ステップＳ７）。すなわち物体位置判定手段５３はステップＳ４で削除されずに残った仮説においてすべての仮説の尤度が閾値ＴＬ未満であれば注目人物を消失移動物体と判定して物体情報記憶手段４１から注目人物に関する情報を削除する。
【0076】
ステップＳ６にて追跡の継続が可能と判断された場合は、物体位置判定手段５３は、ステップＳ４で設定された仮説群の候補位置およびステップＳ５で算出された尤度に基づいて追跡人物の物体位置を推定する（ステップＳ８）。
【0077】
上述の追跡処理Ｓ４～Ｓ９が物体情報記憶手段４１に登録された全ての人物に対して行われると、既に述べたように画像処理部５は処理をステップＳ１０に進め、物体位置判定手段５３により、撮影画像にてまだ追跡設定されていない人物の検出を行い、検出された場合は新規の追跡人物として追加する（ステップＳ１０）。
【0078】
ステップＳ１で入力された撮影画像に対し上述した処理Ｓ２～Ｓ１０により人物の追跡が完了すると、画像処理部５は追跡結果を表示部６へ出力する（ステップＳ１１）。例えば、画像処理部５は追跡結果として全人物の推定位置を表示部６の表示装置等に表示させる。
【0079】
［変形例］
（１）上記実施形態では、混雑度推定手段５０が連続値を出力する推定器を用いた例を示したが、離散的な混雑度を出力する推定器を用いることもできる。
（１）上記実施形態では、混雑度推定手段５０が連続値を出力する推定器を用いた例を示したが、離散的な混雑度を出力する推定器を用いることもできる。
【0080】
例えば、推定器を多クラスＳＶＭ（Support Vector Machine）でモデル化し、混雑度の度合いに応じて「背景（無人）」、「低混雑度」、「中混雑度」、「高混雑度」、「超高混雑度」の５クラスに分類してラベル付けされた学習用画像を用いて当該モデルを学習させておく。そして、混雑度推定手段５０は、撮影画像の各画素を中心とする窓を設定して窓内の画像の特徴量を推定器に入力し、各画素のクラスを識別する。このように、混雑度推定手段５０で離散的な混雑度を推定した場合、候補位置数割当手段５１は、例えば図６に示す関数により候補位置数を算出する。図６は混雑度が５段階の離散的に推定される場合を想定したものであり、それぞれの混雑度の段階に応じて候補位置数も離散的に変化する。
【0081】
また、多クラスＳＶＭ以外にも、決定木型のランダムフォレスト法、多クラスのアダブースト（AdaBoost）法または多クラスロジスティック回帰法などにて学習した種々の多クラス識別器によっても推定器を実現できる。或いは識別型のＣＮＮによっても推定器を実現できる（ＣＮＮの場合、窓走査は不要）。また、クラス分類された学習用画像を用いる場合でも特徴量から混雑度を回帰する回帰型のモデルとすることによって連続値の混雑度を出力する推定器を実現することもできる。その場合、リッジ回帰法、サポートベクターリグレッション法、回帰木型のランダムフォレスト法またはガウス過程回帰（Gaussian Process Regression）などによって、特徴量から混雑度を求めるための回帰関数のパラメータを学習させる。或いは回帰型のＣＮＮを用いた推定器とすることもできる（ＣＮＮの場合、窓走査は不要）。
【0082】
（２）上記各実施形態およびその各変形例においては、物体位置判定手段５３が背景差分処理に基づき新規移動物体を検出する例を示したが、その代わりに、追跡対象とする移動物体の画像を不特定多数機械学習した（例えば不特定多数の人の画像を深層学習した）学習済みモデルを用いて新規移動物体を検出してもよい。その場合、物体位置判定手段５３は、撮影画像を学習済みモデルに入力して移動物体の領域を検出し、いずれの形状モデルとも重複しない領域が閾値ＴＤ以上の大きさである移動物体の領域に新規移動物体が存在すると判定する。
【0083】
（３）上記実施形態およびその各変形例では１台の撮影部による追跡を例示したが、視野を共有した複数の撮影部を用いて追跡を行うこともできる。
【0084】
まず、複数の撮影部に共通の３次元座標系を定義し、共通３次元座標系での各撮影部の位置と姿勢の関係を求め、３次元座標系から各撮影部の画像座標系への座標変換に必要なパラメータを算出する。物体位置および候補位置は、監視空間の地面等の水平平面上で直交するＸ軸、Ｙ軸と鉛直方向のＺ軸とで表される３次元座標系におけるＸ座標、Ｙ座標、Ｚ座標の組（Ｘ，Ｙ，Ｚ）で表される。
【0085】
混雑度推定手段５０は、まずすべての撮影部の撮影画像に対して混雑度マップを推定する。そして、共通３次元座標系での移動物体に対する混雑度を統合混雑度とし、各撮影部の混雑度マップに基づき算出する。具体的には、移動物体ごとに、共通３次元座標系での物体位置を各撮影部の画像座標系に変換し、各撮影部の混雑度マップ上での位置を求め、それぞれの撮影部の撮影画像上における混雑度を算出する。そして、移動物体ごとに、撮影部毎の混雑度のうち最も高い値を当該移動物体の総合混雑度とする。総合混雑度を撮影部毎の混雑度の最も高い値とするのは、総合混雑度に基づき候補位置数の配分を行う際に、最も候補位置数が多く必要となる混雑度の高い撮影部に合わせることで、いずれの撮影部についても追跡精度の維持に必要な候補位置数を満たすことができるためである。
【0086】
なお、混雑度推定時点では現時刻の物体位置が不明であるが、混雑度推定手段５０は、各移動物体について、現時刻の物体位置を過去の物体位置、速度等から予測し、予測した現時刻の物体位置を用いて、各移動物体の総合混雑度を求める。
【0087】
候補位置数割当手段５１は総合混雑度を用いて上記実施形態と同様に移動物体に対する候補位置数の割り当てを行い、候補位置設定手段５２は割り当て数に基づいて共通３次元座標系の候補位置を設定する。候補位置の尤度は総合混雑度の算出と同様に、各候補位置を撮影画像上の位置に撮影部毎に座標変換し、算出された撮影画像上の位置でテンプレートと特徴量の比較を行うことで撮影部毎の尤度を算出し、平均することで最終的な仮説（候補位置）の尤度とする。現時刻の物体位置は、各仮説（候補位置）の尤度から実施形態と同様に算出する。
【0088】
（４）本発明は、車両、動物等、混雑状態をなし得る人以外の移動物体にも適用できる。
【符号の説明】
【0089】
１…移動物体追跡装置、２…撮影部、３…通信部、４…記憶部、５…画像処理部、６…表示部、３０…画像取得部、３１…追跡結果出力手段、４０…混雑度記憶手段、４１…物体情報記憶手段、５０…混雑度推定手段、５１…候補位置数割当手段、５２…候補位置設定手段、５３…物体位置判定手段
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】