特許 6283008 追跡装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6283008

(24)【登録日】2018年2月2日

(45)【発行日】2018年2月21日

(54)【発明の名称】追跡装置

(51)【国際特許分類】

   G06T 7/246 20170101AFI20180208BHJP

【ＦＩ】

   G06T7/246

【請求項の数】5

【全頁数】19

(21)【出願番号】特願2015-202139(P2015-202139)

(22)【出願日】2015年10月13日

(65)【公開番号】特開2017-76181(P2017-76181A)

(43)【公開日】2017年4月20日

【審査請求日】2016年4月27日

(73)【特許権者】

【識別番号】000108085

【氏名又は名称】セコム株式会社

(74)【代理人】

【識別番号】110000154

【氏名又は名称】特許業務法人はるか国際特許事務所

(72)【発明者】

【氏名】水戸 豪二

(72)【発明者】

【氏名】黒川 高晴

【審査官】 ▲広▼島 明芳

(56)【参考文献】

【文献】 特開２００６−２６００４９（ＪＰ，Ａ）

【文献】 特開２０１２−１５９９５８（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ７／００ − ７／９０

(57)【特許請求の範囲】

【請求項1】

順次取得した入力画像上にて移動物体を追跡する追跡装置であって、
前記入力画像における所定の短時間間隔ごとの短間隔画像上での前記移動物体の候補位置である短間隔候補位置、前記入力画像から前記短時間間隔より長い長時間間隔ごとに取り出される長間隔画像上で決定された前記移動物体の位置である物体位置、および前記移動物体の前記物体位置に対応して抽出された当該移動物体の物体テンプレートをそれぞれ過去時刻について記憶する記憶部と、
現時刻での前記短間隔候補位置を過去の前記短間隔候補位置から推定する短間隔候補位置算出部と、
現時刻における前記物体位置の候補である長間隔候補位置を過去の前記物体位置から推定する長間隔候補位置算出部と、
前記長間隔候補位置算出部が現時刻にて前記長間隔候補位置を推定すると、当該長間隔候補位置及び前記短間隔候補位置算出部が推定した現時刻での前記短間隔候補位置を統合して合成候補位置を求める候補位置合成部と、
現時刻の前記入力画像と前記物体テンプレートとを前記候補位置合成部が求めた前記合成候補位置にて比較して現時刻における前記物体位置を決定する物体抽出部と、
を有することを特徴とした追跡装置。

【請求項2】

前記短間隔候補位置算出部は、前記短間隔候補位置を複数求め、当該各短間隔候補位置の尤もらしさを表す短間隔候補位置尤度を、当該短間隔候補位置に対応して抽出される画像特徴と前記過去の短間隔候補位置に対応して抽出される画像特徴との類似度に基づいて算出し、
前記長間隔候補位置算出部は、前記長間隔候補位置を複数求め、当該各長間隔候補位置の尤もらしさを表す長間隔候補位置尤度を、当該長間隔候補位置に対応して抽出される画像特徴と前記過去の物体位置に対応して抽出される画像特徴との類似度に基づいて算出し、
前記候補位置合成部は、前記短間隔候補位置尤度及び前記長間隔候補位置尤度それぞれの画像上での分布を合成して合成尤度分布を求め、
前記物体抽出部は、前記合成尤度分布に基づいて前記物体位置を決定すること、
を特徴とした請求項１に記載の追跡装置。

【請求項3】

前記短間隔候補位置算出部は、前記短間隔画像上での前記移動物体の複数の部分領域それぞれに対応して前記短間隔候補位置を設定し、当該部分領域から前記画像特徴を抽出し前記短間隔候補位置尤度を算出すること、を特徴とした請求項２に記載の追跡装置。

【請求項4】

前記候補位置合成部は、前記短間隔候補位置尤度及び前記長間隔候補位置尤度それぞれの前記画像上での分布について多峰性を調べ、当該多峰性が高いほど小さな重み付けをして前記合成尤度分布を求めること、を特徴とした請求項２又は請求項３に記載の追跡装置。

【請求項5】

前記候補位置合成部は、前記過去の物体位置の近傍にて検出された前記移動物体の数が多いほど前記短間隔候補位置尤度への重みを小さくして前記合成尤度分布を求めること、を特徴とした請求項２又は請求項３に記載の追跡装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、順次取得される入力画像中に存在する移動物体の追跡技術に関する。

【背景技術】

【0002】

時間的に順次取得された入力画像に写った移動物体を追跡する移動物体技術が知られている。追跡対象の移動物体としては、画像監視の分野では監視対象の建物やその敷地に立ち入る人物（不審者）である。以下、移動物体を人物として説明する。

【0003】

従来の追跡技術においては、高精度に人物を追跡するために、過去の時刻における人物の位置情報から運動モデルを定義して、現時刻における人物の位置を予測することが行われている。さらには、過去の時刻における人物像からテンプレートを求め、予測された位置を中心として設定した一定の探索範囲においてテンプレートマッチングを行うことも知られている。このように処理速度を確保しながらも精度低下を招かないよう複数の処理を組み合わせることが行われている。

【0004】

特許文献１には、追跡対象のオブジェクト（例えば人物）について、入力画像のそれぞれについて位置の予測処理と特徴量の比較処理とを複数行って組み合わせ、それぞれの処理から求められたオブジェクトらしさのマップを重ね合わせることで高精度にオブジェクトを追跡する技術が示されている。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２０１２−１８１７１０号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

特許文献１に記載の追跡技術によれば、人物が入力画像中に１人のみ写っており、動きが滑らかな場合には高精度に人物の追跡が達成できる。

【0007】

しかし、実際には、入力画像中に複数写っている人物同士が互いにすれ違う事象（交差）や、追跡している人物が突然立ち止まったり、折り返したりするなどの動きの様子が急変する事象（運動急変）も発生する。従来の技術ではそのような場合に必ずしも追跡の精度が確保されないという問題があった。

【0008】

本発明は上記問題を解決するためになされたものであり、複数の処理を併用しつつも、移動物体のすれ違いや動きの急変にも対応できる追跡技術の提供を目的とする。

【課題を解決するための手段】

【0009】

（１）本発明に係る追跡装置は、順次取得した入力画像上にて移動物体を追跡する追跡装置であって、前記入力画像における所定の短時間間隔ごとの短間隔画像上での前記移動物体の候補位置である短間隔候補位置、前記入力画像から前記短時間間隔より長い長時間間隔ごとに取り出される長間隔画像上で決定された前記移動物体の位置である物体位置、および前記移動物体の前記物体位置に対応して抽出された当該移動物体の物体テンプレートを記憶する記憶部と、現時刻での前記短間隔候補位置を過去の前記短間隔候補位置から推定する短間隔候補位置算出部と、現時刻における前記物体位置の候補である長間隔候補位置を過去の前記物体位置から推定する長間隔候補位置算出部と、前記長間隔候補位置算出部が現時刻にて前記長間隔候補位置を推定すると、当該長間隔候補位置及び前記短間隔候補位置算出部が推定した現時刻での前記短間隔候補位置を統合して合成候補位置を求める候補位置合成部と、現時刻の前記入力画像と前記物体テンプレートとを前記合成候補位置にて比較して現時刻における前記物体位置を決定する物体抽出部と、を有する。

【0010】

（２）上記（１）に記載する本発明に係る追跡装置において、前記短間隔候補位置算出部は、前記短間隔候補位置を複数求め、当該各短間隔候補位置の尤もらしさを表す短間隔候補位置尤度を、当該短間隔候補位置に対応して抽出される画像特徴と前記過去の短間隔候補位置に対応して抽出される画像特徴との類似度に基づいて算出し、前記長間隔候補位置算出部は、前記長間隔候補位置を複数求め、当該各長間隔候補位置の尤もらしさを表す長間隔候補位置尤度を、当該長間隔候補位置に対応して抽出される画像特徴と前記過去の物体位置に対応して抽出される画像特徴との類似度に基づいて算出し、前記候補位置合成部は、前記短間隔候補位置尤度及び前記長間隔候補位置尤度それぞれの画像上での分布を合成して合成尤度分布を求め、前記物体抽出部は、前記合成尤度分布に基づいて前記物体位置を決定する構成とすることができる。

【0011】

（３）上記（２）に記載する本発明に係る追跡装置において、前記短間隔候補位置算出部は、前記短間隔画像上での前記移動物体の複数の部分領域それぞれに対応して前記短間隔候補位置を設定し、当該部分領域から前記画像特徴を抽出し前記短間隔候補位置尤度を算出する構成とすることができる。

【0012】

（４）上記（２）及び（３）に記載する本発明に係る追跡装置において、前記候補位置合成部は、前記短間隔候補位置尤度及び前記長間隔候補位置尤度それぞれの前記画像上での分布について多峰性を調べ、当該多峰性が高いほど小さな重み付けをして前記合成尤度分布を求める構成とすることができる。

【0013】

（５）上記（２）及び（３）に記載する本発明に係る追跡装置において、前記候補位置合成部は、前記過去の物体位置の近傍にて検出された前記移動物体の数が多いほど前記短間隔候補位置尤度への重みを小さくして前記合成尤度分布を求める構成とすることができる。

【発明の効果】

【0014】

本発明によれば移動物体の追跡において移動物体のすれ違いや動きの急変にも対応できる。

【図面の簡単な説明】

【0015】

【図1】本発明の実施形態に係る追跡装置の概略のブロック図である。

【図2】記憶部に記憶されている追跡情報の一例を示す模式図である。

【図3】低レート候補位置算出部による処理を示す模式図である。

【図4】高レート候補位置算出部による処理を示す模式図である。

【図5】物体抽出部が人物を抽出した時刻における追跡結果の特徴点、及び当該特徴点に基づく高レート候補位置の例を示す模式図である。

【図6】候補位置合成部及び物体抽出部の処理を説明する模式図である。

【図7】人物の運動急変時における本実施形態の追跡処理の例を説明する画像の模式図である。

【図8】人物の交差時における本実施形態の追跡処理の例を説明する画像の模式図である。

【図9】本発明の実施形態に係る追跡装置の全体的な処理の概略のフロー図である。

【図10】低レート位置尤度分布の算出処理の概略のフロー図である。

【図11】物体位置決定処理の概略のフロー図である。

【図12】人物同士の交差が起こった場合の追跡情報の一例を示す模式図である。

【図13】本発明の実施形態の変形例の１つを説明する模式図である。

【発明を実施するための形態】

【0016】

以下、本発明の実施の形態（以下実施形態という）について、図面に基づいて説明する。

【0017】

図１は実施形態に係る追跡装置１の概略のブロック図である。本追跡装置１は、追跡処理部１０、記憶部２０から構成されており、追跡装置１には撮像装置３０、表示装置４０が接続されている。

【0018】

撮像装置３０はいわゆるカメラであり、また表示装置４０はいわゆるモニタ装置であり、撮影条件や設置場所の広さなどに応じてそれぞれ周知なものを用いればよい。例えば撮像装置３０は、撮影条件に応じた解像度を有するＣＣＤ素子又はＣ−ＭＯＳ素子等の撮像素子、必要な画角を有するレンズを含む光学系部品、Ａ／Ｄ変換器等を含んで構成され、所定時間間隔で撮像した画像を順次、追跡処理部１０へ出力する。以下、撮像の時間間隔を基準時間間隔、また当該基準時間間隔で刻まれる時間の単位を時刻と称する。撮像装置３０及び表示装置４０の解像度は特に限定されるものではないが、本実施形態では１２８０×７２０画素として説明する。

【0019】

記憶部２０は、ＲＯＭ(Read Only Memory)、ＲＡＭ(Random Access Memory)等のメモリ装置により実現される。記憶部２０は、追跡処理部１０の処理に必要な情報、及び追跡処理部１０から出力される情報をテーブル形式にて保持する追跡情報２１を記憶している。このほか、図示していないが各種パラメータ類、後述する低レート候補位置算出部１１と高レート候補位置算出部１２が処理する時間間隔を表すフレームレート情報を記憶している。これらについての詳細は後述する。

【0020】

追跡処理部１０は、ＣＰＵ(Central Processing Unit)、ＤＳＰ（Digital Signal Processor）、ＭＣＵ（Micro Control Unit）等の演算装置等で構成される。追跡処理部１０は低レート候補位置算出部１１、高レート候補位置算出部１２、候補位置合成部１３、物体抽出部１４及び出力部１５を備え、撮像装置３０から入力された画像をもとに人物の検出を行い、検出された人物を追跡し、追跡結果を追跡情報２１に記憶するとともに、表示装置４０に出力する。

【0021】

以下、追跡処理部１０の各構成要素を説明する。これら要素は演算装置上にてソフトウェアモジュールとして実現される。

【0022】

低レート候補位置算出部１１及び高レート候補位置算出部１２はそれぞれ、所定時間間隔ごとにサンプリングした入力画像上での移動物体の候補位置を過去の候補位置から推定する。それぞれの入力画像のサンプリングの時間間隔は記憶部２０に予め記憶されるフレームレート情報を参照して設定される。

【0023】

低レート候補位置算出部１１は撮像装置３０から順次取得される入力画像のフレームの中から、後述する高レート候補位置算出部１２より低いフレームレート、つまり長い時間間隔ごとに取り出されるフレームである長間隔画像上での移動物体の候補位置である長間隔候補位置（低レート候補位置と称する）を、当該移動物体の過去の物体位置から推定する長間隔候補位置算出部である。本実施形態では、入力画像が１０ｆｐｓ（frame per second）で撮影されるとし、低レート候補位置算出部１１における入力画像のサンプリング間隔である長時間間隔は１／２秒に設定する。つまり低レート候補位置算出部１１は５フレームごとに低レート候補位置を推定する。

【0024】

具体的には低レート候補位置算出部１１は記憶部２０の追跡情報２１を参照し、過去の位置情報から現時刻における人物が存在する可能性が高い位置を求める。図２は記憶部２０に記憶されている追跡情報２１の一例を示す模式図である。また図３は低レート候補位置算出部１１による処理を示す模式図である。現時刻をｔとして、図３には時刻ｔ−１０からの処理が示されている。

【0025】

本実施形態では、低レート候補位置算出部１１は、周知のパーティクルフィルターに準じた方法により、人物が存在する可能性の高い位置を低レート候補位置として求め、追跡情報２１の低レート候補位置２１５に記憶する。

【0026】

周知のパーティクルフィルターでは、例えば人物全身像をテンプレートとし、仮説を生成して、その位置における入力画像との類似度を尤度とする。本実施形態では、追跡情報２１に記憶されている物体位置２１６を参照して、一旦現在時刻における物体位置を予測して、その位置を中心に所定の条件を満たすノイズを加えた位置に、パーティクルフィルターでいう仮説を生成することとし、それを本実施形態でも仮説と称することにする。図３において、黒丸“●”がそれぞれ仮説３０１であり、その大きさが尤度を示している。尤度が大きいほど黒丸を大きく描いており、その位置に人物がいる可能性が高いことを示している。また物体位置を“■”で表している。なお、仮説３０１の位置が長間隔候補位置、すなわち低レート候補位置であり、仮説３０１の尤度が長間隔候補位置尤度（低レート位置尤度）である。この仮説３０１の位置に対応して定義される画像上での低レート位置尤度の分布を低レート位置尤度分布と称することにする。

【0027】

ここで、低レート候補位置算出部１１においてテンプレートマッチングにより類似度を求める処理は、画素ごとの色や輝度、エッジの差を参照する方法よりも、物体領域内部の色や輝度の平均や頻度の比較を行うような方法の方が望ましい。その理由は後者の方が、いわば大よそ位置決めする考えがあり、そして低レート候補位置算出部１１では時間間隔が長くなるほど位置の予測精度が下がるので広い範囲に仮説を考える必要があり、概略の位置を決める手法の方が好都合だからである。

【0028】

図３において、時刻ｔ−１０の人物３００の物体位置３０２の近傍に示される仮説３０１は時刻ｔ−１５の物体位置に基づいて生成されたものであり、後述する処理にて物体位置３０２を決定する際に用いられる。物体位置３０２に基づいて時刻ｔ−５の仮説３０１が生成され、それを用いて時刻ｔ−５の人物３０３の物体位置３０４が決定され、そして物体位置３０４に基づいて現時刻ｔの人物３０５の物体位置の決定に用いられる仮説３０１が生成される。

【0029】

低レート候補位置算出部１１は、各仮説にＩＤ番号（ｈ１，ｈ２，ｈ３，…）を付与して、その位置の座標値、尤度と共に追跡情報２１の低レート候補位置２１５に記憶させる。また、図３に示した物体位置３０２，３０４のように後述する物体抽出部１４で決定された物体位置は入力画像中における座標値として追跡情報２１の物体位置２１６に記憶される。

【0030】

高レート候補位置算出部１２は入力画像から、低レート候補位置算出部１１より高いフレームレート、つまり短い時間間隔ごとに取り出されるフレームである短間隔画像上での移動物体の候補位置である短間隔候補位置（高レート候補位置と称する）を、当該移動物体の過去の高レート候補位置から推定する短間隔候補位置算出部である。本実施形態では、高レート候補位置算出部１２における入力画像のサンプリング間隔である短時間間隔は１／１０秒に設定する。つまり高レート候補位置算出部１２は入力画像の各フレームにて高レート候補位置を推定する。

【0031】

本実施形態において、高レート候補位置算出部１２は、人物について複数の局所的な画像特徴を用いて特徴点追跡を行う、いわゆるオプティカルフローを用いるものとする。高レート候補位置算出部１２は、後述する物体抽出部１４が人物について物体位置を決定して、その人物像を抽出するたびにコーナー検出やブロッブ検出など、公知の方法を適宜用いて特徴点を抽出する。すなわち、高レート候補位置算出部１２は、現時刻の長間隔画像にて抽出された各移動物体の物体像の輪郭又は内部と対応する短間隔画像の領域にて現時刻の特徴点を抽出する。これにより、短間隔候補位置が物体位置に応じて長時間間隔ごとに修正される。そして高レート候補位置算出部１２は、特徴点を含む部分領域を定義し、特徴点に対する人物の相対位置として特徴点から人物の位置（物体位置）までのベクトルを求める。

【0032】

図４は高レート候補位置算出部１２による処理を示す模式図である。図４（ａ）は例えば、時刻ｔ−５にて求められた人物像３１０に抽出される特徴点３１１、当該特徴点３１１に対して設定される部分領域３１２、特徴点３１１から物体位置への位置ベクトル３１３を示している。図４（ａ）では描画の都合で特徴点３１１が７点である例を示しているが、実際には数十点を抽出するのが望ましい。部分領域３１２のＩＤ番号及び特徴点３１１の座標は、追跡情報２１の特徴点２１２の欄に記憶され、位置ベクトル３１３の成分は追跡情報２１の相対位置２１３の欄に記憶される。

【0033】

図４（ｂ）は高レート候補位置算出部１２による追跡処理の様子を示しており、具体的には順次時刻が進むごとに特徴点が追跡される様子を時刻ｔ−５から時刻ｔについて示している。同図に示すように高レート候補位置算出部１２の処理は、１０ｆｐｓの入力画像のそれぞれについて行われる。

【0034】

高レート候補位置算出部１２は、追跡情報２１に記憶された前の時刻の特徴点の情報を用いて追跡を行う。すなわち各時刻の入力画像に設定した各部分領域について、その内部の画像特徴を抽出し、前の時刻の特徴量と比較して、現時刻の画像内にて類似する特徴量を示した位置を探索し、現時刻での特徴点の位置を求める。そして、高レート候補位置算出部１２は、求めた現時刻での特徴点の位置を特徴点２１２の欄に記憶させる。また部分領域３１２にて得られた類似度を尤度として、その部分領域が含む特徴点に対応付けて特徴点２１２の欄に記憶する。なお、当該尤度が短間隔候補位置尤度（高レート位置尤度）である。特徴点の位置の探索には、ＬＫ法やブロックマッチングなどの周知の手法を用いることができる。それら手法の詳細については公知のため説明を省略する。

【0035】

ここで各特徴点３１１を始点とした位置ベクトル３１３の先端の座標が、その特徴点３１１についての人物の候補位置（高レート候補位置）である。高レート候補位置は高レート候補位置算出部１２が追跡を行う各時刻にて定義できる。但し、後述する処理では高レート候補位置は低レート候補位置を求める５フレームごとの時刻でのみ用いられるため、本実施形態では当該時刻でのみ高レート候補位置を算出し、追跡情報２１の高レート候補位置２１４の欄への記憶も当該時刻のみで行っている。

【0036】

なお、相対位置２１３は、物体抽出部１４にて人物の位置が決定され、特徴点が抽出されるタイミングにて決定されるので、次に物体抽出部１４で人物の位置が決定されるまでは更新されない。

【0037】

候補位置合成部１３は、低レート候補位置算出部１１が求めた低レート候補位置と高レート候補位置算出部１２が求めた高レート候補位置とを合成する処理を行う。

【0038】

図５は物体抽出部１４が人物を抽出した時刻（図２の追跡情報を参照すると、時刻ｔ−１０，ｔ−５，ｔ）にて追跡された直後の特徴点及び高レート候補位置の例を示す模式図である。人物像３１０に関して追跡で得られた特徴点３１１を黒点で示し、また、当該特徴点３１１に対し位置ベクトル３１３で対応づけられる“△”の点が高レート候補位置３１５であり、その大きさが高レート位置尤度を表している。

【0039】

例えば時刻ｔ−１０で人物の輪郭に特徴点が抽出されても、追跡処理を行うと、本来の位置からずれてしまう。例えば人物の頭頂に設定された特徴点も、頭頂よりもさらに上に位置してしまうこともある。一方で、相対位置２１３は、次に物体抽出部１４が人物を抽出する時刻、例えばｔ−５までは更新されないため、高レート候補位置は図５に示すように一点に集中せず、ある程度の範囲を持って分布し得る。この高レート候補位置の分布に対応して画像上にて定義される高レート位置尤度の分布を高レート位置尤度分布と称することにする。

【0040】

図６は候補位置合成部１３及び物体抽出部１４の処理を説明する模式図である。候補位置合成部１３は現時刻にて人物について低レート候補位置が推定されると、当該低レート候補位置及び現時刻での高レート候補位置を統合して当該人物の合成候補位置を求める。当該統合は低レート候補位置が推定される時刻、すなわち本実施形態では５フレームごとの例えばｔ−１０，ｔ−５，ｔといった時刻にて行われる。

【0041】

本実施形態では高レート候補位置及び低レート候補位置はそれぞれ複数求められ、それぞれ尤度を定義されていることに対応して、候補位置合成部１３は高レート位置尤度分布４１０と低レート位置尤度分布４１１とを合成し、合成候補位置に対応する情報として合成尤度分布４１２を生成する。高レート位置尤度分布４１０では図５と同様、“△”の位置が高レート候補位置を表し、大きさが高レート位置尤度を表す。また、低レート位置尤度分布４１１では図３と同様、“●”の位置が低レート候補位置を表し、大きさが低レート位置尤度を表す。

【0042】

低レート候補位置算出部１１と高レート候補位置算出部１２がそれぞれ追跡対象の人物を大よそ捉えていると、高レート位置尤度分布４１０と低レート位置尤度分布４１１は画像上にて大よそ重なった位置に分布する。そこで候補位置合成部１３は、両分布を合成した合成尤度分布４１２を求める。

【0043】

物体抽出部１４は現時刻の入力画像と記憶部２０に記憶されている物体テンプレートとを合成候補位置にて比較して人物の現時刻における物体位置を決定する。本実施形態では、物体抽出部１４は合成候補位置に対応する合成尤度分布４１２に基づいて物体位置を決定する。すなわち、物体抽出部１４は、候補位置合成部１３が生成した合成尤度分布４１２を参照して人物の位置を決定する。

【0044】

具体的には、物体抽出部１４は合成尤度分布４１２内の各候補位置ごとの尤度を参照し、ルーレット選択法や棄却法などによりサンプリング点の数を決めて、尤度に応じた分散を持つノイズを考えて散らばるようにサンプリング点４１３を決定する。サンプリング点４１３は人物がいる可能性が高い位置ほど密集することになる。このサンプリング点４１３の画像内での位置が本実施形態における合成候補位置となる。すなわち、物体抽出部１４は合成尤度分布４１２から合成候補位置の分布４１４を生成する。

【0045】

物体抽出部１４は追跡対象の人物のテンプレートを追跡情報２１に記憶されている物体テンプレート２１７から読み出し、その中心位置を各サンプリング点４１３に一致させてテンプレートマッチングにより入力画像との類似度を求める。

【0046】

このテンプレートマッチング処理は、低レート候補位置算出部１１とは異なり、画素単位での位置を決定したいため、画素ごとに色や輝度、エッジ情報を比較する方法が適している。

【0047】

そして物体抽出部１４は、求めた類似度を重みとし、各サンプリング点４１３の座標について重みつき平均計算を行い、人物の位置を決定する。物体抽出部１４は当該位置の座標値を追跡情報２１の物体位置２１６に記憶させる。

【0048】

人物の位置を決定する処理は、類似度を重みにした単純な座標についての重みつき平均のほかに、カーネル密度推定法に準じて、ウィンドウ走査をして各位置におけるウィンドウ内部の重み付き密度が最大ピークを示したウィンドウ位置を物体位置にしても良い。あるいは、散在するサンプリング点４１３に対してクラスタリング処理を行い、尤度の合計が最大のクラスタの重心位置を物体位置に決めても良い。

【0049】

さらに物体抽出部１４は当該物体位置に対応して物体テンプレートを更新する。具体的には、決定した人物の位置を中心に、背景差分などの周知な方法に基づき人物の領域を定め、その内部の画素群から画像情報を求め、当該画像情報を物体テンプレートとして追跡情報２１の物体テンプレート２１７を更新する。画像情報は低レート候補位置算出部１１と物体抽出部１４にて行われるテンプレートマッチングに用いられ得るものであれば限定は無いが、例えば前者向けには色ヒストグラム、後者向けにはエッジ情報などを記憶すれば良い。例えば図２は、時刻ｔにて物体テンプレートがＴａ２からＴａ３に更新されていることを示している。

【0050】

出力部１５は、外部接続された表示装置４０に、求められた結果を表示するためのインターフェースである。例えば、出力部１５は表示装置４０に入力画像を表示すると共に、当該入力画像上に物体抽出部１４が決定した物体位置を“×”印で強調表示したり、物体テンプレートを求めるために用いた領域を入力画像に重畳表示したりしてもよい。

【0051】

図７、図８は追跡装置１による追跡処理の例を説明する画像の模式図である。まず、図７は人物が急に移動方向を変える運動急変の場合の例を示しており、図７を用いて本発明に係る追跡装置を用いると、運動急変時にも正しく追跡できることを説明する。

【0052】

図７（ａ）は画像上にて、人物Ａが時刻ｔ−１０からｔ（現時刻）まで移動する際に、時刻ｔ−５の前後で移動方向を変えた様子を示している。つまり時刻ｔ−１０からｔ−５にかけては、画面内にて左上から右下に向かう方向に移動しているが、時刻ｔ−５からｔにかけては画面内にて右上から左下に向かう方向に移動している。

【0053】

人物Ａは時刻ｔ−１０では位置５００に存在しており、かつ物体抽出部１４は人物Ａの物体位置を黒い四角“■”の位置５０１に決定している。同様に人物Ａは時刻ｔ−５では位置５０２に存在しており、かつ物体抽出部１４は人物Ａの物体位置を黒い四角“■”の位置５０３に決定している。時刻ｔでは人物Ａは位置５０４に存在している。

【0054】

この場合、高レート候補位置算出部１２は、時刻ｔ−１０，ｔ−５，ｔのみならず、それらの間の各フレームにおいても特徴点追跡処理を行っている。従って時刻ｔにおいて求めた高レート位置尤度分布５１０は図７（ｂ）に示すように実際の位置５０４の付近に集中している。

【0055】

一方、低レート候補位置算出部１１は、時刻ｔ−１０，ｔ−５，ｔにおいて低レート位置尤度分布を求める。時刻ｔにおいては、エリア５１１に示す分布がその結果である。

【0056】

低レート候補位置算出部１１は、高レート候補位置算出部１２よりも疎な時間間隔でのみ分布を求めるため、実際の人物の動きの急変には対応できず、低レート位置尤度分布５１１は、人物の実際の位置５０４とはかけ離れた位置に求められてしまう。

【0057】

図７（ｃ）は、高レート位置尤度分布５１０と低レート位置尤度分布５１１とから、図６を用いて説明したサンプリング点を決定した結果を示している。この図に示すように、高レート位置尤度分布５１０の付近のエリア５２０にはサンプリング点が多数決定されるが、低レート位置尤度分布５１１の付近のエリア５２１にはサンプリング点は少なく決定される。

【0058】

さらに物体抽出部１４の位置決定処理では物体テンプレート２１７を用いた入力画像との類似度が加味される。実際は人物Ａが存在しないエリア５２１付近のサンプリング点から求められた類似度は低いので、物体抽出部１４で決定される物体位置は低レート位置尤度分布５１１の影響をほとんど受けず、人物の実際の位置５０４付近に決定される。すなわち、運動急変にも対応できていることになる。

【0059】

次に、図８は人物同士がすれ違う交差の場合の例を示しており、図８を用いて本発明に係る追跡装置を用いると、交差時にも正しく追跡できることを説明する。

【0060】

図８（ａ）には、人物Ａが時刻ｔ−１０からｔ（現時刻）まで移動する際に、時刻ｔ−５の前後で人物Ｂと交差した様子を示している。人物Ａは時刻ｔ−１０からｔにかけて、画面内にて左上の位置６００から右下の位置６０４に向かって移動している。一方、人物Ｂは時刻ｔ−１０からｔにかけて、画面内にて右上の位置６０５から左下の位置６０７に向かって移動している。この両者は移動途中の時刻ｔ−５の前後で交差し、その際、位置６０２にいる人物Ａは位置６０６にいる人物Ｂの後ろに位置している。

【0061】

物体抽出部１４は人物Ａの物体位置を、時刻ｔ−１０では黒い四角“■”の位置６０１に決定し、また時刻ｔ−５では黒い四角“■”の位置６０３に決定し、それぞれ人物Ａの実際の位置６００，６０２に対応している。

【0062】

高レート候補位置算出部１２は、時刻ｔ−１０，ｔ−５，ｔのみならず、それらの間の各フレームにおいても特徴点追跡処理を行っている。従って時刻ｔ−５に注目すると、本来、人物Ａから抽出され、人物Ａのものとして追跡されるべき特徴点の一部は、人物Ａが人物Ｂの後ろに位置し、人物Ａの体の部位の一部が隠れることで、時刻ｔ−５において人物Ｂに対応付いてしまう。

【0063】

高レート候補位置算出部１２は、高いフレームレートにて処理を行っていることから、実際にはこのような人物どうしの交差状態のフレーム数が多く、交差状態が解消されても誤って人物Ｂに対応付いた特徴点が人物Ａに対応付くよう正される可能性は低い。その結果、一部の特徴点は人物Ｂに対応付いたままとなり時刻ｔでの追跡結果は人物Ｂの位置６０７に得られてしまう。

【0064】

一方、低レート候補位置算出部１１は、時刻ｔ−１０，ｔ−５，ｔにおいて低レート位置尤度分布を求める。そのため、低レート候補位置算出部１１にとっては、交差は時刻ｔ−５のみで発生していることになり、その影響は少ない。

【0065】

図８（ｂ）はこの例の時刻ｔにおける人物Ａの合成尤度分布を示している。当該合成尤度分布は人物Ａの低レート位置尤度分布及び高レート位置尤度分布を合成したものであり、人物Ｂの時刻ｔにおける位置６０７付近の分布６１０と人物Ａの時刻ｔにおける位置６０４付近の分布６１１とからなる。分布６１０は本来人物Ａのものとして追跡された特徴点が人物Ｂに誤って対応付いた特徴点から求められた高レート位置尤度分布で構成される。分布６１１は、正しく人物Ａのものとして追跡された特徴点から求められた高レート位置尤度分布と、低レート位置尤度分布とで構成される。

【0066】

図８（ｃ）は分布６１０，６１１から、図６を用いて説明したサンプリング点を決定した結果を示している。同図からわかるように、分布６１０の付近のエリア６２０にはサンプリング点が少なく決定されるが、分布６１１の付近のエリア６２１にはサンプリング点は多数決定される。

【0067】

さらに物体抽出部１４の位置決定処理では物体テンプレート２１７を用いた入力画像との類似度が加味される。人物Ａが実際には存在しないエリア６２０付近のサンプリング点から求められた類似度は低いので、物体抽出部１４で決定される物体位置は高レート位置尤度分布６１０の影響をほとんど受けず、人物の実際の位置６０４付近に決定される。すなわち、交差にも対応できていることになる。

【0068】

次に、フロー図を用いて、追跡装置１の動作を説明する。図９は追跡装置１の全体的な処理の概略を表すメインフロー図である。図９において、ステップＳ１００〜Ｓ１１０は短時間間隔、つまり高レート候補位置算出部１２の処理サイクルで繰り返される処理であり、本実施形態では１０ｆｐｓで動作する処理である。一方、ステップＳ１１５以降は長時間間隔、つまり低レート候補位置算出部１１の処理サイクルで繰り返される処理であり、本実施形態では２ｆｐｓで動作する処理である。図２に示す追跡情報２１では、処理時刻２１０がｔ−１０からｔまでの各時刻であるときにステップＳ１００〜Ｓ１１０の処理が行われ、５フレームごとの時刻ｔ−１０，ｔ−５，ｔにてステップＳ１１５以降の処理が行われる。

【0069】

追跡装置１は、撮像装置３０が撮影した画像を受けつけ、入力画像とする（ステップＳ１００）。当該入力画像は低レート候補位置算出部１１と高レート候補位置算出部１２に入力される。

【0070】

高レート候補位置算出部１２は、入力画像中の人物について特徴点追跡処理を行い、追跡された特徴点のＩＤ番号、座標値、尤度を記憶部２０に記憶されている追跡情報２１の特徴点２１２に記憶する（ステップＳ１０５）。なお、入力画像中に人物が存在しない場合、あるいは人物が撮像装置３０の視野の外に移動した場合にはＳ１０５の処理は省略される。

【0071】

追跡装置１はステップＳ１００とＳ１０５の処理を規定の枚数の入力画像について繰り返す（ステップＳ１１０）。規定枚数は、長時間間隔にて撮影される画像のフレーム数であり、本実施形態では５フレームである。

【0072】

ここで、規定枚数の入力画像について特徴点追跡処理を終えた時刻を最新時刻、すなわち現時刻ｔとすると、高レート候補位置算出部１２は、時刻ｔの入力画像から得られた特徴点の位置を追跡情報２１の特徴点２１２の欄から読み出し、また、時刻ｔの追跡情報２１の相対位置２１３の欄に記憶されている、時刻ｔ−５にて求められた特徴点から物体位置への位置ベクトル３１３を読み出し（ステップＳ１１５）、両者の座標値を加算して高レート候補位置を求めて追跡情報２１の高レート候補位置２１４の欄に記憶する（ステップＳ１２０）。各特徴点について得られる高レート候補位置にはステップＳ１０５で算出されている当該特徴点の高レート位置尤度が対応付けられ、よって、ステップＳ１１５，Ｓ１２０の処理で高レート位置尤度分布が算出される。

【0073】

一方、当該現時刻ｔにて低レート候補位置算出部１１は低レート位置尤度分布を算出する（ステップＳ１２５）。すなわち低レート候補位置算出部１１は上述の規定枚数ごと、つまり５フレームごとに仮説の位置、尤度などの更新値を算出し、追跡情報２１の低レート候補位置２１５に記憶させる。

【0074】

図１０は低レート位置尤度分布の算出処理Ｓ１２５の概略の処理を示すサブフロー図である。低レート候補位置算出部１１は追跡情報２１から過去の時刻の物体位置２１６、物体テンプレート２１７を読み出す（ステップＳ２００）。そして、低レート候補位置算出部１１は、過去の物体位置２１６を参照した運動モデルから現時刻ｔにおける物体の位置を予測し、ノイズを重畳して仮説の位置を決定して（ステップＳ２０５）、当該位置における尤度を求める（ステップＳ２１０）。低レート候補位置算出部１１は算出した各仮説の位置、尤度をＩＤと対応付けて追跡情報２１の低レート候補位置２１５に記憶させる（ステップＳ２１５）。これらステップＳ２００〜２１５の処理は、周知なパーティクルフィルターによる物体追跡にて採用される方法に準じたものであるので、詳細は省略する。

【0075】

図９のメインフロー図に戻り説明を続ける。候補位置合成部１３は、低レート候補位置算出部１１が算出した低レート候補位置（複数であり、尤度情報を併用すると低レート位置尤度分布となる）と、高レート候補位置算出部１２が算出した高レート候補位置（複数であり、各特徴点を含む部分領域と入力画像との類似度を尤度にすると高レート位置尤度分布となる）とを合成し、合成尤度分布を求める候補位置合成処理を行う（ステップＳ１３０）。この処理は図６を用いて説明済みである。

【0076】

物体抽出部１４は合成尤度分布を参照して各物体の位置を計算する（ステップＳ１３５）。図１１は物体位置決定処理Ｓ１３５の概略の処理を示すサブフロー図である。物体抽出部１４は合成尤度分布（図６に示す合成尤度分布４１２）から、その尤度に応じてサンプリング点（図６に示すサンプリング点４１３）を決める処理を行う（ステップＳ３００）。

【0077】

物体抽出部１４は当該サンプリング点ごとに、追跡情報２１の物体テンプレート２１７を用いて、入力画像とのテンプレートマッチング処理により類似度を求める（ステップＳ３０５）。

【0078】

次に物体抽出部１４は、各サンプリング点の座標についてステップＳ３０５で求めた類似度を用いた重み付き平均を算出し、当該座標計算の結果を人物の位置、すなわち物体位置に決定する（ステップＳ３１０）。

【0079】

さらに物体抽出部１４は、人物の位置を中心とした人物の領域から物体テンプレートを生成し、その位置を追跡情報２１の物体位置２１６に記憶する。また高レート候補位置算出部１２は追跡処理に用いる特徴点を公知のコーナー検出やブロッブ検出などにより抽出し相対位置、高レート候補位置とともに追跡情報２１に記憶する（ステップＳ３１５）。物体テンプレートの生成には背景差分などの周知技術を用いれば良いことは説明済みである。

【0080】

そして物体抽出部１４は、求めた人物の位置を追跡情報２１の物体位置２１６に記憶し、物体テンプレートを追跡情報２１の物体テンプレート２１７として更新記憶する（ステップＳ３２０）。

【0081】

物体抽出部１４による物体位置の決定処理Ｓ１３５の例を追跡情報２１を用いて説明する。図２に示した追跡情報２１は、図７に示した運動急変の場合の記憶内容を示したものである。時刻ｔにて物体位置２１６は“（２１３，６１１）”と求められている。当該物体位置は高レート候補位置２１４に記憶された“（２１０，６０９）”，“（２１５，６１４）”，“（２１３，６１３）”に近いが、低レート候補位置２１５に記憶された“（８５０，５８９）”，“（８６８，６０３）”，“（８４８，６１２）”とはかけ離れており、運動急変に対応して高レート候補位置による追跡が成功していることを示している。

【0082】

図１２に示す追跡情報２１は、図８に示した交差の場合の記憶内容の一部を示したものである。時刻ｔにて物体位置２１６は“（８５９，５９４）”と求められている。これは高レート候補位置２１４に記憶された特徴点２１２のＩＤ番号が“ＩＤ１”と“ＩＤ２”の“（８５２，４８９）”、“（８２３，５９６）”および低レート候補位置２１５に記憶された“（８５０，５８９）”、“（８６８，６０３）”、“（８４８，６１２）”などとは近いものであるが、高レート候補位置２１４に記憶された特徴点２１２のＩＤ番号が“ＩＤ３”の“（２１３，６１３）”とはかけ離れている。この“ＩＤ３”の特徴点は図８に示すように、人物Ｂに対応付いて追跡されたものであり、そのほかは人物Ａに正しく対応しており、交差が発生していても追跡が成功していることを示している。

【0083】

図９のメインフロー図に戻り説明を続ける。物体抽出部１４は、入力画像中に追跡中ではない人物、つまり新規出現した人物の存在の有無を調べ（ステップＳ１４０）、存在する場合には物体テンプレートの生成を行い、その位置を追跡情報２１の物体位置２１６に記憶する。また高レート候補位置算出部１２は追跡処理に用いる特徴点を公知のコーナー検出やブロッブ検出などにより抽出し相対位置、高レート候補位置とともに追跡情報２１に記憶すること（ステップＳ１４５）を全ての新規出現の人物について繰り返し（ステップＳ１５０）、ステップＳ１００の処理対象とすべく追跡情報２１の物体テンプレート２１７に記憶する。なお、新規出現したと判断される人物が存在しない場合にはステップＳ１４０〜１５０の処理は行われない。また、当然ながら、ある人物がもはや画像内に存在しないと判断される場合には、その人物についての追跡処理は終了する。

【0084】

物体抽出部１４は処理結果として物体位置２１６や、物体テンプレート２１７を生成することになった人物領域の内部を入力画像から切り出して出力部１５に出力し、表示装置４０は、その結果を画面表示する（ステップＳ１５５）。

【0085】

［変形例］
（１）上記実施形態では、高レート候補位置算出部１２での処理は、オプティカルフローを用いていたが、パーティクルフィルターを用いても良い。この場合、高レート候補位置算出部１２は、物体テンプレート２１７を読み出し、各時刻において各仮説の位置を決定し、その位置における入力画像との類似度を尤度にして、高レート候補位置を順次決定していけば良い。

【0086】

（２）上記実施形態では、高レート候補位置算出部１２と低レート候補位置算出部１１は、求められた候補位置にて尤度を有するような位置尤度分布を求めることとしていた。

【0087】

これに代え、各候補位置において、その尤度に応じた大きさの正規分布を考え、その正規分布を重ね合わせる（各座標おいて正規分布の値を累積的に加算し和を求める）処理を行い、その後、入力画像全体についての総和が１になるように正規化することで、それぞれの位置尤度分布を求めても良い。

【0088】

そしてさらに、候補位置合成部１３における高レート位置尤度分布と低レート位置尤度分布との合成処理においては、それぞれの位置尤度分布を加算するものとしても良い。その結果を正規化してもよい。物体抽出部１４においてサンプリング点を求める処理では、合成した分布について、各座標点ごとの値を参照し、ルーレット選択法や棄却法などによりサンプリング点を設定する。

【0089】

（３）上記実施形態では、候補位置合成部１３における２つの分布の合成処理について、両者に軽重を付けない構成としたが、その分布形状に着目した重み付けをして合成することも好適である。

【0090】

これは、候補位置尤度分布が単峰性を有し、高いピークをもつ分布となっている場合には、追跡処理が正しく行われている可能性が高いと考えられるからである。よって、そのような分布に大きな重み付けをして合成する。

【0091】

分布が単峰性と高いピークを有するか否かの判定は例えば以下の２つの方法（ａ），（ｂ）で行うことができる。

【0092】

（ａ）座標について尤度を重みにした加重平均処理により、候補位置から推定位置を暫定的に求め、その推定位置の周囲一定範囲内に含まれる候補位置の尤度の合計値と、全候補位置の尤度の合計値との比を単峰性に対する評価値とする。

【0093】

単峰性の分布となっている場合には、推定位置が分布のピークとなり、その近傍の尤度値が高くなることから、合計値の比率が高くなる。

【0094】

さらに推定位置の周囲一定範囲内の尤度の合計値は分布のピークの高さを示す評価値とする。

【0095】

重みは、単峰性に対する評価値とピークの高さを示す評価値との積とする。

【0096】

上記周囲一定範囲の大きさは追跡対象の大きさに基づいて決定し、例えばその３０％とすれば良い。

【0097】

（ｂ）単峰性に対する評価値を、尤度を重みとした候補位置の、位置に対する重み付き分散値とし、ピークの高さを全候補位置の正規化前の尤度の合計値とし、重みを両者の積とする。分散値が低く、尤度の合計値が高い場合は、尤度の高い候補位置が集中していると考えることができる。さらには尤度の値について閾値処理をして、候補位置を選択しても良い。

【0098】

（４）上記実施形態では、入力画像中に存在する人物は１人あるいは２人としていたが、実際の入力画像では多数の人物が写り込むことがある。その場合、人数を混雑度として捉え、混雑度が高いと高レート位置尤度分布の重みを下げて合成しても良い。

【0099】

これは、混雑度が高いと、人物が自由に動き得る範囲が限られるため図７に示すような運動急変がおきにくく、高レートによる処理の効果が発揮されにくい。その一方で図８で説明した交差が頻発することが考えられるからである。

【0100】

これを図１３を用いて説明する。図１３には追跡対象とする人物Ａ（人物１１００）と人物Ｂ（人物１１１０）の他に多数の人物が写っている様子を示している。

【0101】

ある時刻における人物Ａが位置１１０２、人物Ｂが位置１１１２に存在すると求められたとする。図１３からわかるように両人物の周囲には他の人物が多数位置しており、互いに別々の方向に移動し得るため、図８に示したような交差が容易に発生し得る状態になっている。

【0102】

そこで、人物Ａについて説明すると、物体抽出部１４は位置１１０２の周囲の一定範囲１１０１を考え、その範囲内に他の人物が何人位置しているかの情報を、候補位置合成部１３に渡し、候補位置合成部１３は合成に用いられる重みを求める。これら人物の位置は、低レート候補位置算出部１１にて求められた直近過去の物体位置２１６に記憶されている。一定範囲１１０１は、人物の大きさに応じて決定すればよく、人物の大きさと同じ範囲とすることができる。

【0103】

（５）上記実施形態では、低レート候補位置算出部１１は、パーティクルフィルターを用いた物体追跡手法を採用していたが、これに限られない。例えば、追跡情報２１には、低レート候補位置算出部１１が処理する時刻ごとの人物の位置が履歴として物体位置２１６に記憶されることになるので、複数の物体位置２１６からその人物の運動モデル、例えば等速直線運動モデルを生成して、それに沿って現時刻における位置を予測し、その予測位置を中心とした正規分布を定義し、それを低レート位置尤度分布としてもよい。

【0104】

この場合、人物の移動速度を検出して、それが大きいほど分散が大きい正規分布を考えるのが好適である。

【0105】

（６）上記実施形態では、１人の人物に高レート候補位置、低レート候補位置をそれぞれ複数算出し、各候補位置の尤度を考慮して物体位置を求める構成を説明したが、各候補位置を１つとし、それらを統合して物体位置を求める構成とすることもできる。

【0106】

（７）上記実施形態では、低レート候補位置算出部１１にて低レート候補位置が求められる入力画像、すなわち長間隔画像は、高レート候補位置算出部１２にて高レート候補位置が求められる入力画像、すなわち短間隔画像と常に一致していたが、それに限られない。

【0107】

例えば、低レート候補位置算出部１１における入力画像のサンプリング間隔である長時間間隔は１／２秒、高レート候補位置算出部１２における入力画像のサンプリング間隔である短時間間隔が１／５秒と設定する場合は、長間隔画像と短間隔画像が一致しない場合が生じる。この場合は、低レート候補位置が求められた時刻を基準とした直近過去の高レート候補位置を現時刻の高レート候補位置と見なして直接処理に用いたり、別途周知の方法で現時刻における高レート候補位置を予測するなどして物体位置を求めることとしてもよい。

【符号の説明】

【0108】

１ 追跡装置、１０ 追跡処理部、１１ 低レート候補位置算出部、１２ 高レート候補位置算出部、１３ 候補位置合成部、１４ 物体抽出部、１５ 出力部、２０ 記憶部、２１ 追跡情報、３０ 撮像装置、４０ 表示装置。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】