特許 7444279 物体追跡装置、物体追跡方法、及び、プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-02-27

(45)【発行日】2024-03-06

(54)【発明の名称】物体追跡装置、物体追跡方法、及び、プログラム

(51)【国際特許分類】

   G06T 7/238 20170101AFI20240228BHJP

【ＦＩ】

G06T7/238

【請求項の数】 8

(21)【出願番号】P 2022558744

(86)(22)【出願日】2020-10-30

(86)【国際出願番号】 JP2020040792

(87)【国際公開番号】W WO2022091335

(87)【国際公開日】2022-05-05

【審査請求日】2023-04-21

(73)【特許権者】

【識別番号】000004237

【氏名又は名称】日本電気株式会社

(74)【代理人】

【識別番号】100107331

【弁理士】

【氏名又は名称】中村 聡延

(74)【代理人】

【識別番号】100104765

【弁理士】

【氏名又は名称】江上 達夫

(74)【代理人】

【識別番号】100131015

【弁理士】

【氏名又は名称】三輪 浩誉

(72)【発明者】

【氏名】小川 拓也

【審査官】山田 辰美

(56)【参考文献】

【文献】特開２０１６－０７１８３０（ＪＰ，Ａ）

【文献】特開２０１０－０７２７８２（ＪＰ，Ａ）

【文献】特開２００３－３４６１５７（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００－７／９０

(57)【特許請求の範囲】

【請求項1】

時系列画像からターゲット候補を抽出する抽出手段と、
時系列が１つ前の画像におけるターゲットの枠情報と、前記ターゲットの移動情報とに基づいて、重みの分布により構成されるテンプレートを探索範囲として設定し、当該探索範囲を更新する探索範囲更新手段と、
前記探索範囲内で抽出されたターゲット候補から、ターゲットモデルとの類似度を示す信頼度を用いてターゲットを探索して追跡する追跡手段と、
前記探索範囲内で抽出されたターゲット候補を用いて、前記ターゲットモデルを更新するモデル更新手段と、
を備える物体追跡装置。

【請求項2】

前記探索範囲更新手段は、前記ターゲットの移動方向側において重みを増加させ、前記移動方向と逆側において重みを減少させるように、前記探索範囲内の重みの分布を修正する請求項１に記載の物体追跡装置。

【請求項3】

前記探索範囲更新手段は、前記探索範囲を前記ターゲットの移動方向に拡張する請求項２に記載の物体追跡装置。

【請求項4】

前記探索範囲更新手段は、前記探索範囲を前記ターゲットの移動方向と直交する方向に収縮させる請求項３に記載の物体追跡装置。

【請求項5】

前記探索範囲更新手段は、前記ターゲットの移動量に基づいて前記探索範囲内の重みの中心を移動させる請求項２乃至４のいずれか一項に記載の物体追跡装置。

【請求項6】

前記追跡手段は、前記ターゲット候補の画像特徴に前記探索範囲内の前記重みを掛け合わせたものと、前記ターゲットモデルとの信頼度を算出する請求項１乃至５のいずれか一項に記載の物体追跡装置。

【請求項7】

時系列画像からターゲット候補を抽出し、
時系列が１つ前の画像におけるターゲットの枠情報と、前記ターゲットの移動情報とに基づいて、重みの分布により構成されるテンプレートを探索範囲として設定し、当該探索範囲を更新し、
前記探索範囲内で抽出されたターゲット候補から、ターゲットモデルとの類似度を示す信頼度を用いてターゲットを探索して追跡し、
前記探索範囲内で抽出されたターゲット候補を用いて、前記ターゲットモデルを更新する物体追跡方法。

【請求項8】

時系列画像からターゲット候補を抽出し、
時系列が１つ前の画像におけるターゲットの枠情報と、前記ターゲットの移動情報とに基づいて、重みの分布により構成されるテンプレートを探索範囲として設定し、当該探索範囲を更新し、
前記探索範囲内で抽出されたターゲット候補から、ターゲットモデルとの類似度を示す信頼度を用いてターゲットを探索して追跡し、
前記探索範囲内で抽出されたターゲット候補を用いて、前記ターゲットモデルを更新する処理をコンピュータに実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像に含まれる物体を追跡する技術に関する。

【背景技術】

【0002】

動画像中の特定の物体をターゲットとして検出し、画像内におけるターゲットの移動を追跡する物体追跡手法が知られている。物体追跡では、画像中のターゲットの特徴を抽出し、それと類似する特徴を有する物体をターゲットとして追跡する。

【0003】

特許文献１は、対象物の重なりを考慮した対象物追跡方法を記載している。また、特許文献２には、前フレームの追跡結果に基づいて現フレームのオブジェクトの位置を予測し、予測した位置からオブジェクトの探索範囲を求める手法が記載されている。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１８－１１２８９０号公報

【文献】特開２０１６－０７１８３０号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

物体追跡技術における１つの問題として、「乗移り」という現象がある。これは、ターゲットの追跡中にターゲットと類似の物体が現れ、ターゲットとの間ですれ違いや遮蔽などが起きた場合に、その後、物体追跡装置が類似の物体の方をターゲットと誤認して追跡してしまう現象をいう。乗移りが発生すると、その後は物体追跡装置が類似の物体の方の特徴を学習して追跡を継続するため、正しいターゲットに復帰することが非常に難しくなる。

【0006】

本発明の１つの目的は、物体追跡における乗移りを防止することにある。

【課題を解決するための手段】

【0007】

本発明の一つの観点は、物体追跡装置であって、
時系列画像からターゲット候補を抽出する抽出手段と、
時系列が１つ前の画像におけるターゲットの枠情報と、前記ターゲットの移動情報とに基づいて、重みの分布により構成されるテンプレートを探索範囲として設定し、当該探索範囲を更新する探索範囲更新手段と、
前記探索範囲内で抽出されたターゲット候補から、ターゲットモデルとの類似度を示す信頼度を用いてターゲットを探索して追跡する追跡手段と、
前記探索範囲内で抽出されたターゲット候補を用いて、前記ターゲットモデルを更新するモデル更新手段と、
を備える。

【0008】

本発明の他の観点は、物体追跡方法であって、
時系列画像からターゲット候補を抽出し、
時系列が１つ前の画像におけるターゲットの枠情報と、前記ターゲットの移動情報とに基づいて、重みの分布により構成されるテンプレートを探索範囲として設定し、当該探索範囲を更新し、
前記探索範囲内で抽出されたターゲット候補から、ターゲットモデルとの類似度を示す信頼度を用いてターゲットを探索して追跡し、
前記探索範囲内で抽出されたターゲット候補を用いて、前記ターゲットモデルを更新する。

【0009】

本発明の他の観点は、プログラムであって、
時系列画像からターゲット候補を抽出し、
時系列が１つ前の画像におけるターゲットの枠情報と、前記ターゲットの移動情報とに基づいて、重みの分布により構成されるテンプレートを探索範囲として設定し、当該探索範囲を更新し、
前記探索範囲内で抽出されたターゲット候補から、ターゲットモデルとの類似度を示す信頼度を用いてターゲットを探索して追跡し、
前記探索範囲内で抽出されたターゲット候補を用いて、前記ターゲットモデルを更新する処理をコンピュータに実行させる。

【図面の簡単な説明】

【0010】

【図1】第１実施形態に係る物体追跡装置の全体構成を示すブロック図である。

【図2】第１実施形態に係る物体追跡装置のハードウェア構成を示すブロック図である。

【図3】第１実施形態に係る物体追跡装置の機能構成を示すブロック図である。

【図4】追跡特徴モデル生成部の構成を示すブロック図である。

【図5】ターゲットモデル生成部の構成を示すブロック図である。

【図6】追跡部の構成を示すブロック図である。

【図7】ターゲット探索範囲の設定方法を示す。

【図8】ターゲット探索範囲を決定する例を示す。

【図9】第１実施形態による追跡特徴モデル生成処理のフローチャートである。

【図10】第１実施形態によるターゲットモデル生成処理のフローチャートである。

【図11】第１実施形態による追跡処理のフローチャートである。

【図12】第１実施形態による探索範囲更新処理のフローチャートである。

【図13】第２実施形態に係る物体追跡装置の機能構成を示すブロック図である。

【図14】第２実施形態による物体追跡処理のフローチャートである。

【発明を実施するための形態】

【0011】

以下、図面を参照して、本発明の好適な実施形態について説明する。
＜第１実施形態＞
［物体追跡装置の全体構成］
図１は、第１実施形態に係る物体追跡装置の全体構成を示す。物体追跡装置１００には、追跡の対象となる物体（「ターゲット」と呼ぶ。）を含む画像と、その画像におけるターゲットの位置を示す位置情報とが入力される。なお、入力画像は、カメラやデータベースなどから取得された動画像、即ち、映像を構成する時系列画像（連続画像列）である。物体追跡装置１００は、入力画像における位置で指定されたターゲットの特徴を示すターゲットモデルを生成し、各フレーム画像においてターゲットモデルと類似する物体をターゲットとして検出、追跡する。物体追跡装置１００は、入力画像におけるターゲットを包含する枠（以下、「ターゲット枠」と呼ぶ。）の位置やサイズを示す枠情報や、元の動画像上にターゲット枠を表示した画像などを追跡結果として出力する。

【0012】

［ハードウェア構成］
図２は、第１実施形態の物体追跡装置１００のハードウェア構成を示すブロック図である。図示のように、物体追跡装置１００は、入力ＩＦ（ＩｎｔｅｒＦａｃｅ）１１と、プロセッサ１２と、メモリ１３と、記録媒体１４と、データベース（ＤＢ）１５と、入力装置１６と、表示装置１７と、を備える。

【0013】

入力ＩＦ１１は、データの入出力を行う。具体的に、入力ＩＦ１１は、ターゲットを含む画像を取得するとともに、その画像におけるターゲットの初期位置を示す位置情報を取得する。

【0014】

プロセッサ１２は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などのコンピュータであり、予め用意されたプログラムを実行することにより、物体追跡装置１００の全体を制御する。特に、プロセッサ１２は、後述する追跡特徴モデル生成処理、ターゲットモデル生成処理、及び、追跡処理を行う。

【0015】

メモリ１３は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などにより構成される。メモリ１３は、プロセッサ１２により実行される各種のプログラムを記憶する。また、メモリ１３は、プロセッサ１２による各種の処理の実行中に作業メモリとしても使用される。

【0016】

記録媒体１４は、ディスク状記録媒体、半導体メモリなどの不揮発性で非一時的な記録媒体であり、物体追跡装置１００に対して着脱可能に構成される。記録媒体１４は、プロセッサ１２が実行する各種のプログラムを記録している。

【0017】

ＤＢ１５は、入力ＩＦ１１から入力されるデータを記憶する。具体的に、ＤＢ１５には、ターゲットを含む画像が記憶される。また、ＤＢ１５には、物体追跡において使用されるターゲットモデルの情報などが記憶される。

【0018】

入力装置１６は、例えばキーボード、マウス、タッチパネルなどであり、物体追跡装置１００による処理に関連してユーザが必要な指示、入力を行う際に使用される。表示装置１７は例えば液晶ディスプレイなどであり、追跡結果を示す画像などが表示される。

【0019】

［機能構成］
図３は、物体追跡装置１００の機能構成を示すブロック図である。物体追跡装置１００は、追跡特徴モデル生成部２０と、ターゲットモデル生成部３０と、追跡部４０とを備える。追跡特徴モデル生成部２０は、入力画像と、入力画像におけるターゲットの位置情報とに基づいて追跡特徴モデルを生成し、ターゲットモデル生成部３０に出力する。ターゲットモデル生成部３０は、入力画像と、その画像におけるターゲットの位置情報と、追跡特徴モデルに基づいて、ターゲットの特徴を示すターゲットモデルを生成し、追跡部４０に出力する。追跡部４０は、ターゲットモデルを用いて、入力画像からターゲットを検出して追跡し、追跡結果を出力する。また、追跡部４０は、検出されたターゲットに基づいて、ターゲットモデルを更新する。以下、各要素について詳しく説明する。

【0020】

図４は、追跡特徴モデル生成部２０を示す。追跡特徴モデル生成部２０は、追跡特徴モデルを生成する。「追跡特徴モデル」とは、ターゲットの追跡において着目すべき特徴を事前に学習したモデルである。本実施形態では、追跡特徴モデル生成部２０は、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）などの特徴抽出器により構成される。追跡特徴モデル生成部２０は、ターゲットとなる物体の基本的な特徴を学習し、追跡特徴モデルを生成する。例えば、追跡のターゲットが「特定の人」である場合、追跡特徴モデル生成部２０は、入力画像を用いて一般的な「人（人間）」の特徴を学習する。

【0021】

上記の例では、追跡特徴モデル生成部２０には、入力画像とともに、その画像における人の位置を示す位置情報が入力される。人の領域の位置情報は、例えば、表示装置１７に表示された画像において人を内包する枠をユーザが入力装置１６を操作して指定することにより入力される。もしくは、入力画像から人を検出する物体検出器を前段に設け、その物体検出器が検出した人の位置を位置情報として追跡特徴モデル生成部２０に入力してもよい。追跡特徴モデル生成部２０は、入力画像において上記の位置情報が示す領域にある物体を正例（「人」）とし、それ以外の物体を負例（「人以外」）として追跡特徴モデルを学習し、学習済みの追跡特徴モデルを出力する。

【0022】

なお、上記の実施形態では、ＣＮＮによる深層学習を用いて追跡特徴モデルを学習しているが、それ以外の各種の特徴抽出方式により追跡特徴モデルを生成しても構わない。また、追跡特徴モデルの生成時には、連続する時刻（例えば、時刻ｔと時刻ｔ＋１）の画像における同一物体を学習するのみならず、より離れた時刻（例えば、時刻ｔと時刻ｔ＋１０など）の画像における同一物体を学習に用いてもよい。これにより、物体の見え方が大きく変形した場合でもターゲットを精度よく抽出できるようになる。また、追跡特徴モデル生成部２０に入力される位置情報は、上記のようなターゲットを内包する枠以外に、ターゲットの中心位置、ターゲットのセグメンテーション情報などであってもよい。

【0023】

図５は、ターゲットモデル生成部３０を示す。ターゲットモデル生成部３０は、入力画像中のターゲットの画像特徴を用いて、追跡特徴モデルを更新してターゲットモデルを生成する。ターゲットモデル生成部３０へは、複数のフレーム画像を含む動画像が入力画像として入力される。また、ターゲットモデル生成部３０へは、上記の入力画像におけるターゲットの枠情報が入力される。なお、枠情報は、ターゲットを内包するターゲット枠の大きさ及び位置を示す情報である。さらに、ターゲットモデル生成部３０へは、追跡特徴モデル生成部２０が生成した追跡特徴モデルが入力される。

【0024】

ターゲットモデルは、ターゲットを追跡するために着目すべき画像特徴を示すモデルである。ここで、前述の追跡特徴モデルがターゲットとなる物体の基本的な特徴を示すモデルであるのに対し、ターゲットモデルは追跡の対象となる物体の個別の特徴を示すモデルである。例えば、追跡のターゲットが「特定の人」である場合、ターゲットモデルは、入力画像においてユーザが指定した特定の人の特徴を示すモデルである。即ち、生成されたターゲットモデルは、入力画像においてユーザが指定した具体的な人物に固有の特徴も含むものとなる。

【0025】

ターゲットモデル生成部３０は、ＣＮＮなどの特徴抽出器を備え、入力画像におけるターゲット枠の領域からターゲットの画像特徴を抽出する。そして、ターゲットモデル生成部３０は、抽出されたターゲットの画像特徴と、追跡特徴モデルとを用いて、その具体的なターゲットを追跡するために着目すべき特徴を示すターゲットモデルを生成する。なお、ターゲットモデルは、追跡特徴モデルの持つ画像的な特徴の他に、ターゲットの大きさやアスペクト比などの情報、及び、ターゲットの移動方向、移動量、移動速度などを含む移動情報も保持する。ターゲットモデル生成部３０は、生成したターゲットモデルを追跡部４０へ出力する。

【0026】

図６は、追跡部４０の構成を示すブロック図である。追跡部４０は、入力画像からターゲットを検出して追跡するとともに、ターゲットの検出時に得られる物体の情報を用いてターゲットモデルを更新する。追跡部４０は、ターゲット枠推定部４１と、信頼度算出部４２と、ターゲットモデル更新部４３と、探索範囲更新部４４と、を備える。

【0027】

まず、探索範囲更新部４４に枠情報が入力される。この枠情報は、１つ前のフレーム画像において、追跡結果として得られたターゲットの枠情報及びその信頼度を含む。なお、初回の枠情報はユーザにより入力される。即ち、ユーザが入力画像においてターゲットの位置を指定すると、その位置情報が枠情報として使用され、そのときの信頼度は「１」に設定される。まず、探索範囲更新部４４は、入力された枠情報に基づいて、ターゲット探索範囲（単に「探索範囲」とも呼ぶ。）を設定する。ターゲット探索範囲は、そのフレーム画像においてターゲットが含まれると予測される範囲であり、１つ前のフレーム画像におけるターゲット枠を中心として設定される。

【0028】

図７は、ターゲット探索範囲の設定方法を示す。図７の例では、縦Ｈ、横Ｗの矩形であるターゲット枠の枠情報が探索範囲更新部４４に入力される。探索範囲更新部４４は、まず、入力された枠情報が示すターゲット枠を包含する領域をターゲット探索範囲Ｒｔとする。

【0029】

次に、探索範囲更新部４４は、設定されたターゲット探索範囲Ｒｔに対して予め用意されたテンプレートを適用し、さらにテンプレートを適用したターゲット探索範囲Ｒｔをターゲットの移動情報を用いて修正してターゲット探索範囲Ｒｔを決定する。「移動情報」は、移動方向、移動速度、移動加速度、移動量などを含む。

【0030】

図８は、ターゲット探索範囲を決定する例を示す。まず、探索範囲更新部４４は、ターゲット探索範囲Ｒｔに予め用意されたテンプレートを適用する（工程Ｐ１）。テンプレートＴは、そのテンプレートＴ内の位置に応じた重みの分布により構成されている。図８の例では、グレースケールで示した色が黒に近いほど重みが大きく、白に近いほど重みが小さい。なお、重みはターゲットの存在確率に相当し、重みが大きい位置ほどターゲットが存在する確率が高いという想定で各テンプレートが作成されている。テンプレートＴは、例えばガウス分布に従って重みが設定されており、中心に近いほど重みが大きく、全方向において中心から離れるほど重みが小さくなっている。これにより、ターゲット探索範囲Ｒｔは、最初はテンプレートＴの重み分布が示す範囲に設定される。

【0031】

次に、探索範囲更新部４４は、ターゲット探索範囲Ｒｔの重みをターゲットの移動方向側に荷重する（工程Ｐ２）。具体的には、探索範囲更新部４４は、ターゲットの移動方向Ｄ側において重みを増加させ、移動方向Ｄと逆側において重みを減少させる。例えば、探索範囲更新部４４は、ターゲットの移動方向Ｄ側で重みを１．５倍とし、移動方向Ｄと逆側で重みを半減させてもよい、

【0032】

次に、探索範囲更新部４４は、ターゲット探索範囲Ｒｔをターゲットの移動方向に拡張する（工程Ｐ３）。例えば、探索範囲更新部４４は、ターゲットの画像上の移動速度（移動画素数／フレーム）に比例してターゲット探索範囲Ｒｔを移動方向Ｄに拡張する。さらに、探索範囲更新部４４は、ターゲット探索範囲Ｒｔを移動方向Ｄと直交する方向に収縮してもよい。これにより、ターゲット探索範囲Ｒｔは、ターゲットの移動方向Ｄに細長い形状となる。もしくは、探索範囲更新部４４は、図８において破線Ｒｔ’で示すように、ターゲット探索範囲Ｒｔをターゲットの移動方向Ｄにおける前方側において幅が広く、後方側において幅が狭くなるような形状、例えば扇形のような形状に変形させてもよい。

【0033】

さらに、探索範囲更新部４４は、ターゲットの直近の移動量に基づいて、ターゲット探索範囲Ｒｔの重みの中心をターゲットの移動方向Ｄに移動させる（工程Ｐ４）。具体的には、図８に示すように、探索範囲更新部４４は、ターゲット探索範囲Ｒｔの現在の重みの中心Ｃ１を、次のフレームにおけるターゲットの予測位置Ｃ２に移動させる。

【0034】

以上のように、探索範囲更新部４４は、まず、予め用意したテンプレートをターゲット探索範囲にＲｔに適用し、さらに、ターゲットの移動情報に基づいてターゲット探索範囲Ｒｔを修正する。これにより、ターゲットの移動特性に応じてターゲット探索範囲Ｒｔを常に適切な範囲に更新し続けることができる。

【0035】

なお、上記の例では、工程Ｐ１～Ｐ４の全てを実施してターゲット探索範囲Ｒｔを決定しているが、これは必須ではない。例えば、探索範囲更新部４４は、工程Ｐ１とＰ２のみを実施してもよく、工程Ｐ１～Ｐ３までを実施してもよい。また、上記の例では、テンプレートＴは、その位置に対応する重みを有しているが、重みを有しないテンプレート、即ち、全領域の重みが一様であるテンプレートを用いてもよい。その場合には、探索範囲更新部４４は、工程Ｐ２とＰ４は実施しないこととなる。

【0036】

こうしてターゲット探索範囲Ｒｔが決定されると、追跡部４０は、入力画像からターゲットを検出して追跡する。まず、ターゲット枠推定部４１は、入力画像のターゲット探索範囲Ｒｔ内において、ターゲットモデルを用いてターゲット枠を推定する。具体的には、ターゲット枠推定部４１は、ターゲット枠を中心としたターゲット探索範囲Ｒｔに属する複数の追跡候補窓を抽出する。追跡候補窓としては、例えばＲＰＮ（Ｒｅｇｉｏｎ Ｐｒｏｐｏｓａｌ Ｎｅｔｗｏｒｋ）などを使用して得られたＲＰ（Ｒｅｇｉｏｎ Ｐｒｏｐｏｓａｌ）を用いることができる。なお、追跡候補窓は、ターゲット候補の一例である。信頼度算出部４２は、各追跡候補窓の画像特徴にターゲット探索範囲Ｒｔ中の重みを掛け合わせたものをターゲットモデルと比較して、各追跡候補窓の信頼度を算出する。「信頼度」は、ターゲットモデルとの類似度である。そして、ターゲット枠推定部４１は、各追跡候補窓のうち、最も信頼度が高い追跡候補窓をその画像での追跡結果、即ちターゲットと決定する。このターゲットの枠情報、即ち、ターゲット枠は、次のフレーム画像の処理において使用される。

【0037】

また、ターゲットモデル更新部４３は、こうして得られたターゲット枠の信頼度が所定の値域に属するか否かを判定し、所定の値域に属する場合に、その追跡候補窓を使用してターゲットモデルを更新する。具体的には、ターゲットモデル更新部４３は、ターゲットモデルに、追跡候補窓から得た画像特徴マップを掛け合わせてターゲットモデルの更新を行う。なお、ターゲット枠の信頼度が所定の値域に属しない場合、ターゲットモデル更新部４３は、その追跡候補窓を用いたターゲットモデルの更新を行わない。

【0038】

上記の構成において、ターゲット枠推定部４１は抽出手段及び追跡手段の一例であり、探索範囲更新部４４は探索範囲更新手段の一例であり、ターゲットモデル更新部４３はモデル更新手段の一例である。

【0039】

［物体追跡装置による処理］
次に、物体追跡装置１００により実行される各処理について説明する。物体追跡装置１００は、追跡特徴モデル生成処理と、ターゲットモデル生成処理と、追跡処理を実行する。以下、順に説明する。

【0040】

（追跡特徴モデル生成処理）
追跡特徴モデル生成処理は、追跡特徴モデル生成部２０により実行され、入力画像と、ターゲットの位置情報から追跡特徴モデルを生成する処理である。図９は、追跡特徴モデル生成処理のフローチャートである。この処理は、図２に示すプロセッサ１２が予め用意されたプログラムを実行することにより実現される。

【0041】

まず、追跡特徴モデル生成部２０は、入力画像と、入力画像におけるターゲットの位置情報とに基づいて、入力画像におけるターゲット領域を算出し、ターゲットの画像を抽出する（ステップＳ１１）。次に、追跡特徴モデル生成部２０は、ＣＮＮにより、ターゲットの画像から特徴を抽出し、追跡特徴モデルを生成する（ステップＳ１２）。これにより、ターゲットの特徴を示す追跡特徴モデルが生成される。

【0042】

なお、追跡特徴モデル生成処理では、追跡部４０において同じターゲットを追跡するために、時系列画像におけるターゲットは同一のものとして追跡特徴モデルが生成される。また、乗移りを防止するため、ターゲットとそれ以外のものは異なるものとして追跡特徴モデルが生成される。また、より精細な画像特徴で認識するために、同一カテゴリの別種のもの、例えばバイクと自転車、色違いの同一物などを別のものとして追跡特徴モデルが生成される。

【0043】

（ターゲットモデル生成処理）
追跡特徴モデル生成処理に続いて、ターゲットモデル生成処理が実行される。ターゲットモデル生成処理は、ターゲットモデル生成部３０により実行され、入力画像と、入力画像におけるターゲットの枠情報と、追跡特徴モデルとに基づいて、ターゲットモデルを生成する処理である。図１０は、ターゲットモデル生成処理のフローチャートである。この処理は、図２に示すプロセッサ１２が、予め用意されたプログラムを実行することにより実現される。

【0044】

まず、ターゲットモデル生成部３０は、枠情報が示す枠の大きさをもとに、ターゲット候補となる追跡候補窓を設定する（ステップＳ２１）。追跡候補窓は、後述する追跡処理においてターゲットを探索するために使用される窓であり、枠情報が示すターゲット枠の大きさと同程度の大きさに設定される。

【0045】

次に、ターゲットモデル生成部３０は、入力画像中のターゲット枠内の領域及びその周辺を一定の大きさに正規化し、正規化ターゲット領域を生成する（ステップＳ２２）。これは、ＣＮＮの前処理として、ターゲット枠の領域をＣＮＮの入力に適したサイズに合わせる処理である。次に、ターゲットモデル生成部３０は、ＣＮＮを用いて正規化ターゲット領域から画像特徴を抽出する（ステップＳ２３）。

【0046】

そして、ターゲットモデル生成部３０は、追跡特徴モデル生成部２０が生成した追跡特徴モデルを、ターゲットの画像特徴で更新し、ターゲットモデルを生成する（ステップＳ２４）。なお、本例では、ターゲット枠が示すターゲット領域からＣＮＮを用いて画像特徴を抽出しているが、他の方法を用いて画像特徴を抽出してもよい。また、ターゲットモデルは、例えばＣＮＮによる特徴抽出を行い、１つあるいは複数の特徴空間で表してもよい。なお、前述のように、ターゲットモデルは、追跡特徴モデルの持つ画像的な特徴の他に、ターゲットの大きさやアスペクト比などの情報、及び、ターゲットの移動方向、移動量、移動速度などを含む移動情報も保持する。

【0047】

（追跡処理）
ターゲットモデル生成処理に続いて、追跡処理が実行される。追跡処理は、追跡部４０により実行され、入力画像におけるターゲットを追跡するとともに、ターゲットモデルを更新する処理である。図１１は、追跡処理のフローチャートである。この処理は、図２に示すプロセッサ１２が予め用意されたプログラムを実行し、図６に示す各要素として動作することにより実現される。

【0048】

まず、探索範囲更新部４４は、探索範囲更新処理を実行する（ステップＳ３１）。探索範囲更新処理は、１つ前のフレーム画像におけるターゲット枠をもとにターゲット探索範囲を更新する処理である。なお、１つ前のフレーム画像におけるターゲット枠は、以下に説明する追跡処理において生成される。

【0049】

図１２は、探索範囲更新処理のフローチャートである。なお、探索範囲更新処理の開始時においては、ターゲット枠としては追跡特徴モデル生成処理において入力されたターゲットの位置が用いられ、ターゲット枠の信頼度としては「１」が用いられる。

【0050】

まず、探索範囲更新部４４は、ターゲット探索範囲Ｒｔに予め用意されたテンプレートを適用する（ステップＳ４１）。この処理は、図８に示す工程Ｐ１に相当する。

【0051】

次に、探索範囲更新部４４は、ターゲットの移動方向や移動量に基づいて、ターゲット探索範囲Ｒｔを修正する。具体的には、まず、探索範囲更新部４４は、ターゲット探索範囲Ｒｔの重みをターゲットの移動方向側に荷重する（ステップＳ４２）。この処理は、図８に示す工程Ｐ２に相当する。

【0052】

次に、探索範囲更新部４４は、ターゲットモデルが示すターゲットの移動量に基づき、ターゲット探索範囲Ｒｔをターゲットの移動方向に拡張し、ターゲットの移動方向と直交する方向に収縮する（ステップＳ４３）。この処理は、図８に示す工程Ｐ３に相当する。この際、前述のように、ターゲットの移動方向と反対方向においてターゲット探索範囲Ｒｔを収縮し、ターゲット探索範囲Ｒｔを扇形のような形状としてもよい。

【0053】

次に、探索範囲更新部４４は、１つ前のフレーム画像におけるターゲット枠の位置と、ターゲットの移動量とから、ターゲット探索範囲Ｒｔにおける重みの中心を移動させる。この処理は、図８に示す工程Ｐ４に相当する。そして、探索範囲更新部４４は、ターゲット探索範囲Ｒｔを示す探索範囲情報を生成し（ステップＳ４４）、探索範囲更新処理を終了する。

【0054】

このように、探索範囲更新処理では、ターゲットの移動方向や移動量などの移動情報に基づいてターゲット探索範囲Ｒｔを修正する。これにより、ターゲットの移動特性に応じてターゲット探索範囲Ｒｔを常に適切な範囲に更新し続けることができる。

【0055】

次に、処理は図１１に戻り、ターゲット枠推定部４１は、ターゲット枠を中心としたターゲット探索範囲に属する複数の追跡候補窓を抽出する。信頼度算出部４２は、各追跡候補窓の画像特徴にターゲット探索範囲Ｒｔ中の重みを掛け合わせたものをターゲットモデルと比較し、各追跡候補窓の信頼度を算出する。そして、ターゲット枠推定部４１は、各追跡候補窓のうち、最も信頼度が高い追跡候補窓をその画像でのターゲット枠と決定する（ステップＳ３２）。こうして、ターゲットの追跡が行われる。

【0056】

次に、ターゲットモデル更新部４３は、追跡結果の信頼度が所定の値域に属する場合、得られたターゲット枠を用いてターゲットモデルを更新する（ステップＳ３３）。こうして、ターゲットモデルが更新される。

【0057】

以上のように、第１実施形態によれば、ターゲットの移動パターンに応じたテンプレートを用いてターゲット探索範囲が設定され、さらにターゲットの移動方向や移動量などに応じてターゲット探索範囲が更新されるので、常に適切なターゲット探索範囲においてターゲットの追跡を行うことが可能となる。その結果、乗移りの発生を防止することができる。

【0058】

＜第２実施形態＞
図１３は、第２実施形態に係る物体追跡装置５０の機能構成を示すブロック図である。物体追跡装置５０は、抽出手段５１と、探索範囲更新手段５２と、追跡手段５３と、モデル更新手段５４とを備える。抽出手段５１は、時系列画像からターゲット候補を抽出する。探索範囲更新手段５２は、時系列が１つ前の画像におけるターゲットの枠情報と、前記ターゲットの移動情報とに基づいて、探索範囲を更新する。追跡手段５３は、探索範囲内で抽出されたターゲット候補から、ターゲットモデルとの類似度を示す信頼度を用いてターゲットを探索して追跡する。モデル更新手段５４は、探索範囲内で抽出されたターゲット候補を用いて、ターゲットモデルを更新する。

【0059】

図１４は、第２実施形態による物体追跡処理のフローチャートである。抽出手段５１は、時系列画像からターゲット候補を抽出する（ステップＳ５１）。探索範囲更新手段５２は、時系列が１つ前の画像におけるターゲットの枠情報と、前記ターゲットの移動情報とに基づいて、探索範囲を更新する（ステップＳ５２）。追跡手段５３は、探索範囲内で抽出されたターゲット候補から、ターゲットモデルとの類似度を示す信頼度を用いてターゲットを探索して追跡する（ステップＳ５３）。モデル更新手段５４は、探索範囲内で抽出されたターゲット候補を用いて、ターゲットモデルを更新する（ステップＳ５４）。

【0060】

第２実施形態の物体追跡装置によれば、ターゲットの移動情報に基づいてターゲット探索範囲が設定されるので、常に適切なターゲット探索範囲においてターゲットの追跡を行うことが可能となる。その結果、乗移りの発生を防止することができる。

【0061】

上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。

【0062】

（付記１）
時系列画像からターゲット候補を抽出する抽出手段と、
時系列が１つ前の画像におけるターゲットの枠情報と、前記ターゲットの移動情報とに基づいて、探索範囲を更新する探索範囲更新手段と、
前記探索範囲内で抽出されたターゲット候補から、ターゲットモデルとの類似度を示す信頼度を用いてターゲットを探索して追跡する追跡手段と、
前記探索範囲内で抽出されたターゲット候補を用いて、前記ターゲットモデルを更新するモデル更新手段と、
を備える物体追跡装置。

【0063】

（付記２）
前記探索範囲更新手段は、重みの分布により構成されるテンプレートを前記探索範囲として設定する付記１に記載の物体追跡装置。

【0064】

（付記３）
前記探索範囲更新手段は、前記ターゲットの移動方向側において重みを増加させ、前記移動方向と逆側において重みを減少させるように、前記探索範囲内の重みの分布を修正する付記２に記載の物体追跡装置。

【0065】

（付記４）
前記探索範囲更新手段は、前記探索範囲を前記ターゲットの移動方向に拡張する付記３に記載の物体追跡装置。

【0066】

（付記５）
前記探索範囲更新手段は、前記探索範囲を前記ターゲットの移動方向と直交する方向に収縮させる付記４に記載の物体追跡装置。

【0067】

（付記６）
前記探索範囲更新手段は、前記ターゲットの移動量に基づいて前記探索範囲内の重みの中心を移動させる付記３乃至５のいずれか一項に記載の物体追跡装置。

【0068】

（付記７）
前記追跡手段は、前記ターゲット候補の画像特徴に前記探索範囲内の前記重みを掛け合わせたものと、前記ターゲットモデルとの信頼度を算出する付記２乃至６のいずれか一項に記載の物体追跡装置。

【0069】

（付記８）
時系列画像からターゲット候補を抽出し、
時系列が１つ前の画像におけるターゲットの枠情報と、前記ターゲットの移動情報とに基づいて、探索範囲を更新し、
前記探索範囲内で抽出されたターゲット候補から、ターゲットモデルとの類似度を示す信頼度を用いてターゲットを探索して追跡し、
前記探索範囲内で抽出されたターゲット候補を用いて、前記ターゲットモデルを更新する物体追跡方法。

【0070】

（付記９）
時系列画像からターゲット候補を抽出し、
時系列が１つ前の画像におけるターゲットの枠情報と、前記ターゲットの移動情報とに基づいて、探索範囲を更新し、
前記探索範囲内で抽出されたターゲット候補から、ターゲットモデルとの類似度を示す信頼度を用いてターゲットを探索して追跡し、
前記探索範囲内で抽出されたターゲット候補を用いて、前記ターゲットモデルを更新する処理をコンピュータに実行させるプログラムを記録した記録媒体。

【0071】

以上、実施形態及び実施例を参照して本発明を説明したが、本発明は上記実施形態及び実施例に限定されるものではない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

【符号の説明】

【0072】

１１ 入力ＩＦ
１２ プロセッサ
１３ メモリ
１４ 記録媒体
１５ データベース
１６ 入力装置
１７ 表示装置
２０ 追跡特徴モデル生成部
３０ ターゲットモデル生成部
４０ 追跡部
４１ ターゲット枠推定部
４２ 信頼度算出部
４３ ターゲットモデル更新部
１００ 物体追跡装置
Ｒｔ ターゲット探索範囲

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】