特許 7444278 物体追跡装置、物体追跡方法、及び、プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-02-27

(45)【発行日】2024-03-06

(54)【発明の名称】物体追跡装置、物体追跡方法、及び、プログラム

(51)【国際特許分類】

   G06T 7/238 20170101AFI20240228BHJP

【ＦＩ】

G06T7/238

【請求項の数】 10

(21)【出願番号】P 2022558743

(86)(22)【出願日】2020-10-30

(86)【国際出願番号】 JP2020040791

(87)【国際公開番号】W WO2022091334

(87)【国際公開日】2022-05-05

【審査請求日】2023-04-21

(73)【特許権者】

【識別番号】000004237

【氏名又は名称】日本電気株式会社

(74)【代理人】

【識別番号】100107331

【弁理士】

【氏名又は名称】中村 聡延

(74)【代理人】

【識別番号】100104765

【弁理士】

【氏名又は名称】江上 達夫

(74)【代理人】

【識別番号】100131015

【弁理士】

【氏名又は名称】三輪 浩誉

(72)【発明者】

【氏名】小川 拓也

【審査官】山田 辰美

(56)【参考文献】

【文献】特開２０１６－０７１８３０（ＪＰ，Ａ）

【文献】特開２０１０－０７２７８２（ＪＰ，Ａ）

【文献】特開２００３－３４６１５７（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００－７／９０

(57)【特許請求の範囲】

【請求項1】

時系列画像からターゲット候補を抽出する抽出手段と、
時系列が１つ前の画像におけるターゲットの枠情報と、前記ターゲットの移動パターンとに基づいて、当該移動パターンに対応するテンプレートを探索範囲として設定し、当該探索範囲を更新する探索範囲更新手段と、
前記探索範囲内で抽出されたターゲット候補から、ターゲットモデルとの類似度を示す信頼度を用いてターゲットを探索して追跡する追跡手段と、
前記探索範囲内で抽出されたターゲット候補を用いて、前記ターゲットモデルを更新するモデル更新手段と、
を備える物体追跡装置。

【請求項2】

前記時系列画像から前記ターゲットのカテゴリを判別するカテゴリ判別手段と、
カテゴリと移動パターンとの対応情報を用いて、前記カテゴリに対応する移動パターンを取得して前記ターゲットの移動パターンとする移動パターン決定手段と、
を備える請求項１に記載の物体追跡装置。

【請求項3】

前記時系列画像から前記ターゲットの移動パターンを判別する移動パターン判別手段を備える請求項１に記載の物体追跡装置。

【請求項4】

前記探索範囲更新手段は、前記ターゲットの移動方向と一致するように前記探索範囲を回転させる請求項１に記載の物体追跡装置。

【請求項5】

前記探索範囲更新手段は、前記探索範囲を前記ターゲットの移動方向に拡張する請求項１又は４に記載の物体追跡装置。

【請求項6】

前記探索範囲更新手段は、前記探索範囲を前記ターゲットの移動方向と直交する方向に収縮させる請求項５に記載の物体追跡装置。

【請求項7】

前記テンプレートは、当該テンプレートの領域内の位置毎に重みを有し、
前記探索範囲更新手段は、前記ターゲットの移動量に基づいて前記探索範囲内の重みの中心を移動させる請求項１、４、５又は６のいずれか一項に記載の物体追跡装置。

【請求項8】

前記追跡手段は、前記ターゲット候補の画像特徴に前記探索範囲内の前記重みを掛け合わせたものと、前記ターゲットモデルとの信頼度を算出する請求項７に記載の物体追跡装置。

【請求項9】

時系列画像からターゲット候補を抽出し、
時系列が１つ前の画像におけるターゲットの枠情報と、前記ターゲットの移動パターンとに基づいて、当該移動パターンに対応するテンプレートを探索範囲として設定し、当該探索範囲を更新し、
前記探索範囲内で抽出されたターゲット候補から、ターゲットモデルとの類似度を示す信頼度を用いてターゲットを探索して追跡し、
前記探索範囲内で抽出されたターゲット候補を用いて、前記ターゲットモデルを更新する物体追跡方法。

【請求項10】

時系列画像からターゲット候補を抽出し、
時系列が１つ前の画像におけるターゲットの枠情報と、前記ターゲットの移動パターンとに基づいて、当該移動パターンに対応するテンプレートを探索範囲として設定し、当該探索範囲を更新し、
前記探索範囲内で抽出されたターゲット候補から、ターゲットモデルとの類似度を示す信頼度を用いてターゲットを探索して追跡し、
前記探索範囲内で抽出されたターゲット候補を用いて、前記ターゲットモデルを更新する処理をコンピュータに実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像に含まれる物体を追跡する技術に関する。

【背景技術】

【0002】

動画像中の特定の物体をターゲットとして検出し、画像内におけるターゲットの移動を追跡する物体追跡手法が知られている。物体追跡では、画像中のターゲットの特徴を抽出し、それと類似する特徴を有する物体をターゲットとして追跡する。

【0003】

特許文献１は、対象物の重なりを考慮した対象物追跡方法を記載している。また、特許文献２には、前フレームの追跡結果に基づいて現フレームのオブジェクトの位置を予測し、予測した位置からオブジェクトの探索範囲を求める手法が記載されている。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１８－１１２８９０号公報

【文献】特開２０１６－０７１８３０号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

物体追跡技術における１つの問題として、「乗移り」という現象がある。これは、ターゲットの追跡中にターゲットと類似の物体が現れ、ターゲットとの間ですれ違いや遮蔽などが起きた場合に、その後、物体追跡装置が類似の物体の方をターゲットと誤認して追跡してしまう現象をいう。乗移りが発生すると、その後は物体追跡装置が類似の物体の方の特徴を学習して追跡を継続するため、正しいターゲットに復帰することが非常に難しくなる。

【0006】

本発明の１つの目的は、物体追跡における乗移りを防止することにある。

【課題を解決するための手段】

【0007】

本発明の一つの観点は、物体追跡装置であって、
時系列画像からターゲット候補を抽出する抽出手段と、
時系列が１つ前の画像におけるターゲットの枠情報と、前記ターゲットの移動パターンとに基づいて、当該移動パターンに対応するテンプレートを探索範囲として設定し、当該探索範囲を更新する探索範囲更新手段と、
前記探索範囲内で抽出されたターゲット候補から、ターゲットモデルとの類似度を示す信頼度を用いてターゲットを探索して追跡する追跡手段と、
前記探索範囲内で抽出されたターゲット候補を用いて、前記ターゲットモデルを更新するモデル更新手段と、
を備える。

【0008】

本発明の他の観点は、物体追跡方法であって、
時系列が１つ前の画像におけるターゲットの枠情報と、前記ターゲットの移動パターンとに基づいて、当該移動パターンに対応するテンプレートを探索範囲として設定し、当該探索範囲を更新し、
前記探索範囲内で抽出されたターゲット候補から、ターゲットモデルとの類似度を示す信頼度を用いてターゲットを探索して追跡し、
前記探索範囲内で抽出されたターゲット候補を用いて、前記ターゲットモデルを更新する。

【0009】

本発明の他の観点は、プログラムであって、
時系列画像からターゲット候補を抽出し、
時系列が１つ前の画像におけるターゲットの枠情報と、前記ターゲットの移動パターンとに基づいて、当該移動パターンに対応するテンプレートを探索範囲として設定し、当該探索範囲を更新し、
前記探索範囲内で抽出されたターゲット候補から、ターゲットモデルとの類似度を示す信頼度を用いてターゲットを探索して追跡し、
前記探索範囲内で抽出されたターゲット候補を用いて、前記ターゲットモデルを更新する処理をコンピュータに実行させる。

【図面の簡単な説明】

【0010】

【図1】第１実施形態に係る物体追跡装置の全体構成を示すブロック図である。

【図2】第１実施形態に係る物体追跡装置のハードウェア構成を示すブロック図である。

【図3】第１実施形態に係る物体追跡装置の機能構成を示すブロック図である。

【図4】事前学習部の構成を示すブロック図である。

【図5】ターゲットモデル生成部の構成を示すブロック図である。

【図6】カテゴリ／移動パターン対応表の一例を示す。

【図7】追跡部の構成を示すブロック図である。

【図8】ターゲット探索範囲の設定方法を示す。

【図9】探索範囲のテンプレートの例を示す。

【図10】ターゲット探索範囲を修正する例を示す。

【図11】第１実施形態による事前学習処理のフローチャートである。

【図12】第１実施形態によるターゲットモデル生成処理のフローチャートである。

【図13】第１実施形態による追跡処理のフローチャートである。

【図14】第１実施形態による探索範囲更新処理のフローチャートである。

【図15】第２実施形態に係る事前学習部の構成を示すブロック図である。

【図16】第２実施形態に係るターゲットモデル生成部の構成を示すブロック図である。

【図17】第２実施形態による事前学習処理のフローチャートである。

【図18】第２実施形態によるターゲットモデル生成処理のフローチャートである。

【図19】第３実施形態に係る物体追跡装置の機能構成を示すブロック図である。

【図20】第３実施形態による物体追跡処理のフローチャートである。

【発明を実施するための形態】

【0011】

以下、図面を参照して、本発明の好適な実施形態について説明する。
＜第１実施形態＞
［物体追跡装置の全体構成］
図１は、第１実施形態に係る物体追跡装置の全体構成を示す。物体追跡装置１００には、追跡の対象となる物体（「ターゲット」と呼ぶ。）を含む画像と、その画像におけるターゲットの位置を示す位置情報とが入力される。なお、入力画像は、カメラやデータベースなどから取得された動画像、即ち、映像を構成する時系列画像（連続画像列）である。物体追跡装置１００は、入力画像における位置で指定されたターゲットの特徴を示すターゲットモデルを生成し、各フレーム画像においてターゲットモデルと類似する物体をターゲットとして検出、追跡する。物体追跡装置１００は、入力画像におけるターゲットを包含する枠（以下、「ターゲット枠」と呼ぶ。）の位置やサイズを示す枠情報や、元の動画像上にターゲット枠を表示した画像などを追跡結果として出力する。

【0012】

［ハードウェア構成］
図２は、第１実施形態の物体追跡装置１００のハードウェア構成を示すブロック図である。図示のように、物体追跡装置１００は、入力ＩＦ（ＩｎｔｅｒＦａｃｅ）１１と、プロセッサ１２と、メモリ１３と、記録媒体１４と、データベース（ＤＢ）１５と、入力装置１６と、表示装置１７と、を備える。

【0013】

入力ＩＦ１１は、データの入出力を行う。具体的に、入力ＩＦ１１は、ターゲットを含む画像を取得するとともに、その画像におけるターゲットの初期位置を示す位置情報を取得する。

【0014】

プロセッサ１２は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などのコンピュータであり、予め用意されたプログラムを実行することにより、物体追跡装置１００の全体を制御する。特に、プロセッサ１２は、後述する事前学習処理、ターゲットモデル生成処理、及び、追跡処理を行う。

【0015】

メモリ１３は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などにより構成される。メモリ１３は、プロセッサ１２により実行される各種のプログラムを記憶する。また、メモリ１３は、プロセッサ１２による各種の処理の実行中に作業メモリとしても使用される。

【0016】

記録媒体１４は、ディスク状記録媒体、半導体メモリなどの不揮発性で非一時的な記録媒体であり、物体追跡装置１００に対して着脱可能に構成される。記録媒体１４は、プロセッサ１２が実行する各種のプログラムを記録している。

【0017】

ＤＢ１５は、入力ＩＦ１１から入力されるデータを記憶する。具体的に、ＤＢ１５には、ターゲットを含む画像が記憶される。また、ＤＢ１５には、物体追跡において使用されるターゲットモデルの情報などが記憶される。

【0018】

入力装置１６は、例えばキーボード、マウス、タッチパネルなどであり、物体追跡装置１００による処理に関連してユーザが必要な指示、入力を行う際に使用される。表示装置１７は例えば液晶ディスプレイなどであり、追跡結果を示す画像などが表示される。

【0019】

［機能構成］
図３は、第１実施形態の物体追跡装置１００の機能構成を示すブロック図である。物体追跡装置１００は、事前学習部２０と、ターゲットモデル生成部３０と、追跡部４０とを備える。事前学習部２０は、入力画像と、入力画像におけるターゲットの位置情報とに基づいて追跡特徴モデルを生成し、ターゲットモデル生成部３０に出力する。また、事前学習部２０は、入力画像に含まれるターゲットのカテゴリを判別するカテゴリ判別モデルを生成し、ターゲットモデル生成部３０へ出力する。

【0020】

ターゲットモデル生成部３０は、入力画像と、その画像におけるターゲットの位置情報と、追跡特徴モデルに基づいて、ターゲットの特徴を示すターゲットモデルを生成し、追跡部４０に出力する。追跡部４０は、ターゲットモデルを用いて、入力画像からターゲットを検出して追跡し、追跡結果を出力する。また、追跡部４０は、検出されたターゲットに基づいてターゲットモデルを更新する。以下、各要素について詳しく説明する。

【0021】

図４は、事前学習部２０の構成を示す。事前学習部２０は、追跡特徴モデルとカテゴリ判別モデルの事前学習を行う。具体的に、事前学習部２０は、追跡特徴モデル生成部２１と、カテゴリ判別器２２とを備える。追跡特徴モデル生成部２１は、追跡特徴モデルの学習を行い、学習済みの追跡特徴モデルを生成する。「追跡特徴モデル」とは、ターゲットの追跡において着目すべき特徴を事前に学習したモデルである。追跡特徴モデル生成部２１は、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）などの特徴抽出器により構成される。追跡特徴モデル生成部２１は、ターゲットとなる物体の基本的な特徴を学習し、追跡特徴モデルを生成する。例えば、追跡のターゲットが「特定の人」である場合、追跡特徴モデル生成部２１は、入力画像を用いて一般的な「人（人間）」の特徴を学習する。

【0022】

上記の例では、追跡特徴モデル生成部２１には、入力画像とともに、その画像における人の位置を示す位置情報が入力される。人の領域の位置情報は、例えば、表示装置１７に表示された画像において人を内包する枠をユーザが入力装置１６を操作して指定することにより入力される。もしくは、入力画像から人を検出する物体検出器を前段に設け、その物体検出器が検出した人の位置を位置情報として追跡特徴モデル生成部２１に入力してもよい。追跡特徴モデル生成部２１は、入力画像において上記の位置情報が示す領域にある物体を正例（「人」）とし、それ以外の物体を負例（「人以外」）として追跡特徴モデルを学習し、学習済みの追跡特徴モデルを出力する。

【0023】

なお、上記の例では、ＣＮＮによる深層学習を用いて追跡特徴モデルを学習しているが、それ以外の各種の特徴抽出方式により追跡特徴モデルを生成しても構わない。また、追跡特徴モデルの生成時には、連続する時刻（例えば、時刻ｔと時刻ｔ＋１）の画像における同一物体を学習するのみならず、より離れた時刻（例えば、時刻ｔと時刻ｔ＋１０など）の画像における同一物体を学習に用いてもよい。これにより、物体の見え方が大きく変形した場合でもターゲットを精度よく抽出できるようになる。また、事前学習部２０に入力される位置情報は、上記のようなターゲットを内包する枠以外に、ターゲットの中心位置、ターゲットのセグメンテーション情報などであってもよい。

【0024】

カテゴリ判別器２２は、入力画像におけるターゲットのカテゴリを判別するカテゴリ判別モデルを生成する。カテゴリ判別器２２は、例えばＣＮＮを用いて構成される。カテゴリ判別器２２は、入力画像と、その画像におけるターゲットの位置を示す位置情報とに基づいて、ターゲットのカテゴリを判別する。ターゲットは予めいくつかのカテゴリ、例えば、「人」、「自転車」、「車」などのカテゴリに分類されている。カテゴリ判別器２２は、学習用の入力画像及び教師データを用いて、入力画像からターゲットのカテゴリを判別するカテゴリ判別モデルの学習を行い、学習済みのカテゴリ判別モデルを出力する。なお、ターゲットは、例えば「車」についての「車種」など、より詳細なカテゴリに分類されていてもよい。その場合、カテゴリ判別モデルは、車種などを判別できるように学習される。

【0025】

図５は、ターゲットモデル生成部３０の構成を示す。ターゲットモデル生成部３０は、入力画像中のターゲットの画像特徴を用いて、追跡特徴モデルを更新してターゲットモデルを生成する。ターゲットモデル生成部３０へは、複数のフレーム画像を含む動画像が入力画像として入力される。また、ターゲットモデル生成部３０へは、上記の入力画像におけるターゲットの枠情報が入力される。なお、枠情報は、ターゲットを内包するターゲット枠の大きさ及び位置を示す情報である。また、ターゲットモデル生成部３０へは、事前学習部２０が生成した追跡特徴モデル及びカテゴリ判別モデルが入力される。さらに、ターゲットモデル生成部３０は、カテゴリ／移動パターン対応表を参照可能となっている。

【0026】

ターゲットモデルは、ターゲットを追跡するために着目すべき画像特徴を示すモデルである。ここで、前述の追跡特徴モデルがターゲットとなる物体の基本的な特徴を示すモデルであるのに対し、ターゲットモデルは追跡の対象となる物体の個別の特徴を示すモデルである。例えば、追跡のターゲットが「特定の人」である場合、ターゲットモデルは、入力画像においてユーザが指定した特定の人の特徴を示すモデルである。即ち、生成されたターゲットモデルは、入力画像においてユーザが指定した具体的な人物に固有の特徴も含むものとなる。

【0027】

ターゲットモデル生成部３０は、ＣＮＮなどの特徴抽出器を備え、入力画像におけるターゲット枠の領域からターゲットの画像特徴を抽出する。そして、ターゲットモデル生成部３０は、抽出されたターゲットの画像特徴と、追跡特徴モデルとを用いて、その具体的なターゲットを追跡するために着目すべき特徴を示すターゲットモデルを生成する。なお、ターゲットモデルは、追跡特徴モデルの持つ画像的な特徴の他に、ターゲットの大きさやアスペクト比などの情報、及び、ターゲットの移動方向、移動量、移動速度などを含む移動情報も保持する。

【0028】

また、ターゲットモデル生成部３０は、カテゴリ判別モデルを用いてターゲットの移動パターンを推定し、ターゲットモデルに追加する。具体的には、ターゲットモデル生成部３０は、まずカテゴリ判別モデルを用いて入力画像のカテゴリを判別する。次に、ターゲットモデル生成部３０は、カテゴリ／移動パターン対応表を参照し、判別されたカテゴリの移動パターンを導出する。

【0029】

「移動パターン」とは、ターゲットの移動方向の確率分布に基づく、ターゲットの移動のしかたの類型を示す。具体的に、移動パターンは、ターゲットの移動方向と、その方向へ移動する確率との組み合わせにより規定される。例えば、ターゲットが現在位置から全方向にほぼ同じ確率で移動する場合、移動パターンは「全方向型」となる。ターゲットが現在位置から前方のみに移動する場合、移動パターンは「前方型」となる。ターゲットが現在位置から高い確率で前方に移動するが、後方にも移動する場合がある場合、移動パターンは「前方重視型」となる。実際には、ターゲットの移動方向は、前方以外に、後方、右方向、左方向、右斜め前方、左斜め前方、右斜め後方、左斜め後方などの種々の方向となりうる。よって、移動パターンは、ターゲットの移動方向と、その方向へ移動する確率とに応じて、「○○方向型」、「○○方向重視型」などと規定することができる。また、ターゲットが複数の方向のいずれかのみに移動する場合、例えば、ターゲットが右前方と左後方のいずれかのみに移動する場合、移動パターンは「右前方／左後方型」などと規定されてもよい。

【0030】

図６は、カテゴリ／移動パターン対応表の一例を示す。カテゴリ／移動パターン対応表は、カテゴリ毎に、そのカテゴリの物体が移動する際の移動パターンを規定している。例えば、「人」は、基本的に前後左右に自由に移動可能であるので、移動パターンは「全方向型」と規定されている。「自転車」は、基本的に前進のみであるので、移動パターンは「前方型」と規定されている。「車」は前進のみならず後進も可能であるが、確率的には前進する確率が高いので、移動パターンは「前方重視型」と規定されている。

【0031】

ターゲットモデル生成部３０は、カテゴリ／移動パターン対応表を参照し、入力画像中のターゲットのカテゴリから、そのターゲットの移動パターンを導出し、ターゲットモデルに追加する。そして、ターゲットモデル生成部３０は、生成したターゲットモデルを追跡部４０へ出力する。

【0032】

図７は、追跡部４０の構成を示すブロック図である。追跡部４０は、入力画像からターゲットを検出して追跡するとともに、ターゲットの検出時に得られる物体の情報を用いてターゲットモデルを更新する。追跡部４０は、ターゲット枠推定部４１と、信頼度算出部４２と、ターゲットモデル更新部４３と、探索範囲更新部４４と、を備える。

【0033】

まず、探索範囲更新部４４に枠情報が入力される。この枠情報は、１つ前のフレーム画像において、追跡結果として得られたターゲットの枠情報及びその信頼度を含む。なお、初回の枠情報はユーザにより入力される。即ち、ユーザが入力画像においてターゲットの位置を指定すると、その位置情報が枠情報として使用され、そのときの信頼度は「１」に設定される。まず、探索範囲更新部４４は、入力された枠情報に基づいて、ターゲット探索範囲（単に「探索範囲」とも呼ぶ。）を設定する。ターゲット探索範囲は、そのフレーム画像においてターゲットが含まれると予測される範囲であり、１つ前のフレーム画像におけるターゲット枠を中心として設定される。

【0034】

図８は、ターゲット探索範囲の設定方法を示す。図８の例では、縦Ｈ、横Ｗの矩形であるターゲット枠の枠情報が探索範囲更新部４４に入力される。探索範囲更新部４４は、まず、入力された枠情報が示すターゲット枠を包含する領域をターゲット探索範囲とする。

【0035】

次に、探索範囲更新部４４は、ターゲットの移動パターンに応じて、ターゲット探索範囲に適用するテンプレートを決定する。ターゲットの移動パターンは、前述のようにターゲットモデルに含まれている。よって、探索範囲更新部４４はターゲットモデルに含まれる移動パターンに基づいて、探索範囲のテンプレートを決定し、ターゲット探索範囲に当てはめる。

【0036】

図９は、探索範囲のテンプレート（以下、単に「テンプレート」と呼ぶ。）の例を示す。例えば物体のカテゴリが「人」である場合、前述のように移動パターンは「全方向型」であり、ターゲットモデルは移動パターン「全方向型」を示す。よって、探索範囲更新部４４は、全方向型に対応するテンプレートＴ１を選択する。同様に、ターゲットモデルが移動パターン「前方型」を示す場合、探索範囲更新部４４はテンプレートＴ２を選択し、ターゲットモデルが移動パターン「前方重視型」を示す場合、探索範囲更新部４４はテンプレートＴ３を選択する。

【0037】

各テンプレートＴ１～Ｔ３は、テンプレート内の位置に応じた重みの分布により構成されている。図９の例では、グレースケールで示した色が黒に近いほど重みが大きく、白に近いほど重みが小さい。なお、重みはターゲットの存在確率に相当し、重みが大きい位置ほどターゲットが存在する確率が高いという想定で各テンプレートが作成されている。

【0038】

図９の例において、移動パターン「全方向型」に対応するテンプレートＴ１では、ターゲットの存在確率は全方向にわたって均等であるので、テンプレートＴ１の中心に近いほど重みが大きく、全方向において中心から離れるほど重みが小さくなっている。移動パターン「前方型」に対応するテンプレートＴ２では、ターゲットの存在確率は移動方向の前方が高く、後方はゼロに近いので、移動方向の前方のみに重みが分布している。移動パターン「前方重視型」に対応するテンプレートＴ３では、次の時刻におけるターゲットの存在確率は移動方向の前方が高く、後方は低いので、移動方向の前方の重みが大きく、後方の重みが小さくなっている。なお、前方型、前方重視型など、重みの分布に方向性があるテンプレートには基準方向が規定される。図９の例では、前方型及び前方重視型の移動パターンに対応するテンプレートＴ２、Ｔ３について、破線の矢印で示す基準方向Ｄ_０が規定されている。

【0039】

探索範囲更新部４４は、まず、図９に示すように、入力された枠情報に基づいて決定されたターゲット探索範囲Ｒｔに対して、ターゲットの移動パターンに基づいて決定されたテンプレートを当てはめる。次に、探索範囲更新部４４は、テンプレートを適用したターゲット探索範囲Ｒｔを、ターゲットの移動方向、移動速度、移動量などの移動情報を用いて修正する。

【0040】

図１０は、ターゲット探索範囲を修正する例を示す。なお、図１０は、図９に示す前方重視型のテンプレートＴ３を用いた例である。まず、探索範囲更新部４４は、前述のように、ターゲットモデルに含まれる移動パターンに基づいて決定したテンプレートＴ３をターゲット探索範囲Ｒｔに適用する（工程Ｐ１）。これにより、ターゲット探索範囲Ｒｔは、最初はテンプレートＴ３の重み分布が示す範囲に設定される。次に、探索範囲更新部４４は、ターゲット探索範囲Ｒｔをターゲットの移動方向に回転する（工程Ｐ２）。具体的には、探索範囲更新部４４は、ターゲット探索範囲Ｒｔに適用したテンプレートＴ３の基準方向Ｄ_０が、ターゲットの移動方向Ｄと一致するように、ターゲット探索範囲Ｒｔを回転させる。

【0041】

次に、探索範囲更新部４４は、ターゲット探索範囲Ｒｔをターゲットの移動方向に拡張する（工程Ｐ３）。例えば、探索範囲更新部４４は、ターゲットの画像上の移動速度（移動画素数／フレーム）に比例してターゲット探索範囲Ｒｔを移動方向Ｄに拡張する。さらに、探索範囲更新部４４は、ターゲット探索範囲Ｒｔを、移動方向Ｄと直交する方向に収縮してもよい。これにより、ターゲット探索範囲Ｒｔは、ターゲットの移動方向Ｄに細長い形状となる。もしくは、探索範囲更新部４４は、図１０において破線Ｒｔ’で示すように、ターゲット探索範囲Ｒｔをターゲットの移動方向Ｄにおける前方側において幅が広く、後方側において幅が狭くなるような形状、例えば扇形のような形状に変形させてもよい。

【0042】

さらに、探索範囲更新部４４は、ターゲットの直近の移動量に基づいて、ターゲット探索範囲Ｒｔの重みの中心をターゲットの移動方向Ｄに移動させる（工程Ｐ４）。具体的には、図１０に示すように、探索範囲更新部４４は、ターゲット探索範囲Ｒｔの現在の重みの中心Ｃ１を、次のフレームにおけるターゲットの予測位置Ｃ２に移動させる。

【0043】

以上のように、探索範囲更新部４４は、まず、ターゲットの移動パターンに基づいて決定したテンプレートをターゲット探索範囲にＲｔに適用し、さらに、ターゲットの移動情報に基づいてターゲット探索範囲Ｒｔを修正する。これにより、ターゲットの移動特性を考慮して、ターゲット探索範囲Ｒｔを常に適切な範囲に更新することができる。

【0044】

なお、上記の例では、工程Ｐ１～Ｐ４の全てを実施してターゲット探索範囲Ｒｔを決定しているが、これは必須ではない。例えば、探索範囲更新部４４は、工程Ｐ１のみを実施してもよく、工程Ｐ１に加えて工程Ｐ２～Ｐ４のうちの１つ又は２つを実施してもよい。また、上記の例では、移動パターンに対応するテンプレートＴ１～Ｔ３は、その位置に対応する重みを有しているが、重みを有しないテンプレート、即ち、全領域の重みが一様であるテンプレートを用いてもよい。その場合には、探索範囲更新部４４は、工程Ｐ４は実施しないこととなる。

【0045】

こうしてターゲット探索範囲Ｒｔが決定されると、追跡部４０は、入力画像からターゲットを検出して追跡する。まず、ターゲット枠推定部４１は、入力画像のターゲット探索範囲Ｒｔ内において、ターゲットモデルを用いてターゲット枠を推定する。具体的には、ターゲット枠推定部４１は、ターゲット枠を中心としたターゲット探索範囲Ｒｔに属する複数の追跡候補窓を抽出する。追跡候補窓としては、例えばＲＰＮ（Ｒｅｇｉｏｎ Ｐｒｏｐｏｓａｌ Ｎｅｔｗｏｒｋ）などを使用して得られたＲＰ（Ｒｅｇｉｏｎ Ｐｒｏｐｏｓａｌ）を用いることができる。なお、追跡候補窓は、ターゲット候補の一例である。信頼度算出部４２は、各追跡候補窓の画像特徴にターゲット探索範囲Ｒｔ中の重みを掛け合わせたものをターゲットモデルと比較して、各追跡候補窓の信頼度を算出する。「信頼度」は、ターゲットモデルとの類似度である。そして、ターゲット枠推定部４１は、各追跡候補窓のうち、最も信頼度が高い追跡候補窓をその画像での追跡結果、即ちターゲットと決定する。このターゲットの枠情報、即ち、ターゲット枠は、次のフレーム画像の処理において使用される。

【0046】

また、ターゲットモデル更新部４３は、こうして得られたターゲット枠の信頼度が所定の値域に属するか否かを判定し、所定の値域に属する場合に、その追跡候補窓を使用してターゲットモデルを更新する。具体的には、ターゲットモデル更新部４３は、ターゲットモデルに、追跡候補窓から得た画像特徴マップを掛け合わせてターゲットモデルの更新を行う。なお、ターゲット枠の信頼度が所定の値域に属しない場合、ターゲットモデル更新部４３は、その追跡候補窓を用いたターゲットモデルの更新を行わない。

【0047】

上記の構成において、ターゲット枠推定部４１は抽出手段及び追跡手段の一例であり、探索範囲更新部４４は探索範囲更新手段の一例であり、ターゲットモデル更新部４３はモデル更新手段の一例である。

【0048】

［物体追跡装置による処理］
次に、物体追跡装置１００により実行される各処理について説明する。物体追跡装置１００は、事前学習処理と、ターゲットモデル生成処理と、追跡処理を実行する。以下、順に説明する。

【0049】

（事前学習処理）
事前学習処理は、事前学習部２０により実行され、入力画像と、ターゲットの位置情報から追跡特徴モデルとカテゴリ判別モデルを生成する処理である。図１１は、事前学習処理のフローチャートである。この処理は、図２に示すプロセッサ１２が予め用意されたプログラムを実行することにより実現される。なお、事前学習処理では、予め用意された学習用データを用いて、追跡特徴モデル及びカテゴリ判別モデルを生成する。

【0050】

まず、追跡特徴モデル生成部２１は、入力画像と、入力画像におけるターゲットの位置情報とに基づいて、入力画像におけるターゲット領域を算出し、ターゲットの画像を抽出する（ステップＳ１１）。次に、追跡特徴モデル生成部２１は、ＣＮＮによりターゲットの画像から特徴を抽出し、追跡特徴モデルを生成する（ステップＳ１２）。これにより、ターゲットの特徴を示す追跡特徴モデルが生成される。

【0051】

また、カテゴリ判別器２２は、ＣＮＮにより、ステップＳ１１で抽出されたターゲットの画像からターゲットのカテゴリを判別するように学習を行い、カテゴリ判別モデルを生成する（ステップＳ１３）。そして、処理を終了する。

【0052】

なお、事前学習処理では、追跡部４０において同じターゲットを追跡するために、時系列画像におけるターゲットは同一のものとして追跡特徴モデルが生成される。また、乗移りを防止するため、ターゲットとそれ以外のものは異なるものとして追跡特徴モデルが生成される。また、より精細な画像特徴で認識するために、同一カテゴリの別種のもの、例えばバイクと自転車、色違いの同一物などを別のものとして追跡特徴モデルが生成される。

【0053】

（ターゲットモデル生成処理）
事前学習処理に続いて、ターゲットモデル生成処理が実行される。ターゲットモデル生成処理は、ターゲットモデル生成部３０により実行され、入力画像と、入力画像におけるターゲットの枠情報と、追跡特徴モデルと、カテゴリ判別モデルと、カテゴリ／移動パターン対応表を用いて、ターゲットモデルを生成する処理である。図１２は、ターゲットモデル生成処理のフローチャートである。この処理は、図２に示すプロセッサ１２が、予め用意されたプログラムを実行することにより実現される。

【0054】

まず、ターゲットモデル生成部３０は、枠情報が示す枠の大きさをもとに、ターゲット候補となる追跡候補窓を設定する（ステップＳ２１）。追跡候補窓は、後述する追跡処理においてターゲットを探索するために使用される窓であり、枠情報が示すターゲット枠の大きさと同程度の大きさに設定される。

【0055】

次に、ターゲットモデル生成部３０は、入力画像中のターゲット枠内の領域及びその周辺を一定の大きさに正規化し、正規化ターゲット領域を生成する（ステップＳ２２）。これは、ＣＮＮの前処理として、ターゲット枠の領域をＣＮＮの入力に適したサイズに合わせる処理である。次に、ターゲットモデル生成部３０は、ＣＮＮを用いて正規化ターゲット領域から画像特徴を抽出する（ステップＳ２３）。

【0056】

そして、ターゲットモデル生成部３０は、事前学習部２０が生成した追跡特徴モデルを、ターゲットの画像特徴で更新し、ターゲットモデルを生成する（ステップＳ２４）。なお、本例では、ターゲット枠が示すターゲット領域からＣＮＮを用いて画像特徴を抽出しているが、他の方法を用いて画像特徴を抽出してもよい。また、ターゲットモデルは、例えばＣＮＮによる特徴抽出を行い、１つあるいは複数の特徴空間で表してもよい。なお、前述のように、ターゲットモデルは、追跡特徴モデルの持つ画像的な特徴の他に、ターゲットの大きさやアスペクト比などの情報、及び、ターゲットの移動方向、移動量、移動速度などを含む移動情報も保持する。

【0057】

また、ターゲットモデル生成部３０は、事前学習部２０が生成したカテゴリ判別モデルを用いて、ステップＳ２３で抽出されたターゲットの画像特徴から、ターゲットのカテゴリを判別する（ステップＳ２５）。次に、ターゲットモデル生成部３０は、カテゴリ／移動パターンを参照して、そのカテゴリに対応する移動パターンを導出し、ターゲットモデルに追加する（ステップＳ２６）。こうして、ターゲットモデルは、ターゲットの移動パターンを含むものとなる。そして、ターゲットモデル生成処理は終了する。

【0058】

（追跡処理）
ターゲットモデル生成処理に続いて、追跡処理が実行される。追跡処理は、追跡部４０により実行され、入力画像におけるターゲットを追跡するとともに、ターゲットモデルを更新する処理である。図１３は、追跡処理のフローチャートである。この処理は、図２に示すプロセッサ１２が予め用意されたプログラムを実行し、図７に示す各要素として動作することにより実現される。

【0059】

まず、探索範囲更新部４４は、探索範囲更新処理を実行する（ステップＳ３１）。探索範囲更新処理は、１つ前のフレーム画像におけるターゲット枠をもとにターゲット探索範囲を更新する処理である。なお、１つ前のフレーム画像におけるターゲット枠は、以下に説明する追跡処理において生成される。

【0060】

図１４は、探索範囲更新処理のフローチャートである。なお、探索範囲更新処理の開始時においては、ターゲット枠としては事前学習処理において入力されたターゲットの位置が用いられ、ターゲット枠の信頼度としては「１」が用いられる。

【0061】

まず、探索範囲更新部４４は、ターゲットモデルが示すターゲットの移動パターンに基づき、探索範囲のテンプレートを決定し、ターゲット探索範囲Ｒｔとして設定する（ステップＳ４１）。具体的には、探索範囲更新部４４は、図９に例示するように、ターゲットの移動パターンに基づいて対応するテンプレートを決定し、ターゲット探索範囲Ｒｔに適用する。この処理は、図１０に示す工程Ｐ１に相当する。

【0062】

こうしてターゲット探索範囲Ｒｔが設定された後、探索範囲更新部４４は、ターゲットの移動方向や移動量に基づいて、ターゲット探索範囲Ｒｔを修正する。具体的には、まず、探索範囲更新部４４は、ターゲットモデルが示すターゲットの移動方向に基づき、ターゲット探索範囲Ｒｔをターゲットの移動方向に回転させる（ステップＳ４２）。この処理は、図１０に示す工程Ｐ２に相当する。

【0063】

次に、探索範囲更新部４４は、ターゲットモデルが示すターゲットの移動量に基づき、ターゲット探索範囲Ｒｔをターゲットの移動方向に拡張し、ターゲットの移動方向と直交する方向に収縮する（ステップＳ４３）。この処理は、図１０に示す工程Ｐ３に相当する。この際、前述のように、ターゲットの移動方向と反対方向においてターゲット探索範囲Ｒｔを収縮し、ターゲット探索範囲Ｒｔを扇形のような形状としてもよい。

【0064】

次に、探索範囲更新部４４は、１つ前のフレーム画像におけるターゲット枠の位置と、ターゲットの移動量とから、ターゲット探索範囲Ｒｔにおける重みの中心を移動させる。この処理は、図１０に示す工程Ｐ４に相当する。そして、探索範囲更新部４４は、ターゲット探索範囲Ｒｔを示す探索範囲情報を生成し（ステップＳ４４）、探索範囲更新処理を終了する。

【0065】

このように、探索範囲更新処理では、ターゲットの移動パターンに応じて決定したテンプレートを用いてターゲット探索範囲Ｒｔを設定し、さらにターゲットの移動方向や移動量に基づいてターゲット探索範囲Ｒｔを修正する。よって、ターゲットの移動特性に応じてターゲット探索範囲Ｒｔを常に適切な範囲に更新し続けることができる。

【0066】

次に、処理は図１３に戻り、ターゲット枠推定部４１は、ターゲット枠を中心としたターゲット探索範囲に属する複数の追跡候補窓を抽出する。信頼度算出部４２は、各追跡候補窓の画像特徴にターゲット探索範囲Ｒｔ中の重みを掛け合わせたものをターゲットモデルと比較し、各追跡候補窓の信頼度を算出する。そして、ターゲット枠推定部４１は、各追跡候補窓のうち、最も信頼度が高い追跡候補窓をその画像でのターゲット枠と決定する（ステップＳ３２）。こうして、ターゲットの追跡が行われる。

【0067】

次に、ターゲットモデル更新部４３は、追跡結果の信頼度が所定の値域に属する場合、得られたターゲット枠を用いてターゲットモデルを更新する（ステップＳ３３）。こうして、ターゲットモデルが更新される。

【0068】

以上のように、第１実施形態によれば、ターゲットの移動パターンに応じたテンプレートを用いてターゲット探索範囲が設定され、さらにターゲットの移動方向や移動量などに応じてターゲット探索範囲が更新されるので、常に適切なターゲット探索範囲においてターゲットの追跡を行うことが可能となる。その結果、乗移りの発生を防止することができる。

【0069】

＜第２実施形態＞
次に、第２実施形態に係る物体追跡装置について説明する。第１実施形態の物体追跡装置１００は、まず入力画像及びターゲットの位置情報に基づいてターゲットのカテゴリを判別し、次にカテゴリ／移動パターン対応表を参照してターゲットの移動パターンを導出している。これに対して、第２実施形態の物体追跡装置は、入力画像及びターゲットの位置情報に基づいて直接的にターゲットの移動パターンを判別する点が第１実施形態と異なる。なお、この点以外は、第２実施形態の物体追跡装置は、第１実施形態の物体追跡装置と基本的に同様である。具体的に、第２実施形態による物体追跡装置の全体構成及びハードウェア構成は、図１及び図２に示す第１実施形態のものと同様であるので、説明を省略する。

【0070】

［機能構成］
第２実施形態に係る物体追跡装置の全体の機能構成は、図３に示す第１実施形態に係る物体追跡装置１００と同様である。但し、事前学習部及びターゲットモデル生成部の構成が第１実施形態とは異なる。

【0071】

図１５は、第２実施形態に係る物体追跡装置の事前学習部２０ｘの構成を示す。図４に示す第１実施形態の事前学習部２０と比較するとわかるように、第２実施形態の事前学習部２０ｘは、カテゴリ判別器２２の代わりに、移動パターン判別器２３が設けられている。移動パターン判別器２３は、入力画像におけるターゲットの移動パターンを判別する移動パターン判別モデルを生成する。移動パターン判別器２３は、例えばＣＮＮを用いて構成される。

【0072】

具体的に、移動パターン判別器２３は、入力画像と、その画像におけるターゲットの位置を示す位置情報とに基づいてターゲットの画像特徴を抽出し、ターゲットの画像特徴に基づいてターゲットの移動パターンを判別する。その際、第１実施形態のカテゴリ判別器２２とは異なり、移動パターン判別器２３はターゲットのカテゴリの判別は行わない。即ち、移動パターン判別器２３は、「このような画像特徴を有するターゲットはこのような移動パターンで移動する」というように、ターゲットの画像特徴と移動パターンとの対応を学習し、移動パターンを判別する。これにより、移動パターン判別モデルは、例えば図９に例示するように、人に類似する画像特徴を有するターゲットの移動パターンを全方向型と推定し、自転車に類似する画像特徴を有するターゲットの移動パターンを前方型と推定し、車に類似する画像特徴を有するターゲットの移動パターンを前方重視型と推定するように学習される。

【0073】

図１６は、第２実施形態に係る物体追跡装置のターゲットモデル生成部３０ｘの構成を示す。第２実施形態では、ターゲットモデル生成部３０ｘは、移動パターン判別モデルを用いて入力画像から直接的にターゲットの移動パターンを判別する。よって、図５と比較するとわかるように、第２実施形態のターゲットモデル生成部３０ｘは、カテゴリ／移動パターン対応表を使用しない。これ以外の点は、ターゲットモデル生成部３０ｘは第１実施形態のターゲットモデル生成部３０と同様である。

【0074】

［物体追跡装置による処理］
次に、第２実施形態に係る物体追跡装置により実行される各処理について説明する。物体追跡装置は、事前学習処理と、ターゲットモデル生成処理と、追跡処理を実行する。

【0075】

（事前学習処理）
図１７は、第２実施形態における事前学習処理のフローチャートである。図１１と比較するとわかるように、ステップＳ１１～Ｓ１２は第１実施形態の事前学習処理と同様であるので説明を省略する。第２実施形態では、事前学習部２０の移動パターン判別器２３は、ＣＮＮにより、ステップＳ１１で抽出されたターゲットの画像からターゲットの移動パターンを判別するように学習を行い、移動パターン判別モデルを生成する（ステップＳ１３ｘ）。そして、処理を終了する。

【0076】

（ターゲットモデル生成処理）
図１８は、第２実施形態におけるターゲットモデル生成処理のフローチャートである。図１２と比較するとわかるように、ステップＳ２１～Ｓ２４は第１実施形態のターゲットモデル生成処理と同様であるので説明を省略する。第２実施形態では、ターゲットモデル生成部３０ｘは、事前学習部２０ｘが生成した移動パターン判別モデルを用いて、ステップＳ２３で抽出されたターゲットの画像特徴からターゲットの移動パターンを推定し、ターゲットモデルに追加する（ステップＳ２５ｘ）。これにより、ターゲットモデルは、ターゲットの移動パターンを含むものとなる。そして、ターゲットモデル生成処理は終了する。

【0077】

（追跡処理）
追跡処理では、上記のターゲットモデル生成処理により得られたターゲットモデルの移動パターンを用いてターゲット探索範囲が更新され、ターゲットの追跡が行われる。なお、追跡処理自体は第１実施形態と同様であるので、説明を省略する。

【0078】

以上のように、第２実施形態によっても、ターゲットの移動パターンに応じたテンプレートを用いてターゲット探索範囲が設定され、さらにターゲットの移動方向や移動量などに応じてターゲット探索範囲が更新されるので、常に適切なターゲット探索範囲においてターゲットの追跡を行うことが可能となる。その結果、乗移りの発生を防止することができる。

【0079】

＜第３実施形態＞
図１９は、第３実施形態に係る物体追跡装置５０の機能構成を示すブロック図である。物体追跡装置５０は、抽出手段５１と、探索範囲更新手段５２と、追跡手段５３と、モデル更新手段５４とを備える。抽出手段５１は、時系列画像からターゲット候補を抽出する。探索範囲更新手段５２は、時系列が１つ前の画像におけるターゲットの枠情報と、前記ターゲットの移動パターンとに基づいて、探索範囲を更新する。追跡手段５３は、探索範囲内で抽出されたターゲット候補から、ターゲットモデルとの類似度を示す信頼度を用いてターゲットを探索して追跡する。モデル更新手段５４は、探索範囲内で抽出されたターゲット候補を用いて、ターゲットモデルを更新する。

【0080】

図２０は、第３実施形態による物体追跡処理のフローチャートである。抽出手段５１は、時系列画像からターゲット候補を抽出する（ステップＳ５１）。探索範囲更新手段５２は、時系列が１つ前の画像におけるターゲットの枠情報と、前記ターゲットの移動パターンとに基づいて、探索範囲を更新する（ステップＳ５２）。追跡手段５３は、探索範囲内で抽出されたターゲット候補から、ターゲットモデルとの類似度を示す信頼度を用いてターゲットを探索して追跡する（ステップＳ５３）。モデル更新手段５４は、探索範囲内で抽出されたターゲット候補を用いて、ターゲットモデルを更新する（ステップＳ５４）。

【0081】

第３実施形態の物体追跡装置によれば、ターゲットの移動パターンに基づいてターゲット探索範囲が設定されるので、常に適切なターゲット探索範囲においてターゲットの追跡を行うことが可能となる。

【0082】

上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。

【0083】

（付記１）
時系列画像からターゲット候補を抽出する抽出手段と、
時系列が１つ前の画像におけるターゲットの枠情報と、前記ターゲットの移動パターンとに基づいて、探索範囲を更新する探索範囲更新手段と、
前記探索範囲内で抽出されたターゲット候補から、ターゲットモデルとの類似度を示す信頼度を用いてターゲットを探索して追跡する追跡手段と、
前記探索範囲内で抽出されたターゲット候補を用いて、前記ターゲットモデルを更新するモデル更新手段と、
を備える物体追跡装置。

【0084】

（付記２）
前記時系列画像から前記ターゲットのカテゴリを判別するカテゴリ判別手段と、
カテゴリと移動パターンとの対応情報を用いて、前記カテゴリに対応する移動パターンを取得して前記ターゲットの移動パターンとする移動パターン決定手段と、
を備える付記１に記載の物体追跡装置。

【0085】

（付記３）
前記時系列画像から前記ターゲットの移動パターンを判別する移動パターン判別手段を備える付記１に記載の物体追跡装置。

【0086】

（付記４）
前記探索範囲更新手段は、前記移動パターンに対応するテンプレートを前記探索範囲として設定する付記１乃至３のいずれか一項に記載の物体追跡装置。

【0087】

（付記５）
前記探索範囲更新手段は、前記ターゲットの移動方向と一致するように前記探索範囲を回転させる付記４に記載の物体追跡装置。

【0088】

（付記６）
前記探索範囲更新手段は、前記探索範囲を前記ターゲットの移動方向に拡張する付記４又は５に記載の物体追跡装置。

【0089】

（付記７）
前記探索範囲更新手段は、前記探索範囲を前記ターゲットの移動方向と直交する方向に収縮させる付記６に記載の物体追跡装置。

【0090】

（付記８）
前記テンプレートは、当該テンプレートの領域内の位置毎に重みを有し、
前記探索範囲更新手段は、前記ターゲットの移動量に基づいて前記探索範囲内の重みの中心を移動させる付記４乃至７のいずれか一項に記載の物体追跡装置。

【0091】

（付記９）
前記追跡手段は、前記ターゲット候補の画像特徴に前記探索範囲内の前記重みを掛け合わせたものと、前記ターゲットモデルとの信頼度を算出する付記８に記載の物体追跡装置。

【0092】

（付記１０）
時系列画像からターゲット候補を抽出し、
時系列が１つ前の画像におけるターゲットの枠情報と、前記ターゲットの移動パターンとに基づいて、探索範囲を更新し、
前記探索範囲内で抽出されたターゲット候補から、ターゲットモデルとの類似度を示す信頼度を用いてターゲットを探索して追跡し、
前記探索範囲内で抽出されたターゲット候補を用いて、前記ターゲットモデルを更新する物体追跡方法。

【0093】

（付記１１）
時系列画像からターゲット候補を抽出し、
時系列が１つ前の画像におけるターゲットの枠情報と、前記ターゲットの移動パターンとに基づいて、探索範囲を更新し、
前記探索範囲内で抽出されたターゲット候補から、ターゲットモデルとの類似度を示す信頼度を用いてターゲットを探索して追跡し、
前記探索範囲内で抽出されたターゲット候補を用いて、前記ターゲットモデルを更新する処理をコンピュータに実行させるプログラムを記録した記録媒体。

【0094】

以上、実施形態及び実施例を参照して本発明を説明したが、本発明は上記実施形態及び実施例に限定されるものではない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

【符号の説明】

【0095】

１１ 入力ＩＦ
１２ プロセッサ
１３ メモリ
１４ 記録媒体
１５ データベース
１６ 入力装置
１７ 表示装置
２０ 事前学習部
３０ ターゲットモデル生成部
４０ 追跡部
４１ ターゲット枠推定部
４２ 信頼度算出部
４３ ターゲットモデル更新部
１００ 物体追跡装置
Ｒｔ ターゲット探索範囲

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】