特許 7687424 物体追跡処理装置、物体追跡処理方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-05-26

(45)【発行日】2025-06-03

(54)【発明の名称】物体追跡処理装置、物体追跡処理方法及びプログラム

(51)【国際特許分類】

   G06T 7/246 20170101AFI20250527BHJP

【ＦＩ】

G06T7/246

【請求項の数】 7

(21)【出願番号】P 2023553826

(86)(22)【出願日】2021-10-13

(86)【国際出願番号】 JP2021037921

(87)【国際公開番号】W WO2023062754

(87)【国際公開日】2023-04-20

【審査請求日】2024-04-03

(73)【特許権者】

【識別番号】000004237

【氏名又は名称】日本電気株式会社

(74)【代理人】

【識別番号】100103894

【弁理士】

【氏名又は名称】家入 健

(72)【発明者】

【氏名】山崎 智史

【審査官】橋爪 正樹

(56)【参考文献】

【文献】特開２０１６－２１９００４（ＪＰ，Ａ）

【文献】特開２００４－０４６６４７（ＪＰ，Ａ）

【文献】特開２０１８－２０１１６１（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００－ ７／９０

Ｇ０６Ｖ １０／００－２０／９０

Ｇ０６Ｖ ３０／４１８

Ｇ０６Ｖ ４０／１６

Ｇ０６Ｖ ４０／２０

(57)【特許請求の範囲】

【請求項1】

追跡対象の物体の少なくとも特徴量に基づいて、当該追跡対象の物体に特徴量が類似する少なくとも１つの物体を含む少なくとも１つの類似物体グループを算出する物体グルーピング処理部と、
前記類似物体グループに属する物体に当該物体を識別する追跡ＩＤを割り当てる物体追跡部と、を備え、
前記類似物体グループに属する物体に関する情報として、物体の位置、当該物体の検出時刻、当該物体が属する類似物体グループを識別するグループＩＤを格納する物体グループ情報記憶部をさらに備え、
前記物体追跡部は、予め定められた周期ごとに、バッチ処理を行い、
前記バッチ処理は、更新があった前記類似物体グループに属する物体に当該物体を識別する追跡ＩＤを割り当てる処理である物体追跡処理装置。

【請求項2】

前記物体追跡部は、前記類似物体グループごとに設けられ、
各々の前記物体追跡部は、各々が担当する類似物体グループに属する物体に当該物体を識別する追跡ＩＤを割り当てる処理を並列に実行する請求項１に記載の物体追跡処理装置。

【請求項3】

前記物体追跡部が割り当てた前記追跡ＩＤが格納される物体追跡情報記憶部をさらに備える請求項１又は２に記載の物体追跡処理装置。

【請求項4】

映像を構成する各々のフレーム中の前記追跡対象の物体及び当該追跡対象の物体の特徴量を検出する物体検出部と、
前記物体検出部が検出した物体ごとに、当該物体の位置、当該物体の検出時刻、当該物体の特徴量、当該物体に割り当てられたグループＩＤを格納する物体特徴量記憶部と、をさらに備え、
前記物体グルーピング処理部は、前記物体特徴量記憶部を参照することにより、前記追跡対象の物体の少なくとも特徴量に基づいて、当該追跡対象の物体に類似する少なくとも１つの物体を含む少なくとも１つの類似物体グループを算出する請求項１から３のいずれか１項に記載の物体追跡処理装置。

【請求項5】

追跡対象の物体の少なくとも特徴量に基づいて、当該追跡対象の物体に特徴量が類似する少なくとも１つの物体を含む少なくとも１つの類似物体グループを算出する物体グルーピング処理ステップと、
前記類似物体グループに属する物体に当該物体を識別する追跡ＩＤを割り当てる物体追跡ステップと、を備え、
前記物体追跡ステップは、予め定められた周期ごとに、バッチ処理を行い、
前記バッチ処理は、更新があった前記類似物体グループに属する物体に当該物体を識別する追跡ＩＤを割り当てる処理である物体追跡処理方法。

【請求項6】

映像を構成するフレームが入力されるごとに、当該フレーム中の追跡対象の物体及び当該追跡対象の物体の特徴量を検出するステップと、
物体の位置、当該物体の検出時刻、当該物体の特徴量、当該物体が属するグループを識別するグループＩＤが記憶される物体特徴量記憶部を参照することにより、前記検出された追跡対象の物体の少なくとも前記特徴量に基づいて、当該追跡対象の物体に特徴量が類似する少なくとも１つの物体を含む少なくとも１つの類似物体グループを算出するステップと、
前記検出された追跡対象の物体について、当該物体の位置、当該物体の検出時刻、当該物体の特徴量、当該物体が属するグループを識別するグループＩＤを前記物体特徴量記憶部に格納するステップと、
前記検出された追跡対象の物体について、当該物体の位置、当該物体の検出時刻、当該物体が属するグループを識別するグループＩＤを物体グループ情報記憶部に格納するステップと、
予め定められた周期ごとに、前記類似物体グループに属する物体に当該物体を識別する追跡ＩＤを割り当てるバッチ処理を実行するステップと、を備える物体追跡処理方法。

【請求項7】

追跡対象の物体の少なくとも特徴量に基づいて、当該追跡対象の物体に特徴量が類似する少なくとも１つの物体を含む少なくとも１つの類似物体グループを算出する物体グルーピング処理ステップと、
前記類似物体グループに属する物体に当該物体を識別する追跡ＩＤを割り当てる物体追跡ステップと、をコンピュータに実行させるためのプログラムであって、
前記物体追跡ステップは、予め定められた周期ごとに、バッチ処理を行い、
前記バッチ処理は、更新があった前記類似物体グループに属する物体に当該物体を識別する追跡ＩＤを割り当てる処理であるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、物体追跡処理装置、物体追跡処理方法及び非一時的なコンピュータ可読媒体に関する。

【背景技術】

【0002】

映像中で出現する物体を検出し、次々刻々のフレームに跨って同一の物体を追跡（MOT(Multi Object Tracking)）するシステムが例えば特許文献１に記載されている。

【先行技術文献】

【特許文献】

【0003】

【文献】国際公開第２０２１／１４０９６６号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、特許文献１においては、物体の非時空間的な類似性により同一物体を判定する構成であるため、時空間的に制約に反した追跡結果がでてしまい、追跡精度が低下するという課題がある。

【0005】

本開示の目的は、上述した課題を鑑み、映像中で出現する物体の追跡精度を向上させることができる物体追跡処理装置、物体追跡処理方法及び非一時的なコンピュータ可読媒体を提供することにある。

【課題を解決するための手段】

【0006】

本開示の物体追跡処理装置は、追跡対象の物体の少なくとも特徴量に基づいて、当該追跡対象の物体に類似する少なくとも１つの物体を含む少なくとも１つの類似物体グループを算出する物体グルーピング処理部と、前記類似物体グループに属する物体に当該物体を識別する追跡ＩＤを割り当てる物体追跡部と、を備える。

【0007】

本開示の物体追跡処理方法は、追跡対象の物体の少なくとも特徴量に基づいて、当該追跡対象の物体に類似する少なくとも１つの物体を含む少なくとも１つの類似物体グループを算出する物体グルーピング処理ステップと、前記類似物体グループに属する物体に当該物体を識別する追跡ＩＤを割り当てる物体追跡ステップと、を備える。

【0008】

本開示の別の物体追跡処理方法は、映像を構成するフレームが入力されるごとに、当該フレーム中の追跡対象の物体及び当該追跡対象の物体の特徴量を検出するステップと、物体特徴量記憶部を参照することにより、前記検出された追跡対象の物体の少なくとも前記特徴量に基づいて、当該追跡対象の物体に類似する少なくとも１つの物体を含む少なくとも１つの類似物体グループを算出するステップと、前記検出された追跡対象の物体について、当該物体の位置、当該物体の検出時刻、当該物体の特徴量、当該物体が属するグループを識別するグループＩＤを前記物体特徴量記憶部に格納するステップと、前記検出された追跡対象の物体について、当該物体の位置、当該物体の検出時刻、当該物体が属するグループを識別するグループＩＤを物体グループ情報記憶部に格納するステップと、予め定められた周期ごとに、前記物体グループ情報記憶部を参照し、前記類似物体グループに属する物体に当該物体を識別する追跡ＩＤを割り当てるバッチ処理を実行するステップと、を備える。

【0009】

本開示の非一時的なコンピュータ可読媒体は、追跡対象の物体の少なくとも特徴量に基づいて、当該追跡対象の物体に類似する少なくとも１つの物体を含む少なくとも１つの類似物体グループを算出する物体グルーピング処理ステップと、前記類似物体グループに属する物体に当該物体を識別する追跡ＩＤを割り当てる物体追跡ステップと、をコンピュータに実行させるためのプログラムを記録した非一時的なコンピュータ可読媒体である。

【発明の効果】

【0010】

本開示により、映像中で出現する物体の追跡精度を向上させることができる物体追跡処理装置、物体追跡処理方法及び非一時的なコンピュータ可読媒体を提供することができる。

【図面の簡単な説明】

【0011】

【図1】物体追跡処理装置１の概略構成図である。

【図2】物体追跡処理装置１の動作の一例のフローチャートである。

【図3A】物体追跡処理装置１が実行する１段階目の処理のイメージ図である。

【図3B】物体追跡処理装置１が実行する２段階目の処理のイメージ図である。

【図4】実施形態２にかかる物体追跡処理装置１の構成を示すブロック図である。

【図5】物体検出部１０が検出した物体をグルーピングする処理のフローチャートである。

【図6】物体検出部１０が検出した物体をグルーピングする処理のイメージ図である。

【図7】物体検出部１０が検出した物体をグルーピングする処理のイメージ図である。

【図8】各々の物体追跡部５０Ａ～５０Ｃが、各々が担当する類似物体グループ（互いに異なる１つの類似物体グループ）に属する物体に当該物体を識別する追跡ＩＤを割り当てる処理を並列的に実行している様子を表す図である。

【図9】物体グルーピング処理部２０が算出した類似物体グループに属する物体に当該物体を識別する追跡ＩＤを割り当てる処理のフローチャートである。

【図10】物体グルーピング処理部２０が算出した類似物体グループに属する物体に当該物体を識別する追跡ＩＤを割り当てる処理のイメージ図である。

【図11】物体グルーピング処理部２０が算出した類似物体グループに属する物体に当該物体を識別する追跡ＩＤを割り当てる処理において用いられる行列（表）の例である。

【図12】物体追跡処理装置１（情報処理装置）のハードウェア構成例である。

【発明を実施するための形態】

【0012】

（実施形態１）
まず、図１を用いて、実施形態１の物体追跡処理装置１の構成例について説明する。

【0013】

図１は、物体追跡処理装置１の概略構成図である。

【0014】

図１に示すように、物体追跡処理装置１は、追跡対象の物体の少なくとも特徴量に基づいて、当該追跡対象の物体に類似する少なくとも１つの物体を含む少なくとも１つの類似物体グループを算出する物体グルーピング処理部２０と、類似物体グループに属する物体に追跡ＩＤを割り当てる物体追跡部５０と、を備える。

【0015】

次に、上記物体追跡処理装置１の動作の一例について説明する。

【0016】

図２は、物体追跡処理装置１の動作の一例のフローチャートである。

【0017】

まず、物体グルーピング処理部２０が、追跡対象の物体の少なくとも特徴量に基づいて、当該追跡対象の物体に類似する少なくとも１つの物体を含む少なくとも１つの類似物体グループを算出する（ステップＳ１）。

【0018】

次に、物体追跡部５０が、類似物体グループに属する物体に追跡ＩＤを割り当てる（ステップＳ２）。

【0019】

以上説明したように、実施形態１によれば、映像中で出現する物体の追跡精度を向上させることができる。

【0020】

これは、フレーム中の追跡対象の物体を検出し、当該検出された追跡対象の物体を類似物体グループに分類する処理（非時空間的な類似性を利用した処理）、及びこの分類された類似物体グループごとに、当該類似物体グループに属する物体に当該物体を識別する追跡ＩＤを割り当てる処理（空間的な類似性を利用した処理）の二段階の処理を実行することによるものである。すなわち、広範なフレーム・時間を対象にした同一物体の照合と時空間的な類似性の考慮を両立することで高い追跡精度を実現することができる。

【0021】

（実施形態２）
以下、本開示の実施形態２として、物体追跡処理装置１について詳細に説明する。実施形態２は、実施形態１を具体的にした実施形態である。

【0022】

まず、物体追跡処理装置１の概要について説明する。

【0023】

物体追跡処理装置１は、単一映像中で出現するすべての物体を検出し、次々刻々のフレームに跨って同一の物体を追跡（MOT(Multi Object Tracking)）する装置である。単一映像とは、１つのカメラ７０（図１２参照）又は１つの映像ファイル（図示せず）から入力される映像をいう。フレームとは、単一映像を構成する個々のフレーム（以下、画像とも呼ぶ）をいう。

【0024】

物体追跡処理装置１は、二段階の処理を実行する。

【0025】

図３Ａは、物体追跡処理装置１が実行する１段階目の処理のイメージ図である。

【0026】

物体追跡処理装置１は、１段階目の処理として、フレーム中の追跡対象の物体を検出し、当該検出された追跡対象の物体を類似物体グループに分類する処理（オンライン処理）を実行する。この処理は、物体の非時空間的な類似性を利用した処理である。図３Ａは、フレーム１～３に対して１段階目の処理が実行された結果、各々の追跡対象の物体（人物Ｕ１～Ｕ４）が３つの類似物体グループＧ１～Ｇ３に分類されたことを表す。

【0027】

図３Ｂは、物体追跡処理装置１が実行する２段階目の処理のイメージ図である。

【0028】

物体追跡処理装置１は、２段階目の処理として、１段目の処理により分類された類似物体グループごとに、当該類似物体グループに属する物体に当該物体を識別する追跡ＩＤを割り当てる処理（バッチ処理）を実行する。その際、物体追跡処理装置１は、時空間的な類似性を利用して、同一物体判定する処理、例えば、物体の検出位置（図３Ｂ中の実線で描いた矩形の枠参照）と追跡物体の予測位置（図３Ｂ中の点線で描いた矩形の枠参照）の重なり、IoU(Intersection over Union)に基づくオンライン追跡を行う。この処理は、時空間的な類似性を利用した処理である。

【0029】

以上のように二段階の処理を実行することにより、物体の非時空間的な類似性又は時空間的な類似性のいずれか一方を利用した処理では実現することができない高い追跡精度を実現することができる。また、追跡対象の物体を類似物体グループに分類することにより、この類似物体グループごとに、当該類似物体グループに属する物体に当該物体を識別する追跡ＩＤを割り当てる処理を並列的に実行することができる。これにより、スループットの向上を実現することができる。

【0030】

次に、物体追跡処理装置１の詳細について説明する。

【0031】

図４は、実施形態２にかかる物体追跡処理装置１の構成を示すブロック図である。

【0032】

図４に示すように、物体追跡処理装置１は、物体検出部１０、物体グルーピング処理部２０、物体特徴量情報記憶部３０、物体グループ情報記憶部４０、物体追跡部５０、物体追跡情報記憶部６０を備えている。

【0033】

物体検出部１０は、単一映像を構成するフレーム中の追跡対象の物体（追跡対象の物体の位置）及び当該追跡対象の物体の特徴量を検出する処理を実行する。この処理は、フレームが入力されるごとに実行されるオンライン処理である。この処理は、フレームに対して所定の画像処理を実行することにより実現される。所定の画像処理としては、既存の各種アルゴリズムを用いることができる。物体検出部１０が検出する物体は、例えば、人物、車両、自動二輪車等の移動体（移動物体）である。以下、物体検出部１０が検出する物体が人物である例について説明する。特徴量とは、物体特徴量（ＲｅＩＤ）で、比較することで２つの物体間の類似度スコアを算出できるデータをいう。物体検出部１０が検出する物体の位置は、例えば、物体検出部１０が検出した物体を囲む矩形の枠の座標である。物体検出部１０が検出する物体の特徴量は、例えば、人物の顔の特徴量、人物の骨格の特徴量である。物体検出部１０は、カメラ７０（図１２参照）に内蔵されていてもよいし、カメラ７０外部に設けられていてもよい。

【0034】

物体グルーピング処理部２０は、物体特徴量情報記憶部３０を参照することにより、追跡対象の物体の少なくとも特徴量に基づいて、当該追跡対象の物体に類似する少なくとも１つの物体を含む少なくとも１つの類似物体グループを算出する処理を実行する。その際、物体グルーピング処理部２０は、物体の非時空間的な類似性（例えば、顔特徴データの類似性又は人型特徴データの類似性）を利用して、物体検出部１０が検出した物体を類似物体グループに分類する処理（クラスタリング）を実行する。この処理は、物体検出部１０が物体を検出するごとに実行されるオンライン処理である。クラスタリングアルゴリズムとしては、広範な時間間隔でのデータとの類似性に基づくデータクラスタリング・グルーピング技術、例えば、DBSCAN、k-means、凝集型クラスタリングを用いることができる。

【0035】

具体的には、物体グルーピング処理部２０は、物体特徴量情報記憶部３０を参照し、物体検出部１０が検出した物体に類似する類似物体を検索する。その際、物体特徴量情報記憶部３０に記憶されている全て（例えば、全フレーム分の特徴量）を検索対象としてもよいし、物体特徴量情報記憶部３０に格納されている一部（例えば、現時点から３０秒以内に格納された５００フレーム分の特徴量）を検索対象としてもよい。

【0036】

上記検索の結果、類似物体が検索された場合、物体グルーピング処理部２０は、物体検出部１０が検出した物体に当該類似物体のグループＩＤを割り当てる。具体的には、物体グルーピング処理部２０は、当該物体の位置、当該物体の検出時刻、当該物体の特徴量、当該物体が属する類似物体グループを識別するグループＩＤを物体特徴量情報記憶部３０に格納する。なお、類似物体が検索されない場合、新規に採番されたグループＩＤが割り当てられる。

【0037】

物体特徴量情報記憶部３０には、物体検出部１０が検出した物体ごとに、当該物体の位置、当該物体の検出時刻、当該物体の特徴量、当該物体に割り当てられたグループＩＤが格納される。物体特徴量情報記憶部３０は、物体グルーピング処理部２０から頻繁にアクセスされるため、高速に読み書きできる記憶装置（メモリ等）であるのが望ましい。

【0038】

物体グループ情報記憶部４０には、類似物体グループに属する物体に関する情報が格納される。具体的には、物体グループ情報記憶部４０には、物体検出部１０が検出した物体ごとに、当該物体の位置、当該物体の検出時刻、当該物体が属する類似物体グループを識別するグループＩＤが格納される。なお、物体グループ情報記憶部４０には、さらに、当該物体の特徴量が格納されてもよい。物体グループ情報記憶部４０は、物体特徴量情報記憶部３０と比べ、頻繁にアクセスされないため、高速に読み書きできる記憶装置（メモリ等）でなくてもよい。例えば、物体グループ情報記憶部４０は、ハードディスク装置であってもよい。

【0039】

物体追跡部５０は、物体グルーピング処理部２０が算出した類似物体グループに属する物体に当該物体を識別する追跡ＩＤを割り当てる処理を実行する。追跡ＩＤとは、次々刻々のフレームに跨って同一の物体に割り当てられる識別子をいう。この処理は、予め定められた時間（例えば、５分）が経過するごとに実行される時間周期（時刻周期）のバッチ処理である。このバッチ処理は、物体グループ情報記憶部４０から更新があった類似物体グループに属する物体に関する情報を取得し、当該取得した情報に基づいて、類似物体グループに属する物体に追跡ＩＤを割り当てる処理である。その際、物体追跡部５０は、時空間的な類似性を利用して、同一物体判定する処理、例えば、物体の検出位置と追跡物体の予測位置の重なり、IoU(Intersection over Union)に基づくオンライン追跡を行う。このアルゴリズムとしては、例えば、ハンガリアン法を用いることができる。ハンガリアン法は、検出物体と追跡物体の予測位置の重なり度などからコストを算出、コスト最小となる割当を決定するアルゴリズムである。ハンガリアン法についてはさらに後述する。なお、このアルゴリズムとしては、ハンガリアン法に限らず、他のアルゴリズム、例えば、貧欲法を用いることもできる。なお、物体追跡部５０の同一物体判定では時空間的な類似性だけでなく非時空間的な類似性を利用してもよい。

【0040】

物体追跡部５０は、物体グルーピング処理部２０が算出した類似物体グループと同数存在する（同数生成される）。各々の物体追跡部５０は、各々が担当する類似物体グループ（互いに異なる１つの類似物体グループ）に属する物体に当該物体を識別する追跡ＩＤを割り当てる処理を並列的に実行する。このように、本実施形態においては、物体グルーピング処理部２０が複数の類似物体グループを算出した場合、類似物体グループに属する物体に当該物体を識別する追跡ＩＤを割り当てる処理を並列的に実行することができる。なお、類似物体グループに属する物体は、１つの場合もあるし、複数の場合もある。例えば、図３Ａにおいては、類似物体グループＧ１には二人の人物Ｕ１、Ｕ２が属しており、類似物体グループＧ２には一人の人物Ｕ３が属しており、類似物体グループＧ３には一人の人物Ｕ４が属している。

【0041】

物体追跡情報記憶部６０には、物体追跡部５０が割り当てた追跡ＩＤが格納される。具体的には、物体追跡情報記憶部６０には、物体ごとに、当該物体の位置、当該物体の検出時刻、当該物体が属する類似物体グループを識別するグループＩＤが格納される。物体追跡情報記憶部６０は、物体特徴量情報記憶部３０と比べ、頻繁にアクセスされないため、高速に読み書きできる記憶装置（メモリ等）でなくてもよい。例えば、物体追跡情報記憶部６０は、ハードディスク装置であってもよい。

【0042】

次に、物体追跡処理装置１の動作例として、類似人型をグルーピングする処理（１段階目の処理）について説明する。

【0043】

図５は、物体検出部１０が検出した物体をグルーピングする処理のフローチャートである。図６、図７は、物体検出部１０が検出した物体をグルーピングする処理のイメージ図である。

【0044】

以下、前提として、物体検出部１０には、カメラ７０（図１２参照）により撮像された単一映像を構成するフレームが逐次入力されているものとする。例えば、物体検出部１０には、フレーム１、フレーム２、フレーム３・・・がこの順に順次入力されているものとする。また、物体特徴量情報記憶部３０、物体グループ情報記憶部４０、物体追跡情報記憶部６０には、当初、何も記憶されていないものとする。

【0045】

以下の処理は、フレームごとに（フレームが入力されるごとに）実行される。

【0046】

まず、フレーム１が入力された場合の処理について説明する。

【0047】

まず、物体検出部１０は、フレーム１が入力されると、当該フレーム１（画像）中の追跡対象の物体を検出し、当該追跡対象の物体の特徴量を検出（算出）する処理を実行する（ステップＳ１０）。

【0048】

ここでは、図６に示すように、フレーム１（人物Ｕ１～Ｕ４を含む画像）が入力され、追跡対象の物体として、当該フレーム１中の人物Ｕ１～Ｕ４が検出され（ステップＳ１００）、当該検出された人物Ｕ１～Ｕ４それぞれの特徴量が検出されたものとする。

【0049】

次に、物体グルーピング処理部２０は、ステップＳ１０で検出された物体ごとに、物体特徴量情報記憶部３０を参照し、閾値１よりも高い類似度スコアを持つ類似物体を検索する（ステップＳ１１）。閾値１は、類似度スコアの下限を表す閾値である。その際、物体特徴量情報記憶部３０に記憶されている全て（例えば、全フレーム分の特徴量）を検索対象としてもよいし、物体特徴量情報記憶部３０に格納されている一部（例えば、現時点から３０秒以内に格納された５００フレーム分の特徴量）を検索対象としてもよい。なお、物体特徴量情報記憶部３０に格納されている一部（例えば、現時点から３０秒以内に格納された５００フレーム分の特徴量）を検索対象とすることにより、特徴量の鮮度劣化を抑制することができる。

【0050】

例えば、ステップＳ１０（ステップＳ１００）で検出された人物Ｕ１については、ステップＳ１１の処理を実行しても、類似物体は検索されない。この時点で、物体特徴量情報記憶部３０には何も記憶されていないためである（図６中のステップＳ１０１参照）。

【0051】

次に、物体グルーピング処理部２０は、ステップＳ１１での検索結果の類似物体数が閾値２以上であるか否かを判定する（ステップＳ１２）。閾値２は、類似物体数の下限を表す閾値である。

【0052】

ステップＳ１０で検出された人物Ｕ１については、ステップＳ１１の処理を実行しても、類似物体は検索されないため、ステップＳ１２の判定結果がＮｏとなる。

【0053】

この場合、物体グルーピング処理部２０は、ステップＳ１０で検出された人物Ｕ１については、新しい物体（人物Ｕ１）のグループＩＤ（例えば、１）を採番し（ステップＳ１３）、この採番されたグループＩＤ及び関連情報（人物Ｕ１の位置、人物Ｕ１の検出時刻）を互いに関連付けて物体グループ情報記憶部４０に格納する（ステップＳ１４、図６中のステップＳ１０２）。また、物体グルーピング処理部２０は、ステップＳ１３で採番されたグループＩＤ及び関連情報（人物Ｕ１の位置、人物Ｕ１の検出時刻、人物Ｕ１の特徴量）を互いに関連付けて物体特徴量情報記憶部３０に格納する（図６中のステップＳ１０３参照）。

【0054】

一方、ステップＳ１０で検出された人物Ｕ２については、ステップＳ１１の処理を実行すると、類似物体として人物Ｕ１が検索される。この時点で、物体特徴量情報記憶部３０には人物Ｕ１のグループＩＤ及び関連情報（人物Ｕ１の位置、人物Ｕ１の検出時刻、人物Ｕ１の特徴量）が格納されているためである（図６中のステップＳ１０４参照）。そのため、ステップＳ１２の判定結果がＹｅｓとなる（閾値２が０の場合）。

【0055】

この場合、物体グルーピング処理部２０は、ステップＳ１１での検索結果の類似物体は全て同じグループＩＤか否かを判定する（ステップＳ１５）。

【0056】

ステップＳ１０で検出された人物Ｕ２については、ステップＳ１１での検索結果の類似物体（人物Ｕ１）は全て同じグループＩＤであるため、ステップＳ１５の判定結果がＹｅｓとなる。

【0057】

この場合、物体グルーピング処理部２０は、ステップＳ１０で検出された人物Ｕ２については、ステップＳ１１で検出された類似物体（人物Ｕ１）のグループＩＤ及び関連情報（人物Ｕ２の位置、人物Ｕ２の検出時刻）を互いに関連付けて物体グループ情報記憶部４０に格納する（ステップＳ１４、図６中のステップＳ１０５）。また、物体グルーピング処理部２０は、ステップＳ１１で検出された類似物体（人物Ｕ１）のグループＩＤ及び関連情報（人物Ｕ１の位置、人物Ｕ１の検出時刻、人物Ｕ１の特徴量）を互いに関連付けて物体特徴量情報記憶部３０に格納する（図６中のステップＳ１０６参照）。

【0058】

一方、ステップＳ１０で検出された人物Ｕ３については、ステップＳ１１の処理を実行しても、類似物体は検索されないため、ステップＳ１２の判定結果がＮｏとなる。

【0059】

この場合、物体グルーピング処理部２０は、ステップＳ１０で検出された人物Ｕ３については、新しい物体（人物Ｕ３）のグループＩＤ（例えば、２）を採番し（ステップＳ１３）、この採番されたグループＩＤ及び関連情報（人物Ｕ３の位置、人物Ｕ３の検出時刻）を互いに関連付けて物体グループ情報記憶部４０に格納する（ステップＳ１４、図６中のステップＳ１０８）。また、物体グルーピング処理部２０は、ステップＳ１３で採番されたグループＩＤ及び関連情報（人物Ｕ３の位置、人物Ｕ３の検出時刻、人物Ｕ３の特徴量）を互いに関連付けて物体特徴量情報記憶部３０に格納する（図６中のステップＳ１０９参照）。

【0060】

同様に、ステップＳ１０で検出された人物Ｕ４については、ステップＳ１１の処理を実行しても、類似物体は検索されないため、ステップＳ１２の判定結果がＮｏとなる。

【0061】

この場合、物体グルーピング処理部２０は、ステップＳ１０で検出された人物Ｕ４については、新しい物体（人物Ｕ４）のグループＩＤ（例えば、３）を採番し（ステップＳ１３）、この採番されたグループＩＤ及び関連情報（人物Ｕ４の位置、人物Ｕ４の検出時刻）を互いに関連付けて物体グループ情報記憶部４０に格納する（ステップＳ１４、図６中のステップＳ１１１）。また、物体グルーピング処理部２０は、ステップＳ１３で採番されたグループＩＤ及び関連情報（人物Ｕ４の位置、人物Ｕ４の検出時刻、人物Ｕ４の特徴量）を互いに関連付けて物体特徴量情報記憶部３０に格納する（図示せず）。

【0062】

次に、フレーム１以降のフレーム（例えば、フレーム２）が入力された場合の処理について説明する。

【0063】

まず、物体検出部１０は、フレーム２が入力されると、当該フレーム２（画像）中の追跡対象の物体を検出し、当該追跡対象の物体の特徴量を検出（算出）する処理を実行する（ステップＳ１０）。

【0064】

ここでは、図７に示すように、フレーム２（人物Ｕ１～Ｕ４を含む画像）が入力され、追跡対象の物体として、当該フレーム２中の人物Ｕ１～Ｕ４が検出され（ステップＳ２００）、当該検出された人物Ｕ１～Ｕ４それぞれの特徴量が検出されたものとする。

【0065】

次に、物体グルーピング処理部２０は、ステップＳ１０で検出された物体ごとに、物体特徴量情報記憶部３０を参照し、閾値１よりも高い類似度スコアを持つ類似物体を検索する（ステップＳ１１）。閾値１は、類似度スコアの下限を表す閾値である。その際、物体特徴量情報記憶部３０に記憶されている全て（例えば、全フレーム分の特徴量）を検索対象としてもよいし、物体特徴量情報記憶部３０に格納されている一部（例えば、現時点から３０秒以内に格納された５００フレーム分の特徴量）を検索対象としてもよい。なお、物体特徴量情報記憶部３０に格納されている一部（例えば、現時点から３０秒以内に格納された５００フレーム分の特徴量）を検索対象とすることにより、特徴量の鮮度劣化を抑制することができる。

【0066】

例えば、ステップＳ１０（ステップＳ２００）で検出された人物Ｕ１については、ステップＳ１１の処理を実行すると、類似物体として人物Ｕ１、Ｕ２が検索される。この時点で、物体特徴量情報記憶部３０には人物Ｕ１のグループＩＤ及び関連情報（人物Ｕ１の位置、人物Ｕ１の検出時刻、人物Ｕ１の特徴量）及び人物Ｕ２のグループＩＤ及び関連情報（人物Ｕ２の位置、人物Ｕ２の検出時刻、人物Ｕ２の特徴量）が格納されているためである（図６中のステップＳ２０１参照）。そのため、ステップＳ１２の判定結果がＹｅｓとなる（閾値２が０の場合）。

【0067】

この場合、物体グルーピング処理部２０は、ステップＳ１１での検索結果の類似物体は全て同じグループＩＤか否かを判定する（ステップＳ１５）。

【0068】

ステップＳ１０（ステップＳ２００）で検出された人物Ｕ１については、ステップＳ１１での検索結果の類似物体（人物Ｕ１、Ｕ２）は全て同じグループＩＤであるため、ステップＳ１５の判定結果がＹｅｓとなる。

【0069】

この場合、物体グルーピング処理部２０は、ステップＳ１０（ステップＳ２００）で検出された人物Ｕ１については、ステップＳ１１で検出された類似物体（人物Ｕ１、Ｕ２）のグループＩＤ及び関連情報（人物Ｕ１の位置、人物Ｕ１の検出時刻）を互いに関連付けて物体グループ情報記憶部４０に格納する（ステップＳ１４、図６中のステップＳ２０２）。また、物体グルーピング処理部２０は、ステップＳ１１で検出された類似物体（人物Ｕ１、Ｕ２）のグループＩＤ及び関連情報（人物Ｕ１の位置、人物Ｕ１の検出時刻、人物Ｕ１の特徴量）を互いに関連付けて物体特徴量情報記憶部３０に格納する（図７中のステップＳ２０３参照）。

【0070】

なお、仮に、ステップＳ１１での検索結果の類似物体（人物Ｕ１、Ｕ２、Ｕ３）が全て同じグループＩＤでない場合、例えば、人物Ｕ１のグループＩＤが１で、人物Ｕ２のグループＩＤが２で、人物Ｕ３のグループＩＤが３の場合、ステップＳ１５の判定結果がＮｏとなる。この場合、物体グルーピング処理部２０は、グループＩＤを統合する処理を実行する。具体的には、物体グルーピング処理部２０は、検索結果のグループＩＤを統合し、統合された後のグループＩＤを物体グループ情報記憶部４０に格納する（ステップＳ１６）。例えば、物体グルーピング処理部２０は、グループＩＤが２の類似物体グループに属する全ての人物（ここでは、人物Ｕ２）及びグループＩＤが３の類似物体グループに属する全ての人物（ここでは、人物Ｕ３）をグループＩＤ＝１に変更する。

【0071】

これにより、処理途中で誤って別の類似物体グループ（データクラスタ）に分類されていた人物（データ）を同一の類似物体グループに統合することができる。

【0072】

このように、グループＩＤを統合する処理が実行された場合、物体グルーピング処理部２０は、ステップＳ１０で検出された人物Ｕ１については、統合されたグループＩＤ及び関連情報（人物Ｕ１の位置、人物Ｕ１の検出時刻）を互いに関連付けて物体グループ情報記憶部４０に格納する（ステップＳ１４）。また、物体グルーピング処理部２０は、統合されたグループＩＤ及び関連情報（人物Ｕ１の位置、人物Ｕ１の検出時刻、人物Ｕ１の特徴量）を互いに関連付けて物体特徴量情報記憶部３０に格納する。人物Ｕ２、Ｕ３についても同様である。

【0073】

同様に、ステップＳ１０（ステップＳ２００）で検出された人物Ｕ２については、ステップＳ１１の処理を実行すると、類似物体として人物Ｕ１、Ｕ２が検索される。この時点で、物体特徴量情報記憶部３０には人物Ｕ１のグループＩＤ及び関連情報（人物Ｕ１の位置、人物Ｕ１の検出時刻、人物Ｕ１の特徴量）及び人物Ｕ２のグループＩＤ及び関連情報（人物Ｕ２の位置、人物Ｕ２の検出時刻、人物Ｕ２の特徴量）が格納されているためである（図７中のステップＳ２０４参照）。そのため、ステップＳ１２の判定結果がＹｅｓとなる（閾値２が０の場合）。

【0074】

この場合、物体グルーピング処理部２０は、ステップＳ１１での検索結果の類似物体は全て同じグループＩＤか否かを判定する（ステップＳ１５）。

【0075】

ステップＳ１０（ステップＳ２００）で検出された人物Ｕ２については、ステップＳ１１での検索結果の類似物体（人物Ｕ１、Ｕ２）は全て同じグループＩＤであるため、ステップＳ１５の判定結果がＹｅｓとなる。

【0076】

この場合、物体グルーピング処理部２０は、ステップＳ１０（ステップＳ２００）で検出された人物Ｕ２については、ステップＳ１１で検出された類似物体（人物Ｕ１、Ｕ２）のグループＩＤ及び関連情報（人物Ｕ２の位置、人物Ｕ２の検出時刻）を互いに関連付けて物体グループ情報記憶部４０に格納する（ステップＳ１４、図７中のステップＳ２０５）。また、物体グルーピング処理部２０は、ステップＳ１１で検出された類似物体（人物Ｕ１、Ｕ２）のグループＩＤ及び関連情報（人物Ｕ２の位置、人物Ｕ２の検出時刻、人物Ｕ２の特徴量）を互いに関連付けて物体特徴量情報記憶部３０に格納する（図７中のステップＳ２０６参照）。

【0077】

同様に、ステップＳ１０（ステップＳ２００）で検出された人物Ｕ３については、ステップＳ１１の処理を実行すると、類似物体として人物Ｕ３が検索される。この時点で、物体特徴量情報記憶部３０には人物Ｕ３のグループＩＤ及び関連情報（人物Ｕ３の位置、人物Ｕ３の検出時刻、人物Ｕ３の特徴量）が格納されているためである（図７中のステップＳ２０７参照）。そのため、ステップＳ１２の判定結果がＹｅｓとなる（閾値２が０の場合）。

【0078】

この場合、物体グルーピング処理部２０は、ステップＳ１１での検索結果の類似物体は全て同じグループＩＤか否かを判定する（ステップＳ１５）。

【0079】

ステップＳ１０（ステップＳ２００）で検出された人物Ｕ３については、ステップＳ１１での検索結果の類似物体（人物Ｕ３）は全て同じグループＩＤであるため、ステップＳ１５の判定結果がＹｅｓとなる。

【0080】

この場合、物体グルーピング処理部２０は、ステップＳ１０（ステップＳ２００）で検出された人物Ｕ３については、ステップＳ１１で検出された類似物体（人物Ｕ３）のグループＩＤ及び関連情報（人物Ｕ３の位置、人物Ｕ３の検出時刻）を互いに関連付けて物体グループ情報記憶部４０に格納する（ステップＳ１４、図７中のステップＳ２０８）。また、物体グルーピング処理部２０は、ステップＳ１１で検出された類似物体（人物Ｕ３）のグループＩＤ及び関連情報（人物Ｕ３の位置、人物Ｕ３の検出時刻、人物Ｕ３の特徴量）を互いに関連付けて物体特徴量情報記憶部３０に格納する（図７中のステップＳ２０９参照）。

【0081】

同様に、ステップＳ１０（ステップＳ２００）で検出された人物Ｕ４については、ステップＳ１１の処理を実行すると、類似物体として人物Ｕ４が検索される。この時点で、物体特徴量情報記憶部３０には人物Ｕ４のグループＩＤ及び関連情報（人物Ｕ４の位置、人物Ｕ４の検出時刻、人物Ｕ４の特徴量）が格納されているためである（図７中のステップＳ２１０参照）。そのため、ステップＳ１２の判定結果がＹｅｓとなる（閾値２が０の場合）。

【0082】

この場合、物体グルーピング処理部２０は、ステップＳ１１での検索結果の類似物体は全て同じグループＩＤか否かを判定する（ステップＳ１５）。

【0083】

ステップＳ１０（ステップＳ２００）で検出された人物Ｕ４については、ステップＳ１１での検索結果の類似物体（人物Ｕ４）は全て同じグループＩＤであるため、ステップＳ１５の判定結果がＹｅｓとなる。

【0084】

この場合、物体グルーピング処理部２０は、ステップＳ１０（ステップＳ２００）で検出された人物Ｕ４については、ステップＳ１１で検出された類似物体（人物Ｕ４）のグループＩＤ及び関連情報（人物Ｕ４の位置、人物Ｕ４の検出時刻）を互いに関連付けて物体グループ情報記憶部４０に格納する（ステップＳ１４、図７中のステップＳ２１１）。また、物体グルーピング処理部２０は、ステップＳ１１で検出された類似物体（人物Ｕ４）のグループＩＤ及び関連情報（人物Ｕ４の位置、人物Ｕ４の検出時刻、人物Ｕ４の特徴量）を互いに関連付けて物体特徴量情報記憶部３０に格納する（図示せず）。

【0085】

なお、フレーム２以降のフレームについても、フレーム２に対するのと同様の処理が実行される。

【0086】

上記フローチャート１に記載の処理が実行されることにより、時々刻々と、ステップＳ１０で検出された各物体のグループＩＤ及び関連情報が物体特徴量情報記憶部３０及び物体グループ情報記憶部４０に格納されていく。

【0087】

以上、上記図５に記載のフローチャートの処理を、フレーム１、フレーム２、フレーム３・・・のように連続するフレームそれぞれに対して実行する例について説明したが、これに限らない。例えば、上記図５に記載のフローチャートの処理を、フレーム１、フレーム３、フレーム５・・・のように１（又は複数）飛びのフレームそれぞれに対して実行してもよい。これにより、スループットの向上を実現することができる。

【0088】

次に、物体追跡処理装置１の動作例として、物体グルーピング処理部２０が算出した類似物体グループに属する物体に当該物体を識別する追跡ＩＤを割り当てる処理（２段階目の処理）について説明する。この処理は、物体追跡部５０が実行する。

【0089】

物体追跡部５０は、物体グルーピング処理部２０が算出した類似物体グループと同数存在する（同数生成される）。例えば、上記図５のフローチャートの処理を実行した結果、３つの類似物体グループが形成された場合、図８に示すように、３つの物体追跡部５０Ａ～５０Ｃが存在する（生成される）。図８は、各々の物体追跡部５０Ａ～５０Ｃが、各々が担当する類似物体グループ（互いに異なる１つの類似物体グループ）に属する物体に当該物体を識別する追跡ＩＤを割り当てる処理を並列的に実行している様子を表す。

【0090】

物体追跡部５０Ａは、第１類似物体グループ（ここでは、グループＩＤが１の類似物体グループ）に属する物体（ここでは、人物Ｕ１、Ｕ２）に当該物体を識別する追跡ＩＤを割り当てる処理を実行する。物体追跡部５０Ｂは、第２類似物体グループ（ここでは、グループＩＤが２の類似物体グループ）に属する物体（ここでは、人物Ｕ３）に当該物体を識別する追跡ＩＤを割り当てる処理を実行する。物体追跡部５０Ｃは、第３類似物体グループ（ここでは、グループＩＤが３の類似物体グループ）に属する物体（ここでは、人物Ｕ４）に当該物体を識別する追跡ＩＤを割り当てる処理を実行する。これらの処理は、並列的に実行される。

【0091】

以下、代表して、物体追跡部５０Ａが第１類似物体グループ（グループＩＤが１の類似物体グループ）に属する物体（ここでは、人物Ｕ１、Ｕ２）に当該物体を識別する追跡ＩＤを割り当てる処理について説明する。

【0092】

図９は、物体グルーピング処理部２０が算出した類似物体グループに属する物体に当該物体を識別する追跡ＩＤを割り当てる処理のフローチャートである。図１０は、物体グルーピング処理部２０が算出した類似物体グループに属する物体に当該物体を識別する追跡ＩＤを割り当てる処理のイメージ図である。

【0093】

まず、予め定められた時間（例えば、５分）が経過すると、物体追跡部５０Ａは、更新があったグループＩＤ（ここでは、グループＩＤ＝１。以下同様）を持つ全ての類似物体の物体グループ情報（グループＩＤ及びその関連情報）を物体グループ情報記憶部４０から取得する（ステップＳ２０）。

【0094】

「更新があった」とは、物体グループ情報記憶部４０に格納済みのグループＩＤと同じグループＩＤ及び関連情報が追加格納された場合、物体グループ情報記憶部４０に新しいグループＩＤ及び関連情報が追加格納された場合をいい、上記ステップＳ１６の処理（グループＩＤを統合する処理）が実行されその処理結果が物体グループ情報記憶部４０に格納された場合（ステップＳ１４）も含む。なお、更新がなかった場合、予め定められた時間（例えば、５分）が経過しても図９に記載のフローチャートの処理は実行されない。

【0095】

次に、物体追跡部５０Ａは、ステップＳ２０で取得した物体グループ情報の追跡ＩＤを未割当にする（ステップＳ２１）。

【0096】

次に、物体追跡部５０Ａは、次フレームが存在するか否かを判定する（ステップＳ２４）。ここでは、次フレーム（フレーム２）が存在するため、ステップＳ２４の判定結果がＹｅｓとなる。

【0097】

次に、物体追跡部５０Ａは、現フレーム（処理対象フレーム）はフレーム１か否かを判定する（ステップS２５）。ここでは、現フレーム（処理対象フレーム）がフレーム１（最初のフレーム）であるため、ステップＳ２５の判定結果がＹｅｓとなる。

【0098】

次に、物体追跡部５０Ａは、割当された追跡物体では物体の現在位置も加味して次フレームでの位置を予測する（ステップＳ２６）。

【0099】

例えば、物体追跡部５０Ａは、フレーム１（最初のフレーム）中のグループＩＤが１の類似物体グループに属する人物Ｕ１、Ｕ２それぞれの次フレーム（フレーム２）での位置を予測する。この予測のアルゴリズムとしては、例えば、https://arxiv.org/abs/1602.00763 (code: https://github.com/abewley/sort, GPL v3)に開示されているものを用いることができる。ここでは、人物Ｕ１、Ｕ２の予測位置として、図１０中、フレーム２中の点線で描いた２つの矩形の枠Ａ１、Ａ２の位置が予測されたものとする。

【0100】

次に、物体追跡部５０Ａは、割当がない又はコストが閾値３より高い物体には新しい追跡ＩＤを採番する（ステップＳ２７）。閾値３は、物体領域の重なりと物体類似度で算出されるコストの上限を表す閾値である。

【0101】

ここでは、フレーム１（最初のフレーム）中のグループＩＤが１の類似物体グループに属する人物Ｕ１は追跡ＩＤが未割り当てであるため、物体追跡部５０Ａは、人物Ｕ１について、新しい追跡ＩＤ（例えば、１）を採番し（ステップＳ２７）、この採番された新しい追跡ＩＤ（＝１）及び関連情報（人物Ｕ１の位置、人物Ｕ１の検出時刻）を互いに関連付けて物体追跡情報記憶部６０に格納する。同様に、フレーム１（最初のフレーム）中のグループＩＤが１の類似物体グループに属する人物Ｕ２は追跡ＩＤが未割り当てであるため、物体追跡部５０Ａは、人物Ｕ２について、新しい追跡ＩＤ（例えば、２）を採番し（ステップＳ２７）、この採番された新しい追跡ＩＤ（＝２）及び関連情報（人物Ｕ２の位置、人物Ｕ２の検出時刻）を互いに関連付けて物体追跡情報記憶部６０に格納する。

【0102】

次に、物体追跡部５０Ａは、次フレームが存在するか否かを判定する（ステップＳ２４）。ここでは、次フレーム（フレーム２）が存在するため、ステップＳ２４の判定結果がＹｅｓとなる。

【0103】

次に、物体追跡部５０Ａは、現フレーム（処理対象フレーム）はフレーム１か否かを判定する（ステップS２５）。ここでは、現フレーム（処理対象フレーム）がフレーム２であるため、ステップＳ２５の判定結果がＮｏとなる。

【0104】

次に、物体追跡部５０Ａは、現フレーム（フレーム２）の全ての物体情報及び前フレーム（フレーム１）まで追跡していた物体（人物Ｕ１、Ｕ２）の予測位置を取得する（ステップＳ２８）。ここでは、物体（人物Ｕ１、Ｕ２）の予測位置として、図１０中、フレーム２中の点線で描いた２つの矩形の枠Ａ１、Ａ２の位置（ステップＳ２６で予測された位置）が取得されたものとする。

【0105】

次に、物体追跡部５０は、物体領域の重なりと物体類似度をコスト関数としたハンガリアン法により追跡物体の追跡ＩＤを現在物体に割り当てる（ステップＳ２９）。例えば、検出物体と追跡物体の予測位置の重なり度などからコストを算出、コスト最小となる割当を決定する。

【0106】

ここで、ハンガリアン法により追跡物体の追跡ＩＤを現在物体に割り当てる処理の具体例について説明する。

【0107】

この処理においては、図１１に示す行列（表）が用いられる。図１１は、物体グルーピング処理部２０が算出した類似物体グループに属する物体に当該物体を識別する追跡ＩＤを割り当てる処理において用いられる行列（表）の例である。この行列中の「検出１」、「検出２」、「追跡１」、「追跡２」は、次の意味である。

【0108】

すなわち、図１０中、フレーム２中の点線で描いた２つの矩形の枠Ａ１、Ａ２は前フレーム（フレーム１）において予測された物体（人物Ｕ１、Ｕ２）の予測位置を表す。この２つの矩形の枠Ａ１、Ａ２のうち一方が「追跡１」を表し、他方が「追跡２」を表す。

【0109】

また、図１０中、フレーム２中の実線で描いた２つの矩形の枠Ａ３、Ａ４は現フレーム（フレーム２）において検出された物体（人物Ｕ１、Ｕ２）の位置を表す。この２つの矩形の枠Ａ３、Ａ４のうち一方が「検出１」を表し、他方が「検出２」を表す。

【0110】

なお、図１１に示す行列（表）は、２×２の行列であるが、これに限らず、物体の数によっては、２×２以外のＮ１×Ｎ２の行列となることもある。Ｎ１、Ｎ２はそれぞれ１以上の整数である。

【0111】

図１１に示す行列（表）に記載の数値（以下、コストとも呼ぶ）は、次の意味である。

【0112】

例えば「追跡１」と「検出１」の交差する箇所に記載の０．５は、「追跡１」を表す予測位置（図１０中フレーム２中の点線で描いた一方の矩形の枠Ａ１）と「検出１」を表す位置（図１０中フレーム２中の実線で描いた一方の矩形の枠Ａ３）との重なり度（重なり領域）／２を１．０から減じることにより得られる数値である。この数値は、０のとき両位置が完全に重なっていることを表し、１のとき両位置が全く重なっていないことを表す。また、この数値は、小さいほど（０に近いほど）、両位置の重なり度が大きいことを表し、逆に、大きいほど（１に近いほど）、両位置の重なり度が小さいことを表す。図１１に示す行列（表）に記載の他の数値（０．９、０．１）についても同様である。

【0113】

図１１に示す行列（表）の場合、物体追跡部５０Ａは、コスト最小となる（重なり度が大きい）割り当てを決定する。具体的には、物体追跡部５０Ａは、検出１（例えば、人物Ｕ１）の追跡ＩＤとして、コストが最小となる（コストが０．５となる）「追跡１」の追跡ＩＤを割り当てる。この場合、物体追跡部５０Ａは、人物Ｕ１について、この割り当てた追跡ＩＤ（＝１）及び関連情報（人物Ｕ１の位置、人物Ｕ１の検出時刻）を互いに関連付けて物体追跡情報記憶部６０に格納する。

【0114】

一方、物体追跡部５０Ａは、検出２（例えば、人物Ｕ２）の追跡ＩＤとして、コストが最小となる（コストが０．１となる）「追跡２」の追跡ＩＤを割り当てる。この場合、物体追跡部５０Ａは、人物Ｕ２について、この割り当てた追跡ＩＤ（＝２）及び関連情報（人物Ｕ２の位置、人物Ｕ２の検出時刻）を互いに関連付けて物体追跡情報記憶部６０に格納する。

【0115】

次に、物体追跡部５０Ａは、割当された追跡物体では物体の現在位置も加味して次フレームでの位置を予測する（ステップＳ２６）。

【0116】

例えば、物体追跡部５０Ａは、フレーム２中のグループＩＤが１の類似物体グループに属する人物Ｕ１、Ｕ２それぞれの次フレーム（フレーム３）での位置を予測する。ここでは、人物Ｕ１、Ｕ２の予測位置として、図１０中、フレーム３の点線で描いた２つの矩形の枠Ａ５、Ａ６の位置が予測されたものとする。

【0117】

次に、物体追跡部５０Ａは、割当がない又はコストが閾値３より高い物体には新しい追跡ＩＤを採番する（ステップＳ２７）。閾値３は、物体領域の重なりと物体類似度で算出されるコストの上限を表す閾値である。

【0118】

ここでは、フレーム２中のグループＩＤが１の類似物体グループに属する人物Ｕ１、Ｕ２は追跡ＩＤが割り当て済みであり、かつ、コストが閾値３より低いため、ステップＳ２６の処理は実行されない。

【0119】

次に、物体追跡部５０Ａは、次フレームが存在するか否かを判定する（ステップＳ２４）。ここでは、次フレーム（フレーム３）が存在するため、ステップＳ２４の判定結果がＹｅｓとなる。

【0120】

次に、物体追跡部５０Ａは、現フレーム（処理対象フレーム）はフレーム１か否かを判定する（ステップ Ｓ２５）。ここでは、現フレーム（処理対象フレーム）がフレーム３であるため、ステップＳ２５の判定結果がＮｏとなる。

【0121】

次に、物体追跡部５０Ａは、現フレーム（フレーム３）の全ての物体情報及び前フレーム（フレーム２）まで追跡していた物体（人物Ｕ１、Ｕ２）の予測位置を取得する（ステップＳ２８）。ここでは、物体（人物Ｕ１、Ｕ２）の予測位置として、図１０中、フレーム３中の点線で描いた２つの矩形の枠Ａ５、Ａ６の位置（ステップＳ２６で予測された位置）が取得されたものとする。

【0122】

次に、物体追跡部５０Ａは、物体領域の重なりと物体類似度をコスト関数としたハンガリアン法により追跡物体の追跡ＩＤを現在物体に割り当てる（ステップＳ２９）。

【0123】

すなわち、上述したとおり、物体追跡部５０Ａは、コスト最小となる（重なり度が大きい）割り当てを決定する。具体的には、物体追跡部５０Ａは、検出１（例えば、人物Ｕ１）の追跡ＩＤとして、コストが最小となる「追跡１」の追跡ＩＤを割り当てる。この場合、物体追跡部５０Ａは、人物Ｕ１について、この割り当てた追跡ＩＤ及び関連情報（人物Ｕ１の位置、人物Ｕ１の検出時刻）を互いに関連付けて物体追跡情報記憶部６０に格納する。

【0124】

一方、物体追跡部５０Ａは、検出２（例えば、人物Ｕ２）の追跡ＩＤとして、コストが最小となる「追跡２」の追跡ＩＤを割り当てる。この場合、物体追跡部５０Ａは、人物Ｕ２について、この割り当てた追跡ＩＤ及び関連情報（人物Ｕ２の位置、人物Ｕ２の検出時刻）を互いに関連付けて物体追跡情報記憶部６０に格納する。

【0125】

以上の処理は、次フレームが存在しなくなるまで（ステップＳ２４：Ｎｏ）繰り返し実行される。

【0126】

次に、上述した実施の形態２において説明した物体追跡処理装置１（情報処理装置）のハードウェア構成例を説明する。図１２は、物体追跡処理装置１（情報処理装置）のハードウェア構成例を表すブロック図である。

【0127】

図１２に示すように、物体追跡処理装置１は、プロセッサ８０、メモリ８１、記憶装置８２等を備えるサーバ等の情報処理装置である。サーバは、物理マシンであってもよいし、仮想マシンであってもよい。また、物体追跡処理装置１には、１つのカメラ７０が通信線（例えば、インターネット）を介して接続されている。

【0128】

プロセッサ８０は、ＲＡＭ等のメモリ８１から読み出されるソフトウェア（コンピュータプログラム）実行することにより、物体検出部１０、物体グルーピング処理部２０、物体追跡部５０として機能する。これら機能は、一つのサーバに実装してもよいし、複数のサーバに分散して実装してもよい。複数のサーバに分散して実装した場合であっても、複数のサーバが通信線（例えば、インターネット）を介して互いに通信することにより、上記各フローチャートの処理を実現することができる。なお、これら機能の一部又は全部は、ハードウェアにより実現してもよい。

【0129】

また、物体追跡部５０は物体グルーピング処理部２０が分割した類似物体グループと同数存在する（同数生成される）が、各々の物体追跡部５０は、一つのサーバに実装してもよいし、複数のサーバに分散して実装してもよい。複数のサーバに分散して実装した場合であっても、複数のサーバが通信線（例えば、インターネット）を介して互いに通信することにより、上記各フローチャートの処理を実現することができる。

【0130】

プロセッサ８０は、例えば、マイクロプロセッサ、MPU（Micro Processing Unit）、又はCPU（Central Processing Unit）であってもよい。プロセッサは、複数のプロセッサを含んでもよい。

【0131】

メモリ８１は、揮発性メモリ及び不揮発性メモリの組み合わせによって構成される。メモリは、プロセッサから離れて配置されたストレージを含んでもよい。この場合、プロセッサは、図示されていないI/Oインタフェースを介してメモリにアクセスしてもよい。

【0132】

記憶装置８２は、例えば、ハードディスク装置である。

【0133】

図１１の例では、メモリは、ソフトウェアモジュール群を格納するために使用される。プロセッサは、これらのソフトウェアモジュール群をメモリから読み出して実行することで、上述の実施形態において説明された物体追跡処理装置等の処理を行うことができる。

【0134】

物体特徴量情報記憶部、物体グループ情報記憶部、物体追跡情報記憶部は、一つのサーバに設けられていてもよいし、複数のサーバに分散して設けられていてもよい。

【0135】

以上説明したように、実施形態２によれば、映像中で出現する物体の追跡精度を向上させることができる。

【0136】

これは、フレーム中の追跡対象の物体を検出し、当該検出された追跡対象の物体を類似物体グループに分類する処理（非時空間的な類似性を利用した処理）、及びこの分類された類似物体グループごとに、当該類似物体グループに属する物体に当該物体を識別する追跡ＩＤを割り当てる処理（空間的な類似性を利用した処理）の二段階の処理を実行することによるものである。すなわち、広範なフレーム・時間を対象にした同一物体の照合と時空間的な類似性の考慮を両立することで高い追跡精度を実現することができる。

【0137】

また、実施形態２によれば、物体グルーピング処理部２０が算出した類似物体グループに属する物体に当該物体を識別する追跡ＩＤを割り当てる処理（バッチ処理）を実行することにより、準リアルタイムでの頻出人物発見を実現することができる。例えば、物体追跡情報記憶部６０を参照することにより、特定の期間、特定の場所に頻出した物体（例えば、人物）を容易に発見することができる。例えば、現在から直近７日間にオフィスに頻出した人物Top20を列挙することができる。

【0138】

また、実施形態２によれば、次の効果を奏する。

【0139】

すなわち、物体の追跡ではカメラ画角からの障害物による遮蔽などで検出漏れ・追跡逃しが発生する。これに対して、実施形態２によれば、追跡逃しは、広範なフレーム・時間を対象に同一物体の照合により改善し得る。

【0140】

また、時空間的な類似性を考慮した物体追跡には、時系列順序での逐次処理が求められる。そのため入力単位での処理並列化によるスループット向上が不可能である。これに対して、実施形態２によれば、追跡対象の物体を類似物体グループに分類することにより、この類似物体グループごとに、当該類似物体グループに属する物体に当該物体を識別する追跡ＩＤを割り当てる処理を並列的に実行することができる。これにより、スループットの向上を実現することができる。すなわち、全体処理フローにおいて時系列順序での逐次処理部分を最小化することで、大部分の処理の並列化によるスループット向上を実現することができる。

【0141】

一方で非空間的な類似性のみでの追跡では、時空間的な制約に反した誤追跡が発生し、追跡精度が劣化する。これに対して、実施形態２によれば、上記のように二段階の処理を実行することにより、映像中で出現する物体の追跡精度を向上させることができる。

【0142】

上述の例において、プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）を含む。さらに、非一時的なコンピュータ可読媒体の例は、ＣＤ－ＲＯＭ（Read Only Memory）、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗを含む。さらに、非一時的なコンピュータ可読媒体の例は、半導体メモリを含む。半導体メモリは、例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（Random Access Memory）を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
なお、本開示は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。また、本開示は、それぞれの実施の形態を適宜組み合わせて実施されてもよい。

【符号の説明】

【0143】

１…物体追跡処理装置
１０…物体検出部
２０…物体グルーピング処理部
３０…物体特徴量情報記憶部
４０…物体グループ情報記憶部
５０（５０Ａ～５０Ｂ）…物体追跡部
６０…物体追跡情報記憶部
７０…カメラ
８０…プロセッサ
８１…メモリ
８２…記憶装置

【図1】

【図2】

【図3A】

【図3B】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】