知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023147846
(43)【公開日】2023-10-13
(54)【発明の名称】対応付け装置及び対応付け方法
(51)【国際特許分類】
G06V 10/74 20220101AFI20231005BHJP
G06V 10/772 20220101ALI20231005BHJP
【ＦＩ】
G06V10/74
G06V10/772
【審査請求】未請求
【請求項の数】9
【出願形態】ＯＬ
(21)【出願番号】P 2022055579
(22)【出願日】2022-03-30
(71)【出願人】
【識別番号】000108085
【氏名又は名称】セコム株式会社
(74)【代理人】
【識別番号】100103850
【弁理士】
【氏名又は名称】田中 秀▲てつ▼
(74)【代理人】
【識別番号】100114177
【弁理士】
【氏名又は名称】小林 龍
(74)【代理人】
【識別番号】100066980
【弁理士】
【氏名又は名称】森 哲也
(72)【発明者】
【氏名】佐野 友祐
(72)【発明者】
【氏名】糸賀 健
【テーマコード（参考）】
5L096
【Ｆターム（参考）】
5L096CA04
5L096DA01
5L096DA02
5L096DA04
5L096FA02
5L096FA32
5L096FA33
5L096FA64
5L096FA69
5L096GA51
5L096HA05
5L096JA03
5L096JA11
(57)【要約】
【課題】第１画像における対象を表した複数の第１対象領域と第２画像における対象を表した複数の第２対象領域とを対象領域の特徴量に基づいて対応付ける追跡装置において、対応付けに用いる特徴量の種別を適切に選択する。
【解決手段】追跡装置１は、複数の第１対象領域と複数の第２対象領域の各々について、複数の種別の特徴量を抽出するとともに、前記特徴量が前記対象の識別に適している程度を示す信頼度を、抽出した特徴量の各々について算出する特徴量抽出部１２と、特徴量の種別毎に、第１対象領域と第２対象領域を当該種別の特徴量を用いて対応付けた場合の対応付けの正確度合いを示す確実度を、信頼度に基づいて算出する確実度算出部１３と、確実度がより高い種別の特徴量を優先して選択し、選択された種別の特徴量に基づいて第１対象領域と第２対象領域との対応付け判定処理を行う対応付け判定部１４と、を備える。
【選択図】図３
【解決手段】追跡装置１は、複数の第１対象領域と複数の第２対象領域の各々について、複数の種別の特徴量を抽出するとともに、前記特徴量が前記対象の識別に適している程度を示す信頼度を、抽出した特徴量の各々について算出する特徴量抽出部１２と、特徴量の種別毎に、第１対象領域と第２対象領域を当該種別の特徴量を用いて対応付けた場合の対応付けの正確度合いを示す確実度を、信頼度に基づいて算出する確実度算出部１３と、確実度がより高い種別の特徴量を優先して選択し、選択された種別の特徴量に基づいて第１対象領域と第２対象領域との対応付け判定処理を行う対応付け判定部１４と、を備える。
【選択図】図３
【特許請求の範囲】
【請求項1】
第１画像における対象を表した複数の第１対象領域と、第２画像における前記対象を表した複数の第２対象領域の各々を対応付ける対応付け装置であって、
前記複数の第１対象領域と前記複数の第２対象領域の各々について、複数の種別のうち少なくとも１つの種別の特徴量を抽出するとともに、前記特徴量が前記対象の識別に適している程度を示す信頼度を、抽出した前記特徴量の各々について算出する特徴量抽出部と、
前記特徴量の種別毎に、前記第１対象領域と前記第２対象領域を当該種別の特徴量を用いて対応付けた場合の対応付けの正確度合いを示す確実度を、前記複数の第１対象領域と前記複数の第２対象領域の少なくとも一方について算出した前記信頼度に基づいて算出する確実度算出部と、
前記確実度がより高い種別の特徴量を優先して選択し、選択された種別の特徴量に基づいて前記第１対象領域と前記第２対象領域との対応付け判定処理を行う対応付け判定部と、
を備えることを特徴とする対応付け装置。
前記複数の第１対象領域と前記複数の第２対象領域の各々について、複数の種別のうち少なくとも１つの種別の特徴量を抽出するとともに、前記特徴量が前記対象の識別に適している程度を示す信頼度を、抽出した前記特徴量の各々について算出する特徴量抽出部と、
前記特徴量の種別毎に、前記第１対象領域と前記第２対象領域を当該種別の特徴量を用いて対応付けた場合の対応付けの正確度合いを示す確実度を、前記複数の第１対象領域と前記複数の第２対象領域の少なくとも一方について算出した前記信頼度に基づいて算出する確実度算出部と、
前記確実度がより高い種別の特徴量を優先して選択し、選択された種別の特徴量に基づいて前記第１対象領域と前記第２対象領域との対応付け判定処理を行う対応付け判定部と、
を備えることを特徴とする対応付け装置。
【請求項2】
前記確実度算出部は、前記選択された種別の特徴量に基づいて対応付けできない前記第１対象領域である第１未割当対象領域と、前記選択された種別の特徴量に基づいて対応付けできない前記第２対象領域である第２未割当対象領域の少なくとも一方について算出した前記信頼度に基づいて前記確実度を再算出し、
前記対応付け判定部は、再算出した前記確実度がより高い種別の特徴量を優先して選択し、選択された種別の特徴量に基づいて前記第１未割当対象領域と前記第２未割当対象領域との対応付け判定処理を行う、
ことを特徴とする請求項１に記載の対応付け装置。
前記対応付け判定部は、再算出した前記確実度がより高い種別の特徴量を優先して選択し、選択された種別の特徴量に基づいて前記第１未割当対象領域と前記第２未割当対象領域との対応付け判定処理を行う、
ことを特徴とする請求項１に記載の対応付け装置。
【請求項3】
前記確実度算出部は、前記複数の種別から１個以上の種別を選んだ集合を設定し、設定した集合毎に、当該集合に含まれる種別の特徴量を用いて前記第１対象領域と前記第２対象領域を対応付けた場合の対応付けの正確度合いを示す前記確実度を算出し、
前記対応付け判定部は、前記確実度がより高い集合を選択し、選択した集合に含まれる種別の特徴量を用いて前記対応付け判定処理を行う、
ことを特徴とする請求項１又は２に記載の対応付け装置。
前記対応付け判定部は、前記確実度がより高い集合を選択し、選択した集合に含まれる種別の特徴量を用いて前記対応付け判定処理を行う、
ことを特徴とする請求項１又は２に記載の対応付け装置。
【請求項4】
前記確実度算出部は、
前記複数の第１対象領域又は前記複数の第２対象領域の少なくとも一方である複数の対象領域の各々について算出した前記信頼度の分布である信頼度分布を算出し、
２つ以上の種別を含んだ前記集合に含まれる種別の信頼度について各々算出した前記信頼度分布の間の相違度が閾値以下である場合に、前記２つ以上の種別を含んだ集合の前記確実度を、当該集合に含まれる種別の前記信頼度に基づいて算出する、
ことを特徴とする請求項３に記載の対応付け装置。
前記複数の第１対象領域又は前記複数の第２対象領域の少なくとも一方である複数の対象領域の各々について算出した前記信頼度の分布である信頼度分布を算出し、
２つ以上の種別を含んだ前記集合に含まれる種別の信頼度について各々算出した前記信頼度分布の間の相違度が閾値以下である場合に、前記２つ以上の種別を含んだ集合の前記確実度を、当該集合に含まれる種別の前記信頼度に基づいて算出する、
ことを特徴とする請求項３に記載の対応付け装置。
【請求項5】
前記確実度算出部は、前記選択された種別の特徴量に基づいて対応付けできない前記第１対象領域と前記第２対象領域との対応付け判定処理を、前記選択された種別の確実度よりも確実度が低い種別の特徴量に基づいて行うことを特徴とする請求項１に記載の対応付け装置。
【請求項6】
前記確実度算出部は、前記複数の第１対象領域と前記複数の第２対象領域の少なくとも一方について算出した前記信頼度の統計量を算出し、算出された前記統計量に基づいて前記確実度を算出することを特徴とする請求項１～５のいずれか一項に記載の対応付け装置。
【請求項7】
前記確実度算出部は、前記特徴量の種別に応じて前記統計量を補正することにより前記確実度を算出することを特徴とする請求項６に記載の対応付け装置。
【請求項8】
前記対応付け判定部は、算出された前記信頼度が閾値よりも低い前記第１対象領域又は前記第２対象領域を、それぞれ前記第１対象領域又は前記第２対象領域と対応付けしないことを特徴とする請求項１～７のいずれか一項に記載の対応付け装置。
【請求項9】
第１画像における対象を表した複数の第１対象領域と、第２画像における前記対象を表した複数の第２対象領域の各々を対応付ける対応付け方法であって、
前記複数の第１対象領域と前記複数の第２対象領域の各々について、複数の種別のうち少なくとも１つの種別の特徴量を抽出するとともに、前記特徴量が前記対象の識別に適している程度を示す信頼度を、抽出した前記特徴量の各々について算出し、
前記特徴量の種別毎に、前記第１対象領域と前記第２対象領域を当該種別の特徴量を用いて対応付けた場合の対応付けの正確度合いを示す確実度を、前記複数の第１対象領域と前記複数の第２対象領域の少なくとも一方について算出した前記信頼度に基づいて算出し、
前記確実度がより高い種別の特徴量を優先して選択し、選択された種別の特徴量に基づいて前記第１対象領域と前記第２対象領域との対応付け判定処理を行う、
ことを特徴とする対応付け方法。
前記複数の第１対象領域と前記複数の第２対象領域の各々について、複数の種別のうち少なくとも１つの種別の特徴量を抽出するとともに、前記特徴量が前記対象の識別に適している程度を示す信頼度を、抽出した前記特徴量の各々について算出し、
前記特徴量の種別毎に、前記第１対象領域と前記第２対象領域を当該種別の特徴量を用いて対応付けた場合の対応付けの正確度合いを示す確実度を、前記複数の第１対象領域と前記複数の第２対象領域の少なくとも一方について算出した前記信頼度に基づいて算出し、
前記確実度がより高い種別の特徴量を優先して選択し、選択された種別の特徴量に基づいて前記第１対象領域と前記第２対象領域との対応付け判定処理を行う、
ことを特徴とする対応付け方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、複数の画像の各々における対象を表した対象領域どうしを対応付ける対応付け装置及び対応付け方法に関する。
【背景技術】
【0002】
下記特許文献１には、入力画像の部分画像に写る追跡対象物体を追跡する画像処理装置が記載されている。
画像中に写った複数物体の位置を推定して追跡する技術として、複数物体追跡（ＭＯＴ：Multiple Object Tracking）と呼ばれる手法が知られている。複数物体追跡では、時刻ｔ＝ｎの入力画像から追跡対象を各々含んだ部分画像の領域である対象領域を複数検出し、検出した対象領域の各々について特徴量を抽出する。そして、時刻ｔ＝ｎよりも前の時刻ｔ＝ｎ－１の入力画像から検出した複数の対象領域の特徴量と比較し、特徴量が類似する時刻ｔ＝ｎの対象領域と時刻ｔ＝ｎ－１の対象領域とを対応付けることによって、同一の追跡対象を映した対象領域の時系列を取得する。
画像中に写った複数物体の位置を推定して追跡する技術として、複数物体追跡（ＭＯＴ：Multiple Object Tracking）と呼ばれる手法が知られている。複数物体追跡では、時刻ｔ＝ｎの入力画像から追跡対象を各々含んだ部分画像の領域である対象領域を複数検出し、検出した対象領域の各々について特徴量を抽出する。そして、時刻ｔ＝ｎよりも前の時刻ｔ＝ｎ－１の入力画像から検出した複数の対象領域の特徴量と比較し、特徴量が類似する時刻ｔ＝ｎの対象領域と時刻ｔ＝ｎ－１の対象領域とを対応付けることによって、同一の追跡対象を映した対象領域の時系列を取得する。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０１９－０７５０５１号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
対象領域どうしの対応付けには、複数の種別を用いることが好ましい。対応付けに適する特徴量の種別は、入力画像によって異なるからである。例えば、追跡対象が人物である場合、人物の顔が高解像度で撮影できれば顔特徴量が適している。しかし、顔の撮影解像度が低い場合には、例えば頭部特徴量（頭の動きや視線など）の方が顔特徴量よりも適することもある。また、顔の撮影解像度が低い場合や遮蔽物などによって、顔や頭部の一部にオクルージョンがある場合には、例えば全身特徴量（体型、身長、性別、年代など）の方が顔特徴量よりも適することもある。
【0005】
一方で、複数物体追跡のように複数の対象領域の追跡を行う場合、これらの複数の対象領域の各々に対して常に全ての種別の特徴量を抽出できるとは限らない。
本発明は、上記の問題点を鑑みてなされたものであり、第１画像における対象を表した複数の第１対象領域と第２画像における対象を表した複数の第２対象領域とを対象領域の特徴量に基づいて対応付ける対応付け装置において、対応付けに用いる特徴量の種別を適切に選択することを目的とする。
本発明は、上記の問題点を鑑みてなされたものであり、第１画像における対象を表した複数の第１対象領域と第２画像における対象を表した複数の第２対象領域とを対象領域の特徴量に基づいて対応付ける対応付け装置において、対応付けに用いる特徴量の種別を適切に選択することを目的とする。
【課題を解決するための手段】
【0006】
本発明の一形態によれば、第１画像における対象を表した複数の第１対象領域と、第２画像における対象を表した複数の第２対象領域の各々を対応付ける対応付け装置が与えられる。追跡装置は、複数の第１対象領域と複数の第２対象領域の各々について、複数の種別の特徴量を抽出するとともに、特徴量が対象の識別に適している程度を示す信頼度を、抽出した特徴量の各々について算出する特徴量抽出部と、特徴量の種別毎に、第１対象領域と第２対象領域を当該種別の特徴量を用いて対応付けた場合の対応付けの正確度合いを示す確実度を、信頼度に基づいて算出する確実度算出部と、確実度がより高い種別の特徴量を優先して選択し、選択された特徴量に基づいて第１対象領域と第２対象領域との対応付け判定処理を行う対応付け判定部と、を備える。
【0007】
本発明の他の一形態によれば、第１画像における対象を表した複数の第１対象領域と、第２画像における対象を表した複数の第２対象領域の各々を対応付ける対応付け方法が与えられる。対応付け方法では、複数の第１対象領域と複数の第２対象領域の各々について、複数の種別のうち少なくとも１つの種別の特徴量を抽出するとともに、特徴量が対象の識別に適している程度を示す信頼度を、抽出した特徴量の各々について算出し、特徴量の種別毎に、第１対象領域と第２対象領域を当該種別の特徴量を用いて対応付けた場合の対応付けの正確度合いを示す確実度を、複数の第１対象領域と複数の第２対象領域の少なくとも一方について算出した信頼度に基づいて算出し、確実度がより高い種別の特徴量を優先して選択し、選択された特徴量に基づいて第１対象領域と第２対象領域との対応付け判定処理を行う。
【発明の効果】
【0008】
本発明によれば、第１画像における対象を表した複数の第１対象領域と第２画像における対象を表した複数の第２対象領域とを対象領域の特徴量に基づいて対応付ける対応付け装置において、対応付けに用いる特徴量の種別を適切に選択できる。
【図面の簡単な説明】
【0009】
【図1】実施形態の追跡装置のハードウエア構成例を示す概略図である。
【図2】実施形態の対応付け方法の概要の説明図である。
【図3】実施形態の追跡装置の機能構成例のブロック図である。
【図4】第１実施形態の確実度算出部が算出する信頼度分布の模式図である。
【図5】第１実施形態の確実度算出部において信頼度分布間の相違度が算出される信頼度分布の模式図である。
【図6】（ａ）は信頼度分布間の相違度が小さい場合の模式図であり、（ｂ）は信頼度分布間の相違度が大きい場合の模式図である。
【図7】第１実施形態の対応付け方法の一例のフローチャートである。
【図8】第２実施形態の対応付け方法の一例のフローチャートである。
【発明を実施するための形態】
【0010】
以下において、図面を参照して本発明の実施形態を説明する。なお、以下に示す本発明の実施形態は、本発明の技術的思想を具体化するための装置や方法を例示するものであって、本発明の技術的思想は、構成部品の構造、配置等を下記のものに特定するものではない。本発明の技術的思想は、特許請求の範囲に記載された請求項が規定する技術的範囲内において、種々の変更を加えることができる。
【0011】
（第１実施形態）
（構成）
図１は、本発明の実施形態の追跡装置１のハードウエア構成例を示す概略図である。本発明の実施形態の追跡装置１は、異なる複数の時刻で順次取得した入力画像から追跡対象が写っている対象領域（すなわち追跡対象が写っている位置）を検出し、同一の追跡対象の対象領域どうしを対応付けることにより同一の追跡対象を追跡する追跡装置である。追跡装置１は、特許請求の範囲に記載の「対応付け装置」の一例である。例えば特定の人物を追跡する場合には、検出対象は「人」であり、追跡対象は「特定の人物」である。
以下の説明では、追跡対象として複数の人物を追跡する追跡装置を例示して説明するが、本発明における追跡対象は人物に限定されない。本発明は、複数物体（例えば複数車両など）を追跡する追跡装置にも広く適用可能である。
また、本発明は、複数の時刻で順次取得した入力画像から同一の追跡対象を追跡する追跡装置以外にも、同一の対象物を表した画像や対象領域どうしを対応付ける用途に広く適用可能である。例えば、互いに対応付けられる画像や対象領域は、複数の異なる時刻に撮影されたものでなくともよい。
例えば、画像に映る物体を認識する物体同定において、複数の認識対象の物体が写っている画像集合と、既知の物体が写っている画像集合との対応付けに適用してもよい。例えば人物同定において、防犯カメラの監視画像のような複数の人物が写っている画像において人物を検出した対象領域の各々と、既知の人物が写っている検索画像集合との対応付けに適用してもよい。
また例えば、視点の異なる複数のカメラで同一時刻に撮影した複数視点の画像の各々に複数物体が写っている場合に、複数視点の画像間で同一物体どうしの対応づけに適用してもよい。同一物体の複数視点画像が得ることにより、３次元形状推定や、より精密な姿勢推定や行動推定が可能となる。
（構成）
図１は、本発明の実施形態の追跡装置１のハードウエア構成例を示す概略図である。本発明の実施形態の追跡装置１は、異なる複数の時刻で順次取得した入力画像から追跡対象が写っている対象領域（すなわち追跡対象が写っている位置）を検出し、同一の追跡対象の対象領域どうしを対応付けることにより同一の追跡対象を追跡する追跡装置である。追跡装置１は、特許請求の範囲に記載の「対応付け装置」の一例である。例えば特定の人物を追跡する場合には、検出対象は「人」であり、追跡対象は「特定の人物」である。
以下の説明では、追跡対象として複数の人物を追跡する追跡装置を例示して説明するが、本発明における追跡対象は人物に限定されない。本発明は、複数物体（例えば複数車両など）を追跡する追跡装置にも広く適用可能である。
また、本発明は、複数の時刻で順次取得した入力画像から同一の追跡対象を追跡する追跡装置以外にも、同一の対象物を表した画像や対象領域どうしを対応付ける用途に広く適用可能である。例えば、互いに対応付けられる画像や対象領域は、複数の異なる時刻に撮影されたものでなくともよい。
例えば、画像に映る物体を認識する物体同定において、複数の認識対象の物体が写っている画像集合と、既知の物体が写っている画像集合との対応付けに適用してもよい。例えば人物同定において、防犯カメラの監視画像のような複数の人物が写っている画像において人物を検出した対象領域の各々と、既知の人物が写っている検索画像集合との対応付けに適用してもよい。
また例えば、視点の異なる複数のカメラで同一時刻に撮影した複数視点の画像の各々に複数物体が写っている場合に、複数視点の画像間で同一物体どうしの対応づけに適用してもよい。同一物体の複数視点画像が得ることにより、３次元形状推定や、より精密な姿勢推定や行動推定が可能となる。
【0012】
追跡装置１は、撮影部２と、通信部３と、記憶部４と、画像処理部５と、出力部６と、及び操作入力部７を備える。
撮影部２は、所定の領域を監視する目的で設置される防犯カメラであり、当該領域内に滞在する人物が撮影できる位置に取り付けられる。撮影部２で撮影した画像は通信部３を介して画像処理部５に送信される。
撮影部２は、所定の領域を監視する目的で設置される防犯カメラであり、当該領域内に滞在する人物が撮影できる位置に取り付けられる。撮影部２で撮影した画像は通信部３を介して画像処理部５に送信される。
【0013】
通信部３は、撮影部２、画像処理部５、出力部６及び操作入力部７の間でデータの送受信を行なう。ＬＡＮ（Local Area Network）や、インターネット等の公衆回線を利用できる。
記憶部４は、ＨＤＤ（Hard Disk Drive）又はＳＳＤ（Solid State Drive）等で構成され、オペレーティングシステムを含む各種プログラム、及び各種データを格納する。
画像処理部５は、ＣＰＵ、ＭＰＵ、周辺回路、端子、各種メモリ等で構成され、撮影部２が撮影した画像に対して画像処理を施した結果を、通信部３を介して出力部６に送信する。
記憶部４は、ＨＤＤ（Hard Disk Drive）又はＳＳＤ（Solid State Drive）等で構成され、オペレーティングシステムを含む各種プログラム、及び各種データを格納する。
画像処理部５は、ＣＰＵ、ＭＰＵ、周辺回路、端子、各種メモリ等で構成され、撮影部２が撮影した画像に対して画像処理を施した結果を、通信部３を介して出力部６に送信する。
【0014】
出力部６は、追跡装置１により生成された各種情報を出力するディスプレイ、プロジェクタ、プリンタ、リムーバブルドライブ装置、ＵＳＢ（Universal Serial Bus）インターフェース、ネットワークインターフェース等である。
操作入力部７は、ユーザーにより操作され、テンプレートや検索範囲の指定入力を受け付けるためのマウスやキーボード等である。
操作入力部７は、ユーザーにより操作され、テンプレートや検索範囲の指定入力を受け付けるためのマウスやキーボード等である。
【0015】
図２は、実施形態の対応付け方法の概要の説明図である。入力画像Ｉｍｎは、時刻ｔ＝ｎにおいて撮影部２により生成され画像処理部５に入力された画像である。入力画像Ｉｍｎ－１は、時刻ｔ＝ｎよりも１処理周期前の時刻ｔ＝ｎ－１において撮影部２により生成され画像処理部５に入力された画像である。
画像処理部５は、入力画像Ｉｍｎに人物が写っている対象領域Ａ２１、Ａ２２、Ａ２３及びＡ２４を物体検出技術によって検出する。例えば画像処理部５は、物体検出技術として背景差分処理とテンプレートマッチングとに基づく方法など公知の方法を利用できる。
画像処理部５は、入力画像Ｉｍｎに人物が写っている対象領域Ａ２１、Ａ２２、Ａ２３及びＡ２４を物体検出技術によって検出する。例えば画像処理部５は、物体検出技術として背景差分処理とテンプレートマッチングとに基づく方法など公知の方法を利用できる。
【0016】
一方で、入力画像Ｉｍｎ－１に人物が写っている対象領域Ａ１１、Ａ１２及びＡ１３も、入力画像Ｉｍｎの対象領域Ａ２１～Ａ２４の検出よりも１処理周期前に、画像処理部５によって検出されている。対象領域Ａ１１～Ａ１３は、時刻ｔ＝ｎ－１よりも前に検出された対象領域に対応付けられて対象領域の時系列Ｔ１、Ｔ２、Ｔ３（以下の説明において「トラック」と表記することがある）を形成している。
入力画像Ｉｍｎ－１は特許請求の範囲に記載の「第１画像」の一例であり、入力画像Ｉｍｎは特許請求の範囲に記載の「第２画像」の一例であり、対象領域Ａ１１～Ａ１３は特許請求の範囲に記載の「第１対象領域」の一例であり、対象領域Ａ２１～Ａ２４は特許請求の範囲に記載の「第２対象領域」の一例である。
入力画像Ｉｍｎ－１は特許請求の範囲に記載の「第１画像」の一例であり、入力画像Ｉｍｎは特許請求の範囲に記載の「第２画像」の一例であり、対象領域Ａ１１～Ａ１３は特許請求の範囲に記載の「第１対象領域」の一例であり、対象領域Ａ２１～Ａ２４は特許請求の範囲に記載の「第２対象領域」の一例である。
【0017】
なお、入力画像Ｉｍｎの対象領域Ａ２１と入力画像Ｉｍｎ－１の対象領域Ａ１１は、同一人物Ｐａが写っている部分画像の領域であり、対象領域Ａ２２と対象領域Ａ１２は、同一人物Ｐｂが写っている部分画像の領域であり、対象領域Ａ２３と対象領域Ａ１３は、同一人物Ｐｃが写っている部分画像の領域である。入力画像Ｉｍｎの対象領域Ａ２４は、入力画像Ｉｍｎには写っているが入力画像Ｉｍｎ－１に写っていない人物Ｐｄが写っている部分画像の領域である。
【0018】
画像処理部５は、入力画像Ｉｍｎの対象領域Ａ２１～Ａ２４と入力画像Ｉｍｎ－１の対象領域Ａ１１～Ａ１３のとの間の全ての組合せを比較し、対応付けｍ１、ｍ２及びｍ３を判定する。すなわち、対象領域Ａ２１～Ａ２４とトラックＴ１～Ｔ３との間の対応付けを判定する。
画像処理部５は、入力画像Ｉｍｎの対象領域Ａ２１～Ａ２４の各々の特徴量を抽出する。一方で、入力画像Ｉｍｎ－１の対象領域Ａ１１～Ａ１３の各々の特徴量は、対象領域Ａ２１～Ａ２４の特徴量の抽出よりも１処理周期前に画像処理部５によって抽出され記憶部４に記憶されている。画像処理部５は、抽出した特徴量に基づいて対象領域Ａ２１～Ａ２４とトラックＴ１～Ｔ３との間の対応付けｍ１、ｍ２及びｍ３を判定する。
画像処理部５は、入力画像Ｉｍｎの対象領域Ａ２１～Ａ２４の各々の特徴量を抽出する。一方で、入力画像Ｉｍｎ－１の対象領域Ａ１１～Ａ１３の各々の特徴量は、対象領域Ａ２１～Ａ２４の特徴量の抽出よりも１処理周期前に画像処理部５によって抽出され記憶部４に記憶されている。画像処理部５は、抽出した特徴量に基づいて対象領域Ａ２１～Ａ２４とトラックＴ１～Ｔ３との間の対応付けｍ１、ｍ２及びｍ３を判定する。
【0019】
すなわち、トラックＴ１～Ｔ３のうち、対象領域Ａ２１の特徴量に類似する特徴量を有する対象領域Ａ１１のトラックＴ１を対象領域Ａ２１に対応付ける。同様に、対象領域Ａ２２の特徴量に類似する特徴量を有する対象領域Ａ１２のトラックＴ２を対象領域Ａ２２に対応付ける。対象領域Ａ２３の特徴量に類似する特徴量を有する対象領域Ａ１３のトラックＴ３を対象領域Ａ２３に対応付ける。
【0020】
トラックＴ１～Ｔ３と対象領域Ａ２１～Ａ２４との間の対応付けを判定する際に、対応付けの最適化処理を行ってもよい。例えばトラックＴ１～Ｔ３と対象領域Ａ２１～Ａ２４との対応付けの全てのパターンについて、特徴量間の類似度の合計をパターン毎に算出し、類似度の合計が高くなるように対応付けを判定してよい。
画像処理部５は、対象領域Ａ１１～Ａ１３のいずれにも対応付けられなかった対象領域Ａ２４の時系列を、新たなトラックとして生成する。
画像処理部５は、対象領域Ａ１１～Ａ１３のいずれにも対応付けられなかった対象領域Ａ２４の時系列を、新たなトラックとして生成する。
【0021】
トラックＴ１～Ｔ３と対象領域Ａ２１～Ａ２４のとの間の対応付けには、複数の種別を用いることが好ましい。対応付けに適する特徴量の種別は、入力画像によって異なるからである。例えば人物Ｐａ～Ｐｄの顔が高解像度で撮影できれば顔特徴量が適している。しかし、顔の撮影解像度が低い場合には、例えば頭部特徴量の方が顔特徴量よりも適することもある。また、顔の撮影解像度が低い場合や什器などによるオクルージョンがある場合には、例えば全身特徴量の方が顔特徴量よりも適することもある。
一方で、複数の対象領域Ａ２１～Ａ２４の各々に対して常に全ての種別の特徴量を抽出できるとは限らない。
一方で、複数の対象領域Ａ２１～Ａ２４の各々に対して常に全ての種別の特徴量を抽出できるとは限らない。
【0022】
そこで画像処理部５は、対象領域Ａ１１～Ａ１３と対象領域Ａ２１～Ａ２４について、複数の種別の特徴量を抽出するとともに、抽出した特徴量の各々の信頼度を算出する。本明細書において特徴量の「信頼度」とは、対象領域に写っている追跡対象を識別するのに特徴量がどの程度適しているかを表す指標値であってよい。すなわち、当該特徴量を用いて対象領域に写っている追跡対象を識別した際に、正しく識別できるかの確度を表す指標値であってよい。
言い換えれば、当該特徴量を用いて対象領域に写っている追跡対象を識別した際に、同じ対象か否かを正しく識別できる（すなわち、対応付けできる）かの確度を表す指標値であってよい。例えば、実際に特徴量を用いて対象を識別することなく、同じ対象か否かを正しく識別できるかの確度を表す指標値であってよい。特徴量による対象領域の対応付けは、２つの特徴量が同じ対象か否かを識別することに等しいので、特徴量の信頼度は、正しく対応付けできるかの確度を表す指標値として捉えることができる。
次に、特徴量の種別毎に、対象領域Ａ１１～Ａ１３と対象領域Ａ２１～Ａ２４とを当該種別の特徴量を用いて対応付けた場合の対応付けの正確度合いを示す確実度を、信頼度に基づいて算出する。そして、確実度がより高い種別の特徴量を優先して選択し、選択された特徴量に基づいて対象領域Ａ１１～Ａ１３と対象領域Ａ２１～Ａ２４との対応付け判定処理を行う。
これにより追跡装置１は、複数の種別の特徴量の中から対応付けに用いる特徴量を、適切に選択することが可能となる。
言い換えれば、当該特徴量を用いて対象領域に写っている追跡対象を識別した際に、同じ対象か否かを正しく識別できる（すなわち、対応付けできる）かの確度を表す指標値であってよい。例えば、実際に特徴量を用いて対象を識別することなく、同じ対象か否かを正しく識別できるかの確度を表す指標値であってよい。特徴量による対象領域の対応付けは、２つの特徴量が同じ対象か否かを識別することに等しいので、特徴量の信頼度は、正しく対応付けできるかの確度を表す指標値として捉えることができる。
次に、特徴量の種別毎に、対象領域Ａ１１～Ａ１３と対象領域Ａ２１～Ａ２４とを当該種別の特徴量を用いて対応付けた場合の対応付けの正確度合いを示す確実度を、信頼度に基づいて算出する。そして、確実度がより高い種別の特徴量を優先して選択し、選択された特徴量に基づいて対象領域Ａ１１～Ａ１３と対象領域Ａ２１～Ａ２４との対応付け判定処理を行う。
これにより追跡装置１は、複数の種別の特徴量の中から対応付けに用いる特徴量を、適切に選択することが可能となる。
【0023】
図３は、実施形態の追跡装置１の機能構成例のブロック図である。入力画像取得部１０と、対象領域検出部１１と、特徴量抽出部１２と、確実度算出部１３と、対応付け判定部１４と、トラック記憶部１５と、追跡結果出力部１６を備える。
図１の撮影部２は、入力画像取得部１０として機能し、記憶部４はトラック記憶部１５として機能し、画像処理部５は、対象領域検出部１１と、特徴量抽出部１２と、確実度算出部１３と、対応付け判定部１４として機能し、出力部６は、追跡結果出力部１６として機能する。
図１の撮影部２は、入力画像取得部１０として機能し、記憶部４はトラック記憶部１５として機能し、画像処理部５は、対象領域検出部１１と、特徴量抽出部１２と、確実度算出部１３と、対応付け判定部１４として機能し、出力部６は、追跡結果出力部１６として機能する。
【0024】
入力画像取得部１０は、複数の異なる時刻ｔ＝１、２、…の各々において、所定の監視領域を撮影した画像を入力画像として順次取得する。例えば入力画像取得部１０は、撮影部２で撮影した画像を入力画像として取得してもよい。
対象領域検出部１１は、入力画像取得部１０が取得した入力画像に人物が写っている複数の対象領域を物体検出技術によって検出する。例えば、対象領域検出部１１は、物体検出技術として背景差分処理とテンプレートマッチングとに基づく方法など公知の方法を利用できる。
対象領域検出部１１は、入力画像取得部１０が取得した入力画像に人物が写っている複数の対象領域を物体検出技術によって検出する。例えば、対象領域検出部１１は、物体検出技術として背景差分処理とテンプレートマッチングとに基づく方法など公知の方法を利用できる。
【0025】
以下の説明において、時刻ｔ＝ｎに取得した入力画像から検出した複数の対象領域を「対象領域Ａｉ」と表記する（ｉ＝１、２、…）。
一方で、トラック記憶部１５には、時刻ｔ＝ｎよりも前に取得した入力画像から検出した対象領域の時系列である複数のトラックＴｋの情報が記憶されている（ｋ＝１、２、…）。以下の説明において、トラックＴｋを構成する対象領域のうち時刻ｔ＝ｎ－１以前の数時刻間に取得した入力画像から検出した対象領域を「対象領域Ａｋ」と表記する。
一方で、トラック記憶部１５には、時刻ｔ＝ｎよりも前に取得した入力画像から検出した対象領域の時系列である複数のトラックＴｋの情報が記憶されている（ｋ＝１、２、…）。以下の説明において、トラックＴｋを構成する対象領域のうち時刻ｔ＝ｎ－１以前の数時刻間に取得した入力画像から検出した対象領域を「対象領域Ａｋ」と表記する。
【0026】
特徴量抽出部１２は、複数の対象領域Ａｉの各々について、複数の特徴量種別ｊのうち対象領域Ａｉから抽出可能な少なくとも１つの種別の特徴量を抽出する。例えば、複数の特徴量種別ｊの特徴量として、顔特徴量と頭部特徴量と全身特徴量を抽出してよい。例えば特徴量抽出部１２は、深層学習（Deep Learning）で用いられるような多層のネットワークで構成されたＣＮＮでモデル化された特徴量抽出モデルに対象領域Ａｉを入力することによって、対象領域Ａｉの特徴量を抽出してよい。
【0027】
本明細書では、特徴量抽出部１２は、Ｌ個の特徴量種別ｊのうち抽出可能な少なくとも１つの種別の特徴量を抽出する場合を例示する（ｊ＝１、２、…、Ｌ）。
以下に説明する第１実施形態では、Ｌ個の特徴量種別ｊの中から１個以上の種別を選んだ特徴量種別の集合Ｃを決定し、集合Ｃの特徴量に基づいて対象領域ＡｉとトラックＴｋとの間の対応付けを判定する。
以下に説明する第１実施形態では、Ｌ個の特徴量種別ｊの中から１個以上の種別を選んだ特徴量種別の集合Ｃを決定し、集合Ｃの特徴量に基づいて対象領域ＡｉとトラックＴｋとの間の対応付けを判定する。
【0028】
集合Ｃに含まれる特徴量種別ｊの数が１個である場合には、単一の特徴量に基づいて対象領域ＡｉとトラックＴｋとの間の対応付けを判定する。
集合Ｃに含まれる複数の特徴量種別ｊの数が２個以上である場合には、集合Ｃに含まれる複数の特徴量種別ｊの特徴量ｆ１、ｆ２、…に基づいて、対象領域ＡｉとトラックＴｋとの間の対応付けを判定する。
例えば、特徴量ｆ１、ｆ２、…のそれぞれについてトラックＴｋの対象領域Ａｋと対象領域Ａｉとの類似度ｓ１、ｓ２、…を算出し、類似度ｓ１、ｓ２、…の合計（ｓ１＋ｓ２＋…）や積（ｓ１×ｓ２×…）などを総合類似度ｓｔとして求めて、総合類似度ｓｔに応じて対象領域ＡｉとトラックＴｋとの間の対応付けを判定してよい。
このとき、特徴量間の総合類似度ｓｔが閾値以下である対象領域ＡｉとトラックＴｋの組合せも対応付けない。
集合Ｃに含まれる複数の特徴量種別ｊの数が２個以上である場合には、集合Ｃに含まれる複数の特徴量種別ｊの特徴量ｆ１、ｆ２、…に基づいて、対象領域ＡｉとトラックＴｋとの間の対応付けを判定する。
例えば、特徴量ｆ１、ｆ２、…のそれぞれについてトラックＴｋの対象領域Ａｋと対象領域Ａｉとの類似度ｓ１、ｓ２、…を算出し、類似度ｓ１、ｓ２、…の合計（ｓ１＋ｓ２＋…）や積（ｓ１×ｓ２×…）などを総合類似度ｓｔとして求めて、総合類似度ｓｔに応じて対象領域ＡｉとトラックＴｋとの間の対応付けを判定してよい。
このとき、特徴量間の総合類似度ｓｔが閾値以下である対象領域ＡｉとトラックＴｋの組合せも対応付けない。
【0029】
さらに、特徴量抽出部１２は、対象領域Ａｉから抽出した特徴量種別ｊの特徴量の信頼度ｒｊ
ｉを算出する。例えば特徴量抽出部１２は、変分オートエンコーダ（ＶＡＥ：Variational Auto Encoder）やガウス過程等の生成モデルを用いて、特徴量空間における対象領域Ａｉの特徴量の平均及び分散を算出してよい。特徴量抽出部１２は、特徴量の分散の逆数を信頼度ｒｊ
ｉとして求めてよい。但し、本発明はこれに限られず、特徴量の抽出とともに特徴量の信頼度に関する何らかの指標を算出する手法であれば広く用いることができる。
【0030】
確実度算出部１３は、Ｌ個の特徴量種別ｊの中から１個以上の種別を選んだ特徴量種別の集合Ｃ毎に、当該集合Ｃの特徴量に基づいて対象領域ＡｉをトラックＴｋに対応付けた場合の対応付けの正確度合いを示す確実度ＲＣを、集合Ｃに含まれる特徴量種別ｊについて算出した信頼度ｒｊ
ｉに基づいて算出する。
対応付け判定部１４は、確実度ＲＣがより高い特徴量種別ｊの集合Ｃを優先して選択し、選択された集合Ｃの特徴量に基づいて対象領域ＡｉとトラックＴｋとを対応付ける対応付け判定処理を行う。
対応付け判定部１４は、確実度ＲＣがより高い特徴量種別ｊの集合Ｃを優先して選択し、選択された集合Ｃの特徴量に基づいて対象領域ＡｉとトラックＴｋとを対応付ける対応付け判定処理を行う。
【0031】
ここで、選択された集合Ｃに含まれる全ての特徴量が、全ての対象領域Ａｉに対して良好に抽出できるとは限らないことに留意する。例えば、ある対象領域に対しては顔特徴量を良好に抽出できても、他の対象領域に対しては解像度が低い又はオクルージョン等の理由により顔特徴量を良好に抽出できないことがあるからである。
このため、対応付け判定部１４は、選択された集合Ｃに含まれる特徴量の信頼度ｒｊ ｉが閾値以下である対象領域ＡｉやトラックＴｋは対応付けない。
このため、対応付け判定部１４は、選択された集合Ｃに含まれる特徴量の信頼度ｒｊ ｉが閾値以下である対象領域ＡｉやトラックＴｋは対応付けない。
【0032】
以下の説明において、対応付け判定部１４によるトラックＴｋとの対応付けが完了した対象領域Ａｉを「割当済対象領域」と表記し、まだトラックＴｋに対応付けられていない対象領域Ａｉを「未割当対象領域」と表記する。また、対象領域Ａｉとの対応付けが完了したトラックＴｋを「割当済トラック」と表記し、まだ対象領域Ａｉに対応付けられていないトラックＴｋを「未割当トラック」と表記する。
【0033】
対応付け判定部１４は、時刻ｔ＝ｎの処理周期において（すなわち時刻ｔ＝１、２、…の複数の処理周期のうち各々の単一処理周期内において）、未割当対象領域を割当済トラックに対応付けする対応付け判定処理を、特徴量種別ｊの集合Ｃを選択し直しながら繰り返し実行する。
【0034】
具体的には、対応付け判定部１４は、時刻ｔ＝ｎの処理周期における第１回目の対応付け判定処理を行う前に、全ての対象領域Ａｉを「未割当対象領域」に設定し、全てのトラックＴｋを「未割当トラック」に設定する。
確実度算出部１３は、対応付け判定処理を１回行う毎に、未割当対象領域に設定された対象領域Ａｉの信頼度ｒｊ ｉに基づいて、未割当対象領域に設定された対象領域Ａｉを対応付けた場合の対応付けの正確度合いを示す確実度ＲＣを算出する。
対応付け判定部１４は、確実度ＲＣがより高い特徴量種別ｊの集合Ｃを優先して選択し、選択された集合Ｃの特徴量に基づいて未割当対象領域と未割当トラックとの対応付けを判定する。
確実度算出部１３は、対応付け判定処理を１回行う毎に、未割当対象領域に設定された対象領域Ａｉの信頼度ｒｊ ｉに基づいて、未割当対象領域に設定された対象領域Ａｉを対応付けた場合の対応付けの正確度合いを示す確実度ＲＣを算出する。
対応付け判定部１４は、確実度ＲＣがより高い特徴量種別ｊの集合Ｃを優先して選択し、選択された集合Ｃの特徴量に基づいて未割当対象領域と未割当トラックとの対応付けを判定する。
【0035】
対応付け判定部１４は、ある対象領域ＡｉをあるトラックＴｋに対応付けた場合、トラックＴｋの時系列に対象領域Ａｉを追加する。例えばトラック記憶部１５に記憶されているトラックＴｋの情報に対象領域Ａｉの情報（位置、幅、高さ等）を追加して、トラック記憶部１５に記憶されているトラックＴｋの情報を更新する。また、対応付け判定部１４は、対象領域Ａｉについて抽出した全ての特徴量種別ｊの特徴量と信頼度ｒｊ
ｉをトラックＴｋの情報に追加して、トラック記憶部１５に記憶されているトラックＴｋの情報を更新する。対応付け判定部１４は、対応付けが完了した対象領域ＡｉとトラックＴｋとを、それぞれ割当済対象領域と割当済トラックに設定する。
【0036】
対応付け判定部１４は、対応付け判定処理を１回行う毎に、所定の対応付け終了条件を満足するか否かを判定する。例えば以下の条件（Ａ１）～（Ａ３）のいずれかを満足する場合に、対応付け終了条件を満足する。
（Ａ１）全ての対象領域Ａｉが「割当済対象領域」に設定された。
（Ａ２）全てのトラックＴｋが「割当済トラック」に設定された。
（Ａ３）全ての集合Ｃについて、未割当対象領域の信頼度ｒｊ ｉに基づいて算出した確実度Ｒｃが全て閾値以下である。
（Ａ３）に代えて又は加えて、以下の条件（Ａ４）を満足する場合に対応付け終了条件を満足すると判定してもよい。
（Ａ４）全ての未割当対象領域の信頼度ｒｊ ｉが全て閾値以下である。
（Ａ１）全ての対象領域Ａｉが「割当済対象領域」に設定された。
（Ａ２）全てのトラックＴｋが「割当済トラック」に設定された。
（Ａ３）全ての集合Ｃについて、未割当対象領域の信頼度ｒｊ ｉに基づいて算出した確実度Ｒｃが全て閾値以下である。
（Ａ３）に代えて又は加えて、以下の条件（Ａ４）を満足する場合に対応付け終了条件を満足すると判定してもよい。
（Ａ４）全ての未割当対象領域の信頼度ｒｊ ｉが全て閾値以下である。
【0037】
対応付け終了条件を満足した場合に、対応付け判定部１４は、未割当対象領域に設定された対象領域Ａｉが残っているか否かを判定する。対応付け判定部１４は、未割当対象領域に設定された対象領域Ａｉから始まる時系列を新しいトラックとして生成する。例えば未割当対象領域の情報（位置、幅、高さ等）と、未割当対象領域について抽出した全ての特徴量種別ｊの特徴量と信頼度ｒｊ
ｉをトラック記憶部１５に記憶する。
以上の処理を終了すると、時刻ｔ＝ｎの処理周期が完了し、次の時刻ｔ＝ｎ＋１の処理周期の処理を開始する。
以上の処理を終了すると、時刻ｔ＝ｎの処理周期が完了し、次の時刻ｔ＝ｎ＋１の処理周期の処理を開始する。
【0038】
次に、確実度ＲＣの算出方法の例について説明する。
集合Ｃに含まれる特徴量種別ｊの数が１個である場合には、確実度算出部１３は、次式（１）に基づいて確実度ＲＣを算出してよい。
ＲＣ＝ａ１×Ｒｊ＋ｂ１ …（１）
集合Ｃに含まれる特徴量種別ｊの数が１個である場合には、確実度算出部１３は、次式（１）に基づいて確実度ＲＣを算出してよい。
ＲＣ＝ａ１×Ｒｊ＋ｂ１ …（１）
【0039】
式（１）において、Ｒｊは未割当対象領域のうち特徴量種別ｊの特徴量を計算可能な対象領域Ａｉに対して算出した信頼度ｒｊ
ｉの統計量であってよい。統計量Ｒｊは、例えば信頼度ｒｊ
ｉの平均、分散、歪度などのモーメントであってよく、信頼度ｒｊ
ｉの中央値や、最大値や、最小値、分位点などであってもよい。
また、ａ１は所定の補正係数であり、ｂ１は所定の補正加算値である。補正係数ａ１や補正加算値ｂ１を特徴量種別ｊ毎に異なる値に設定することにより、特徴量種別ｊの特徴量による対応付けに優先度を設定したり、値域の異なる信頼度ｒｊ ｉの値を正規化してもよい。
また、ａ１は所定の補正係数であり、ｂ１は所定の補正加算値である。補正係数ａ１や補正加算値ｂ１を特徴量種別ｊ毎に異なる値に設定することにより、特徴量種別ｊの特徴量による対応付けに優先度を設定したり、値域の異なる信頼度ｒｊ ｉの値を正規化してもよい。
【0040】
集合Ｃに含まれる特徴量種別ｊの数が複数個である場合に確実度算出部１３は、特徴量種別ｊ毎に、未割当対象領域に設定された対象領域Ａｉの各々について算出した信頼度ｒｊ
ｉの分布である信頼度分布ｒｊを算出する。図４は、確実度算出部１３が算出する信頼度分布ｒｊの模式図である。
確実度算出部１３は、集合Ｃから特徴量種別α、βのペアを選び、信頼度分布ｒαとｒβとの間の相違度Ｄｉｓｔ（ｒα，ｒβ）を算出する。図５は、確実度算出部１３において相違度Ｄｉｓｔ（ｒα，ｒβ）が算出される信頼度分布ｒα、ｒβのペアの模式図である。例えば確実度算出部１３は、信頼度分布間のカルバック・ライブラー（ＫＬ：Kullback-Leibler）ダイバージェンスや、信頼度列の内積に基づいた距離を相違度Ｄｉｓｔ（ｒα，ｒβ）として算出してよい。
確実度算出部１３は、集合Ｃから特徴量種別α、βのペアを選び、信頼度分布ｒαとｒβとの間の相違度Ｄｉｓｔ（ｒα，ｒβ）を算出する。図５は、確実度算出部１３において相違度Ｄｉｓｔ（ｒα，ｒβ）が算出される信頼度分布ｒα、ｒβのペアの模式図である。例えば確実度算出部１３は、信頼度分布間のカルバック・ライブラー（ＫＬ：Kullback-Leibler）ダイバージェンスや、信頼度列の内積に基づいた距離を相違度Ｄｉｓｔ（ｒα，ｒβ）として算出してよい。
【0041】
確実度算出部１３は、集合Ｃから選んだ特徴量種別の全てのペアにおいて相違度Ｄｉｓｔ（ｒα，ｒβ）が所定の閾値以下となる場合に、次式（２）にしたがい、統計量Ｒｊの総和ΣＲｊに基づいて確実度ＲＣを算出する。
式（２）において、ａ２は所定の補正係数であり、ｂ２は所定の補正加算値である。補正係数ａ２は、例えば集合Ｃの要素数に応じて設定してよい。例えば要素数が多いほど小さな補正係数ａ１を設定してよい。また、集合Ｃに応じて補正係数ａ２や補正加算値ｂ２を異なる値に設定することにより、集合Ｃの特徴量による対応付けに優先度を設定してもよい。
なお、確実度算出部１３は、上式（２）の確実度ＲＣに代えて統計量Ｒｊの総乗ΠＲｊに基づいて確実度ＲＣをしてもよい。
【数1】
なお、確実度算出部１３は、上式（２）の確実度ＲＣに代えて統計量Ｒｊの総乗ΠＲｊに基づいて確実度ＲＣをしてもよい。
【0042】
一方で、集合Ｃから選んだ特徴量種別のいずれかのペアα、βに対して相違度Ｄｉｓｔ（ｒα，ｒβ）が所定の閾値以下とならない場合には、対応付け判定部１４は、集合Ｃの特徴量に基づく対象領域ＡｉとトラックＴｋとの対応付け判定処理を行わない。
例えば、集合Ｃから選んだ特徴量種別のいずれかのペアα、βに対して、相違度Ｄｉｓｔ（ｒα，ｒβ）が所定の閾値以下とならない場合には、確実度ＲＣを０又は非常に小さな所定値に設定する。これにより、集合Ｃの優先度を下げて、対応付け判定部１４が対象領域ＡｉとトラックＴｋとの対応付け判定処理に集合Ｃの特徴量を使用しないようにする。
例えば、集合Ｃから選んだ特徴量種別のいずれかのペアα、βに対して、相違度Ｄｉｓｔ（ｒα，ｒβ）が所定の閾値以下とならない場合には、確実度ＲＣを０又は非常に小さな所定値に設定する。これにより、集合Ｃの優先度を下げて、対応付け判定部１４が対象領域ＡｉとトラックＴｋとの対応付け判定処理に集合Ｃの特徴量を使用しないようにする。
【0043】
以下、図６（ａ）及び図６（ｂ）を参照してその理由を説明する。図６（ａ）は信頼度分布ｒα、ｒβ間の相違度Ｄｉｓｔ（ｒα，ｒβ）が小さい場合の模式図であり、図６（ｂ）は相違度Ｄｉｓｔ（ｒα，ｒβ）が大きい場合の模式図である。
図６（ａ）において破線２０、２１でそれぞれ囲んだ範囲では、特徴量種別αの信頼度ｒα ｉと特徴量種別βの信頼度ｒβ ｉが両方とも高くなっている。このように、相違度Ｄｉｓｔ（ｒα，ｒβ）が小さい場合には、信頼度ｒα ｉと信頼度ｒβ ｉが両方とも高くなる対象領域Ａｉが生じやすい。信頼度は当該特徴量を用いて対象領域を（正しく識別できるか、つまり、）正しく対応付けできるかの確度を表す指標値であるので、信頼度ｒα ｉと信頼度ｒβ ｉが両方同程度に高い対象領域Ａｉついては、特徴量種別α、βの両方を用いて対応付けすると、一方のみの特徴量種別を用いた場合に比べて、より正しく対応付ける確度が高くなる。このため、特徴量種別α、βの組合せに基づいてより確実に対応付けできる対象領域Ａｉが存在することとなる。
図６（ａ）において破線２０、２１でそれぞれ囲んだ範囲では、特徴量種別αの信頼度ｒα ｉと特徴量種別βの信頼度ｒβ ｉが両方とも高くなっている。このように、相違度Ｄｉｓｔ（ｒα，ｒβ）が小さい場合には、信頼度ｒα ｉと信頼度ｒβ ｉが両方とも高くなる対象領域Ａｉが生じやすい。信頼度は当該特徴量を用いて対象領域を（正しく識別できるか、つまり、）正しく対応付けできるかの確度を表す指標値であるので、信頼度ｒα ｉと信頼度ｒβ ｉが両方同程度に高い対象領域Ａｉついては、特徴量種別α、βの両方を用いて対応付けすると、一方のみの特徴量種別を用いた場合に比べて、より正しく対応付ける確度が高くなる。このため、特徴量種別α、βの組合せに基づいてより確実に対応付けできる対象領域Ａｉが存在することとなる。
【0044】
一方で、相違度Ｄｉｓｔ（ｒα，ｒβ）が大きい場合には、図６（ｂ）に示すように信頼度ｒα
ｉと信頼度ｒβ
ｉが両方とも高くなる対象領域Ａｉが生じにくい。このため、このような特徴量種別の組合せに基づいて対応付けを行うと、確実に対応付けできるか否かが分からず、誤った対応付けが行われる虞がある。
このため対応付け判定部１４は、集合Ｃから選んだ特徴量種別のいずれかのペアα、βに対して相違度Ｄｉｓｔ（ｒα，ｒβ）が所定の閾値以下とならない場合には、集合Ｃの特徴量に基づく対象領域ＡｉとトラックＴｋとの対応付け判定処理を行わない。
このため対応付け判定部１４は、集合Ｃから選んだ特徴量種別のいずれかのペアα、βに対して相違度Ｄｉｓｔ（ｒα，ｒβ）が所定の閾値以下とならない場合には、集合Ｃの特徴量に基づく対象領域ＡｉとトラックＴｋとの対応付け判定処理を行わない。
【0045】
上記説明では、未割当対象領域に設定された対象領域Ａｉの信頼度ｒｊ
ｉに基づいて確実度ＲＣを算出する例について記載した。これに代えて、未割当トラックに設定されたトラックＴｋを構成する対象領域のうち時刻ｔ＝ｎ－１以前の数時刻間に取得した入力画像から検出した対象領域Ａｋの信頼度ｒｊ
ｋに基づいて確実度ＲＣを算出してもよい。
上記のとおり対応付け判定部１４は、対象領域ＡｉをトラックＴｋに対応付ける際には、対象領域Ａｉについて抽出した全ての特徴量種別ｊの特徴量と信頼度ｒｊ ｉを、トラック記憶部１５に記憶されているトラックＴｋの情報に追加する。したがって、トラック記憶部１５にトラックＴｋの対象領域Ａｋについて抽出した全ての特徴量種別ｊの特徴量と信頼度ｒｊ ｋが記憶されている。
上記のとおり対応付け判定部１４は、対象領域ＡｉをトラックＴｋに対応付ける際には、対象領域Ａｉについて抽出した全ての特徴量種別ｊの特徴量と信頼度ｒｊ ｉを、トラック記憶部１５に記憶されているトラックＴｋの情報に追加する。したがって、トラック記憶部１５にトラックＴｋの対象領域Ａｋについて抽出した全ての特徴量種別ｊの特徴量と信頼度ｒｊ ｋが記憶されている。
【0046】
確実度算出部１３は、トラック記憶部１５から信頼度ｒｊ
ｋを読み出して、信頼度ｒｊ
ｋに基づく確実度ＲＣを算出してもよい。信頼度ｒｊ
ｋに基づく確実度ＲＣの算出は、上述した信頼度ｒｊ
ｉに基づく確実度ＲＣの算出方法と同様である。
対応付け判定部１４は、信頼度ｒｊ ｋに基づく確実度ＲＣがより高い特徴量種別ｊの集合Ｃを優先して選択し、選択された集合Ｃの特徴量に基づいて未割当対象領域と未割当トラックとの対応付けを判定する。
対応付け判定部１４は、信頼度ｒｊ ｋに基づく確実度ＲＣがより高い特徴量種別ｊの集合Ｃを優先して選択し、選択された集合Ｃの特徴量に基づいて未割当対象領域と未割当トラックとの対応付けを判定する。
【0047】
また、確実度算出部１３は、対象領域Ａｉの信頼度ｒｊ
ｉに基づく確実度ＲＣ（以下「確実度Ｒ１Ｃ」と表記することがある）と、トラックＴｋの対象領域Ａｋの信頼度ｒｊ
ｋに基づく確実度ＲＣ（以下「確実度Ｒ２Ｃ」と表記することがある）とを組み合わせた合成確実度Ｒ３Ｃを算出してもよい。
例えば、確実度算出部１３は信頼度ｒｊ ｉに基づく確実度Ｒ１Ｃと信頼度ｒｊ ｋに基づく確実度Ｒ２Ｃとの積を合成確実度Ｒ３Ｃ＝Ｒ１Ｃ×Ｒ２Ｃとして算出してもよい。
例えば、確実度算出部１３は信頼度ｒｊ ｉに基づく確実度Ｒ１Ｃと信頼度ｒｊ ｋに基づく確実度Ｒ２Ｃとの積を合成確実度Ｒ３Ｃ＝Ｒ１Ｃ×Ｒ２Ｃとして算出してもよい。
【0048】
例えば、確実度算出部１３は信頼度ｒｊ
ｉに基づく確実度Ｒ１Ｃと信頼度ｒｊ
ｋに基づく確実度Ｒ２Ｃとの和を合成確実度Ｒ３Ｃ＝Ｒ１Ｃ＋Ｒ２Ｃとして算出してもよい。このとき確実度算出部１３は、確実度Ｒ１Ｃ又は確実度Ｒ２Ｃのいずれか一方が０又は非常に小さな所定値である場合に、合成確実度Ｒ３Ｃを０又は非常に小さな所定値に設定する。
対応付け判定部１４は、合成確実度Ｒ３Ｃがより高い特徴量種別ｊの集合Ｃを優先して選択し、選択された集合Ｃの特徴量に基づいて未割当対象領域と未割当トラックとの対応付けを判定する。
対応付け判定部１４は、合成確実度Ｒ３Ｃがより高い特徴量種別ｊの集合Ｃを優先して選択し、選択された集合Ｃの特徴量に基づいて未割当対象領域と未割当トラックとの対応付けを判定する。
【0049】
図３を参照する。対応付け判定部１４は、対象領域Ａｉの情報（位置、幅、高さ等）と、対象領域Ａｉが対応付けられたトラックＴｋの識別情報Ｉｄと、を追跡結果出力部１６に出力する。また、新しいトラックを生成した場合には、生成したトラックを構成する対象領域Ａｉの情報と新しく生成したトラックの識別情報Ｉｄと、追跡結果出力部１６に出力する。
【0050】
追跡結果出力部１６は、複数の異なる時刻ｔ＝１、２、…において入力画像取得部１０が取得した入力画像を、出力部６から複数の異なる時刻にそれぞれ表示する。例えば、出力部６のディスプレイに表示する。
その際に、対応付け判定部１４から出力される対象領域Ａｉの情報に基づいて、入力画像から検出した対象領域Ａｉの位置情報を出力する。例えば、対象領域Ａｉを表す図形（例えば四角形）を入力画像に重畳してディスプレイに表示してよい。
その際に、対応付け判定部１４から出力される対象領域Ａｉの情報に基づいて、入力画像から検出した対象領域Ａｉの位置情報を出力する。例えば、対象領域Ａｉを表す図形（例えば四角形）を入力画像に重畳してディスプレイに表示してよい。
【0051】
さらに追跡結果出力部１６は、対応付け判定部１４から出力される識別情報Ｉｄに基づいて、複数の異なる時刻ｔ＝１、２、…の入力画像から同一の追跡対象を検出した対象領域Ａｉを特定する情報を出力部６から出力する。例えば、同一の追跡対象を検出した対象領域Ａｉを表す図形を同じ色彩及び明度で表示し、異なる追跡対象を検出した対象領域Ａｉを表す図形を異なる色彩や異なる明度で表示してよい。また例えば、同一の追跡対象を検出した対象領域Ａｉに同一の記号やマーク、図形、文字（例えば識別情報など）を付加して表示してもよい。
【0052】
（動作）
図７は、第１実施形態の対応付け方法の一例のフローチャートである。
ステップＳ１において入力画像取得部１０は、時刻ｔ＝ｎに撮影した入力画像Ｉｍｎを取得する。
ステップＳ２において対象領域検出部１１は、入力画像Ｉｍｎに人物が写っている複数の対象領域Ａｉを検出する。
ステップＳ３において特徴量抽出部１２は、複数の対象領域Ａｉの各々について、複数の特徴量種別ｊのうち対象領域Ａｉから抽出可能な少なくとも１つの種別の特徴量を抽出する。
図７は、第１実施形態の対応付け方法の一例のフローチャートである。
ステップＳ１において入力画像取得部１０は、時刻ｔ＝ｎに撮影した入力画像Ｉｍｎを取得する。
ステップＳ２において対象領域検出部１１は、入力画像Ｉｍｎに人物が写っている複数の対象領域Ａｉを検出する。
ステップＳ３において特徴量抽出部１２は、複数の対象領域Ａｉの各々について、複数の特徴量種別ｊのうち対象領域Ａｉから抽出可能な少なくとも１つの種別の特徴量を抽出する。
【0053】
ステップＳ４において特徴量抽出部１２は、対象領域Ａｉから抽出した特徴量種別ｊの特徴量の信頼度ｒｊ
ｉを算出する。
ステップＳ５において対応付け判定部１４は、全ての対象領域Ａｉを「未割当対象領域」に設定し、全てのトラックＴｋを「未割当トラック」に設定する。
ステップＳ６において確実度算出部１３は、未割当対象領域の信頼度ｒｊ ｉに基づく確実度ＲＣを算出する。確実度算出部１３は、未割当トラックＴｋの対象領域Ａｋから抽出した特徴量種別ｊの特徴量の信頼度ｒｊ ｋをトラック記憶部１５から読み出して、未割当トラックの信頼度ｒｊ ｋに基づく確実度ＲＣを算出してもよい。確実度算出部１３は、合成確実度Ｒ３Ｃを算出してもよい。
ステップＳ５において対応付け判定部１４は、全ての対象領域Ａｉを「未割当対象領域」に設定し、全てのトラックＴｋを「未割当トラック」に設定する。
ステップＳ６において確実度算出部１３は、未割当対象領域の信頼度ｒｊ ｉに基づく確実度ＲＣを算出する。確実度算出部１３は、未割当トラックＴｋの対象領域Ａｋから抽出した特徴量種別ｊの特徴量の信頼度ｒｊ ｋをトラック記憶部１５から読み出して、未割当トラックの信頼度ｒｊ ｋに基づく確実度ＲＣを算出してもよい。確実度算出部１３は、合成確実度Ｒ３Ｃを算出してもよい。
【0054】
ステップＳ７において対応付け判定部１４は、確実度ＲＣ又は合成確実度Ｒ３Ｃに基づく優先度に従って、特徴量種別ｊの集合Ｃを選択する。
ステップＳ８において対応付け判定部１４は、選択された集合Ｃの特徴量に基づいて未割当対象領域と未割当トラックとの対応付けを判定する。
ステップＳ９において対応付け判定部１４は、ステップＳ８で対応付けした対象領域ＡｉとトラックＴｋを、それぞれ割当済対象領域と割当済トラックに設定する。
ステップＳ８において対応付け判定部１４は、選択された集合Ｃの特徴量に基づいて未割当対象領域と未割当トラックとの対応付けを判定する。
ステップＳ９において対応付け判定部１４は、ステップＳ８で対応付けした対象領域ＡｉとトラックＴｋを、それぞれ割当済対象領域と割当済トラックに設定する。
【0055】
ステップＳ１０において対応付け判定部１４は、所定の対応付け終了条件を満足するか否かを判定する。対応付け終了条件を満足する場合（ステップＳ１０：Ｙ）に処理はステップＳ１１へ進む。対応付け終了条件を満足しない場合（ステップＳ１０：Ｎ）に処理はステップＳ６へ戻る。
ステップＳ１１において対応付け判定部１４は、未割当対象領域に設定された対象領域Ａｉが残っているか否かを判定する。未割当対象領域に設定された対象領域Ａｉが残っている場合（ステップＳ１１：Ｙ）に処理はステップＳ１２へ進む。未割当対象領域に設定された対象領域Ａｉが残っていない場合（ステップＳ１１：Ｎ）に処理は終了する。
ステップＳ１２において対応付け判定部１４は、未割当対象領域に設定された対象領域Ａｉから始まる時系列を新しいトラックとして生成する。その後に処理は終了する。
ステップＳ１１において対応付け判定部１４は、未割当対象領域に設定された対象領域Ａｉが残っているか否かを判定する。未割当対象領域に設定された対象領域Ａｉが残っている場合（ステップＳ１１：Ｙ）に処理はステップＳ１２へ進む。未割当対象領域に設定された対象領域Ａｉが残っていない場合（ステップＳ１１：Ｎ）に処理は終了する。
ステップＳ１２において対応付け判定部１４は、未割当対象領域に設定された対象領域Ａｉから始まる時系列を新しいトラックとして生成する。その後に処理は終了する。
【0056】
（第２実施形態）
以下に説明する第２実施形態では、Ｌ個の特徴量種別ｊの中から１個の種別を選択し、選択した１個の種別の特徴量に基づいて対象領域ＡｉとトラックＴｋとの間の対応付けを判定する。
確実度算出部１３は、Ｌ個の特徴量種別ｊ毎に、当該特徴量種別ｊの特徴量に基づいて対象領域ＡｉをトラックＴｋに対応付けた場合の対応付けの正確度合いを示す確実度ＲＣを信頼度ｒｊ ｉに基づいて算出する。例えば確実度算出部１３は、集合Ｃに含まれる特徴量種別ｊの数が１個である場合の上式（１）の確実度ＲＣを算出してよい。
以下に説明する第２実施形態では、Ｌ個の特徴量種別ｊの中から１個の種別を選択し、選択した１個の種別の特徴量に基づいて対象領域ＡｉとトラックＴｋとの間の対応付けを判定する。
確実度算出部１３は、Ｌ個の特徴量種別ｊ毎に、当該特徴量種別ｊの特徴量に基づいて対象領域ＡｉをトラックＴｋに対応付けた場合の対応付けの正確度合いを示す確実度ＲＣを信頼度ｒｊ ｉに基づいて算出する。例えば確実度算出部１３は、集合Ｃに含まれる特徴量種別ｊの数が１個である場合の上式（１）の確実度ＲＣを算出してよい。
【0057】
対応付け判定部１４は、確実度ＲＣに従って特徴量種別ｊの優先度を設定する。例えば、確実度ＲＣが高いほどより高い優先度を設定してよい。
対応付け判定部１４は、時刻ｔ＝ｎの処理周期において（すなわち時刻ｔ＝１、２、…の複数の処理周期のうち各々の単一処理周期内において）、優先度の高い特徴量種別ｊの特徴量から順に選択しながら、選択した特徴量に基づいて未割当対象領域を割当済トラックに対応付けする対応付け判定処理を繰り返し実行する。
対応付け判定部１４は、時刻ｔ＝ｎの処理周期において（すなわち時刻ｔ＝１、２、…の複数の処理周期のうち各々の単一処理周期内において）、優先度の高い特徴量種別ｊの特徴量から順に選択しながら、選択した特徴量に基づいて未割当対象領域を割当済トラックに対応付けする対応付け判定処理を繰り返し実行する。
【0058】
この際に、対応付け判定部１４は、信頼度ｒｊ
ｉが閾値以下である対象領域ＡｉやトラックＴｋは対応付けない。また、特徴量間の類似度が閾値以下である対象領域ＡｉとトラックＴｋの組合せも対応付けない。
対応付け判定部１４は、対応付け判定処理を１回行う毎に、所定の対応付け終了条件を満足するか否かを判定する。例えば以下の条件（Ｂ１）～（Ｂ４）のいずれかを満足する場合に、対応付け終了条件を満足する。
（Ｂ１）全ての特徴量種別ｊの特徴量が対応付け処理に使用された。
（Ｂ２）全ての対象領域Ａｉが「割当済対象領域」に設定された。
（Ｂ３）全てのトラックＴｋが「割当済トラック」に設定された。
（Ｂ４）全ての未割当対象領域の信頼度ｒｊ ｉが全て閾値以下である。
（Ｂ５）選択された特徴量種別ｊの確実度ＲＣが閾値以下である。
対応付け判定部１４は、対応付け判定処理を１回行う毎に、所定の対応付け終了条件を満足するか否かを判定する。例えば以下の条件（Ｂ１）～（Ｂ４）のいずれかを満足する場合に、対応付け終了条件を満足する。
（Ｂ１）全ての特徴量種別ｊの特徴量が対応付け処理に使用された。
（Ｂ２）全ての対象領域Ａｉが「割当済対象領域」に設定された。
（Ｂ３）全てのトラックＴｋが「割当済トラック」に設定された。
（Ｂ４）全ての未割当対象領域の信頼度ｒｊ ｉが全て閾値以下である。
（Ｂ５）選択された特徴量種別ｊの確実度ＲＣが閾値以下である。
【0059】
対応付け終了条件を満足した場合に、対応付け判定部１４は、未割当対象領域に設定された対象領域Ａｉが残っているか否かを判定する。対応付け判定部１４は、未割当対象領域に設定された対象領域Ａｉから始まる時系列を新しいトラックとして生成する。
以上の処理を終了すると、時刻ｔ＝ｎの処理周期が完了し、次の時刻ｔ＝ｎ＋１の処理周期の処理を開始する。
以上の処理を終了すると、時刻ｔ＝ｎの処理周期が完了し、次の時刻ｔ＝ｎ＋１の処理周期の処理を開始する。
【0060】
なお、確実度算出部１３は、第１実施例と同様に、未割当トラックに設定されたトラックＴｋを構成する対象領域のうち時刻ｔ＝ｎ－１以前の数時刻間に取得した入力画像から検出した対象領域Ａｋの信頼度ｒｊ
ｋに基づいて確実度ＲＣを算出してもよい。
対応付け判定部１４は、信頼度ｒｊ ｋに基づく確実度ＲＣに従って特徴量種別ｊの優先度を設定してよい。
また確実度算出部１３は、第１実施例と同様に、対象領域Ａｉの信頼度ｒｊ ｉに基づく確実度ＲＣ（以下「確実度Ｒ１Ｃ」と表記することがある）と、トラックＴｋの対象領域Ａｋの信頼度ｒｊ ｋに基づく確実度ＲＣ（以下「確実度Ｒ２Ｃ」と表記することがある）とを組み合わせた合成確実度Ｒ３Ｃを算出してもよい。対応付け判定部１４は、合成確実度Ｒ３Ｃに従って特徴量種別ｊの優先度を設定してよい。
対応付け判定部１４は、信頼度ｒｊ ｋに基づく確実度ＲＣに従って特徴量種別ｊの優先度を設定してよい。
また確実度算出部１３は、第１実施例と同様に、対象領域Ａｉの信頼度ｒｊ ｉに基づく確実度ＲＣ（以下「確実度Ｒ１Ｃ」と表記することがある）と、トラックＴｋの対象領域Ａｋの信頼度ｒｊ ｋに基づく確実度ＲＣ（以下「確実度Ｒ２Ｃ」と表記することがある）とを組み合わせた合成確実度Ｒ３Ｃを算出してもよい。対応付け判定部１４は、合成確実度Ｒ３Ｃに従って特徴量種別ｊの優先度を設定してよい。
【0061】
（動作）
図８は、第２実施形態の対応付け方法の一例のフローチャートである。
ステップＳ２０～Ｓ２３の処理は、図７のステップＳ１～Ｓ４の処理と同様である。
ステップＳ２４において確実度算出部１３は、Ｌ個の特徴量種別ｊ毎に、当該特徴量種別ｊの特徴量の信頼度に基づいて対象領域ＡｉをトラックＴｋに対応付けた場合の対応付けの正確度合いを示す確実度ＲＣを算出する。
ステップＳ２５において対応付け判定部１４は、全ての対象領域Ａｉを「未割当対象領域」に設定し、全てのトラックＴｋを「未割当トラック」に設定する。また、確実度ＲＣに従って特徴量種別ｊの優先度を設定する。
図８は、第２実施形態の対応付け方法の一例のフローチャートである。
ステップＳ２０～Ｓ２３の処理は、図７のステップＳ１～Ｓ４の処理と同様である。
ステップＳ２４において確実度算出部１３は、Ｌ個の特徴量種別ｊ毎に、当該特徴量種別ｊの特徴量の信頼度に基づいて対象領域ＡｉをトラックＴｋに対応付けた場合の対応付けの正確度合いを示す確実度ＲＣを算出する。
ステップＳ２５において対応付け判定部１４は、全ての対象領域Ａｉを「未割当対象領域」に設定し、全てのトラックＴｋを「未割当トラック」に設定する。また、確実度ＲＣに従って特徴量種別ｊの優先度を設定する。
【0062】
ステップＳ２６において対応付け判定部１４は、優先度を指定する変数Ｐを１に設定する。
ステップＳ２７において対応付け判定部１４は、確実度ＲＣに基づく優先度がＰ番目である特徴量種別ｊの特徴量を選択する。
ステップＳ２８において対応付け判定部１４は、選択された種別の特徴量に基づいて未割当対象領域と未割当トラックとの対応付けを判定する。
ステップＳ２９において対応付け判定部１４は、ステップＳ２８で対応付けした対象領域ＡｉとトラックＴｋを、それぞれ割当済対象領域と割当済トラックに設定する。
ステップＳ２７において対応付け判定部１４は、確実度ＲＣに基づく優先度がＰ番目である特徴量種別ｊの特徴量を選択する。
ステップＳ２８において対応付け判定部１４は、選択された種別の特徴量に基づいて未割当対象領域と未割当トラックとの対応付けを判定する。
ステップＳ２９において対応付け判定部１４は、ステップＳ２８で対応付けした対象領域ＡｉとトラックＴｋを、それぞれ割当済対象領域と割当済トラックに設定する。
【0063】
ステップＳ３０において対応付け判定部１４は、変数Ｐの値を１だけ増加させる（すなわち変数Ｐをインクリメントする）。
ステップＳ３１において対応付け判定部１４は、所定の対応付け終了条件を満足するか否かを判定する。対応付け終了条件を満足する場合（ステップＳ：Ｙ）に処理はステップＳへ進む。対応付け終了条件を満足しない場合（ステップＳ：Ｎ）に処理はステップＳへ進む。
ステップＳ３２及びＳ３３の処理は、図７のステップＳ１１及びＳ１２の処理と同様である。
ステップＳ３１において対応付け判定部１４は、所定の対応付け終了条件を満足するか否かを判定する。対応付け終了条件を満足する場合（ステップＳ：Ｙ）に処理はステップＳへ進む。対応付け終了条件を満足しない場合（ステップＳ：Ｎ）に処理はステップＳへ進む。
ステップＳ３２及びＳ３３の処理は、図７のステップＳ１１及びＳ１２の処理と同様である。
【0064】
（実施形態の効果）
（１）追跡装置１は、第１画像における対象を表した複数の第１対象領域と、第２画像における対象を表した複数の第２対象領域の各々を対応付ける。追跡装置１は、複数の第１対象領域と複数の第２対象領域の各々について、複数の種別のうち少なくとも１つの種別の特徴量を抽出するとともに、前記特徴量が前記対象の識別に適している程度を示す信頼度を、抽出した特徴量の各々について算出する特徴量抽出部１２と、特徴量の種別毎に、第１対象領域と第２対象領域を当該種別の特徴量を用いて対応付けた場合の対応付けの正確度合いを示す確実度を、複数の第１対象領域と複数の第２対象領域の少なくとも一方について算出した信頼度に基づいて算出する確実度算出部１３と、確実度がより高い種別の特徴量を優先して選択し、選択された種別の特徴量に基づいて第１対象領域と第２対象領域との対応付け判定処理を行う対応付け判定部１４と、を備える。
（１）追跡装置１は、第１画像における対象を表した複数の第１対象領域と、第２画像における対象を表した複数の第２対象領域の各々を対応付ける。追跡装置１は、複数の第１対象領域と複数の第２対象領域の各々について、複数の種別のうち少なくとも１つの種別の特徴量を抽出するとともに、前記特徴量が前記対象の識別に適している程度を示す信頼度を、抽出した特徴量の各々について算出する特徴量抽出部１２と、特徴量の種別毎に、第１対象領域と第２対象領域を当該種別の特徴量を用いて対応付けた場合の対応付けの正確度合いを示す確実度を、複数の第１対象領域と複数の第２対象領域の少なくとも一方について算出した信頼度に基づいて算出する確実度算出部１３と、確実度がより高い種別の特徴量を優先して選択し、選択された種別の特徴量に基づいて第１対象領域と第２対象領域との対応付け判定処理を行う対応付け判定部１４と、を備える。
【0065】
これにより、複数の第１対象領域と複数の第２対象領域とを対応付ける際に、複数の種別の特徴量の中からより適した種別の特徴量を適宜選択して用いることができる。この結果、当該時刻に適した種別の特徴量を用いて対応付けを行うことができる。また、特徴量の信頼度と、特徴量に基づく対応付けの正確度合いとが相関関係にあるという仮定に基づいて確実度を算出できる。
なお、複数の第１対象領域は単一の画像内に設定される領域であってもよく、複数の画像それぞれ設定される領域であってもよい。同様に、複数の第２対象領域は単一の画像内に設定される領域であってもよく、複数の画像それぞれ設定される領域であってもよい。
なお、複数の第１対象領域は単一の画像内に設定される領域であってもよく、複数の画像それぞれ設定される領域であってもよい。同様に、複数の第２対象領域は単一の画像内に設定される領域であってもよく、複数の画像それぞれ設定される領域であってもよい。
【0066】
（２）確実度算出部１３は、選択された種別の特徴量に基づいて対応付けできない第１対象領域である第１未割当対象領域と、選択された種別の特徴量に基づいて対応付けできない第２対象領域である第２未割当対象領域の少なくとも一方について算出した信頼度に基づいて確実度を再算出してよい。対応付け判定部１４は、再算出した確実度がより高い種別の特徴量を優先して選択し、選択された種別の特徴量に基づいて第１未割当対象領域と第２未割当対象領域との対応付け判定処理を行ってもよい。
これにより選択された種別の特徴量に基づいて適切な対応付けできない対象領域がある場合には、この対象領域に適した種別の特徴量を選択し直して対応付け判定処理を行うので、適切な種別の特徴量で対応付けができる対象領域を増やすことができる。この結果、各々の対象領域に適した種別の特徴量を用いて対応付けを行うことができるので、より適切な対応付けが可能となる。
これにより選択された種別の特徴量に基づいて適切な対応付けできない対象領域がある場合には、この対象領域に適した種別の特徴量を選択し直して対応付け判定処理を行うので、適切な種別の特徴量で対応付けができる対象領域を増やすことができる。この結果、各々の対象領域に適した種別の特徴量を用いて対応付けを行うことができるので、より適切な対応付けが可能となる。
【0067】
（３）確実度算出部１３は、複数の種別から１個以上の種別を選んだ集合を設定し、設定した集合毎に、この集合に含まれる種別の特徴量を用いて第１対象領域と第２対象領域を対応付けた場合の対応付けの正確度合いを示す確実度を算出してもよい。対応付け判定部１４は、確実度がより高い集合を選択し、選択した集合に含まれる種別の特徴量を用いて対応付け判定処理を行ってもよい。
これにより、対応付けに用いる特徴量の組合せを適切に選択することが可能となる。
これにより、対応付けに用いる特徴量の組合せを適切に選択することが可能となる。
【0068】
（４）確実度算出部１３は、複数の第１対象領域又は前記複数の第２対象領域の少なくとも一方である複数の対象領域の各々について算出した信頼度の分布である信頼度分布を算出し、２つ以上の種別を含んだ集合に含まれる種別の信頼度について各々算出した信頼度分布の間の相違度が閾値以下である場合に、２つ以上の種別を含んだ集合の確実度を、この集合に含まれる種別の前記信頼度に基づいて算出してもよい。
これにより、２つ以上の種別の特徴量の集合に基づいて対応付け判定処理を行う際に、対応付けに有利な特徴量の集合を選別できる。
これにより、２つ以上の種別の特徴量の集合に基づいて対応付け判定処理を行う際に、対応付けに有利な特徴量の集合を選別できる。
【0069】
（５）確実度算出部１３は、選択された種別の特徴量に基づいて対応付けできない第１対象領域と前記第２対象領域との対応付け判定処理を、選択された種別の確実度よりも確実度が低い種別の特徴量に基づいて行ってもよい。
これにより選択された種別の特徴量に基づいて適切な対応付けできない対象領域がある場合には、この対象領域に適した種別の特徴量を選択し直して対応付け判定処理を行うので、適切な種別の特徴量で対応付けができる対象領域を増やすことができる。
これにより選択された種別の特徴量に基づいて適切な対応付けできない対象領域がある場合には、この対象領域に適した種別の特徴量を選択し直して対応付け判定処理を行うので、適切な種別の特徴量で対応付けができる対象領域を増やすことができる。
【0070】
（６）確実度算出部１３は、複数の第１対象領域と複数の第２対象領域の少なくとも一方について算出した信頼度の統計量を算出し、算出された統計量に基づいて確実度を算出してよい。
複数の対象領域の各々について算出した信頼度の統計量を算出することにより、これら信頼度の特徴を要約したスカラー値を確実度として算出できる。
複数の対象領域の各々について算出した信頼度の統計量を算出することにより、これら信頼度の特徴を要約したスカラー値を確実度として算出できる。
【0071】
（７）確実度算出部１３は、特徴量の種別に応じて統計量を補正することにより確実度を算出してもよい。これにより、特徴量の種別の特徴量による対応付けに優先度を設定したり、値域の異なる信頼度の値を正規化できる。
（８）対応付け判定部１４は、算出された信頼度が閾値よりも低い第１対象領域又は第２対象領域を、それぞれ第１対象領域又は第２対象領域と対応付けしなくてよい。これにより、信頼度の低い特徴量によって不適切な対応付けを行うのを抑制できる。
（８）対応付け判定部１４は、算出された信頼度が閾値よりも低い第１対象領域又は第２対象領域を、それぞれ第１対象領域又は第２対象領域と対応付けしなくてよい。これにより、信頼度の低い特徴量によって不適切な対応付けを行うのを抑制できる。
【符号の説明】
【0072】
１…追跡装置、２…撮影部、３…通信部、４…記憶部、５…画像処理部、６…出力部、７…操作入力部、１０…入力画像取得部、１１…対象領域検出部、１２…特徴量抽出部、１３…確実度算出部、１４…対応付け判定部、１５…トラック記憶部、１６…追跡結果出力部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】