ホーム > 特許ランキング > 株式会社メガチップス
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】特開2015-191261(P2015-191261A)
(43)【公開日】2015年11月2日
(54)【発明の名称】状態推定装置、プログラムおよび集積回路
(51)【国際特許分類】
G06T 7/20 20060101AFI20151006BHJP
G06T 7/00 20060101ALI20151006BHJP
【ＦＩ】
G06T7/20 B
G06T7/00 350B
【審査請求】未請求
【請求項の数】10
【出願形態】ＯＬ
【全頁数】51
(21)【出願番号】特願2014-65876(P2014-65876)
(22)【出願日】2014年3月27日
(71)【出願人】
【識別番号】591128453
【氏名又は名称】株式会社メガチップス
(74)【代理人】
【識別番号】100104444
【弁理士】
【氏名又は名称】上羽 秀敏
(74)【代理人】
【識別番号】100112715
【弁理士】
【氏名又は名称】松山 隆夫
(74)【代理人】
【識別番号】100125704
【弁理士】
【氏名又は名称】坂根 剛
(74)【代理人】
【識別番号】100120662
【弁理士】
【氏名又は名称】川上 桂子
(74)【代理人】
【識別番号】100143498
【弁理士】
【氏名又は名称】中西 健
(72)【発明者】
【氏名】永峰 健太
(72)【発明者】
【氏名】長谷川 弘
【テーマコード（参考）】
5L096
【Ｆターム（参考）】
5L096AA02
5L096BA08
5L096CA04
5L096FA60
5L096FA69
5L096GA30
5L096GA34
5L096GA40
5L096GA51
5L096HA05
5L096JA11
5L096KA04
5L096MA07
(57)【要約】
【課題】観測データから尤度を求めることによって、観測対象の内部状態を適切に推定し、例えば、動画像上において、適切に複数の物体を追跡するとともに、適切に、新規物体（新規オブジェクト）を発見し、追跡対象に追加することができる状態推定装置を実現する。【解決手段】状態推定装置１０００では、ラベル設定部２が観測データ画像から、閉領域を検出し、当該閉領域にラベル番号を付したラベル画像を生成し、尤度取得部３が追跡中の物体の全ての物体の前記消去対象領域を消去した新規物体発見用の消去画像を生成する。そして、状態推定装置１０００では、ラベル番号に基づいて、新規物体発見用の消去画像を用いて、新規物体を発見する処理を実行するので、新規物体発見用の消去処理画像において、追跡中の物体に対応する領域であって、消去処理により消去できず残存した領域を、新規物体に対応する領域であると誤判定することを適切に防止することができる。
【選択図】図１
【特許請求の範囲】
【請求項1】
複数の物体を追跡する状態推定装置であって、
観測可能な事象から得られる観測データである観測データ画像を、任意の時間間隔で取得し、前記観測データ画像から所定の特徴量を抽出した画像特徴量抽出画像を取得する観測取得部と、
前記観測取得部により取得された前記観測データ画像から、画像データ上において閉じた領域を抽出し、抽出した領域にラベル番号を付したラベル画像を取得するラベル設定部と、
追跡対象の物体にオブジェクト番号を付し、付された前記オブジェクト番号を管理するオブジェクト情報管理部と、
追跡中の物体ごとに、前時刻ｔ−１に取得された観測対象の内部状態の確率分布である事後確率分布データに対して予測処理を行い、現時刻ｔにおける観測対象の内部状態の確率分布である予測確率分布データを取得する予測部と、
前時刻ｔ−１において追跡中であると判定された物体ごとに、前記予測確率分布データに基づくパーティクルを取得し、取得したパーティクルに基づいて、消去対象領域を決定し、前記画像特徴量抽出画像から、追跡中の物体のうち処理対象とする物体以外の物体の前記消去対象領域を消去した追跡用の消去画像、あるいは、追跡中の物体の全ての物体の前記消去対象領域を消去した新規物体発見用の消去画像を取得し、
新規物体検出用のパーティクルを生成し、前記消去画像に対して、前記新規物体検出用のパーティクルを適用することで、新オブジェクト候補領域を取得し、取得した前記新オブジェクト候補領域と、前記ラベル画像とに基づいて、前記新オブジェクト候補領域が、現時刻ｔにおいて新たに追跡対象とする新規物体に対応する領域であるか否かを判定し、時刻ｔにおける追跡対象とする物体を決定するとともに、
時刻ｔにおいて追跡対象であると判定された物体ごとに、前記消去画像に対して、前記予測確率分布データに基づいて取得されたパーティクルを適用することで取得された尤度に基づいて、最終尤度を算出し、算出した前記最終尤度に基づいて、前記予測部により取得された予測確率分布データを更新することで更新確率分布データを取得する尤度取得部と、
時刻ｔにおいて追跡対象であると判定された物体ごとに、前記尤度取得部により取得された前記更新確率分布データと、前記最終尤度とから、前記事象の状態の事後確率分布データを推定する事後確率分布推定部と、
前記事後確率分布推定部により推定された前記事後確率分布データに基づく事前確率分布データを、次時刻ｔ＋１において、事前確率分布データとして出力する事前確率分布出力部と、
を備える状態推定装置。
観測可能な事象から得られる観測データである観測データ画像を、任意の時間間隔で取得し、前記観測データ画像から所定の特徴量を抽出した画像特徴量抽出画像を取得する観測取得部と、
前記観測取得部により取得された前記観測データ画像から、画像データ上において閉じた領域を抽出し、抽出した領域にラベル番号を付したラベル画像を取得するラベル設定部と、
追跡対象の物体にオブジェクト番号を付し、付された前記オブジェクト番号を管理するオブジェクト情報管理部と、
追跡中の物体ごとに、前時刻ｔ−１に取得された観測対象の内部状態の確率分布である事後確率分布データに対して予測処理を行い、現時刻ｔにおける観測対象の内部状態の確率分布である予測確率分布データを取得する予測部と、
前時刻ｔ−１において追跡中であると判定された物体ごとに、前記予測確率分布データに基づくパーティクルを取得し、取得したパーティクルに基づいて、消去対象領域を決定し、前記画像特徴量抽出画像から、追跡中の物体のうち処理対象とする物体以外の物体の前記消去対象領域を消去した追跡用の消去画像、あるいは、追跡中の物体の全ての物体の前記消去対象領域を消去した新規物体発見用の消去画像を取得し、
新規物体検出用のパーティクルを生成し、前記消去画像に対して、前記新規物体検出用のパーティクルを適用することで、新オブジェクト候補領域を取得し、取得した前記新オブジェクト候補領域と、前記ラベル画像とに基づいて、前記新オブジェクト候補領域が、現時刻ｔにおいて新たに追跡対象とする新規物体に対応する領域であるか否かを判定し、時刻ｔにおける追跡対象とする物体を決定するとともに、
時刻ｔにおいて追跡対象であると判定された物体ごとに、前記消去画像に対して、前記予測確率分布データに基づいて取得されたパーティクルを適用することで取得された尤度に基づいて、最終尤度を算出し、算出した前記最終尤度に基づいて、前記予測部により取得された予測確率分布データを更新することで更新確率分布データを取得する尤度取得部と、
時刻ｔにおいて追跡対象であると判定された物体ごとに、前記尤度取得部により取得された前記更新確率分布データと、前記最終尤度とから、前記事象の状態の事後確率分布データを推定する事後確率分布推定部と、
前記事後確率分布推定部により推定された前記事後確率分布データに基づく事前確率分布データを、次時刻ｔ＋１において、事前確率分布データとして出力する事前確率分布出力部と、
を備える状態推定装置。
【請求項2】
前記尤度取得部は、
前時刻ｔ−１において追跡中であると判定された物体ごとに、前記予測確率分布データに基づくパーティクルを取得し、取得したパーティクルに基づいて、消去対象領域を決定し、前記画像特徴量抽出画像から、追跡中の物体のうち処理対象とする物体以外の物体の前記消去対象領域を消去した追跡中物体用の消去画像、あるいは、追跡中の物体の全ての物体の前記消去対象領域を消去した新規物体発見用の消去画像を取得する消去部と、
前時刻ｔ−１において追跡中であると判定された物体ごとに、前記予測確率分布データに基づくパーティクルを取得し、取得したパーティクルを、前記追跡中物体用の消去画像に適用することで、追跡中物体についての尤度を算出するとともに、
新規物体検出用のパーティクルを生成し、前記新規物体発見用の消去画像に対して、前記新規物体検出用のパーティクルを適用することで、新規物体についての尤度を算出する尤度算出部と、
前記新規物体発見用の消去画像に対して、前記新規物体検出用のパーティクルを適用することで前記新オブジェクト候補領域を取得する新オブジェクト候補領域検出部と、
前記新オブジェクト候補領域の重心を検出する重心検出部と、
前記重心検出部により検出された前記新オブジェクト候補領域の重心と、前記ラベル画像とに基づいて、前記新オブジェクト候補領域が、現時刻ｔにおいて新たに追跡対象とする新規物体に対応する領域であるか否かを判定する新オブジェクト検出部と、
前記新オブジェクト検出部の判定結果に基づいて、時刻ｔにおける追跡対象とする物体を決定する追跡オブジェクト決定部と、
時刻ｔにおいて追跡対象であると判定された物体ごとに、前記消去画像に対して、前記予測確率分布データに基づいて取得されたパーティクルを適用することで取得された尤度に基づいて、最終尤度を算出し、算出した前記最終尤度に基づいて、前記予測部により取得された予測確率分布データを更新することで更新確率分布データを取得する最終決定部と、
を備える、
請求項１に記載の状態推定装置。
前時刻ｔ−１において追跡中であると判定された物体ごとに、前記予測確率分布データに基づくパーティクルを取得し、取得したパーティクルに基づいて、消去対象領域を決定し、前記画像特徴量抽出画像から、追跡中の物体のうち処理対象とする物体以外の物体の前記消去対象領域を消去した追跡中物体用の消去画像、あるいは、追跡中の物体の全ての物体の前記消去対象領域を消去した新規物体発見用の消去画像を取得する消去部と、
前時刻ｔ−１において追跡中であると判定された物体ごとに、前記予測確率分布データに基づくパーティクルを取得し、取得したパーティクルを、前記追跡中物体用の消去画像に適用することで、追跡中物体についての尤度を算出するとともに、
新規物体検出用のパーティクルを生成し、前記新規物体発見用の消去画像に対して、前記新規物体検出用のパーティクルを適用することで、新規物体についての尤度を算出する尤度算出部と、
前記新規物体発見用の消去画像に対して、前記新規物体検出用のパーティクルを適用することで前記新オブジェクト候補領域を取得する新オブジェクト候補領域検出部と、
前記新オブジェクト候補領域の重心を検出する重心検出部と、
前記重心検出部により検出された前記新オブジェクト候補領域の重心と、前記ラベル画像とに基づいて、前記新オブジェクト候補領域が、現時刻ｔにおいて新たに追跡対象とする新規物体に対応する領域であるか否かを判定する新オブジェクト検出部と、
前記新オブジェクト検出部の判定結果に基づいて、時刻ｔにおける追跡対象とする物体を決定する追跡オブジェクト決定部と、
時刻ｔにおいて追跡対象であると判定された物体ごとに、前記消去画像に対して、前記予測確率分布データに基づいて取得されたパーティクルを適用することで取得された尤度に基づいて、最終尤度を算出し、算出した前記最終尤度に基づいて、前記予測部により取得された予測確率分布データを更新することで更新確率分布データを取得する最終決定部と、
を備える、
請求項１に記載の状態推定装置。
【請求項3】
前記追跡オブジェクト決定部は、
前時刻ｔ−１で追跡中の物体であって、かつ、時刻tにおいて算出された尤度の和が所定の値を超える物体について、前記追跡用の消去画像上おいて、当該物体に相当する画像領域をラベル判定領域として取得し、前記ラベル画像において、前記ラベル判定領域に相当する領域にラベル番号が付されているか否かを判定し、ラベル番号が付されている場合、当該物体のオブジェクト番号と、当該ラベル番号とを対応付けたオブジェクト情報として、オブジェクト情報管理部に出力し、
前記オブジェクト情報管理部は、前記オブジェクト情報を保持し、
前記新オブジェクト検出部は、
前記ラベル画像において、前記新オブジェクト候補領域の重心と同じ座標位置の画素に付されているラベル番号が存在するか否かを判定し、
（Ａ）前記ラベル画像において、前記新オブジェクト候補領域の重心と同じ座標位置の画素に付されているラベル番号が存在する場合、当該ラベル番号を第１ラベル番号として取得し、
前記第１ラベル番号が、前記オブジェクト情報管理部により保持されている前記オブジェクト情報に含まれているオブジェクト番号であるか否かを判定し、
（Ａ１）前記第１ラベル番号が前記オブジェクト情報に含まれているオブジェクト番号と一致する場合、新規物体は発見されなかったと判定し、
（Ａ２）前記第１ラベル番号が前記オブジェクト情報に含まれているオブジェクト番号と一致しない場合、前記新オブジェクト候補領域は、新規物体の領域の候補とし、
（Ｂ）前記ラベル画像において、前記新オブジェクト候補領域の重心と同じ座標位置の画素に付されているラベル番号が存在しない場合、前記重心を含む所定の大きさの領域である探索領域を設定し、前記ラベル画像上の前記探索領域に相当する領域において、前記オブジェクト情報管理部により保持されている前記オブジェクト情報に含まれているオブジェクト番号と一致するラベル番号が付された画像領域があるか否かを判定する探索処理を行い、前記ラベル画像上の前記探索領域に相当する領域において、前記オブジェクト情報に含まれているオブジェクト番号と一致するラベル番号が付された画像領域があると判定された場合、新規物体は発見されなかったと判定し、
前記追跡オブジェクト決定部は、
前記新オブジェクト検出部により、前記新オブジェクト候補領域が、新規物体の領域の候補であると判定された場合、前記新規物体発見用の消去画像に対して、前記新規物体検出用のパーティクルを適用することで取得した尤度の和を算出し、前記尤度の和が所定の閾値を超える場合、新規物体が発見されたと判定し、
前記最終決定部は、
前記追跡オブジェクト決定部により、新規物体が発見されたと判定された場合、前記新規物体発見用の消去画像に対して、前記新規物体検出用のパーティクルを適用することで取得した尤度を新規物体についての尤度として、前記最終尤度の算出処理に用い、前記新規物体発見用の消去画像に対して、前記新規物体検出用のパーティクルを適用することで取得した確率分布データを新規に追跡対象とする物体の確率分布データとして、前記更新確率分布データの取得処理に用いる、
請求項２に記載の状態推定装置。
前時刻ｔ−１で追跡中の物体であって、かつ、時刻tにおいて算出された尤度の和が所定の値を超える物体について、前記追跡用の消去画像上おいて、当該物体に相当する画像領域をラベル判定領域として取得し、前記ラベル画像において、前記ラベル判定領域に相当する領域にラベル番号が付されているか否かを判定し、ラベル番号が付されている場合、当該物体のオブジェクト番号と、当該ラベル番号とを対応付けたオブジェクト情報として、オブジェクト情報管理部に出力し、
前記オブジェクト情報管理部は、前記オブジェクト情報を保持し、
前記新オブジェクト検出部は、
前記ラベル画像において、前記新オブジェクト候補領域の重心と同じ座標位置の画素に付されているラベル番号が存在するか否かを判定し、
（Ａ）前記ラベル画像において、前記新オブジェクト候補領域の重心と同じ座標位置の画素に付されているラベル番号が存在する場合、当該ラベル番号を第１ラベル番号として取得し、
前記第１ラベル番号が、前記オブジェクト情報管理部により保持されている前記オブジェクト情報に含まれているオブジェクト番号であるか否かを判定し、
（Ａ１）前記第１ラベル番号が前記オブジェクト情報に含まれているオブジェクト番号と一致する場合、新規物体は発見されなかったと判定し、
（Ａ２）前記第１ラベル番号が前記オブジェクト情報に含まれているオブジェクト番号と一致しない場合、前記新オブジェクト候補領域は、新規物体の領域の候補とし、
（Ｂ）前記ラベル画像において、前記新オブジェクト候補領域の重心と同じ座標位置の画素に付されているラベル番号が存在しない場合、前記重心を含む所定の大きさの領域である探索領域を設定し、前記ラベル画像上の前記探索領域に相当する領域において、前記オブジェクト情報管理部により保持されている前記オブジェクト情報に含まれているオブジェクト番号と一致するラベル番号が付された画像領域があるか否かを判定する探索処理を行い、前記ラベル画像上の前記探索領域に相当する領域において、前記オブジェクト情報に含まれているオブジェクト番号と一致するラベル番号が付された画像領域があると判定された場合、新規物体は発見されなかったと判定し、
前記追跡オブジェクト決定部は、
前記新オブジェクト検出部により、前記新オブジェクト候補領域が、新規物体の領域の候補であると判定された場合、前記新規物体発見用の消去画像に対して、前記新規物体検出用のパーティクルを適用することで取得した尤度の和を算出し、前記尤度の和が所定の閾値を超える場合、新規物体が発見されたと判定し、
前記最終決定部は、
前記追跡オブジェクト決定部により、新規物体が発見されたと判定された場合、前記新規物体発見用の消去画像に対して、前記新規物体検出用のパーティクルを適用することで取得した尤度を新規物体についての尤度として、前記最終尤度の算出処理に用い、前記新規物体発見用の消去画像に対して、前記新規物体検出用のパーティクルを適用することで取得した確率分布データを新規に追跡対象とする物体の確率分布データとして、前記更新確率分布データの取得処理に用いる、
請求項２に記載の状態推定装置。
【請求項4】
前記新オブジェクト検出部は、
前記重心を含み、かつ、前記新オブジェクト候補領域を含む領域を、前記探索領域に設定する、
請求項３に記載の状態推定装置。
前記重心を含み、かつ、前記新オブジェクト候補領域を含む領域を、前記探索領域に設定する、
請求項３に記載の状態推定装置。
【請求項5】
前記新オブジェクト検出部は、
前記重心を含む楕円状の領域を、前記探索領域に設定する、
請求項３に記載の状態推定装置。
前記重心を含む楕円状の領域を、前記探索領域に設定する、
請求項３に記載の状態推定装置。
【請求項6】
前記新オブジェクト検出部は、
前記重心を含む矩形状の領域を、前記探索領域に設定する、
請求項３に記載の状態推定装置。
前記重心を含む矩形状の領域を、前記探索領域に設定する、
請求項３に記載の状態推定装置。
【請求項7】
前記新オブジェクト検出部は、
前記探索領域において、前記重心の位置を前記探索処理の起点とし、前記重心からの距離が小さい画像領域から、前記重心からの距離が大きい画像領域へと順番に、前記探索処理の対象となる画像領域を設定する、
請求項３から６のいずれかに記載の状態推定装置。
前記探索領域において、前記重心の位置を前記探索処理の起点とし、前記重心からの距離が小さい画像領域から、前記重心からの距離が大きい画像領域へと順番に、前記探索処理の対象となる画像領域を設定する、
請求項３から６のいずれかに記載の状態推定装置。
【請求項8】
前記新オブジェクト検出部は、
前記ラベル画像上の前記探索領域に相当する領域において、前記オブジェクト情報に含まれているオブジェクト番号と一致するラベル番号が付された画像領域を発見した場合、前記探索処理を終了させる、
請求項７に記載の状態推定装置。
前記ラベル画像上の前記探索領域に相当する領域において、前記オブジェクト情報に含まれているオブジェクト番号と一致するラベル番号が付された画像領域を発見した場合、前記探索処理を終了させる、
請求項７に記載の状態推定装置。
【請求項9】
複数の物体を追跡する状態推定方法であって、
観測可能な事象から得られる観測データである観測データ画像を、任意の時間間隔で取得し、前記観測データ画像から所定の特徴量を抽出した画像特徴量抽出画像を取得する観測取得ステップと、
前記観測取得ステップにより取得された前記観測データ画像から、画像データ上において閉じた領域を抽出し、抽出した領域にラベル番号を付したラベル画像を取得するラベル設定ステップと、
追跡対象の物体にオブジェクト番号を付し、付された前記オブジェクト番号を管理するオブジェクト情報管理ステップと、
追跡中の物体ごとに、前時刻ｔ−１に取得された観測対象の内部状態の確率分布である事後確率分布データに対して予測処理を行い、現時刻ｔにおける観測対象の内部状態の確率分布である予測確率分布データを取得する予測ステップと、
前時刻ｔ−１において追跡中であると判定された物体ごとに、前記予測確率分布データに基づくパーティクルを取得し、取得したパーティクルに基づいて、消去対象領域を決定し、前記画像特徴量抽出画像から、追跡中の物体のうち処理対象とする物体以外の物体の前記消去対象領域を消去した追跡用の消去画像、あるいは、追跡中の物体の全ての物体の前記消去対象領域を消去した新規物体発見用の消去画像を取得し、
新規物体検出用のパーティクルを生成し、前記消去画像に対して、前記新規物体検出用のパーティクルを適用することで、新オブジェクト候補領域を取得し、取得した前記新オブジェクト候補領域と、前記ラベル画像とに基づいて、前記新オブジェクト候補領域が、現時刻ｔにおいて新たに追跡対象とする新規物体に対応する領域であるか否かを判定し、時刻ｔにおける追跡対象とする物体を決定するとともに、
時刻ｔにおいて追跡対象であると判定された物体ごとに、前記消去画像に対して、前記予測確率分布データに基づいて取得されたパーティクルを適用することで取得された尤度に基づいて、最終尤度を算出し、算出した前記最終尤度に基づいて、前記予測ステップにより取得された予測確率分布データを更新することで更新確率分布データを取得する尤度取得ステップと、
時刻ｔにおいて追跡対象であると判定された物体ごとに、前記尤度取得ステップにより取得された前記更新確率分布データと、前記最終尤度とから、前記事象の状態の事後確率分布データを推定する事後確率分布推定ステップと、
前記事後確率分布推定ステップにより推定された前記事後確率分布データに基づく事前確率分布データを、次時刻ｔ＋１において、事前確率分布データとして出力する事前確率分布出力ステップと、
を備える状態推定方法をコンピュータに実行させるためのプログラム。
観測可能な事象から得られる観測データである観測データ画像を、任意の時間間隔で取得し、前記観測データ画像から所定の特徴量を抽出した画像特徴量抽出画像を取得する観測取得ステップと、
前記観測取得ステップにより取得された前記観測データ画像から、画像データ上において閉じた領域を抽出し、抽出した領域にラベル番号を付したラベル画像を取得するラベル設定ステップと、
追跡対象の物体にオブジェクト番号を付し、付された前記オブジェクト番号を管理するオブジェクト情報管理ステップと、
追跡中の物体ごとに、前時刻ｔ−１に取得された観測対象の内部状態の確率分布である事後確率分布データに対して予測処理を行い、現時刻ｔにおける観測対象の内部状態の確率分布である予測確率分布データを取得する予測ステップと、
前時刻ｔ−１において追跡中であると判定された物体ごとに、前記予測確率分布データに基づくパーティクルを取得し、取得したパーティクルに基づいて、消去対象領域を決定し、前記画像特徴量抽出画像から、追跡中の物体のうち処理対象とする物体以外の物体の前記消去対象領域を消去した追跡用の消去画像、あるいは、追跡中の物体の全ての物体の前記消去対象領域を消去した新規物体発見用の消去画像を取得し、
新規物体検出用のパーティクルを生成し、前記消去画像に対して、前記新規物体検出用のパーティクルを適用することで、新オブジェクト候補領域を取得し、取得した前記新オブジェクト候補領域と、前記ラベル画像とに基づいて、前記新オブジェクト候補領域が、現時刻ｔにおいて新たに追跡対象とする新規物体に対応する領域であるか否かを判定し、時刻ｔにおける追跡対象とする物体を決定するとともに、
時刻ｔにおいて追跡対象であると判定された物体ごとに、前記消去画像に対して、前記予測確率分布データに基づいて取得されたパーティクルを適用することで取得された尤度に基づいて、最終尤度を算出し、算出した前記最終尤度に基づいて、前記予測ステップにより取得された予測確率分布データを更新することで更新確率分布データを取得する尤度取得ステップと、
時刻ｔにおいて追跡対象であると判定された物体ごとに、前記尤度取得ステップにより取得された前記更新確率分布データと、前記最終尤度とから、前記事象の状態の事後確率分布データを推定する事後確率分布推定ステップと、
前記事後確率分布推定ステップにより推定された前記事後確率分布データに基づく事前確率分布データを、次時刻ｔ＋１において、事前確率分布データとして出力する事前確率分布出力ステップと、
を備える状態推定方法をコンピュータに実行させるためのプログラム。
【請求項10】
複数の物体を追跡する状態推定処理用の集積回路であって、
観測可能な事象から得られる観測データである観測データ画像を、任意の時間間隔で取得し、前記観測データ画像から所定の特徴量を抽出した画像特徴量抽出画像を取得する観測取得部と、
前記観測取得部により取得された前記観測データ画像から、画像データ上において閉じた領域を抽出し、抽出した領域にラベル番号を付したラベル画像を取得するラベル設定部と、
追跡対象の物体にオブジェクト番号を付し、付された前記オブジェクト番号を管理するオブジェクト情報管理部と、
追跡中の物体ごとに、前時刻ｔ−１に取得された観測対象の内部状態の確率分布である事後確率分布データに対して予測処理を行い、現時刻ｔにおける観測対象の内部状態の確率分布である予測確率分布データを取得する予測部と、
前時刻ｔ−１において追跡中であると判定された物体ごとに、前記予測確率分布データに基づくパーティクルを取得し、取得したパーティクルに基づいて、消去対象領域を決定し、前記画像特徴量抽出画像から、追跡中の物体のうち処理対象とする物体以外の物体の前記消去対象領域を消去した追跡用の消去画像、あるいは、追跡中の物体の全ての物体の前記消去対象領域を消去した新規物体発見用の消去画像を取得し、
新規物体検出用のパーティクルを生成し、前記消去画像に対して、前記新規物体検出用のパーティクルを適用することで、新オブジェクト候補領域を取得し、取得した前記新オブジェクト候補領域と、前記ラベル画像とに基づいて、前記新オブジェクト候補領域が、現時刻ｔにおいて新たに追跡対象とする新規物体に対応する領域であるか否かを判定し、時刻ｔにおける追跡対象とする物体を決定するとともに、
時刻ｔにおいて追跡対象であると判定された物体ごとに、前記消去画像に対して、前記予測確率分布データに基づいて取得されたパーティクルを適用することで取得された尤度に基づいて、最終尤度を算出し、算出した前記最終尤度に基づいて、前記予測部により取得された予測確率分布データを更新することで更新確率分布データを取得する尤度取得部と、
時刻ｔにおいて追跡対象であると判定された物体ごとに、前記尤度取得部により取得された前記更新確率分布データと、前記最終尤度とから、前記事象の状態の事後確率分布データを推定する事後確率分布推定部と、
前記事後確率分布推定部により推定された前記事後確率分布データに基づく事前確率分布データを、次時刻ｔ＋１において、事前確率分布データとして出力する事前確率分布出力部と、
を備える集積回路。
観測可能な事象から得られる観測データである観測データ画像を、任意の時間間隔で取得し、前記観測データ画像から所定の特徴量を抽出した画像特徴量抽出画像を取得する観測取得部と、
前記観測取得部により取得された前記観測データ画像から、画像データ上において閉じた領域を抽出し、抽出した領域にラベル番号を付したラベル画像を取得するラベル設定部と、
追跡対象の物体にオブジェクト番号を付し、付された前記オブジェクト番号を管理するオブジェクト情報管理部と、
追跡中の物体ごとに、前時刻ｔ−１に取得された観測対象の内部状態の確率分布である事後確率分布データに対して予測処理を行い、現時刻ｔにおける観測対象の内部状態の確率分布である予測確率分布データを取得する予測部と、
前時刻ｔ−１において追跡中であると判定された物体ごとに、前記予測確率分布データに基づくパーティクルを取得し、取得したパーティクルに基づいて、消去対象領域を決定し、前記画像特徴量抽出画像から、追跡中の物体のうち処理対象とする物体以外の物体の前記消去対象領域を消去した追跡用の消去画像、あるいは、追跡中の物体の全ての物体の前記消去対象領域を消去した新規物体発見用の消去画像を取得し、
新規物体検出用のパーティクルを生成し、前記消去画像に対して、前記新規物体検出用のパーティクルを適用することで、新オブジェクト候補領域を取得し、取得した前記新オブジェクト候補領域と、前記ラベル画像とに基づいて、前記新オブジェクト候補領域が、現時刻ｔにおいて新たに追跡対象とする新規物体に対応する領域であるか否かを判定し、時刻ｔにおける追跡対象とする物体を決定するとともに、
時刻ｔにおいて追跡対象であると判定された物体ごとに、前記消去画像に対して、前記予測確率分布データに基づいて取得されたパーティクルを適用することで取得された尤度に基づいて、最終尤度を算出し、算出した前記最終尤度に基づいて、前記予測部により取得された予測確率分布データを更新することで更新確率分布データを取得する尤度取得部と、
時刻ｔにおいて追跡対象であると判定された物体ごとに、前記尤度取得部により取得された前記更新確率分布データと、前記最終尤度とから、前記事象の状態の事後確率分布データを推定する事後確率分布推定部と、
前記事後確率分布推定部により推定された前記事後確率分布データに基づく事前確率分布データを、次時刻ｔ＋１において、事前確率分布データとして出力する事前確率分布出力部と、
を備える集積回路。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、時系列フィルタを用いて観測可能な事象の状態推定を行う技術に関し、例えば、時系列フィルタを用いて動画像上の物体を追跡する技術に関する。
【背景技術】
【0002】
時々刻々変化する観測対象の内部状態を推定する技術として、時系列フィルタを用いた技術がある。時系列フィルタとは、時刻ｔにおける対象の内部状態を状態ベクトルｘｔとし、時刻ｔにおいて観測された特徴を観測ベクトルｙｔとしたとき、観測された観測ベクトルｙｔから、直接観測できない対象の内部状態ｘｔを推定する手法である。
【0003】
つまり、時系列フィルタとは、以下の状態空間モデル、すなわち、システムモデル：ｘｔ〜ｆ（ｘｔ｜ｘｔ−１）
観測モデル：ｙｔ〜ｈ（ｙｔ｜ｘｔ）
から、観測系列（時刻ｔまでの観測ベクトルの集合）ｙ１：ｔ＝｛ｙ１，ｙ２，・・・，ｙｔ｝が与えられたとき、状態系列ｘ０：ｔ＝｛ｘ０，ｘ１，・・・，ｘｔ｝の条件付確率分布ｐ（ｘｔ｜ｙ１：ｔ）を求める手法である。
【0004】
システムノイズをｖｔとし、観測ノイズをｗｔとすると、対象の内部状態のシステムモデルおよび対象を観測した時の観測モデルは、以下のように表すことができる。
【0005】
対象の内部状態のシステムモデル:ｘｔ＝ｆ（ｘｔ−１，ｖｔ）対象を観測した時の観測モデル:ｙｔ＝ｈ（ｘｔ，ｗｔ）
ｆ（ｘｔ−１，ｖｔ）：時刻ｔ−１と時刻ｔとの状態変化を表す状態遷移関数
ｈ（ｘｔ，ｗｔ）：状態ｘｔのときに得られる観測ベクトルを表す関数
このとき、１期先予測は、
【0006】
【数1】
【0007】
であり、ベイズ則により、時刻tにおける事後確率分布ｐ（ｘｔ｜ｙ１：ｔ）は、
【0008】
【数2】
【0009】
となる。なお、ｈ（ｙｔ｜ｘｔ）は尤度（状態ｘｔのときに、観測ベクトルｙｔを得る確率）であり、ｐ（ｘｔ｜ｙ１：ｔ−１）は予測確率分布である。
【0010】
時系列フィルタの実装の一手法としてパーティクルフィルタがある。パーティクルフィルタでは、観測対象の内部状態の確率分布をパーティクルの分布で表現し、現時刻における状態の事後確率分布を次時刻における状態の事前確率分布とする。そして、パーティクルフィルタでは、当該事前確率分布を表すパーティクル（当該事前確率分布に従って生成されたサンプル集合）の状態から推定されたテンプレートの観測（予測サンプル）と、次時刻における実際の画像（実際の観測）とを比較することで尤度を求める。
【0011】
そして、パーティクルフィルタでは、求めた尤度と事前確率分布とからパーティクルの事後確率分布を推定する。
【0012】
次時刻以降、前述の処理を繰り返すことで、パーティクルフィルタでは、動的に変化する観測対象（例えば、追跡対象）の状態が逐次的に推定される。
【0013】
パーティクルフィルタでは、粒子数（パーティクルの数）をＭ（Ｍ：自然数）とし、１≦ｉ≦Ｍ（ｉ：整数）としたとき、以下の（１）〜（４）の処理を行う。（１）粒子生成(１期先予測)
以下の数式に相当する処理により、各サンプル（各パーティクル）について、時刻ｔにおける予測サンプルを生成する。つまり、時刻ｔ−１の事後確率分布（時刻ｔ−１の観測対象の内部状態の確率分布）から、システムモデル（状態遷移関数）により予測した確率分布を取得する。具体的には、システムモデルｆに従って、時刻ｔ−１の各サンプル（各パーティクル）を遷移させて予測サンプルを生成する。
【0014】
ｘａｔ（ｉ）〜ｆ（ｘｔ｜ｘｔ−１（ｉ））ｘａｔ＝｛ｘａｔ（１），ｘａｔ（２），ｘａｔ（３），・・・，ｘａｔ（Ｍ）｝
ｘａｔ：状態遷移関数ｆ（）による状態ベクトルｘｔの予測（推定）ベクトル
（２）重みの計算（尤度計算）
以下の数式に相当する処理により、処理（１）で生成された各予測サンプルについて、重み（尤度）を算出する。つまり、観測モデルｈに従って、観測ベクトルｙｔを得る確率（尤度）を推定する。
【0015】
ｗａｔ（ｉ）〜ｈ（ｙｔ｜ｘａｔ（ｉ））ｗａｔ＝｛ｗａｔ（１），ｗａｔ（２），ｗａｔ（３），・・・，ｗａｔ（Ｍ）｝
ｗａｔ：関数ｈ（）による重み（尤度）ｗｔの予測（推定）ベクトル（尤度の予測値の集合）
（３）リサンプリング
重み（尤度）ｗａｔ（ｉ）に比例する割合でＭ個の粒子を復元抽出する（粒子ｘａｔ（ｉ）を抽出する）。このようにして復元抽出されたＭ個の粒子の分布から、時刻ｔの事後確率分布（時刻ｔの観測対象の内部状態の確率分布）を取得する。
（４）時刻ｔを進めて（１）に戻る。このとき、処理（３）で取得した事後確率分布（時刻ｔでの事後確率分布）を、次の時刻（時刻ｔ＋１）の事前確率分布とする。
【0016】
このように、パーティクルフィルタとは、観測対象の状態を表すパラメータの事前確率分布の予測と、事後確率分布の計算とを繰り返し行うことで、時々刻々変化する、観測対象の状態を表すパラメータを推定するものである。このようなパーティクルフィルタは、例えば、動画像上の物体（オブジェクト）の位置の追跡に利用される。パーティクルフィルタを用いて物体（オブジェクト）の位置追跡処理を行う場合、追跡対象（観測対象の一例）の状態を表すパラメータは、例えば、物体の位置を表すパラメータである。この場合、パーティクルフィルタでは、物体の位置を表すパラメータから推定される観測（予測サンプル）と、実際の観測（例えば、カメラ等により撮像される画像）とを比較することによって尤度を算出し、算出した尤度に基づいて、粒子のリサンプリングを行うことで、観測対象の状態を表すパラメータの事後確率分布を取得することができる（例えば、特許文献１）。
【0017】
このようなパーティクルフィルタを用いて、例えば、複数のオブジェクト（対象物）を追跡する技術も開発されている。例えば、非特許文献１には、パーティクルフィルタを用いて、複数のオブジェクト（対象物）を精度良く追跡する技術についての開示がある。
【先行技術文献】
【特許文献】
【0018】
【特許文献1】特開２０１２−２３４４６６号公報
【非特許文献】
【0019】
【非特許文献1】Ｎ．Ｉｋｏｍａ、Ｈ．Ｈａｓｅｇａｗａ、Ｙ．Ｈａｒａｇｕｃｈｉ、”Ｍｕｌｔｉ−ｔａｒｇｅｔ ｔｒａｃｋｉｎｇ ｉｎ ｖｉｄｅｏ ｂｙ ＳＭＣ−ＰＨＤ ｆｉｌｔｅｒ ｗｉｔｈ ｅｌｉｍｉｎａｔｉｏｎ ｏｆ ｏｔｈｅｒ ｔａｒｇｅｔｓ ａｎｄ ｓｔａｔｅ ｄｅｐｅｎｄｅｎｔ ｍｕｌｔｉ−ｍｏｄａｌ ｌｉｋｅｌｉｈｏｏｄｓ”、Ｉｎｆｏｒｍａｔｉｏｎ Ｆｕｓｉｏｎ （ＦＵＳＩＯＮ）、２０１３ １６ｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ、２０１３年７月、ｐ．５８８−５９５
【発明の概要】
【発明が解決しようとする課題】
【0020】
非特許文献１の技術では、複数のオブジェクトを精度良く追跡するために、追跡するオブジェクト（オブジェクト）ごとに、粒子（パーティクル）を区別して割り当てる。例えば、オブジェクト番号１の物体を追跡する粒子には、当該オブジェクト番号１を示す整数ラベルを付与し、オブジェクト番号２の物体（オブジェクト）を追跡する粒子には、当該オブジェクト番号２を示す整数ラベルを付与する。つまり、非特許文献１の技術では、オブジェクト番号ｋ（ｋ：整数）のオブジェクトを追跡する場合、オブジェクト番号ｋを示す整数ラベルを有する粒子を用いて、上記パーティクルフィルタ処理により、オブジェクト番号ｋのオブジェクトを追跡する。なお、非特許文献１の技術では、追跡中のオブジェクトについては、「０」以外の整数値をオブジェクト番号として付与する。
【0021】
そして、非特許文献１の技術では、オブジェクト番号が「０」の粒子を追加し、追加したオブジェクト番号０の粒子を用いて、パーティクルフィルタ処理を行うことで、新規オブジェクトを発見する。具体的には、非特許文献１の技術では、追跡中のオブジェクト（「０」以外の整数値のオブジェクト番号を有する粒子により追跡されているオブジェクト）が占める画像上の領域を消去した画像を生成し、当該画像に対して、オブジェクト番号０の粒子を用いたパーティクルフィルタ処理を実行することで、新規オブジェクトを検出する。この処理について、図１９を用いて説明する。
【0022】
図１９は、例えば、撮像画像から、画像特徴量を赤色度合いとして抽出した画像（画像特徴量抽出画像）に対して、パーティクルフィルタ処理により赤い物体を追跡・発見する処理を実行する場合について説明するための図である。具体的には、図１９（ａ）は、赤色度合いの高い領域を有する２つの物体（赤い物体）を、粒子（パーティクル）を用いて追跡する処理を説明するための図であり、図１９（ｂ）は、現在追跡中の物体に対応する画像領域を消去した画像（消去処理画像）に対して、新規オブジェクト（新規の物体）を、粒子（パーティクル）を用いて発見する処理を説明するための図である。
【0023】
図１９（ａ）に示すように、非特許文献１の技術では、物体（オブジェクト）ＴＧ１を追跡するための粒子Ｐｒｔｃｌ（ＴＧ１）と、物体（オブジェクト）ＴＧ２を追跡するための粒子Ｐｒｔｃｌ（ＴＧ２）と、が用意される。図１９（ａ）では、粒子（パーティクル）を小さな円として示しており、領域Ｒｅ１内に存在する粒子（粒子群）を、「Ｐｒｔｃｌ（ＴＧ１）」と表記しており、この粒子Ｐｒｔｃｌ（ＴＧ１）が、オブジェクトＴＧ１を追跡するための粒子である。また、図１９（ａ）において、領域Ｒｅ２内に存在する粒子群を、「Ｐｒｔｃｌ（ＴＧ２）」と表記しており、この粒子Ｐｒｔｃｌ（ＴＧ２）が、オブジェクトＴＧ２を追跡するための粒子である。
【0024】
非特許文献１の技術では、時刻ｔにおいて、図１９（ａ）に示した粒子Ｐｒｔｃｌ（ＴＧ１）の分布（時刻ｔでの事後確率分布）に基づいて、オブジェクトＴＧ１の検出領域Ｒｅ１を決定する。また、同様に、オブジェクトＴＧ２についても、図１９（ａ）に示した粒子Ｐｒｔｃｌ（ＴＧ２）の分布（時刻ｔでの事後確率分布）に基づいて、オブジェクトＴＧ２の検出領域Ｒｅ２を決定する。そして、非特許文献１の技術では、領域Ｒｅ１、Ｒｅ２を消去することで、消去処理画像を生成する。そして、非特許文献１の技術では、生成した消去処理画像に対して、オブジェクト番号０の粒子Ｐｒｔｃｌ（ＴＧ０）を用いたパーティクルフィルタ処理を実行し、新規オブジェクトを検出する。
【0025】
図１９（ｂ）では、図１９（ａ）のオブジェクトＴＧ１が示す領域から、領域Ｒｅ１を消去して残った領域Ｒ１＿ｒｅｓｔ上に、新規オブジェクト検出用の粒子Ｐｒｔｃｌ（ＴＧ０）が存在する。このため、非特許文献１の技術では、領域Ｒ１＿ｒｅｓｔが、新規オブジェクトに相当する領域であると、誤判定してしまう。つまり、非特許文献１の技術では、追跡中の物体（オブジェクト）領域を完全に消去できない場合、図１９（ｂ）に示すように、追跡中の物体の領域を、新規オブジェクトに相当する領域であると、誤判定してしまう。図１９（ｂ）の場合では、オブジェクトＴＧ１の領域の一部であるＲ１＿ｒｅｓｔが、新規オブジェクト（新たに発見した物体）に相当する領域であると誤判定されてしまう。
【0026】
そこで、本発明は、上記問題点に鑑み、観測データから尤度を求めることによって、観測対象の内部状態を適切に推定し、例えば、動画像上において、適切に複数の物体を追跡するとともに、適切に、新規物体（新規オブジェクト）を発見し、追跡対象に追加することができる状態推定装置、プログラムおよび集積回路を実現することを目的とする。
【課題を解決するための手段】
【0027】
上記課題を解決するために、第１の発明は、複数の物体を追跡する状態推定装置であって、観測取得部と、ラベル設定部と、オブジェクト情報管理部と、予測部と、尤度取得部と、事後確率分布推定部と、事前確率分布出力部と、を備える。
【0028】
観測取得部は、観測可能な事象から得られる観測データである観測データ画像を、任意の時間間隔で取得し、観測データ画像から所定の特徴量を抽出した画像特徴量抽出画像を取得する。
【0029】
ラベル設定部は、観測取得部により取得された観測データ画像から、画像データ上において閉じた領域を抽出し、抽出した領域にラベル番号を付したラベル画像を取得する。
【0030】
オブジェクト情報管理部は、追跡対象の物体にオブジェクト番号を付し、付されたオブジェクト番号を管理する。
【0031】
予測部は、追跡中の物体ごとに、前時刻ｔ−１に取得された観測対象の内部状態の確率分布である事後確率分布データに対して予測処理を行い、現時刻ｔにおける観測対象の内部状態の確率分布である予測確率分布データを取得する。
【0032】
尤度取得部は、前時刻ｔ−１において追跡中であると判定された物体ごとに、予測確率分布データに基づくパーティクルを取得し、取得したパーティクルに基づいて、消去対象領域を決定し、画像特徴量抽出画像から、追跡中の物体のうち処理対象とする物体以外の物体の消去対象領域を消去した追跡用の消去画像、あるいは、追跡中の物体の全ての物体の消去対象領域を消去した新規物体発見用の消去画像を取得する。
【0033】
また、尤度取得部は、新規物体検出用のパーティクルを生成し、消去画像に対して、新規物体検出用のパーティクルを適用することで、新オブジェクト候補領域を取得し、取得した新オブジェクト候補領域と、ラベル画像とに基づいて、新オブジェクト候補領域が、現時刻ｔにおいて新たに追跡対象とする新規物体に対応する領域であるか否かを判定し、時刻ｔにおける追跡対象とする物体を決定する。
【0034】
また、尤度取得部は、時刻ｔにおいて追跡対象であると判定された物体ごとに、消去画像に対して、予測確率分布データに基づいて取得されたパーティクルを適用することで取得された尤度に基づいて、最終尤度を算出し、算出した最終尤度に基づいて、予測部により取得された予測確率分布データを更新することで更新確率分布データを取得する。
【0035】
事後確率分布推定部は、時刻ｔにおいて追跡対象であると判定された物体ごとに、尤度取得部により取得された更新確率分布データと、最終尤度とから、事象の状態の事後確率分布データを推定する。
【0036】
事前確率分布出力部は、事後確率分布推定部により推定された事後確率分布データに基づく事前確率分布データを、次時刻ｔ＋１において、事前確率分布データとして出力する。
【0037】
この状態推定装置では、ラベル設定部が観測データ画像から、閉領域を検出し、当該閉領域にラベル番号を付したラベル画像を生成し、尤度取得部が追跡中の物体の全ての物体の前記消去対象領域を消去した新規物体発見用の消去画像を生成する。そして、この状態推定装置では、ラベル番号に基づいて、新規物体発見用の消去画像を用いて、新規物体を発見する処理を実行するので、新規物体発見用の消去処理画像において、追跡中の物体に対応する領域であって、消去処理により消去できず残存した領域を、新規物体に対応する領域であると誤判定することを適切に防止することができる。
【0038】
また、この状態推定装置では、追跡対象物体をオブジェクト番号により管理し、例えば、オブジェクト番号ごとに割り当てた粒子（パーティクル）によりパーティクルフィルタ処理を実行することで、適切に複数の物体を追跡する処理を実行することができる。
【0039】
したがって、この状態推定装置では、適切に複数の物体を追跡するとともに、適切に、新規物体（新規オブジェクト）を発見し、追跡対象に追加することができる。
【0040】
なお、「閉じた領域」とは、例えば、画像上において、所定の画像特徴量が類似している領域であり、クラスタリング処理等により、他の領域と分離可能なまとまった閉領域を含む概念である。
【0041】
第２の発明は、第１の発明であって、尤度取得部は、消去部と、尤度算出部と、新オブジェクト候補領域検出部と、重心検出部と、新オブジェクト検出部と、追跡オブジェクト決定部と、最終決定部と、を備える。
【0042】
消去部は、前時刻ｔ−１において追跡中であると判定された物体ごとに、予測確率分布データに基づくパーティクルを取得し、取得したパーティクルに基づいて、消去対象領域を決定し、画像特徴量抽出画像から、追跡中の物体のうち処理対象とする物体以外の物体の消去対象領域を消去した追跡中物体用の消去画像、あるいは、追跡中の物体の全ての物体の消去対象領域を消去した新規物体発見用の消去画像を取得する。
【0043】
尤度算出部は、前時刻ｔ−１において追跡中であると判定された物体ごとに、予測確率分布データに基づくパーティクルを取得し、取得したパーティクルを、追跡中物体用の消去画像に適用することで、追跡中物体についての尤度を算出する。
【0044】
また、尤度算出部は、新規物体検出用のパーティクルを生成し、新規物体発見用の消去画像に対して、新規物体検出用のパーティクルを適用することで、新規物体についての尤度を算出する。
【0045】
新オブジェクト候補領域検出部は、新規物体発見用の消去画像に対して、新規物体検出用のパーティクルを適用することで新オブジェクト候補領域を取得する。
【0046】
重心検出部は、新オブジェクト候補領域の重心を検出する。
【0047】
そして、新オブジェクト検出部は、重心検出部により検出された新オブジェクト候補領域の重心と、ラベル画像とに基づいて、新オブジェクト候補領域が、現時刻ｔにおいて新たに追跡対象とする新規物体に対応する領域であるか否かを判定する。
【0048】
また、追跡オブジェクト決定部は、新オブジェクト検出部の判定結果に基づいて、時刻ｔにおける追跡対象とする物体を決定する。
【0049】
最終決定部は、時刻ｔにおいて追跡対象であると判定された物体ごとに、消去画像に対して、予測確率分布データに基づいて取得されたパーティクルを適用することで取得された尤度に基づいて、最終尤度を算出し、算出した最終尤度に基づいて、予測部により取得された予測確率分布データを更新することで更新確率分布データを取得する。
【0050】
この状態推定装置では、新オブジェクト候補領域検出部が、新規物体検出用のパーティクルを適用することで新オブジェクト候補領域を取得し、新オブジェクト検出部が、新オブジェクト候補領域の重心と、ラベル画像とに基づいて、新オブジェクト候補領域が、現時刻ｔにおいて新たに追跡対象とする新規物体に対応する領域であるか否かを判定する。
【0051】
したがって、この状態推定装置では、ラベル画像と、新オブジェクト候補領域の重心とに基づいて、精度良く、新規物体を発見する処理を実行することができる。
【0052】
第３の発明は、第２の発明であって、追跡オブジェクト決定部は、前時刻ｔ−１で追跡中の物体であって、かつ、時刻tにおいて算出された尤度の和が所定の値を超える物体について、追跡用の消去画像上おいて、当該物体に相当する画像領域をラベル判定領域として取得し、ラベル画像において、ラベル判定領域に相当する領域にラベル番号が付されているか否かを判定し、ラベル番号が付されている場合、当該物体のオブジェクト番号と、当該ラベル番号とを対応付けたオブジェクト情報として、オブジェクト情報管理部に出力する。
【0053】
オブジェクト情報管理部は、オブジェクト情報を保持する。
【0054】
新オブジェクト検出部は、ラベル画像において、新オブジェクト候補領域の重心と同じ座標位置の画素に付されているラベル番号が存在するか否かを判定する。（Ａ）新オブジェクト検出部は、ラベル画像において、新オブジェクト候補領域の重心と同じ座標位置の画素に付されているラベル番号が存在する場合、当該ラベル番号を第１ラベル番号として取得し、第１ラベル番号が、オブジェクト情報管理部により保持されているオブジェクト情報に含まれているオブジェクト番号であるか否かを判定する。
【0055】
オブジェクト検出部は、（Ａ１）第１ラベル番号がオブジェクト情報に含まれているオブジェクト番号と一致する場合、新規物体は発見されなかったと判定し、
（Ａ２）第１ラベル番号がオブジェクト情報に含まれているオブジェクト番号と一致しない場合、新オブジェクト候補領域は、新規物体の領域の候補とする。
【0056】
また、新オブジェクト検出部は、（Ｂ）ラベル画像において、新オブジェクト候補領域の重心と同じ座標位置の画素に付されているラベル番号が存在しない場合、重心を含む所定の大きさの領域である探索領域を設定し、ラベル画像上の探索領域に相当する領域において、オブジェクト情報管理部により保持されているオブジェクト情報に含まれているオブジェクト番号と一致するラベル番号が付された画像領域があるか否かを判定する探索処理を行い、ラベル画像上の探索領域に相当する領域において、オブジェクト情報に含まれているオブジェクト番号と一致するラベル番号が付された画像領域があると判定された場合、新規物体は発見されなかったと判定する。
【0057】
追跡オブジェクト決定部は、新オブジェクト検出部により、新オブジェクト候補領域が、新規物体の領域の候補であると判定された場合、新規物体発見用の消去画像に対して、新規物体検出用のパーティクルを適用することで取得した尤度の和を算出し、尤度の和が所定の閾値を超える場合、新規物体が発見されたと判定する。
【0058】
最終決定部は、追跡オブジェクト決定部により、新規物体が発見されたと判定された場合、新規物体発見用の消去画像に対して、新規物体検出用のパーティクルを適用することで取得した尤度を新規物体についての尤度として、最終尤度の算出処理に用い、新規物体発見用の消去画像に対して、新規物体検出用のパーティクルを適用することで取得した確率分布データを新規に追跡対象とする物体の確率分布データとして、更新確率分布データの取得処理に用いる。
【0059】
この状態推定装置では、オブジェクト検出部が、新オブジェクト候補領域の重心を含む探索領域を設定し、ラベル画像の当該探索領域に相当する領域において、ラベル番号が付与されている領域を探索するので、高速かつ高精度に、新規物体を発見する処理を実行することができる。
【0060】
第４の発明は、第３の発明であって、新オブジェクト検出部は、重心を含み、かつ、新オブジェクト候補領域を含む領域を、探索領域に設定する。
【0061】
これにより、この状態推定装置では、探索処理での探索ミスが発生する可能性を低減させることができる。
【0062】
第５の発明は、第３の発明であって、新オブジェクト検出部は、重心を含む楕円状の領域を、探索領域に設定する。
【0063】
これにより、この状態推定装置では、重心を含む楕円状の領域を、探索領域に設定することができる。
【0064】
なお、「楕円上の領域」は、円状の領域を含む概念である。
【0065】
また、楕円の長径、短径、あるいは、円の半径は、追跡中の物体、あるいは、追跡対象となりうる物体が所定の大きさであることが分かっている場合、当該追跡中の物体、あるいは、追跡対象となりうる物体の標準的な大きさや、平均の大きさ、上限の大きさ等に基づいて、設定されるものであってもよい。
【0066】
第６の発明は、第３の発明であって、新オブジェクト検出部は、重心を含む矩形状の領域を、探索領域に設定する。
【0067】
これにより、この状態推定装置では、重心を含む矩形状の領域を、探索領域に設定することができる。
【0068】
なお、矩形の大きさは、追跡中の物体、あるいは、追跡対象となりうる物体が所定の大きさであることが分かっている場合、当該追跡中の物体、あるいは、追跡対象となりうる物体の標準的な大きさや、平均の大きさ、上限の大きさ等に基づいて、設定されるものであってもよい。
【0069】
第７の発明は、第３から第６のいずれかの発明であって、新オブジェクト検出部は、探索領域において、重心の位置を探索処理の起点とし、重心からの距離が小さい画像領域から、重心からの距離が大きい画像領域へと順番に、探索処理の対象となる画像領域を設定する。
【0070】
これにより、新オブジェクト候補領域の重心からの距離が近い画像領域から探索処理が実行されるので、効率良く探索処理を実行することができる。
【0071】
第８の発明は、第７の発明であって、新オブジェクト検出部は、ラベル画像上の探索領域に相当する領域において、オブジェクト情報に含まれているオブジェクト番号と一致するラベル番号が付された画像領域を発見した場合、探索処理を終了させる。
【0072】
これにより、オブジェクト情報に含まれているオブジェクト番号と一致するラベル番号が付された画像領域を発見されるとすぐに探索処理が終了されるので、探索処理を高速することができ、無駄な探索処理が継続されることを適切に防止することができる。
【0073】
第９の発明は、複数の物体を追跡する状態推定方法をコンピュータに実行させるためのプログラムである。状態推定方法は、観測取得ステップと、ラベル設定ステップと、オブジェクト情報管理ステップと、予測ステップと、尤度取得ステップと、事後確率分布推定ステップと、事前確率分布出力ステップと、を備える。
【0074】
観測取得ステップは、観測可能な事象から得られる観測データである観測データ画像を、任意の時間間隔で取得し、観測データ画像から所定の特徴量を抽出した画像特徴量抽出画像を取得する。
【0075】
ラベル設定ステップは、観測取得ステップにより取得された観測データ画像から、画像データ上において閉じた領域を抽出し、抽出した領域にラベル番号を付したラベル画像を取得する。
【0076】
オブジェクト情報管理ステップは、追跡対象の物体にオブジェクト番号を付し、付されたオブジェクト番号を管理する。
【0077】
予測ステップは、追跡中の物体ごとに、前時刻ｔ−１に取得された観測対象の内部状態の確率分布である事後確率分布データに対して予測処理を行い、現時刻ｔにおける観測対象の内部状態の確率分布である予測確率分布データを取得する。
【0078】
尤度取得ステップは、前時刻ｔ−１において追跡中であると判定された物体ごとに、予測確率分布データに基づくパーティクルを取得し、取得したパーティクルに基づいて、消去対象領域を決定し、画像特徴量抽出画像から、追跡中の物体のうち処理対象とする物体以外の物体の消去対象領域を消去した追跡用の消去画像、あるいは、追跡中の物体の全ての物体の消去対象領域を消去した新規物体発見用の消去画像を取得する。
【0079】
また、尤度取得ステップは、新規物体検出用のパーティクルを生成し、消去画像に対して、新規物体検出用のパーティクルを適用することで、新オブジェクト候補領域を取得し、取得した新オブジェクト候補領域と、ラベル画像とに基づいて、新オブジェクト候補領域が、現時刻ｔにおいて新たに追跡対象とする新規物体に対応する領域であるか否かを判定し、時刻ｔにおける追跡対象とする物体を決定する。
【0080】
また、尤度取得ステップは、時刻ｔにおいて追跡対象であると判定された物体ごとに、消去画像に対して、予測確率分布データに基づいて取得されたパーティクルを適用することで取得された尤度に基づいて、最終尤度を算出し、算出した最終尤度に基づいて、予測ステップにより取得された予測確率分布データを更新することで更新確率分布データを取得する。
【0081】
事後確率分布推定ステップは、時刻ｔにおいて追跡対象であると判定された物体ごとに、尤度取得ステップにより取得された更新確率分布データと、最終尤度とから、事象の状態の事後確率分布データを推定する。
【0082】
事前確率分布出力ステップは、事後確率分布推定ステップにより推定された事後確率分布データに基づく事前確率分布データを、次時刻ｔ＋１において、事前確率分布データとして出力する。
【0083】
これにより、第１の発明と同様の効果を奏する複数の物体を追跡する状態推定方法をコンピュータに実行させるためのプログラムを実現することができる。
【0084】
第１０の発明は、複数の物体を追跡する状態推定処理用の集積回路であって、観測取得部と、ラベル設定部と、オブジェクト情報管理部と、予測部と、尤度取得部と、事後確率分布推定部と、事前確率分布出力部と、を備える。
【0085】
観測取得部は、観測可能な事象から得られる観測データである観測データ画像を、任意の時間間隔で取得し、観測データ画像から所定の特徴量を抽出した画像特徴量抽出画像を取得する。
【0086】
ラベル設定部は、観測取得部により取得された観測データ画像から、画像データ上において閉じた領域を抽出し、抽出した領域にラベル番号を付したラベル画像を取得する。
【0087】
オブジェクト情報管理部は、追跡対象の物体にオブジェクト番号を付し、付されたオブジェクト番号を管理する。
【0088】
予測部は、追跡中の物体ごとに、前時刻ｔ−１に取得された観測対象の内部状態の確率分布である事後確率分布データに対して予測処理を行い、現時刻ｔにおける観測対象の内部状態の確率分布である予測確率分布データを取得する。
【0089】
尤度取得部は、前時刻ｔ−１において追跡中であると判定された物体ごとに、予測確率分布データに基づくパーティクルを取得し、取得したパーティクルに基づいて、消去対象領域を決定し、画像特徴量抽出画像から、追跡中の物体のうち処理対象とする物体以外の物体の消去対象領域を消去した追跡用の消去画像、あるいは、追跡中の物体の全ての物体の消去対象領域を消去した新規物体発見用の消去画像を取得する。
【0090】
また、尤度取得部は、新規物体検出用のパーティクルを生成し、消去画像に対して、新規物体検出用のパーティクルを適用することで、新オブジェクト候補領域を取得し、取得した新オブジェクト候補領域と、ラベル画像とに基づいて、新オブジェクト候補領域が、現時刻ｔにおいて新たに追跡対象とする新規物体に対応する領域であるか否かを判定し、時刻ｔにおける追跡対象とする物体を決定する。
【0091】
また、尤度取得部は、時刻ｔにおいて追跡対象であると判定された物体ごとに、消去画像に対して、予測確率分布データに基づいて取得されたパーティクルを適用することで取得された尤度に基づいて、最終尤度を算出し、算出した最終尤度に基づいて、予測部により取得された予測確率分布データを更新することで更新確率分布データを取得する。
【0092】
事後確率分布推定部は、時刻ｔにおいて追跡対象であると判定された物体ごとに、尤度取得部により取得された更新確率分布データと、最終尤度とから、事象の状態の事後確率分布データを推定する。
【0093】
事前確率分布出力部は、事後確率分布推定部により推定された事後確率分布データに基づく事前確率分布データを、次時刻ｔ＋１において、事前確率分布データとして出力する。
【0094】
これにより、第１の発明と同様の効果を奏する集積回路を実現することができる。
【発明の効果】
【0095】
本発明によれば、観測データから尤度を求めることによって、観測対象の内部状態を適切に推定し、例えば、動画像上において、適切に複数の物体を追跡するとともに、適切に、新規物体（新規オブジェクト）を発見し、追跡対象に追加することができる状態推定装置、プログラムおよび集積回路を実現することができる。
【図面の簡単な説明】
【0096】
【図1】第１実施形態に係る状態推定装置１０００の概略構成図。
【図2】第１実施形態に係るラベル設定部２、尤度取得部３およびオブジェクト情報管理部４の概略構成図。
【図3】時刻ｔにおける観測データを模式的に示す図。
【図4】ラベル画像Ｉｍｇ＿Ｌを示す図。
【図5】画像特徴量抽出画像Ｉｍｇ１において、オブジェクト番号＃１の物体に相当する領域ＴＧ１と、オブジェクト番号＃２の物体に相当する領域ＴＧ２と、物体＃１の予測確率分布データＳｔ｜ｔ−１（＃１）に基づいて生成されたパーティクル群Ｐｒｔｃｌ（＃１）と、物体＃２の予測確率分布データＳｔ｜ｔ−１（＃２）に基づいて生成されたパーティクル群Ｐｒｔｃｌ（＃２）（パーティクル群）と、模式的に追加して示した図。
【図6】消去処理画像Ｉｍｇ１＿ｅ（＃１）を示す図。
【図7】尤度算出処理および事後確率分布データを取得する処理を説明するための図。
【図8】消去処理画像Ｉｍｇ１＿ｅ（＃０）を示す図。
【図9】消去処理画像Ｉｍｇ１＿ｅ（＃０）に対して、新規オブジェクトの候補領域を検出する処理を説明するための図。
【図10】画像特徴量抽出画像Ｉｍｇ２を示す図。
【図11】ラベル画像Ｉｍｇ２＿Ｌを示す図。
【図12】消去処理画像Ｉｍｇ１＿ｅ（＃０）に対して、新規オブジェクトの候補領域を検出する処理を説明するための図。
【図14】探索領域ｓ＿ａｒｅａ１（一例）、探索領域ｓ＿ａｒｅａ２（一例）を示す図。
【図15】探索領域ｓ＿ａｒｅａ３（一例）を示す図。
【図16】画像特徴量抽出画像Ｉｍｇ３を示す図。
【図17】ラベル画像Ｉｍｇ３＿Ｌを示す図。
【図18】消去処理画像Ｉｍｇ１＿ｅ（＃０）に対して、新規オブジェクトの候補領域を検出する処理を説明するための図。
【図19】例えば、撮像画像から、画像特徴量を赤色度合いとして抽出した画像（画像特徴量抽出画像）に対して、パーティクルフィルタ処理により赤い物体を追跡・発見する処理を実行する場合について説明するための図。
【発明を実施するための形態】
【0097】
［第１実施形態］第１実施形態について、図面を参照しながら、以下、説明する。
【0099】
図２は、第１実施形態に係るラベル設定部２、尤度取得部３およびオブジェクト情報管理部４の概略構成図である。
【0100】
状態推定装置１０００は、図１に示すように、観測取得部１と、ラベル設定部２と、尤度取得部３と、オブジェクト情報管理部４と、事後確率分布推定部５と、事前確率分布出力部６と、初期状態設定部７と、予測部８と、を備える。
【0101】
観測取得部１は、観測データを取得し、取得した観測データをラベル設定部２と、尤度取得部３とに出力する。観測取得部１は、例えば、撮像装置により撮像された画像（撮像画像）から、所定の画像特徴量を抽出した画像特徴量抽出画像を観測データとして取得する。
【0102】
ラベル設定部２は、観測取得部１から出力される観測データ（例えば、画像特徴量抽出画像）を入力し、観測データ（例えば、画像特徴量抽出画像）において、検出された物体にラベル（ラベル番号）を付して、区別可能なデータを生成する。例えば、ラベル設定部２は、観測データが画像特徴量抽出画像である場合、クラスタリング処理等により、画像特徴量抽出画像上において、例えば、複数の物体に相当する領域を検出し、検出した領域に、所定のラベル番号を付与する。例えば、クラスタリング処理等により、２つの物体が検出された場合、ラベル設定部２は、一方の物体に相当する画像領域に含まれる画素の画素値を「１」とし、もう一方の物体に相当する画像領域に含まれる画素の画素値を「２」とし、物体が検出されていない画像領域の画素の画素値を「０」として、ラベル画像（ラベル番号を画素値として付与して生成した画像）を生成する。そして、ラベル設定部２は、生成したラベル画像を尤度取得部３に出力する。
【0103】
なお、以下では、説明便宜のため、ラベル設定部２が生成して出力するデータが、上記ラベル画像であるものとして、説明する。
【0104】
尤度取得部３は、図２に示すように、消去部３１と、尤度算出部３２と、新オブジェクト候補領域検出部３３と、重心検出部３４と、新オブジェクト検出部３５と、セレクタ３６と、追跡オブジェクト決定部３７と、最終決定部３８と、を備える。
【0105】
消去部３１は、観測取得部１から出力される観測データと、予測部８から出力される予測確率分布データと、オブジェクト情報管理部４から出力されるオブジェクト情報と、を入力とする。消去部３１は、オブジェクト情報および予測確率分布データに基づいて、処理対象のオブジェクト（オブジェクト番号＃ｉ（ｉ：０以外の整数）のオブジェクト）以外のオブジェクトに相当する画像領域（データ）を、観測データ（例えば、特徴量抽出画像）から、消去し、消去処理後データ（消去処理画像）Ｄ１（＃ｉ）を取得する。そして、消去部３１は、取得した消去処理後データ（消去処理画像）Ｄ１（＃ｉ）を尤度算出部３２に出力する。
【0106】
なお、「Ｄ１（＃ｉ）」は、オブジェクト番号＃ｉ以外のオブジェクトに相当する領域を消去した消去処理後データ（消去処理画像）を表すものとする。例えば、消去部３１は、観測データ画像において、オブジェクト番号＃ｉ以外のオブジェクトに相当する画像領域の画素の画素値を「０」に置換することで、消去処理画像Ｄ１（＃ｉ）を生成する。
【0107】
また、消去部３１は、オブジェクト情報管理部４から出力されるオブジェクト情報に含まれるオブジェクト番号が「＃０」である場合、新規オブジェクトの発見処理のために、追跡中のオブジェクトに相当する領域を消去した消去処理後データ（消去処理画像）Ｄ１（＃０）を生成し、生成した消去処理後データ（消去処理画像）Ｄ１（＃０）を尤度算出部３２に出力する。さらに、消去部３１は、オブジェクト番号が「＃０」である場合、消去処理後データ（消去処理画像）Ｄ１（＃０）を最終決定部３８に出力する。
【0108】
尤度算出部３２は、消去部３１から出力される消去処理後データ（消去処理画像）と、予測部８から出力される予測確率分布データと、オブジェクト情報管理部４から出力されるオブジェクト情報と、を入力する。尤度算出部３２は、消去処理後データ（消去処理画像）を用いて、処理対象のオブジェクト（オブジェクト番号＃ｉ（ｉ：０以外の整数）のオブジェクト）についての尤度を算出する。
【0109】
具体的には、尤度算出部３２は、オブジェクト情報と、予測確率分布データとに基づいて、オブジェクト番号＃ｉに割り当てられた粒子（パーティクル）の分布を取得し、消去処理後データ（消去処理画像）に対して、オブジェクト番号＃ｉに割り当てられた粒子（パーティクル）の分布に基づいて、尤度ｗ（＃ｉ）を算出する。
【0110】
そして、尤度算出部３２は、算出した尤度ｗ（＃ｉ）を、追跡オブジェクト決定部３７に出力する。
【0111】
なお、尤度算出部３２は、オブジェクト情報管理部４から出力されるオブジェクト情報に含まれるオブジェクト番号が「＃０」である場合、新規オブジェクトの発見処理のために、例えば、乱数を用いて、新たに粒子（オブジェクト番号＃０の粒子）を生成する。この新たな粒子は、例えば、消去処理画像上で、各粒子の位置が一様分布となるように生成される。
【0112】
そして、尤度算出部３２は、消去処理後データ（消去処理画像）Ｄ１（＃０）に対して、オブジェクト番号＃０の粒子の分布に基づいて、尤度ｗ（＃０）を算出する。尤度算出部３２は、算出した尤度ｗ（＃０）を新オブジェクト候補領域検出部３３およびセレクタ３６に出力する。
【0113】
新オブジェクト候補領域検出部３３は、尤度算出部３２から出力される尤度ｗ（＃０）を入力する。新オブジェクト候補領域検出部３３は、尤度ｗ（＃０）に基づいて、新規物体（新オブジェクト）の候補領域を検出し、その検出結果ｄｅｔ＿ｒｅｇｉｏｎを重心検出部３４に出力する。
【0114】
重心検出部３４は、新オブジェクト候補領域検出部３３から出力される新オブジェクト候補領域を示すデータｄｅｔ＿ｒｅｇｉｏｎを入力する。重心検出部３４は、データｄｅｔ＿ｒｅｇｉｏｎに基づいて、新オブジェクト候補領域の重心位置（画像上の重心位置）を算出する。そして、重心検出部３４は、算出した重心位置を示すデータＣｏを新オブジェクト検出部３５に出力する。
【0115】
新オブジェクト検出部３５は、重心検出部３４から出力される重心位置を示すデータＣｏと、ラベル設定部２から出力されるラベル番号についてのデータ（ラベル画像）と、オブジェクト情報管理部４で管理されている追跡中のオブジェクトおよび当該オブジェクトに対応付けられているラベル番号についてのラベル情報Ｌ＿ｉｎｆｏと、を入力する。新オブジェクト検出部３５は、新オブジェクト候補領域の重心位置を示すデータＣｏおよびラベル画像に基づいて、新オブジェクト候補領域が、新規のオブジェクトの領域であるか、あるいは、追跡中のオブジェクトの消し残りの領域かを判定し、判定結果を示すデータｄｅｔ＿ｎｅｗをセレクタ３６と、追跡オブジェクト決定部３７とに出力する。
【0116】
なお、判定結果データｄｅｔ＿ｎｅｗは、（１）新オブジェクト候補領域が、新規のオブジェクトの領域であると判定した場合、「１」に設定され、（２）新オブジェクト候補領域が、新規のオブジェクトの領域ではないと判定した場合、「０」に設定されるものとする。
【0117】
セレクタ３６は、尤度算出部３２から出力される尤度ｗ（＃０）と、新オブジェクト検出部３５から出力される判定結果データｄｅｔ＿ｎｅｗとを入力とする。セレクタ３６は、（１）新オブジェクト検出部３５から出力される判定結果データｄｅｔ＿ｎｅｗが「１」である場合、尤度ｗ（＃０）を追跡オブジェクト決定部３７に出力し、（２）新オブジェクト検出部３５から出力される判定結果データｄｅｔ＿ｎｅｗが「０」である場合、値「０」を追跡オブジェクト決定部３７に出力する。
【0118】
なお、上記（２）の場合、セレクタ３６は、追跡オブジェクト決定部３７に何も出力しないようにしてもよい。
【0119】
追跡オブジェクト決定部３７は、尤度算出部３２から出力される尤度ｗ（＃ｉ）と、セレクタ３６からの出力と、新オブジェクト検出部３５から出力される判定結果データｄｅｔ＿ｎｅｗと、オブジェクト情報管理部４から出力されるオブジェクト情報と、予測部８から出力される予測確率分布データと、ラベル設定部２から出力されるラベル画像を入力とする。
【0120】
追跡オブジェクト決定部３７は、入力された尤度ｗ（＃ｉ）、または、尤度ｗ（＃ｉ）および尤度ｗ（＃０）の合計が所定の値（例えば、「１」）となるように正規化し、正規化後の尤度（これを「ｗ＿ａｌｌ」と表記する。）を用いて、オブジェクト番号ごとに、尤度の和を算出する。
【0121】
そして、追跡オブジェクト決定部３７は、（１）算出した尤度の和が所定の閾値ｔｈ１を超える場合、当該オブジェクト番号のオブジェクトに対する追跡処理を継続させるために、ステータスを「Ｓｕｒｖｉｖｅ」に設定し、（２）算出した尤度の和が所定の閾値ｔｈを超えない場合、当該オブジェクト番号のオブジェクトに対する追跡処理を停止させるために、ステータスを「Ｄｉｓｃａｒｄ」に設定する。また、追跡オブジェクト決定部３７は、ラベル設定部２から出力されるラベル画像（ラベル番号）を参照し、追跡処理を継続させると判定したオブジェクトと、ラベル番号との対応付けを行うことでラベル情報Ｌ＿ｉｎｆｏを取得する。そして、追跡オブジェクト決定部３７は、取得したラベル情報Ｌ＿ｉｎｆｏをオブジェクト情報管理部４に出力する。
【0122】
また、追跡オブジェクト決定部３７は、判定結果データｄｅｔ＿ｎｅｗが「１」である場合、（１）尤度ｗ（＃０）を正規化した尤度ｗ’（＃０）の和が所定の閾値ｔｈ２を超える場合、新規オブジェクトを発見したと判断し、ステータスを「ＦｏｕｎｄＮｅｗＴａｒｇｅｔ」に設定し、（２）尤度ｗ（＃０）を正規化した尤度ｗ’（＃０）の和が所定の閾値ｔｈ２を超えない場合、新規オブジェクトは発見されなかったと判断し、ステータスを「ＮｏｔＦｏｕｎｄ」に設定する。
【0123】
追跡オブジェクト決定部３７は、上記のようにして、オブジェクト番号ごとに、設定したステータスをオブジェクト情報管理部４に出力する。
【0124】
また、追跡オブジェクト決定部３７は、上記により正規化した後の尤度ｗ＿ａｌｌを最終決定部３８に出力する。
【0125】
最終決定部３８は、消去部３１から出力される消去処理後データ（消去処理画像）Ｄ１（＃０）と、予測部８から出力される予測確率分布データと、追跡オブジェクト決定部３７から出力される正規化後の尤度ｗ＿ａｌｌと、オブジェクト情報管理部４から出力される新オブジェクト情報とを入力とする。最終決定部３８は、新オブジェクト情報に基づいて、正規化後の尤度ｗ＿ａｌｌから、追跡するオブジェクト（新規に追跡を開始するオブジェクトを含む。）についての尤度のみを残し、さらに、残した尤度の和が所定の値（例えば、「１」）となるように正規化し、正規化後の尤度を用いて、オブジェクト番号ごとに、最終の尤度を決定する。そして、最終決定部３８は、決定した最終の尤度を事後確率分布推定部５に出力する。
【0126】
また、最終決定部３８は、新オブジェクト情報に基づいて、予測確率分布データ追跡するオブジェクト（新規に追跡を開始するオブジェクトを含む。）についての予測確率分布データのみが残るように、予測確率分布データを更新する。そして、最終決定部３８は、更新した予測確率分布データを、更新確率分布データとして、事後確率分布推定部５に出力する。
【0127】
オブジェクト情報管理部４は、追跡オブジェクト決定部３７から出力されるステータスに関する情報を入力し、入力されたステータスを、オブジェクトごと（オブジェクト番号ごと）に管理する。また、オブジェクト情報管理部４は、消去部３１と、尤度算出部３２と、追跡オブジェクト決定部３７とに、オブジェクトに関する情報を出力する。また、オブジェクト情報管理部４は、追跡オブジェクト決定部３７から入力したステータス情報に基づいて、追跡対象とするオブジェクトを決定し、決定したオブジェクトに関する情報を、新オブジェクト情報として、最終決定部３８に、出力する。
【0128】
事後確率分布推定部５は、尤度取得部３から出力される、オブジェクト番号ごとの尤度（尤度データ）と、オブジェクト番号ごとの更新確率分布データ（更新された予測後確率分布データ）とを入力する。事後確率分布推定部５は、オブジェクト番号ごとに、尤度（尤度データ）と更新確率分布データとに基づいて、事後確率分布（事後確率分布データ）を推定（取得）する。そして、事後確率分布推定部５は、オブジェクト番号ごとに取得した事後確率分布（事後確率分布データ）を、事前確率分布出力部６に出力する。
【0129】
事前確率分布出力部６は、初期状態設定部７から出力される初期状態の設定データと、事後確率分布推定部５から出力される事後確率分布（事後確率分布データ）とを入力する。事前確率分布出力部６は、初期状態では、初期状態設定部７から出力される初期状態の設定データに基づいて、事前確率分布（事前確率分布データ）を生成し、生成した事前確率分布（事前確率分布データ）を予測部８に出力する。なお、事前確率分布（事前確率分布データ）は、オブジェクト番号ごとに生成される。
【0130】
また、事前確率分布出力部６は、初期状態以外の状態では、事後確率分布推定部５から出力される、時刻ｔにおける事後確率分布（事後確率分布データ）を、次の時刻ｔ＋１において、事前確率分布（事前確率分布データ）として、予測部８に出力する。
【0131】
初期状態設定部７は、初期状態における事前確率分布（事前確率分布）を生成するためのデータ（初期値）を保持しており、当該データ（初期値）を事前確率分布出力部６に出力する。
【0132】
予測部８は、事前確率分布出力部６から出力される事前確率分布データ（オブジェクト番号ごとの事前確率分布データ）を入力とする。予測部８は、オブジェクト番号ごとに、オブジェクト番号ごとの事前確率分布データから、システムモデル（状態遷移関数）により予測した確率分布データを取得する。そして、予測部８は、取得した確率分布データを尤度取得部３に出力する。
【0133】
＜１．２：状態推定装置の動作＞以上のように構成された状態推定装置１０００の動作について、以下、説明する。
【0134】
なお、以下では、２つの赤色の物体を追跡する処理を例に説明する。
【0135】
図３は、時刻ｔにおける観測データを模式的に示す図である。具体的には、図３は、時刻ｔにおいて、観測取得部１により取得された赤色度合いの高い領域を抽出した画像Ｉｍｇ１（画像特徴量抽出画像Ｉｍｇ１）である。画像Ｉｍｇ１において、領域ＴＧ１は、１つ目の赤色の物体（オブジェクト）に相当する画像領域であり、領域ＴＧ２は、２つ目の赤色の物体（オブジェクト）に相当する画像領域である。なお、以下では、領域ＴＧ１に対応するオブジェクトのオブジェクト番号を「＃１」とし、領域ＴＧ２に対応するオブジェクトのオブジェクト番号を「＃２」として説明する。
【0136】
観測取得部１では、例えば、各画素がＲＧＢ成分を有する撮像画像から、赤色度合いの高い領域を抽出した画像Ｉｍｇ１（画像特徴量抽出画像Ｉｍｇ１）を生成する。例えば、観測取得部１は、撮像画像の各画素のＲ成分値、Ｇ成分値、および、Ｂ成分値を用いて、Ｄｏｕｔ＝Ｒ×（２５５−Ｇ）×（２５５−Ｂ）／（１＋Ｒ＋Ｇ＋Ｂ）
Ｄｏｕｔ：出力画素値
Ｒ：Ｒ成分値
Ｇ：Ｇ成分値
Ｂ：Ｂ成分値
により取得した出力画素値を各画素の画素値とすることで、赤色度合いの高い領域を抽出した画像Ｉｍｇ１（画像特徴量抽出画像Ｉｍｇ１）を生成する。なお、撮像画像が８ビット画像データであり、各画素のＲ成分値、Ｇ成分値、および、Ｂ成分値は、それぞれ、０〜２５５の値をとるものとする。
【0137】
また、観測対象（追跡対象）であるオブジェクト番号＃ｉ（ｉ：整数）の物体の時刻ｔの内部状態を示す状態ベクトルをｘｔ（＃ｉ）とし、時刻ｔにおいて観測された特徴を観測ベクトルｙｔ（＃ｉ）とし、事前確率分布ｐ（ｘｔ（＃ｉ）｜ｙｔ−１（＃ｉ））に従って生成されたサンプル集合（パーティクルの集合）Ｓｔ｜ｔ−１（＃ｉ）をＳｔ｜ｔ−１（＃ｉ）＝｛ｓｔ｜ｔ−１（１）（＃ｉ），ｓｔ｜ｔ−１（２）（＃ｉ），・・・，ｓｔ｜ｔ−１（Ｍ）（＃ｉ）｝
とし、事後確率分布ｐ（ｘｔ（＃ｉ）｜ｙｔ（＃ｉ））に従って生成されたサンプル集合（パーティクルの集合）Ｓｔ｜ｔ（＃ｉ）を
Ｓｔ｜ｔ＝｛ｓｔ｜ｔ（１）（＃ｉ），ｓｔ｜ｔ（２）（＃ｉ），・・・，ｓｔ｜ｔ（Ｍ）（＃ｉ）｝
とする。
【0138】
また、サンプル集合（パーティクルの集合）Ｓｔ｜ｔ（＃ｉ）のｊ番目のサンプル（パーティクル）ｓｔ｜ｔ（ｊ）（＃ｉ）は、ｊ番目のサンプル（パーティクル）の画像上の座標位置（Ｘｔ（ｊ）（＃ｉ），Ｙｔ（ｊ）（＃ｉ））と、当該座標位置を中心とする円状の画像領域の半径Ｒｔ（ｊ）（＃ｉ）を内部変数とするベクトルデータであるものとする。つまり、サンプル（パーティクル）ｓｔ｜ｔ（ｊ）（＃ｉ）は、ｓｔ｜ｔ（ｊ）（＃ｉ）＝（Ｘｔ（ｊ）（＃ｉ），Ｙｔ（ｊ）（＃ｉ），Ｒｔ（ｊ）（＃ｉ））
であるものとする。
【0139】
なお、状態推定装置１０００において、時刻ｔ−１（例えば、時刻ｔの１フレーム前の時刻）においても、オブジェクト番号＃１の物体と、オブジェクト番号＃２の物体とが、追跡されているものとする。つまり、時刻ｔ−１の画像特徴量抽出画像においても、オブジェクト番号＃１の物体と、オブジェクト番号＃２の物体とが、検出されており、追跡処理の対象となっているものとする。（時刻ｔ０の処理）：
（１．２．１：ラベル設定処理）
時刻ｔにおいて、図３に示す画像特徴量抽出画像Ｉｍｇ１が、ラベル設定部２に入力される。
【0140】
ラベル設定部２では、クラスタ処理（クラスタリング）等により、画像特徴量抽出画像Ｉｍｇ１に含まれるまとまった画像領域（閉じた領域）を検出する。そして、検出した画像領域にラベル番号を付与する。図３の画像特徴量抽出画像Ｉｍｇ１では、領域ＴＧ１と領域ＴＧ２とが、ラベル設定部２により検出される。そして、ラベル設定部２は、領域ＴＧ１にラベル番号Ｌ１を付与し、領域ＴＧ２にラベル番号Ｌ２を付与する。例えば、ラベル設定部２は、領域ＴＧ１に含まれる画素の画素値を「１」（ラベル番号Ｌ１を示す値）とし、領域ＴＧ２に含まれる画素の画素値を「２」（ラベル番号Ｌ２を示す値）とし、それ以外の領域の画素の画素値を「０」（ラベル番号が付与されていないことを示す値）にしたラベル画像を生成し、当該ラベル画像を尤度取得部３に出力する。このようにして生成されたラベル画像Ｉｍｇ１＿Ｌを、図４に示す。なお、図４では、ラベル番号Ｌ１を付した画像領域の重心Ｃｏ（Ｌ１）およびラベル番号Ｌ２を付した画像領域の重心Ｃｏ（Ｌ２）も図示している。
【0141】
なお、ラベル番号を付与したデータの形式は、上記ラベル画像によるものには限定されないが、以下では、説明便宜のため、ラベル設定部２が、上記ラベル画像を生成し、当該ラベル画像を尤度取得部３に出力する場合について、説明する。
【0142】
時刻ｔにおいて、事前確率分布出力部６は、時刻ｔ−１におけるオブジェクト番号１の物体（以下、「物体＃１」という。）の事後確率分布データを、時刻ｔにおける物体＃１の事前確率分布（事前確率分布データ）として、予測部８に出力する。また、事前確率分布出力部６は、時刻ｔ−１におけるオブジェクト番号２の物体（以下、「物体＃２」という。）の事後確率分布データを、時刻ｔにおける物体＃２の事前確率分布（事前確率分布データ）として、予測部８に出力する。
【0143】
予測部８では、オブジェクト番号ごとに、予測処理が実行される。
【0144】
具体的には、予測部８では、オブジェクト番号ごとに、事前確率分布出力部６により生成された時刻ｔ−１における事前確率分布（事前確率分布データ）に従うパーティクルの集合ｓｔ−１｜ｔ−１（＃ｉ）に基づいて、予測処理を行い、予測処理後のパーティクルの集合ｓｔ｜ｔ−１（＃ｉ）を取得する。
【0145】
例えば、時刻ｔ−１における物体＃ｉ（オブジェクト番号＃ｉの物体）の事前確率分布（事前確率分布データ）に従うパーティクルの集合Ｓｔ−１｜ｔ−１（＃ｉ）（これを「事前確率分布データＳｔ−１｜ｔ−１（＃ｉ）」と表記する。）に含まれる各パーティクルの状態に対して、ランダムウォークのダイナミクスを仮定したガウシアンノイズを重畳させることで、予測処理後のパーティクルの集合Ｓｔ｜ｔ−１（＃ｉ）（これを「予測確率分布データＳｔ｜ｔ−１（＃ｉ）」と表記する。）を取得する。つまり、ｖｔ（ｊ）（＃ｉ）がガウス分布に従うシステムノイズとし、ｓｔ｜ｔ−１（ｉ）（＃ｉ）＝ｆ（ｓｔ−１｜ｔ−１（ｊ）（＃ｉ），ｖｔ（ｊ）（＃ｉ））
ｆ（）：時刻ｔ−１と時刻ｔとの状態変化を表す状態遷移関数
ｖｔ（ｊ）：システムノイズ
により、予測処理後のパーティクルの集合Ｓｔ｜ｔ−１（＃ｉ）を取得する。
【0146】
具体的には、時刻ｔ−１における物体＃ｉの事前確率分布（事前確率分布データ）に従う、ｊ番目のパーティクルの内部状態は、（Ｘｔ−１｜ｔ−１（ｊ）（＃ｉ），Ｙｔ−１｜ｔ−１（ｊ）（＃ｉ），Ｒｔ−１｜ｔ−１（ｊ）（＃ｉ））であり、予測処理後のｊ番目のパーティクルの内部状態は、（Ｘｔ｜ｔ−１（ｊ）（＃ｉ），Ｙｔ｜ｔ−１（ｊ）（＃ｉ），Ｒｔ｜ｔ−１（ｊ）（＃ｉ））であるので、Ｘｔ−１｜ｔ（ｊ）（＃ｉ）＝Ｘｔ−１｜ｔ−１（ｊ）（＃ｉ）＋ΔＸ（ｊ）（＃ｉ）
Ｙｔ−１｜ｔ（ｊ）（＃ｉ）＝Ｙｔ−１｜ｔ−１（ｊ）（＃ｉ）＋ΔＹ（ｊ）（＃ｉ）
Ｒｔ−１｜ｔ（ｊ）（＃ｉ）＝Ｒｔ−１｜ｔ−１（ｊ）（＃ｉ）＋ΔＲ（ｊ）（＃ｉ）
により、予測部８は、物体＃ｉの予測処理後のパーティクルの集合ｓｔ｜ｔ−１（＃ｉ）を取得する。なお、ΔＸ（ｊ）（＃ｉ）、ΔＹ（ｊ）（＃ｉ）、ΔＲ（ｊ）（＃ｉ）は、それぞれ、ガウス分布に従う。
【0147】
このようにして取得された、オブジェクト番号ごとの予測処理後のパーティクルの集合ｓｔ｜ｔ−１（＃ｉ）は、物体＃ｉの予測確率分布データとして、予測部８から尤度取得部３に出力される。
【0148】
尤度取得部３の消去部３１では、観測取得部１から入力される観測データ（画像特徴量抽出画像）に対して、消去処理が実行される。この処理について、図５を用いて説明する。
【0149】
図５は、画像特徴量抽出画像Ｉｍｇ１において、オブジェクト番号＃１の物体に相当する領域ＴＧ１と、オブジェクト番号＃２の物体に相当する領域ＴＧ２と、物体＃１の予測確率分布データＳｔ｜ｔ−１（＃１）に基づいて生成されたパーティクル群Ｐｒｔｃｌ（＃１）と、物体＃２の予測確率分布データＳｔ｜ｔ−１（＃２）に基づいて生成されたパーティクル群Ｐｒｔｃｌ（＃２）（パーティクル群）と、模式的に追加して示した図である。
【0150】
オブジェクト情報管理部４は、消去部３１に対して、処理対象のオブジェクト番号が、＃１、＃２であることを示すオブジェクト情報を出力し、消去部３１は、当該オブジェクト情報に基づいて、物体＃１、＃２についての消去処理を実行する。
【0151】
（１．２．２：追跡中の物体についての処理）追跡中の物体についての処理として、物体＃１に対する処理を例に、以下、説明する。
【0152】
消去部３１は、オブジェクト番号＃１以外の物体に相当する画像領域を消去する。つまり、消去部３１は、オブジェクト番号＃１以外の物体に相当する画像領域の画素の画素値を「０」に置換する。
【0153】
具体的には、図５に示す場合、オブジェクト番号＃１以外の物体は、物体＃２のみであるので、消去部３１は、オブジェクト番号＃２のパーティクルの和集合で示される領域を消去する。消去部３１は、例えば、オブジェクト番号＃２のパーティクル群Ｐｒｔｃｌ（＃２）に含まれる各パーティクルが画像上で占める領域、あるいは、当該領域を所定の大きさだけ拡張した領域を設定し、当該領域の和集合をとった領域を消去対象領域と決定する。図５の消去領域Ｒｅ２は、このようにして決定された、物体＃２の消去対象領域である。
【0155】
図６から分かるように、物体＃２の領域ＴＧ２は、完全に消去されている。
【0156】
消去部３１は、上記のようにして生成した物体＃１の消去処理画像を、データＤ１（＃１）として、尤度算出部３２に出力する。
【0157】
尤度算出部３２では、物体＃１の予測確率分布データＳｔ｜ｔ−１（＃１）と、消去部３１から出力されたデータＤ１（＃１）（消去処理画像Ｉｍｇ１＿ｅ（＃１））とを用いて、物体＃１の尤度ｗ（＃１）が算出される。この処理について、図７を用いて説明する。
【0158】
図７は、尤度算出処理および事後確率分布データを取得する処理を説明するための図である。
【0159】
図７（ａ）は、図６の物体＃１の領域ＴＧ１と、物体＃１のパーティクル群Ｐｒｔｃｌ（＃１）とを抽出して示した図に、図７（ａ）のラインＡ１上に存在するパーティクルに適用される消去処理後観測データ（データＤ１（＃１））と、尤度ｗ（＃１）と、事後確率分布データＳｔ｜ｔ（＃１）とを示した図を追加した図である。
【0160】
図７（ｂ）は、事後確率分布データＳｔ｜ｔ（＃１）に基づくパーティクル群Ｐｒｔｃｌ（＃１）を模式的に示した図である。
【0161】
図７（ａ）のラインＡ１上に５つのパーティクルが存在している。ここでは、説明便宜のため、この５つのパーティクルを用いて、尤度算出部３２が尤度を算出する場合について、説明する。
【0162】
尤度算出部３２は、図７（ａ）の中段に示した消去処理後の観測データ（赤色度合いを示す画像特徴量抽出画像の消去処理後の画像のラインＡ１に相当するデータ）と、パーティクルの分布とに基づいて、尤度を算出する。つまり、尤度算出部３２は、各パーティクルが占める画像領域内の消去処理後観測データの値（消去処理画像において、各パーティクルが占める画像領域内の画素の画素値）を積算し、その積算値を尤度とする。このようにして算出された、ラインＡ１上の５つのパーティクルの尤度は、図７（ａ）の下段の図（尤度ｗ（＃１）の部分の図）において、黒い丸として示している。なお、黒い丸の大きさが大きい程、尤度の値が大きいことを示している。図７（ａ）の下段の図から分かるように、中央付近の尤度が大きな値となっていることが分かる。
【0163】
このようにして、尤度算出部３２は、予測確率分布データＳｔ｜ｔ−１（＃１）と、消去処理後観測データＤ１（＃１）（消去処理画像Ｉｍｇ１＿ｅ（＃１））と、を用いて、尤度ｗ（＃１）を算出する。
【0164】
そして、算出された尤度ｗ（＃１）は、追跡オブジェクト決定部３７に出力される。
【0165】
追跡オブジェクト決定部３７は、物体＃１の予測確率分布データＳｔ｜ｔ−１（＃１）と、尤度算出部３２により算出された尤度ｗ（＃１）とに基づいて、物体＃１の事後確率分布データＳｔ｜ｔ（＃１）（物体＃１の事後確率分布に従うパーティクル集合Ｓｔ｜ｔ（＃１））を取得する。
【0166】
そして、追跡オブジェクト決定部３７は、物体＃１の事後確率分布データＳｔ｜ｔ（＃１）に基づいて生成されるパーティクル群Ｐｒｔｃｌ（＃１）に含まれる各パーティクルが画像上で占める領域、あるいは、当該領域を所定の大きさだけ拡張した領域を設定し、当該領域の和集合をとった領域を、ラベル判定領域ＲＬ（＃１）として、決定する。また、追跡オブジェクト決定部３７は、ラベル画像を参照し、同一ラベル番号が付された領域（閉じた領域）の重心を求める。そして、追跡オブジェクト決定部３７は、ラベル判定領域ＲＬ（＃１）内に、ラベル画像において検出された同一ラベル番号が付された領域（閉じた領域）の重心が含まれるか否かを判定する。この処理について、図７を用いて説明する。
【0167】
図７（ａ）の下段の図に示すように、追跡オブジェクト決定部３７は、物体＃１の予測確率分布データＳｔ｜ｔ−１（＃１）と、尤度ｗ（＃１）とに基づいて、物体＃１の事後確率分布データＳｔ｜ｔ（＃１）を取得する。追跡オブジェクト決定部３７は、各パーティクルの尤度ｗ（ｊ）（＃１）が大きい程、多数のパーティクルが割り当てられるように、パーティクルを復元抽出する。したがって、追跡オブジェクト決定部３７は、図７（ａ）の下段の図に示すように、領域ＴＧの中心から遠い位置のパーティクルが消滅し、領域ＴＧの中心付近にパーティクルが多く割り当てられるように、物体＃１の事後確率分布データＳｔ｜ｔ（＃１）を取得する。
【0168】
これにより、図７（ｂ）に示すように、領域ＴＧ１の中心付近に多くのパーティクルが集中するように、物体＃１の事後確率分布データＳｔ｜ｔ（＃１）が取得される。
【0169】
そして、追跡オブジェクト決定部３７は、ラベル判定領域ＲＬ（＃１）を、図７（ｂ）に示す領域ＲＬ（＃１）として取得し、さらに、ラベル画像の閉じた領域の重心が、当該領域ＲＬ（＃１）に存在するか否かを判定する。図７（ｂ）の場合、ラベル設定部２により検出された閉じた領域が領域ＴＧ１と一致しており、当該領域にラベル番号Ｌ１が付されている。そして、当該領域の重心は、図７（ｂ）にバツ印で示した位置（Ｃｏ（Ｌ１））である。
【0170】
この場合、追跡オブジェクト決定部３７は、ラベル判定領域ＲＬ（＃１）内にラベル番号Ｌ１が付された領域の重心Ｃｏ（Ｌ１）があると判定し、当該判定結果を示す情報、すなわち、物体＃１に対応するラベル番号がＬ１であることを示す情報を、ラベル情報Ｌ＿ｉｎｆｏとして、オブジェクト情報管理部４に出力する。そして、オブジェクト情報管理部４は、追跡オブジェクト決定部３７から出力された上記判定結果を示すラベル情報Ｌ＿ｉｎｆｏを保持する。
【0171】
なお、上記処理は、尤度算出部３２により算出された尤度の和（各パーティクルにより算出された尤度の和）が所定の閾値よりも大きい場合のみ実行されることが好ましい。
【0172】
物体＃２についても、上記の物体＃１についての処理と同様の処理が実行される。
【0173】
つまり、尤度算出部３２は、予測確率分布データＳｔ｜ｔ−１（＃２）と、消去処理後観測データＤ１（＃２）（消去処理画像Ｉｍｇ１＿ｅ（＃２））と、を用いて、尤度ｗ（＃２）を算出する。
【0174】
そして、算出された尤度ｗ（＃２）は、追跡オブジェクト決定部３７に出力される。
【0175】
追跡オブジェクト決定部３７は、上記と同様にして、物体＃２の事後確率分布データＳｔ｜ｔ（＃２）から取得したラベル判定領域ＲＬ（＃２）内に、ラベル設定部２により、ラベル番号が付された領域の重心があるか否かを判定する。なお、ここでは、ラベル設定部２により、領域ＴＧ２にラベル番号Ｌ２が付され、その重心Ｃｏ（Ｌ２）が、領域ＴＧ２の中心位置と一致しているものとする。この場合、追跡オブジェクト決定部３７は、ラベル判定領域ＲＬ（＃２）内に、ラベル番号Ｌ２が付された領域の重心Ｃｏ（Ｌ２）があると判定し、当該判定結果を示す情報、すなわち、物体＃２に対応するラベル番号がＬ２であることを示す情報を、ラベル情報Ｌ＿ｉｎｆｏとして、オブジェクト情報管理部４に出力する。そして、オブジェクト情報管理部４は、追跡オブジェクト決定部３７から出力された上記判定結果を示すラベル情報Ｌ＿ｉｎｆｏを保持する。
【0176】
なお、上記処理は、尤度算出部３２により算出された尤度の和（各パーティクルにより算出された尤度の和）が所定の閾値よりも大きい場合のみ実行されることが好ましい。
【0178】
オブジェクト情報管理部４は、処理対象の物体のオブジェクト番号が「＃０」であることを示すオブジェクト情報を、消去部３１に出力する。
【0179】
そして、消去部３１は、オブジェクト情報管理部４からのオブジェクト情報に基づいて、新規オブジェクトの発見処理のための消去処理を実行する。
【0180】
消去部３１は、新規オブジェクトの発見処理のために、追跡中のオブジェクトに相当する領域を消去した消去処理後データ（消去処理画像）Ｄ１（＃０）を生成する。具体的には、消去部３１は、観測データである画像特徴量抽出画像Ｉｍｇ１から、追跡中の物体＃１、＃２に相当する領域ＴＧ１、ＴＧ２を消去した画像（消去画像）を生成する。
【0181】
消去部３１は、オブジェクト番号＃１、＃２の物体に相当する画像領域の画素の画素値を「０」に置換する。
【0182】
つまり、オブジェクト番号＃１、＃２のパーティクルの和集合で示される領域を消去する。消去部３１は、例えば、オブジェクト番号＃１のパーティクル群Ｐｒｔｃｌ（＃１）およびオブジェクト番号＃２のパーティクル群Ｐｒｔｃｌ（＃２）に含まれる各パーティクルが画像上で占める領域、あるいは、当該領域を所定の大きさだけ拡張した領域を設定し、当該領域の和集合をとった領域を消去対象領域と決定する。図５の消去領域Ｒｅ１は、このようにして決定された、物体＃１の消去対象領域であり、図５の消去領域Ｒｅ２は、このようにして決定された、物体＃２の消去対象領域である。
【0184】
図８から分かるように、物体＃２の領域ＴＧ２は、完全に消去されているが、物体＃１の領域ＴＧ１には、消去されずに残っている領域Ｒ１＿ｒｅｓｔが存在する。
【0185】
消去部３１は、上記のようにして生成した新規物体発見処理用の消去処理画像Ｉｍｇ１＿ｅ（＃０）を、データＤ１（＃０）として、尤度算出部３２に出力する。
【0186】
尤度算出部３２は、新規物体発見用の粒子（パーティクル）を追加し、当該パーティクルを用いて、尤度を算出する。例えば、尤度算出部３２は、乱数を用いて、新たに粒子（オブジェクト番号＃０の粒子）を生成し、新規物体発見用の粒子とする。この新たな粒子は、例えば、消去処理画像上で、各粒子の位置が一様分布となるように生成される。
【0187】
そして、尤度算出部３２は、消去処理画像Ｉｍｇ１＿ｅ（＃０）を観測データ（観測モデル）として、新規物体発見用の粒子（パーティクル）により尤度ｗ（＃０）を算出する。つまり、尤度算出部３２は、消去処理画像Ｉｍｇ１＿ｅ（＃０）と、新規物体発見用の粒子（パーティクル）の分布とに基づいて、尤度ｗ（＃０）を算出する。
【0188】
尤度算出部３２により算出された尤度ｗ（＃０）は、新オブジェクト候補領域検出部３３に出力される。
【0189】
新オブジェクト候補領域検出部３３では、尤度ｗ（＃０）に基づいて、新規オブジェクトの候補領域が検出される。この処理について、図９を用いて、説明する。
【0190】
図９は、消去処理画像Ｉｍｇ１＿ｅ（＃０）に対して、新規オブジェクトの候補領域を検出する処理を説明するための図である。
【0191】
図９では、尤度算出部３２により所定の値以上の尤度として算出された尤度を導出したパーティクルのみを示している（パーティクル群Ｐｒｔｃｌ（＃０）として示している）。つまり、図９に描かれているパーティクル以外のパーティクルは、消去処理画像の画素値が「０」であるため、当該パーティクルに基づいて、算出される尤度は「０」となる。一方、領域Ｒ１＿ｒｅｓｔ上に配置されたパーティクルは、消去処理画像の画素値が「０」ではないため、当該パーティクルに基づいて、算出される尤度は「０」にはならない（正の値を有する）。
【0192】
新オブジェクト候補領域検出部３３は、図９に示したパーティクルと、そのパーティクルにより算出された尤度とに基づいて、新オブジェクト候補領域Ｒｎｅｗ（＃０）を検出する。
【0193】
具体的には、新オブジェクト候補領域検出部３３は、正の値の尤度を導出したパーティクル（図９に小さな丸で示したパーティクル）が画像上で占める領域、あるいは、当該領域を所定の大きさだけ拡張した領域を設定し、当該領域の和集合をとった領域を、新オブジェクト候補領域Ｒｎｅｗ（＃０）として、決定（検出）する。図９では、このようにして決定（検出）された新オブジェクト候補領域を、領域Ｒｎｅｗ（＃０）として、示している。
【0194】
新オブジェクト候補領域検出部３３は、上記のようにして決定（検出）した新オブジェクト候補領域Ｒｎｅｗ（＃０）についての情報をｄｅｔ＿ｒｅｇｉｏｎとして、重心検出部３４に出力する。
【0195】
重心検出部３４は、新オブジェクト候補領域検出部３３により検出された新オブジェクト候補領域Ｒｎｅｗ（＃０）の重心位置Ｃｏ（Ｒｎｅｗ（＃０））を検出する。そして、重心検出部３４は、検出した重心位置Ｃｏ（Ｒｎｅｗ（＃０））についての情報を新オブジェクト検出部３５に出力する。
【0196】
新オブジェクト検出部３５は、ラベル画像において、重心検出部３４により検出された新オブジェクト候補領域Ｒｎｅｗ（＃０）の重心位置Ｃｏ（Ｒｎｅｗ（＃０））と同じ座標位置において、追跡中の物体のラベル番号が付されているか否かを判定する。
【0197】
図９の場合、新オブジェクト候補領域Ｒｎｅｗ（＃０）の重心位置Ｃｏ（Ｒｎｅｗ（＃０））は、図９のバツ印で示した位置であり、当該位置と同じ座標位置におけるラベル画像Ｉｍｇ１＿Ｌ（図４に示したラベル画像Ｉｍｇ１＿Ｌ）の画素の画素値は、「１」（ラベル番号Ｌ１が付されていることを示す値）である。つまり、新オブジェクト候補領域Ｒｎｅｗ（＃０）は、ラベル番号Ｌ１が付されている追跡中の物体＃１の消去処理後に残った領域である。したがって、この場合、新オブジェクト検出部３５は、新オブジェクト候補領域Ｒｎｅｗ（＃０）は、新規オブジェクトに対応する領域ではないと判定し、判定結果データｄｅｔ＿ｎｅｗを「０」に設定し、当該判定結果データｄｅｔ＿ｎｅｗを追跡オブジェクト決定部３７およびセレクタ３６に出力する。つまり、この場合（図９の場合）、新オブジェクト検出部３５により、新規オブジェクトは発見されていないと正しく判定することができる。
【0198】
セレクタ３６は、新オブジェクト検出部３５からの判定結果データｄｅｔ＿ｎｅｗが「０」であるので、追跡オブジェクト決定部３７に、「０」を出力する。なお、セレクタ３６は、新オブジェクト検出部３５からの判定結果データｄｅｔ＿ｎｅｗが「０」である場合、追跡オブジェクト決定部３７に、何も出力しないようにしてもよい。
【0199】
（１．２．４：追跡オブジェクト決定処理）追跡オブジェクト決定部３７は、新オブジェクト検出部３５からの判定結果データｄｅｔ＿ｎｅｗが「０」であるので、新規オブジェクトは発見されていないと判断し、追跡中の物体＃１、＃２を現時刻ｔ以降においても追跡対象とすべきか否かの最終判定を行う。そして、追跡オブジェクト決定部３７は、追跡対象とした物体を追跡するために、正規化後の尤度ｗ＿ａｌｌを取得する。この処理について、具体的に説明する。
【0200】
追跡オブジェクト決定部３７は、入力された尤度ｗ（＃１）と尤度ｗ（＃２）との合計が所定の値（例えば、「１」）となるように正規化し、正規化後の尤度ｗ＿ａｌｌを用いて、オブジェクト番号ごとに、尤度の和を算出する。
【0201】
そして、追跡オブジェクト決定部３７は、（１）算出した尤度の和が所定の閾値ｔｈ１を超える場合、当該オブジェクト番号のオブジェクトに対する追跡処理を継続させるために、ステータスを「Ｓｕｒｖｉｖｅ」に設定し、（２）算出した尤度の和が所定の閾値ｔｈ１を超えない場合、当該オブジェクト番号のオブジェクトに対する追跡処理を停止させるために、ステータスを「Ｄｉｓｃａｒｄ」に設定する。
【0202】
観測データが図３の画像特徴量抽出画像Ｉｍｇ１である場合、オブジェクト番号＃１の正規化後の尤度の和も、オブジェクト番号＃２の正規化後の尤度の和も、ともに、閾値ｔｈ１を超えるので、追跡オブジェクト決定部３７は、物体＃１のステータスを「Ｓｕｒｖｉｖｅ」に設定し、物体＃２のステータスを「Ｓｕｒｖｉｖｅ」に設定する。なお、観測データが図３の画像特徴量抽出画像Ｉｍｇ１である場合、閾値ｔｈ１は、オブジェクト番号＃１の正規化後の尤度の和よりも大きく、かつ、オブジェクト番号＃２の正規化後の尤度の和よりも大きな値に設定されているものとする。
【0203】
また、追跡オブジェクト決定部３７は、ラベル設定部２から出力されるラベル画像（ラベル番号）を参照し、上記判定処理により追跡処理を継続させると判定したオブジェクトと、ラベル番号との対応付けを示すラベル情報Ｌ＿ｉｎｆｏを生成し、オブジェクト情報管理部４に出力する。つまり、上記の場合、追跡オブジェクト決定部３７は、物体＃１のステータスが「Ｓｕｒｖｉｖｅ」であり、物体＃１のラベル番号が「Ｌ１」であることを示す情報と、物体＃２のステータスが「Ｓｕｒｖｉｖｅ」であり、物体＃２のラベル番号が「Ｌ２」であることを示す情報とをオブジェクト情報管理部４に出力する。
【0204】
そして、オブジェクト情報管理部４は、追跡オブジェクト決定部３７から出力される上記情報に基づいて、時刻ｔにおいて追跡対象となった物体についての情報である新オブジェクト情報を生成し、当該新オブジェクト情報を保持する。
【0205】
また、追跡オブジェクト決定部３７は、正規化後の尤度ｗ＿ａｌｌを最終決定部３８に出力する。
【0206】
最終決定部３８は、オブジェクト情報管理部４から新オブジェクト情報を入力し、当該新オブジェクト情報に基づいて、正規化後の尤度ｗ＿ａｌｌから、追跡するオブジェクト（新規に追跡を開始するオブジェクトを含む。）についての尤度のみを残し、さらに、残した尤度の和が所定の値（例えば、「１」）となるように正規化し、正規化後の尤度を用いて、オブジェクト番号ごとに、最終の尤度を決定する。
【0207】
観測データが図３の画像特徴量抽出画像Ｉｍｇ１である場合、正規化後の尤度ｗ＿ａｌｌは、追跡対象と判定された物体＃１の尤度および物体＃２の尤度のみを含むので（追跡オブジェクト決定部３７で「Ｄｉｓｃａｒｄ」と判定されたオブジェクト番号の物体（画像特徴量抽出画像Ｉｍｇ１上の領域）が存在しないので）、最終決定部３８で決定される最終の尤度は、最終決定部３８に入力される尤度ｗ＿ａｌｌと同じになる。
【0208】
そして、最終決定部３８は、決定した最終の尤度を事後確率分布推定部５に出力する。
【0209】
また、最終決定部３８は、新オブジェクト情報に基づいて、予測確率分布データ追跡するオブジェクト（新規に追跡を開始するオブジェクトを含む。）についての予測確率分布データのみが残るように、予測確率分布データを更新する。なお、この更新された予測確率分布データを「更新確率分布データ」という。
【0210】
観測データが図３の画像特徴量抽出画像Ｉｍｇ１である場合、最終決定部３８は、最終決定部３８から出力される予測確率分布データを、追跡対象と判定された物体＃１の予測確率分布データＳｔ｜ｔ−１（＃１）、および、追跡対象と判定された物体＃２の予測確率分布データＳｔ｜ｔ−１（＃２）のみを含むデータとする。
【0211】
上記のようにして取得された、オブジェクト番号ごとの、尤度と予測確率分布データとは、最終決定部３８から事後確率分布推定部５に出力される。
【0212】
事後確率分布推定部５では、オブジェクト番号ごとに、尤度取得部３により取得された、尤度と、更新確率分布データとに基づいて、リサンプリングが実行される。
【0213】
つまり、事後確率分布推定部５は、時刻ｔにおける最終決定部３８から出力される物体＃１の尤度をｗｔ（ｊ）（＃１）とすると、尤度ｗｔ（ｊ）（＃１）に比例する割合でＭ１個のパーティクル（粒子）を復元抽出する（パーティクルｘａｔ（ｊ）（＃１）（物体＃１のｊ番目の粒子）を抽出する）。このようにして復元抽出されたＭ１個のパーティクルの分布から、時刻ｔの事後確率分布ｐ（ｘｔ（＃１）｜ｙｔ（＃１））に従って生成されたサンプル集合（パーティクルの集合）Ｓｔ｜ｔ（＃１）、すなわち、Ｓｔ｜ｔ（＃１）＝｛ｓｔ｜ｔ（１）（＃１），ｓｔ｜ｔ（２）（＃１），・・・，ｓｔ｜ｔ（Ｍ１）（＃１）｝
を取得する。
【0214】
また、事後確率分布推定部５は、時刻ｔにおける最終決定部３８から出力される物体＃２の尤度をｗｔ（ｊ）（＃２）とすると、尤度ｗｔ（ｊ）（＃２）に比例する割合でＭ２個のパーティクル（粒子）を復元抽出する（パーティクルｘａｔ（ｊ）（＃２）（物体＃２のｊ番目の粒子）を抽出する）。このようにして復元抽出されたＭ２個のパーティクルの分布から、時刻ｔの事後確率分布ｐ（ｘｔ（＃２）｜ｙｔ（＃２））に従って生成されたサンプル集合（パーティクルの集合）Ｓｔ｜ｔ（＃２）、すなわち、Ｓｔ｜ｔ（＃２）＝｛ｓｔ｜ｔ（１）（＃２），ｓｔ｜ｔ（２）（＃２），・・・，ｓｔ｜ｔ（Ｍ２）（＃２）｝
を取得する。
【0215】
なお、物体＃１について復元抽出される粒子数Ｍ１と、物体＃１について復元抽出される粒子数Ｍ２とは、その合計値（Ｍ１＋Ｍ２）が一定値となるように設定されている。
【0216】
以上のようにして取得された追跡中の物体ごと（オブジェクト番号ごとの）事後確率分布データ（Ｓｔ｜ｔ（＃１）、Ｓｔ｜ｔ（＃２））は、状態推定装置１０００から出力されるとともに、事前確率分布出力部６に出力される。
【0217】
事前確率分布出力部６は、事後確率分布推定部５から入力された時刻ｔにおける事後確率分布（事後確率分布データ）を、次の時刻ｔ＋１において、事前確率分布（事前確率分布データ）として、予測部８に出力する。
【0218】
そして、以降、上記と同様の処理を繰り返すことで、状態推定装置１０００では、複数の物体を適切に追跡する。
【0219】
（１．２．５：新規オブジェクトの発見処理（図１０〜図１１の場合））次に、ラベル画像において、新オブジェクト候補領域検出部３３により検出された新オブジェクト候補領域Ｒｎｅｗ（＃０）の重心位置Ｃｏ（Ｒｎｅｗ（＃０））と同じ座標位置に、追跡中の物体のラベル番号が付与されていない場合の新規オブジェクトの発見処理について、図１０〜図１５を用いて説明する。
【0220】
図１０は、時刻ｔにおける観測データを模式的に示す図である。具体的には、図１０は、時刻ｔにおいて、観測取得部１により取得された赤色度合いの高い領域を抽出した画像Ｉｍｇ２（画像特徴量抽出画像Ｉｍｇ２）である。画像Ｉｍｇ２において、領域ＴＧ１は、赤色の物体（オブジェクト）に相当する画像領域である。なお、以下では、領域ＴＧ１に対応するオブジェクトのオブジェクト番号を「＃１」として説明する。
【0222】
図１２は、消去処理画像Ｉｍｇ１＿ｅ（＃０）に対して、新規オブジェクトの候補領域を検出する処理を説明するための図である。説明便宜のため、消去部３１により消去処理が実行された後、残った領域が、図１２に示す領域Ｒ１＿ｒｅｓｔ１および領域Ｒ１＿ｒｅｓｔ２であるものとして、以下、説明する。また、図１２では、消去処理後の残存領域との位置関係を明確にするため、物体＃１に対応する領域ＴＧ１を破線で示している。
【0223】
また、図１２では、尤度算出部３２により所定の値以上の尤度として算出された尤度を導出したパーティクルのみを示している（パーティクル群Ｐｒｔｃｌ（＃０）として示している）。つまり、図１２に描かれているパーティクル以外のパーティクルは、消去処理画像の画素値が「０」であるため、当該パーティクルに基づいて、算出される尤度は「０」となる。一方、領域Ｒ１＿ｒｅｓｔ１および領域Ｒ１＿ｒｅｓｔ２上に配置されたパーティクルは、消去処理画像の画素値が「０」ではないため、当該パーティクルに基づいて、算出される尤度は「０」にはならない（正の値を有する）。
【0224】
新オブジェクト候補領域検出部３３は、図１２に示したパーティクルと、そのパーティクルにより算出された尤度とに基づいて、新オブジェクト候補領域Ｒｎｅｗ（＃０）を検出する。
【0225】
具体的には、新オブジェクト候補領域検出部３３は、正の値の尤度を導出したパーティクル（図１２に小さな丸で示したパーティクル）が画像上で占める領域、あるいは、当該領域を所定の大きさだけ拡張した領域を設定し、当該領域の和集合をとった領域を、新オブジェクト候補領域Ｒｎｅｗ（＃０）として、決定（検出）する。図１２では、このようにして決定（検出）された新オブジェクト候補領域を、領域Ｒｎｅｗ（＃０）として、示している。なお、検出されえた領域Ｒｎｅｗ（＃０）は、図１２から分かるように、２つの分断された領域となっている。
【0226】
新オブジェクト候補領域検出部３３は、上記のようにして決定（検出）した新オブジェクト候補領域Ｒｎｅｗ（＃０）についての情報をｄｅｔ＿ｒｅｇｉｏｎとして、重心検出部３４に出力する。
【0227】
重心検出部３４は、新オブジェクト候補領域検出部３３により検出された新オブジェクト候補領域Ｒｎｅｗ（＃０）の重心位置Ｃｏ（Ｒｎｅｗ（＃０））を検出する。そして、重心検出部３４は、検出した重心位置Ｃｏ（Ｒｎｅｗ（＃０））についての情報を新オブジェクト検出部３５に出力する。図１２の場合、領域Ｒｎｅｗ（＃０）は、２つに分断された領域であるので、その重心位置Ｃｏ（Ｒｎｅｗ（＃０））は、図１２に示したバツ印の位置となる。
【0228】
新オブジェクト検出部３５は、ラベル画像において、重心検出部３４により検出された新オブジェクト候補領域Ｒｎｅｗ（＃０）の重心位置Ｃｏ（Ｒｎｅｗ（＃０））と同じ座標位置において、追跡中の物体のラベル番号が付されているか否かを判定する。
【0229】
図１２の場合、新オブジェクト候補領域Ｒｎｅｗ（＃０）の重心位置Ｃｏ（Ｒｎｅｗ（＃０））は、図１２のバツ印で示した位置であり、当該位置と同じ座標位置におけるラベル画像Ｉｍｇ１＿Ｌ（図１１に示したラベル画像Ｉｍｇ１＿Ｌ）の画素の画素値は、「０」（ラベルが付されていないことを示す値）である。
【0230】
この場合、新オブジェクト検出部３５は、探索処理を実行し、新オブジェクト候補領域Ｒｎｅｗ（＃０）が、新規オブジェクトに相当する領域であるのか、それとも、追跡中の物体の消去処理後の残存領域であるのかを判定する。この探索処理について、図１３を用いて説明する。
【0232】
新オブジェクト検出部３５は、新オブジェクト候補領域Ｒｎｅｗ（＃０）の重心位置Ｃｏ（Ｒｎｅｗ（＃０））におけるラベル画像Ｉｍｇ１＿Ｌの画素値が「０」（付与されているラベル番号がないことを示す画素値）である場合、すなわち、Ｌａｂｅｌ（Ｃｏ（Ｒｎｅｗ（＃０）））＝０
Ｌａｂｅｌ（ｘ）：点ｘのラベル番号を取得する関数
である場合、所定の大きさの探索領域ｓ＿ａｒｅａを設定する。そして、新オブジェクト検出部３５は、ラベル画像Ｉｍｇ１＿Ｌの当該探索領域に相当する領域内に、「０」ではないラベル番号であって追跡オブジェクト決定部３７により追跡中の物体と対応付けられているラベル番号を有する画素が存在するか否かを判定する。
【0233】
図１３のように、探索領域ｓ＿ａｒｅａが円状の領域として設定された場合、新オブジェクト検出部３５は、ラベル画像Ｉｍｇ１＿Ｌにおいて、新オブジェクト候補領域Ｒｎｅｗ（＃０）の重心Ｃｏ（Ｒｎｅｗ（＃０））との距離が小さい画素から順に（例えば、図１３に示すらせん状の矢印ｄｉｒ１が示す方向にある画素を順番に）画素を探索して、探索領域ｓ＿ａｒｅａ内に、「０」ではないラベル番号を有する画素が存在するか否かを判定する。
【0234】
新オブジェクト検出部３５が、探索処理により、最初にラベル番号が「０」ではない画素を検出した点を図１３の点ｄｅｔ＿ｐとした場合、新オブジェクト検出部３５は、探索処理により、点ｄｅｔ＿ｐのラベル番号を取得し、点ｄｅｔ＿Ｐにおけるラベル番号がＬ１（ラベル画像Ｉｍｇ１＿Ｌ上の点ｄｅｔ＿ｐの画素値が「１」）である、つまり、Ｌａｂｅｌ（Ｃｏ（Ｒｎｅｗ（＃０）））＝Ｌ１
であることを検出する。ラベル番号Ｌ１の物体は、物体＃１であり、追跡中の物体であるので、新オブジェクト検出部３５は、上記検出結果により、新オブジェクト候補領域Ｒｎｅｗ（＃０）は、物体＃１（ラベル番号Ｌ１）の消去処理後の残存領域であると判定する。そして、新オブジェクト検出部３５は、上記判定結果を示す判定結果データｄｅｔ＿ｎｅｗを「０」にして、セレクタ３６および追跡オブジェクト決定部３７に出力する。
【0235】
そして、追跡オブジェクト決定部３７および最終決定部３８において、上記で説明したのと同様の処理（図９の場合の処理の説明）が実行される。
【0237】
なお、新オブジェクト検出部３５は、探索処理における探索領域を、上記のように所定の半径を有する円状の領域（探索開始点（点Ｃｏ（Ｒｎｅｗ（＃０）））からの距離が一定以下の領域）として設定してもよいし、あるいは、新オブジェクト候補領域Ｒｎｅｗ（＃０）を含むように設定される円状の領域（例えば、図１４の領域ｓ＿ａｒｅａ１）や、楕円状の領域（例えば、図１４の領域ｓ＿ａｒｅａ２）や、矩形状の領域（例えば、図１５の矩形領域ｓ＿ａｒｅａ３）として設定してもよい。
【0238】
また、新オブジェクト検出部３５は、探索処理における探索領域を、追跡中の物体の平均的な大きさに基づいて、設定するようにしてもよい。この場合、追跡オブジェクト決定部３７が、追跡中の物体の大きさを、例えば、ラベル判定エリアに基づいて決定し、決定した物体の大きさについての情報をオブジェクト情報管理部４が保持する。そして、新オブジェクト検出部３５は、オブジェクト情報管理部４が保持している追跡中の物体の大きさについての情報を取得し、追跡中の物体の大きさの平均値を算出し、算出した値により、探索領域を設定するようにしてもよい。新オブジェクト検出部３５は、追跡中の物体の大きさの平均値に基づいて、円状、楕円上、あるいは、矩形状の領域を設定し、当該領域を探索領域としてもよい。
【0240】
図１６は、時刻ｔにおける観測データを模式的に示す図である。具体的には、図１６は、時刻ｔにおいて、観測取得部１により取得された赤色度合いの高い領域を抽出した画像Ｉｍｇ３（画像特徴量抽出画像Ｉｍｇ３）である。画像Ｉｍｇ３において、領域ＴＧ１、ＴＧ２、ＴＧ３＿ｎｅｗは、それぞれ、赤色の物体（オブジェクト）に相当する画像領域である。なお、以下では、領域ＴＧ１に対応する物体のオブジェクト番号を「＃１」とし、領域ＴＧ２に対応する物体のオブジェクト番号を「＃２」とする。そして、物体＃１および物体＃２は、追跡中の物体であるものとする。そして、領域ＴＧ３＿ｎｅｗに対応する物体が新規物体（新たに現れた物体）であるものとする。
【0241】
図１７は、ラベル設定部２が、図１６の画像特徴量抽出画像Ｉｍｇ３から生成したラベル画像Ｉｍｇ３＿Ｌである。図１７では、追跡中の物体＃１に対応する領域として領域Ｒ（Ｌ１）が検出されており、当該領域にラベル番号Ｌ１が付されており、追跡中の物体＃２に対応する領域として領域Ｒ（Ｌ２）が検出されており、当該領域にラベル番号Ｌ２が付されており、新規物体（画像特徴量抽出画像Ｉｍｇ３ｎｏ領域ＴＧ３＿ｎｅｗに対応する物体）に対応する領域として領域Ｒ（Ｌ３）が検出されており、当該領域にラベル番号Ｌ３が付されているものとして、以下、説明する。また、図１７では、領域Ｒ（Ｌ１）、領域Ｒ（Ｌ２）、および、領域Ｒ（Ｌ３）の重心を、それぞれ、Ｃｏ（Ｌ１）、Ｃｏ（Ｌ２）、および、Ｃｏ（Ｌ３）として図示している。
【0242】
図１８は、消去処理画像Ｉｍｇ１＿ｅ（＃０）に対して、新規オブジェクトの候補領域を検出する処理を説明するための図である。説明便宜のため、消去部３１により消去処理が実行された後、残った領域が、図１８に示す領域Ｒ３＿ｒｅｓｔであるものとして、以下、説明する。
【0243】
また、図１８では、尤度算出部３２により所定の値以上の尤度として算出された尤度を導出したパーティクルのみを示している（パーティクル群Ｐｒｔｃｌ（＃０）として示している）。つまり、図１８に描かれているパーティクル以外のパーティクルは、消去処理画像の画素値が「０」であるため、当該パーティクルに基づいて、算出される尤度は「０」となる。一方、領域Ｒ３＿ｒｅｓｔ上に配置されたパーティクルは、消去処理画像の画素値が「０」ではないため、当該パーティクルに基づいて、算出される尤度は「０」にはならない（正の値を有する）。
【0244】
新オブジェクト候補領域検出部３３は、図１８に示したパーティクルと、そのパーティクルにより算出された尤度とに基づいて、新オブジェクト候補領域Ｒｎｅｗ（＃０）を検出する。
【0245】
具体的には、新オブジェクト候補領域検出部３３は、正の値の尤度を導出したパーティクル（図１８に小さな丸で示したパーティクル）が画像上で占める領域、あるいは、当該領域を所定の大きさだけ拡張した領域を設定し、当該領域の和集合をとった領域を、新オブジェクト候補領域Ｒｎｅｗ（＃０）として、決定（検出）する。図１８では、このようにして決定（検出）された新オブジェクト候補領域を、領域Ｒｎｅｗ（＃０）として、示している。
【0246】
新オブジェクト候補領域検出部３３は、上記のようにして決定（検出）した新オブジェクト候補領域Ｒｎｅｗ（＃０）についての情報をｄｅｔ＿ｒｅｇｉｏｎとして、重心検出部３４に出力する。
【0247】
重心検出部３４は、新オブジェクト候補領域検出部３３により検出された新オブジェクト候補領域Ｒｎｅｗ（＃０）の重心位置Ｃｏ（Ｒｎｅｗ（＃０））を検出する。そして、重心検出部３４は、検出した重心位置Ｃｏ（Ｒｎｅｗ（＃０））についての情報を新オブジェクト検出部３５に出力する。図１８の場合、領域Ｒｎｅｗ（＃０）の重心位置Ｃｏ（Ｒｎｅｗ（＃０））は、図１８に示したバツ印の位置となる。
【0248】
新オブジェクト検出部３５は、ラベル画像において、重心検出部３４により検出された新オブジェクト候補領域Ｒｎｅｗ（＃０）の重心位置Ｃｏ（Ｒｎｅｗ（＃０））と同じ座標位置において、追跡中の物体のラベル番号が付されているか否かを判定する。
【0249】
図１８の場合、新オブジェクト候補領域Ｒｎｅｗ（＃０）の重心位置Ｃｏ（Ｒｎｅｗ（＃０））は、図１８のバツ印で示した位置であり、当該位置と同じ座標位置におけるラベル画像Ｉｍｇ１＿Ｌ（図１７に示したラベル画像Ｉｍｇ１＿Ｌ）の画素の画素値は、「３」（ラベルＬ３が付されていることを示す値）である。
【0250】
この場合、新オブジェクト検出部３５は、ラベル番号Ｌ３が、オブジェクト情報管理部４により保持されているオブジェクト情報により、追跡中の物体に付されているラベル番号と重複するか否かを判定する。追跡中の物体である物体＃１および＃２に付されているラベル番号は、それぞれ、Ｌ１およびＬ２であるので、新オブジェクト候補領域Ｒｎｅｗ（＃０）の重心位置Ｃｏ（Ｒｎｅｗ（＃０））のラベル番号Ｌ３は、追跡中の物体に付されているラベル番号と重複しない。
【0251】
したがって、新オブジェクト検出部３５は、新オブジェクト候補領域Ｒｎｅｗ（＃０）の重心位置Ｃｏ（Ｒｎｅｗ（＃０））のラベル番号Ｌ３は、新規物体に相当するラベル番号であると判定する。つまり、新オブジェクト検出部３５は、新オブジェクト候補領域Ｒｎｅｗ（＃０）が新規物体に対応する領域であると判定する。
【0252】
なお、このとき、新オブジェクト検出部３５は、上記で説明した探索処理を行い、新オブジェクト候補領域Ｒｎｅｗ（＃０）の重心位置Ｃｏ（Ｒｎｅｗ（＃０））の近傍に、追跡中の物体である物体＃１および＃２に付されているラベル番号を有する領域がないかを判定し、その判定の結果、追跡中の物体である物体＃１および＃２に付されているラベル番号を有する領域がないと判定された場合に、新オブジェクト候補領域Ｒｎｅｗ（＃０）が新規物体に対応する領域であると判定するようにしてもよい。
【0253】
そして、新オブジェクト検出部３５は、上記判定結果（新規物体が発見されたことを示す判定結果）を示す判定結果データｄｅｔ＿ｎｅｗを「１」にして、セレクタ３６および追跡オブジェクト決定部３７に出力する。
【0254】
セレクタ３６は、判定結果データｄｅｔ＿ｎｅｗが「１」であるので、尤度算出部３２により取得された尤度ｗ（＃０）を追跡オブジェクト決定部３７に出力する。
【0255】
追跡オブジェクト決定部３７は、新オブジェクト検出部３５からの判定結果データｄｅｔ＿ｎｅｗが「１」であるので、新規オブジェクトが発見されたと判断し、追跡中の物体＃１、＃２、および、新規物体＃０を現時刻ｔ以降においても追跡対象とすべきか否かの最終判定を行う。そして、追跡オブジェクト決定部３７は、追跡対象とした物体および新規物体を追跡するために、正規化後の尤度ｗ＿ａｌｌを取得する。この処理について、具体的に説明する。
【0256】
追跡オブジェクト決定部３７は、入力された尤度ｗ（＃１）、尤度ｗ（＃２）、尤度ｗ（＃０）との合計が所定の値（例えば、「１」）となるように正規化し、正規化後の尤度ｗ＿ａｌｌを用いて、オブジェクト番号ごとに、尤度の和を算出する。
【0257】
そして、追跡オブジェクト決定部３７は、追跡中の物体＃１および物体＃２について、（１）算出した尤度の和が所定の閾値ｔｈ１を超える場合、当該オブジェクト番号のオブジェクトに対する追跡処理を継続させるために、ステータスを「Ｓｕｒｖｉｖｅ」に設定し、（２）算出した尤度の和が所定の閾値ｔｈ１を超えない場合、当該オブジェクト番号のオブジェクトに対する追跡処理を停止させるために、ステータスを「Ｄｉｓｃａｒｄ」に設定する。
【0258】
観測データが図１６の画像特徴量抽出画像Ｉｍｇ３である場合、オブジェクト番号＃１の正規化後の尤度の和も、オブジェクト番号＃２の正規化後の尤度の和も、ともに、閾値ｔｈ１を超えるので、追跡オブジェクト決定部３７は、物体＃１のステータスを「Ｓｕｒｖｉｖｅ」に設定し、物体＃２のステータスを「Ｓｕｒｖｉｖｅ」に設定する。なお、観測データが図１６の画像特徴量抽出画像Ｉｍｇ３である場合、閾値ｔｈ１は、オブジェクト番号＃１の正規化後の尤度の和よりも大きく、かつ、オブジェクト番号＃２の正規化後の尤度の和よりも大きな値に設定されているものとする。
【0259】
そして、追跡オブジェクト決定部３７は、上記のようにして設定したステータスを、オブジェクト情報管理部４に出力する。
【0260】
また、追跡オブジェクト決定部３７は、新規物体＃０について、（１）算出した尤度の和が所定の閾値ｔｈ２を超える場合、新規物体が発見されたと判断し、当該新規物体に対する追跡処理を開始させるために、ステータスを「ＦｏｕｎｄＮｅｗＴａｒｇｅｔ」に設定し、（２）算出した尤度の和が所定の閾値ｔｈ２を超えない場合、新規物体（物体＃０）は発見されなかったと判断し、ステータスを「ＮｏｔＦｏｕｎｄ」に設定する。
【0261】
観測データが図１６の画像特徴量抽出画像Ｉｍｇ３である場合、オブジェクト番号＃０の正規化後の尤度の和は、閾値ｔｈ２を超えるので、新規物体＃０が発見された判定し、追跡オブジェクト決定部３７は、物体＃０のステータスを「ＦｏｕｎｄＮｅｗＴａｒｇｅｔ」に設定する。なお、観測データが図１６の画像特徴量抽出画像Ｉｍｇ３である場合、閾値ｔｈ２は、オブジェクト番号＃０の正規化後の尤度の和よりも大きな値に設定されているものとする。
【0262】
追跡オブジェクト決定部３７は、上記の場合、ステータス「ＦｏｕｎｄＮｅｗＴａｒｇｅｔ」をオブジェクト情報管理部４に出力する。
【0263】
オブジェクト情報管理部４は、ステータス「ＦｏｕｎｄＮｅｗＴａｒｇｅｔ」が入力された場合、追跡中の物体のオブジェクト番号の最大値に「１」を足した値を、新規物体のオブジェクト番号とする。上記の場合、追跡中の物体のオブジェクト番号は、＃１、＃２であるので、オブジェクト情報管理部４は、オブジェクト番号の最大値に「１」を足した値「３」（＃３）を、新規物体のオブジェクト番号とする。
【0264】
また、追跡オブジェクト決定部３７は、正規化後の尤度ｗ＿ａｌｌを最終決定部３８に出力する。
【0265】
最終決定部３８は、オブジェクト情報管理部４から新オブジェクト情報を入力し、当該新オブジェクト情報により、追跡対象の物体が、物体＃１〜＃３であることを認識する。そして、最終決定部３８は、新オブジェクト情報に基づいて、正規化後の尤度ｗ＿ａｌｌから、追跡するオブジェクト（物体＃１〜＃３）についての尤度のみを残し、さらに、残した尤度の和が所定の値（例えば、「１」）となるように正規化し、正規化後の尤度を用いて、オブジェクト番号ごとに、最終の尤度を決定する。
【0266】
観測データが図１６の画像特徴量抽出画像Ｉｍｇ３である場合、正規化後の尤度ｗ＿ａｌｌは、追跡対象と判定された物体＃１の尤度、物体＃２の尤度および物体＃３（新規に発見され、追跡対象となった物体）のみを含むので（追跡オブジェクト決定部３７で「Ｄｉｓｃａｒｄ」あるいは「ＮｏｔＦｏｕｎｄ」と判定されたオブジェクト番号の物体（画像特徴量抽出画像Ｉｍｇ３上の領域）が存在しないので）、最終決定部３８で決定される最終の尤度は、最終決定部３８に入力される尤度ｗ＿ａｌｌと同じになる。
【0267】
そして、最終決定部３８は、決定した最終の尤度を事後確率分布推定部５に出力する。
【0268】
また、最終決定部３８は、新オブジェクト情報に基づいて、予測確率分布データ追跡するオブジェクト（物体＃１〜＃３）についての予測確率分布データのみが残るように、予測確率分布データを更新する。なお、この更新された予測確率分布データを「更新確率分布データ」という。
【0269】
観測データが図１６の画像特徴量抽出画像Ｉｍｇ１６である場合、最終決定部３８は、最終決定部３８から出力される予測確率分布データを、追跡対象と判定された物体＃１の予測確率分布データＳｔ｜ｔ−１（＃１）、追跡対象と判定された物体＃２の予測確率分布データＳｔ｜ｔ−１（＃２）、および、新たに追跡対象と判定された物体＃３の予測確率分布データＳｔ｜ｔ−１（＃３）（追跡中の物体の領域を消去した消去画像に対して、新規物体検出用のパーティクルを適用して取得される確率分布データＳｔ｜ｔ−１（＃３））を含むデータとする。
【0270】
上記のようにして取得された、オブジェクト番号ごとの、尤度と予測確率分布データとは、最終決定部３８から事後確率分布推定部５に出力される。
【0271】
そして、これ以降については、観測データが図３の画像特徴量抽出画像Ｉｍｇ１である場合に説明したのと同様の処理が実行される。
【0272】
以上のように、状態推定装置１０００は、ラベル番号に基づいて、新規物体を発見する処理を実行するので、消去処理画像において、追跡中の物体に対応する領域であって、消去処理により消去できず残存した領域を、新規物体に対応する領域であると誤判定することを適切に防止することができる。
【0273】
また、状態推定装置１０００では、追跡対象物体をオブジェクト番号により管理し、オブジェクト番号ごとに割り当てた粒子（パーティクル）によりパーティクルフィルタ処理を実行するので、適切に複数の物体を追跡する処理を実行することができる。
【0274】
このように、状態推定装置１０００では、適切に複数の物体を追跡するとともに、適切に、新規物体（新規オブジェクト）を発見し、追跡対象に追加することができる。
【0275】
［他の実施形態］上記実施形態では、追跡中の物体が２つである場合について説明したが、これに限定されることはなく、追跡中の物体の数は、「２」以外の数であっても良い。
【0276】
また、上記実施形態において、説明するために用いた図面であって、画像を模式的に示した図において、画像の大きさ、粒子の大きさ、粒子の数等は、説明便宜のために設定したものであり、これらに限定されない。
【0277】
また、上記実施形態において、新オブジェクト候補領域検出部３３が、新オブジェクト候補領域Ｒｎｅｗ（＃０）を決定する場合、正の値の尤度を導出したパーティクルが画像上で占める領域、あるいは、当該領域を所定の大きさだけ拡張した領域を設定し、当該領域の和集合をとった領域を、新オブジェクト候補領域Ｒｎｅｗ（＃０）として、決定（検出）する、として説明を行ったが、これに限定されることはない。例えば、新オブジェクト候補領域Ｒｎｅｗ（＃０）は、対応するパーティクルにより算出された尤度に基づいて、決定されるものであってもよい。なお、パーティクルに基づいて設定（決定）される領域については、上記と同様に、対応するパーティクルにより算出された尤度に基づいて、その拡張領域を決定するようにしてもよい。
【0278】
また、上記実施形態において、画像特徴量抽出画像は、赤色度合いを示すものを一例として説明したが、これに限定されることはなく、画像特徴量抽出画像は、他の画像特徴量を抽出した画像であってもよい。
【0279】
また、上記実施形態において、サンプル集合（パーティクルの集合）Ｓｔ｜ｔ（＃ｉ）のｊ番目のサンプル（パーティクル）ｓｔ｜ｔ（ｊ）（＃ｉ）は、ｊ番目のサンプル（パーティクル）の画像上の座標位置（Ｘｔ（ｊ）（＃ｉ），Ｙｔ（ｊ）（＃ｉ））と、当該座標位置を中心とする円状の画像領域の半径Ｒｔ（ｊ）（＃ｉ）を内部変数とするベクトルデータであるものであるとして、説明したが、これに限定されることはなく、上記内部変数は、半径の代わりに、ｊ番目のサンプル（パーティクル）を中心とする矩形領域の縦方向の幅と横方向の幅としてもよい。また、他の内部変数を用いるようにしてもよい。
【0280】
また、上記実施形態で説明した状態推定装置において、各ブロックは、ＬＳＩなどの半導体装置により個別に１チップ化されても良いし、一部又は全部を含むように１チップ化されても良い。
【0281】
なお、ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
【0282】
また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用しても良い。
【0283】
また、上記各実施形態の各機能ブロックの処理の一部または全部は、プログラムにより実現されるものであってもよい。そして、上記各実施形態の各機能ブロックの処理の一部または全部は、コンピュータにおいて、中央演算装置（ＣＰＵ）により行われる。また、それぞれの処理を行うためのプログラムは、ハードディスク、ＲＯＭなどの記憶装置に格納されており、ＲＯＭにおいて、あるいはＲＡＭに読み出されて実行される。
【0284】
また、上記実施形態の各処理をハードウェアにより実現してもよいし、ソフトウェア（ＯＳ（オペレーティングシステム）、ミドルウェア、あるいは、所定のライブラリとともに実現される場合を含む。）により実現してもよい。さらに、ソフトウェアおよびハードウェアの混在処理により実現しても良い。
【0285】
また、上記実施形態における処理方法の実行順序は、必ずしも、上記実施形態の記載に制限されるものではなく、発明の要旨を逸脱しない範囲で、実行順序を入れ替えることができるものである。
【0286】
前述した方法をコンピュータに実行させるコンピュータプログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体は、本発明の範囲に含まれる。ここで、コンピュータ読み取り可能な記録媒体としては、例えば、フレキシブルディスク、ハードディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、大容量ＤＶＤ、次世代ＤＶＤ、半導体メモリを挙げることができる。
【0287】
上記コンピュータプログラムは、上記記録媒体に記録されたものに限られず、電気通信回線、無線又は有線通信回線、インターネットを代表とするネットワーク等を経由して伝送されるものであってもよい。
【0288】
なお、本発明の具体的な構成は、前述の実施形態に限られるものではなく、発明の要旨を逸脱しない範囲で種々の変更および修正が可能である。
【符号の説明】
【0289】
１０００ 状態推定装置１ 観測取得部
２ ラベル設定部
３ 尤度取得部
３１ 消去部
３２ 尤度算出部
３３ 新オブジェクト候補領域検出部
３４ 重心検出部
３５ 新オブジェクト検出部
３６ セレクタ
３７ 追跡オブジェクト決定部
３８ 最終決定部
４ オブジェクト情報管理部
５ 事後確率分布推定部
６ 事前確率分布出力部
７ 初期状態設定部