特許 6366999 状態推定装置、プログラムおよび集積回路

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6366999

(24)【登録日】2018年7月13日

(45)【発行日】2018年8月1日

(54)【発明の名称】状態推定装置、プログラムおよび集積回路

(51)【国際特許分類】

   G06T 7/00 20170101AFI20180723BHJP

【ＦＩ】

   G06T7/00 350A

【請求項の数】14

【全頁数】35

(21)【出願番号】特願2014-106073(P2014-106073)

(22)【出願日】2014年5月22日

(65)【公開番号】特開2015-222473(P2015-222473A)

(43)【公開日】2015年12月10日

【審査請求日】2017年4月26日

(73)【特許権者】

【識別番号】591128453

【氏名又は名称】株式会社メガチップス

(73)【特許権者】

【識別番号】504174135

【氏名又は名称】国立大学法人九州工業大学

(74)【代理人】

【識別番号】100143498

【弁理士】

【氏名又は名称】中西 健

(74)【代理人】

【識別番号】100125704

【弁理士】

【氏名又は名称】坂根 剛

(74)【代理人】

【識別番号】100104444

【弁理士】

【氏名又は名称】上羽 秀敏

(74)【代理人】

【識別番号】100112715

【弁理士】

【氏名又は名称】松山 隆夫

(74)【代理人】

【識別番号】100120662

【弁理士】

【氏名又は名称】川上 桂子

(72)【発明者】

【氏名】生駒 哲一

(72)【発明者】

【氏名】長谷川 弘

【審査官】 板垣 有紀

(56)【参考文献】

【文献】 特開２００８−２６２３３１（ＪＰ，Ａ）

【文献】 特開２００７−３２８７４６（ＪＰ，Ａ）

【文献】 佐藤 恵一 他，パーティクルフィルタによる３次元位置推定の実験的検討，電気学会研究会資料，日本，一般社団法人電気学会，２０１２年 ８月２４日，IP-12-19 IIS-12-61，pp.27-30

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ７／００

Ｇ０６Ｎ ３／００

(57)【特許請求の範囲】

【請求項1】

観測対象の内部状態を推定する状態推定装置であって、
観測可能な事象から得られる第１観測データを、任意の時間間隔で取得する第１観測取得部と、
観測可能な事象から得られる第２観測データを、任意の時間間隔で取得する第２観測取得部と、
前記第１観測データおよび前記第２観測データに対して、加算処理あるいは論理和演算を行うことで可能性測度データを取得する可能性測度取得部と、
前記第１観測データおよび前記第２観測データに対して、乗算処理あるいは論理積演算を行うことで必然性測度データを取得する必然性測度取得部と、
前時刻ｔ−１に取得された観測対象の内部状態の確率分布である事後確率分布データに対して予測処理を行い、現時刻ｔにおける観測対象の内部状態の確率分布である予測確率分布データを取得する予測部と、
前記予測確率分布データおよび前記可能性測度データに基づいて、第１尤度を取得するともに、前記予測確率分布データおよび前記必然性測度データに基づいて、第２尤度を取得する尤度取得部と、
前記第１尤度と前記予測確率分布データとから、現時刻ｔにおける観測対象の内部状態の確率分布である事後確率分布データを推定する事後確率分布推定部と、
前記事後確率分布推定部により推定された前記事後確率分布データに基づく事前確率分布データを、次時刻ｔ＋１において、事前確率分布データとして出力する事前確率分布出力部と、
を備える状態推定装置。

【請求項2】

前記事後確率分布推定部は、
現時刻ｔにおける事後確率分布データに従い復元抽出されるパーティクルの内部変数に、前記尤度取得部により取得された前記第２尤度に基づいて設定される値を含める、
請求項１に記載の状態推定装置。

【請求項3】

前記事後確率分布データをＳ_ｔ｜ｔとし、前記事後確率分布データＳ_ｔ｜ｔに従って取得されたｉ番目のパーティクルの内部変数の１つをｗｎ_ｔ｜ｔ^（ｉ）とし、前記尤度取得部により取得された、当該パーティクルに対応する前記第２尤度をｗｎとすると、
前記事後確率分布推定部は、
ｗｎ_ｔ｜ｔ^（ｉ）＝ｗｎ
により規定される値を、現時刻ｔにおける事後確率分布データに従い復元抽出されるパーティクルの内部変数に含める、
請求項２に記載の状態推定装置。

【請求項4】

前記事後確率分布データをＳ_ｔ｜ｔとし、前記事後確率分布データＳ_ｔ｜ｔに従って取得されたｉ番目のパーティクルの内部変数の１つをｗｎ_ｔ｜ｔ^（ｉ）とし、前記尤度取得部により取得された、当該パーティクルに対応する前記第１尤度をｗｐとし、前記尤度取得部により取得された、当該パーティクルに対応する前記第２尤度をｗｎとし、現時刻ｔにおける事後確率分布データに従い復元抽出されるパーティクル数をＭ１（Ｍ１：自然数）とし、現時刻ｔにおける事後確率分布データに従い復元抽出されるパーティクルの第１尤度ｗｐに基づく内部変数をｗｐ_ｔ｜ｔ^（ｉ）すると、
前記事後確率分布推定部は、
ｗｎ_ｔ｜ｔ^（ｉ）＝ｗｐ_ｔ｜ｔ^（ｉ）×ｗｎ／ｗｐ
＝（１／Ｍ１）×ｗｎ／ｗｐ
により規定される値を、現時刻ｔにおける事後確率分布データに従い復元抽出されるパーティクルの内部変数に含める、
請求項２に記載の状態推定装置。

【請求項5】

前記事後確率分布データをＳ_ｔ｜ｔとし、前記事後確率分布データＳ_ｔ｜ｔに従って取得されたｉ番目のパーティクルの内部変数の１つをｗｎ_ｔ｜ｔ^（ｉ）とし、前記尤度取得部により取得された、当該パーティクルに対応する前記第１尤度をｗｐとし、前記尤度取得部により取得された、当該パーティクルに対応する前記第２尤度をｗｎとし、現時刻ｔにおける事後確率分布データに従い復元抽出されるパーティクル数をＭ１（Ｍ１：自然数）とし、現時刻ｔにおける事後確率分布データに従い復元抽出されるパーティクルの第１尤度ｗｐに基づく内部変数をｗｐ_ｔ｜ｔ^（ｉ）すると、
前記事後確率分布推定部は、
ｗｎ_ｔ｜ｔ^（ｉ）＝ｗｐ_ｔ｜ｔ^（ｉ）−（ｗｐ−ｗｎ）
＝（１／Ｍ１）−（ｗｐ−ｗｎ）
により規定される値を、現時刻ｔにおける事後確率分布データに従い復元抽出されるパーティクルの内部変数に含める、
請求項２に記載の状態推定装置。

【請求項6】

前記事後確率分布データをＳ_ｔ｜ｔとし、前記事後確率分布データＳ_ｔ｜ｔに従って取得されたｉ番目のパーティクルの内部変数の１つをｗｎ_ｔ｜ｔ^（ｉ）とし、前記尤度取得部により取得された、当該パーティクルに対応する前記第１尤度をｗｐとし、前記尤度取得部により取得された、当該パーティクルに対応する前記第２尤度をｗｎとし、現時刻ｔにおける事後確率分布データに従い復元抽出されるパーティクル数をＭ１（Ｍ１：自然数）とし、現時刻ｔにおける事後確率分布データに従い復元抽出されるパーティクルの第１尤度ｗｐに基づく内部変数をｗｐ_ｔ｜ｔ^（ｉ）すると、
前記事後確率分布推定部は、Ｍ１、ｗｐ、ｗｎの３つの変数のうち、少なくとも１つを変数とする関数Φにより、
ｗｎ_ｔ｜ｔ^（ｉ）＝Φ（Ｍ１）
ｗｎ_ｔ｜ｔ^（ｉ）＝Φ（ｗｐ）
ｗｎ_ｔ｜ｔ^（ｉ）＝Φ（ｗｎ）
ｗｎ_ｔ｜ｔ^（ｉ）＝Φ（Ｍ１，ｗｐ）
ｗｎ_ｔ｜ｔ^（ｉ）＝Φ（Ｍ１，ｗｎ）
ｗｎ_ｔ｜ｔ^（ｉ）＝Φ（ｗｐ，ｗｎ）
ｗｎ_ｔ｜ｔ^（ｉ）＝Φ（Ｍ１，ｗｐ，ｗｎ）
のいずれかで規定される値を、現時刻ｔにおける事後確率分布データに従い復元抽出されるパーティクルの内部変数に含める、
請求項２に記載の状態推定装置。

【請求項7】

物体に対する追跡処理を行う場合、
前記事後確率分布データをＳ_ｔ｜ｔとし、前記事後確率分布データＳ_ｔ｜ｔに従って取得されたｉ番目のパーティクルの内部変数の１つをｗｎ_ｔ｜ｔ^（ｉ）とし、前記尤度取得部により取得された、当該パーティクルに対応する前記第１尤度をｗｐとし、前記尤度取得部により取得された、当該パーティクルに対応する前記第２尤度をｗｎとし、現時刻ｔにおける事後確率分布データに従い復元抽出されるパーティクル数をＭ１（Ｍ１：自然数）とし、現時刻ｔにおける事後確率分布データに従い復元抽出されるパーティクルの第１尤度ｗｐに基づく内部変数をｗｐ_ｔ｜ｔ^（ｉ）すると、
前記事後確率分布推定部は、
前記第１尤度ｗｐに基づいて、前記物体に対する追跡処理を継続するか、あるいは、停止させるかの判定処理を実行する、
請求項２から６のいずれかに記載の状態推定装置。

【請求項8】

前記予測確率分布データＳ_{ｔ｜ｔ−１}とし、前記予測確率分布データＳ_{ｔ｜ｔ−１}に従って取得されたパーティクルであって、前記物体に対する追跡処理を行うために用意されたＮ１個（Ｎ１：自然数）のパーティクルのｊ番目のパーティクルについて、前記尤度取得部により取得された、当該ｊ番目のパーティクルの前記第１尤度についての内部変数をｗｐ^（ｊ）とすると、
前記事後確率分布推定部は、

により前記内部変数ｗｐ^（ｊ）の積算値ｓｕｍを取得し、
（１）前記積算値ｓｕｍが所定の閾値Ｔｈ１よりも小さい場合、前記物体に対する追跡処理を停止させ、
（２）前記積算値ｓｕｍが所定の閾値Ｔｈ１以上である場合、前記物体に対する追跡処理を継続させる、
請求項７に記載の状態推定装置。

【請求項9】

前記予測確率分布データＳ_{ｔ｜ｔ−１}とし、前記予測確率分布データＳ_{ｔ｜ｔ−１}に従って取得されたパーティクルであって、前記物体に対する追跡処理を行うために用意されたＮ１個（Ｎ１：自然数）のパーティクルのｊ番目のパーティクルについて、前記尤度取得部により取得された、当該ｊ番目のパーティクルの前記第１尤度についての内部変数をｗｐ^（ｊ）とすると、
前記事後確率分布推定部は、
Ｎ１個の前記第１尤度についての内部変数ｗｐ^（ｊ）の中の最大値を最大値ｗｐ＿ｍａｘとして取得し、
（１）前記最大値ｗｐ＿ｍａｘが所定の閾値Ｔｈ２よりも小さい場合、前記物体に対する追跡処理を停止させ、
（２）前記最大値ｗｐ＿ｍａｘが所定の閾値Ｔｈ２以上である場合、前記物体に対する追跡処理を継続させる、
請求項７に記載の状態推定装置。

【請求項10】

物体に対する追跡処理を行う場合、
前記事後確率分布データをＳ_ｔ｜ｔとし、前記事後確率分布データＳ_ｔ｜ｔに従って取得されたｉ番目のパーティクルの内部変数の１つをｗｎ_ｔ｜ｔ^（ｉ）とし、前記尤度取得部により取得された、当該パーティクルに対応する前記第１尤度をｗｐとし、前記尤度取得部により取得された、当該パーティクルに対応する前記第２尤度をｗｎとし、現時刻ｔにおける事後確率分布データに従い復元抽出されるパーティクル数をＭ１（Ｍ１：自然数）とし、現時刻ｔにおける事後確率分布データに従い復元抽出されるパーティクルの第１尤度ｗｐに基づく内部変数をｗｐ_ｔ｜ｔ^（ｉ）すると、
前記事後確率分布推定部は、
前記第２尤度ｗｎに基づいて、追跡対象の前記物体の内部状態を推定するための推定結果データを取得する、
請求項２から６のいずれかに記載の状態推定装置。

【請求項11】

前記事後確率分布推定部は、
前記事後確率分布データＳ_ｔ｜ｔに従って取得されたｉ番目のパーティクルの位置に関する内部変数のベクトルデータを、ベクトルデータ（Ｘ_ｔ^（ｉ），Ｙ_ｔ^（ｉ），Ｗ_ｔ^（ｉ），Ｈ_ｔ^（ｉ））とすると、
前記事後確率分布データＳ_ｔ｜ｔに従って取得されたＭ１個のパーティクルのうち、前記内部変数ｗｎ_ｔ｜ｔ^（ｉ）の値が最大であるパーティクルのベクトルデータ（Ｘ_ｔ^（ｉ），Ｙ_ｔ^（ｉ），Ｗ_ｔ^（ｉ），Ｈ_ｔ^（ｉ））を前記推定結果データとして取得する、
請求項１０に記載の状態推定装置。

【請求項12】

前記事後確率分布推定部は、
前記事後確率分布データＳ_ｔ｜ｔに従って取得されたｉ番目のパーティクルの位置に関する内部変数のベクトルデータを、ベクトルデータ（Ｘ_ｔ^（ｉ），Ｙ_ｔ^（ｉ），Ｗ_ｔ^（ｉ），Ｈ_ｔ^（ｉ））とすると、
前記事後確率分布データＳ_ｔ｜ｔに従って取得されたＭ１個のパーティクルの前記内部変数ｗｎ_ｔ｜ｔ^（ｉ）の重み付き平均値ｗｇｔを

により取得し、取得した前記重み付き平均値ｗｇｔを用いて取得したベクトルデータ（ｗｇｔ×Ｘ_ｔ^（ｉ），ｗｇｔ×Ｙ_ｔ^（ｉ），ｗｇｔ×Ｗ_ｔ^（ｉ），ｗｇｔ×Ｈ_ｔ^（ｉ））を推定結果データとして取得する、
請求項１０に記載の状態推定装置。

【請求項13】

観測対象の内部状態を推定する状態推定方法をコンピュータで実行するためのプログラムであって、
観測可能な事象から得られる第１観測データを、任意の時間間隔で取得する第１観測取得ステップと、
観測可能な事象から得られる第２観測データを、任意の時間間隔で取得する第２観測取得ステップと、
前記第１観測データおよび前記第２観測データに対して、加算処理あるいは論理和演算を行うことで可能性測度データを取得する可能性測度取得ステップと、
前記第１観測データおよび前記第２観測データに対して、乗算処理あるいは論理積演算を行うことで必然性測度データを取得する必然性測度取得ステップと、
前時刻ｔ−１に取得された観測対象の内部状態の確率分布である事後確率分布データに対して予測処理を行い、現時刻ｔにおける観測対象の内部状態の確率分布である予測確率分布データを取得する予測ステップと、
前記予測確率分布データおよび前記可能性測度データに基づいて、第１尤度を取得するともに、前記予測確率分布データおよび前記必然性測度データに基づいて、第２尤度を取得する尤度取得ステップと、
前記第１尤度と前記予測確率分布データとから、現時刻ｔにおける観測対象の内部状態の確率分布である事後確率分布データを推定する事後確率分布推定ステップと、
前記事後確率分布推定ステップにより推定された前記事後確率分布データに基づく事前確率分布データを、次時刻ｔ＋１において、事前確率分布データとして出力する事前確率分布出力ステップと、
を備える状態推定方法をコンピュータで実行するためのプログラム。

【請求項14】

観測対象の内部状態を推定する状態推定処理用の集積回路であって、
観測可能な事象から得られる第１観測データを、任意の時間間隔で取得する第１観測取得部と、
観測可能な事象から得られる第２観測データを、任意の時間間隔で取得する第２観測取得部と、
前記第１観測データおよび前記第２観測データに対して、加算処理あるいは論理和演算を行うことで可能性測度データを取得する可能性測度取得部と、
前記第１観測データおよび前記第２観測データに対して、乗算処理あるいは論理積演算を行うことで必然性測度データを取得する必然性測度取得部と、
前時刻ｔ−１に取得された観測対象の内部状態の確率分布である事後確率分布データに対して予測処理を行い、現時刻ｔにおける観測対象の内部状態の確率分布である予測確率分布データを取得する予測部と、
前記予測確率分布データおよび前記可能性測度データに基づいて、第１尤度を取得するともに、前記予測確率分布データおよび前記必然性測度データに基づいて、第２尤度を取得する尤度取得部と、
前記第１尤度と前記予測確率分布データとから、現時刻ｔにおける観測対象の内部状態の確率分布である事後確率分布データを推定する事後確率分布推定部と、
前記事後確率分布推定部により推定された前記事後確率分布データに基づく事前確率分布データを、次時刻ｔ＋１において、事前確率分布データとして出力する事前確率分布出力部と、
を備える集積回路。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、時系列フィルタを用いて観測可能な事象の状態推定を行う技術に関し、例えば、時系列フィルタを用いて動画像上の物体を追跡する技術に関する。

【背景技術】

【0002】

時々刻々変化する観測対象の内部状態を推定する技術として、時系列フィルタを用いた技術がある。時系列フィルタとは、時刻ｔにおける対象の内部状態を状態ベクトルｘ_ｔとし、時刻ｔにおいて観測された特徴を観測ベクトルｙ_ｔとしたとき、観測された観測ベクトルｙ_ｔから、直接観測できない対象の内部状態ｘ_ｔを推定する手法である。

【0003】

つまり、時系列フィルタとは、以下の状態空間モデル、すなわち、
システムモデル：ｘ_ｔ〜ｆ（ｘ_ｔ｜ｘ_ｔ−１）
観測モデル：ｙ_ｔ〜ｈ（ｙ_ｔ｜ｘ_ｔ）
から、観測系列（時刻ｔまでの観測ベクトルの集合）ｙ_１：ｔ＝｛ｙ_１，ｙ_２，・・・，ｙ_ｔ｝が与えられたとき、状態系列ｘ_０：ｔ＝｛ｘ_０，ｘ_１，・・・，ｘ_ｔ｝の条件付確率分布ｐ（ｘ_ｔ｜ｙ_１：ｔ）を求める手法である。

【0004】

システムノイズをｖ_ｔとし、観測ノイズをｗ_ｔとすると、対象の内部状態のシステムモデルおよび対象を観測した時の観測モデルは、以下のように表すことができる。

【0005】

対象の内部状態のシステムモデル:ｘ_ｔ＝ｆ（ｘ_ｔ−１，ｖ_ｔ）
対象を観測した時の観測モデル:ｙ_ｔ＝ｈ（ｘ_ｔ，ｗ_ｔ）
ｆ（ｘ_ｔ−１，ｖ_ｔ）：時刻ｔ−１と時刻ｔとの状態変化を表す状態遷移関数
ｈ（ｘ_ｔ，ｗ_ｔ）：状態ｘ_ｔのときに得られる観測ベクトルを表す関数
このとき、１期先予測は、

【数1】

であり、ベイズ則により、時刻tにおける事後確率分布ｐ（ｘ_ｔ｜ｙ_１：ｔ）は、

【数2】

となる。なお、ｈ（ｙ_ｔ｜ｘ_ｔ）は尤度（状態ｘ_ｔのときに、観測ベクトルｙ_ｔを得る確率）であり、ｐ（ｘ_ｔ｜ｙ_{１：ｔ−１}）は予測確率分布である。

【0006】

時系列フィルタの実装の一手法としてパーティクルフィルタがある。パーティクルフィルタでは、観測対象の内部状態の確率分布をパーティクルの分布で表現し、現時刻における状態の事後確率分布を次時刻における状態の事前確率分布とする。そして、パーティクルフィルタでは、当該事前確率分布を表すパーティクル（当該事前確率分布に従って生成されたサンプル集合）の状態から推定されたテンプレートの観測（予測サンプル）と、次時刻における実際の画像（実際の観測）とを比較することで尤度を求める。

【0007】

そして、パーティクルフィルタでは、求めた尤度と予測確率分布とからパーティクルの事後確率分布を推定する。

【0008】

次時刻以降、前述の処理を繰り返すことで、パーティクルフィルタでは、動的に変化する観測対象（例えば、追跡対象）の状態が逐次的に推定される。

【0009】

パーティクルフィルタでは、粒子数（パーティクルの数）をＭ（Ｍ：自然数）とし、１≦ｉ≦Ｍ（ｉ：整数）としたとき、以下の（１）〜（４）の処理を行う。
（１）粒子生成(１期先予測)
以下の数式に相当する処理により、各サンプル（各パーティクル）について、時刻ｔにおける予測サンプルを生成する。つまり、時刻ｔ−１の事後確率分布（時刻ｔ−１の観測対象の内部状態の確率分布）から、システムモデル（状態遷移関数）により予測した確率分布（予測確率分布）を取得する。具体的には、システムモデルｆに従って、時刻ｔ−１の各サンプル（各パーティクル）を遷移させて予測サンプルを生成する。

【0010】

ｘａ_ｔ^（ｉ）〜ｆ（ｘ_ｔ｜ｘ_ｔ−１^（ｉ））
ｘａ_ｔ＝｛ｘａ_ｔ^（１），ｘａ_ｔ^（２），ｘａ_ｔ^（３），・・・，ｘａ_ｔ^（Ｍ）｝
ｘａ_ｔ：状態遷移関数ｆ（）による状態ベクトルｘ_ｔの予測（推定）ベクトル
（２）重みの計算（尤度計算）
以下の数式に相当する処理により、処理（１）で生成された各予測サンプルについて、重み（尤度）を算出する。つまり、観測モデルｈに従って、観測ベクトルｙ_ｔを得る確率（尤度）を推定する。

【0011】

ｗａ_ｔ^（ｉ）〜ｈ（ｙ_ｔ｜ｘａ_ｔ^（ｉ））
ｗａ_ｔ＝｛ｗａ_ｔ^（１），ｗａ_ｔ^（２），ｗａ_ｔ^（３），・・・，ｗａ_ｔ^（Ｍ）｝
ｗａ_ｔ：関数ｈ（）による重み（尤度）ｗ_ｔの予測（推定）ベクトル（尤度の予測値の集合）
（３）リサンプリング
重み（尤度）ｗａ_ｔ^（ｉ）に比例する割合でＭ個の粒子を復元抽出する（粒子ｘａ_ｔ^（ｉ）を抽出する）。このようにして復元抽出されたＭ個の粒子の分布から、時刻ｔの事後確率分布（時刻ｔの観測対象の内部状態の確率分布）を取得する。
（４）時刻ｔを進めて（１）に戻る。このとき、処理（３）で取得した事後確率分布（時刻ｔでの事後確率分布）を、次の時刻（時刻ｔ＋１）の事前確率分布とする。

【0012】

このように、パーティクルフィルタとは、観測対象の状態を表すパラメータの事前確率分布の予測と、事後確率分布の計算とを繰り返し行うことで、時々刻々変化する、観測対象の状態を表すパラメータを推定するものである。このようなパーティクルフィルタは、例えば、動画像上の物体（オブジェクト）の位置の追跡に利用される。パーティクルフィルタを用いて物体（オブジェクト）の位置追跡処理を行う場合、追跡対象（観測対象の一例）の状態を表すパラメータは、例えば、物体の位置を表すパラメータである。この場合、パーティクルフィルタでは、物体の位置を表すパラメータから推定される観測（予測サンプル）と、実際の観測（例えば、カメラ等により撮像される画像）とを比較することによって尤度を算出し、算出した尤度に基づいて、粒子のリサンプリングを行うことで、観測対象の状態を表すパラメータの事後確率分布を取得することができる（例えば、特許文献１）。

【先行技術文献】

【特許文献】

【0013】

【特許文献1】特開２０１２−２３４４６６号公報

【発明の概要】

【発明が解決しようとする課題】

【0014】

しかしながら、従来技術では、単一の観測データを用いて物体の追跡処理を実行するので、観測データを取得する環境が変化した場合等において、適切な観測データを安定して取得できず、その結果、内部状態の推定を適切に行うことができないことがある。また、従来技術では、単一の観測データを用いて、物体の追跡処理が実行されるので、多様な対象物を適切に検出・追跡処理することが困難である。

【0015】

そこで、本発明は、上記問題点に鑑み、追跡対象の物体について、複数の観測データを取得し、取得した複数の観測データのそれぞれから導出された複数の尤度を用いて、物体の内部状態を推定することにより、より正確かつロバストに、物体の検出処理や追跡処理を行うことができる状態推定装置、プログラム、および、集積回路を実現することを目的とする。

【課題を解決するための手段】

【0016】

上記課題を解決するために、第１の発明は、観測対象の内部状態を推定する状態推定装置であって、第１観測取得部と、第２観測取得部と、可能性測度取得部と、必然性測度取得部と、予測部と、尤度取得部と、事後確率分布推定部と、事前確率分布出力部と、を備える。

【0017】

第１観測取得部は、観測可能な事象から得られる第１観測データを、任意の時間間隔で取得する。

【0018】

第２観測取得部は、観測可能な事象から得られる第２観測データを、任意の時間間隔で取得する。

【0019】

可能性測度取得部は、第１観測データおよび第２観測データに対して、加算処理あるいは論理和演算を行うことで可能性測度データを取得する。

【0020】

必然性測度取得部は、第１観測データおよび第２観測データに対して、乗算処理あるいは論理積演算を行うことで必然性測度データを取得する。

【0021】

予測部は、前時刻ｔ−１に取得された観測対象の内部状態の確率分布である事後確率分布データに対して予測処理を行い、現時刻ｔにおける観測対象の内部状態の確率分布である予測確率分布データを取得する。

【0022】

尤度取得部は、予測確率分布データおよび可能性測度データに基づいて、第１尤度を取得するともに、予測確率分布データおよび必然性測度データに基づいて、第２尤度を取得する。

【0023】

事後確率分布推定部は、第１尤度と予測確率分布データとから、現時刻ｔにおける観測対象の内部状態の確率分布である事後確率分布データを推定する。

【0024】

事前確率分布出力部は、事後確率分布推定部により推定された事後確率分布データに基づく事前確率分布データを、次時刻ｔ＋１において、事前確率分布データとして出力する。

【0025】

この状態推定装置では、複数の観測データである第１観測データおよび第２観測データが取得され、取得した複数の観測データから、可能性測度データおよび必然性測度データが取得される。そして、この状態推定装置では、尤度取得部により、可能性測度データおよび必然性測度データから、複数の尤度（第１尤度および第２尤度）が取得され、取得された複数の尤度（第１尤度および第２尤度）を用いて、物体の内部状態を推定することができる。したがって、この状態推定装置では、より正確かつロバストに、多様な物体の検出処理や追跡処理を行うことができる。

【0026】

なお、「時刻」とは、例えば、観測対象をサンプリングする時間間隔に基づく時刻を含む概念であり、例えば、時刻ｔ−１は、時刻ｔのサンプリングの１つ前のサンプリング時刻を示す。

【0027】

また、「現時刻ｔ」と「次時刻ｔ＋１」、あるいは、「前時刻ｔ−１」と「現時刻ｔ」との時間間隔は、例えば、事後確率分布推定部において、単位画像分（例えば、１フレーム分）の事後確率分布データを取得するのに十分な時間であればよく、例えば、１フレームに相当する時間（１フレーム時間）である。

【0028】

第２の発明は、第１の発明であって、事後確率分布推定部は、現時刻ｔにおける事後確率分布データに従い復元抽出されるパーティクルの内部変数に、尤度取得部により取得された第２尤度に基づいて設定される値を含める。
この状態推定装置では、第１尤度と第２尤度とを反映させた事後確率分布（事後確率分布データ）Ｓ_ｔ｜ｔを取得することができる。つまり、この状態推定装置では、複数の観測データ（可能性測度データおよび必然性測度データ）を取得し、取得した複数の観測データのそれぞれから導出された複数の尤度（第１尤度ｗｐおよび第２尤度ｗｎ）を用いて、物体の内部状態を推定することにより、より正確かつロバストに、物体の検出処理や追跡処理を行うことができる。

【0029】

例えば、事後確率分布データＳ_ｔ｜ｔにより取得されたパーティクルは、それぞれ、第２尤度ｗｎの値を承継した（反映させた）内部変数を有しているので、各パーティクルが存在する位置、および、第２尤度ｗｎの値を承継した（反映させた）内部変数を調べることで、当該パーティクル（第１尤度と第２尤度とを反映させた事後確率分布データ）を用いて多様な追跡処理、検出処理を実行することができる。

【0030】

第３の発明は、第２の発明であって、事後確率分布データをＳ_ｔ｜ｔとし、事後確率分布データＳ_ｔ｜ｔに従って取得されたｉ番目のパーティクルの内部変数の１つをｗｎ_ｔ｜ｔ^（ｉ）とし、尤度取得部により取得された、当該パーティクルに対応する第２尤度をｗｎとすると、事後確率分布推定部は、
ｗｎ_ｔ｜ｔ^（ｉ）＝ｗｎ
により規定される値を、現時刻ｔにおける事後確率分布データに従い復元抽出されるパーティクルの内部変数に含める。

【0031】

この状態推定装置では、第１尤度と第２尤度とを反映させた事後確率分布（事後確率分布データ）Ｓ_ｔ｜ｔを取得することができる。つまり、この状態推定装置では、複数の観測データ（可能性測度データおよび必然性測度データ）を取得し、取得した複数の観測データのそれぞれから導出された複数の尤度（第１尤度ｗｐおよび第２尤度ｗｎ）を用いて、物体の内部状態を推定することにより、より正確かつロバストに、物体の検出処理や追跡処理を行うことができる。

【0032】

例えば、事後確率分布データＳ_ｔ｜ｔにより取得されたパーティクルは、それぞれ、第２尤度ｗｎの値を承継した（反映させた）内部変数ｗｎ_ｔ｜ｔ^（ｉ）を有しているので、各パーティクルが存在する位置、および、第２尤度ｗｎの値を承継した（反映させた）内部変数ｗｎ_ｔ｜ｔ^（ｉ）を調べることで、当該パーティクル（第１尤度と第２尤度とを反映させた事後確率分布データ）を用いて多様な追跡処理、検出処理を実行することができる。

【0033】

第４の発明は、第２の発明であって、事後確率分布データをＳ_ｔ｜ｔとし、事後確率分布データＳ_ｔ｜ｔに従って取得されたｉ番目のパーティクルの内部変数の１つをｗｎ_ｔ｜ｔ^（ｉ）とし、尤度取得部により取得された、当該パーティクルに対応する第１尤度をｗｐとし、尤度取得部により取得された、当該パーティクルに対応する第２尤度をｗｎとし、現時刻ｔにおける事後確率分布データに従い復元抽出されるパーティクル数をＭ１（Ｍ１：自然数）とし、現時刻ｔにおける事後確率分布データに従い復元抽出されるパーティクルの第１尤度ｗｐに基づく内部変数をｗｐ_ｔ｜ｔ^（ｉ）すると、事後確率分布推定部は、
ｗｎ_ｔ｜ｔ^（ｉ）＝ｗｐ_ｔ｜ｔ^（ｉ）×ｗｎ／ｗｐ
＝（１／Ｍ１）×ｗｎ／ｗｐ
により規定される値を、現時刻ｔにおける事後確率分布データに従い復元抽出されるパーティクルの内部変数に含める。

【0034】

この状態推定装置では、第１尤度と第２尤度とを反映させた事後確率分布（事後確率分布データ）Ｓ_ｔ｜ｔを取得することができる。つまり、この状態推定装置では、複数の観測データ（可能性測度データおよび必然性測度データ）を取得し、取得した複数の観測データのそれぞれから導出された複数の尤度（第１尤度ｗｐおよび第２尤度ｗｎ）を用いて、物体の内部状態を推定することにより、より正確かつロバストに、物体の検出処理や追跡処理を行うことができる。

【0035】

例えば、事後確率分布データＳ_ｔ｜ｔにより取得されたパーティクルは、それぞれ、第２尤度ｗｎの値を第１尤度との比（ｗｎ／ｗｐ）により承継した（反映させた）内部変数ｗｎ_ｔ｜ｔ^（ｉ）を有しているので、各パーティクルが存在する位置、および、第２尤度ｗｎの値を承継した（反映させた）内部変数ｗｎ_ｔ｜ｔ^（ｉ）を調べることで、当該パーティクル（第１尤度と第２尤度とを反映させた事後確率分布データ）を用いて多様な追跡処理、検出処理を実行することができる。

【0036】

なお、第２尤度ｗｎの値と第１尤度との比（ｗｎ／ｗｐ）は、上記以外にも、比（ｗｐ／ｗｎ）としてもよい。

【0037】

第５の発明は、第２の発明であって、事後確率分布データをＳ_ｔ｜ｔとし、事後確率分布データＳ_ｔ｜ｔに従って取得されたｉ番目のパーティクルの内部変数の１つをｗｎ_ｔ｜ｔ^（ｉ）とし、尤度取得部により取得された、当該パーティクルに対応する第１尤度をｗｐとし、尤度取得部により取得された、当該パーティクルに対応する第２尤度をｗｎとし、現時刻ｔにおける事後確率分布データに従い復元抽出されるパーティクル数をＭ１（Ｍ１：自然数）とし、現時刻ｔにおける事後確率分布データに従い復元抽出されるパーティクルの第１尤度ｗｐに基づく内部変数をｗｐ_ｔ｜ｔ^（ｉ）すると、事後確率分布推定部は、
ｗｎ_ｔ｜ｔ^（ｉ）＝ｗｐ_ｔ｜ｔ^（ｉ）−（ｗｐ−ｗｎ）
＝（１／Ｍ１）−（ｗｐ−ｗｎ）
により規定される値を、現時刻ｔにおける事後確率分布データに従い復元抽出されるパーティクルの内部変数に含める。

【0038】

この状態推定装置では、第１尤度と第２尤度とを反映させた事後確率分布（事後確率分布データ）Ｓ_ｔ｜ｔを取得することができる。つまり、この状態推定装置では、複数の観測データ（可能性測度データおよび必然性測度データ）を取得し、取得した複数の観測データのそれぞれから導出された複数の尤度（第１尤度ｗｐおよび第２尤度ｗｎ）を用いて、物体の内部状態を推定することにより、より正確かつロバストに、物体の検出処理や追跡処理を行うことができる。

【0039】

例えば、事後確率分布データＳ_ｔ｜ｔにより取得されたパーティクルは、それぞれ、第２尤度ｗｎの値を第１尤度との差（ｗｐ−ｗｎ）により承継した（反映させた）内部変数ｗｎ_ｔ｜ｔ^（ｉ）を有しているので、各パーティクルが存在する位置、および、第２尤度ｗｎの値を承継した（反映させた）内部変数ｗｎ_ｔ｜ｔ^（ｉ）を調べることで、当該パーティクル（第１尤度と第２尤度とを反映させた事後確率分布データ）を用いて多様な追跡処理、検出処理を実行することができる。

【0040】

なお、第２尤度ｗｎの値と第１尤度との差（ｗｐ−ｗｎ）は、上記以外にも、差（ｗｎ−ｗｐ）としてもよい。

【0041】

第６の発明は、第２の発明であって、事後確率分布データをＳ_ｔ｜ｔとし、事後確率分布データＳ_ｔ｜ｔに従って取得されたｉ番目のパーティクルの内部変数の１つをｗｎ_ｔ｜ｔ^（ｉ）とし、尤度取得部により取得された、当該パーティクルに対応する第１尤度をｗｐとし、尤度取得部により取得された、当該パーティクルに対応する第２尤度をｗｎとし、現時刻ｔにおける事後確率分布データに従い復元抽出されるパーティクル数をＭ１（Ｍ１：自然数）とし、現時刻ｔにおける事後確率分布データに従い復元抽出されるパーティクルの第１尤度ｗｐに基づく内部変数をｗｐ_ｔ｜ｔ^（ｉ）すると、
事後確率分布推定部は、Ｍ１、ｗｐ、ｗｎの３つの変数のうち、少なくとも１つを変数とする関数Φにより、
ｗｎ_ｔ｜ｔ^（ｉ）＝Φ（Ｍ１）
ｗｎ_ｔ｜ｔ^（ｉ）＝Φ（ｗｐ）
ｗｎ_ｔ｜ｔ^（ｉ）＝Φ（ｗｎ）
ｗｎ_ｔ｜ｔ^（ｉ）＝Φ（Ｍ１，ｗｐ）
ｗｎ_ｔ｜ｔ^（ｉ）＝Φ（Ｍ１，ｗｎ）
ｗｎ_ｔ｜ｔ^（ｉ）＝Φ（ｗｐ，ｗｎ）
ｗｎ_ｔ｜ｔ^（ｉ）＝Φ（Ｍ１，ｗｐ，ｗｎ）
のいずれかで規定される値を、現時刻ｔにおける事後確率分布データに従い復元抽出されるパーティクルの内部変数に含める。

【0042】

この状態推定装置では、第１尤度と第２尤度とを反映させた事後確率分布（事後確率分布データ）Ｓ_ｔ｜ｔを取得することができる。そして、この状態推定装置では、第２尤度ｗｎの内部変数ｗｎ_ｔ｜ｔ^（ｉ）を、Ｍ１、ｗｐ、ｗｎの３つの変数のうち、少なくとも１つを変数とする関数Φにより規定されるので、物体の内部状態を、多様な変数により規定された第２尤度ｗｎに基づいて、より精度良く推定することができる。

【0043】

第７の発明は、第２から第６のいずれかの発明であって、物体に対する追跡処理を行う場合、以下の処理を行う。すなわち、事後確率分布データをＳ_ｔ｜ｔとし、事後確率分布データＳ_ｔ｜ｔに従って取得されたｉ番目のパーティクルの内部変数の１つをｗｎ_ｔ｜ｔ^（ｉ）とし、尤度取得部により取得された、当該パーティクルに対応する第１尤度をｗｐとし、尤度取得部により取得された、当該パーティクルに対応する第２尤度をｗｎとし、現時刻ｔにおける事後確率分布データに従い復元抽出されるパーティクル数をＭ１（Ｍ１：自然数）とし、現時刻ｔにおける事後確率分布データに従い復元抽出されるパーティクルの第１尤度ｗｐに基づく内部変数をｗｐ_ｔ｜ｔ^（ｉ）すると、
事後確率分布推定部は、第１尤度ｗｐに基づいて、物体に対する追跡処理を継続するか、あるいは、停止させるかの判定処理を実行する。

【0044】

これにより、この状態推定装置では、第１尤度ｗｐに基づいて、物体に対する追跡処理を継続するか、あるいは、停止させるかの判定処理を実行することができる。

【0045】

第８の発明は、第７の発明であって、予測確率分布データＳ_{ｔ｜ｔ−１}とし、予測確率分布データＳ_{ｔ｜ｔ−１}に従って取得されたパーティクルであって、物体に対する追跡処理を行うために用意されたＮ１個（Ｎ１：自然数）のパーティクルのｊ番目のパーティクルについて、尤度取得部により取得された、当該ｊ番目のパーティクルの第１尤度についての内部変数をｗｐ^（ｊ）とすると、
事後確率分布推定部は、

【数3】

により内部変数ｗｐ^（ｊ）の積算値ｓｕｍを取得する。そして、事後確率分布推定部は、以下の処理を行う。
（１）積算値ｓｕｍが所定の閾値Ｔｈ１よりも小さい場合、事後確率分布推定部は、物体に対する追跡処理を停止させる。
（２）積算値ｓｕｍが所定の閾値Ｔｈ１以上である場合、事後確率分布推定部は、物体に対する追跡処理を継続させる。

【0046】

これにより、この状態推定装置では、第１尤度についての内部変数をｗｐ^（ｊ）の積算値に基づいて、物体に対する追跡処理を継続するか、あるいは、停止させるかの判定処理を実行することができる。

【0047】

第９の発明は、第７の発明であって、予測確率分布データＳ_{ｔ｜ｔ−１}とし、予測確率分布データＳ_{ｔ｜ｔ−１}に従って取得されたパーティクルであって、物体に対する追跡処理を行うために用意されたＮ１個（Ｎ１：自然数）のパーティクルのｊ番目のパーティクルについて、尤度取得部により取得された、当該ｊ番目のパーティクルの第１尤度についての内部変数をｗｐ^（ｊ）とすると、
事後確率分布推定部は、Ｎ１個の第１尤度についての内部変数ｗｐ^（ｊ）の中の最大値を最大値ｗｐ＿ｍａｘとして取得する。そして、事後確率分布推定部は、以下の処理を行う。
（１）最大値ｗｐ＿ｍａｘが所定の閾値Ｔｈ２よりも小さい場合、事後確率分布推定部は、物体に対する追跡処理を停止させる。
（２）最大値ｗｐ＿ｍａｘが所定の閾値Ｔｈ２以上である場合、事後確率分布推定部は、物体に対する追跡処理を継続させる。

【0048】

これにより、この状態推定装置では、第１尤度についての内部変数ｗｐ^（ｊ）の最大値に基づいて、物体に対する追跡処理を継続するか、あるいは、停止させるかの判定処理を実行することができる。

【0049】

第１０の発明は、第２から第６のいずれかの発明であって、物体に対する追跡処理を行う場合、以下の処理を行う。すなわち、事後確率分布データをＳ_ｔ｜ｔとし、事後確率分布データＳ_ｔ｜ｔに従って取得されたｉ番目のパーティクルの内部変数の１つをｗｎ_ｔ｜ｔ^（ｉ）とし、尤度取得部により取得された、当該パーティクルに対応する第１尤度をｗｐとし、尤度取得部により取得された、当該パーティクルに対応する第２尤度をｗｎとし、現時刻ｔにおける事後確率分布データに従い復元抽出されるパーティクル数をＭ１（Ｍ１：自然数）とし、現時刻ｔにおける事後確率分布データに従い復元抽出されるパーティクルの第１尤度ｗｐに基づく内部変数をｗｐ_ｔ｜ｔ^（ｉ）すると、
事後確率分布推定部は、第２尤度ｗｎに基づいて、追跡対象の物体の内部状態を推定するための推定結果データを取得する。

【0050】

これにより、この状態推定装置では、第２尤度ｗｎに基づいて、追跡対象の物体の内部状態を推定するための推定結果データを取得することができる。

【0051】

第１１の発明は、第１０の発明であって、事後確率分布推定部は、事後確率分布データＳ_ｔ｜ｔに従って取得されたｉ番目のパーティクルの位置に関する内部変数のベクトルデータを、ベクトルデータ（Ｘ_ｔ^（ｉ），Ｙ_ｔ^（ｉ），Ｗ_ｔ^（ｉ），Ｈ_ｔ^（ｉ））とすると、
事後確率分布データＳ_ｔ｜ｔに従って取得されたＭ１個のパーティクルのうち、内部変数ｗｎ_ｔ｜ｔ^（ｉ）の値が最大であるパーティクルのベクトルデータ（Ｘ_ｔ^（ｉ），Ｙ_ｔ^（ｉ），Ｗ_ｔ^（ｉ），Ｈ_ｔ^（ｉ））を推定結果データとして取得する。

【0052】

この状態推定装置では、内部変数ｗｎ_ｔ｜ｔ^（ｉ）の値が最大であるパーティクルのベクトルデータを推定結果データとして取得するので、少ない演算量で、精度良く、追跡対象の内部状態を推定することができる。その結果、この状態推定装置では、少ない演算量で、精度良く、物体の追跡処理を実行することができる。

【0053】

第１２の発明は、第１０の発明であって、事後確率分布推定部は、事後確率分布データＳ_ｔ｜ｔに従って取得されたｉ番目のパーティクルの位置に関する内部変数のベクトルデータを、ベクトルデータ（Ｘ_ｔ^（ｉ），Ｙ_ｔ^（ｉ），Ｗ_ｔ^（ｉ），Ｈ_ｔ^（ｉ））とすると、
事後確率分布データＳ_ｔ｜ｔに従って取得されたＭ１個のパーティクルの前記内部変数ｗｎ_ｔ｜ｔ^（ｉ）の重み付き平均値ｗｇｔを

【数4】

により取得し、取得した重み付き平均値ｗｇｔを用いて取得したベクトルデータ（ｗｇｔ×Ｘ_ｔ^（ｉ），ｗｇｔ×Ｙ_ｔ^（ｉ），ｗｇｔ×Ｗ_ｔ^（ｉ），ｗｇｔ×Ｈ_ｔ^（ｉ））を推定結果データとして取得する。

【0054】

これにより、この状態推定装置では、重み付き平均値ｗｇｔを用いて取得したベクトルデータを用いて、精度良く、追跡対象の内部状態を推定することができる。その結果、この状態推定装置では、精度良く、物体の追跡処理を実行することができる。

【0055】

第１３の発明は、観測対象の内部状態を推定する状態推定方法をコンピュータで実行するためのプログラムである。状態推定方法は、第１観測取得ステップと、第２観測取得ステップと、可能性測度取得ステップと、必然性測度取得ステップと、予測ステップと、尤度取得ステップと、事後確率分布推定ステップと、事前確率分布出力ステップと、を備える。

【0056】

第１観測取得ステップは、観測可能な事象から得られる第１観測データを、任意の時間間隔で取得する。

【0057】

第２観測取得ステップは、観測可能な事象から得られる第２観測データを、任意の時間間隔で取得する。

【0058】

可能性測度取得ステップは、第１観測データおよび第２観測データに対して、加算処理あるいは論理和演算を行うことで可能性測度データを取得する。

【0059】

必然性測度取得ステップは、第１観測データおよび第２観測データに対して、乗算処理あるいは論理積演算を行うことで必然性測度データを取得する。

【0060】

予測ステップは、前時刻ｔ−１に取得された観測対象の内部状態の確率分布である事後確率分布データに対して予測処理を行い、現時刻ｔにおける観測対象の内部状態の確率分布である予測確率分布データを取得する。

【0061】

尤度取得ステップは、予測確率分布データおよび可能性測度データに基づいて、第１尤度を取得するともに、予測確率分布データおよび必然性測度データに基づいて、第２尤度を取得する。

【0062】

事後確率分布推定ステップは、第１尤度と予測確率分布データとから、現時刻ｔにおける観測対象の内部状態の確率分布である事後確率分布データを推定する。

【0063】

事前確率分布出力ステップは、事後確率分布推定ステップにより推定された事後確率分布データに基づく事前確率分布データを、次時刻ｔ＋１において、事前確率分布データとして出力する。

【0064】

これにより、第１の発明と同様の効果を奏する状態推定方法をコンピュータに実行させるプログラムを実現することができる。

【0065】

第１４の発明は、観測対象の内部状態を推定する状態推定処理用の集積回路であって、第１観測取得部と、第２観測取得部と、可能性測度取得部と、必然性測度取得部と、予測部と、尤度取得部と、事後確率分布推定部と、事前確率分布出力部と、を備える。

【0066】

第１観測取得部は、観測可能な事象から得られる第１観測データを、任意の時間間隔で取得する。

【0067】

第２観測取得部は、観測可能な事象から得られる第２観測データを、任意の時間間隔で取得する。

【0068】

可能性測度取得部は、第１観測データおよび第２観測データに対して、加算処理あるいは論理和演算を行うことで可能性測度データを取得する。

【0069】

必然性測度取得部は、第１観測データおよび第２観測データに対して、乗算処理あるいは論理積演算を行うことで必然性測度データを取得する。

【0070】

予測部は、前時刻ｔ−１に取得された観測対象の内部状態の確率分布である事後確率分布データに対して予測処理を行い、現時刻ｔにおける観測対象の内部状態の確率分布である予測確率分布データを取得する。

【0071】

尤度取得部は、予測確率分布データおよび可能性測度データに基づいて、第１尤度を取得するともに、予測確率分布データおよび必然性測度データに基づいて、第２尤度を取得する。

【0072】

事後確率分布推定部は、第１尤度と予測確率分布データとから、現時刻ｔにおける観測対象の内部状態の確率分布である事後確率分布データを推定する。

【0073】

事前確率分布出力部は、事後確率分布推定部により推定された事後確率分布データに基づく事前確率分布データを、次時刻ｔ＋１において、事前確率分布データとして出力する。

【0074】

これにより、第１の発明と同様の効果を奏する集積回路を実現することができる。

【発明の効果】

【0075】

本発明によれば、追跡対象の物体について、複数の観測データを取得し、取得した複数の観測データのそれぞれから導出された複数の尤度を用いて、物体の内部状態を推定することにより、より正確かつロバストに、物体の検出処理や追跡処理を行うことができる状態推定装置、プログラム、および、集積回路を実現することができる。

【図面の簡単な説明】

【0076】

【図1】第１実施形態に係る状態推定装置１０００の概略構成図。

【図2】撮像装置（不図示）により撮像された動画像（撮像動画像）である入力データＤｉｎを模式的に示す図。

【図3】第１観測取得部１により取得された第１観測データＤ１を模式的に示す図。

【図4】第２観測取得部２により取得された第２観測データＤ２を模式的に示す図。

【図5】図３の第１観測データＤ１（画像Ｄ１）および図４の第２観測データＤ２（画像Ｄ２）から取得された可能性測度データＤｐ（画像Ｄｐ）を示す図。

【図6】図３の第１観測データＤ１（画像Ｄ１）および図４の第２観測データＤ２（画像Ｄ２）から取得された必然性測度データＤｎ（画像Ｄｎ）を示す図。

【図7】観測対象（追跡対象）を物体ＴＧ１とした場合における、予測処理、尤度取得処理、リサンプリング処理を説明するための図。

【図8】第１実施形態の第１変形例に係る状態推定装置１０００Ａの概略構成図。

【図9】第１実施形態の第２変形例に係る状態推定装置１０００Ｂで概略構成図。

【発明を実施するための形態】

【0077】

［第１実施形態］
第１実施形態について、図面を参照しながら、以下、説明する。

【0078】

＜１．１：状態推定装置の構成＞
図１は、第１実施形態に係る状態推定装置１０００の概略構成図である。

【0079】

状態推定装置１０００は、図１に示すように、第１観測取得部１と、第２観測取得部２と、可能性測度取得部３と、必然性測度取得部４と、尤度取得部５と、事後確率分布推定部６と、事前確率分布出力部７と、初期状態設定部８と、予測部９と、を備える。

【0080】

第１観測取得部１は、入力データＤｉｎを入力とする。第１観測取得部１は、入力データＤｉｎから第１観測データＤ１を取得し、取得した第１観測データＤ１を可能性測度取得部３と、必然性測度取得部４とに出力する。第１観測取得部１は、例えば、撮像装置により撮像された画像（撮像画像）を入力データＤｉｎとし、当該入力データＤｉｎから、所定の画像特徴量を抽出した画像特徴量抽出画像を第１観測データとして取得する。

【0081】

第２観測取得部２は、入力データＤｉｎを入力とする。第２観測取得部２は、入力データＤｉｎから第２観測データＤ２を取得し、取得した第２観測データＤ２を可能性測度取得部３と、必然性測度取得部４とに出力する。第２観測取得部２は、例えば、撮像装置により撮像された画像（撮像画像）を入力データＤｉｎとし、当該入力データＤｉｎから、所定の画像特徴量を抽出した画像特徴量抽出画像を第２観測データとして取得する。

【0082】

可能性測度取得部３は、第１観測取得部１から出力される第１観測データＤ１と、第２観測取得部２から出力される第２観測データＤ２と、を入力する。可能性測度取得部３は、第１観測データＤ１と第２観測データＤ２とに対して、加算または論理和演算（ＯＲ演算）を行うことで、可能性測度データＤｐを取得する。そして、可能性測度取得部３は、取得した可能性測度データＤｐを尤度取得部５に出力する。

【0083】

必然性測度取得部４は、第１観測取得部１から出力される第１観測データＤ１と、第２観測取得部２から出力される第２観測データＤ２と、を入力する。必然性測度取得部４は、第１観測データＤ１と第２観測データＤ２とに対して、乗算または論理積演算（ＡＮＤ演算）を行うことで、必然性測度データＤｎを取得する。そして、必然性測度取得部４は、取得した必然性測度データＤｎを尤度取得部５に出力する。

【0084】

尤度取得部５は、可能性測度取得部３から出力される可能性測度データＤｐと、必然性測度取得部４から出力される必然性測度データＤｎと、予測部９から出力される予測確率分布データとを入力する。尤度取得部５は、予測確率分布データおよび可能性測度データＤｐに基づいて、第１尤度ｗｐを取得する。また、尤度取得部５は、予測確率分布データおよび必然性測度データＤｎに基づいて、第２尤度ｗｎを取得する。そして、尤度取得部５は、取得した第１尤度ｗｐおよび第２尤度ｗｎを事後確率分布推定部６に出力する。

【0085】

事後確率分布推定部６は、尤度取得部５から出力される第１尤度ｗｐおよび第２尤度ｗｎと、予測部９から出力される予測確率分布データとを入力する。事後確率分布推定部６は、第１尤度ｗｐおよび第２尤度ｗｎと予測確率分布データとに基づいて、事後確率分布（事後確率分布データ）を推定（取得）する。そして、事後確率分布推定部６は、推定（取得）した事後確率分布（事後確率分布データ）を、事前確率分布出力部７に出力する。

【0086】

事前確率分布出力部７は、初期状態設定部８から出力される初期状態の設定データと、事後確率分布推定部６から出力される事後確率分布（事後確率分布データ）とを入力する。事前確率分布出力部７は、初期状態では、初期状態設定部８から出力される初期状態の設定データに基づいて、事前確率分布（事前確率分布データ）を生成し、生成した事前確率分布（事前確率分布データ）を予測部９に出力する。

【0087】

また、事前確率分布出力部７は、初期状態以外の状態では、事後確率分布推定部６から出力される、時刻ｔにおける事後確率分布（事後確率分布データ）を、次の時刻ｔ＋１において、事前確率分布（事前確率分布データ）として、予測部９に出力する。

【0088】

初期状態設定部８は、初期状態における事前確率分布（事前確率分布）を生成するためのデータ（初期値）を保持しており、当該データ（初期値）を事前確率分布出力部７に出力する。

【0089】

予測部９は、事前確率分布出力部７から出力される事前確率分布データを入力とする。予測部９は、入力された事前確率分布データから、システムモデル（状態遷移関数）により予測した確率分布データを取得する。そして、予測部９は、取得した確率分布データを、予測確率分布データとして、尤度取得部５および事後確率分布推定部６に出力する。

【0090】

＜１．２：状態推定装置の動作＞
以上のように構成された状態推定装置１０００の動作について、以下、説明する。

【0091】

なお、以下では、撮像装置（不図示）により撮像された動画像（撮像動画像）を入力データＤｉｎとし、第１観測取得部１が、入力データＤｉｎから人に相当する領域を抽出した画像特徴量抽出画像を第１観測データとして取得し、第２観測取得部２が、入力データＤｉｎから動く物体に相当する領域を抽出した画像特徴量抽出画像を第２観測データとして取得する場合を一例として、説明する。

【0092】

図２は、撮像装置（不図示）により撮像された動画像（撮像動画像）である入力データＤｉｎを模式的に示す図である。

【0093】

図３は、第１観測取得部１により取得された第１観測データＤ１を模式的に示す図である。

【0094】

図４は、第２観測取得部２により取得された第２観測データＤ２を模式的に示す図である。

【0095】

現時刻（時刻ｔ）において、図２に示す入力データＤｉｎが、第１観測取得部１および第２観測取得部２に入力される。

【0096】

図２に示すように、時刻ｔの入力データＤｉｎには、４つの物体ＴＧ１〜ＴＧ４が含まれているものとする。そして、物体ＴＧ１、ＴＧ２、ＴＧ３は、人であり、物体ＴＧ４は、人以外の物体であるものとする。また、物体ＴＧ１、ＴＧ２は、動く物体であるものとする。つまり、物体ＴＧ１、ＴＧ２は、前時刻ｔ−１（１フレーム前の時刻）から現時刻ｔ（現フレームの時刻）において、画像上において、所定の距離以上移動した物体であるものとする。

【0097】

第１観測取得部１は、入力データＤｉｎから、人に相当する画像領域を抽出することで、第１観測データＤ１を取得する。第１観測取得部１は、例えば、入力データＤｉｎにおいて、肌色を多く含む領域を検出することにより、および／または、人の形状のパターンマッチング等により、入力データＤｉｎの画像上において人に相当する画像領域を検出する。そして、第１観測取得部１は、検出した結果画像を、第１観測データＤ１として取得する。このようにして、第１観測取得部１により、図３に示す第１観測データＤ１が取得される。図３から分かるように、第１観測データＤ１では、入力データＤｉｎに含まれる人である物体ＴＧ１、ＴＧ２、ＴＧ３にそれぞれ相当する画像領域ＴＧ１＿Ｄ１、ＴＧ２＿Ｄ１、ＴＧ３＿Ｄ１が検出されている。なお、図３の第１観測データＤ１（画像Ｄ１）において、画像領域ＴＧ１＿Ｄ１、ＴＧ２＿Ｄ１、ＴＧ３＿Ｄ１内の画素は、「０」以外の画素値を有しており、画像領域ＴＧ１＿Ｄ１、ＴＧ２＿Ｄ１、ＴＧ３＿Ｄ１以外の画像領域の画素の画素値は「０」であるものとする。

【0098】

第１観測取得部１により取得された第１観測データＤ１は、可能性測度取得部３および必然性測度取得部４に出力される。

【0099】

第２観測取得部２は、入力データＤｉｎから、動く物体に相当する画像領域を抽出することで、第２観測データＤ２を取得する。第２観測取得部２は、例えば、入力データＤｉｎにおいて、１フレーム期間（前時刻ｔ−１から現時刻ｔまでの時間）において、画像上において所定の距離以上移動した物体の画像領域を検出することにより、入力データＤｉｎの画像上において動く物体に相当する画像領域を検出する。そして、第２観測取得部２は、検出した結果画像を、第２観測データＤ２として取得する。このようにして、第２観測取得部２により、図４に示す第２観測データＤ２が取得される。なお、図４では、第２観測取得部２が、入力データＤｉｎにおいて、１フレーム期間（前時刻ｔ−１から現時刻ｔまでの時間）において、画像上において所定の距離以上移動した物体の画像領域を、当該物体の時刻ｔにおける重心を中心とした所定の半径の円領域として検出する場合について、検出した画像領域ＴＧ１＿Ｄ２およびＴＧ２＿Ｄ２を示している。図４から分かるように、第２観測データＤ２では、入力データＤｉｎに含まれる動く物体ＴＧ１、ＴＧ２にそれぞれ相当する画像領域ＴＧ１＿Ｄ２、ＴＧ２＿Ｄ２が検出されている。なお、図４の第２観測データＤ２（画像Ｄ２）において、画像領域ＴＧ１＿Ｄ２、ＴＧ２＿Ｄ２内の画素は、「０」以外の画素値を有しており、画像領域ＴＧ１＿Ｄ２、ＴＧ２＿Ｄ２以外の画像領域の画素の画素値は「０」であるものとする。

【0100】

第２観測取得部２により取得された第２観測データＤ２は、可能性測度取得部３および必然性測度取得部４に出力される。

【0101】

可能性測度取得部３では、第１観測データＤ１および第２観測データＤ２から、可能性測度データＤｐが取得される。可能性測度取得部３は、第１観測データＤ１と第２観測データＤ２とに対して、下記の「（１）加算処理による方法」または「（２）論理和演算による方法」を行うことで、可能性測度データＤｐを取得する。

【0102】

（１）加算処理による方法
可能性測度取得部３は、第１観測データＤ１（画像Ｄ１）と、第２観測データＤ２（画像Ｄ２）とにおいて、同一座標位置の画素の画素値同士を加算することで、可能性測度データＤｐの当該座標位置の画素の画素値を取得する。第１観測データＤ１（画像Ｄ１）の座標（ｘ１，ｙ１）における画素値をＤ１（ｘ１，ｙ１）とし、第２観測データＤ２（画像Ｄ２）の座標（ｘ１，ｙ１）における画素値をＤ２（ｘ１，ｙ１）とし、可能性測度データＤｐ（画像Ｄｐ）の座標（ｘ１，ｙ１）における画素値をＤｐ（ｘ１，ｙ１）とすると、可能性測度取得部３は、
Ｄｐ（ｘ１，ｙ１）＝Ｄ１（ｘ１，ｙ１）＋Ｄ２（ｘ１，ｙ１）
により、可能性測度データＤｐ（画像Ｄｐ）の座標（ｘ１，ｙ１）における画素の画素値を取得する。なお、このとき、Ｄｐ（ｘ１，ｙ１）が所定のダイナミックレンジ内（例えば、０〜２５５の範囲内）となるように、上限値、および／または、下限値によりリミット処理を行うようにしてもよい。また、Ｄｐ（ｘ１，ｙ１）のダイナミックレンジが、所定のダイナミックレンジ（例えば、０〜２５５の範囲や０〜１の範囲）となるように、正規化処理を行うようにしてもよい。

【0103】

上記加算処理を、画像内の全ての画素に対して行うことで、可能性測度取得部３は、可能性測度データＤｐ（画像Ｄｐ）の全ての画素の画素値を取得する。このようにして、可能性測度取得部３は、可能性測度データＤｐ（画像Ｄｐ）を取得する。

【0104】

図５に、図３の第１観測データＤ１（画像Ｄ１）および図４の第２観測データＤ２（画像Ｄ２）から取得された可能性測度データＤｐ（画像Ｄｐ）を示す。なお、図５では、物体を検出（追跡）するために用いられるパーティクル（粒子）（一例）も模式的に描いている。

【0105】

図５に示すように、可能性測度データＤｐ（画像Ｄｐ）では、第１観測データＤ１（画像Ｄ１）の画像領域ＴＧ１＿Ｄ１、ＴＧ２＿Ｄ１、ＴＧ３＿Ｄ１に対応する画像領域ＴＧ１＿Ｄｐ、ＴＧ２＿Ｄｐ、ＴＧ３＿Ｄｐが検出されている。つまり、可能性測度データＤｐ（画像Ｄｐ）では、画像領域ＴＧ１＿Ｄｐ、ＴＧ２＿Ｄｐ、ＴＧ３＿Ｄｐ内の画素の画素値が「０」以外の画素値であり、画像領域ＴＧ１＿Ｄｐ、ＴＧ２＿Ｄｐ、ＴＧ３＿Ｄｐ以外の画素の画素値は「０」である。

【0106】

（２）論理和演算による方法
可能性測度取得部３は、第１観測データＤ１（画像Ｄ１）に対して所定の閾値による２値化処理を行い、また、第２観測データＤ２（画像Ｄ２）に対して所定の閾値による２値化処理を行う。そして、可能性測度取得部３は、２値化処理後の第１観測データＤ１（２値化画像Ｄ１）および第２観測データＤ２（２値化画像Ｄ２）において、同一座標位置の画素の画素値同士の論理和をとることで、可能性測度データＤｐの当該座標位置の画素の画素値を取得する。第１観測データＤ１（画像Ｄ１）の座標（ｘ１，ｙ１）における画素値をＤ１（ｘ１，ｙ１）とし、第２観測データＤ２（画像Ｄ２）の座標（ｘ１，ｙ１）における画素値をＤ２（ｘ１，ｙ１）とし、可能性測度データＤｐ（画像Ｄｐ）の座標（ｘ１，ｙ１）における画素値をＤｐ（ｘ１，ｙ１）とすると、可能性測度取得部３は、
Ｄｐ（ｘ１，ｙ１）＝Ｄ１（ｘ１，ｙ１）｜Ｄ２（ｘ１，ｙ１）
により、可能性測度データＤｐ（画像Ｄｐ）の座標（ｘ１，ｙ１）における画素の画素値を取得する。なお、上記「｜」は、論理和をとる演算子を示している。

【0107】

上記論理和演算を、画像内の全ての画素に対して行うことで、可能性測度取得部３は、可能性測度データＤｐ（画像Ｄｐ）の全ての画素の画素値を取得する。このようにして、可能性測度取得部３は、可能性測度データＤｐ（画像Ｄｐ）を取得する。

【0108】

図３の第１観測データＤ１（画像Ｄ１）および図４の第２観測データＤ２（画像Ｄ２）から上記論理和演算により取得された可能性測度データＤｐ（画像Ｄｐ）は、図５に示す画像Ｄｐとなる。なお、論理和演算により取得された可能性測度データＤｐ（画像Ｄｐ）では、画像領域ＴＧ１＿Ｄｐ、ＴＧ２＿Ｄｐ、ＴＧ３＿Ｄｐ内の画素の画素値が「１」（「真」を表す値）であり、画像領域ＴＧ１＿Ｄｐ、ＴＧ２＿Ｄｐ、ＴＧ３＿Ｄｐ以外の画素の画素値は「０」である。なお、画像領域ＴＧ１＿Ｄｐ、ＴＧ２＿Ｄｐ、ＴＧ３＿Ｄｐ内の画素の画素値は、「真」を表す値とすればよく、例えば、画素値が８ビットデータであり、０〜２５５の値をとる場合、画像領域ＴＧ１＿Ｄｐ、ＴＧ２＿Ｄｐ、ＴＧ３＿Ｄｐ内の画素の画素値を「２５５」としてもよい。

【0109】

上記の「（１）加算処理による方法」または「（２）論理和演算による方法」を行うことで、可能性測度取得部３により取得された可能性測度データＤｐは、尤度取得部５に出力される。

【0110】

必然性測度取得部４では、第１観測データＤ１および第２観測データＤ２から、必然性測度データＤｎが取得される。必然性測度取得部４は、第１観測データＤ１と第２観測データＤ２とに対して、下記の「（１）乗算処理による方法」または「（２）論理積演算による方法」を行うことで、必然性測度データＤｎを取得する。

【0111】

（１）乗算処理による方法
必然性測度取得部４は、第１観測データＤ１（画像Ｄ１）と、第２観測データＤ２（画像Ｄ２）とにおいて、同一座標位置の画素の画素値同士を乗算することで、必然性測度データＤｎの当該座標位置の画素の画素値を取得する。第１観測データＤ１（画像Ｄ１）の座標（ｘ１，ｙ１）における画素値をＤ１（ｘ１，ｙ１）とし、第２観測データＤ２（画像Ｄ２）の座標（ｘ１，ｙ１）における画素値をＤ２（ｘ１，ｙ１）とし、必然性測度データＤｎ（画像Ｄｎ）の座標（ｘ１，ｙ１）における画素値をＤｎ（ｘ１，ｙ１）とすると、必然性測度取得部４は、
Ｄｎ（ｘ１，ｙ１）＝Ｄ１（ｘ１，ｙ１）×Ｄ２（ｘ１，ｙ１）
により、必然性測度データＤｎ（画像Ｄｎ）の座標（ｘ１，ｙ１）における画素の画素値を取得する。なお、このとき、Ｄｎ（ｘ１，ｙ１）が所定のダイナミックレンジ内（例えば、０〜２５５の範囲内）となるように、上限値、および／または、下限値によりリミット処理を行うようにしてもよい。また、Ｄｎ（ｘ１，ｙ１）のダイナミックレンジが、所定のダイナミックレンジ（例えば、０〜２５５の範囲や０〜１の範囲）となるように、正規化処理を行うようにしてもよい。

【0112】

上記乗算処理を、画像内の全ての画素に対して行うことで、必然性測度取得部４は、必然性測度データＤｎ（画像Ｄｎ）の全ての画素の画素値を取得する。このようにして、必然性測度取得部４は、必然性測度データＤｎ（画像Ｄｎ）を取得する。

【0113】

図６に、図３の第１観測データＤ１（画像Ｄ１）および図４の第２観測データＤ２（画像Ｄ２）から取得された必然性測度データＤｎ（画像Ｄｎ）を示す。

【0114】

図６に示すように、必然性測度データＤｎ（画像Ｄｎ）では、第２観測データＤ２（画像Ｄ２）の画像領域ＴＧ１＿Ｄ２、ＴＧ２＿Ｄ２に対応する画像領域ＴＧ１＿Ｄｎ、ＴＧ２＿Ｄｎが検出されている。つまり、必然性測度データＤｎ（画像Ｄｎ）では、画像領域ＴＧ１＿Ｄｎ、ＴＧ２＿Ｄｎ内の画素の画素値が「０」以外の画素値であり、画像領域ＴＧ１＿Ｄｎ、ＴＧ２＿Ｄｎ以外の画素の画素値は「０」である。

【0115】

（２）論理積演算による方法
必然性測度取得部４は、第１観測データＤ１（画像Ｄ１）に対して所定の閾値による２値化処理を行い、また、第２観測データＤ２（画像Ｄ２）に対して所定の閾値による２値化処理を行う。そして、必然性測度取得部４は、２値化処理後の第１観測データＤ１（２値化画像Ｄ１）および第２観測データＤ２（２値化画像Ｄ２）において、同一座標位置の画素の画素値同士の論理積をとることで、必然性測度データＤｎの当該座標位置の画素の画素値を取得する。第１観測データＤ１（画像Ｄ１）の座標（ｘ１，ｙ１）における画素値をＤ１（ｘ１，ｙ１）とし、第２観測データＤ２（画像Ｄ２）の座標（ｘ１，ｙ１）における画素値をＤ２（ｘ１，ｙ１）とし、必然性測度データＤｎ（画像Ｄｎ）の座標（ｘ１，ｙ１）における画素値をＤｎ（ｘ１，ｙ１）とすると、必然性測度取得部４は、
Ｄｎ（ｘ１，ｙ１）＝Ｄ１（ｘ１，ｙ１）＆Ｄ２（ｘ１，ｙ１）
により、必然性測度データＤｎ（画像Ｄｎ）の座標（ｘ１，ｙ１）における画素の画素値を取得する。なお、上記「＆」は、論理積をとる演算子を示している。

【0116】

上記論理積演算を、画像内の全ての画素に対して行うことで、必然性測度取得部４は、必然性測度データＤｎ（画像Ｄｎ）の全ての画素の画素値を取得する。このようにして、必然性測度取得部４は、必然性測度データＤｎ（画像Ｄｎ）を取得する。

【0117】

図３の第１観測データＤ１（画像Ｄ１）および図４の第２観測データＤ２（画像Ｄ２）から上記論理積演算により取得された必然性測度データＤｎ（画像Ｄｎ）は、図６に示す画像Ｄｎとなる。なお、論理積演算により取得された必然性測度データＤｎ（画像Ｄｎ）では、画像領域ＴＧ１＿Ｄｎ、ＴＧ２＿Ｄｎ内の画素の画素値が「１」（「真」を表す値）であり、画像領域ＴＧ１＿Ｄｎ、ＴＧ２＿Ｄｎ以外の画素の画素値は「０」である。なお、画像領域ＴＧ１＿Ｄｎ、ＴＧ２＿Ｄｎ内の画素の画素値は、「真」を表す値とすればよく、例えば、画素値が８ビットデータであり、０〜２５５の値をとる場合、画像領域ＴＧ１＿Ｄｎ、ＴＧ２＿Ｄｎ内の画素の画素値を「２５５」としてもよい。

【0118】

上記の「（１）乗算処理による方法」または「（２）論理積演算による方法」を行うことで、必然性測度取得部４により取得された必然性測度データＤｎは、尤度取得部５に出力される。

【0119】

ここで、観測対象（追跡対象）である物体の時刻ｔの内部状態を示す状態ベクトルをｘ_ｔとし、時刻ｔにおいて観測された特徴を観測ベクトルｙ_ｔとし、予測確率分布ｐ（ｘ_ｔ｜ｙ_ｔ−１）に従って生成されたサンプル集合（パーティクルの集合）Ｓ_{ｔ｜ｔ−１}を
Ｓ_{ｔ｜ｔ−１}＝｛ｓ_{ｔ｜ｔ−１}^（１），ｓ_{ｔ｜ｔ−１}^（２），・・・，ｓ_{ｔ｜ｔ−１}^（Ｍ）｝
とし、事後確率分布ｐ（ｘ_ｔ｜ｙ_ｔ）に従って生成されたサンプル集合（パーティクルの集合）Ｓ_ｔ｜ｔを
Ｓ_ｔ｜ｔ＝｛ｓ_ｔ｜ｔ^（１），ｓ_ｔ｜ｔ^（２），・・・，ｓ_ｔ｜ｔ^（Ｍ）｝
とする。

【0120】

また、サンプル集合（パーティクルの集合）Ｓ_ｔ｜ｔのｉ番目のサンプル（パーティクル）ｓ_ｔ｜ｔ^（ｉ）は、ｉ番目のサンプル（パーティクル）の画像上の座標位置（Ｘ_ｔ^（ｉ），Ｙ_ｔ^（ｉ））と、当該座標位置を中心とする幅Ｗ_ｔ、高さＨ_ｔの矩形状の画像領域を決定するための幅Ｗ_ｔ、高さＨ_ｔと、第１尤度ｗｐ_ｔ^（ｉ）と、第２尤度ｗｎ_ｔ^（ｉ）とを内部変数とするベクトルデータであるものとする。つまり、サンプル（パーティクル）ｓ_ｔ｜ｔ^（ｉ）は、
ｓ_ｔ｜ｔ^（ｉ）＝（Ｘ_ｔ^（ｉ），Ｙ_ｔ^（ｉ），Ｗ_ｔ^（ｉ），Ｈ_ｔ^（ｉ），ｗｎ_ｔ^（ｉ），ｗｐ_ｔ^（ｉ））
であるものとする。

【0121】

なお、観測対象（追跡対象）が複数ある場合、観測対象ごとにオブジェクト番号を付与し、観測対象ごとに、上記と同様にして、予測確率分布に従って生成されたサンプル集合（パーティクルの集合）Ｓ_{ｔ｜ｔ−１}や、事後確率分布に従って生成されたサンプル集合（パーティクルの集合）Ｓ_ｔ｜ｔを設定すればよい。

【0122】

以下では、説明を簡単にするため、観測対象（追跡対象）を物体ＴＧ１とした場合について、説明する。

【0123】

予測部９では、予測処理が実行される。

【0124】

具体的には、予測部９は、事前確率分布出力部７により生成された時刻ｔ−１における事前確率分布（事前確率分布データ）に従うパーティクルの集合Ｓ_{ｔ−１｜ｔ−１}に基づいて、予測処理を行い、予測処理後のパーティクルの集合Ｓ_{ｔ｜ｔ−１}を取得する。

【0125】

例えば、時刻ｔ−１における物体ＴＧ１の状態を表すパラメータの事前確率分布（事前確率分布データ）に従うパーティクルの集合Ｓ_{ｔ−１｜ｔ−１}（これを「事前確率分布データＳ_{ｔ−１｜ｔ−１}」と表記する。）に含まれる各パーティクルの状態に対して、ランダムウォークのダイナミクスを仮定したガウシアンノイズを重畳させることで、予測処理後のパーティクルの集合Ｓ_{ｔ｜ｔ−１}（これを「予測確率分布データＳ_{ｔ｜ｔ−１}」と表記する。）を取得する。つまり、ｖ_ｔ^（ｉ）がガウス分布に従うシステムノイズとし、予測部９は、
ｓ_{ｔ｜ｔ−１}^（ｉ）＝ｆ（ｓ_{ｔ−１｜ｔ−１}^（ｉ），ｖ_ｔ^（ｉ））
ｆ（）：時刻ｔ−１と時刻ｔとの状態変化を表す状態遷移関数
ｖ_ｔ^（ｉ）：システムノイズ
により、予測処理後のパーティクルの集合Ｓ_{ｔ｜ｔ−１}を取得する。

【0126】

具体的には、時刻ｔ−１における物体ＴＧ１の事前確率分布（事前確率分布データ）に従う、ｉ番目のパーティクルの内部状態は、（Ｘ_{ｔ−１｜ｔ−１}^（ｉ），Ｙ_{ｔ−１｜ｔ−１}^（ｉ），Ｗ_{ｔ−１｜ｔ−１}^（ｉ），Ｈ_{ｔ−１｜ｔ−１}^（ｉ），ｗｎ_{ｔ−１｜ｔ−１}^（ｉ），ｗｐ_{ｔ−１｜ｔ−１}^（ｉ））であり、予測処理後のｉ番目のパーティクルの内部状態は、（Ｘ_{ｔ｜ｔ−１}^（ｉ），Ｙ_{ｔ｜ｔ−１}^（ｉ），Ｗ_{ｔ｜ｔ−１}^（ｉ），Ｈ_{ｔ｜ｔ−１}^（ｉ），ｗｎ_{ｔ｜ｔ−１}^（ｉ），ｗｐ_{ｔ｜ｔ−１}^（ｉ））であるので、
Ｘ_{ｔ−１｜ｔ}^（ｉ）＝Ｘ_{ｔ−１｜ｔ−１}^（ｉ）＋ΔＸ^（ｉ）
Ｙ_{ｔ−１｜ｔ}^（ｉ）＝Ｙ_{ｔ−１｜ｔ−１}^（ｉ）＋ΔＹ^（ｉ）
Ｗ_{ｔ−１｜ｔ}^（ｉ）＝Ｗ_{ｔ−１｜ｔ−１}^（ｉ）＋Ｗ^（ｉ）
Ｈ_{ｔ−１｜ｔ}^（ｉ）＝Ｈ_{ｔ−１｜ｔ−１}^（ｉ）＋Ｈ^（ｉ）
により、予測部９は、物体ＴＧ１の予測処理後のパーティクルの集合ｓ_{ｔ｜ｔ−１}を取得する。なお、ΔＸ^（ｉ）、ΔＹ^（ｉ）（＃ｉ）、ΔＷ^（ｉ）、ΔＨ^（ｉ）は、それぞれ、ガウス分布に従う。

【0127】

このようにして取得された、物体ＴＧ１の予測処理後のパーティクルの集合ｓ_{ｔ｜ｔ−１}は、予測確率分布データとして、予測部９から尤度取得部５に出力される。

【0128】

尤度取得部５では、予測部９が取得した予測確率分布データおよび可能性測度データＤｐに基づいて、第１尤度ｗｐが取得され、また、予測部９が取得した予測確率分布データおよび必然性測度データＤｎに基づいて、第２尤度ｗｎが取得される。

【0129】

図７は、観測対象（追跡対象）を物体ＴＧ１とした場合における、予測処理、尤度取得処理、リサンプリング処理を説明するための図である。なお、図７では、垂直方向（Ｙ軸方向）のパーティクルのみを模式的に示している。具体的には、図７では、図５、図６に示した垂直方向の直線Ａ１−Ａ２上において配置されるパーティクルのみを模式的に示している。また、図７では、直線Ａ１−Ａ２における可能性測度データＤｐの値（画像Ｄｐの画素値）を示す曲線Ｄｐと、直線Ａ１−Ａ２における必然性測度データＤｎの値（画像Ｄｎの画素値）を示す曲線Ｄｎとを示している。なお、図７において、曲線Ｄｐおよび曲線Ｄｎは、図７の左方向が画素値が大きくなる方向（正の方向）として描いている。

【0130】

（１．２．１：第１尤度ｗｐの取得処理）
尤度取得部５は、予測部９から出力される予測確率分布データＳ_{ｔ｜ｔ−１}と、可能性測度データＤｐ（画像Ｄｐ）とを用いて、第１尤度ｗｐを算出する。

【0131】

図７に示すように、時刻ｔの事前確率分布（時刻ｔ−１の事後確率分布）に従うパーティクル集合Ｓ_{ｔ−１｜ｔ−１}に対して、予測部９により予測処理が実行されることで、予測確率分布データＳ_{ｔ｜ｔ−１}が取得される。

【0132】

尤度取得部５は、予測確率分布データＳ_{ｔ｜ｔ−１}に従って取得された各パーティクルが占める画像領域内の可能性測度データＤｐ（画像Ｄｐ）の値（画像Ｄｐにおいて、各パーティクルが占める画像領域内の画素の画素値）を積算し、その積算値を第１尤度ｗｐとする。このようにして取得された第１尤度ｗｐを、図７では、円で示しており、第１尤度ｗｐが大きい値である程、大きな円として描いている。

【0133】

なお、画像Ｄｐにおいて、予測処理後のｉ番目のパーティクルが占める画像領域は、当該パーティクルの内部状態が（Ｘ_{ｔ｜ｔ−１}^（ｉ），Ｙ_{ｔ｜ｔ−１}^（ｉ），Ｗ_{ｔ｜ｔ−１}^（ｉ），Ｈ_{ｔ｜ｔ−１}^（ｉ），ｗｎ_{ｔ｜ｔ−１}^（ｉ），ｗｐ_{ｔ｜ｔ−１}^（ｉ））であるので、座標（Ｘ_{ｔ｜ｔ−１}^（ｉ），Ｙ_{ｔ｜ｔ−１}^（ｉ））を中心とし、幅（水平方向の長さ）Ｗ_{ｔ｜ｔ−１}^（ｉ）、高さ（垂直方向の長さ）Ｈ_{ｔ｜ｔ−１}^（ｉ）である矩形領域である。

【0134】

図７では、可能性測度データＤｐ（画像Ｄｐ）の値および必然性測度データＤｎ（画像Ｄｎ）の値は、正規化されたデータ（値）であり、０〜１の値をとるものとする。

【0135】

図７に示すように、予測確率分布データＳ_{ｔ｜ｔ−１}に従って取得されたパーティクルの粒子番号をｉ１〜ｉ９とし、ｉ番目のパーティクルの第１尤度値をｗｐ^（ｉ）とすると、ｗｐ^（ｉ１）、ｗｐ^（ｉ２）、ｗｐ^（ｉ７）、ｗｐ^（ｉ８）、ｗｐ^（ｉ９）は、第１尤度の値が「０」である。

【0136】

そして、ｉ３〜ｉ６番目のパーティクルの第１尤度値は、以下の通りである。

【0137】

ｗｐ^（ｉ３）＝０．４
ｗｐ^（ｉ４）＝０．９５
ｗｐ^（ｉ５）＝０．８
ｗｐ^（ｉ６）＝０．２５
（１．２．２：第２尤度ｗｎの取得処理）
尤度取得部５は、予測部９から出力される予測確率分布データＳ_{ｔ｜ｔ−１}と、必然性測度データＤｎ（画像Ｄｎ）とを用いて、第２尤度ｗｎを算出する。

【0138】

図７に示すように、時刻ｔの事前確率分布（時刻ｔ−１の事後確率分布）に従うパーティクル集合Ｓ_{ｔ−１｜ｔ−１}に対して、予測部９により予測処理が実行されることで、予測確率分布データＳ_{ｔ｜ｔ−１}が取得される。

【0139】

尤度取得部５は、予測確率分布データＳ_{ｔ｜ｔ−１}に従って取得された各パーティクルが占める画像領域内の必然性測度データＤｎ（画像Ｄｎ）の値（画像Ｄｎにおいて、各パーティクルが占める画像領域内の画素の画素値）を積算し、その積算値を第２尤度ｗｎとする。

【0140】

なお、画像Ｄｎにおいて、予測処理後のｉ番目のパーティクルが占める画像領域は、当該パーティクルの内部状態が（Ｘ_{ｔ｜ｔ−１}^（ｉ），Ｙ_{ｔ｜ｔ−１}^（ｉ），Ｗ_{ｔ｜ｔ−１}^（ｉ），Ｈ_{ｔ｜ｔ−１}^（ｉ），ｗｎ_{ｔ｜ｔ−１}^（ｉ），ｗｐ_{ｔ｜ｔ−１}^（ｉ））であるので、座標（Ｘ_{ｔ｜ｔ−１}^（ｉ），Ｙ_{ｔ｜ｔ−１}^（ｉ））を中心とし、幅（水平方向の長さ）Ｗ_{ｔ｜ｔ−１}^（ｉ）、高さ（垂直方向の長さ）Ｈ_{ｔ｜ｔ−１}^（ｉ）である矩形領域である。

【0141】

図７では、必然性測度データＤｎ（画像Ｄｎ）の値は、正規化されたデータ（値）であり、０〜１の値をとる。

【0142】

図７に示すように、予測確率分布データＳ_{ｔ｜ｔ−１}に従って取得されたパーティクルの粒子番号をｉ１〜ｉ９とし、ｉ番目のパーティクルの第２尤度値をｗｎ^（ｉ）とすると、ｗｎ^（ｉ１）、ｗｎ^（ｉ２）、ｗｎ^（ｉ３）、ｗｎ^（ｉ６）、ｗｎ^（ｉ７）、ｗｎ^（ｉ８）、ｗｎ^（ｉ９）は、第２尤度の値が「０」である。

【0143】

そして、ｉ４〜ｉ５番目のパーティクルの第２尤度値は、以下の通りである。

【0144】

ｗｎ^（ｉ４）＝０．６
ｗｎ^（ｉ５）＝０．２
以上のようにして、予測確率分布データＳ_{ｔ｜ｔ−１}に従って取得されたパーティクルごとに取得された第１尤度値ｗｐおよび第２尤度値ｗｎは、尤度取得部５から事後確率分布推定部６に出力される。

【0145】

事後確率分布推定部６では、第１尤度ｗｐおよび第２尤度ｗｎと予測確率分布データとに基づいて、事後確率分布（事後確率分布データ）が推定（取得）される。

【0146】

事後確率分布推定部６は、時刻ｔにおける物体ＴＧ１の第１尤度ｗｐ^（ｉ）に比例する割合でＭ１個のパーティクル（粒子）を復元抽出する（パーティクルｘａ_ｔ^（ｉ）（物体ＴＧ１のｉ番目の粒子）を抽出する）。このとき、事後確率分布推定部６は、復元抽出したパーティクルに第２尤度ｗｎを引き継ぐ。つまり、事後確率分布推定部６は、ｓ_ｔ｜ｔ^（ｉ）の内部変数であるｗｎ^（ｉ）に、尤度取得部５により取得された第２尤度ｗｎを設定する。

【0147】

例えば、図７の場合、画像領域ＴＧ１＿Ｄｐに含まれる直線Ａ１−Ａ２上において、９個のパーティクルが復元抽出されている。

【0148】

予測確率分布データＳ_{ｔ｜ｔ−１}に従って取得されたｉ３番目のパーティクルから第１尤度ｗｐ^（ｉ３）＝０．４が取得されるので、予測確率分布データＳ_{ｔ｜ｔ−１}に従って取得されたｉ３番目のパーティクルの位置において、比例配分により、１個のパーティクルが復元される。つまり、事後確率分布データＳ_ｔ｜ｔに従って取得されたｉ１番目のパーティクルが復元される。

【0149】

そして、予測確率分布データＳ_{ｔ｜ｔ−１}に従って取得されたｉ３番目のパーティクルから第２尤度ｗｎ^（ｉ３）＝０．０が取得されるので、事後確率分布データＳ_ｔ｜ｔに従って取得されたｉ１番目のパーティクルにおいて、その内部変数であるｗｎ^（ｉ１）に、尤度取得部５により取得された第２尤度ｗｎ＝０．０が設定される。すなわち、事後確率分布データＳ_ｔ｜ｔに従って取得されたｉ１番目のパーティクルの内部変数は、以下のように設定される。

【0150】

（Ｘ_ｔ｜ｔ^（ｉ１），Ｙ_ｔ｜ｔ^（ｉ１），Ｗ_ｔ｜ｔ^（ｉ１），Ｈ_ｔ｜ｔ^（ｉ１），ｗｎ_ｔ｜ｔ^（ｉ１），ｗｐ_ｔ｜ｔ^（ｉ１））＝（Ｘ_ｔ｜ｔ^（ｉ１），Ｙ_ｔ｜ｔ^（ｉ１），Ｗ_ｔ｜ｔ^（ｉ１），Ｈ_ｔ｜ｔ^（ｉ１），０．０，１／Ｍ１）
予測確率分布データＳ_{ｔ｜ｔ−１}に従って取得されたｉ４番目のパーティクルから第１尤度ｗｐ^（ｉ３）＝０．９５が取得されるので、予測確率分布データＳ_{ｔ｜ｔ−１}に従って取得されたｉ４番目のパーティクルの位置において、比例配分により、４個のパーティクルが復元される。つまり、事後確率分布データＳ_ｔ｜ｔに従って取得されたｉ２〜ｉ５番目のパーティクル、すなわち、合計４個のパーティクルが復元される。

【0151】

そして、予測確率分布データＳ_{ｔ｜ｔ−１}に従って取得されたｉ４番目のパーティクルから第２尤度ｗｎ^（ｉ４）＝０．６が取得されるので、事後確率分布データＳ_ｔ｜ｔに従って取得されたｉ２〜ｉ５番目のパーティクルにおいて、その内部変数であるｗｎ^（ｉ）に、尤度取得部５により取得された第２尤度ｗｎ＝０．６が設定される。すなわち、事後確率分布データＳ_ｔ｜ｔに従って取得されたｉ２〜ｉ５番目のパーティクルの内部変数は、以下のように設定される。

【0152】

（Ｘ_ｔ｜ｔ^（ｉ），Ｙ_ｔ｜ｔ^（ｉ），Ｗ_ｔ｜ｔ^（ｉ），Ｈ_ｔ｜ｔ^（ｉ），ｗｎ_ｔ｜ｔ^（ｉ），ｗｐ_ｔ｜ｔ^（ｉ））
＝（Ｘ_ｔ｜ｔ^（ｉ），Ｙ_ｔ｜ｔ^（ｉ），Ｗ_ｔ｜ｔ^（ｉ），Ｈ_ｔ｜ｔ^（ｉ），０．６，１／Ｍ１）
なお、上記において、ｉは、ｉ２〜ｉ５のいずれかである。

【0153】

予測確率分布データＳ_{ｔ｜ｔ−１}に従って取得されたｉ５番目のパーティクルから第１尤度ｗｐ^（ｉ３）＝０．８が取得されるので、予測確率分布データＳ_{ｔ｜ｔ−１}に従って取得されたｉ５番目のパーティクルの位置において、比例配分により、３個のパーティクルが復元される。つまり、事後確率分布データＳ_ｔ｜ｔに従って取得されたｉ６〜ｉ８番目のパーティクル、すなわち、合計３個のパーティクルが復元される。

【0154】

そして、予測確率分布データＳ_{ｔ｜ｔ−１}に従って取得されたｉ５番目のパーティクルから第２尤度ｗｎ^（ｉ５）＝０．２が取得されるので、事後確率分布データＳ_ｔ｜ｔに従って取得されたｉ６〜ｉ８番目のパーティクルにおいて、その内部変数であるｗｎ^（ｉ）に、尤度取得部５により取得された第２尤度ｗｎ＝０．２が設定される。すなわち、事後確率分布データＳ_ｔ｜ｔに従って取得されたｉ６〜ｉ８番目のパーティクルの内部変数は、以下のように設定される。

【0155】

（Ｘ_ｔ｜ｔ^（ｉ），Ｙ_ｔ｜ｔ^（ｉ），Ｗ_ｔ｜ｔ^（ｉ），Ｈ_ｔ｜ｔ^（ｉ），ｗｎ_ｔ｜ｔ^（ｉ），ｗｐ_ｔ｜ｔ^（ｉ））
＝（Ｘ_ｔ｜ｔ^（ｉ），Ｙ_ｔ｜ｔ^（ｉ），Ｗ_ｔ｜ｔ^（ｉ），Ｈ_ｔ｜ｔ^（ｉ），０．２，１／Ｍ１）
なお、上記において、ｉは、ｉ６〜ｉ８のいずれかである。

【0156】

予測確率分布データＳ_{ｔ｜ｔ−１}に従って取得されたｉ６番目のパーティクルから第１尤度ｗｐ^（ｉ３）＝０．２５が取得されるので、予測確率分布データＳ_{ｔ｜ｔ−１}に従って取得されたｉ６番目のパーティクルの位置において、比例配分により、１個のパーティクルが復元される。つまり、事後確率分布データＳ_ｔ｜ｔに従って取得されたｉ９番目のパーティクルが復元される。

【0157】

そして、予測確率分布データＳ_{ｔ｜ｔ−１}に従って取得されたｉ６番目のパーティクルから第２尤度ｗｎ^（ｉ６）＝０．０が取得されるので、事後確率分布データＳ_ｔ｜ｔに従って取得されたｉ９番目のパーティクルにおいて、その内部変数であるｗｎ^（ｉ９）に、尤度取得部５により取得された第２尤度ｗｎ＝０．０が設定される。すなわち、事後確率分布データＳ_ｔ｜ｔに従って取得されたｉ９番目のパーティクルの内部変数は、以下のように設定される。

【0158】

（Ｘ_ｔ｜ｔ^（ｉ９），Ｙ_ｔ｜ｔ^（ｉ９），Ｗ_ｔ｜ｔ^（ｉ９），Ｈ_ｔ｜ｔ^（ｉ９），ｗｎ_ｔ｜ｔ^（ｉ９），ｗｐ_ｔ｜ｔ^（ｉ９））＝（Ｘ_ｔ｜ｔ^（ｉ９），Ｙ_ｔ｜ｔ^（ｉ９），Ｗ_ｔ｜ｔ^（ｉ９），Ｈ_ｔ｜ｔ^（ｉ９），０．０，１／Ｍ１）
以上のように、事後確率分布推定部６は、時刻ｔにおける物体ＴＧ１の第１尤度ｗｐ^（ｉ）に比例する割合でＭ１個のパーティクル（粒子）を復元抽出する（パーティクルｘａ_ｔ^（ｉ）（物体ＴＧ１のｉ番目の粒子）を抽出する）とともに、復元抽出したパーティクルに第２尤度ｗｎを引き継ぐ。つまり、事後確率分布推定部６は、ｓ_ｔ｜ｔ^（ｉ）の内部変数であるｗｎ^（ｉ）に、尤度取得部５により取得された第２尤度ｗｎを設定する。

【0159】

なお、物体ＴＧ１を追跡するためのパーティクル数がＭ１個である場合、追跡対象に対する追跡処理を継続させるか、それとも、追跡処理を停止させるかの判定（追跡対象のＤｉｓｃａｒｄ／Ｓｕｒｖｉｖｅ判定処理）は、第１尤度値ｗｐ^（ｉ）に基づいて、行うようにしてもよい。

【0160】

例えば、事後確率分布推定部６は、物体ＴＧ１に対する追跡処理を継続させるか、あるいは、停止させるかの判定処理を、以下の処理により実行する。すなわち、事後確率分布推定部６は、下記（数式４）により、物体ＴＧ１について取得された、Ｍ１個の第１尤度値ｗｐ^（ｉ）を積算することで、判定値ＤＳを求める。

【0161】

【数5】

【0162】

そして、事後確率分布推定部６は、以下の処理を行う。
（１）判定値ＤＳが閾値ｔｈ１よりも小さい場合、事後確率分布推定部６は、物体ＴＧ１に対する追跡処理を停止させる。つまり、事後確率分布推定部６は、次時刻以降、物体ＴＧ１を追跡対象から除外する。
（２）判定値ＤＳが閾値ｔｈ１以上である場合、事後確率分布推定部６は、物体ＴＧ１に対する追跡処理を継続させる。つまり、事後確率分布推定部６は、次時刻以降も、物体ＴＧ１を追跡対象とする。

【0163】

例えば、図２の場合、閾値ｔｈ１を「０．２」に設定すると、
ＤＳ＝０．４＋０．９５＋０．８＋０．２５＝２．４
となり、ＤＳ＞０．２であるので、事後確率分布推定部６は、次時刻以降も、物体ＴＧ１を追跡対象とする（物体ＴＧ１の追跡処理を継続させる）。

【0164】

また、上記では、ｓ_ｔ｜ｔ^（ｉ）の内部変数であるｗｎ^（ｉ）に、尤度取得部５により取得された第２尤度ｗｎの値をそのまま設定している（引き継いでいる）が、これに限定されることはなく、以下のように、尤度取得部５により取得された第１尤度値ｗｐと第２尤度値ｗｎとの比または差を用いて、第２尤度ｗｎの値を引き継ぐようにしてもよい。すなわち、以下の（１）〜（２）により、事後確率分布推定部６は、第１尤度値ｗｐと第２尤度値ｗｎとの比または差を用いて、第２尤度ｗｎの値を引き継ぐように、事後確率分布データＳ_ｔ｜ｔに従って取得されたｉ番目のパーティクルの内部変数のｗｎ_ｔ｜ｔ^（ｉ）を設定するようにしてもよい。

【0165】

（１）第１尤度値ｗｐと第２尤度値ｗｎとの比による承継
ｗｎ_ｔ｜ｔ^（ｉ）＝ｗｐ_ｔ｜ｔ^（ｉ）×ｗｎ／ｗｐ
＝（１／Ｍ１）×ｗｎ／ｗｐ
例えば、図７の予測確率分布データＳ_{ｔ｜ｔ−１}に従って取得されたｉ４番目のパーティクルから第１尤度ｗｐ^（ｉ４）＝０．９５、第２尤度ｗｎ^（ｉ４）＝０．６が取得されるので、予測確率分布データＳ_{ｔ｜ｔ−１}に従って取得されたｉ４番目のパーティクルの位置において、比例配分により、復元されるパーティクル、すなわち、事後確率分布データＳ_ｔ｜ｔに従って取得されたｉ２〜ｉ５番目のパーティクルの内部変数ｗｎ_ｔ｜ｔ^（ｉ）は、上記数式により、
ｗｎ_ｔ｜ｔ^（ｉ）＝ｗｐ_ｔ｜ｔ^（ｉ）×ｗｎ／ｗｐ
＝（１／Ｍ１）×０．６／０．９５
と設定される。なお、上式のｉは、ｉ２〜ｉ５のいずれかである。

【0166】

上式において、ｗｐ＝０となる場合、「０」で除算されることになるため、これを防ぐために、第１尤度ｗｐが所定の値ｔｈよりも小さい場合、所定の値ｔｈでクリップ処理を行うようにしてもよい。例えば、第１尤度ｗｐが所定の値０．００１よりも小さい場合、第１尤度ｗｐを０．００１としてもよい。これにより、「０」で除算されることを防止することができる。

【0167】

（２）第１尤度値ｗｐと第２尤度値ｗｎとの差による承継
ｗｎ_ｔ｜ｔ^（ｉ）＝ｗｐ_ｔ｜ｔ^（ｉ）−（ｗｐ−ｗｎ）
＝（１／Ｍ１）−（ｗｐ−ｗｎ）
例えば、図７の予測確率分布データＳ_{ｔ｜ｔ−１}に従って取得されたｉ４番目のパーティクルから第１尤度ｗｐ^（ｉ４）＝０．９５、第２尤度ｗｎ^（ｉ４）＝０．６が取得されるので、予測確率分布データＳ_{ｔ｜ｔ−１}に従って取得されたｉ４番目のパーティクルの位置において、比例配分により、復元されるパーティクル、すなわち、事後確率分布データＳ_ｔ｜ｔに従って取得されたｉ２〜ｉ５番目のパーティクルの内部変数ｗｎ_ｔ｜ｔ^（ｉ）は、上記数式により、
ｗｎ_ｔ｜ｔ^（ｉ）＝ｗｐ_ｔ｜ｔ^（ｉ）−（ｗｐ−ｗｎ）
＝（１／Ｍ１）−（０．９５−０．６）
と設定される。なお、上式のｉは、ｉ２〜ｉ５のいずれかである。

【0168】

このように、事後確率分布推定部６は、復元抽出されたＭ１個のパーティクルの分布から、時刻ｔの事後確率分布ｐ（ｘ_ｔ｜ｙ_ｔ）に従って生成されたサンプル集合（パーティクルの集合）Ｓ_ｔ｜ｔ（事後確率分布データＳ_ｔ｜ｔ）、すなわち、
Ｓ_ｔ｜ｔ＝｛ｓ_ｔ｜ｔ^（１），ｓ_ｔ｜ｔ^（２），・・・，ｓ_ｔ｜ｔ^（Ｍ１）｝
を取得する。そして、事後確率分布推定部６は、上記の方法により、第２尤度ｗｎの値を引き継ぐように、事後確率分布データＳ_ｔ｜ｔに従って取得されたｉ番目のパーティクルの内部変数のｗｎ_ｔ｜ｔ^（ｉ）を設定する。

【0169】

そして、事後確率分布推定部６は、推定（取得）した事後確率分布（事後確率分布データ）を、状態推定装置１０００から出力するとともに、事前確率分布出力部７に出力する。

【0170】

なお、事後確率分布推定部６は、事後確率分布データＳ_ｔ｜ｔに従って取得されたＭ１個のパーティクルのうち、内部変数ｗｎ_ｔ｜ｔ^（ｉ）の値が最大であるパーティクルのベクトルデータ（Ｘ_ｔ^（ｉ），Ｙ_ｔ^（ｉ），Ｗ_ｔ^（ｉ），Ｈ_ｔ^（ｉ））を推定結果データとして取得するようにしてもよい。

【0171】

また、事後確率分布推定部６は、以下の処理に推定結果データを取得するようにしてもよい。すなわち、事後確率分布推定部６は、下記（数式５）により、事後確率分布データＳ_ｔ｜ｔに従って取得されたＭ１個のパーティクルの内部変数ｗｎ_ｔ｜ｔ^（ｉ）の重み付き平均値ｗｇｔを取得する。

【0172】

【数6】

【0173】

そして、事後確率分布推定部６は、取得した重み付き平均値ｗｇｔを用いて取得したベクトルデータ（ｗｇｔ×Ｘ_ｔ^（ｉ），ｗｇｔ×Ｙ_ｔ^（ｉ），ｗｇｔ×Ｗ_ｔ^（ｉ），ｗｇｔ×Ｈ_ｔ^（ｉ））を推定結果データとして取得するようにしてもよい。

【0174】

事前確率分布出力部７は、事後確率分布推定部６から入力された時刻ｔにおける事後確率分布（事後確率分布データ）を、次の時刻ｔ＋１において、事前確率分布（事前確率分布データ）として、予測部９に出力する。

【0175】

そして、以降、状態推定装置１０００では、上記と同様の処理を繰り返される。

【0176】

以上のように、状態推定装置１０００では、第１尤度ｗｐと第２尤度ｗｎとを反映させた事後確率分布（事後確率分布データ）Ｓ_ｔ｜ｔを取得することができる。つまり、状態推定装置１０００では、複数の観測データ（可能性測度データＤｐおよび必然性測度データＤｎ）を取得し、取得した複数の観測データのそれぞれから導出された複数の尤度（第１尤度ｗｐおよび第２尤度ｗｎ）を用いて、物体の内部状態を推定することにより、より正確かつロバストに、物体の検出処理や追跡処理を行うことができる。

【0177】

例えば、図７に示すように、事後確率分布データＳ_ｔ｜ｔにより取得されたパーティクルは、それぞれ、第２尤度ｗｎの値を承継した（反映させた）内部変数ｗｎ_ｔ｜ｔ^（ｉ）を有しているので、各パーティクルが存在する位置、および、第２尤度ｗｎの値を承継した（反映させた）内部変数ｗｎ_ｔ｜ｔ^（ｉ）を調べることで、当該パーティクル（第１尤度と第２尤度とを反映させた事後確率分布データ）を用いて多様な追跡処理、検出処理を実行することができる。

【0178】

第１実施形態の場合、可能性測度データＤｐは、第１観測データＤ１（人に相当する画像領域を抽出した観測データ）と第２観測データＤ２（動く物体に相当する画像領域を抽出した観測データ）とに対して、加算または論理和演算（ＯＲ演算）を行うことで、取得されたデータである。したがって、可能性測度データＤｐのデータ値（画素値）が大きい部分は、人であるか、動いている物体である可能性が高いことを示している。そして、第１尤度ｗｐは、可能性測度データＤｐより導出され、第１尤度ｗｐの値に比例する割合で、Ｍ１個のパーティクルが復元抽出される。つまり、第１尤度ｗｐの値が大きい部分に、多数のパーティクルが復元抽出（配置）される。これにより、多数のパーティクルが復元抽出（配置）されている部分が、人であるか、動いている物体であることを示す。

【0179】

また、第１実施形態の場合、必然性測度データＤｎは、第１観測データＤ１（人に相当する画像領域を抽出した観測データ）と第２観測データＤ２（動く物体に相当する画像領域を抽出した観測データ）とに対して、乗算または論理積演算（ＡＮＤ演算）を行うことで、取得されたデータである。したがって、必然性測度データＤｎのデータ値（画素値）が大きい部分は、人であり、かつ、動いている物体である可能性が高いことを示している。そして、第２尤度ｗｎは、必然性測度データＤｎより導出された値であるので、第２尤度ｗｎの値が大きいということは、当該第２尤度ｗｎを有するパーティクルが、人であり、かつ、動いている物体を追跡しているパーティクルである可能性が高いことを意味する。

【0180】

つまり、状態推定装置１０００では、第１尤度ｗｐは、パーティクル数に反映され、第２尤度ｗｎは、各パーティクルの内部変数に反映される。したがって、パーティクルの配置位置、数、パーティクルの第２尤度ｗｎを反映させた内部変数を調べることで、多様な追跡処理、検出処理を実現することができる。第１実施形態では、パーティクルが多く配置されている部分が人である可能性が高く、さらに、パーティクルの第２尤度ｗｎを反映させた内部変数を調べることで、当該パーティクルが存在する画像領域が動いている人である可能性が高いか、否かを検出することができる。すなわち、状態推定装置１０００では、第１尤度ｗｐは、パーティクル数に反映され、第２尤度ｗｎは、各パーティクルの内部変数に反映されるので、例えば、パーティクルが多く配置されている部分であり、かつ、当該パーティクルの第２尤度ｗｎの値が大きい部分が、動いている人であると検知することができる。したがって、状態推定装置１０００では、多様な物体の検出処理や追跡処理を、適切に行うことができる。

【0181】

このように、状態推定装置１０００では、複数の観測データ（可能性測度データＤｐおよび必然性測度データＤｎ）を取得し、取得した複数の観測データのそれぞれから導出された複数の尤度（第１尤度ｗｐおよび第２尤度ｗｎ）を用いて、物体の内部状態を推定することにより、より正確かつロバストに、物体の検出処理や追跡処理を行うことができる。

【0182】

≪第１変形例≫
次に、第１実施形態の第１変形例について、説明する。

【0183】

本変形例において、第１実施形態と同様の部分については、同一符号を付し、詳細な説明を省略する。

【0184】

図８は、第１実施形態の第１変形例に係る状態推定装置１０００Ａの概略構成図である。

【0185】

第１変形例の状態推定装置１０００Ａでは、第１観測取得部１に、第１入力データＤｉｎ１が入力され、第２観測取得部２に、第２入力データＤｉｎ２が入力される。つまり、第１実施形態の状態推定装置１０００では、１つの入力データＤｉｎが、第１観測取得部１および第２観測取得部２に入力されていたが、本変形例の状態推定装置１０００Ａでは、第１観測取得部１および第２観測取得部２には、別のデータが入力される。この点において、本変形例の状態推定装置１０００Ａは、第１実施形態の状態推定装置１０００と相違する。

【0186】

本変形例の状態推定装置１０００Ａでは、第１観測取得部１および第２観測取得部２に別のデータを入力することができるので、例えば、第１のセンサー（例えば、可視光用イメージセンサー等）（不図示）により取得した信号（データ）Ｄｉｎ１を第１観測取得部１に入力し、第２のセンサー（例えば、赤外光用イメージセンサー等）（不図示）により取得した信号（データ）Ｄｉｎ２を第２観測取得部２に入力することができる。これにより、本変形例の状態推定装置１０００Ａでは、複数の入力データを用いて、複数の観測データを取得し、取得した複数の観測データのそれぞれから導出された複数の尤度を用いて、物体の内部状態を推定することにより、より正確かつロバストに、物体の検出処理や追跡処理を行うことができる。

【0187】

≪第２変形例≫
次に、第１実施形態の第２変形例について、説明する。

【0188】

本変形例において、上記実施形態および変形例と同様の部分については、同一符号を付し、詳細な説明を省略する。

【0189】

図９は、第１実施形態の第２変形例に係る状態推定装置１０００Ｂの概略構成図である。

【0190】

第２変形例の状態推定装置１０００Ｂは、図９に示すように、Ｎ個（Ｎ：３以上の自然数）の観測取得部を有する。

【0191】

また、本変形例の状態推定装置１０００Ｂは、図９に示すように、第１実施形態の状態推定装置１０００において、可能性測度取得部３を可能性測度取得部３Ａに置換し、必然性測度取得部４を必然性測度取得部４Ａに置換した構成を有している。

【0192】

第１観測取得部１は、第１のセンサー（不図示）により取得された入力データＤｉｎ１を入力とし、入力データＤｉｎ１から、所定の画像特徴量を抽出した第１観測データＤ１を取得し、取得した第１観測データＤ１を可能性測度取得部３Ａおよび必然性測度取得部４Ａに出力する。

【0193】

第２観測取得部２は、第２のセンサー（不図示）により取得された入力データＤｉｎ２を入力とし、入力データＤｉｎ２から、所定の画像特徴量を抽出した第２観測データＤ２を取得し、取得した第２観測データＤ２を可能性測度取得部３Ａおよび必然性測度取得部４Ａに出力する。

【0194】

第Ｋ観測取得部（Ｋ：自然数、３≦ｋ≦Ｎ）は、第Ｋのセンサー（不図示）により取得された入力データＤｉｎＫを入力とし、入力データＤｉｎＫから、所定の画像特徴量を抽出した第Ｋ観測データＤＫを取得し、取得した第Ｋ観測データＤＫを可能性測度取得部３Ａおよび必然性測度取得部４Ａに出力する。

【0195】

可能性測度取得部３Ａは、Ｎ個の観測取得部により、それぞれ、取得されたＮ個の観測データを入力とする。可能性測度取得部３Ａは、入力されたＮ個の観測データの２つ以上（全部であってもよい。）のデータについて、第１実施形態と同様に、加算または論理和演算（ＯＲ演算）を行うことで、可能性測度データＤｐを取得する。そして、可能性測度取得部３Ａは、取得した可能性測度データＤｐを尤度取得部５に出力する。

【0196】

必然性測度取得部４Ａは、Ｎ個の観測取得部により、それぞれ、取得されたＮ個の観測データを入力とする。必然性測度取得部４Ａは、入力されたＮ個の観測データの２つ以上（全部であってもよい。）のデータについて、第１実施形態と同様に、乗算または論理積演算（ＡＮＤ演算）を行うことで、必然性測度データＤｎを取得する。そして、必然性測度取得部４Ａは、取得した必然性測度データＤｎを尤度取得部５に出力する。

【0197】

以降の処理は、第１実施形態と同様である。

【0198】

このように、本変形例の状態推定装置１０００Ｂでは、多様な入力データを用いて、複数の観測データを取得し、取得した複数の観測データから導出された複数の尤度を用いて、物体の内部状態を推定することにより、より正確かつロバストに、物体の検出処理や追跡処理を行うことができる。

【0199】

例えば、第１観測取得部１および第２観測取得部２により取得される観測データは、第１実施形態と同様のものとし、第３観測取得部により取得される観測データを、赤外線イメージセンサーを用いて取得した入力データから取得した温度の高い物体を検出した観測データであるとし、上記３つの観測データから必然性測度データＤｎを取得した場合、当該必然性測度データＤｎは、人、かつ、移動している物体、かつ、温度の高い物体に相当する画像領域において、大きな画素値となる。そして、本変形例の状態推定装置１０００Ｂでは、当該必然性測度データＤｎから第２尤度ｗｎを取得する。したがって、本変形例の状態推定装置１０００Ｂにより、取得された事後確率分布データＳ_ｔ｜ｔに基づいて、第２尤度ｗｎの値が高いパーティクルが多数集中している部分（画像領域）を検出することで、人、かつ、移動している物体、かつ、温度の高い物体を適切に検出することができる。これにより、本変形例の状態推定装置１０００Ｂでは、例えば、人、かつ、移動している物体、かつ、温度の高い物体についての追跡処理や検出処理を適切に行うことができる。つまり、本変形例の状態推定装置１０００Ｂでは、複数の多様な入力データを用いて、複数の観測データを取得し、第１実施形態と同様の処理により、複数の尤度を用いて、物体の内部状態を適切に推定することができる。その結果、本変形例の状態推定装置１０００Ｂでは、より正確かつロバストに、多様な物体の検出処理や追跡処理を行うことができる。

【0200】

なお、本変形例の状態推定装置１０００Ｂにおいて、第１変形例のように、任意の２つ以上の観測取得部に、１つのセンサーから取得された入力データが入力されるようにしてもよい。

【0201】

［他の実施形態］
上記実施形態および変形例を組み合わせて状態推定装置を構成するようにしてもよい。

【0202】

また、上記実施形態（変形例を含む。）では、尤度取得部５が１つである場合について説明したが、これに限定されることはなく、例えば、尤度取得部を、可能性測度データＤｐから第１尤度ｗｐを取得するための第１尤度取得部と、必然性測度データＤｎから第２尤度ｗｎを取得するための第２尤度取得部とに分けて構成するようにしてもよい。この場合、閾値処理等を行う場合、第１尤度取得部および第２尤度取得部に、個別の閾値設定等が容易にできるようになる。

【0203】

また、上記実施形態（変形例を含む。）では、尤度を取得するときのパラメータを、ｉ番目のパーティクルの画像上の座標位置（Ｘ_ｔ^（ｉ），Ｙ_ｔ^（ｉ））と、当該座標位置を中心とする幅Ｗ、高さＨの矩形状の画像領域を決定するための幅Ｗ、高さＨとし、矩形領域を設定するパラメータとしたが、これに限定されることはない。

【0204】

例えば、尤度を取得するときのパラメータを、ｉ番目のパーティクルの画像上の座標位置（Ｘ_ｔ^（ｉ），Ｙ_ｔ^（ｉ））と、当該座標位置を中心とする半径Ｒの円状の画像領域を決定するための半径Ｒとし、円領域を設定するパラメータとしてもよい。

【0205】

また、尤度を取得するときのパラメータを、ｉ番目のパーティクルの画像上の座標位置（Ｘ_ｔ^（ｉ），Ｙ_ｔ^（ｉ））と、当該座標位置を中心とする長軸２Ａ、短軸２Ｂの楕円状の画像領域を決定するための値Ａ（長軸の長さの半分の値）、値Ｂ（短軸の長さの半分の値）とし、楕円領域を設定するパラメータとしてもよい。さらに、長軸と短軸とのなす角度θを楕円領域を設定するパラメータとして追加してもよい。

【0206】

また、上記実施形態で説明した状態推定装置において、各ブロックは、ＬＳＩなどの半導体装置により個別に１チップ化されても良いし、一部又は全部を含むように１チップ化されても良い。

【0207】

なお、ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。

【0208】

また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用しても良い。

【0209】

また、上記各実施形態の各機能ブロックの処理の一部または全部は、プログラムにより実現されるものであってもよい。そして、上記各実施形態の各機能ブロックの処理の一部または全部は、コンピュータにおいて、中央演算装置（ＣＰＵ）により行われる。また、それぞれの処理を行うためのプログラムは、ハードディスク、ＲＯＭなどの記憶装置に格納されており、ＲＯＭにおいて、あるいはＲＡＭに読み出されて実行される。

【0210】

また、上記実施形態の各処理をハードウェアにより実現してもよいし、ソフトウェア（ＯＳ（オペレーティングシステム）、ミドルウェア、あるいは、所定のライブラリとともに実現される場合を含む。）により実現してもよい。さらに、ソフトウェアおよびハードウェアの混在処理により実現しても良い。

【0211】

また、上記実施形態における処理方法の実行順序は、必ずしも、上記実施形態の記載に制限されるものではなく、発明の要旨を逸脱しない範囲で、実行順序を入れ替えることができるものである。

【0212】

前述した方法をコンピュータに実行させるコンピュータプログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体は、本発明の範囲に含まれる。ここで、コンピュータ読み取り可能な記録媒体としては、例えば、フレキシブルディスク、ハードディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、大容量ＤＶＤ、次世代ＤＶＤ、半導体メモリを挙げることができる。

【0213】

上記コンピュータプログラムは、上記記録媒体に記録されたものに限られず、電気通信回線、無線又は有線通信回線、インターネットを代表とするネットワーク等を経由して伝送されるものであってもよい。

【0214】

なお、本発明の具体的な構成は、前述の実施形態に限られるものではなく、発明の要旨を逸脱しない範囲で種々の変更および修正が可能である。

【符号の説明】

【0215】

１０００、１０００Ａ、１０００Ｂ 状態推定装置
１ 第１観測取得部
２ 第２観測取得部
３、３Ａ 可能性測度取得部
４、４Ａ 必然性測度取得部
５ 尤度取得部
６ 事後確率分布推定部
７ 事前確率分布出力部
８ 初期状態設定部
９ 予測部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】