特許 6194450 状態推定装置、プログラムおよび集積回路

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6194450

(24)【登録日】2017年8月25日

(45)【発行日】2017年9月13日

(54)【発明の名称】状態推定装置、プログラムおよび集積回路

(51)【国際特許分類】

   G06T 7/277 20170101AFI20170904BHJP

【ＦＩ】

   G06T7/277

【請求項の数】11

【全頁数】42

(21)【出願番号】特願2013-85014(P2013-85014)

(22)【出願日】2013年4月15日

(65)【公開番号】特開2014-206907(P2014-206907A)

(43)【公開日】2014年10月30日

【審査請求日】2016年3月28日

(73)【特許権者】

【識別番号】591128453

【氏名又は名称】株式会社メガチップス

(73)【特許権者】

【識別番号】504174135

【氏名又は名称】国立大学法人九州工業大学

(74)【代理人】

【識別番号】100125704

【弁理士】

【氏名又は名称】坂根 剛

(74)【代理人】

【識別番号】100104444

【弁理士】

【氏名又は名称】上羽 秀敏

(74)【代理人】

【識別番号】100112715

【弁理士】

【氏名又は名称】松山 隆夫

(74)【代理人】

【識別番号】100120662

【弁理士】

【氏名又は名称】川上 桂子

(74)【代理人】

【識別番号】100143498

【弁理士】

【氏名又は名称】中西 健

(72)【発明者】

【氏名】生駒 哲一

(72)【発明者】

【氏名】長谷川 弘

【審査官】 新井 則和

(56)【参考文献】

【文献】 特開２００７−３２８７４６（ＪＰ，Ａ）

【文献】 特開２００９−１９９３６３（ＪＰ，Ａ）

【文献】 特許第４６８６６６３（ＪＰ，Ｃ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ７／００−７／９０

(57)【特許請求の範囲】

【請求項1】

観測可能な事象から得られる複数の観測データを、任意の時間間隔で取得する観測取得部と、
前時刻ｔ−１に取得された事後確率分布データに基づいて、前記観測取得部により取得された前記複数の観測データの中から、１つの観測データを選択する観測選択部と、
前記観測選択部により選択された１つの観測データと、前記事後確率分布データに対して予測処理を行うことで取得した予測後確率分布データとに基づいて、尤度データを取得する尤度取得部と、
前記尤度取得部により取得された前記予測後確率分布データと、前記尤度データとから、前記事象の状態の事後確率分布データを推定する事後確率分布推定部と、
前記事後確率分布推定部により推定された前記事後確率分布データに基づく事前確率分布データを、次時刻ｔ＋１において、事前確率分布データとして出力する事前確率分布出力部と、
を備える状態推定装置。

【請求項2】

観測可能な事象から得られる複数の観測データを、任意の時間間隔で取得する観測取得部と、
前時刻ｔ−１に取得された事後確率分布データに対して予測処理を行うことで取得した予測後確率分布データに基づいて、観測取得部により取得された複数の観測データごとに、尤度データを算出する尤度算出部と、
前記尤度算出部により取得された、複数の観測データごとに算出された複数の尤度データに基づいて、１つの尤度データを導出し、導出した前記１つの尤度データを決定尤度データとして取得する尤度取得部と、
前記予測後確率分布データと前記決定尤度データとに基づいて、前記事象の状態の事後確率分布データを推定する事後確率分布推定部と、
前記事後確率分布推定部により推定された前記事後確率分布データに基づく事前確率分布データを、次時刻ｔ＋１において、事前確率分布データとして出力する事前確率分布出力部と、
を備える状態推定装置。

【請求項3】

前記尤度取得部は、前記複数の尤度データから選択した１つの尤度データを前記決定尤度データとして取得する、
請求項２に記載の状態推定装置。

【請求項4】

前記尤度取得部は、前記複数の尤度データの重み付け和により導出した尤度データを、前記決定尤度データとして取得する、
請求項２に記載の状態推定装置。

【請求項5】

前記尤度算出部、前記尤度取得部、前記事後確率分布推定部、および、前記事前確率分布出力部は、パーティクルフィルタによる処理を実行し、
前記尤度データの重み付け係数は、パーティクルの内部状態を表す関数である、
請求項４に記載の状態推定装置。

【請求項6】

前記尤度算出部、前記尤度取得部、前記事後確率分布推定部、および、前記事前確率分布出力部は、パーティクルフィルタによる処理を実行する、
請求項２から５のいずれかに記載の状態推定装置。

【請求項7】

前記観測選択部、前記尤度取得部、前記事後確率分布推定部、および、前記事前確率分布出力部は、パーティクルフィルタによる処理を実行する、
請求項１に記載の状態推定装置。

【請求項8】

観測可能な事象から得られる複数の観測データを、任意の時間間隔で取得する観測取得ステップと、
前時刻ｔ−１に取得された事後確率分布データに基づいて、前記観測取得ステップにより取得された前記複数の観測データの中から、１つの観測データを選択する観測選択ステップと、
前記観測選択ステップにより選択された１つの観測データと、前記事後確率分布データに対して予測処理を行うことで取得した予測後確率分布データとに基づいて、尤度データを取得する尤度取得ステップと、
前記尤度取得ステップにより取得された前記予測後確率分布データと、前記尤度データとから、前記事象の状態の事後確率分布データを推定する事後確率分布推定ステップと、
前記事後確率分布推定ステップにより推定された前記事後確率分布データに基づく事前確率分布データを、次時刻ｔ＋１において、事前確率分布データとして出力する事前確率分布出ステップと、
を備える状態推定方法をコンピュータに実行させるためのプログラム。

【請求項9】

観測可能な事象から得られる複数の観測データを、任意の時間間隔で取得する観測取得ステップと、
前時刻ｔ−１に取得された事後確率分布データに対して予測処理を行うことで取得した予測後確率分布データに基づいて、観測取得ステップにより取得された複数の観測データごとに、尤度データを算出する尤度算出ステップと、
前記尤度算出ステップにより取得された、複数の観測データごとに算出された複数の尤度データに基づいて、１つの尤度データを導出し、導出した前記１つの尤度データを決定尤度データとして取得する尤度取得ステップと、
前記予測後確率分布データと前記決定尤度データとに基づいて、前記事象の状態の事後確率分布データを推定する事後確率分布推定ステップと、
前記事後確率分布推定ステップにより推定された前記事後確率分布データに基づく事前確率分布データを、次時刻ｔ＋１において、事前確率分布データとして出力する事前確率分布出ステップと、
を備える状態推定方法をコンピュータに実行させるためのプログラム。

【請求項10】

観測可能な事象から得られる複数の観測データを、任意の時間間隔で取得する観測取得部を備える状態推定装置に用いられる集積回路であって、
前時刻ｔ−１に取得された事後確率分布データに基づいて、前記観測取得部により取得された前記複数の観測データの中から、１つの観測データを選択する観測選択部と、
前記観測選択部により選択された１つの観測データと、前記事後確率分布データに対して予測処理を行うことで取得した予測後確率分布データとに基づいて、尤度データを取得する尤度取得部と、
前記尤度取得部により取得された前記予測後確率分布データと、前記尤度データとから、前記事象の状態の事後確率分布データを推定する事後確率分布推定部と、
前記事後確率分布推定部により推定された前記事後確率分布データに基づく事前確率分布データを、次時刻ｔ＋１において、事前確率分布データとして出力する事前確率分布出力部と、
を備える集積回路。

【請求項11】

観測可能な事象から得られる複数の観測データを、任意の時間間隔で取得する観測取得部を備える状態推定装置に用いられる集積回路であって、
前時刻ｔ−１に取得された事後確率分布データに対して予測処理を行うことで取得した予測後確率分布データに基づいて、観測取得部により取得された複数の観測データごとに、尤度データを算出する尤度算出部と、
前記尤度算出部により取得された、複数の観測データごとに算出された複数の尤度データに基づいて、１つの尤度データを導出し、導出した前記１つの尤度データを決定尤度データとして取得する尤度取得部と、
前記予測後確率分布データと前記決定尤度データとに基づいて、前記事象の状態の事後確率分布データを推定する事後確率分布推定部と、
前記事後確率分布推定部により推定された前記事後確率分布データに基づく事前確率分布データを、次時刻ｔ＋１において、事前確率分布データとして出力する事前確率分布出力部と、
を備える集積回路。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、時系列フィルタを用いて観測可能な事象の状態推定を行う技術に関し、例えば、時系列フィルタを用いて動画像上の物体を追跡する技術に関する。

【背景技術】

【0002】

時々刻々変化する観測対象の内部状態を推定する技術として、時系列フィルタを用いた技術がある。時系列フィルタとは、時刻ｔにおける対象の内部状態を状態ベクトルｘ_ｔとし、時刻ｔにおいて観測された特徴を観測ベクトルｙ_ｔとしたとき、観測された観測ベクトルｙ_ｔから、直接観測できない対象の内部状態ｘ_ｔを推定する手法である。

【0003】

つまり、時系列フィルタとは、以下の状態空間モデル、すなわち、
システムモデル：ｘ_ｔ〜ｆ（ｘ_ｔ｜ｘ_ｔ−１）
観測モデル：ｙ_ｔ〜ｈ（ｙ_ｔ｜ｘ_ｔ）
から、観測系列（時刻ｔまでの観測ベクトルの集合）ｙ_１：ｔ＝｛ｙ_１，ｙ_２，・・・，ｙ_ｔ｝が与えられたとき、状態系列ｘ_０：ｔ＝｛ｘ_０，ｘ_１，・・・，ｘ_ｔ｝の条件付確率分布ｐ（ｘ_ｔ｜ｙ_１：ｔ）を求める手法である。

【0004】

システムノイズをｖ_ｔとし、観測ノイズをｗ_ｔとすると、対象の内部状態のシステムモデルおよび対象を観測した時の観測モデルは、以下のように表すことができる。

【0005】

対象の内部状態のシステムモデル:ｘ_ｔ＝ｆ（ｘ_ｔ−１，ｖ_ｔ）
対象を観測した時の観測モデル:ｙ_ｔ＝ｈ（ｘ_ｔ，ｗ_ｔ）
ｆ（ｘ_ｔ−１，ｖ_ｔ）：時刻ｔ−１と時刻ｔとの状態変化を表す状態遷移関数
ｈ（ｘ_ｔ，ｗ_ｔ）：状態ｘ_ｔのときに得られる観測ベクトルを表す関数
このとき、１期先予測は、

【0006】

【数1】

【0007】

であり、ベイズ則により、時刻tにおける事後確率分布ｐ（ｘ_ｔ｜ｙ_１：ｔ）は、

【0008】

【数2】

【0009】

となる。なお、ｈ（ｙ_ｔ｜ｘ_ｔ）は尤度（状態ｘ_ｔのときに、観測ベクトルｙ_ｔを得る確率）であり、ｐ（ｘ_ｔ｜ｙ_{１：ｔ−１}）は確率事前分布である。

【0010】

時系列フィルタの実装の一手法としてパーティクルフィルタがある。パーティクルフィルタでは、観測対象の内部状態の確率分布をパーティクルの分布で表現し、現時刻における状態の事後確率分布を次時刻における状態の事前確率分布とする。そして、パーティクルフィルタでは、当該事前確率分布を表すパーティクル（当該事前確率分布に従って生成されたサンプル集合）の状態から推定されたテンプレートの観測（予測サンプル）と、次時刻における実際の画像（実際の観測）とを比較することで尤度を求める。

【0011】

そして、パーティクルフィルタでは、求めた尤度と事前確率分布とからパーティクルの事後確率分布を推定する。

【0012】

次時刻以降、前述の処理を繰り返すことで、パーティクルフィルタでは、動的に変化する観測対象（例えば、追跡対象）の状態が逐次的に推定される。

【0013】

パーティクルフィルタでは、粒子数（パーティクルの数）をＭ（Ｍ：自然数）とし、１≦ｉ≦Ｍ（ｉ：整数）としたとき、以下の（１）〜（４）の処理を行う。
（１）粒子生成(１期先予測)
以下の数式に相当する処理により、各サンプル（各パーティクル）について、時刻ｔにおける予測サンプルを生成する。つまり、時刻ｔ−１の事後確率分布（時刻ｔ−１の観測対象の内部状態の確率分布）から、システムモデル（状態遷移関数）により予測した確率分布を取得する。具体的には、システムモデルｆに従って、時刻ｔ−１の各サンプル（各パーティクル）を遷移させて予測サンプルを生成する。

【0014】

ｘａ_ｔ^（ｉ）〜ｆ（ｘ_ｔ｜ｘ_ｔ−１^（ｉ））
ｘａ_ｔ＝｛ｘａ_ｔ^（１），ｘａ_ｔ^（２），ｘａ_ｔ^（３），・・・，ｘａ_ｔ^（Ｍ）｝
ｘａ_ｔ：状態遷移関数ｆ（）による状態ベクトルｘ_ｔの予測（推定）ベクトル
（２）重みの計算（尤度計算）
以下の数式に相当する処理により、処理（１）で生成された各予測サンプルについて、重み（尤度）を算出する。つまり、観測モデルｈに従って、観測ベクトルｙ_ｔを得る確率（尤度）を推定する。

【0015】

ｗａ_ｔ^（ｉ）〜ｈ（ｙ_ｔ｜ｘａ_ｔ^（ｉ））
ｗａ_ｔ＝｛ｗａ_ｔ^（１），ｗａ_ｔ^（２），ｗａ_ｔ^（３），・・・，ｗａ_ｔ^（Ｍ）｝
ｗａ_ｔ：関数ｈ（）による重み（尤度）ｗ_ｔの予測（推定）ベクトル（尤度の予測値の集合）
（３）リサンプリング
重み（尤度）ｗａ_ｔ^（ｉ）に比例する割合でＭ個の粒子を復元抽出する（粒子ｘａ_ｔ^（ｉ）を抽出する）。このようにして復元抽出されたＭ個の粒子の分布から、時刻ｔの事後確率分布（時刻ｔの観測対象の内部状態の確率分布）を取得する。
（４）時刻ｔを進めて（１）に戻る。このとき、処理（３）で取得した事後確率分布（時刻ｔでの事後確率分布）を、次の時刻（時刻ｔ＋１）の事前確率分布とする。

【0016】

このように、パーティクルフィルタとは、観測対象の状態を表すパラメータの事前確率分布の予測と、事後確率分布の計算とを繰り返し行うことで、時々刻々変化する、観測対象の状態を表すパラメータを推定するものである。このようなパーティクルフィルタは、例えば、動画像上の物体（オブジェクト）の位置の追跡に利用される。パーティクルフィルタを用いて物体（オブジェクト）の位置追跡処理を行う場合、追跡対象（観測対象の一例）の状態を表すパラメータは、例えば、物体の位置を表すパラメータである。この場合、パーティクルフィルタでは、物体の位置を表すパラメータから推定される観測（予測サンプル）と、実際の観測（例えば、カメラ等により撮像される画像）とを比較することによって尤度を算出し、算出した尤度に基づいて、粒子のリサンプリングを行うことで、観測対象の状態を表すパラメータの事後確率分布を取得することができる（例えば、特許文献１）。

【0017】

ところで、パーティクルフィルタにより物体の追跡処理を行う場合、実際の観測をカメラ等により撮像される画像（動画像）とすると、追跡対象とする物体の画像特徴量を抽出しながら、尤度を計算する必要がある。このため、尤度を計算するときの演算量が多くなる。

【0018】

そこで、追跡対象とする物体の特徴を決定しておき、カメラ等により撮像される画像（動画像）から、物体の特徴量を検出した画像特徴量検出画像を取得し、取得した画像特徴量検出画像を用いて尤度を計算することが考えられる。例えば、追跡対象とする物体の特徴を、大きさがＷ×Ｈ（Ｗ：幅、Ｈ：高さ）である黄色の物体とすると、カメラ等により撮像される画像（動画像）から、大きさがＷ×Ｈ（Ｗ：幅、Ｈ：高さ）であり、かつ、黄色の度合いが高い画像領域である程、当該画像領域に含まれる画素の画素値が大きな画素値となるようにした画像特徴量検出画像を取得する。そして、当該画像特徴量検出画像を用いて尤度を計算することで、少ない演算量で尤度計算を行うことができる。これにより、演算量の増加を抑えつつ、適切に観測対象の内部状態を推定するパーティクルフィルタ処理（例えば、物体の追跡処理）を実現することができる。

【先行技術文献】

【特許文献】

【0019】

【特許文献1】特開２０１２−２３４４６６号公報

【発明の概要】

【発明が解決しようとする課題】

【0020】

しかしながら、上記パーティクルフィルタ処理では、単一の観測から取得された尤度を用いて、事後確率分布の計算を行っているので、状況によっては、観測対象の内部状態を適切に推定することができない場合がある。例えば、上記パーティクルフィルタ処理により、動画像上の物体を追跡する場合、単一の観測から取得された尤度を用いているので、例えば、大きさが変化する物体を追跡する場合や、大きさが異なる複数の物体を追跡する場合、これらの物体を正確に追跡することは困難である。

【0021】

そこで、本発明は、上記問題点に鑑み、複数の観測から尤度を求めることによって、観測対象の内部状態を適切に推定することができ、例えば、動画像上において、大きさが変化する物体や、大きさが異なる複数の物体を追跡する場合であっても、正確に物体を追跡することができる状態推定装置、プログラムおよび集積回路を実現することを目的とする。

【課題を解決するための手段】

【0022】

上記課題を解決するために、第１の発明は、観測取得部と、観測選択部と、尤度取得部と、事後確率分布推定部と、事前確率分布出力部と、を備える状態推定装置である。

【0023】

観測取得部は、観測可能な事象から得られる複数の観測データを、任意の時間間隔で取得する。

【0024】

観測選択部は、前時刻ｔ−１に取得された事後確率分布データに基づいて、観測取得部により取得された複数の観測データの中から、１つの観測データを選択する。

【0025】

尤度取得部は、観測選択部により選択された１つの観測データと、事後確率分布データに対して予測処理を行うことで取得した予測後確率分布データとに基づいて、尤度データを取得する。

【0026】

事後確率分布推定部は、尤度取得部により取得された予測後確率分布データと、尤度データとから、事象の状態の事後確率分布データを推定する。

【0027】

事前確率分布出力部は、事後確率分布推定部により推定された事後確率分布データに基づく事前確率分布データを、次時刻ｔ＋１において、事前確率分布データとして出力する。

【0028】

この状態推定装置では、観測取得部により、複数の観測（観測データ）が取得され、観測選択部より、観測対象（例えば、追跡対象）の内部状態に応じて、より適切な観測データが選択される。そして、この状態推定装置では、選択された観測データに基づいて、尤度データが算出され、算出された尤度データを用いて、事後確率分布データが取得される。したがって、この状態推定装置では、観測対象（例えば、追跡対象）の状態が変化した場合であっても、適切な事後確率分布データを取得することができる。その結果、この状態推定装置では、観測対象の内部状態を適切に推定することができ、例えば、動画像上において、大きさが変化する物体や、大きさが異なる複数の物体を追跡する場合であっても、正確に物体を追跡することができる。

【0029】

なお、「時刻」とは、例えば、観測対象をサンプリングする時間間隔に基づく時刻を含む概念であり、時刻ｔ−１は、時刻ｔのサンプリングの１つ前のサンプリング時刻を示す。

【0030】

また、「観測データ」は、観測対象の特徴を示す所定の特徴量を抽出（検出）したデータであってもよい。

【0031】

第２の発明は、観測取得部と、尤度算出部と、尤度取得部と、事後確率分布推定部と、事前確率分布出力部と、を備える状態推定装置である。

【0032】

観測取得部は、観測可能な事象から得られる複数の観測データを、任意の時間間隔で取得する。

【0033】

尤度算出部は、前時刻ｔ−１に取得された事後確率分布データに対して予測処理を行うことで取得した予測後確率分布データに基づいて、観測取得部により取得された複数の観測データごとに、尤度データを算出する。

【0034】

尤度取得部は、尤度算出部により取得された、複数の観測データごとに算出された複数の尤度データに基づいて、１つの尤度データを導出し、導出した１つの尤度データを決定尤度データとして取得する。

【0035】

事後確率分布推定部は、予測後確率分布データと決定尤度データとに基づいて、事象の状態の事後確率分布データを推定する。

【0036】

事前確率分布出力部は、事後確率分布推定部により推定された事後確率分布データに基づく事前確率分布データを、次時刻ｔ＋１において、事前確率分布データとして出力する。

【0037】

この状態推定装置では、観測取得部により、複数の観測（観測データ）が取得され、尤度算出部より、複数の観測のそれぞれに対して尤度データが算出される。そして、この状態推定装置では、尤度算出部により算出された複数の尤度データの中から、観測対象（例えば、追跡対象）の状態に応じて、より適切な尤度データが導出される。そして、この状態推定装置では、導出された尤度データを用いて、事後確率分布データが取得される。したがって、状態推定装置では、観測対象（例えば、追跡対象）の状態が変化した場合であっても、適切な事後確率分布データを取得することができる。その結果、この状態推定装置では、観測対象の内部状態を適切に推定することができ、例えば、動画像上において、大きさが変化する物体や、大きさが異なる複数の物体を追跡する場合であっても、正確に物体を追跡することができる。

【0038】

第３の発明は、第２の発明であって、尤度取得部は、複数の尤度データから選択した１つの尤度データを決定尤度データとして取得する。

【0039】

これにより、この状態推定装置では、複数の尤度データから選択した１つの尤度データを用いて、事後確率分布データを取得することができる。

【0040】

第４の発明は、第２の発明であって、尤度取得部は、複数の尤度データの重み付け和により導出した尤度データを、決定尤度データとして取得する。

【0041】

この状態推定装置では、複数の尤度データの重み付け和により導出した尤度データを用いて、事後確率分布データを取得する。したがって、この状態推定装置では、観測対象（例えば、追跡対象）の状態が急激に変化する場合であっても、適切な事後確率分布データを取得することができる。つまり、追跡対象の状態が急激に変化する場合、複数の観測のいずれかを選択して処理を行うと、選択対象が切り替わるときに、取得される事後確率分布データも急激に変化し、不自然な状態推定処理（例えば、追跡処理）になることがあるが、この状態推定装置では、複数の尤度データの重み付け和により導出した尤度データにより処理が実行されるので、観測対象に急激な変化があった場合であっても、取得される事後確率分布データが急激に変化することを適切に抑制できる。その結果、この状態推定装置では、自然な状態推定処理（例えば、追跡処理）を実現することができる。

【0042】

第５の発明は、第４の発明であって、尤度算出部、尤度取得部、事後確率分布推定部、および、事前確率分布出力部は、パーティクルフィルタによる処理を実行する。

【0043】

尤度データの重み付け係数は、パーティクルの内部状態を表す関数である。

【0044】

これにより、パーティクルの内部状態を表す関数により取得された重み付け係数を用いて、尤度データを取得することができる。

【0045】

第６の発明は、第２から第５のいずれかの発明であって、尤度算出部、尤度取得部、事後確率分布推定部、および、事前確率分布出力部は、パーティクルフィルタによる処理を実行する。

【0046】

これにより、パーティクルフィルタにより処理が実行される状態推定装置を実現することができる。

【0047】

第７の発明は、第１の発明であって、観測選択部、尤度取得部、事後確率分布推定部、および、事前確率分布出力部は、パーティクルフィルタによる処理を実行する。

【0048】

これにより、パーティクルフィルタにより処理が実行される状態推定装置を実現することができる。

【0049】

第８の発明は、観測取得ステップと、観測選択ステップと、尤度取得ステップと、事後確率分布推定ステップと、事前確率分布出ステップと、を備える状態推定方法をコンピュータに実行させるためのプログラムである。

【0050】

観測取得ステップは、観測可能な事象から得られる複数の観測データを、任意の時間間隔で取得する。

【0051】

観測選択ステップは、前時刻ｔ−１に取得された事後確率分布データに基づいて、観測取得ステップにより取得された複数の観測データの中から、１つの観測データを選択する。

【0052】

尤度取得ステップは、観測選択ステップにより選択された１つの観測データと、事後確率分布データに対して予測処理を行うことで取得した予測後確率分布データとに基づいて、尤度データを取得する。

【0053】

事後確率分布推定ステップは、尤度取得ステップにより取得された予測後確率分布データと、尤度データとから、事象の状態の事後確率分布データを推定する。

【0054】

事前確率分布出ステップは、事後確率分布推定ステップにより推定された事後確率分布データに基づく事前確率分布データを、次時刻ｔ＋１において、事前確率分布データとして出力する。

【0055】

これにより、第１の発明と同様の効果を奏する状態推定方法をコンピュータに実行させるためのプログラムを実現することができる。

【0056】

第９の発明は、観測取得ステップと、尤度算出ステップと、尤度取得ステップと、事後確率分布推定ステップと、事前確率分布出ステップと、を備える状態推定方法をコンピュータに実行させるためのプログラムである。

【0057】

観測取得ステップは、観測可能な事象から得られる複数の観測データを、任意の時間間隔で取得する。

【0058】

尤度算出ステップは、前時刻ｔ−１に取得された事後確率分布データに対して予測処理を行うことで取得した予測後確率分布データに基づいて、観測取得ステップにより取得された複数の観測データごとに、尤度データを算出する。

【0059】

尤度取得ステップは、尤度算出ステップにより取得された、複数の観測データごとに算出された複数の尤度データに基づいて、１つの尤度データを導出し、導出した１つの尤度データを決定尤度データとして取得する。

【0060】

事後確率分布推定ステップは、予測後確率分布データと決定尤度データとに基づいて、事象の状態の事後確率分布データを推定する。

【0061】

事前確率分布出ステップは、事後確率分布推定ステップにより推定された事後確率分布データに基づく事前確率分布データを、次時刻ｔ＋１において、事前確率分布データとして出力する。

【0062】

これにより、第２の発明と同様の効果を奏する状態推定方法をコンピュータに実行させるためのプログラムを実現することができる。

【0063】

第１０の発明は、観測可能な事象から得られる複数の観測データを、任意の時間間隔で取得する観測取得部を備える状態推定装置に用いられる集積回路であって、観測選択部と、尤度取得部と、事後確率分布推定部と、事前確率分布出力部と、を備える。

【0064】

観測選択部は、前時刻ｔ−１に取得された事後確率分布データに基づいて、観測取得部により取得された複数の観測データの中から、１つの観測データを選択する。

【0065】

尤度取得部は、観測選択部により選択された１つの観測データと、事後確率分布データに対して予測処理を行うことで取得した予測後確率分布データとに基づいて、尤度データを取得する。

【0066】

事後確率分布推定部は、尤度取得部により取得された予測後確率分布データと、尤度データとから、事象の状態の事後確率分布データを推定する。

【0067】

事前確率分布出力部は、事後確率分布推定部により推定された事後確率分布データに基づく事前確率分布データを、次時刻ｔ＋１において、事前確率分布データとして出力する。

【0068】

これにより、第１の発明と同様の効果を奏する集積回路を実現することができる。

【0069】

第１１の発明は、観測可能な事象から得られる複数の観測データを、任意の時間間隔で取得する観測取得部を備える状態推定装置に用いられる集積回路であって、尤度算出部と、尤度取得部と、事後確率分布推定部と、事前確率分布出力部と、を備える。

【0070】

尤度算出部は、前時刻ｔ−１に取得された事後確率分布データに対して予測処理を行うことで取得した予測後確率分布データに基づいて、観測取得部により取得された複数の観測データごとに、尤度データを算出する。

【0071】

尤度取得部は、尤度算出部により取得された、複数の観測データごとに算出された複数の尤度データに基づいて、１つの尤度データを導出し、導出した１つの尤度データを決定尤度データとして取得する。

【0072】

事後確率分布推定部は、予測後確率分布データと決定尤度データとに基づいて、事象の状態の事後確率分布データを推定する。

【0073】

事前確率分布出力部は、事後確率分布推定部により推定された事後確率分布データに基づく事前確率分布データを、次時刻ｔ＋１において、事前確率分布データとして出力する。

【0074】

これにより、第２の発明と同様の効果を奏する集積回路を実現することができる。

【発明の効果】

【0075】

本発明によれば、複数の観測から尤度を求めることによって、観測対象の内部状態を適切に推定することができ、例えば、動画像上において、大きさが変化する物体や、大きさが異なる複数の物体を追跡する場合であっても、正確に物体を追跡することができる状態推定装置、プログラムおよび集積回路を実現することができる。

【図面の簡単な説明】

【0076】

【図1】第１実施形態に係る状態推定システム１０００の概略構成図。

【図2】第１実施形態の観測取得部１の概略構成図。

【図3】動画像上で移動する物体を模式的に示した図。

【図4】時刻ｔ０における第１の観測データ（物体検出画像）と第２の観測データ（物体検出画像）と、画像上の物体Ｂ０の状態とを模式的に示す図。

【図5】時刻ｔ１における第１の観測データ（物体検出画像）と第２の観測データ（物体検出画像）と、画像上の物体Ｂ１の状態とを模式的に示す図。

【図6】時刻ｔ１における、尤度取得部３による予測処理および尤度計算と、事後確率分布推定部４によるリサンプリングとを説明するための図。

【図7】時刻ｔ２における第１の観測データ（物体検出画像）と第２の観測データ（物体検出画像）と、画像上の物体Ｂ２の状態とを模式的に示す図。

【図8】時刻ｔ３における第１の観測データ（物体検出画像）と第２の観測データ（物体検出画像）と、画像上の物体Ｂ３の状態とを模式的に示す図。

【図9】第２実施形態に係る状態推定システム２０００の概略構成図。

【図10】他の実施形態に係る観測取得部１Ａおよび観測選択部２Ａの概略構成図。

【図11】他の実施形態に係る観測取得部１Ａ、尤度算出部７Ａ、および、尤度取得部３Ｂの概略構成図。

【図12】他の実施形態に係る観測取得部１Ｂの概略構成図。

【発明を実施するための形態】

【0077】

［第１実施形態］
第１実施形態について、図面を参照しながら、以下、説明する。

【0078】

＜１．１：状態推定システムの構成＞
図１は、第１実施形態に係る状態推定システム１０００の概略構成図である。

【0079】

状態推定システム１０００は、図１に示すように、観測取得部１と、観測選択部２と、尤度取得部３と、事後確率分布推定部４と、事前確率分布出力部５と、初期状態設定部６と、を備える。

【0080】

観測取得部１は、複数の観測（観測データ）を取得し、取得した複数の観測（観測データ）を観測選択部２に出力する。観測取得部１は、図１に示すように、第１観測取得部１１と、第２観測取得部１２とを備える。

【0081】

第１観測取得部１１は、第１の観測（第１の観測データ）を取得し、取得した第１の観測（第１の観測データ）を観測選択部２に出力する。第１観測取得部１１は、例えば、図２に示すように、第１映像入力部１１１と、第１物体検出部１１２とを備える。

【0082】

第１映像入力部１１１は、例えば、被写体を撮像することで映像信号（動画像信号）を取得する。そして、第１映像入力部１１１は、取得した映像信号（動画像信号）を第１物体検出部１１２に出力する。

【0083】

第１物体検出部１１２は、第１映像入力部１１１から出力される映像信号（動画像信号）を入力する。第１物体検出部１１２は、入力された画像（動画像を形成する画像）から、物体検出画像を取得する。

【0084】

物体を追跡する処理を行う場合、第１物体検出部１１２は、追跡対象とする物体の画像特徴量を抽出（検出）した物体検出画像（物体検出画像信号）を取得し、取得した物体検出画像（物体検出画像信号）を第１の観測（第１の観測データ）として観測選択部２に出力する。

【0085】

第２観測取得部１２は、第２の観測（第２の観測データ）を取得し、取得した第２の観測（第２の観測データ）を観測選択部２に出力する。第２観測取得部１２は、例えば、図２に示すように、第２映像入力部１２１と、第２物体検出部１２２とを備える。

【0086】

第２映像入力部１２１は、例えば、被写体を撮像することで映像信号（動画像信号）を取得する。そして、第２映像入力部１２１は、取得した映像信号（動画像信号）を第２物体検出部１２２に出力する。

【0087】

第２物体検出部１２２は、第２映像入力部１２１から出力される映像信号（動画像信号）を入力する。第２物体検出部１２２は、入力された画像（動画像を形成する画像）から、物体検出画像を取得する。

【0088】

物体を追跡する処理を行う場合、第２物体検出部１２２は、追跡対象とする物体の画像特徴量を抽出（検出）した物体検出画像（物体検出画像信号）を取得し、取得した物体検出画像（物体検出画像信号）を第２の観測（第２の観測データ）として観測選択部２に出力する。

【0089】

なお、本実施形態では、説明便宜のため、観測取得部１が、２つの観測取得部（第１観測取得部１１および第２観測取得部１２）を備える場合について説明するが、観測取得部１が備える観測取得部の数は、２つに限定されることはなく、３以上であってもよい。観測取得部１が、Ｎ個（Ｎ：自然数）の観測取得部を備える場合、観測取得部１は、Ｎ個の観測（Ｎ個の観測データ）を観測選択部２に出力する。

【0090】

観測選択部２は、観測取得部１から出力される複数の観測（観測データ）と、事前確率分布出力部５から出力される事前確率分布（事前確率分布データ）とを入力する。観測選択部２は、事前確率分布（事前確率分布データ）に基づいて、複数の観測（観測データ）の中から１つの観測（観測データ）を選択し、選択した観測（観測データ）を尤度取得部３に出力する。

【0091】

尤度取得部３は、観測選択部２から出力される観測（観測データ）と、事前確率分布出力部５から出力される事前確率分布（事前確率分布データ）とを入力する。尤度取得部３は、事前確率分布（事前確率分布データ）に対して予測処理を行い、予測後確率分布（予測後確率分布データ）を取得する。そして、尤度取得部３は、観測（観測データ）と、予測後確率分布（予測後確率分布データ）とに基づいて、尤度を算出する。そして、尤度取得部３は、算出した尤度（尤度データ）と予測後確率分布（予測後確率分布データ）とを事後確率分布推定部４に出力する。

【0092】

事後確率分布推定部４は、尤度取得部３から出力される尤度（尤度データ）と、予測後確率分布（予測後確率分布データ）とを入力する。事後確率分布推定部４は、尤度（尤度データ）と予測後確率分布（予測後確率分布データ）とに基づいて、事後確率分布（事後確率分布データ）を推定（取得）する。そして、事後確率分布推定部４は、取得した事後確率分布（事後確率分布データ）を、事前確率分布出力部５に出力する。

【0093】

事前確率分布出力部５は、初期状態設定部６から出力される初期状態の設定データと、事後確率分布推定部４から出力される事後確率分布（事後確率分布データ）とを入力する。事前確率分布出力部５は、初期状態では、初期状態設定部６から出力される初期状態の設定データに基づいて、事前確率分布（事前確率分布データ）を生成し、生成した事前確率分布（事前確率分布データ）を観測選択部２と、尤度取得部３とに出力する。

【0094】

また、事前確率分布出力部５は、初期状態以外の状態では、事後確率分布推定部４から出力される、時刻ｔにおける事後確率分布（事後確率分布データ）を、次の時刻ｔ＋１において、事前確率分布（事前確率分布データ）として、観測選択部２と、尤度取得部３とに出力する。

【0095】

初期状態設定部６は、初期状態における事前確率分布（事前確率分布）を生成するためのデータ（初期値）を保持しており、当該データ（初期値）を事前確率分布出力部５に出力する。

【0096】

＜１．２：状態推定システムの動作＞
以上のように構成された状態推定システム１０００の動作について、以下、説明する。

【0097】

なお、以下では、大きさが変化する黄色の物体を追跡する処理を例に説明する。具体的には、図３に示すように、大きさを変化させながら移動する黄色の物体を追跡する場合について、説明する。なお、図３は、動画像上で移動する物体を模式的に示した図であり、図３において、横軸がＸ軸であり、縦軸がＹ軸であるものとする。そして、物体は、時刻ｔ０〜ｔ３において、Ｂ０〜Ｂ３に大きさを変化させながら移動するものとする。各時刻における、物体Ｂ０〜Ｂ３の中心位置、幅（Ｘ軸方向の大きさ）、高さ（Ｙ軸方向の大きさ）は、以下の通りであるものとする。

【0098】

≪時刻ｔ０≫ 物体：Ｂ０、中心位置：（Ｘ０，Ｙ０）、幅：Ｗ０、高さ：Ｈ０
≪時刻ｔ１≫ 物体：Ｂ１、中心位置：（Ｘ１，Ｙ１）、幅：Ｗ１、高さ：Ｈ１
≪時刻ｔ２≫ 物体：Ｂ２、中心位置：（Ｘ２，Ｙ２）、幅：Ｗ２、高さ：Ｈ２
≪時刻ｔ３≫ 物体：Ｂ３、中心位置：（Ｘ３，Ｙ３）、幅：Ｗ３、高さ：Ｈ３
また、以下の関係が成り立つものとする。

【0099】

Ｗ０＜Ｗ１＜Ｗ２＜Ｗ３
Ｈ０＜Ｈ１＜Ｈ２＜Ｈ３
Ｗ３＝２×Ｗ０
Ｈ３＝２×Ｈ０
また、観測対象（追跡対象）の時刻ｔの内部状態を示す状態ベクトルをｘ_ｔとし、時刻ｔにおいて観測された特徴を観測ベクトルｙ_ｔとし、事前確率分布ｐ（ｘ_ｔ｜ｙ_ｔ−１）に従って生成されたサンプル集合（パーティクルの集合）Ｓ_{ｔ｜ｔ−１}を
Ｓ_{ｔ｜ｔ−１}＝｛ｓ_{ｔ｜ｔ−１}^（１），ｓ_{ｔ｜ｔ−１}^（２），・・・，ｓ_{ｔ｜ｔ−１}^（Ｍ）｝
とし、事後確率分布ｐ（ｘ_ｔ｜ｙ_ｔ）に従って生成されたサンプル集合（パーティクルの集合）Ｓ_ｔ｜ｔを
Ｓ_ｔ｜ｔ＝｛ｓ_ｔ｜ｔ^（１），ｓ_ｔ｜ｔ^（２），・・・，ｓ_ｔ｜ｔ^（Ｍ）｝
とする。

【0100】

また、サンプル集合（パーティクルの集合）Ｓ_ｔ｜ｔのｉ番目のサンプル（パーティクル）ｓ_ｔ｜ｔ^（ｉ）は、ｉ番目のサンプル（パーティクル）の画像上の座標位置（Ｘｔ^（ｉ），Ｙｔ^（ｉ））と、当該座標位置を中心とする画像領域の幅Ｗｔ^（ｉ）および高さＨｔ^（ｉ）を内部変数とするベクトルデータであるものとする。つまり、サンプル（パーティクル）ｓ_ｔ｜ｔ^（ｉ）は、
ｓ_ｔ｜ｔ^（ｉ）＝（Ｘｔ^（ｉ），Ｙｔ^（ｉ），Ｗｔ^（ｉ），Ｈｔ^（ｉ））
であるものとする。

【0101】

また、第１の観測（第１の観測データ）は、幅Ｗ０、高さＨ０である黄色の物体を検出した結果を示す画像信号（物体検出画像信号）であるものとする。つまり、第１物体検出部１１２は、第１映像入力部１１１が取得した画像において、幅Ｗ０、高さＨ０の黄色の画像領域に近い画像領域である程、当該画像領域の画素の画素値を大きな値（幅Ｗ０、高さＨ０である黄色の画像領域である度合いが高いことを示す値）とした画像（検出画像）を生成するものとする。

【0102】

また、第２の観測（第２の観測データ）は、幅（２×Ｗ０）、高さ（２×Ｈ０）である黄色の物体を検出した結果を示す画像信号（物体検出画像信号）であるものとする。つまり、第２物体検出部１２２は、第２映像入力部１２１が取得した画像において、幅（２×Ｗ０）、高さ（２×Ｈ０）の黄色の画像領域に近い画像領域である程、当該画像領域の画素の画素値を大きな値（幅（２×Ｗ０）、高さ（２×Ｈ０）である黄色の画像領域である度合いが高いことを示す値）とした画像（検出画像）を生成するものとする。
（時刻ｔ０の処理）：
まず、時刻ｔ０の処理について、説明する。

【0103】

時刻ｔ０において、初期状態設定部６は、追跡対象の状態の初期状態を設定するための初期値を事前確率分布出力部５に出力する。

【0104】

事前確率分布出力部５は、初期状態設定部６から入力された初期値に基づいて、追跡対象の初期状態を示すサンプル（パーティクル）の集合Ｓ_{ｔ｜ｔ−１}（ｔ＝ｔ０）を生成する。

【0105】

なお、追跡対象の初期状態を示すサンプル（パーティクル）の集合Ｓ_{ｔ｜ｔ−１}（ｔ＝ｔ０）の生成処理は、例えば、可能性のある全ての状態を表すパーティクルの集合が、初期状態を示すパーティクルの集合として生成されるように実行すればよい。

【0106】

事前確率分布出力部５により生成された時刻ｔ０における事前確率分布（事前確率分布データ）は、観測選択部２、および、尤度取得部３に出力される。

【0107】

また、観測取得部１の第１観測取得部１１により取得された第１の観測データ（幅Ｗ０、高さＨ０の黄色の画像領域の検出結果（物体検出画像））と、観測取得部１の第２観測取得部１２により取得された第２の観測データ（幅２×Ｗ０、高さ２×Ｈ０の黄色の画像領域の検出結果（物体検出画像））とが、観測選択部２に出力される。

【0108】

観測選択部２では、追跡対象を発見（特定）するまで、第１の観測データと第２の観測データの両方のデータを尤度取得部３に出力する、あるいは、物体検出結果が顕著である方の観測データ（例えば、物体検出結果画像の全画素の画素値の平均値が高い方の画像（観測データ））を尤度取得部３に出力するようにする。

【0109】

図４は、時刻ｔ０における第１の観測データ（物体検出画像）と第２の観測データ（物体検出画像）と、画像上の物体Ｂ０の状態とを模式的に示す図である。なお、図４の左側の第１の観測データ（物体検出画像）と第２の観測データ（物体検出画像）は、右側の物体Ｂ０の状態を示す図と同じ画像領域を縮小して示している（図５、図７、図８において同様）。

【0110】

図４に示すように、時刻ｔ０では、第１の観測（物体検出画像）のみに検出画像領域があるので、観測選択部２は、第１の観測データを尤度取得部３に出力するものとする。

【0111】

尤度取得部３では、事前確率分布出力部５により生成された時刻ｔ０における事前確率分布（事前確率分布データ）に従うパーティクルの集合ｓ_{ｔ−１｜ｔ−１}に基づいて、予測処理を行い、予測処理後のパーティクルの集合ｓ_{ｔ｜ｔ−１}を取得する。

【0112】

そして、予測処理後のパーティクルの集合ｓ_{ｔ｜ｔ−１}と、観測選択部２から出力された第１の観測データ（実際の観測）とに基づいて、尤度を算出する。

【0113】

なお、尤度は、各パーティクルの内部変数が示す画像領域内における、第１の観測データ、すなわち、物体検出画像の画素値の積算値とする。

【0114】

つまり、ｉ番目（１≦ｉ≦Ｍ）のパーティクルの場合、
ｓ_{ｔ｜ｔ−１}^（ｉ）＝（Ｘｔ^（ｉ），Ｙｔ^（ｉ），Ｗｔ^（ｉ），Ｈｔ^（ｉ））
であるので、画像上の位置（Ｘｔ^（ｉ），Ｙｔ^（ｉ））を中心とする、幅Ｗｔ^（ｉ）、高さＨｔ^（ｉ）である画像領域の物体検出画像の画素値の積算値を、ｉ番目のパーティクルの尤度ｗａ_ｔ^（ｉ）とする。

【0115】

そして、尤度取得部３により算出された尤度ｗａ_ｔは、予測後確率分布データ（予測処理後のパーティクルの集合ｓ_{ｔ｜ｔ−１}に関するデータ）とともに、事後確率分布推定部４に出力される。

【0116】

事後確率分布推定部４では、尤度ｗａ_ｔ^（ｉ）に比例する割合でＭ個のパーティクル（粒子）を復元抽出する（パーティクルｘａ_ｔ^（ｉ）を抽出する）。このようにして復元抽出されたＭ個のパーティクルの分布から、時刻ｔ０の事後確率分布ｐ（ｘ_ｔ｜ｙ_ｔ）に従って生成されたサンプル集合（パーティクルの集合）Ｓ_ｔ｜ｔ、すなわち、
Ｓ_ｔ｜ｔ＝｛ｓ_ｔ｜ｔ^（１），ｓ_ｔ｜ｔ^（２），・・・，ｓ_ｔ｜ｔ^（Ｍ）｝
を取得する。

【0117】

なお、図４に、上記処理により取得された、予測後確率分布（予測処理後のパーティクルの集合ｓ_{ｔ｜ｔ−１}に関するデータ）に従うパーティクルの平均値（Ｘ_{ｔ｜ｔ−１}＿ａｖｅ，Ｙ_{ｔ｜ｔ−１}＿ａｖｅ，Ｗ_{ｔ｜ｔ−１}＿ａｖｅ，Ｈ_{ｔ｜ｔ−１}＿ａｖｅ）を示す領域Ｒ＿ｐｒｅｄ＿ａｖｅを示す。

【0118】

また、図４に、上記処理により取得された、時刻ｔ０の事後確率分布ｐ（ｘ_ｔ｜ｙ_ｔ）に従って生成されたサンプル集合（パーティクルの集合）Ｓ_ｔ｜ｔの平均値（Ｘ_ｔ｜ｔ＿ａｖｅ，Ｙ_ｔ｜ｔ＿ａｖｅ，Ｗ_ｔ｜ｔ＿ａｖｅ，Ｈ_ｔ｜ｔ＿ａｖｅ）を示す領域Ｒ＿ａｆｔｅｒ＿ａｖｅを示す。

【0119】

なお、Ｗ_ｔ｜ｔ＿ａｖｅ、および、Ｈ_ｔ｜ｔ＿ａｖｅは、
Ｗ_ｔ｜ｔ＿ａｖｅ＝１．４×Ｗ０
Ｈ_ｔ｜ｔ＿ａｖｅ＝１．４×Ｈ０
として取得されたものとする。
（時刻ｔ１の処理）：
次に、時刻ｔ１の処理について、説明する。

【0120】

図５は、時刻ｔ１における第１の観測データ（物体検出画像）と第２の観測データ（物体検出画像）と、画像上の物体Ｂ１の状態とを模式的に示す図である。

【0121】

時刻ｔ１において、事前確率分布出力部５は、時刻ｔ０における事後確率分布（事後確率分布データ）を、時刻ｔ１における事前確率分布（事前確率分布データ）として、観測選択部２と、尤度取得部３とに出力する。

【0122】

また、観測取得部１の第１観測取得部１１により取得された第１の観測データ（幅Ｗ０、高さＨ０の黄色の画像領域の検出結果（物体検出画像））と、観測取得部１の第２観測取得部１２により取得された第２の観測データ（幅２×Ｗ０、高さ２×Ｈ０の黄色の画像領域の検出結果（物体検出画像））とが、観測選択部２に出力される。

【0123】

観測選択部２は、事前確率分布出力部５から出力された事前確率分布データに基づいて、第１の観測データと第２の観測データのどちらのデータを選択するか決定する。

【0124】

つまり、観測選択部２は、時刻ｔ１の事前確率分布ｐ（ｘ_ｔ−１｜ｙ_ｔ−１）に従って生成されたサンプル集合（パーティクルの集合）Ｓ_{ｔ−１｜ｔ−１}の平均値（Ｘ_{ｔ−１｜ｔ−１}＿ａｖｅ，Ｙ_{ｔ−１｜ｔ−１}＿ａｖｅ，Ｗ_{ｔ−１｜ｔ−１}＿ａｖｅ，Ｈ_{ｔ−１｜ｔ−１}＿ａｖｅ）に基づいて、第１の観測データと第２の観測データのどちらのデータを選択するか決定する。

【0125】

具体的には、観測選択部２は、パーティクルの集合Ｓ_{ｔ−１｜ｔ−１}の平均値（Ｘ_{ｔ−１｜ｔ−１}＿ａｖｅ，Ｙ_{ｔ−１｜ｔ−１}＿ａｖｅ，Ｗ_{ｔ−１｜ｔ−１}＿ａｖｅ，Ｈ_{ｔ−１｜ｔ−１}＿ａｖｅ）が示す画像領域の大きさを、第１観測取得部１１が検出対象としている画像領域の大きさ（幅Ｗ０×高さＨ０）と、第２観測取得部１２が検出対象としている画像領域の大きさ（２×幅Ｗ０×２×高さＨ０）との間の所定の閾値Ｔｈと比較することで、第１の観測データと第２の観測データのどちらのデータを選択するか決定する。なお、本実施形態では、Ｔｈ＝２×ＷＯ×Ｈ０とし、パーティクルの集合Ｓ_{ｔ−１｜ｔ−１}の平均値（Ｘ_{ｔ−１｜ｔ−１}＿ａｖｅ，Ｙ_{ｔ−１｜ｔ−１}＿ａｖｅ，Ｗ_{ｔ−１｜ｔ−１}＿ａｖｅ，Ｈ_{ｔ−１｜ｔ−１}＿ａｖｅ）が示す画像領域の大きさが閾値Ｔｈよりも小さい場合、第１の観測データを選択するものとする。

【0126】

パーティクルの集合Ｓ_{ｔ−１｜ｔ−１}の平均値（Ｘ_{ｔ−１｜ｔ−１}＿ａｖｅ，Ｙ_{ｔ−１｜ｔ−１}＿ａｖｅ，Ｗ_{ｔ−１｜ｔ−１}＿ａｖｅ，Ｈ_{ｔ−１｜ｔ−１}＿ａｖｅ）が示す画像領域の大きさは、
Ｗ_{ｔ−１｜ｔ−１}＿ａｖｅ＝Ｗ_ｔ｜ｔ＿ａｖｅ＝１．４×Ｗ０
Ｈ_{ｔ−１｜ｔ−１}＿ａｖｅ＝Ｈ_ｔ｜ｔ＿ａｖｅ＝１．４×Ｈ０
であり、
１．４×Ｗ０×１．４×Ｈ０＝１．９６×Ｗ０×Ｈ０＜２×Ｗ０×Ｈ０
である。つまり、パーティクルの集合Ｓ_{ｔ−１｜ｔ−１}の平均値（Ｘ_{ｔ−１｜ｔ−１}＿ａｖｅ，Ｙ_{ｔ−１｜ｔ−１}＿ａｖｅ，Ｗ_{ｔ−１｜ｔ−１}＿ａｖｅ，Ｈ_{ｔ−１｜ｔ−１}＿ａｖｅ）が示す画像領域の大きさは、閾値Ｔｈ（＝２×ＷＯ×Ｈ０）よりも小さいので、観測選択部２は、第１の観測データを選択する。

【0127】

そして、選択された第１の観測データは、尤度取得部３に出力される。

【0128】

尤度取得部３では、事前確率分布出力部５により生成された時刻ｔ１における事前確率分布（事前確率分布データ）に従うパーティクルの集合ｓ_{ｔ−１｜ｔ−１}に基づいて、予測処理を行い、予測処理後のパーティクルの集合ｓ_{ｔ｜ｔ−１}を取得する。

【0129】

例えば、時刻ｔ１における事前確率分布（事前確率分布データ）に従うパーティクルの集合ｓ_{ｔ−１｜ｔ−１}に含まれる各パーティクルの状態に対して、ランダムウォークのダイナミクスを仮定したガウシアンノイズを重畳させることで、予測処理後のパーティクルの集合ｓ_{ｔ｜ｔ−１}を取得する。つまり、ｖ_ｔ^（ｉ）がガウス分布に従うシステムノイズとし、
ｓ_{ｔ｜ｔ−１}^（ｉ）＝ｆ（ｓ_{ｔ−１｜ｔ−１}^（ｉ），ｖ_ｔ^（ｉ））
ｆ（）：時刻ｔ−１と時刻ｔとの状態変化を表す状態遷移関数
ｖ_ｔ^（ｉ）：システムノイズ
により、予測処理後のパーティクルの集合ｓ_{ｔ｜ｔ−１}を取得する。

【0130】

具体的には、時刻ｔ１における事前確率分布（事前確率分布データ）に従う、ｉ番目のパーティクルの内部状態は、（Ｘ_{ｔ−１｜ｔ−１}^（ｉ），Ｙ_{ｔ−１｜ｔ−１}^（ｉ），Ｗ_{ｔ−１｜ｔ−１}^（ｉ），Ｈ_{ｔ−１｜ｔ−１}^（ｉ））であり、予測処理後のｉ番目のパーティクルの内部状態は、（Ｘ_{ｔ｜ｔ−１}^（ｉ），Ｙ_{ｔ｜ｔ−１}^（ｉ），Ｗ_{ｔ｜ｔ−１}^（ｉ），Ｈ_{ｔ｜ｔ−１}^（ｉ））であるので、
Ｘ_{ｔ｜ｔ−１}^（ｉ）＝Ｘ_{ｔ−１｜ｔ−１}^（ｉ）＋ΔＸ^（ｉ）
Ｙ_{ｔ｜ｔ−１}^（ｉ）＝Ｙ_{ｔ−１｜ｔ−１}^（ｉ）＋ΔＹ^（ｉ）
Ｗ_{ｔ｜ｔ−１}^（ｉ）＝Ｗ_{ｔ−１｜ｔ−１}^（ｉ）＋ΔＷ^（ｉ）
Ｈ_{ｔ｜ｔ−１}^（ｉ）＝Ｈ_{ｔ−１｜ｔ−１}^（ｉ）＋ΔＨ^（ｉ）
により、尤度取得部３は、予測処理後のパーティクルの集合ｓ_{ｔ｜ｔ−１}を取得する。なお、ΔＸ^（ｉ）、ΔＹ^（ｉ）、ΔＷ^（ｉ）、ΔＨ^（ｉ）は、それぞれ、ガウス分布に従う。

【0131】

このようにして取得した予測処理後のパーティクルの集合ｓ_{ｔ｜ｔ−１}の平均値による画像領域Ｒ＿ｐｒｅｄ＿ａｖｅを、図５に示す。

【0132】

そして、尤度取得部３は、予測処理後のパーティクルの集合ｓ_{ｔ｜ｔ−１}と、観測選択部２から出力された第１の観測データ（実際の観測）とに基づいて、尤度を算出する。

【0133】

なお、尤度は、各パーティクルの内部変数が示す画像領域内における、第１の観測データ、すなわち、物体検出画像の画素値の積算値とする。

【0134】

つまり、ｉ番目（１≦ｉ≦Ｍ）のパーティクルの場合、
ｓ_{ｔ｜ｔ−１}^（ｉ）＝（Ｘｔ^（ｉ），Ｙｔ^（ｉ），Ｗｔ^（ｉ），Ｈｔ^（ｉ））
であるので、画像上の位置（Ｘｔ^（ｉ），Ｙｔ^（ｉ））を中心とする、幅Ｗｔ^（ｉ）、高さＨｔ^（ｉ）である画像領域の物体検出画像の画素値の積算値を、ｉ番目のパーティクルの尤度ｗａ_ｔ^（ｉ）とする。

【0135】

そして、尤度取得部３により算出された尤度ｗａ_ｔは、予測後確率分布データ（予測処理後のパーティクルの集合ｓ_{ｔ｜ｔ−１}に関するデータ）とともに、事後確率分布推定部４に出力される。

【0136】

事後確率分布推定部４では、尤度ｗａ_ｔ^（ｉ）に比例する割合でＭ個のパーティクル（粒子）を復元抽出する（パーティクルｘａ_ｔ^（ｉ）を抽出する）。このようにして復元抽出されたＭ個のパーティクルの分布から、時刻ｔ１の事後確率分布ｐ（ｘ_ｔ｜ｙ_ｔ）に従って生成されたサンプル集合（パーティクルの集合）Ｓ_ｔ｜ｔ、すなわち、
Ｓ_ｔ｜ｔ＝｛ｓ_ｔ｜ｔ^（１），ｓ_ｔ｜ｔ^（２），・・・，ｓ_ｔ｜ｔ^（Ｍ）｝
を取得する。

【0137】

なお、図５に、（１）時刻ｔ１における事前確率分布に従うパーティクルの平均値が示す領域Ｒ＿ｂｅｆｏｒｅ＿ａｖｅと、（２）上記処理により取得された、予測後確率分布（予測処理後のパーティクルの集合ｓ_{ｔ｜ｔ−１}に関するデータ）に従うパーティクルの平均値（Ｘ_{ｔ｜ｔ−１}＿ａｖｅ，Ｙ_{ｔ｜ｔ−１}＿ａｖｅ，Ｗ_{ｔ｜ｔ−１}＿ａｖｅ，Ｈ_{ｔ｜ｔ−１}＿ａｖｅ）を示す領域Ｒ＿ｐｒｅｄ＿ａｖｅと、を示す。

【0138】

また、図５に、上記処理により取得された、時刻ｔ１の事後確率分布ｐ（ｘ_ｔ｜ｙ_ｔ）に従って生成されたサンプル集合（パーティクルの集合）Ｓ_ｔ｜ｔの平均値（Ｘ_ｔ｜ｔ＿ａｖｅ，Ｙ_ｔ｜ｔ＿ａｖｅ，Ｗ_ｔ｜ｔ＿ａｖｅ，Ｈ_ｔ｜ｔ＿ａｖｅ）を示す領域Ｒ＿ａｆｔｅｒ＿ａｖｅを示す。

【0139】

なお、Ｗ_ｔ｜ｔ＿ａｖｅ、および、Ｈ_ｔ｜ｔ＿ａｖｅは、
Ｗ_ｔ｜ｔ＿ａｖｅ＝１．６×Ｗ０
Ｈ_ｔ｜ｔ＿ａｖｅ＝１．４×Ｈ０
として取得されたものとする。

【0140】

図６は、時刻ｔ１における、尤度取得部３による予測処理および尤度計算と、事後確率分布推定部４によるリサンプリングとを説明するための図であり、図５の物体Ｂ１の周辺の画像領域を抽出して示した図である。なお、図６では、Ｙ軸方向のパーティクルのみを模式的に示している。

【0141】

図６に示すように、時刻ｔ１の事前確率分布に従うパーティクル集合ｓ_{ｔ−１｜ｔ−１}に対して予測処理を実行することで、予測後確率分布に従うパーティクル集合ｓ_{ｔ｜ｔ−１}が取得される。そして、予測後確率分布に従うパーティクル集合ｓ_{ｔ｜ｔ−１}の中で、その中心位置が、物体Ｂ１の画像領域内に含まれるパーティクルの尤度は、大きな値となる。図６では、尤度が大きなパーティクルを大きな円で示している。

【0142】

そして、事後確率分布推定部４では、尤度に比例する割合でＭ個のパーティクル（粒子）を復元抽出するので、図６に示すように、尤度の大きなパーティクルが複数個のパーティクルに復元されることで、時刻ｔ１の事後確率分布に従うサンプル集合（パーティクルの集合）Ｓ_ｔ｜ｔが取得される。

【0143】

そして、時刻ｔ１の事後確率分布に従うサンプル集合（パーティクルの集合）Ｓ_ｔ｜ｔの平均値を算出することで、Ｙ軸の平均位置が、図６のＹ＿ａｖｅとなり、高さの平均値が、図６のＨ＿ａｖｅとなる。

【0144】

Ｘ軸方向についても、同様に処理を実行し、時刻ｔ１の事後確率分布に従うサンプル集合（パーティクルの集合）Ｓ_ｔ｜ｔの平均値を算出することで、Ｘ軸の平均位置が、図６のＸ＿ａｖｅとなり、幅の平均値が、図６のＷ＿ａｖｅとなる。

【0145】

これにより、時刻ｔ１の事後確率分布に従うサンプル集合（パーティクルの集合）Ｓ_ｔ｜ｔの平均値により決定される画像領域が、図６の領域Ｒ＿ａｆｔｅｒ＿ａｖｅとなる。
（時刻ｔ２の処理）：
次に、時刻ｔ２の処理について、説明する。

【0146】

図７は、時刻ｔ２における第１の観測データ（物体検出画像）と第２の観測データ（物体検出画像）と、画像上の物体Ｂ２の状態とを模式的に示す図である。

【0147】

時刻ｔ２において、事前確率分布出力部５は、時刻ｔ１における事後確率分布（事後確率分布データ）を、時刻ｔ２における事前確率分布（事前確率分布データ）として、観測選択部２と、尤度取得部３とに出力する。

【0148】

また、観測取得部１の第１観測取得部１１により取得された第１の観測データ（幅Ｗ０、高さＨ０の黄色の画像領域の検出結果（物体検出画像））と、観測取得部１の第２観測取得部１２により取得された第２の観測データ（幅２×Ｗ０、高さ２×Ｈ０の黄色の画像領域の検出結果（物体検出画像））とが、観測選択部２に出力される。

【0149】

観測選択部２は、事前確率分布出力部５から出力された事前確率分布データに基づいて、第１の観測データと第２の観測データのどちらのデータを選択するか決定する。

【0150】

つまり、観測選択部２は、時刻ｔ２の事前確率分布ｐ（ｘ_ｔ−１｜ｙ_ｔ−１）に従って生成されたサンプル集合（パーティクルの集合）Ｓ_{ｔ−１｜ｔ−１}の平均値（Ｘ_{ｔ−１｜ｔ−１}＿ａｖｅ，Ｙ_{ｔ−１｜ｔ−１}＿ａｖｅ，Ｗ_{ｔ−１｜ｔ−１}＿ａｖｅ，Ｈ_{ｔ−１｜ｔ−１}＿ａｖｅ）に基づいて、第１の観測データと第２の観測データのどちらのデータを選択するか決定する。

【0151】

パーティクルの集合Ｓ_{ｔ−１｜ｔ−１}の平均値（Ｘ_{ｔ−１｜ｔ−１}＿ａｖｅ，Ｙ_{ｔ−１｜ｔ−１}＿ａｖｅ，Ｗ_{ｔ−１｜ｔ−１}＿ａｖｅ，Ｈ_{ｔ−１｜ｔ−１}＿ａｖｅ）が示す画像領域の大きさは、
Ｗ_{ｔ−１｜ｔ−１}＿ａｖｅ＝Ｗ_ｔ｜ｔ＿ａｖｅ＝１．６×Ｗ０
Ｈ_{ｔ−１｜ｔ−１}＿ａｖｅ＝Ｈ_ｔ｜ｔ＿ａｖｅ＝１．４×Ｈ０
であり、
１．６×Ｗ０×１．４×Ｈ０＝２．２４×Ｗ０×Ｈ０＞２×Ｗ０×Ｈ０
である。つまり、パーティクルの集合Ｓ_{ｔ−１｜ｔ−１}の平均値（Ｘ_{ｔ−１｜ｔ−１}＿ａｖｅ，Ｙ_{ｔ−１｜ｔ−１}＿ａｖｅ，Ｗ_{ｔ−１｜ｔ−１}＿ａｖｅ，Ｈ_{ｔ−１｜ｔ−１}＿ａｖｅ）が示す画像領域の大きさは、閾値Ｔｈ（＝２×ＷＯ×Ｈ０）よりも大きいので、観測選択部２は、第２の観測データを選択する。

【0152】

そして、選択された第２の観測データは、尤度取得部３に出力される。

【0153】

尤度取得部３では、事前確率分布出力部５により生成された時刻ｔ２における事前確率分布（事前確率分布データ）に従うパーティクルの集合ｓ_{ｔ−１｜ｔ−１}に基づいて、予測処理を行い、予測処理後のパーティクルの集合ｓ_{ｔ｜ｔ−１}を取得する。

【0154】

例えば、時刻ｔ２における事前確率分布（事前確率分布データ）に従うパーティクルの集合ｓ_{ｔ−１｜ｔ−１}に含まれる各パーティクルの状態に対して、ランダムウォークのダイナミクスを仮定したガウシアンノイズを重畳させることで、予測処理後のパーティクルの集合ｓ_{ｔ｜ｔ−１}を取得する。つまり、ｖ_ｔ^（ｉ）がガウス分布に従うシステムノイズとし、
ｓ_{ｔ｜ｔ−１}^（ｉ）＝ｆ（ｓ_{ｔ−１｜ｔ−１}^（ｉ），ｖ_ｔ^（ｉ））
ｆ（）：時刻ｔ−１と時刻ｔとの状態変化を表す状態遷移関数
ｖ_ｔ^（ｉ）：システムノイズ
により、予測処理後のパーティクルの集合ｓ_{ｔ｜ｔ−１}を取得する。

【0155】

具体的には、時刻ｔ２における事前確率分布（事前確率分布データ）に従う、ｉ番目のパーティクルの内部状態は、（Ｘ_{ｔ−１｜ｔ−１}^（ｉ），Ｙ_{ｔ−１｜ｔ−１}^（ｉ），Ｗ_{ｔ−１｜ｔ−１}^（ｉ），Ｈ_{ｔ−１｜ｔ−１}^（ｉ））であり、予測処理後のｉ番目のパーティクルの内部状態は、（Ｘ_{ｔ｜ｔ−１}^（ｉ），Ｙ_{ｔ｜ｔ−１}^（ｉ），Ｗ_{ｔ｜ｔ−１}^（ｉ），Ｈ_{ｔ｜ｔ−１}^（ｉ））であるので、
Ｘ_{ｔ｜ｔ−１}^（ｉ）＝Ｘ_{ｔ−１｜ｔ−１}^（ｉ）＋ΔＸ^（ｉ）
Ｙ_{ｔ｜ｔ−１}^（ｉ）＝Ｙ_{ｔ−１｜ｔ−１}^（ｉ）＋ΔＹ^（ｉ）
Ｗ_{ｔ｜ｔ−１}^（ｉ）＝Ｗ_{ｔ−１｜ｔ−１}^（ｉ）＋ΔＷ^（ｉ）
Ｈ_{ｔ｜ｔ−１}^（ｉ）＝Ｈ_{ｔ−１｜ｔ−１}^（ｉ）＋ΔＨ^（ｉ）
により、尤度取得部３は、予測処理後のパーティクルの集合ｓ_{ｔ｜ｔ−１}を取得する。なお、ΔＸ^（ｉ）、ΔＹ^（ｉ）、ΔＷ^（ｉ）、ΔＨ^（ｉ）は、それぞれ、ガウス分布に従う。

【0156】

このようにして取得した予測処理後のパーティクルの集合ｓ_{ｔ｜ｔ−１}の平均値による画像領域Ｒ＿ｐｒｅｄ＿ａｖｅを、図７に示す。

【0157】

そして、尤度取得部３は、予測処理後のパーティクルの集合ｓ_{ｔ｜ｔ−１}と、観測選択部２から出力された第２の観測データ（実際の観測）とに基づいて、尤度を算出する。

【0158】

なお、尤度は、各パーティクルの内部変数が示す画像領域内における、第２の観測データ、すなわち、物体検出画像の画素値の積算値とする。

【0159】

つまり、ｉ番目（１≦ｉ≦Ｍ）のパーティクルの場合、
ｓ_{ｔ｜ｔ−１}^（ｉ）＝（Ｘｔ^（ｉ），Ｙｔ^（ｉ），Ｗｔ^（ｉ），Ｈｔ^（ｉ））
であるので、画像上の位置（Ｘｔ^（ｉ），Ｙｔ^（ｉ））を中心とする、幅Ｗｔ^（ｉ）、高さＨｔ^（ｉ）である画像領域の物体検出画像の画素値の積算値を、ｉ番目のパーティクルの尤度ｗａ_ｔ^（ｉ）とする。

【0160】

ここで、図７に示すように、第２の観測データは、第１の観測データよりも、物体Ｂ２の領域の検出結果が良好である。このため、第２の観測データを用いて、尤度を計算することで、物体Ｂ２の画像領域に含まれるパーティクルの尤度を大きくすることができる。その結果、事後確率分布において、物体Ｂ２の画像領域に含まれるパーティクルの数を多くすることができる。したがって、時刻ｔ２において、観測選択部２により選択された第２の観測を用いて、尤度の算出を行うことで、より適切に物体の追跡処理が実行できる。

【0161】

そして、尤度取得部３により算出された尤度ｗａ_ｔは、予測後確率分布データ（予測処理後のパーティクルの集合ｓ_{ｔ｜ｔ−１}に関するデータ）とともに、事後確率分布推定部４に出力される。

【0162】

事後確率分布推定部４では、尤度ｗａ_ｔ^（ｉ）に比例する割合でＭ個のパーティクル（粒子）を復元抽出する（パーティクルｘａ_ｔ^（ｉ）を抽出する）。このようにして復元抽出されたＭ個のパーティクルの分布から、時刻ｔ２の事後確率分布ｐ（ｘ_ｔ｜ｙ_ｔ）に従って生成されたサンプル集合（パーティクルの集合）Ｓ_ｔ｜ｔ、すなわち、
Ｓ_ｔ｜ｔ＝｛ｓ_ｔ｜ｔ^（１），ｓ_ｔ｜ｔ^（２），・・・，ｓ_ｔ｜ｔ^（Ｍ）｝
を取得する。

【0163】

なお、図７に、（１）時刻ｔ２における事前確率分布に従うパーティクルの平均値が示す領域Ｒ＿ｂｅｆｏｒｅ＿ａｖｅと、（２）上記処理により取得された、予測後確率分布（予測処理後のパーティクルの集合ｓ_{ｔ｜ｔ−１}に関するデータ）に従うパーティクルの平均値（Ｘ_{ｔ｜ｔ−１}＿ａｖｅ，Ｙ_{ｔ｜ｔ−１}＿ａｖｅ，Ｗ_{ｔ｜ｔ−１}＿ａｖｅ，Ｈ_{ｔ｜ｔ−１}＿ａｖｅ）を示す領域Ｒ＿ｐｒｅｄ＿ａｖｅと、を示す。

【0164】

また、図７に、上記処理により取得された、時刻ｔ２の事後確率分布ｐ（ｘ_ｔ｜ｙ_ｔ）に従って生成されたサンプル集合（パーティクルの集合）Ｓ_ｔ｜ｔの平均値（Ｘ_ｔ｜ｔ＿ａｖｅ，Ｙ_ｔ｜ｔ＿ａｖｅ，Ｗ_ｔ｜ｔ＿ａｖｅ，Ｈ_ｔ｜ｔ＿ａｖｅ）を示す領域Ｒ＿ａｆｔｅｒ＿ａｖｅを示す。

【0165】

なお、Ｗ_ｔ｜ｔ＿ａｖｅ、および、Ｈ_ｔ｜ｔ＿ａｖｅは、
Ｗ_ｔ｜ｔ＿ａｖｅ＝２．３×Ｗ０
Ｈ_ｔ｜ｔ＿ａｖｅ＝１．６×Ｈ０
として取得されたものとする。
（時刻ｔ３の処理）：
次に、時刻ｔ３の処理について、説明する。

【0166】

図８は、時刻ｔ３における第１の観測データ（物体検出画像）と第２の観測データ（物体検出画像）と、画像上の物体Ｂ３の状態とを模式的に示す図である。

【0167】

時刻ｔ３において、事前確率分布出力部５は、時刻ｔ２における事後確率分布（事後確率分布データ）を、時刻ｔ３における事前確率分布（事前確率分布データ）として、観測選択部２と、尤度取得部３とに出力する。

【0168】

また、観測取得部１の第１観測取得部１１により取得された第１の観測データ（幅Ｗ０、高さＨ０の黄色の画像領域の検出結果（物体検出画像））と、観測取得部１の第２観測取得部１２により取得された第２の観測データ（幅２×Ｗ０、高さ２×Ｈ０の黄色の画像領域の検出結果（物体検出画像））とが、観測選択部２に出力される。

【0169】

観測選択部２は、事前確率分布出力部５から出力された事前確率分布データに基づいて、第１の観測データと第２の観測データのどちらのデータを選択するか決定する。

【0170】

つまり、観測選択部２は、時刻ｔ３の事前確率分布ｐ（ｘ_ｔ−１｜ｙ_ｔ−１）に従って生成されたサンプル集合（パーティクルの集合）Ｓ_{ｔ−１｜ｔ−１}の平均値（Ｘ_{ｔ−１｜ｔ−１}＿ａｖｅ，Ｙ_{ｔ−１｜ｔ−１}＿ａｖｅ，Ｗ_{ｔ−１｜ｔ−１}＿ａｖｅ，Ｈ_{ｔ−１｜ｔ−１}＿ａｖｅ）に基づいて、第１の観測データと第２の観測データのどちらのデータを選択するか決定する。

【0171】

パーティクルの集合Ｓ_{ｔ−１｜ｔ−１}の平均値（Ｘ_{ｔ−１｜ｔ−１}＿ａｖｅ，Ｙ_{ｔ−１｜ｔ−１}＿ａｖｅ，Ｗ_{ｔ−１｜ｔ−１}＿ａｖｅ，Ｈ_{ｔ−１｜ｔ−１}＿ａｖｅ）が示す画像領域の大きさは、
Ｗ_{ｔ−１｜ｔ−１}＿ａｖｅ＝Ｗ_ｔ｜ｔ＿ａｖｅ＝２．３×Ｗ０
Ｈ_{ｔ−１｜ｔ−１}＿ａｖｅ＝Ｈ_ｔ｜ｔ＿ａｖｅ＝１．６×Ｈ０
であり、
２．３×Ｗ０×１．６×Ｈ０＝３．６８×Ｗ０×Ｈ０＞２×Ｗ０×Ｈ０
である。つまり、パーティクルの集合Ｓ_{ｔ−１｜ｔ−１}の平均値（Ｘ_{ｔ−１｜ｔ−１}＿ａｖｅ，Ｙ_{ｔ−１｜ｔ−１}＿ａｖｅ，Ｗ_{ｔ−１｜ｔ−１}＿ａｖｅ，Ｈ_{ｔ−１｜ｔ−１}＿ａｖｅ）が示す画像領域の大きさは、閾値Ｔｈ（＝２×ＷＯ×Ｈ０）よりも大きいので、観測選択部２は、第２の観測データを選択する。

【0172】

そして、選択された第２の観測データは、尤度取得部３に出力される。

【0173】

尤度取得部３では、事前確率分布出力部５により生成された時刻ｔ３における事前確率分布（事前確率分布データ）に従うパーティクルの集合ｓ_{ｔ−１｜ｔ−１}に基づいて、予測処理を行い、予測処理後のパーティクルの集合ｓ_{ｔ｜ｔ−１}を取得する。

【0174】

例えば、時刻ｔ３における事前確率分布（事前確率分布データ）に従うパーティクルの集合ｓ_{ｔ−１｜ｔ−１}に含まれる各パーティクルの状態に対して、ランダムウォークのダイナミクスを仮定したガウシアンノイズを重畳させることで、予測処理後のパーティクルの集合ｓ_{ｔ｜ｔ−１}を取得する。つまり、ｖ_ｔ^（ｉ）がガウス分布に従うシステムノイズとし、
ｓ_{ｔ｜ｔ−１}^（ｉ）＝ｆ（ｓ_{ｔ−１｜ｔ−１}^（ｉ），ｖ_ｔ^（ｉ））
ｆ（）：時刻ｔ−１と時刻ｔとの状態変化を表す状態遷移関数
ｖ_ｔ^（ｉ）：システムノイズ
により、予測処理後のパーティクルの集合ｓ_{ｔ｜ｔ−１}を取得する。

【0175】

具体的には、時刻ｔ３における事前確率分布（事前確率分布データ）に従う、ｉ番目のパーティクルの内部状態は、（Ｘ_{ｔ−１｜ｔ−１}^（ｉ），Ｙ_{ｔ−１｜ｔ−１}^（ｉ），Ｗ_{ｔ−１｜ｔ−１}^（ｉ），Ｈ_{ｔ−１｜ｔ−１}^（ｉ））であり、予測処理後のｉ番目のパーティクルの内部状態は、（Ｘ_{ｔ｜ｔ−１}^（ｉ），Ｙ_{ｔ｜ｔ−１}^（ｉ），Ｗ_{ｔ｜ｔ−１}^（ｉ），Ｈ_{ｔ｜ｔ−１}^（ｉ））であるので、
Ｘ_{ｔ｜ｔ−１}^（ｉ）＝Ｘ_{ｔ−１｜ｔ−１}^（ｉ）＋ΔＸ^（ｉ）
Ｙ_{ｔ｜ｔ−１}^（ｉ）＝Ｙ_{ｔ−１｜ｔ−１}^（ｉ）＋ΔＹ^（ｉ）
Ｗ_{ｔ｜ｔ−１}^（ｉ）＝Ｗ_{ｔ−１｜ｔ−１}^（ｉ）＋ΔＷ^（ｉ）
Ｈ_{ｔ｜ｔ−１}^（ｉ）＝Ｈ_{ｔ−１｜ｔ−１}^（ｉ）＋ΔＨ^（ｉ）
により、尤度取得部３は、予測処理後のパーティクルの集合ｓ_{ｔ｜ｔ−１}を取得する。なお、ΔＸ^（ｉ）、ΔＹ^（ｉ）、ΔＷ^（ｉ）、ΔＨ^（ｉ）は、それぞれ、ガウス分布に従う。

【0176】

このようにして取得した予測処理後のパーティクルの集合ｓ_{ｔ｜ｔ−１}の平均値による画像領域Ｒ＿ｐｒｅｄ＿ａｖｅを、図８に示す。

【0177】

そして、尤度取得部３は、予測処理後のパーティクルの集合ｓ_{ｔ｜ｔ−１}と、観測選択部２から出力された第２の観測データ（実際の観測）とに基づいて、尤度を算出する。

【0178】

なお、尤度は、各パーティクルの内部変数が示す画像領域内における、第２の観測データ、すなわち、物体検出画像の画素値の積算値とする。

【0179】

つまり、ｉ番目（１≦ｉ≦Ｍ）のパーティクルの場合、
ｓ_{ｔ｜ｔ−１}^（ｉ）＝（Ｘｔ^（ｉ），Ｙｔ^（ｉ），Ｗｔ^（ｉ），Ｈｔ^（ｉ））
であるので、画像上の位置（Ｘｔ^（ｉ），Ｙｔ^（ｉ））を中心とする、幅Ｗｔ^（ｉ）、高さＨｔ^（ｉ）である画像領域の物体検出画像の画素値の積算値を、ｉ番目のパーティクルの尤度ｗａ_ｔ^（ｉ）とする。

【0180】

ここで、図８に示すように、第２の観測データは、第１の観測データよりも、物体Ｂ３の領域の検出結果が良好である。このため、第２の観測データを用いて、尤度を計算することで、物体Ｂ３の画像領域に含まれるパーティクルの尤度を大きくすることができる。その結果、事後確率分布において、物体Ｂ３の画像領域に含まれるパーティクルの数を多くすることができる。したがって、時刻ｔ３において、観測選択部２により選択された第２の観測を用いて、尤度の算出を行うことで、より適切に物体の追跡処理が実行できる。

【0181】

そして、尤度取得部３により算出された尤度ｗａ_ｔは、予測後確率分布データ（予測処理後のパーティクルの集合ｓ_{ｔ｜ｔ−１}に関するデータ）とともに、事後確率分布推定部４に出力される。

【0182】

事後確率分布推定部４では、尤度ｗａ_ｔ^（ｉ）に比例する割合でＭ個のパーティクル（粒子）を復元抽出する（パーティクルｘａ_ｔ^（ｉ）を抽出する）。このようにして復元抽出されたＭ個のパーティクルの分布から、時刻ｔ３の事後確率分布ｐ（ｘ_ｔ｜ｙ_ｔ）に従って生成されたサンプル集合（パーティクルの集合）Ｓ_ｔ｜ｔ、すなわち、
Ｓ_ｔ｜ｔ＝｛ｓ_ｔ｜ｔ^（１），ｓ_ｔ｜ｔ^（２），・・・，ｓ_ｔ｜ｔ^（Ｍ）｝
を取得する。

【0183】

なお、図８に、（１）時刻ｔ３における事前確率分布に従うパーティクルの平均値が示す領域Ｒ＿ｂｅｆｏｒｅ＿ａｖｅと、（２）上記処理により取得された、予測後確率分布（予測処理後のパーティクルの集合ｓ_{ｔ｜ｔ−１}に関するデータ）に従うパーティクルの平均値（Ｘ_{ｔ｜ｔ−１}＿ａｖｅ，Ｙ_{ｔ｜ｔ−１}＿ａｖｅ，Ｗ_{ｔ｜ｔ−１}＿ａｖｅ，Ｈ_{ｔ｜ｔ−１}＿ａｖｅ）を示す領域Ｒ＿ｐｒｅｄ＿ａｖｅと、を示す。

【0184】

また、図８に、上記処理により取得された、時刻ｔ３の事後確率分布ｐ（ｘ_ｔ｜ｙ_ｔ）に従って生成されたサンプル集合（パーティクルの集合）Ｓ_ｔ｜ｔの平均値（Ｘ_ｔ｜ｔ＿ａｖｅ，Ｙ_ｔ｜ｔ＿ａｖｅ，Ｗ_ｔ｜ｔ＿ａｖｅ，Ｈ_ｔ｜ｔ＿ａｖｅ）を示す領域Ｒ＿ａｆｔｅｒ＿ａｖｅを示す。

【0185】

以上の処理を継続させることで、状態推定システム１０００により、物体の追跡処理を行うことができる。

【0186】

このように、状態推定システム１０００では、観測取得部１により、複数の観測（観測データ）が取得され、観測選択部２より、追跡対象の状態（本実施形態では、物体の大きさ）に応じて、より適切な観測データが選択される。そして、状態推定システム１０００では、選択された観測データに基づいて、尤度が算出され、算出された尤度を用いて、リサンプリングが実行される。したがって、状態推定システム１０００では、追跡対象の状態が変化した場合であっても（本実施形態では、物体の大きさが変化した場合であっても）、適切な事後確率分布データを取得することができる。その結果、状態推定システム１０００では、観測対象の内部状態を適切に推定することができ、例えば、動画像上において、大きさが変化する物体や、大きさが異なる複数の物体を追跡する場合であっても、正確に物体を追跡することができる。

【0187】

［第２実施形態］
次に、第２実施形態について、説明する。

【0188】

＜２．１：状態推定システムの構成＞
図９は、第２実施形態に係る状態推定システム２０００の概略構成図である。

【0189】

状態推定システム２０００は、図９に示すように、観測取得部１と、尤度算出部７と、尤度取得部３Ａと、事後確率分布推定部４と、事前確率分布出力部５と、初期状態設定部６と、を備える。

【0190】

状態推定システム２０００において、観測取得部１と、事後確率分布推定部４と、事前確率分布出力部５と、初期状態設定部６とは、第１実施形態の状態推定システム１０００のものと同様である。

【0191】

なお、事前確率分布出力部５は、第１実施形態とは出力先だけが異なる。つまり、状態推定システム２０００の事前確率分布出力部５は、生成した事前確率分布（事前確率分布データ）を尤度算出部７と、尤度取得部３Ａとに出力する。

【0192】

本実施形態において、第１実施形態と同様の部分については、同一符号を付し、詳細な説明を省略する。

【0193】

尤度算出部７は、図９に示すように、第１尤度算出部７１と、第２尤度算出部７２とを備える。

【0194】

第１尤度算出部７１は、第１観測取得部１１から出力される第１の観測（第１の観測データ）と、事前確率分布出力部５から出力される事前確率分布（事前確率分布データ）とを入力する。第１尤度算出部７１は、事前確率分布（事前確率分布データ）に対して予測処理を行い、予測後確率分布（予測後確率分布データ）を取得する。そして、第１尤度算出部７１は、第１の観測（第１の観測データ）と、予測後確率分布（予測後確率分布データ）とに基づいて、尤度（第１尤度）を算出する。そして、第１尤度算出部７１は、第１の観測データを用いて算出した第１尤度（第１尤度データ）と予測後確率分布（予測後確率分布データ）とを尤度取得部３Ａに出力する。

【0195】

第２尤度算出部７２は、第２観測取得部１２から出力される第２の観測（第２の観測データ）と、事前確率分布出力部５から出力される事前確率分布（事前確率分布データ）とを入力する。第２尤度算出部７２は、事前確率分布（事前確率分布データ）に対して予測処理を行い、予測後確率分布（予測後確率分布データ）を取得する。そして、第２尤度算出部７２は、第２の観測（第２の観測データ）と、予測後確率分布（予測後確率分布データ）とに基づいて、尤度（第２尤度）を算出する。そして、第２尤度算出部７２は、第２の観測データを用いて算出した第２尤度（第１尤度データ）と予測後確率分布（予測後確率分布データ）とを尤度取得部３Ａに出力する。

【0196】

なお、事前確率分布（事前確率分布データ）に対する予測処理は、第１尤度算出部７１および第２尤度算出部７２のいずれか一方のみで実行されるものであってもよい。この場合、第１尤度算出部７１および第２尤度算出部７２のいずれか一方で取得された予測後確率分布（予測後確率分布データ）は、他方に出力される。また、第１尤度算出部７１および第２尤度算出部７２のいずれか一方で取得された予測後確率分布（予測後確率分布データ）は、尤度取得部３Ａに出力される。

【0197】

なお、図９では、尤度算出部が２つの構成を示しているが、これに限定されることはなく、尤度算出部は、３つ以上であってもよい。

【0198】

尤度取得部３Ａは、第１尤度算出部７１から出力される第１尤度と、第２尤度算出部７２から出力される第２尤度と、第１尤度算出部７１および第２尤度算出部７２の一方（または両方）から出力される予測後確率分布（予測後確率分布データ）と、事前確率分布出力部５から出力される事前確率分布（事前確率分布データ）とを入力する。尤度取得部３Ａは、事前確率分布（事前確率分布データ）に基づいて、複数の尤度（図９の場合、第１尤度と第２尤度）の中から１つの尤度（尤度データ）を選択し、選択した尤度（尤度データ）を事後確率分布推定部４に出力する。

【0199】

＜２．２：状態推定システムの動作＞
以上のように構成された状態推定システム２０００の動作について、以下、説明する。

【0200】

なお、以下では、第１実施形態と同様に、大きさが変化する黄色の物体を追跡する処理を例に説明する。

【0201】

また、第１実施形態と同様に、第１の観測（第１の観測データ）は、幅Ｗ０、高さＨ０である黄色の物体を検出した結果を示す画像信号（物体検出画像信号）であるものとする。つまり、第１物体検出部１１２は、第１映像入力部１１１が取得した画像において、幅Ｗ０、高さＨ０の黄色の画像領域に近い画像領域である程、当該画像領域の画素の画素値を大きな値（幅Ｗ０、高さＨ０である黄色の画像領域である度合いが高いことを示す値）とした画像（検出画像）を生成するものとする。

【0202】

また、第２の観測（第２の観測データ）は、幅（２×Ｗ０）、高さ（２×Ｈ０）である黄色の物体を検出した結果を示す画像信号（物体検出画像信号）であるものとする。つまり、第２物体検出部１２２は、第２映像入力部１２１が取得した画像において、幅（２×Ｗ０）、高さ（２×Ｈ０）の黄色の画像領域に近い画像領域である程、当該画像領域の画素の画素値を大きな値（幅（２×Ｗ０）、高さ（２×Ｈ０）である黄色の画像領域である度合いが高いことを示す値）とした画像（検出画像）を生成するものとする。
（時刻ｔ０の処理）：
まず、時刻ｔ０の処理について、説明する。

【0203】

時刻ｔ０において、初期状態設定部６は、追跡対象の状態の初期状態を設定するための初期値を事前確率分布出力部５に出力する。

【0204】

事前確率分布出力部５は、初期状態設定部６から入力された初期値に基づいて、追跡対象の初期状態を示すサンプル（パーティクル）の集合Ｓ_{ｔ｜ｔ−１}（ｔ＝ｔ０）を生成する。

【0205】

なお、追跡対象の初期状態を示すサンプル（パーティクル）の集合Ｓ_{ｔ｜ｔ−１}（ｔ＝ｔ０）の生成処理は、例えば、可能性のある全ての状態を表すパーティクルの集合が、初期状態を示すパーティクルの集合として生成されるように実行すればよい。

【0206】

事前確率分布出力部５により生成された時刻ｔ０における事前確率分布（事前確率分布データ）は、尤度算出部７、尤度取得部３Ａ、および、事後確率分布推定部４に出力される。

【0207】

また、観測取得部１の第１観測取得部１１により取得された第１の観測データ（幅Ｗ０、高さＨ０の黄色の画像領域の検出結果（物体検出画像））は、尤度算出部７の第１尤度算出部７１に出力される。観測取得部１の第２観測取得部１２により取得された第２の観測データ（幅２×Ｗ０、高さ２×Ｈ０の黄色の画像領域の検出結果（物体検出画像））は、尤度算出部７の第２尤度算出部７２に出力される。

【0208】

尤度算出部７の第１尤度算出部７１では、事前確率分布出力部５により生成された時刻ｔ０における事前確率分布（事前確率分布データ）に従うパーティクルの集合ｓ_{ｔ−１｜ｔ−１}に基づいて、予測処理を行い、予測処理後のパーティクルの集合ｓ_{ｔ｜ｔ−１}を取得する。

【0209】

そして、予測処理後のパーティクルの集合ｓ_{ｔ｜ｔ−１}と、第１観測取得部１１から出力された第１の観測データ（実際の観測）とに基づいて、尤度（第１尤度）を算出する。

【0210】

なお、尤度は、各パーティクルの内部変数が示す画像領域内における、第１の観測データ、すなわち、物体検出画像の画素値の積算値とする。

【0211】

つまり、ｉ番目（１≦ｉ≦Ｍ）のパーティクルの場合、
ｓ_{ｔ｜ｔ−１}^（ｉ）＝（Ｘｔ^（ｉ），Ｙｔ^（ｉ），Ｗｔ^（ｉ），Ｈｔ^（ｉ））
であるので、画像上の位置（Ｘｔ^（ｉ），Ｙｔ^（ｉ））を中心とする、幅Ｗｔ^（ｉ）、高さＨｔ^（ｉ）である画像領域の物体検出画像の画素値の積算値を、ｉ番目のパーティクルの尤度ｗ１ａ_ｔ^（ｉ）とする。

【0212】

そして、第１尤度算出部７１により算出された尤度ｗ１ａ_ｔ（第１尤度）は、予測後確率分布データ（予測処理後のパーティクルの集合ｓ_{ｔ｜ｔ−１}に関するデータ）とともに、尤度取得部３Ａに出力される。

【0213】

また、尤度算出部７の第２尤度算出部７２では、第１尤度算出部７１で取得された予測処理後のパーティクルの集合ｓ_{ｔ｜ｔ−１}と、第２観測取得部１２から出力された第２の観測データ（実際の観測）とに基づいて、尤度（第２尤度）を算出する。

【0214】

なお、尤度は、各パーティクルの内部変数が示す画像領域内における、第２の観測データ、すなわち、物体検出画像の画素値の積算値とする。

【0215】

つまり、ｉ番目（１≦ｉ≦Ｍ）のパーティクルの場合、
ｓ_{ｔ｜ｔ−１}^（ｉ）＝（Ｘｔ^（ｉ），Ｙｔ^（ｉ），Ｗｔ^（ｉ），Ｈｔ^（ｉ））
であるので、画像上の位置（Ｘｔ^（ｉ），Ｙｔ^（ｉ））を中心とする、幅Ｗｔ^（ｉ）、高さＨｔ^（ｉ）である画像領域の物体検出画像の画素値の積算値を、ｉ番目のパーティクルの尤度ｗ２ａ_ｔ^（ｉ）とする。

【0216】

そして、第２尤度算出部７２により算出された尤度ｗ２ａ_ｔ（第２尤度）は、尤度取得部３Ａに出力される。

【0217】

尤度取得部３Ａでは、追跡対象が発見（特定）されるまで、第１の観測データと第２の観測データの両方のデータを参照し、第１尤度および第２尤度のどちらを出力するかを決定する。時刻ｔ０の場合、図４に示すように、第１の観測データ（物体検出画像）に検出結果が顕著に現れているので、尤度取得部３Ａは、第１尤度を選択し、選択した第１尤度を事後確率分布推定部４に出力する。

【0218】

事後確率分布推定部４では、第１尤度ｗ１ａ_ｔ^（ｉ）に比例する割合でＭ個のパーティクル（粒子）を復元抽出する（パーティクルｘａ_ｔ^（ｉ）を抽出する）。このようにして復元抽出されたＭ個のパーティクルの分布から、時刻ｔ０の事後確率分布ｐ（ｘ_ｔ｜ｙ_ｔ）に従って生成されたサンプル集合（パーティクルの集合）Ｓ_ｔ｜ｔ、すなわち、
Ｓ_ｔ｜ｔ＝｛ｓ_ｔ｜ｔ^（１），ｓ_ｔ｜ｔ^（２），・・・，ｓ_ｔ｜ｔ^（Ｍ）｝
を取得する。

【0219】

なお、上記処理により取得された、予測後確率分布（予測処理後のパーティクルの集合ｓ_{ｔ｜ｔ−１}に関するデータ）に従うパーティクルの平均値（Ｘ_{ｔ｜ｔ−１}＿ａｖｅ，Ｙ_{ｔ｜ｔ−１}＿ａｖｅ，Ｗ_{ｔ｜ｔ−１}＿ａｖｅ，Ｈ_{ｔ｜ｔ−１}＿ａｖｅ）を示す領域Ｒ＿ｐｒｅｄ＿ａｖｅは、図４に示したものと同様のものとなる。

【0220】

また、上記処理により取得された、時刻ｔ０の事後確率分布ｐ（ｘ_ｔ｜ｙ_ｔ）に従って生成されたサンプル集合（パーティクルの集合）Ｓ_ｔ｜ｔの平均値（Ｘ_ｔ｜ｔ＿ａｖｅ，Ｙ_ｔ｜ｔ＿ａｖｅ，Ｗ_ｔ｜ｔ＿ａｖｅ，Ｈ_ｔ｜ｔ＿ａｖｅ）を示す領域Ｒ＿ａｆｔｅｒ＿ａｖｅは、図４に示したものと同様のものとなる。

【0221】

なお、Ｗ_ｔ｜ｔ＿ａｖｅ、および、Ｈ_ｔ｜ｔ＿ａｖｅは、
Ｗ_ｔ｜ｔ＿ａｖｅ＝１．４×Ｗ０
Ｈ_ｔ｜ｔ＿ａｖｅ＝１．４×Ｈ０
として取得されたものとする。
（時刻ｔ１の処理）：
次に、時刻ｔ１の処理について、説明する。

【0222】

時刻ｔ１における第１の観測データ（物体検出画像）と第２の観測データ（物体検出画像）と、画像上の物体Ｂ１の状態とは、図５と同様である。

【0223】

時刻ｔ１において、事前確率分布出力部５は、時刻ｔ０における事後確率分布（事後確率分布データ）を、時刻ｔ１における事前確率分布（事前確率分布データ）として、尤度算出部７と、尤度取得部３Ａとに出力する。

【0224】

また、観測取得部１の第１観測取得部１１により取得された第１の観測データ（幅Ｗ０、高さＨ０の黄色の画像領域の検出結果（物体検出画像））は、尤度算出部７の第１尤度算出部７１に出力される。観測取得部１の第２観測取得部１２により取得された第２の観測データ（幅２×Ｗ０、高さ２×Ｈ０の黄色の画像領域の検出結果（物体検出画像））は、尤度算出部７の第２尤度算出部７２に出力される。

【0225】

尤度算出部７の第１尤度算出部７１では、事前確率分布出力部５により生成された時刻ｔ１における事前確率分布（事前確率分布データ）に従うパーティクルの集合ｓ_{ｔ−１｜ｔ−１}に基づいて、予測処理を行い、予測処理後のパーティクルの集合ｓ_{ｔ｜ｔ−１}を取得する。

【0226】

そして、予測処理後のパーティクルの集合ｓ_{ｔ｜ｔ−１}と、第１観測取得部１１から出力された第１の観測データ（実際の観測）とに基づいて、尤度（第１尤度）を算出する。

【0227】

なお、尤度は、各パーティクルの内部変数が示す画像領域内における、第１の観測データ、すなわち、物体検出画像の画素値の積算値とする。

【0228】

つまり、ｉ番目（１≦ｉ≦Ｍ）のパーティクルの場合、
ｓ_{ｔ｜ｔ−１}^（ｉ）＝（Ｘｔ^（ｉ），Ｙｔ^（ｉ），Ｗｔ^（ｉ），Ｈｔ^（ｉ））
であるので、画像上の位置（Ｘｔ^（ｉ），Ｙｔ^（ｉ））を中心とする、幅Ｗｔ^（ｉ）、高さＨｔ^（ｉ）である画像領域の物体検出画像の画素値の積算値を、ｉ番目のパーティクルの尤度ｗ１ａ_ｔ^（ｉ）とする。

【0229】

そして、第１尤度算出部７１により算出された尤度ｗ１ａ_ｔ（第１尤度）は、予測後確率分布データ（予測処理後のパーティクルの集合ｓ_{ｔ｜ｔ−１}に関するデータ）とともに、尤度取得部３Ａに出力される。

【0230】

また、尤度算出部７の第２尤度算出部７２では、第１尤度算出部７１で取得された予測処理後のパーティクルの集合ｓ_{ｔ｜ｔ−１}と、第２観測取得部１２から出力された第２の観測データ（実際の観測）とに基づいて、尤度（第２尤度）を算出する。

【0231】

なお、尤度は、各パーティクルの内部変数が示す画像領域内における、第２の観測データ、すなわち、物体検出画像の画素値の積算値とする。

【0232】

つまり、ｉ番目（１≦ｉ≦Ｍ）のパーティクルの場合、
ｓ_{ｔ｜ｔ−１}^（ｉ）＝（Ｘｔ^（ｉ），Ｙｔ^（ｉ），Ｗｔ^（ｉ），Ｈｔ^（ｉ））
であるので、画像上の位置（Ｘｔ^（ｉ），Ｙｔ^（ｉ））を中心とする、幅Ｗｔ^（ｉ）、高さＨｔ^（ｉ）である画像領域の物体検出画像の画素値の積算値を、ｉ番目のパーティクルの尤度ｗ２ａ_ｔ^（ｉ）とする。

【0233】

そして、第２尤度算出部７２により算出された尤度ｗ２ａ_ｔ（第２尤度）は、尤度取得部３Ａに出力される。

【0234】

尤度取得部３Ａでは、事前確率分布出力部５から出力された事前確率分布データに基づいて、第１尤度と第２尤度のどちらの尤度を選択するか決定する。

【0235】

つまり、尤度取得部３Ａは、時刻ｔ１の事前確率分布ｐ（ｘ_ｔ−１｜ｙ_ｔ−１）に従って生成されたサンプル集合（パーティクルの集合）Ｓ_{ｔ−１｜ｔ−１}の平均値（Ｘ_{ｔ−１｜ｔ−１}＿ａｖｅ，Ｙ_{ｔ−１｜ｔ−１}＿ａｖｅ，Ｗ_{ｔ−１｜ｔ−１}＿ａｖｅ，Ｈ_{ｔ−１｜ｔ−１}＿ａｖｅ）に基づいて、第１尤度と第２尤度のどちらの尤度を選択するか決定する。

【0236】

具体的には、尤度取得部３Ａは、パーティクルの集合Ｓ_{ｔ−１｜ｔ−１}の平均値（Ｘ_{ｔ−１｜ｔ−１}＿ａｖｅ，Ｙ_{ｔ−１｜ｔ−１}＿ａｖｅ，Ｗ_{ｔ−１｜ｔ−１}＿ａｖｅ，Ｈ_{ｔ−１｜ｔ−１}＿ａｖｅ）が示す画像領域の大きさを、第１観測取得部１１が検出対象としている画像領域の大きさ（幅Ｗ０×高さＨ０）と、第２観測取得部１２が検出対象としている画像領域の大きさ（２×幅Ｗ０×２×高さＨ０）との間の所定の閾値Ｔｈと比較することで、第１尤度と第２尤度のどちらの尤度を選択するか決定する。なお、本実施形態では、Ｔｈ＝２×ＷＯ×Ｈ０とし、パーティクルの集合Ｓ_{ｔ−１｜ｔ−１}の平均値（Ｘ_{ｔ−１｜ｔ−１}＿ａｖｅ，Ｙ_{ｔ−１｜ｔ−１}＿ａｖｅ，Ｗ_{ｔ−１｜ｔ−１}＿ａｖｅ，Ｈ_{ｔ−１｜ｔ−１}＿ａｖｅ）が示す画像領域の大きさが閾値Ｔｈよりも小さい場合、第１尤度を選択するものとする。

【0237】

パーティクルの集合Ｓ_{ｔ−１｜ｔ−１}の平均値（Ｘ_{ｔ−１｜ｔ−１}＿ａｖｅ，Ｙ_{ｔ−１｜ｔ−１}＿ａｖｅ，Ｗ_{ｔ−１｜ｔ−１}＿ａｖｅ，Ｈ_{ｔ−１｜ｔ−１}＿ａｖｅ）が示す画像領域の大きさは、
Ｗ_{ｔ−１｜ｔ−１}＿ａｖｅ＝Ｗ_ｔ｜ｔ＿ａｖｅ＝１．４×Ｗ０
Ｈ_{ｔ−１｜ｔ−１}＿ａｖｅ＝Ｈ_ｔ｜ｔ＿ａｖｅ＝１．４×Ｈ０
であり、
１．４×Ｗ０×１．４×Ｈ０＝１．９６×Ｗ０×Ｈ０＜２×Ｗ０×Ｈ０
である。つまり、パーティクルの集合Ｓ_{ｔ−１｜ｔ−１}の平均値（Ｘ_{ｔ−１｜ｔ−１}＿ａｖｅ，Ｙ_{ｔ−１｜ｔ−１}＿ａｖｅ，Ｗ_{ｔ−１｜ｔ−１}＿ａｖｅ，Ｈ_{ｔ−１｜ｔ−１}＿ａｖｅ）が示す画像領域の大きさは、閾値Ｔｈ（＝２×ＷＯ×Ｈ０）よりも小さいので、尤度取得部３Ａは、第１尤度を選択する。

【0238】

そして、選択された第１尤度は、事後確率分布推定部４に出力される。

【0239】

事後確率分布推定部４では、第１尤度ｗ１ａ_ｔ^（ｉ）に比例する割合でＭ個のパーティクル（粒子）を復元抽出する（パーティクルｘａ_ｔ^（ｉ）を抽出する）。このようにして復元抽出されたＭ個のパーティクルの分布から、時刻ｔ１の事後確率分布ｐ（ｘ_ｔ｜ｙ_ｔ）に従って生成されたサンプル集合（パーティクルの集合）Ｓ_ｔ｜ｔ、すなわち、
Ｓ_ｔ｜ｔ＝｛ｓ_ｔ｜ｔ^（１），ｓ_ｔ｜ｔ^（２），・・・，ｓ_ｔ｜ｔ^（Ｍ）｝
を取得する。

【0240】

なお、（１）時刻ｔ１における事前確率分布に従うパーティクルの平均値が示す領域Ｒ＿ｂｅｆｏｒｅ＿ａｖｅと、（２）上記処理により取得された、予測後確率分布（予測処理後のパーティクルの集合ｓ_{ｔ｜ｔ−１}に関するデータ）に従うパーティクルの平均値（Ｘ_{ｔ｜ｔ−１}＿ａｖｅ，Ｙ_{ｔ｜ｔ−１}＿ａｖｅ，Ｗ_{ｔ｜ｔ−１}＿ａｖｅ，Ｈ_{ｔ｜ｔ−１}＿ａｖｅ）を示す領域Ｒ＿ｐｒｅｄ＿ａｖｅとは、図５と同様である。

【0241】

また、上記処理により取得された、時刻ｔ１の事後確率分布ｐ（ｘ_ｔ｜ｙ_ｔ）に従って生成されたサンプル集合（パーティクルの集合）Ｓ_ｔ｜ｔの平均値（Ｘ_ｔ｜ｔ＿ａｖｅ，Ｙ_ｔ｜ｔ＿ａｖｅ，Ｗ_ｔ｜ｔ＿ａｖｅ，Ｈ_ｔ｜ｔ＿ａｖｅ）を示す領域Ｒ＿ａｆｔｅｒ＿ａｖｅは、図５と同様である。

【0242】

なお、Ｗ_ｔ｜ｔ＿ａｖｅ、および、Ｈ_ｔ｜ｔ＿ａｖｅは、
Ｗ_ｔ｜ｔ＿ａｖｅ＝１．６×Ｗ０
Ｈ_ｔ｜ｔ＿ａｖｅ＝１．４×Ｈ０
として取得されたものとする。
（時刻ｔ２の処理）：
次に、時刻ｔ２の処理について、説明する。

【0243】

時刻ｔ２における第１の観測データ（物体検出画像）と第２の観測データ（物体検出画像）と、画像上の物体Ｂ２の状態とは、図７と同様である。

【0244】

時刻ｔ２において、事前確率分布出力部５は、時刻ｔ１における事後確率分布（事後確率分布データ）を、時刻ｔ２における事前確率分布（事前確率分布データ）として、尤度算出部７と、尤度取得部３Ａとに出力する。

【0245】

また、観測取得部１の第１観測取得部１１により取得された第１の観測データ（幅Ｗ０、高さＨ０の黄色の画像領域の検出結果（物体検出画像））は、尤度算出部７の第１尤度算出部７１に出力される。観測取得部１の第２観測取得部１２により取得された第２の観測データ（幅２×Ｗ０、高さ２×Ｈ０の黄色の画像領域の検出結果（物体検出画像））は、尤度算出部７の第２尤度算出部７２に出力される。

【0246】

尤度算出部７の第１尤度算出部７１では、事前確率分布出力部５により生成された時刻ｔ２における事前確率分布（事前確率分布データ）に従うパーティクルの集合ｓ_{ｔ−１｜ｔ−１}に基づいて、予測処理を行い、予測処理後のパーティクルの集合ｓ_{ｔ｜ｔ−１}を取得する。

【0247】

そして、予測処理後のパーティクルの集合ｓ_{ｔ｜ｔ−１}と、第１観測取得部１１から出力された第１の観測データ（実際の観測）とに基づいて、尤度（第１尤度）を算出する。

【0248】

なお、尤度は、各パーティクルの内部変数が示す画像領域内における、第１の観測データ、すなわち、物体検出画像の画素値の積算値とする。

【0249】

つまり、ｉ番目（１≦ｉ≦Ｍ）のパーティクルの場合、
ｓ_{ｔ｜ｔ−１}^（ｉ）＝（Ｘｔ^（ｉ），Ｙｔ^（ｉ），Ｗｔ^（ｉ），Ｈｔ^（ｉ））
であるので、画像上の位置（Ｘｔ^（ｉ），Ｙｔ^（ｉ））を中心とする、幅Ｗｔ^（ｉ）、高さＨｔ^（ｉ）である画像領域の物体検出画像の画素値の積算値を、ｉ番目のパーティクルの尤度ｗ１ａ_ｔ^（ｉ）とする。

【0250】

そして、第１尤度算出部７１により算出された尤度ｗ１ａ_ｔ（第１尤度）は、予測後確率分布データ（予測処理後のパーティクルの集合ｓ_{ｔ｜ｔ−１}に関するデータ）とともに、尤度取得部３Ａに出力される。

【0251】

また、尤度算出部７の第２尤度算出部７２では、第１尤度算出部７１で取得された予測処理後のパーティクルの集合ｓ_{ｔ｜ｔ−１}と、第２観測取得部１２から出力された第２の観測データ（実際の観測）とに基づいて、尤度（第２尤度）を算出する。

【0252】

なお、尤度は、各パーティクルの内部変数が示す画像領域内における、第２の観測データ、すなわち、物体検出画像の画素値の積算値とする。

【0253】

つまり、ｉ番目（１≦ｉ≦Ｍ）のパーティクルの場合、
ｓ_{ｔ｜ｔ−１}^（ｉ）＝（Ｘｔ^（ｉ），Ｙｔ^（ｉ），Ｗｔ^（ｉ），Ｈｔ^（ｉ））
であるので、画像上の位置（Ｘｔ^（ｉ），Ｙｔ^（ｉ））を中心とする、幅Ｗｔ^（ｉ）、高さＨｔ^（ｉ）である画像領域の物体検出画像の画素値の積算値を、ｉ番目のパーティクルの尤度ｗ２ａ_ｔ^（ｉ）とする。

【0254】

そして、第２尤度算出部７２により算出された尤度ｗ２ａ_ｔ（第２尤度）は、尤度取得部３Ａに出力される。

【0255】

尤度取得部３Ａでは、事前確率分布出力部５から出力された事前確率分布データに基づいて、第１尤度と第２尤度のどちらの尤度を選択するか決定する。

【0256】

つまり、尤度取得部３Ａは、時刻ｔ２の事前確率分布ｐ（ｘ_ｔ−１｜ｙ_ｔ−１）に従って生成されたサンプル集合（パーティクルの集合）Ｓ_{ｔ−１｜ｔ−１}の平均値（Ｘ_{ｔ−１｜ｔ−１}＿ａｖｅ，Ｙ_{ｔ−１｜ｔ−１}＿ａｖｅ，Ｗ_{ｔ−１｜ｔ−１}＿ａｖｅ，Ｈ_{ｔ−１｜ｔ−１}＿ａｖｅ）に基づいて、第１尤度と第２尤度のどちらの尤度を選択するか決定する。

【0257】

具体的には、尤度取得部３Ａは、パーティクルの集合Ｓ_{ｔ−１｜ｔ−１}の平均値（Ｘ_{ｔ−１｜ｔ−１}＿ａｖｅ，Ｙ_{ｔ−１｜ｔ−１}＿ａｖｅ，Ｗ_{ｔ−１｜ｔ−１}＿ａｖｅ，Ｈ_{ｔ−１｜ｔ−１}＿ａｖｅ）が示す画像領域の大きさは、
Ｗ_{ｔ−１｜ｔ−１}＿ａｖｅ＝Ｗ_ｔ｜ｔ＿ａｖｅ＝１．６×Ｗ０
Ｈ_{ｔ−１｜ｔ−１}＿ａｖｅ＝Ｈ_ｔ｜ｔ＿ａｖｅ＝１．４×Ｈ０
であり、
１．６×Ｗ０×１．４×Ｈ０＝２．２４×Ｗ０×Ｈ０＞２×Ｗ０×Ｈ０
である。つまり、パーティクルの集合Ｓ_{ｔ−１｜ｔ−１}の平均値（Ｘ_{ｔ−１｜ｔ−１}＿ａｖｅ，Ｙ_{ｔ−１｜ｔ−１}＿ａｖｅ，Ｗ_{ｔ−１｜ｔ−１}＿ａｖｅ，Ｈ_{ｔ−１｜ｔ−１}＿ａｖｅ）が示す画像領域の大きさは、閾値Ｔｈ（＝２×ＷＯ×Ｈ０）よりも大きいので、尤度取得部３Ａは、第２尤度を選択する。

【0258】

そして、選択された第２尤度は、事後確率分布推定部４に出力される。

【0259】

事後確率分布推定部４では、第２尤度ｗ２ａ_ｔ^（ｉ）に比例する割合でＭ個のパーティクル（粒子）を復元抽出する（パーティクルｘａ_ｔ^（ｉ）を抽出する）。このようにして復元抽出されたＭ個のパーティクルの分布から、時刻ｔ２の事後確率分布ｐ（ｘ_ｔ｜ｙ_ｔ）に従って生成されたサンプル集合（パーティクルの集合）Ｓ_ｔ｜ｔ、すなわち、
Ｓ_ｔ｜ｔ＝｛ｓ_ｔ｜ｔ^（１），ｓ_ｔ｜ｔ^（２），・・・，ｓ_ｔ｜ｔ^（Ｍ）｝
を取得する。

【0260】

なお、（１）時刻ｔ２における事前確率分布に従うパーティクルの平均値が示す領域Ｒ＿ｂｅｆｏｒｅ＿ａｖｅと、（２）上記処理により取得された、予測後確率分布（予測処理後のパーティクルの集合ｓ_{ｔ｜ｔ−１}に関するデータ）に従うパーティクルの平均値（Ｘ_{ｔ｜ｔ−１}＿ａｖｅ，Ｙ_{ｔ｜ｔ−１}＿ａｖｅ，Ｗ_{ｔ｜ｔ−１}＿ａｖｅ，Ｈ_{ｔ｜ｔ−１}＿ａｖｅ）を示す領域Ｒ＿ｐｒｅｄ＿ａｖｅとは、図７と同様である。

【0261】

また、上記処理により取得された、時刻ｔ２の事後確率分布ｐ（ｘ_ｔ｜ｙ_ｔ）に従って生成されたサンプル集合（パーティクルの集合）Ｓ_ｔ｜ｔの平均値（Ｘ_ｔ｜ｔ＿ａｖｅ，Ｙ_ｔ｜ｔ＿ａｖｅ，Ｗ_ｔ｜ｔ＿ａｖｅ，Ｈ_ｔ｜ｔ＿ａｖｅ）を示す領域Ｒ＿ａｆｔｅｒ＿ａｖｅは、図７と同様である。

【0262】

なお、Ｗ_ｔ｜ｔ＿ａｖｅ、および、Ｈ_ｔ｜ｔ＿ａｖｅは、
Ｗ_ｔ｜ｔ＿ａｖｅ＝２．３×Ｗ０
Ｈ_ｔ｜ｔ＿ａｖｅ＝１．６×Ｈ０
として取得されたものとする。
（時刻ｔ３の処理）：
次に、時刻ｔ３の処理について、説明する。

【0263】

時刻ｔ３における第１の観測データ（物体検出画像）と第２の観測データ（物体検出画像）と、画像上の物体Ｂ２の状態とは、図８と同様である。

【0264】

時刻ｔ３において、事前確率分布出力部５は、時刻ｔ２における事後確率分布（事後確率分布データ）を、時刻ｔ３における事前確率分布（事前確率分布データ）として、尤度算出部７と、尤度取得部３Ａとに出力する。

【0265】

また、観測取得部１の第１観測取得部１１により取得された第１の観測データ（幅Ｗ０、高さＨ０の黄色の画像領域の検出結果（物体検出画像））は、尤度算出部７の第１尤度算出部７１に出力される。観測取得部１の第２観測取得部１２により取得された第２の観測データ（幅２×Ｗ０、高さ２×Ｈ０の黄色の画像領域の検出結果（物体検出画像））は、尤度算出部７の第２尤度算出部７２に出力される。

【0266】

尤度算出部７の第１尤度算出部７１では、事前確率分布出力部５により生成された時刻ｔ３における事前確率分布（事前確率分布データ）に従うパーティクルの集合ｓ_{ｔ−１｜ｔ−１}に基づいて、予測処理を行い、予測処理後のパーティクルの集合ｓ_{ｔ｜ｔ−１}を取得する。

【0267】

そして、予測処理後のパーティクルの集合ｓ_{ｔ｜ｔ−１}と、第１観測取得部１１から出力された第１の観測データ（実際の観測）とに基づいて、尤度（第１尤度）を算出する。

【0268】

なお、尤度は、各パーティクルの内部変数が示す画像領域内における、第１の観測データ、すなわち、物体検出画像の画素値の積算値とする。

【0269】

つまり、ｉ番目（１≦ｉ≦Ｍ）のパーティクルの場合、
ｓ_{ｔ｜ｔ−１}^（ｉ）＝（Ｘｔ^（ｉ），Ｙｔ^（ｉ），Ｗｔ^（ｉ），Ｈｔ^（ｉ））
であるので、画像上の位置（Ｘｔ^（ｉ），Ｙｔ^（ｉ））を中心とする、幅Ｗｔ^（ｉ）、高さＨｔ^（ｉ）である画像領域の物体検出画像の画素値の積算値を、ｉ番目のパーティクルの尤度ｗ１ａ_ｔ^（ｉ）とする。

【0270】

そして、第１尤度算出部７１により算出された尤度ｗ１ａ_ｔ（第１尤度）は、予測後確率分布データ（予測処理後のパーティクルの集合ｓ_{ｔ｜ｔ−１}に関するデータ）とともに、尤度取得部３Ａに出力される。

【0271】

また、尤度算出部７の第２尤度算出部７２では、第１尤度算出部７１で取得された予測処理後のパーティクルの集合ｓ_{ｔ｜ｔ−１}と、第２観測取得部１２から出力された第２の観測データ（実際の観測）とに基づいて、尤度（第２尤度）を算出する。

【0272】

なお、尤度は、各パーティクルの内部変数が示す画像領域内における、第２の観測データ、すなわち、物体検出画像の画素値の積算値とする。

【0273】

つまり、ｉ番目（１≦ｉ≦Ｍ）のパーティクルの場合、
ｓ_{ｔ｜ｔ−１}^（ｉ）＝（Ｘｔ^（ｉ），Ｙｔ^（ｉ），Ｗｔ^（ｉ），Ｈｔ^（ｉ））
であるので、画像上の位置（Ｘｔ^（ｉ），Ｙｔ^（ｉ））を中心とする、幅Ｗｔ^（ｉ）、高さＨｔ^（ｉ）である画像領域の物体検出画像の画素値の積算値を、ｉ番目のパーティクルの尤度ｗ２ａ_ｔ^（ｉ）とする。

【0274】

そして、第２尤度算出部７２により算出された尤度ｗ２ａ_ｔ（第２尤度）は、尤度取得部３Ａに出力される。

【0275】

尤度取得部３Ａでは、事前確率分布出力部５から出力された事前確率分布データに基づいて、第１尤度と第２尤度のどちらの尤度を選択するか決定する。

【0276】

つまり、尤度取得部３Ａは、時刻ｔ３の事前確率分布ｐ（ｘ_ｔ−１｜ｙ_ｔ−１）に従って生成されたサンプル集合（パーティクルの集合）Ｓ_{ｔ−１｜ｔ−１}の平均値（Ｘ_{ｔ−１｜ｔ−１}＿ａｖｅ，Ｙ_{ｔ−１｜ｔ−１}＿ａｖｅ，Ｗ_{ｔ−１｜ｔ−１}＿ａｖｅ，Ｈ_{ｔ−１｜ｔ−１}＿ａｖｅ）に基づいて、第１尤度と第２尤度のどちらの尤度を選択するか決定する。

【0277】

具体的には、尤度取得部３Ａは、パーティクルの集合Ｓ_{ｔ−１｜ｔ−１}の平均値（Ｘ_{ｔ−１｜ｔ−１}＿ａｖｅ，Ｙ_{ｔ−１｜ｔ−１}＿ａｖｅ，Ｗ_{ｔ−１｜ｔ−１}＿ａｖｅ，Ｈ_{ｔ−１｜ｔ−１}＿ａｖｅ）が示す画像領域の大きさは、
Ｗ_{ｔ−１｜ｔ−１}＿ａｖｅ＝Ｗ_ｔ｜ｔ＿ａｖｅ＝２．３×Ｗ０
Ｈ_{ｔ−１｜ｔ−１}＿ａｖｅ＝Ｈ_ｔ｜ｔ＿ａｖｅ＝１．６×Ｈ０
であり、
２．３×Ｗ０×１．６×Ｈ０＝３．６８×Ｗ０×Ｈ０＞２×Ｗ０×Ｈ０
である。つまり、パーティクルの集合Ｓ_{ｔ−１｜ｔ−１}の平均値（Ｘ_{ｔ−１｜ｔ−１}＿ａｖｅ，Ｙ_{ｔ−１｜ｔ−１}＿ａｖｅ，Ｗ_{ｔ−１｜ｔ−１}＿ａｖｅ，Ｈ_{ｔ−１｜ｔ−１}＿ａｖｅ）が示す画像領域の大きさは、閾値Ｔｈ（＝２×ＷＯ×Ｈ０）よりも大きいので、尤度取得部３Ａは、第２尤度を選択する。

【0278】

そして、選択された第２尤度は、事後確率分布推定部４に出力される。

【0279】

事後確率分布推定部４では、第２尤度ｗ２ａ_ｔ^（ｉ）に比例する割合でＭ個のパーティクル（粒子）を復元抽出する（パーティクルｘａ_ｔ^（ｉ）を抽出する）。このようにして復元抽出されたＭ個のパーティクルの分布から、時刻ｔ３の事後確率分布ｐ（ｘ_ｔ｜ｙ_ｔ）に従って生成されたサンプル集合（パーティクルの集合）Ｓ_ｔ｜ｔ、すなわち、
Ｓ_ｔ｜ｔ＝｛ｓ_ｔ｜ｔ^（１），ｓ_ｔ｜ｔ^（２），・・・，ｓ_ｔ｜ｔ^（Ｍ）｝
を取得する。

【0280】

なお、（１）時刻ｔ３における事前確率分布に従うパーティクルの平均値が示す領域Ｒ＿ｂｅｆｏｒｅ＿ａｖｅと、（２）上記処理により取得された、予測後確率分布（予測処理後のパーティクルの集合ｓ_{ｔ｜ｔ−１}に関するデータ）に従うパーティクルの平均値（Ｘ_{ｔ｜ｔ−１}＿ａｖｅ，Ｙ_{ｔ｜ｔ−１}＿ａｖｅ，Ｗ_{ｔ｜ｔ−１}＿ａｖｅ，Ｈ_{ｔ｜ｔ−１}＿ａｖｅ）を示す領域Ｒ＿ｐｒｅｄ＿ａｖｅとは、図８と同様である。

【0281】

また、上記処理により取得された、時刻ｔ３の事後確率分布ｐ（ｘ_ｔ｜ｙ_ｔ）に従って生成されたサンプル集合（パーティクルの集合）Ｓ_ｔ｜ｔの平均値（Ｘ_ｔ｜ｔ＿ａｖｅ，Ｙ_ｔ｜ｔ＿ａｖｅ，Ｗ_ｔ｜ｔ＿ａｖｅ，Ｈ_ｔ｜ｔ＿ａｖｅ）を示す領域Ｒ＿ａｆｔｅｒ＿ａｖｅは、図８と同様である。

【0282】

以上の処理を継続させることで、状態推定システム２０００により、物体の追跡処理を行うことができる。

【0283】

このように、状態推定システム２０００では、観測取得部１により、複数の観測（観測データ）が取得され、尤度算出部７より、複数の観測のそれぞれに対して尤度が算出される。そして、状態推定システム２０００では、尤度算出部７により算出された複数の尤度の中から、追跡対象の状態（本実施形態では、物体の大きさ）に応じて、より適切な尤度が選択される。そして、状態推定システム２０００では、選択された尤度を用いて、リサンプリングが実行される。したがって、状態推定システム２０００では、追跡対象の状態が変化した場合であっても（本実施形態では、物体の大きさが変化した場合であっても）、適切な事後確率分布データを取得することができる。その結果、状態推定システム２０００では、観測対象の内部状態を適切に推定することができ、例えば、動画像上において、大きさが変化する物体や、大きさが異なる複数の物体を追跡する場合であっても、正確に物体を追跡することができる。

【0284】

≪変形例≫
次に、第２実施形態の変形例について、説明する。

【0285】

本変形例の状態推定システムは、第２実施形態の状態推定システム２０００と同様の構成を有している。

【0286】

第２実施形態の状態推定システム２０００では、尤度取得部３Ａが、第１尤度および第２尤度のいずれか一方を選択していたが、本変形例では、尤度取得部３Ａは、第１尤度および第２尤度を合成した合成尤度を取得し、取得した合成尤度を事後確率分布推定部４に出力する。本変形例において、この点のみが、第２実施形態と相違する。

【0287】

以下では、本変形例に特有の部分について、説明する。

【0288】

尤度取得部３Ａでは、事前確率分布出力部５から出力された事前確率分布データに基づいて、第１尤度と第２尤度とを合成する比率を決定する。

【0289】

具体的には、尤度取得部３Ａは、パーティクルの集合Ｓ_{ｔ−１｜ｔ−１}の平均値（Ｘ_{ｔ−１｜ｔ−１}＿ａｖｅ，Ｙ_{ｔ−１｜ｔ−１}＿ａｖｅ，Ｗ_{ｔ−１｜ｔ−１}＿ａｖｅ，Ｈ_{ｔ−１｜ｔ−１}＿ａｖｅ）が示す画像領域の大きさをＡ１とし、第１観測取得部１１が検出対象としている画像領域の大きさ（幅Ｗ０×高さＨ０）をＤ１とし、第２観測取得部１２が検出対象としている画像領域の大きさ（２×幅Ｗ０×２×高さＨ０）Ｄ２とし、Ｄ１＜Ａ１＜Ｄ２であるとすると、
α＝（Ａ１―Ｄ１）／（Ｄ２−Ｄ１）
０≦α≦１
により、内分比αを取得する。そして、尤度取得部３Ａは、
（合成尤度）＝（第１尤度）×（１−α）＋（第２尤度）×α
により、合成尤度を算出し、算出した合成尤度を事後確率分布推定部４に出力する。

【0290】

このように、本変形例の状態推定システムでは、第１尤度と第２尤度とを重み付けして合成した合成尤度を用いて、リサンプリングが実行されるので、追跡対象の状態が急激に変化する場合であっても、適切な事後確率分布データを取得することができる。つまり、追跡対象の状態が急激に変化する場合、複数の観測のいずれかを選択して処理を行うと、選択対象が切り替わるときに、取得される事後確率分布データも急激に変化し、不自然な追跡処理になることがあるが、本変形例の状態推定システムでは、第１尤度と第２尤度とを重み付けして合成した合成尤度により処理が実行されるので、このような急激な変化があった場合であっても、取得される事後確率分布データが急激に変化することを適切に抑制できる。その結果、本変形例の状態推定システムでは、自然な追跡処理を実現することができる。

【0291】

なお、上記では、内分により合成尤度を算出する場合について説明したが、これに限定されることはなく、外分等の他の重み付けにより、合成尤度を取得するようにしてもよい。

【0292】

また、非線形な関数（例えば、パーティクルの集合Ｓ_{ｔ−１｜ｔ−１}の平均値（Ｘ_{ｔ−１｜ｔ−１}＿ａｖｅ，Ｙ_{ｔ−１｜ｔ−１}＿ａｖｅ，Ｗ_{ｔ−１｜ｔ−１}＿ａｖｅ，Ｈ_{ｔ−１｜ｔ−１}＿ａｖｅ）が示す画像領域の幅および高さを変数とする非線形関数）により、合成尤度を取得するようにしてもよい。

【0293】

また、上記では、尤度算出部７で取得される尤度の数が２つである場合について、説明したが、これに限定されることはなく、尤度算出部７で取得される尤度の数は３以上であってもよい。

【0294】

［他の実施形態］
上記実施形態（変形例を含む）では、第１の観測データおよび第２観測データの選択処理、あるいは、第１尤度および第２尤度の選択処理において、画像領域の面積に基づいて、閾値Ｔｈを設定する場合について、説明したがこれに限定されることはない。例えば、追跡対象の物体の高さＨと幅Ｗのアスペクト比が固定値である場合、閾値を幅または高さに基づいて、閾値を設定し、パーティクルの集合Ｓ_{ｔ−１｜ｔ−１}の平均値（Ｘ_{ｔ−１｜ｔ−１}＿ａｖｅ，Ｙ_{ｔ−１｜ｔ−１}＿ａｖｅ，Ｗ_{ｔ−１｜ｔ−１}＿ａｖｅ，Ｈ_{ｔ−１｜ｔ−１}＿ａｖｅ）が示す画像領域の幅または高さを比較対象として、閾値処理することで、第１の観測データおよび第２観測データの選択処理、あるいは、第１尤度および第２尤度の選択処理を実行するようにしてもよい。

【0295】

例えば、追跡対象の物体の高さＨと幅Ｗのアスペクト比がＨ：Ｗ＝１：２で固定である場合であって、第１観測データが幅１６画素である物体を最も顕著に検出する物体検出画像であり、第２観測データが幅３２画素である物体を最も顕著に検出する物体検出画像である場合、例えば、中間値の「２４」を閾値とする。そして、
（１）Ｗ≦２４のとき、第１観測データを選択し、
（２）Ｗ＞２４のとき、第２観測データを選択する
ことで、第１の観測データおよび第２観測データの選択処理を実行し、
（１）Ｗ≦２４のとき、第１尤度を選択し、
（２）Ｗ＞２４のとき、第２尤度を選択する
ことで、第１尤度および第２尤度の選択処理を実行するようにしてもよい。

【0296】

また、上記実施形態（変形例を含む）では、パーティクルの示す状態は、パーティクルの中心座標(Ｘ，Ｙ)と、座標（Ｘ，Ｙ）を中心とする幅Ｗ、高さＨとにより決定される矩形領域を示す状態ベクトル（Ｘ，Ｙ，Ｗ，Ｈ）を用いて処理を行う場合について説明したが、これに限定されることはない。例えば、パーティクルの示す状態は、例えば、パーティクルの中心座標(Ｘ，Ｙ)と、座標（Ｘ，Ｙ）を中心とする長軸２Ａ、短軸２Ｂとにより決定される楕円領域を示す状態ベクトル（Ｘ，Ｙ，Ａ，Ｂ）を用いて処理を行うようにしてもよい。

【0297】

また、上記実施形態（変形例を含む）では、尤度は、各パーティクルの内部変数が示す画像領域内における、第１の観測データ、すなわち、物体検出画像の画素値の積算値としたが、これに限定されることはなく、例えば、各パーティクルの内部変数に基づいて、設定される画像領域（例えば、Ｗ×Ｈの画像領域より所定の割合だけ大きい画像領域等）内における、第１の観測データ、すなわち、物体検出画像の画素値の積算値、重み付け積算値（パーティクルの中心座標からの距離により重み付けした値の積算値）、平均値、重み付け平均値（パーティクルの中心座標からの距離により重み付けした値の平均値）等であってもよい。

【0298】

また、上記実施形態（変形例を含む）では、観測は、黄色物体に反応するような観測であったが、観測はこれによらず、例えば、ニューラルネットを用いた物体検出器で、異なる大きさの物体を検出するような複数の観測であってもよい。この場合、観測取得部１では、カメラから入力された画像がニューラルネットワークを用いた検出器に入力され、検出結果として検出信号がグレースケールの画像として出力され、この画像が、観測選択部２あるいは尤度算出部７の入力となる。そして、尤度を算出処理において、パーティクルの状態ベクトル(Ｘ，Ｙ，Ｗ，Ｈ)が示す領域を抽出し、抽出した領域内の上記グレー画像のすべての画素について画素値を加算することにより尤度を算出すればよい。

【0299】

また、上記実施形態（変形例を含む）では、大きさが変化する１つの物体を追跡する場合について説明したが、これに限定されることはなく、状態推定システムにおいて、大きさが変化する複数の物体を追跡する処理を実行するようにしてもよい。この場合、複数の追跡対象物体が占有する画像領域ごとに、第１の観測データおよび第２観測データの選択処理、あるいは、第１尤度および第２尤度の選択処理を実行し、上記と同様の処理を適用すればよい。

【0300】

また、上記実施形態（変形例を含む）では、黄色の物体を追跡対象としたが、これに限定さされることはなく、追跡対象は、他の特徴を有するものであってもよい。

【0301】

黄色の物体を追跡対象とする場合、第１映像入力部１１１、第２映像入力部１２１で取得される画像（映像）の各画素のＲＧＢ値をＲ，Ｇ，Ｂ(各８ビット)とすると、たとえば、
Ｙｅ＝(２５５−Ｂ)×Ｒ×Ｇ／(１＋Ｒ＋Ｇ＋Ｂ)
により黄色度合いを検出し、検出した結果を物体検出画像とすればよい。

【0302】

また、他の色の物体を追跡対象とする場合、上記と同様に、当該他の色成分を抽出する処理を実行し、検出した結果を物体検出画像とすればよい。

【0303】

また、上記実施形態（変形例を含む）では、図３に示すように、第１観測取得部１１と第２観測取得部１２とが、それぞれ、映像入力部（第１映像入力部１１１と第２映像入力部１２１）を有する構成としたが、これに限定されることはなく、例えば、観測取得部１は、１つの映像入力部を有し、その映像入力部の出力が、第１物体検出部１１２および第２物体検出部１２２の入力となるように構成されるものであってもよい。

【0304】

また、第１実施形態の状態推定システムにおいて、観測取得部１を、図１０に示す観測取得部１Ａに置換し、観測選択部２を図１０に示す観測選択部２Ａに置換した構成としてもよい。

【0305】

この場合、図１０に示すように、観測取得部１Ａは、１つの映像入力部とＮ個の物体検出部
とを備える。つまり、観測取得部１Ａは、映像入力部１１１Ａと、第１物体検出部１１２Ａ、第２物体検出部１１２Ｂ、・・・、第Ｎ物体検出部１１２Ｎとを備える。

【0306】

そして、第１物体検出部１１２Ａ、第２物体検出部１１２Ｂ、・・・、第Ｎ物体検出部１１２Ｎは、それぞれ、映像入力部１１１Ａが取得した動画像（動画像信号）を入力し、入力された動画像（動画像信号）から第１〜第Ｎの物体検出画像を取得し、取得した第１〜第Ｎの物体検出画像（第１〜第Ｎの観測データ）を観測選択部２Ａに出力する。

【0307】

観測選択部２は、第１〜第Ｎの物体検出画像（第１〜第Ｎの観測データ）の中から、事前確率分布出力部５から出力される事前確率分布（事前確率分布データ）に基づいて、複数の観測（観測データ）の中から１つの観測（観測データ）を選択する。

【0308】

以降の処理は、第１実施形態と同様である。このように、複数の観測データ（例えば、複数の物体検出結果画像）を用いて、第１実施形態と同様の処理を行うようにしてもよい。

【0309】

また、第２実施形態の状態推定システムにおいて、観測取得部１を、図１１に示す観測取得部１Ａに置換し、尤度算出部７を、図１１に示す尤度算出部７Ａに置換し、尤度取得部３Ａを、図１１に示す尤度取得部３Ｂに置換した構成としてもよい。

【0310】

この場合、図１１に示すように、観測取得部１Ａは、１つの映像入力部とＮ個の物体検出部とを備える。つまり、観測取得部１Ａは、映像入力部１１１Ａと、第１物体検出部１１２Ａ、第２物体検出部１１２Ｂ、・・・、第Ｎ物体検出部１１２Ｎとを備える。

【0311】

そして、第１物体検出部１１２Ａ、第２物体検出部１１２Ｂ、・・・、第Ｎ物体検出部１１２Ｎは、それぞれ、映像入力部１１１Ａが取得した動画像（動画像信号）を入力し、入力された動画像（動画像信号）から第１〜第Ｎの物体検出画像を取得し、取得した第１〜第Ｎの物体検出画像（第１〜第Ｎの観測データ）を尤度算出部７Ａに出力する。

【0312】

図１１に示すように、尤度算出部７Ａは、第１尤度算出部７１Ａ、第２尤度算出部７１Ｂ、・・・、第Ｎ尤度算出部７１Ｎを備える。

【0313】

尤度算出部７Ａの第１尤度算出部７１Ａ、第２尤度算出部７１Ｂ、・・・、第Ｎ尤度算出部７１Ｎは、それぞれ、第１〜第Ｎの物体検出画像（第１〜第Ｎの観測データ）を入力し、第１〜第Ｎの物体検出画像（第１〜第Ｎの観測データ）に対して、上記実施形態で説明したのと同様の処理（上記実施形態で説明した第１尤度算出部７１等と同様の処理）を行い、第１〜第Ｎ尤度（第１〜第Ｎ尤度データ）を取得する。そして、第１尤度算出部７１Ａ、第２尤度算出部７１Ｂ、・・・、第Ｎ尤度算出部７１Ｎは、それぞれ、取得した第１〜第Ｎ尤度（第１〜第Ｎ尤度データ）を尤度取得部３Ｂに出力する。

【0314】

尤度取得部３Ｂは、事前確率分布出力部５から出力される事前確率分布（事前確率分布データ）に基づいて、複数の尤度（第１〜第Ｎ尤度）の中から１つの尤度（尤度データ）を選択する。

【0315】

以降の処理は、第２実施形態と同様である。このように、複数の観測データ（例えば、複数の物体検出画像）、複数の尤度（尤度データ）を用いて、第２実施形態と同様の処理を行うようにしてもよい。

【0316】

また、上記実施形態（変形例）および図１０、図１１に示した構成において、観測取得部（１、Ａ）を、図１２に示す観測取得部１Ｂに置換した構成にしてもよい。

【0317】

観測取得部１Ｂは、図１２に示すように、２つの映像入力部（第１映像入力部１１１Ａ、第２映像入力部１１１Ｂ）と、Ｎ個の物体検出部を備える。

【0318】

そして、図１２に示すように、第１映像入力部１１１Ａの出力は、第１〜第Ｋ物体検出部に入力され、第２映像入力部１１１Ｂの出力は、第Ｋ＋１〜第Ｎ物体検出部に入力される。

【0319】

このように、複数の映像入力部と、複数の物体検出部とを用いて、複数の観測データ（例えば、複数の物体検出画像）により、上記実施形態と同様の処理を適用するようにしてもよい。

【0320】

なお、映像入力部の数と、物体検出部の数とは、例えば、図１２に示すように、同じ数でなくてもよい。

【0321】

上記のように、複数の観測（複数の観測データ）、および／または、複数の尤度（複数の尤度データ）を用いて、上記実施形態（変形例も含む）と同様の処理を適用させることで、状態推定システムでは、より精度の高い状態推定（例えば、物体追跡処理）を実行することができる。例えば、状態推定システムにおいて、物体追跡処理を行う場合、第１〜第Ｎ物体検出部が、それぞれ、異なる大きさの物体の検出結果（物体検出画像）を取得し、その検出結果（物体検出画像）を用いて、処理を実行することで、より精度の高い物体追跡処理を実現することができる。

【0322】

また、状態推定システムにおいて、物体追跡処理を行う場合、第１〜第Ｎ物体検出部が、それぞれ、異なる大きさの物体の検出結果（物体検出画像）を取得し、その検出結果（物体検出画像）を用いて複数の尤度を取得し、取得した複数の尤度を用いて処理を実行することで、より精度の高い物体追跡処理を実現することができる。

【0323】

さらに、取得した複数の尤度を用いて、第２実施形態で説明したのと同様に、内分処理により、合成尤度を算出し、算出した合成尤度を用いて、第２実施形態と同様の処理を行うことで、より精度の高い物体追跡処理を実現することができる。

【0324】

また、上記実施形態で説明した状態推定システムにおいて、各ブロックは、ＬＳＩなどの半導体装置により個別に１チップ化されても良いし、一部又は全部を含むように１チップ化されても良い。

【0325】

なお、ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。

【0326】

また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用しても良い。

【0327】

さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてあり得る。

【0328】

また、上記各実施形態の各機能ブロックの処理の一部または全部は、プログラムにより実現されるものであってもよい。そして、上記各実施形態の各機能ブロックの処理の一部または全部は、コンピュータにおいて、中央演算装置（ＣＰＵ）により行われる。また、それぞれの処理を行うためのプログラムは、ハードディスク、ＲＯＭなどの記憶装置に格納されており、ＲＯＭにおいて、あるいはＲＡＭに読み出されて実行される。

【0329】

また、上記実施形態の各処理をハードウェアにより実現してもよいし、ソフトウェア（ＯＳ（オペレーティングシステム）、ミドルウェア、あるいは、所定のライブラリとともに実現される場合を含む。）により実現してもよい。さらに、ソフトウェアおよびハードウェアの混在処理により実現しても良い。

【0330】

また、上記実施形態における処理方法の実行順序は、必ずしも、上記実施形態の記載に制限されるものではなく、発明の要旨を逸脱しない範囲で、実行順序を入れ替えることができるものである。

【0331】

前述した方法をコンピュータに実行させるコンピュータプログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体は、本発明の範囲に含まれる。ここで、コンピュータ読み取り可能な記録媒体としては、例えば、フレキシブルディスク、ハードディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、大容量ＤＶＤ、次世代ＤＶＤ、半導体メモリを挙げることができる。

【0332】

上記コンピュータプログラムは、上記記録媒体に記録されたものに限られず、電気通信回線、無線又は有線通信回線、インターネットを代表とするネットワーク等を経由して伝送されるものであってもよい。

【0333】

なお、本発明の具体的な構成は、前述の実施形態に限られるものではなく、発明の要旨を逸脱しない範囲で種々の変更および修正が可能である。

【符号の説明】

【0334】

１０００、２０００ 状態推定システム
１ 観測取得部
１１ 第１観測取得部
１２ 第２観測取得部
２ 観測選択部
３、３Ａ 尤度取得部
４ 事後確率分布推定部
５ 事前確率分布出力部
６ 初期状態設定部
７ 尤度算出部
７１ 第１尤度算出部
７２ 第２尤度算出部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】