(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022188670
(43)【公開日】2022-12-21
(54)【発明の名称】物体追跡装置及びプログラム
(51)【国際特許分類】
G06T 7/20 20170101AFI20221214BHJP
【ＦＩ】
G06T7/20 300Z
【審査請求】未請求
【請求項の数】15
【出願形態】ＯＬ
(21)【出願番号】P 2021096895
(22)【出願日】2021-06-09
(71)【出願人】
【識別番号】000208891
【氏名又は名称】ＫＤＤＩ株式会社
(74)【代理人】
【識別番号】100092772
【弁理士】
【氏名又は名称】阪本 清孝
(74)【代理人】
【識別番号】100119688
【弁理士】
【氏名又は名称】田邉 壽二
(72)【発明者】
【氏名】西村 仁志
(72)【発明者】
【氏名】小森田 賢史
【テーマコード（参考）】
5L096
【Ｆターム（参考）】
5L096CA04
5L096FA09
5L096FA52
5L096FA59
5L096FA66
5L096FA69
5L096GA51
5L096HA04
5L096HA05
5L096JA03
(57)【要約】 （修正有）
【課題】映像から効率的に物体追跡を行う物体追跡装置及びプログラムを提供する。
【解決手段】物体追跡装置１０は、映像における時刻の異なるフレーム間において継続して、フレーム内に撮像されている物体の領域である物体領域を追跡する追跡部３と、映像における一部のフレームを対象として、追跡部により追跡される物体領域を補正して、補正された物体領域について追跡部３による追跡を継続させる補正部５とを備える。補正部５は、一部のフレームより物体の検出を行い、当該検出された物体領域の各々と、追跡部３により追跡される物体領域の各々との間の対応付けを行うことによって補正を行う。
【選択図】図１
【解決手段】物体追跡装置１０は、映像における時刻の異なるフレーム間において継続して、フレーム内に撮像されている物体の領域である物体領域を追跡する追跡部３と、映像における一部のフレームを対象として、追跡部により追跡される物体領域を補正して、補正された物体領域について追跡部３による追跡を継続させる補正部５とを備える。補正部５は、一部のフレームより物体の検出を行い、当該検出された物体領域の各々と、追跡部３により追跡される物体領域の各々との間の対応付けを行うことによって補正を行う。
【選択図】図１
【特許請求の範囲】
【請求項1】
映像における時刻の異なるフレーム間において継続して、フレーム内に撮像されている物体の領域である物体領域を追跡する追跡部と、
前記映像における一部のフレームを対象として、前記追跡部により追跡される物体領域を補正して、当該補正された物体領域について前記追跡部による追跡を継続させる補正部と、を備える物体追跡装置であって、
前記補正部は、前記一部のフレームより物体の検出を行い、当該検出された物体領域の各々と、前記追跡部により追跡される物体領域の各々との間の対応付けを行うことによって前記補正することを特徴とする物体追跡装置。
前記映像における一部のフレームを対象として、前記追跡部により追跡される物体領域を補正して、当該補正された物体領域について前記追跡部による追跡を継続させる補正部と、を備える物体追跡装置であって、
前記補正部は、前記一部のフレームより物体の検出を行い、当該検出された物体領域の各々と、前記追跡部により追跡される物体領域の各々との間の対応付けを行うことによって前記補正することを特徴とする物体追跡装置。
【請求項2】
前記追跡部は、物体の特徴点を追跡することで、前記物体領域を追跡することを特徴とする請求項１に記載の物体追跡装置。
【請求項3】
前記追跡部は、物体領域ごとに複数の特徴点を追跡し、当該複数の特徴点の代表位置に連動する位置を有するものとして前記物体領域の位置を追跡し、且つ、当該複数の特徴点の位置のばらつきの大きさに連動する大きさを有するものとして、前記物体領域の大きさを追跡することにより、前記物体領域を追跡することを特徴とする請求項２に記載の物体追跡装置。
【請求項4】
前記物体の各々は個々の人物であり、
前記追跡部によって追跡される前記物体の特徴点は、頭の関節点や肩の関節点などの、人物における胸部以上の高度を有する関節点を含み、胸部よりも下部に位置する点を含まず、
前記追跡部によって追跡される前記物体領域は、人物の全身に渡る領域であることを特徴とする請求項２または３に記載の物体追跡装置。
前記追跡部によって追跡される前記物体の特徴点は、頭の関節点や肩の関節点などの、人物における胸部以上の高度を有する関節点を含み、胸部よりも下部に位置する点を含まず、
前記追跡部によって追跡される前記物体領域は、人物の全身に渡る領域であることを特徴とする請求項２または３に記載の物体追跡装置。
【請求項5】
前記物体の各々は個々の人物であり、
前記追跡部によって追跡される前記物体の特徴点は、頭、肩、胴体部分または臀部などの、人物における関節点の位置関係の変化が少ないことが想定される所定種類の関節点のみを含み、
前記追跡部によって追跡される前記物体領域は、人物の全身に渡る領域であることを特徴とする請求項２または３に記載の物体追跡装置。
前記追跡部によって追跡される前記物体の特徴点は、頭、肩、胴体部分または臀部などの、人物における関節点の位置関係の変化が少ないことが想定される所定種類の関節点のみを含み、
前記追跡部によって追跡される前記物体領域は、人物の全身に渡る領域であることを特徴とする請求項２または３に記載の物体追跡装置。
【請求項6】
前記追跡部によって追跡される前記物体の特徴点は、前記関節点の周囲からサンプリングされた点を含むことを特徴とする請求項４または５に記載の物体追跡装置。
【請求項7】
前記追跡部は、フレーム間での動きベクトルを推定することにより前記物体の特徴点を追跡することを特徴とする請求項２ないし６のいずれかに記載の物体追跡装置。
【請求項8】
前記追跡部は、前記動きベクトルが推定できなかった特徴点については追跡対象から除外し、物体領域のうち、追跡されている特徴点の数が閾値よりも少なくなったものについては、追跡対象から除外することを特徴とする請求項７に記載の物体追跡装置。
【請求項9】
前記追跡部は、前記追跡している物体領域のうち、直前の時刻における物体領域と現在時刻における物体領域との間の類似度が低いと判定されたものを、追跡対象から除外することを特徴とする請求項１ないし８のいずれかに記載の物体追跡装置。
【請求項10】
前記追跡部は、物体の特徴点を追跡することで、前記物体領域を追跡し、
前記補正部は、前記一部のフレームより物体の検出を行い、当該検出された物体領域の各々について、他の物体領域との重複割合が一定以上であるか否かの判定を行い、
当該一定割合以上であると判定された物体領域については、当該物体領域における特徴点と、前記追跡部により追跡される物体領域における特徴点と、の間の距離が小さいと判定されるものを対応付けることにより、当該検出された物体領域の各々と、前記追跡部により追跡される物体領域の各々との間の対応付けを行い、
当該一定割合以上ではないと判定された物体領域については、領域同士の配置関係に基づいて、当該検出された物体領域の各々と、前記追跡部により追跡される物体領域の各々との間の対応付けを行うことを特徴とする請求項１ないし９のいずれかに記載の物体追跡装置。
前記補正部は、前記一部のフレームより物体の検出を行い、当該検出された物体領域の各々について、他の物体領域との重複割合が一定以上であるか否かの判定を行い、
当該一定割合以上であると判定された物体領域については、当該物体領域における特徴点と、前記追跡部により追跡される物体領域における特徴点と、の間の距離が小さいと判定されるものを対応付けることにより、当該検出された物体領域の各々と、前記追跡部により追跡される物体領域の各々との間の対応付けを行い、
当該一定割合以上ではないと判定された物体領域については、領域同士の配置関係に基づいて、当該検出された物体領域の各々と、前記追跡部により追跡される物体領域の各々との間の対応付けを行うことを特徴とする請求項１ないし９のいずれかに記載の物体追跡装置。
【請求項11】
前記補正部は、前記検出された物体領域の各々と、前記追跡部により追跡される物体領域の各々との間で対応付けを行い、
前記追跡部により追跡される物体領域のうち当該対応付けができないものが存在する場合、当該物体領域の物体は消えたものとして前記追跡部による追跡を継続させる対象から除外し、
前記検出された物体領域のうち当該対応付けができないものが存在する場合、当該物体領域の物体が新たに現れたものとして前記追跡部による追跡を継続させる対象に加えることを特徴とする請求項１ないし１０のいずれかに記載の物体追跡装置。
前記追跡部により追跡される物体領域のうち当該対応付けができないものが存在する場合、当該物体領域の物体は消えたものとして前記追跡部による追跡を継続させる対象から除外し、
前記検出された物体領域のうち当該対応付けができないものが存在する場合、当該物体領域の物体が新たに現れたものとして前記追跡部による追跡を継続させる対象に加えることを特徴とする請求項１ないし１０のいずれかに記載の物体追跡装置。
【請求項12】
前記追跡部は、物体の特徴点を追跡することで、前記物体領域を追跡し、
前記追跡部は、物体領域ごとに複数の特徴点を追跡し、当該複数の特徴点の位置のばらつきの大きさに連動する大きさを有するものとして、前記物体領域の大きさを追跡し、
当該追跡される物体領域の少なくとも１つの大きさの変化が閾値判定で急激であると判定した場合に、当該急激に変化した前記映像におけるフレームを前記一部のフレームに該当することで前記補正部による補正の適用対象であるものとして判断する物体検出要否判定部をさらに備えることを特徴とする請求項１ないし１１のいずれかに記載の物体追跡装置。
前記追跡部は、物体領域ごとに複数の特徴点を追跡し、当該複数の特徴点の位置のばらつきの大きさに連動する大きさを有するものとして、前記物体領域の大きさを追跡し、
当該追跡される物体領域の少なくとも１つの大きさの変化が閾値判定で急激であると判定した場合に、当該急激に変化した前記映像におけるフレームを前記一部のフレームに該当することで前記補正部による補正の適用対象であるものとして判断する物体検出要否判定部をさらに備えることを特徴とする請求項１ないし１１のいずれかに記載の物体追跡装置。
【請求項13】
前記追跡部において追跡している物体領域の個数が、直前の時刻から現在時刻への間で閾値判定により大きく減少したと判定された場合に、
当該現在時刻におけるフレームを前記一部のフレームに該当することで前記補正部による補正の適用対象であるものとして判断する物体検出部要否判定部をさらに備えることを特徴とする請求項１ないし１２のいずれかに記載の物体追跡装置。
当該現在時刻におけるフレームを前記一部のフレームに該当することで前記補正部による補正の適用対象であるものとして判断する物体検出部要否判定部をさらに備えることを特徴とする請求項１ないし１２のいずれかに記載の物体追跡装置。
【請求項14】
前記映像の初期時刻のフレームより物体の検出を行う初期化部をさらに備え、
前記追跡部は、前記初期時刻のフレームより当該検出された物体領域の各々について、当該初期時刻よりも後のフレームを対象として物体追跡を行うことを特徴とする請求項１ないし１３のいずれかに記載の物体追跡装置。
前記追跡部は、前記初期時刻のフレームより当該検出された物体領域の各々について、当該初期時刻よりも後のフレームを対象として物体追跡を行うことを特徴とする請求項１ないし１３のいずれかに記載の物体追跡装置。
【請求項15】
コンピュータを請求項１ないし１４のいずれかに記載の物体追跡装置として機能させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、映像より物体追跡を行う物体追跡装置及びプログラムに関する。
【背景技術】
【0002】
映像上からの物体追跡の従来技術として特許文献１，２がある。特許文献１では、頑健な追跡を実現するため、物体の詳細な動きを捉えることができる動きベクトル（オプティカルフロー）と、物体の正確な位置を推定することができる物体検出を併用して追跡を行っている。物体検出には時間がかかるため、追跡の信頼度が低下した際にのみ行うことで、高速化を実現している。特許文献２では、物体のすれ違いや動きの急変に対応するため、パーティクルフィルタによって長時間間隔で推定した候補位置と、動きベクトル（オプティカルフロー）によって短時間間隔で推定した候補位置を組み合わせて追跡を行っている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特表2018-523877号公報
【特許文献2】特開2017-076181号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
従来技術には次のような課題があった。特許文献１では、動きベクトルの元となる特徴点を、追跡矩形全体において均一間隔で取得する。そのため、遮蔽が生じた場合に他物体に特徴点が移りやすく、追跡精度に課題がある。また、必要となる特徴点の数が多く、計算時間にも課題が残る。特許文献２では、学習された物体検出器のような統計的機械学習の要素が入っていないため、物体検出精度に課題がある。従って、この検出を前提とした追跡においても同様に、追跡精度に課題がある。
【0005】
上記従来技術の課題に鑑み、本発明は、映像より効率的に物体追跡を行うことのできる物体追跡装置及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【0006】
上記目的を達成するため、本発明は、映像における時刻の異なるフレーム間において継続して、フレーム内に撮像されている物体の領域である物体領域を追跡する追跡部と、前記映像における一部のフレームを対象として、前記追跡部により追跡される物体領域を補正して、当該補正された物体領域について前記追跡部による追跡を継続させる補正部と、を備える物体追跡装置であって、前記補正部は、前記一部のフレームより物体の検出を行い、当該検出された物体領域の各々と、前記追跡部により追跡される物体領域の各々との間の対応付けを行うことによって前記補正することを第１の特徴とする。
【0007】
また、前記追跡部は、物体の特徴点を追跡することで、前記物体領域を追跡し、前記物体の各々は個々の人物であり、前記追跡部によって追跡される前記物体の特徴点は、頭の関節点や肩の関節点などの、人物における胸部以上の高度を有する関節点を含み、胸部よりも下部に位置する点を含まず、前記追跡部によって追跡される前記物体領域は、人物の全身に渡る領域であることを第２の特徴とする。また、前記追跡部は、物体の特徴点を追跡することで、前記物体領域を追跡し、前記追跡部によって追跡される前記物体の特徴点は、頭、肩、胴体部分または臀部などの、人物における関節点の位置関係の変化が少ないことが想定される所定種類の関節点のみを含み、前記追跡部によって追跡される前記物体領域は、人物の全身に渡る領域であることを第３の特徴とする。また、これら第１ないし第３の特徴に係る物体追跡装置としてコンピュータを機能させるプログラムであることを特徴とする。
【発明の効果】
【0008】
前記第１の特徴によれば、追跡部で物体追跡を継続するとともに、映像上の一部のフレームに関して間欠的に補正部により物体検出を適用することで物体追跡の結果を補正することにより、効率的に映像から物体追跡を行うことが可能となる。前記第２又は第３の特徴によれば、人物の全身を追跡する際に、状況によって遮蔽発生が少なく動きも安定していることが想定される点のみを追跡することで追跡を安定させることで、効率的に映像から追跡を行うことが可能となる。
【図面の簡単な説明】
【0009】
【図1】一実施形態に係る物体追跡装置の機能ブロック図である。
【図2】一実施形態に係る物体追跡装置の動作のフローチャートである。
【図3】物体追跡装置の処理の模式例を示す図である。
【図4】物体追跡装置の処理の模式例を示す図である。
【図5】物体追跡装置の処理の模式例を示す図である。
【図6】物体追跡装置の処理の模式例を示す図である。
【図7】一般的なコンピュータにおけるハードウェア構成を示す図である。
【発明を実施するための形態】
【0010】
図１は、一実施形態に係る物体追跡装置10の機能ブロック図である。図示するように、物体追跡装置10は、撮像部1、初期化部2、追跡部3、物体検出要否判定部4、補正部5及び出力部6を備える。さらに、初期化部2は第１検出抽出部21、追跡開始判定部23及び第１特徴点検出部24を備え、追跡部3は動きベクトル推定部31、範囲推定部32及び追跡終了判定部33を備え、補正部5は第２検出抽出部51、範囲補正部52、追跡開始終了判定部53及び第２特徴点検出部54を備える。
【0011】
図２は、一実施形態に係る物体追跡装置10の動作のフローチャートである。このフローの全体概要は、映像の各時刻のフレームより物体を検出したうえで追跡する処理としてのステップS1～S6を各時刻において繰り返し実行するものである。以下、図２の各ステップを説明しながら図１の各機能ブロックの処理の詳細に関して説明する。図３～図６は物体追跡装置の処理の模式例を例EX1～EX10と分けてそれぞれ示す図であり、以下の説明において適宜、参照する。
【0012】
まず、以下で用いる変数表記等の説明も兼ねて、物体追跡装置10によって実行される物体追跡の問題設定について説明する。図３の例EX1に物体追跡の様子を示す。
【0013】
例EX1内にも隣接する２つの時刻t,t+1の２フレームにそれぞれ２つの物体（例えば人物）が存在する場合として例示されるように、Bt=(bt
1, bt
2, …)を、時刻t(t=1,2,…)におけるフレームot中の各々の物体範囲とする。（フレームの時刻tはこのように正の整数で、フレーム番号として表現するものとする。）ここで、bt
iはフレームot中のi番目（i=1,2,…）の物体範囲を示す。物体範囲は例えばフレームの画像座標系においてb=(x,y,w,h)のような矩形（囲み枠、バウンディングボックス）の範囲で表すことができ、xとyはそれぞれ矩形の左上のx座標とy座標として当該範囲の位置（左上などの代表点における位置）を表し、wとhはそれぞれ矩形の幅と高さにより当該範囲の大きさを表す。また、フレームot中のi番目の物体範囲bt
iに対して、物体ID（識別子）であるzt
iを付与したものをat
i=(bt
i,zt
i)とし、これらをフレームot中で全て集めたものをAt=(at
1,at
2,…)とする。物体IDは、映像上の異なる時刻におけるフレーム間で物体を対応付けすることによって求まる。物体の対応付けには物体の見え方や位置といった特徴量が用いられる。つまり、物体追跡とは、時系列画像（フレーム）O={ot|t≧1}が与えられたとき、Ω={At|t≧1}を求める問題（フレーム映像より各物体のIDを識別しながら物体範囲を追跡する問題）として定式化できる。よって、高精度な物体追跡を実現するためには物体範囲と物体IDの両方を精度良く求める必要がある。
【0014】
＜ステップS1…撮像部1＞
図２のフローが開始されるとステップS1へ進む。あるいは、図２に示されるようにステップS6,S61が実行されるとステップS1に戻る。ステップS1では、撮像部1が物体を撮像し、現時刻tにおけるフレーム（画像）otを得てからステップS10へと進む。撮像部1はハードウェアとしてはカメラで構成され、撮像を行うことでフレームを得ることができる。
図２のフローが開始されるとステップS1へ進む。あるいは、図２に示されるようにステップS6,S61が実行されるとステップS1に戻る。ステップS1では、撮像部1が物体を撮像し、現時刻tにおけるフレーム（画像）otを得てからステップS10へと進む。撮像部1はハードウェアとしてはカメラで構成され、撮像を行うことでフレームを得ることができる。
【0015】
撮像部1が得たフレームotは、初期化部2の適用対象となる場合（ステップS21,S23,S24を辿る場合）には初期化部2の第１検出抽出部21に出力され、追跡部3の適用対象となる場合（ステップS31,S32,S33を辿る場合）には追跡部3の動きベクトル推定部31に出力され、追跡部3に加えてさらに補正部5の適用対象となる場合（ステップS31,S32,S33を辿ってからさらにステップS4よりステップS51,S52,S53,S54を辿る場合）には、図１中に線L51として示されるように補正部5の第２検出抽出部51にも出力される。（なお、補正部5の適用対象となる場合は図１中の線L51で示される出力に加えて線L52,L5で示される出力が行われる。）また、図１中では出力の流れを省略しているが、後述のステップS6で出力部6が現時刻tについての結果を出力するのに利用するために、撮像部1が得た現時刻tのフレームotをさらに出力部6へ出力してもよい。
【0016】
＜ステップS10…初期時刻か否かによる分岐＞
ステップS10では、現時刻tが初期時刻t=1であるか否かを物体追跡装置10が判定し、肯定の場合（初期時刻t=1である場合）にはステップS21へと進むことで、初期時刻t=1のフレームot=o1をステップS21,S23,S24において初期化部2による初期化処理の対象とし、否定の場合（t≧2であり初期時刻ではない場合）にはステップS31へと進むことで、現時刻tのフレームotをステップS31,S32,S33において追跡部3による追跡処理の対象とする。
ステップS10では、現時刻tが初期時刻t=1であるか否かを物体追跡装置10が判定し、肯定の場合（初期時刻t=1である場合）にはステップS21へと進むことで、初期時刻t=1のフレームot=o1をステップS21,S23,S24において初期化部2による初期化処理の対象とし、否定の場合（t≧2であり初期時刻ではない場合）にはステップS31へと進むことで、現時刻tのフレームotをステップS31,S32,S33において追跡部3による追跡処理の対象とする。
【0017】
なお、初期時刻tとは、これより過去の時刻t-1,t-2,…において撮像部1によって撮像されたフレーム映像が存在しない時刻、あるいは、当該過去時刻のフレーム映像は存在するが物体追跡装置10による物体追跡が行われておらず、過去の物体追跡結果が参照できない時刻を意味する。（すなわち、物体追跡装置10によりフレーム映像の撮像と各フレームからの物体追跡が開示される時刻を初期時刻とする。）説明上、この初期時刻をt=1とする。
【0018】
＜ステップS21…第１検出抽出部21＞
ステップS21では、第１検出抽出部21が、当該初期時刻t=1のフレームot=o1の画像中より各物体の範囲Dt=(dt 1,dt 2,…)(t=1)を検出する。（なお、この範囲Dtは、図３の例EX1で示した範囲Btと同様に定義される矩形の位置及び大きさとして検出することができるが、最終的に追跡対象となる範囲Btは後段側の追跡開始判定部23及び第１特徴点検出部24の処理を経て定まるため、中間結果としての範囲であることを明示すべく、変数表記を区別して範囲Dtとしている。）また、それらの物体の各々について、これより後の時刻t≧2において追跡に用いることのできる対象としての追跡特徴の抽出を行う。これら物体位置検出及びその特徴抽出は既存手法を用いることができ、例えば以下の非特許文献１に開示されるマルチタスクの深層ニューラルネットワークで同時に行うことができる。
[非特許文献１] Y. Zhang, C. Wang, X. Wang, W. Zeng, and W. Liu, "FairMOT: On the fairness of detection and re-identication in multiple object tracking," Computing
Research Repository arXiv Preprint arXiv:2004.01888, 2020.
ステップS21では、第１検出抽出部21が、当該初期時刻t=1のフレームot=o1の画像中より各物体の範囲Dt=(dt 1,dt 2,…)(t=1)を検出する。（なお、この範囲Dtは、図３の例EX1で示した範囲Btと同様に定義される矩形の位置及び大きさとして検出することができるが、最終的に追跡対象となる範囲Btは後段側の追跡開始判定部23及び第１特徴点検出部24の処理を経て定まるため、中間結果としての範囲であることを明示すべく、変数表記を区別して範囲Dtとしている。）また、それらの物体の各々について、これより後の時刻t≧2において追跡に用いることのできる対象としての追跡特徴の抽出を行う。これら物体位置検出及びその特徴抽出は既存手法を用いることができ、例えば以下の非特許文献１に開示されるマルチタスクの深層ニューラルネットワークで同時に行うことができる。
[非特許文献１] Y. Zhang, C. Wang, X. Wang, W. Zeng, and W. Liu, "FairMOT: On the fairness of detection and re-identication in multiple object tracking," Computing
Research Repository arXiv Preprint arXiv:2004.01888, 2020.
【0019】
なお、一実施形態では、第１検出抽出部21で当該抽出した特徴は、後述する補正部5の範囲補正部52において特徴量による対応付けを行う際に利用することができる。図１ではこのための第１検出抽出部21から範囲補正部52への特徴量の出力の流れは描くのを省略している。
【0020】
図３の例EX2は、深層ニューラルネットワークを用いて第１検出抽出部21によりフレーム内から矩形範囲としての物体範囲の検出及びその特徴抽出（ベクトル量あるいはテンソル量としての特徴量の抽出）を行う模式例を示している。ステップS21では第１検出抽出部21が得た初期時刻のフレームにおける各物体の物体範囲（及び特徴）を追跡開始判定部23（及び範囲補正部52）へと出力してからステップS23へと進む。
【0021】
なお、マルチタスクの深層ニューラルネットワークでは単一種類あるいは複数種類の物体を複数、フレームの画像内から検出することができるが、当該検出する対象となる物体の種類は予め所定種類を設定しておけばよい。この物体は物体追跡の用途に応じて任意種類のものを検出対象として設定でき、人物や動物等の生物であってもよいし、ロボットや車等の非生物であってもよいが、物体追跡の対象としては移動しうる対象を設定すればよい。
【0022】
＜ステップS23…追跡開始判定部23＞
ステップS23では追跡開始判定部23が、第１検出抽出部21で検出した物体範囲Dt=(dt 1,dt 2,…)(t=1)について、追跡を開始するかどうかを判定し、開始判定されたもののみを選別した物体範囲Bt=(bt 1, bt 2, …)(t=1)を得る。この追跡開始の判定は、第１検出抽出部21で検出した際の検出信頼度が所定のしきい値以上であるものだけを対象にしてもよい。追跡開始の判定がされた物体範囲dt iに対しては、bt iをbt i=dt iとして確定させ、さらに他と重複がないように物体IDであるzt iを付与する。ステップS23ではこうして、追跡開始判定部23で得られた開始判定された物体範囲Bt=(bt 1, bt 2, …) (t=1)及び各々のIDであるzt iを第１特徴点抽出部24へと出力してから、ステップS24へと進む。
ステップS23では追跡開始判定部23が、第１検出抽出部21で検出した物体範囲Dt=(dt 1,dt 2,…)(t=1)について、追跡を開始するかどうかを判定し、開始判定されたもののみを選別した物体範囲Bt=(bt 1, bt 2, …)(t=1)を得る。この追跡開始の判定は、第１検出抽出部21で検出した際の検出信頼度が所定のしきい値以上であるものだけを対象にしてもよい。追跡開始の判定がされた物体範囲dt iに対しては、bt iをbt i=dt iとして確定させ、さらに他と重複がないように物体IDであるzt iを付与する。ステップS23ではこうして、追跡開始判定部23で得られた開始判定された物体範囲Bt=(bt 1, bt 2, …) (t=1)及び各々のIDであるzt iを第１特徴点抽出部24へと出力してから、ステップS24へと進む。
【0023】
＜ステップS24…第１特徴点抽出部24＞
ステップS24では、第１特徴点抽出部24が、追跡開始判定部23で開始判定した物体範囲Bt=(bt 1, bt 2, …)(t=1)の各々bt i (i=1,2,…)から当該物体における特徴的な点Pt i=(pt i1, pt i2, …)(t=1)を検出し、この特徴点Pt iを次の時刻t=2の追跡の対象として動きベクトル推定部31へと出力し、前段側の追跡開始判定部23で得た物体範囲Bt=(bt 1, bt 2, …)(t=1)を次の時刻t=2で推定する対象として範囲推定部32へと出力し、且つ、これら特徴点Pt i及び範囲Bt(t=1)を初期化部2での処理結果として出力部6へと出力してからステップS6へと進む。ここで、pt ijはbt i中のj番目(j=1,2,…)の特徴点の位置を示し、画像座標上の2次元ベクトルで表される。（なお、このpt ijは物体IDのzt iと紐づいており、IDがzt iである物体より検出される特徴点集合がPt iである。）特徴点検出には、あらかじめ学習させておいた検出器を用いればよい。
ステップS24では、第１特徴点抽出部24が、追跡開始判定部23で開始判定した物体範囲Bt=(bt 1, bt 2, …)(t=1)の各々bt i (i=1,2,…)から当該物体における特徴的な点Pt i=(pt i1, pt i2, …)(t=1)を検出し、この特徴点Pt iを次の時刻t=2の追跡の対象として動きベクトル推定部31へと出力し、前段側の追跡開始判定部23で得た物体範囲Bt=(bt 1, bt 2, …)(t=1)を次の時刻t=2で推定する対象として範囲推定部32へと出力し、且つ、これら特徴点Pt i及び範囲Bt(t=1)を初期化部2での処理結果として出力部6へと出力してからステップS6へと進む。ここで、pt ijはbt i中のj番目(j=1,2,…)の特徴点の位置を示し、画像座標上の2次元ベクトルで表される。（なお、このpt ijは物体IDのzt iと紐づいており、IDがzt iである物体より検出される特徴点集合がPt iである。）特徴点検出には、あらかじめ学習させておいた検出器を用いればよい。
【0024】
例えば追跡対象が人物であれば、関節点検出器によって推定した関節点を特徴点として用いることができる。（なお、この関節点は、学習された関節点検出器において定義される骨格（スケルトン）関節点であり、必ずしも医学的な関節と一致していなくともよい。）その際は、学習済みの関節点検出器で検出可能な所定種類の関節の全てではなく、位置等の変化が少ないことが想定される一部分の関節として、例えば頭や肩等の胸部から上部に位置する点（人物が立っている姿勢の場合において高度が胸部以上となる点）を特徴点として用いるのが望ましい。（すなわち、人物が歩いたり走ったりすることで移動する場合を考えると、手や足の先の関節は手や足の振り等に連動して振動しながら激しく位置変化したり、地面からの高度が比較的低いことにより他の物体で遮蔽が多く発生したりすることが想定されるのに対して、頭や肩は人物の重心と連動して比較的安定して位置変化し、また、地面からの高度が比較的高いことにより他の物体による遮蔽も少ないことが想定される。）
【0025】
第１特徴点抽出部24ではさらに、関節点検出器で関節点を特徴点として検出したうえで、特徴点は、関節点1点のみではなく、周囲の複数の点もサンプリングして追加で用いることで、頑健性を向上させることができる。（当該サンプリングして追加される点は結果的に、必ずしも関節とは限らない点（偶然、何らかの関節点と一致する場合を除き、一般には関節ではない点）となる。）
【0026】
位置変化が少ないことが想定される関節点として頭を用いた場合を例として第１特徴点抽出部24の処理を説明する。検出された頭の関節を中心として、例えば、半径m×r(m=1,2,…,M)の円周上の位置で、弧度法による角度2π×(n/K)(n=0,1,2, …,K-1)をなす位置で定義されるM×K個の点（頭の関節を中心として放射状に分布して定義される点）を当該初期時刻t=1のフレームot=o1の画像内から複数サンプリングし、頭の関節点１点に追加してこれら周囲のM×K個の点を特徴点としてよい。ここで、M,Kはあらかじめ定められた自然数とする。また、rは、以下の式(1)のように、当該検出物体の範囲bt
iの大きさ（w, h）に基づいて変化させるのが望ましい。
r=min(w,h)/L …式(1)
r=min(w,h)/L …式(1)
【0027】
ここで、Lはあらかじめ定められた自然数とする。また、min(w,h)はw,hのうち長さが小さい方の長さを返す関数であり、立った状態の人物の場合のように縦長の矩形範囲となる物体に関してはmin(w,h)=wとなる。頭の関節等の周囲の点を追加でサンプリングするに際して、人物の頭部の範囲を逸脱して例えば人物ではない背景部分等や人物の頭部以外の箇所の点がサンプリングされないように、これらM,K,Lのパラメータを予め設定しておけばよい。同様に、周囲の点として関節点を中心とした放射状ではなく、関節点を中心として一定範囲内にある碁盤の目状の格子点などを追加でサンプリングするようにしてもよい。
【0028】
図３の例EX3では、頭の１個の関節HDに対して、上記のM=2,K=8として2×8=16個の周囲の点NBも追加して特徴点とする模式例が示されており、各特徴点は黒丸（●）で模式的に描かれている。（後述の図４の例EX4以降でも同様に特徴点を黒丸で模式的に描くものとする。）この例では示されていないが、頭に加えて左右の肩の関節点も検出している場合であれば、これら左右の肩の関節点についてもそれぞれ、周囲の点をサンプリングして特徴点として追加してよい。この際、M,K,L等のパラメータは頭の場合と肩の場合とで別の所定の値を用いるようにしてもよい。
【0029】
以上のように、一実施形態では、追跡対象となる物体を人物とし、追跡する物体範囲としては人物の全身に渡る範囲Btを設定しつつ、実際に追跡する対象（後述する動きベクトル推定部31で追跡する対象）となる特徴点については、遮蔽発生が少なく且つ位置関係の変化が少ないことが想定される高度が人物の胸部以上となる頭や肩の関節点やその周辺から追加してサンプリングされた点（当該追加された点もその高度が人物の胸部以上となる）のみとし、人物のうち高度が人物の胸部よりも低い点（人物の脚部の点など）を追跡対象から除外することで、動きベクトル推定部31による追跡を安定させることが可能となる。
【0030】
上記の変形例として高度が人物の胸部以上であるという制約を緩和して、胴体付近以上（動きの大きい腕や手を除く）であるものとしてもよい。すなわち、追跡対象となる物体を人物とし、追跡する物体範囲としては人物の全身に渡る範囲Btを設定しつつ、実際に追跡する対象（後述する動きベクトル推定部31で追跡する対象）となる特徴点については、位置関係の変化が少ないことが想定される所定種類の関節点（胴体付近以上の高度である頭、肩、胴体部分または臀部など）やその周辺から追加してサンプリングされた点のみを用いるようにしてもよい。これらの点も、胴体付近以上の高度を有するものであるため、撮影の状況によっては遮蔽発生が少ない場合が想定され、且つ、人物の重心と連動して移動することで位置関係の変化が少ないことが想定される（人物が通常の歩く動作等を行っており、アクロバットのような極端な動作を行わない場合）ので、動きベクトル推定部31による追跡を安定させることが可能となる。
【0031】
＜ステップS31…動きベクトル推定部31＞
ステップS31では、動きベクトル推定部31が、１つ前の過去時刻t-1のフレームot-1における特徴点Pt-1 i=(pt-1 i1, pt-1 i2, …)が、現在時刻tのフレームotでどこに移動したかを示す動きベクトル（オプティカルフロー）Δti=(Δt i1,Δt i2,…)を推定する。ここで、Δt ij（各々のオプティカルフロー）は、x軸、y軸における変化量を示す2次元ベクトルである。動きベクトルは、例えば以下の非特許文献２に開示されるLucas-Kanade（LK）法等の既存手法によって推定することができる。
[非特許文献２] B.D. Lucas and T. Kanade, "An iterative image registration technique with anapplication to stereo vision," Proceedings of the 7th International Joint Conference on Articial Intelligence (IJCAI), pp.121-130, 1981.
ステップS31では、動きベクトル推定部31が、１つ前の過去時刻t-1のフレームot-1における特徴点Pt-1 i=(pt-1 i1, pt-1 i2, …)が、現在時刻tのフレームotでどこに移動したかを示す動きベクトル（オプティカルフロー）Δti=(Δt i1,Δt i2,…)を推定する。ここで、Δt ij（各々のオプティカルフロー）は、x軸、y軸における変化量を示す2次元ベクトルである。動きベクトルは、例えば以下の非特許文献２に開示されるLucas-Kanade（LK）法等の既存手法によって推定することができる。
[非特許文献２] B.D. Lucas and T. Kanade, "An iterative image registration technique with anapplication to stereo vision," Proceedings of the 7th International Joint Conference on Articial Intelligence (IJCAI), pp.121-130, 1981.
【0032】
なお、動きベクトル推定の際は、アルゴリズムの繰り返し回数や収束条件を定めておき、当該収束等するまで計算しても動きベクトルが算出できなかった場合には、該当する動きベクトルが存在しないものとして特徴点を削除する。該当する動きベクトルが存在すると判定されることで削除されずに残っている特徴点に関して、動きベクトル推定部31では以下のように、過去時刻の特徴点Pt-1
iに移動量としての動きベクトルΔtiを加算して現時刻の特徴点Pt
iを得て、自身において記憶しておくことで、次の時刻t+1で再度（後述のステップS4で否定判定となり現時刻tで補正部5が適用されない場合に、次の時刻t+1で再度）、動きベクトル推定部31による動きベクトル推定の対象とする。
Pt i=Pt-1 i+Δti
=(pt-1 i1+Δt i1, pt-1 i2+Δt i2, …)
Pt i=Pt-1 i+Δti
=(pt-1 i1+Δt i1, pt-1 i2+Δt i2, …)
【0033】
ステップS31では動きベクトル推定部31が上記推定した動きベクトルを後段側の範囲推定部32へと出力し、且つ、上記推定した現時刻の特徴点Pt
i=(pt
i1, pt
i2, …)を自身において記憶するとともに後段側の範囲推定部32へも出力してからステップS32へと進む。図４の例EX4に、２つの物体範囲について時刻t-1,t間で動きベクトルを推定することで、特徴点の移動を推定する模式例を示す。
【0034】
なお、動きベクトル推定部31において動き推定対象となる１つ前の過去時刻t-1のフレームot-1における特徴点Pt-1
i=(pt-1
i1, pt-1
i2, …)は、以下の３通りのうち該当するものである。
＜現在時刻がt=2であり初期時刻t=1の次の時刻である場合、以下の（１）＞
（１）この初期時刻t=1について第１特徴点検出部24で得た特徴点
＜これよりも後のt≧3の各現在時刻tについて、以下の（２）または（３）＞
（２）１つ前の過去時刻t-1でステップS4が否定判定であって補正部5が適用されなかった場合、この過去時刻t-1において追跡終了判定部33で得た特徴点
（３）１つ前の過去時刻t-1でステップS4が肯定判定であって補正部5が適用された場合、この過去時刻t-1で第２特徴点検出部54で得た特徴点
＜現在時刻がt=2であり初期時刻t=1の次の時刻である場合、以下の（１）＞
（１）この初期時刻t=1について第１特徴点検出部24で得た特徴点
＜これよりも後のt≧3の各現在時刻tについて、以下の（２）または（３）＞
（２）１つ前の過去時刻t-1でステップS4が否定判定であって補正部5が適用されなかった場合、この過去時刻t-1において追跡終了判定部33で得た特徴点
（３）１つ前の過去時刻t-1でステップS4が肯定判定であって補正部5が適用された場合、この過去時刻t-1で第２特徴点検出部54で得た特徴点
【0035】
＜ステップS32…範囲推定部32＞
ステップS32では範囲推定部32が、動きベクトル推定部31で推定した動きベクトルΔt i=(Δt i1,Δt i2,…)を用いて、物体範囲Ft = (ft 1, ft 2, …)を推定してこの推定結果を追跡終了判定部33へと出力してから、ステップS33へ進む。（なお、後述するステップS4で肯定判断となり補正部5が適用される場合は、図１中に線L52として示されるようにこの推定結果は位置補正部52にも出力される。）
ステップS32では範囲推定部32が、動きベクトル推定部31で推定した動きベクトルΔt i=(Δt i1,Δt i2,…)を用いて、物体範囲Ft = (ft 1, ft 2, …)を推定してこの推定結果を追跡終了判定部33へと出力してから、ステップS33へ進む。（なお、後述するステップS4で肯定判断となり補正部5が適用される場合は、図１中に線L52として示されるようにこの推定結果は位置補正部52にも出力される。）
【0036】
ここで、物体範囲Ftにおけるインデクスiで指定される各物体（前述した物体IDのzt
iが紐づいている）の各要素ft
iはft
i= (x, y, w, h)のような矩形で表し、xとyはそれぞれ矩形の左上のx座標とy座標を、wとhはそれぞれ矩形の幅と高さを示す。（すなわち、範囲推定部32で推定する物体範囲Ftは、初期化部2で得た物体範囲Bt(t=1)と同様の形式で得ることができるが、最終的に追跡結果となる範囲Btは後段側の追跡終了判定部33及び物体検出要否判定部4の処理を経て定まるため、中間結果としての範囲であることを明示すべく、変数表記を区別して範囲Ftとしている。）
【0037】
範囲推定部32では物体範囲bt
iの動きベクトルΔt
i（物体範囲の１時刻前から現在時刻までの「bt-1
i→bt
i」の間での複数の特徴点の動きベクトルΔt
i）を用いて、この動きベクトルΔt
iに物体範囲の時刻t-1,t間での変化が反映されているものとして、この「bt-1
i→bt
i」の間の物体範囲における位置の変化と大きさの変化を推定することで、現在時刻tでの物体範囲bt
iを推定する。
【0038】
範囲推定部32では具体的に、Δxt
i、Δyt
iをそれぞれ、Δt
iのx成分、y成分として、例えば以下の式(2)のように動きベクトルの平均を加算することによって物体範囲Ftを推定（範囲を定める位置及び大きさのうち、位置に関して１つ前の過去時刻t-1から更新して推定）することができる。すなわち、物体ごとの複数の特徴点の代表位置が、物体範囲の位置に連動するものとして、物体範囲を推定することができる。
ft i = ft-1 i + (average(Δxt i), average(Δyt i), 0, 0) …式(2)
あるいは、以下の式(3)のように、外れ値に対して頑健な中央値を用いてもよい。
ft i = ft-1 i + (median(Δxt i), median(Δyt i), 0, 0) …式(3)
ft i = ft-1 i + (average(Δxt i), average(Δyt i), 0, 0) …式(2)
あるいは、以下の式(3)のように、外れ値に対して頑健な中央値を用いてもよい。
ft i = ft-1 i + (median(Δxt i), median(Δyt i), 0, 0) …式(3)
【0039】
範囲推定部32ではさらに、上記の式(2),(3)による各物体の位置(x,y)の更新に続いて、各物体の大きさ(w,h)も推定することで物体範囲を更新する。具体的には、まずフレームot-1における特徴点Pt-1
i = (pt-1
i1, pt-1
i2, …)の分散と、フレームotにおける特徴点Pt
i = (pt-1
i1+Δt
i1, pt-1
i2+Δt
i2, …)の分散との比αiを、以下の式(4)のように算出する。（点の配置のばらつきを定量化するものとして分散ではなく標準偏差の比として比αiを算出してもよい。）
αi = var(Pt i) / var(Pt-1 i) …式(4)
αi = var(Pt i) / var(Pt-1 i) …式(4)
【0040】
そして、ft
iはft-1
iにαiを積算することによって以下の式(5)のように推定することで物体の大きさ(w,h)を更新する。ここで、○はベクトルの要素ごとの積を示す。すなわち、範囲推定部32は、物体ごとの複数の特徴点の位置のばらつきの大きさが、物体範囲の大きさに連動するものとして、物体範囲の大きさを推定することができる。
ft i=ft-1 i○(1, 1, αi, αi) …式(5)
ft i=ft-1 i○(1, 1, αi, αi) …式(5)
【0041】
図４の例EX5に、以上の手法で時刻t-1,t間の２つの物体範囲のうち１つについて位置及び大きさを更新して推定する模式例を示す。
【0042】
なお、動きベクトルによって推定した特徴点にはノイズが生じることがあるため、範囲推定部32では例えば以下の非特許文献３に開示される既存手法であるホテリング理論（データが正規分布に従うものとして外れ値を検出する手法）を用いて、そのような特徴点を除去してから範囲推定することが望ましい。（なお、当該除外された旨の情報は動きベクトル推定部31においても共有し、現時刻tの次の時刻t+1において動きベクトル推定部31が動き推定する対象となる特徴点から当該外れ値を除外するようにしてよい。）
[非特許文献３] 井手剛, "入門 機械学習による異常検知―Rによる実践ガイド", 2015.
[非特許文献３] 井手剛, "入門 機械学習による異常検知―Rによる実践ガイド", 2015.
【0043】
なお、範囲推定部32において範囲を更新する対象となる１つ前の過去時刻t-1のフレームot-1における範囲Bt-1は、動きベクトル推定部31に関して前述したのと同様に、以下の３通りのうち該当するものである。（すなわち、該当するものを「Ft-1=Bt-1」として範囲Ft-1の値（ft-1
i∈Ft-1）に割り当てたうえで、前述の式(2)～(4)等を適用すればよい。）
＜現在時刻がt=2であり初期時刻t=1の次の時刻である場合、以下の（１）＞
（１）この初期時刻t=1について第１特徴点検出部24で得た範囲
＜これよりも後のt≧3の各現在時刻tについて、以下の（２）または（３）＞
（２）１つ前の過去時刻t-1でステップS4が否定判定であって補正部5が適用されなかった場合、この過去時刻t-1において追跡終了判定部33で得た範囲
（３）１つ前の過去時刻t-1でステップS4が肯定判定であって補正部5が適用された場合、この過去時刻t-1で第２特徴点検出部54で得た範囲
＜現在時刻がt=2であり初期時刻t=1の次の時刻である場合、以下の（１）＞
（１）この初期時刻t=1について第１特徴点検出部24で得た範囲
＜これよりも後のt≧3の各現在時刻tについて、以下の（２）または（３）＞
（２）１つ前の過去時刻t-1でステップS4が否定判定であって補正部5が適用されなかった場合、この過去時刻t-1において追跡終了判定部33で得た範囲
（３）１つ前の過去時刻t-1でステップS4が肯定判定であって補正部5が適用された場合、この過去時刻t-1で第２特徴点検出部54で得た範囲
【0044】
＜ステップS33…追跡終了判定部33＞
ステップS33において追跡終了判定部33は、追跡を終了する物体を判定し、範囲推定部32から得た物体範囲Ftにおいて終了判定されたものを削除した物体範囲Ft（及び各物体の特徴点Pt i）を物体検出要否判定部4へと出力してからステップS4へと進む。
ステップS33において追跡終了判定部33は、追跡を終了する物体を判定し、範囲推定部32から得た物体範囲Ftにおいて終了判定されたものを削除した物体範囲Ft（及び各物体の特徴点Pt i）を物体検出要否判定部4へと出力してからステップS4へと進む。
【0045】
追跡終了判定部33における判定は、例えば、同一の物体IDで紐づいた物体同士において、物体範囲の１時刻前から現在時刻までの「矩形画像bt-1
i→矩形画像bt
i」の間で正規化相互相関（NCC）を算出し、それが所定のしきい値以下となった場合に追跡を終了する。（すなわち、類似度が高いほど大きな値となるNCCの値に対する閾値判定により、矩形画像bt-1
iと矩形画像bt
iとが非類似と判定された場合に追跡終了する。）また、物体範囲bt
iに含まれる特徴点の個数が所定のしきい値以下となった物体も、追跡を終了するものとして判定する。
【0046】
＜ステップS4…物体検出要否判定部4＞
ステップS4にて物体検出要否判定部4は、当該現在時刻のフレームotに関して、物体検出が必要（以上のステップS31,S32,S33の追跡部3による物体追跡とは別途の補正部5による物体検出が必要）かどうかを判定し、必要と判定された場合にはその旨を図１の線L5に示すように補正部5へと出力してステップS51へと進み、不要と判定された場合には追跡部3の追跡終了判定部33で得た物体範囲Ft（及び各物体の特徴点Pt i）を最終的に確定した物体範囲Btとして（すなわち、Btの各要素である個別の物体範囲bt iをbt i=ft iとして確定させて）出力部6へと出力してからステップS6へと進む。
ステップS4にて物体検出要否判定部4は、当該現在時刻のフレームotに関して、物体検出が必要（以上のステップS31,S32,S33の追跡部3による物体追跡とは別途の補正部5による物体検出が必要）かどうかを判定し、必要と判定された場合にはその旨を図１の線L5に示すように補正部5へと出力してステップS51へと進み、不要と判定された場合には追跡部3の追跡終了判定部33で得た物体範囲Ft（及び各物体の特徴点Pt i）を最終的に確定した物体範囲Btとして（すなわち、Btの各要素である個別の物体範囲bt iをbt i=ft iとして確定させて）出力部6へと出力してからステップS6へと進む。
【0047】
物体検出要否判定部4では具体的に例えば、所定の値Nを用いて、tがNの倍数の際は物体検出を行うものとして判定してよい。（すなわち、周期Nで定期的に物体検出を行うことで、N-1回の追跡部2による物体追跡と1回の補正部5による物体検出が繰り返されるようにしてもよい。）
【0048】
あるいは、物体検出要否判定部4ではフレームごとにその都度物体検出が必要かどうかを判定してもよい。例えば、追跡終了判定部33から出力された現在時刻tのFt=(ft
1,ft
2, …)の総数（追跡を継続している物体範囲の総数）が、１つ前の過去時刻t-1のFt-1=(ft-1
1,ft-1
2,…)の総数よりも急激に減少したと判定（例えば、閾値判定で減少数が大きいと判定）された際に所定のフレーム数だけ物体検出を行ってもよい。あるいは、範囲推定部32で求めた隣接フレームにおける分散比αiのうち、所定のしきい値以上となるものが1つでもあれば、追跡対象とは別の物体に特徴点のクラスタが分離されたとみなし、物体検出を行ってもよい。同様に、分散比αiが所定のしきい値以下となるものが1つでもあれば、他の物体に特徴点が集中したとみなし、物体検出を行ってもよい。
【0049】
すなわち、少なくとも１つの物体範囲の分散比αiがある閾値以上で大きいと判定される場合、または、別の閾値以下で小さいと判定される場合は、分散比αiの大きさの変化が急激であると判定される場合に該当し、当該急激であると判定される場合には物体検出を行うものとして判断してもよい。
【0050】
＜ステップS51…第２検出抽出部51＞
ステップS51では第２検出抽出部51が、現在時刻tのフレームotより、各物体の範囲Dt=(dt 1,dt 2,…)を検出し、且つ、各物体範囲における追跡特徴を抽出してこれらの検出結果及び抽出結果を範囲補正部52へと出力してから、ステップS52へと進む。
ステップS51では第２検出抽出部51が、現在時刻tのフレームotより、各物体の範囲Dt=(dt 1,dt 2,…)を検出し、且つ、各物体範囲における追跡特徴を抽出してこれらの検出結果及び抽出結果を範囲補正部52へと出力してから、ステップS52へと進む。
【0051】
第２検出抽出部51における物体範囲の検出処理及び追跡特徴の抽出処理は、第１検出部21における処理と同様であるため、重複する説明を省略する。
【0052】
＜ステップS52…範囲補正部52＞
ステップS52では範囲補正部52が、現在時刻tのフレームotについて第２検出抽出部51で得た物体範囲Dtと、図１中の線L52の出力により範囲推定部32から得た物体範囲Ftとの対応付けを行い、対応付けされた物体範囲を追跡開始終了判定部53へと出力してから、ステップS53へと進む。
ステップS52では範囲補正部52が、現在時刻tのフレームotについて第２検出抽出部51で得た物体範囲Dtと、図１中の線L52の出力により範囲推定部32から得た物体範囲Ftとの対応付けを行い、対応付けされた物体範囲を追跡開始終了判定部53へと出力してから、ステップS53へと進む。
【0053】
当該対応付けの役割は以下の２点である。
（１）現在時刻tまでに継続されている物体追跡結果における物体ID（物体範囲Ftにおける物体ID）を、現在時刻tにおいて新たに実施した物体検出結果における物体ID（物体範囲Dtにおける物体ID）に対応付けることで、同様のIDにより時刻t以降にも物体追跡を継続させる。図４の例EX6に、この対応付けの例として、物体範囲Ftに２つの物体範囲ft 1,ft 2があり、物体範囲Dtにも２つの物体範囲dt 1,dt 2がある際に、「ft 1及びdt 1」を対応付け、「ft 2及びdt 2」を対応付けた例を示す。
（２）当該対応付けの結果に従って、図１中の線L52の出力により範囲推定部32から得た物体範囲Ftの補正（存在し続ける物体領域の更新と新たに現れた物体領域の追加（及びこれら物体領域の位置及び大きさの設定）と、消えた物体領域の削除による補正）を可能とする。なお、この補正は後段側の追跡終了開始判定部53において実行される。
（１）現在時刻tまでに継続されている物体追跡結果における物体ID（物体範囲Ftにおける物体ID）を、現在時刻tにおいて新たに実施した物体検出結果における物体ID（物体範囲Dtにおける物体ID）に対応付けることで、同様のIDにより時刻t以降にも物体追跡を継続させる。図４の例EX6に、この対応付けの例として、物体範囲Ftに２つの物体範囲ft 1,ft 2があり、物体範囲Dtにも２つの物体範囲dt 1,dt 2がある際に、「ft 1及びdt 1」を対応付け、「ft 2及びdt 2」を対応付けた例を示す。
（２）当該対応付けの結果に従って、図１中の線L52の出力により範囲推定部32から得た物体範囲Ftの補正（存在し続ける物体領域の更新と新たに現れた物体領域の追加（及びこれら物体領域の位置及び大きさの設定）と、消えた物体領域の削除による補正）を可能とする。なお、この補正は後段側の追跡終了開始判定部53において実行される。
【0054】
範囲補正部52では具体的に、第２検出抽出部51で得た物体範囲Dtにおいて、物体間の遮蔽が大きい（矩形間の重複率が大きい）と判定された組dt
i－dt
jがあれば、このような組のdt
i－dt
j両者（dt
i及びdt
jの両者）とも（Ｂ）特徴点－矩形間に基づいて対応付けを行う。（すなわち、範囲dt
iが範囲Ft=(ft
1,ft
2, …)のいずれに対応し、範囲dt
jが範囲Ft=(ft
1,ft
2, …)のいずれに対応するかの対応付けを行う。なお、対応付けられない結果となる場合もありうる。）一方、遮蔽が大きくないと判定された物体範囲dt
iに対しては、（Ａ）矩形－矩形間に基づいて対応付けを行う。（すなわち、範囲dt
iが範囲Ft=(ft
1,ft
2, …)のいずれに対応するかの対応付けを行う。なお、対応付けられない結果となる場合もありうる。）それぞれの対応付けは以下の通りである。
【0055】
（Ａ）矩形－矩形間に基づく対応付け
対応付けは、例えば以下の非特許文献４に開示される既存手法であるハンガリー法等により、矩形対応付けの割り当てのコストとして矩形範囲に基づくコストを用いて行うことができる。（なお、ハンガリー法による対応付けの結果として、対応する矩形が存在せず対応付けられないという結果もありうる。）
[非特許文献４] N. Wojke, A. Bewley, and D. Paulus, "Simple online and realtime tracking with a deep association metric," Proceedings of the 24th IEEE International Conference on Image Processing (ICIP), pp.3645-3649, 2017.
対応付けは、例えば以下の非特許文献４に開示される既存手法であるハンガリー法等により、矩形対応付けの割り当てのコストとして矩形範囲に基づくコストを用いて行うことができる。（なお、ハンガリー法による対応付けの結果として、対応する矩形が存在せず対応付けられないという結果もありうる。）
[非特許文献４] N. Wojke, A. Bewley, and D. Paulus, "Simple online and realtime tracking with a deep association metric," Proceedings of the 24th IEEE International Conference on Image Processing (ICIP), pp.3645-3649, 2017.
【0056】
Ft（物体追跡結果）の物体範囲矩形のうち、ハンガリー法等によりDt（新たな物体検出結果）の物体範囲矩形に対応付けられたものは、範囲bt
iをbt
i= dt
iとして確定させ、物体IDであるzt
iも同様のものとして確定させる。一方、Dtのうち、ハンガリー法等によりFtと対応付けられなかったものについては、追加処理として、所定のa個（a≧1）前の過去において確定結果として既に得られている物体範囲Bt-aとの間で対応付けを試みるようにしてもよい。例えばa=10として、10フレーム前の物体範囲Bt-10 = (bt-10
1, bt-10
2, …)のうち、物体IDを参照してまだ対応付けていないものを対象に対応付けを試みてもよい。同様に、a=1,2,3,…,A（Aは所定の上限値）等として、対応付けが成功するまで所定の過去範囲の物体範囲Bt-kで順番に対応付けを試みるようにしてもよい。その際は、同一物体であっても位置は大きく変化している可能性があるので、ハンガリー法等による矩形―矩形対応を行うことに代えて、特徴量（現時刻tから最も近い過去時刻において第１検出抽出部21または第２検出抽出部51で得た特徴量）による対応付けを行うようにしてもよい。対応付けられたものは、範囲bt
iをbt
i= dt
iとして確定させ、物体ID zt
iも同様のものとして確定させる。
【0057】
図５の例EX7に、過去時刻の物体検出結果が利用可能となる例を示す。フレームotに存在する２つの物体（人物）のうち上部側の物体は１つ前のフレームot-1では別の物体に遮蔽されて対応付けられないが、２つ前のフレームot-2では対応付けが可能であり、下部側の物体に関しては２つのフレームot-1, ot-2のいずれでも対応付けが可能である。
【0058】
（Ｂ）特徴点－矩形間に基づく対応付け
物体間の遮蔽が大きい場合は、矩形－矩形間での対応付けに失敗することが多い。そこで、重複率が所定のしきい値以上の組dt i－dt jが存在すれば、Ft（物体追跡結果）における各物体の特徴点Pt i = (pt i1, pt i2, …)とDt（新たな物体検出結果）における物体範囲dt i（及びdt j）との対応付けによって、物体の対応付けを行う。例えば、((pt 11, pt 12, …), (pt 21, pt 22, …), …)と(dt 1, dt 2, …)との間の全ての組に対して距離dist(pt ij,dt k)を求め、所定のしきい値以下の距離の組のみを対象に投票ベースで対応付けてもよい。
物体間の遮蔽が大きい場合は、矩形－矩形間での対応付けに失敗することが多い。そこで、重複率が所定のしきい値以上の組dt i－dt jが存在すれば、Ft（物体追跡結果）における各物体の特徴点Pt i = (pt i1, pt i2, …)とDt（新たな物体検出結果）における物体範囲dt i（及びdt j）との対応付けによって、物体の対応付けを行う。例えば、((pt 11, pt 12, …), (pt 21, pt 22, …), …)と(dt 1, dt 2, …)との間の全ての組に対して距離dist(pt ij,dt k)を求め、所定のしきい値以下の距離の組のみを対象に投票ベースで対応付けてもよい。
【0059】
なお、上記の距離dist(pt
ij,dt
k)を求める際の物体範囲dt
kの位置としては、矩形の左上座標(x,y)でもよいし、大きさ(w,h)も考慮して矩形の中心位置(x+w/2,y+h/2)としてもよいし、その他の矩形内の何らかの所定位置としてもよいし、図３の例EX3に示したように特徴点pt
ijをいずれかの関節点又はその周辺から追加でサンプリングして得られた点として得ている場合であれば、対応する関節点（後段側の第２特徴点検出部54で検出できるが、予め求めておく）の位置を用いてもよい。
【0060】
図５の例EX8ではこのように投票ベースで対応付ける例が示され、重複率が所定のしきい値以上の組dt
1－dt
2が存在する状況において、第１の人物としての１つ目の物体（３つの特徴点Pt
1=(pt
11, pt
12, pt
13)を有する）はpt
11, pt
12によって物体範囲dt
1に２票を投じ、２つ目の物体は（３つの特徴点Pt
2=(pt
21, pt
22, pt
23)を有する）はpt
21, pt
22によって物体範囲dt
2に２票を投じ、これらの結果により、以下の対応付け結果が得られる。
特徴点Pt 1に紐づく物体追跡範囲ft 1が新たな物体検出範囲dt 1に対応する。
特徴点Pt 2に紐づく物体追跡範囲ft 2が新たな物体検出範囲dt 2に対応する。
特徴点Pt 1に紐づく物体追跡範囲ft 1が新たな物体検出範囲dt 1に対応する。
特徴点Pt 2に紐づく物体追跡範囲ft 2が新たな物体検出範囲dt 2に対応する。
【0061】
＜ステップS53…追跡終了開始判定部53＞
ステップS53では追跡終了開始判定部53が、上記の範囲補正部52で得た結果（領域Ftと領域Dtの対応付けの結果）を受けて、新たに追跡を開始する物体、及び追跡を終了する物体を判定することで、この現在時刻t以降での物体追跡の対象となる物体領域Btを確定させ、この物体領域Btを第２特徴点検出部54へと出力してからステップS54へと進む。
ステップS53では追跡終了開始判定部53が、上記の範囲補正部52で得た結果（領域Ftと領域Dtの対応付けの結果）を受けて、新たに追跡を開始する物体、及び追跡を終了する物体を判定することで、この現在時刻t以降での物体追跡の対象となる物体領域Btを確定させ、この物体領域Btを第２特徴点検出部54へと出力してからステップS54へと進む。
【0062】
すなわち、追跡終了開始判定部53では、（１）Dt = (dt
1, dt
2, …)のうち、対応付けられなかったものを現在時刻tで新たに現れたものとして追跡開始する物体とし、（２）一方、Ft = (ft
1, ft
2, …) のうち、対応付けられなかったものを現在時刻tで消えたものとして追跡終了する物体とし、（３）領域Ftと領域Dtとの間で対応付けができた物体を、現在時刻tにおいてもそのまま物体追跡が継続されているものとすることで、この現在時刻t以降での物体追跡の対象となる物体領域Btの全体を確定させる。
【0063】
図５の例EX9は、追跡終了開始判定部53の判定処理の模式例が示され、ある１つの物体については１つ前の時刻t-1では存在していたのを最後に現在時刻tにおいて消えたものと判定され、ある１つの物体については現在時刻tにおいて新たに現れたものと判定され、ある１つの物体については時刻t-1,t,t+1において継続して存在し続けるものとして判定されている。
【0064】
＜ステップS54…第２特徴点検出部54＞
ステップS54では、上記の追跡終了開始判定部53で得た現在時刻tのフレームotにおける物体追跡の対象となる物体範囲Bt=(bt 1, bt 2, …)(t=1)の各々bt i (i=1,2,…)から当該物体における特徴的な点Pt i=(pt i1, pt i2, …)(t=1)を検出し、この特徴点Pt iと物体範囲Btとを出力部6及び追跡部3へ出力してからステップS6へと進む。
ステップS54では、上記の追跡終了開始判定部53で得た現在時刻tのフレームotにおける物体追跡の対象となる物体範囲Bt=(bt 1, bt 2, …)(t=1)の各々bt i (i=1,2,…)から当該物体における特徴的な点Pt i=(pt i1, pt i2, …)(t=1)を検出し、この特徴点Pt iと物体範囲Btとを出力部6及び追跡部3へ出力してからステップS6へと進む。
【0065】
第２特徴点検出部54の処理は第１特徴点検出部24の処理と同一であるため重複する説明を省略する。第１特徴点検出部24における出力と同様に、第２特徴点検出部54も、特徴点Pt
iを動きベクトル推定部31へと出力し、物体範囲Btを範囲推定部32へと出力することで、後の時刻t+1以降における追跡部3による物体追跡を可能とする。
【0066】
以上の通り、補正部5の処理（ステップS51,S52,S53,S54）は初期化部2（ステップS21,S23,S24）と同様の処理に、追跡部3における物体追跡結果との間で対応関係を取って整合させる処理を追加したものに相当する。
【0067】
＜ステップS6…出力部6＞
ステップS6では出力部6が現在時刻tのフレームotにおける物体追跡装置10による物体追跡結果（物体範囲Bt及び特徴点Pt i）を出力してからステップS61へと進む。出力部6はハードウェアとしてはディスプレイで構成され、ユーザに対して表示することで当該物体追跡結果を出力すればよく、当該出力する際に、現在時刻tのフレームotに対して物体範囲Bt及び特徴点Pt iを該当位置に重畳して表示するようにしてもよい。
ステップS6では出力部6が現在時刻tのフレームotにおける物体追跡装置10による物体追跡結果（物体範囲Bt及び特徴点Pt i）を出力してからステップS61へと進む。出力部6はハードウェアとしてはディスプレイで構成され、ユーザに対して表示することで当該物体追跡結果を出力すればよく、当該出力する際に、現在時刻tのフレームotに対して物体範囲Bt及び特徴点Pt iを該当位置に重畳して表示するようにしてもよい。
【0068】
以上の説明から明らかなように、出力部6で出力される物体追跡結果（物体範囲Bt及び特徴点Pt
i）は、現在時刻tに関してステップS21,S23,S24を辿った場合は初期化部2で得た結果であり、ステップS31,S32,S33からさらにステップS4で否定判定を得た場合は追跡部3で得た結果（当該結果を物体検出要否判定部4からさらに出力した結果）であり、ステップS4で肯定判定を得てさらにステップS51,S52,S53,S54を辿った場合は補正部5で得た結果である。
【0069】
＜ステップS61…時間更新＞
ステップS61では現在時刻tをその次の現在時刻t+1に更新してからステップS1へと戻ることで、次の時刻t+1について以上説明したのと同様に物体追跡装置10の処理が繰り返される。
ステップS61では現在時刻tをその次の現在時刻t+1に更新してからステップS1へと戻ることで、次の時刻t+1について以上説明したのと同様に物体追跡装置10の処理が繰り返される。
【0070】
以上、本発明の実施形態の物体追跡装置10によれば、基本的には追跡部3により変化が少ない位置周辺のみの特徴点で追跡するため、精度に関して遮蔽のような未検出が発生しやすい状況でも追跡が可能であり、且つ、速度に関して動きベクトルを特徴点の周辺のみで算出すればよいため、高速な処理が可能である。且つ、特徴点のみを追跡して高速計算を実現しつつも、矩形を介して人物等の全身範囲の追跡結果を得ることができるので、物体追跡装置10による人物等の追跡の応用先についても、行動認識などの様々な応用先を確保することができる。さらに、物体検出要否判定部4の判断に応じて映像上で間欠的に補正部5による物体検出結果を物体追跡結果に反映させるため、映像の途中から新規の物体が現れる場合等にも対処して高精度に物体追跡を継続することが可能となる。
【0071】
図６の例は以上の物体追跡装置10が図２のフローに従って物体追跡する処理の模式例であり、時刻t=1～6の映像上の各フレームo1～o6について動きベクトルにより高速に物体追跡を行いつつ、適宜の時刻において間欠的に物体検出により物体追跡結果を補正する様子が示されている。
【0072】
以下、種々の補足例、追加例、代替例などに関して説明する。
【0073】
（１） 本発明の実施形態によれば、その応用例として、遠隔地において複数（多数でもよい）の人物が存在する状況を撮像した映像に対してリアルタイムで、各人物の移動の状況を高精度に自動でモニタリングすることが可能となる。これにより、遠隔地へとユーザが実際に移動することを必ずしも必須とせずに、遠隔地の人物の状況の詳細なモニタリングや、当該モニタリング結果に基づく遠隔地に対するユーザによるアドバイス等を行うことが可能となる。従って、ユーザ移動に必要となるエネルギー資源を節約することで二酸化炭素排出量を抑制できることから、国連が主導する持続可能な開発目標（ＳＤＧｓ）の目標１３「気候変動とその影響に立ち向かうため、緊急対策を取る」に貢献することが可能となる。
【0074】
（２） 図２のフローによれば、撮像部1においてリアルタイムの各時刻t=1,2,…で撮像されるフレーム画像についてリアルタイムで物体追跡を行うことが可能であるが、予め撮像され一定時間にわたる映像として保存されている映像を対象として同様に、図２のフローを適用することも可能である。
【0075】
（３） 図７は、一般的なコンピュータ装置70におけるハードウェア構成の例を示す図である。物体追跡装置10は、このような構成を有する１台以上のコンピュータ装置70として実現可能である。なお、２台以上のコンピュータ装置70で物体追跡装置10を実現する場合、ネットワーク経由で処理に必要な情報の送受を行うようにしてよい。コンピュータ装置70は、所定命令を実行するCPU（中央演算装置）71、CPU71の実行命令の一部又は全部をCPU71に代わって又はCPU71と連携して実行する専用プロセッサとしてのGPU（グラフィックス演算装置）72、CPU71（及びGPU72）にワークエリアを提供する主記憶装置としてのRAM73、補助記憶装置としてのROM74、通信インタフェース75、ディスプレイ76、マウス、キーボード、タッチパネル等によりユーザ入力を受け付ける入力インタフェース77、カメラ78と、これらの間でデータを授受するためのバスBSと、を備える。
【0076】
物体追跡装置10の各機能部は、各部の機能に対応する所定のプログラムをROM74から読み込んで実行するCPU71及び／又はGPU72によって実現することができる。なお、CPU71及びGPU72は共に、演算装置（プロセッサ）の一種である。ここで、表示関連の処理が行われる場合にはさらに、ディスプレイ76が連動して動作し、データ送受信に関する通信関連の処理が行われる場合にはさらに通信インタフェース75が連動して動作する。撮影部1の各カメラはカメラ78として実現してよい。
【符号の説明】
【0077】
10…物体追跡装置、1…撮像部、2…初期化部、3…追跡部、4…物体検出要否判定部、5…補正部、6…出力部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】