特許 6991958 オブジェクト追跡装置、オブジェクト追跡方法、及びオブジェクト追跡プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2021-12-10

(45)【発行日】2022-01-13

(54)【発明の名称】オブジェクト追跡装置、オブジェクト追跡方法、及びオブジェクト追跡プログラム

(51)【国際特許分類】

   G06T 7/70 20170101AFI20220105BHJP

   G06T 7/00 20170101ALI20220105BHJP

   G06T 7/20 20170101ALI20220105BHJP

【ＦＩ】

G06T7/70 A

G06T7/00 660B

G06T7/20 300Z

【請求項の数】 20

(21)【出願番号】P 2018226400

(22)【出願日】2018-12-03

(65)【公開番号】P2020091519

(43)【公開日】2020-06-11

【審査請求日】2020-12-02

(73)【特許権者】

【識別番号】000208891

【氏名又は名称】ＫＤＤＩ株式会社

(74)【代理人】

【識別番号】100166006

【弁理士】

【氏名又は名称】泉 通博

(74)【代理人】

【識別番号】100124084

【弁理士】

【氏名又は名称】黒岩 久人

(74)【代理人】

【識別番号】100153280

【弁理士】

【氏名又は名称】寺川 賢祐

(72)【発明者】

【氏名】巻渕 有哉

【審査官】岡本 俊威

(56)【参考文献】

【文献】特開２０１７－１１７２４４（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００－ ７／９０

(57)【特許請求の範囲】

【請求項1】

所定エリアを撮像する撮像装置が第１時刻に撮像した撮像画像を取得する撮像画像取得部と、
前記第１時刻に撮像された前記撮像画像に映る一以上のオブジェクトのそれぞれの第１領域に対応する第１オブジェクト領域を特定するオブジェクト領域特定部と、
前記オブジェクトを模した三次元モデルを前記所定エリア内の複数の位置のそれぞれに配置した場合における前記撮像画像に映る前記三次元モデルの領域である投影領域のうち、前記第１領域に対応する複数の第１モデル領域と、前記第１領域とは異なる第２領域に対応する複数の第２モデル領域との対応関係に基づいて、特定された一以上の前記第１オブジェクト領域のそれぞれに対する距離を示す第１の距離が相対的に短い第１モデル領域に対応する第２モデル領域を複数特定するモデル領域特定部と、
前記第１時刻とは異なる時刻に前記撮像装置が撮像した撮像画像におけるオブジェクトの前記第２領域に対応する第２オブジェクト領域の位置を示す位置情報を含む追跡情報を取得する追跡情報取得部と、
特定された複数の前記第２モデル領域のうち、取得された前記追跡情報に対応する前記第２オブジェクト領域との距離を示す第２の距離が相対的に短い前記第２モデル領域を特定し、当該第２モデル領域の位置に基づいて、前記追跡情報に対応するオブジェクトの前記第１時刻における位置を特定し、当該第１時刻における位置を示す位置情報に基づいて前記追跡情報を更新する更新部と、
を備えるオブジェクト追跡装置。

【請求項2】

前記オブジェクト領域特定部は、前記第１時刻に撮像された前記撮像画像に映る一以上のオブジェクトの前記第１オブジェクト領域と、前記第１時刻に撮像された撮像画像に映る一以上のオブジェクトの前記第１領域を内包するサイズを有する前記第２領域に対応する前記第２オブジェクト領域とを特定し、
前記モデル領域特定部は、特定された前記第１オブジェクト領域のうち、前記第２オブジェクト領域に内包されない前記第１オブジェクト領域について、前記対応関係に基づいて前記第２モデル領域を特定する、
請求項１に記載のオブジェクト追跡装置。

【請求項3】

前記オブジェクト領域特定部は、前記第２オブジェクト領域に内包される前記第１オブジェクト領域を当該第２オブジェクト領域に統合し、
前記モデル領域特定部は、前記オブジェクト領域特定部により統合されなかった前記第１オブジェクト領域について、前記対応関係に基づいて前記第２モデル領域を特定する、
請求項２に記載のオブジェクト追跡装置。

【請求項4】

前記三次元モデルを前記所定エリア内の複数の位置のそれぞれに配置した場合に前記撮像画像に映る前記三次元モデルの領域である投影領域のうち、前記第１モデル領域と、前記第２モデル領域との対応関係を特定する対応関係特定部をさらに備え、
前記モデル領域特定部は、特定された前記対応関係に基づいて、特定された前記第１オブジェクト領域に対する前記第１の距離が相対的に短い第１モデル領域に対応する第２モデル領域を特定する、
請求項１から３のいずれか１項に記載のオブジェクト追跡装置。

【請求項5】

前記対応関係特定部は、前記オブジェクトが取り得る複数のサイズのそれぞれに対応する三次元モデルに対応する前記対応関係を特定し、
前記モデル領域特定部は、特定された前記対応関係に基づいて、特定された前記第１オブジェクト領域に対する前記第１の距離が相対的に短い複数の第１モデル領域に対応する複数の第２モデル領域を特定する、
請求項４に記載のオブジェクト追跡装置。

【請求項6】

前記対応関係特定部は、前記オブジェクトが取り得る複数の形状のそれぞれに対応する三次元モデルに対応する前記対応関係を特定し、
前記モデル領域特定部は、特定された前記対応関係に基づいて、特定された前記第１オブジェクト領域に対する前記第１の距離が相対的に短い複数の第１モデル領域に対応する複数の第２モデル領域を特定する、
請求項４又は５に記載のオブジェクト追跡装置。

【請求項7】

前記対応関係特定部は、相対的に近い位置の複数の第１モデル領域に対応する前記対応関係を統合する、
請求項４から６のいずれか１項に記載のオブジェクト追跡装置。

【請求項8】

前記モデル領域特定部は、特定された前記第１オブジェクト領域と、前記第１モデル領域との重複率を算出し、当該重複率が大きければ大きいほど前記第１の距離が短くなるように前記第１の距離を算出する、
請求項１から７のいずれか１項に記載のオブジェクト追跡装置。

【請求項9】

前記モデル領域特定部は、前記第１オブジェクト領域を示す位置と相対的に近い位置を有する複数の前記第１モデル領域を特定し、特定した複数の前記第１モデル領域のうち、特定された前記第１オブジェクト領域との前記第１の距離が相対的に短い第１モデル領域に対応する第２モデル領域を特定する、
請求項８に記載のオブジェクト追跡装置。

【請求項10】

前記更新部は、取得された前記追跡情報に対応する前記第２オブジェクト領域と、特定された前記第２モデル領域との重複率を算出し、当該重複率が大きければ大きいほど前記第２の距離が短くなるように前記第２の距離を算出する、
請求項１から９のいずれか１項に記載のオブジェクト追跡装置。

【請求項11】

前記追跡情報取得部は、複数のオブジェクトのそれぞれに対応する前記追跡情報を取得し、
前記更新部は、前記追跡情報に対応する複数の前記第２オブジェクト領域のそれぞれと、特定された複数の第２モデル領域との前記第２の距離を算出し、前記第２オブジェクト領域と、特定された複数の第２モデル領域との前記第２の距離の総和が相対的に小さくなる複数の前記第２オブジェクト領域と、特定された複数の第２モデル領域との組み合わせを選択することにより、前記追跡情報に対応する複数のオブジェクトの前記第１時刻における位置を特定する、
請求項１から１０のいずれか１項に記載のオブジェクト追跡装置。

【請求項12】

前記オブジェクト領域特定部は、前記第１時刻に撮像された前記撮像画像に映る複数のオブジェクトの前記第１オブジェクト領域と、前記第２オブジェクト領域とを特定し、
前記更新部は、前記オブジェクト領域特定部が特定した複数の前記第２オブジェクト領域と、前記追跡情報に対応する複数の前記第２オブジェクト領域との前記第２の距離を算出し、前記オブジェクト領域特定部が特定した複数の前記第２オブジェクト領域と、前記追跡情報に対応する複数の前記第２オブジェクト領域との前記第２の距離の総和が相対的に小さくなる前記オブジェクト領域特定部が特定した複数の前記第２オブジェクト領域と、前記追跡情報に対応する複数の前記第２オブジェクト領域との組み合わせを選択することにより、前記追跡情報に対応する複数のオブジェクトの前記第１時刻における位置を特定した後、当該組み合わせに選択されなかった前記追跡情報に対応する前記第２オブジェクト領域と、前記第２モデル領域との組み合わせを選択する、
請求項１１に記載のオブジェクト追跡装置。

【請求項13】

前記オブジェクト領域特定部は、前記第１時刻に撮像された前記撮像画像に映る複数のオブジェクトの前記第１オブジェクト領域と、前記第２オブジェクト領域とを特定し、
前記更新部は、複数の前記第２モデル領域と、前記追跡情報に対応する複数の前記第２オブジェクト領域との前記第２の距離の総和が相対的に小さくなる複数の前記第２モデル領域と、前記追跡情報に対応する複数の前記第２オブジェクト領域との組み合わせを選択することにより、前記追跡情報に対応する複数のオブジェクトの前記第１時刻における位置を特定した後、前記オブジェクト領域特定部が特定した前記第２オブジェクト領域と、当該組み合わせに選択されなかった前記追跡情報に対応する前記第２オブジェクト領域との前記第２の距離を算出し、前記オブジェクト領域特定部が特定した前記第２オブジェクト領域と、選択されなかった前記追跡情報に対応する前記第２オブジェクト領域との前記第２の距離の総和が相対的に小さくなる前記オブジェクト領域特定部が特定した前記第２オブジェクト領域と、選択されなかった前記追跡情報に対応する前記第２オブジェクト領域との組み合わせを選択することにより、選択されなかった前記追跡情報に対応するオブジェクトの前記第１時刻における位置を特定する、
請求項１１に記載のオブジェクト追跡装置。

【請求項14】

前記更新部は、特定された複数の前記第２モデル領域のうち、前記追跡情報に対応する前記第２オブジェクト領域の位置の特定に用いられなかった第２モデル領域の位置に基づいて、前記所定エリア内に新たに出現したオブジェクトの前記第１時刻における位置を特定し、当該第１時刻における当該オブジェクトの位置を示す位置情報を含む追跡情報を生成する、
請求項１から１３のいずれか１項に記載のオブジェクト追跡装置。

【請求項15】

相対的に近い位置の複数の第１モデル領域に対応する前記対応関係を統合するとともに、統合した複数の第１モデル領域に対応する前記三次元モデルの位置の範囲を特定する対応関係特定部をさらに備え、
前記更新部は、前記追跡情報に対応する前記第２オブジェクト領域の位置の特定に用いられなかった第２モデル領域のうち、当該第２モデル領域に対応する前記三次元モデルの位置の範囲が所定の範囲内である第２モデル領域の位置に基づいて、前記所定エリア内に新たに出現したオブジェクトの前記第１時刻における位置を特定し、当該第１時刻における当該オブジェクトの位置を示す位置情報を含む追跡情報を生成する、
請求項１から１４のいずれか１項に記載のオブジェクト追跡装置。

【請求項16】

前記モデル領域特定部は、統合した複数の第１モデル領域のそれぞれに対応する前記三次元モデルの位置を含む円を、統合した複数の第１モデル領域に対応する前記三次元モデルの位置の範囲として特定する、
請求項１５に記載のオブジェクト追跡装置。

【請求項17】

前記更新部は、特定された複数の前記第２モデル領域のうち、取得された前記追跡情報に対応する前記第２オブジェクト領域との距離を示す第２の距離が相対的に短い前記第２モデル領域を特定し、当該第２モデル領域に対応する前記三次元モデルの配置位置に基づいて、前記追跡情報に対応するオブジェクトの前記第１時刻における前記所定エリア上の位置を特定し、当該第１時刻における前記所定エリア上の位置を示す位置情報を前記追跡情報に含めることにより、前記追跡情報を更新する、
請求項１から１６のいずれか１項に記載のオブジェクト追跡装置。

【請求項18】

前記更新部は、特定された複数の前記第２モデル領域のうち、取得された前記追跡情報に対応する前記第２オブジェクト領域との距離を示す第２の距離が相対的に短い前記第２モデル領域を特定し、当該第２モデル領域の前記撮像画像における位置に基づいて、前記追跡情報に対応するオブジェクトの前記第１時刻における前記撮像画像上の位置を特定し、当該第１時刻における前記撮像画像上の位置を示す位置情報を前記追跡情報に含めることにより、前記追跡情報を更新する、
請求項１から１７のいずれか１項に記載のオブジェクト追跡装置。

【請求項19】

コンピュータが実行する、
所定エリアを撮像する撮像装置が第１時刻に撮像した撮像画像を取得するステップと、
前記第１時刻に撮像された前記撮像画像に映る一以上のオブジェクトのそれぞれの第１領域に対応する第１オブジェクト領域を特定するステップと、
前記オブジェクトを模した三次元モデルを前記所定エリア内の複数の位置のそれぞれに配置した場合における前記撮像画像に映る前記三次元モデルの領域である投影領域のうち、前記第１領域に対応する複数の第１モデル領域と、前記第１領域とは異なる第２領域に対応する複数の第２モデル領域との対応関係に基づいて、特定された一以上の前記第１オブジェクト領域のそれぞれに対する距離を示す第１の距離が相対的に短い第１モデル領域に対応する第２モデル領域を複数特定するステップと、
前記第１時刻とは異なる時刻に前記撮像装置が撮像した撮像画像におけるオブジェクトの前記第２領域に対応する第２オブジェクト領域の位置を示す位置情報を含む追跡情報を取得するステップと、
特定された複数の前記第２モデル領域のうち、取得された前記追跡情報に対応する前記第２オブジェクト領域との距離を示す第２の距離が相対的に短い前記第２モデル領域を特定し、当該第２モデル領域の位置に基づいて、前記追跡情報に対応するオブジェクトの前記第１時刻における位置を特定し、当該第１時刻における位置を示す位置情報に基づいて前記追跡情報を更新するステップと、
を備えるオブジェクト追跡方法。

【請求項20】

コンピュータを、
所定エリアを撮像する撮像装置が第１時刻に撮像した撮像画像を取得する撮像画像取得部、
前記第１時刻に撮像された前記撮像画像に映る一以上のオブジェクトのそれぞれの第１領域に対応する第１オブジェクト領域を特定するオブジェクト領域特定部、
前記オブジェクトを模した三次元モデルを前記所定エリア内の複数の位置のそれぞれに配置した場合における前記撮像画像に映る前記三次元モデルの領域である投影領域のうち、前記第１領域に対応する複数の第１モデル領域と、前記第１領域とは異なる第２領域に対応する複数の第２モデル領域との対応関係に基づいて、特定された一以上の前記第１オブジェクト領域のそれぞれに対する距離を示す第１の距離が相対的に短い第１モデル領域に対応する第２モデル領域を複数特定するモデル領域特定部、
前記第１時刻とは異なる時刻に前記撮像装置が撮像した撮像画像におけるオブジェクトの前記第２領域に対応する第２オブジェクト領域の位置を示す位置情報を含む追跡情報を取得する追跡情報取得部、及び、
特定された複数の前記第２モデル領域のうち、取得された前記追跡情報に対応する前記第２オブジェクト領域との距離を示す第２の距離が相対的に短い前記第２モデル領域を特定し、当該第２モデル領域の位置に基づいて、前記追跡情報に対応するオブジェクトの前記第１時刻における位置を特定し、当該第１時刻における位置を示す位置情報に基づいて前記追跡情報を更新する更新部、
として機能させるオブジェクト追跡プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、オブジェクト追跡装置、オブジェクト追跡方法、及びオブジェクト追跡プログラムに関する。

【背景技術】

【0002】

従来、マーケティングや監視等を目的として、店舗内等の所定エリアに設置されている撮像装置により撮像した画像を解析して、所定エリアに存在する人物の位置を特定する技術が開発されている。

【0003】

例えば、特許文献１及び２においては、遮蔽物により追跡中の人物の足元を隠蔽された場合に、検出されている当該人物の頭部を用いて、当該人物の位置を特定する技術が開示されている。

【0004】

具体的には、特許文献１に開示の方式では、人物の頭部を示す頭部領域と、人物の全身を示す全身領域とのいずれもが検出できたフレームにおいて、全身に対する頭部の位置を特定する。そして、特許文献１に開示の方式では、足元が遮蔽されたフレームにおいて、検出した頭部領域の位置と、前フレームで特定した全身に対する頭部の位置とから、人物の正確な足元位置を特定する。

【0005】

特許文献２に開示の方式では、全身領域が検出できたフレームにおいて、全身領域の上端及び下端と画像内の消失点（２本の平行線の交点）との位置関係から人物の身長を特定しておき、足元が隠蔽されていると判定した場合に、検出した全身領域の上部と、特定した人物の身長とに基づいて、当該人物の足元位置を特定する。

【先行技術文献】

【特許文献】

【0006】

【文献】特開２０１８―１８２３４号公報

【文献】特開２０１０－２３７８７２号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

ところで、特許文献１及び２に示される従来の方式では、所定エリアに対して斜め下方向を撮像した画像において、人物の頭部が画像内の上に、人物の足元が画像内の下に写っていることを前提としている。図１６は、従来の方式において想定される撮像画像の一例を示す図である。

【0008】

しかしながら、店舗内等の所定エリアにおける人物等のオブジェクトの動線解析においては、所定エリアの天井に設置され、真下方向を撮像する撮像装置（例えば、全方位カメラ）を用いることが多い。図１７は、全方位カメラにより撮像された撮像画像の一例を示す図である。図１７に示すように、全方位カメラにより撮像された撮像画像では、頭部と足元との上下関係が逆転したり、撮像画像の中心領域では頭頂部のみが写ったりする場合があり、従来方式を適用することができないという問題がある。

【0009】

そこで、本発明はこれらの点に鑑みてなされたものであり、撮像装置の種類及び撮像角度に関わらず、オブジェクトの全体が検出できなかった場合であってもオブジェクトの動線追跡を行うことができるオブジェクト追跡装置、オブジェクト追跡方法、及びオブジェクト追跡プログラムを提供することを目的とする。

【課題を解決するための手段】

【0010】

本発明の第１の態様に係るオブジェクト追跡装置は、所定エリアを撮像する撮像装置が第１時刻に撮像した撮像画像を取得する撮像画像取得部と、前記第１時刻に撮像された前記撮像画像に映る一以上のオブジェクトのそれぞれの第１領域に対応する第１オブジェクト領域を特定するオブジェクト領域特定部と、前記オブジェクトを模した三次元モデルを前記所定エリア内の複数の位置のそれぞれに配置した場合における前記撮像画像に映る前記三次元モデルの領域である投影領域のうち、前記第１領域に対応する複数の第１モデル領域と、前記第１領域とは異なる第２領域に対応する複数の第２モデル領域との対応関係に基づいて、特定された一以上の前記第１オブジェクト領域のそれぞれに対する距離を示す第１の距離が相対的に短い第１モデル領域に対応する第２モデル領域を複数特定するモデル領域特定部と、前記第１時刻とは異なる時刻に前記撮像装置が撮像した撮像画像におけるオブジェクトの前記第２領域に対応する第２オブジェクト領域の位置を示す位置情報を含む追跡情報を取得する追跡情報取得部と、特定された複数の前記第２モデル領域のうち、取得された前記追跡情報に対応する前記第２オブジェクト領域との距離を示す第２の距離が相対的に短い前記第２モデル領域を特定し、当該第２モデル領域の位置に基づいて、前記追跡情報に対応するオブジェクトの前記第１時刻における位置を特定し、当該第１時刻における位置を示す位置情報に基づいて前記追跡情報を更新する更新部と、を備える。

【0011】

前記オブジェクト領域特定部は、前記第１時刻に撮像された前記撮像画像に映る一以上のオブジェクトの前記第１オブジェクト領域と、前記第１時刻に撮像された撮像画像に映る一以上のオブジェクトの前記第１領域を内包するサイズを有する前記第２領域に対応する前記第２オブジェクト領域とを特定し、前記モデル領域特定部は、特定された前記第１オブジェクト領域のうち、前記第２オブジェクト領域に内包されない前記第１オブジェクト領域について、前記対応関係に基づいて前記第２モデル領域を特定してもよい。

【0012】

前記オブジェクト領域特定部は、前記第２オブジェクト領域に内包される前記第１オブジェクト領域を当該第２オブジェクト領域に統合し、前記モデル領域特定部は、前記オブジェクト領域特定部により統合されなかった前記第１オブジェクト領域について、前記対応関係に基づいて前記第２モデル領域を特定してもよい。

【0013】

前記オブジェクト追跡装置は、前記三次元モデルを前記所定エリア内の複数の位置のそれぞれに配置した場合に前記撮像画像に映る前記三次元モデルの領域である投影領域のうち、前記第１モデル領域と、前記第２モデル領域との対応関係を特定する対応関係特定部をさらに備え、前記モデル領域特定部は、特定された前記対応関係に基づいて、特定された前記第１オブジェクト領域に対する前記第１の距離が相対的に短い第１モデル領域に対応する第２モデル領域を特定してもよい。

【0014】

前記対応関係特定部は、前記オブジェクトが取り得る複数のサイズのそれぞれに対応する三次元モデルに対応する前記対応関係を特定し、前記モデル領域特定部は、特定された前記対応関係に基づいて、特定された前記第１オブジェクト領域に対する前記第１の距離が相対的に短い複数の第１モデル領域に対応する複数の第２モデル領域を特定してもよい。

【0015】

前記対応関係特定部は、前記オブジェクトが取り得る複数の形状のそれぞれに対応する三次元モデルに対応する前記対応関係を特定し、前記モデル領域特定部は、特定された前記対応関係に基づいて、特定された前記第１オブジェクト領域に対する前記第１の距離が相対的に短い複数の第１モデル領域に対応する複数の第２モデル領域を特定してもよい。
前記対応関係特定部は、相対的に近い位置の複数の第１モデル領域に対応する前記対応関係を統合してもよい。

【0016】

前記モデル領域特定部は、特定された前記第１オブジェクト領域と、前記第１モデル領域との重複率を算出し、当該重複率が大きければ大きいほど前記第１の距離が短くなるように前記第１の距離を算出してもよい。

【0017】

前記モデル領域特定部は、前記第１オブジェクト領域を示す位置と相対的に近い位置を有する複数の前記第１モデル領域を特定し、特定した複数の前記第１モデル領域のうち、特定された前記第１オブジェクト領域との前記第１の距離が相対的に短い第１モデル領域に対応する第２モデル領域を特定してもよい。

【0018】

前記更新部は、取得された前記追跡情報に対応する前記第２オブジェクト領域と、特定された前記第２モデル領域との重複率を算出し、当該重複率が大きければ大きいほど前記第２の距離が短くなるように前記第２の距離を算出してもよい。

【0019】

前記追跡情報取得部は、複数のオブジェクトのそれぞれに対応する前記追跡情報を取得し、前記更新部は、前記追跡情報に対応する複数の前記第２オブジェクト領域のそれぞれと、特定された複数の第２モデル領域との前記第２の距離を算出し、前記第２オブジェクト領域と、特定された複数の第２モデル領域との前記第２の距離の総和が相対的に小さくなる複数の前記第２オブジェクト領域と、特定された複数の第２モデル領域との組み合わせを選択することにより、前記追跡情報に対応する複数のオブジェクトの前記第１時刻における位置を特定してもよい。

【0020】

前記オブジェクト領域特定部は、前記第１時刻に撮像された前記撮像画像に映る複数のオブジェクトの前記第１オブジェクト領域と、前記第２オブジェクト領域とを特定し、前記更新部は、前記オブジェクト領域特定部が特定した複数の前記第２オブジェクト領域と、前記追跡情報に対応する複数の前記第２オブジェクト領域との前記第２の距離を算出し、前記オブジェクト領域特定部が特定した複数の前記第２オブジェクト領域と、前記追跡情報に対応する複数の前記第２オブジェクト領域との前記第２の距離の総和が相対的に小さくなる前記オブジェクト領域特定部が特定した複数の前記第２オブジェクト領域と、前記追跡情報に対応する複数の前記第２オブジェクト領域との組み合わせを選択することにより、前記追跡情報に対応する複数のオブジェクトの前記第１時刻における位置を特定した後、当該組み合わせに選択されなかった前記追跡情報に対応する前記第２オブジェクト領域と、前記第２モデル領域との組み合わせを選択してもよい。

【0021】

前記オブジェクト領域特定部は、前記第１時刻に撮像された前記撮像画像に映る複数のオブジェクトの前記第１オブジェクト領域と、前記第２オブジェクト領域とを特定し、前記更新部は、複数の前記第２モデル領域と、前記追跡情報に対応する複数の前記第２オブジェクト領域との前記第２の距離の総和が相対的に小さくなる複数の前記第２モデル領域と、前記追跡情報に対応する複数の前記第２オブジェクト領域との組み合わせを選択することにより、前記追跡情報に対応する複数のオブジェクトの前記第１時刻における位置を特定した後、前記オブジェクト領域特定部が特定した前記第２オブジェクト領域と、当該組み合わせに選択されなかった前記追跡情報に対応する前記第２オブジェクト領域との前記第２の距離を算出し、前記オブジェクト領域特定部が特定した前記第２オブジェクト領域と、選択されなかった前記追跡情報に対応する前記第２オブジェクト領域との前記第２の距離の総和が相対的に小さくなる前記オブジェクト領域特定部が特定した前記第２オブジェクト領域と、選択されなかった前記追跡情報に対応する前記第２オブジェクト領域との組み合わせを選択することにより、選択されなかった前記追跡情報に対応するオブジェクトの前記第１時刻における位置を特定してもよい。

【0022】

前記更新部は、特定された複数の前記第２モデル領域のうち、前記追跡情報に対応する前記第２オブジェクト領域の位置の特定に用いられなかった第２モデル領域の位置に基づいて、前記所定エリア内に新たに出現したオブジェクトの前記第１時刻における位置を特定し、当該第１時刻における当該オブジェクトの位置を示す位置情報を含む追跡情報を生成してもよい。

【0023】

前記オブジェクト追跡装置は、相対的に近い位置の複数の第１モデル領域に対応する前記対応関係を統合するとともに、統合した複数の第１モデル領域に対応する前記三次元モデルの位置の範囲を特定する対応関係特定部をさらに備え、前記更新部は、前記追跡情報に対応する前記第２オブジェクト領域の位置の特定に用いられなかった第２モデル領域のうち、当該第２モデル領域に対応する前記三次元モデルの位置の範囲が所定の範囲内である第２モデル領域の位置に基づいて、前記所定エリア内に新たに出現したオブジェクトの前記第１時刻における位置を特定し、当該第１時刻における当該オブジェクトの位置を示す位置情報を含む追跡情報を生成してもよい。

【0024】

前記モデル領域特定部は、統合した複数の第１モデル領域のそれぞれに対応する前記三次元モデルの位置を含む円を、統合した複数の第１モデル領域に対応する前記三次元モデルの位置の範囲として特定してもよい。

【0025】

前記更新部は、特定された複数の前記第２モデル領域のうち、取得された前記追跡情報に対応する前記第２オブジェクト領域との距離を示す第２の距離が相対的に短い前記第２モデル領域を特定し、当該第２モデル領域に対応する前記三次元モデルの配置位置に基づいて、前記追跡情報に対応するオブジェクトの前記第１時刻における前記所定エリア上の位置を特定し、当該第１時刻における前記所定エリア上の位置を示す位置情報を前記追跡情報に含めることにより、前記追跡情報を更新してもよい。

【0026】

前記更新部は、特定された複数の前記第２モデル領域のうち、取得された前記追跡情報に対応する前記第２オブジェクト領域との距離を示す第２の距離が相対的に短い前記第２モデル領域を特定し、当該第２モデル領域の前記撮像画像における位置に基づいて、前記追跡情報に対応するオブジェクトの前記第１時刻における前記撮像画像上の位置を特定し、当該第１時刻における前記撮像画像上の位置を示す位置情報を前記追跡情報に含めることにより、前記追跡情報を更新してもよい。

【0027】

本発明の第２の態様に係るオブジェクト追跡方法は、コンピュータが実行する、所定エリアを撮像する撮像装置が第１時刻に撮像した撮像画像を取得するステップと、前記第１時刻に撮像された前記撮像画像に映る一以上のオブジェクトのそれぞれの第１領域に対応する第１オブジェクト領域を特定するステップと、前記オブジェクトを模した三次元モデルを前記所定エリア内の複数の位置のそれぞれに配置した場合における前記撮像画像に映る前記三次元モデルの領域である投影領域のうち、前記第１領域に対応する複数の第１モデル領域と、前記第１領域とは異なる第２領域に対応する複数の第２モデル領域との対応関係に基づいて、特定された一以上の前記第１オブジェクト領域のそれぞれに対する距離を示す第１の距離が相対的に短い第１モデル領域に対応する第２モデル領域を複数特定するステップと、前記第１時刻とは異なる時刻に前記撮像装置が撮像した撮像画像におけるオブジェクトの前記第２領域に対応する第２オブジェクト領域の位置を示す位置情報を含む追跡情報を取得するステップと、特定された複数の前記第２モデル領域のうち、取得された前記追跡情報に対応する前記第２オブジェクト領域との距離を示す第２の距離が相対的に短い前記第２モデル領域を特定し、当該第２モデル領域の位置に基づいて、前記追跡情報に対応するオブジェクトの前記第１時刻における位置を特定し、当該第１時刻における位置を示す位置情報に基づいて前記追跡情報を更新するステップと、を備える。

【0028】

本発明の第３の態様に係るオブジェクト追跡プログラムは、コンピュータを、所定エリアを撮像する撮像装置が第１時刻に撮像した撮像画像を取得する撮像画像取得部、前記第１時刻に撮像された前記撮像画像に映る一以上のオブジェクトのそれぞれの第１領域に対応する第１オブジェクト領域を特定するオブジェクト領域特定部、前記オブジェクトを模した三次元モデルを前記所定エリア内の複数の位置のそれぞれに配置した場合における前記撮像画像に映る前記三次元モデルの領域である投影領域のうち、前記第１領域に対応する複数の第１モデル領域と、前記第１領域とは異なる第２領域に対応する複数の第２モデル領域との対応関係に基づいて、特定された一以上の前記第１オブジェクト領域のそれぞれに対する距離を示す第１の距離が相対的に短い第１モデル領域に対応する第２モデル領域を複数特定するモデル領域特定部、前記第１時刻とは異なる時刻に前記撮像装置が撮像した撮像画像におけるオブジェクトの前記第２領域に対応する第２オブジェクト領域の位置を示す位置情報を含む追跡情報を取得する追跡情報取得部、及び、特定された複数の前記第２モデル領域のうち、取得された前記追跡情報に対応する前記第２オブジェクト領域との距離を示す第２の距離が相対的に短い前記第２モデル領域を特定し、当該第２モデル領域の位置に基づいて、前記追跡情報に対応するオブジェクトの前記第１時刻における位置を特定し、当該第１時刻における位置を示す位置情報に基づいて前記追跡情報を更新する更新部、として機能させる。

【発明の効果】

【0029】

本発明によれば、撮像装置の種類及び撮像角度に関わらず、オブジェクトの位置の特定精度を向上することができるという効果を奏する。

【図面の簡単な説明】

【0030】

【図1】本実施形態に係るオブジェクト追跡装置の概要を示す図である。

【図2】本実施形態に係るオブジェクト追跡装置の構成を示す図である。

【図3】本実施形態に係るオブジェクト追跡装置における処理の流れを示すフローチャートである。

【図4】追跡情報に対応し、第１時刻とは異なる時刻におけるオブジェクトの追跡状態を示す図である。

【図5】本実施形態に係る所定エリアの複数の位置のそれぞれにおけるオブジェクトと、当該オブジェクトの第１オブジェクト領域及び第２オブジェクト領域の関係を示す図である。

【図6】検出モデルを用いて、第１オブジェクト領域及び第２オブジェクト領域を特定した結果の一例を示す図である。

【図7】本実施形態に係る三次元モデルの一例を示す図である。

【図8】本実施形態に係る第１モデル領域と、第２モデル領域とを特定する例を示す図である。

【図9】本実施形態に係る異なるサイズの複数の三次元モデルの一例を示す図である。

【図10】同一の中心位置を有する第１モデル領域の一例を示す図である。

【図11】統合した複数の第１オブジェクト領域に対応する三次元モデルの位置の範囲を特定する例を示す図である。

【図12】本実施形態に係るモデル領域特定部が第２モデル領域を特定する例を説明する図である。

【図13】図６に示す第１オブジェクト領域及び第２オブジェクト領域を特定した結果に対して、複数の第２モデル領域を特定した例を示す図である。

【図14】本実施形態に係る距離行列の一例を図である。

【図15】第１時刻におけるオブジェクトの追跡状態を示す図である。

【図16】従来の方式において想定される撮像画像の一例を示す図である。

【図17】全方位カメラにより撮像された撮像画像の一例を示す図である。

【発明を実施するための形態】

【0031】

［オブジェクト追跡装置１の概要］
図１は、本実施形態に係るオブジェクト追跡装置１の概要を示す図である。オブジェクト追跡装置１は、所定エリアにおけるオブジェクトの位置を追跡するコンピュータである。オブジェクト追跡装置１は、撮像装置が撮像した第１時刻における所定エリアの撮像画像を取得する（図１の（１））。所定エリアは、例えば店舗内の空間である。オブジェクトは、例えば、所定エリア内を行動する店員や顧客である。

【0032】

撮像装置は、例えば、所定エリアの天井に設置され、真下方向を撮像する全方位カメラである。なお、本実施形態では、撮像装置が真下方向を撮像する全方位カメラであることとするが、これに限らない。撮像装置は、全方位カメラとは異なる通常のカメラであってもよく、撮像装置の撮像角度も、任意の角度であってもよい。

【0033】

オブジェクト追跡装置１は、第１時刻とは異なる時刻に撮像装置が撮像した撮像画像におけるオブジェクトの追跡情報を取得する（図１の（２））。オブジェクト追跡装置１は、第１時刻に撮像された撮像画像に映るオブジェクトを示す第１領域である第１オブジェクト領域を少なくとも特定する（図１の（３））。図１では、第１時刻における撮像画像において、破線の矩形領域で示される２つの第１オブジェクト領域Ｄｈ１、Ｄｈ２が示されている。

【0034】

オブジェクト追跡装置１は、オブジェクトに対応する三次元モデルを、所定エリアを示す三次元空間の複数の位置のそれぞれに仮想的に配置した場合に撮像画像に映る三次元モデルの投影領域のうち、第１領域に対応する複数の第１モデル領域（図１には不図示）と、第１領域とは異なる第２領域に対応する複数の第２モデル領域との対応関係に基づいて、特定した第１オブジェクト領域に対し、相対的に近い位置の第１モデル領域に対応する第２モデル領域を特定する（図１の（４））。図１では、第１時刻における撮像画像に対し、実線の矩形領域で示される２つの第２モデル領域Ｄｆｍ１、Ｄｆｍ２が示されている。なお、対応関係としては、１つの第１モデル領域と、１つの第２モデル領域との関係を示す場合と、１つの第１モデル領域と、複数の第２モデル領域との関係を示す場合とがあるものとする。

【0035】

オブジェクト追跡装置１は、追跡情報に含まれ、第２領域に対応する第２オブジェクト領域との距離が相対的に短い第２モデル領域の位置に基づいて、第１時刻におけるオブジェクトの位置を特定する（図１の（５））。図１に示す例では、追跡情報に対応する撮像情報に示される第２オブジェクト領域Ｔｆに対し、相対的に距離が短い第２モデル領域として、Ｄｆｍ１が特定される。その後、オブジェクト追跡装置１は、特定した第１時刻におけるオブジェクトの位置に基づいて追跡情報を更新する（図１の（６））。

【0036】

このようにすることで、オブジェクト追跡装置１は、オブジェクトの第１領域と、第２領域との適切な位置関係を示す第１モデル領域と、第２モデル領域との対応関係に基づいて、撮像画像中において第１オブジェクト領域しか特定できなかった場合であっても、当該第１オブジェクト領域に対応するオブジェクトの位置を特定することができる。

【0037】

また、第１モデル領域と、第２モデル領域との対応関係は、撮像装置が撮像した撮像画像に対する三次元モデルの投影領域に基づいて規定されるものである。したがって、オブジェクト追跡装置１は、撮像装置の種類及び撮像角度に関わらず、オブジェクトの位置の特定精度を維持することができる。

【0038】

［オブジェクト追跡装置１の構成］
続いて、オブジェクト追跡装置１の構成を説明する。図２は、本実施形態に係るオブジェクト追跡装置１の構成を示す図である。図２に示すように、オブジェクト追跡装置１は、記憶部１１と、制御部１２とを備える。

【0039】

記憶部１１は、ＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）等を含む記憶媒体である。記憶部１１は、制御部１２が実行するプログラムを記憶している。例えば、記憶部１１は、オブジェクト追跡装置１を、追跡情報取得部１２１、撮像画像取得部１２２、オブジェクト領域特定部１２３、対応関係特定部１２４、モデル領域特定部１２５、及び更新部１２６として機能させるオブジェクト追跡プログラムを記憶している。

【0040】

制御部１２は、例えばＣＰＵ（Central Processing Unit）である。制御部１２は、記憶部１１に記憶されたオブジェクト追跡プログラムを実行することにより、追跡情報取得部１２１、撮像画像取得部１２２、オブジェクト領域特定部１２３、対応関係特定部１２４、モデル領域特定部１２５、及び更新部１２６として機能する。

【0041】

追跡情報取得部１２１、撮像画像取得部１２２、オブジェクト領域特定部１２３、対応関係特定部１２４、モデル領域特定部１２５、及び更新部１２６の詳細を説明する前に、オブジェクトに対応する領域について説明する。本実施形態において、オブジェクトに対応する領域として、第１領域と、第２領域とがある。第１領域は、例えばオブジェクトとしての人物の頭部を示す領域であり、第２領域は、人物の全身を示す領域である。第２領域のサイズは、第１領域を内包するサイズである。

【0042】

続いて、オブジェクト追跡装置１における処理の流れを示す図３を参照しながら、追跡情報取得部１２１、撮像画像取得部１２２、オブジェクト領域特定部１２３、対応関係特定部１２４、モデル領域特定部１２５、及び更新部１２６の詳細について説明する。図３は、本実施形態に係るオブジェクト追跡装置１における処理の流れを示すフローチャートである。

【0043】

追跡情報取得部１２１は、第１時刻とは異なる時刻に撮像装置が撮像した撮像画像におけるオブジェクトの位置を示す位置情報を含む追跡情報を取得する（Ｓ１）。ここで、第１時刻とは異なる時刻は、例えば、第１時刻よりも前の時刻である。例えば、追跡情報は、記憶部１１に予め記憶されており、追跡情報取得部１２１は、記憶部１１に記憶されている追跡情報を取得する。追跡情報には、オブジェクトの第２領域に対応する第２オブジェクト領域の位置を示す情報として、撮像画像上の第２オブジェクト領域の位置及び大きさを示す４次元のベクトル（ｕ，ｖ，ｗ，ｈ）が含まれている。さらに、所定エリア上の位置を示す位置情報（Ｘ，Ｙ）が含まれていてもよい。ここで、ｕ，ｖは、第２オブジェクト領域を示す矩形の中心位置を示す情報であり、ｗ，ｈは、当該矩形の横幅及び高さを示す情報である。以下の説明において、矩形を示す４次元のベクトルを矩形情報ともいう。

【0044】

図４は、追跡情報に対応し、第１時刻とは異なる時刻におけるオブジェクトの追跡状態を示す図である。図４に示す例では、オブジェクトとして、Ｐ１からＰ６までの６人の人物が写っており、このうちの４人がＡからＤまでの人物ＩＤを割り当てた第２オブジェクト領域Ｔｆ１～Ｔｆ４により追跡されている。なお、オブジェクトＰ５及びＰ６は、未追跡である。

【0045】

撮像画像取得部１２２は、所定エリアを撮像する撮像装置が第１時刻に撮像した撮像画像を取得する（Ｓ２）。例えば、撮像装置が第１時刻に撮像した撮像画像は、記憶部１１に予め記憶されている。撮像画像取得部１２２は、記憶部１１に記憶されている第１時刻に撮像された撮像画像を取得する。

【0046】

オブジェクト領域特定部１２３は、撮像画像取得部１２２が取得した撮像画像に映る一以上のオブジェクトのそれぞれの第１領域に対応する第１オブジェクト領域と、撮像画像に映る一以上のオブジェクトのそれぞれの第２領域である第２オブジェクト領域とを特定する（Ｓ３）。オブジェクト領域特定部１２３は、撮像画像取得部１２２が取得した撮像画像から、第１オブジェクト領域と第２オブジェクト領域とを、一以上特定する。

【0047】

例えば、オブジェクト領域特定部１２３は、第１領域を示す矩形情報（ｕ，ｖ，ｗ，ｈ）を特定することにより、第１オブジェクト領域を特定する。同様に、オブジェクト領域特定部１２３は、第２領域を示す矩形情報を特定することにより、第２オブジェクト領域を特定する。以下、各領域を矩形により表す場合を例として説明するが、オブジェクト領域特定部１２３は、他の任意の形状により各領域を特定してもよい。

【0048】

オブジェクト領域特定部１２３は、撮像画像中の第１オブジェクト領域及び第２オブジェクト領域のそれぞれについて正解の矩形情報を付与して学習した機械学習（例えば、Support Vector Machine）や深層学習（例えば、Convolutional Neural Network）の検出モデルを用いることにより、撮像画像に含まれる第１オブジェクト領域と、第２オブジェクト領域とを特定する。図５は、本実施形態に係る所定エリアの複数の位置のそれぞれにおけるオブジェクトと、当該オブジェクトの第１オブジェクト領域及び第２オブジェクト領域の関係を示す図である。オブジェクト領域特定部１２３は、図５に示すように、撮像画像に対し、矩形情報を手動で付与した情報を用いて、予め学習を行い、検出モデルを作成することができる。

【0049】

なお、オブジェクト領域特定部１２３は、第１オブジェクト領域と第２オブジェクト領域とを個別に学習した２つの検出モデルを用いてもよいが、推論時間の観点では、第１オブジェクト領域を１クラス目、第２オブジェクト領域を２クラス目として学習させ、第１オブジェクト領域と第２オブジェクト領域とを一度に検出することが可能な単一の検出モデルを使用することが望ましい。

【0050】

図６は、検出モデルを用いて、第１オブジェクト領域及び第２オブジェクト領域を特定した結果の一例を示す図である。図６に示される撮像画像は、図４に示す撮像画像よりも後の時刻に撮像された画像であり、６つのオブジェクトＰ１～Ｐ６が、図４に示す状態から移動している。図４に示す撮像画像の撮像時刻を時刻ｔ－１、図６に示す撮像画像の撮像時刻、すなわち、第１時刻を時刻ｔとする。図６では、オブジェクトＰ２の足元に遮蔽物Ｏが存在する。図６に示す例では、３つの第１オブジェクト領域Ｄｈ１～Ｄｈ３と、２つの第２オブジェクト領域Ｄｆ１、Ｄｆ２とが特定されていることが確認できる。一方で、オブジェクトＰ１、Ｐ４の第１オブジェクト領域及び第２オブジェクト領域と、オブジェクトＰ２、Ｐ５の第２オブジェクト領域と、オブジェクトＰ６の第１オブジェクト領域とは、未検出（False Negative）である。

【0051】

ここで、オブジェクト領域特定部１２３は、内包関係を有する領域を統合する重複率に基づくＮＭＳ（Non-Maximum Suppression）により、第２オブジェクト領域に内包される第１オブジェクト領域を、当該第２オブジェクト領域に統合してもよい。

【0052】

ＮＭＳとは、同一のオブジェクトから検出された複数の検出結果を１つの検出結果に統合する処理である。オブジェクト領域特定部１２３は、統合する領域をそれぞれＡとＢとした場合に、ＮＭＳ処理を行うことにより、一般的に（Ａ∩Ｂ）／（Ａ∪Ｂ）が所定値以上の領域を１つに統合する。

【0053】

しかしながら、図６に示されるオブジェクトＰ３のように、同一のオブジェクトから特定された第１オブジェクト領域及び第２オブジェクト領域は、大きさが異なるため、上記の計算式に基づくＮＭＳ処理では１つに統合されない。

【0054】

そこで、オブジェクト領域特定部１２３は、同一のオブジェクトから検出された第１オブジェクト領域及び第２オブジェクト領域を統合することを目的として、ｍａｘ（Ａ／（Ａ∪Ｂ），Ｂ／（Ａ∪Ｂ））に基づくＮＭＳ処理を行う。ここで、ｍａｘ（）は、内部に渡される２つの数値のうち、大きい数値を選択する関数である。これにより、包含関係を有する領域が１つに統合されることになり、後段の処理においてオブジェクトの過検出を抑制できる。

【0055】

なお、オブジェクト領域特定部１２３は、第１オブジェクト領域と、第２オブジェクト領域とを１つの矩形に統合する場合に、検出モデルが出力するスコアが高いオブジェクト領域に統合してもよい。本実施形態において、オブジェクト領域特定部１２３は、図６に示す第１オブジェクト領域Ｄｈ３を、第２オブジェクト領域Ｄｆ１に統合したものとする。

【0056】

対応関係特定部１２４は、オブジェクトを模した三次元モデルを所定エリア内の複数の位置のそれぞれに配置した場合に、撮像画像に映る三次元モデルの領域である投影領域のうち、第１領域に対応する第１モデル領域と、第２領域に対応する第２モデル領域との対応関係を特定する（Ｓ４）。

【0057】

図７は、本実施形態に係る三次元モデルの一例を示す図である。例えば、オブジェクトとしての特定の身長の人物のみが所定エリアに存在し、かつ、全ての人物が直立状態と仮定し、使用する三次元モデルの高さを一定値（例えば、１．７ｍ）とする。三次元モデルの形状は簡易的なものであってもよく、図７に示すように、頭部を球体、胴体部分を円柱により構成してもよい。また、人物の身長が１．７ｍであり、７等身であると想定した場合、図７に示すように、頭部に対応する球体の直径を０．２ｍとしてもよい。

【0058】

対応関係特定部１２４は、所定エリア上の位置に三次元モデルを仮想的に配置した場合に、撮像装置が撮像した画像に含まれる三次元モデルの投影領域を算出する。例えば、記憶部１１に、三次元モデルを構成する点群を示す点群情報を記憶させておくとともに、撮像装置により撮像された画像の一点と三次元空間における一点との対応関係を示す撮像装置のキャリブレーションに関するパラメータを記憶させておく。ここで、三次元モデルを構成する点群を構成する複数の点のそれぞれは、三次元空間における座標により表現される。また、パラメータには、撮像装置の設置位置及び設置方向によって定まる外部パラメータと、撮像装置の画像歪みに関する内部パラメータとが含まれる。

【0059】

対応関係特定部１２４は、記憶部１１から当該点群情報と当該パラメータとを取得し、所定エリア上の位置に三次元モデルを仮想的に配置した場合に、当該点群情報が示す点群の少なくとも一部について、当該パラメータに基づいて、撮像装置が撮像する画像上への投影点を算出する。そして、対応関係特定部１２４は、第１領域（頭部）に対応する投影点の点群を含む領域の輪郭を近似する多角形領域の外接矩形を第１モデル領域として特定するとともに、第２領域（全身）に対応する投影点の点群を含む領域の輪郭を近似する多角形領域の外接矩形を第２モデル領域として特定する。

【0060】

図８は、本実施形態に係る第１モデル領域と、第２モデル領域とを特定する例を示す図である。図８に示すように、対応関係特定部１２４は、例えば、所定エリアの一平面上（Ｚ＝０）の位置（Ｘ，Ｙ）に三次元モデルを仮想的に配置した場合に、第１モデル領域Ｄｈｍを示す撮像画像上の位置を示す矩形情報（ｕ＿ｈ，ｖ＿ｈ，ｗ＿ｈ，ｈ＿ｈ）と、第２モデル領域Ｄｆｍを示す撮像画像上の位置を示す矩形情報（ｕ＿ｆ，ｖ＿ｆ，ｗ＿ｆ，ｈ＿ｆ）とが特定されていることが確認できる。ここで、ｕ＿ｈ，ｖ＿ｈ、及びｕ＿ｆ，ｖ＿ｆは、外接矩形の中心座標を示す情報である。また、ｗ＿ｈ及びｗ＿ｆは、外接矩形の横幅を示す情報である。また、ｈ＿ｈ及びｈ＿ｆは、外接矩形の高さを示す情報である。

【0061】

対応関係特定部１２４は、第１モデル領域を示す矩形情報及び第２モデル領域を示す矩形情報との対応関係を示す情報として、以下に示す８次元のベクトルを生成する。
（ｕ＿ｈ，ｖ＿ｈ，ｗ＿ｈ，ｈ＿ｈ，ｕ＿ｆ，ｖ＿ｆ，ｗ＿ｆ，ｈ＿ｆ）

【0062】

対応関係特定部１２４は、所定エリアの複数の位置に三次元モデルを仮想的に配置したときの第１モデル領域と第２モデル領域との関係を示す８次元のベクトルを特定することにより、複数の第１モデル領域と、複数の第２モデル領域との対応関係を特定する。対応関係特定部１２４は、特定した複数の８次元のベクトルをモデル情報として記憶部１１に記憶させる。

【0063】

なお、本実施形態において、対応関係特定部１２４は、オブジェクト領域特定部１２３の処理の後に、対応関係を特定することとしたが、これに限らない。オブジェクト領域特定部１２３は、第１モデル領域と第２モデル領域の対応関係を予め特定し、モデル情報を記憶部１１に記憶させるようにしてもよい。また、対応関係特定部１２４は、後述するモデル領域特定部１２５が、第１オブジェクト領域に対応する第２モデル領域を特定する際の計算コストを抑えるため、モデル情報が示す８次元のベクトルを参照されるデータとして、参照時のクエリとする最初の２次元データを、ｋｄ（k-dimensional）木によりインデックス化しておいてもよい。

【0064】

なお、所定エリア内に多様な身長の人物が存在する場合や、人物の姿勢が変化する場合がある。この場合に、所定エリア内におけるオブジェクトのサイズや形状を一定と仮定すると、オブジェクトの位置特定の精度が低下するという問題がある。そこで、対応関係特定部１２４は、オブジェクトが取り得る複数のサイズ及び複数の形状のそれぞれに対応する三次元モデルに対応する第１モデル領域と第２モデル領域との対応関係を特定してもよい。

【0065】

図９は、本実施形態に係る異なるサイズの複数の三次元モデルの一例を示す図である。なお、本実施形態では、異なるサイズの複数の三次元モデルの一例について説明するが、異なる形状の三次元モデルについても、同様に実施できるため、詳細な説明を省略する。図９に示す例では、オブジェクトとしての人物の身長の範囲を１．３ｍ～１．７ｍと仮定し、０．２ｍ間隔で３つの三次元モデルを規定している。この場合、対応関係特定部１２４は、所定エリアにおける１つの位置について、３つの三次元モデルのそれぞれに対応して、以下に示すように、第１モデル領域を示す撮像画像上の位置を示す矩形情報と、第２モデル領域を示す撮像画像上の位置を示す矩形情報とを特定する。

【0066】

オブジェクトの高さが１．７ｍ
第１モデル領域の矩形情報：（ｕ１＿ｈ，ｖ１＿ｈ，ｗ１＿ｈ，ｈ１＿ｈ）
第２モデル領域の矩形情報：（ｕ１＿ｆ，ｖ１＿ｆ，ｗ１＿ｆ，ｈ１＿ｆ）

【0067】

オブジェクトの高さが１．５ｍ
第１モデル領域の矩形情報：（ｕ２＿ｈ，ｖ２＿ｈ，ｗ２＿ｈ，ｈ２＿ｈ）
第２モデル領域の矩形情報：（ｕ２＿ｆ，ｖ２＿ｆ，ｗ２＿ｆ，ｈ２＿ｆ）

【0068】

オブジェクトの高さが１．３ｍ
第１モデル領域の矩形情報：（ｕ３＿ｈ，ｖ３＿ｈ，ｗ３＿ｈ，ｈ３＿ｈ）
第２モデル領域の矩形情報：（ｕ３＿ｆ，ｖ３＿ｆ，ｗ３＿ｆ，ｈ３＿ｆ）

【0069】

そして、対応関係特定部１２４は、所定エリアにおける１つの位置について、以下に示す３つのモデル情報を生成することができる。
（ｕ１＿ｈ、ｖ１＿ｈ，ｗ１＿ｈ，ｈ１＿ｈ，ｕ１＿ｆ，ｖ１＿ｆ，ｗ１＿ｆ，ｈ１＿ｆ）
（ｕ２＿ｈ、ｖ２＿ｈ，ｗ２＿ｈ，ｈ２＿ｈ，ｕ２＿ｆ，ｖ２＿ｆ，ｗ２＿ｆ，ｈ２＿ｆ）
（ｕ３＿ｈ、ｖ３＿ｈ，ｗ３＿ｈ，ｈ３＿ｈ，ｕ３＿ｆ，ｖ３＿ｆ，ｗ３＿ｆ，ｈ３＿ｆ）

【0070】

三次元モデルの高さの範囲を大きくするほど、また、複数の三次元モデルの高さの間隔を狭くするほど、後述する更新部１２６において高精度にオブジェクトの位置を特定することが可能である。その一方で、特定したモデル情報の容量が増加するという問題、及び、後述するモデル領域特定部１２５において第１オブジェクト領域に対応する第２モデル領域を特定するための計算コストが増大するという問題がある。

【0071】

そこで、対応関係特定部１２４は、相対的に近い位置の複数の第１モデル領域に対応する第１モデル領域と第２モデル領域との対応関係を統合してもよい。例えば、対応関係特定部１２４は、複数の第１モデル領域に対応する矩形情報を参照し、相対的に近い中心位置を有する複数の第１モデル領域を特定し、当該複数の第１モデル領域のそれぞれに対応する複数の対応関係を統合する。

【0072】

図１０は、同一の中心位置を有する第１モデル領域の一例を示す図である。図１０に示す例では、異なる配置位置及び異なるサイズの３つの三次元モデルの第１モデル領域Ｄｈｍ１～Ｄｈｍ３の中心位置が同一である例を示している。ここで、３つの第１モデル領域Ｄｈｍ１～Ｄｈｍ３の中心位置が同一であることから、第１モデル領域Ｄｈｍ１～Ｄｈｍ３の中心位置を示す情報（ｕ１＿ｈ、ｖ１＿ｈ）、（ｕ２＿ｈ、ｖ２＿ｈ）、（ｕ３＿ｈ、ｖ３＿ｈ）において、以下の関係が成り立つ。
ｕ１＿ｈ＝ｕ２＿ｈ＝ｕ３＿ｈ
ｖ１＿ｈ＝ｖ２＿ｈ＝ｖ３＿ｈ

【0073】

この場合、対応関係特定部１２４は、例えば、以下のように構成した２０次元のベクトルを、同一の中心位置を有する対応関係を示すモデル情報として記憶部１１に記憶させる。このようにすることで、モデル情報の参照時に計算コストを抑えることができるとともに、記憶量も削減できる。
（ｕ１＿ｈ，ｖ１＿ｈ，ｗ１＿ｈ，ｈ１＿ｈ，ｕ１＿ｆ，ｖ１＿ｆ，ｗ１＿ｆ，ｈ１＿ｆ，
ｗ２＿ｈ，ｈ２＿ｈ，ｕ２＿ｆ，ｖ２＿ｆ，ｗ２＿ｆ，ｈ２＿ｆ，
ｗ３＿ｈ，ｈ３＿ｈ，ｕ３＿ｆ，ｖ３＿ｆ，ｗ３＿ｆ，ｈ３＿ｆ）

【0074】

対応関係特定部１２４は、統合した複数の第１オブジェクト領域について対応する三次元モデルの位置の範囲を特定してもよい。ここで、三次元モデルの位置の範囲は、オブジェクトのサイズ又は形状が未知の場合に、第１オブジェクト領域から所定エリア上の人物位置を特定した際に想定される特定誤差を示す情報であり、後述する更新部１２６においてオブジェクト追跡の検出率（Recall）を向上するために用いられる。具体的には、対応関係特定部１２４は、同一の中心位置を有する第１モデル領域に対応する第２モデル領域のそれぞれについて、対応する所定エリア上の位置（Ｘ，Ｙ）を特定する。

【0075】

図１１は、統合した複数の第１オブジェクト領域に対応する三次元モデルの位置の範囲を特定する例を示す図である。図１１に示すように、３種類の三次元モデルを統合した場合、対応関係特定部１２４は、３種類の三次元モデルのそれぞれに対応する所定エリア上の位置（Ｘ１，Ｙ１）～（Ｘ３，Ｙ３）を特定する。対応関係特定部１２４は、図１１に示すように、統合した複数の第１モデル領域のそれぞれに対応する三次元モデルの所定エリア上の位置（Ｘ１，Ｙ１）～（Ｘ３，Ｙ３）を含む円を、統合した複数の第１モデル領域に対応する三次元モデルの位置の範囲として特定してもよい。対応関係特定部１２４は、円の大きさとして、円の直径を用いてもよい。特定した位置の範囲の活用方法については、更新部１２６の機能説明において述べる。

【0076】

モデル領域特定部１２５は、三次元モデルを所定エリア内の複数の位置のそれぞれに配置した場合における撮像画像に映る三次元モデルの領域である投影領域のうち、第１領域に対応する複数の第１モデル領域と、第２領域に対応する複数の第２モデル領域との対応関係に基づいて、オブジェクト領域特定部１２３が特定した一以上の第１オブジェクト領域に対する距離を示す第１の距離が相対的に短い第１モデル領域に対応する第２モデル領域を一以上特定する（Ｓ５）。

【0077】

具体的には、モデル領域特定部１２５は、対応関係特定部１２４が特定し、記憶部１１に記憶されているモデル情報に基づいて、特定された第１オブジェクト領域のうち、第２オブジェクト領域に内包されず、統合されなかった第１オブジェクト領域について、当該第１オブジェクト領域に対する距離を示す第１の距離が相対的に短い第１モデル領域に対応する第２モデル領域を特定する。

【0078】

モデル領域特定部１２５は、特定された第１オブジェクト領域と、第１モデル領域との重複率を算出し、当該重複率が大きければ大きいほど第１の距離が短くなるように第１の距離を算出する。例えば、モデル領域特定部１２５は、１から重複率を減算した値を、第１の距離として算出する。ここで、重複率は、ＩｏＵ（Intersection over Union）である。特定した第１オブジェクト領域をＡ、第１モデル領域をＢとした場合、重複率は、（Ａ∩Ｂ）／（Ａ∪Ｂ）により表される。モデル領域特定部１２５は、記憶部１１に記憶されているモデル情報を参照し、第１オブジェクト領域との第１の距離が相対的に短い第１モデル領域に対応する第２モデル領域を特定する。

【0079】

なお、モデル領域特定部１２５は、特定された第１オブジェクト領域に対する距離を示す第１の距離が相対的に短い第１モデル領域に対応する第２モデル領域を複数特定してもよい。このようにすることで、モデル領域特定部１２５は、特定された第１オブジェクト領域に対し、異なるサイズ及び姿勢を有する三次元モデルに対応する複数の第２モデル領域を特定することができる。

【0080】

また、モデル領域特定部１２５は、ｋｄ木を用いたモデル情報を参照し、特定した第１オブジェクト領域の中心位置との距離が相対的に短い第１モデル領域を特定してもよい。ここで、ｋｄ木を用いることにより、第１モデル領域の特定を高速に行うことができるものの、特定された第１モデル領域は、第１オブジェクト領域との重複率が大きいとは限らない。そこで、モデル領域特定部１２５は、まず、第１オブジェクト領域を示す位置と、相対的に近い中心位置を有する一以上の第１モデル領域を特定し、その後、特定した一以上の第１モデル領域と、特定された第１オブジェクト領域との重複率を算出することにより、第１の距離が相対的に短い第１モデル領域を特定してもよい。

【0081】

図１２は、本実施形態に係るモデル領域特定部１２５が第２モデル領域を特定する例を説明する図である。図１２に示すように、例えば、モデル領域特定部１２５は、第１オブジェクト領域の中心位置との距離が相対的に短い第１モデル領域として、図１２に示す４つの第１モデル領域を特定したとする。この場合に、モデル領域特定部１２５は、第１オブジェクト領域と、４つの第１モデル領域のそれぞれとの第１の距離を算出する。例えば、第１オブジェクト領域と、矩形情報が（ｕ３＿ｈ，Ｖ３＿ｈ，ｗ３＿ｈ，ｈ３＿ｈ）である第１モデル領域との第１の距離が最も短い場合、モデル領域特定部１２５は、当該第１モデル領域に関連付けられている第２モデル領域として、矩形情報が（ｕ３＿ｆ，Ｖ３＿ｆ，ｗ３＿ｆ，ｈ３＿ｆ）の第２モデル領域を特定する。

【0082】

モデル領域特定部１２５は、オブジェクト領域特定部１２３が特定した一以上の第１オブジェクト領域のうち、統合されなかった第１オブジェクト領域のそれぞれに対し、第２モデル領域を特定する。図１３は、図６に示す第１オブジェクト領域及び第２オブジェクト領域を特定した結果に対して、複数の第２モデル領域を特定した例を示す図である。図１３に示すように、第１オブジェクト領域Ｄｈ１に対して、３種類のサイズに対応した第２モデル領域Ｄｆｍ１～Ｄｆｍ３が特定されているとともに、第１オブジェクト領域Ｄｈ２に対して、３種類のサイズに対応した第２モデル領域Ｄｆｍ４～Ｄｆｍ６が特定されていることが確認できる。なお、図１３では、第１モデル領域の表示は省略している。

【0083】

更新部１２６は、オブジェクト領域特定部１２３により特定された複数の第２オブジェクト領域及びモデル領域特定部１２５により特定された複数の第２モデル領域のうち、取得された追跡情報に対応する第２オブジェクト領域との距離を示す第２の距離が相対的に短い第２オブジェクト領域又は第２モデル領域を特定し、当該第２オブジェクト領域又は第２モデル領域の位置に基づいて、取得された追跡情報に対応するオブジェクトの第１時刻における位置を特定する（Ｓ６）。そして、更新部１２６は、当該第１時刻における位置を示す位置情報に基づいて追跡情報を更新する（Ｓ７）。なお、以下の説明において、更新部１２６は、第１時刻における位置を示す位置情報を追跡情報に含めることにより、追跡情報を更新する例について説明するが、更新部１２６は、第１時刻における位置を示す位置情報を追跡情報に含めないようにしてもよい。例えば、更新部１２６は、第１時刻における位置を示す位置情報を観測結果とし、カルマンフィルタにより現在位置を推測してもよい。また、以下の説明において、オブジェクト領域特定部１２３により特定された複数の第２オブジェクト領域を、第１時刻に対応する第２オブジェクト領域ともいう。

【0084】

図４及び図１３を用いて、更新部１２６の処理について説明する。図４に示されるように、追跡情報に含まれている第２オブジェクト領域は、Ｔｆ１～Ｔｆ４である。図１３に示されるように、オブジェクト領域特定部１２３により特定された第２オブジェクト領域は、Ｄｆ１、Ｄｆ２である。また、モデル領域特定部１２５により特定された第２モデル領域は、Ｄｆｍ１～Ｄｆｍ６である。

【0085】

更新部１２６は、第２の距離を要素に含む距離行列と、ハンガリアンアルゴリズムとを用いて、追跡情報に対応する複数の第２オブジェクト領域のいずれか１つと、特定された複数の第２オブジェクト領域及び第２モデル領域のいずれか１つとを組み合わせる。すなわち、更新部１２６は、追跡情報に対応する複数の第２オブジェクト領域のそれぞれと、第１時刻に対応する複数の第２オブジェクト領域及び第２モデル領域との第２の距離を算出する。そして、更新部１２６は、追跡情報に対応する第２オブジェクト領域と、第１時刻に対応する複数の第２オブジェクト領域及び第２モデル領域との第２の距離の総和が相対的に小さくなる追跡情報に対応する、複数の第２オブジェクト領域と第１時刻に対応する複数の第２オブジェクト領域及び第２モデル領域との組み合わせを選択することにより、追跡情報に対応する複数のオブジェクトの第１時刻における位置を特定する。

【0086】

なお、オブジェクト追跡装置１は、ハンガリアンアルゴリズムに限らず、距離行列に基づいて最適な組み合わせを特定する任意の手法を用いることができる。ハンガリアンアルゴリズムは、オンライン処理手法であるが、他のオフライン処理手法を用いても良い。以下、ハンガリアンアルゴリズムを用いる場合を一例として説明する。

【0087】

図１４は、本実施形態に係る距離行列の一例を図である。ｄｉｊは、追跡情報に含まれるｊ番目の第２オブジェクト領域と、第１時刻に対応するｉ番目の第２オブジェクト領域及び第２モデル領域との第２の距離を示す。各行は、一つひとつの第２オブジェクト領域及び第２モデル領域に対応するものとするが、同一の第１オブジェクト領域から特定した複数の第２モデル領域については、追跡情報に含まれる第２オブジェクト領域との第２の距離が最小である第２モデル領域を特定する等により、当該複数の第２モデル領域を一行に対応させてもよい。

【0088】

例えば、図１４に示すように、第１オブジェクト領域Ｄｈ１に対応する第２モデル領域Ｄｆｍ１～Ｄｆｍ３については、追跡情報に含まれる第２オブジェクト領域との第２の距離が最小である第２モデル領域を特定することにより、複数の第２モデル領域Ｄｆｍ１～Ｄｆｍ３を一行に対応させる（図１４の距離行列の２行目）。なお、図１４に示す例では、第２モデル領域Ｄｆｍ１～Ｄｆｍ３のうち、第２の距離が最小である第２モデル領域として、第２モデル領域Ｄｆｍ１が特定されたものとする。

【0089】

同様に、第１オブジェクト領域Ｄｈ２に対応する第２モデル領域Ｄｆｍ４～Ｄｆｍ６については、追跡情報に含まれる第２オブジェクト領域との第２の距離が最小である第２モデル領域を特定することにより、複数の第２モデル領域Ｄｆｍ４～Ｄｆｍ６を一行に対応させる（図１４の距離行列の３行目）。なお、図１４に示す例では、第２モデル領域Ｄｆｍ４～Ｄｆｍ６のうち、第２の距離が最小である第２モデル領域として、第２モデル領域Ｄｆｍ５が特定されたものとする。

【0090】

更新部１２６は、取得された追跡情報に対応する第２オブジェクト領域と、第１時刻に対応する第２オブジェクト領域及び第２モデル領域との重複率を算出し、当該重複率が大きければ大きいほど第２の距離が短くなるように第２の距離を算出する。例えば、ｄ１１については、以下に示す式により特定される。
ｄ１１＝１－（Ｄｆ１∩Ｔｆ１）／（Ｄｆ１∪Ｔｆ１）

【0091】

また、ｄ２１については、以下に示す式により特定される。ここで、ｍｉｎ（）は、内部に渡される複数の数値のうち、最も小さい数値を選択する関数である。
ｄ２１＝ｍｉｎ（１－（Ｄｆｍ１∩Ｔｆ１）／（Ｄｆｍ１∪Ｔｆ１），
１－（Ｄｆｍ２∩Ｔｆ１）／（Ｄｆｍ２∪Ｔｆ１），
１－（Ｄｆｍ３∩Ｔｆ１）／（Ｄｆｍ３∪Ｔｆ１））

【0092】

更新部１２６は、生成した距離行列をハンガリアンアルゴリズムに入力することにより、各行に示される第１時刻に対応する第２オブジェクト領域又は第２モデル領域と、各列に示される追跡情報に対応する第２オブジェクト領域とを関連付ける。例えば、図１４に示す距離行列をハンガリアンアルゴリズムに入力した場合に、ｄ３１、ｄ２２、ｄ１３及びｄ４４が最小コストとして選択され、以下に示すように、追跡情報に対応する第２オブジェクト領域と、第１時刻に対応する第２オブジェクト領域又は第２モデル領域との組み合わせが選択される。

【0093】

ｄ３１：第２オブジェクト領域Ｔｆ１と、第２モデル領域Ｄｆｍ５
ｄ２２：第２オブジェクト領域Ｔｆ２と、第２モデル領域Ｄｆｍ１
ｄ１３：第２オブジェクト領域Ｔｆ３と、第２オブジェクト領域Ｄｆ１
ｄ４４：第２オブジェクト領域Ｔｆ４と、第２オブジェクト領域Ｄｆ２

【0094】

更新部１２６は、ハンガリアンアルゴリズムにより特定された最小コストを構成する各第２の距離について、当該第２の距離が所定値以下のもののみ、第１時刻に対応する第２オブジェクト領域又は第２モデル領域と、各列に示される追跡情報に対応する第２オブジェクト領域とを組み合わせてもよい。図１４に示す例では、ｄ３１及びｄ４４が所定値を越えたものとし、以下に示すように、追跡情報に対応する第２オブジェクト領域と、第１時刻に対応する第２オブジェクト領域又は第２モデル領域との組み合わせが選択されたものとする。

【0095】

ｄ２２：第２オブジェクト領域Ｔｆ２と、第２モデル領域Ｄｆｍ１
ｄ１３：第２オブジェクト領域Ｔｆ３と、第２オブジェクト領域Ｄｆ１

【0096】

なお、第２オブジェクト領域は、オブジェクト領域特定部１２３が撮像画像から直接特定するものであることから、モデル情報に基づいて第１オブジェクト領域から特定される第２モデル領域に比べて、オブジェクトの位置を正確に特定できている可能性が高い。

【0097】

そこで、更新部１２６は、オブジェクト領域特定部１２３が特定した複数の第２オブジェクト領域と、追跡情報に対応する複数の第２オブジェクト領域との組み合わせを選択した後、当該組み合わせに選択されなかった追跡情報に対応する第２オブジェクト領域と、第２モデル領域との組み合わせを選択してもよい。

【0098】

具体的には、更新部１２６は、オブジェクト領域特定部１２３が特定した複数の第２オブジェクト領域のみを行成分として構成する距離行列にハンガリアンアルゴリズムを適用することにより、オブジェクト領域特定部１２３が特定した複数の第２オブジェクト領域と、追跡情報に対応する複数の第２オブジェクト領域との組み合わせを選択する。その後、更新部１２６は、モデル領域特定部１２５が特定した複数の第２モデル領域のみを行成分とするとともに、組み合わせに選択されなかった追跡情報に対応する第２オブジェクト領域のみを列成分とする距離行列にハンガリアンアルゴリズムを適用することにより、複数の第２モデル領域と、追跡情報に対応する複数の第２オブジェクト領域との組み合わせを選択する。このようにすることで、オブジェクト追跡装置１は、追跡情報に対応する第２オブジェクト領域と、第１時刻に対応する第２オブジェクト領域又は第２モデル領域との関連付けを精度良く行うことができる。

【0099】

なお、オブジェクト領域特定部１２３が特定した複数の第２オブジェクト領域と、追跡情報に対応する複数の第２オブジェクト領域との組み合わせを先に選択すると、異なる２つのオブジェクトに対応する第２オブジェクト領域が組み合わされてしまうことがある。そこで、更新部１２６は、モデル領域特定部１２５が特定した複数の第２モデル領域と、追跡情報に対応する複数の第２オブジェクト領域との組み合わせを選択した後、当該組み合わせに選択されなかった追跡情報に対応する第２オブジェクト領域と、オブジェクト領域特定部１２３が特定した複数の第２オブジェクト領域との組み合わせを選択してもよい。

【0100】

この場合、更新部１２６は、複数の第２モデル領域と、追跡情報に対応する複数の第２オブジェクト領域との第２の距離の総和が相対的に小さくなる複数の第２モデル領域と、追跡情報に対応する複数の第２オブジェクト領域との組み合わせを選択することにより、追跡情報に対応する複数のオブジェクトの第１時刻における位置を特定する。その後、更新部１２６は、第１時刻に対応する第２オブジェクト領域と、当該組み合わせに選択されなかった追跡情報に対応する第２オブジェクト領域との第２の距離を算出し、第１時刻に対応する第２オブジェクト領域と、選択されなかった追跡情報に対応する第２オブジェクト領域との第２の距離の総和が相対的に小さくなる第１時刻に対応する第２オブジェクト領域と、選択されなかった追跡情報に対応する第２オブジェクト領域との組み合わせを選択することにより、選択されなかった追跡情報に対応するオブジェクトの第１時刻における位置を特定する。

【0101】

続いて、更新部１２６は、第１時刻に対応する複数の第２オブジェクト領域及び第２モデル領域と、追跡情報に対応する複数の第２オブジェクト領域との組み合わせに基づいて、追跡情報を更新する。更新部１２６は、組み合わせとして選択された第１時刻における第２オブジェクト領域又は第２モデル領域の撮像画像における位置に基づいて、追跡情報に対応するオブジェクトの第１時刻における撮像画像上の位置を特定し、当該第１時刻における撮像画像上の位置を示す位置情報を追跡情報に含めることにより、追跡情報を更新する。ここで、更新前の追跡情報としては、図４に示すように、４つのオブジェクトの第２オブジェクト領域が特定されているものとする。

【0102】

時刻ｔ－１
ＩＤ：Ａ、第２オブジェクト領域：Ｔｆ１
ＩＤ：Ｂ、第２オブジェクト領域：Ｔｆ２
ＩＤ：Ｃ、第２オブジェクト領域：Ｔｆ３
ＩＤ：Ｄ、第２オブジェクト領域：Ｔｆ４

【0103】

また、第１時刻に対応する複数の第２オブジェクト領域及び第２モデル領域と、追跡情報に対応する複数の第２オブジェクト領域とは、以下に示す組み合わせが選択されている。
第２オブジェクト領域Ｔｆ２と、第２モデル領域Ｄｆｍ１
第２オブジェクト領域Ｔｆ３と、第２オブジェクト領域Ｄｆ１

【0104】

更新部１２６は、上記の組み合わせに基づいて、第１時刻におけるＩＤがＢのオブジェクトの第２オブジェクト領域を、第２モデル領域Ｄｆｍ１に、ＩＤがＣのオブジェクトの第２オブジェクト領域を、第２オブジェクト領域Ｄｆ１に更新する。

【0105】

また、更新部１２６は、組み合わせとして選択された第２モデル領域に対応する三次元モデルの所定エリアにおける配置位置に基づいて、追跡情報に対応するオブジェクトの第１時刻における所定エリア上の位置を特定し、当該第１時刻における所定エリア上の位置を示す位置情報を追跡情報に含めることにより、追跡情報を更新してもよい。例えば、第２モデル領域を示す矩形情報と、当該第２モデル領域に対応する三次元モデルが配置されている所定エリア上の位置（Ｘ，Ｙ）とを関連付けて、位置対応関係情報（ｕ＿ｆ，ｖ＿ｆ，ｗ＿ｆ，ｈ＿ｆ，Ｘ，Ｙ）として記憶部１１に予め記憶させておく。なお、所定エリア上の位置（Ｘ，Ｙ）は、第１モデル領域と第２モデル領域との対応関係を示すモデル情報に関連付けられていてもよい。

【0106】

更新部１２６は、位置対応関係情報を参照して、更新した追跡情報に含まれる第２オブジェクト領域に対して第２の距離が相対的に小さい第２モデル領域を特定し、当該第２モデル領域に対応する所定エリア上の位置（Ｘ，Ｙ）を特定する。結果として、以下に示す追跡情報が得られる。

【0107】

時刻ｔ－１
ＩＤ：Ａ、第２オブジェクト領域：Ｔｆ１、所定エリア上の位置：（Ｘ１，Ｙ１）
ＩＤ：Ｄ、第２オブジェクト領域：Ｔｆ４、所定エリア上の位置：（Ｘ４，Ｙ４）
時刻ｔ
ＩＤ：Ｂ、第２オブジェクト領域：Ｄｆｍ１、所定エリア上の位置：（Ｘ２，Ｙ２）
ＩＤ：Ｃ、第２オブジェクト領域：Ｄｆ１、所定エリア上の位置：（Ｘ３，Ｙ３）

【0108】

更新部１２６は、特定された複数の第２オブジェクト領域のうち、追跡情報に対応する第２オブジェクト領域の位置の特定に用いられなかった第２オブジェクト領域の位置に基づいて、所定エリア内に新たに出現したオブジェクトの第１時刻における位置を特定し、当該第１時刻における当該オブジェクトの位置を示す位置情報を含む追跡情報を生成してもよい。

【0109】

図１４に示す例において、追跡情報に対応する第２オブジェクト領域の位置の特定に用いられなかった第２オブジェクト領域は、第２オブジェクト領域Ｄｆ２である。更新部１２６は、時刻ｔ－１までにＡ～ＤのＩＤが使用されているため、第２オブジェクト領域Ｄｆ２に対応するオブジェクトに対し、ＩＤ：Ｅを新規に割り当て、以下のように追跡情報を更新する。

【0110】

時刻ｔ－１
ＩＤ：Ａ、第２オブジェクト領域：Ｔｆ１、所定エリア上の位置：（Ｘ１，Ｙ１）
ＩＤ：Ｄ、第２オブジェクト領域：Ｔｆ４、所定エリア上の位置：（Ｘ４，Ｙ４）
時刻ｔ
ＩＤ：Ｂ、第２オブジェクト領域：Ｄｆｍ１、所定エリア上の位置：（Ｘ２，Ｙ２）
ＩＤ：Ｃ、第２オブジェクト領域：Ｄｆ１、所定エリア上の位置：（Ｘ３，Ｙ３）
ＩＤ：Ｅ、第２オブジェクト領域：Ｄｆ２、所定エリア上の位置：（Ｘ５，Ｙ５）

【0111】

また、更新部１２６は、特定された複数の第２モデル領域のうち、追跡情報に対応する第２オブジェクト領域の位置の特定に用いられなかった第２モデル領域の位置に基づいて、所定エリア内に新たに出現したオブジェクトの第１時刻における位置を特定し、当該第１時刻における当該オブジェクトの位置を示す位置情報を含む追跡情報を生成してもよい。ここで、更新部１２６は、追跡情報に対応する第２オブジェクト領域の位置の特定に用いられなかった第２モデル領域のうち、当該第２モデル領域に対応する三次元モデルの位置の範囲が所定の範囲内である第２モデル領域の位置に基づいて、所定エリア内に新たに出現したオブジェクトの第１時刻における位置を特定してもよい。

【0112】

図１４に示す例において、追跡情報に対応する第２オブジェクト領域の位置の特定に用いられなかった第２モデル領域は、第２モデル領域Ｄｆｍ４～Ｄｆｍ６である。これらの第２モデル領域Ｄｆｍ４～Ｄｆｍ６については、モデル領域特定部１２５において、三次元モデルの位置の範囲が特定されている。三次元モデルの位置の範囲が所定の範囲内に存在するということは、第１オブジェクト領域からオブジェクトの位置を特定する際に適当に設定したサイズを用いたとしてもオブジェクトの位置の推定誤差が小さいということを意味している。そこで、更新部１２６は、三次元モデルの位置の範囲が所定の範囲内に存在する場合、三次元モデルのサイズを一定のサイズ（例えば、第２モデル領域Ｄｆｍ６に対応する三次元モデルのサイズである１．７ｍ）とみなして、オブジェクトの位置を特定する。更新部１２６は、既にＡ～ＥのＩＤが使用されているため、第２モデル領域Ｄｆｍ６に対応するオブジェクトに対し、ＩＤ：Ｆを新規に割り当て、以下のように追跡情報を更新する。

【0113】

時刻ｔ－１
ＩＤ：Ａ、第２オブジェクト領域：Ｔｆ１、所定エリア上の位置：（Ｘ１，Ｙ１）
ＩＤ：Ｄ、第２オブジェクト領域：Ｔｆ４、所定エリア上の位置：（Ｘ４，Ｙ４）
時刻ｔ
ＩＤ：Ｂ、第２オブジェクト領域：Ｄｆｍ１、所定エリア上の位置：（Ｘ２，Ｙ２）
ＩＤ：Ｃ、第２オブジェクト領域：Ｄｆ１、所定エリア上の位置：（Ｘ３，Ｙ３）
ＩＤ：Ｅ、第２オブジェクト領域：Ｄｆ２、所定エリア上の位置：（Ｘ５，Ｙ５）
ＩＤ：Ｆ、第２オブジェクト領域：Ｄｆｍ６、所定エリア上の位置：（Ｘ６，Ｙ６）

【0114】

図１５は、第１時刻におけるオブジェクトの追跡状態を示す図である。図１５に示すように、結果として、第１時刻ｔではＢ、Ｃ、Ｅ及びＦのＩＤを割り当てた４つのオブジェクトが追跡中となる。

【0115】

本実施形態に係るオブジェクト追跡装置１は、複数の撮像画像を取得してもよい。そして、オブジェクト追跡装置１は、撮像画像を取得する毎に、上述した処理を繰り返し実行することにより、オブジェクトの動線情報を精度良く生成することができる。

【0116】

［本実施形態における効果］
以上説明したように、本実施形態に係るオブジェクト追跡装置１は、所定エリアの撮像画像に映るオブジェクトを示す第１領域である第１オブジェクト領域を特定する。オブジェクト追跡装置１は、オブジェクトを模した三次元モデルを所定エリア内の複数の位置のそれぞれに配置した場合に撮像画像に映る三次元モデルの投影領域のうち、第１領域に対応する第１モデル領域と第２領域に対応する第２モデル領域との対応関係に基づいて、特定した第１オブジェクト領域との距離が相対的に短い第１モデル領域に対応する第２モデル領域を特定する。そして、オブジェクト追跡装置１は、追跡情報に対応する第２オブジェクト領域との第２の距離が相対的に短い第２モデル領域の位置に基づいて、追跡情報に対応するオブジェクトの第１時刻における位置を特定し、当該第１時刻における位置を示す位置情報を追跡情報に含めることにより、追跡情報を更新する。このようにすることで、オブジェクト追跡装置１は、撮像装置の種類及び撮像角度に関わらず、オブジェクトの全体が検出できなかった場合であってもオブジェクトの動線追跡を行うことができる。

【0117】

以上、本発明を実施形態を用いて説明したが、本発明の技術的範囲は上記実施形態に記載の範囲には限定されない。上記実施形態に、多様な変更又は改良を加えることが可能であることが当業者に明らかである。例えば、上記実施形態において、第２領域は、オブジェクトとしての人の全身を示す領域であることとしたが、これに限らない。第２領域は、人の胴体を示す領域であってもよい。また、第２領域のサイズは、第１領域を内包するサイズでなくてもよい。

【0118】

また、特に、装置の分散・統合の具体的な実施形態は以上に図示するものに限られず、その全部又は一部について、種々の付加等に応じて、又は、機能負荷に応じて、任意の単位で機能的又は物理的に分散・統合して構成することができる。

【符号の説明】

【0119】

１・・・オブジェクト追跡装置、１１・・・記憶部、１２・・・制御部、１２１・・・追跡情報取得部、１２２・・・撮像画像取得部、１２３・・・オブジェクト領域特定部、１２４・・・対応関係特定部、１２５・・・モデル領域特定部、１２６・・・更新部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】