知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-02-17
(45)【発行日】2023-02-28
(54)【発明の名称】オブジェクト追跡装置及びオブジェクト追跡方法
(51)【国際特許分類】
G06T 7/246 20170101AFI20230220BHJP
【ＦＩ】
G06T7/246
【請求項の数】
12
(21)【出願番号】P 2020009676
(22)【出願日】2020-01-24
(65)【公開番号】P2021117635
(43)【公開日】2021-08-10
【審査請求日】2021-12-20
(73)【特許権者】
【識別番号】000208891
【氏名又は名称】ＫＤＤＩ株式会社
(74)【代理人】
【識別番号】100166006
【弁理士】
【氏名又は名称】泉 通博
(74)【代理人】
【識別番号】100154070
【弁理士】
【氏名又は名称】久恒 京範
(74)【代理人】
【識別番号】100153280
【弁理士】
【氏名又は名称】寺川 賢祐
(72)【発明者】
【氏名】西村 仁志
(72)【発明者】
【氏名】田坂 和之
【審査官】佐田 宏史
(56)【参考文献】
【文献】特開２０１０－２７３１１２（ＪＰ，Ａ）
【文献】特開２０１７－１１１６６０（ＪＰ，Ａ）
【文献】特開２０１８－１８１２７３（ＪＰ，Ａ）
【文献】西村 仁志、外３名，“基本行動特徴量を用いたオンライン複数人物追跡”，第３４回 画像符号化シンポジウム 第２４回 映像メディア処理シンポジウム，日本，電子情報通信学会画像工学研究専門委員会，2019年11月18日，pp.168-169
【文献】Atif Ilyas et al.，"A combined motion and appearance model for human tracking in multiple cameras environment"，2010 6th International Conference on Emerging Technologies (ICET)，米国，IEEE，2010年10月18日，pp.198-203
【文献】Gurkirt Singh et al.，"Online Real-Time Multiple Spatiotemporal Action Localisation and Prediction"，2017 IEEE International Conference on Computer Vision (ICCV)，米国，IEEE，2017年10月22日，pp.3657-3666
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ １／００，７／００－７／９０
Ｇ０６Ｖ １０／００－１０／９８
(57)【特許請求の範囲】
【請求項1】
所定エリアを撮像する撮像装置が４以上の複数の時刻のそれぞれで撮像した４以上の複数の撮像画像を取得する取得部と、前記取得部が取得した前記複数の撮像画像のそれぞれから、前記撮像画像に映るオブジェクトを検出するオブジェクト検出部と、
前記オブジェクト検出部が検出した前記オブジェクトに対応する前記撮像画像の部分画像に基づいて、前記オブジェクトの行動の特徴量を示す行動特徴量を抽出する行動特徴量抽出部と、
前記行動特徴量抽出部が抽出した前記行動特徴量に基づいて、撮像された時刻が異なる複数の前記撮像画像のそれぞれから前記オブジェクト検出部が検出した前記オブジェクトの関連付けを行う関連付け部と、
を備え、
前記行動特徴量抽出部は、前記関連付け部により関連付けが行われた複数の前記オブジェクトのそれぞれについて、当該オブジェクトに対応する部分画像と、当該オブジェクトに関連付けられた一以上の他のオブジェクトのそれぞれに対応する前記部分画像とに基づいて前記行動特徴量を再抽出し、
前記関連付け部は、前記行動特徴量抽出部により再抽出された前記行動特徴量に基づいて、撮像された時刻が異なる複数の前記撮像画像のそれぞれから前記オブジェクト検出部が検出した前記オブジェクトの関連付けを再度行い、
前記関連付け部によるオブジェクトの関連付けを行った結果、当該関連付けを行った後において関連付けられているオブジェクトの数に対する、当該関連付けを行う前において関連付けられているオブジェクトの数の割合が所定の割合以上となるまで、前記行動特徴量抽出部による前記行動特徴量の再抽出と、前記関連付け部による前記オブジェクトの再度の関連付けとを、所定の条件を満たすまで交互に繰り返し実行させることにより、オブジェクトの追跡を行う実行制御部を備える、
オブジェクト追跡装置。
【請求項2】
所定エリアを撮像する撮像装置が４以上の複数の時刻のそれぞれで撮像した４以上の複数の撮像画像を取得する取得部と、前記取得部が取得した前記複数の撮像画像のそれぞれから、前記撮像画像に映るオブジェクトを検出するオブジェクト検出部と、
前記オブジェクト検出部が検出した前記オブジェクトに対応する前記撮像画像の部分画像に基づいて、前記オブジェクトの行動の特徴量を示す行動特徴量を抽出する行動特徴量抽出部と、
前記行動特徴量抽出部が抽出した前記行動特徴量に基づいて、撮像された時刻が異なる複数の前記撮像画像のそれぞれから前記オブジェクト検出部が検出した前記オブジェクトの関連付けを行う関連付け部と、
を備え、
前記行動特徴量抽出部は、前記関連付け部により関連付けが行われた複数の前記オブジェクトのそれぞれについて、当該オブジェクトに対応する部分画像と、当該オブジェクトに関連付けられた一以上の他のオブジェクトのそれぞれに対応する前記部分画像とに基づいて前記行動特徴量を再抽出し、
前記関連付け部は、前記行動特徴量抽出部により再抽出された前記行動特徴量に基づいて、撮像された時刻が異なる複数の前記撮像画像のそれぞれから前記オブジェクト検出部が検出した前記オブジェクトの関連付けを再度行い、
前記行動特徴量抽出部による前記行動特徴量の再抽出と、前記関連付け部による前記オブジェクトの再度の関連付けとを、所定の条件を満たすまで交互に繰り返し実行させることにより、オブジェクトの追跡を行う実行制御部を備え、
前記行動特徴量抽出部は、前記関連付け部により関連付けが行われた複数の前記オブジェクトのそれぞれについて、当該オブジェクトに対応する前記行動特徴量が示す行動傾向に基づいて、当該オブジェクトの前記行動特徴量の再抽出に用いる他のオブジェクトの数を変化させる、
オブジェクト追跡装置。
【請求項3】
前記オブジェクト検出部は、前記撮像画像に映る前記オブジェクトの位置を示すオブジェクト位置を特定することにより前記オブジェクトを検出し、前記行動特徴量抽出部は、前記オブジェクト検出部が特定した前記オブジェクト位置に対応する前記部分画像に基づいて、前記行動特徴量を抽出する、
請求項１又は２に記載のオブジェクト追跡装置。
【請求項4】
前記関連付け部は、前記オブジェクト検出部が特定した前記オブジェクト位置にさらに基づいて、撮像された時刻が異なる複数の前記撮像画像のそれぞれから前記オブジェクト検出部が検出した前記オブジェクトの関連付けを行う、請求項３に記載のオブジェクト追跡装置。
【請求項5】
前記オブジェクト検出部が検出した前記オブジェクトの前記撮像画像における見え方を示す見え特徴量を抽出する見え特徴量抽出部をさらに備え、前記関連付け部は、前記見え特徴量抽出部が抽出した前記見え特徴量にさらに基づいて、撮像された時刻が異なる撮像画像のそれぞれから前記オブジェクト検出部が検出した前記オブジェクトの関連付けを行う、
請求項１から４のいずれか１項に記載のオブジェクト追跡装置。
【請求項6】
前記行動特徴量抽出部は、前記オブジェクト検出部が検出した前記オブジェクトに対応する前記撮像画像の前記部分画像と、当該撮像画像が撮像された時刻の前の時刻又は後の時刻に撮像された撮像画像の前記部分画像との差分に基づいて、前記行動特徴量を抽出する、請求項１から５のいずれか１項に記載のオブジェクト追跡装置。
【請求項7】
前記行動特徴量抽出部は、前記オブジェクト検出部が検出した前記オブジェクトを含む前記部分画像である第１部分画像と、前記オブジェクトを含み、前記第１部分画像より表示領域が大きい前記部分画像である第２部分画像に基づいて、前記行動特徴量を抽出する、請求項１から６のいずれか１項に記載のオブジェクト追跡装置。
【請求項8】
前記行動特徴量抽出部は、前記部分画像の入力に対して前記行動特徴量を出力するニューラルネットワークに、前記オブジェクトに対応する前記部分画像と、当該オブジェクトとの関連付けが行われた一以上の前記他のオブジェクトに対応する前記部分画像とを入力し、前記ニューラルネットワークから出力された複数の行動特徴量に基づいて、当該オブジェクトの前記行動特徴量を再抽出する、請求項１から７のいずれか１項に記載のオブジェクト追跡装置。
【請求項9】
前記行動特徴量抽出部は、前記部分画像の入力に対して前記行動特徴量を出力するニューラルネットワークに、前記オブジェクトに対応する前記部分画像を入力し、前記ニューラルネットワークにおける中間層が示す特徴量を取得し、取得した特徴量に基づいて、当該オブジェクトの前記行動特徴量を抽出する、請求項１から８のいずれか１項に記載のオブジェクト追跡装置。
【請求項10】
前記行動特徴量抽出部は、前記部分画像の入力に対して前記行動特徴量を出力するニューラルネットワークに、前記オブジェクトに対応する前記部分画像と、当該オブジェクトとの関連付けが行われた一以上の前記他のオブジェクトに対応する前記部分画像とを入力し、前記ニューラルネットワークにおける中間層が示す特徴量を取得し、取得した特徴量に基づいて、当該オブジェクトの前記行動特徴量を再抽出する、請求項１から８のいずれか１項に記載のオブジェクト追跡装置。
【請求項11】
コンピュータが実行する、所定エリアを撮像する撮像装置が４以上の複数の時刻のそれぞれで撮像した４以上の複数の撮像画像を取得するステップと、
取得された前記複数の撮像画像のそれぞれから、前記撮像画像に映るオブジェクトを検出するステップと、
検出された前記オブジェクトに対応する前記撮像画像の部分画像に基づいて、前記オブジェクトの行動の特徴量を示す行動特徴量を抽出するステップと、
抽出された前記行動特徴量に基づいて、撮像された時刻が異なる複数の前記撮像画像のそれぞれから検出された前記オブジェクトの関連付けを行うステップと、
関連付けが行われた複数の前記オブジェクトのそれぞれについて、当該オブジェクトに対応する部分画像と、当該オブジェクトに関連付けられた一以上の他のオブジェクトのそれぞれに対応する前記部分画像とに基づいて前記行動特徴量を再抽出するステップと、
再抽出された前記行動特徴量に基づいて、撮像された時刻が異なる複数の前記撮像画像のそれぞれから検出された前記オブジェクトの関連付けを再度行うステップと、
前記オブジェクトの関連付けを行った結果、当該関連付けを行った後において関連付けられているオブジェクトの数に対する、当該関連付けを行う前において関連付けられているオブジェクトの数の割合が所定の割合以上となるまで、前記行動特徴量の再抽出と、前記オブジェクトの再度の関連付けとを、所定の条件を満たすまで交互に繰り返し実行させることにより、オブジェクトの追跡を行うステップと、
を有するオブジェクト追跡方法。
【請求項12】
コンピュータが実行する、所定エリアを撮像する撮像装置が４以上の複数の時刻のそれぞれで撮像した４以上の複数の撮像画像を取得するステップと、
取得された前記複数の撮像画像のそれぞれから、前記撮像画像に映るオブジェクトを検出するステップと、
検出された前記オブジェクトに対応する前記撮像画像の部分画像に基づいて、前記オブジェクトの行動の特徴量を示す行動特徴量を抽出するステップと、
抽出された前記行動特徴量に基づいて、撮像された時刻が異なる複数の前記撮像画像のそれぞれから検出された前記オブジェクトの関連付けを行うステップと、
関連付けが行われた複数の前記オブジェクトのそれぞれについて、当該オブジェクトに対応する部分画像と、当該オブジェクトに関連付けられた一以上の他のオブジェクトのそれぞれに対応する前記部分画像とに基づいて前記行動特徴量を再抽出するステップと、
再抽出された前記行動特徴量に基づいて、撮像された時刻が異なる複数の前記撮像画像のそれぞれから検出された前記オブジェクトの関連付けを再度行うステップと、
前記行動特徴量の再抽出と、前記オブジェクトの再度の関連付けとを、所定の条件を満たすまで交互に繰り返し実行させることにより、オブジェクトの追跡を行うステップと、
を有し、
前記行動特徴量を再抽出するステップにおいて、前記コンピュータは、関連付けが行われた複数の前記オブジェクトのそれぞれについて、当該オブジェクトに対応する前記行動特徴量が示す行動傾向に基づいて、当該オブジェクトの前記行動特徴量の再抽出に用いる他のオブジェクトの数を変化させる、
オブジェクト追跡方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、オブジェクト追跡装置及びオブジェクト追跡方法に関する。
【背景技術】
【0002】
従来、撮像装置が撮像した撮像画像に映る人物等のオブジェクトを追跡することが行われている。例えば、非特許文献１には、オブジェクトの位置に関する特徴を示す位置特徴量と、オブジェクトの見え方を示す見え特徴量と、オブジェクトの行動の特徴を示す行動特徴量を用いてオブジェクトの追跡を行うことが開示されている。
【先行技術文献】
【非特許文献】
【0003】
【文献】Gurkirt Singh, Suman Saha, Michael Sapienza, Philip H. S. Torr, and Fabio Cuzzolin, "Online Real-time Multiple Spatiotemporal Action Localisation and Prediction," IEEE International Conference on Computer Vision (ICCV), pp. 3637-3646, ２０１７年
【発明の概要】
【発明が解決しようとする課題】
【0004】
非特許文献１では、撮像画像から行動特徴量を抽出する場合に、当該撮像画像に映るオブジェクトと、他の撮像画像に映るオブジェクトとの関係を考慮していない。しかしながら、行動は、動きを伴った結果判明するものであり、１つの撮像画像から精度良く行動特徴量を抽出することは困難である。したがって、非特許文献１では、位置や見え方が似ているオブジェクトに対する追跡精度が低下してしまうという問題があった。
【0005】
そこで、本発明はこれらの点に鑑みてなされたものであり、オブジェクトを精度良く追跡することができるオブジェクト追跡装置及びオブジェクト追跡方法を提供することを目的とする。
【課題を解決するための手段】
【0006】
本発明の第１の態様に係るオブジェクト追跡装置は、所定エリアを撮像する撮像装置が３以上の複数の時刻のそれぞれで撮像した３以上の複数の撮像画像を取得する取得部と、前記取得部が取得した前記複数の撮像画像のそれぞれから、前記撮像画像に映るオブジェクトを検出するオブジェクト検出部と、前記オブジェクト検出部が検出した前記オブジェクトに対応する前記撮像画像の部分画像に基づいて、前記オブジェクトの行動の特徴量を示す行動特徴量を抽出する行動特徴量抽出部と、前記行動特徴量抽出部が抽出した前記行動特徴量に基づいて、撮像された時刻が異なる複数の前記撮像画像のそれぞれから前記オブジェクト検出部が検出した前記オブジェクトの関連付けを行う関連付け部と、を備え、前記行動特徴量抽出部は、前記関連付け部により関連付けが行われた複数の前記オブジェクトのそれぞれについて、当該オブジェクトに対応する部分画像と、当該オブジェクトに関連付けられた一以上の他のオブジェクトのそれぞれに対応する前記部分画像とに基づいて前記行動特徴量を再抽出し、前記関連付け部は、前記行動特徴量抽出部により再抽出された前記行動特徴量に基づいて、撮像された時刻が異なる複数の前記撮像画像のそれぞれから前記オブジェクト検出部が検出した前記オブジェクトの関連付けを再度行う。
【0007】
前記取得部は、前記撮像装置が４以上の複数の時刻のそれぞれで撮像した４以上の複数の撮像画像を取得し、前記オブジェクト追跡装置は、前記行動特徴量抽出部による前記行動特徴量の再抽出と、前記関連付け部による前記オブジェクトの再度の関連付けとを、所定の条件を満たすまで交互に繰り返し実行させることにより、オブジェクトの追跡を行う実行制御部をさらに備えてもよい。
【0008】
前記実行制御部は、前記関連付け部によるオブジェクトの関連付けを行った結果、当該関連付けを行った後において関連付けられているオブジェクトの数に対する、当該関連付けを行う前において関連付けられているオブジェクトの数の割合が所定の割合以上となるまで、前記行動特徴量抽出部による前記行動特徴量の再抽出と、前記関連付け部によるオブジェクトの関連付けとを交互に繰り返し実行させてもよい。
【0009】
前記行動特徴量抽出部は、前記関連付け部により関連付けが行われた複数の前記オブジェクトのそれぞれについて、当該オブジェクトに対応する前記行動特徴量が示す行動傾向に基づいて、当該オブジェクトの前記行動特徴量の再抽出に用いる他のオブジェクトの数を変化させてもよい。
【0010】
前記オブジェクト検出部は、前記撮像画像に映る前記オブジェクトの位置を示すオブジェクト位置を特定することにより前記オブジェクトを検出し、前記行動特徴量抽出部は、前記オブジェクト検出部が特定した前記オブジェクト位置に対応する前記部分画像に基づいて、前記行動特徴量を抽出してもよい。
【0011】
前記関連付け部は、前記オブジェクト検出部が特定した前記オブジェクト位置にさらに基づいて、撮像された時刻が異なる複数の前記撮像画像のそれぞれから前記オブジェクト検出部が検出した前記オブジェクトの関連付けを行ってもよい。
【0012】
前記オブジェクト追跡装置は、前記オブジェクト検出部が検出した前記オブジェクトの前記撮像画像における見え方を示す見え特徴量を抽出する見え特徴量抽出部をさらに備え、前記関連付け部は、前記見え特徴量抽出部が抽出した前記見え特徴量にさらに基づいて、撮像された時刻が異なる撮像画像のそれぞれから前記オブジェクト検出部が検出した前記オブジェクトの関連付けを行ってもよい。
【0013】
前記行動特徴量抽出部は、前記オブジェクト検出部が検出した前記オブジェクトに対応する前記撮像画像の前記部分画像と、当該撮像画像が撮像された時刻の前の時刻又は後の時刻に撮像された撮像画像の前記部分画像との差分に基づいて、前記行動特徴量を抽出してもよい。
【0014】
前記行動特徴量抽出部は、前記オブジェクト検出部が検出した前記オブジェクトを含む前記部分画像である第１部分画像と、前記オブジェクトを含み、前記第１部分画像より表示領域が大きい前記部分画像である第２部分画像に基づいて、前記行動特徴量を抽出してもよい。
【0015】
前記行動特徴量抽出部は、前記部分画像の入力に対して前記行動特徴量を出力するニューラルネットワークに、前記オブジェクトに対応する前記部分画像と、当該オブジェクトとの関連付けが行われた一以上の前記他のオブジェクトに対応する前記部分画像とを入力し、前記ニューラルネットワークから出力された複数の行動特徴量に基づいて、当該オブジェクトの前記行動特徴量を再抽出してもよい。
【0016】
前記行動特徴量抽出部は、前記部分画像の入力に対して前記行動特徴量を出力するニューラルネットワークに、前記オブジェクトに対応する前記部分画像を入力し、前記ニューラルネットワークにおける中間層が示す特徴量を取得し、取得した特徴量に基づいて、当該オブジェクトの前記行動特徴量を抽出してもよい。
【0017】
前記行動特徴量抽出部は、前記部分画像の入力に対して前記行動特徴量を出力するニューラルネットワークに、前記オブジェクトに対応する前記部分画像と、当該オブジェクトとの関連付けが行われた一以上の前記他のオブジェクトに対応する前記部分画像とを入力し、前記ニューラルネットワークにおける中間層が示す特徴量を取得し、取得した特徴量に基づいて、当該オブジェクトの前記行動特徴量を再抽出してもよい。
【0018】
本発明の第２の態様に係るオブジェクト追跡方法は、コンピュータが実行する、所定エリアを撮像する撮像装置が３以上の複数の時刻のそれぞれで撮像した３以上の複数の撮像画像を取得するステップと、取得された前記複数の撮像画像のそれぞれから、前記撮像画像に映るオブジェクトを検出するステップと、検出された前記オブジェクトに対応する前記撮像画像の部分画像に基づいて、前記オブジェクトの行動の特徴量を示す行動特徴量を抽出するステップと、抽出された前記行動特徴量に基づいて、撮像された時刻が異なる複数の前記撮像画像のそれぞれから検出された前記オブジェクトの関連付けを行うステップと、関連付けが行われた複数の前記オブジェクトのそれぞれについて、当該オブジェクトに対応する部分画像と、当該オブジェクトに関連付けられた一以上の他のオブジェクトのそれぞれに対応する前記部分画像とに基づいて前記行動特徴量を再抽出するステップと、再抽出された前記行動特徴量に基づいて、撮像された時刻が異なる複数の前記撮像画像のそれぞれから検出された前記オブジェクトの関連付けを再度行うステップと、を有する。
【発明の効果】
【0019】
本発明によれば、オブジェクトを精度良く追跡することができるという効果を奏する。
【図面の簡単な説明】
【0020】
【図1】本実施形態に係るオブジェクト追跡装置の概要を示す図である。
【図2】オブジェクトの関連付けの例について示す図である。
【図3】本実施形態に係るオブジェクト追跡装置の構成を示す図である。
【図4】オブジェクトの関連付けが行われていない場合における行動特徴量情報の抽出例を示す図である。
【図5】オブジェクトの関連付けが行われている場合における行動特徴量情報の抽出例を示す図である。
【図6】本実施形態に係るオブジェクト追跡装置における処理の流れを示すフローチャートである。
【発明を実施するための形態】
【0021】
［オブジェクト追跡装置１の概要］
図１は、本実施形態に係るオブジェクト追跡装置１の概要を示す図である。オブジェクト追跡装置１は、店舗内等の所定エリアを撮像する撮像装置２が撮像した複数の撮像画像に映る一以上のオブジェクトを関連付けることにより、オブジェクトを追跡する装置である。ここで、オブジェクトは、例えば店舗内を行動する店員や顧客である。
図１は、本実施形態に係るオブジェクト追跡装置１の概要を示す図である。オブジェクト追跡装置１は、店舗内等の所定エリアを撮像する撮像装置２が撮像した複数の撮像画像に映る一以上のオブジェクトを関連付けることにより、オブジェクトを追跡する装置である。ここで、オブジェクトは、例えば店舗内を行動する店員や顧客である。
【0022】
オブジェクト追跡装置１は、撮像装置２が撮像した時系列の複数の撮像画像を取得する（図１の（１））。オブジェクト追跡装置１は、取得した複数の撮像画像のそれぞれから、撮像画像に映るオブジェクトを検出する（図１の（２））。
【0023】
オブジェクト追跡装置１は、複数の撮像画像のそれぞれについて、検出したオブジェクトの行動の特徴量を示す行動特徴量を抽出する（図１の（３））。オブジェクト追跡装置１は、抽出した行動特徴量に基づいて、複数の撮像画像のそれぞれから検出したオブジェクトの関連付けを行う（図１の（４））。
【0024】
オブジェクト追跡装置１は、複数のオブジェクトのそれぞれについて、当該オブジェクトに対応する撮像画像と、関連付けが行われたオブジェクトが映る他の撮像画像とに基づいて行動特徴量を再抽出する。複数の撮像画像において関連付けられたオブジェクトは、複数の撮像画像が示すオブジェクトの行動に基づいて行動特徴量を抽出できることから、関連付けが行われる前に比べて、行動特徴量の精度が高くなる。
【0025】
オブジェクト追跡装置１は、再抽出した行動特徴量に基づいて、複数の撮像画像のそれぞれから検出したオブジェクトの関連付けを行う。行動特徴量の精度が高くなったことにより、これまでに関連付けられていなかったオブジェクト同士での関連付けが行われることとなる。
【0026】
図２は、オブジェクトの関連付けの例について示す図である。図２（ａ）～（ｄ）において、横軸は撮像時刻を示し、縦軸はオブジェクトの位置を示している。また、図２（ａ）～（ｄ）において、マークＭは、検出されたオブジェクトを示している。図２（ａ）～（ｄ）において、同じ時刻に示されるマークＭは、オブジェクト追跡装置１が検出した同一のオブジェクトを示している。なお、時刻ｔ３では、マークＭが存在していないが、これは、同時刻において、例えば遮蔽等の理由により、オブジェクトが検出できなかったことを示している。また、マークＭの中に示すアルファベットは、行動特徴量が示す行動クラスを示すクラス情報を示している。
【0027】
【0028】
図２（ｃ）は、初めて関連付けが行われた後、オブジェクト追跡装置１が、オブジェクトの行動特徴量の再抽出を行った状態を示している。関連付けが行われたオブジェクトによって行動特徴量の再抽出が行われた結果、図２（ｃ）に示すように、時刻ｔ２におけるオブジェクトのクラス情報が「ｂ」から「ａ」に変化しているとともに、時刻ｔ４におけるオブジェクトのクラス情報が「ｃ」から「ａ」に変化していることが確認できる。
【0029】
図２（ｄ）は、図２（ｃ）に示すようにオブジェクトの行動特徴量の再抽出が行われた後に、再度、オブジェクトの関連付けが行われた状態を示している。図２（ｄ）に示すように、時刻ｔ２におけるオブジェクトと時刻ｔ４におけるオブジェクトの行動特徴量が再抽出された結果、時刻ｔ２におけるオブジェクトと時刻ｔ４におけるオブジェクトとが関連付けられたことが確認できる。このように、時刻ｔ３においてオブジェクトが検出できなかった場合であっても、時刻ｔ３の前後の時刻ｔ２、ｔ４における行動特徴量の再抽出により、時刻ｔ２、ｔ４におけるオブジェクトのクラス情報が同一のものに修正され、時刻ｔ２、ｔ４におけるオブジェクトを関連付けることができる。
【0030】
図１に説明を戻し、オブジェクト追跡装置１は、図１の（３）の処理と、（４）の処理とを繰り返し実行する。オブジェクト追跡装置１は、行動特徴量の再抽出と、オブジェクトの関連付けとが交互に行うことにより、オブジェクトの関連付けの精度を向上させることができるので、結果として、オブジェクトを精度良く追跡することができる。
以下、オブジェクト追跡装置１の構成を詳細に説明する。
以下、オブジェクト追跡装置１の構成を詳細に説明する。
【0031】
【0032】
記憶部１１は、ＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）等を含む記憶媒体である。記憶部１１は、制御部１２が実行するプログラムを記憶している。例えば、記憶部１１は、制御部１２を、取得部１２１、オブジェクト検出部１２２、見え特徴量抽出部１２３、行動特徴量抽出部１２４、関連付け部１２５、及び実行制御部１２６として機能させるオブジェクト追跡プログラムを記憶している。
【0033】
制御部１２は、例えばＣＰＵ（Central Processing Unit）又はＧＰＵ（Graphics Processing Unit）である。制御部１２は、記憶部１１に記憶されたオブジェクト追跡プログラムを実行することにより、取得部１２１、オブジェクト検出部１２２、見え特徴量抽出部１２３、行動特徴量抽出部１２４、関連付け部１２５、及び実行制御部１２６として機能する。
【0034】
［撮像画像の取得］
取得部１２１は、所定エリアを撮像する撮像装置２が４以上の複数の時刻のそれぞれで撮像した４以上の複数の撮像画像を取得する。ここで、撮像装置２は、複数の時刻のそれぞれで、同じ撮像範囲を撮像するものとする。
取得部１２１は、所定エリアを撮像する撮像装置２が４以上の複数の時刻のそれぞれで撮像した４以上の複数の撮像画像を取得する。ここで、撮像装置２は、複数の時刻のそれぞれで、同じ撮像範囲を撮像するものとする。
【0035】
［オブジェクトの検出］
オブジェクト検出部１２２は、取得部１２１が取得した複数の撮像画像のそれぞれから、撮像画像に映るオブジェクトを検出する。具体的には、オブジェクト検出部１２２は、撮像画像に映るオブジェクトの位置を示すオブジェクト位置を特定することによりオブジェクトを検出する。
オブジェクト検出部１２２は、取得部１２１が取得した複数の撮像画像のそれぞれから、撮像画像に映るオブジェクトを検出する。具体的には、オブジェクト検出部１２２は、撮像画像に映るオブジェクトの位置を示すオブジェクト位置を特定することによりオブジェクトを検出する。
【0036】
例えば、オブジェクト検出部１２２は、例えば、オブジェクト検出器である。オブジェクト検出部１２２は、取得部１２１が取得した撮像画像が入力されると、当該撮像画像に対してオブジェクトの位置の特徴量を示す位置特徴量情報Ｘｌｏｃと、当該オブジェクトが当該位置に存在する確からしさを示すコストＣｄｅｔとを出力することにより、オブジェクトを検出する。オブジェクト検出器には、例えば、ＳＳＤ（Single Shot Multibox Detector）が用いられる。
【0037】
位置特徴量情報Ｘｌｏｃは、例えば、４つの変数（ｘ，ｙ，ｗ，ｈ）の組み合わせによって示される。ｘは撮像画像におけるＸ軸方向（横方向）上の位置、ｙは撮像画像におけるＸ軸と直行するＹ軸方向（縦方向）上の位置、ｗはオブジェクトのＸ軸方向上の長さ（幅）、ｈはオブジェクトのＹ軸方向上の長さ（高さ）を示している。位置特徴量情報Ｘｌｏｃにより、検出されたオブジェクトを囲む矩形領域であるバウンディングボックスが特定される。オブジェクト検出部１２２は、複数の撮像画像のそれぞれにおいて検出されたオブジェクトに対してインデックスｉを割り振り、各オブジェクトｉに対応する位置特徴量情報Ｘｉ
ｌｏｃ及びコストＣｄｅｔ（ｉ）を特定する。
【0038】
［見え特徴量の抽出］
見え特徴量抽出部１２３は、オブジェクト検出部１２２が検出したオブジェクトの撮像画像における見え方を示す見え特徴量を抽出する。例えば、見え特徴量抽出部１２３は、オブジェクト検出部１２２が撮像画像から検出した位置特徴量情報Ｘｌｏｃに基づいて、撮像画像におけるバウンディングボックスの位置及び大きさを特定する。見え特徴量抽出部１２３は、当該撮像画像から、オブジェクトを示す部分画像として、特定したバウンディングボックスに囲まれる部分画像を抽出する。
見え特徴量抽出部１２３は、オブジェクト検出部１２２が検出したオブジェクトの撮像画像における見え方を示す見え特徴量を抽出する。例えば、見え特徴量抽出部１２３は、オブジェクト検出部１２２が撮像画像から検出した位置特徴量情報Ｘｌｏｃに基づいて、撮像画像におけるバウンディングボックスの位置及び大きさを特定する。見え特徴量抽出部１２３は、当該撮像画像から、オブジェクトを示す部分画像として、特定したバウンディングボックスに囲まれる部分画像を抽出する。
【0039】
見え特徴量抽出部１２３は、画像の入力に対してオブジェクトの見え方の特徴量を示す複数次元のベクトルである見え特徴量情報Ｘａｐｐを出力する見え特徴量出力プログラムに、抽出した部分画像を入力し、当該プログラムから出力される見え特徴量情報Ｘａｐｐを取得することにより、オブジェクトの見え特徴量を抽出する。見え特徴量出力プログラムは、例えば、深層ニューラルネットワークのプログラムであり、例えば、ＷＲＮｓ（Wide Residual Networks）が用いられる。
【0040】
見え特徴量抽出部１２３は、オブジェクト検出部１２２が検出した各オブジェクトｉに対応する部分画像を見え特徴量出力プログラムに入力し、当該プログラムから各オブジェクトｉに対応する見え特徴量情報Ｘｉ
ａｐｐを取得する。
【0041】
［行動特徴量の抽出］
行動特徴量抽出部１２４は、オブジェクト検出部１２２が検出した複数のオブジェクトのそれぞれに対応する撮像画像の部分画像に基づいて、複数のオブジェクトのそれぞれの行動の特徴量を示す行動特徴量を抽出する。行動特徴量抽出部１２４は、オブジェクト検出部１２２が検出した複数のオブジェクトｉのオブジェクト位置を示す位置特徴量情報Ｘｉ ｌｏｃに対応する部分画像に基づいて、複数のオブジェクトｉのそれぞれに対応する行動特徴量を抽出する。行動特徴量は、複数次元のベクトルであり、次元の数は、例えば、行動クラスの数に対応している。
行動特徴量抽出部１２４は、オブジェクト検出部１２２が検出した複数のオブジェクトのそれぞれに対応する撮像画像の部分画像に基づいて、複数のオブジェクトのそれぞれの行動の特徴量を示す行動特徴量を抽出する。行動特徴量抽出部１２４は、オブジェクト検出部１２２が検出した複数のオブジェクトｉのオブジェクト位置を示す位置特徴量情報Ｘｉ ｌｏｃに対応する部分画像に基づいて、複数のオブジェクトｉのそれぞれに対応する行動特徴量を抽出する。行動特徴量は、複数次元のベクトルであり、次元の数は、例えば、行動クラスの数に対応している。
【0042】
［関連付けが行われていない場合の行動特徴量の抽出］
行動特徴量抽出部１２４は、関連付け部１２５により、オブジェクトの関連付けが行われていない場合、以下に示すように、オブジェクト検出部１２２が検出したオブジェクトｉの行動特徴量を示す複数次元のベクトルである行動特徴量情報Ｘｉ ｐａｆを抽出する。図４は、オブジェクトの関連付けが行われていない場合における行動特徴量情報Ｘｉ ｐａｆの抽出例を示す図である。
行動特徴量抽出部１２４は、関連付け部１２５により、オブジェクトの関連付けが行われていない場合、以下に示すように、オブジェクト検出部１２２が検出したオブジェクトｉの行動特徴量を示す複数次元のベクトルである行動特徴量情報Ｘｉ ｐａｆを抽出する。図４は、オブジェクトの関連付けが行われていない場合における行動特徴量情報Ｘｉ ｐａｆの抽出例を示す図である。
【0043】
行動特徴量抽出部１２４は、オブジェクトｉの部分画像の色に基づく行動特徴量情報Ｘｉ
ｐａｆ－Ｃを抽出するとともに、部分画像と、当該部分画像が抽出された撮像画像の前後の撮像画像から抽出した部分画像との差分に基づく行動特徴量情報Ｘｉ
ｐａｆ－Ｆを抽出する。そして、行動特徴量抽出部１２４は、部分画像の色に基づく行動特徴量情報Ｘｉ
ｐａｆ－Ｃと、部分画像の差分に基づく行動特徴量情報Ｘｉ
ｐａｆ－Ｆとを統合することにより、オブジェクトｉの行動特徴量情報Ｘｉ
ｐａｆを抽出する。
【0044】
まず、行動特徴量抽出部１２４は、オブジェクト検出部１２２が検出したオブジェクトｉの位置特徴量情報Ｘｉ
ｌｏｃに基づいて、当該オブジェクトが検出された撮像画像から、当該オブジェクトを含む第１部分画像としての局所切出画像ＩｍＬと、当該オブジェクトを含み、第１部分画像よりも表示領域が大きい部分画像である第２部分画像としての大域切出画像ＩｍＧとを抽出する。
【0045】
局所切出画像ＩｍＬは、例えば、オブジェクトｉの位置特徴量情報Ｘｉ
ｌｏｃが示すバウンディングボックスに囲まれる画像であり、大域切出画像ＩｍＧは、局所切出画像ＩｍＬを含み、局所切出画像ＩｍＬよりも数倍の表示領域を有する画像である。そして、行動特徴量抽出部１２４は、抽出した局所切出画像ＩｍＬ及び大域切出画像ＩｍＧに基づいて行動特徴量情報Ｘｉ
ｐａｆを抽出する。このようにすることで、オブジェクト追跡装置１は、オブジェクトの周りに存在する他のオブジェクトや物体の情報を考慮して、より高精度に行動特徴量を抽出することができる。
【0046】
なお、本実施形態において、オブジェクト追跡装置１は、局所切出画像ＩｍＬと大域切出画像ＩｍＧとに基づいて行動特徴量情報Ｘｉ
ｐａｆを抽出することとしたが、これに限らず、局所切出画像ＩｍＬと大域切出画像ＩｍＧとのいずれか一方に基づいて行動特徴量情報Ｘｉ
ｐａｆを抽出してもよい。
【0047】
図４に示す例では、行動特徴量抽出部１２４は、局所切出画像ＩｍＬが示す色情報と、大域切出画像ＩｍＧが示す色情報とを、それぞれ、ＲｅｓＮｅｔ（Residual Networks）等の深層ニューラルネットワークのベースモデルプログラムに入力し、各ベースモデルプログラムから出力される行動特徴量情報を結合することにより、色に基づく行動特徴量情報Ｘｉ
ｐａｆ－Ｃを抽出する。
【0048】
また、行動特徴量抽出部１２４は、オブジェクトｉが検出された撮像画像から抽出したオブジェクトｉの部分画像（局所切出画像ＩｍＬ及び大域切出画像ＩｍＧ）と、当該撮像画像が撮像された時刻の前の時刻又は後の時刻に撮像された撮像画像の部分画像との差分に基づいて、行動特徴量情報Ｘｉ
ｐａｆ－Ｆを抽出する。
【0049】
例えば、行動特徴量抽出部１２４は、オブジェクトｉが検出された撮像時刻ｔｉの撮像画像から、位置特徴量情報Ｘｉ
ｌｏｃに基づいて局所切出画像ＩｍＬ及び大域切出画像ＩｍＧを抽出する。また、行動特徴量抽出部１２４は、オブジェクトｉが検出された撮像時刻ｔｉの直前の撮像時刻ｔｉ－１の撮像画像から、位置特徴量情報Ｘｉ
ｌｏｃに基づいて局所切出画像ＩｍＬｂ及び大域切出画像ＩｍＧｂを抽出する。そして、行動特徴量抽出部１２４は、抽出した２つの局所切出画像の差分ＤＬ、及び２つの大域切出画像の差分ＤＧに基づいて、行動特徴量情報Ｘｉ
ｐａｆ－Ｆを抽出する。
【0050】
図４に示す例では、行動特徴量抽出部１２４は、局所切出画像の差分ＤＬと、大域切出画像の差分ＤＧとを、それぞれ、ＲｅｓＮｅｔ等の深層ニューラルネットワークのベースモデルプログラムに入力し、各ベースモデルプログラムから出力される行動特徴量情報を結合することにより行動特徴量情報Ｘｉ
ｐａｆ－Ｆを抽出する。なお、ベースモデルプログラムは予め学習が行われているものとする。
【0051】
そして、行動特徴量抽出部１２４は、抽出した行動特徴量情報Ｘｉ
ｐａｆ－Ｃと行動特徴量情報Ｘｉ
ｐａｆ－Ｆとを統合することにより、オブジェクトｉの行動特徴量情報Ｘｉ
ｐａｆを抽出する。例えば、行動特徴量抽出部１２４は、抽出した行動特徴量情報Ｘｉ
ｐａｆ－Ｃと行動特徴量情報Ｘｉ
ｐａｆ－Ｆとの平均値をオブジェクトｉの行動特徴量情報Ｘｉ
ｐａｆとする。
【0052】
行動特徴量抽出部１２４は、行動特徴量情報Ｘｉ
ｐａｆ－Ｃと行動特徴量情報Ｘｉ
ｐａｆ－Ｆとを統合する他の方法として、行動特徴量情報Ｘｉ
ｐａｆ－Ｃと行動特徴量情報Ｘｉ
ｐａｆ－Ｆとを要素ごとに比較し、大きいほうの値で構成されたベクトルを、オブジェクトｉの行動特徴量情報Ｘｉ
ｐａｆとしてもよい。例えば、Ｘｉ
ｐａｆ－Ｃ＝（０．１，０．２，０．５，０．６）、Ｘｉ
ｐａｆ－Ｆ＝（０．９，０．６，０．２，０．９）である場合、Ｘｉ
ｐａｆ＝（０．９，０．６，０．５，０．９）となる。以下、この抽出方法を、最大要素抽出法と呼ぶ。
【0053】
また、行動特徴量抽出部１２４は、行動特徴量情報Ｘｉ
ｐａｆを抽出すると、当該行動特徴量情報Ｘｉ
ｐａｆが示すベクトル値のうち、最も高いベクトル値に対応する行動クラスを示すクラス情報を抽出する。
【0054】
なお、行動特徴量抽出部１２４は、図４に示すように行動特徴量情報Ｘｉ
ｐａｆを抽出したが、これに限らない。行動特徴量抽出部１２４は、ＴＳＮ（Temporal Segment Networks）のような深層ニューラルネットワークのプログラムを用いて行動特徴量情報Ｘｉ
ｐａｆを抽出してもよい。
【0055】
また、オブジェクトの関連付けが行われていない場合には、抽出した行動特徴量情報Ｘｉ
ｐａｆ－Ｃと行動特徴量情報Ｘｉ
ｐａｆ－Ｆとの平均値が、必ずしもオブジェクトの行動特徴量を反映しているとはいえず、むしろ、行動特徴量にあいまいさを持たせたほうが好ましいとも考えられる。このため、行動特徴量抽出部１２４は、各ニューラルネットワークにおける中間層が示す特徴量を取得し、取得した複数の特徴量の平均化等を行ったものを、行動特徴量情報Ｘｉ
ｐａｆとして抽出してもよい。このようにすることで、オブジェクト追跡装置１は、オブジェクトの関連付けが行われていない場合に、行動特徴量情報Ｘｉ
ｐａｆにあいまいさを持たせることができる。
【0056】
［関連付けが行われている場合の行動特徴量の抽出］
行動特徴量抽出部１２４は、関連付け部１２５によりオブジェクトの関連付けが行われている場合、関連付け部１２５により関連付けが行われた複数のオブジェクトｉのそれぞれについて、当該オブジェクトｉに対応する部分画像と、当該オブジェクトｉに関連付けられた一以上の他のオブジェクトのそれぞれに対応する部分画像とに基づいて行動特徴量を再抽出する。ここで、行動特徴量抽出部１２４は、オブジェクトｉに関連付けられた一以上の他のオブジェクトのうち、オブジェクトｉが映る撮像画像の撮像時刻から所定時間（所定のフレーム数）以内に撮像された撮像画像から検出された他のオブジェクトの部分画像に基づいて行動特徴量を再抽出するものとする。以下の説明において、所定のフレーム数によって定められる、オブジェクトｉの行動特徴量の抽出に用いる他のオブジェクトの参照範囲をウィンドウサイズという。
行動特徴量抽出部１２４は、関連付け部１２５によりオブジェクトの関連付けが行われている場合、関連付け部１２５により関連付けが行われた複数のオブジェクトｉのそれぞれについて、当該オブジェクトｉに対応する部分画像と、当該オブジェクトｉに関連付けられた一以上の他のオブジェクトのそれぞれに対応する部分画像とに基づいて行動特徴量を再抽出する。ここで、行動特徴量抽出部１２４は、オブジェクトｉに関連付けられた一以上の他のオブジェクトのうち、オブジェクトｉが映る撮像画像の撮像時刻から所定時間（所定のフレーム数）以内に撮像された撮像画像から検出された他のオブジェクトの部分画像に基づいて行動特徴量を再抽出するものとする。以下の説明において、所定のフレーム数によって定められる、オブジェクトｉの行動特徴量の抽出に用いる他のオブジェクトの参照範囲をウィンドウサイズという。
【0057】
図５は、オブジェクトの関連付けが行われている場合における行動特徴量情報Ｘｉ
ｐａｆの抽出例を示す図である。例えば、時刻ｔｉに検出されたオブジェクトｉに対して、時刻ｔｉ－１に検出されたオブジェクトと、時刻ｔｉ＋１に検出されたオブジェクトとが関連付けられたものとする。この場合、行動特徴量抽出部１２４は、図５に示すように、時刻ｔｉに検出されたオブジェクトｉの部分画像に基づいて行動特徴量情報を抽出するとともに、時刻ｔｉ－１及び時刻ｔｉ＋１に検出されたオブジェクトの行動特徴量情報を抽出する。そして、行動特徴量抽出部１２４は、抽出したこれらの行動特徴量情報の平均値を算出し、活性化させることにより、行動特徴量情報Ｘｉ
ｐａｆを再抽出する。また、行動特徴量抽出部１２４は、行動特徴量情報Ｘｉ
ｐａｆ－Ｃと行動特徴量情報Ｘｉ
ｐａｆ－Ｆとを統合する方法と同様に、抽出したこれらの行動特徴量情報に最大要素抽出法を適用して行動特徴量情報を算出し、算出した結果を活性化させることにより、行動特徴量情報Ｘｉ
ｐａｆを再抽出してもよい。
【0058】
図５に示す例では、時刻ｔｉ－１、時刻ｔｉ、及び時刻ｔｉ＋１に検出されたオブジェクトの行動特徴量情報を示すベクトルＢｔ（ｉ－１）、Ｂｔｉ、Ｂｔ（ｉ＋１）に含まれる行動クラスの値のうち、相対的に値が大きい行動クラスを、他の行動クラスと異なる色で示している。ベクトルＢｔ（ｉ－１）、Ｂｔｉ、Ｂｔ（ｉ＋１）を統合した結果、行動特徴量情報Ｘｉ
ｐａｆを示すベクトルが、時刻ｔｉのベクトルＢｔｉ（再抽出前の行動特徴量情報を示すベクトル）から変化していることが確認できる。なお、行動特徴量抽出部１２４は、時刻ｔｉだけでなく、時刻ｔｉ－１及び時刻ｔｉ＋１に検出されたオブジェクトの行動特徴量情報として、再抽出された行動特徴量情報Ｘｉ
ｐａｆを示すベクトルを用いてもよい。
【0059】
なお、行動特徴量抽出部１２４は、関連付け部１２５により関連付けが行われた複数のオブジェクトのそれぞれについて、当該オブジェクトに対応する行動特徴量が示す行動傾向に基づいてウィンドウサイズを変化させることにより、当該オブジェクトの行動特徴量の再抽出に用いる他のオブジェクトの数を変化させてもよい。例えば、行動特徴量抽出部１２４は、行動傾向が静止等の静的な行動傾向を示す場合、ウィンドウサイズを大きくし、歩行等の動的な行動を示す場合、ウィンドウサイズを小さくしてもよい。このようにすることで、ウィンドウサイズを、行動傾向に対して適切なウィンドウサイズとすることができるので、行動特徴量の抽出精度を向上させることができる。
【0060】
また、行動特徴量抽出部１２４は、オブジェクトの関連付けが行われている場合においても、再抽出の回数が所定回数以内であることを条件として、ニューラルネットワークの中間層が示す特徴量に基づいて、オブジェクトの行動特徴量を再抽出してもよい。具体的には、行動特徴量抽出部１２４は、ニューラルネットワークに、検出したオブジェクトｉに対応する部分画像と、当該オブジェクトｉとの関連付けが行われた一以上の他のオブジェクトに対応する部分画像とを入力し、ニューラルネットワークにおける中間層が示す特徴量を取得し、取得した特徴量に基づいて、当該オブジェクトｉの行動特徴量情報Ｘｉ
ｐａｆを再抽出してもよい。
【0061】
例えば、行動特徴量抽出部１２４は、検出したオブジェクトに対応する部分画像をニューラルネットワークに入力した場合における、当該ニューラルネットワークにおける中間層が示す特徴量と、関連するオブジェクトに対応する部分画像をニューラルネットワークに入力した場合における、当該ニューラルネットワークにおける中間層が示す特徴量との平均値を、検出したオブジェクトの行動特徴量情報Ｘｉ
ｐａｆを再抽出してもよい。このようにすることで、オブジェクト追跡装置１は、オブジェクトの関連付けが十分に行われていない場合に、行動特徴量情報Ｘｉ
ｐａｆにあいまいさを持たせることができる。
【0062】
［オブジェクトの関連付け］
関連付け部１２５は、オブジェクト検出部１２２が抽出した位置特徴量、見え特徴量抽出部１２３が抽出した見え特徴量、及び行動特徴量抽出部１２４が抽出した行動特徴量に基づいて、撮像された時刻が異なる複数の撮像画像のそれぞれからオブジェクト検出部１２２が検出したオブジェクトの関連付けを行う。
関連付け部１２５は、オブジェクト検出部１２２が抽出した位置特徴量、見え特徴量抽出部１２３が抽出した見え特徴量、及び行動特徴量抽出部１２４が抽出した行動特徴量に基づいて、撮像された時刻が異なる複数の撮像画像のそれぞれからオブジェクト検出部１２２が検出したオブジェクトの関連付けを行う。
【0063】
関連付け部１２５は、検出されたオブジェクトｉをノードとし、各ノード間のコストを設定して、最小費用流問題を解くことにより、オブジェクトの関連付けを行う。具体的にはまず、関連付け部１２５は、以下の式（１）に示すように、検出されたオブジェクトｉを示すノードｙｉを定義する。
【0064】
【数1】
【0065】
続いて、関連付け部１２５は、各ノードｙｉに対するコストを算出する。コストには、観測コストＣｏｂｓｖ（ｉ）、遷移コストＣｔｒａｎ（ｉ，ｊ）、開始コストＣｅｎｔｒ（ｉ）、終了コストＣｅｘｉｔ（ｉ）が含まれる。遷移コストＣｔｒａｎ（ｉ，ｊ）に含まれるｊは、他のノードｙｊのインデックスを示している。また、他のノードｙｊは、オブジェクトｉが検出された撮像画像の撮像時刻から所定時間内に撮像された撮像画像から検出したオブジェクトに対応しているものとする。
【0066】
また、開始コストＣｅｎｔｒ（ｉ）は、予め定数として与えられるものである。開始コストＣｅｎｔｒ（ｉ）が小さければ小さいほど、ノードｙｉに対して新たに関連付けが行われる頻度が増加する。終了コストＣｅｘｉｔ（ｉ）は、予め定数として与えられるものである。終了コストＣｅｘｉｔ（ｉ）が小さければ小さいほど、ノードｙｉに対して関連付けが行われない頻度が増加する。
【0067】
関連付け部１２５は、観測コストＣｏｂｓｖ（ｉ）を以下に示す式（２）、（３）に基づいて算出する。
【数2】
【0068】
式（２）に示されるｂは予め定められる定数である。コストＣｄｅｔ（ｉ）は、オブジェクト検出器の出力（当該オブジェクトが位置特徴量情報Ｘｉ
ｌｏｃが示す位置に存在する確からしさ）を示している。α、βは、コストＣｄｅｔ（ｉ）に対して最適となる観測コストＣｏｂｓｖ（ｉ）を算出するためのパラメータである。α、βは、位置特徴量情報Ｘｉ
ｌｏｃにおけるコストＣｄｅｔ（ｉ）と、当該オブジェクトの位置が正しいか否かを示す正解データとを組み合わせた教師データに基づいて学習を行うことにより設定される。
【0069】
関連付け部１２５は、遷移コストＣｔｒａｎ（ｉ，ｊ）を以下に示す式（４）、（５）に基づいて算出する。
【0070】
【数3】
【0071】
式（４）に示されるＣｉｏｕ（ｉ，ｊ）は、例えば、ノードｙｉに含まれる位置特徴量情報Ｘｉ
ｌｏｃによって示されるバウンディングボックスと、ノードｙｊに含まれる位置特徴量情報Ｘｊ
ｌｏｃによって示されるバウンディングボックスとの重複率である。式（４）に示されるＣａｐｐ（ｉ，ｊ）は、ノードｙｉに含まれる見え特徴量情報Ｘｉ
ａｐｐとノードｙｊに含まれる見え特徴量情報Ｘｊ
ａｐｐとのコサイン距離である。式（４）に示されるＣｐａｆ（ｉ，ｊ）は、ノードｙｉに含まれる行動特徴量情報Ｘｉ
ｐａｆとノードｙｊに含まれる行動特徴量情報Ｘｊ
ｐａｆとのコサイン距離である。
【0072】
関数ｇは、式（４）にＣｉｏｕ（ｉ，ｊ）、Ｃａｐｐ（ｉ，ｊ）、Ｃｐａｆ（ｉ，ｊ）を入力した結果、最適となる観測コストＣｔｒａｎ（ｉ，ｊ）を算出するための非線形関数である。関数ｇは、予め関連付けが行われている複数のオブジェクトｉと、オブジェクト検出部１２２によって検出された当該複数のオブジェクトｉに対応するノードｙとを組み合わせた教師データに基づいて学習を行うことにより設定される。なお、関数ｇは、例えば決定木で表現してもよい。この場合、関数ｇは、例えばブースティングアルゴリズムによって予めパラメータを学習させておくものとする。
【0073】
関連付け部１２５は、以下の式（６）に示すオブジェクトの関連付けの結果Ｆを求めることにより、オブジェクトの関連付けを行う。
【数4】
【0074】
ここで、ｆは、関連付けをするか否かを示すものであり、ｆｅｎｔｒ（ｉ）、ｆｏｂｓｖ（ｉ）、ｆｔｒａｎ（ｉ，ｊ）、ｆｅｘｉｔ（ｉ）のうち、いずれかが１となり、その他が０となる。ｆが０である場合は関連付けが行われないことを示し、ｆが１である場合は関連付けが行われることを示す。
【0075】
関連付け部１２５は、各オブジェクトの最適な関連付けの結果Ｆ＊を、以下の式（７）に示す目的関数を最適化、すなわち、Ｆ＊を最小の値にすることによって求める。関連付け部１２５は、例えばスケーリングプッシュ再ラベルアルゴリズムを用いて式（７）に示す目的関数の最適化を行うことにより、オブジェクトの関連付けを行う。
【数5】
【0076】
関連付け部１２５は、行動特徴量抽出部１２４により再抽出された行動特徴量に基づいて、撮像された時刻が異なる複数の撮像画像のそれぞれからオブジェクト検出部１２２が検出したオブジェクトの関連付けを再度行う。関連付け部１２５が、オブジェクトの関連付けを再度行うときも、上述したように、各ノードｙｉに対するコストを算出し、式（７）に示す目的関数の最適化を行うことにより、オブジェクトの関連付けを行う。
【0077】
［行動特徴量の再抽出及びオブジェクトの関連付けの繰り返し］
実行制御部１２６は、行動特徴量抽出部１２４による行動特徴量の再抽出と、関連付け部１２５によるオブジェクトの再度の関連付けとを、所定の条件を満たすまで交互に繰り返し実行させることにより、オブジェクトの追跡を行う。例えば、所定の条件は、関連付け部１２５によるオブジェクトの関連付けが収束したことである。
実行制御部１２６は、行動特徴量抽出部１２４による行動特徴量の再抽出と、関連付け部１２５によるオブジェクトの再度の関連付けとを、所定の条件を満たすまで交互に繰り返し実行させることにより、オブジェクトの追跡を行う。例えば、所定の条件は、関連付け部１２５によるオブジェクトの関連付けが収束したことである。
【0078】
具体的には、実行制御部１２６は、関連付け部１２５によるオブジェクトの関連付けを行った結果、当該関連付けを行った後において関連付けられているオブジェクトの数に対する、当該関連付けを行う前において関連付けられているオブジェクトの数の割合が所定の割合以上（例えば９０％以上）となるまで、行動特徴量抽出部１２４による行動特徴量の再抽出と、関連付け部１２５によるオブジェクトの関連付けとを交互に繰り返し実行させる。すなわち、実行制御部１２６は、関連付け部１２５によるオブジェクトの関連付けを行った前後において関連付けられているオブジェクトの数の変化（増分）が小さくなるまで行動特徴量抽出部１２４による行動特徴量の再抽出と、関連付け部１２５によるオブジェクトの関連付けとを交互に繰り返し実行させる。このようにすることで、オブジェクト追跡装置１は、オブジェクトの関連付けが収束するまでオブジェクトの関連付けを行うことができる。
【0079】
なお、行動特徴量抽出部１２４による行動特徴量の再抽出と、関連付け部１２５によるオブジェクトの関連付けとを交互に繰り返し実行させる回数を予め定めておき、実行制御部１２６が、当該回数に基づいて、行動特徴量抽出部１２４による行動特徴量の再抽出と、関連付け部１２５によるオブジェクトの関連付けとを交互に繰り返し実行させてもよい。
【0080】
［オブジェクト追跡装置１における処理の流れ］
続いて、オブジェクト追跡装置１における処理の流れについて説明する。図６は、本実施形態に係るオブジェクト追跡装置１における処理の流れを示すフローチャートである。
続いて、オブジェクト追跡装置１における処理の流れについて説明する。図６は、本実施形態に係るオブジェクト追跡装置１における処理の流れを示すフローチャートである。
【0081】
まず、取得部１２１は、所定エリアを撮像する撮像装置２が複数の時刻のそれぞれで撮像した複数の撮像画像を取得する（Ｓ１）。
続いて、オブジェクト検出部１２２は、取得部１２１が取得した複数の撮像画像のそれぞれからオブジェクトに対応する位置特徴量を抽出することにより、複数の撮像画像のそれぞれに映るオブジェクトを検出する（Ｓ２）。
続いて、オブジェクト検出部１２２は、取得部１２１が取得した複数の撮像画像のそれぞれからオブジェクトに対応する位置特徴量を抽出することにより、複数の撮像画像のそれぞれに映るオブジェクトを検出する（Ｓ２）。
【0082】
続いて、見え特徴量抽出部１２３は、オブジェクト検出部１２２が検出したオブジェクトの見え特徴量を抽出する（Ｓ３）。
続いて、行動特徴量抽出部１２４は、オブジェクト検出部１２２が検出したオブジェクトの行動特徴量を抽出する（Ｓ４）。
続いて、行動特徴量抽出部１２４は、オブジェクト検出部１２２が検出したオブジェクトの行動特徴量を抽出する（Ｓ４）。
【0083】
続いて、関連付け部１２５は、オブジェクト検出部１２２が抽出した位置特徴量、見え特徴量抽出部１２３が抽出した見え特徴量、及び行動特徴量抽出部１２４が抽出した行動特徴量に基づいて、オブジェクト検出部１２２が検出したオブジェクトの関連付けを行う（Ｓ５）。
【0084】
続いて、行動特徴量抽出部１２４は、関連付け部１２５により関連付けが行われた複数のオブジェクトのそれぞれについて、当該オブジェクトと、当該オブジェクトに関連付けられた一以上の他のオブジェクトとに基づいて行動特徴量を再抽出する（Ｓ６）。
【0085】
続いて、関連付け部１２５は、オブジェクト検出部１２２が抽出した位置特徴量、見え特徴量抽出部１２３が抽出した見え特徴量、及び行動特徴量抽出部１２４が再抽出した行動特徴量に基づいて、オブジェクト検出部１２２が検出したオブジェクトの関連付けを行う（Ｓ７）。
【0086】
続いて、実行制御部１２６は、関連付け部１２５によるオブジェクトの関連付けが収束したか否かを判定する（Ｓ８）。実行制御部１２６は、オブジェクトの関連付けが収束したと判定すると、本フローチャートに係る処理を終了し、オブジェクトの関連付けが収束していないと判定すると、Ｓ６に処理を移す。
【0087】
［本実施形態における効果］
以上説明したように、本実施形態に係るオブジェクト追跡装置１は、所定エリアを複数の時刻のそれぞれで撮像した複数の撮像画像からオブジェクトを検出し、検出したオブジェクトに対応する撮像画像の部分画像に基づいてオブジェクトの行動特徴量を抽出し、抽出した行動特徴量に基づいて撮像時刻が異なる複数の撮像画像のそれぞれから検出されたオブジェクトの関連付けを行う。そして、オブジェクト追跡装置１は、関連付けが行われた複数のオブジェクトのそれぞれについて、当該オブジェクトに対応する部分画像と、当該オブジェクトに関連付けられた他のオブジェクトに対応する部分画像とに基づいて行動特徴量を再抽出し、再抽出した行動特徴量に基づいて、撮像時刻が異なる複数の撮像画像のそれぞれから検出されたオブジェクトの関連付けを再度行う。
以上説明したように、本実施形態に係るオブジェクト追跡装置１は、所定エリアを複数の時刻のそれぞれで撮像した複数の撮像画像からオブジェクトを検出し、検出したオブジェクトに対応する撮像画像の部分画像に基づいてオブジェクトの行動特徴量を抽出し、抽出した行動特徴量に基づいて撮像時刻が異なる複数の撮像画像のそれぞれから検出されたオブジェクトの関連付けを行う。そして、オブジェクト追跡装置１は、関連付けが行われた複数のオブジェクトのそれぞれについて、当該オブジェクトに対応する部分画像と、当該オブジェクトに関連付けられた他のオブジェクトに対応する部分画像とに基づいて行動特徴量を再抽出し、再抽出した行動特徴量に基づいて、撮像時刻が異なる複数の撮像画像のそれぞれから検出されたオブジェクトの関連付けを再度行う。
【0088】
このようにすることで、オブジェクト追跡装置１は、関連付けが行われたオブジェクトのそれぞれに対応するオブジェクトの行動特徴量の精度を高めることができるので、オブジェクトを精度良く追跡することができる。
【0089】
また、オブジェクト追跡装置１は、行動特徴量の再抽出と、オブジェクトの再度の関連付けとを、所定の条件を満たすまで交互に繰り返し実行させることにより、オブジェクトの追跡を行う。これにより、オブジェクト追跡装置１は、関連付けが行われたオブジェクト同士が示す行動特徴量に基づいて、各オブジェクトの行動特徴量の精度をさらに高めることができるので、オブジェクトの追跡精度をさらに向上させることができる。
【0090】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、上述の実施形態では、関連付け部１２５は、オブジェクト検出部１２２が抽出した位置特徴量、見え特徴量抽出部１２３が抽出した見え特徴量、及び行動特徴量抽出部１２４が抽出した行動特徴量に基づいて、オブジェクトの関連付けを行うこととしたが、これに限らない。
【0091】
関連付け部１２５は、行動特徴量抽出部１２４が抽出した行動特徴量のみに基づいて、オブジェクト検出部１２２が検出したオブジェクトの関連付けを行ってもよい。また、関連付け部１２５は、オブジェクト検出部１２２が抽出した位置特徴量及び見え特徴量抽出部１２３が抽出した見え特徴量のいずれかと、行動特徴量抽出部１２４が抽出した行動特徴量とに基づいてオブジェクト検出部１２２が検出したオブジェクトの関連付けを行ってもよい。
【0092】
また、取得部１２１は、撮像装置２が４以上の複数の時刻のそれぞれで撮像した４以上の複数の撮像画像を取得したが、これに限らない。取得部１２１は、撮像装置２が３つの時刻のそれぞれで撮像した３つの撮像画像を取得してもよい。この場合には、行動特徴量抽出部１２４による行動特徴量の再抽出と、関連付け部１２５による行動特徴量の再抽出が行われたオブジェクトの関連付けとを、それぞれ１回のみ実行し、行動特徴量の再抽出と、行動特徴量の再抽出が行われたオブジェクトの関連付けとを複数回実行しないようにしてもよい。
【0093】
また、上記の実施の形態では、オブジェクトが、店舗内を行動する店員や顧客等の人物であることを例として説明したが、これに限らない。例えば、撮像画像が、町中を撮像する撮像画像である場合、人物に限らず、車両等の移動物もオブジェクトとしてもよい。この場合、オブジェクト追跡装置１は、オブジェクトの種別に応じた各種特徴量を用いてもよい。
【0094】
また、装置の全部又は一部は、任意の単位で機能的又は物理的に分散・統合して構成することができる。また、複数の実施の形態の任意の組み合わせによって生じる新たな実施の形態も、本発明の実施の形態に含まれる。組み合わせによって生じる新たな実施の形態の効果は、もとの実施の形態の効果を併せ持つ。
【符号の説明】
【0095】
１・・・オブジェクト追跡装置、１１・・・記憶部、１２・・・制御部、１２１・・・取得部、１２２・・・オブジェクト検出部、１２３・・・見え特徴量抽出部、１２４・・・行動特徴量抽出部、１２５・・・関連付け部、１２６・・・実行制御部、２・・・撮像装置
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】