特許 7013313 動線管理装置、動線管理方法及び動線管理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-01-21

(45)【発行日】2022-01-31

(54)【発明の名称】動線管理装置、動線管理方法及び動線管理プログラム

(51)【国際特許分類】

   G06T 7/292 20170101AFI20220124BHJP

   H04N 7/18 20060101ALI20220124BHJP

【ＦＩ】

G06T7/292

H04N7/18 G

【請求項の数】 20

(21)【出願番号】P 2018078645

(22)【出願日】2018-04-16

(65)【公開番号】P2019185615

(43)【公開日】2019-10-24

【審査請求日】2020-05-29

(73)【特許権者】

【識別番号】000208891

【氏名又は名称】ＫＤＤＩ株式会社

(74)【代理人】

【識別番号】100166006

【弁理士】

【氏名又は名称】泉 通博

(74)【代理人】

【識別番号】100124084

【弁理士】

【氏名又は名称】黒岩 久人

(74)【代理人】

【識別番号】100153280

【弁理士】

【氏名又は名称】寺川 賢祐

(72)【発明者】

【氏名】巻渕 有哉

【審査官】佐野 潤一

(56)【参考文献】

【文献】特開２００７－０８７１５０（ＪＰ，Ａ）

【文献】米国特許第０５９６９７５５（ＵＳ，Ａ）

【文献】米国特許第０６２９５３６７（ＵＳ，Ｂ１）

【文献】国際公開第２０１０／０９８０２４（ＷＯ，Ａ１）

【文献】特開２０１１－１７０５６４（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００

Ｈ０４Ｎ ７／１８

Ｈ０４Ｎ ５／２２２－ ５／２５７

Ｇ０６Ｑ １０／００ －３０／００

(57)【特許請求の範囲】

【請求項1】

所定エリアを撮像する第１撮像装置により撮像された複数の第１画像に基づく複数のオブジェクトのそれぞれの追跡結果を示し、同一のオブジェクトの各時刻における位置を示す一以上の第１動線と、前記所定エリアを撮像する第２撮像装置により撮像された複数の第２画像に基づく複数のオブジェクトのそれぞれの追跡結果を示し、同一のオブジェクトの各時刻における位置を示す複数の第２動線と、前記第１動線と前記第２動線との同一性を示す複数の追跡接続情報と、一以上の前記第１動線のそれぞれに対応するオブジェクトの複数の時刻のそれぞれにおける前記所定エリアの位置を示す位置情報と、複数の前記第２動線のそれぞれに対応するオブジェクトの複数の時刻のそれぞれにおける前記所定エリアの位置を示す位置情報とを含み、同一のオブジェクトに対応するものとして生成された１つの連結グラフに、複数の動線であって、対応する撮像装置及び対応する時刻が重複する複数の動線が存在するか否かを判定することにより、前記第１動線と前記第２動線と前記追跡接続情報とに矛盾が生じているか否かを判定する矛盾判定部と、
前記矛盾判定部により前記矛盾が生じていると判定されると、前記連結グラフに含まれている複数の前記追跡接続情報のうち、一以上の追跡接続情報を消去し、前記連結グラフを複数の連結グラフに分割することにより、前記矛盾が生じない、前記第１動線と前記第２動線と前記追跡接続情報とを含む連結グラフを生成する矛盾解消部と、
前記矛盾が生じていない連結グラフに含まれる前記第１動線に対応する位置情報と、当該連結グラフに含まれる前記第２動線に対応する位置情報とに基づいて、複数の時刻のそれぞれに１つの位置が関連付けられた１つの動線を示す動線情報を生成する動線生成部と、
を備える動線管理装置。

【請求項2】

前記追跡接続情報は、前記第１動線と前記第２動線との同一性の強度を示す追跡接続強度情報を含み、
前記矛盾解消部は、前記同一性の強度が低い順に前記追跡接続情報を消去する、
請求項１に記載の動線管理装置。

【請求項3】

前記追跡接続情報は、各時刻における前記第１動線が示すオブジェクトと前記第２動線が示すオブジェクトとの同一性判定の結果に基づいて算出される前記同一性の強度を示す前記追跡接続強度情報を含む、
請求項２に記載の動線管理装置。

【請求項4】

前記矛盾解消部は、前記矛盾が生じている前記連結グラフから１つの前記追跡接続情報を消去することにより、前記矛盾が生じている前記連結グラフを、第１の連結グラフと第２の連結グラフとに分割し、
前記矛盾判定部は、前記第１の連結グラフと前記第２の連結グラフとのそれぞれについて、当該連結グラフに前記矛盾が生じているか否かを判定する、
請求項１から３のいずれか１項に記載の動線管理装置。

【請求項5】

前記矛盾解消部は、分割後の連結グラフに前記矛盾が生じていると前記矛盾判定部が判定した場合に、当該分割後の連結グラフに含まれている前記追跡接続情報の数が所定数よりも多いとき、当該分割後の連結グラフを、当該第１の連結グラフと第２の連結グラフに分割する、
請求項４に記載の動線管理装置。

【請求項6】

前記矛盾解消部は、前記追跡接続情報を消去する複数のパターンのうち、分割後の連結グラフの少なくとも一部の連結グラフに前記矛盾が生じないパターンに基づいて、前記追跡接続情報を消去する、
請求項１から５のいずれか１項に記載の動線管理装置。

【請求項7】

前記矛盾判定部は、前記追跡接続情報を消去する複数のパターンのうち、消去する前記追跡接続情報の数が少ないパターンから順に、分割後の連結グラフの少なくとも一部の連結グラフに前記矛盾が生じないパターンが含まれるか否かを判定する、
請求項６に記載の動線管理装置。

【請求項8】

前記矛盾判定部は、消去する前記追跡接続情報の数が所定数を超えるまでに、分割後の連結グラフの少なくとも一部の連結グラフに前記矛盾が生じないパターンが見つからなかった場合、前記矛盾が生じないパターンが含まれるか否かの判定を行わないように制御する、
請求項７に記載の動線管理装置。

【請求項9】

前記矛盾解消部は、分割後の連結グラフの少なくとも一部の連結グラフに前記矛盾が生じない前記パターンのうち、前記追跡接続情報の消去数が相対的に少ないパターンに基づいて、前記追跡接続情報を消去する、
請求項６から８のいずれか１項に記載の動線管理装置。

【請求項10】

前記追跡接続情報は、前記第１動線と前記第２動線との同一性の強度を示す追跡接続強度情報を含み、
前記矛盾解消部は、分割後の連結グラフの少なくとも一部の連結グラフに前記矛盾が生じず、前記追跡接続情報の消去数が同じパターンが複数存在する場合には、当該複数のパターンのうち、前記同一性の強度が相対的に低い前記追跡接続情報を消去するパターンに基づいて、前記追跡接続情報を消去する、
請求項６から９のいずれか１項に記載の動線管理装置。

【請求項11】

前記矛盾解消部は、分割後の連結グラフの少なくとも一部の連結グラフに前記矛盾が生じず、前記追跡接続情報の消去数が同じパターンが複数存在する場合には、当該複数のパターンのうち、分割後に矛盾が解消できる連結グラフの数が相対的に多いパターンに基づいて、前記追跡接続情報を消去する、
請求項６から１０のいずれか１項に記載の動線管理装置。

【請求項12】

前記矛盾解消部は、分割後の連結グラフの少なくとも一部の連結グラフに前記矛盾が生じず、前記追跡接続情報の消去数が同じパターンが複数存在する場合には、当該複数のパターンのうち、分割後に矛盾が解消できる連結グラフに含まれる前記追跡接続情報の数が相対的に多いパターンに基づいて、前記追跡接続情報を消去する、
請求項６から１０のいずれか１項に記載の動線管理装置。

【請求項13】

前記矛盾解消部は、分割後の連結グラフのうち、前記矛盾が生じている連結グラフに対応する全ての前記追跡接続情報を消去して、一以上の前記第１動線及び一以上の前記第２動線に分割し、一以上の前記追跡接続情報を復活させた場合において、当該追跡接続情報に対応する連結グラフに前記矛盾が生じないとき、当該一以上の追跡接続情報を復活させる、
請求項１から１２のいずれか１項に記載の動線管理装置。

【請求項14】

前記追跡接続情報は、前記第１動線と前記第２動線との同一性の強度を示す追跡接続強度情報を含み、
前記矛盾解消部は、前記同一性の強度が高い順に前記追跡接続情報を復活させる、
請求項１３に記載の動線管理装置。

【請求項15】

前記動線生成部は、前記第１動線に対応する各時刻における前記オブジェクトの位置に関する第１の信頼値と、前記第２動線に対応する各時刻における前記オブジェクトの位置に関する第２の信頼値とに基づいて、前記第１動線と前記第２動線とから、各時刻に１つの位置が関連付けられた１つの動線情報を生成する、
請求項１から１４のいずれか１項に記載の動線管理装置。

【請求項16】

前記撮像装置は、全方位画像を撮像する撮像装置であり、
前記動線生成部は、動線に対応するオブジェクトの各時刻における撮像画像上での位置と、撮像画像の中心位置との距離が短いほど高くなる値を、当該時刻における当該オブジェクトの位置に関する信頼値として算出する、
請求項１５に記載の動線管理装置。

【請求項17】

前記動線生成部は、同一の時刻に対応する、前記第１動線の前記位置情報に関する前記第１の信頼値と、前記第２動線の前記位置情報に関する前記第２の信頼値とを比較し、相対的に高い信頼値に対応する前記位置情報を、当該時刻における位置情報として含む前記動線情報を生成する、
請求項１５又は１６に記載の動線管理装置。

【請求項18】

前記動線生成部は、前記矛盾が生じていない連結グラフにおいて第１の時刻における位置と、前記第１の時刻に連続する第２の時刻における位置との距離が所定距離以上である場合、前記第１の時刻を基準として、前記矛盾が生じていない連結グラフを分割する、
請求項１から１７のいずれか１項に記載の動線管理装置。

【請求項19】

コンピュータが実行する、
所定エリアを撮像する第１撮像装置により撮像された複数の第１画像に基づく複数のオブジェクトのそれぞれの追跡結果を示し、同一のオブジェクトの各時刻における位置を示す一以上の第１動線と、前記所定エリアを撮像する第２撮像装置により撮像された複数の第２画像に基づく複数のオブジェクトのそれぞれの追跡結果を示し、同一のオブジェクトの各時刻における位置を示す複数の第２動線と、前記第１動線と前記第２動線との同一性を示す複数の追跡接続情報と、一以上の前記第１動線のそれぞれに対応するオブジェクトの複数の時刻のそれぞれにおける前記所定エリアの位置を示す位置情報と、複数の前記第２動線のそれぞれに対応するオブジェクトの複数の時刻のそれぞれにおける前記所定エリアの位置を示す位置情報とを含み、同一のオブジェクトに対応するものとして生成された１つの連結グラフに、複数の動線であって、対応する撮像装置及び対応する時刻が重複する複数の動線が存在するか否かを判定することにより、前記第１動線と前記第２動線と前記追跡接続情報とに矛盾が生じているか否かを判定するステップと、
前記矛盾が生じていると判定されると、前記連結グラフに含まれている複数の前記追跡接続情報のうち、一以上の追跡接続情報を消去し、前記連結グラフを複数の連結グラフに分割することにより、前記矛盾が生じない、前記第１動線と前記第２動線と前記追跡接続情報とを含む連結グラフを生成するステップと、
前記矛盾が生じていない連結グラフに含まれる前記第１動線に対応する位置情報と、当該連結グラフに含まれる前記第２動線に対応する位置情報とに基づいて、複数の時刻のそれぞれに１つの位置が関連付けられた１つの動線を示す動線情報を生成するステップと、
を有する動線管理方法。

【請求項20】

コンピュータを、
所定エリアを撮像する第１撮像装置により撮像された複数の第１画像に基づく複数のオブジェクトのそれぞれの追跡結果を示し、同一のオブジェクトの各時刻における位置を示す一以上の第１動線と、前記所定エリアを撮像する第２撮像装置により撮像された複数の第２画像に基づく複数のオブジェクトのそれぞれの追跡結果を示し、同一のオブジェクトの各時刻における位置を示す複数の第２動線と、前記第１動線と前記第２動線との同一性を示す複数の追跡接続情報と、一以上の前記第１動線のそれぞれに対応するオブジェクトの複数の時刻のそれぞれにおける前記所定エリアの位置を示す位置情報と、複数の前記第２動線のそれぞれに対応するオブジェクトの複数の時刻のそれぞれにおける前記所定エリアの位置を示す位置情報とを含み、同一のオブジェクトに対応するものとして生成された１つの連結グラフに、複数の動線であって、対応する撮像装置及び対応する時刻が重複する複数の動線が存在するか否かを判定することにより、前記第１動線と前記第２動線と前記追跡接続情報とに矛盾が生じているか否かを判定する矛盾判定部、
前記矛盾判定部により前記矛盾が生じていると判定されると、前記連結グラフに含まれている複数の前記追跡接続情報のうち、一以上の追跡接続情報を消去し、前記連結グラフを複数の連結グラフに分割することにより、前記矛盾が生じない、前記第１動線と前記第２動線と前記追跡接続情報とを含む連結グラフを生成する矛盾解消部、及び、
前記矛盾が生じていない連結グラフに含まれる前記第１動線に対応する位置情報と、当該連結グラフに含まれる前記第２動線に対応する位置情報とに基づいて、複数の時刻のそれぞれに１つの位置が関連付けられた１つの動線を示す動線情報を生成する動線生成部、
として機能させる動線管理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、動線管理装置、動線管理方法及び動線管理プログラムに関する。

【背景技術】

【0002】

従来、所定エリアにおけるオブジェクトの移動軌跡を示す動線を生成するにあたり、複数の撮像装置から取得した複数の画像に基づいて、オブジェクトを追跡することが行われている（例えば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１６－１３９９４９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

複数の撮像装置に基づいてオブジェクトの動線を生成する場合には、複数の撮像装置間における同一のオブジェクトの判定結果に基づいて、撮像装置ごとに特定したオブジェクトの追跡結果のうち、同一のオブジェクトに対応する追跡結果を統合することが行われる。

【0005】

複数の撮像装置間における同一のオブジェクトの判定結果に誤判定が含まれていると、異なるオブジェクトの追跡結果が同一のオブジェクトに対応する追跡結果として統合されてしまい、統合結果に矛盾が生じてしまう。

【0006】

そこで、本発明はこれらの点に鑑みてなされたものであり、異なるオブジェクトに対応する追跡結果を含まないように追跡結果を統合することができる動線管理装置、動線管理方法及び動線管理プログラムを提供することを目的とする。

【課題を解決するための手段】

【0007】

本発明の第１の態様に係る動線管理装置は、所定エリアを撮像する第１撮像装置により撮像された複数の第１画像に基づく複数のオブジェクトのそれぞれの追跡結果を示し、同一のオブジェクトの各時刻における位置を示す一以上の第１動線と、前記所定エリアを撮像する第２撮像装置により撮像された複数の第２画像に基づく複数のオブジェクトのそれぞれの追跡結果を示し、同一のオブジェクトの各時刻における位置を示す複数の第２動線と、前記第１動線と前記第２動線との同一性を示す一以上の追跡接続情報とを含み、同一のオブジェクトに対応するものとして生成された１つの連結グラフに、複数の動線であって、対応する撮像装置及び対応する時刻が重複する複数の動線が存在するか否かを判定することにより、前記第１動線と前記第２動線と前記追跡接続情報とに矛盾が生じているか否かを判定する矛盾判定部と、前記矛盾判定部により前記矛盾が生じていると判定されると、前記連結グラフから、前記矛盾が生じない、前記第１動線と前記第２動線と前記追跡接続情報とを含む連結グラフを生成する矛盾解消部と、を備える。

【0008】

前記矛盾解消部は、一以上の前記追跡接続情報を消去し、前記１つの連結グラフを複数の連結グラフに分割することにより、前記矛盾が生じていない一以上の前記連結グラフを生成してもよい。

【0009】

前記追跡接続情報は、前記第１動線と前記第２動線との同一性の強度を示す追跡接続強度情報を含み、前記矛盾解消部は、前記同一性の強度が低い順に前記追跡接続情報を消去してもよい。

【0010】

前記追跡接続情報は、各時刻における前記第１動線が示すオブジェクトと前記第２動線が示すオブジェクトとの同一性判定の結果に基づいて算出される前記同一性の強度を示す前記追跡接続強度情報を含んでもよい。

【0011】

前記矛盾解消部は、前記矛盾が生じている前記連結グラフから１つの前記追跡接続情報を消去することにより、前記矛盾が生じている前記連結グラフを、第１の連結グラフと第２の連結グラフとに分割し、前記矛盾判定部は、前記第１の連結グラフと前記第２の連結グラフとのそれぞれについて、当該連結グラフに前記矛盾が生じているか否かを判定してもよい。

【0012】

前記矛盾解消部は、分割後の連結グラフに前記矛盾が生じていると前記矛盾判定部が判定した場合に、当該分割後の連結グラフに含まれている前記追跡接続情報の数が所定数よりも多いとき、当該分割後の連結グラフを、当該第１の連結グラフと第２の連結グラフに分割してもよい。

【0013】

前記矛盾解消部は、前記追跡接続情報を消去する複数のパターンのうち、分割後の連結グラフの少なくとも一部の連結グラフに前記矛盾が生じないパターンに基づいて、前記追跡接続情報を消去してもよい。

【0014】

前記矛盾判定部は、前記追跡接続情報を消去する複数のパターンのうち、消去する前記追跡接続情報の数が少ないパターンから順に、分割後の連結グラフの少なくとも一部の連結グラフに前記矛盾が生じないパターンが含まれるか否かを判定してもよい。

【0015】

前記矛盾判定部は、消去する前記追跡接続情報の数が所定数を超えるまでに、分割後の連結グラフの少なくとも一部の連結グラフに前記矛盾が生じないパターンが見つからなかった場合、前記矛盾が生じないパターンが含まれるか否かの判定を行わないように制御してもよい。

【0016】

前記矛盾解消部は、分割後の連結グラフの少なくとも一部の連結グラフに前記矛盾が生じない前記パターンのうち、前記追跡接続情報の消去数が相対的に少ないパターンに基づいて、前記追跡接続情報を消去してもよい。

【0017】

前記追跡接続情報は、前記第１動線と前記第２動線との同一性の強度を示す追跡接続強度情報を含み、前記矛盾解消部は、分割後の連結グラフの少なくとも一部の連結グラフに前記矛盾が生じず、前記追跡接続情報の消去数が同じパターンが複数存在する場合には、当該複数のパターンのうち、前記同一性の強度が相対的に低い前記追跡接続情報を消去するパターンに基づいて、前記追跡接続情報を消去してもよい。

【0018】

前記矛盾解消部は、分割後の連結グラフの少なくとも一部の連結グラフに前記矛盾が生じず、前記追跡接続情報の消去数が同じパターンが複数存在する場合には、当該複数のパターンのうち、分割後に矛盾が解消できる連結グラフの数が相対的に多いパターンに基づいて、前記追跡接続情報を消去してもよい。

【0019】

前記矛盾解消部は、分割後の連結グラフの少なくとも一部の連結グラフに前記矛盾が生じず、前記追跡接続情報の消去数が同じパターンが複数存在する場合には、当該複数のパターンのうち、分割後に矛盾が解消できる連結グラフに含まれる前記追跡接続情報の数が相対的に多いパターンに基づいて、前記追跡接続情報を消去してもよい。

【0020】

前記矛盾解消部は、分割後の連結グラフのうち、前記矛盾が生じている連結グラフに対応する全ての前記追跡接続情報を消去して、一以上の前記第１動線及び一以上の前記第２動線に分割し、一以上の前記追跡接続情報を復活させた場合において、当該追跡接続情報に対応する連結グラフに前記矛盾が生じないとき、当該一以上の追跡接続情報を復活させてもよい。

【0021】

前記追跡接続情報は、前記第１動線と前記第２動線との同一性の強度を示す追跡接続強度情報を含み、前記矛盾解消部は、前記同一性の強度が高い順に前記追跡接続情報を復活させてもよい。

【0022】

前記連結グラフは、一以上の前記第１動線のそれぞれに対応するオブジェクトの各時刻における前記所定エリアの位置を示す位置情報と、一以上の前記第２動線のそれぞれに対応するオブジェクトの各時刻における前記所定エリアの位置を示す位置情報とを含み、前記動線管理装置は、前記矛盾が生じていない連結グラフに含まれる前記第１動線に対応する位置情報と、当該連結グラフに含まれる前記第２動線に対応する位置情報とに基づいて、各時刻に１つの位置が関連付けられた１つの動線を示す動線情報を生成する動線生成部をさらに備えてもよい。

【0023】

前記動線生成部は、前記第１動線に対応する各時刻における前記オブジェクトの位置に関する第１の信頼値と、前記第２動線に対応する各時刻における前記オブジェクトの位置に関する第２の信頼値とに基づいて、前記第１動線と前記第２動線とから、各時刻に１つの位置が関連付けられた１つの動線情報を生成してもよい。

【0024】

前記撮像装置は、全方位画像を撮像する撮像装置であり、前記動線生成部は、動線に対応するオブジェクトの各時刻における撮像画像上での位置と、撮像画像の中心位置との距離を、当該時刻における前記信頼値として算出してもよい。

【0025】

前記動線生成部は、同一の時刻に対応する、前記第１動線の前記位置情報に関する前記第１の信頼値と、前記第２動線の前記位置情報に関する前記第２の信頼値とを比較し、相対的に高い信頼値に対応する前記位置情報を、当該時刻における位置情報として含む前記動線情報を生成してもよい。

【0026】

前記動線生成部は、前記矛盾が生じていない連結グラフにおいて第１の時刻における位置と、前記第１の時刻に連続する第２の時刻における位置との距離が所定距離以上である場合、前記第１の時刻を基準として、前記矛盾が生じていない連結グラフを分割してもよい。

【0027】

本発明の第２の態様に係る動線管理方法は、コンピュータが実行する、所定エリアを撮像する第１撮像装置により撮像された複数の第１画像に基づく複数のオブジェクトのそれぞれの追跡結果を示し、同一のオブジェクトの各時刻における位置を示す一以上の第１動線と、前記所定エリアを撮像する第２撮像装置により撮像された複数の第２画像に基づく複数のオブジェクトのそれぞれの追跡結果を示し、同一のオブジェクトの各時刻における位置を示す複数の第２動線と、前記第１動線と前記第２動線との同一性を示す一以上の追跡接続情報とを含み、同一のオブジェクトに対応するものとして生成された１つの連結グラフに、複数の動線であって、対応する撮像装置及び対応する時刻が重複する複数の動線が存在するか否かを判定することにより、前記第１動線と前記第２動線と前記追跡接続情報とに矛盾が生じているか否かを判定するステップと、前記矛盾が生じていると判定されると、前記連結グラフから、前記矛盾が生じない、前記第１動線と前記第２動線と前記追跡接続情報とを含む連結グラフを生成するステップと、を備える。

【0028】

本発明の第３の態様に係る動線管理プログラムは、コンピュータを、所定エリアを撮像する第１撮像装置により撮像された複数の第１画像に基づく複数のオブジェクトのそれぞれの追跡結果を示し、同一のオブジェクトの各時刻における位置を示す一以上の第１動線と、前記所定エリアを撮像する第２撮像装置により撮像された複数の第２画像に基づく複数のオブジェクトのそれぞれの追跡結果を示し、同一のオブジェクトの各時刻における位置を示す複数の第２動線と、前記第１動線と前記第２動線との同一性を示す一以上の追跡接続情報とを含み、同一のオブジェクトに対応するものとして生成された１つの連結グラフに、複数の動線であって、対応する撮像装置及び対応する時刻が重複する複数の動線が存在するか否かを判定することにより、前記第１動線と前記第２動線と前記追跡接続情報とに矛盾が生じているか否かを判定する矛盾判定部、及び、前記矛盾判定部により前記矛盾が生じていると判定されると、前記連結グラフから、前記矛盾が生じない、前記第１動線と前記第２動線と前記追跡接続情報とを含む連結グラフを生成する矛盾解消部、として機能させる。

【発明の効果】

【0029】

本発明によれば、異なるオブジェクトに対応する追跡結果を含まないように追跡結果を統合することができるという効果を奏する。

【図面の簡単な説明】

【0030】

【図1】本実施形態に係るオブジェクト追跡システムの構成を示す図である。

【図2】本実施形態に係る第１撮像装置及び第２撮像装置の設置位置と撮像範囲とを示す図である。

【図3】本実施形態に係る連結グラフの一例を示す図である。

【図4】図３に示す連結グラフを簡略化した例を示す図である。

【図5】本実施形態に係る動線管理装置の構成を示す図である。

【図6】本実施形態に係る動線管理装置における処理の流れを示すフローチャートである。

【図7】本実施形態に係る第１分割処理により連結グラフが分割される例を示す図である。

【図8】第１分割処理に対応する処理の流れを示すフローチャートである。

【図9】第２分割処理に対応する処理の流れを示すフローチャートである。

【図10】第３分割処理に対応する処理の流れを示すフローチャートである。

【図11】動線生成処理に対応する処理の流れを示すフローチャートである。

【図12】動線生成処理により連結グラフが分割される例を説明する図である。

【発明を実施するための形態】

【0031】

［オブジェクト追跡システムＳの概要］
図１は、本実施形態に係るオブジェクト追跡システムＳの構成を示す図である。オブジェクト追跡システムＳは、第１撮像装置１Ａと、第２撮像装置１Ｂと、オブジェクト追跡装置２と、動線管理装置３とを備える。

【0032】

第１撮像装置１Ａと、第２撮像装置１Ｂとは、所定エリアを撮像することにより動画を生成する撮像装置である。ここで、所定エリアは、例えば店舗のフロアである。所定エリアには、オブジェクト追跡システムＳにおいて位置を追跡する対象のオブジェクトとして、客や店員等の人物が存在する。第１撮像装置１Ａは、所定エリアの少なくとも一部を含む全方位画像を撮像することにより、複数の第１画像を含む動画を生成する。第２撮像装置１Ｂは、所定エリアの少なくとも一部を含む全方位画像を撮像することにより、複数の第２画像を含む動画を生成する。複数の第１画像及び複数の第２画像のそれぞれには、画像が撮像された撮像時刻が関連付けられているものとする。

【0033】

ここで、第１撮像装置１Ａが撮像可能な範囲と第２撮像装置１Ｂが撮像可能な範囲とは、少なくとも一部で重複しているものとする。図２は、本実施形態に係る第１撮像装置１Ａ及び第２撮像装置１Ｂの設置位置と撮像範囲とを示す図である。図２に示すように、所定エリアＡには、第１撮像装置１Ａと第２撮像装置１Ｂとが設置されている。また、図２には、第１撮像装置１Ａの撮像範囲Ｒ１と、第２撮像装置１Ｂの撮像範囲Ｒ２とが示されている。図２に示すように、撮像範囲Ｒ１と撮像範囲Ｒ２とは、一部が重複していることが確認できる。なお、本実施形態において、第１撮像装置１Ａ及び第２撮像装置１Ｂのそれぞれは、全方位画像を撮像するものとしたが、これに限らず、全方位画像ではない画像を撮像してもよい。

【0034】

オブジェクト追跡装置２は、第１撮像装置１Ａから複数の第１画像を含む動画を取得するとともに、第２撮像装置１Ｂから複数の第２画像を含む動画を取得する。オブジェクト追跡装置２は、複数の第１画像に基づいて複数のオブジェクトのそれぞれの追跡結果を示す一以上の第１動線を生成する。オブジェクト追跡装置２は、複数の第２画像に基づいて複数のオブジェクトのそれぞれの追跡結果を示す一以上の第２動線を生成する。オブジェクト追跡装置２は、第１動線が示すオブジェクトと第２動線が示すオブジェクトとの同一性を示す一以上の追跡接続情報を生成する。

【0035】

ここで、１つの第１動線は、複数の時刻のそれぞれに、同一のオブジェクトの位置を示す位置情報が関連付けられた第１動線情報によって示される。また、１つの第２動線は、複数の時刻のそれぞれに、同一のオブジェクトの位置を示す位置情報が関連付けられた第２動線情報によって示される。第１動線情報及び第２動線情報のそれぞれには、動線を識別する動線識別情報が含まれている。

【0036】

動線管理装置３は、オブジェクト追跡装置２から、一以上の第１動線情報と、一以上の第２動線情報と、一以上の追跡接続情報とを取得する。動線管理装置３は、一以上の第１動線情報と、一以上の第２動線情報と、一以上の追跡接続情報とを含み、同一のオブジェクトに対応する連結グラフを生成する。ここで、連結グラフは、１つの第１動線情報又は１つの第２動線情報のみから構成されていてもよい。図３は、本実施形態に係る連結グラフの一例を示す図である。図３に示す連結グラフには、３つの第１動線ＬＡ１～ＬＡ３と、２つの第２動線ＬＢ１、ＬＢ２とが含まれている。

【0037】

図３に示すように、動線は、各時刻におけるオブジェクトの位置を示す位置情報Ｐを複数含んでいる。また、第１動線と、第２動線とは、各時刻においてオブジェクトの同一性が判定されている。図３に示す接続線Ｌは、第１動線と、第２動線とが、ある時刻において同一であることを示している。例えば、図３において、第１動線ＬＡ１と第２動線ＬＢ１とは、３つの接続線Ｌによって接続されており、３つの時刻において同一であると判定されていることが確認できる。

【0038】

図４は、図３に示す連結グラフを簡略化した例を示す図である。図４に示す連結グラフでは、第１動線と第２動線とは、追跡接続情報Ｃ（Ｃ１～Ｃ４）により接続されていることが確認できる。

【0039】

ところで、連結グラフに含まれる第１動線が示すオブジェクトと、第２動線が示すオブジェクトとの同一性の判定に誤りが含まれていると、連結グラフに異なるオブジェクトの動線が含まれてしまい、連結グラフに矛盾が生じてしまう。図３に示す例では、第１動線ＬＡ１と、第１動線ＬＡ２とは、第２動線ＬＢ１を通して接続関係にあり、これは同一のオブジェクトを示すことを意味する。しかしながら、第１動線ＬＡ１と、第１動線ＬＡ２とは、同一の撮像装置が撮像した画像によって生成され、かつ、一部の時刻が重複している。そのため、同一の撮像装置が撮像した画像中に、同時刻に同一のオブジェクトが２個存在するという矛盾が生じる。したがって、図３に示す第１動線ＬＡ１と、第１動線ＬＡ２とは、異なるオブジェクトに対応しており、図３に示す連結グラフには、誤った追跡接続情報による矛盾が生じている。

【0040】

これに対し、本実施形態における動線管理装置３は、生成した連結グラフに矛盾が生じているか否かを判定する。動線管理装置３は、連結グラフに矛盾が生じていると判定すると、連結グラフから、矛盾が生じない第１動線と第２動線と追跡接続情報とを含む連結グラフを生成する。このようにすることで、動線管理装置３は、異なるオブジェクトに対応する追跡結果を含まないように追跡結果を統合することができる。

【0041】

［動線管理装置３の構成］
続いて、動線管理装置３の構成を説明する。図５は、本実施形態に係る動線管理装置３の構成を示す図である。図５に示すように、動線管理装置３は、記憶部３１と、制御部３２とを備える。

【0042】

記憶部３１は、ＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）等を含む記憶媒体である。記憶部３１は、制御部３２が実行するプログラムを記憶している。例えば、記憶部３１は、動線管理装置３を、取得部３２１、生成部３２２、矛盾判定部３２３、矛盾解消部３２４、及び動線生成部３２５として機能させる動線管理プログラムを記憶している。

【0043】

制御部３２は、例えばＣＰＵ（Central Processing Unit）又はＧＰＵ（Graphics Processing Unit）である。制御部３２は、記憶部３１に記憶された動線管理プログラムを実行することにより、取得部３２１、生成部３２２、矛盾判定部３２３、矛盾解消部３２４、及び動線生成部３２５として機能する。

【0044】

取得部３２１は、オブジェクト追跡装置２から、一以上の第１動線、一以上の第２動線、及び一以上の追跡接続情報を取得する。
生成部３２２は、取得部３２１が取得した一以上の第１動線、一以上の第２動線、及び一以上の追跡接続情報に基づいて一以上の連結グラフを生成する。

【0045】

矛盾判定部３２３は、同一のオブジェクトに対応するものとして生成された１つの連結グラフに、複数の動線であって、対応する撮像装置及び対応する時刻が重複する複数の動線が存在するか否かを判定することにより、当該連結グラフに含まれる第１動線、第２動線及び追跡接続情報に矛盾が生じているか否かを判定する。

【0046】

矛盾解消部３２４は、矛盾判定部３２３により連結グラフに矛盾が生じていると判定されると、当該連結グラフから、矛盾が生じない第１動線と第２動線と追跡接続情報とを含む連結グラフを生成することにより、矛盾を解消させる。矛盾解消部３２４は、１つの連結グラフに含まれている複数の追跡接続情報のうち、一以上の追跡接続情報を消去し、当該１つの連結グラフを複数の連結グラフに分割することにより、矛盾が生じていない一以上の連結グラフを生成する。

【0047】

動線生成部３２５は、矛盾が生じていない連結グラフに含まれる第１動線に対応する位置情報と、当該連結グラフに含まれる第２動線に対応する位置情報とに基づいて、各時刻に１つの位置が関連付けられた１つの動線を示す動線情報を生成する。

【0048】

［動線管理装置３における処理の流れ］
以下、動線管理装置３における処理の流れを示す図６を参照しながら、取得部３２１、生成部３２２、矛盾判定部３２３、矛盾解消部３２４、及び動線生成部３２５の詳細について説明する。図６は、本実施形態に係る動線管理装置３における処理の流れを示すフローチャートである。

【0049】

まず、取得部３２１は、オブジェクト追跡装置２から、一以上の第１動線、一以上の第２動線、及び一以上の追跡接続情報を取得する（Ｓ１）。ここで、追跡接続情報には、接続される第１動線と第２動線とのそれぞれを識別する動線識別情報と、同一であると判定された一以上の時刻とが含まれている。また、追跡接続情報には、接続される第１動線に対応するオブジェクトと、第２動線に対応するオブジェクトとの同一性の強度を示す追跡接続強度情報が含まれている。

【0050】

同一性の強度は、各時刻における第１動線が示すオブジェクトと、第２動線が示すオブジェクトとの同一性判定の結果に基づいて算出されてもよい。同一性の強度は、同一であると判定された回数が多いほど、高くなるように算出される。例えば、図３に示す第１動線ＬＡ１と第２動線ＬＢ１とは、３つの時刻においてオブジェクトが同一であると判定され、第１動線ＬＡ２と第２動線ＬＢ１とは、２つの時刻においてオブジェクトが同一であると判定されている。この場合、第１動線ＬＡ１と第２動線ＬＢ１とに対応する同一性の強度は、第１動線ＬＡ２と第２動線ＬＢ１とに対応する同一性の強度よりも高い。

【0051】

なお、同一性の強度は、各時刻における第１動線が示すオブジェクトの位置と、第２動線が示すオブジェクトの位置との距離に基づいて算出されてもよい。また、同一性の強度は、各時刻における第１動線が示すオブジェクトの画像の特徴量と、第２動線が示すオブジェクトの画像の特徴量とに基づいて算出されてもよい。

【0052】

続いて、生成部３２２は、取得部３２１が取得した一以上の第１動線、一以上の第２動線、及び一以上の追跡接続情報に基づいて一以上の連結グラフを生成する（Ｓ２）。例えば、生成部３２２は、１つの動線を選択し、当該動線に対応する追跡接続情報を特定する。そして、生成部３２２は、特定した追跡接続情報に基づいて、当該動線に接続される他の動線を特定する。生成部３２２は、特定した他の動線についても、追跡接続情報及び接続される他の動線を特定する。生成部３２２は、新たに特定した他の動線について、追跡接続情報及び接続される他の動線の特定を繰り返すことにより、同一のオブジェクトを示す連結グラフを生成する。なお、本実施形態では、生成部３２２が連結グラフを生成することとしたが、これに限らず、オブジェクト追跡装置２が連結グラフを生成してもよい。そして、動線管理装置３が、オブジェクト追跡装置２から、当該連結グラフを示す第１動線、第２動線、及び追跡接続情報の組み合わせを取得してもよい。

【0053】

［第１分割処理］
続いて、矛盾判定部３２３及び矛盾解消部３２４は、Ｓ２において生成された連結グラフを必要に応じて分割する第１分割処理を実行する（Ｓ３）。

【0054】

図７は、本実施形態に係る第１分割処理により連結グラフが分割される例を示す図である。第１分割処理において、矛盾判定部３２３及び矛盾解消部３２４は、連結グラフに矛盾が生じている場合に、当該連結グラフから１つの追跡接続情報を消去することにより連結グラフを分割する。そして、矛盾判定部３２３及び矛盾解消部３２４は、分割後の連結グラフについても、矛盾が生じているか否かを判定し、矛盾が生じている場合には、分割後の連結グラフから１つの追跡接続情報を消去することにより分割後の連結グラフをさらに分割する。

【0055】

図７に示す例において、追跡接続情報の数が１２０個の連結グラフＧ１に矛盾が生じている場合、矛盾判定部３２３及び矛盾解消部３２４は、連結グラフＧ１から１つの追跡接続情報を消去し、追跡接続情報を５０個含む連結グラフＧ２と、追跡接続情報を６９個含む連結グラフＧ３とに分割する。そして、矛盾判定部３２３及び矛盾解消部３２４は、連結グラフＧ２が矛盾している場合、連結グラフＧ２から１つの追跡接続情報を消去し、追跡接続情報を３０個含む連結グラフＧ４と、追跡接続情報を１９個含む連結グラフＧ５とに分割する。同様に、矛盾判定部３２３及び矛盾解消部３２４は、連結グラフＧ４を連結グラフＧ６と連結グラフＧ７とに分割し、連結グラフＧ７を連結グラフＧ８と連結グラフＧ９とに分割する。なお、分割後の連結グラフに矛盾が生じており、さらに、連結グラフに含まれる追跡接続情報の数が所定数（例えば、１０個）以下の場合には、当該連結グラフに対して、後述する第２分割処理が行われる。図７に示す例では、連結グラフＧ６と連結グラフＧ８とについて、第２分割処理が行われる。

【0056】

以下に、第１分割処理における処理の流れを参照しながら、第１分割処理における矛盾判定部３２３及び矛盾解消部３２４の機能について説明する。図８は、第１分割処理に対応する処理の流れを示すフローチャートである。

【0057】

まず、矛盾判定部３２３は、生成部３２２が生成した複数の連結グラフのうち、１つの連結グラフを選択する（Ｓ３１）。
続いて、矛盾判定部３２３は、選択した１つの連結グラフに矛盾が生じているか否かを判定する（Ｓ３２）。具体的には、矛盾判定部３２３は、選択した１つの連結グラフに、複数の動線であって、対応する撮像装置及び対応する時刻が重複する複数の動線が存在するか否かを判定することにより、当該連結グラフに含まれる第１動線と第２動線と追跡接続情報とに矛盾が生じているか否かを判定する。矛盾判定部３２３は、矛盾が生じていると判定すると、Ｓ３３に処理を移し、矛盾が生じていないと判定すると、Ｓ３５に処理を移す。

【0058】

Ｓ３３において、矛盾解消部３２４は、選択した１つの連結グラフに含まれている追跡接続情報の数が所定数よりも多いか否かを判定する。矛盾解消部３２４は、追跡接続情報の数が所定数よりも多いと判定すると、Ｓ３４に処理を移す。矛盾解消部３２４は、追跡接続情報の数が所定数以下であると判定すると、矛盾が生じている連結グラフを分割することなくＳ３５に処理を移す。

【0059】

Ｓ３４において、矛盾解消部３２４は、矛盾が生じている連結グラフから１つの追跡接続情報を消去することにより、連結グラフを、第１の連結グラフと第２の連結グラフとに分割する。ここで、追跡接続情報は、第１動線と第２動線との同一性の強度を示す追跡接続強度情報が含まれている。矛盾解消部３２４は、連結グラフに含まれている一以上の追跡接続情報のそれぞれに含まれている追跡接続強度情報を参照し、連結グラフに含まれている複数の追跡接続情報のうち、同一性の強度が低い順に追跡接続情報を消去する。このようにすることで、動線管理装置３は、追跡接続情報を消去されることによって生成される連結グラフに矛盾が生じていない確率を高めることができる。

【0060】

Ｓ３５において、矛盾判定部３２３は、未選択の連結グラフがあるか否かを判定する。ここで、未選択の連結グラフには、Ｓ３４により１つの連結グラフから分割された第１の連結グラフと、第２の連結グラフとが含まれるものとする。矛盾判定部３２３は、未選択の連結グラフがあると判定すると、Ｓ３１に処理を移し、未選択の連結グラフがないと判定すると、本フローチャートに示される第１分割処理を終了する。

【0061】

上述したように、未選択の連結グラフには、１つの連結グラフから分割された第１の連結グラフと、第２の連結グラフとが含まれることから、当該第１の連結グラフと、第２の連結グラフとは、複数回実行されるＳ３１の処理において、１回ずつ選択される。これにより、矛盾判定部３２３は、第１連結グラフと第２連結グラフとのそれぞれについて、当該連結グラフに矛盾が生じているか否かを判定する。

【0062】

そして、分割後の連結グラフについて、Ｓ３２において矛盾が生じていると矛盾判定部３２３が判定した場合、矛盾解消部３２４は、Ｓ３３において当該分割後の連結グラフに含まれている追跡接続情報の数が所定数よりも多いと判定したことを条件として、当該分割後の連結グラフを、当該第１の連結グラフと第２の連結グラフに分割する。

【0063】

これにより、分割された連結グラフに含まれる追跡接続情報の数が所定数以上である場合には、矛盾解消部３２４による連結グラフの分割と、矛盾判定部３２３による分割後の矛盾判定とが繰り返される。このようにすることで、動線管理装置３は、矛盾が生じている連結グラフから、矛盾が生じていない連結グラフが生成される確率を高めることができる。

【0064】

［第２分割処理］
図６に説明を戻す。続いて、矛盾判定部３２３及び矛盾解消部３２４は、Ｓ３の終了時点で依然として矛盾が生じている連結グラフを、矛盾が生じない連結グラフに分割する第２分割処理を実行する（Ｓ４）。

【0065】

具体的には、矛盾判定部３２３は、矛盾が生じている連結グラフから追跡接続情報を消去する複数のパターンのうち、消去する追跡接続情報の数が少ないパターンから順に、分割後の連結グラフの少なくとも一部の連結グラフに矛盾が生じないパターンが含まれるか否かを判定する。

【0066】

そして、矛盾解消部３２４は、追跡接続情報を消去する複数のパターンのうち、分割後の連結グラフの少なくとも一部の連結グラフに矛盾が生じないパターンに基づいて、追跡接続情報を消去する。矛盾解消部３２４は、分割後の連結グラフの少なくとも一部の連結グラフに矛盾が生じないパターンのうち、追跡接続情報の消去数が相対的に少ないパターン（例えば、消去数が最も少ないパターン）に基づいて、追跡接続情報を消去する。このようにすることで、動線管理装置３は、第１分割処理よりも確実に矛盾が生じない連結グラフを生成することができる。

【0067】

以下、第２分割処理に対応する処理の流れの詳細について説明する。図９は、第２分割処理に対応する処理の流れを示すフローチャートである。

【0068】

まず、矛盾判定部３２３は、矛盾が生じている１つの連結グラフを選択する（Ｓ４１）。
続いて、矛盾判定部３２３は、選択した連結グラフにおいて消去する追跡接続情報の数であるＮの値を１に設定する（Ｓ４２）。

【0069】

続いて、矛盾判定部３２３は、選択した連結グラフにおいて、追跡接続情報をＮ個消去する消去パターンを特定する（Ｓ４３）。例えば、図４に示す例においてＮが１である場合の消去パターンは、追跡接続情報Ｃ１を消去するパターン、追跡接続情報Ｃ２を消去するパターン、追跡接続情報Ｃ３を消去するパターン、及び追跡接続情報Ｃ４を消去するパターンの４つのパターンである。

【0070】

続いて、矛盾判定部３２３は、特定した消去パターンに基づいて追跡接続情報を消去した結果、連結グラフに矛盾が生じない消去パターンがあるか否かを判定する（Ｓ４４）。矛盾判定部３２３は、矛盾が生じない消去パターンがあると判定すると、Ｓ４５に処理を移す。

【0071】

Ｓ４５において、矛盾解消部３２４は、矛盾が生じない消去パターンに基づいて、選択されている１つの連結グラフから追跡接続情報を消去する。ここで、矛盾解消部３２４は、選択されている１つの連結グラフから分割した後の連結グラフの少なくとも一部の連結グラフに矛盾が生じず、追跡接続情報の消去数が同じパターンが複数存在する場合には、当該複数のパターンのうち、同一性の強度が相対的に低い追跡接続情報を消去するパターンに基づいて、追跡接続情報を消去する。このようにすることで、動線管理装置３は、連結グラフから、当該連結グラフに対応するオブジェクトと同一ではない可能性が高いオブジェクトに対応する動線を切り離すことができる。

【0072】

また、矛盾判定部３２３は、分割後の連結グラフの少なくとも一部の連結グラフに矛盾が生じず、追跡接続情報の消去数が同じパターンが複数存在する場合には、追跡接続情報の消去によって分割された後の複数の連結グラフのそれぞれについて、矛盾が生じているか否かを判定してもよい。そして、矛盾解消部３２４は、当該複数のパターンのうち、分割後に矛盾が解消できる連結グラフの数が相対的に多いパターンに基づいて、追跡接続情報を消去してもよい。このようにすることで、動線管理装置３は、矛盾が解消した連結グラフを効率的に生成することができる。

【0073】

なお、矛盾解消部３２４は、分割後の連結グラフの少なくとも一部の連結グラフに矛盾が生じず、追跡接続情報の消去数が同じパターンが複数存在する場合、分割後に矛盾が解消できる連結グラフの数が相対的に多いパターンに基づいて、追跡接続情報を消去したが、これに限らない。矛盾解消部３２４は、追跡接続情報の消去数が同じ複数のパターンのうち、分割後に矛盾が解消できる連結グラフに含まれる追跡接続情報の数が相対的に多いパターンに基づいて、追跡接続情報を消去してもよい。このようにすることで、動線管理装置３は、規模の大きい連結グラフを優先的に生成することができる。
矛盾解消部３２４は、Ｓ４５の処理が終了すると、Ｓ４８に処理を移す。

【0074】

矛盾判定部３２３は、Ｓ４４において、矛盾が生じない消去パターンがないと判定するとＳ４６に処理を移し、Ｎに１を加算する。これにより、追跡接続情報を消去する数が増加する。

【0075】

ここで、連結グラフに含まれている追跡接続情報の数が多い場合、Ｎの増加に伴って消去パターンが著しく増加し、処理負荷が大きくなるという問題がある。そこで、矛盾判定部３２３は、消去する追跡接続情報の数が所定数を超えるまでに、分割後の連結グラフの少なくとも一部の連結グラフに矛盾が生じないパターンが見つからなかった場合は、矛盾が生じないパターンが含まれるか否かの判定を行わないように制御する。

【0076】

具体的には、矛盾判定部３２３は、Ｓ４７において、Ｎが所定数を超えたか否かを判定する。矛盾判定部３２３は、Ｎが所定数を超えたと判定すると、選択している連結グラフについて、矛盾が生じないパターンが含まれるか否かの判定を新たに行わず、Ｓ４８に処理を移す。また、矛盾判定部３２３は、Ｎが所定数を超えていないと判定すると、Ｓ４３に処理を移し、矛盾が生じないパターンが含まれるか否かの判定を継続する。このようにすることで、動線管理装置３は、処理負荷を軽減することができる。

【0077】

続いて、矛盾判定部３２３は、未選択の矛盾が生じている連結グラフがあるか否かを判定する（Ｓ４８）。矛盾判定部３２３は、未選択の矛盾が生じている連結グラフがあると判定すると、Ｓ４１に処理を移し、未選択の矛盾が生じている連結グラフがないと判定すると、本フローチャートに示される第２分割処理を終了する。

【0078】

［第３分割処理］
図６に説明を戻す。続いて、矛盾判定部３２３及び矛盾解消部３２４は、Ｓ４の終了時点で依然として矛盾が生じている連結グラフを、矛盾が生じない連結グラフに分割する第３分割処理を実行する（Ｓ４）。

【0079】

具体的には、矛盾解消部３２４は、分割後の連結グラフのうち、矛盾が生じている連結グラフに対応する全ての追跡接続情報を消去して、一以上の第１動線及び一以上の第２動線に分割する。そして、矛盾解消部３２４は、消去した一以上の追跡接続情報を復活させた場合において、当該追跡接続情報に対応する連結グラフに矛盾が生じないとき、当該一以上の追跡接続情報を復活させる。このようにすることで、動線管理装置３は、第２分割処理よりも確実に矛盾が生じない連結グラフを生成することができる。

【0080】

以下、第３分割処理に対応する処理の流れの詳細について説明する。図１０は、第３分割処理に対応する処理の流れを示すフローチャートである。

【0081】

まず、矛盾判定部３２３は、矛盾が生じている１つの連結グラフを選択する（Ｓ５１）。
続いて、矛盾解消部３２４は、選択した連結グラフに含まれている全ての追跡接続情報を消去する（Ｓ５２）。これにより、連結グラフは、一以上の第１動線及び一以上の第２動線に分割される。

【0082】

続いて、矛盾解消部３２４は、消去した追跡接続情報のうち、１つの追跡接続情報を選択する（Ｓ５３）。ここで、矛盾解消部３２４は、消去した追跡接続情報を同一性の強度が高い順に並び変える。そして、矛盾解消部３２４は、消去した追跡接続情報のうち、同一性の強度が高い追跡接続情報を選択する。

【0083】

続いて、矛盾判定部３２３は、Ｓ５３において選択された追跡接続情報を復活させて連結グラフを生成した場合に、当該追跡接続情報に対応する連結グラフに矛盾が生じないか否かを判定する（Ｓ５４）。ここで、矛盾判定部３２３は、既に他の追跡接続情報を復活させて連結グラフが生成されている場合には、Ｓ５３において選択された追跡接続情報を復活させることにより、当該連結グラフに含まれる追跡接続情報及び動線を増加させる。矛盾判定部３２３は、矛盾が生じないと判定すると、Ｓ５５に処理を移し、矛盾が生じていると判定すると、Ｓ５６に処理を移す。

【0084】

Ｓ５５において、矛盾解消部３２４は、選択した追跡接続情報を復活させ、連結グラフを生成する。矛盾解消部３２４は、Ｓ５３において、同一性の強度が高い順に追跡接続情報を選択することから、Ｓ５５において、同一性の強度が高い順に追跡接続情報を復活させる。このようにすることで、動線管理装置３は、同一のオブジェクトである可能性が高い動線から順に接続させて連結グラフを生成することができる。矛盾解消部３２４は、Ｓ５５の処理が終了すると、Ｓ５３に処理を移す。

【0085】

Ｓ５６において、矛盾判定部３２３は、未選択の矛盾が生じている連結グラフがあるか否かを判定する（Ｓ５６）。矛盾判定部３２３は、未選択の矛盾が生じている連結グラフがあると判定すると、Ｓ５１に処理を移し、未選択の矛盾が生じている連結グラフがないと判定すると、本フローチャートに示される第３分割処理を終了する。

【0086】

［動線生成処理］
図６に説明を戻す。続いて、動線生成部３２５は、Ｓ３～Ｓ５において生成された矛盾が生じていない連結グラフについて、第１動線に対応する位置情報と、当該連結グラフに対応する第２動線に対応する位置情報とに基づいて、複数の時刻のそれぞれに１つの位置情報を関連付けた１つの動線を示す動線情報を生成する動線生成処理を実行する（Ｓ６）。

【0087】

具体的には、動線生成部３２５は、１つの連結グラフに含まれる第１動線の各時刻における位置情報に関する第１の信頼値と、第２動線の各時刻における位置情報に関する第２の信頼値とに基づいて、第１動線と第２動線とから各時刻に１つの位置が関連付けられた１つの動線情報を生成する。ここで、信頼値は、動線に含まれる位置情報が示すオブジェクトの位置の確からしさを示す値である。信頼値は、例えば、動線の各時刻におけるオブジェクトの位置と、撮像装置との位置に基づいて定められる値である。なお、信頼値は、数値に限定されるものではなく、記号であってもよい。

【0088】

動線生成部３２５は、同一の時刻に対応する、第１動線の位置情報に関する第１の信頼値と、第２動線の位置情報に関する第２の信頼値とを比較し、相対的に高い信頼値に対応する位置情報を、当該時刻における位置情報として含む動線情報を生成する。このようにすることで、動線管理装置３は、連結グラフに含まれる複数の動線を１つの動線に統合することができる。また、動線管理装置３は、信頼値に基づいて動線情報を生成することにより、高精度の位置を示す位置情報を含む動線情報を生成することができる。

【0089】

以下、動線生成処理に対応する処理の流れの詳細について説明する。図１１は、動線生成処理に対応する処理の流れを示すフローチャートである。

【0090】

まず、動線生成部３２５は、１つの連結グラフを選択する（Ｓ６０１）。連結グラフには、一以上の第１動線を示す一以上の第１動線情報と、一以上の第２動線を示す一以上の第２動線情報と、追跡接続情報とが含まれている。

【0091】

続いて、動線生成部３２５は、選択した連結グラフに含まれている第１動線情報と、第２動線情報とを参照し、これらの動線情報に含まれている時刻のうち、最も古い時刻を選択する（Ｓ６０２）。

【0092】

続いて、動線生成部３２５は、選択した時刻を含む動線情報において、当該時刻に関連付けられている位置情報を特定する（Ｓ６０３）。ここで、動線生成部３２５は、第１動線情報と、第２動線情報とのいずれか一方に選択した時刻が含まれている場合、１つの位置情報を特定する。また、動線生成部３２５は、第１動線情報と、第２動線情報との双方に選択した時刻が含まれている場合、動線生成部３２５は、２つの位置情報を特定する。

【0093】

続いて、動線生成部３２５は、２つの位置情報を特定したか否かを判定する（Ｓ６０４）。動線生成部３２５は、２つの位置情報を特定したと判定すると、Ｓ６０５に処理を移し、２つの位置情報を特定していないと判定すると、Ｓ６０６に処理を移す。

【0094】

Ｓ６０５において、動線生成部３２５は、２つの位置情報である、第１動線情報に対応する位置情報と、第２動線情報に対応する位置情報とのうち、信頼値が高い位置情報を特定する。具体的には、動線生成部３２５は、まず、第１動線情報に対応する位置情報に関する第１の信頼値と、第１動線情報に対応する位置情報に関する第２の信頼値とを算出する。例えば、動線生成部３２５は、撮像装置が全方位カメラの場合、選択されている時刻に対応する、撮像装置が撮像した撮像画像上における動線に対応するオブジェクトの位置と、撮像画像の中心位置との距離の逆数を、当該時刻における信頼値として算出する。もしくは、動線生成部３２５は、撮像画像上のオブジェクトに対応する領域の面積を信頼値として算出してもよい。また、機械学習や深層学習装置を別途備え、動線生成部３２５は、機械学習や深層学習装置を用いて、オブジェクトの検出スコアや識別スコアを信頼値として算出してもよい。そして、動線生成部３２５は、算出した第１の信頼値と、算出した第２の信頼値とを比較し、相対的に高い信頼値に対応する位置情報を特定する。このようにすることで、動線管理装置３は、オブジェクトの特定精度が高い位置情報に基づく動線を生成することができる。

【0095】

ここで、選択した時刻において特定された位置情報が示す位置と、選択した時刻の直前に特定された位置情報が示す位置とが所定距離以上離れている場合、オブジェクトが、一瞬にして所定距離以上移動したこととなる。この場合、動線においてオブジェクトの追跡に失敗し、動線に異なるオブジェクトの位置情報が含まれている可能性が高い。

【0096】

そこで、動線生成部３２５は、選択した時刻（第１の時刻）における位置と、選択した時刻の直前の時刻（第１の時刻に連続する第２の時刻）における位置との距離が所定距離以上である場合、選択した時刻を基準として、Ｓ６０１において選択された、矛盾が生じていない連結グラフを分割する（Ｓ６０６、Ｓ６０７）。

【0097】

具体的には、動線生成部３２５は、Ｓ６０３又はＳ６０５において特定した位置情報が示す位置と、Ｓ６０２において選択された時刻の直前の時刻に対して特定した位置情報が示す位置とが所定距離以上離れているか否かを判定する（Ｓ６０６）。動線生成部３２５は、所定距離以上離れていると判定すると、Ｓ６０９に処理を移し、所定距離以上離れていないと判定すると、Ｓ６０７に処理を移す。

【0098】

Ｓ６０７において、動線生成部３２５は、選択した時刻と、特定した位置情報とを含む動線情報を生成する。動線生成部３２５は、選択された連結グラフに対して既に動線情報が生成されている場合、当該動線情報に、選択した時刻と、特定した位置情報とを格納する。

【0099】

Ｓ６０８において、動線生成部３２５は、全ての時刻を選択したか否かを判定する。動線生成部３２５は、全ての時刻を選択したと判定すると、Ｓ６１０に処理を移し、全ての時刻を選択していないと判定すると、Ｓ６０２に処理を移す。

【0100】

動線生成部３２５は、Ｓ６０６における判定がＹＥＳの場合、Ｓ６０９において、選択されている時刻を基準として連結グラフを分割する。このように、動線管理装置３は、選択した時刻における位置と、選択した時刻の直前の時刻における位置との距離が所定距離以上である場合、選択した時刻を基準として、Ｓ６０１において選択された連結グラフを分割する。

【0101】

図１２は、動線生成処理により連結グラフが分割される例を説明する図である。図１２に示す例では、連結グラフに、第１動線ＬＡ１０と、第２動線ＬＡ２０が含まれている。第１動線及び第２動線のそれぞれについて、各時刻の位置を示す位置情報Ｐに、信頼値を示す記号Ｎ又はＦが示されている。記号Ｎは、オブジェクトの位置と、撮像画像の中心位置との距離が相対的に短く、信頼値が高いことを示している。また、記号Ｆは、オブジェクトの位置と、撮像画像の中心位置との距離が相対的に長く、信頼値が低いことを示している。

【0102】

図１２に示す例では、時刻ｔ１～ｔ８までは、第１動線に対応する位置情報が特定され、時刻ｔ９において、第２動線に対応する位置情報が特定される。ここで、第２動線では、時刻ｔ５において、追跡対象のオブジェクトの誤判定が起こり、追跡対象が、時刻ｔ４とは異なるオブジェクトに切り替わっているものとする。この場合に、時刻ｔ９において特定された位置と、時刻ｔ８において特定された位置とが所定距離以上であるとすると、動線生成部３２５は、図１２に示す連結グラフを、時刻ｔ９において分割する。具体的には、動線生成部３２５は、時刻ｔ１～ｔ８に対応する連結グラフと、時刻ｔ９～ｔ１５に対応するとともに、第１動線に対応する連結グラフと、時刻ｔ９～ｔ１５に対応するとともに、第２動線に対応する連結グラフとの３つの連結グラフに分割する。このようにすることで、動線管理装置３は、生成される動線に、複数のオブジェクトに対応する位置情報が含まれることを抑制することができる。

【0103】

図１１に説明を戻す。Ｓ６１０において、動線生成部３２５は、未選択の連結グラフがあるか否かを判定する。ここで、未選択の連結グラフには、Ｓ６０９において分割された、選択した時刻以降の時刻に対応する連結グラフが含まれるものとする。例えば、図１２に示す例における、時刻ｔ９～ｔ１５に対応するとともに第１動線に対応する連結グラフと、時刻ｔ９～ｔ１５に対応するとともに第２動線に対応する連結グラフとが含まれるものとする。動線生成部３２５は、未選択の連結グラフがあると判定すると、Ｓ６０１に処理を移し、未選択の連結グラフがないと判定すると、本フローチャートに示される動線生成処理を終了する。

【0104】

［本実施形態における効果］
以上説明したように、本実施形態に係る動線管理装置３は、一以上の第１動線と、複数の第２動線と、第１動線と第２動線との同一性を示す一以上の追跡接続情報とを含み、同一のオブジェクトを示す１つの連結グラフに、複数の動線であって、対応する撮像装置及び対応する時刻が重複する複数の動線が存在するか否かを判定することにより、第１動線と第２動線と追跡接続情報とに矛盾が生じているか否かを判定する。そして、動線管理装置３は、矛盾が生じていると判定すると、連結グラフから、矛盾が生じない第１動線と第２動線と追跡接続情報とを含む連結グラフを生成する。このようにすることで、動線管理装置３は、異なるオブジェクトに対応する追跡結果を含まないように追跡結果としての第１動線と第２動線と追跡接続情報とを統合し、連結グラフを生成することができる。

【0105】

以上、本発明を実施形態を用いて説明したが、本発明の技術的範囲は上記実施形態に記載の範囲には限定されない。上記実施形態に、多様な変更又は改良を加えることが可能であることが当業者に明らかである。

【0106】

上記実施形態では、動線管理装置３は、第１分割処理の実行後に第２分割処理を実行し、第２分割処理の実行後に第３分割処理を実行したが、これに限らない。例えば、動線管理装置３は、第２分割処理のみを実行したり、第３分割処理のみを実行したり、第１分割処理、第２分割処理及び第３分割処理のうちの任意の２つの処理をこの順序で組み合わせて実行したりしてもよい。

【0107】

また、上記実施形態では、動線管理装置３は、第１撮像装置１Ａにより撮像された複数の第１画像に基づく一以上の第１動線と、第２撮像装置１Ｂにより撮像された複数の第２画像に基づく一以上の第２動線とに基づいて矛盾が生じない連結グラフを生成し、当該連結グラフに基づいて、各時刻に１つの位置情報が関連付けられた動線を生成したが、これに限らない。動線管理装置３は、３台以上の撮像装置がそれぞれ撮像した複数の画像に基づく複数の動線に基づいて連結グラフを生成し、当該連結グラフに基づいて、各時刻に１つの位置情報が関連付けられた動線を生成してもよい。

【0108】

この場合、例えば、動線管理装置３は、２つの撮像装置のそれぞれにより撮像された複数の画像に基づく一以上の動線に基づいて矛盾が生じない連結グラフを生成し、当該連結グラフに基づいて、各時間に１つの位置情報が関連付けられた動線を生成する。そして、動線管理装置３は、生成された動線と、３台目の撮像装置が撮像した複数の画像に基づく複数の動線とに基づいて矛盾が生じない連結グラフを生成し、当該連結グラフに基づいて、各時間に１つの位置情報が関連付けられた動線を生成する。このようにすることで、動線管理装置３は、３台以上の撮像装置がそれぞれ撮像した複数の画像に基づく複数の動線に基づいて、１つのオブジェクトに対応する、各時間に１つの位置情報が関連付けられた動線を生成することができる。

【0109】

また、特に、装置の分散・統合の具体的な実施形態は以上に図示するものに限られず、その全部又は一部について、種々の付加等に応じて、又は、機能負荷に応じて、任意の単位で機能的又は物理的に分散・統合して構成することができる。

【0110】

例えば、上記実施形態では、動線管理装置３と、オブジェクト追跡装置２とは異なる装置であるものとしたが、これに限らない。オブジェクト追跡装置２と、動線管理装置３とは、１つの装置により実現されてもよい。

【符号の説明】

【0111】

１Ａ・・・第１撮像装置、１Ｂ・・・第２撮像装置、２・・・オブジェクト追跡装置、３・・・動線管理装置、３１・・・記憶部、３２・・・制御部、３２１・・取得部、３２２・・・生成部、３２３・・・矛盾判定部、３２４・・・矛盾解消部、３２５・・・動線生成部、Ｓ・・・オブジェクト追跡システム

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】