特許 7083788 情報処理装置及び組合せ特定方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-06-03

(45)【発行日】2022-06-13

(54)【発明の名称】情報処理装置及び組合せ特定方法

(51)【国際特許分類】

   G06T 7/00 20170101AFI20220606BHJP

   H04N 7/18 20060101ALI20220606BHJP

【ＦＩ】

G06T7/00 300F

H04N7/18 D

H04N7/18 K

【請求項の数】 13

(21)【出願番号】P 2019114262

(22)【出願日】2019-06-20

(65)【公開番号】P2021002105

(43)【公開日】2021-01-07

【審査請求日】2021-03-03

(73)【特許権者】

【識別番号】000208891

【氏名又は名称】ＫＤＤＩ株式会社

(74)【代理人】

【識別番号】100166006

【弁理士】

【氏名又は名称】泉 通博

(74)【代理人】

【識別番号】100124084

【弁理士】

【氏名又は名称】黒岩 久人

(74)【代理人】

【識別番号】100153280

【弁理士】

【氏名又は名称】寺川 賢祐

(72)【発明者】

【氏名】巻渕 有哉

【審査官】片岡 利延

(56)【参考文献】

【文献】特許第６２４１６６６（ＪＰ，Ｂ２）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００

Ｈ０４Ｎ ７／１８

(57)【特許請求の範囲】

【請求項1】

第１の所定エリアを通過する第１オブジェクトを含む複数の画像である第１オブジェクト画像群を、複数の前記第１オブジェクトのそれぞれに対して取得するとともに、前記第１オブジェクトが前記第１の所定エリアを通過する時よりも後に第２の所定エリアを通過する第２オブジェクトを含む複数の画像である第２オブジェクト画像群を、複数の前記第２オブジェクトのそれぞれに対して取得する画像群取得部と、
前記第１オブジェクト画像群に含まれる複数の画像のそれぞれに対応する前記第１オブジェクトの向きを示す第１向き情報を特定するとともに、前記第２オブジェクト画像群に含まれる複数の画像のそれぞれに対応する前記第２オブジェクトの向きを示す第２向き情報を特定するオブジェクト向き特定部と、
前記画像群取得部が複数の前記第１オブジェクトのそれぞれに対して取得した複数の前記第１オブジェクト画像群に含まれる複数の画像の特徴量のそれぞれと、複数の前記第２オブジェクトのそれぞれに対して取得した複数の前記第２オブジェクト画像群に含まれる複数の画像の特徴量のそれぞれとの距離と、前記第１オブジェクト画像群に含まれる複数の画像に対応する前記第１向き情報のそれぞれと、前記第２オブジェクト画像群に含まれる複数の画像に対応する前記第２向き情報のそれぞれとの関係とに基づいて、複数の前記第１オブジェクトのそれぞれに対する複数の前記第２オブジェクトの特徴量の距離であるオブジェクト間距離を特定する距離特定部と、
前記距離特定部が特定した前記オブジェクト間距離の和が相対的に小さい前記第１オブジェクトと前記第２オブジェクトとの複数の組合せを特定する組合せ特定部と、
を備える情報処理装置。

【請求項2】

前記距離特定部は、前記第１オブジェクト画像群に含まれる複数の画像の特徴量のそれぞれと、前記第２オブジェクト画像群に含まれる複数の画像の特徴量のそれぞれとの距離と、前記第１オブジェクト画像群に含まれる複数の画像に対応する前記第１向き情報のそれぞれと、前記第２オブジェクト画像群に含まれる複数の画像に対応する前記第２向き情報のそれぞれとの距離とを合計した距離のうち、相対的に小さい距離に基づいて、前記オブジェクト間距離を特定する、
請求項１に記載の情報処理装置。

【請求項3】

前記距離特定部は、前記第１向き情報が示す向きと、前記第２向き情報が示す向きとが相対的に近い向きである前記第１オブジェクト画像群に含まれる複数の画像と、前記第２オブジェクト画像群に含まれる複数の画像との組合せのみに基づいて、前記オブジェクト間距離を特定する、
請求項１又は２に記載の情報処理装置。

【請求項4】

前記距離特定部は、前記第１オブジェクト画像群に含まれる複数の画像のそれぞれに対応する前記第１向き情報と、前記第２オブジェクト画像群に含まれる複数の画像のそれぞれに対応する前記第２向き情報との近さの少なくともいずれかが所定の近さを有している場合のみ、当該第１オブジェクト画像群に含まれる複数の画像と、当該第２オブジェクト画像群に含まれる複数の画像とに基づいて前記特徴量を特定する、
請求項１から３のいずれか１項に記載の情報処理装置。

【請求項5】

前記距離特定部は、前記第１オブジェクト画像群に含まれる複数の画像の特徴量のそれぞれと、前記第２オブジェクト画像群に含まれる複数の画像の特徴量のそれぞれとの距離に、前記第１向き情報が示す向きと、前記第２向き情報が示す向きとの近さに基づく重み付けを行い、重み付けされた複数の距離の統計値に基づいて前記オブジェクト間距離を特定する、
請求項１に記載の情報処理装置。

【請求項6】

前記第１オブジェクト画像群に含まれている画像及び前記第２オブジェクト画像群に含まれている画像には、当該画像の撮像時刻が関連付けられており、
前記距離特定部は、前記第２オブジェクト画像群に含まれている画像の撮像時刻が、前記第１オブジェクト画像群に含まれている画像の撮像時刻よりも後のものである場合のみ、当該第１オブジェクト画像群に含まれる複数の画像と、当該第２オブジェクト画像群に含まれる複数の画像とに基づいて前記オブジェクト間距離を特定する、
請求項１から５のいずれか１項に記載の情報処理装置。

【請求項7】

前記組合せ特定部は、前記距離特定部が特定した複数の前記第１オブジェクトのそれぞれに対する複数の前記第２オブジェクトの前記オブジェクト間距離を要素として含む距離行列を構成し、当該距離行列に対してハンガリアン法を用いることにより、前記オブジェクト間距離の和が相対的に小さくなる前記第１オブジェクトと前記第２オブジェクトとの複数の組合せを特定する、
請求項１から６のいずれか１項に記載の情報処理装置。

【請求項8】

前記組合せ特定部は、前記オブジェクト間距離が特定されていない前記第１オブジェクトと前記第２オブジェクトとの組合せが存在する場合、当該組合せに対応する前記距離行列の要素に、所定距離以上の距離を設定する、
請求項７に記載の情報処理装置。

【請求項9】

前記第１オブジェクト画像群に含まれている画像及び前記第２オブジェクト画像群に含まれている画像には、当該画像の撮像時刻が関連付けられており、
前記組合せ特定部が特定した組合せのそれぞれについて、当該組合せを構成する前記第１オブジェクトに対応する前記第１オブジェクト画像群に含まれている画像に関連付けられている撮像時刻のいずれかと、当該組合せを構成する前記第２オブジェクトに対応する前記第２オブジェクト画像群に含まれている画像に関連付けられている撮像時刻のいずれかとに基づいて当該組合せに対応するオブジェクトが前記第１の所定エリアを通過してから前記第２の所定エリアを通過するまでの通過時間を特定する通過時間特定部をさらに備える、
請求項１から８のいずれか１項に記載の情報処理装置。

【請求項10】

前記通過時間特定部は、前記組合せ特定部が特定した組合せのうち、所定の値よりも小さいオブジェクト間距離を有する組合せのみ、前記通過時間を特定する、
請求項９に記載の情報処理装置。

【請求項11】

前記第１の所定エリアを撮像する撮像装置が第１の時刻に撮像した第１の動画像と、当該第１の動画像に基づいて特定された前記第１オブジェクトの位置を示す第１の位置情報とを関連付けた第１動線情報と、前記第２の所定エリアを撮像する撮像装置が前記第１の時刻とは異なる第２の時刻に撮像した第２の動画像と、当該第２の動画像に基づいて特定された前記第２オブジェクトの位置を示す第２の位置情報とを関連付けた第２動線情報とを取得する動線情報取得部を備え、
前記画像群取得部は、前記第１動線情報に含まれる前記第１の動画像に基づいて前記第１オブジェクト画像群を取得するとともに、前記第２動線情報に含まれる前記第２の動画像に基づいて前記第２オブジェクト画像群を取得する、
請求項１から１０のいずれか１項に記載の情報処理装置。

【請求項12】

前記画像群取得部は、前記第１動線情報に含まれる前記第１の動画像に基づいてそれぞれ異なる位置に対応する複数の画像を含む前記第１オブジェクト画像群を取得するとともに、前記第２動線情報に含まれる前記第２の動画像に基づいてそれぞれ異なる位置に対応する複数の画像を含む前記第２オブジェクト画像群を取得する、
請求項１１に記載の情報処理装置。

【請求項13】

コンピュータが実行する、
第１の所定エリアを通過する第１オブジェクトを含む複数の画像である第１オブジェクト画像群を、複数の前記第１オブジェクトのそれぞれに対して取得するとともに、前記第１オブジェクトが前記第１の所定エリアを通過する時よりも後に第２の所定エリアを通過する第２オブジェクトを含む複数の画像である第２オブジェクト画像群を、複数の前記第２オブジェクトのそれぞれに対して取得するステップと、
前記第１オブジェクト画像群に含まれる複数の画像のそれぞれに対応する前記第１オブジェクトの向きを示す第１向き情報を特定するとともに、前記第２オブジェクト画像群に含まれる複数の画像のそれぞれに対応する前記第２オブジェクトの向きを示す第２向き情報を特定するステップと、
複数の前記第１オブジェクトのそれぞれに対して取得された複数の前記第１オブジェクト画像群に含まれる複数の画像の特徴量のそれぞれと、複数の前記第２オブジェクトのそれぞれに対して取得された複数の前記第２オブジェクト画像群に含まれる複数の画像の特徴量のそれぞれとの距離と、前記第１オブジェクト画像群に含まれる複数の画像に対応する前記第１向き情報のそれぞれと、前記第２オブジェクト画像群に含まれる複数の画像に対応する前記第２向き情報のそれぞれとの関係とに基づいて、複数の前記第１オブジェクトのそれぞれに対する複数の前記第２オブジェクトの特徴量の距離であるオブジェクト間距離を特定するステップと、
特定された前記オブジェクト間距離の和が相対的に小さい前記第１オブジェクトと前記第２オブジェクトとの複数の組合せを特定するステップと、
を備える組合せ特定方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、第１の所定エリアを通過するオブジェクトと第２の所定エリアを通過するオブジェクトとの組合せを特定する情報処理装置及び組合せ特定方法に関する。

【背景技術】

【0002】

従来、異なるタイミングで撮像された画像に含まれる人物等のオブジェクトが、同一のオブジェクトであるか否かを判定することが行われている。例えば、特許文献１には、オブジェクトとしての顧客の入店時に顧客の正面方向を撮像するとともに、顧客の退店時に顧客の正面方向を撮像し、入店時の複数の顔画像と退店時の複数の顔画像とのうち、類似度が所定の閾値以上となる二つの顔画像を同一人物と判断する技術が開示されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特許第６２４１６６６号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ところで、特許文献１に開示されている技術は、入店時と退店時とでオブジェクトの正面方向を撮影することを前提としている。このため、入口と出口とが共通の場合、オブジェクトの正面方向を撮像するために撮像装置を少なくとも２台設置する必要があり、コストが増加するという問題がある。そこで、オブジェクトの向きに関わらず精度良く同一のオブジェクトを特定できるようにすることが求められている。

【0005】

そこで、本発明はこれらの点に鑑みてなされたものであり、オブジェクトの向きに関わらず精度良く同一のオブジェクトを特定することができる情報処理装置及び組合せ特定方法を提供することを目的とする。

【課題を解決するための手段】

【0006】

本発明の第１の態様に係る情報処理装置は、第１の所定エリアを通過する第１オブジェクトを含む複数の画像である第１オブジェクト画像群を、複数の前記第１オブジェクトのそれぞれに対して取得するとともに、前記第１オブジェクトが前記第１の所定エリアを通過する時よりも後に第２の所定エリアを通過する第２オブジェクトを含む複数の画像である第２オブジェクト画像群を、複数の前記第２オブジェクトのそれぞれに対して取得する画像群取得部と、前記画像群取得部が複数の前記第１オブジェクトのそれぞれに対して取得した複数の前記第１オブジェクト画像群に含まれる複数の画像と、複数の前記第２オブジェクトのそれぞれに対して取得した複数の前記第２オブジェクト画像群に含まれる複数の画像とに基づいて、複数の前記第１オブジェクトのそれぞれに対する複数の前記第２オブジェクトの特徴量の距離であるオブジェクト間距離を特定する距離特定部と、前記距離特定部が特定した前記オブジェクト間距離の和が相対的に小さい前記第１オブジェクトと前記第２オブジェクトとの複数の組合せを特定する組合せ特定部と、を備える。

【0007】

前記距離特定部は、前記第１オブジェクト画像群に含まれる複数の画像の特徴量のそれぞれと、前記第２オブジェクト画像群に含まれる複数の画像の特徴量のそれぞれとの距離に基づいて、当該第１オブジェクト画像群に対応する前記第１オブジェクトと、当該第２オブジェクト画像群に対応する前記第２オブジェクトとの前記オブジェクト間距離を特定してもよい。

【0008】

前記距離特定部は、前記第１オブジェクト画像群に含まれる複数の画像の特徴量のそれぞれと、前記第２オブジェクト画像群に含まれる複数の画像の特徴量のそれぞれとの距離のうち、相対的に小さい距離に基づいて、前記オブジェクト間距離を特定してもよい。

【0009】

前記情報処理装置は、前記第１オブジェクト画像群に含まれる複数の画像のそれぞれに対応する前記第１オブジェクトの向きを示す第１向き情報を特定するとともに、前記第２オブジェクト画像群に含まれる複数の画像のそれぞれに対応する前記第２オブジェクトの向きを示す第２向き情報を特定するオブジェクト向き特定部を備え、前記距離特定部は、前記第１オブジェクト画像群に含まれる複数の画像に対応する前記第１向き情報のそれぞれと、前記第２オブジェクト画像群に含まれる複数の画像に対応する前記第２向き情報のそれぞれとの関係にさらに基づいて、前記オブジェクト間距離を特定してもよい。

【0010】

前記距離特定部は、前記第１向き情報が示す向きと、前記第２向き情報が示す向きとが相対的に近い向きである前記第１オブジェクト画像群に含まれる複数の画像と、前記第２オブジェクト画像群に含まれる複数の画像との組合せのみに基づいて、前記オブジェクト間距離を特定してもよい。

【0011】

前記距離特定部は、前記第１オブジェクト画像群に含まれる複数の画像のそれぞれに対応する前記第１向き情報と、前記第２オブジェクト画像群に含まれる複数の画像のそれぞれに対応する前記第２向き情報との近さの少なくともいずれかが所定の近さを有している場合のみ、当該第１オブジェクト画像群に含まれる複数の画像と、当該第２オブジェクト画像群に含まれる複数の画像とに基づいて前記特徴量を特定してもよい。

【0012】

前記距離特定部は、前記第１オブジェクト画像群に含まれる複数の画像の特徴量のそれぞれと、前記第２オブジェクト画像群に含まれる複数の画像の特徴量のそれぞれとの距離に、前記第１向き情報が示す向きと、前記第２向き情報が示す向きとの近さに基づく重み付けを行い、重み付けされた複数の距離の統計値に基づいて前記オブジェクト間距離を特定してもよい。

【0013】

前記第１オブジェクト画像群に含まれている画像及び前記第２オブジェクト画像群に含まれている画像には、当該画像の撮像時刻が関連付けられており、前記距離特定部は、前記第２オブジェクト画像群に含まれている画像の撮像時刻が、前記第１オブジェクト画像群に含まれている画像の撮像時刻よりも後のものである場合のみ、当該第１オブジェクト画像群に含まれる複数の画像と、当該第２オブジェクト画像群に含まれる複数の画像とに基づいて前記オブジェクト間距離を特定してもよい。

【0014】

前記組合せ特定部は、前記距離特定部が特定した複数の前記第１オブジェクトのそれぞれに対する複数の前記第２オブジェクトの前記オブジェクト間距離を要素として含む距離行列を構成し、当該距離行列に対してハンガリアン法を用いることにより、前記オブジェクト間距離の和が相対的に小さくなる前記第１オブジェクトと前記第２オブジェクトとの複数の組合せを特定してもよい。

【0015】

前記組合せ特定部は、前記オブジェクト間距離が特定されていない前記第１オブジェクトと前記第２オブジェクトとの組合せが存在する場合、当該組合せに対応する前記距離行列の要素に、所定距離以上の距離を設定してもよい。

【0016】

前記第１オブジェクト画像群に含まれている画像及び前記第２オブジェクト画像群に含まれている画像には、当該画像の撮像時刻が関連付けられており、前記情報処理装置は、前記組合せ特定部が特定した組合せのそれぞれについて、当該組合せを構成する前記第１オブジェクトに対応する前記第１オブジェクト画像群に含まれている画像に関連付けられている撮像時刻のいずれかと、当該組合せを構成する前記第２オブジェクトに対応する前記第２オブジェクト画像群に含まれている画像に関連付けられている撮像時刻のいずれかとに基づいて当該組合せに対応するオブジェクトが前記第１の所定エリアを通過してから前記第２の所定エリアを通過するまでの通過時間を特定する通過時間特定部をさらに備えてもよい。
前記通過時間特定部は、前記組合せ特定部が特定した組合せのうち、所定の値よりも小さいオブジェクト間距離を有する組合せのみ、前記通過時間を特定してもよい。

【0017】

前記情報処理装置は、前記第１の所定エリアを撮像する撮像装置が第１の時刻に撮像した第１の動画像と、当該第１の動画像に基づいて特定された前記第１オブジェクトの位置を示す第１の位置情報とを関連付けた第１動線情報と、前記第２の所定エリアを撮像する撮像装置が前記第１の時刻とは異なる第２の時刻に撮像した第２の動画像と、当該第２の動画像に基づいて特定された前記第２オブジェクトの位置を示す第２の位置情報とを関連付けた第２動線情報とを取得する動線情報取得部を備え、前記画像群取得部は、前記第１動線情報に含まれる前記第１の動画像に基づいて前記第１オブジェクト画像群を取得するとともに、前記第２動線情報に含まれる前記第２の動画像に基づいて前記第２オブジェクト画像群を取得してもよい。

【0018】

前記画像群取得部は、前記第１動線情報に含まれる前記第１の動画像に基づいてそれぞれ異なる位置に対応する複数の画像を含む前記第１オブジェクト画像群を取得するとともに、前記第２動線情報に含まれる前記第２の動画像に基づいてそれぞれ異なる位置に対応する複数の画像を含む前記第２オブジェクト画像群を取得してもよい。

【0019】

本発明の第２の態様に係る組合せ特定方法は、コンピュータが実行する、第１の所定エリアを通過する第１オブジェクトを含む複数の画像である第１オブジェクト画像群を、複数の前記第１オブジェクトのそれぞれに対して取得するとともに、前記第１オブジェクトが前記第１の所定エリアを通過する時よりも後に第２の所定エリアを通過する第２オブジェクトを含む複数の画像である第２オブジェクト画像群を、複数の前記第２オブジェクトのそれぞれに対して取得するステップと、複数の前記第１オブジェクトのそれぞれに対して取得された複数の前記第１オブジェクト画像群に含まれる複数の画像と、複数の前記第２オブジェクトのそれぞれに対して取得された複数の前記第２オブジェクト画像群に含まれる複数の画像とに基づいて、複数の前記第１オブジェクトのそれぞれに対する複数の前記第２オブジェクトの特徴量の距離であるオブジェクト間距離を特定するステップと、特定された前記オブジェクト間距離の和が相対的に小さい前記第１オブジェクトと前記第２オブジェクトとの複数の組合せを特定するステップと、を備える。

【発明の効果】

【0020】

本発明によれば、オブジェクトの向きに関わらず精度良く同一のオブジェクトを特定することができるという効果を奏する。

【図面の簡単な説明】

【0021】

【図1】第１実施形態に係る情報処理装置の概要を示す図である。

【図2】第１実施形態に係る情報処理装置の構成を示す図である。

【図3】第１実施形態に係る動線情報に対応する動線の一例を示す図である。

【図4】第１実施形態に係る第１オブジェクト画像群の取得方法を説明するための図である。

【図5】第１実施形態に係るオブジェクト画像群に含まれるオブジェクトの画像の一例を示す図である。

【図6】第１実施形態に係る情報処理装置がオブジェクト間距離を特定する例を示す図である。

【図7】第１実施形態に係る距離行列の例を示す図である。

【図8】第１実施形態に係る情報処理装置における処理の流れを示す図である。

【図9】第２実施形態に係る情報処理装置の構成を示す図である。

【図10】第２実施形態に係るオブジェクトの向きを特定する例を示す図である。

【図11】第２実施形態に係る情報処理装置がオブジェクト間距離を特定する例を示す図である。

【発明を実施するための形態】

【0022】

＜第１実施形態＞
［情報処理装置１の概要］
図１は、第１実施形態に係る情報処理装置１の概要を示す図である。本実施形態に係る情報処理装置１は、所定エリアを通過する複数の第１オブジェクトと、第１オブジェクトが通過した後に当該所定エリアを通過する複数の第２オブジェクトとについて、同一のオブジェクトを示す第１オブジェクトと第２オブジェクトとの組合せを特定するコンピュータである。

【0023】

本実施形態において、所定エリアは、例えば店舗の内部における出入口を含む出入口エリアＥである。ここで、店舗における出入口は１つであるものとする。また、オブジェクトは、店舗に来店する顧客である。また、出入口エリアＥを含む店舗の天井には、真下方向を撮像することにより、出入口エリアＥを含む撮像エリアＡを撮像する撮像装置としての１台の全方位カメラが設置されている。全方位カメラは、撮像エリアＡを撮像することにより、出入口エリアＥを通過するオブジェクトを撮像する。

【0024】

なお、本実施形態では、所定エリアは出入口エリアＥであり、１台の全方位カメラにより、出入口エリアＥを通過するオブジェクトを撮像することとしたが、これに限らない。例えば、所定エリアは、第１の所定エリアと、第２の所定エリアとに分かれ、それぞれのエリアに対応して撮像装置が設置されていてもよい。この場合、第１の所定エリアは、例えば店舗の入口を含む入口領域であり、第２の所定エリアは、例えば、店舗の入口とは異なる店舗の出口を含む出口領域である。第１の所定エリアを通過したオブジェクトは、その後、第２の所定エリアを必ず通過するものとする。また、本実施形態では、撮像装置として全方位カメラを用いることとしたが、これに限らない。撮像装置は、例えば、一般的なカメラ等、全方位カメラとは異なるカメラであってもよい。

【0025】

本実施形態において、情報処理装置１は、撮像装置が撮像した動画像と、動画像におけるオブジェクトの位置を示す位置情報とを関連付けた動線情報を取得する（図１の（１））。情報処理装置１は、取得した動線情報に基づいて、出入口エリアＥを通過する一つのオブジェクトを含む複数の画像であるオブジェクト画像群を、複数のオブジェクトのそれぞれに対して取得する（図１の（２））。オブジェクト画像群には、出入口エリアＥを通過して店舗内に侵入するオブジェクトである第１オブジェクトを含む複数の画像である第１オブジェクト画像群と、出入口エリアＥを通過して店舗内から退出する複数の第２オブジェクトを含む複数の画像である第２オブジェクト画像群とが存在する。

【0026】

図１において、撮像エリアＡに示されるＦＶ１、ＦＶ２は、第１オブジェクトの動線を示しており、ＴＥ１、ＴＥ２は、第２オブジェクトの動線を示している。また、各動線に示される複数の×印は、撮像装置が撮像した撮像画像におけるオブジェクトの位置を示している。例えば、情報処理装置１は、動線ＦＶ１に対して、第１オブジェクトの画像を４つ含む第１オブジェクト画像群を取得し、動線ＦＶ２に対して、第１オブジェクトの画像を３つ含む第１オブジェクト画像群を取得する。

【0027】

情報処理装置１は、複数の第１オブジェクト画像群に含まれる複数の画像と、複数の第２オブジェクト画像群に含まれる複数の画像とに基づいて、複数の第１オブジェクトのそれぞれに対する複数の第２オブジェクトの特徴量の距離であるオブジェクト間距離を特定する（図１の（３））。ここで、情報処理装置１は、オブジェクト画像群に含まれる複数の画像同士の距離に基づいてオブジェクト間距離を特定する。第１のオブジェクト画像群に含まれる複数の画像と、第２のオブジェクト画像群に含まれる複数の画像とには、一つの第１のオブジェクト画像と、一つの第２のオブジェクト画像とを比較する場合に比べて、同じ向きのオブジェクトが含まれている可能性が高い。したがって、情報処理装置１は、オブジェクト画像群に含まれる複数の画像同士の距離に基づいてオブジェクト間距離を特定することにより、オブジェクト間距離を精度良く特定することができる。

【0028】

情報処理装置１は、特定したオブジェクト間距離の和が相対的に小さくなる第１オブジェクトと第２オブジェクトとの複数の組合せを特定する（図１の（４））。このようにすることで、情報処理装置１は、オブジェクトの向きに関わらず精度良く同一のオブジェクトを特定することができる。

【0029】

［情報処理装置１の構成］
続いて、情報処理装置１の構成を説明する。図２は、第１実施形態に係る情報処理装置１の構成を示す図である。図２に示すように、情報処理装置１は、記憶部１１と、制御部１２とを備える。

【0030】

記憶部１１は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）及びＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等を含む記憶媒体である。記憶部１１は、制御部１２が実行するプログラムを記憶している。例えば、記憶部１１は、情報処理装置１を、動線情報取得部１２１、画像群取得部１２２、距離特定部１２３、組合せ特定部１２４、及び通過時間特定部１２５として機能させるプログラムを記憶している。

【0031】

制御部１２は、例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）である。制御部１２は、記憶部１１に記憶されたプログラムを実行することにより、動線情報取得部１２１、画像群取得部１２２、距離特定部１２３、組合せ特定部１２４、及び通過時間特定部１２５として機能する。

【0032】

動線情報取得部１２１は、動画像と、当該動画像において特定されたオブジェクトの位置を示す位置情報とを関連付けた動線情報を取得する。例えば、動線情報取得部１２１は、動画像に基づいて動線情報を生成する装置から、撮像エリアＡの動画像に対応する動線情報を取得する。

【0033】

図３は、第１実施形態に係る動線情報に対応する動線の一例を示す図である。図３において、ＦＶ１、ＦＶ２、ＴＥ１、ＴＥ２は、動線を示している。図３において、動線の終端の矢印は、オブジェクトが動線に沿って移動する方向を示しており、動線に示される×印は、撮像時刻を示している。図３に示すように、動線には、動画像の開始時におけるオブジェクトの位置が出入口エリアＥの内部の位置である動線としての第１動線ＦＶ１、ＦＶ２と、動画像の開始時におけるオブジェクトの位置が出入口エリアＥの外部の位置である動線としての第２動線ＴＥ１、ＴＥ２とが含まれている。以下の説明において、第１動線ＦＶ１、ＦＶ２を示す動線情報を第１動線情報、第２動線ＴＥ１、ＴＥ２を示す動線情報を第２動線情報という。

【0034】

第１動線情報は、出入口エリアＥを含む撮像エリアＡを撮像する撮像装置が第１の時刻に撮像した第１の動画像と、当該第１の動画像に基づいて特定された第１オブジェクトの位置を示す第１の位置情報とを関連付けた動線情報である。ここで、第１の時刻は、例えば動画像の開始時刻である。

【0035】

第２動線情報は、出入口エリアＥを撮像する撮像装置が第１の時刻とは異なる第２の時刻に撮像した第２の動画像と、当該第２の動画像に基づいて特定された第２オブジェクトの位置を示す第２の位置情報とを関連付けた動線情報である。ここで、第２の時刻は、例えば動画像の終了時刻である。

【0036】

また、動画像には、複数の画像が含まれており、複数の画像のそれぞれに対して、画像に含まれるオブジェクトの位置を示す位置情報と、画像の撮像時刻とが関連付けられている。オブジェクトの位置を示す位置情報は、例えば、オブジェクトの中心位置を示す座標情報と、オブジェクトを囲む矩形の横方向及び縦方向の大きさ（ｗ，ｈ）と、基準となる座標系における当該矩形の回転角ａとを含む。

【0037】

なお、本実施形態において、動線情報取得部１２１は、動線情報を生成する装置から動線情報を取得するものとするが、これに限らない。例えば、動線情報取得部１２１は、予め記憶部に記憶されている動線情報を取得したり、撮像装置から取得した動画像に基づいて動線情報を生成したりしてもよい。この場合、動線情報取得部１２１は、まず、動画像に含まれる複数の画像のそれぞれを解析することにより、複数の画像のそれぞれに含まれるオブジェクトを特定するとともに、当該オブジェクトの位置を特定する。そして、動線情報取得部１２１は、動画像に含まれる複数の画像の撮像時刻と、当該画像において特定されたオブジェクトの位置を示す位置情報とを関連付けた動線情報を生成する。

【0038】

ここで、動線情報取得部１２１は、動線情報に含まれる動画像から、一以上の画像を間引いてもよい。例えば、動線情報に含まれる動画像から、一定時間毎に画像を抽出することにより一以上の画像を間引いたり、オブジェクトの位置が連続して同じ位置を示している複数の画像のうちの一部の画像を間引いたりしてもよい。このようにすることで、情報処理装置１は、動線情報取得部１２１よりも後段における処理時間を短縮することができる。

【0039】

画像群取得部１２２は、出入口エリアＥを通過する第１オブジェクトを含む複数の画像である第１オブジェクト画像群を、複数の第１オブジェクトのそれぞれに対して取得する。画像群取得部１２２は、動線情報取得部１２１が取得した第１動線情報に含まれる第１の動画像に基づいて、第１オブジェクト画像群を取得する。

【0040】

図４は、第１実施形態に係る第１オブジェクト画像群の取得方法を説明するための図である。具体的には、画像群取得部１２２は、第１の動画像に含まれる複数の画像のそれぞれについて、当該画像に関連付けられているオブジェクトの位置を示す位置情報に基づいて、図４に示されるようにオブジェクトを囲む矩形領域と、当該矩形領域の回転角とを特定する。そして、画像群取得部１２２は、第１の動画像に含まれる複数の画像のそれぞれから、矩形領域の画像を抽出するとともに、特定した矩形領域の回転角に基づいて、基準となる座標系において矩形の回転角（０時方向を０度とする）が０度となるように、矩形領域を回転させることにより、第１オブジェクト画像群を取得する。このようにすることで、情報処理装置１は、第１オブジェクト画像群が示す第１オブジェクトの回転角度を一定にして、オブジェクトを直立状態に統一することができる。

【0041】

また、画像群取得部１２２は、第１オブジェクトが出入口エリアＥを通過する時よりも後に当該出入口エリアＥを通過する第２オブジェクトを含む複数の画像である第２オブジェクト画像群を、複数の第２オブジェクトのそれぞれに対して取得する。画像群取得部１２２は、第１の動画像から第１オブジェクト画像群を取得する方法と同様の方法を用いて、動線情報取得部１２１が取得した第２動線情報に含まれる第２の動画像に基づいて第２オブジェクト画像群を取得する。

【0042】

ここで、オブジェクト画像群に含まれるオブジェクトは、直立状態に統一されるものの、オブジェクトが写る向きについては統一されない。図５は、第１実施形態に係るオブジェクト画像群に含まれるオブジェクトの画像の一例を示す図である。図５では、オブジェクトが画像に写る向きが、正面、背面、左側面、及び右側面等のように統一されていないことが確認できる。

【0043】

なお、画像群取得部１２２は、第１動線情報に含まれる第１の動画像に基づいてそれぞれ異なる位置に対応する複数の画像を含む第１オブジェクト画像群を取得するとともに、第２動線情報に含まれる第２の動画像に基づいてそれぞれ異なる位置に対応する複数の画像を含む第２オブジェクト画像群を取得するようにしてもよい。動線情報に含まれる、同じ位置に対応する複数のオブジェクトの画像は、同様の画像であることが多い。これに対し、画像群取得部１２２は、異なる位置に対応する複数の画像を含むオブジェクト画像群を取得し、同様の画像が含まれないようにするので、同様の画像が含まれることによって処理負荷が増加することを抑制することができる。

【0044】

距離特定部１２３は、画像群取得部１２２が複数の第１オブジェクトのそれぞれに対して取得した複数の第１オブジェクト画像群に含まれる複数の画像と、複数の第２オブジェクトのそれぞれに対して取得した複数の第２オブジェクト画像群に含まれる複数の画像とに基づいて、複数の第１オブジェクトのそれぞれに対する複数の第２オブジェクトの特徴量の距離であるオブジェクト間距離を特定する。

【0045】

具体的には、まず、距離特定部１２３は、第１オブジェクト画像群に含まれる複数の画像の特徴量のそれぞれと、第２オブジェクト画像群に含まれる複数の画像の特徴量のそれぞれとを特定する。ここで、特徴量は、例えば、複数次元の特徴ベクトルである。例えば、距離特定部１２３は、オブジェクト画像群に含まれる画像から特徴量を特定するために、ＲｅｓＮｅｔ５０等の深層学習モデルを用いてもよい。

【0046】

続いて、距離特定部１２３は、第１オブジェクト画像群に含まれる画像の特徴量と、第２オブジェクト画像群に含まれる画像の特徴量との距離を特定する。例えば、距離特定部１２３は、ユークリッド距離やコサイン距離等の関数を用いて画像の特徴量の距離を特定する。以下の説明において、第１オブジェクト画像群に含まれる画像の特徴量と、第２オブジェクト画像群に含まれる画像の特徴量との距離を画像間距離ともいう。

【0047】

続いて、距離特定部１２３は、特定した画像間距離に基づいて、当該第１オブジェクト画像群に対応する第１オブジェクトと、当該第２オブジェクト画像群に対応する第２オブジェクトとのオブジェクト間距離を特定する。

【0048】

例えば、距離特定部１２３は、オブジェクト間距離を特定する場合に、第１オブジェクト画像群に含まれる複数の画像の特徴量のそれぞれと、第２オブジェクト画像群に含まれる複数の画像の特徴量のそれぞれとの画像間距離のうち、相対的に小さい距離に基づいて、オブジェクト間距離を特定する。

【0049】

図６は、第１実施形態に係る情報処理装置１がオブジェクト間距離を特定する例を示す図である。図６は、第１オブジェクト画像群ＩＳＶ１に対応する第１オブジェクトと、第２オブジェクト画像群ＩＳＥ１に対応する第２オブジェクトとのオブジェクト間距離を特定する例を示している。

【0050】

図６に示されるように、第１オブジェクト画像群ＩＳＶ１には、４つの第１オブジェクトの画像が含まれており、第２オブジェクト画像群ＩＳＥ１には、５つの第２オブジェクトの画像が含まれている。このため、第１オブジェクトの画像と第２オブジェクトの画像との組合せは、２０通り存在する。

【0051】

二つの画像に写るオブジェクトが同一のオブジェクトであっても、画像に写るオブジェクトの向きが異なる場合は、画像間距離が大きくなる傾向にある。このため、画像に写るオブジェクトの向きが異なっている場合に、第１オブジェクトの画像と第２オブジェクトの画像との全ての組合せに対応する画像間距離を用いてオブジェクト間距離を特定すると、当該オブジェクト間距離と、異なるオブジェクトが写る場合におけるオブジェクト間距離との差が小さくなる場合がある。

【0052】

そこで、距離特定部１２３は、第１オブジェクトの画像と第２オブジェクトの画像との全ての組合せについて、画像間距離を算出した後、全ての組合せの画像間距離のうち、最小の画像間距離をオブジェクト間距離として特定する。図６に示す例では、第１オブジェクト画像群ＩＳＶ１に含まれる正面を向いている第１オブジェクトの画像と、第２オブジェクト画像群ＩＳＥ１に含まれる正面を向いている第２オブジェクトの画像との画像間距離が最小であり、当該最小の画像間距離がオブジェクト間距離として特定される。このようにすることで、画像に写るオブジェクトの向きが類似している画像間で算出された画像間距離がオブジェクト間距離に選択されやすくなり、後段の処理で正しく同一人物をマッチングすることが可能となる。

【0053】

なお、オブジェクトの組合せを特定するにあたり、第１オブジェクトが出入口エリアＥを通過する時刻は、第２オブジェクトが出入口エリアＥを通過する時刻よりも前の時刻とすべきである。したがって、距離特定部１２３は、第２オブジェクト画像群に含まれている画像の撮像時刻（例えば、第２時刻）が、第１オブジェクト画像群に含まれている画像の撮像時刻（例えば、第１時刻）よりも後のものである場合のみ、当該第１オブジェクト画像群に含まれる複数の画像と、当該第２オブジェクト画像群に含まれる複数の画像とに基づいてオブジェクト間距離を特定するようにしてもよい。このようにすることで、後述する組合せ特定部１２４において、異なるオブジェクトを示す第１オブジェクトと第２オブジェクトとが、同一のオブジェクトを示す第１オブジェクトと第２オブジェクトとの組合せとして特定されることを抑制することができる。

【0054】

また、距離特定部１２３は、オブジェクト画像群に含まれる複数の画像の特徴量を特定し、特定した複数の画像の特徴量に基づいて画像間距離を算出したが、これに限らない。例えば、距離特定部１２３は、シャムネットワーク（Ｓｉａｍｅｓｅ Ｎｅｔｗｏｒｋ）等の深層学習モデルを用いて、特徴量計算を行うことなく、二つの画像間の画像間距離を一つのネットワークで判定してもよい。

【0055】

組合せ特定部１２４は、距離特定部１２３が特定したオブジェクト間距離の和が相対的に小さい第１オブジェクトと第２オブジェクトとの複数の組合せを特定する。具体的には、組合せ特定部１２４は、距離特定部１２３が特定した複数の第１オブジェクトのそれぞれに対する複数の第２オブジェクトのオブジェクト間距離を要素として含む距離行列を構成し、当該距離行列に対してハンガリアン法を用いることにより、オブジェクト間距離の和が相対的に小さくなる第１オブジェクトと第２オブジェクトとの複数の組合せを特定する。

【0056】

図７は、第１実施形態に係る距離行列の例を示す図である。図７は、図３に示す第１動線ＦＶ１、ＦＶ２に対応する第１オブジェクト画像群ＩＳＶ１、ＩＳＶ２と、第２動線ＴＥ１、ＴＥ２に対応する第２オブジェクト画像群ＩＳＥ１、ＩＳＥ２とに基づいて構成した２×２の距離行列を示している。距離行列におけるｄ１１、ｄ１２、ｄ２１、ｄ２２は、それぞれ、距離特定部１２３が特定したオブジェクト間距離を示している。例えば、ｄ１１は、第１オブジェクト画像群ＩＳＶ１に対応する第１オブジェクトと、第２オブジェクト画像群ＩＳＥ２に対応する第２オブジェクトとのオブジェクト間距離である。組合せ特定部１２４は、当該距離行列に対してハンガリアン法を用いることにより、オブジェクト間距離の総和が最小となる組合せを特定する。

【0057】

図７に示す例では、ハンガリアン法によりｄ１１及びｄ２２が特定されたものとする。この場合、組合せ特定部１２４は、第１オブジェクトと第２オブジェクトとの複数の組合せとして、第１オブジェクト画像群ＩＳＶ１に対応する第１オブジェクトと、第２オブジェクト画像群ＩＳＥ１に対応する第２オブジェクトとの組合せ、及び第１オブジェクト画像群ＩＳＶ２に対応する第１オブジェクトと、第２オブジェクト画像群ＩＳＥ２に対応する第２オブジェクトとの組合せとを特定する。

【0058】

なお、上述したように、第１オブジェクト画像群及び第２オブジェクト画像群に含まれている画像の撮像時刻の前後関係によっては、距離特定部１２３によりオブジェクト間距離が特定されない第１オブジェクト画像群と、第２オブジェクト画像群との組合せが存在することがある。そこで、組合せ特定部１２４は、オブジェクト間距離が特定されていない第１オブジェクトと第２オブジェクトとの組合せが存在する場合、当該組合せに対応する距離行列の要素に、所定距離以上の距離を設定するようにしてもよい。例えば、所定距離は、オブジェクト間距離が取り得る範囲の上限値を上回る値である。このようにすることで、情報処理装置１は、距離行列に含まれる各要素の値を確定させ、当該距離行列にハンガリアン法を適用することができると共に、ハンガリアン法により特定した組合せに対応するオブジェクト間距離が所定値を上回る場合に通過時間を特定しないように制御することができる。

【0059】

通過時間特定部１２５は、組合せ特定部１２４が特定した組合せに対応するオブジェクトが出入口エリアＥを通過してから、出入口エリアＥを再び通過するまでの通過時間を特定することにより、当該オブジェクトの店舗における滞在時間を特定する。

【0060】

具体的には、通過時間特定部１２５は、組合せ特定部１２４が特定した組合せのそれぞれについて、当該組合せを構成する第１オブジェクトに対応する第１オブジェクト画像群に含まれている画像に関連付けられている撮像時刻のいずれかと、当該組合せを構成する第２オブジェクトに対応する第２オブジェクト画像群に含まれている画像に関連付けられている撮像時刻のいずれかとに基づいて当該組合せに対応するオブジェクトが出入口エリアＥを通過してから出入口エリアＥを再び通過するまでの通過時間を特定する。

【0061】

図７に示す、第１オブジェクト画像群ＩＳＶ１に対応する第１オブジェクトと、第２オブジェクト画像群ＩＳＥ１に対応する第２オブジェクトとの組合せが特定された場合について説明する。この場合、通過時間特定部１２５は、第１オブジェクト画像群ＩＳＶ１に対応する第１時刻としての動画像の開始時刻から、第２オブジェクト画像群ＩＳＥ１に対応する第２時刻としての動画像の終了時刻までの時間を特定することにより、当該オブジェクトが出入口エリアＥを通過してから出入口エリアＥを再び通過するまでの通過時間、すなわち、オブジェクトの店舗における滞在時間を特定する。例えば、オブジェクトとしての顧客の来店時刻と、滞在時間との相関を分析することにより、来店時間帯別の顧客の滞在時間の傾向を把握することができる。

【0062】

なお、通過時間特定部１２５は、組合せ特定部１２４が特定した組合せのうち、所定の値よりも小さいオブジェクト間距離を有する組合せのみ、通過時間を特定してもよい。このようにすることで、情報処理装置１は、オブジェクト間距離が大きく、同一のオブジェクトである蓋然性が低いオブジェクトの組合せについては通過時間を特定しないようにすることができる。これにより、情報処理装置１は、通過時間の特定に関する再現率（Ｒｅｃａｌｌ）が低下するものの、適合率（Ｐｒｅｃｉｓｉｏｎ）を向上させることができる。

【0063】

［情報処理装置１における処理の流れ］
続いて、情報処理装置１における処理の流れについて説明する。図８は、第１実施形態に係る情報処理装置１における処理の流れを示すフローチャートである。

【0064】

まず、動線情報取得部１２１は、第１動線情報及び第２動線情報を取得する（Ｓ１）。
続いて、画像群取得部１２２は、Ｓ１において取得された第１動線情報に基づいて複数の第１オブジェクトのそれぞれに対応する複数の第１オブジェクト画像群を取得するとともに、第２動線情報に基づいて複数の第２オブジェクトのそれぞれに対応する複数の第２オブジェクト画像群を取得する（Ｓ２）。

【0065】

続いて、距離特定部１２３は、複数の第１オブジェクトのそれぞれに対して取得した第１オブジェクト画像群に含まれる複数の画像と、複数の第２オブジェクトのそれぞれに対して取得した複数の第２オブジェクト画像群に含まれる複数の画像とに基づいて、複数の第１オブジェクトのそれぞれに対する複数の第２オブジェクトのオブジェクト間距離を特定する（Ｓ３）。

【0066】

続いて、組合せ特定部１２４は、Ｓ３において特定されたオブジェクト間距離に基づいて、第１オブジェクトと第２オブジェクトとの複数の組合せを特定する（Ｓ４）。
続いて、通過時間特定部１２５は、Ｓ４において特定された複数の組合せのそれぞれに対して、オブジェクトが出入口エリアＥを通過してから出入口エリアＥを再び通過するまでの通過時間を特定する（Ｓ５）。

【0067】

［第１実施形態における効果］
以上説明したように、第１実施形態に係る情報処理装置１は、第１の所定エリアを通過する第１オブジェクトを含む複数の画像である第１オブジェクト画像群を、複数の第１オブジェクトのそれぞれに対して取得するとともに、第１オブジェクトが第１の所定エリアを通過する時よりも後に第２の所定エリアを通過する第２オブジェクトを含む複数の画像である第２オブジェクト画像群を、複数の第２オブジェクトのそれぞれに対して取得する。情報処理装置１は、複数の第１オブジェクト画像群に含まれる複数の画像と、複数の第２オブジェクト画像群に含まれる複数の画像とに基づいて、複数の第１オブジェクトのそれぞれに対する複数の第２オブジェクトの特徴量の距離であるオブジェクト間距離を特定し、当該オブジェクト間距離の和が相対的に小さい第１オブジェクトと第２オブジェクトとの複数の組合せを特定する。このようにすることで、情報処理装置１は、オブジェクトの向きに関わらず精度良く同一のオブジェクトを特定することができる。

【0068】

＜第２実施形態＞
［画像に写るオブジェクトの向きを考慮してオブジェクト間距離を特定する］
続いて、第２実施形態について説明する。第２実施形態に係る情報処理装置１は、画像に写るオブジェクトの向きを特定し、特定したオブジェクトの向きを考慮してオブジェクト間距離を特定する点で第１実施形態と異なる。以下、第２実施形態に係る情報処理装置１について説明する。なお、第１実施形態と同じ部分については適宜説明を省略する。

【0069】

図９は、第２実施形態に係る情報処理装置１の構成を示す図である。図９に示すように、第２実施形態に係る情報処理装置１は、オブジェクト向き特定部１２６をさらに備える。
オブジェクト向き特定部１２６は、第１オブジェクト画像群に含まれる複数の画像のそれぞれに対応する第１オブジェクトの向きを示す第１向き情報を特定するとともに、第２オブジェクト画像群に含まれる複数の画像のそれぞれに対応する第２オブジェクトの向きを示す第２向き情報を特定する。

【0070】

例えば、オブジェクト向き特定部１２６は、ＲｅｓＮｅｔ５０等の深層学習モデルを用いてオブジェクト画像の向きを特定する。ここで、第１向き情報及び第２向き情報は、例えばオブジェクトの向きを示す２次元ベクトルであってもよく、正面、背面、右側面及び左側面のように量子化された４クラスの向きラベルであってもよい。

【0071】

また、オブジェクト向き特定部１２６は、動線情報に基づいてオブジェクトの移動方向を特定し、当該移動方向に基づいて画像に写るオブジェクトの向きを特定してもよい。図１０は、第２実施形態に係るオブジェクトの向きを特定する例を示す図である。図１０は、真下方向を撮像するように天井に設置された撮像装置の撮像エリアＡを示している。また、図１０の撮像エリアＡに示される矢印は、動線情報に基づくオブジェクトの移動方向を示している。

【0072】

オブジェクト向き特定部１２６は、図１０に示すように、オブジェクトの移動方向が画像中心に近づく方向の場合、オブジェクトの向きを正面と判定する。また、オブジェクト向き特定部１２６は、オブジェクトの移動方向が画像中心から離れる方向の場合、オブジェクトの向きを背面と判定し、画像内で時計回りに移動している場合、オブジェクトの向きを右側面と判定し、画像内で反時計回りに移動している場合、オブジェクトの向きを左側面と判定する。

【0073】

距離特定部１２３は、第１オブジェクト画像群に含まれる複数の画像に対応する第１向き情報のそれぞれと、第２オブジェクト画像群に含まれる複数の画像に対応する第２向き情報のそれぞれとの関係にさらに基づいて、オブジェクト間距離を特定する。例えば、距離特定部１２３は、第１オブジェクトの画像と第２オブジェクトの画像との全ての組合せのそれぞれについて、第１オブジェクトと第２オブジェクトとの向きの距離と、特徴量との距離に基づいて、以下の式（１）に示すように画像間距離を算出する。
画像間距離＝α・向きの距離＋β・特徴量の距離・・・（１）

【0074】

ここで、αは第１の重み係数、βは第２の重み係数である。また、向きの距離は、第１向き情報及び第２向き情報がベクトルによって定義される場合、ベクトル間の成す角度である。また、第１向き情報及び第２向き情報が４クラスの向きを示すラベル（正面、背面、右側面及び左側面）によって定義される場合、距離特定部１２３は、二つの画像のラベルが同一であるときには向きの距離をゼロとし、異なるときには向きの距離を無限大としてもよい。

【0075】

そして、距離特定部１２３は、以下の式（２）に示すように、第１オブジェクトの画像と第２オブジェクトの画像との全ての組合せの画像間距離のうち、最小の画像間距離に基づいてオブジェクト間距離を特定する。
オブジェクト間距離＝ｍｉｎ（画像間距離の集合）・・・（２）

【0076】

また、距離特定部１２３は、第１向き情報が示す向きと、第２向き情報が示す向きとが相対的に近い向きである第１オブジェクト画像群に含まれる複数の画像と、前記第２オブジェクト画像群に含まれる複数の画像との組合せのみに基づいて、オブジェクト間距離を特定してもよい。

【0077】

具体的には、距離特定部１２３は、第１オブジェクト画像群に含まれる複数の画像のそれぞれに対応する第１向き情報と、第２オブジェクト画像群に含まれる複数の画像のそれぞれに対応する第２向き情報との近さの少なくともいずれかが所定の近さを有している場合のみ、当該第１オブジェクト画像群に含まれる複数の画像と、当該第２オブジェクト画像群に含まれる複数の画像とに基づいて特徴量を特定する。

【0078】

例えば、距離特定部１２３は、第１オブジェクト画像群に含まれる一つの画像に対応する第１向き情報と、第２オブジェクト画像群に含まれる一つの画像に対応する第２向き情報との向き距離が所定の閾値以下である場合に、これらの二つの画像の特徴量の距離を特定して、画像間距離を特定する。距離特定部１２３は、所定の閾値よりも大きい向き距離を有する二つの画像については、特徴量の距離の特定を省略し、画像間距離の特定を省略する。

【0079】

そして、距離特定部１２３は、特定した画像間距離のみに基づいて、第１オブジェクト画像群に対応する第１オブジェクトと、第２オブジェクト画像群に対応する第２オブジェクトとのオブジェクト間距離を特定する。

【0080】

図１１は、第２実施形態に係る情報処理装置１がオブジェクト間距離を特定する例を示す図である。図１１に示される第１オブジェクト画像群ＩＳＶ１及び第２オブジェクト画像群ＩＳＥ１は、図６に示される第１オブジェクト画像群ＩＳＶ１及び第２オブジェクト画像群ＩＳＥ１と同じであるものとする。図６に示す例では、２０通りの全てについて画像間距離を計算する必要がある一方で、第２実施形態に係る距離特定部１２３は、第１向き情報及び第２向き情報を用いることにより、図１１に示すように５通りの画像間距離のみを特定する。類似した向きのオブジェクト画像間の画像間距離が最小値として選択されやすい傾向にあることから、向き距離が大きい二つの画像は選択されない確率が高い。したがって、向き距離が大きい二つの画像について画像間距離を特定しないようにしても、最終的なマッチングの精度を低下させるおそれが少ない。

【0081】

なお、距離特定部１２３は、第１オブジェクトの画像と第２オブジェクトの画像との組合せについて、画像間距離を算出した後、これらの組合せの画像間距離のうち、最小の画像間距離をオブジェクト間距離として特定するが、最小の画像間距離のみを用いるのではなく、複数の画像間距離を用いるようにしてもよい。

【0082】

この場合、距離特定部１２３は、第１オブジェクト画像群に含まれる複数の画像の特徴量のそれぞれと、第２オブジェクト画像群に含まれる複数の画像の特徴量のそれぞれとの距離としての画像間距離に、第１向き情報が示す向きと、第２向き情報が示す向きとの近さに基づく重み付けを行い、重み付けされた複数の画像間距離の統計値に基づいてオブジェクト間距離を特定する。例えば、距離特定部１２３は、第１オブジェクト画像群に含まれる複数の画像の特徴量のそれぞれと、第２オブジェクト画像群に含まれる複数の画像の特徴量のそれぞれとの画像間距離に、第１向き情報と第２向き情報とに対応する向き距離に基づく重み係数を用いて、重み付けを行う。例えば、距離特定部１２３は、向き距離が小さければ小さいほど、画像間距離が小さくなるように画像間距離の重み付けを行う。

【0083】

距離特定部１２３は、以下の式（３）に示すように、向き距離の総和で正規化した向き距離を重み係数とする。
重み係数＝向き距離／Σ（各画像間距離に対応する向き距離）・・・（３）

【0084】

距離特定部１２３は、式（３）に示す重み係数を用いて、以下の式（４）に示すように、一以上の画像間距離の加重平均を算出し、当該加重平均をオブジェクト間距離として特定する。
オブジェクト間距離＝Σ（重み係数・画像間距離）・・・（４）

【0085】

画像間距離の最小値を用いてオブジェクト間距離を特定する場合、第１オブジェクト画像群と第２オブジェクト画像群とのそれぞれに含まれる画像の組合せにおいて、異なる人物同士にも関わらず偶然的に小さい画像間距離が算出される組合せが一つでも含まれていると、当該画像間距離に基づいて同一人物として判定されてしまうおそれがある。これに対して、距離特定部１２３は、向き距離に基づく重み係数を用いた加重平均を用いることで、向きが類似した画像間の画像間距離の信頼度を高め、向きが離れた画像間距離の信頼度を下げることができる。これにより、情報処理装置１は、オブジェクト間距離の特定精度を高めることが可能となる。

【0086】

また、距離特定部１２３は、第１オブジェクト画像群に含まれる複数の画像のうち、向き距離が所定の閾値以下となる第２オブジェクト画像群に含まれる画像が一つ以上存在する画像についてのみ、画像の特徴量を特定するようにしてもよい。同様に、第２オブジェクト画像群に含まれる複数の画像のうち、向き距離が所定の閾値以下となる第１オブジェクト画像群に含まれる画像が一つ以上存在する画像についてのみ、画像の特徴量を特定するようにしてもよい。このようにすることで、特徴量を比較する対象である全ての画像のそれぞれとの向き距離が所定の閾値以下とならない画像については特徴量を特定する処理が省略されるので、処理負荷を軽減することができる。例えば、図１１に示される第２オブジェクト画像群ＩＳＥ１に含まれる画像のうち、一番上に示される画像は、第１オブジェクト画像群ＩＳＶ１に含まれる全ての画像のそれぞれとの向き距離が所定の閾値よりも大きいため、距離特定部１２３は、当該画像の特徴量を特定しなくてもよい。

【0087】

［第２実施形態における効果］
以上説明したように、第１実施形態に係る情報処理装置１は、第１オブジェクト画像群に含まれる複数の画像のそれぞれに対応する第１向き情報を特定するとともに、第２オブジェクト画像群に含まれる複数の画像のそれぞれに対応する第２向き情報を特定する。そして、情報処理装置１は、第１オブジェクト画像群に含まれる複数の画像に対応する第１向き情報のそれぞれと、第２オブジェクト画像群に含まれる複数の画像に対応する第２向き情報のそれぞれとの関係にさらに基づいて、オブジェクト間距離を特定する。このようにすることで、情報処理装置１は、第１オブジェクトと、第２オブジェクトとの組合せの精度を向上することができるとともに、処理負荷を適宜軽減することができる。

【0088】

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、装置の全部又は一部は、任意の単位で機能的又は物理的に分散・統合して構成することができる。また、複数の実施の形態の任意の組合せによって生じる新たな実施の形態も、本発明の実施の形態に含まれる。組合せによって生じる新たな実施の形態の効果は、もとの実施の形態の効果を併せ持つ。

【符号の説明】

【0089】

１・・・情報処理装置、１１・・・記憶部、１２・・・制御部、１２１・・・動線情報取得部、１２２・・・画像群取得部、１２３・・・距離特定部、１２４・・・組合せ特定部、１２５・・・通過時間特定部、１２６・・・オブジェクト向き特定部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】