特許 6377563 動線の部分削除処理を利用して物体を識別する物体追跡装置、プログラム及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6377563

(24)【登録日】2018年8月3日

(45)【発行日】2018年8月22日

(54)【発明の名称】動線の部分削除処理を利用して物体を識別する物体追跡装置、プログラム及び方法

(51)【国際特許分類】

   G06T 7/20 20170101AFI20180813BHJP

   H04N 7/18 20060101ALI20180813BHJP

【ＦＩ】

   G06T7/20 300

   H04N7/18 D

   H04N7/18 K

【請求項の数】10

【全頁数】21

(21)【出願番号】特願2015-67123(P2015-67123)

(22)【出願日】2015年3月27日

(65)【公開番号】特開2016-186740(P2016-186740A)

(43)【公開日】2016年10月27日

【審査請求日】2017年8月12日

(73)【特許権者】

【識別番号】000208891

【氏名又は名称】ＫＤＤＩ株式会社

(74)【代理人】

【識別番号】100135068

【弁理士】

【氏名又は名称】早原 茂樹

(74)【代理人】

【識別番号】100141313

【弁理士】

【氏名又は名称】辰巳 富彦

(72)【発明者】

【氏名】上坂 大輔

【審査官】 山田 辰美

(56)【参考文献】

【文献】 特開２０１０−２７６５２９（ＪＰ，Ａ）

【文献】 川島 秀人 HIDETO KAWASHIMA，複数センサ情報の統合によるロバストな人物動線検出手法の提案 Integration of Multiple Kinds of Sensors for Robust Tracking of Human Beings，情報処理学会研究報告 平成２１年度▲１▼ ［ＣＤ−ＲＯＭ］，日本，社団法人情報処理学会

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ７／００−７／９０

ＩＥＥＥ Ｘｐｌｏｒｅ

(57)【特許請求の範囲】

【請求項1】

複数の物体を撮影可能な１つ以上のカメラから取得される画像情報、又は複数の距離計から取得される複数の物体に係る距離情報と、当該複数の物体のうちの少なくとも１つに付与された位置又は動き推定用のセンサから出力されるセンサ情報とを用いて当該物体を追跡可能な装置であって、
当該画像情報又は当該距離情報に基づいて、当該複数の物体の移動経路に係る複数の動線を決定する動線推定手段と、
当該センサ情報に基づいて算出される位置・動き情報であって、当該センサを付与された物体であるセンサ付与体の位置又は動きに係る位置・動き情報を取得する位置・動き情報取得手段と、
決定された複数の動線の中から取り出された２つの動線について、当該２つの動線のそれぞれに含まれる同時に相当する２点が互いに、所定時間以上の間、所定位置間隔以内となる時間帯が存在する場合、当該時間帯に係る動線部分を削除し、残った動線部分の各々を１つの動線とする動線近接削除手段と、
取得された位置・動き情報に基づいて、部分削除された動線を含む複数の動線のうち、センサ付与体及び／又は当該センサ付与体以外の物体に対応するものを識別する物体判定手段と
を有することを特徴とする物体追跡装置。

【請求項2】

前記物体判定手段は、少なくとも、削除前は時間的に端となる動線と、削除前は同一の動線であってセンサ付与体又は当該センサ付与体以外の物体について共に同じ判定結果を有する動線と、削除前も互いに異なる動線であって共にセンサ付与体には対応しない旨の判定結果を有する動線とのうち少なくとも一種の動線について削除した動線部分を復元し、復元した動線を含む複数の動線のうち、当該センサ付与体以外の物体に対応するものを識別する
ことを特徴とする請求項１に記載の物体追跡装置。

【請求項3】

前記物体判定手段は、復元した動線を含む複数の動線のうち、その一部又は全部が同一時刻又は同一時間帯に存在している複数の動線に対応する物体は、それぞれ互いに別の物体であると判定することを特徴とする請求項２に記載の物体追跡装置。

【請求項4】

前記物体判定手段は、
当該センサ付与体について取得された位置・動き情報に基づいて、各時刻又は各時間帯において当該センサ付与体が移動状態であるか否かを判定し、さらに、決定された動線に基づいて、各時刻又は各時間帯において当該動線に対応する物体が移動状態であるか否かを判定する移動判定手段と、
当該センサ付与体についての移動に係る判定結果の時系列と、当該動線に対応する物体についての移動に係る判定結果の時系列との間の組合せについて、移動開始及び／又は停止のタイミングの類似度を算出する類似度算出手段と、
当該センサ付与体についての判定結果の時系列における、判定対象の動線に対応する物体についての判定結果の時系列との間の類似度と、所定閾値との大小関係に基づいて、当該判定対象の動線に対応する物体が、センサ付与体か否か、又はいずれのセンサ付与体かを判定するセンサ付与・非付与判定手段と
を有することを特徴とする請求項１から３のいずれか１項に記載の物体追跡装置。

【請求項5】

前記移動判定手段は、当該位置・動き情報から算出された当該センサ付与体の移動速度に基づいて、当該センサ付与体が移動状態であるか否かを判定し、さらに、当該動線から算出された当該動線に対応する物体の移動速度に基づいて、当該動線に対応する物体が移動状態であるか否かを判定することを特徴とする請求項４に記載の物体追跡装置。

【請求項6】

前記センサ付与・非付与判定手段は、
判定対象の動線に対応する物体についての判定結果の時系列との間の類似度が所定閾値を超えるような当該センサ付与体が、１つだけ存在する場合、当該センサ付与体は当該判定対象の動線に対応する物体であると判定し、１つも存在しない場合、当該判定対象の動線に対応する物体は当該センサ付与体以外の物体であると判定する
ことを特徴とする請求項４又は５に記載の物体追跡装置。

【請求項7】

前記センサ付与・非付与判定手段は、
その一部又は全部において同一時刻又は同一時間帯に同一のセンサ付与体であると判定された動線が複数競合する場合、当該複数の動線のうち、当該同一のセンサ付与体についての類似度が最大となる条件、当該同一のセンサ付与体以外のセンサ付与体についての類似度の合計が最小となる条件、及び動線の時間的長さが最大となる条件のうち１つ又は複数を満たす１つだけの動線を、当該同一のセンサ付与体が対応する動線であると判定する
ことを特徴とする請求項４から６のいずれか１項に記載の物体追跡装置。

【請求項8】

前記センサ付与・非付与判定手段は、
当該動線について競合が解消したことによって、ある時刻又は時間帯で１つの動線に対応する１つのセンサ付与体が確定した場合、当該１つの動線以外の動線における当該１つのセンサ付与体についての類似度をゼロとした上で、各動線に対応する物体が、センサ付与体か否か、又はいずれのセンサ付与体かを判定する
ことを特徴とする請求項７に記載の物体追跡装置。

【請求項9】

複数の物体を撮影可能な１つ以上のカメラから取得される画像情報、又は複数の距離計から取得される複数の物体に係る距離情報と、当該複数の物体のうちの少なくとも１つに付与された位置又は動き推定用のセンサから出力されるセンサ情報とを用いて当該物体を追跡可能な装置に搭載されたコンピュータを機能させるプログラムであって、
当該画像情報又は当該距離情報に基づいて、当該複数の物体の移動経路に係る複数の動線を決定する動線推定手段と、
当該センサ情報に基づいて算出される位置・動き情報であって、当該センサを付与された物体であるセンサ付与体の位置又は動きに係る位置・動き情報を取得する位置・動き情報取得手段と、
決定された複数の動線の中から取り出された２つの動線について、当該２つの動線のそれぞれに含まれる同時に相当する２点が互いに、所定時間以上の間、所定位置間隔以内となる時間帯が存在する場合、当該時間帯に係る動線部分を削除し、残った動線部分の各々を１つの動線とする動線近接削除手段と、
取得された位置・動き情報に基づいて、部分削除された動線を含む複数の動線のうち、センサ付与体及び／又は当該センサ付与体以外の物体に対応するものを識別する物体判定手段と
してコンピュータを機能させることを特徴とする物体追跡プログラム。

【請求項10】

複数の物体を撮影可能な１つ以上のカメラから取得される画像情報、又は複数の距離計から取得される複数の物体に係る距離情報と、当該複数の物体のうちの少なくとも１つに付与された位置又は動き推定用のセンサから出力されるセンサ情報とを用いて当該物体を追跡する方法であって、
当該画像情報又は当該距離情報に基づいて、当該複数の物体の移動経路に係る複数の動線を決定するステップと、
当該センサ情報に基づいて、当該センサを付与された物体であるセンサ付与体の位置・動き情報を算出するステップと、
当該センサ情報に基づいて算出される位置・動き情報であって、当該センサを付与された物体であるセンサ付与体の位置又は動きに係る位置・動き情報を取得するステップと、
決定された複数の動線の中から取り出された２つの動線について、当該２つの動線のそれぞれに含まれる同時に相当する２点が互いに、所定時間以上の間、所定位置間隔以内となる時間帯が存在する場合、当該時間帯に係る動線部分を削除し、残った動線部分の各々を１つの動線とするステップと、
取得された位置・動き情報に基づいて、部分削除された動線を含む複数の動線のうち、センサ付与体及び／又は当該センサ付与体以外の物体に対応するものを識別するステップと
を有することを特徴とする物体追跡方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、物体を撮影した画像や、物体に付与されたセンサからの出力情報を解析して当該物体を追跡する物体追跡技術に関する。

【背景技術】

【0002】

従来、種々の対象の監視や、工場等での作業状況の把握、さらには店舗等での来客状況の把握やマーケティング等を目的として、カメラで撮影され生成された時系列の画像群を用いて、移動する物体を追跡する技術が開発されている。追跡する物体としては、人物や、商品、乗り物等、撮影可能な様々なものが対象となる。

【0003】

このような追跡技術のうち、特に人物（歩行者）を対象とした技術の発展例として、特許文献１には、歩行者が保持したセンサからの出力データと、環境側のカメラによって生成された画像データとのそれぞれに基づいて推定された歩行速度（移動ベクトル）の時系列データを比較し、歩行者の動線を照合する技術が開示されている。ここで、歩行者に付与されたセンサからの出力情報を用いて、当該歩行者の位置や方位等を計測する技術は、歩行者自律航法（ＰＤＲ，Pedestrian Dead Reckoning）と呼ばれ、現在、盛んに開発が進められている。

【0004】

さらに、非特許文献１には、カメラ画像の処理によって得られた移動体の移動情報と、加速度センサから得られた加速度データとを照合し、「歩行速度」と「垂直方向の加速度センサ値」との高い相関を利用して、画像解析から推定した動線と、センサＩＤとのマッチングを行う技術が開示されている。この技術では、画像解析によって、候補となる複数の動線を抽出した上で、センサからの出力データと照合することによって、１つの動線に絞り込んで追跡対象に対応する動線を決定している。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】国際公開第２０１１−０６８１８４号

【非特許文献】

【0006】

【非特許文献1】河合純ら、「ビデオ画像とセンサ情報の統合に基づいた位置検出手法」、情報処理学会ＣＤＳ研究会研究報告、Vol.2012-CDS-3 No.3、２０１２年

【発明の概要】

【発明が解決しようとする課題】

【0007】

しかしながら、特許文献１や非特許文献１に記載されたような従来技術では、撮影画像解析とＰＤＲとを組合せたとしても、尚、追跡対象物体の識別が困難となる場合が生じる。

【0008】

例えば、特許文献１及び非特許文献１に記載の技術では、画像解析によって追跡対象毎に付与される識別子（ＩＤ）が入れ替わってしまうＩＤスイッチが生じた際、これに対応することができない。ここで、ＩＤスイッチは、例えば動画像（映像）上で複数の追跡対象物体が交錯した際に発生することの多い現象である。

【0009】

実際、ＩＤスイッチは、画像解析による物体追跡において、現在大きな問題となっており、この現象に対し適宜適切に対応することが強く望まれている。

【0010】

そこで、本発明は、ＩＤスイッチの発生する状況下でも、これに対応して追跡対象物体を適切に識別することができる装置、プログラム及び方法を提供することを目的とする。

【課題を解決するための手段】

【0011】

本発明によれば、複数の物体を撮影可能な１つ以上のカメラから取得される画像情報、又は複数の距離計から取得される複数の物体に係る距離情報と、当該複数の物体のうちの少なくとも１つに付与された位置又は動き推定用のセンサから出力されるセンサ情報とを用いて当該物体を追跡可能な装置であって、
当該画像情報又は当該距離情報に基づいて、当該複数の物体の移動経路に係る複数の動線を決定する動線推定手段と、
当該センサ情報に基づいて算出される位置・動き情報であって、当該センサを付与された物体であるセンサ付与体の位置又は動きに係る位置・動き情報を取得する位置・動き情報取得手段と、
決定された複数の動線の中から取り出された２つの動線について、当該２つの動線のそれぞれに含まれる同時に相当する２点が互いに、所定時間以上の間、所定位置間隔以内となる時間帯が存在する場合、当該時間帯に係る動線部分を削除し、残った動線部分の各々を１つの動線とする動線近接削除手段と、
取得された位置・動き情報に基づいて、部分削除された動線を含む複数の動線のうち、センサ付与体及び／又は当該センサ付与体以外の物体に対応するものを識別する物体判定手段と
を有する物体追跡装置が提供される。

【0012】

この本発明による物体追跡装置の一実施形態として、物体判定手段は、少なくとも、
（ａ）削除前に当該動線中において時間的に端となる動線と、
（ｂ）削除前は同一の動線であってセンサ付与体又は当該センサ付与体以外の物体について共に同じ判定結果を有する動線と、
（ｃ）削除前も互いに異なる動線であって共にセンサ付与体には対応しない旨の判定結果を有する動線と
のうち少なくとも一種の動線について削除した動線部分を復元し、復元した動線を含む複数の動線のうち、当該センサ付与体以外の物体に対応するものを識別することも好ましい。

【0013】

また、この実施形態において、物体判定手段は、復元した動線を含む複数の動線のうち、その一部又は全部が同一時刻又は同一時間帯に存在している複数の動線に対応する物体は、それぞれ互いに別の物体であると判定することも好ましい。

【0014】

さらに、本発明による物体追跡装置の他の実施形態として、物体判定手段は、
当該センサ付与体について取得された位置・動き情報に基づいて、各時刻又は各時間帯において当該センサ付与体が移動状態であるか否かを判定し、さらに、決定された動線に基づいて、各時刻又は各時間帯において当該動線に対応する物体が移動状態であるか否かを判定する移動判定手段と、
当該センサ付与体についての移動に係る判定結果の時系列と、当該動線に対応する物体についての移動に係る判定結果の時系列との間の組合せについて、移動開始及び／又は停止のタイミングの類似度を算出する類似度算出手段と、
当該センサ付与体についての判定結果の時系列における、判定対象の動線に対応する物体についての判定結果の時系列との間の類似度と、所定閾値との大小関係に基づいて、当該判定対象の動線に対応する物体が、センサ付与体か否か、又はいずれのセンサ付与体かを判定するセンサ付与・非付与判定手段と
を有することも好ましい。

【0015】

また、この類似度を用いたセンサ付与・非付与判定の実施形態において、移動判定手段は、当該位置・動き情報から算出された当該センサ付与体の移動速度に基づいて、当該センサ付与体が移動状態であるか否かを判定し、さらに、当該動線から算出された当該動線に対応する物体の移動速度に基づいて、当該動線に対応する物体が移動状態であるか否かを判定することも好ましい。

【0016】

さらに、同じくこの類似度を用いたセンサ付与・非付与判定の実施形態において、センサ付与・非付与判定手段は、判定対象の動線に対応する物体についての判定結果の時系列との間の類似度が所定閾値を超えるような当該センサ付与体が、１つだけ存在する場合、当該センサ付与体は当該判定対象の動線に対応する物体であると判定し、１つも存在しない場合、当該判定対象の動線に対応する物体は当該センサ付与体以外の物体であると判定することも好ましい。

【0017】

さらにまた、同じくこの類似度を用いたセンサ付与・非付与判定の実施形態において、センサ付与・非付与判定手段は、その一部又は全部において同一時刻又は同一時間帯に同一のセンサ付与体であると判定された動線が複数競合する場合、当該複数の動線のうち、
（ａ）当該同一のセンサ付与体についての類似度が最大となる条件、
（ｂ）当該同一のセンサ付与体以外のセンサ付与体についての類似度の合計が最小となる条件、及び
（ｃ）動線の時間的長さが最大となる条件
のうち１つ又は複数を満たす１つだけの動線を、当該同一のセンサ付与体が対応する動線であると判定することも好ましい。

【0018】

また、上記の競合解消処理の実施形態において、センサ付与・非付与判定手段は、当該動線について競合が解消したことによって、ある時刻又は時間帯で１つの動線に対応する１つのセンサ付与体が確定した場合、当該１つの動線以外の動線における当該１つのセンサ付与体についての類似度をゼロとした上で、各動線に対応する物体が、センサ付与体か否か、又はいずれのセンサ付与体かを判定することも好ましい。

【0019】

本発明によれば、また、複数の物体を撮影可能な１つ以上のカメラから取得される画像情報、又は複数の距離計から取得される複数の物体に係る距離情報と、当該複数の物体のうちの少なくとも１つに付与された位置又は動き推定用のセンサから出力されるセンサ情報とを用いて当該物体を追跡可能な装置に搭載されたコンピュータを機能させるプログラムであって、
当該画像情報又は当該距離情報に基づいて、当該複数の物体の移動経路に係る複数の動線を決定する動線推定手段と、
当該センサ情報に基づいて算出される位置・動き情報であって、当該センサを付与された物体であるセンサ付与体の位置又は動きに係る位置・動き情報を取得する位置・動き情報取得手段と、
決定された複数の動線の中から取り出された２つの動線について、当該２つの動線のそれぞれに含まれる同時に相当する２点が互いに、所定時間以上の間、所定位置間隔以内となる時間帯が存在する場合、当該時間帯に係る動線部分を削除し、残った動線部分の各々を１つの動線とする動線近接削除手段と、
取得された位置・動き情報に基づいて、部分削除された動線を含む複数の動線のうち、センサ付与体及び／又は当該センサ付与体以外の物体に対応するものを識別する物体判定手段と
してコンピュータを機能させる物体追跡プログラムが提供される。

【0020】

本発明によれば、さらに、複数の物体を撮影可能な１つ以上のカメラから取得される画像情報、又は複数の距離計から取得される複数の物体に係る距離情報と、当該複数の物体のうちの少なくとも１つに付与された位置又は動き推定用のセンサから出力されるセンサ情報とを用いて当該物体を追跡する方法であって、
当該画像情報又は当該距離情報に基づいて、当該複数の物体の移動経路に係る複数の動線を決定するステップと、
当該センサ情報に基づいて算出される位置・動き情報であって、当該センサを付与された物体であるセンサ付与体の位置又は動きに係る位置・動き情報を取得するステップと、
決定された複数の動線の中から取り出された２つの動線について、当該２つの動線のそれぞれに含まれる同時に相当する２点が互いに、所定時間以上の間、所定位置間隔以内となる時間帯が存在する場合、当該時間帯に係る動線部分を削除し、残った動線部分の各々を１つの動線とするステップと、
取得された位置・動き情報に基づいて、部分削除された動線を含む複数の動線のうち、センサ付与体及び／又は当該センサ付与体以外の物体に対応するものを識別するステップと
を有する物体追跡方法が提供される。

【発明の効果】

【0021】

本発明の物体追跡装置、プログラム及び方法によれば、ＩＤスイッチの発生する状況下でも、これに対応して追跡対象物体を適切に識別することができる。

【図面の簡単な説明】

【0022】

【図1】本発明による物体追跡装置を含む物体追跡システムの一実施形態を示す模式図である。

【図2】本発明による物体追跡装置の一実施形態における機能構成を示す機能ブロック図である。

【図3】本発明に係る動線近接削除処理の一実施形態を説明するための模式図である。

【図4】本発明に係る動線近接削除処理による効果を説明するための模式図である。

【図5】類似度算出部における歩行及び停止イベントのタイミングの類似性評価を説明するための模式図である。

【図6】センサ付与・非付与判定部での判定処理の一例を説明するための模式図である。

【図7】競合解消・更新部でのタイミング類似度の更新及び再判定処理の一実施例を示すグラフである。

【図8】動線復元部での動線復元処理を説明するための模式図である。

【図9】センサ非付与体判定部での判定処理を説明するための模式図である。

【発明を実施するための形態】

【0023】

以下、本発明の実施形態について、図面を用いて詳細に説明する。

【0024】

［物体追跡システム］
図１は、本発明による物体追跡装置を含む物体追跡システムの一実施形態を示す模式図である。

【0025】

図１に示した本実施形態の物体追跡システムは、
（ａ）複数の物体を撮影可能な１つ以上のカメラ２と、
（ｂ）当該複数の物体のうちの少なくとも１つ（図１では複数）に付与された動き推定用のセンサを備えたセンサ装置３と、
（ｃ）カメラ２及びセンサ装置３と通信ネットワークを介して通信接続可能な物体追跡装置１と
を備えている。

【0026】

ここで、追跡とは、対象物体が何であるかという識別と、空間上の存在位置を示す座標の算出とを連続的に行うことである。また、追跡対象となる物体には、人物、動物、乗り物や、その他移動可能な物理対象等、撮影可能であれば様々なものが該当する。さらに、追跡対象物体の少なくとも１つにセンサが付与可能であればよい。また、センサとしては、付与された物体（人物）の動き又は位置を検出するものであれば種々のものが採用可能であるが、例えば加速度計であってもよい。また、この場合、センサ装置３として、加速度計を内蔵したスマートフォンやタブレット型コンピュータを採用してもよい。

【0027】

物体追跡装置１は、カメラ２から通信ネットワークを介して、撮影された動画像に係る画像情報を取得し、また、センサ３から通信ネットワークを介して、センサ３から出力されるセンサ信号に係るセンサ情報を取得する。

【0028】

ここで、画像情報の伝送路である通信ネットワークは、例えばＷｉ−Ｆｉ（登録商標）等の無線ＬＡＮ(Local Area Network)とすることができる。または、ＬＴＥ(Long Term Evolution)、ＷｉＭＡＸ（Worldwide Interoperability for Microwave Access）又は３Ｇ（3rd Generation）等の無線系アクセスネットワークを介し、インターネットを経由してカメラ２やセンサ３と物体追跡装置１とを通信接続させるものであってもよい。さらに、このネットワークは、店舗、公共施設や、企業等に設けられたプライベート・ネットワークであってもよい。

【0029】

さらに、光ファイバ網若しくはＡＤＳＬ（Asymmetric Digital Subscriber Line）等の固定系アクセスネットワークを介しインターネットを経由して、カメラ２と物体追跡装置１とが通信接続されてもよい。また、変更態様として、カメラ２と物体追跡装置１とは直接有線で接続されてもよい。さらに、複数のカメラ２から出力される画像情報を取りまとめて物体追跡装置１に送信可能な（図示していない）カメラ制御装置が設けられていてもよい。また、複数のセンサ（センサ装置３）から出力されるセンサ情報を取りまとめて物体追跡装置１に送信可能な（図示していない）センサ情報集計装置が設けられていてもよい。

【0030】

同じく図１に示すように、物体追跡装置１は、
（Ａ）取得した画像情報に基づいて、複数の物体（人物）の移動経路に係る複数の「動線」を決定する動線推定部１１１と、
（Ｂ）取得したセンサ情報に基づいて算出される位置・動き情報であって、センサ（センサ装置３）を付与された物体（人物）であるセンサ付与体の位置又は動きに係る位置・動き情報を取得する位置・動き情報取得部１１２と
を有し、
（ａ）追跡対象物体（人物）の各時刻又は時間帯における位置を表現した「動線」と、
（ｂ）追跡対象物体（人物）の各時刻又は時間帯における、移動（歩行）相当加速度状態や非移動（非歩行）状態といった移動状態、又は絶対位置又は相対位置を推定した「位置・動き情報」と
を取得する。尚、（ｂ）の「位置・動き情報」は、物体追跡装置１で算出されてもよく、または、歩行者自律航法（ＰＤＲ，Pedestrian Dead Reckoning）処理機能を備えたセンサ装置３で算出されて、物体追跡装置１に送信されてもよい。

【0031】

このうち、取得された「位置・動き情報」には、センサNo.1、センサNo.2等のセンサ識別子（センサＩＤ）が付与される。これは、「位置・動き情報」に、その出所となるセンサ装置３を付与した物体（人物）の識別情報を付与したものである。これにより、「位置・動き情報」がどの物体（人物）の情報であるかが特定される。

【0032】

一方、導出された「動線」にも、動線No.1、動線No.2等の動線識別子（動線ＩＤ）が付与される。これは、取得した動画像を解析することによって、動画像の各フレーム上に連続して写っている物体（人物）を同一物（同一人）として認識した際、この写っているフレーム上での当該物体（人物）の位置から決定される「動線」に対し、特定の１つの識別子を与えるものである。

【0033】

ここで、画像によって認識される画像空間において、ある時刻又は時間帯で、例えば２つの「動線」が近接したり一致したりすると、いわゆるＩＤスイッチの発生する場合がある。ＩＤスイッチは、画像解析によってこれらの「動線」に付与される動線ＩＤが入れ替わってしまう現象である。ＩＤスイッチが発生すると、単一の動線中に複数の物体（人物）のＩＤが混在してしまうことにより、追跡している物体（人物）の識別を誤ってしまう恐れがある。

【0034】

このＩＤスイッチの問題に対し、物体追跡装置１は、
（Ｃ）決定された複数の「動線」の中から取り出された２つの「動線」について、これら２つの「動線」のそれぞれに含まれる同時に相当する２点が互いに、所定時間以上の間、所定位置間隔以内となる時間帯が存在する場合、この時間帯に係る動線部分を削除し、残った動線部分の各々を１つの「動線」とし、
（Ｄ）算出された「位置・動き情報」に基づいて、部分削除された「動線」を含む複数の「動線」のうち、センサ付与体（人物）及び／又は当該センサ付与体以外の物体（人物）に対応するものを識別する。

【0035】

このように、物体追跡装置１では、「動線」におけるＩＤスイッチの発生しやすい部分を削除し、残った動線部分の各々を新たに１つの「動線」として、例えばこれらの新たな「動線」に動線ＩＤを付与し直す。一例として、動線No.1の「動線」の近接部分を削除して２つの動線部分に分断した際、これら動線部分の新たな２つの「動線」に、動線ＩＤとしてそれぞれ動線No.1-1及び動線No.1-2を付与してもよい。これにより、ＩＤスイッチの影響を排除し、「動線」と算出された「位置・動き情報」とを照合して「「位置・動き情報」に最も適合する「動線」を特定（識別）することが可能となる。この動線近接削除処理については、後に図４を用いて詳細に説明する。

【0036】

即ち、物体追跡装置１では、ＩＤスイッチが発生しやすい状況であっても、「動線」に対応する物体（人物）を誤って認識したり、対応する物体（人物）を特定できずに終わったりする事態の発生をできる限り小さくし、追跡対象物体（人物）を適切に識別することが可能となるのである。

【0037】

尚、以上に説明した実施形態では、動線推定部１１１は、カメラ２から取得された画像情報に基づいて「動線」を決定しているが、変更態様として、複数の距離計、例えばレーザレンジファインダ（ＬＲＦ）から取得される複数の物体（人物）に係る距離情報に基づいて、「動線」を決定することも可能である。例えば、複数のＬＲＦによって計測された、ある追跡対象物体（人物）までの複数の距離値から、当該物体（人物）の刻々の位置を割り出すことができる。これにより当該物体（人物）の「動線」が決定される。

【0038】

［装置構成、物体追跡方法］
図２は、本発明による物体追跡装置の一実施形態における機能構成を示す機能ブロック図である。

【0039】

本実施形態では、店舗内に店内環境撮影用の１つ又は複数のカメラ２が設置されており、また、センサ装置３としてのスマートフォンを携帯した複数の店員（物体）と、複数の客（物体）とが、店舗内を歩行又は停止しているものとする。本実施形態の物体追跡装置１は、この店舗内にいる店員及び客の動線（時刻又は時間帯毎の位置情報）を決定した上で、店員と客とを識別し、また、店員間の識別を行い、さらに、センサ装置３を携帯していない客の間の識別をも行う。

【0040】

図２によれば、物体追跡装置１は、店舗内に設置された１つ又は複数のカメラ２との間で、さらに、店員（センサ付与体）に携帯されたセンサ装置３との間で通信接続可能な通信インタフェース１０１と、画像情報・センサ情報蓄積部１０２と、動線・判定結果保存部１０３と、プロセッサ・メモリとを有する。ここで、プロセッサ・メモリは、物体追跡装置１のコンピュータを機能させるプログラムを実行することによって、物体追跡及び判定機能を実現させる。

【0041】

さらに、プロセッサ・メモリは、機能構成部として、動線推定部１１１と、位置・動き情報取得部１１２と、動線近接削除部１１３と、物体判定部１４と、動線結合処理部１１５と、通信制御部１１６とを有する。また、物体判定部１４は、移動判定部１４１と、類似度算出部１４２と、センサ付与・非付与判定部１４３と、動線復元部１４４と、センサ非付与体判定部１４５とを有することも好ましい。さらに、このうち、移動判定部１４１は、速度推定部１４１ａを有することも好ましい。また、センサ付与・非付与判定部１４３は、競合解消・更新部１４３ａを有することも好ましい。ここで、図２における物体追跡装置１の機能構成部間を矢印で接続して示した処理の流れは、本発明による物体追跡方法の一実施形態としても理解される。

【0042】

図２において、１つ又は複数のカメラ２は、例えば、ＣＣＤイメージセンサ、ＣＭＯＳイメージセンサ等の固体撮像素子を備えた可視光、近赤外線又は赤外線対応の撮影デバイスであり、本実施形態において店舗の壁面又は天井に設置されている。市販されている業務用又は家庭用のビデオカメラであってもよい。また、カメラ２又は（図示していない）カメラ制御装置は、カメラ２で撮影された物体の画像を含む撮影画像データである画像情報を生成し、当該データを時系列に又はバッチで物体追跡装置１に送信する機能を有する。この際、必ずしもリアルタイムに画像情報を発信する必要はない。

【0043】

さらに、カメラ２は、３６０度を一度に撮影可能な全方位カメラでもよく、また、可動であって設置位置、撮影向きや高さを変更することができ、この変更のための制御信号を受信し処理する機能を有していてもよい。但し、店舗内には、カメラ２によってカバーされていない（撮影範囲にない）領域や，柱や什器により死角となっている領域があってもよい。カメラ２による撮影画像のフレームレートは、例えば１０fps程度である。また、例えばＮＴＰ（Network Time Protocol）を利用して撮影時刻の同期をとることによって、撮影時刻を決定する時計における時刻のズレ（誤差）を所定範囲内に収める処置がなされている。

【0044】

センサ装置３は、店員の位置又は動き推定用のセンサを内蔵したスマートフォンやタブレット等の携帯端末とすることができる。また、ＰＤＲを用いて、店員の絶対又は相対位置を推定するためのセンサデータを取得可能な装置であってもよい。内蔵されたセンサは、例えば、加速度センサ、地磁気センサ、及び角速度センサ（ジャイロスコープ）等のうちの１つ又は複数とすることができる。また、センサ装置３又は（図示していない）センサ情報集計装置は、センサで検出されたセンサ信号に係るセンサ情報を生成し、センサ情報を時系列に又はバッチで物体追跡装置１に送信する機能を有する。この際、必ずしもリアルタイムにセンサ情報を発信する必要はない。

【0045】

通信インタフェース１０１は、画像情報及びセンサ情報を、通信ネットワークを介して受信する。通信インタフェース１０１を使用した送受信及び送受信データ処理の制御は、通信制御部１１６によって行われ、取得された画像情報及びセンサ情報は、画像情報・センサ情報蓄積部１０２に蓄積される。

【0046】

同じく図２において、動線推定部１１１は、画像情報・センサ情報蓄積部１０２から呼び出した画像情報に基づいて、撮影された人物（店員及び客）の移動経路に係る複数の動線、即ち画像空間（又は変換された先の実空間）における追跡対象人物の位置座標の時系列を決定する。具体的には、既知の技術を用い、時系列の画像群である画像情報における各フレーム上に連続して写っている人物をフレーム差分等から抽出して同一人として認識する。この際、複数のカメラの画像から１つの画像空間を構成して用いてもよい。次いで、この写っている人物のフレーム上の位置から、当該人物の動線を決定し、決定した動線に１つの動線ＩＤを付与することができる。

【0047】

尚、このような従来技術を用いた動線推定では、
（ａ）画像解析によって動線毎に付与される動線ＩＤが、途中で動線間において入れ替わってしまうＩＤスイッチの発生する場合があり、また、
（ｂ）客と店員との識別、さらには客の間の識別はできず、さらに、
（ｃ）画像中において追跡対象を見失ってしまうロストが発生する場合がある
ことが重要となる。ここで、ＩＤスイッチは、例えば動画像（映像）上で複数の追跡対象物体が交錯した際に発生する現象である。物体追跡装置１では、このうち、（ａ）のＩＤスイッチの発生に対して動線近接削除部１１３で対応し、（ｂ）の客と店員との識別をセンサ付与・非付与判定部１４３で行い、同じく（ｂ）の客の間の識別をセンサ非付与体判定部１４５で行い、さらに（ｃ）のロストの発生に対して動線結合処理部１１５で対応している。即ち、物体追跡装置１は、上記（ａ）〜（ｃ）の課題を全て解決し、適切な人物判定及び追跡を実現している。

【0048】

位置・動き情報取得部１１２は、画像情報・センサ情報蓄積部１０２から呼び出したセンサ情報に基づいて、
（ａ）既知の技術であるＰＤＲ等を利用して算出された、センサ（センサ装置３）を付与された店員における画像空間若しくは変換された先の実空間での絶対位置、又は人物相互の相対位置、または、
（ｂ）予め規定された歩行相当加速度状態や非歩行状態、又は単純に加速度値と所定閾値との大小関係といった店員の移動状態
に係る位置・動き情報を算出する。

【0049】

動線近接削除部１１３は、動線推定部１１１で決定された複数の動線の中から取り出された２つの動線について、当該２つの動線のそれぞれに含まれる同時に相当する２点が互いに、所定時間Ｔ_switch以上の間、所定位置間隔Ｄ_switch以内となる時間帯Ｔが存在する場合、時間帯Ｔに係る動線部分を削除し、残った動線部分の各々を１つの動線とする。

【0050】

このような動線近接削除処理は、ＩＤスイッチの発生に効果的に対応する。実際、ＩＤスイッチの発生によって、単一の、即ち連続して追跡している動線の中に、複数の動線ＩＤが混在してしまう場合が生じる。この際、この動線がどの人物に対応するのかを識別することが困難となってしまう。そこで、ＩＤスイッチの発生するおそれのある箇所を削除し，その前後を別々の動線として取り扱う。これにより、ＩＤスイッチの発生する状況下でも、これに対応して追跡対象物体を適切に識別することが可能となるのである。

【0051】

尚、以上に説明した動線近接削除処理を実施する前に、動線及び位置・動き情報に対し、線形補間処理及び平滑化処理を実施することも好ましい。ここで、線形補間処理は、時間粒度の異なる位置・動き情報と、フレームレートとしての時間粒度を有する動線との間のデータのタイミングを合わせる処理である。例えば、センサ情報から生成された位置・動き情報におけるデータのタイミングを、線形補間によりデータ点を補うことによって、画像情報におけるフレームのタイミング（例えば、１０fps）に一致させることも好ましい。一方、平滑化処理は、特に、動線における位置のブレ、即ち、停止している追跡対象の位置がノイズにより細かく変動する現象を抑制するために実施するローパスフィルタ等を用いた処理である。

【0052】

図３は、本発明に係る動線近接削除処理の一実施形態を説明するための模式図である。尚、動線近接削除処理は、生成された動線からの２つの動線の全ての組合せについて実施されるかどうかが判断されるが、同図では、そのうちの動線No.1と動線No.2との組合せについての処理を示している。

【0053】

図３に示すように、動線No.1及び動線No.2では、同一時刻における各動線上の２つの位置座標間の距離が閾値Ｄ_switch（例えば、２ｍ）以下になった状態が、閾値Ｔ_switch（例えば、２秒）以上の時間Ｔだけ継続している。そのため、動線No.1及び動線No.2の各々における時間Ｔの間のデータ部分を削除し、その前後の動線を切り離して、動線No.1-1及び動線No.1-2、並びに動線No.2-1及び動線No.2-2として新たに４つの動線を保存する。

【0054】

図４は、本発明に係る動線近接削除処理による効果を説明するための模式図である。

【0055】

図４（Ａ）には、１つの例として、２つの動線についてＩＤスイッチの発生した状態（動線ＩＤとしてNo.3及びNo.4の付与された状態）が示されている。実際には、これら２つの動線はそれぞれ、歩行している１人の客及び停止している１人の店員に本来対応すべき動線となっている。ここで、この客は、この停止した店員の近傍を通過している。そのため、対応する動線の間でＩＤスイッチが発生し、図４（Ａ）に示すように、
（ａ）歩行状態から途中で停止する人物に対応する動線No.3と、
（ｂ）停止状態から途中で（（ａ）の停止と同じタイミングで）歩行を開始する人物に対応する動線No.4と
が推定される結果となっている。

【0056】

一方、この店員の位置・動き情報であるセンサNo.2は、停止状態を示す情報となっている。従って、上記（ａ）及び（ｂ）の動線No.3及びNo.4はいずれも、（この後、物体判定部１４の機能として説明するように）センサNo.2と照合された際、センサNo.2に対応する（類似する）とは判定され得ない。即ち、このままでは、これらの動線の識別が不可能となっている。

【0057】

これに対し、これら２つの動線に近接削除処理を施すと、図４（Ｂ）に示すように、４つの動線No.3-1及び動線No.3-2、並びに動線No.4-1及び動線No.4-2が生成される。次いで、これら４つの動線の各々とセンサNo.2とを個別に照合すると、
（ａ）動線No.4-1（停止状態）と、センサNo.2（停止状態）とが対応（類似）し、
（ｂ）動線No.3-2（停止状態）と、センサNo.2（停止状態）とが対応（類似）する
ことが見出される。その結果、同じく図４（Ｂ）に示すように、動線No.4-1及び動線No.3-2は店員に対応するものと識別することができるのである。また、例えばこの店員以外にはこの客のみが識別候補であるならば、残りの動線No.3-1及び動線No.4-2はこの客に対応するものと識別することも可能となる。

【0058】

このように、動線近接削除処理を実施することによって、ＩＤスイッチの悪影響を排し、動線と、センサ情報から生成された位置・動き情報との間の照合を適切に行い、動線の識別をより確実に実行することができるのである。

【0059】

図２に戻って、物体判定部１４は、取得された位置・動き情報に基づいて、部分削除された動線を含む複数の動線のうち、店員（センサ付与体）及び／又は客（センサ付与体以外の物体）に対応するものを識別する。以下、物体判定部１４を構成する機能構成部で実施される処理を説明する。

【0060】

最初に、移動判定部１４１は、
（ａ）店員について取得された位置・動き情報に基づいて、各時刻又は各時間帯において店員が移動状態であるか否かを判定し、さらに、
（ｂ）決定された動線に基づいて、各時刻又は各時間帯において動線に対応する人物（店員及び客）が移動状態であるか否かを判定する。

【0061】

ここで、移動判定部１４１は速度推定部１４１ａを有し、速度推定部１４１ａは、位置・動き情報と動線との各々について、フレームのタイミング毎の移動速度を算出することも好ましい。例えば、位置・動き情報については、フレームのタイミング毎の位置の変化分（移動距離）と、その間の経過時間とから移動速度が算出される。または、加速度情報から積分処理によって移動速度が算出されてもよい。さらに、歩行相当の加速度情報から歩数・歩幅を算出して導出された移動距離と、この歩数算出時間とから移動速度が算出されてもよい。一方、動線については、例えば、フレーム毎に人物の写っている位置が変化するその変化分（実空間内での移動距離）と、フレーム時間間隔とから移動速度が算出されてもよい。

【0062】

このように移動速度が取得された場合、移動判定部１４１は、位置・動き情報から算出された店員の移動速度に基づいて、店員が移動状態であるか否かを判定し、さらに、動線から算出された当該動線に対応する人物の移動速度に基づいて、当該人物が移動状態であるか否かを判定することができる。

【0063】

具体的には、店員の位置・動き情報と動線との各々について、各時刻又は時間帯において「歩行（移動）」状態であるか「停止」状態であるかを判定する。この判定の好適な例として、判定結果のバタつきを抑制可能なシュミットトリガを利用することができる。この場合、速度閾値としてＶ_L及びＶ_H（＞Ｖ_L）の２つを用意し、移動速度Ｖが、
（ａ）Ｖ＞Ｖ_Hであるならば、「歩行」と判定し、
（ｂ）Ｖ＜Ｖ_Lであるならば、「停止」と判定し、
（ｃ）Ｖ_L≦Ｖ≦Ｖ_Hであるならば、前回の判定結果を保持する。

【0064】

このように、位置・動き情報と動線との各々について、各フレームのタイミングでの判定を行った後、
（ａ）「歩行」状態から「停止」状態に移行したタイミングで、「停止イベント」が発生したとし、
（ｂ）「停止」状態から「歩行」状態に移行したタイミングで、「歩行イベント」が発生したとする。

【0065】

次に、類似度算出部１４２は、店員についての移動に係る判定結果の時系列と、動線に対応する人物（店員及び客）についての移動に係る判定結果の時系列との間の組合せについて、移動及び／又は停止のタイミングの類似度であるタイミング類似度を算出する。具体的には、店員の位置・動き情報と動線との全ての組合せについて，歩行イベント及び停止イベントのタイミングの類似性を評価する。

【0066】

図５は、類似度算出部１４２における歩行及び停止イベントのタイミングの類似性評価を説明するための模式図である。

【0067】

図５によれば、位置・動き情報のセンサNo.2と動線No.1との間で、歩行及び停止イベントのタイミングが評価されている。具体的には、一方においてイベントが発生した場合に、その前後Ｔ_event以内に同じ種別の、即ち停止なら停止の、歩行なら歩行のイベントが他方に発生した際、当該イベントが一致したと判定する。図５では、センサNo.2と動線No.1との間で、１つめの歩行イベントと２つめの停止イベントとが一致したと判定されている。

【0068】

図２に戻って、次に、類似度算出部１４２は、
Ｃ：（動線において発生したイベントが、位置・動き情報において発生したイベントと一致した数）／（動線において発生したイベントの総数）とし、
Ｓ：（店員の位置・動き情報において発生したイベントが、動線において発生したイベントと一致した数）／（位置・動き情報において発生したイベントの総数）
として、タイミング類似度Ｆ_measureを、次式
（１） Ｆ_measure＝（２×Ｃ×Ｓ）／（Ｃ＋Ｓ）
を用いて算出する。尚、例外的に、動線において発生したイベントの総数と、位置・動き情報において発生したイベントの総数とが共にゼロであった（状態の変化が起こらなかった）場合、動線と位置・動き情報の状態（歩行又は停止）とが同じであればＦ_measure＝１とし、異なればＦ_measure＝０とする。

【0069】

次に、センサ付与・非付与判定部１４３は、一次判定として、ある１つの動線を判定対象とした場合に、当該時間帯における全ての店員（センサ付与体）の位置・動き情報との類似度と、所定閾値Th_Sとの大小関係の組合せ具合によって，当該判定対象の動線が店員か客か（センサ付与体か否か）、又はいずれの店員（センサ付与体）かを判定する。ここで、判定対象の動線との類似度が所定閾値を超えるような店員が、１つだけ存在する場合、この店員はこの判定対象の動線に対応する人物であると判定し、１つも存在しない場合、この判定対象の動線に対応する人物は、客（センサ非付与体）であると判定することも好ましい。

【0070】

図６は、センサ付与・非付与判定部１４３での判定処理の一例を説明するための模式図である。ここで、同図の例は、店員が店員Ａ及び店員Ｂの２名である場合の店員／客判定を示す。

【0071】

図６によれば、判定対象の動線に対応する人物は店員なのか客なのか、の判定は、この判定対象動線と、全ての店員の位置・動き情報との間の類似度（タイミング類似度）によって決定される。即ち、判定閾値をTh_S（例えば、０.７）として、判定対象動線は、
（ａ）（店員Ａとの類似度）＞Th_S、且つ（店員Ｂとの類似度）＜Th_Sならば、店員Ａと判定し、
（ｂ）（店員Ａとの類似度）＜Th_S、且つ（店員Ｂとの類似度）＞Th_Sならば、店員Ｂと判定し、
（ｃ）（店員Ａとの類似度）≦Th_S、且つ（店員Ｂとの類似度）≦Th_Sならば、客と判定し（但し、）、
（ｄ）（店員Ａとの類似度）≧Th_S、且つ（店員Ｂとの類似度）≧Th_Sならば、不明と判定する。ここで、（店員Ａとの類似度）＝（店員Ｂとの類似度）＝Th_Sならば、上記（ｃ）にも当てはまるものの、上記（ｄ）の不明として扱うことも好ましい。

【0072】

このように、センサ付与・非付与判定部１４３によれば、類似度を利用することによって、判定対象動線について店員（センサ付与体）であるか客（センサ非付与体）であるかを判定することができる。さらに、この判定結果が店員であるならば、予め個々のセンサ装置３と携帯先の店員との対応関係が明らかとなっているので、判定対象動線がいずれの店員であるのかを判定することも可能となる。

【0073】

図２に戻って、センサ付与・非付与判定部１４３は、さらに、一次判定で同一時刻又は時間帯に、同じ店員であると判定された動線が複数導出され競合してしまう場合に、いずれの動線が当該店員であるのかの判定を行う競合解消・更新部１４３ａを有する。

【0074】

この競合解消・更新部１４３ａは、同一時刻又は同一時間帯に、同一の店員（センサ付与体）であると判定された動線が複数競合する場合、これらの複数の動線のうち、（ａ）この同一の店員についての類似度が最大となる条件、（ｂ）この同一の店員以外の店員についての類似度の合計が最小となる条件、及び（ｃ）動線の時間的長さが最大となる条件、のうち１つ又は複数を満たす１つだけの動線を、この同一の店員（センサ付与体）が対応する動線であると判定する。

【0075】

具体的に、センサ付与・非付与判定部１４３は、例えば、同一時刻に店員Ａと判定された動線が複数存在している場合、
（ａ）店員Ａとの類似度が最大となる動線がただ１つ決定されれば、その動線を店員Ａとし、
（ｂ）上記（ａ）で動線が決定されない場合、店員Ａとの類似度が最大となる複数の動線のうち、他の店員との類似度の合計が最小となるものを取り出し、取り出された動線が１つであれば、この動線を店員Ａとし、
（ｃ）上記（ｂ）でも動線が決定されない場合、店員Ａとの類似度が最大であって且つ他の店員との類似度の合計が最小である複数の動線のうち、動線の長さ（動線の時間幅）が最大となるものを、店員Ａの対応する動線に決定する。

【0076】

競合解消・更新部１４３ａは、さらに、競合が解決された後、同一時刻又は時間帯の他の全ての動線について、類似度の更新と再判定を実施する。具体的には、上述したように動線について競合が解消したことによって、ある時刻又は時間帯で１つの動線に対応する１人の店員（１つのセンサ付与体）が確定した場合、この１つの動線以外の動線におけるこの１人の店員（１つのセンサ付与体）についての類似度をゼロに更新した上で、各動線に対応する物体が、店員（センサ付与体）か否か、又はいずれの店員（センサ付与体）かを再判定する。

【0077】

図７は、競合解消・更新部１２３ａでのタイミング類似度の更新及び再判定処理の一実施例を示すグラフである。

【0078】

図７によれば、ある時刻（時間帯）において、動線No.3に対応する人物が競合解消処理によって店員Ａに確定したので、同一時刻（時間帯）における他の全ての動線における店員Ａ（の位置・動き情報）とのタイミング類似度をゼロに書き換え（更新し）、再度店員／客の判定を実施している。

【0079】

例えば、動線No.1では、店員Ａとの類似度が０.９であって店員Ｂとの類似度が０.８であったので、一次判定では対応する人物は不明となっていたが、店員Ａとの類似度をゼロに更新することによって、改めて店員Ｂであると判定される。このような再判定によって判定結果が変更された場合、新たな競合の発生がないか否かを確認し、新たに競合が発生した場合、同様の手順で競合解決処理、及び更新・再判定処理を実施する。

【0080】

尚、図７における動線No.6は、動線No.3とは時間帯の重複がないが、店員Ｂに確定している動線No.2との重複がある。従って、動線No.6について、店員Ｂとの類似度をゼロに更新して再判定を行った結果、対応する人物は店員Ａに決定されている。

【0081】

このように、競合解消・更新部１２３ａによれば、動線間に生じる判定結果の競合を解消して再判定を実施することによって、判定対象動線に対応する人物（物体）を、不明との判定ではなく、より確実に識別することが可能となる。

【0082】

図２に戻って、動線復元部１４４は、動線近接削除部１１３で部分削除された動線のうち、少なくとも（ａ）削除前に当該動線中において時間的に端となる動線と、（ｂ）削除前は同一の動線であって店員又は客について共に同じ判定結果を有する動線と、（ｃ）削除前も互いに異なる動線であって共に店員（センサ付与体）に対応しない旨の判定結果を有する動線とのうち、少なくとも一種の動線について、好ましくは全種の動線について削除した動線部分を復元する。このように、近接削除処理前の動線ＩＤ（以下、元ＩＤと略称）が同一であったか否かと店員／客判定結果とによって、復元処理の内容が異なってくる。しかしながら、いずれにしても復元処理を適切に行うことによって、後のセンサ非付与体判定部１４５での判定処理をより精度良く実施することが可能となるのである。

【0083】

図８は、動線復元部１４４での動線復元処理を説明するための模式図である。

【0084】

図８（Ａ）によれば、端となる動線（同図では動線No.1及び動線No.2）について、近接削除部分が復元される。ここで、端となる動線とは、時間軸上において過去又は未来に、元ＩＤの同一である動線を有していない動線である。

【0085】

図８（Ｂ）によれば、元ＩＤが同一であって（同図では共に動線No.3であって）店員／客判定結果も同じものとなっており、時間的に近接している、即ち端同士の時間間隔が所定閾値以下である、２つの動線について、近接削除部分が復元される。尚、これらの動線は、後に動線結合処理部１１５によって繋がれることも好ましい。

【0086】

図８（Ｃ）によれば、元ＩＤが互いに異なるが（同図では動線No.5及び動線No.6と互いに異なっているが）店員／客判定結果が同じものとなっており、時間的に近接している（端同士の時間間隔が所定閾値以下である）２つの動線について、判定結果が共に客であれば、近接削除部分が復元される。一方、（図示していないが）判定結果が共に店員であれば、近接削除部分は復元されない。この共に店員の場合、後に位置・動き情報によって補完されることも好ましい。

【0087】

図８（Ｄ）によれば、元ＩＤが同一であるが（同図ではいずれも動線No.4であるが）店員／客判定結果が互いに異なっている動線同士が時間的に近接している場合、これらの動線について、近接削除部分は復元されない。

【0088】

図２に戻って、センサ非付与体判定部１４５は、動線復元部１４４で復元された動線を含む複数の動線のうち、店員（当該センサ付与体）以外の人（客）に対応するものを識別する。即ち、センサ装置３の付与されていない客の間の識別を行うことができる。ここで、判定の基本方針として、復元した動線を含む複数の動線のうち、同一時刻又は同一時間帯に存在している複数の動線に対応する人物（物体）は、それぞれ互いに別の人物（物体）であると判定することも好ましい。

【0089】

具体的に、センサ非付与体判定部１４５は、
（１）復元後の各動線について、同一時刻又は時間帯に存在しているものは別人であると判定し、
（２）別人とされていない動線のうち、元ＩＤが同一の動線について、対応する人物は同一であると判定し、
（３）同一人物であると判定されておらず、且つ時刻又は時間帯が重複していない動線のうち、端同士の時間間隔が最も近い動線を共に、同一人物が対応するものと判定する。

【0090】

図９は、センサ非付与体判定部１４５での判定処理を説明するための模式図である。

【0091】

図９によれば、最初に、元ＩＤがNo.11であって客Ａであると判定された動線（図９で最も左方にある動線）と、元ＩＤがNo.12である動線とが共に、近接削除部分を復元されている。ここで、復元されたこれらの動線No.11及び動線No.12は重畳する時間帯を有するので、動線No.12は、客Ａとは異なる客、ここでは客ＢとのＩＤを付与された客が対応するものと判定される。一方、この動線No.11とは重複しておらず且つ元ＩＤが同一の動線（図９で最も上方にある動線No.11）は、最も左方にある動線No.11と同一の客Ａが対応するものと判定される。因みに、この最も上方にある動線が、最も左方にある動線No.11とは異なる元ＩＤ（例えばNo.14）を有する場合でも、同一人物であると判定されておらず且つ時刻又は時間帯が重複していない動線の中で、端同士の時間間隔が最も近い動線であるならば、最も左方にある動線No.11と同一人物、即ち客Ａが対応するものと判定される。

【0092】

さらに、動線No.13は、この新たに客Ａが対応すると判定された動線No.11とも、客Ｂが対応すると判定された動線No.12とも重畳する時間帯を有している。従って、動線No.13には、客Ａとも客Ｂとも異なる客、ここでは客ＣとのＩＤを付与された客が対応するものと判定される。

【0093】

以上、図８及び図９を用いて説明したように、動線復元部１４４及びセンサ非付与体判定部１４５によれば、ＩＤスイッチに対応すべく近接削除処理を行った動線について、復元処理を行って、本来の動線の重畳の具合を再現し、勘案することによって、センサ非付与体の間の識別を行うことができる。即ち、一先ず近接削除処理を行い、次いで復元処理を行うことによって、ＩＤスイッチに対応して店員／客判定をより高い精度で行いつつ、その上で、センサ装置３の付与されていない客同士の間の識別をも可能とするのである。

【0094】

図２に戻って、動線結合処理部１１５は、同一の店員（センサ付与体）であると識別された動線について、ロストしている、即ち動線データが存在しない時間帯について、位置・動き情報を利用して、動線部分を補完する。これにより、ロストにも対応して判定対象人物（物体）の判定をより確実に実施することができる。また、動線結合処理部１１５は、最終的に同一人物（物体）と判定された動線同士をつなげることも好ましい。

【0095】

動線・判定結果保存部１０３は、センサ付与・非付与判定部１４３及びセンサ非付与体判定部１４５で導出された判定結果や、動線復元部１４４で復元された動線を含む処理対象の動線群を保存し、管理する。これらの判定結果や動線群の情報は、通信制御部１１６及び通信インタフェース１０１を介して、外部の通信機器、例えばパーソナル・コンピュータ（ＰＣ）に送信されてもよい。

【0096】

以上詳細に説明したように、本発明によれば、動線におけるＩＤスイッチの発生しやすい部分を削除し、残った動線部分の各々を新たに１つの動線として識別処理を行う。これにより、動線と取得された位置・動き情報とを照合して動線に対応する物体（人物）を識別する際、ＩＤスイッチの影響を排除し、位置・動き情報に最も適合する動線を特定することができる。即ち、本発明によれば、ＩＤスイッチの発生する状況下でも、これに対応して追跡対象物体（人物）を適切に識別することができる。

【0097】

また、本発明の構成及び方法は、当然に、店舗内での店員／客の識別への適用に限定されるものではない。例えば、システム側の人物又は物を含む多数の人や物体が移動する場を監視する監視システムや、商店街や商業施設内における販売側の人物を含む人の移動経路を調査するためのマーケティング調査システム等、互いに行き交う移動体の追跡が必要となる様々な系にも適用可能である。

【0098】

以上に述べた本発明の種々の実施形態において、本発明の技術思想及び見地の範囲の種々の変更、修正及び省略は、当業者によれば容易に行うことができる。前述の説明はあくまで例であって、何ら制約しようとするものではない。本発明は、特許請求の範囲及びその均等物として限定するものにのみ制約される。

【符号の説明】

【0099】

１ 物体追跡装置
１０１ 通信インタフェース
１０２ 画像情報・センサ情報蓄積部
１０３ 動線・判定結果保存部
１１１ 動線推定部１１１
１１２ 位置・動き情報取得部
１１３ 動線近接削除部
１４ 物体判定部
１４１ 移動判定部
１４１ａ 速度推定部
１４２ 類似度算出部
１４３ センサ付与・非付与判定部
１４３ａ 競合解消・更新部
１４４ 動線復元部
１４５ センサ非付与体判定部
１１５ 動線結合処理部
１１６ 通信制御部
２ カメラ
３ センサ装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】