特許 7540430 情報処理装置、情報処理方法、およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-08-19

(45)【発行日】2024-08-27

(54)【発明の名称】情報処理装置、情報処理方法、およびプログラム

(51)【国際特許分類】

   G06Q 10/04 20230101AFI20240820BHJP

【ＦＩ】

G06Q10/04

【請求項の数】 13

(21)【出願番号】P 2021504076

(86)(22)【出願日】2020-03-02

(86)【国際出願番号】 JP2020008661

(87)【国際公開番号】W WO2020179730

(87)【国際公開日】2020-09-10

【審査請求日】2023-02-06

(31)【優先権主張番号】P 2019039015

(32)【優先日】2019-03-04

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】000004237

【氏名又は名称】日本電気株式会社

(74)【代理人】

【識別番号】100110928

【弁理士】

【氏名又は名称】速水 進治

(72)【発明者】

【氏名】仲村 元亨

(72)【発明者】

【氏名】村 尚幸

(72)【発明者】

【氏名】山崎 晋哉

【審査官】橘 均憲

(56)【参考文献】

【文献】特開２０１６－１６２３０６（ＪＰ，Ａ）

【文献】国際公開第２０１４／１０３６７３（ＷＯ，Ａ１）

【文献】特開２０１６－０５７９９８（ＪＰ，Ａ）

【文献】国際公開第２０１９／０３８９６５（ＷＯ，Ａ１）

【文献】特開２０１８－０６７７５５（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｑ １０／００－９９／００

(57)【特許請求の範囲】

【請求項1】

第１のカメラで生成された第１画像、及び第２のカメラで生成された第２画像のそれぞれに対して人物及び位置を検出する処理を行う人物検出手段と、
検出された前記人物の前記位置の座標を生成する座標生成手段と、
前記第１画像から生成された第１の位置及び前記第２画像から生成された第２の位置を用いて、前記第１画像から検出された前記人物と前記第２画像から検出された前記人物が同一人物であるか否かを判定する判定手段と、を備え、
前記人物検出手段は、前記第１画像および前記第２画像内の前記人物の特徴情報に基づいて、前記人物及び前記位置を検出し、
さらに、
複数の前記第１画像を用いて生成された前記人物の移動ベクトルを用いて前記人物の動線を推定する動線推定手段と、
前記人物が商品棚から取り出した商品を推定又は認識し、推定又は認識された前記商品を前記人物の動線に紐付けて商品リストを作成して記憶手段に記憶させる商品認識手段と、
前記商品リストに基づいて当該人物に対する精算処理を行う精算処理手段と、
前記精算処理に基づいた電子レシートを出力する出力手段と、を備える、情報処理装置。

【請求項2】

請求項１に記載の情報処理装置において、
前記動線推定手段は、前記第１のカメラおよび前記第２のカメラの少なくともいずれか一つで生成された複数の画像を用いて生成された前記人物の移動ベクトルを用いて前記人物の動線を推定し、
前記判定手段は、前記動線推定手段により推定された前記人物の動線を用いて、別の人物として検出されていた人物を同一であるか否かを判定する、情報処理装置。

【請求項3】

請求項１または２に記載の情報処理装置において、
前記人物検出手段が検出した前記人物の位置情報を前記人物別に記憶手段に記憶させる記憶処理手段を備え、
前記記憶処理手段は、前記記憶手段において互いに異なる複数の前記人物として記憶されていたが前記判定手段において同一の前記人物と判定された場合、当該複数の人物の位置情報を一人の前記人物の位置情報に統合する情報処理装置。

【請求項4】

第１のカメラで生成された第１画像、及び第２のカメラで生成された第２画像のそれぞれに対して人物及び位置を検出する処理を行う人物検出手段と、
検出された前記人物の前記位置の座標を生成する座標生成手段と、
前記第１画像から生成された第１の位置及び前記第２画像から生成された第２の位置を用いて、前記第１画像から検出された前記人物と前記第２画像から検出された前記人物が同一人物であるか否かを判定する判定手段と、を備え、
前記人物検出手段は、前記第１画像および前記第２画像内の前記人物の特徴情報に基づいて、前記人物及び前記位置を検出し、
さらに、
前記人物検出手段が検出した前記人物の位置情報を前記人物別に記憶手段に記憶させる記憶処理手段を備え、
前記人物検出手段は、人物追跡の対象領域内に入場した人数と退場した人数から前記対象領域内に存在すべき人数を算出し、
前記判定手段は、前記算出された人数と前記記憶手段に前記位置情報が記憶された前記人物の人数とを比較して、一致しなかったことをトリガとして、前記人物が同一であるか否かを判定する処理を行う、情報処理装置。

【請求項5】

請求項４に記載の情報処理装置において、
前記第１のカメラおよび前記第２のカメラの少なくともいずれか一つで生成された複数の画像を用いて生成された前記人物の移動ベクトルを用いて前記人物の動線を推定する動線推定手段を備え、
前記判定手段は、前記動線推定手段により推定された前記人物の動線を用いて、別の人物として検出されていた人物を同一であるか否かを判定する、情報処理装置。

【請求項6】

請求項４または５に記載の情報処理装置において、
前記記憶処理手段は、前記記憶手段において互いに異なる複数の前記人物として記憶されていたが前記判定手段において同一の前記人物と判定された場合、当該複数の人物の位置情報を一人の前記人物の位置情報に統合する情報処理装置。

【請求項7】

請求項１から６のいずれか１項に記載の情報処理装置において、
前記判定手段は、複数の前記第１画像を用いて生成された前記人物の移動ベクトル、前記第１画像において当該人物が検出されなくなってから前記第２画像に新たな人物が検出されるまでの時間、並びに前記新たな人物の位置を用いて、前記人物が同一であるか否かを判定する、情報処理装置。

【請求項8】

情報処理装置が、
第１のカメラで生成された第１画像、及び第２のカメラで生成された第２画像のそれぞれに対して人物及び位置を検出する処理を行い、
検出された前記人物の前記位置の座標を生成し、
前記第１画像から生成された第１の位置及び前記第２画像から生成された第２の位置を用いて、前記第１画像から検出された前記人物と前記第２画像から検出された前記人物が同一人物であるか否かを判定し、
前記検出する処理において、前記第１画像および前記第２画像内の前記人物の特徴情報に基づいて、前記人物及び前記位置を検出し、
複数の前記第１画像を用いて生成された前記人物の移動ベクトルを用いて前記人物の動線を推定し、
前記人物が商品棚から取り出した商品を推定又は認識し、推定又は認識された前記商品を前記人物の動線に紐付けて商品リストを作成して記憶手段に記憶させ、
前記商品リストに基づいて当該人物に対する精算処理を行い、
前記精算処理に基づいた電子レシートを出力する、
情報処理方法。

【請求項9】

情報処理装置が、
第１のカメラで生成された第１画像、及び第２のカメラで生成された第２画像のそれぞれに対して人物及び位置を検出する処理を行い、
検出された前記人物の前記位置の座標を生成し、
前記第１画像から生成された第１の位置及び前記第２画像から生成された第２の位置を用いて、前記第１画像から検出された前記人物と前記第２画像から検出された前記人物が同一人物であるか否かを判定し、
前記検出する処理において、前記第１画像および前記第２画像内の前記人物の特徴情報に基づいて、前記人物及び前記位置を検出し、
前記検出する処理において検出した前記人物の位置情報を前記人物別に記憶手段に記憶させ、
前記検出する処理を行う際、人物追跡の対象領域内に入場した人数と退場した人数から前記対象領域内に存在すべき人数を算出し、
前記判定する際、前記算出された人数と前記記憶手段に前記位置情報が記憶された前記人物の人数とを比較して、一致しなかったことをトリガとして、前記人物が同一であるか否かを判定する処理を行う、
情報処理方法。

【請求項10】

請求項８または９に記載の情報処理方法において、
前記情報処理装置が、
複数の前記第１画像を用いて生成された前記人物の移動ベクトル、前記第１画像において当該人物が検出されなくなってから前記第２画像に新たな人物が検出されるまでの時間、並びに前記新たな人物の位置を用いて、前記人物が同一であるか否かを判定する、情報処理方法。

【請求項11】

請求項８から１０のいずれか一項に記載の情報処理方法において、
前記情報処理装置が、
前記第１のカメラおよび前記第２のカメラの少なくともいずれか一つで生成された複数の画像を用いて生成された前記人物の移動ベクトルを用いて前記人物の動線を推定し、
前記推定された前記人物の動線を用いて、別の人物として検出されていた人物を同一であるか否かを判定する、情報処理方法。

【請求項12】

コンピュータに、
第１のカメラで生成された第１画像、及び第２のカメラで生成された第２画像のそれぞれに対して人物及び位置を検出する処理を行う手順、
検出された前記人物の前記位置の座標を生成する手順、
前記第１画像から生成された第１の位置及び前記第２画像から生成された第２の位置を用いて、前記第１画像から検出された前記人物と前記第２画像から検出された前記人物が同一人物であるか否かを判定する手順、を実行させ、
前記検出する手順において、前記第１画像および前記第２画像内の前記人物の特徴情報に基づいて、前記人物及び前記位置を検出する手順をコンピュータに実行させ、
さらに、
複数の前記第１画像を用いて生成された前記人物の移動ベクトルを用いて前記人物の動線を推定する手順、
前記人物が商品棚から取り出した商品を推定又は認識し、推定又は認識された前記商品を前記人物の動線に紐付けて商品リストを作成して記憶手段に記憶させる手順、
前記商品リストに基づいて当該人物に対する精算処理を行う手順、
前記精算処理に基づいた電子レシートを出力する手順、を前記コンピュータに実行させるためのプログラム。

【請求項13】

コンピュータに、
第１のカメラで生成された第１画像、及び第２のカメラで生成された第２画像のそれぞれに対して人物及び位置を検出する処理を行う手順、
検出された前記人物の前記位置の座標を生成する手順、
前記第１画像から生成された第１の位置及び前記第２画像から生成された第２の位置を用いて、前記第１画像から検出された前記人物と前記第２画像から検出された前記人物が同一人物であるか否かを判定する手順、を実行させ、
前記検出する手順において、前記第１画像および前記第２画像内の前記人物の特徴情報に基づいて、前記人物及び前記位置を検出する手順をコンピュータに実行させ、
さらに、
前記人物及び位置を検出する処理を行う手順において検出した前記人物の位置情報を前記人物別に記憶手段に記憶させる手順、を前記コンピュータに実行させ、
前記人物及び位置を検出する処理を行う手順において、人物追跡の対象領域内に入場した人数と退場した人数から前記対象領域内に存在すべき人数を算出し、
前記判定する手順において、前記算出された人数と前記記憶手段に前記位置情報が記憶された前記人物の人数とを比較して、一致しなかったことをトリガとして、前記人物が同一であるか否かを判定する処理を行う、プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理装置、情報処理方法、およびプログラムに関する。

【背景技術】

【0002】

店舗や施設等の所定の空間内で、複数の人物が移動する動線を求め、解析し、行動分析するシステムが多く提案されている。例えば、特許文献１に記載されているシステムでは、カメラで撮像された画像を用いて人の流動状況、もしくは流動状況の予測値を算出している。また、複数人の移動方向をそれぞれ個別に予測する場合、カメラのオクルージョン等により、画像中から一時的に消失した人物の移動方向を高精度に推定することは困難である。これに対して特許文献１に記載されたシステムは、複数の人物の移動履歴を示す移動情報に基づいて、互いに関連して移動していると推定される少なくとも２人の人物を抽出する手段と、抽出された少なくとも２人の人物の関連性を特定する手段と、特定された関連性情報に基づいて、少なくとも２人をグループ化するか否かを判断する手段と、グループ化すると判断された少なくとも２人の行動を予測する手段とを備えている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１９－２１０１９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１にも記載されているように、複数の人物の所定の空間内における動線の個別の追跡を高精度に行うことが望まれている。

【0005】

本発明は上記事情に鑑みてなされたものであり、その目的とするところは、所定の空間内における複数の人物の位置の検出を個別に高精度にかつ効率よく行う技術を提供することにある。

【課題を解決するための手段】

【0006】

本発明の各側面では、上述した課題を解決するために、それぞれ以下の構成を採用する。

【0007】

第一の側面は、情報処理装置に関する。
第一の側面に係る情報処理装置は、
第１のカメラで生成された第１画像、及び第２のカメラで生成された第２画像のそれぞれに対して人物及び位置を検出する処理を行う人物検出手段と、
検出された前記人物の前記位置の座標を生成する座標生成手段と、
前記第１画像から生成された第１の位置及び前記第２画像から生成された第２の位置を用いて、前記第１画像から検出された前記人物と前記第２画像から検出された前記人物が同一人物であるか否かを判定する判定手段と、を有し、
前記人物検出手段は、前記第１画像および前記第２画像内の前記人物の特徴情報に基づいて、前記人物及び前記位置を検出する。

【0008】

第二の側面は、少なくとも１つのコンピュータにより実行される情報処理方法に関する。
第二の側面に係る情報処理方法は、
情報処理装置が、
第１のカメラで生成された第１画像、及び第２のカメラで生成された第２画像のそれぞれに対して人物及び位置を検出する処理を行い、
検出された前記人物の前記位置の座標を生成し、
前記第１画像から生成された第１の位置及び前記第２画像から生成された第２の位置を用いて、前記第１画像から検出された前記人物と前記第２画像から検出された前記人物が同一人物であるか否かを判定し、
前記検出する処理において、前記第１画像および前記第２画像内の前記人物の特徴情報に基づいて、前記人物及び前記位置を検出する、ことを含む。

【0009】

なお、本発明の他の側面としては、上記第二の側面の方法を少なくとも１つのコンピュータに実行させるプログラムであってもよいし、このようなプログラムを記録したコンピュータが読み取り可能な記録媒体であってもよい。この記録媒体は、非一時的な有形の媒体を含む。
このコンピュータプログラムは、コンピュータにより実行されたとき、コンピュータに、情報処理装置上で、その情報処理方法を実施させるコンピュータプログラムコードを含む。

【0010】

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。

【0011】

また、本発明の各種の構成要素は、必ずしも個々に独立した存在である必要はなく、複数の構成要素が一個の部材として形成されていること、一つの構成要素が複数の部材で形成されていること、ある構成要素が他の構成要素の一部であること、ある構成要素の一部と他の構成要素の一部とが重複していること、等でもよい。

【0012】

また、本発明の方法およびコンピュータプログラムには複数の手順を順番に記載してあるが、その記載の順番は複数の手順を実行する順番を限定するものではない。このため、本発明の方法およびコンピュータプログラムを実施するときには、その複数の手順の順番は内容的に支障のない範囲で変更することができる。

【0013】

さらに、本発明の方法およびコンピュータプログラムの複数の手順は個々に相違するタイミングで実行されることに限定されない。このため、ある手順の実行中に他の手順が発生すること、ある手順の実行タイミングと他の手順の実行タイミングとの一部ないし全部が重複していること、等でもよい。

【発明の効果】

【0014】

上記各側面によれば、所定の空間内における複数の人物の位置の検出を個別に高精度にかつ効率よく行う技術を提供することができる。

【図面の簡単な説明】

【0015】

上述した目的、およびその他の目的、特徴および利点は、以下に述べる好適な実施の形態、およびそれに付随する以下の図面によってさらに明らかになる。

【0016】

【図1】本発明の実施の形態に係る情報処理システムの構成を概念的に示す図である。

【図2】本実施形態の情報処理システムが管理する店舗を上から見た商品棚とカメラの配置例を示す図である。

【図3】本実施形態の情報処理装置の論理的な構成を示す機能ブロック図である。

【図4】本実施形態の情報処理装置を実現するコンピュータの構成の一例を示す図である。

【図5】本実施形態の情報処理装置に接続される記憶装置に格納されるデータのデータ構造の一例を示す図である。

【図6】本実施形態の情報処理装置に接続される記憶装置に格納されるデータのデータ構造の一例を示す図である。

【図7】第１のカメラの第１座標系と、第１のカメラと別の第２のカメラの第２座標系を説明するための図である。

【図8】店舗内で人物が移動する動線を説明するための図である。

【図9】記憶装置に格納されるユーザ検出情報の一例を示す図である。

【図10】本実施形態の情報処理装置の動作の一例を示すフローチャートである。

【図11】本実施形態の情報処理装置に接続される記憶装置に格納されるデータのデータ構造の一例を示す図である。

【図12】本実施形態の情報処理装置の人物検出および統合処理を説明するための図である。

【図13】本実施形態の情報処理装置における異なるカメラの画像を元に生成されたユーザ検出情報の一例を示す図である。

【図14】本実施形態の情報処理装置の論理的な構成を示す機能ブロック図である。

【図15】複数の人物の動線のパターンを示す図である。

【図16】本実施形態の情報処理装置の動作の一例を示すフローチャートである。

【図17】本発明の実施の形態に係る情報処理システムの構成を概念的に示す図である。

【図18】本実施形態の情報処理装置に接続される記憶装置に格納されるデータのデータ構造の一例を示す図である。

【図19】本実施形態の情報処理装置の論理的な構成を示す機能ブロック図である。

【図20】本実施形態の情報処理装置の動作の一例を示すフローチャートである。

【図21】店舗の商品棚前に複数の人物が存在している状況における画像の一例を示す図である。

【発明を実施するための形態】

【0017】

以下、本発明の実施の形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。なお、各図において、本発明の本質に関わらない部分の構成については省略してあり、図示されていない。

【0018】

（第１の実施の形態）
図１は、本発明の実施の形態に係る情報処理システム１の構成を概念的に示す図である。図２は、店舗２０内の商品棚２２とカメラ５の配置例を示す図である。情報処理システム１は、複数のカメラ５を用いて店舗や施設等の所定の空間内の複数の人物を撮像し、撮像画像を用いて各人物の動線を追跡する。情報処理システム１は、例えば、店舗２０内に入店した利用者が商品棚から商品を取り出してカートに入れるだけで、店舗２０から退出する場合に、自動的に決済を行う。また、商品は必ずしもカートに入れなくてもよく、自身の鞄に入れてそのまま退出しても自動決済されてもよい。

【0019】

情報処理システム１は、店舗２０に来店した人物を入口付近に設置されたカメラ５で撮像して顔認証を行うことで特定し、かつ、そのユーザの入店を確認する。その後も、店舗２０内の各商品棚に設けられたカメラ５で商品棚前の人物を撮像して顔認証によりユーザを特定しながら店舗２０内での当該ユーザの移動経路を示す動線を追跡する。この例では、ユーザを顔認証により識別して追跡するため、入店から退出まで１ユーザとして追跡し続けることになる。

【0020】

しかしながら、実際の店舗２０内には複数の人物が存在するため、各人を識別しながらその動線を追跡する処理や、複数のカメラ５の画像を用いて画像認識により人物を特定する処理において、途中で、別人に誤認識されてしまったり、一時的に画像認識ができなくなったりすることで、各人の識別や動線の正確な追跡が困難になる場合があった。

【0021】

本実施形態の情報処理システム１は、複数の人物の動線の追跡を、複数のカメラ５を用いて高精度に、かつ、効率よく行うことができる。

【0022】

情報処理システム１は、サーバ４０を備える。サーバ４０は、ルータなどの中継装置（不図示）を介して通信ネットワーク３に接続される。サーバ４０は、通信ネットワーク３を介して複数のカメラ５ａ，５ｂ，・・・（特に区別する必要がない場合は「カメラ５」と呼ぶ。）に接続されている。

【0023】

通信ネットワーク３上の各装置間は、有線および無線の少なくともいずれか一方で接続することができる。通信手段は特に限定されるものではなく、様々な形態が考えられる。例えば、無線ＬＡＮ（Local Area Network）、有線ＬＡＮ、ＵＳＢ（Universal Serial Bus）等通信手段、４Ｇ（4th Generation）、ＬＴＥ（Long Term Evolution）、ＷｉＭＡＸ（Worldwide Interoperability for Microwave Access）等の各種の公衆回線を介した通信手段等であってよい。図では１つのネットワークが示されているが、複数の異なる通信ネットワークを組み合わせてもよい。

【0024】

本実施形態において、撮像画像内の複数の人物を識別するために、例えば、顔の特徴情報を用いた画像認識処理を行うものとするが、他の生体情報を用いてもよい。例えば、顔、虹彩、および耳介の少なくとも一つの特徴情報を用いてもよい。あるいは、人物の歩容、背丈、肩幅、身体パーツの比率、衣服（形、色、素材等）、髪型（髪色も含む）、装飾品（帽子、眼鏡、アクセサリ等）、所持品（バッグ、傘、杖等）等のうち少なくとも一つの特徴を示す情報を用いてもよい。あるいは、これら特徴情報のうち、少なくとも２つを組み合わせた特徴情報を用いてもよい。

【0025】

カメラ５は、レンズとＣＣＤ（Charge Coupled Device）イメージセンサといった撮像素子を備え、例えばＩＰ（Internet Protocol）カメラ等のネットワークカメラである。ネットワークカメラは、たとえば、無線ＬＡＮ（Local Area Network）通信機能を有し、通信ネットワーク３、すなわちルータなどの中継装置（不図示）を介してサーバ４０に接続される。これらのカメラ５は、店舗や施設内に複数設置されている、所謂、監視カメラであってもよい。そして、カメラ５は、人物の動きに合わせて追従してカメラ本体やレンズの向きの制御、ズーム制御、焦点合わせ等を行う機構を備えてもよい。

【0026】

図２の例では、店舗２０の入口（ＩＮ）から入室する人物を撮像するに少なくとも１台のカメラ５ｄと、出口（ＯＵＴ）から退室する人物を撮像する少なくとも１台のカメラ５ｅと、各商品棚（図中、商品棚２２ａ、２２ｂ、２２ｃと示すが、特に区別する必要がない場合は商品棚２２とも呼ぶ。）前の人物をそれぞれ撮像する複数のカメラ５ａ、５ｂ、５ｃを含む。さらに、店舗２０の天井から室内の人物を撮像するカメラ５（不図示）を備えてもよい。なお、図２は、店舗２０を上から見た配置図であるため、本来人物が立位であれば頭頂部が見えていることになるが、本図の人物は、その存在位置を模式的に示しているのみであり、人が床に仰臥している訳ではない。

【0027】

図２に示すように、カメラ５ａ、５ｂ、５ｃはそれぞれ撮像範囲５０ａ、５０ｂ、５０ｃ（以後、特に区別する必要がない場合は撮像範囲５０とも呼ぶ。）を有する。カメラ５ａとカメラ５ｂの撮像範囲５０ａと撮像範囲５０ｂは部分的に重なっているため、商品棚２２ａから商品棚２２ｂに人物が移動している間、いずれかのカメラ５で撮像できる。一方、カメラ５ｂとカメラ５ｃの撮像範囲５０ｂと撮像範囲５０ｃは重なっていないため、商品棚２２ｂから商品棚２２ｃの人物が移動している間、人物が撮像範囲５０から外れる領域が存在しているため、追跡中の人物が一時的に撮影されない期間が存在することが分かる。このように複数カメラ５間で撮像範囲５０が離れているために人物を継続して撮影できない場合であっても、本実施形態の情報処理システム１では人物の動線を追跡できる。あるいは、追跡中の人物がうつむいたり、背を向けたり、他の人物や物陰に隠れてしまったりするような場合であっても追跡を可能とする。

【0028】

カメラ５とサーバ４０は直接接続されてもよいし、上記したように通信ネットワーク３などを介して接続されてもよい。たとえば、カメラ５で撮像された画像データがサーバ４０に直接送信され、サーバ４０がこの画像データを逐次受信してもよい。また、カメラ５及びサーバ４０の双方がアクセス可能な記録手段（不図示）を設けてもよい。この場合、カメラ５により撮像された画像データは、記録手段に記憶される。そして、サーバ４０は、この記録手段から画像データを読み出してもよい。あるいは、カメラ５が画像認識処理機能を有し、認識結果をサーバ４０に送信する構成としてもよい。

【0029】

ここで画像データは、静止画および動画の少なくともいずれかであってよい。データ形式、ファイル形式、ファイルサイズ、画像サイズ、画像の解像度、動画のフレームレート等も特に限定されず、カメラ５およびサーバ４０の仕様、規格、性能等、あるいは、画像解析の処理能力、精度等に応じて様々な形式のものを採用し得る。そしてこの画像データの少なくとも一つのフレームが、後述する画像としてもよい。

【0030】

また、カメラ５からサーバ４０への画像の送信のタイミングは、リアルタイム配信、例えば、ストリーミング配信であってもよいし、所定間隔で所定期間分の画像を送信してもよい。この送信タイミングは、カメラ５やサーバ４０のメモリ容量、通信容量、画像処理能力、及び、カメラ５とサーバ４０間の通信状況等に基づいて、適宜選択されてもよいし、又は、状況変化に応じて変更されてもよい。

【0031】

サーバ４０は、記憶装置４５に接続される。記憶装置４５には、カメラ５から受信した画像データや特徴情報、追跡情報（位置情報等）等が格納される。記憶装置４５は、サーバ４０とは別体の装置であってもよいし、サーバ４０の内部に含まれる装置であってもよいし、これらの組み合わせであってもよい。

【0032】

図３は、本発明の実施の形態に係る情報処理装置１００の論理的な構成を示す機能ブロック図である。
情報処理装置１００は、人物検出部１０２と、座標生成部１０４と、判定部１０６と、を備える。人物検出部１０２は、第１のカメラ５ａで生成された第１画像、及び第２のカメラ５ｂで生成された第２画像のそれぞれに対して人物及び位置を検出する処理を行う。座標生成部１０４は、検出された人物の位置の座標を生成する。判定部１０６は、第１画像から生成された第１の位置及び第２画像から生成された第２の位置を用いて、第１画像から検出された人物と第２画像から検出された人物が同一人物であるか否かを判定する。

【0033】

本実施形態において、サーバ４０およびカメラ５は、少なくとも１つのコンピュータを含んでいる。そして、情報処理装置１００は、図１のサーバ４０およびカメラ５の少なくともいずれか一方に含まれるコンピュータによって実現される。

【0034】

図４は、本実施形態の情報処理システム１の情報処理装置１００を実現するサーバ４０およびカメラ５を構成するコンピュータ６０の構成の一例を示す図である。情報処理装置１００は複数のコンピュータ６０により構成されてもよいし、仮想サーバにより実現されてもよい。

【0035】

コンピュータ６０は、ＣＰＵ（Central Processing Unit）６２、メモリ６４、メモリ６４にロードされた各サーバおよびユーザ端末の構成要素を実現するプログラム８０、そのプログラム８０を格納するストレージ６６、Ｉ／Ｏ（Input/Output）６８、および通信ネットワーク接続用のインタフェース（通信Ｉ／Ｆ７０）を備える。

【0036】

ＣＰＵ６２、メモリ６４、ストレージ６６、Ｉ／Ｏ６８、通信Ｉ／Ｆ７０は、バス６９を介して互いに接続され、ＣＰＵ６２により各サーバおよびユーザ端末がそれぞれ制御される。ただし、ＣＰＵ６２などを互いに接続する方法は、バス接続に限定されない。

【0037】

メモリ６４は、ＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）などのメモリである。ストレージ６６は、ハードディスク、ＳＳＤ（Solid State Drive）、またはメモリカードなどの記憶装置である。

【0038】

ストレージ６６は、ＲＡＭやＲＯＭなどのメモリであってもよい。ストレージ６６は、コンピュータ６０の内部に設けられてもよいし、コンピュータ６０がアクセス可能であれば、コンピュータ６０の外部に設けられ、コンピュータ６０と有線または無線で接続されてもよい。あるいは、コンピュータ６０に着脱可能に設けられてもよい。

【0039】

ＣＰＵ６２が、ストレージ６６に記憶されるプログラム８０をメモリ６４に読み出して実行することにより、図３の情報処理装置１００の各ユニットの各機能を実現することができる。

【0040】

Ｉ／Ｏ６８は、コンピュータ６０と他の入出力装置間のデータおよび制御信号の入出力制御を行う。他の入出力装置とは、たとえば、コンピュータ６０に接続されるキーボード、タッチパネル、マウス、およびマイクロフォン等の入力装置７２と、ディスプレイ（図中、表示装置７４と示す）、プリンタ、およびスピーカ等の出力装置（不図示）と、これらの入出力装置とコンピュータ６０のインタフェースとを含む。さらに、Ｉ／Ｏ６８は、他の記録媒体の読み取りまたは書き込み装置（不図示）とのデータの入出力制御を行ってもよい。

【0041】

通信Ｉ／Ｆ７０は、コンピュータ６０と外部の装置との通信を行うためのネットワーク接続用インタフェースである。通信Ｉ／Ｆ７０は、有線回線と接続するためのネットワークインタフェースでもよいし、無線回線と接続するためのネットワークインタフェースでもよい。たとえば、各サーバおよびユーザ端末を実現するコンピュータ６０は、通信Ｉ／Ｆ７０により通信ネットワーク３を介して互いに接続される。

【0042】

図３の本実施形態の情報処理装置１００の各構成要素は、図４のコンピュータ６０のハードウェアとソフトウェアの任意の組合せによって実現される。そして、その実現方法、装置にはいろいろな変形例があることは、当業者には理解されるところである。各実施形態の情報処理装置１００を示す機能ブロック図は、ハードウェア単位の構成ではなく、論理的な機能単位のブロックを示している。

【0043】

図４のコンピュータ６０のＣＰＵ６２が、ストレージ６６に記憶されるプログラム８０をメモリ６４に読み出して実行することにより、図３の情報処理装置１００の各ユニットの各機能を実現することができる。

【0044】

本実施形態のコンピュータプログラム８０は、情報処理装置１００を実現させるためのコンピュータ６０に、第１のカメラで生成された第１画像、及び第２のカメラで生成された第２画像のそれぞれに対して人物及び位置を検出する処理を行う手順、検出された人物の位置の座標を生成する手順、第１画像から生成された第１の位置及び前記第２画像から生成された第２の位置を用いて、第１画像から検出された人物と第２画像から検出された人物が同一人物であるか否かを判定する手順、を実行させるように記述されている。

【0045】

本実施形態のコンピュータプログラム８０は、コンピュータ６０で読み取り可能な記録媒体に記録されてもよい。記録媒体は特に限定されず、様々な形態のものが考えられる。また、プログラム８０は、記録媒体からコンピュータ６０のメモリ６４にロードされてもよいし、ネットワーク３を通じてコンピュータ６０にダウンロードされ、メモリ６４にロードされてもよい。

【0046】

コンピュータプログラム８０を記録する記録媒体は、非一時的な有形のコンピュータ６０が使用可能な媒体を含み、その媒体に、コンピュータ６０が読み取り可能なプログラムコードが埋め込まれる。コンピュータプログラム８０が、コンピュータ６０上で実行されたとき、コンピュータ６０に、情報処理装置１００を実現する情報処理方法を実行させる。

【0047】

図３に戻り、情報処理装置１００の各構成要素について詳細に説明する。
人物検出部１０２は、撮像された画像内から各人物の顔領域及び／又は顔の特徴情報を検出し、人の存在を検出する。人物検出部１０２は、顔領域を検出する場合、さらに、この顔領域から特徴情報を抽出する。そして人物検出部１０２は、抽出した特徴情報を、図５（ａ）のユーザ情報１２０に予め登録されている顔の特徴情報（図中、顔特徴量と示す）と照合する。照合によりユーザが識別できた場合は、識別されたユーザＩＤをユーザ識別情報として日時情報と紐付けて図５（ｂ）のユーザ検出情報１３０に記憶する。日時情報は、画像の撮像日時、画像のカメラ５からの受信日時、記憶装置４５への保存日時、照合結果の記録日時等の少なくともいずれか一つが例示される。また、日時情報は必ずしも必要なく、画像を特定できる情報、例えば、カメラ５と、画像データと、画像フレームを識別できる情報であってもよい。

【0048】

一方、照合によりユーザが識別できなかった場合、ユーザ識別情報として、識別できなかった人物を示す識別情報、例えば、仮ユーザＩＤを、日時情報と紐付けて図５（ｂ）のユーザ検出情報１３０に記憶する。また、ユーザ情報１２０の顔の特徴情報と一致しなかった人物の顔領域の特徴情報（図中、顔特徴量と示す）を、当該仮ユーザＩＤと日時情報とに紐付けて図５（ｃ）の未登録者情報１３２に記憶してもよい。

【0049】

画像から各人物を識別する処理は所定サイクルで繰り返し行われてよく、例えば、画像フレーム毎に行ってもよいが、所定時間間隔毎（例えば、数秒毎等）に行ってもよい。コンピュータ６０の画像処理能力、カメラ５の台数、通信ネットワーク３の通信容量等の各種条件に応じて適宜決めればよい。

【0050】

人物検出部１０２は、所定のサイクルで複数のカメラ５の画像データについて人物の検出および画像認識処理を行い、その結果をユーザ検出情報１３０又は未登録者情報１３２を記憶装置４５に蓄積する。

【0051】

人物検出部１０２で検出された各人物の画像中の位置は、少なくとも２次元の座標系で示される。本実施形態では、さらに、奥行きも含む３次元座標系で示されるものとする。人物検出部１０２は、位置情報（座標）をユーザ検出情報１３０にさらに紐付けて記憶する。このユーザ検出情報１３０は図６（ａ）に示される。さらに、人物検出部１０２は、ユーザ検出情報１３０をカメラ５毎に、カメラの識別情報（カメラＩＤとも呼ぶ）に紐付けと記憶する。

【0052】

座標生成部１０４は、人物検出部１０２で検出された各人物の画像中の位置の情報を人物検出部１０２から取得し、当該人物の位置の座標を生成する。生成される座標は少なくとも２次元であり、本実施形態ではさらに奥行き情報を含む３次元座標とする。座標の生成方法については後述する。

【0053】

各カメラ５の画像内の人物の位置を示す座標系は、それぞれカメラ５毎に異なる。
図７は、第１のカメラ５ａの第１座標系Ｖ１と、第１のカメラ５ａと別の第２のカメラ５ｂの第２座標系Ｖ２を説明するための図である。第１のカメラ５ａの第１画像から検出された人物の位置を示す第１の位置は、第１のカメラ５ａの第１座標系Ｖ１で示されている。第２のカメラ５ｂの第２画像から検出された人物の位置を示す第２の位置は、第２のカメラ５ｂの第２座標系Ｖ２で示されている。図に示すように、２つの座標系は互いに異なり、位置も方向も異なっている。なお、第１座標系および第２座標系は、ローカル座標系とも呼ぶものとする。

【0054】

座標生成部１０４は、カメラ５毎の座標系を店舗２０で共通の座標系に変換する。つまり、座標生成部１０４は、第１の位置及び第２の位置のそれぞれを第３座標系（図中、「グローバル」と示す。）における座標に変換する。第３座標系は、例えば実空間（例えば店舗の少なくとも一部）で定義された座標であるが、これに限定されない。

【0055】

ローカル座標系とグローバル座標系の間の変換ルールは、例えば以下のようにして予め生成されている。まず、グローバル座標系においてあらかじめ特定されている複数の位置のそれぞれに物体を配置し、各カメラ５から物体を撮像する。次いで、各カメラ５で撮像された画像を処理することにより、各物体のローカル座標上の位置を特定する。そして、これら特定された位置と、各物体のグローバル座標上の位置とから、ローカル座標系とグローバル座標系の間の変換ルールをカメラ５毎に設定する。例えば、座標生成部１０４は、第１座標系から第３座標系への第１変換ルール、および第２座標系から第３座標系への第２変換ルールを生成する。

【0056】

情報処理装置１００は、生成した第３座標系で示される位置情報（グローバル座標）をユーザ検出情報１３０（図６（ｂ））にさらに紐付けて記憶装置４５にそれぞれ記憶する。

【0057】

判定部１０６は、ユーザ検出情報１３０に記憶される座標生成部１０４が生成した第３座標系で示される位置を用いて人物が同一であるか否かを判定する。以下、判定部１０６による判定処理の例について詳細に説明する。

【0058】

例えば、人物検出部１０２により検出された、第１の画像から検出された人物のユーザＩＤと第２の画像から検出された人物のユーザＩＤが同じであれば、各人物が同一人物であると推定できる。しかし、画像認識処理により人物が識別できない場合も想定されうる。あるいは、別人に識別されてしまう場合も想定されうる。例えば、以下のような状況である。
（ａ１）画像が不鮮明又は顔領域が抽出できず画像認識処理で閾値以上の類似度や尤度が得られない。
（ａ２）カメラ５の撮像範囲５０から人物が外れたために当該人物が画像に写っていない。
（ａ３）複数人物の存在により画像認識精度が低下した。
（ａ４）画像のひずみや演算誤差等が発生した。

【0059】

判定部１０６は、蓄積されたユーザ検出情報１３０に基づいて、判定処理を行う。蓄積されたユーザ検出情報１３０の中で、各人物の情報を時系列で確認し、判定処理を行うことで、一時的に別人に識別されている人物や、認識されなかった人物等のデータレコードの情報を更新するこができる。

【0060】

上記（ａ１）の状況を例に説明する。
例えば、図８（ａ）のように、ある人物（ユーザＩＤがＵ００１０の会員）が、時刻ｔ１から時刻ｔ３まで矢印の方向に店内を移動したとする。図９（ａ）は、第１のカメラ５ａの画像で識別された各人物の位置情報をユーザ検出情報１３０に格納した様子を示している。図９（ｂ）は、第２のカメラ５ｂの画像で識別された各人物の位置情報をユーザ検出情報１３０に格納した様子を示している。なお、本図の各撮像範囲５０は、各商品棚２２の上に設置されたカメラ５側から人物に対して見た範囲となっている。

【0061】

時刻ｔ１では、第１のカメラ５ａの前に人物が居て、顔の特徴情報に基づく画像認識処理でユーザが識別され、その結果、ユーザＩＤが図９（ａ）のユーザ検出情報１３０に格納されている。一方、当該人物は、第２のカメラ５ｂの撮像範囲５０ｂに入っていないため、図９（ｂ）の時刻ｔ１では検出されていない。なお、図９の例は、人物が一人のため、ユーザＩＤと位置情報は１組みのみ記憶されているが、複数の人物が検出された場合は複数の人物のユーザＩＤと位置情報の組みが複数記憶される。

【0062】

次に、時刻ｔ２では、第１のカメラ５ａの撮像範囲５０ａと第２のカメラ５ｂの撮像範囲５０ｂの重なる領域に入っている。第２のカメラ５ｂで撮像された画像から抽出された人物の顔の特徴情報に基づく画像認識処理では、ユーザが識別されている。一方、この人物は、第１のカメラ５ａに対して背を向けてしまい、第１のカメラ５ａで撮像された画像から抽出された人物の顔の特徴情報に基づく画像認識処理では、ユーザが識別できなかったとする（図中、「ＮＧ」と示す）。

【0063】

時刻ｔ３では、第１のカメラ５ａの撮像範囲５０ａから人物は外れたため、第１のカメラ５ａで撮像された画像からは誰も検出されていない。一方、当該人物は、第２のカメラ５ｂの撮像範囲５０ｂに入っているため、画像認識処理によりユーザが識別されて図９（ｂ）のユーザ検出情報１３０に格納されている。

【0064】

さらに、座標生成部１０４により、人物検出部１０２が検出した人物の位置から座標が生成される。そして、記憶処理部は、当該位置情報をユーザ検出情報１３０にそれぞれ記憶させる。判定部１０６は、例えば同一時刻に位置情報が同一又は基準範囲内に位置する人物を、同一人物と判定する。図８（ａ）に示す例において、判定部１０６は、ユーザ検出情報１３０を参照し、時刻情報と位置情報に基づいて、第１のカメラ５ａで時刻ｔ２に検出されたが、ユーザを識別できなかった人物は、第２のカメラ５ｂで時刻ｔ２に検出されたユーザＩＤがＵ００１０の人物と同一人物であると判定する。

【0065】

なお、この例では、第１のカメラ５ａの画像で人物の画像認識処理に失敗しているが、第１のカメラ５ａの画像での人物の画像認識処理には成功して、第２のカメラ５ｂの画像の人物の画像認識処理で失敗した場合でも、第１のカメラ５ａの画像で人物の画像認識処理に失敗した場合と同様に判定部１０６は同一人物か否かを判定できる。

【0066】

なお、同一人物の判定基準は様々考えられ、以下に例示されるがこれらに限定されない。また、これらのうち２つを組み合わせて判定してもよい。
（ｂ１）同時刻の第１のカメラ５ａのユーザ検出情報１３０（図９（ａ））の位置情報と、第２のカメラ５ｂのユーザ検出情報１３０（図９（ｂ））の位置情報との一致度を算出し、所定値以上一致している場合に同一人物とする。
（ｂ２）同時刻の第１のカメラ５ａのユーザ検出情報１３０の位置情報と、第２のカメラ５ｂのユーザ検出情報１３０の位置情報が所定値以上、一致していない場合、ユーザＩＤが同じだったら同一人物である、又は同一人物の可能性あり、とする。

【0067】

このように構成された本実施形態の情報処理装置１００の動作について、以下説明する。
図１０は、本実施形態の情報処理装置１００の動作の一例を示すフローチャートである。
まず、人物検出部１０２は、第１のカメラ５ａで生成された第１画像、及び第２のカメラ５ｂで生成された第２画像のそれぞれに対して人物及び位置を検出する処理を行う（ステップＳ１０１）。次に、座標生成部１０４は、検出された人物の位置の座標を生成する（ステップＳ１０３）。判定部１０６は、第１画像から生成された第１の位置及び第２画像から生成された第２の位置を用いて、第１画像から検出された人物と第２画像から検出された人物が同一人物であるか否かを判定する（ステップＳ１０５）。

【0068】

ここで、各ステップは、一連の手続きとして行われてもよいし、個別に順次行われてもよい。すなわち、ステップＳ１０１とステップＳ１０３を一連の手続きとして行った後、ある程度のユーザ検出情報１３０が蓄積された後に、ステップＳ１０５の処理を蓄積された情報を元に行ってもよい。

【0069】

以上説明したように、本実施形態によれば、複数のカメラ５を用いて、所定の空間内における複数の人物の位置の検出を個別に高精度にかつ効率よく行うことができる。

【0070】

（第２の実施の形態）
本実施形態の情報処理装置１００は、同一人物の判定基準として、さらに以下の（ｃ１）及び（ｃ２）を用いる点を除いて、第１の実施の形態に係る情報処理装置１００と同様である。
（ｃ１）図９（ａ）と図９（ｂ）のユーザ検出情報１３０の時刻がずれている場合、又は、同時刻に人物が検出されていない場合、少なくとも第１の人物の位置の履歴から当該第１の人物の位置の推定を行い、この推定結果を用いる。例えばある基準時刻を定め、第１の人物の基準時刻における位置情報を推定する。そして、基準時刻において、この第１の人物の推定位置情報と、第２の人物の位置情報の検出値又は推定位置情報の一致度が基準を満たした場合、第１の人物と第２の人物が同一人物であると判断する。
（ｃ２）上記（ｃ１）の場合において、各人物の推定位置が所定値以上一致していない場合であっても、ユーザＩＤが同じだったら、同一人物である、又は同一人物の可能性あり、と判定する。

【0071】

情報処理装置１００は、例えば、異なるカメラ５の画像間で、人物が一時的に居なくなった場合などに、各人物の移動ベクトルに基づいて、人物の移動位置を推定し、異なるカメラ５の画像の人物が同一であるか否かを判定する。

【0072】

一例として、判定部１０６は、複数の第１画像を用いて生成された人物の移動ベクトル、第１画像において当該人物が検出されなくなってから第２画像に新たな人物が検出されるまでの時間、並びに新たな人物の位置を用いて、人物が同一であるか否かを判定する。

【0073】

判定部１０６は、複数の第１画像５２ａを用いて各人物の移動ベクトル（又は移動方向と移動速度）を生成し、ユーザＩＤ（又は仮ユーザＩＤ）と時刻情報と紐付けて図１１（ａ）の動線情報１４０として記憶装置４５に記憶する。動線情報１４０は、人物毎に検出される毎に時刻情報に紐付けて移動ベクトルが蓄積される。

【0074】

図１２および図１３に示すように、第１画像５２ａにおける画像認識処理では、時刻ｔ１および時刻ｔ２では、ユーザＩＤがＵ００１２のユーザＡが識別されている。時刻ｔ３でそれまで識別されていたユーザＡが認識されていない。一方、第２画像５２ｂにおける画像認識処理では、時刻ｔ１、ｔ２までは人物は検出されていなかったが、時刻ｔ３になったとき、仮ユーザＩＤがＸ０００５のユーザＢと識別されている人物が出現している。

【0075】

この例において、判定部１０６は、第１画像５２ａで検出されていたユーザＡの位置情報から移動ベクトルを算出する。そして、判定部１０６は、第１画像５２ａでユーザＡが検出されなくなってから、第２画像５２ｂでユーザＢが検出されるまでの時間を算出し、ユーザＡの移動ベクトルと算出された時間から、ユーザの移動先の位置を推定する。例えば移動ベクトルに算出された時間を乗じて移動量を推定し、推定した移動量を、ユーザＡの最新の位置情報（例えば時刻ｔ２の位置情報）に加えることにより、ユーザＡの位置を推定する。推定された位置情報（移動先位置情報）は、図１１（ｂ）の推定情報１５０として記憶装置４５に記憶される。推定情報１５０は、人物毎に位置情報が推定される毎に、時刻情報に紐付けて推定位置情報が蓄積される。

【0076】

判定部１０６は、推定された位置と第２画像５２ｂで検出されたユーザＢの位置が一致するか否かを判定し、一致した場合、同一人物と判定する。例えば、判定部１０６は、ユーザＡの推定位置と、ユーザＢの検出された位置との一致度を算出し、所定値以上一致している場合に同一人物とする。

【0077】

また、上記（ｃ２）の例について説明する。
図８（ｂ）のように、図８（ａ）の状態からさらに人物（ユーザＩＤがＵ００１０の会員）が移動して、時刻ｔ３から時刻ｔ５まで矢印の方向に店内を移動したとする。時刻ｔ３では、第２のカメラ５ｂの撮像範囲５０ｂに入っているため、画像認識処理によりユーザが識別されて図９（ｂ）のユーザ検出情報１３０に格納されている。しかし、時刻ｔ４では、第２のカメラ５ｂの撮像範囲５０ｂから人物は外れたため、第２のカメラ５ｂで撮像された画像からは当該人物は検出されていない。一方、隣のカメラ５ｃの撮像範囲５０ｃからも人物は外れているため、カメラ５ｃで撮像された画像からも当該人物は検出されない。

【0078】

さらに、時刻ｔ５では、人物はカメラ５ｃの撮像範囲５０ｃまで移動しているため、画像認識処理により人物はユーザＩＤがＵ００１０の会員と識別されると、判定部１０６は、カメラ５ｂで検出されていた人物とカメラ５ｃで検出された人物は同一であると判定する。

【0079】

以上説明したように、本実施形態によれば、各人物の移動ベクトルに基づいて、人物の移動位置を推定することで、異なる複数のカメラ５の画像で検出された人物が同一であるか否かを判定できるので、上記実施形態と同様に、複数のカメラ５を用いて、所定の空間内における複数の人物の位置の検出を個別に高精度にかつ効率よく行うことができる。例えば、撮像画像に基づく人物の特定において、一時的に画像認識が正しくできずに人物が特定できなかったり、人物位置の検出精度が低下したりすることを回避できる。

【0080】

（第３の実施の形態）
図１４は、本実施形態の情報処理装置１００の論理的な構成を示す機能ブロック図である。
本実施形態の情報処理装置１００は、複数の画像を用いて生成された人物の移動ベクトルを用いて人物の動線を推定する構成を有する点以外は、上記実施形態のいずれかと同様である。

【0081】

本実施形態の情報処理装置１００は、図３の情報処理装置１００と同様な人物検出部１０２と、座標生成部１０４と、判定部１０６と、を備えるとともに、さらに、動線推定部１１２を備える。さらに、本図において、情報処理装置１００は、記憶処理部１１０を備えている。

【0082】

動線推定部１１２は、複数のカメラ５のうち、少なくともいずれか一つで撮像された複数の画像を用いて生成された人物の移動ベクトル（図１１（ａ）の動線情報１４０）を用いて当該人物の動線を推定する。そして、判定部１０６は、推定された各人物の動線を比較し、別の人物（ユーザＩＤが異なる）の動線との一致度が閾値以上の場合に、同一人物であると判定してもよい。

【0083】

上記実施形態の判定部１０６による移動先の推定処理は、動線推定部１１２により行われてもよい。動線推定部１１２により推定された動線情報は、推定情報１５０に格納される。つまり、動線情報は、ユーザ毎に時刻毎の位置情報として蓄積される。

【0084】

記憶処理部１１０は、ユーザ検出情報１３０において、互いに異なる複数の人物として記憶されていたが、判定部１０６において同一の人物と判定された場合、当該複数の人物の位置情報を１人の人物の位置情報に統合する。つまり、記憶処理部１１０は、判定部１０６により同一人物と判定された人物の位置情報を１人の位置情報に統合し、ユーザ検出情報１３０のデータレコードを更新する。

【0085】

ここで、動線の一致について例を挙げて説明する。図１５の各図は、同一期間の異なるユーザの動線を示しているものとする。
図１５（ａ）の例では、２つの動線Ｌ１と動線Ｌ２の一致度は閾値以上であるので判定部１０６により、この２ユーザは同一人物であると判定され、２ユーザの位置情報は統合される。図１５（ｂ）の例では、２つの動線Ｌ１と動線Ｌ２の一致度は閾値未満となり、この２ユーザは同一人物ではないと判定される。そのため位置情報は統合されない。図１５（ｃ）の例では、一方の動線Ｌ２の期間が他方の動線Ｌ１の期間の一部であり、同じ期間について動線の一致度は閾値以上であり、この２ユーザは同一人物であると判定され、２ユーザの位置情報は統合される。

【0086】

図１５（ｄ）の例では、一方の動線Ｌ２の期間の方が、他方の動線Ｌ１の期間より開始時刻が早く、終了時刻も早く、２つの動線の期間はずれている。しかし、一致している期間については、２つの動線の一致度は閾値以上であるので、この２ユーザは同一人物であると判定され、２ユーザの位置情報は統合される。図１５（ｅ）の例では、２つの動線Ｌ１と動線Ｌ２の期間前半部分については、一致度は閾値以上であるが、期間後半部分については一致度は閾値未満となっている。この場合は同行者が途中から別行動をしたとも考えられ、２ユーザは同一人物でないと判定される。そのため位置情報は統合されない。図１５（ｆ）の例では、２つの動線Ｌ１と動線Ｌ２の一部の期間で一方の動線Ｌ１と他方の動線Ｌ２とが大きく動線がずれている。所定値以上ずれている期間が所定値以上であり、このため２つの動線Ｌ１と動線Ｌ２の一致度は閾値未満となり、この２ユーザは同一人物ではないと判定される。そのため位置情報は統合されない。

【0087】

図１６は、本実施形態の情報処理装置１００の動作の一例を示すフローチャートである。本フローが示す動作の手順は、上記実施形態で説明した判定処理（ステップＳ１０５）の処理の詳細を示している。
まず、記憶処理部１１０は、検出した人物の位置情報を人物別に記憶装置４５に記憶させる（ステップＳ１１１）。そして、動線推定部１１２は、複数の画像を用いて生成された人物の移動ベクトルを用いて人物の動線を推定する（ステップＳ１１３）。推定された動線を推定情報１５０として記憶装置４５に記憶される。そして、判定部１０６は、推定された人物の動線を用いて別の人物として検出されていた人物を同一であるか否かを判定する（ステップＳ１１５）。

【0088】

記憶処理部１１０は、互いに異なる複数の人物として記憶されていたが、ステップＳ１１５で同一人物と判定された場合（ステップＳ１１７のＹＥＳ）、当該人物の位置情報を１人の人物の位置情報に統合する（ステップＳ１１９）。

【0089】

以上説明したように、本実施形態によれば、上記実施形態と同様な効果を奏するとともに、さらに、複数の人物の動線の追跡を、複数のカメラ５を用いて高精度に、かつ、効率よく行うことができる。
例えば、複数のカメラ５で別人として識別され、個別に動線追跡されていた複数の人物の動線に基づいて、動線が同じであった場合に、同一人物であるか否かを判定し、同一であると判定された場合は１人の情報に統合することができる。例えば、複数のカメラ５で別人に誤認識されてしまった場合でも、後から同一人物としてデータを統合できるので、人物および人物の動線の特定精度が向上する。

【0090】

（第４の実施の形態）
本実施形態の情報処理装置１００は、店舗２０において、顧客である人物が手に取った商品を当該顧客の購入商品として決済処理を行う構成を有する点以外は上記実施形態のいずれかと同様である。本実施形態の情報処理システム１は、店舗２０又はショッピングモール等の施設（以下、店舗２０を代表として説明する）において、予め利用登録されている顧客が、所謂ウォークスルーで買い物を行うことができるサービスを提供する。また、予め利用登録されていない利用者であっても、商品棚２２から商品を取り出すだけで商品リストに商品登録がなされるので、登録された商品リストを基に退出時に精算処理を行うだけでよい。

【0091】

図１７は、本実施形態の情報処理システム１の構成を概念的に示す図である。
本実施形態では、情報処理システム１は、図１の上記実施形態の情報処理システム１の構成に加え、さらに、商品棚２２から商品が取り出されたことを検出する複数のセンサ７を備える。センサ７はサーバ４０と通信ネットワーク３を介して接続される。さらに、サーバ４０は、デジタルサイネージ９と通信ネットワーク３を介して接続されてもよい。デジタルサイネージ９には、店舗２０の案内やイベント情報や商品や企業広告等が表示されてよい。

【0092】

本実施形態において、人物は店舗２０を利用する利用者であり、ユーザ端末３０を携帯して店舗２０を利用する。ユーザ端末３０は、例えば、スマートフォン、タブレット端末、携帯電話機、ＰＤＡ（Personal Digital Assistants）であり、通信機能を有する携帯型の端末であれば特に限定されない。また、ユーザ端末３０は、利用者の所有物であってもよいし、例えば、当該店舗２０で利用者に貸与されるものであってもよい。ユーザ端末３０は、ゲートウェイ（ＧＷ：Gateway）１１に通信ネットワーク３を介してサーバ４０又はインターネット（不図示）に接続できてよい。

【0093】

ユーザ端末３０は、図４に示した少なくとも一つのコンピュータ６０を含んでいる。利用者は、店舗２０において、本実施形態の情報処理システム１が提供するサービスを利用するためのユーザ登録を事前に行う。ユーザ登録方法は、例えば、利用者のユーザ端末３０を用いて、専用のアプリケーションを起動してサーバ４０に接続する、又はブラウザ等を用いて所定のウェブサイトにアクセスして、ユーザ登録画面をユーザ端末３０に表示させて登録を行うことができる。利用者は、ユーザＩＤとパスワード等の認証情報を事前に設定しておき、サービス利用時にはユーザ端末３０を用いてログイン画面にて認証情報を入力して本情報処理システム１にログインする。なお、上記実施形態と同様に本実施形態においても利用登録をしないで本システムを利用することもできる。この場合は、上記実施形態と同様に、人物の顔の特徴情報を用いて人物を識別する。

【0094】

さらに、利用者は、画像認識処理により利用者を識別するための特徴情報の登録を行う。例えば、ユーザ端末３０のカメラを利用して顔を撮像して画像データを登録してもよい。サーバ４０は、登録された顔画像から抽出された顔の特徴情報をユーザ識別情報に紐付けてユーザ情報１２０（図５（ａ））として記憶装置４５に記憶させる。

【0095】

登録される情報は、これらに限定されないが、利用者の個人情報（氏名、住所、連絡先、年齢、性別等）をさらに含む。認証情報と更新情報はユーザ情報１２０に対応付けて記憶されてよい。

【0096】

さらに、利用者は、買い物の代金をカード決済するのに使用するクレジットカードのカード情報の登録も行う。利用者から受け付けた決済用のカード情報はユーザ識別情報に紐付けて図１８のカード情報２２０として記憶装置４５に記憶される。カード情報は、カード決済に必要な情報を含み、例えば、カードの種別、カード番号、暗証番号、名義、有効期限等の情報を含む。

【0097】

図１９は、本実施形態の情報処理装置１００の論理的な構成を示す機能ブロック図である。
本実施形態の情報処理装置１００は、上記実施形態のうちいずれか一つの情報処理装置１００の構成に加え、さらに、商品認識部２０２と、精算処理部２０４と、出力部２０６と、を備える。本図では、図１４の情報処理装置１００と組み合わせた例を示している。

【0098】

商品認識部２０２は、人物が商品棚２２から取り出した商品を推定又は認識し、推定又は認識された商品を人物の動線に紐付けて商品リストを作成して記憶装置４５に記憶させる。商品認識部２０２はセンサ７を用いて商品を推定又は認識する。センサ７は、商品棚２２前に位置する人物の手の動きを検出する深度センサ、商品棚２２の棚の上に載置されている物品の重量を検出する重量センサを含む。

【0099】

商品認識部２０２が商品を推定又は認識する方法は、次の通りである。まず、商品認識部２０２は、深度センサ７用いて、商品棚２２前に位置する人物の手の動きを検出し、人の手の動きから、棚から物品を取り出した位置を特定する。そして、商品認識部２０２は、重量センサで検知された商品棚２２の棚の重量変化に基づいて、棚から取り出された物品の種類を推定する。そして、商品認識部２０２は、棚割情報に基づいて、棚に配置されている物品を特定する物品特定情報、例えば、その物品に割り当てられたＩＤ（コード情報の場合もある）、又は、その物品の品名（例えば、商品名）を出力する。

【0100】

または、商品認識部２０２は、カメラ５が撮像した人物が取り出した物品を画像認識処理により、予め登録されている物品画像の特徴量と照合し、その結果に基づいて物品を特定してもよい。商品認識部２０２による商品の認識処理は、人物が店舗２０を退出する際に自動的に行われる決済処理を行うまで、繰り返されてよい。そのため、人物が複数の商品を棚から取り出した場合、商品認識部２０２は、人物毎に、取り出した商品を取り出される度に商品リストに追加して記憶させる。商品リストは当該人物の動線に紐付けられる。ただし、商品リストは、当該人物の識別情報と紐付けられてもよい。この場合、人物の識別情報に動線情報が紐付けられている。

【0101】

精算処理部２０４は、商品リストに基づいて当該人物に対する精算処理を行う。精算処理部２０４は、当該人物の図１８のカード情報２２０を用いてカード決済を行う。決済処理は、例えば、人物が店舗２０の出口（ＯＵＴ）に設置されたカメラ５ｅで撮像されて顔認識されたことをトリガとして行われてよい。精算処理部２０４は、情報処理装置１００とは別体の外部装置であってもよい。情報処理装置１００から外部装置に精算処理を指示し、精算処理結果を外部装置から受信する構成としてもよい。

【0102】

なお、決済処理の前に、顧客は、顧客のユーザ端末３０を用いて商品リストを読み出すことができる。例えば顧客のユーザ端末３０は、その顧客のユーザＩＤを情報処理装置１００に送信する。出力部２０６は、ユーザＩＤに対応する人物の商品リストを当該人物のユーザ端末３０に送信する。この際、商品リストの商品コードは商品名に変換されてもよい。また商品名とともに、その商品の価格が送られてもよい。後者の場合、顧客のユーザ端末３０には、登録されている商品の合計金額がさらに送信されてもよい。

【0103】

顧客のユーザ端末３０には、送信されてきた商品リストが表示される。この画面には、例えば、購入商品の内容および金額を承諾し、決済処理を行うための操作ボタンや購入商品の内容変更を行うための操作ボタン等が含まれてもよい。

【0104】

出力部２０６は、精算処理に基づいた電子レシートを出力する。電子レシートは、各人物のユーザ端末３０に送信されてよい。例えば、人物毎に予め登録されている宛先に送信する。また、顧客がユーザ登録している場合、顧客情報を閲覧できるウェブサイトにログインして、購入履歴を確認できてもよい。

【0105】

図２０は、本実施形態の情報処理装置１００の動作の一例を示すフローチャートである。
まず、人物検出部１０２は、店舗２０の入口（ＩＮ）に設けられたカメラ５ｄを用いて撮像された店舗２０に入場する人物の画像から顔の画像認識処理により人物を識別する（ステップＳ２０１）。そして、人物検出部１０２は、識別された人物のユーザＩＤ又は識別できなかった人物の顔の特徴量を登録し、動線推定部１１２は、当該人物の追跡を開始する（ステップＳ２０３）。

【0106】

商品認識部２０２は、追跡している人物の動きから手に取った商品を推定又は認識する（ステップＳ２０５）。そして、商品認識部２０２は、推定した商品と当該人物の動線を紐付けて、顧客の商品リストを作成する（ステップＳ２０７）。ステップＳ２０５とステップＳ２０７は、繰り返し行われ、精算処理を行うまで繰り返される。

【0107】

出力部２０６は、商品リストをユーザ端末３０に出力する（ステップＳ２０９）。顧客が購入内容を承諾した、又は、顧客の顔認証が成功した場合（ステップＳ２１１のＹＥＳ）、精算処理部２０４は、商品リストに基づいて当該人物に対する精算処理（ここではカード決済処理）を行う（ステップＳ２１３）。出力部２０６は、決済処理が完了すると（ステップＳ２１５のＹＥＳ）、電子レシートを顧客のユーザ端末３０に送信する（ステップＳ２１７）。

【0108】

ステップＳ２１１で顧客の内容の承諾が得られるまで、又は顔認証に成功するまで、ステップＳ２０３に戻り、処理を繰り返す。また、ステップＳ２１５で決済処理が完了しなかった場合、一定時間が経過したら、所定の例外処理を行ってもよい。所定の例外処理とは、決済処理が完了しない旨、さらに、完了しない理由等を顧客又は店舗２０の管理者に通知する処理等である。出力部２０６は、例えば、「ご登録済みのクレジットカードの有効期限が切れているため決済処理が完了しません。クレジットカード情報をご確認の上、更新してください。」等のメッセージをユーザ端末３０に送信する。

【0109】

なお、本実施形態において、上記実施形態で説明した動線推定処理や位置情報統合処理は、上記フローとは別フローで行うことができる。すなわち、上記フローで特定されて記憶された人物毎の位置情報を参照して、上記した欠落しているデータを補間したり誤検出されたデータを修正したりする動線推定処理や、複数の人物の位置情報を統合する位置情報統合処理などを行う。図２０のフローと、動線推定処理や位置情報統合処理のフローとは、リアルタイムに並列処理されてもよいし、異なるタイミングでそれぞれ行われてもよい。

【0110】

以下に各処理のタイミングの組み合わせを例示する。
（ｄ１）人物特定（動線推定）と商品推定又は商品認識を並行して処理
この構成では、情報処理装置１００は、認識又は推定した商品と紐付ける人物動線を決定する決定部（不図示）をさらに備える。決定部は、人物検出部１０２が商品棚２２前に居る人物を画像認識により識別した人物の識別情報又は特徴情報に紐付けられている人物の動線を決定し、決定した人物の動線に商品棚２２の前で当該人物が取り出したと推定又は認識された商品の識別情報に紐付ける。例えば、決定部は、商品棚２２の前の人物が商品を取り出したことが検出され、取り出された商品の推定又は認識が行われたことをトリガとして当該人物を特定する。そして、商品認識部２０２は、特定された人物の動線と商品情報とを紐付けてもよい。
（ｄ２）人物特定が完了した後に、商品推定又は認識を実施
この構成では、店舗２０内で追跡を行っている人物のうち、人物検出部１０２による商品棚２２前の人物の特定が完了したことをトリガとして、商品認識部２０２は人物の手の動きを検出する処理を行い、商品推定又は認識を実施する。そして、商品認識部２０２は、特定されている人物の動線に、推定又は認識された商品の識別情報を紐付ける。
（ｄ３）商品認識又は推定を実施した後に、人物特定を実施
この構成では、商品認識部２０２は、商品棚２２前の人物が取り出した商品を特定し、日時情報、商品取り出し位置、商品の識別情報を紐付けて商品取り出し記録情報として記憶装置４５に記憶しておく。そして、情報処理装置１００は、この商品取り出し記録情報の日時情報と商品取り出し位置と、各人物の位置情報の履歴の日時情報と位置情報とを照らし合わせて、人物を特定する特定部（不図示）をさらに備える。商品認識部２０２は、特定部により特定した人物の動線に、取り出された商品の識別情報を紐付け商品リストを作成し記憶装置４５に記憶する。つまり、この構成では、商品が取り出される度に商品ＩＤのみ確定しておき、商品リストへの追加をペンディングしておき、人物特定が完了したタイミングでさかのぼって、商品リストを更新する。

【0111】

以上説明したように、本実施形態では、店舗２０において、人物検出部１０２により入店した人物を顔認証で識別し、識別された人物の動線を追跡し、商品認識部２０２により商品棚２２から取り出した商品を推定又は認識し、推定又は認識された商品を当該人物の動線に紐付け、人物が店舗２０から退出する前に商品リストを人物のユーザ端末３０に送信し、顧客が内容を確認した上で決済手続きの指示を行うか、退出する人物を顔認証により特定して特定された人物のカード情報に基づいて精算処理部２０４により精算処理を行い、出力部２０６により精算処理結果に基づいて電子レシートがユーザ端末３０に送信される。このように、本実施形態によれば、店舗２０の商品棚２２から商品を取り出すだけで自動的に商品登録が行われ、店舗２０を退出するときに、予め登録されているクレジットカードで自動決済するか、ユーザ端末３０から決済方法を指定して精算手続きを指示するだけで買い物を終了させることができる。

【0112】

上記した各実施形態において「取得」とは、自装置が他の装置や記憶媒体に格納されているデータまたは情報を取りに行くこと（能動的な取得）、および、自装置に他の装置から出力されるデータまたは情報を入力すること（受動的な取得）の少なくとも一方を含む。能動的な取得の例は、他の装置にリクエストまたは問い合わせしてその返信を受信すること、及び、他の装置や記憶媒体にアクセスして読み出すこと等がある。また、受動的な取得の例は、配信（または、送信、プッシュ通知等）される情報を受信すること等がある。さらに、「取得」とは、受信したデータまたは情報の中から選択して取得すること、または、配信されたデータまたは情報を選択して受信することであってもよい。

【0113】

以上、図面を参照して本発明の実施形態について述べたが、これらは本発明の例示であり、上記以外の様々な構成を採用することもできる。
たとえば、図２１に示すように、商品棚２２の前に複数の人物Ａ、Ｂ、Ｃが立っている場合、人物Ａと人物Ｂの後ろに居る人物Ｃは顔が隠れて画像認識処理で識別されない可能性がある。このような状況においても、人物検出部１０２は、人物の位置情報を三次元座標系で示すことで、人物の奥行の位置も検出できるので、検出された人物（人物Ｃとは識別できなかった人物）の位置の奥行情報と、人物Ｃの推定した動線の奥行情報との比較により、一致度が閾値以上の場合、判定部１０６は、顔が認証できなかった人物を人物Ｃであると判定してもよい。

【0114】

また、人物検出部１０２は、店舗２０の入り口（ＩＮ）に設けられているカメラ５ｄで検出された来店した人物の人数と、店舗２０の出口（ＯＵＴ）に設けられているカメラ５ｅで検出された退出した人物の人数から、店舗２０内に居る人物の人数を求めてもよい。そして、判定部１０６は、求めた人数と、各カメラ５で検出された人物の人数とに基づいて、誤判定されている人数を求めてもよい。つまり、来店した人物の人数から退出した人物の人数と各カメラ５で検出された人物の人数を引いた値が０であれば、誤判定の可能性は低い。一方、正の整数の場合、カメラ５で検出できていない不明な人物が存在している可能性が高い。負の整数の場合、誤判定により、一人物を別人物に判定している可能性が高い。

【0115】

判定部１０６は、上記判定を行ってから、誤判定の可能性が高い場合に、動線情報１４０に基づく同一人物か否かの判定処理を行ってもよい。また、例えば、人物検出部１０２により店舗２０に入場した人物の人数と退出した人数をそれぞれ検知し、現在店舗２０内に存在すべき人数を算出し、判定部１０６は、算出した人数とユーザ検出情報１３０に位置情報が記憶されているユーザの数を比較して、一致しなかった（つまり、人物の特定に誤判定の可能性が高い）ことをトリガとして、動線情報１４０に基づく同一人物か否かの判定処理を行ってもよい。

【0116】

上記した各実施形態は矛盾のない範囲で少なくとも２つを組み合わせることもできる。

【0117】

以上、実施形態および実施例を参照して本願発明を説明したが、本願発明は上記実施形態および実施例に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
なお、本発明において利用者に関する情報を取得、利用する場合は、これを適法に行うものとする。

【0118】

上記の実施形態の一部または全部は、以下の付記のようにも記載されうるが、以下に限られない。
１． 第１のカメラで生成された第１画像、及び第２のカメラで生成された第２画像のそれぞれに対して人物及び位置を検出する処理を行う人物検出手段と、
検出された前記人物の前記位置の座標を生成する座標生成手段と、
前記第１画像から生成された第１の位置及び前記第２画像から生成された第２の位置を用いて、前記第１画像から検出された前記人物と前記第２画像から検出された前記人物が同一人物であるか否かを判定する判定手段と、を備える情報処理装置。
２． １．に記載の情報処理装置において、
前記判定手段は、複数の前記第１画像を用いて生成された前記人物の移動ベクトル、前記第１画像において当該人物が検出されなくなってから前記第２画像に新たな人物が検出されるまでの時間、並びに前記新たな人物の位置を用いて、前記人物が同一であるか否かを判定する、情報処理装置。
３． １．又は２．に記載の情報処理装置において、
前記第１のカメラおよび前記第２のカメラの少なくともいずれか一つで生成された複数の画像を用いて生成された前記人物の移動ベクトルを用いて前記人物の動線を推定する動線推定手段を備え、
前記判定手段は、前記動線推定手段により推定された前記人物の動線を用いて、別の人物として検出されていた人物を同一であるか否かを判定する、情報処理装置。
４． １．から３．のいずれか一つに記載の情報処理装置において、
前記人物検出手段が検出した前記人物の位置情報を前記人物別に記憶手段に記憶させる記憶処理手段を備え、
前記記憶処理手段は、前記記憶手段において互いに異なる複数の前記人物として記憶されていたが前記判定手段において同一の前記人物と判定された場合、当該複数の人物の位置情報を一人の前記人物の位置情報に統合する情報処理装置。
５． １．から４．のいずれか一つに記載の情報処理装置において、
複数の前記第１画像を用いて生成された前記人物の移動ベクトルを用いて前記人物の動線を推定する動線推定手段と、
前記人物が商品棚から取り出した商品を推定又は認識し、推定又は認識された前記商品を前記人物の動線に紐付けて商品リストを作成して記憶手段に記憶させる商品認識手段と、
前記商品リストに基づいて当該人物に対する精算処理を行う精算処理手段と、
前記精算処理に基づいた電子レシートを出力する出力手段と、を備える情報処理装置。
６． １．から５．のいずれか一つに記載の情報処理装置において、
前記人物検出手段が検出した前記人物の位置情報を前記人物別に記憶手段に記憶させる記憶処理手段を備え、
前記人物検出手段は、人物追跡の対象領域内に入場した人数と退場した人数から前記対象領域内に存在すべき人数を算出し、
前記判定手段は、前記算出された人数と前記記憶手段に前記位置情報が記憶された前記人物の人数とを比較して、一致しなかったことをトリガとして、前記人物が同一であるか否かを判定する処理を行う、情報処理装置。

【0119】

７． 情報処理装置が、
第１のカメラで生成された第１画像、及び第２のカメラで生成された第２画像のそれぞれに対して人物及び位置を検出する処理を行い、
前記検出された前記人物の前記位置の座標を生成し、
前記第１画像から生成された第１の位置及び前記第２画像から生成された第２の位置を用いて、前記第１画像から検出された前記人物と前記第２画像から検出された前記人物が同一人物であるか否かを判定する、
情報処理方法。
８． ７．に記載の情報処理方法において、
前記情報処理装置が、
複数の前記第１画像を用いて生成された前記人物の移動ベクトル、前記第１画像において当該人物が検出されなくなってから前記第２画像に新たな人物が検出されるまでの時間、並びに前記新たな人物の位置を用いて、前記人物が同一であるか否かを判定する、情報処理方法。
９． ７．又は８．に記載の情報処理方法において、
前記情報処理装置が、
前記第１のカメラおよび前記第２のカメラの少なくともいずれか一つで生成された複数の画像を用いて生成された前記人物の移動ベクトルを用いて前記人物の動線を推定し、
前記推定された前記人物の動線を用いて、別の人物として検出されていた人物を同一であるか否かを判定する、情報処理方法。
１０． ７．から９．のいずれか一つに記載の情報処理方法において、
前記情報処理装置が、
前記検出した前記人物の位置情報を前記人物別に記憶装置に記憶させ、
前記記憶装置において互いに異なる複数の前記人物として記憶されていたが前記判定において同一の前記人物と判定された場合、当該複数の人物の位置情報を一人の前記人物の位置情報に統合する情報処理方法。
１１． ７．から１０．のいずれか一つに記載の情報処理方法において、
前記情報処理装置が、
複数の前記第１画像を用いて生成された前記人物の移動ベクトルを用いて前記人物の動線を推定し、
前記人物が商品棚から取り出した商品を推定又は認識し、推定又は認識された前記商品を前記人物の動線に紐付けて商品リストを作成して記憶装置に記憶させ、
前記商品リストに基づいて当該人物に対する精算処理を行い、
前記精算処理に基づいた電子レシートを出力する、情報処理方法。
１２． ７．から１１．のいずれか一つに記載の情報処理方法において、
前記情報処理装置が、
前記検出した前記人物の位置情報を前記人物別に記憶装置に記憶させ、
人物追跡の対象領域内に入場した人数と退場した人数から前記対象領域内に存在すべき人数を算出し、
前記算出された人数と前記記憶装置に前記位置情報が記憶された前記人物の人数とを比較して、一致しなかったことをトリガとして、前記人物が同一であるか否かを判定する処理を行う、情報処理方法。

【0120】

１３． コンピュータに、
第１のカメラで生成された第１画像、及び第２のカメラで生成された第２画像のそれぞれに対して人物及び位置を検出する処理を行う手順、
検出された前記人物の前記位置の座標を生成する手順、
前記第１画像から生成された第１の位置及び前記第２画像から生成された第２の位置を用いて、前記第１画像から検出された前記人物と前記第２画像から検出された前記人物が同一人物であるか否かを判定する手順、を実行させるためのプログラム。
１４． １３．に記載のプログラムにおいて、
複数の前記第１画像を用いて生成された前記人物の移動ベクトル、前記第１画像において当該人物が検出されなくなってから前記第２画像に新たな人物が検出されるまでの時間、並びに前記新たな人物の位置を用いて、前記人物が同一であるか否かを判定する手順、をコンピュータに実行させるためのプログラム。
１５． １３．又は１４．に記載のプログラムにおいて、
前記第１のカメラおよび前記第２のカメラの少なくともいずれか一つで生成された複数の画像を用いて生成された前記人物の移動ベクトルを用いて前記人物の動線を推定する手順、
前記推定された前記人物の動線を用いて、別の人物として検出されていた人物を同一であるか否かを判定する手順、をコンピュータに実行させるためのプログラム。
１６． １３．から１５．のいずれか一つに記載のプログラムにおいて、
前記検出した前記人物の位置情報を前記人物別に記憶装置に記憶させる手順、
前記記憶装置において互いに異なる複数の前記人物として記憶されていたが前記判定する手順において同一の前記人物と判定された場合、当該複数の人物の位置情報を一人の前記人物の位置情報に統合する手順、をコンピュータに実行させるためのプログラム。
１７． １３．から１６．のいずれか一つに記載のプログラムにおいて、
複数の前記第１画像を用いて生成された前記人物の移動ベクトルを用いて前記人物の動線を推定する手順、
前記人物が商品棚から取り出した商品を推定又は認識し、推定又は認識された前記商品を前記人物の動線に紐付けて商品リストを作成して記憶装置に記憶させる手順、
前記商品リストに基づいて当該人物に対する精算処理を行う手順、
前記精算処理に基づいた電子レシートを出力する手順、をコンピュータに実行させるためのプログラム。
１８． １３．から１７．のいずれか一つに記載のプログラムにおいて、
前記検出した前記人物の位置情報を前記人物別に記憶装置に記憶させる手順、
人物追跡の対象領域内に入場した人数と退場した人数から前記対象領域内に存在すべき人数を算出する手順、
前記算出された人数と前記記憶装置に前記位置情報が記憶された前記人物の人数とを比較して、一致しなかったことをトリガとして、前記人物が同一であるか否かを判定する処理を行う手順、をコンピュータに実行させるためのプログラム。

【0121】

この出願は、２０１９年３月４日に出願された日本出願特願２０１９－０３９０１５号を基礎とする優先権を主張し、その開示の全てをここに取り込む。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】