特許第6800820号(P6800820)IP Force 特許公報掲載プロジェクト 2015.5.11 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ パナソニック株式会社の特許一覧
特許6800820人流分析方法、人流分析装置、及び人流分析システム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6800820
(24)【登録日】2020年11月27日
(45)【発行日】2020年12月16日
(54)【発明の名称】人流分析方法、人流分析装置、及び人流分析システム
(51)【国際特許分類】
   G06Q 50/10 20120101AFI20201207BHJP
   G06T 7/292 20170101ALI20201207BHJP
【FI】
   G06Q50/10
   G06T7/292
【請求項の数】14
【全頁数】30
(21)【出願番号】特願2017-138290(P2017-138290)
(22)【出願日】2017年7月14日
(65)【公開番号】特開2019-20986(P2019-20986A)
(43)【公開日】2019年2月7日
【審査請求日】2020年1月22日
(73)【特許権者】
【識別番号】000005821
【氏名又は名称】パナソニック株式会社
(74)【代理人】
【識別番号】100067828
【弁理士】
【氏名又は名称】小谷 悦司
(74)【代理人】
【識別番号】100115381
【弁理士】
【氏名又は名称】小谷 昌崇
(74)【代理人】
【識別番号】100109438
【弁理士】
【氏名又は名称】大月 伸介
(72)【発明者】
【氏名】西川 由理
(72)【発明者】
【氏名】小澤 順
【審査官】 梅岡 信幸
(56)【参考文献】
【文献】 特開2010−055594(JP,A)
【文献】 特開2000−200357(JP,A)
【文献】 特開2016−071751(JP,A)
【文献】 米国特許出願公開第2017/0099295(US,A1)
【文献】 特開2014−032507(JP,A)
【文献】 韓国公開特許第10−2006−0053214(KR,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06Q 10/00−99/00
G06T 7/00− 7/90
(57)【特許請求の範囲】
【請求項1】
人の流れを分析する人流分析装置における人流分析方法であって、
人物の外観画像を取得し、
前記外観画像から前記人物を識別し、
前記外観画像から前記人物が所有する所有物を特定し、特定した前記所有物から前記所有物を取得した店舗を推定し、
前記識別した前記人物を示す人物情報と、前記推定した前記店舗を示す店舗情報と、前記外観画像が取得された時刻を示す時刻情報とを関連づけて記憶部に記憶し、
前記記憶部に記憶された前記店舗情報が示す店舗の時系列上の変化を基に、前記人物が来店した店舗の順序を判断する、
人流分析方法。
【請求項2】
前記所有物は、前記店舗で取得した荷物袋を含む、
請求項1記載の人流分析方法。
【請求項3】
前記荷物袋は、前記店舗を識別するための標章を有し、
前記推定は、
前記荷物袋が有する前記標章を基に、前記荷物袋を取得した店舗を推定する、
請求項2記載の人流分析方法。
【請求項4】
前記判断は、
第1の時刻に前記人物が所有する前記所有物から推定した店舗の一覧を示す第1の店舗リスト情報と、前記第1の時刻より後の第2の時刻に前記人物が所有する前記所有物から推定した店舗の一覧を示す第2の店舗リスト情報との差分を算出し、前記差分を基に、前記人物が来店した店舗の順序を判断する、
請求項1〜3のいずれかに記載の人流分析方法。
【請求項5】
前記判断は、
前記第1の店舗リスト情報が示す店舗のうち前記第2の店舗リスト情報が示す店舗に該当するものがない消失店舗がある場合、前記消失店舗で取得された前記所有物が前記第2の店舗リスト情報が示す店舗で取得された前記所有物のいずれかに統合されたと判断する、
請求項4記載の人流分析方法。
【請求項6】
前記取得は、
複数の人物を含む複数人物外観画像を取得し、
前記識別は、
前記複数人物外観画像から前記複数の人物が同一グループか否かを判断し、前記複数人物外観画像から前記同一グループと判断した前記複数の人物を含むグループ画像を切り出し、前記グループ画像から前記同一グループの前記複数の人物を識別し、
前記推定は、
前記グループ画像から前記同一グループの前記複数の人物が所有する所有物を特定し、特定した前記所有物から前記所有物を取得した店舗を推定し、
前記記憶は、
前記同一グループの前記複数の人物を示すグループ情報と、前記同一グループの前記複数の人物が所有する前記所有物から推定した前記店舗を示す店舗情報と、前記複数人物外観画像が取得された時刻を示す時刻情報とを関連づけて前記記憶部に記憶し、
前記判断は、
前記記憶部に記憶された前記店舗情報が示す店舗の時系列上の変化を基に、前記同一グループが来店した店舗の順序を判断する、
請求項1記載の人流分析方法。
【請求項7】
人物の外観画像を取得する画像情報取得部と、
前記外観画像から前記人物を識別する人物識別部と、
前記外観画像から前記人物が所有する所有物を特定し、特定した前記所有物から前記所有物を取得した店舗を推定する店舗推定部と、
前記識別した前記人物を示す人物情報と、前記推定した前記店舗を示す店舗情報と、前記外観画像が取得された時刻を示す時刻情報とを関連づけて記憶する記憶部と、
前記記憶部に記憶された前記店舗情報が示す店舗の時系列上の変化を基に、前記人物が来店した店舗の順序を判断する来店順序判断部とを備える、
人流分析装置。
【請求項8】
前記所有物は、前記店舗で取得した荷物袋を含む、
請求項7記載の人流分析装置。
【請求項9】
前記荷物袋の外観画像を取得する荷物袋画像情報取得部をさらに備え、
前記荷物袋の外観画像の撮像領域は、前記人物の外観画像の撮像領域よりも地面に近い部分である、
請求項8記載の人流分析装置。
【請求項10】
前記荷物袋の外観画像を取得する荷物袋画像情報取得部をさらに備え、
前記人物の外観画像は、前記人物を上方から撮影した画像であり、
前記荷物袋の外観画像は、前記荷物袋を側方から撮影した画像である、
請求項8記載の人流分析装置。
【請求項11】
前記荷物袋の手持ち部分は、人間の上腕部よりも小さい、
請求項8記載の人流分析装置。
【請求項12】
前記人物が購入した商品に関する情報を付与された貼付部材が前記荷物袋に装着される、
請求項8記載の人流分析装置。
【請求項13】
前記貼付部材は、前記人物が購入した商品の種類及び値段を示す色彩情報を有する、
請求項12記載の人流分析装置。
【請求項14】
人物の外観画像を撮影する撮影装置と、
人流分析装置とを備え、
前記人流分析装置は、
前記撮影装置により撮影された前記外観画像を取得する画像情報取得部と、
前記外観画像から前記人物を識別する人物識別部と、
前記外観画像から前記人物が所有する所有物を特定し、特定した前記所有物から前記所有物を取得した店舗を推定する店舗推定部と、
前記識別した前記人物を示す人物情報と、前記推定した前記店舗を示す店舗情報と、前記外観画像が取得された時刻を示す時刻情報とを関連づけて記憶する記憶部と、
前記記憶部に記憶された前記店舗情報が示す店舗の時系列上の変化を基に、前記人物が来店した店舗の順序を判断する来店順序判断部とを備える、
人流分析システム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、人の流れを分析する人流分析方法、人流分析装置、及び該人流分析装置を備える人流分析システムに関し、例えば、人物がどの順序で店舗を移動したかを判断する人流分析方法、人流分析装置、及び該人流分析装置を備える人流分析システムに関するものである。
【背景技術】
【0002】
近年、多数の店舗が併設されたショッピングモール等の商業施設が多く建設され、ユーザは、多数の店舗から種々の商品を購入することができる。このような商業施設又は各店舗では、ユーザの消費動向を把握し、さらに販売を増加させるため、ユーザがどのような店舗をどのような順序で巡回して商品を購入したかを調査することにより、人の流れを分析する人流分析が行われている。
【0003】
上記の人流分析に関して、例えば、特許文献1には、動線管理システムが、顔画像を登録する登録者データベースと、複数の撮影エリアで撮影された画像から顔画像を検出する顔検出エンジンと、顔検出エンジンで検出された顔画像と、登録者データベースに登録された顔画像と照合する顔認証エンジンを備え、複数の撮影エリアで撮影された画像に映る来店客の動線を算出・記録することが開示されている。
【0004】
また、特許文献2には、各店舗の区画に合わせて通信範囲が設定された近距離無線通信のアクセスポイントに接続される情報処理端末と情報処理システムとを含み、情報処理端末は、店舗に設置されたアクセスポイントの通信範囲に進入した利用客の携帯端末からユーザ識別情報を取得したことに応答して利用客の入店情報を情報処理システムに送信する入店情報送信部と、携帯端末との間に確立した近距離無線通信の切断に応答して利用客の退店情報を情報処理システムに送信する退店情報送信部とを含み、情報処理システムは、入店情報を記録する入店情報記録部と、退店情報を記録する退店情報記録部と、各利用客の入店情報及び退店情報に基づいて行動履歴情報を生成する行動履歴情報生成部とを含む情報収集システムが開示されている。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2010−55594号公報
【特許文献2】特開2016−177539号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、上記の従来技術では、人物が所有する所有物については何ら検討されておらず、人物が来店した店舗の順序を分析する方法について、更なる改善が必要とされていた。
【0007】
本開示は、上記の課題を解決するためになされたもので、人物が来店した店舗の順序を簡易な構成で高精度に判断することができる人流分析方法、人流分析装置、及び人流分析システムを提供することを目的とするものである。
【課題を解決するための手段】
【0008】
本開示の一態様に係る人流分析方法は、人の流れを分析する人流分析装置における人流分析方法であって、人物の外観画像を取得し、前記外観画像から前記人物を識別し、前記外観画像から前記人物が所有する所有物を特定し、特定した前記所有物から前記所有物を取得した店舗を推定し、前記識別した前記人物を示す人物情報と、前記推定した前記店舗を示す店舗情報と、前記外観画像が取得された時刻を示す時刻情報とを関連づけて記憶部に記憶し、前記記憶部に記憶された前記店舗情報が示す店舗の時系列上の変化を基に、前記人物が来店した店舗の順序を判断する。
【発明の効果】
【0009】
本開示によれば、人物が来店した店舗の順序を簡易な構成で高精度に判断することができる。
【図面の簡単な説明】
【0010】
図1】本開示の実施の形態1に係る人流分析システムの構成の一例を示すブロック図である。
図2】人物画像の時系列的な変化の一例を示す模式図である。
図3図1に示すカメラの配置例を示す図である。
図4図1に示す人流分析装置の構成の一例を示すブロック図である。
図5】人物が所有する所有物の変化の一例を説明するための模式図である。
図6図4に示す画像情報取得部が作成する画像ファイルテーブルの一例を示す図である。
図7図4に示す人物識別部が使用する人物識別用テーブルの一例を示す図である。
図8図4に示す店舗推定部が使用する店舗推定用テーブルの一例を示す図である。
図9図4に示す来店順序判断部が使用する店舗テーブルの一例を示す図である。
図10図4に示すデータベースに格納される来店順序推定テーブルの一例を示す図である。
図11】人物が所有する所有物の変化の他の例を説明するための模式図である。
図12図4に示すデータベースに格納される来店順序推定テーブルの他の例を示す図である。
図13図4に示す来店順序判断部が作成する統合店舗テーブルの一例を示す図である。
図14図1に示す人流分析システムによる人流分析処理の一例を示すシーケンス図である。
図15】本開示の実施の形態2に係る人流分析システムの人流分析装置の構成の一例を示すブロック図である。
図16図15に示す人物グループ識別部が作成する人物グループテーブルの一例を示す図である。
図17図15に示すデータベースに格納される来店順序推定テーブルの一例を示す図である。
図18】本開示の実施の形態2に係る人流分析システムによる人流分析処理の一例を示すシーケンス図である。
図19】人物を撮影するカメラと所有物を撮影するカメラとを用いる場合の第1の配置例を示す模式図である。
図20】人物が荷物袋を所持している場合の側面図である。
図21】人物が荷物袋を所持している場合の正面図である。
図22】人物を撮影するカメラと所有物を撮影するカメラとを用いる場合の第2の配置例を示す模式図である。
図23】荷物袋の手持ち部分の第1の例及びこの例の荷物袋の持ち方を示す模式図である。
図24】荷物袋の手持ち部分の第2の例及びこの例の荷物袋の持ち方を示す模式図である。
図25】荷物袋の手持ち部分の第3の例及びこの例の荷物袋の持ち方を示す模式図である。
図26】荷物袋に貼られる貼付部材の第1の例を示す図である。
図27】荷物袋に貼られる貼付部材の第2の例を示す図である。
図28】商品の種類と貼付部材の色との対応関係を示す第1の色彩情報テーブルの一例を示す図である。
図29】商品の値段と貼付部材の色の濃度との対応関係を示す第2の色彩情報テーブルの一例を示す図である。
図30図19に示す荷物袋の外観画像を撮影するカメラにより撮影された外観画像の一例を示す図である。
図31】バーコードが付与された貼付部材の一例を示す図である。
【発明を実施するための形態】
【0011】
(本開示の基礎となった知見)
上記の特許文献1では、監視カメラが複数の撮影エリア(例えば、正面入り口、化粧品売り場、雑貨売り場、婦人服売り場、通用口など)に配置され、当該撮影エリアにいる来店客を撮影して画像を取得している。したがって、多数の店舗が併設された商業施設では、監視カメラを店舗又は売り場ごとに配置する必要がある。このため、多数の監視カメラを使用する必要があり、動線管理システムの構成が複雑になる。
【0012】
また、特許文献2でも、店舗に設置されたアクセスポイントを使用しているため、多数の店舗が併設された商業施設では、アクセスポイントを店舗又は売り場ごとに配置する必要がある。このため、多数のアクセスポイントを使用する必要があり、情報収集システムの構成が複雑になる。
【0013】
また、特許文献1では、撮影された画像から顔画像を検出して登録者データベースに登録された顔画像と照合することにより、複数の撮影エリアで撮影された画像に映る来店客の動線を算出及び記録している。しかしながら、人物の顔が十分に特定可能に撮影されていない場合、顔画像のみでは人物を正確に識別することができず、人物が来店した店舗の順序を正確に判断することができない。
【0014】
一方、来店客が商品を購入等した時に店舗で渡された荷物袋(バッグ、包装紙等を含む)には、店舗名やブランド名が描かれているので、商品を購入等した後、来店客は所有物として荷物袋を所持している。したがって、人物が所持している荷物袋を認識し、同じ人物が直前に持っていた荷物袋との差分を取ることにより、人物がどの順番で店舗間を移動したかがわかる。このように、人物の所有物を利用することにより、人物が来店した店舗を正確に判断することができる。
【0015】
上記の知見に基づき、本願発明者らは、人物が来店した店舗の順序を如何にして簡易な構成で高精度に判断できるかについて鋭意検討を行った結果、人物が所有する所有物に着目し、本開示を完成したものである。
【0016】
本開示の一態様に係る人流分析方法は、人の流れを分析する人流分析装置における人流分析方法であって、人物の外観画像を取得し、前記外観画像から前記人物を識別し、前記外観画像から前記人物が所有する所有物を特定し、特定した前記所有物から前記所有物を取得した店舗を推定し、前記識別した前記人物を示す人物情報と、前記推定した前記店舗を示す店舗情報と、前記外観画像が取得された時刻を示す時刻情報とを関連づけて記憶部に記憶し、前記記憶部に記憶された前記店舗情報が示す店舗の時系列上の変化を基に、前記人物が来店した店舗の順序を判断する。
【0017】
このような構成により、人物の外観画像を取得し、取得した外観画像から人物を識別するとともに、取得した外観画像から人物が所有する所有物を特定して、特定した所有物から所有物を取得した店舗を推定し、識別した人物を示す人物情報と、推定した店舗を示す店舗情報と、外観画像が取得された時刻を示す時刻情報とを関連づけて記憶部に記憶し、記憶部に記憶された店舗情報が示す店舗の時系列上の変化を基に、人物が来店した店舗の順序を判断している。
【0018】
したがって、外観画像を撮影するカメラを店舗毎に配置することなく、人物の外観画像から所有物を特定し、特定した所有物から所有物を取得した店舗を正確に推定することができるので、推定した店舗の時系列上の変化、例えば、新たに追加された店舗を次に来店した店舗であると判断することができる。この結果、人物が来店した店舗の順序を簡易な構成で高精度に判断することができる。
【0019】
前記所有物は、前記店舗で取得した荷物袋を含むようにしてもよい。
【0020】
このような構成により、店舗で取得した荷物袋は当該店舗を識別可能な標章、色彩、形状等を有しているので、荷物袋から当該荷物袋を取得した店舗を正確に推定することができ、人物が来店した店舗の順序をより高精度に判断することができる。
【0021】
前記荷物袋は、前記店舗を識別するための標章を有し、前記推定は、前記荷物袋が有する前記標章を基に、前記荷物袋を取得した店舗を推定するようにしてもよい。
【0022】
このような構成により、荷物袋が有する、店舗を識別するための標章を基に、荷物袋を取得した店舗を推定しているので、人物が来店した店舗をより正確に推定することができる。
【0023】
前記判断は、第1の時刻に前記人物が所有する前記所有物から推定した店舗の一覧を示す第1の店舗リスト情報と、前記第1の時刻より後の第2の時刻に前記人物が所有する前記所有物から推定した店舗の一覧を示す第2の店舗リスト情報との差分を算出し、前記差分を基に、前記人物が来店した店舗の順序を判断するようにしてもよい。
【0024】
このような構成により、第1の時刻に人物が所有する所有物から推定した店舗の一覧を示す第1の店舗リスト情報と、第1の時刻より後の第2の時刻に人物が所有する所有物から推定した店舗の一覧を示す第2の店舗リスト情報との差分を算出し、算出した差分を基に、人物が来店した店舗の順序を判断しているので、算出した差分が新たに追加された店舗を示す場合、新たに追加された店舗を次に来店した店舗であると判断することができる。
【0025】
前記判断は、前記第1の店舗リスト情報が示す店舗のうち前記第2の店舗リスト情報が示す店舗に該当するものがない消失店舗がある場合、前記消失店舗で取得された前記所有物が前記第2の店舗リスト情報が示す店舗で取得された前記所有物のいずれかに統合されたと判断するようにしてもよい。
【0026】
このような構成により、第1の店舗リスト情報が示す店舗のうち第2の店舗リスト情報が示す店舗に該当するものがない消失店舗がある場合、消失店舗で取得された所有物が第2の店舗リスト情報が示す店舗で取得された所有物のいずれかに統合されたと判断しているので、人物が小さい所有物を大きい所有物の中に入れ、小さい所有物から推定した店舗が店舗リスト情報の店舗にない場合でも、小さい所有物が店舗リスト情報のいずかの店舗で取得された大きい所有物に入れられたと判断し、以降の差分から小さい所有物を取得した店舗を除外することにより、新たに追加された店舗を次に来店した店舗であると正確に判断することができる。
【0027】
前記取得は、複数の人物を含む複数人物外観画像を取得し、前記識別は、前記複数人物外観画像から前記複数の人物が同一グループか否かを判断し、前記複数人物外観画像から前記同一グループと判断した前記複数の人物を含むグループ画像を切り出し、前記グループ画像から前記同一グループの前記複数の人物を識別し、前記推定は、前記グループ画像から前記同一グループの前記複数の人物が所有する所有物を特定し、特定した前記所有物から前記所有物を取得した店舗を推定し、前記記憶は、前記同一グループの前記複数の人物を示すグループ情報と、前記同一グループの前記複数の人物が所有する前記所有物から推定した前記店舗を示す店舗情報と、前記複数人物外観画像が取得された時刻を示す時刻情報とを関連づけて前記記憶部に記憶し、前記判断は、前記記憶部に記憶された前記店舗情報が示す店舗の時系列上の変化を基に、前記同一グループが来店した店舗の順序を判断するようにしてもよい。
【0028】
このような構成により、複数の人物を含む複数人物外観画像を取得し、取得した複数人物外観画像から複数の人物が同一グループか否かを判断し、複数人物外観画像から同一グループと判断した複数の人物を含むグループ画像を切り出し、切り出したグループ画像から同一グループの複数の人物を識別するとともに、切り出したグループ画像から同一グループの複数の人物が所有する所有物を特定して、特定した所有物から所有物を取得した店舗を推定し、同一グループの複数の人物を示すグループ情報と、同一グループの複数の人物が所有する所有物から推定した店舗を示す店舗情報と、複数人物外観画像が取得された時刻を示す時刻情報とを関連づけて記憶部に記憶し、記憶部に記憶された店舗情報が示す店舗の時系列上の変化を基に、同一グループが来店した店舗の順序を判断している。
【0029】
したがって、同一グループの複数の人物が複数の店舗に来店し、各店舗で取得した所有物を所持する人物がグループ内で変わった場合でも、同一グループが来店した店舗の順序を簡易な構成で高精度に判断することができる。
【0030】
また、本開示は、以上のような特徴的な処理を実行する人流分析方法として実現することができるだけでなく、人流分析方法に含まれる特徴的な処理に対応する特徴的な構成を備える人流分析装置、人流分析システムなどとして実現することもできる。したがって、以下の他の態様でも、上記の人流分析方法と同様の効果を奏することができる。
【0031】
本開示の他の態様に係る人流分析装置は、人物の外観画像を取得する画像情報取得部と、前記外観画像から前記人物を識別する人物識別部と、前記外観画像から前記人物が所有する所有物を特定し、特定した前記所有物から前記所有物を取得した店舗を推定する店舗推定部と、前記識別した前記人物を示す人物情報と、前記推定した前記店舗を示す店舗情報と、前記外観画像が取得された時刻を示す時刻情報とを関連づけて記憶する記憶部と、前記記憶部に記憶された前記店舗情報が示す店舗の時系列上の変化を基に、前記人物が来店した店舗の順序を判断する来店順序判断部とを備える。
【0032】
前記所有物は、前記店舗で取得した荷物袋を含むようにしてもよい。
【0033】
このような構成により、店舗で取得した荷物袋は当該店舗を識別可能な標章、色彩、形状等を有しているので、荷物袋から当該荷物袋を取得した店舗を正確に推定することができ、人物が来店した店舗の順序をより高精度に判断することができる。
【0034】
前記荷物袋の外観画像を取得する荷物袋画像情報取得部をさらに備え、前記荷物袋の外観画像の撮像領域は、前記人物の外観画像の撮像領域よりも地面に近い部分であってもよい。
【0035】
このような構成により、画像情報取得部により人物の外観画像を取得し、荷物袋画像情報取得部により荷物袋の外観画像を取得し、荷物袋の外観画像の撮像領域が、人物の外観画像の撮像領域よりも地面に近い部分であるので、人物の特定と荷物袋の特定とを高精度に実施できるようになる。
【0036】
前記荷物袋の外観画像を取得する荷物袋画像情報取得部をさらに備え、前記人物の外観画像は、前記人物を上方から撮影した画像であり、前記荷物袋の外観画像は、前記荷物袋を側方から撮影した画像であってもよい。
【0037】
このような構成により、画像情報取得部により人物の外観画像を取得し、荷物袋画像情報取得部により荷物袋の外観画像を取得し、人物の外観画像が人物を上方から撮影した画像であり、荷物袋の外観画像が荷物袋を側方から撮影した画像であるので、人物の特定と荷物袋の特定とを高精度に実施できるようになる。
【0038】
前記荷物袋の手持ち部分は、人間の上腕部よりも小さくなるようにしてもよい。
【0039】
このような構成により、荷物袋の手持ち部分が人間の上腕部よりも小さいので、荷物袋を肩にかけることなく、手で持つようになる。したがって、地面からの荷物袋の標章等の距離が一定になり、荷物袋の外観画像の撮像領域を絞ることができ、認識処理の性能を高めることが可能になる。
【0040】
前記人物が購入した商品に関する情報を付与された貼付部材が前記荷物袋に装着されるようにしてもよい。
【0041】
このような構成により、人物が購入した商品に関する情報を付与された貼付部材が荷物袋に装着されるので、購入した商品に関する情報を荷物袋にもたせることができる。
【0042】
前記貼付部材は、前記人物が購入した商品の種類及び値段を示す色彩情報を有するようにしてもよい。
【0043】
このような構成により、貼付部材が、人物が購入した商品の種類及び値段を示す色彩情報を有しているので、貼付部材の色彩情報により、人物が購入した商品の種類及び値段を特定することができる。
【0044】
また、本開示の他の態様に係る人流分析システムは、人物の外観画像を撮影する撮影装置と、人流分析装置とを備え、前記人流分析装置は、前記撮影装置により撮影された前記外観画像を取得する画像情報取得部と、前記外観画像から前記人物を識別する人物識別部と、前記外観画像から前記人物が所有する所有物を特定し、特定した前記所有物から前記所有物を取得した店舗を推定する店舗推定部と、前記識別した前記人物を示す人物情報と、前記推定した前記店舗を示す店舗情報と、前記外観画像が取得された時刻を示す時刻情報とを関連づけて記憶する記憶部と、前記記憶部に記憶された前記店舗情報が示す店舗の時系列上の変化を基に、前記人物が来店した店舗の順序を判断する来店順序判断部とを備える。
【0045】
また、本開示の人流分析方法に含まれる特徴的な処理をコンピュータに実行させるコンピュータプログラムとして実現することもできる。そして、このようなコンピュータプログラムを、CD−ROM等のコンピュータ読取可能な非一時的な記録媒体又はインターネット等の通信ネットワークを介して流通させることができるのは、言うまでもない。
【0046】
なお、以下で説明する実施の形態は、いずれも本開示の一具体例を示すものである。以下の実施の形態で示される数値、形状、構成要素、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。また、全ての実施の形態において、各々の内容を組み合わせることもできる。また、本開示の実施の形態に係る人流分析システム又は人流分析装置の構成要素の一部とそれ以外の構成要素とを複数のコンピュータに分散させたシステムとして構成してもよい。
【0047】
以下、本開示の実施の形態について、図面を参照しながら説明する。
【0048】
(実施の形態1)
図1は、本開示の実施の形態1に係る人流分析システムの構成の一例を示すブロック図である。図1に示す人流分析システムは、人流分析装置1、複数のカメラ21〜2n、及びディスプレイ3を備える。
【0049】
人流分析装置1は、例えば、プロセッサ、メモリ、通信装置、及び外部記憶装置等を備えるクラウドサーバ等から構成され、有線又は無線のネットワーク4を介して、複数のカメラ21〜2n及びディスプレイ3に通信可能に接続されている。
【0050】
複数のカメラ21〜2nは、例えば、周囲360度の範囲を撮影可能な全方位カメラ及び通信装置等から構成され、複数の店舗が併設された商業施設等の所定位置に設置される。複数のカメラ21〜2nは、商業施設を訪れた人物の外観画像を撮影する撮影装置の一例であり、ネットワーク4を介して、撮影した外観画像を人流分析装置1に送信する。なお、カメラ21〜2nの構成は、上記の例に特に限定されず、人物の外観画像を撮影できれば、種々の撮影装置を用いることができる。
【0051】
人流分析装置1は、複数のカメラ21〜2nから受信した外観情報を用いて、人物がどの順序で店舗を移動したかを判断し、ネットワーク4を介して、人物の来店順序を示す来店順序情報等をディスプレイ3に送信する。
【0052】
ディスプレイ3は、例えば、タブレット等から構成され、人流分析装置1から受信した来店順序情報等を商業施設又は各店舗の経営者又は管理者等に対して表示する。なお、ディスプレイ3の構成は、上記の例に特に限定されず、スマートフォン、パーソナルコンピュータ等の一又は複数の通信端末を用いてもよい。
【0053】
図2は、人物画像の時系列的な変化の一例を示す模式図である。図2に示すように、例えば、時刻13:10の人物画像として、人物P1が撮影され、時刻14:15の人物画像として、荷物袋B1を所持する人物P1が撮影され、時刻14:38の人物画像として、荷物袋B1及び荷物袋B2を所持する人物P1が撮影されている。
【0054】
このように、ショッピングモール等の商業施設で買い物を行うと、店舗及びブランド名等の描かれた荷物袋が手渡され、人物P1の所有物として、時刻14:15では、荷物袋B1が増え、時刻14:38では、荷物袋B2が増えている。したがって、人物P1は、13:10〜14:15の間に荷物袋B1を買った店舗を来店し、14:15〜14:38の間に荷物袋B2を買った店舗を来店したことがわかる。
【0055】
本実施の形態では、後述するように、上記の荷物袋B1、B2を利用することにより、人物が来店した店舗を判断しているので、以下のように、商業施設のうち人物の往来が多い代表箇所のみにカメラ21〜2nを設置すればよい。
【0056】
図3は、図1に示すカメラ21〜2nの配置例を示す図であり、複数のカメラ21〜2nのうち2台のカメラ21、22を用いる例を示す。図3に示す例では、商業施設のあるフロアーの店舗レイアウトとして、例えば、中央部に広場が設置され、広場を取り囲むように通路が設置され、店舗A〜Fの6店舗が略コの字状に配置されている。
【0057】
この場合、従来の動線管理システム等の監視カメラは、店舗毎に設置する必要があるため、店舗A〜F及び広場毎に1台のカメラ、すなわち、7台の監視カメラを設置しなければならなかった。
【0058】
一方、本実施の形態では、図3に示すように、カメラ21は、店舗A〜C及び広場に来店又出店する人物を撮影可能な位置に配置され、カメラ22は、店舗D〜F及び広場に来店又出店する人物を撮影可能な位置に配置される。カメラ21は、店舗A〜C及び広場に来店又出店する人物を撮影し、撮影した外観画像を人流分析装置1に送信し、カメラ22は、店舗D〜F及び広場に来店又出店する人物を撮影し、撮影した外観画像を人流分析装置1に送信する。したがって、本実施の形態では、例えば、2台のカメラ21、22により人物の外観画像を撮影し、この外観画像を用いて、店舗A〜F及び広場に来店した人物の来店順序を正確に判断することができる。
【0059】
上記のように、従来の動線管理システム等では、7台の監視カメラを必要としたが、本実施の形態では、外観画像を撮影するカメラを店舗毎に配置する必要がなく、例えば、2台のカメラ21、22を用いて、人物が来店した店舗の順序を簡易な構成で高精度に判断することができる。なお、上記の例は、2台のカメラ21、22を用いたが、この例に特に限定されず、1台又は3台以上のカメラを用いてもよい。
【0060】
図4は、図1に示す人流分析装置1の構成の一例を示すブロック図である。図4に示すように、人流分析装置1は、画像情報取得部11、人物識別部12、店舗推定部13、時刻情報取得部14、データベース15、来店順序判断部16、及び通信部17を備える。
【0061】
通信部17は、ネットワーク4を介して、複数のカメラ21〜2nから送信された外観情報を受信して画像情報取得部11に出力する。画像情報取得部11は、通信部17から人物の外観画像を取得して外観画像を人物識別部12及び店舗推定部13に出力し、外観画像を取得した時刻を示す時刻情報を時刻情報取得部14に出力する。
【0062】
人物識別部12は、画像情報取得部11が取得した外観画像から人物を識別し、識別した人物を示す人物情報をデータベース15に出力する。
【0063】
店舗推定部13は、画像情報取得部11が取得した外観画像から人物が所有する所有物を特定し、特定した所有物から所有物を取得した店舗を推定する。また、店舗推定部13は、所有物が店舗で取得した荷物袋である場合、荷物袋が有する、店舗を識別可能な標章、色彩、形状等を基に、荷物袋を取得した店舗を推定する。また、店舗推定部13は、荷物袋が店舗を識別するための標章を有している場合、荷物袋が有する標章を基に、荷物袋を取得した店舗を推定する。店舗推定部13は、推定した店舗を示す店舗情報をデータベース15に出力する。
【0064】
時刻情報取得部14は、画像情報取得部11から取得した時刻情報をデータベース15に出力する。
【0065】
データベース15は、メモリ及び/又は外部記憶装置等から構成され、人物識別部12から取得した人物情報と、店舗推定部13から取得した店舗情報と、時刻情報取得部14から取得した時刻情報とを関連づけて記憶する。
【0066】
来店順序判断部16は、データベース15に記憶された店舗情報が示す店舗の時系列上の変化を基に、人物が来店した店舗の順序を人物毎に判断し、判断した人物毎の来店順序を示す来店順序情報を人物情報とともに通信部17に出力する。
【0067】
具体的には、来店順序判断部16は、第1の時刻に人物が所有する所有物から推定した店舗の一覧を示す第1の店舗リスト情報と、第1の時刻より後の第2の時刻に人物が所有する所有物から推定した店舗の一覧を示す第2の店舗リスト情報との差分を算出し、算出した差分を基に、人物が来店した店舗の順序を人物毎に判断する。
【0068】
通信部17は、ネットワーク4を介して、来店順序情報及び人物情報をディスプレイ3に送信する。ディスプレイ3は、受信した来店順序情報及び人物情報から人物毎の来店順序を表示し、人物毎の来店順序を商業施設又は各店舗の経営者又は管理者等に通知する。
【0069】
次に、上記のように構成された人流分析装置1の動作について、具体例を用いて説明する。図5は、人物が所有する所有物の変化の一例を説明するための模式図である。なお、以下の説明では、カメラ21〜2nのうちの1台をカメラ2と記載する。
【0070】
図5に示すように、例えば、時刻13:10に人物P1が所有物として荷物袋B1を所有しており、カメラ2が荷物袋B1を所持している人物P1を撮影する。このとき、カメラ2は、荷物袋B1を所持している人物P1の外観画像として、画像ファイル名FA246.pngの画像データを人流分析装置1に送信する。
【0071】
次に、時刻14:15に人物P1が所有物としてさらに荷物袋B2を所有しており、カメラ2が荷物袋B1及び荷物袋B2を所持している人物P1を撮影する。このとき、カメラ2は、荷物袋B1及び荷物袋B2を所持している人物P1の外観画像として、画像ファイル名FA247.pngの画像データを人流分析装置1に送信する。
【0072】
次に、時刻14:38に人物P1が所有物としてさらに荷物袋B3を所有しており、カメラ2が荷物袋B1、荷物袋B2及び荷物袋B3を所持している人物P1を撮影する。このとき、カメラ2は、荷物袋B1、荷物袋B2及び荷物袋B3を所持している人物P1の外観画像として、画像ファイル名FA248.pngの画像データを人流分析装置1に送信する。
【0073】
図6は、図4に示す画像情報取得部11が作成する画像ファイルテーブルの一例を示す図である。例えば、図5に示すような外観画像が人流分析装置1に送信された場合、画像情報取得部11は、外観画像を取得した時刻とカメラ2が撮影した画像ファィル名とを対応付けた動的なテーブルとして、例えば、図6に示す画像ファイルテーブルを作成する。
【0074】
図6に示す画像ファイルテーブルには、時刻と画像ファイル名とがテーブル形式で格納されており、例えば、時刻13:10の外観画像の画像フィル名はFA246.pngであることがわかる。画像情報取得部11は、作成した画像ファイルテーブルと外観画像とを人物識別部12及び店舗推定部13に出力するとともに、画像ファイルテーブルを時刻情報取得部14に出力する。
【0075】
図7は、図4に示す人物識別部12が使用する人物識別用テーブルの一例を示す図である。人物識別部12は、人物ID(識別情報)とラベル済み人物画像ファイルリストとを対応付けた静的なテーブルとして、例えば、図7に示す人物識別用テーブルを予め記憶している。
【0076】
図7に示す人物識別用テーブルには、人物IDとラベル済み人物画像ファイルリストとがテーブル形式で予め格納されており、例えば、人物IDがP123の人物が撮影されている画像として、ラベル済み人物画像ファイルリストのFA111.png、FA112.png、…の画像データが予め記憶されている。
【0077】
人物識別部12は、人物識別用テーブルのデータを基に、学習モデルを構築し、構築した学習モデルを用いて外観画像の人物を推定する。この場合、人物識別部12は、人物の顔画像だけでなく、人物の容貌、服装、体型等を総合的に学習することができ、カメラ21〜2nの数が少ない場合でも、人物を高精度に識別することができる。
【0078】
図8は、図4に示す店舗推定部13が使用する店舗推定用テーブルの一例を示す図である。店舗推定部13は、店舗ID(識別情報)とラベル済み所有物画像ファイルリストとを対応付けた静的なテーブルとして、例えば、図8に示す店舗推定用テーブルを予め記憶している。
【0079】
図8に示す店舗推定用テーブルには、店舗IDとラベル済み所有物画像ファイルリストとがテーブル形式で予め格納されており、例えば、店舗IDがSH234の店舗が提供する荷物袋等の所有物の画像として、ラベル済み所有物画像ファイルリストB777.png、B778.png、…の画像データが予め記憶されている。店舗推定部13は、店舗推定用テーブルのデータを基に、学習モデルを構築し、構築した学習モデルを用いて外観画像の人物が所持する所有物を特定し、特定した所有物から店舗を推定する。
【0080】
ここで、所有物として、例えば、荷物袋を用いた場合、ブランド名、店舗名、ロゴマーク、商標、特徴的なデザイン等の店舗を識別するための標章が荷物袋の表面に形成されている。したがって、店舗推定部13は、荷物袋の形態だけでなく、店舗を識別するための標章も含めて荷物袋を全体的に学習することができ、カメラ21〜2nの数が少ない場合でも、荷物袋を高精度に特定し、特定した荷物袋から店舗を高精度に推定することができる。なお、所有物は、上記の例に特に限定されず、種々の所有物を用いることができ、例えば、店舗を識別できれば、店舗が配布するパンフレット等の他の所有物であってもよい。
【0081】
図9は、図4に示す来店順序判断部16が使用する店舗テーブルの一例を示す図である。来店順序判断部16は、店舗IDと店舗名とを対応付けた静的なテーブルとして、例えば、図9に示す店舗テーブルを予め記憶している。図9に示す店舗テーブルには、店舗IDと店舗名とがテーブル形式で予め格納されており、例えば、店舗IDがSH234の店舗名として、店舗Aが予め記憶されている。
【0082】
図10は、図4に示すデータベース15に格納される来店順序推定テーブルの一例を示す図である。時刻情報取得部14は、図6に示す画像ファイルテーブルの時刻を図10に示す来店順序推定テーブルの時刻(時刻情報の一例)に格納する。人物識別部12は、図6に示す画像ファイルテーブルの外観画像を用いて推定した人物IDを図10に示す来店順序推定テーブルの推定人物ID(人物情報の一例)に格納する。店舗推定部13は、図6に示す画像ファイルテーブルの外観画像を用いて推定した店舗IDを図10に示す来店順序推定テーブルの推定店舗IDリスト(店舗情報又は店舗リスト情報の一例)に格納する。
【0083】
来店順序判断部16は、現在の推定店舗IDリストと直前の時刻の推定店舗IDリストとの差分を求め、現在の推定店舗IDリストに存在し且つ直前の時刻の推定店舗IDリストに存在しない店舗IDを人物が新規に来店した店舗の店舗IDと判断する。来店順序判断部16は、図9に示す店舗テーブルを参照して、新規と判断した店舗IDに対応する店舗名を図10に示す来店順序推定テーブルの新規来店店舗名に格納する。
【0084】
上記の動作により、データベース15には、時刻、推定人物ID、推定店舗IDリスト、及び新規来店店舗名を対応付けた来店順序推定テーブルが作成され、来店順序判断部16は、新規来店店舗名に格納された店舗名を時刻順に読み出すことにより、人物が来店した店舗の順序を人物毎に判断し、人物毎の来店順序を示す来店順序情報を通信部17に出力する。例えば、図10に示す例では、人物IDがP123の人物は、店舗A、店舗B、店舗Cの順に店舗を来店したことがわかる。なお、上記の例では、外観画像として、png形式の画像データを用いたが、この例に特に限定されず、gif形式、jpg形式等の他の形式の画像データを用いてもよい。
【0085】
次に、直前の時刻の推定店舗IDリストに存在する店舗のうち現在の推定店舗IDリストに存在しない消失店舗がある場合の来店順序判断部16の動作について詳細に説明する。
【0086】
図11は、人物が所有する所有物の変化の他の例を説明するための模式図である。図11に示すように、人物P1が小さい荷物袋B1を所持している外観画像が撮影された後、人物P1が小さい荷物袋B1を所持しておらず、大きい荷物袋B2のみを所持して外観画像が撮影される場合がある。これは、人物P1が大きな荷物袋B2に小さい荷物袋B1を入れて所持する場合があるからである。
【0087】
この場合、本実施の形態では、直前まで持っていた荷物袋B1が認識されない時は、荷物袋B1を荷物袋B2にまとめたと解釈し、以後、荷物袋B1を除外して、荷物袋B2のみとの差分を取り、店舗情報が示す店舗の時系列上の変化を基に、人物が来店した店舗の順序を判断する。
【0088】
具体的には、来店順序判断部16は、直前の時刻の推定店舗IDリスト(第1の店舗リスト情報の一例)が示す店舗のうち現在の推定店舗IDリスト(第2の店舗リスト情報の一例)が示す店舗に該当するものがない消失店舗がある場合、消失店舗で取得された所有物が直前の時刻の推定店舗IDリストが示す店舗で取得された所有物のいずれかに統合されたと判断する。
【0089】
すなわち、来店順序判断部16は、人物が小さい所有物を大きい所有物の中に入れ、小さい所有物から推定した店舗が店舗リスト情報の店舗にない場合、小さい所有物を店舗リスト情報のいずかの店舗で取得された大きい所有物に統合し、以降の差分から小さい所有物を取得した店舗を除外することにより、新たに追加された店舗を次に来店した店舗であると判断し、人物が来店した店舗の順序を人物毎に判断する。
【0090】
図12は、図4に示すデータベース15に格納される来店順序推定テーブルの他の例を示す図である。時刻情報取得部14は、図6に示す画像ファイルテーブルの時刻を図12に示す来店順序推定テーブルの時刻に格納する。人物識別部12は、図6に示す画像ファイルテーブルの外観画像を用いて推定した人物IDを図12に示す来店順序推定テーブルの推定人物IDに格納する。店舗推定部13は、図6に示す画像ファイルテーブルの外観画像を用いて推定した店舗IDを図12に示す来店順序推定テーブルの推定店舗IDリストに格納する。
【0091】
ここで、来店順序判断部16は、現在の推定店舗IDリストと直前の時刻の推定店舗IDリストとの差分を求め、現在の推定店舗IDリストに含まれない店舗ID(消失店舗)が存在すれば、その店舗IDに相当する所有物が、直前の時刻の推定店舗IDリストの先頭の店舗IDに相当する所有物に統合されたと判断し、統合先店舗IDと統合元店舗IDとを対応付けた統合店舗テーブルを作成する。
【0092】
図13は、図4に示す来店順序判断部16が作成する統合店舗テーブルの一例を示す図である。例えば、図12に示すように、直前の時刻14:15の推定店舗IDリストに店舗IDとしてSH234が存在し、現在の時刻14:38の推定店舗IDリストに店舗IDとしてSH234(消失店舗)が存在せず、先頭の店舗IDとしてSH567が存在する場合、図13に示すように、来店順序判断部16は、消失店舗のSH234を先頭のSH567に統合するため、統合先店舗IDにSH567を格納し、統合元店舗IDにSH234を格納した統合店舗テーブルを作成する。
【0093】
次に、来店順序判断部16は、統合店舗テーブルを参照して、現在の推定店舗IDリストに存在しない統合元店舗IDが現在の推定店舗IDリスト及び直前の時刻の推定店舗IDリストに存在する統合先店舗IDに統合されたと判断して差分から除外し、現在の推定店舗IDリストに存在し且つ直前の時刻の推定店舗IDリストに存在しない店舗IDを、人物が新規に来店した店舗の店舗IDと判断し、図9に示す店舗テーブルを参照して、新規と判断した店舗IDに対応する店舗名を図12に示す新規来店店舗名に格納する。
【0094】
図12に示す例では、現在時刻が14:38である場合、直前の時刻14:15の推定店舗IDリストにSH234が存在するが、現在の推定店舗IDリストにはSH234が存在せず、直前の推定店舗IDリスト及び現在の推定店舗IDリストにSH567が存在する。この場合、来店順序判断部16は、時刻14:15に存在した店舗IDであるSH234の店舗で取得した所有物が現在の推定店舗IDリストの先頭の店舗IDであるSH567の店舗で取得した所有物に統合されたと判断してSH234を除外して、直前の推定店舗IDリストと現在の推定店舗IDリストとの差分を求め、差分であるSH789が新規に来店した店舗の店舗IDであると判断し、店舗Cを図12に示す新規来店店舗名に格納する。
【0095】
したがって、人物が小さい所有物を大きい所有物の中に入れ、小さい所有物から推定した店舗が店舗リスト情報(推定店舗IDリスト)の店舗にない場合でも、小さい所有物が店舗リスト情報(推定店舗IDリスト)のいずかの店舗で取得された大きい所有物に入れられたと判断し、以降の差分から小さい所有物を取得した店舗を除外することにより、新たに追加された店舗を次に来店した店舗であると正確に判断することができる。
【0096】
次に、上記のように構成された人流分析システムによる人流分析処理について説明する。図14は、図1に示す人流分析システムによる人流分析処理の一例を示すシーケンス図である。
【0097】
まず、複数のカメラ21〜2nは、商業施設を訪れた人物の外観画像を撮影し、撮影した外観画像を、人流分析装置1に送信する画像送信処理を実行する(ステップS11)。ここで、複数のカメラ21〜2nは、自身を識別するためのカメラID(識別情報)を外観画像とともに送信するようにしてもよい。この場合、後述する人物識別処理、店舗推定処理及び来店順序判断処理等において、カメラIDを用いて外観画像を撮影したカメラの位置を特定し、特定したカメラの位置を用いて各処理の精度を高めることができる。
【0098】
次に、人流分析装置1の通信部17は、複数のカメラ21〜2nから送信された外観情報を受信して画像情報取得部11に出力し、画像情報取得部11は、人物の外観画像を取得して外観画像を人物識別部12及び店舗推定部13に出力し、外観画像を取得した時刻を示す時刻情報を時刻情報取得部14に出力する画像情報取得処理を実行する(ステップS12)。
【0099】
次に、時刻情報取得部14は、画像情報取得部11から取得した時刻情報をデータベース15の来店順序推定テーブルに格納する時刻情報取得処理を実行する(ステップS13)。
【0100】
次に、人物識別部12は、画像情報取得部11が取得した外観画像から人物を識別し、識別した人物を示す人物情報(推定人物ID)をデータベース15の来店順序推定テーブルに格納する人物識別処理を実行する(ステップS14)。
【0101】
次に、店舗推定部13は、画像情報取得部11が取得した外観画像から人物が所有する所有物を特定し、特定した所有物から所有物を取得した店舗を推定し、推定した店舗を示す店舗情報(推定店舗IDリスト)をデータベース15の来店順序推定テーブルに格納する店舗推定処理を実行する(ステップS15)。
【0102】
次に、来店順序判断部16は、データベース15の来店順序推定テーブルから、店舗の時系列上の変化を基に、人物が来店した店舗の順序を人物毎に判断し、人物が新規に来店した店舗IDに対応する店舗名をデータベース15の来店順序推定テーブルに格納し、人物毎の来店順序を示す来店順序情報を人物情報とともに通信部17に出力し、通信部17は、来店順序情報及び人物情報をディスプレイ3に送信する来店順序判断処理を実行する(ステップS16)。
【0103】
次に、ディスプレイ3は、来店順序情報及び人物情報を受信する来店順序受信処理を実行する(ステップS17)。
【0104】
最後に、ディスプレイ3は、受信した来店順序情報から人物毎の来店順序を表示する表示処理を実行する(ステップS18)。
【0105】
上記の処理により、本実施の形態では、人物の外観画像を取得し、取得した外観画像から人物を識別するとともに、取得した外観画像から人物が所有する所有物を特定して、特定した所有物から所有物を取得した店舗を推定し、識別した人物を示す人物情報(推定人物ID)と、推定した店舗を示す店舗情報(推定店舗IDリスト)と、外観画像が取得された時刻を示す時刻情報とを関連づけてデータベース15に記憶し、データベース15に記憶された店舗情報が示す店舗の時系列上の変化を基に、人物が来店した店舗の順序を判断している。
【0106】
したがって、本実施の形態では、外観画像を撮影するカメラ21〜2nを店舗毎に配置することなく、人物の外観画像から所有物を特定し、特定した所有物から所有物を取得した店舗を正確に推定することができるので、新たに追加された店舗を次に来店した店舗であると判断することができ、人物が来店した店舗の順序を簡易な構成で高精度に判断することができる。
【0107】
なお、本実施の形態では、取得した外観画像から、人物が所有する所有物を特定し、特定したすべての所有物から、所有物を取得したすべての店舗を推定した。ここで、人物が、ある店舗名が描かれた所有物、例えば、マイバッグを所持して、商業施設を訪れることがある。その場合、人物は、その店舗に来店していないにもかかわらず、外観画像上はあたかも来店したかのように見える。したがって、商業施設の入り口付近にもカメラを設置し、入り口付近に設置されたカメラが取得した外観画像から、人物が所有すると特定された所有物(例えば、マイバッグ)を来店順序の推定対象から除外するようにしてもよい。
【0108】
(実施の形態2)
上記の実施の形態1では、人物毎に来店順序を判断したが、来店者は、一人で買い物を行うだけでなく、親子、友人等のグループで来店する場合もある。この場合、グループの構成員間で所有物、例えば、荷物袋を所持する人が変わることがある。このため、本実施の形態では、来店者のグループを識別し、グループ毎に所有する所有物を特定し、特定した所有物から来店した店舗をグループ毎に推定し、グループ毎に来店順序を判断する。
【0109】
図15は、本開示の実施の形態2に係る人流分析システムの人流分析装置の構成の一例を示すブロック図である。なお、本実施の形態の人流分析システムの構成は、図1に示す人流分析装置1が図15に示す人流分析装置1aに変更された点を除き、図1に示す人流分析システムと同様であるので、人流分析システムの図示を省略し、以下、図1の符号を適宜使用し、図1に示す人流分析システムと異なる点について詳細に説明する。
【0110】
図15に示す人流分析装置1aは、例えば、プロセッサ、メモリ、通信装置、及び外部記憶装置等を備えるクラウドサーバ等から構成され、有線又は無線のネットワーク4を介して、複数のカメラ21〜2n及びディスプレイ3に通信可能に接続されている。人流分析装置1aは、画像情報取得部11、店舗推定部13、時刻情報取得部14、データベース15、来店順序判断部16、通信部17、グループ判断部18、グループ画像切り出し部19、及び人物グループ識別部20を備える。
【0111】
複数のカメラ21〜2nは、商業施設を訪れた複数の人物を含む複数人物外観画像を撮影し、ネットワーク4を介して、撮影した複数人物外観画像を人流分析装置1aに送信する。
【0112】
通信部17は、ネットワーク4を介して、複数のカメラ21〜2nから送信された複数人物外観情報を受信して画像情報取得部11に出力する。画像情報取得部11は、通信部17から複数人物外観画像を取得して複数人物外観画像をグループ判断部18に出力し、複数人物外観画像を取得した時刻を示す時刻情報を時刻情報取得部14に出力する。
【0113】
グループ判断部18は、画像情報取得部11が取得した複数人物外観画像から複数の人物が同一グループか否かを判断し、複数の人物が同一グループであると判断した複数人物外観画像を抽出してグループ画像切り出し部19に出力する。なお、複数の人物が同一グループでない場合、実施の形態1と同様に、各人物を識別するようにしてもよい。
【0114】
グループ画像切り出し部19は、複数の人物が同一グループであると判断された複数人物外観画像から同一グループと判断した複数の人物を含むグループ画像を切り出して人物グループ識別部20及び店舗推定部13に出力する。
【0115】
人物グループ識別部20は、グループ画像切り出し部19が切り出したグループ画像から同一グループの複数の人物を識別し、識別した同一グループの複数の人物を示すグループ情報をデータベース15に出力する。
【0116】
店舗推定部13は、グループ画像切り出し部19が切り出したグループ画像から同一グループの複数の人物が所有する所有物を特定し、特定した所有物から所有物を取得した店舗を推定し、推定した店舗を示す店舗情報をデータベース15に出力する。
【0117】
時刻情報取得部14は、画像情報取得部11から取得した時刻情報をデータベース15に出力する。
【0118】
データベース15は、人物グループ識別部20から取得したグループ情報と、店舗推定部13から取得した店舗情報と、時刻情報取得部14から取得した時刻情報とを関連づけて記憶する。
【0119】
来店順序判断部16は、データベース15に記憶された店舗情報が示す店舗の時系列上の変化を基に、同一グループの複数の人物が来店した店舗の順序をグループ毎に判断し、判断したグループ毎の来店順序を示す来店順序情報をグループ情報とともに通信部17に出力する。
【0120】
通信部17は、ネットワーク4を介して、来店順序情報及びグループ情報をディスプレイ3に送信する。ディスプレイ3は、受信した来店順序情報からグループ毎の来店順序を表示し、グループ毎の来店順序を商業施設又は各店舗の経営者又は管理者等に通知する。
【0121】
次に、上記のように構成された人流分析装置1aの動作について、具体例を用いて説明する。グループ判断部18は、公知のグループ判別方法を用いて、図6に示す画像ファイルテーブルと同様の、複数人物外観画像を取得した時刻と画像ファィル名とを対応付けた画像ファイルテーブルの画像ファイル(複数人物外観画像)から複数の人物が同一グループか否かを判断し、複数の人物が同一グループであると判断した複数人物外観画像を抽出してグループ画像切り出し部19に出力する。グループ画像切り出し部19は、複数の人物が同一グループであると判断された複数人物外観画像から同一グループと判断した複数の人物を含むグループ画像を切り出して人物グループ識別部20に出力する。人物グループ識別部20は、公知のグループ判別方法を用いて、グループ画像から人物IDを推定するとともに、同一グループの複数の人物をまとめた人物グループテーブルを作成する。
【0122】
図16は、図15に示す人物グループ識別部20が作成する人物グループテーブルの一例を示す図である。例えば、図16に示すように、グループを識別する人物グループID(識別情報)と、グループに含まれる複数の人物の人物IDを示す人物IDリストとを対応付けた人物グループテーブルが作成される。図16に示す例では、人物グループIDがG111のグループには、人物IDがP123、P124、P125の3人の人物が含まれていることがわかる。
【0123】
ここで、上記のグループ判別方法としては、例えば、特開2014−229068号公報に記載の方法(画像から人物の座標を推定することで人物の動線を取得し、同じ動線を描く行動をする複数の人物が集団で行動していると推定する方法)や特開2013−50945号公報に記載の方法(カメラ映像から、人物の身体姿勢方向や視線方向を取得し、その方向が互いに向き合っている、又は同じ方向を向いている複数の人物を集団と見なす方法)等を用いることができる。
【0124】
なお、上記のグループ判別方法は一例であり、この例に特に限定されず、例えば、予めグループIDと複数の人物の顔画像IDを関連付けて登録したデータベースを用意し、当該複数の人物の顔画像が検出されたら、グループであると判断する方法を用いたり、画像以外に、携帯端末やその他の無線端末の位置情報を利用する方法を用いたり、画像に加え、音声を取得し、会話が検出された人物の集団をグループであると判断する方法を用いたりしてもよい。
【0125】
図17は、図15に示すデータベース15に格納される来店順序推定テーブルの一例を示す図である。時刻情報取得部14は、複数人物外観画像を取得した時刻と画像ファィル名とを対応付けた画像ファイルテーブルの時刻を図17に示す来店順序推定テーブルの時刻(時刻情報の一例)に格納する。人物グループ識別部20は、上記の画像ファイルテーブルの複数人物外観画像から切り出したグループ画像を用いて推定した図16に示す人物グループテーブルの人物グループIDを図17に示す来店順序推定テーブルの推定人物グループID(グループ情報の一例)に格納する。店舗推定部13は、上記の画像ファイルテーブルの複数人物外観画像を用いて推定した店舗IDを図17に示す来店順序推定テーブルの推定店舗IDリスト(店舗情報又は店舗リスト情報の一例)に格納する。
【0126】
来店順序判断部16は、現在の推定店舗IDリストと直前の時刻の推定店舗IDリストとの差分を求め、現在の推定店舗IDリストに存在し且つ直前の時刻の推定店舗IDリストに存在しない店舗IDを人物が新規に来店した店舗の店舗IDと判断する。来店順序判断部16は、図9に示す店舗テーブルを参照して、新規と判断した店舗IDに対応する店舗名を図17に示す来店順序推定テーブルの新規来店店舗名に格納する。
【0127】
上記の動作により、データベース15には、時刻、推定人物グループID、推定店舗IDリスト、及び新規来店店舗名を対応付けた来店順序推定テーブルが作成され、来店順序判断部16は、新規来店店舗名に格納された店舗名を時刻順に読み出すことにより、同一グループの複数の人物が来店した店舗の順序をグループ毎に判断し、グループ毎の来店順序を示す来店順序情報を通信部17に出力する。例えば、図17に示す例では、人物グループIDがG111のグループは、店舗A、店舗B、店舗Cの順に店舗を来店したことがわかる。
【0128】
次に、上記のように構成された人流分析システムによる人流分析処理について説明する。図18は、本開示の実施の形態2に係る人流分析システムによる人流分析処理の一例を示すシーケンス図である。
【0129】
まず、複数のカメラ21〜2nは、商業施設を訪れた複数の人物を含む複数人物外観画像を撮影し、撮影した複数人物外観画像を、人流分析装置1aに送信する画像送信処理を実行する(ステップS11)。
【0130】
次に、人流分析装置1aの通信部17は、複数のカメラ21〜2nから送信された複数人物外観情報を受信して画像情報取得部11に出力し、画像情報取得部11は、複数の人物を含む複数人物外観画像を取得して複数人物外観画像をグループ判断部18に出力し、複数人物外観画像を取得した時刻を示す時刻情報を時刻情報取得部14に出力する画像情報取得処理を実行する(ステップS12)。
【0131】
次に、時刻情報取得部14は、画像情報取得部11から取得した時刻情報をデータベース15の来店順序推定テーブルに格納する時刻情報取得処理を実行する(ステップS13)。
【0132】
次に、グループ判断部18は、画像情報取得部11が取得した複数人物外観画像から複数の人物が同一グループか否かを判断し、複数の人物が同一グループであると判断した複数人物外観画像を抽出してグループ画像切り出し部19に出力するグループ抽出処理を実行する(ステップS21)。
【0133】
次に、グループ画像切り出し部19は、複数の人物が同一グループであると判断された複数人物外観画像から同一グループと判断した複数の人物を含むグループ画像を切り出して人物グループ識別部20及び店舗推定部13に出力するグループ画像切り出し処理を実行する(ステップS22)。
【0134】
次に、人物グループ識別部20は、グループ画像切り出し部19が切り出したグループ画像から同一グループの複数の人物を識別し、識別した同一グループの複数の人物を示すグループ情報(推定人物グループID)をデータベース15の来店順序推定テーブルに格納する人物グループ識別処理を実行する(ステップS23)。
【0135】
次に、店舗推定部13は、グループ画像切り出し部19が切り出したグループ画像から同一グループの複数の人物が所有する所有物を特定し、特定した所有物から所有物を取得した店舗を推定し、推定した店舗を示す店舗情報(推定店舗IDリスト)をデータベース15の来店順序推定テーブルに格納する店舗推定処理を実行する(ステップS15)。
【0136】
次に、来店順序判断部16は、データベース15の来店順序推定テーブルから、店舗の時系列上の変化を基に、同一グループの複数の人物が来店した店舗の順序をグループ毎に判断し、同一グループの複数の人物が新規に来店した店舗IDに対応する店舗名をデータベース15の来店順序推定テーブルに格納し、グループ毎の来店順序を示す来店順序情報をグループ情報とともに通信部17に出力し、通信部17は、来店順序情報及びグループ情報をディスプレイ3に送信する来店順序判断処理を実行する(ステップS16)。
【0137】
次に、ディスプレイ3は、来店順序情報及びグループ情報を受信する来店順序受信処理を実行する(ステップS17)。
【0138】
最後に、ディスプレイ3は、受信した来店順序情報からグループ毎の来店順序を表示する表示処理を実行する(ステップS18)。
【0139】
上記の処理により、本実施の形態では、複数の人物を含む複数人物外観画像を取得し、取得した複数人物外観画像から複数の人物が同一グループか否かを判断し、複数人物外観画像から同一グループと判断した複数の人物を含むグループ画像を切り出し、切り出したグループ画像から同一グループの複数の人物を識別するとともに、切り出したグループ画像から同一グループの複数の人物が所有する所有物を特定して、特定した所有物から所有物を取得した店舗を推定し、同一グループの複数の人物を示すグループ情報(推定人物グループID)と、同一グループの複数の人物が所有する所有物から推定した店舗を示す店舗情報(推定店舗IDリスト)と、複数人物外観画像が取得された時刻を示す時刻情報とを関連づけてデータベース15に記憶し、データベース15に記憶された店舗情報が示す店舗の時系列上の変化を基に、同一グループが来店した店舗の順序を判断している。
【0140】
したがって、本実施の形態では、同一グループの複数の人物が複数の店舗に来店し、各店舗で取得した所有物を所持する人物がグループ内で変わった場合でも、同一グループが来店した店舗の順序を簡易な構成で高精度に判断することができる。
【0141】
(変形例)
なお、上記の各実施の形態においては、人物を撮影するカメラと、所有物を撮影するカメラとして、同一のカメラ21〜2nを用いる例について説明したが、カメラ21〜2nの構成は、上記の例に特に限定されず、下記のように種々の変更が可能である。
【0142】
図19は、人物を撮影するカメラと所有物を撮影するカメラとを用いる場合の第1の配置例を示す模式図である。人物を認識するためには、顔付近の画像を高解像度に取得する必要があるが、荷物袋等の所有物を認識するためには、顔と離れた場所の画像が必要になる。このため、図19に示す第1の配置例では、カメラ21に代えて、カメラ21aとカメラ21bとを用い(カメラ22〜2nも同様)、カメラ21aは、人物P1の外観画像を撮影し、カメラ21bは、所有物すなわち荷物袋B1の外観画像を撮影する。この場合、図4に示す画像情報取得11は、カメラ21aから人物の外観画像を取得する画像情報取得部と、カメラ21bから荷物袋の外観画像を取得する荷物袋画像情報取得部とから構成される。
【0143】
人物P1が人流の方向、すなわち、進行方向D1に移動している場合、カメラ21aの光軸O1すなわち撮影方向が人物P1の進行方向D1に対して前方から交わるように、カメラ21aが支柱SPに設置され、カメラ21aは人物P1の顔等を撮影する。また、カメラ22aの光軸O2すなわち撮影方向が人物P1の進行方向D1に対して側面から直交するように、カメラ22aが支柱SPに設置され、カメラ22aは荷物袋B1を撮影する。したがって、荷物袋の外観画像の撮像領域(図中の破線の領域)は、人物の外観画像の撮像領域(図中の破線の領域)よりも地面に近い部分となる。
【0144】
このように、人物P1の全身を撮影するカメラ21aと、荷物袋B1の画像を撮影するカメラ21bとを設置することにより、人物P1の特定と、荷物袋B1の特定とを高精度に実施することができる。また、カメラ21aの撮像領域とカメラ21bの撮像領域とで共通に撮像される衣服の部分等を利用することにより、人物P1と荷物袋B1とを照合することができ、人物P1が所持している荷物袋B1を高精度に特定することができる。
【0145】
図20は、人物が荷物袋を所持している場合の側面図であり、図21は、人物が荷物袋を所持している場合の正面図である。図20及び図21に示すように、人物P1が荷物袋B1を手にもって移動するときには、荷物袋B1の大きい面は、人物P1の進行方向に対して垂直の方向となる場合が多い。また、図20に示す荷物袋B1の大きい面に形成された大きい標章T1(例えば、「ABC」)も、人物P1の進行方向に対して垂直の方向となる場合が多い。一方、図21に示す荷物袋B1の小さい側面に形成された小さい標章T2(例えば、「ABC」)は、人物P1の進行方向と反対方向(又は同じ方向)になる場合が多い。したがって、人物の顔画像を撮影するカメラを、顔画像を撮影し易い位置に設置し、荷物袋B1の大きい面及び大きい標章T1を撮影するためには、人物P1の進行方向と実質的に直交する方向に光軸が設定されたカメラを用いた方が、荷物袋の画像情報を取得しやすくなる。
【0146】
上記のように、人物の顔画像を撮影するカメラを、顔画像を撮影し易い位置に設置し、また、荷物袋を撮影するカメラとして、人物の進行方向と実質的に直交する方向に光軸が設定されたカメラを用いる例について説明する。図22は、人物を撮影するカメラと所有物を撮影するカメラとを用いる場合の第2の配置例を示す模式図である。
【0147】
図22に示す第2の配置例で、カメラ21に代えて、カメラ21aとカメラ21bとを用い、カメラ21aは、例えば、天井CEに取り付けられ、人物P1を上方から撮影し、カメラ21bは、支柱SPに取り付けられ、荷物袋B1を側方から撮影する。
【0148】
すなわち、人物P1が人流の方向、すなわち、進行方向D1に移動している場合、カメラ21aの光軸O1すなわち撮影方向が人物P1の進行方向D1に対して上方から直交するように、カメラ21aが天井CEに設置される。また、カメラ22aの光軸O2すなわち撮影方向が人物P1の進行方向D1に対して側面から直交するように、カメラ22aが支柱SPに設置される。
【0149】
このように、カメラ21aの光軸O1とカメラ21bの光軸O2とがなす角度が直交に近い角度になるように設置することにより、人物P1の外観画像が、人物P1を上方から撮影した画像となり、荷物袋B1の外観画像が、荷物袋B1を側方から撮影した画像となり、荷物袋B1の標章(例えば、図20の大きい標章T1)をさらに精度よく認識することができる。なお、顔画像を撮影するカメラ21aで、同時に荷物袋B1の標章の画像を撮影する場合には、図21に示すように、荷物袋B1の側面に標章T2を設けることが好ましい。この場合、顔画像を認識するカメラ21aで撮影した外観画像から標章の認識も容易になる。
【0150】
また、一般に、荷物袋は、保持する部分すなわち手持ち部分が紐状で長い場合がある。図23は、荷物袋の手持ち部分の第1の例及びこの例の荷物袋の持ち方を示す模式図であり、図24は、荷物袋の手持ち部分の第2の例及びこの例の荷物袋の持ち方を示す模式図であり、図25は、荷物袋の手持ち部分の第3の例及びこの例の荷物袋の持ち方を示す模式図である。
【0151】
図23に示すように、荷物袋B1の手持ち部分F1が人間の上腕部以上に大きい場合、荷物袋B1の持ち方としては、人物P1aのように、手で持つ場合と、人物P1bのように、腕を通して肩から下げる場合がある。この場合、荷物袋B1の標章T1の位置の地面からの距離が大きく異なることとなり、荷物袋B1の画像を取得するカメラの撮像領域を広げる必要がある。また、肩から下げる場合、荷物袋B1の標章T1が手で隠されることがあり、認識性能が低下することがある。
【0152】
一方、図24に示すように、荷物袋B2の手持ち部分F2が人間の上腕部よりも小さい場合、又は、図25に示すように、荷物袋B3にくり抜き部F3が形成され、荷物袋B3の手持ち部分として機能するくり抜き部F3が人間の上腕部よりも小さい場合、荷物袋B2、B3の大きさが同一サイズであれば、荷物袋B2、B3の標章T2、T3の位置の地面からの距離は一定範囲内となる。
【0153】
したがって、荷物袋の手持ち部分は、人間の上腕部よりも小さくなることが好ましい。この場合、荷物袋の手持ち部分が人間の上腕部よりも小さくなり、荷物袋を肩にかけることなく、手で持つようになるので、地面からの荷物袋の標章等の距離が一定になる。この結果、荷物袋の画像を取得するカメラの撮像領域を絞ることができ、認識処理の性能を高めることが可能になる。
【0154】
また、商品を購入したときに、荷物袋に対して、開口部が空かないように荷物袋にシール等の貼付部材が貼付されることがある。図26は、荷物袋に貼られる貼付部材の第1の例を示す図であり、図27は、荷物袋に貼られる貼付部材の第2の例を示す図である。
【0155】
図26に示すように、貼付部材S1は、標章T1を有する荷物袋B1の側方上部に貼られたり、また、図27に示すように、貼付部材S2は、標章T1を有する荷物袋B1の上部中央に貼られたりする。このように、荷物袋B1の開口部が開かないように、貼付部材S1、S2が荷物袋B1の開口部に添付されることが多い。この場合、シール等の貼付部材S1、S2に、購入した商品に関する情報をもたせることができる。
【0156】
したがって、人物が購入した商品に関する情報を付与された貼付部材が荷物袋に装着されることが好ましい。例えば、店員が、購入した商品に関する情報を付与された貼付部材を荷物袋に装着し、購入品毎に、異なる貼付部材を添付する。これにより、大型のショッピングセンター等で、ある店舗で購入した商品の種類や値段に関する情報を貼付部材によって推定でき、別の店舗に入ったときに、その貼付部材の情報から、店員が勧める商品を、顧客が既に購入した商品に応じて選択することが可能になる。
【0157】
例えば、購入商品が高価な物の場合には、新たな店においても、高額の商品を購入する可能性が高く、そのような商品を、店員は勧めることが可能になる。また、大型ショッピングモールで、複数の店舗が協力して、顧客が購入した商品の情報を外観からわかるようにすることにより、商品の購入を促進することが可能になる。
【0158】
また、貼付部材は、人物が購入した商品の種類及び値段を示す色彩情報を有することが好ましい。図28は、商品の種類と貼付部材の色との対応関係を示す第1の色彩情報テーブルの一例を示す図であり、図29は、商品の値段と貼付部材の色の濃度との対応関係を示す第2の色彩情報テーブルの一例を示す図である。
【0159】
図28に示すように、商品の種類と貼付部材の色とを対応付けた第1の色彩情報テーブルがデータベース15に予め記憶される。例えば、商品の種類「アウター」と貼付部材の色「赤」とが対応付けて記憶されている。また、図29に示すように、商品の値段と貼付部材の色の濃度とを対応付けた第2の色彩情報テーブルがデータベース15に予め記憶される。例えば、商品の値段「1円〜999円」と貼付部材の色の濃度「10%」とが対応付けて記憶されている。例えば、購入した商品の種類が「アウター」であり、その値段が800円である場合、濃度10%の赤色の貼付部材が荷物袋に貼られることなる。
【0160】
上記のように、貼付部材の色と濃度に商品の種類と値段の情報を対応させることにより、外観から購入した商品の情報がわかるようになる。一方、購入者のプライバシーの問題もあるので、図28及び図29の第1及び第2の色彩情報テーブルの対応関係を、例えば、曜日によって変更するようにしてもよい。この場合、店員のみが購入した商品に関する情報を共有することが可能になる。
【0161】
図30は、図19に示す荷物袋の外観画像を撮影するカメラ21bにより撮影された外観画像の一例を示す図である。例えば、第1の人物P1が標章T1及び貼付部材S1を有する荷物袋B1を所持し、第2の人物P2が標章T2及び貼付部材S2を有する荷物袋B2を所持し、第3の人物P3が標章T3及び貼付部材S3を有する荷物袋B3を所持している場合、カメラ21bは、図30に示す外観画像を撮影する。ここで、貼付部材S1〜S3の色及び濃度は、購入された商品の種類及び値段によって異なっており、貼付部材S1〜S3の色及び濃度により、商品の種類と値段を特定することができる。したがって、人流分析装置1は、カメラ21bが撮影した荷物袋の外観画像を取得することにより、貼付部材S1〜S3の色及び濃度の色彩情報を得て、商品の種類及び値段を特定し、購入者と移動先の情報とを対応させることが可能になる。
【0162】
なお、貼付部材に付加する情報は、上記の例に特に限定されず、他の情報を付加してもよい。図31は、バーコードが付与された貼付部材の一例を示す図である。例えば、図31に示すように、荷物袋B1の貼付部材S1にバーコードBCを添付するようにしてもよい。この場合、バーコードBCの情報として、さらに詳細な情報を付与することが可能になる。
【産業上の利用可能性】
【0163】
本開示に係る人流分析方法、人流分析装置、及び人流分析システムは、人物が来店した店舗の順序を簡易な構成で高精度に判断することができるので、人の流れを分析する人流分析方法、人流分析装置、及び該人流分析装置を備える人流分析システムに有用である。
【符号の説明】
【0164】
1、1a 人流分析装置
2、21〜2n 複数のカメラ
3 ディスプレイ
11 画像情報取得部
12 人物識別部
13 店舗推定部
14 時刻情報取得部
15 データベース
16 来店順序判断部
17 通信部
18 グループ判断部
19 グループ画像切り出し部
20 人物グループ識別部
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18
図19
図20
図21
図22
図23
図24
図25
図26
図27
図28
図29
図30
図31