特許 7375908 顧客分析装置、顧客分析方法、およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-10-30

(45)【発行日】2023-11-08

(54)【発明の名称】顧客分析装置、顧客分析方法、およびプログラム

(51)【国際特許分類】

   G06Q 30/0201 20230101AFI20231031BHJP

【ＦＩ】

G06Q30/0201

【請求項の数】 8

(21)【出願番号】P 2022503028

(86)(22)【出願日】2020-02-28

(86)【国際出願番号】 JP2020008442

(87)【国際公開番号】W WO2021171588

(87)【国際公開日】2021-09-02

【審査請求日】2022-08-17

(73)【特許権者】

【識別番号】000004237

【氏名又は名称】日本電気株式会社

(74)【代理人】

【識別番号】100110928

【弁理士】

【氏名又は名称】速水 進治

(72)【発明者】

【氏名】秋口 万貴子

(72)【発明者】

【氏名】古川 あずさ

(72)【発明者】

【氏名】渋谷 恵

(72)【発明者】

【氏名】荒井 観

(72)【発明者】

【氏名】橋本 博志

(72)【発明者】

【氏名】花沢 健

【審査官】阿部 潤

(56)【参考文献】

【文献】国際公開第２０１５／０３３５７５（ＷＯ，Ａ１）

【文献】特開２０１９－１１３９７６（ＪＰ，Ａ）

【文献】国際公開第２０１８／２３５１９８（ＷＯ，Ａ１）

【文献】特開２０１６－２００８７３（ＪＰ，Ａ）

【文献】特開２０１６－６２５６４（ＪＰ，Ａ）

【文献】国際公開第２０１６／０４３０９３（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｑ １０／００ － ９９／００

(57)【特許請求の範囲】

【請求項1】

商品載置場所及びその前方の少なくとも一方を撮影する第１撮像手段及び第２撮像手段と共に使用される顧客分析装置であって、
前記第１撮像手段、前記商品載置場所、及び前記第２撮像手段は、第１方向においてこの順に並んでおり、
前記第１撮像手段は、前記商品載置場所と同じ高さ又はそれより上に位置しており、少なくとも斜め下の領域を撮像し、
前記第２撮像手段は、前記商品載置場所と同じ高さ又はそれより下、かつ前記第１撮像手段より下に位置しており、少なくとも斜め上の領域を撮像し、
前記顧客分析装置は、
前記第１撮像手段が生成した第１画像及び前記第２撮像手段が生成した第２画像を取得する画像取得手段と、
前記第１画像及び前記第２画像を処理する画像処理手段と、
を備え、
前記画像処理手段は、
前記第１画像及び前記第２画像を処理することにより、前記商品載置場所から取り出された商品を示す商品情報を生成し、
前記第１画像を処理することにより、前記商品を取り出した顧客の属性を示す顧客属性情報を生成し、
前記商品情報と前記顧客属性情報を互いに紐づけて記憶手段に記憶させる、顧客分析装置。

【請求項2】

請求項１に記載の顧客分析装置において、
前記画像処理手段は、前記第１画像を処理することにより、前記顧客が履いている靴を示す靴情報を生成し、当該靴情報を前記顧客属性情報の少なくとも一部にする顧客分析装置。

【請求項3】

請求項１又は２に記載の顧客分析装置において、
前記画像処理手段は、前記第１画像を処理することにより、前記顧客が着ている衣服を示す衣服情報を生成し、当該衣服情報を前記顧客属性情報の少なくとも一部にする顧客分析装置。

【請求項4】

請求項１～３のいずれか一項に記載の顧客分析装置において、
前記画像処理手段は、さらに前記第２画像を処理することにより、前記顧客の顔に装着されている装着物を示す装着物情報を生成し、当該装着物情報を前記顧客属性情報の少なくとも一部にする顧客分析装置。

【請求項5】

請求項１～４のいずれか一項に記載の顧客分析装置において、
前記画像処理手段は、さらに前記第２画像を処理することにより、前記顧客と共に行動している子供の属性を示す子供属性情報を生成し、前記子供属性情報を前記顧客属性情報の少なくとも一部にする顧客分析装置。

【請求項6】

請求項１～５のいずれか一項に記載の顧客分析装置において、
前記商品載置場所、又は前記商品載置場所が設けられた店舗には表示手段が設けられており、
前記顧客属性情報を用いて前記表示手段に表示すべき表示情報を取得し、当該取得した表示情報を前記表示手段に表示させる情報選択手段をさらに備える顧客分析装置。

【請求項7】

商品載置場所及びその前方の少なくとも一方を撮影する第１撮像手段及び第２撮像手段と共に使用されるコンピュータが行う顧客分析方法であって、
前記第１撮像手段、前記商品載置場所、及び前記第２撮像手段は、第１方向においてこの順に並んでおり、
前記第１撮像手段は、前記商品載置場所と同じ高さ又はそれより上に位置しており、少なくとも斜め下の領域を撮像し、
前記第２撮像手段は、前記商品載置場所と同じ高さ又はそれより下、かつ前記第１撮像手段より下に位置しており、少なくとも斜め上の領域を撮像し、
前記コンピュータが、
前記第１撮像手段が生成した第１画像及び前記第２撮像手段が生成した第２画像を取得し、
前記第１画像及び前記第２画像を処理することにより、前記商品載置場所から取り出された商品を示す商品情報を生成し、
前記第１画像を処理することにより、前記商品を取り出した顧客の属性を示す顧客属性情報を生成し、
前記商品情報と前記顧客属性情報を互いに紐づけて記憶手段に記憶させる、顧客分析方法。

【請求項8】

商品載置場所及びその前方の少なくとも一方を撮影する第１撮像手段及び第２撮像手段と共に使用されるコンピュータが実行するプログラムであって、
前記第１撮像手段、前記商品載置場所、及び前記第２撮像手段は、第１方向においてこの順に並んでおり、
前記第１撮像手段は、前記商品載置場所と同じ高さ又はそれより上に位置しており、少なくとも斜め下の領域を撮像し、
前記第２撮像手段は、前記商品載置場所と同じ高さ又はそれより下、かつ前記第１撮像手段より下に位置しており、少なくとも斜め上の領域を撮像し、
前記コンピュータに、
前記第１撮像手段が生成した第１画像及び前記第２撮像手段が生成した第２画像を取得する機能と、
前記第１画像及び前記第２画像を処理することにより、前記商品載置場所から取り出された商品を示す商品情報を生成する機能と、
前記第１画像を処理することにより、前記商品を取り出した顧客の属性を示す顧客属性情報を生成する機能と、
前記商品情報と前記顧客属性情報を互いに紐づけて記憶手段に記憶させる機能と、
を持たせるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、顧客分析装置、顧客分析方法、およびプログラムに関する。

【背景技術】

【0002】

店舗において、商品棚から顧客が商品を取り出した場合に、その顧客の属性を分析することが検討されている。例えば特許文献１には、商品の種類ごとにイメージセンサを設け、このイメージセンサを用いて顧客を撮像すること、及びその画像を解析することにより顧客の属性を推定することが記載されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１８－５５２４８号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

本発明者は、撮像手段の数を増やすことなく、商品を取り出した顧客の属性及びその商品を特定することを検討した。本発明の目的の一つは、撮像手段の数を増やすことなく、商品を取り出した顧客の属性及びその商品を特定することにある。

【課題を解決するための手段】

【0005】

本発明によれば、商品載置場所及びその前方の少なくとも一方を撮影する第１撮像手段及び第２撮像手段と共に使用される顧客分析装置であって、
前記第１撮像手段、前記商品載置場所、及び前記第２撮像手段は、第１方向においてこの順に並んでおり、
前記第１撮像手段は、前記商品載置場所と同じ高さ又はそれより上に位置しており、少なくとも斜め下の領域を撮像し、
前記第２撮像手段は、前記商品載置場所と同じ高さ又はそれより下、かつ前記第１撮像手段より下に位置しており、少なくとも斜め上の領域を撮像し、
前記顧客分析装置は、
前記第１撮像手段が生成した第１画像及び前記第２撮像手段が生成した第２画像を取得する画像取得手段と、
前記第１画像及び前記第２画像を処理する画像処理手段と、
を備え、
前記画像処理手段は、
前記第１画像及び前記第２画像を処理することにより、前記商品載置場所から取り出された商品を示す商品情報を生成し、
前記第１画像を処理することにより、前記商品を取り出した顧客の属性を示す顧客属性情報を生成し、
前記商品情報と前記顧客属性情報を互いに紐づけて記憶手段に記憶させる、顧客分析装置が提供される。

【0006】

本発明によれば、商品載置場所及びその前方の少なくとも一方を撮影する第１撮像手段及び第２撮像手段と共に使用されるコンピュータが行う顧客分析方法であって、
前記第１撮像手段、前記商品載置場所、及び前記第２撮像手段は、第１方向においてこの順に並んでおり、
前記第１撮像手段は、前記商品載置場所と同じ高さ又はそれより上に位置しており、少なくとも斜め下の領域を撮像し、
前記第２撮像手段は、前記商品載置場所と同じ高さ又はそれより下、かつ前記第１撮像手段より下に位置しており、少なくとも斜め上の領域を撮像し、
前記コンピュータが、
前記第１撮像手段が生成した第１画像及び前記第２撮像手段が生成した第２画像を取得し、
記第１画像及び前記第２画像を処理することにより、前記商品載置場所から取り出された商品を示す商品情報を生成し、
前記第１画像を処理することにより、前記商品を取り出した顧客の属性を示す顧客属性情報を生成し、
前記商品情報と前記顧客属性情報を互いに紐づけて記憶手段に記憶させる、顧客分析方法が提供される。

【0007】

本発明によれば、商品載置場所及びその前方の少なくとも一方を撮影する第１撮像手段及び第２撮像手段と共に使用されるコンピュータが実行するプログラムで会って、
前記第１撮像手段、前記商品載置場所、及び前記第２撮像手段は、第１方向においてこの順に並んでおり、
前記第１撮像手段は、前記商品載置場所と同じ高さ又はそれより上に位置しており、少なくとも斜め下の領域を撮像し、
前記第２撮像手段は、前記商品載置場所と同じ高さ又はそれより下、かつ前記第１撮像手段より下に位置しており、少なくとも斜め上の領域を撮像し、
前記コンピュータに、
前記第１撮像手段が生成した第１画像及び前記第２撮像手段が生成した第２画像を取得する機能と、
記第１画像及び前記第２画像を処理することにより、前記商品載置場所から取り出された商品を示す商品情報を生成する機能と、
前記第１画像を処理することにより、前記商品を取り出した顧客の属性を示す顧客属性情報を生成する機能と、
前記商品情報と前記顧客属性情報を互いに紐づけて記憶手段に記憶させる機能と、
を持たせるプログラムが提供される。

【発明の効果】

【0008】

本発明によれば、撮像手段の数を増やすことなく、商品を取り出した顧客の属性及びその商品を特定することができる。

【図面の簡単な説明】

【0009】

上述した目的、およびその他の目的、特徴および利点は、以下に述べる好適な実施の形態、およびそれに付随する以下の図面によってさらに明らかになる。

【0010】

【図1】実施形態に係る顧客分析装置の使用環境を示す図である。

【図2】撮像装置を説明するための図である。

【図3】顧客分析装置の機能構成の一例を示すブロック図である。

【図4】結果記憶部が記憶している情報をテーブル形式で示す図である。

【図5】顧客分析装置のハードウェア構成例を示す図である。

【図6】顧客分析装置が行う処理の一例を示すフローチャートである。

【発明を実施するための形態】

【0011】

以下、本発明の実施の形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。

【0012】

図１は、実施形態に係る顧客分析装置１０の使用環境を示す図である。図２は、撮像装置２００を説明するための図である。顧客分析装置１０は、撮像装置２００が生成した画像を処理することにより、商品棚４０に載置された商品５０、又は商品棚４０から取り出された商品５０を特定する。商品棚４０は商品載置領域の一例である。商品棚４０は、例えば店舗に配置されており、少なくとも一つの棚を有している。棚の上には複数種類の商品５０が載置されている。

【0013】

撮像装置２００は、商品棚４０の棚及びその前方の少なくとも一方を撮影する。図２に示す例において、撮像装置２００は商品棚４０の棚及びその前方の双方を撮影する。そして撮像装置２００は２つの撮像ユニット２１０を有している。一方の撮像ユニット２１０は照明部２２０及び第１撮像部２２を有しており、他方の撮像ユニット２１０は照明部２２０及び第２撮像部２４を有している。

【0014】

照明部２２０の光放射面は一方向に延在しており、発光部及び発光部を覆うカバーを有している。照明部２２０は、主に、光放射面の延在方向に直交する方向に光を放射する。発光部は、ＬＥＤなどの発光素子を有しており、カバーによって覆われていない方向に光を放射する。なお、発光素子がＬＥＤの場合、照明部２２０が延在する方向（図において上下方向）に、複数のＬＥＤが並んでいる。

【0015】

そして第１撮像部２２及び第２撮像部２４は、いずれも照明部２２０の一端側に設けられており、照明部２２０の光が放射される方向を撮像範囲としている。例えば図１及び図２の左側の撮像ユニット２１０において、第１撮像部２２は下方及び右斜め下を撮像範囲としている。また、図１及び図２の右側の撮像ユニット２１０において、第２撮像部２４は上方及び左斜め上を撮像範囲としている。

【0016】

図２に示すように、２つの撮像ユニット２１０は、商品棚４０の前面フレーム（又は両側の側壁の前面）４２に取り付けられる。この際、第１撮像部２２を有する撮像ユニット２１０は、一方の前面フレーム４２に、第１撮像部２２が上方に位置する向きに取り付けられ、第２撮像部２４を有する撮像ユニット２１０は、第１撮像部２２を有する撮像ユニット２１０とは逆側の前面フレーム４２に、第２撮像部２４が下方に位置する向きに取り付けられる。このため、棚が延在する方向（第１方向の一例）において、第１撮像部２２、商品棚４０、及び第２撮像部２４は、この順に並んでいる。また、第１撮像部２２は商品棚４０の棚より上に位置し、第２撮像部２４は商品棚４０の棚より下に位置している。これにより、第１撮像部２２及び第２撮像部２４の間隔は広くなる。

【0017】

そして第１撮像部２２は、商品棚４０の開口部及びその前方を撮像範囲に含むように、下方及び斜め下方を撮像する。一方、第２撮像部２４は、商品棚４０の開口部及びその前方を撮像範囲に含むように、上方及び斜め上方を撮像する。このように２つの撮像ユニット２１０を用いることで、商品棚４０の開口部及びその前方の全範囲を撮影することができる。このため、顧客分析装置１０は、第１撮像部２２が生成した画像（以下、第１画像と記載）及び第２撮像部２４が生成した画像（以下、第２画像と記載）を処理することにより、商品棚４０から取り出された商品５０の品名を特定することができる。

【0018】

また、少なくとも第１画像には、商品５０を取り出した顧客も写っている。このため、顧客分析装置１０は、少なくとも第１画像を処理することにより、顧客の属性を示す情報（以下、顧客属性情報と記載）を生成することができる。ここで、顧客の属性情報は、年齢、性別、及び身に着けている物の種類及びその属性などを含んでいる。

【0019】

そして顧客分析装置１０は、特定した商品５０の品名を示す情報を、図３に示す結果記憶部１３０に記憶させる。また顧客分析装置１０は、顧客の属性情報に基づいて、表示装置３０に表示させるべき表示情報を決定する。表示装置３０は、例えば商品棚４０が設けられている店舗の中に設けられている。表示装置３０は、商品棚４０又はその近傍に設置されていてもよい。そして表示情報の一例は、広告情報である。

【0020】

図３は、顧客分析装置１０の機能構成の一例を示すブロック図である。顧客分析装置１０は、画像取得部１１０及び画像処理部１２０を有している。画像取得部１１０は、第１撮像部２２が生成した第１画像及び第２撮像部２４が生成した第２画像を取得する。画像処理部１２０は、第１画像及び第２画像を処理する。詳細には、画像処理部１２０は、第１画像及び第２画像を処理することにより、商品棚４０から取り出された商品５０を示す商品情報を生成する。また画像処理部１２０は、第１画像を処理することにより、商品５０を取り出した顧客の顧客属性情報を生成する。そして画像処理部１２０は、商品情報と顧客属性情報を互いに紐づけて結果記憶部１３０に記憶させる。顧客属性情報の具体例については、後述する。

【0021】

ここで画像処理部１２０は、顧客属性情報を生成するとき、必要に応じて第２画像も用いる。第２画像を用いて生成される顧客属性情報は、例えば身長が低い顧客、例えば子供に関する属性情報である。この属性情報の具体例についても、後述する。

【0022】

また画像処理部１２０は、第１画像及び第２画像を処理することにより、顧客によって取り出された商品５０が商品棚４０に戻されたか否かを判断する。これにより、顧客がその商品５０を購入したか否かを判断することができる。

【0023】

画像処理部１２０は、第１画像及び第２画像を処理する際に、処理手法記憶部１２２に記憶している情報を用いる。処理手法記憶部１２２は、例えば商品５０の品名を特定するために必要な情報、及び顧客属性情報を生成するために必要な情報を記憶している。これらの情報は、例えば特徴量であるが、機械学習によって生成されたモデルであってもよい。

【0024】

顧客分析装置１０は、さらに出力部１４０を有している。出力部１４０は、表示情報記憶部１４２と共に使用される。表示情報記憶部１４２は、表示装置３０に表示すべき複数の表示情報、例えば広告情報を、その表示情報に対応する顧客属性情報に紐づけて記憶している。そして出力部１４０は、画像処理部１２０が生成した顧客属性情報を用いて、表示装置３０に表示すべき表示情報を表示情報記憶部１４２から取得し、当該取得した表示情報を表示装置３０に表示させる。

【0025】

なお、本図に示す例において、処理手法記憶部１２２、結果記憶部１３０、及び表示情報記憶部１４２は顧客分析装置１０の一部となっている。ただしこれらの少なくとも一部は顧客分析装置１０の外部に位置していてもよい。

【0026】

図４は、結果記憶部１３０が記憶している情報をテーブル形式で示す図である。本図に示す例において、結果記憶部１３０は、顧客が商品棚４０から商品５０を取り出した行為ごとに、その行為が行われた日時、その商品５０の商品情報、その顧客の顧客属性情報、及びその商品５０がその顧客によって購入されたか否かを示す購入情報を記憶している。

【0027】

図５は、顧客分析装置１０のハードウェア構成例を示す図である。顧客分析装置１０は、バス１０１０、プロセッサ１０２０、メモリ１０３０、ストレージデバイス１０４０、入出力インタフェース１０５０、及びネットワークインタフェース１０６０を有する。

【0028】

バス１０１０は、プロセッサ１０２０、メモリ１０３０、ストレージデバイス１０４０、入出力インタフェース１０５０、及びネットワークインタフェース１０６０が、相互にデータを送受信するためのデータ伝送路である。ただし、プロセッサ１０２０などを互いに接続する方法は、バス接続に限定されない。

【0029】

プロセッサ１０２０は、ＣＰＵ（Central Processing Unit） やＧＰＵ（Graphics Processing Unit）などで実現されるプロセッサである。

【0030】

メモリ１０３０は、ＲＡＭ（Random Access Memory）などで実現される主記憶装置である。

【0031】

ストレージデバイス１０４０は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、メモリカード、又はＲＯＭ（Read Only Memory）などで実現される補助記憶装置である。ストレージデバイス１０４０は顧客分析装置１０の各機能（例えば画像取得部１１０、画像処理部１２０、及び出力部１４０）を実現するプログラムモジュールを記憶している。プロセッサ１０２０がこれら各プログラムモジュールをメモリ１０３０上に読み込んで実行することで、そのプログラムモジュールに対応する各機能が実現される。また、ストレージデバイス１０４０は処理手法記憶部１２２、結果記憶部１３０、及び表示情報記憶部１４２としても機能する。

【0032】

入出力インタフェース１０５０は、顧客分析装置１０と各種入出力機器とを接続するためのインタフェースである。例えば顧客分析装置１０は、入出力インタフェース１０５０を介して顧客分析装置１０と通信する。

【0033】

ネットワークインタフェース１０６０は、顧客分析装置１０をネットワークに接続するためのインタフェースである。このネットワークは、例えばＬＡＮ（Local Area Network）やＷＡＮ（Wide Area Network）である。ネットワークインタフェース１０６０がネットワークに接続する方法は、無線接続であってもよいし、有線接続であってもよい。顧客分析装置１０は、ネットワークインタフェース１０６０を介して顧客分析装置１０と通信してもよい。

【0034】

図５は、顧客分析装置１０が行う処理の一例を示すフローチャートである。第１撮像部２２及び第２撮像部２４は、繰り返し画像を生成している。この時のフレームレートは任意であるが、例えば２４枚／秒以上１２０枚／秒以下である。また第１撮像部２２が第１画像を生成するタイミングは、第２撮像部２４が第２画像を生成するタイミングに同期している。撮像装置２００は、第１撮像部２２及び第２撮像部２４が画像を生成するたびに、生成した第１画像及び第２画像を顧客分析装置１０に送信する。なお、撮像装置２００が第１画像及び第２画像を送信する間隔は、第１撮像部２２及び第２撮像部２４のフレームレートよりも長くてもよい。この場合、撮像装置２００は、複数の第１画像及び複数の第２画像をまとめて顧客分析装置１０に送信する。そして顧客分析装置１０は、第１画像及び第２画像が送信されるたびに、本図に示す処理を行う。

【0035】

まず顧客分析装置１０の画像取得部１１０は、第１画像及び第２画像を取得する（ステップＳ１０）。次いで画像処理部１２０は、第１画像及び第２画像を処理することにより、顧客が取り出した商品５０の商品情報を生成する。また画像処理部１２０は、少なくとも第１画像を処理することにより、顧客属性情報を生成する（ステップＳ２０）。

【0036】

また画像処理部１２０は、第１画像を処理することにより、顧客が着ている衣服を示す衣服情報を生成し、当該衣服情報を顧客属性情報の少なくとも一部にする。ここで画像処理部１２０は、第１画像及び第２画像の双方を用いて衣服情報を生成することもある。衣服情報が示す衣服は、例えばビジネスウェア、スポーツウェア、マフラー、喪服などである。

【0037】

また第１画像には、顧客の靴が写っている可能性が高い。そこで画像処理部１２０は、第１画像を処理することにより、顧客が履いている靴を示す靴情報を生成し、当該靴情報を顧客属性情報の少なくとも一部にする。靴情報は、例えば靴の種類を示している。靴の種類は、例えばビジネスシューズ、運動靴、長靴、ハイヒール、パンプス、ローファー、サンダルなどである。また靴情報は、靴の状態を示していてもよい。靴の状態は、例えば靴が乾いているか濡れているかなどである。

【0038】

なお、上記したように、画像処理部１２０は、顧客属性情報を生成するときに、第２画像を用いることもある。例えば画像処理部１２０は、第２画像を用いて身長が低い子供の属性情報を生成する。この場合、画像処理部１２０は、第１画像の処理結果と第２画像の処理結果を用いて、大人の顧客が子供連れであるか否かを判断することもできる。画像処理部１２０は、例えば、第１画像に大人が写っており、かつこの第１画像と同じタイミングで生成された第２画像に子供が写っていた時、大人の顧客が子供連れであると判断する。大人の顧客が子供と共に来店している場合、その顧客の属性情報の少なくとも一部は、子供連れであることを示す情報、及びその子供の属性情報になる。

【0039】

また画像処理部１２０は、第２画像を処理することにより、顧客が顔又は頭に装着している装着物の種類を特定し、この装着物を示す情報（以下、装着物情報と記載）を顧客属性情報の少なくとも一部にする。装着物情報は、例えばマスクを示していてもよいし、サングラスや眼鏡を示していてもよいし、帽子を示していてもよいし、ヘアバンドを示していてもよい。

【0040】

そして画像処理部１２０は、生成した情報を結果記憶部１３０に記憶させる（ステップＳ３０）。

【0041】

また出力部１４０は、画像処理部１２０が生成した顧客属性情報に対応する表示情報を、表示情報記憶部１４２から読み出し、読み出した表示情報を表示装置３０に表示させる（ステップＳ４０）。

【0042】

ここで出力部１４０は、顧客属性情報が靴情報を含んでいた場合、その靴情報に対応する表示情報を表示情報記憶部１４２から読み出す。

【0043】

例えば靴情報がスニーカーやランニングシューズを示していた場合、出力部１４０は、スポーツドリンクの広告情報、プロテインの広告情報、及びタオルの広告情報の少なくとも一つを表示情報記憶部１４２から読み出す。また靴情報がハイヒールやパンプスを示していた場合、出力部１４０は、ストッキングの広告情報及び絆創膏の広告情報の少なくとも一つを表示情報記憶部１４２から読み出す。また靴情報が長靴やビジネスシューズを示していた場合、出力部１４０は、靴下の広告情報を表示情報記憶部１４２から読み出す。また靴情報が、その靴が濡れていることを示している場合、出力部１４０は、靴下の広告情報及びタオルの広告情報の少なくとも一つを表示情報記憶部１４２から読み出す。

【0044】

また出力部１４０は、顧客属性情報が顧客の衣服情報を含んでいた場合、その衣服情報に対応する表示情報を表示情報記憶部１４２から読み出す。

【0045】

例えば衣服情報が手袋やタイツやマフラーを示していた場合、出力部１４０は、温かい飲み物の広告情報及び携帯カイロの広告情報の少なくとも一つを表示情報記憶部１４２から読み出す。また衣服情報がスポーツウェアなどのスポーツに関するものであった場合、出力部１４０は、スポーツドリンクの広告情報、プロテインの広告情報、及びタオルの広告情報の少なくとも一つを表示情報記憶部１４２から読み出す。

【0046】

また衣服情報が喪服の場合、出力部１４０は、のし袋の広告情報を表示情報記憶部１４２から読み出す。

【0047】

さらに出力部１４０は、顧客属性情報が装着物情報を含んでいた場合、その装着物情報に対応する表示情報を表示情報記憶部１４２から読み出す。

【0048】

例えば出力部１４０は、装着物情報がマスクを示していた場合、花粉症及び／又は風邪に対する薬の広告情報、マスクの広告情報、消毒薬の広告情報、温かい飲み物の広告情報、及びのど飴の広告情報の少なくとも一つを読み出す。また出力部１４０は、装着物情報がタオルを示していた場合、スポーツドリングの広告情報を表示情報記憶部１４２から読み出す。

【0049】

また出力部１４０は、顧客属性情報が親子連れであることを示していた場合、表示情報記憶部１４２から、お菓子の広告情報を読み出す。

【0050】

なお、画像処理部１２０が結果記憶部１３０に記憶した情報は、例えば外部の情報処理装置で統計的に処理される。これにより、商品棚４０に配置する商品５０を決定したり、商品５０及び／または商品５０のパッケージを決定することができる。

【0051】

以上、本実施形態によれば、顧客分析装置１０は、第１撮像部２２及び第２撮像部２４と共に使用される。第１撮像部２２、商品棚４０、及び第２撮像部２４は、第１方向においてこの順に並んでいる。第１撮像部２２は、商品棚４０と同じ高さ又はそれより上に位置しており、少なくとも斜め下の領域を撮像して第１画像を生成する。第２撮像部２４は、商品棚４０と同じ高さ又はそれより下、かつ第１撮像部２２より下に位置しており、少なくとも斜め上の領域を撮像して第２画像を生成する。そして顧客分析装置１０の画像処理部１２０は、第１画像及び前記第２画像を処理することにより、商品棚４０から取り出された商品５０を示す商品情報を生成する。また画像処理部１２０は、第１画像を処理することにより、商品５０を取り出した顧客の属性を示す顧客属性情報を生成する。そして画像処理部１２０は、商品情報と顧客属性情報を互いに紐づけて結果記憶部１３０に記憶させる。従って、撮像部を増やさなくても、精度よく商品情報及び顧客属性情報を生成することができる。

【0052】

以上、図面を参照して本発明の実施形態について述べたが、これらは本発明の例示であり、上記以外の様々な構成を採用することもできる。

【0053】

また、上述の説明で用いた複数のフローチャートでは、複数の工程（処理）が順番に記載されているが、各実施形態で実行される工程の実行順序は、その記載の順番に制限されない。各実施形態では、図示される工程の順番を内容的に支障のない範囲で変更することができる。また、上述の各実施形態は、内容が相反しない範囲で組み合わせることができる。

【0054】

上記の実施形態の一部または全部は、以下の付記のようにも記載されうるが、以下に限られない。
１．商品載置場所及びその前方の少なくとも一方を撮影する第１撮像手段及び第２撮像手段と共に使用される顧客分析装置であって、
前記第１撮像手段、前記商品載置場所、及び前記第２撮像手段は、第１方向においてこの順に並んでおり、
前記第１撮像手段は、前記商品載置場所と同じ高さ又はそれより上に位置しており、少なくとも斜め下の領域を撮像し、
前記第２撮像手段は、前記商品載置場所と同じ高さ又はそれより下、かつ前記第１撮像手段より下に位置しており、少なくとも斜め上の領域を撮像し、
前記顧客分析装置は、
前記第１撮像手段が生成した第１画像及び前記第２撮像手段が生成した第２画像を取得する画像取得手段と、
前記第１画像及び前記第２画像を処理する画像処理手段と、
を備え、
前記画像処理手段は、
前記第１画像及び前記第２画像を処理することにより、前記商品載置場所から取り出された商品を示す商品情報を生成し、
前記第１画像を処理することにより、前記商品を取り出した顧客の属性を示す顧客属性情報を生成し、
前記商品情報と前記顧客属性情報を互いに紐づけて記憶手段に記憶させる、顧客分析装置。
２．上記１に記載の顧客分析装置において、
前記画像処理手段は、前記第１画像を処理することにより、前記顧客が履いている靴を示す靴情報を生成し、当該靴情報を前記顧客属性情報の少なくとも一部にする顧客分析装置。
３．上記１又は２に記載の顧客分析装置において、
前記画像処理手段は、前記第１画像を処理することにより、前記顧客が着ている衣服を示す衣服情報を生成し、当該衣服情報を前記顧客属性情報の少なくとも一部にする顧客分析装置。
４．上記１～３のいずれか一項に記載の顧客分析装置において、
前記画像処理手段は、さらに前記第２画像を処理することにより、前記顧客の顔に装着されている装着物を示す装着物情報を前記顧客属性情報の少なくとも一部にする顧客分析装置。
５．上記１～４のいずれか一項に記載の顧客分析装置において、
前記画像処理手段は、さらに前記第２画像を処理することにより、前記顧客と共に行動している子供の属性を示す子供属性情報を生成し、前記子供属性情報を前記顧客属性情報の少なくとも一部にする顧客分析装置。
６．上記１～５のいずれか一項に記載の顧客分析装置において、
前記商品載置場所、又は前記商品載置場所が設けられた店舗には表示手段が設けられており、
前記顧客属性情報を用いて前記表示手段に表示すべき表示情報を取得し、当該取得した表示情報を前記表示手段に表示させる情報選択手段をさらに備える顧客分析装置。

７．商品載置場所及びその前方の少なくとも一方を撮影する第１撮像手段及び第２撮像手段と共に使用されるコンピュータが行う顧客分析方法であって、
前記第１撮像手段、前記商品載置場所、及び前記第２撮像手段は、第１方向においてこの順に並んでおり、
前記第１撮像手段は、前記商品載置場所と同じ高さ又はそれより上に位置しており、少なくとも斜め下の領域を撮像し、
前記第２撮像手段は、前記商品載置場所と同じ高さ又はそれより下、かつ前記第１撮像手段より下に位置しており、少なくとも斜め上の領域を撮像し、
前記コンピュータが、
前記第１撮像手段が生成した第１画像及び前記第２撮像手段が生成した第２画像を取得し、
記第１画像及び前記第２画像を処理することにより、前記商品載置場所から取り出された商品を示す商品情報を生成し、
前記第１画像を処理することにより、前記商品を取り出した顧客の属性を示す顧客属性情報を生成し、
前記商品情報と前記顧客属性情報を互いに紐づけて記憶手段に記憶させる、顧客分析方法。


８．上記７に記載の顧客分析方法において、
前記コンピュータは、前記第１画像を処理することにより、前記顧客が履いている靴を示す靴情報を生成し、当該靴情報を前記顧客属性情報の少なくとも一部にする顧客分析方法。
９．上記７又は８に記載の顧客分析方法において、
前記コンピュータは、前記第１画像を処理することにより、前記顧客が着ている衣服を示す衣服情報を生成し、当該衣服情報を前記顧客属性情報の少なくとも一部にする顧客分析方法。
１０．上記７～９のいずれか一項に記載の顧客分析方法において、
前記コンピュータは、さらに前記第２画像を処理することにより、前記顧客の顔に装着されている装着物を示す装着物情報を生成し、当該装着物情報を前記顧客属性情報の少なくとも一部にする顧客分析方法。
１１．上記７～１０のいずれか一項に記載の顧客分析方法において、
前記コンピュータは、さらに前記第２画像を処理することにより、前記顧客と共に行動している子供の属性を示す子供属性情報を生成し、前記子供属性情報を前記顧客属性情報の少なくとも一部にする顧客分析方法。
１２．上記７～１１のいずれか一項に記載の顧客分析方法において、
前記商品載置場所、又は前記商品載置場所が設けられた店舗には表示手段が設けられており、
前記コンピュータは、前記顧客属性情報を用いて前記表示手段に表示すべき表示情報を取得し、当該取得した表示情報を前記表示手段に表示させる顧客分析方法。

１３．商品載置場所及びその前方の少なくとも一方を撮影する第１撮像手段及び第２撮像手段と共に使用されるコンピュータが実行するプログラムで会って、
前記第１撮像手段、前記商品載置場所、及び前記第２撮像手段は、第１方向においてこの順に並んでおり、
前記第１撮像手段は、前記商品載置場所と同じ高さ又はそれより上に位置しており、少なくとも斜め下の領域を撮像し、
前記第２撮像手段は、前記商品載置場所と同じ高さ又はそれより下、かつ前記第１撮像手段より下に位置しており、少なくとも斜め上の領域を撮像し、
前記コンピュータに、
前記第１撮像手段が生成した第１画像及び前記第２撮像手段が生成した第２画像を取得する機能と、
記第１画像及び前記第２画像を処理することにより、前記商品載置場所から取り出された商品を示す商品情報を生成する機能と、
前記第１画像を処理することにより、前記商品を取り出した顧客の属性を示す顧客属性情報を生成する機能と、
前記商品情報と前記顧客属性情報を互いに紐づけて記憶手段に記憶させる機能と、
を持たせるプログラム。
１４．上記１３に記載のプログラムにおいて、
前記コンピュータに、前記第１画像を処理させることにより、前記顧客が履いている靴を示す靴情報を生成させ、当該靴情報を前記顧客属性情報の少なくとも一部にするプログラム。
１５．上記１３又は１４に記載のプログラムにおいて、
前記コンピュータに、前記第１画像を処理させることにより、前記顧客が着ている衣服を示す衣服情報を生成させ、当該衣服情報を前記顧客属性情報の少なくとも一部にするプログラム。
１６．上記１３～１５のいずれか一項に記載のプログラムにおいて、
前記コンピュータに、さらに前記第２画像を処理させることにより、前記顧客の顔に装着されている装着物を示す装着物情報を生成させ、当該装着物情報を前記顧客属性情報の少なくとも一部にするプログラム。
１７．上記１３～１６のいずれか一項に記載のプログラムにおいて、
前記コンピュータに、さらに前記第２画像を処理させることにより、前記顧客と共に行動している子供の属性を示す子供属性情報を生成させ、前記子供属性情報を前記顧客属性情報の少なくとも一部にするプログラム。
１８．上記１３～１７のいずれか一項に記載のプログラムにおいて、
前記商品載置場所、又は前記商品載置場所が設けられた店舗には表示手段が設けられており、
前記コンピュータに、前記顧客属性情報を用いて前記表示手段に表示すべき表示情報を取得し、当該取得した表示情報を前記表示手段に表示させる機能を持たせるプログラム。

【符号の説明】

【0055】

１０ 顧客分析装置
２２ 第１撮像部
２４ 第２撮像部
３０ 表示装置
４０ 商品棚
４２ 前面フレーム
５０ 商品
１１０ 画像取得部
１２０ 画像処理部
１２２ 処理手法記憶部
１３０ 結果記憶部
１４０ 出力部
１４２ 表示情報記憶部
２００ 撮像装置
２１０ 撮像ユニット
２２０ 照明部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】