特許 7062985 顧客行動分析システムおよび顧客行動分析方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-04-25

(45)【発行日】2022-05-09

(54)【発明の名称】顧客行動分析システムおよび顧客行動分析方法

(51)【国際特許分類】

   G06Q 30/02 20120101AFI20220426BHJP

   G06T 7/00 20170101ALI20220426BHJP

   G06T 7/246 20170101ALI20220426BHJP

【ＦＩ】

G06Q30/02 300

G06T7/00 660Z

G06T7/246

【請求項の数】 23

(21)【出願番号】P 2018019489

(22)【出願日】2018-02-06

(65)【公開番号】P2019139321

(43)【公開日】2019-08-22

【審査請求日】2020-09-28

(73)【特許権者】

【識別番号】000001270

【氏名又は名称】コニカミノルタ株式会社

(74)【代理人】

【識別番号】110001933

【氏名又は名称】特許業務法人 佐野特許事務所

(72)【発明者】

【氏名】田路 文平

【審査官】渡邉 加寿磨

(56)【参考文献】

【文献】国際公開第２０１５／０３３５７７（ＷＯ，Ａ１）

【文献】特開２０１７－１６２４３２（ＪＰ，Ａ）

【文献】特開２０１７－１７４２７２（ＪＰ，Ａ）

【文献】米国特許第８００９８６３（ＵＳ，Ｂ１）

【文献】青木 義満，”購買行動分析のための人物検出・追跡・行動認識術”，画像ラボ，日本，日本工業出版株式会社，2014年03月10日，第25巻第3号，p.55-60，ISSN:0915-6755

【文献】安藤 慎吾，”映像モニタリングサービスを支える画像処理技術”，ＮＴＴ技術ジャーナル，日本，社団法人電気通信協会，2007年08月01日，第19巻第8号，p.21-24，ISSN:0915-2318

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｑ １０／００－９９／００

Ｇ１６Ｈ １０／００－８０／００

Ｇ０６Ｋ ９／００

Ｇ０６Ｔ ７／００

Ｇ０６Ｔ ７／２４６

(57)【特許請求の範囲】

【請求項1】

店舗内での顧客の行動を分析する顧客行動分析システムであって、
前記店舗内を撮影して画像を取得する撮像部と、
前記撮像部で取得された前記画像に基づいて、前記店舗内の前記顧客の姿勢を推定して姿勢情報を取得するとともに、前記姿勢情報を前記店舗内の前記顧客ごとに時系列で取得する姿勢推定部と、
前記顧客ごとに時系列で取得された前記姿勢情報を記憶する姿勢情報記憶部と、
前記姿勢情報記憶部に記憶された前記姿勢情報に基づいて、前記店舗内での前記顧客の行動を分析する行動分析部とを備えていることを特徴とする顧客行動分析システム。

【請求項2】

前記行動分析部は、前記姿勢情報に基づいて、前記顧客の体の向きを含めた前記顧客の前記店舗内での動線を導出することを特徴とする請求項１に記載の顧客行動分析システム。

【請求項3】

前記店舗内に配置される物品と、前記物品の配置位置とを示す物品マップを記憶する物品マップ記憶部をさらに備え、
前記行動分析部は、前記姿勢情報と前記物品マップとに基づいて、前記物品に対する前記顧客の行動を特定することを特徴とする請求項１または２に記載の顧客行動分析システム。

【請求項4】

前記行動分析部は、前記姿勢情報と前記物品マップとに基づいて、前記顧客が前記店舗内で前記物品のほうを向いて静止していることを、前記顧客の行動として特定することを特徴とする請求項３に記載の顧客行動分析システム。

【請求項5】

前記行動分析部は、前記姿勢情報と前記物品マップとに基づいて、前記顧客が前記物品に接触したことを、前記顧客の行動として特定することを特徴とする請求項３または４に記載の顧客行動分析システム。

【請求項6】

前記顧客が前記店舗内で実際に買った購買商品に関する情報を、購買情報として記憶する購買情報記憶部と、
前記購買情報と前記姿勢情報とを紐付ける購買情報紐付け部とをさらに備え、
前記行動分析部は、前記姿勢情報と前記物品マップとに基づいて、前記物品のうちで前記店舗内で販売されている販売商品に前記顧客が接触したことを、前記顧客の行動として特定し、
前記購買情報紐付け部は、前記購買情報と、接触した前記販売商品の情報との対応関係に基づいて、前記顧客ごとに前記購買情報と前記姿勢情報とを紐付けることを特徴とする請求項３から５のいずれかに記載の顧客行動分析システム。

【請求項7】

システムの管理者による指示入力を受け付ける入力部をさらに備え、
前記行動分析部は、前記入力部によって前記管理者からの指示入力を受け付けたときに、前記指示入力に応じた前記顧客の行動分析を実行することを特徴とする請求項１から６のいずれかに記載の顧客行動分析システム。

【請求項8】

前記撮像部を複数備え、
前記姿勢推定部は、複数の前記撮像部のそれぞれで取得された各画像に基づいて、前記顧客の姿勢を推定するとともに、複数の前記撮像部ごとに得られた前記姿勢の推定結果を一纏めにして、前記顧客についての前記姿勢情報として取得ことを特徴とする請求項１から７のいずれかに記載の顧客行動分析システム。

【請求項9】

前記撮像部と通信可能な第１の端末装置と、
前記第１の端末装置と通信可能な第２の端末装置とを含み、
前記第１の端末装置は、前記姿勢推定部を有し、
前記第２の端末装置は、前記行動分析部を有することを特徴とする請求項１から８のいずれかに記載の顧客行動分析システム。

【請求項10】

前記第２の端末装置は、前記姿勢情報記憶部をさらに有することを特徴とする請求項９に記載の顧客情報分析システム。

【請求項11】

前記姿勢情報は、前記顧客の体の各関節位置の情報を含むことを特徴とする請求項１から１０のいずれかに記載の顧客行動分析システム。

【請求項12】

前記姿勢情報は、前記顧客の顔の向きの情報を含むことを特徴とする請求項１１に記載の顧客行動分析システム。

【請求項13】

店舗内での顧客の行動を分析する顧客行動分析方法であって、
前記店舗内を撮影して画像を取得する撮像部によって取得された前記画像に基づいて、前記店舗内の前記顧客の姿勢を推定して姿勢情報を取得するとともに、前記姿勢情報を前記店舗内の前記顧客ごとに時系列で取得する姿勢推定工程と、
前記顧客ごとに時系列で取得された前記姿勢情報を姿勢情報記憶部に記憶させる姿勢情報記憶工程と、
前記姿勢情報記憶部に記憶された前記姿勢情報に基づいて、前記店舗内での前記顧客の行動を分析する行動分析工程とを含むことを特徴とする顧客行動分析方法。

【請求項14】

前記行動分析工程では、前記姿勢情報に基づいて、前記顧客の体の向きを含めた前記顧客の前記店舗内での動線を導出することを特徴とする請求項１３に記載の顧客行動分析方法。

【請求項15】

前記行動分析工程では、前記姿勢情報と、前記店舗内に配置される物品と前記物品の配置位置とを示す物品マップとに基づいて、前記物品に対する前記顧客の行動を特定することを特徴とする請求項１３または１４に記載の顧客行動分析方法。

【請求項16】

前記行動分析工程では、前記姿勢情報と前記物品マップとに基づいて、前記顧客が前記店舗内で前記物品のほうを向いて静止していることを、前記顧客の行動として特定することを特徴とする請求項１５に記載の顧客行動分析方法。

【請求項17】

前記行動分析工程では、前記姿勢情報と前記物品マップとに基づいて、前記顧客が前記物品に接触したことを、前記顧客の行動として特定することを特徴とする請求項１５または１６に記載の顧客行動分析方法。

【請求項18】

前記顧客が前記店舗内で実際に買った購買商品に関する情報である購買情報を、前記姿勢情報と紐付ける購買情報紐付け工程をさらに含み、
前記行動分析工程では、前記姿勢情報と前記物品マップとに基づいて、前記物品のうちで前記店舗内で販売されている販売商品に前記顧客が接触したことを、前記顧客の行動として特定し、
前記購買情報紐付け工程では、前記購買情報と、接触した前記販売商品の情報との対応関係に基づいて、前記顧客ごとに前記購買情報と前記姿勢情報とを紐付けることを特徴とする請求項１５から１７のいずれかに記載の顧客行動分析方法。

【請求項19】

システムの管理者による指示入力を受け付ける入力受付工程をさらに含み、
前記行動分析工程では、前記入力受付工程によって前記管理者からの指示入力を受け付けたときに、前記指示入力に応じた前記顧客の行動分析を実行することを特徴とする請求項１３から１８のいずれかに記載の顧客行動分析方法。

【請求項20】

前記姿勢推定工程では、複数の前記撮像部のそれぞれで取得された各画像に基づいて、前記顧客の姿勢を推定するとともに、複数の前記撮像部ごとに得られた前記姿勢の推定結果を一纏めにして、前記顧客についての前記姿勢情報として取得することを特徴とする請求項１３から１９のいずれかに記載の顧客行動分析方法。

【請求項21】

前記行動分析部は、前記顧客ごとの時系列の前記姿勢情報を、前記姿勢情報の変化の仕方に応じて分類し、分類した前記姿勢情報に基づいて、前記顧客の行動を複数の行動に分類する、請求項１から１２のいずれかに記載の顧客行動分析システム。

【請求項22】

前記行動分析工程では、前記顧客ごとの時系列の前記姿勢情報を、前記姿勢情報の変化の仕方に応じて分類し、分類した前記姿勢情報に基づいて、前記顧客の行動を複数の行動に分類する、請求項１３から２０のいずれかに記載の顧客行動分析方法。

【請求項23】

請求項１３から２０、２２のいずれかに記載の顧客行動分析方法をコンピュータに実行させる顧客行動分析プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、店舗内での顧客の行動を分析する顧客行動分析システムおよび顧客行動分析方法に関する。

【背景技術】

【0002】

従来から、マーケティングや販売促進の目的で、店舗での顧客の購買行動の分析が行われている。例えば特許文献１に開示されたシステムでは、カメラで撮影されるユーザの手が店舗内の商品に接近した場合に、ユーザに保持される可搬型装置（例えば携帯型通信デバイス）に記録された装置識別子を、カメラで撮影されるユーザの行動に対応付けてデータベースに記録している。これにより、店舗内でのユーザの行動を、ユーザを特定する情報と対応付けて追跡することを容易にしている。また、例えば特許文献２に開示されたシステムでは、撮像手段により撮影された映像に基づいて、顧客が収納棚の前方に滞留した時間、および／または収納棚内部に顧客の身体の一部が進入したことを検出して、特定棚上の収納物に対するアクセスの有無を判断している。これにより、従来のようにＩＣチップやＩＣタグを用いなくても（これらを商品に貼付しなくても）、顧客の販売行動情報を収集することを可能にしている。

【先行技術文献】

【特許文献】

【0003】

【文献】特許第６１３４６０７号公報（請求項１、段落〔０００７〕、〔００１０〕、図１等参照）

【文献】特許第４９７２４９１号公報（請求項１、段落〔０００５〕、〔００１４〕、図１等参照）

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１および２のシステムでは、分析対象となる顧客の行動が、ユーザの手が商品に接近する動作や収納物へのアクセスなど、特定の行動に限られている。このため、顧客の上記以外の行動（例えば店舗内での顧客の移動およびその経路（動線））を分析する場合には、例えば、カメラで撮影した画像（例えば動画）のデータ（撮影データ）をメモリに記憶しておき、上記データを後から（分析したいときに）再生して分析することが必要となる。しかし、撮影データそのものをメモリに記憶させることは、防犯目的ではよいのであるが、行動分析においては、個人情報保護の観点から（撮影データが漏洩したときの個人の特定を防止する意味で）、避けることが望ましい。つまり、行動分析においては、撮影データそのものをメモリに記憶させることなく、店舗内での顧客の様々な行動をいつでも分析できるようにすることが望ましい。しかし、このような行動分析が可能なシステムは、未だ提案されていない。

【0005】

本発明は、上記の問題点を解決するためになされたもので、その目的は、撮影データそのものをメモリに記憶させることなく、顧客の個人情報の保護を図りながら、店舗内での顧客の様々な行動をいつでも分析することができる顧客行動分析システムおよび顧客行動分析方法を提供することにある。

【課題を解決するための手段】

【0006】

本発明の一側面に係る顧客行動分析システムは、店舗内での顧客の行動を分析する顧客行動分析システムであって、前記店舗内を撮影して画像を取得する撮像部と、前記撮像部で取得された前記画像に基づいて、前記店舗内の前記顧客の姿勢を推定して姿勢情報を取得するとともに、前記姿勢情報を前記店舗内の前記顧客ごとに時系列で取得する姿勢推定部と、前記顧客ごとに時系列で取得された前記姿勢情報を記憶する姿勢情報記憶部と、前記姿勢情報記憶部に記憶された前記姿勢情報に基づいて、前記店舗内での前記顧客の行動を分析する行動分析部とを備えている。

【0007】

本発明の他の側面に係る顧客行動分析方法は、店舗内での顧客の行動を分析する顧客行動分析方法であって、前記店舗内を撮像部によって撮影して画像を取得する画像取得工程と、前記撮像部によって取得された前記画像に基づいて、前記店舗内の前記顧客の姿勢を推定して姿勢情報を取得するとともに、前記姿勢情報を前記店舗内の前記顧客ごとに時系列で取得する姿勢推定工程と、前記顧客ごとに時系列で取得された前記姿勢情報を姿勢情報記憶部に記憶させる姿勢情報記憶工程と、前記姿勢情報記憶部に記憶された前記姿勢情報に基づいて、前記店舗内での前記顧客の行動を分析する行動分析工程とを含む。

【発明の効果】

【0008】

上記のシステムおよび方法によれば、撮影データそのものをメモリに記憶させることなく、顧客の個人情報の保護を図りながら、店舗内での顧客の様々な行動をいつでも分析することが可能となる。

【図面の簡単な説明】

【0009】

【図1】本発明の実施の一形態の顧客行動分析システムの全体の構成を模式的に示すブロック図である。

【図2】上記顧客行動分析システムが適用される店舗内の様子を模式的に示す説明図である。

【図3】上記店舗の天井に設置された撮像部で取得された画像の一例を示す説明図である。

【図4】上記画像から推定した顧客の姿勢を示す説明図である。

【図5】上記顧客行動分析システムにおける処理の流れの一例を示す説明図である。

【図6】上記顧客行動分析システムにおける処理の流れの他の例を示す説明図である。

【図7】上記店舗内の天井に複数の撮像部を設置した場合において、各撮像部で取得された画像を模式的に示す説明図である。

【図8】本発明の他の実施の形態の顧客行動分析システムの構成を模式的に示すブロック図である。

【図9】上記顧客行動分析システムにおける処理の流れの一例を示す説明図である。

【図10】顧客ごとの購買情報と接触商品との対応関係の一例を模式的に示す説明図である。

【図11】本発明のさらに他の実施の形態の顧客行動分析システムの構成を模式的に示すブロック図である。

【発明を実施するための形態】

【0010】

＜実施の形態１＞
本発明の実施の一形態について、図面に基づいて説明すれば、以下の通りである。

【0011】

〔顧客行動分析システムの構成〕
図１は、本実施形態の顧客行動分析システム１の全体の構成を模式的に示すブロック図であり、図２は、顧客行動分析システム１が適用される店舗１００内の様子を模式的に示す説明図である。顧客行動分析システム１は、店舗１００内での顧客Ｐの行動を分析するシステムであり、撮像部２と、第１の端末装置３とを有している。

【0012】

撮像部２は、店舗１００内を撮影して画像を取得するカメラで構成されている。上記画像は、例えば動画であるが、静止画であってもよい。撮像部２は、図２に示すように、店舗１００の天井１０１に設置されているが、商品棚１０２の上など、店舗１００内を撮影できる場所に設置されていればよい。図３は、店舗１００の天井１０１に設置された撮像部２で取得された画像Ｍの一例を示している。画像Ｍでは、店舗１００内で、商品棚１０２に陳列された商品２０１に向かって顧客Ｐが手を伸ばしている様子（行動）が示されている。

【0013】

本実施形態では、撮像部２は店舗１００内に複数設置されているが、撮像部２の設置台数は、店舗１００の大きさ（広さ）に応じて設定されればよく、１台のみであってもよい。撮像部２は、ＬＡＮ（Local Area Network）などの通信回線を介して第１の端末装置３と通信可能に接続されているが、第１の端末装置３と無線通信可能な構成であってもよい。いずれにしても、撮像部２での撮影によって取得された画像のデータは、通信回線を介して第１の端末装置３に送信される。

【0014】

第１の端末装置３は、撮像部２で取得された画像に基づいて、店舗１００内での顧客Ｐの行動を分析する端末装置であり、例えばパーソナルコンピュータ（ＰＣ）で構成される。この第１の端末装置３は、プログラム記憶部１０と、姿勢推定部１１と、姿勢情報記憶部１２と、行動分析部１３と、物品マップ記憶部１４と、分析結果記憶部１５と、入力部１６と、表示部１７と、通信部１８と、制御部１９とを有している。

【0015】

プログラム記憶部１０は、第１の端末装置３の各部を動作させるための動作プログラムを記憶するメモリである。制御部１９は、第１の端末装置３の各部の動作を制御する中央演算処理装置（ＣＰＵ；Central Processing Unit）で構成されており、プログラム記憶部１０に記憶された動作プログラムに従って動作する。上記した姿勢推定部１１および行動分析部１３は、例えばＧＰＵ（Graphics Processing Unit）で構成されているが、制御部１９と同一のまたは別個のＣＰＵで構成されていてもよい。なお、ＧＰＵは、リアルタイムな画像処理に特化した演算装置（プロセッサ）である。

【0016】

姿勢推定部１１は、撮像部２で取得された画像に基づいて、店舗１００内の顧客Ｐの姿勢を推定し、姿勢情報を取得する。また、姿勢推定部１１は、タイマーなどの計時部（図示せず）を内蔵しており、上記姿勢情報を店舗１００内の顧客Ｐごとに時系列で（時間的に異なるタイミングで）取得する。

【0017】

図４は、図３で示した画像Ｍから推定した顧客Ｐの姿勢３０１（太線参照）を示している。上記の姿勢情報は、顧客Ｐの姿勢３０１を示す情報であり、顧客Ｐの体の各関節位置の情報（例えば２次元または３次元空間内での位置座標）を含む。なお、同図では、顧客Ｐの姿勢３０１を分かりやすくするため、各関節位置を線でつなげて示しているが、このような線も上記の姿勢情報に含まれる。

【0018】

上記のような姿勢情報の取得（撮影画像からの顧客Ｐの各関節位置の取得）は、例えば公知の画像処理ソフトウェアを用いることによって行うことができる。同一の顧客Ｐにおいては、所定の時間内での動作範囲（例えば移動範囲）が限られるため、所定の時間内での各関節位置（または各関節位置をつなげた線）の移動量が所定範囲内であるか否かを判断することにより、時間的に異なるタイミングで取得された姿勢情報が同一の顧客Ｐについての情報であるか、別々の顧客Ｐについての情報であるかを判断することができる。これにより、顧客Ｐごとに姿勢情報を取得することができる。

【0019】

ところで、上記の姿勢情報は、顧客Ｐの顔の向きの情報をさらに含んでいてもよい。顔の向きの情報は、例えば公知の画像処理ソフトウェアを用いることによって行うことができる。例えば、撮像部２で取得された画像から、画像処理（例えば輪郭線抽出処理）によって、顧客Ｐの輪郭（頭部、顔、肩の形状を含む）を抽出するとともに、髪の毛の範囲（黒色の部分）、顔の範囲（肌色の部分）などを抽出し、互いのパーツの相互の位置関係を分析することにより、顧客Ｐの顔の向きの情報を取得することができる。

【0020】

姿勢情報記憶部１２は、姿勢推定部１１によって顧客Ｐごとに時系列で取得された姿勢情報３０１を記憶するメモリである。物品マップ記憶部１４は、店舗１００内に配置される物品と、その物品の配置位置とを示す物品マップを記憶するメモリである。ここで、店舗１００内に配置される「物品」には、店舗１００内で顧客Ｐに販売する商品のほか、非売品（例えば香水サンプルなどの商品サンプル）、商品の説明を記載した掲示物（例えばＰＯＰ（point of purchase advertising）と呼ばれる売場広告）、商品または店舗１００の宣伝に関する映像を表示する表示装置などが挙げられる。分析結果記憶部１５は、後述する行動分析部１３による分析結果を記憶するメモリである。

【0021】

プログラム記憶部１０、姿勢情報記憶部１２、物品マップ記憶部１４および分析結果記憶部１５は、例えばハードディスクで構成されるが、その他、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、光ディスク、光磁気ディスク、不揮発性メモリなどの記録媒体から適宜選択して構成されてもよい。

【0022】

行動分析部１３は、姿勢情報記憶部１２に記憶された姿勢情報に基づいて、店舗１００内での顧客Ｐの行動を分析する。行動分析部１３による行動分析の詳細については後述する。入力部１６は、例えばキーボード、マウス、タッチパッド、タッチパネルなどで構成され、顧客行動分析システム１の管理者による各種の指示入力を受け付ける。表示部１７は、行動分析部１３での分析結果をはじめとして、各種の情報を表示するデバイスであり、例えば液晶表示装置で構成される。通信部１８は、外部端末（例えばスマートフォンなどの携帯端末や他のＰＣ）と通信するためのインターフェースであり、アンテナ、送受信回路、変調回路、復調回路などを含んで構成される。

【0023】

〔顧客行動分析システムの動作〕
次に、本実施形態の顧客行動分析システム１の動作について説明する。図５は、本実施形態の顧客行動分析システム１における処理の流れの一例を示す説明図である。本実施形態の顧客行動分析システム１によって実現される顧客行動分析方法は、画像取得工程（Ｓ１）、姿勢推定工程（Ｓ２）、姿勢情報記憶工程（Ｓ３）、行動分析工程（Ｓ４）、分析結果記憶工程（Ｓ５）を含む。以下、図５および他の図面も参照しながら説明する。

【0024】

Ｓ１の画像取得工程では、店舗１００内を撮像部２によって撮影して画像を取得する（図３参照）。Ｓ２の姿勢推定工程では、姿勢推定部１１が、Ｓ１で取得された画像に基づいて、店舗１００内の顧客Ｐの姿勢を推定して姿勢情報を取得するとともに、上記姿勢情報を店舗１００内の顧客Ｐごとに時系列で取得する。

【0025】

例えば、ある顧客Ｐが店舗１００内の通路を歩いている場合、姿勢推定部１１は、撮像部２によって取得された画像から、顧客Ｐが歩いているときの姿勢（例えば各関節位置や顔の向き）を推定するとともに、その推定した姿勢の情報（姿勢情報）を時間的に異なるタイミング（時刻）で取得する。また、例えば別の顧客Ｐが店舗１００内の商品２０１を購入すべく、商品２０１をカート（または手提げかご）に入れる動作を行う場合、顧客Ｐが「商品２０１に向かって手を伸ばそうとする姿勢」、「商品２０１に手が接触したときの姿勢」、「商品２０１をカートに入れる姿勢」の各情報が、時系列の姿勢情報として姿勢推定部１１によって取得される。

【0026】

Ｓ３の姿勢情報記憶工程では、Ｓ２にて顧客Ｐごとに時系列で取得された姿勢情報を姿勢情報記憶部１２に記憶させる。そして、Ｓ４の行動分析工程では、行動分析部１３が、姿勢情報記憶部１２に記憶された姿勢情報に基づいて、店舗１００内での顧客Ｐの行動を分析する。例えば、行動分析部１３は、上記姿勢情報に基づいて、顧客Ｐの体の向きを含めた、顧客Ｐの店舗１００内での動線（移動経路）を導出することにより、顧客Ｐの店舗１００内での行動を分析する。

【0027】

また、物品マップ記憶部１４には、店舗１００内に配置される物品と、物品の配置位置とを示す物品マップが記憶されているため、行動分析部１３は、上記の姿勢情報と物品マップとに基づいて、物品に対する顧客Ｐの行動を特定することができる。例えば、行動分析部１３は、顧客Ｐの姿勢情報から、顧客Ｐが店舗１００内で静止していると判断し、また、姿勢情報と物品マップとから、顧客Ｐの顔の向きが物品のほうを向いていると判断した場合には、物品に対する顧客Ｐの行動として、顧客Ｐが店舗１００内で物品のほうを向いて静止していることを特定することができる。また、顧客Ｐが伸ばした手の先端に、物品が位置する場合には、行動分析部１３は、顧客Ｐの行動として、顧客Ｐが店舗１００内の物品に接触したことを特定することができる。

【0028】

Ｓ５の分析結果記憶工程では、行動分析部１３による分析結果が、分析結果記憶部１５に記憶される。これにより、システムの管理者は、分析結果記憶部１５に記憶された分析結果を参照して、その分析結果を今後の販売商品のマーケティングに活かすことが可能となる。なお、上記分析結果の参照は、例えば、管理者が入力部１６を操作して、上記分析結果を表示部１７に表示させることによって行うことができる。また、管理者は、外部端末（例えば管理者の携帯端末）から第１の端末装置３に対して、分析結果の送信要求を行ってもよい。この場合、第１の端末装置３の制御部１９は、上記送信要求に基づいて、分析結果記憶部１５に記憶された分析結果を、通信部１８を介して外部端末に送信する。これにより、管理者は、外部端末にて分析結果を参照することが可能となる。

【0029】

〔効果〕
本実施形態では、姿勢推定部１１が撮像部２で取得した画像に基づいて顧客Ｐの姿勢を推定して姿勢情報を取得し、姿勢情報記憶部１２がその姿勢情報を記憶する。そして、行動分析部１３が上記姿勢情報に基づいて顧客の行動を分析する。したがって、撮像部２で取得した画像のデータそのものを記憶するメモリは不要であり、そのようなメモリを設けることなく行動分析を行うことが可能となる。よって、上記メモリを有する場合に起こり得る、上記画像のデータの漏洩の問題は起こらない。また、姿勢情報はあくまでも顧客Ｐの姿勢の情報であって、氏名等の個人を特定する情報ではないため、姿勢情報記憶部１２に記憶された姿勢情報が万が一外部に漏洩したとしても、その姿勢情報に基づいて顧客Ｐ（例えば個人名）が特定されることはない。

【0030】

また、顧客Ｐごとの時系列の姿勢情報を姿勢情報記憶部１２に記憶させることで、行動分析部１３は、上記姿勢情報を適宜読み出すことにより、読み出した姿勢情報に基づいて、店舗１００内での顧客の行動を（分析したいときに）いつでも分析することが可能となる。例えば、過去のある時点での姿勢情報に基づいて、上記時点での顧客のＰの行動（例えば店舗１００内での動線）を後からでも分析（再分析）することが可能となる。さらに、同じ姿勢情報に基づいて、顧客Ｐの（以前に分析した行動とは）別の行動（例えば店舗１００内の物品と接触したかどうか）を分析することも可能となる。

【0031】

したがって、本実施形態の顧客行動分析システム１および顧客行動分析方法によれば、撮像部２で取得された画像のデータそのものをメモリに記憶させることなく、顧客Ｐの個人情報の保護を図りながら、店舗１００内での顧客Ｐの様々な行動をいつでも分析することが可能となる。

【0032】

また、Ｓ４の行動分析工程では、行動分析部１３は、姿勢推定部１１で取得された姿勢情報に基づいて、顧客Ｐの体の向きを含めた顧客Ｐの店舗１００内での動線を導出する。これにより、顧客Ｐの体の向きを含めた動線との関係で、店舗１００内での顧客の行動分析を行うことができる。例えば、店舗１００内で顧客Ｐがどのような経路で移動したのか、また、商品のほうを見ながら移動したのか、見ずに移動したのかを分析することができる。

【0033】

また、Ｓ４の行動分析工程では、行動分析部１３は、姿勢推定部１１で取得された姿勢情報と、物品マップ記憶部１３に記憶された物品マップとに基づいて、物品に対する顧客Ｐの行動を特定する。これにより、店舗１００内の物品との関係で、顧客Ｐの行動分析を行うことができる。例えば、顧客Ｐが物品を手にとったかどうか（物品と接触したか否か）、または、顧客Ｐが店舗１００内のどの物品に接触したのかを分析することができる。

【0034】

また、Ｓ４の行動分析工程では、行動分析部１３は、上記姿勢情報と上記物品マップとに基づいて、顧客Ｐが店舗１００内で物品のほうを向いて静止していることを、顧客Ｐの行動として特定する。この場合、顧客Ｐが関心のある物品を推定することが可能となる。

【0035】

また、Ｓ４の行動分析工程では、行動分析部１３は、上記姿勢情報と上記物品マップとに基づいて、顧客Ｐが物品に接触したことを、顧客Ｐの行動として特定する。この場合、顧客Ｐが実際に購入した可能性の高い物品を推定することが可能となる。

【0036】

また、上述した姿勢情報は、顧客Ｐの体の各関節位置の情報を含む。顧客Ｐの各関節位置の情報は、顧客Ｐの姿勢を把握するのに有効な情報であり、これを姿勢情報に含めることで、姿勢情報に基づく行動分析を適切に行うことができる。また、行動分析部１３は、取得された姿勢情報から、つまり、各関節位置の違いから、顧客Ｐの行動の一つ一つを詳しく分析することが可能となる。

【0037】

また、上述した姿勢情報は、顧客Ｐの顔の向きの情報を含む。この場合、行動分析部１３は、顧客Ｐの顔の向きも考慮して（例えば顧客Ｐが商品２０１のほうを見ているのか通路のほうを見ているのかを把握して）、顧客Ｐの行動をより詳しく分析することが可能となる。

【0038】

〔指示入力に応じた行動分析〕
図６は、本実施形態の顧客行動分析システム１における処理の流れの他の例を示す説明図である。上記顧客行動分析システム１によって実現される顧客行動分析方法は、上述したＳ１～Ｓ５の工程に加えて、入力受付工程（Ｓ６）を含んでいてもよい。この入力受付工程では、顧客行動分析システム１の管理者による各種の指示入力を受け付ける。なお、上記の指示入力は、入力部１６によって行われる。

【0039】

Ｓ６において、入力部１６による管理者からの指示入力を受け付けたとき、Ｓ４の行動分析工程では、行動分析部１３は、上記指示入力に応じた顧客Ｐの行動分析を実行する。例えば、管理者が、入力部１６によって顧客Ｐの店舗１００内での動線を導出する指示入力を行った場合、行動分析部１３は、上記指示入力に基づき、姿勢情報記憶部１２に記憶された時系列の姿勢情報から、顧客Ｐの店舗１００内での動線を導出する。また、管理者が、入力部１６によって顧客Ｐの物品との接触の有無を分析する指示入力を行った場合、行動分析部１３は、上記指示入力に基づき、姿勢情報記憶部１２に記憶された姿勢情報および物品マップ記憶部１４に記憶された物品マップとから、顧客Ｐの物品との接触の有無を分析する。

【0040】

このように、行動分析部１３は、入力部１６による管理者からの指示入力に応じた顧客Ｐの行動分析を実行することにより、管理者が希望する行動分析を行動分析部１３に実行させることができる。

【0041】

なお、図６では、Ｓ６の入力受付工程が、Ｓ４の行動分析工程よりも前に行われる場合を示しているが、Ｓ４の行動分析工程よりも後に行われてもよい。この場合は、Ｓ４で一旦行動分析を行った後に、Ｓ６での入力受付（指示入力）に応じた別の分析（再分析）を行うことになる。

【0042】

〔複数の取得画像に基づく行動分析〕
図７は、店舗１００内の天井１０１に複数の撮像部２を設置した場合において、各撮像部２で取得された異なる時刻ごとの画像を模式的に示している。図５または図６のＳ２の姿勢推定工程では、姿勢推定部１１は、複数の撮像部２のそれぞれで取得された各画像に基づいて、顧客Ｐの姿勢を推定するとともに、複数の撮像部２ごとに得られた姿勢の推定結果を一纏めにして、顧客Ｐについての上記姿勢情報としてもよい。

【0043】

例えば、図７に示すように、店舗１００の天井１０１に３つの撮像部２ａ・２ｂ・２ｃが設置されており、店舗１００内で撮像部２ａ・２ｂ・２ｃの下方の通路を顧客Ｐが通過する場合を考える。顧客Ｐが、時刻ｔ１では、撮像部２ａによって撮影され、時刻ｔ２では、撮像部２ｂによって撮影され、時刻ｔ３では、撮像部２ｃによって撮影された場合、姿勢推定部１１は、撮像部２ａによって取得された画像に基づいて、時刻ｔ１における顧客Ｐの姿勢３０１ａを推定し、撮像部２ｂによって取得された画像に基づいて、時刻ｔ２における顧客Ｐの姿勢３０１ｂを推定し、撮像部２ｃによって取得された画像に基づいて、時刻ｔ３における顧客Ｐの姿勢３０１ｃを推定する。そして、姿勢推定部１１は、複数の撮像部２ａ・２ｂ・２ｃごとに得られた姿勢の推定結果（時刻ｔ１での姿勢３０１ａの情報、時刻ｔ２での姿勢３０１ｂの情報、時刻ｔ３での姿勢３０１ｃの情報）を一纏めにして（統合して）、顧客Ｐの姿勢情報として取得する。姿勢推定部１１にて取得された上記姿勢情報は、その後、姿勢情報記憶部１２に記憶され（Ｓ３）、行動分析部１３は、上記姿勢情報に基づいて、顧客Ｐの行動を分析することになる（Ｓ４）。

【0044】

このように、姿勢推定部１１が、複数の撮像部２ごとに得られた姿勢の推定結果を一纏めにして、顧客Ｐの姿勢情報として取得することにより、行動分析部１３は、上記姿勢情報に基づいて、顧客Ｐの店舗１００内での動線（上記の例では、顧客Ｐが撮像部２ａ・２ｂ・２ｃの下方の通路を通過したこと）を導出することが可能となる。つまり、行動分析部１３は、複数の撮像部２が設置された店舗１００全体にわたって（店舗単位で）、顧客Ｐの行動を分析することが可能となる。

【0045】

また、例えば、同じ時刻ｔ１において、撮像部２ａで取得された画像と撮像部２ｂで取得された画像との境界をまたぐような人物の姿勢が、それぞれの画像に基づいて姿勢推定部１１によって推定された場合、これらの人物は同一人であると判断できる。一方、同じ時刻ｔ１において、姿勢推定部１１により、撮像部２ａで取得された画像に基づいて単一人の姿勢が推定され、撮像部２ａとは撮影領域が離れた撮像部２ｃで取得された画像に基づいて単一人の姿勢が推定された場合、これらの人物は別人であると判断できる（同じ時刻に同一人が店舗１００内で撮影領域の離れた場所に個々に存在することはあり得ないため）。したがって、姿勢推定部１１が各撮像部２で取得された画像に基づいて姿勢を推定することにより、各画像に人物が同時に写っている場合でも、それらの人物が同一人であるか別人であるかを判別することが可能となる。その結果、行動分析部１３は、複数の撮像部２が設置された店舗１００内に複数の顧客Ｐが存在する場合でも、姿勢推定部１１によって取得された上記姿勢情報に基づいて、顧客Ｐごとに行動分析を行うことが可能となる。

【0046】

＜実施の形態２＞
図８は、本発明の実施の形態２の顧客行動分析システム１の構成を模式的に示すブロック図である。顧客行動分析システム１は、実施の形態１で示した構成に加えて、購買情報記憶部２０と、購買情報紐付け部２１とを有している。

【0047】

購買情報記憶部２０は、顧客Ｐが店舗１００内で実際に買った購買商品に関する情報を、購買情報として記憶するメモリである。この購買情報記憶部２０は、プログラム記憶部１０、姿勢情報記憶部１２、物品マップ記憶部１４および分析結果記憶部１５と同様に、ハードディスク等で構成される。

【0048】

ここで、上記の購買情報としては、例えばＰＯＳ（Point of Sales）データを考えることができる。ＰＯＳデータとは、商品の販売時点のデータであり、「いつ」、「どの店舗で」、「どの商品が」、「いくらで」、「何個売れたのか」という情報を含む。例えば、店舗１００内のキャシュレジスタ（単にレジとも呼ばれる）４００において、精算時に商品についているバーコードをスキャナーで読み取ることにより、ＰＯＳデータが取得され、このＰＯＳデータがほぼリアルタイムに購買情報記憶部２０に転送されて記憶される。なお、上記のＰＯＳデータには、「誰が」という情報は含まれておらず、万が一、購買情報が外部に漏洩したとしても、商品を購入した顧客Ｐ（例えば個人名）が特定されることはない。

【0049】

なお、本実施形態では、顧客行動分析システム１がキャッシュレジスタ４００を有することによって、購買情報を取得するようにしているが、キャッシュレジスタ４００はシステムに必須の構成ではない。例えば、キャッシュレジスタ４００で取得された購買情報を一旦、記録媒体（例えば光ディスクや可搬型の不揮発性メモリ）に記録しておき、この記録媒体から購買情報を読取装置（図示せず）にて読み取ることによって、上記購買情報を取得してもよい。また、入力部１６によって購買情報が直接入力されることで、上記購買情報を取得してもよいし、外部の端末装置（例えばサーバー）から通信部１８を介して購買情報を受信することによって上記購買情報を取得してもよい。

【0050】

購買情報紐付け部２１は、顧客Ｐごとに、購買情報記憶部２０に記憶された購買情報と、姿勢情報記憶部１２に記憶された姿勢情報とを紐付ける処理を行う。この購買情報紐付け部２１は、ＣＰＵまたはＧＰＵで構成される。ここで、「紐付け」とは、上記購買情報と上記姿勢情報とを同じ顧客Ｐに関する情報として関連付ける（結び付ける）ことを言う。

【0051】

図９は、本実施形態の顧客行動分析システム１における処理の流れの一例を示す説明図である。本実施形態の顧客行動分析システム１によって実現される顧客行動分析方法は、実施の形態１の分析結果記憶工程（Ｓ５）の後に、購買情報紐付け工程（Ｓ７）および紐付け結果記憶工程（Ｓ８）を有している。以下、実施の形態１と異なる部分について説明する。

【0052】

Ｓ４の行動分析工程に入るまでは、実施の形態１と同様である。Ｓ４では、行動分析部１３は、姿勢情報記憶部１２に記憶された姿勢情報と、物品マップ記憶部１４に記憶された物品マップとに基づいて、物品のうちで店舗１００内で販売されている販売商品に顧客Ｐが接触したことを、顧客Ｐの行動として特定する。Ｓ５の分析結果記憶工程では、Ｓ４で特定された顧客Ｐの行動の情報、すなわち、顧客Ｐが販売商品に接触したという情報が、分析結果記憶部１５に記憶される。

【0053】

Ｓ７の購買情報紐付け工程では、購買情報紐付け部２１は、購買情報記憶部２０に予め記憶されている購買情報と、接触した販売商品（接触商品）の情報との対応関係に基づいて、顧客Ｐごとに購買情報と姿勢情報とを紐付ける。Ｓ８の紐付け結果記憶工程では、Ｓ７で紐付けた結果を示す情報が、分析結果記憶部１５に記憶される。なお、Ｓ８において、上記情報を分析結果記憶部１５に記憶させる代わりに、例えば外部（例えば管理者が所有する携帯端末）からの送信要求に応じて、通信部１８を介して外部に上記情報を送信するようにしてもよい。

【0054】

図１０は、顧客Ｐごとの購買情報と接触商品との対応関係の一例を模式的に示している。なお、図１０では、複数の顧客Ｐを互いに区別するために、各顧客Ｐを便宜的に顧客１～４として示している。上記したＳ７の工程は、例えば以下のようにして行われる。顧客１については、Ｓ４での行動分析によって、店舗１００内で、商品ａ、ｂ、ｃ、ｄ、ｅに接触したことがわかっている。また、購買情報記憶部２０に記憶されている購買情報から、ある顧客Ｐは、商品ａ、ｃを実際に購入したことがわかっている。この場合、購買情報紐付け部２１は、ある顧客Ｐが購入した商品ａ、ｃと、顧客１が接触した商品ａ、ｂ、ｃ、ｄ、ｅとが対応しており（購入商品が全て接触商品に含まれているため）、顧客Ｐは顧客１であると判断する。そして、購買情報紐付け部２１は、顧客１に関して、商品ａ、ｂ、ｃ、ｄ、ｅに接触したときに姿勢推定部１１で取得された姿勢情報（例えば各商品に手を伸ばし、各商品を掴んでカートに入れる姿勢の情報）と、顧客Ｐの購買情報（顧客Ｐが商品ａ、ｃを購入したこと）とを紐付ける。顧客２～４についても、上記と同様の処理が行われる。

【0055】

このように、購買情報紐付け部２１が、上記購買情報と、接触した販売商品の情報との対応関係に基づいて、顧客Ｐごとに購買情報と姿勢情報とを紐付けることにより、管理者は、その紐付けた結果に基づいて、顧客Ｐが店舗１００内で実際に買った商品（例えば商品ａ、ｃ）は勿論のこと、実際に買わなかった商品（例えば商品ｂ、ｄ、ｅ）も把握することが可能となる。したがって、管理者は、顧客Ｐが実際に買わなかった商品について、販売促進計画を立てるなどの必要な措置を講じることが可能となる。つまり、姿勢情報を購買情報と紐付けて管理することにより、顧客Ｐが実際に商品を購入するまでの経緯も考慮して、今後の商品のマーケティングを検討することが可能となり、姿勢情報を有効活用することが可能となる。

【0056】

＜実施の形態３＞
図１１は、本発明の実施の形態３の顧客行動分析システム１の構成を模式的に示すブロック図である。顧客行動分析システム１は、実施の形態２で示した第１の端末装置３の機能の一部を、第２の端末装置４に持たせた構成である。なお、本実施形態の構成は、実施の形態１のシステムにも勿論適用可能である（実施の液体１で示した第１の端末装置３の機能の一部を、第２の端末装置４に持たせてもよい）。

【0057】

本実施形態の顧客行動分析システム１は、互いに通信可能な第１の端末装置３および第２の端末装置４を含む。第１の端末装置３と第２の端末装置４とは、例えばＬＡＮやインターネットなどの通信回線（有線、無線を問わない）を介して通信可能に接続されている。第１の端末装置３は、例えば店舗１００内に設置されるが、第２の端末装置４は、店舗１００の外部に設置されていてもよく、また、第１の端末装置３と同様に店舗１００内に設置されていてもよい。

【0058】

第１の端末装置３は、実施の形態２で示したプログラム記憶部１０と、姿勢推定部１１と、入力部１６と、表示部１７と、通信部１８と、制御部１９とを有している。第２の端末装置４は、実施の形態２で示した姿勢情報記憶部１２と、行動分析部１３と、物品マップ記憶部１４と、分析結果記憶部１５と、購買情報記憶部２０と、購買情報紐付け部２１とを有している。第１の端末装置３の各部（姿勢推定部１１等）の機能および第２の端末装置４の各部（姿勢情報記憶部１２等）の機能は、実施の形態１または２で説明した通りである。

【0059】

第２の端末装置４は、例えば高速での演算処理が可能な処理装置（例えばＧＰＵ）と、大容量の記憶部（例えばハードディスク）とを有するサーバーで構成されている。上記の処理装置は、上述した行動分析部１３および購買情報紐付け部２１と、後述する制御部２４として機能している。また、上記の大容量の記憶部は、上述した姿勢情報記憶部１２、物品マップ記憶部１４、分析結果記憶部１５および購買情報記憶部２０と、後述するプログラム記憶部２３として機能している。

【0060】

第２の端末装置４は、通信部２２と、プログラム記憶部２３と、制御部２４とをさらに有している。通信部２２は、第１の端末装置３と通信するためのインターフェースであり、アンテナ、送受信回路、変調回路、復調回路などを含んで構成される。プログラム記憶部２３は、第２の端末装置４の各部を動作させるための動作プログラムを記憶するメモリである。制御部２４は、第２の端末装置４の各部の動作を制御するＣＰＵで構成されており、プログラム記憶部２３に記憶された動作プログラムに従って動作する。

【0061】

本実施形態の顧客行動分析システム１の構成では、第１の端末装置３の姿勢推定部１１が、撮像部２で取得された画像に基づいて、店舗１００内の顧客Ｐの姿勢情報を時系列で取得すると、上記姿勢情報が通信部１８を介して第２の端末装置４に送信される。そして、第２の端末装置４では、第１の端末装置３から送信された顧客Ｐの姿勢情報が姿勢情報記憶部１２に記憶される。そして、第２の端末装置４の行動分析部１３が、姿勢情報記憶部１２に記憶された姿勢情報に基づいて、店舗１００内での顧客Ｐの行動を分析する。なお、第２の端末装置４での行動分析部１３による行動分析の手法は、実施の形態１または２で示した手法と同様である。

【0062】

以上のように、本実施形態の顧客行動分析システム１は、互いに通信可能な第１の端末装置３および第２の端末装置４を含み、第１の端末装置３が姿勢推定部１１を有し、第２の端末装置４が行動分析部１３を有する構成である。この構成では、上述したように、姿勢推定部１１での処理と行動分析部１３での処理とが別々の端末装置（第１の端末装置３、第２の端末装置４）で行われ、行動分析に必要な処理の負担が第１の端末装置３と第２の端末装置４とに分担される。これにより、例えば第１の端末装置３を高性能の装置で構成しなくても済み、安価なＰＣを用いることが可能となる。また、例えば第２の端末装置４を、行動分析部１３による行動分析専用の装置として用いることが可能となる。

【0063】

また、第２の端末装置４は、姿勢情報記憶部１２をさらに有しているため、第１の端末装置３に、姿勢情報を記憶するメモリを設けなくても済み、第１の端末装置３に大容量のメモリを設けることなく、顧客行動分析システム１を構成することが可能となる。

【0064】

＜まとめ＞
上述した各実施の形態では、顧客の購買行動分析を目的として、顧客の姿勢情報をメモリ（姿勢情報記憶部）に記憶しておくことにより、ＩＣチップやＩＣタグを商品に貼付したり、携帯端末を用いて識別子の情報をやりとりすることなく、匿名情報を用いて顧客の行動を分析することが可能となり、店舗での顧客の購買行動を精度よく把握可能な分析情報を得ることができる。また、姿勢情報を記憶しておくことで、その姿勢情報を用いて顧客の行動を後から分析（再分析）することが可能となる。なお、再分析を行う場合でも、再撮影などの再度の情報取得は不要である。

【0065】

また、姿勢情報を記憶しておくことで、その姿勢情報を用いた顧客の行動分析が可能であるため、予め定義した行動だけでなく、予期せぬ行動も含めた顧客の行動分析が可能になる（姿勢情報から顧客の種々の行動を分析することができる）。また、ある商品特有の顧客の行動も分析可能となり、上記分析のための機械学習（再学習）などは不要である。さらに、姿勢情報を記憶することで、撮像画像のデータそのものを記憶することが不要となり、メモリ容量を低減できるとともに、画像の漏洩による個人情報の流出のおそれがなく、個人情報の保護を適切に図ることができる。また、行動分析により、（仮説ではなく）実際の顧客の行動に基づいた消費者インサイト（無意識の行動、意図）の導出も可能となる。さらに、商品マップと時系列の姿勢情報とに基づいて、顧客の行動を分析することにより、店舗内の商品との関係で顧客の購買行動を分析することが可能となる。

【0066】

＜プログラムおよび記録媒体＞
各実施の形態１および２で説明した顧客行動分析システム１の第１の端末装置３は、例えば、所定のプログラム（アプリケーションソフトウェア）をインストールしたコンピュータ（ＰＣ）で構成することができる。上記プログラムをコンピュータ（例えばＣＰＵとしての制御部１９）が読み取って実行することにより、顧客行動分析システム１の各部を動作させて上述した各処理（各工程）を実行させることができる。このようなプログラムは、例えばネットワークを介して外部からダウンロードすることによって取得されてプログラム記憶部１０に記憶される。また、上記プログラムは、例えばＣＤ－ＲＯＭ（Compact Disk-Read Only Memory）などのコンピュータ読取可能な記録媒体に記録され、この記録媒体から上記プログラムをコンピュータが読み取ってプログラム記憶部１０に記憶する形態であってもよい。

【0067】

＜補足＞
（１）各実施の形態１～３で説明した行動分析部１３は、顧客Ｐごとの時系列の姿勢情報を分類（クラスタリング）し、分類した姿勢情報に基づいて、顧客Ｐの行動を複数の行動に分類してもよい。

【0068】

例えば、店舗内の商品棚に香水のサンプルが複数種類置いてあるとする。ある顧客は、香水を購入する際に、それぞれの香水の匂いを確かめるべく、各香水のサンプルをそれぞれ手にとって匂いを嗅ぐ動作を行い、気に入った場合には、気に入った香水（商品Ａとする）をカートに入れる。この場合、顧客がサンプルや商品Ａに向かって腕を伸ばしたり、折り畳んだりする姿勢の変化（特徴的な動き）が短時間の間で繰り返し起こる。一方、店舗内の商品棚に重たい商品Ｂ（例えばお米）が置いてあるとする。ある顧客は、商品Ｂを購入する際には、商品Ｂを両手で抱えるようにしてゆっくりとカートに積み込む動作を行う。このように、顧客が購入しようとする商品によって、顧客の姿勢の変化の仕方が異なり、取得される姿勢情報も異なる。

【0069】

したがって、行動分析部１３は、姿勢推定部１１で取得される顧客Ｐの姿勢情報を、例えば姿勢情報の変化の仕方に応じて分類することにより、分類した姿勢情報から、顧客Ｐの行動が、特定の商品（例えば商品Ａ）に対する行動であるか、別の商品（例えば商品Ｂ）に対する行動であるかを把握することが可能となり、顧客Ｐの行動を複数の行動に分類することが可能となる。このような顧客Ｐの行動の分類により、例えば、分類された行動に応じた商品の配置（例えば商品Ｂについてはカートに積み込みやすい位置に陳列するなど）を検討して実施するなど、必要な措置を講じることが可能となる。

【0070】

（２）店舗内の情報を各種センサで取得し、行動分析部１３が顧客の行動と上記店舗内の情報との関連を分析してもよい。例えば、上記センサとしてマイクを用い、店舗内の表示装置にて販売促進物の映像を表示させたときに同時に再生される音声を上記マイクにて取得し、検出するとともに、その音声の再生タイミング（時刻）を記録する。この場合、行動分析部１３は、上記音声の再生タイミングと、時系列で取得される顧客の姿勢情報とに基づいて、音声再生時の販売促進物に対する顧客の行動を分析することが可能となる。また、例えば、店内アナウンスの内容（音声）を上記マイクにて取得するとともに、その音声の再生タイミングを記録しておけば、行動分析部１３は、上記音声の再生タイミングと、時系列で取得される顧客の姿勢情報とに基づいて、店内アナウンスに対する顧客の行動を分析することが可能となる。例えば、「タイムセール開始」などのアナウンス直後の顧客の行動を分析することが可能となる。

【0071】

（３）行動分析部１３による顧客の行動分析は、対象商品ごとに異なる基準に基づいて行われてもよい。この場合、商品ごとに異なる行動を認識することが可能となる。例えば、サンプルの使用の有無、商品の大きさによる取り出し方の違い、購入札（高額商品や大型商品の場合）での購入の有無、カタログ（チラシ）の参照の有無、などを認識することが可能となる。

【0072】

＜その他＞
以上の各実施の形態で説明した顧客行動分析システムおよび顧客行動分析方法は、以下のように表現されてもよい。また、本実施形態で説明した内容は、以下の顧客行動分析プログラムおよび記録媒体を含む。

【0073】

１．店舗内での顧客の行動を分析する顧客行動分析システムであって、
前記店舗内を撮影して画像を取得する撮像部と、
前記撮像部で取得された前記画像に基づいて、前記店舗内の前記顧客の姿勢を推定して姿勢情報を取得するとともに、前記姿勢情報を前記店舗内の前記顧客ごとに時系列で取得する姿勢推定部と、
前記顧客ごとに時系列で取得された前記姿勢情報を記憶する姿勢情報記憶部と、
前記姿勢情報記憶部に記憶された前記姿勢情報に基づいて、前記店舗内での前記顧客の行動を分析する行動分析部とを備えていることを特徴とする顧客行動分析システム。

【0074】

２．前記行動分析部は、前記姿勢情報に基づいて、前記顧客の体の向きを含めた前記顧客の前記店舗内での動線を導出することを特徴とする前記１に記載の顧客行動分析システム。

【0075】

３．前記店舗内に配置される物品と、前記物品の配置位置とを示す物品マップを記憶する物品マップ記憶部をさらに備え、
前記行動分析部は、前記姿勢情報と前記物品マップとに基づいて、前記物品に対する前記顧客の行動を特定することを特徴とする前記１または２に記載の顧客行動分析システム。

【0076】

４．前記行動分析部は、前記姿勢情報と前記物品マップとに基づいて、前記顧客が前記店舗内で前記物品のほうを向いて静止していることを、前記顧客の行動として特定することを特徴とする前記３に記載の顧客行動分析システム。

【0077】

５．前記行動分析部は、前記姿勢情報と前記物品マップとに基づいて、前記顧客が前記物品に接触したことを、前記顧客の行動として特定することを特徴とする前記３または４に記載の顧客行動分析システム。

【0078】

６．前記顧客が前記店舗内で実際に買った購買商品に関する情報を、購買情報として記憶する購買情報記憶部と、
前記購買情報と前記姿勢情報とを紐付ける購買情報紐付け部とをさらに備え、
前記行動分析部は、前記姿勢情報と前記物品マップとに基づいて、前記物品のうちで前記店舗内で販売されている販売商品に前記顧客が接触したことを、前記顧客の行動として特定し、
前記購買情報紐付け部は、前記購買情報と、接触した前記販売商品の情報との対応関係に基づいて、前記顧客ごとに前記購買情報と前記姿勢情報とを紐付けることを特徴とする前記３から５のいずれかに記載の顧客行動分析システム。

【0079】

７．システムの管理者による指示入力を受け付ける入力部をさらに備え、
前記行動分析部は、前記入力部によって前記管理者からの指示入力を受け付けたときに、前記指示入力に応じた前記顧客の行動分析を実行することを特徴とする前記１から６のいずれかに記載の顧客行動分析システム。

【0080】

８．前記撮像部を複数備え、
前記姿勢推定部は、複数の前記撮像部のそれぞれで取得された各画像に基づいて、前記顧客の姿勢を推定するとともに、複数の前記撮像部ごとに得られた前記姿勢の推定結果を一纏めにして、前記顧客についての前記姿勢情報として取得ことを特徴とする前記１から７のいずれかに記載の顧客行動分析システム。

【0081】

９．前記撮像部と通信可能な第１の端末装置と、
前記第１の端末装置と通信可能な第２の端末装置とを含み、
前記第１の端末装置は、前記姿勢推定部を有し、
前記第２の端末装置は、前記行動分析部を有することを特徴とする前記１から８のいずれかに記載の顧客行動分析システム。

【0082】

１０．前記第２の端末装置は、前記姿勢情報記憶部をさらに有することを特徴とする前記９に記載の顧客情報分析システム。

【0083】

１１．前記姿勢情報は、前記顧客の体の各関節位置の情報を含むことを特徴とする前記１から１０のいずれかに記載の顧客行動分析システム。

【0084】

１２．前記姿勢情報は、前記顧客の顔の向きの情報を含むことを特徴とする前記１１に記載の顧客行動分析システム。

【0085】

１３．店舗内での顧客の行動を分析する顧客行動分析方法であって、
前記店舗内を撮影して画像を取得する撮像部によって取得された前記画像に基づいて、前記店舗内の前記顧客の姿勢を推定して姿勢情報を取得するとともに、前記姿勢情報を前記店舗内の前記顧客ごとに時系列で取得する姿勢推定工程と、
前記顧客ごとに時系列で取得された前記姿勢情報を姿勢情報記憶部に記憶させる姿勢情報記憶工程と、
前記姿勢情報記憶部に記憶された前記姿勢情報に基づいて、前記店舗内での前記顧客の行動を分析する行動分析工程とを含むことを特徴とする顧客行動分析方法。

【0086】

１４．前記行動分析工程では、前記姿勢情報に基づいて、前記顧客の体の向きを含めた前記顧客の前記店舗内での動線を導出することを特徴とする前記１３に記載の顧客行動分析方法。

【0087】

１５．前記行動分析工程では、前記姿勢情報と、前記店舗内に配置される物品と前記物品の配置位置とを示す前記物品マップとに基づいて、前記物品に対する前記顧客の行動を特定することを特徴とする前記１３または１４に記載の顧客行動分析方法。

【0088】

１６．前記行動分析工程では、前記姿勢情報と前記物品マップとに基づいて、前記顧客が前記店舗内で前記物品のほうを向いて静止していることを、前記顧客の行動として特定することを特徴とする前記１５に記載の顧客行動分析方法。

【0089】

１７．前記行動分析工程では、前記姿勢情報と前記物品マップとに基づいて、前記顧客が前記物品に接触したことを、前記顧客の行動として特定することを特徴とする前記１５または１６に記載の顧客行動分析方法。

【0090】

１８．前記顧客が前記店舗内で実際に買った購買商品に関する情報である購買情報を、前記姿勢情報と紐付ける購買情報紐付け工程をさらに含み、
前記行動分析工程では、前記姿勢情報と前記物品マップとに基づいて、前記物品のうちで前記店舗内で販売されている販売商品に前記顧客が接触したことを、前記顧客の行動として特定し、
前記購買情報紐付け工程では、前記購買情報と、接触した前記販売商品の情報との対応関係に基づいて、前記顧客ごとに前記購買情報と前記姿勢情報とを紐付けることを特徴とする前記１５から１７のいずれかに記載の顧客行動分析方法。

【0091】

１９．システムの管理者による指示入力を受け付ける入力受付工程をさらに含み、
前記行動分析工程では、前記入力受付工程によって前記管理者からの指示入力を受け付けたときに、前記指示入力に応じた前記顧客の行動分析を実行することを特徴とする前記１３から１８のいずれかに記載の顧客行動分析方法。

【0092】

２０．前記姿勢推定工程では、複数の前記撮像部のそれぞれで取得された各画像に基づいて、前記顧客の姿勢を推定するとともに、複数の前記撮像部ごとに得られた前記姿勢の推定結果を一纏めにして、前記顧客についての前記姿勢情報として取得することを特徴とする前記１３から１９のいずれかに記載の顧客行動分析方法。

【0093】

２１．前記姿勢情報は、前記顧客の体の各関節位置の情報を含むことを特徴とする前記１３から２０のいずれかに記載の顧客行動分析方法。

【0094】

２２．前記姿勢情報は、前記顧客の顔の向きの情報を含むことを特徴とする前記２１に記載の顧客行動分析方法。

【0095】

２３．前記１３～２２のいずれかに記載の顧客行動分析方法をコンピュータに実行させる顧客行動分析プログラム。

【0096】

２４．前記２３に記載の顧客行動分析プログラムを記録した、コンピュータ読取可能な記録媒体。

【0097】

以上、本発明の実施形態について説明したが、本発明の範囲はこれに限定されるものではなく、発明の主旨を逸脱しない範囲で拡張または変更して実施することができる。

【産業上の利用可能性】

【0098】

本発明は、店舗内での顧客の行動を分析する顧客行動分析システムおよび顧客行動分析方法に利用可能である。

【符号の説明】

【0099】

１ 顧客行動分析システム
２ 撮像部
３ 第１の端末装置
４ 第２の端末装置
１１ 姿勢推定部
１２ 姿勢情報記憶部
１３ 行動分析部
１４ 物品マップ記憶部
１６ 入力部
２０ 購買情報記憶部
２１ 購買情報紐付け部
１００ 店舗
３０１ 姿勢
Ｐ 顧客

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】