特開 2023-120769 情報処理システム、情報処理方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023120769

(43)【公開日】2023-08-30

(54)【発明の名称】情報処理システム、情報処理方法、及びプログラム

(51)【国際特許分類】

   G06Q 30/0203 20230101AFI20230823BHJP

   G06Q 30/06 20230101ALI20230823BHJP

【ＦＩ】

G06Q30/02 312

G06Q30/06

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2022023807

(22)【出願日】2022-02-18

(71)【出願人】

【識別番号】000003193

【氏名又は名称】凸版印刷株式会社

(74)【代理人】

【識別番号】100149548

【弁理士】

【氏名又は名称】松沼 泰史

(74)【代理人】

【識別番号】100139686

【弁理士】

【氏名又は名称】鈴木 史朗

(74)【代理人】

【識別番号】100169764

【弁理士】

【氏名又は名称】清水 雄一郎

(74)【代理人】

【識別番号】100147267

【弁理士】

【氏名又は名称】大槻 真紀子

(72)【発明者】

【氏名】畑 幸一

【テーマコード（参考）】

5L049

【Ｆターム（参考）】

5L049BB02

5L049BB72

(57)【要約】

【課題】商品を購入する過程における消費者の行動が判る情報を生成する。
【解決手段】商品が陳列される商品棚の近傍にいる消費者の行動が示された棚前行動情報、及び、前記消費者によって商品を購入する行動が示されたレジ前行動情報を取得する取得部と、前記棚前行動情報と前記レジ前行動情報を対応づけた購買行動情報を生成する生成部とを備える。
【選択図】図２

【特許請求の範囲】

【請求項1】

商品が陳列される商品棚の近傍にいる消費者の行動が示された棚前行動情報、及び、前記消費者によって商品を購入する行動が示されたレジ前行動情報を取得する取得部と、
前記棚前行動情報と前記レジ前行動情報を対応づけた購買行動情報を生成する生成部と
を備える情報処理システム。

【請求項2】

前記取得部は、前記商品棚の近傍にいる消費者の行動が撮像された棚前撮像データを前記棚前行動情報として取得する、
請求項１に記載の情報処理システム。

【請求項3】

前記取得部は、前記消費者によって商品を購入する行動が撮像されたレジ前撮像データをレジ前行動情報として取得する、
請求項１又は請求項２に記載の情報処理システム。

【請求項4】

前記取得部は、前記商品棚の近傍にいる消費者の行動が撮像された棚前撮像データを前記棚前行動情報として取得し、
前記取得部は、前記消費者によって商品を購入する行動が撮像されたレジ前撮像データをレジ前行動情報として取得し、
前記生成部は、同じ消費者が撮像された前記棚前撮像データと前記レジ前撮像データを対応づけた情報を前記購買行動情報として生成する、
請求項１に記載の情報処理システム。

【請求項5】

前記取得部は、前記商品棚に設けられた接客端末から出力された、商品に関する質問に対する前記消費者の回答を示す質問回答データを前記棚前行動情報として取得する、
請求項１から請求項４のいずれか一項に記載の情報処理システム。

【請求項6】

前記取得部は、前記消費者によって購入された商品に関するＰＯＳデータを前記レジ前行動情報として取得する、
請求項１から請求項５のいずれか一項に記載の情報処理システム。

【請求項7】

前記取得部は、前記商品棚において商品が陳列された位置を、前記商品棚の近傍にいる消費者の行動が撮像された棚前撮像データをから取得し、
前記生成部は、前記位置と前記レジ前行動情報を対応づけた情報を前記購買行動情報として生成する、
請求項１から請求項６のいずれか一項に記載の情報処理システム。

【請求項8】

前記生成部は、前記商品棚に陳列された商品のメーカ又はタイプごとに、前記位置と前記レジ前行動情報を対応づけた情報を前記購買行動情報として生成する、
請求項７に記載の情報処理システム。

【請求項9】

情報処理サーバであるコンピュータが行う情報処理方法であって、
取得部が、商品が陳列される商品棚の近傍にいる消費者の行動が示された棚前行動情報、及び、前記消費者によって商品を購入する行動が示されたレジ前行動情報を取得し、
生成部が、前記棚前行動情報と前記レジ前行動情報を対応づけた購買行動情報を生成する、
情報処理方法。

【請求項10】

情報処理サーバであるコンピュータに、
商品が陳列される商品棚の近傍にいる消費者の行動が示された棚前行動情報、及び、前記消費者によって商品を購入する行動が示されたレジ前行動情報を取得させ、
前記棚前行動情報と前記レジ前行動情報を対応づけた購買行動情報を生成させる
プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理システム、情報処理方法、及びプログラムに関する。

【背景技術】

【0002】

商品の購買データを商品開発や販売促進（販促）に活用したいというニーズがある。例えば、特許文献１には、ＰＯＳ（Point Of Sales）端末によって決済された商品の購買データを消費者から承認を得て第三者である外部の業者に提供する技術が開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２１－１０８２１３号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、商品を購入する過程において、商品を眺めながらあれこれと検討する消費者が多い。商品を製造する事業者にとっては、商品を購入する過程における消費者の行動が判る方が商品改良や開発を行う上で好ましい。また、流通にとっても商品を購入する過程における消費者の行動に基づいてより精緻に販促計画を立てられるようになることが期待できる。

【0005】

本発明は、このような状況に鑑みてなされたものであり、商品を購入する過程における消費者の行動が判る情報を生成することができる情報処理システム、情報処理方法、及びプログラムを提供することを目的とする。

【課題を解決するための手段】

【0006】

本発明の情報処理システムは、商品が陳列される商品棚の近傍にいる消費者の行動が示された棚前行動情報、及び、前記消費者によって商品を購入する行動が示されたレジ前行動情報を取得する取得部と、前記棚前行動情報と前記レジ前行動情報を対応づけた購買行動情報を生成する生成部とを備える。

【0007】

本発明の、情報処理方法は、情報処理サーバであるコンピュータが行う情報処理方法であって、取得部が、商品が陳列される商品棚の近傍にいる消費者の行動が示された棚前行動情報、及び、前記消費者によって商品を購入する行動が示されたレジ前行動情報を取得し、生成部が、前記棚前行動情報と前記レジ前行動情報を対応づけた購買行動情報を生成する。

【0008】

本発明の、プログラムは、情報処理サーバであるコンピュータに、商品が陳列される商品棚の近傍にいる消費者の行動が示された棚前行動情報、及び、前記消費者によって商品を購入する行動が示されたレジ前行動情報を取得させ、前記棚前行動情報と前記レジ前行動情報を対応づけた購買行動情報を生成させるプログラムである。

【発明の効果】

【0009】

本発明によれば、商品を購入する過程における消費者の行動が判る情報を生成することができる。

【図面の簡単な説明】

【0010】

【図1】実施形態に係る情報処理システム１の構成の例を示す図である。

【図2】実施形態に係る情報処理サーバ１０の構成の例を示すブロック図である。

【図3】実施形態に係る接客端末３０の構成の例を示すブロック図である。

【図4】実施形態に係る接客端末３０の外観の例を示す図である。

【図5】実施形態に係る接客端末３０に表示される質問の例を説明する図である。

【図6】実施形態に係る情報処理システム１が行う処理の流れを示すシーケンス図である。

【図7】実施形態に係る情報処理システム１が行う処理の流れを示すシーケンス図である。

【発明を実施するための形態】

【0011】

以下、本発明の実施形態について、図面を参照して説明する。

【0012】

図１は、実施形態による情報処理システム１の構成例を示すブロック図である。情報処理システム１は、例えば、情報処理サーバ１０と、棚前カメラ２０と、接客端末３０と、レジ前カメラ４０と、ＰＯＳ端末５０と、事業者サーバ６０とを備える。

【0013】

情報処理サーバ１０は、購買行動情報を提供するサービスを行う事業者が管理するサーバ装置である。購買行動情報は、商品を購入する過程における消費者の行動を含む消費者の購買データである。情報処理サーバ１０は、棚前カメラ２０によって撮像された棚前撮像データを、接客端末３０によって取得された質問回答データ、レジ前カメラ４０によって撮像されたレジ前撮像データ、及びＰＯＳ端末５０によって取得されたＰＯＳデータのそれぞれを受信する。情報処理サーバ１０は、受信したデータを対応づけた情報を購買行動情報として事業者サーバ６０に送信する。情報処理サーバ１０は、棚前カメラ２０、接客端末３０、レジ前カメラ４０、ＰＯＳ端末５０、及び事業者サーバ６０のそれぞれと通信ネットワーク等を介して無線通信又は有線通信をする。

【0014】

棚前カメラ２０は、商品棚ＳＤの周辺に設置され、商品棚ＳＤの近傍における所定の領域を撮像するカメラである。棚前カメラ２０には、例えば、商品棚ＳＤの前で商品を眺ながらあれこれと検討する消費者の行動が撮像される。棚前カメラ２０は、動画像を撮像してもよいし、静止画像を撮像してもよい。棚前カメラ２０は撮像した画像の画像情報を棚前撮像データとして情報処理サーバ１０に送信する。棚前カメラ２０は情報処理サーバ１０と通信ネットワーク等を介して無線通信又は有線通信をする。

【0015】

接客端末３０は、商品棚ＳＤに設置された端末装置である。接客端末３０は、画像を表示させたり音声を出力させたりすることにより、商品棚ＳＤの前にいる消費者に対して予め用意された質問を行う。接客端末３０は、消費者に行った質問に対する回答を、マイクにより消費者の音声を集音すること等により取得する。接客端末３０は、取得した質問に対する回答を示す情報を質問回答データとして情報処理サーバ１０に送信する。接客端末３０は情報処理サーバ１０と通信ネットワーク等を介して無線通信又は有線通信をする。

【0016】

レジ前カメラ４０は、レジの周辺に設置され、レジの近傍における所定の領域を撮像するカメラである。レジ前カメラ４０には、例えば、レジの前で商品を購入する消費者の行動が撮像される。レジ前カメラ４０は、動画像を撮像してもよいし、静止画像を撮像してもよい。レジ前カメラ４０は撮像した画像の画像情報をレジ前撮像データとして情報処理サーバ１０に送信する。レジ前カメラ４０は情報処理サーバ１０と通信ネットワーク等を介して無線通信又は有線通信をする。

【0017】

ＰＯＳ端末５０は、レジに設置された決算端末である。ＰＯＳ端末５０は消費者によって購入された商品の販売情報を、バーコードリーダなどを介して取得する。ＰＯＳ端末５０は取得した商品の販売情報をＰＯＳデータとして情報処理サーバ１０に送信する。ＰＯＳ端末５０は情報処理サーバ１０と通信ネットワーク等を介して無線通信又は有線通信をする。

【0018】

事業者サーバ６０は、事業者が管理するサーバ装置である。ここでの事業者は、購買行動情報を提供するサービスにおいて購買行動情報の提供を受ける事業者であり、例えば、商品の製造メーカ、又は、流通において商品の買い入れを行うバイヤーなどの業者である。事業者サーバ６０は、情報処理サーバ１０から送信された購買行動情報を受信する。事業者サーバ６０は、情報処理サーバ１０と通信ネットワーク等を介して無線通信又は有線通信をする。

【0019】

図２は、実施形態による情報処理サーバ１０の構成例を示すブロック図である。情報処理サーバ１０は、コンピュータである。情報処理サーバ１０として、例えば、ＰＣ（Personal Computer）、サーバ装置、クラウドなどを適用することができる。

【0020】

情報処理サーバ１０は、例えば、通信部１１と、記憶部１２と、制御部１３とを備える。通信部１１は、棚前カメラ２０、接客端末３０、レジ前カメラ４０、ＰＯＳ端末５０、及び事業者サーバ６０のそれぞれと通信を行う。

【0021】

記憶部１２は、ＨＤＤ（Hard Disk Drive）、フラッシュメモリ、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）、ＲＡＭ（Random Access read/write Memory）、ＲＯＭ（Read Only Memory）などの記憶媒体、あるいはこれらの組合せによって構成される。記憶部１２は、情報処理サーバ１０の各種処理を実行するためのプログラム、及び各種処理を行う際に利用される一時的なデータを記憶する。

【0022】

制御部１３は、例えば、取得部１３０と、判定部１３１と、生成部１３２と、出力部１３３とを備える。制御部１３が備えるこれらの機能部、すなわち、取得部１３０、判定部１３１、生成部１３２、及び出力部１３３のそれぞれは、情報処理サーバ１０がハードウェアとして備えるＣＰＵ（Central Processing Unit）にプログラムを実行させることによって実現される。

【0023】

取得部１３０は、各種の情報を取得する。取得部１３０は、例えば、棚前カメラ２０によって撮像された画像情報を棚前撮像データとして通信部１１を介して取得する。取得部１３０は接客端末３０によって取得された質問回答データを、通信部１１を介して取得する。取得部１３０はレジ前カメラ４０によって撮像された画像情報をレジ前撮像データとして通信部１１を介して取得する。取得部１３０はＰＯＳ端末５０によって取得されたＰＯＳデータを、通信部１１を介して取得する。取得部１３０は、取得したデータのそれぞれを記憶部１２に記憶させる。

【0024】

判定部１３１は、棚前撮像データに撮像された人物と、質問回答データに示される人物（質問に回答した人物）とが同一人物であるか否かを判定する。例えば、判定部１３１は、質問回答データが得られた日時に基づいて、同じ日時を含む所定の時間帯、例えば質問回答データが得られた日時の前後１０分間、に撮像された棚前撮像データをその質問回答データに対応づけた情報を棚前行動情報として記憶部１２に記憶させる。

【0025】

判定部１３１は、レジ前撮像データに撮像された人物と、ＰＯＳデータに示される人物（商品を購入した人物）とが同一人物であるか否かを判定する。例えば、判定部１３１は、ＰＯＳデータが得られた日時に基づいて、同じ日時を含む所定の時間帯、例えば質問回答データが得られた日時の前後２分間、に撮像されたレジ前撮像データをそのＰＯＳデータに対応づけた情報をレジ前行動情報として記憶部１２に記憶させる。

【0026】

判定部１３１は、棚前撮像データに撮像された人物と、レジ前撮像データに撮像された人物とが同一人物であるか否かを判定する。

【0027】

例えば、判定部１３１は、レジ前撮像データから消費者が商品を購入している購入シーンを抽出する。判定部１３１は、レジ前撮像データから抽出した購入シーンごとに、その購入シーンを特定するＩＤ（購入ＩＤという）を付与する。
次に、取得部１３０は、抽出した購入シーンごとに、その購入シーンよりも所定時間前の時間帯、例えば、購入シーンが撮像開始された時刻から３０前から購入シーンが撮像開始された時刻までの時間帯に撮像された棚前撮像データを判定対象シーンとして取得する。
次に、判定部１３１は、判定対象シーンに撮像された人物を特定し、特定した人物と、購入シーンにおいて商品を購入している人物とが同一人物か否かを判定する。判定部１３１は、形状に基づく特徴、例えば髪型、眼鏡等の有無、服装、体格等、及び色に基づく特徴、例えば、髪の色、肌の色、服の色等が似たている場合に同一人物であると判定する。一方、判定部１３１は、形状に基づく特徴又は色に基づく特徴が似ていない場合は同一人物でない判定する。
判定部１３１は、購入シーンに撮像された人物と、判定対象シーンに撮像された人物とが同一人物であると判定した場合、その判定対象シーンに、購入シーンに付与した購入ＩＤに紐付づくＩＤ（判定対象ＩＤという）を付与する。
判定部１３１は、購入シーンにその購入シーンに付与した購入ＩＤを対応づけた情報を記憶部１２に記憶させる。また、判定対象シーンにその定対象シーン付与した判定対象ＩＤを対応づけた情報を記憶部１２に記憶させる。

【0028】

生成部１３２は、購買行動情報を生成する。生成部１３２は、例えば、同一人物における棚前行動情報とレジ前行動情報とを対応づけた情報を購買行動情報として生成する。棚前行動情報は、棚前撮像データ、又は質問回答データのいずれかの情報のみで構成されていてもよい。レジ前行動情報は、レジ前撮像データ、又はＰＯＳデータのいずれかの情報のみで構成されていてもよい。

【0029】

例えば、同一人物における棚前行動情報とレジ前行動情報とを対応づけた購買行動情報を生成する場合、生成部１３２は、レジ前行動情報に含まれる購入シーンに付与された購入ＩＤに基づいて、その購入ＩＤに紐づけられた判定対象ＩＤが付与された判定対象シーンを有する棚前行動情報を対応づけた情報を生成し、生成した情報を購買行動情報とする。
これにより、同一人物における棚前行動情報とレジ前行動情報とを対応づけた購買行動情報、すなわち、同一人物における商品棚の周辺における行動と、その人物から得られた回答と、商品を購入する様子と、購入した商品の販売情報とが対応づけられた情報を、購買行動情報とすることができる。

【0030】

例えば、同一人物における棚前撮像データとレジ前行動情報とを対応づけた購買行動情報を生成する場合、生成部１３２は、レジ前行動情報に含まれる購入シーンに付与された購入ＩＤに基づいて、その購入ＩＤに紐づけられた判定対象ＩＤが付与された判定対象シーンを対応づけた情報を生成し、生成した情報を購買行動情報とする。これにより、同一人物における商品棚の周辺における行動と、商品を購入する様子と、購入した商品の販売情報とが対応づけられた情報を、購買行動情報とすることができる。

【0031】

例えば、同一人物における質問回答データとレジ前行動情報とを対応づけた購買行動情報を生成する場合、生成部１３２は、レジ前行動情報に含まれる購入シーンに付与された購入ＩＤに基づいて、その購入ＩＤに紐づけられた判定対象ＩＤが付与された判定対象シーンを有する棚前行動情報に含まれる質問回答データを対応づけた情報を生成し、生成した情報を購買行動情報とする。これにより、同一人物から得られた回答と、その人物が商品を購入する様子と、購入した商品の販売情報とが対応づけられた情報を、購買行動情報とすることができる。

【0032】

同様にして、生成部１３２は、同一人物における棚前行動情報とレジ前撮像データとを対応づけた情報を購買行動情報として生成するようにしてもよい。生成部１３２は、同一人物における棚前撮像データとレジ前撮像データとを対応づけた情報を購買行動情報として生成するようにしてもよい。生成部１３２は、同一人物における質問回答データとレジ前撮像データとを対応づけた情報を購買行動情報として生成するようにしてもよい。
また、生成部１３２は、同一人物における棚前行動情報とＰＯＳデータとを対応づけた情報を購買行動情報として生成するようにしてもよい。生成部１３２は、同一人物における棚前撮像データとＰＯＳデータとを対応づけた情報を購買行動情報として生成するようにしてもよい。生成部１３２は、同一人物における質問回答データとＰＯＳデータとを対応づけた情報を購買行動情報として生成するようにしてもよい。

【0033】

また、生成部１３２は、棚前行動情報を提供する事業者の要望に沿った棚前行動情報を生成するようにしてもよい。例えば、生成部１３２は商品棚において商品が陳列された位置と、レジ前行動情報（レジ前撮像データ、又はＰＯＳデータの一方であってもよい）を対応づけた情報を、購買行動情報として生成するようにしてもよい。この場合、生成部１３２は、棚前撮像データから商品が陳列された商品棚が撮像された陳列シーンを抽出し、抽出した陳列シーンから商品が陳列されている位置を取得する。生成部１３２は、取得した位置と、その陳列シーンが撮像された日と同日に撮像されたレジ前撮像データや同じ日に購入された商品のＰＯＳデータを含むレジ前行動情報とを対応づけることによって棚前行動情報を生成する。

【0034】

生成部１３２は、商品のメーカ又はタイプごとに購買行動情報を生成するようにしてもよい。例えば、生成部１３２は、商品のメーカ又はタイプごとに棚前行動情報とレジ前行動情報とを対応づけた購買行動情報を生成する。或いは、生成部１３２は、商品のメーカ又はタイプごとに、商品棚において商品が陳列された位置と、レジ前行動情報を対応づけた情報を、購買行動情報を生成する。

【0035】

商品のメーカごとに購買行動情報を生成することにより、商品のメーカに対応する事業者に対し、そのメーカの商品が消費者に購入されたプロセスが判る情報を提供することができる。商品のタイプごとに購買行動情報を生成することにより、商品の買い付けを行うバイヤーに対し、どのようなタイプの商品が消費者に購入されているのか、そのプロセスが判る情報を提供することができる。

【0036】

生成部１３２は生成した購買行動情報を記憶部１２に記憶させる。
出力部１３３は記憶部１２に記憶された購買行動情報を出力し、出力した購買行動情報を、通信部１１を介して事業者サーバ６０に送信する。

【0037】

ここで、接客端末３０について図３及び図４を用いて説明する。図３は、実施形態による接客端末３０の構成例を示すブロック図である。図４は実施形態に係る接客端末３０の外観の例を示す図である。

【0038】

接客端末３０はコンピュータである。接客端末３０として、例えば、タブレット端末、ＰＣなどを適用することができる。また、図４に示すように、接客端末３０は棚に設置された状態で消費者が画面を視認したり音声ガイドを聞いたりすることができる形状を有していてもよい。
図３に示すように、接客端末３０は、例えば、通信部３１と、記憶部３２と、制御部３３と、表示部３４と、マイク部３５と、スピーカ部３６と、プリンタ部３７とを備える。
通信部３１は、情報処理サーバ１０と通信を行う。
記憶部３２は、ＨＤＤ、フラッシュメモリ、ＥＥＰＲＯＭ、ＲＡＭ、ＲＯＭなどの記憶媒体、あるいはこれらの組合せによって構成される。記憶部３２は、接客端末３０の各種処理を実行するためのプログラム、及び各種処理を行う際に利用される一時的なデータを記憶する。

【0039】

制御部３３は、接客端末３０がハードウェアとして備えるＣＰＵにプログラムを実行させることによって実現される。制御部２３は、通信部３１、記憶部３２、表示部３４、マイク部３５、スピーカ部３６、及びプリンタ部３７を制御する。

【0040】

表示部３４は、例えば、液晶ディスプレイなどの表示装置を含み、制御部２３の制御に応じて画像を表示する。
マイク部３５は、例えば、集音装置を含み、周辺の音を集音し、集音した音を示すデジタルデータに変換し、変換したデータを制御部２３に出力する。
スピーカ部３６は、例えば、音出力装置を含み、制御部３３の制御に応じて所定の音を放音する。
プリンタ部３７は、例えば、印刷装置を含み、制御部３３の制御に応じて所定のデータを印字して出力する。

【0041】

図４に示すように、接客端末３０は、棚に設置された状態で消費者が視認し易くなるように角度をつけて表示部３４が設けられている。表示部３４の脇に、マイク部３５、スピーカ部３６、及びプリンタ部３７が設けられている。表示部３４、マイク部３５、スピーカ部３６、及びプリンタ部３７のそれぞれが同じ面に設けられることにより、棚前にいる消費者が画面の表示を見ながら音声を聞き、質問に答えることが容易となる。

【0042】

図５は、実施形態に係る接客端末３０に表示される質問の例を説明する図である。この図の例では、質問が表示部３４に表示された例が模式的に示されている。ここでは、化粧水が陳列される商品棚に設けられた接客端末３０に質問が表示された場合を例に説明する。

【0043】

例えば、消費者が商品棚に近づくと、スピーカ部３６から、「肌には日頃のケアが大切です」などという音声が出力され、「お肌に合った化粧水をお選び致します。表示された質問にお答えください」などという音声ガイダンスが出力される。そして、図５に示すような複数の選択肢を有する質問が表示される。この図の例では、「化粧水の使用状況」、「肌の状態」、「化粧水に関するお悩み」等と記載された選択肢が表示されている。

【0044】

消費者は、表示された内容にしたがって、化粧水について相談したい事項に該当する選択肢を音声で伝える。消費者が発した音声がマイク部３５に集音され、制御部３３に出力される。制御部３３は、マイク部３５によって集音された音声の音声認識を行い、消費者が何れの選択肢を選択したか判定する。
或いは消費者は、表示された選択肢をタッチ操作することにより、化粧水について相談したい事項に該当する選択肢を選択する。この場合、消費者が選択した選択肢を示す情報がタッチパネル（不図示）を介して制御部３３に出力される。制御部３３は、取得した情報に応じて消費者が何れの選択肢を選択したか判定する。

【0045】

制御部３３は、判定結果に応じて、選択された選択しに応じた画面を表示部３４に表示させる。例えば、「化粧水の使用状況」を示す選択肢が選択された場合、消費者が該当する使用状況が選択できるように複数の使用状況に対応する選択肢がある画面などが表示される。消費者がいずれかの選択肢を選択すると、選択結果として、消費者に推奨する化粧水（商品）が表示される。

【0046】

この場合において、制御部３３は、消費者に推奨する化粧水を表示させると共に、推奨した化粧水に関するアドバイスを表示するようにしてもよい。例えば、おすすめの使用方法をアドバイスしたり、おすすめの組合せとして化粧水と組み合わせる乳液をアドバイスしたり、化粧水の容量（サイズ）の選び方などをアドバイスするようにしてもよい。

【0047】

図６及び図７は、情報処理システム１が行う処理の流れを示すシーケンス図である。図６には棚前行動情報を生成する処理の流れが示されている。図７にはレジ前行動情報を生成し、さらに棚前行動情報を生成する処理の流れが示されている。

【0048】

図６に示すように、棚前カメラ２０は、商品棚の近傍にある領域（棚前の領域）を撮像する（ステップＳ１０）。棚前カメラ２０は、撮像した画像情報を棚前撮像データとして情報処理サーバ１０に送信する。情報処理サーバ１０は棚前撮像データを受信し、受信した棚前撮像データを記憶部１２に記憶させる（ステップＳ１１）。

【0049】

この場合において、棚前カメラ２０は撮像した画像情報を接客端末３０に出力するようにしてもよい。この場合、接客端末３０は、棚前カメラ２０から受信した画像情報に基づいて接客を開始するか否かを判定する（ステップＳ１２）。例えば、接客端末３０は、受信した画像情報に人物が近づいてくる様子が撮像されている場合、商品棚に消費者が近づいてきたと判断して接客を開始する。接客を開始する場合、接客端末３０は、「肌には日頃のケアが大切です」などという音声を出力する（ステップＳ１３）。そして、接客端末３０は、図５に示すような複数の選択肢を有する質問を表示する（ステップＳ１４）。質問に対する消費者の回答が行われると、接客端末３０は回答を示す音声等を取得する（ステップＳ１５）。接客端末３０は取得した回答を示す情報を質問回答データとして情報処理サーバ１０に送信する。情報処理サーバ１０は、質問回答データを受信し、受信した質問回答データを記憶部１２に記憶させる（ステップＳ１６）。

【0050】

情報処理サーバ１０は、棚前撮像データと質問回答データとを対応づけた情報を棚前行動情報として記憶部１２に記憶させる（ステップＳ１７）。

【0051】

図７に示すように、レジ前カメラ４０は、レジの近傍にある領域（レジ前の領域）を撮像する（ステップＳ２０）。レジ前カメラ４０は、撮像した画像情報をレジ前撮像データとして情報処理サーバ１０に送信する。情報処理サーバ１０はレジ前撮像データを受信し、受信したレジ前撮像データを記憶部１２に記憶させる（ステップＳ２１）。

【0052】

一方、ＰＯＳ端末５０はレジで購入された商品の販売情報を取得する（ステップＳ２２）。ＰＯＳ端末５０は、取得した販売情報をＰＯＳデータとして情報処理サーバ１０に送信する。情報処理サーバ１０はＰＯＳデータを受信し、受信したＰＯＳデータを記憶部１２に記憶させる（ステップＳ２３）。

【0053】

情報処理サーバ１０は、レジ前撮像データとＰＯＳデータとを対応づけた情報をレジ前行動情報として記憶部１２に記憶させる（ステップＳ２４）。
また、情報処理サーバ１０は、棚前行動情報を生成する（ステップＳ２５）。例えば、情報処理サーバ１０は、同一人物におけるレジ前行動情報に棚前行動情報を対応づけた情報を棚前行動情報として生成する。

【0054】

以上説明したように、実施形態の情報処理システム１は、取得部１３０と、記憶部１２と、生成部１３２とを備える。取得部１３０は棚前行動情報、及びレジ前行動情報を取得する。棚前行動情報は商品が陳列される商品棚の近傍にいる消費者の行動が示された情報である。レジ前行動情報は消費者によって商品を購入する行動が示された情報である。記憶部１２は、棚前行動情報とレジ前行動情報とを記憶する。生成部１３２は、棚前行動情報とレジ前行動情報とを対応づけた購買行動情報を生成する。

【0055】

これにより、実施形態の情報処理システム１では、商品棚の近傍における消費者の行動と、購入された商品に関する情報とを対応づけた情報を購買行動情報として生成することができる。したがって商品を購入する過程における消費者の行動が判る情報を生成することができる。

【0056】

また、実施形態の情報処理システム１では、取得部１３０は棚前撮像データを、棚前行動情報として取得する。これにより、実施形態の情報処理システム１では、商品棚の近傍における消費者の行動が撮像された画像情報を棚前行動情報として取得することができ、商品棚の前で消費者がどのような行動をとっているのかが判る情報を生成することができる。

【0057】

また、実施形態の情報処理システム１では、取得部１３０はレジ前撮像データをレジ前行動情報として取得する。これにより、実施形態の情報処理システム１では、消費者によって商品を購入する行動が撮像された画像情報をレジ前行動情報として取得することができ、消費者がどのような商品を購入したかが判る情報を生成することができる。

【0058】

また、実施形態の情報処理システム１では、取得部１３０は棚前撮像データを棚前行動情報として取得し、レジ前撮像データをレジ前行動情報として取得する。生成部１３２は、同じ消費者が撮像された棚前撮像データとレジ前撮像データを対応づけた情報を購買行動情報として生成する。これにより、実施形態の情報処理システム１では、商品棚の前でどのような行動をとっている消費者がどのような商品を購入したかが判る情報を生成することができる。

【0059】

また、実施形態の情報処理システム１では、取得部１３０は質問回答データを棚前行動情報として取得する。これにより、実施形態の情報処理システム１では、商品棚の前にいる消費者が商品に対してどのような関心をもっているかが判る情報を生成することができる。

【0060】

また、実施形態の情報処理システム１では、取得部１３０はＰＯＳデータをレジ前行動情報として取得する。これにより、実施形態の情報処理システム１では、消費者が購入した商品に関する販売情報を取得することができる。

【0061】

また、実施形態の情報処理システム１では、取得部１３０は、商品棚において商品が陳列された位置を棚前撮像データから取得する。生成部１３２は商品棚において商品が陳列された位置とレジ前行動情報を対応づけた情報を購買行動情報として生成する。これにより、実施形態の情報処理システム１では、商品を陳列した位置と商品が購入されたかどうかの関係が判る情報を生成することができる。

【0062】

また、実施形態の情報処理システム１では、生成部１３２は商品棚に陳列された商品のメーカ又はタイプごとに、商品棚において商品が陳列された位置とレジ前行動情報を対応づけた情報を購買行動情報として生成する。これにより実施形態の情報処理システム１では、どのメーカの商品がどこに陳列されているとその商品が購入されるかが判る情報を生成することができる。また、どのようなタイプの商品がどこに陳列されているとその商品が購入されるかが判る情報を生成することができる。

【0063】

上述した実施形態では同一人物が撮像された棚前撮像データとレジ前撮像データを対応づけた情報を購買行動情報として生成する場合を例示して説明した。しかしながらこれに限定されない。生成部１３２は、少なくとも、棚前の行動と購入実績とが対応づけられた購買行動情報を生成すればよい。例えば、生成部１３２は、同じ属性（性別、及び／又は年代等）を持つ消費者の棚前撮像データとレジ前撮像データを対応づけた情報を購買行動情報として生成するようにしてもよい。
例えば、判定部１３１は、レジ前撮像データから消費者が商品を購入している購入シーンを抽出する。判定部１３１は、レジ前撮像データから抽出した購入シーンごとに、その購入シーンにて購入している消費者の属性を推定し、推定結果に応じたＩＤ（属性ＩＤという）を付与する。消費者の属を推定する手法としては画像解析の手法、例えば顔認証技術を用いることができる。
次に、取得部１３０は棚前撮像データから消費者が商品棚の前にいる棚前シーンを抽出する。判定部１３１は、棚前撮像データから抽出した棚前シーンごとに、その棚前シーンにいる消費者の属性を推定し、推定結果に応じた属性ＩＤを付与する。
そして、判定部１３１は、購入シーンに撮像された人物の属性ＩＤと同じ属性ＩＤが付与された棚前シーンとを対応づけた情報を生成し、生成した情報を棚前行動情報とする。

【0064】

また、上述した実施形態では、消費者に対して予め用意された質問を行う場合を例示して説明した。しかしながらこれに限定されない。接客端末３０は少なくとも消費者が品に対してどのような関心をもっているか、或いは消費者の購入プロセスが判るような質問を行えばよい。例えば、消費者からの質問と、その質問に対する回答との対応関係を学習したＡＩ（人工知能）を用いて、機械学習の手法により消費者との対話を行うように構成されてもよい。

【0065】

上述した実施形態における情報処理システム１、情報処理サーバ１０、及び接客端末３０の全部または一部をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＦＰＧＡ等のプログラマブルロジックデバイスを用いて実現されるものであってもよい。

【0066】

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

【符号の説明】

【0067】

１…情報処理システム
１０…情報処理サーバ
１３０…取得部
１３１…判定部
１３２…生成部
２０…棚前カメラ
３０…接客端末
４０…レジ前カメラ
５０…ＰＯＳ端末
６０…事業者サーバ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】