(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023181237
(43)【公開日】2023-12-21
(54)【発明の名称】販売管理システム及び販売管理方法
(51)【国際特許分類】
G06Q 30/02 20230101AFI20231214BHJP
G06Q 30/06 20230101ALI20231214BHJP
G06T 7/20 20170101ALI20231214BHJP
G01G 19/52 20060101ALI20231214BHJP
【FI】
G06Q30/02
G06Q30/06
G06T7/20 300Z
G01G19/52 Z
【審査請求】有
【請求項の数】5
【出願形態】OL
(21)【出願番号】P 2023177470
(22)【出願日】2023-10-13
(62)【分割の表示】P 2019162003の分割
【原出願日】2019-09-05
(71)【出願人】
【識別番号】000003562
【氏名又は名称】東芝テック株式会社
(74)【代理人】
【識別番号】110003708
【氏名又は名称】弁理士法人鈴榮特許綜合事務所
(72)【発明者】
【氏名】岡村 敦
(57)【要約】
【課題】商品を取った客を正しく特定することができるようにする。
【解決手段】販売管理システムは、行動監視装置と、商品監視装置と、統合認識装置と、販売管理装置とを備える。行動監視装置は、陳列されている商品と対峙する購買者を検出し、その購買者の対峙している商品を取り出す行動及びその取出し方向を認識する。商品監視装置は、陳列されている商品の移動及びその商品の移動方向を認識する。統合認識装置は、購買者の商品を取り出す行動及びその取出し方向が認識されかつ商品の移動及びその移動方向が認識された場合において、取出し方向が移動方向と一致した場合、移動が認識された商品を行動が認識された購買者の購買商品として特定する。販売管理装置は、特定された購買者の購買商品を登録する。
【選択図】
図1
【特許請求の範囲】
【請求項1】
陳列されている商品と対峙する購買者を検出する検出手段と、
前記検出手段により検出された購買者の前記対峙している商品を取り出す行動及びその取出し方向を認識する第1の認識手段と、
前記陳列されている商品の移動及びその商品の移動方向を認識する第2の認識手段と、 前記第1の認識手段で前記購買者の前記商品を取り出す行動及びその取出し方向を認識しかつ前記第2の認識手段で前記商品の移動及びその移動方向を認識した場合において、前記取出し方向が前記移動方向と一致した場合、前記第2の認識手段で移動が認識された商品を前記第1の認識手段で商品を取り出す行動が認識された購買者の購買商品として特定する特定手段と、
前記特定手段により特定された購買者の購買商品を登録する登録手段と、
を具備する販売管理システム。
【請求項2】
前記第1の認識手段で前記商品を取り出す行動が認識された第1時刻を取得する第1時刻取得手段と、
前記第2の認識手段で前記商品の移動が認識された第2時刻を取得する第2時刻取得手段と、
をさらに具備し、
前記特定手段は、前記第2時刻に移動が認識された商品の移動方向が、当該第2時刻と合致する範囲内の前記第1時刻に認識された取り出す行為の取出し方向と合致する場合に、前記第2の認識手段で移動が認識された商品を前記第1の認識手段で商品を取り出す行為が認識された購買者の購買商品として特定する、請求項1記載の販売管理システム。
【請求項3】
購買者を識別する識別手段と、
前記購買者を追跡する追跡手段と、
前記識別手段により識別された購買者を前記追跡手段で追跡した結果を基に、前記検出手段により検出された購買者を特定する購買者特定手段と、
をさらに具備し、
前記登録手段は、前記購買者特定手段により特定された購買者毎に購買商品を登録する、請求項1又は2記載の販売管理システム。
【請求項4】
前記陳列されている商品の重量を計量する計量手段、
をさらに具備し、
前記第2の認識手段は、前記計量手段により計量されている重量が前記陳列されている商品の単位重量の整数倍だけ減少すると、その整数を移動した商品の数としてさらに認識する、請求項1項記載の販売管理システム。
【請求項5】
陳列されている商品の販売を管理するシステムであって、
特定手段が、前記陳列されている商品と対峙する購買者を検出し、
第1の認識手段が、前記検出された購買者の前記対峙している商品を取り出す行動及びその取出し方向を認識し、
第2の認識手段が、前記陳列されている商品の移動及びその移動方向を認識し、
前記購買者の前記商品を取り出す行動及びその取出し方向が認識されかつ前記商品の移動及びその移動方向が認識された場合において、前記取出し方向が前記移動方向と一致した場合、特定手段が、前記移動が認識された商品を、前記商品を取り出す行動が認識された購買者の購買商品として特定し、
登録手段が、その特定された購買者の購買商品を登録する、販売管理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明の実施形態は、販売管理システム及び販売管理方法に関する。
【背景技術】
【0002】
店舗に陳列された商品を、客が店員の関与なしに販売可能とする販売管理システムは種々考案されている。
【0003】
一例として販売管理システムでは、カメラにより店内を撮影した画像等から、店内に陳列されている商品を客が取ったことを検出する。当該販売管理システムは、客が取ったとして検出された商品を、その客の購買商品として登録する。
【0004】
このような販売管理システムでは、例えば陳列されている商品の前に立った二人の客がほぼ同時に商品に手を伸ばし、そのうちの一人が商品を取った場合、どちらの客が商品を取ったのかを判別することが困難となる場合がある。
【先行技術文献】
【特許文献】
【0005】
【発明の概要】
【発明が解決しようとする課題】
【0006】
本発明の実施形態が解決しようとする課題は、商品を取った客を正しく特定することができる販売管理システム及び販売管理方法を提供しようとするものである。
【課題を解決するための手段】
【0007】
一実施形態において、販売管理システムは、検出手段と、第1の認識手段と、第2の認識手段と、特定手段と、登録手段とを備える。検出手段は、陳列されている商品と対峙する購買者を検出する。第1の認識手段は、特定手段により特定された購買者の対峙している商品を取り出す行動及びその取出し方向を認識する。第2の認識手段は、陳列されている商品の移動及びその商品の移動方向を認識する。特定手段は、第1の認識手段で購買者の商品を取り出す行動及びその取出し方向を認識しかつ第2の認識手段で商品の移動及びその移動方向を認識した場合において、取出し方向が移動方向と一致した場合、第2の認識手段で移動が認識された商品を第1の認識手段で商品を取り出す行動が認識された購買者の購買商品として特定する。登録手段は、特定手段で特定された購買者の購買商品を登録する。
【図面の簡単な説明】
【0008】
【
図1】販売管理システムの一実施形態の概略構成を示す模式図。
【
図2】販売管理システムの構成要素の1つである入口ゲート装置のハードウェア構成を示すブロック図。
【
図3】販売管理システムの構成要素の1つである人物追跡装置のハードウェア構成を示すブロック図。
【
図4】販売管理システムの構成要素の1つである行動監視装置のハードウェア構成を示すブロック図。
【
図5】販売管理システムの構成要素の1つである商品監視装置のハードウェア構成を示すブロック図。
【
図6】行動監視装置及び商品監視装置が適用された商品棚を正面側から見た模式図。
【
図7】行動監視装置及び商品監視装置が適用された商品棚を一方の側面側から見た模式図。
【
図8】商品棚に設けられる重量センサの特性を説明するためのグラフ。
【
図9】販売管理システムの構成要素の1つである統合認識装置のハードウェア構成を示すブロック図。
【
図10】販売管理システムの構成要素の1つである販売管理装置のハードウェア構成を示すブロック図。
【
図11】販売管理装置において作成される購買リストのデータ構造を示す模式図。
【
図12】入口ゲート装置における制御部の要部制御手順を示す流れ図。
【
図13】人物追跡装置における制御部の要部制御手順を示す流れ図。
【
図14】行動監視装置における制御部の要部制御手順を示す流れ図。
【
図15】商品監視装置における制御部の要部制御手順を示す流れ図。
【
図16】統合認識装置における制御部の要部制御手順を示す流れ図。
【
図17】販売管理装置における制御部の要部制御手順を示す流れ図。
【
図18】販売管理装置における制御部の要部制御手順を示す流れ図。
【
図19】販売管理装置における制御部の要部制御手順を示す流れ図。
【
図20】販売管理装置における制御部の要部制御手順を示す流れ図。
【
図21】販売管理装置における制御部の要部制御手順を示す流れ図。
【
図22】販売管理装置における制御部の要部制御手順を示す流れ図。
【発明を実施するための形態】
【0009】
以下、商品を取った客を正しく特定することができる販売管理システム及び販売管理方法の実施形態について、図面を用いて説明する。
なお、この実施形態では、店員の関与無しに購買を可能にした店舗を対象とする。
【0010】
図1は、上記店舗に構築された販売管理システム100の概略構成図である。販売管理システム100は、入口ゲート装置10、人物追跡装置20、行動監視装置30、商品監視装置40、統合認識装置50及び販売管理装置60を含む。そして販売管理システム100は、上述した入口ゲート装置10、人物追跡装置20、行動監視装置30、商品監視装置40、統合認識装置50及び販売管理装置60を、それぞれ双方向通信自在に通信ネットワーク70で接続している。通信ネットワーク70は、例えばLAN(Local Area Network)である。LANは、有線LANであってもよいし、無線LANであってもよい。
【0011】
入口ゲート装置10は、客である購買者が入店するための手続きを受け付けるチェックイン機能と、購買者の入店を可能とする開状態と客の入店を阻止する閉状態とを選択的に形成するゲート機能と、を有した装置である。販売管理システム100は、入口ゲート装置10を1つだけ備えていてもよいし、複数備えていてもよい。
【0012】
図2は、入口ゲート装置10のハードウェア構成を示すブロック図である。入口ゲート装置10は、受付部11、開閉部12、時計部13、通信部14、記憶部15及び制御部16を備える。入口ゲート装置10が、この他のハードウェア構成を備えていてもよいことは言うまでもない。
【0013】
受付部11は、購買者によるチェックインを受け付けるために、店舗の入口に設置された機器である。購買者は、店舗を初めて利用する際には前もって会員登録を行う。会員登録を行うことによって、購買者に対して一意の会員IDが発行される。会員IDは、例えば購買者が所有するスマートフォン等の情報端末に設定される。そして、情報端末において専用のアプリケーションプログラムが起動すると、会員IDを表すバーコード又は二次元コードが情報端末のディスプレイに表示される。この場合、ディスプレイに表示されたバーコード又は二次元コードをスキャニングするためのスキャナが受付部11となり得る。情報端末から会員IDを表す信号がRFID(Radio Frequency Identification)と呼ばれる技術を利用した近距離無線通信によって発信されてもよい。この場合には、近距離無線通信に対応したアンテナが受付部11となり得る。会員IDは、ICカード又は磁気カード等に記録されて購買者に発行されてもよい。この場合、ICカード又は磁気カード等のカードリーダが受付部11となり得る。
【0014】
開閉部12は、店舗の入口に設けられたゲートの開閉を切り替える機器である。ゲートが閉状態にあるとき、入店は阻止される。ゲートが開状態にあるとき、入店は許可される。開閉部12は、平時はゲートを閉状態とする。受付部11でのチェックインが承認されると、開閉部12は、ゲートを一時的に開状態とする。開閉部12は、ゲートを通過した人物を検出するためのセンサを有している。
【0015】
時計部13は、日時を計時する。入口ゲート装置10においては、時計部13によって計時されている日時が購買者の入店日時として管理される。
【0016】
通信部14は、通信ネットワーク70に接続される。通信部14は、所定の通信プロトコルに従い、通信ネットワーク70を介して人物追跡装置20、行動監視装置30、商品監視装置40、統合認識装置50及び販売管理装置60とデータ通信を行う。
【0017】
記憶部15は、不揮発性のメモリ領域と揮発性のメモリ領域とを含む。記憶部15は、不揮発性のメモリ領域において、入口ゲート装置10としての動作を制御するための制御プログラムを記憶する。記憶部15は、揮発性のメモリ領域において、入口ゲート装置10として動作する上で必要なデータを記憶する。不揮発性のメモリ領域は、例えばROM(Read Only Memory)である。揮発性のメモリ領域は、例えばRAM(Random Access Memory)である。
【0018】
制御部16は、上記制御プログラムに従い受付部11、開閉部12、時計部13及び通信部14をそれぞれ制御することで、入口ゲート装置10としての機能を実現させるためのものである。制御部16は、プロセッサを主体に構成される。プロセッサは、例えばCPU(Central Processing Unit)である。入口ゲート装置10においては、制御部16と記憶部15とによってコンピュータが構成される。
【0019】
人物追跡装置20は、入口ゲートから入店した人物である購買者が出口から退店するまでの店舗内における動線をリアルタイムに追跡するための装置である。
【0020】
図3は、人物追跡装置20のハードウェア構成を示すブロック図である。人物追跡装置20は、検出部21、追跡部22、時計部23、通信部24、記憶部25及び制御部26を備える。人物追跡装置20が、この他のハードウェア構成を備えていてもよいことは言うまでもない。
【0021】
検出部21は、店舗内に配置された複数のセンサによって、入店している複数の購買者の位置をそれぞれ検出するものである。センサは、例えば店舗の天井にそれぞれ取り付けられている。センサは、例えば店舗内の客通路に沿って設けられていてもよい。センサとしては、光学カメラ、赤外線カメラ、TOF(Time of Flight)カメラ、ステレオカメラ等の周知のカメラセンサを用いることができる。また、電波でIDを発信するビーコン端末を店舗内の各所に配置し、購買者が所持するスマートフォンと組み合わせて購買者の位置を検出してもよい。
【0022】
追跡部22は、検出部21によって検出された各購買者の位置情報を基に、購買者毎に店舗内の動線を追跡するものである。追跡部22は、例えば入口ゲート装置10にてチェックインが承認された購買者毎に、その購買者の位置情報と検出日時とを含む追跡データを時系列で蓄積することによって、各購買者の動線を追跡する。
【0023】
時計部23は、日時を計時する。人物追跡装置20においては、時計部23によって計時されている日時が購買者の検出日時として管理される。
【0024】
通信部24は、通信ネットワーク70に接続される。通信部24は、所定の通信プロトコルに従い、通信ネットワーク70を介して入口ゲート装置10、行動監視装置30、商品監視装置40、統合認識装置50及び販売管理装置60とデータ通信を行う。
【0025】
記憶部25は、不揮発性のメモリ領域と揮発性のメモリ領域とを含む。記憶部25は、不揮発性のメモリ領域において、人物追跡装置20としての動作を制御するための制御プログラムを記憶する。記憶部25は、揮発性のメモリ領域において、人物追跡装置20として動作する上で必要なデータを記憶する。不揮発性のメモリ領域は、例えばROMである。揮発性のメモリ領域は、例えばRAMである。
【0026】
制御部26は、上記制御プログラムに従い、検出部21、追跡部22、時計部23、通信部24をそれぞれ制御することで、人物追跡装置20としての機能を実現させるためのものである。制御部26は、プロセッサを主体に構成される。プロセッサは、例えばCPUである。人物追跡装置20においては、制御部26と記憶部25とによってコンピュータが構成される。
【0027】
行動監視装置30は、陳列されている商品に対峙する購買者の行動を監視するための装置である。行動監視装置30は、商品が陳列されている場所、例えば商品棚の前に立ったことで監視対象となった購買者が、陳列されている商品を把持して取り出すという行動の有無を監視する。そして、そのような行動があった場合、行動監視装置30は、商品の取出し方向を特定する。販売管理システム100は、典型的には1つの商品棚に対して1つの行動監視装置30を配置している。販売管理システム100は、複数の商品棚に対して1つの行動監視装置30を配置してもよい。店舗内の全ての商品棚に関して、購買者がその商品棚から商品を取り出すという行動の有無を監視し、行動があった場合には商品の取出し方向を特定することが可能であるならば、行動監視装置30の数は限定されるものではない。
【0028】
図4は、行動監視装置30のハードウェア構成を示すブロック図である。行動監視装置30は、購買者検出部31、行動判定部32、取出し方向特定部33、時計部34、通信部35、記憶部36及び制御部37を備える。行動監視装置30が、この他のハードウェア構成を備えていてもよいことは言うまでもない。
【0029】
購買者検出部31は、店舗内、主に商品棚の近傍に配置されたセンサによって、陳列されている商品に対峙する購買者(人物)を検出するものである。購買者検出部31は、商品棚の手前の床面に想定した所定幅の区画を監視対象領域とする。購買者検出部31は、この監視対象領域内において購買者を検出する。購買者検出部31は、監視対象領域内に居る複数の購買者を同時に検出することができる。センサとしては、光学カメラ、赤外線カメラ、TOFカメラ、ステレオカメラ等の周知のカメラセンサを用いることができる。センサは、人物追跡装置20の検出部21を構成するために必要なセンサと共用してもよい。
【0030】
行動判定部32は、購買者検出部31によって検出された購買者の行動を判定するものである。行動判定部32は、購買者が監視対象領域から移動したか否かを判定する。行動判定部32は、購買者が陳列されている商品を把持して取り出すという行動をとったか否かを判定する。行動判定部32は、購買者検出部31で複数の購買者が検出された場合、各々の購買者の行動を判定する。行動判定部32は、購買者検出部31で用いられているセンサを利用することで、行動の有無を判定することができる。行動判定部32は、他のセンサを用いて行動の有無を判定してもよい。
【0031】
取出し方向特定部33は、行動判定部32によって陳列されている商品を把持して取り出す行動が検出された場合に、商品の取出し方向を特定するものである。取出し方向特定部33は、例えば購買者検出部31で用いられるセンサを利用することで、取出し方向を特定することができる。取出し方向特定部33は、他のセンサを用いて取出し方向を特定してもよい。
【0032】
時計部34は、日時を計時する。行動監視装置30においては、時計部34によって計時されている日時が、商品を把持して取り出す行動の検出日時として管理される。
【0033】
通信部35は、通信ネットワーク70に接続される。通信部35は、所定の通信プロトコルに従い、通信ネットワーク70を介して入口ゲート装置10、人物追跡装置20、商品監視装置40、統合認識装置50及び販売管理装置60とデータ通信を行う。
【0034】
記憶部36は、不揮発性のメモリ領域と揮発性のメモリ領域とを含む。記憶部36は、不揮発性のメモリ領域において、行動監視装置30としての動作を制御するための制御プログラムを記憶する。記憶部36は、揮発性のメモリ領域において、行動監視装置30として動作する上で必要なデータを記憶する。不揮発性のメモリ領域は、例えばROMである。揮発性のメモリ領域は、例えばRAMである。
【0035】
制御部37は、上記制御プログラムに従い、購買者検出部31、行動判定部32、取出し方向特定部33、時計部34、通信部35をそれぞれ制御して、行動監視装置30としての機能を実現させるためのものである。制御部37は、プロセッサを主体に構成される。プロセッサは、例えばCPUである。行動監視装置30においては、制御部37と記憶部36とによってコンピュータが構成される。
【0036】
商品監視装置40は、陳列されている商品の移動を監視するための装置である。商品監視装置40は、商品棚から持ち上げられた商品を特定し、さらにその商品が商品棚から持ち出されたときの移動方向を特定する。販売管理システム100は、典型的には1つの商品棚に対して1つの商品監視装置40を配置している。販売管理システム100は、複数の商品棚に対して1つの商品監視装置40を配置してもよい。店舗内の全ての商品棚に関して、その商品棚から取り出された商品の特定とその商品の移動方向とを特定できるのであれば、商品監視装置40の数は限定されるものではない。
【0037】
図5は、商品監視装置40のハードウェア構成を示すブロック図である。商品監視装置40は、移動監視部41、商品特定部42、移動方向特定部43、時計部44、通信部45、記憶部46及び制御部47を備える。商品監視装置40が、この他のハードウェア構成を備えていてもよいことは言うまでもない。
【0038】
移動監視部41は、商品棚若しくはその近傍に配置されたセンサによって陳列されている商品を監視し、商品の移動を検出するものである。センサとしては、光学カメラ、赤外線カメラ、TOFカメラ、ステレオカメラ等の周知のカメラセンサを用いることができる。あるいはカメラセンサと、重量センサ又は測距センサとを組み合わせて、商品を監視し、移動を検出してもよい。
【0039】
商品特定部42は、移動監視部41によって移動が検出された商品とその数とを特定するものである。商品特定部42は、例えば移動監視部41で用いられるセンサを利用することで、移動した商品を特定することができる。商品特定部42は、他のセンサを用いて移動する商品を特定してもよい。
【0040】
移動方向特定部43は、移動監視部41によって移動が検出された商品の移動方向を特定するものである。移動方向特定部43は、例えば移動監視部41で用いられるセンサを利用することで、移動方向を特定することができる。移動方向特定部43は、他のセンサを用いて移動方向を特定してもよい。
【0041】
時計部44は、日時を計時する。商品監視装置40においては、時計部44によって計時されている日時が、商品の移動を検出した日時として管理される。
【0042】
通信部45は、通信ネットワーク70に接続される。通信部45は、所定の通信プロトコルに従い、通信ネットワーク70を介して入口ゲート装置10、人物追跡装置20、行動監視装置30、統合認識装置50及び販売管理装置60とデータ通信を行う。
【0043】
記憶部46は、不揮発性のメモリ領域と揮発性のメモリ領域とを含む。記憶部46は、不揮発性のメモリ領域において、商品監視装置40としての動作を制御するための制御プログラムを記憶する。記憶部46は、揮発性のメモリ領域において、商品監視装置40として動作する上で必要なデータを記憶する。不揮発性のメモリ領域は、例えばROMである。揮発性のメモリ領域は、例えばRAMである。
【0044】
制御部47は、上記制御プログラムに従い、移動監視部41、商品特定部42、移動方向特定部43、時計部44、通信部45をそれぞれ制御して、商品監視装置40としての機能を実現させるためのものである。制御部47は、プロセッサを主体に構成される。プロセッサは、例えばCPUである。商品監視装置40においては、制御部47と記憶部46とによってコンピュータが構成される。
【0045】
ここで、行動監視装置30及び商品監視装置40が適用された商品棚80の一例について、
図6乃至
図8を用いて説明する。
図6は、商品棚80を正面側から見た模式図であり、
図7は、商品棚80を一方の側面側から見た模式図である。
図6及び
図7では、底板81と天板82との間を2つの棚板83で仕切った3段構成の商品棚80を例示している。そして各段は、左右及び中央の3つの区画に分けられており、1つの区画に1種類の商品が陳列される運用となっている。
【0046】
各区画の商品が陳列される面には、それぞれ重量センサ84が配置されている。重量センサ84は、その区画に陳列された商品の総重量を計測するものである。また、各段には、カメラセンサ85が取り付けられている。カメラセンサ85は、例えば光学カメラ又は赤外線カメラであり、各段にそれぞれ陳列されている商品を監視するためのものである。商品を監視できるのであれば、カメラセンサの取り付け位置は特に限定されない。また、
図6では、各段に対して1つのカメラセンサ85を配置した例を示しているが、カメラセンサ85の数も特に限定されるものではない。例えば各段の区画毎にカメラセンサ85を配置してもよい。
【0047】
商品棚80に対して商品を出し入れする側を手前側と称する。本実施形態では、
図6及び
図7に示すように、手前側の床面のうち、商品棚80の縁から幅Hの区画を監視対象領域AR1としている。そして、監視対象領域AR1に位置する購買者CA1を検出するためのカメラセンサ91を、商品棚80の上方、例えば天井CE1に取り付けている。望ましくは、カメラセンサ91は、購買者CA1を斜め上方から撮像できる位置に取り付けている。カメラセンサ91は、その撮影領域AR2内に購買者CA1の例えば頭部が映り込むことによって、監視対象領域ARIに購買者CA1が居ることを検出する。カメラセンサ91は、例えば撮影領域AR2内に二つの頭部が映り込んだ場合、監視対象領域ARIに二人の購買者CA1が居ることを検出する。カメラセンサ91は、TOFカメラ、ステレオカメラ又は2Dカメラである。カメラセンサ91としてTOFカメラ、ステレオカメラ又は2Dカメラを用いることによって、監視対象領域AR1に位置する購買者CA1の骨格を推定し、骨格の動きから購買者CA1の行動を検知することができる。具体的には、購買者CA1が商品棚80に向けて腕部を伸ばすという行動、あるいは商品棚80から腕部を引っ込めるという行動を検知することができる。さらには、腕部が商品棚の手前側から商品棚に向けてどの方向で延ばされたか、逆にどの方向に戻されたかということまでも検知することができる。なお、手前側とは、商品棚80に対して商品を出し入れする側である。
【0048】
また本実施形態では、
図7に示すように、商品棚80の手前側をスクリーン状の行動監視領域AR3としている。行動監視領域AR3は、
図6示すように、商品棚80の手前側の面を覆うように形成されている。そして、行動監視領域AR3に対する購買者の行動を検知するためのカメラセンサ92を、例えば天井CE1に取り付けている。カメラセンサ92は、TOFカメラ又はステレオカメラである。カメラセンサ92は、行動監視領域AR3に進入又は離脱した腕を検知する。
【0049】
ここに、カメラセンサ91は、行動監視装置30の購買者検出部31を構成するためのセンサである。カメラセンサ91及びカメラセンサ92は、行動監視装置30の行動判定部32及び取出し方向特定部33を構成するためのセンサである。すなわち、カメラセンサ91とカメラセンサ92とから取得した情報を合わせることによって商品が取り出された方向をより正確に検知することが可能となる。カメラセンサ85は、商品監視装置40の移動監視部41及び移動方向特定部43を構成するためのセンサである。重量センサ84は、商品監視装置40の移動監視部41及び商品特定部42を構成するためのセンサである。
【0050】
重量センサ84は、前述したように、当該重量センサ84が配置された区画に陳列されている商品の総重量を計測するものであり、その区画に陳列される商品は1種類である。したがって、例えば1品当たりの重量いわゆる単位重量がW0の商品AAAが陳列されている区画の重量センサ84において、計測重量がW2からW1に減少した場合、その減少した重量ΔW(W2-W1)を単位重量W0で除算した商が、その区画から取り除かれた商品AAAの数となる。このように、移動監視部41は、重量センサ84での計測重量が減少したことによって、陳列されている商品の移動を認識でき、商品特定部42は、計測重量が商品1点当たりの重量の整数倍だけ減少したことによって、移動した商品の種類と個数とを特定することができる。
【0051】
ただし、移動監視部41で商品の移動が検出されるタイミングと、商品特定部42によって商品が特定されるタイミングとにはずれが生じる。また、重量センサ84の特性により、実際に商品の移動が開始されてから商品の移動が検出されるまでには遅延が生じる。
【0052】
図8は、重量センサ84の特性を説明するためのグラフである。
図8において、縦軸は重量センサ84による計測重量を示し、横軸は時間の経過を示している。時点t0においては、重量センサ84は、重量W2を計測している。その後の時点t1において、当該重量センサ84が配置されている区画の商品が持ち上げられた、すなわち商品の移動が開始されたと仮定する。この場合、重量センサ84の計測重量は、一定の遅延時間Δtが経過した時点t2になって減少を始める。したがって移動監視部41は、この時点t2において、商品の移動を検出することができる。そしてその後、計測重量がW1まで減少したことを検出した時点t3において、商品特定部42は、移動した商品の種類とその個数とを特定することができる。このように、移動監視部41において商品の移動が検出される時点t2と、商品特定部42において移動した商品とその個数とが特定される時点t3とにはずれが生じている。また、実際に商品の移動が開始された時点t1と移動監視部41において商品の移動が検出される時点t2との間にもずれが生じている。
【0053】
統合認識装置50は、行動監視装置30によって特定された購買者と商品監視装置40によって特定された商品とを関連付けるための装置である。
【0054】
図9は、統合認識装置50のハードウェア構成を示すブロック図である。統合認識装置50は、商品監視取得部51、行動監視取得部52、照合部53、購買特定部54、通信部55、記憶部56及び制御部57を備える。統合認識装置50が、この他のハードウェア構成を備えていてもよいことは言うまでもない。
【0055】
商品監視取得部51は、商品監視装置40から取出し商品情報を取得するものである。取出し商品情報については後述する。
【0056】
行動監視取得部52は、商品監視取得部51で商品監視装置40から取出し商品情報を取得した場合に、その商品監視装置40によって監視されている商品棚の手前に居る購買者の行動を監視する行動監視装置30から購買者取出し情報を取得するものである。購買者取出し情報については後述する。
【0057】
照合部53は、商品監視取得部51で取得した取出し商品情報と行動監視取得部52で取得した購買者取出し情報とを照合するものである。
【0058】
購買特定部54は、照合部53による照合結果を基に、商品を購入した購買者、及び、購買者が購入した商品を特定するものである。
【0059】
通信部55は、通信ネットワーク70に接続される。通信部55は、所定の通信プロトコルに従い、通信ネットワーク70を介して入口ゲート装置10、人物追跡装置20、行動監視装置30、商品監視装置40及び販売管理装置60とデータ通信を行う。
【0060】
記憶部56は、不揮発性のメモリ領域と揮発性のメモリ領域とを含む。記憶部56は、不揮発性のメモリ領域において、統合認識装置50としての動作を制御するための制御プログラムを記憶する。記憶部56は、揮発性のメモリ領域において、統合認識装置50として動作する上で必要なデータを記憶する。不揮発性のメモリ領域は、例えばROMである。揮発性のメモリ領域は、例えばRAMである。
【0061】
制御部57は、上記制御プログラムに従い、行動監視取得部52、商品監視取得部51、照合部53、購買特定部54、通信部55をそれぞれ制御して、統合認識装置50としての機能を実現させるためのものである。制御部57は、プロセッサを主体に構成される。プロセッサは、例えばCPUである。統合認識装置50においては、上記制御部57と記憶部56とによってコンピュータが構成される。
【0062】
販売管理装置60は、購買者によって購入された商品のリストを作成し、そのリストを基に購買者との会計を処理するものである。以下では、この種のリストを購買リストと称する。
【0063】
図10は、販売管理装置60のハードウェア構成を示すブロック図である。販売管理装置60は、商品情報保存部61、会員情報保存部62、購買リスト作成部63、購買リスト更新部64、会計処理部65、通信部66、記憶部67及び制御部68を備える。販売管理装置60が、この他のハードウェア構成を備えていてもよいことは言うまでもない。
【0064】
商品情報保存部61は、店舗で販売される各商品の商品ID、商品名、価格等の商品情報を保存するものである。商品IDは、各商品を個々に識別するために商品毎に設定された一意の識別コードである。
【0065】
会員情報保存部62は、会員登録を行った購買者の会員ID、有効期限、拒否フラグ、支払い口座等の会員情報を保存するものである。拒否フラグは、有効期限切れあるいは不正利用等によって入店ができない会員に対してセットされる1ビットデータである。支払口座は、購買者によって指定された金融機関の預貯金口座に関する情報である。
【0066】
因みに、商品情報保存部61及び会員情報保存部62は、EEPROM(Electric Erasable Programmable Read-Only Memory)、HDD(Hard Disk Drive)、あるいはSSD(Solid State Drive)等の記憶装置に形成される。
【0067】
購買リスト作成部63は、購買者によって購入された商品の商品IDと購買数とを蓄積するための購買リスト600(
図11を参照)を作成するものである。購買リスト600は、例えば記憶部67の揮発性メモリ領域に形成される。
【0068】
図11は、購買リスト600のデータ構造を示す模式図である。
図11に示すように、購買リスト600は、会員IDに関連付けて、入店時刻T0及び第1IDと、複数の商品IDと購買数との対データと、を記憶するための領域を有する。なお、入店時刻T0及び第1IDについては、後述する動作説明の中で明らかにする。
【0069】
購買リスト更新部64は、購買リスト作成部63によって作成された購買リスト600を更新するものである。
【0070】
会計処理部65は、購買リスト600に記憶されたデータを基に、会計処理を実行するものである。
【0071】
通信部66は、通信ネットワーク70に接続される。通信部66は、所定の通信プロトコルに従い、通信ネットワーク70を介して入口ゲート装置10、人物追跡装置20、行動監視装置30、商品監視装置40及び統合認識装置50とデータ通信を行う。
【0072】
記憶部67は、不揮発性のメモリ領域と揮発性のメモリ領域とを含む。記憶部67は、不揮発性のメモリ領域において、販売管理装置60としての動作を制御するための制御プログラムを記憶する。記憶部67は、揮発性のメモリ領域において、販売管理装置60として動作する上で必要なデータを記憶する。不揮発性のメモリ領域は、例えばROMである。揮発性のメモリ領域は、例えばRAMである。
【0073】
制御部68は、上記制御プログラムに従い、商品情報保存部61、会員情報保存部62、購買リスト作成部63、購買リスト更新部64、会計処理部65、通信部66をそれぞれ制御して、販売管理装置60としての機能を実現させるためのものである。制御部68は、プロセッサを主体に構成される。プロセッサは、例えばCPUである。販売管理装置60においては、上記制御部68と記憶部67とによってコンピュータが構成される。
【0074】
以上で、販売管理システム100のハードウェア構成の説明を終了する。なお、上述したように、入口ゲート装置10、人物追跡装置20、行動監視装置30及び商品監視装置40には、時計部13,23,34及び44が設けられている。これらの時計部13,23,34及び44は同期されている。あるいは、これらの時計部13,23,34,44を共通の外部時計とし、この外部時計を入口ゲート装置10、人物追跡装置20、行動監視装置30及び商品監視装置40の制御部16,26,37,47がそれぞれ参照するようにしてもよい。
【0075】
図12は、入口ゲート装置10における制御部16の要部制御手順を示す流れ図である。
図13は、人物追跡装置20における制御部26の要部制御手順を示す流れ図である。
図14は、行動監視装置30における制御部37の要部制御手順を示す流れ図である。
図15は、商品監視装置40における制御部47の要部制御手順を示す流れ図である。
図16は、統合認識装置50における制御部57の要部制御手順を示す流れ図である。
図17乃至
図22は、販売管理装置60における制御部68の要部制御手順を示す流れ図である。以下、これらの図を用いて、販売管理システム100の動作について説明する。この動作説明により、本実施形態の販売管理方法が明らかになろう。なお、以下に説明する動作の手順及びその内容は一例である。同様な結果が得られるのであれば、その手順及び内容は限定されるものではない。
【0076】
はじめに、入口ゲート装置10の制御部16は、
図12のACT101として会員IDの入力を待ち受けている。購買者が店舗の入口で受付部11に対してチェックイン操作を行うと、その購買者の会員IDが入力されるので、制御部16は、ACT101においてYESと判定し、ACT102へと進む。制御部16は、販売管理装置60に対して会員通知を行うように、通信部14を制御する。この制御により、通信部14は、通信ネットワーク70を介して販売管理装置60に宛てて会員通知コマンドを送信する。会員通知コマンドには、チェックイン操作によって入力された会員IDが含まれている。
【0077】
販売管理装置60の制御部68は、
図17のACT601として通知コマンドを待ち受けている。通信部66を介して通知コマンドを受信すると、制御部68は、ACT601においてYESと判定し、ACT602へと進む。制御部68は、ACT602として受信したコマンドが会員通知コマンドであるか否かを確認する。この場合、会員通知コマンドを受信したので、制御部68は、ACT602においてYESと判定し、
図18のACT611へと進む。
【0078】
制御部68は、ACT611として会員通知コマンドから会員IDを取得する。会員IDを取得できたならば、制御部68は、ACT612としてその会員IDで会員情報保存部62を検索し、当該会員IDに関連付けられた会員情報を取得する。制御部68は、ACT613として入店を許可するか否かを判定する。例えば会員情報保存部62から会員情報を取得できない場合、制御部68は、入店拒否と判定する。あるいは会員情報を取得できたが、拒否フラグがセットされていた場合、制御部68は、入店拒否と判定する。制御部68は、拒否フラグがセットされていない会員情報を取得できた場合には、入店許可と判定する。
【0079】
制御部68は、入店許可の場合、ACT613においてYESと判定し、ACT614へと進む。制御部68は、ACT614として許可応答を返信するように通信部66を制御する。これに対し、入店拒否の場合には、制御部68は、ACT613においてNOと判定し、ACT615へと進む。制御部68は、ACT615として拒否応答を返信するように通信部66を制御する。これらの制御により、通信部66は、通信ネットワーク70を介して入口ゲート装置10に宛てて許可応答コマンド又は拒否応答コマンドを送信する。以上で、制御部68は、会員通知コマンドの受信処理を終了する。
【0080】
図12の説明に戻る。
会員通知コマンドの送信を制御した入口ゲート装置10の制御部16は、ACT103として販売管理装置60からの応答コマンドを待ち受ける。ここで、拒否応答コマンドを受信した場合には、制御部16は、ACT103においてNOと判定し、ACT104へと進む。制御部16は、ACT104として入店不可を報知するように受付部11を制御する。この制御により、受付部11においては、チェックインを行った購買者に対して入店不可であることを表示または音声によって報知する。以上で、制御部16は、
図12の流れ図に示す手順の情報処理を終了する。
【0081】
一方、制御部16は、ACT103において許可応答コマンドを受信した場合にはYESと判定し、ACT105へと進む。制御部16は、ACT105としてゲートを開放するように開閉部12を制御する。この制御により、開閉部12はゲートを開放する。ゲートが開放することにより、チェックインを行った購買者は入店が可能となる。購買者がゲートを通過すると、開閉部12のセンサが入店を検知し、入店検知信号が制御部16へと出力される。
【0082】
ゲートの開放を制御した制御部16は、ACT106として入店検知信号を待ち受ける。入店検知信号が入力されると、制御部16は、ACT106においてYESと判定し、ACT107へと進む。制御部16は、ACT107としてゲートを閉塞するように開閉部12を制御する。この制御により、開閉部12はゲートが閉塞される。ゲートが閉塞されることにより次の購買者の入店が阻止される。
【0083】
ゲートの閉塞を制御した制御部16は、ACT108として時計部13で計時されている時刻を入店時刻T0として取得する。制御部16は、ACT109として販売管理装置60に対して入店通知を行うように、通信部14を制御する。また制御部16は、ACT110として人物追跡装置20に対して追跡開始を指令するように通信部14を制御する。これらの制御により、通信部14は、通信ネットワーク70を介して販売管理装置60に宛てて入店通知コマンドを送信する。入店通知コマンドには、チェックイン操作によって受付部11に入力された会員IDと入店時刻T0とが含まれている。また通信部14は、通信ネットワーク70を介して人物追跡装置20に対して追跡開始コマンドを送信する。追跡監視コマンドには、入店時刻T0が含まれている。
【0084】
販売管理装置60の制御部68は、
図17のACT601において通知コマンドを受信したことを検知し、ACT602においてその通知コマンドが会員通知コマンドでないことを確認するとNOと判定し、ACT603へと進む。制御部68は、ACT603としてその通知コマンドが入店通知コマンドであるか否かを確認する。この場合、入店通知コマンドを受信したので、制御部68は、ACT603においてYESと判定し、
図19のACT621へと進む。
【0085】
制御部68は、ACT621として入店通知コマンドから会員IDと入店時刻T0を取得する。また、制御部68は、ACT622として購買リスト作成部63を制御して、記憶部67に購買リスト600を作成する。そして制御部68は、ACT623として購買リスト更新部64を制御して、購買リスト600に入店通知コマンドから取得した会員IDと入店時刻T0とを登録する。以上で、制御部68は、入店通知コマンドの受信処理を終了する。
【0086】
一方、人物追跡装置20の制御部26は、
図13に示すように、ACT201として追跡開始コマンドを待ち受けている。そして制御部26は、通信部24を介して追跡開始コマンドを受信すると、ACT201においてYESと判定し、ACT202へと進む。制御部26は、ACT202として検出部21によって検出されている各購買者の位置情報から、入口ゲートを通過した人物を、新たにチェックインが承認された購買者として補足する。そして制御部26は、ACT203として時計部23で計時されている時刻をその購買者の補足時刻T1として取得する。また制御部26は、ACT204としてその購買者に対して一意の第1IDを付与する。
【0087】
このように制御部26は、チェックインが承認されて入店した購買者を捕捉し、その購買者に対して一意の第1IDを付与したならば、ACT205として販売管理装置60に対して追跡通知を行うように、通信部14を制御する。この制御により、通信部14は、通信ネットワーク70を介して販売管理装置60に宛てて追跡通知コマンドを送信する。追跡通知コマンドには、チェックインが承認された購買者に対する補足時刻T1と第1IDとが含まれている。
【0088】
販売管理装置60の制御部68は、
図17のACT601において通知コマンドを受信したことを検知し、ACT603においてその通知コマンドが入店通知コマンドでないことを確認するとNOと判定し、ACT604へと進む。制御部68は、ACT604としてその通知コマンドが追跡通知コマンドであるか否かを確認する。この場合、追跡通知コマンドを受信したので、制御部68は、ACT604においてYESと判定し、
図20のACT631へと進む。
【0089】
制御部68は、ACT631として追跡通知コマンドから第1IDと補足時刻T1を取得する。制御部68は、ACT632として記憶部67に形成されている各購買リストの入店時刻T0を参照する。そして制御部68は、ACT633として補足時刻T1に最も近い入店時刻T0が登録されている購買リスト600を選択する。制御部68は、ACT634として購買リスト更新部64を制御して、選択した購買リスト600に追跡通知コマンドから取得した第1IDを登録する。以上で、制御部68は、追跡通知コマンドの受信処理を終了する。
【0090】
図13の説明に戻る。
追跡通知を行った人物追跡装置20の制御部26は、ACT206として追跡部22に対してその購買者に対する追跡処理を開始するように指令する。この指令により、追跡部22では、購買者の第1IDに関連付けて位置情報と検出日時とを含む追跡データが蓄積される。なお、このような追跡処理については周知の処理であるので、ここでの詳細な説明は省略する。
【0091】
制御部26は、ACT207として追跡中の購買者が退店するのを待ち受ける。例えば入口とは別に出口が設けられている場合、購買者が出口を通過したことが追跡部22によって確認されると、制御部26は、退店したと判定する。例えば入口と出口とが共通の出入口であった場合、購買者が出入口のゲートを通過したことが追跡部22によって確認されると、制御部26は退店したと判定する。
【0092】
購買者が退店したことを検知すると、制御部26は、ACT207においてYESと判定し、ACT208へと進む。制御部26は、ACT208として販売管理装置60に対して会計通知を行うように、通信部24を制御する。この制御により、通信部24は、通信ネットワーク70を介して販売管理装置60に宛てて会計通知コマンドを送信する。会計通知コマンドには、退店が検出された購買者に対して付与されている第1IDが含まれている。なお、会計通知コマンドを受信した販売管理装置60の制御部68の動作については後述する。また、会計通知を行った制御部26のその後の動作についても後述する。
【0093】
行動監視装置30の制御部37は、
図14のACT301として、購買者検出部31により購買者CA1が検出されるのを待ち受けている。購買者CA1が検出されると、制御部37は、ACT301においてYESと判定し、ACT302へと進む。制御部37は、ACT302として購買者CA1に対して一意の第2IDを付与する。そして制御部37は、ACT303として購買者CA1に対する行動監視を開始するように行動判定部32及び取出し方向特定部33を制御する。この制御により、行動判定部32及び取出し方向特定部33では購買者CA1の行動が監視される。
【0094】
制御部37は、ACT304として購買者CA1が監視対象領域AR1の外に移動したと購買者検出部31で判定されたか否かを確認する。購買者CA1が監視対象領域AR1内に居る場合、制御部37は、ACT304においてNOと判定し、ACT305へと進む。制御部37は、ACT305として購買者CA1が陳列されている商品を把持して取り出すという行動をとったと行動判定部32で判定されたか否かを確認する。購買者CA1がそのような行動をとっていない場合、制御部37は、ACT305においてNOと判定し、ACT304へと戻る。ここに制御部37は、ACT304又はACT305において、購買者CA1が監視対象領域AR1の外に移動するか、購買者CA1が陳列されている商品を把持して取り出すという行動をとるのを待ち受ける。
【0095】
ACT304又はACT305の待ち受け状態において、購買者CA1が陳列されている商品を把持して取り出すという行動をとった場合、制御部37は、ACT305においてYESと判定し、ACT306へと進む。制御部37は、ACT306として時計部34で計時されている時刻を実行時刻Txとして取得する。また制御部37は、ACT307として取出し方向特定部33で特定された商品の取出し方向Dxを取得する。さらに制御部37は、ACT308として購買者検出部31により検出されている購買者CA1の位置情報Q1を取得する。かくして制御部37は、ACT309として第2ID、実行時刻Tx、取出し方向Dx及び位置情報Q1を含む購買者取出し情報を作成し、記憶部36に書き込む。その後、制御部37は、ACT304又はACT305の待ち受け状態に戻る。
【0096】
ACT304又はACT305の待ち受け状態において、購買者CA1が監視対象領域AR1の外に移動した場合には、制御部37は、ACT304においてYESと判定し、ACT310へと進む。制御部37は、ACT310として第2IDを付与した購買者CA1の行動監視を終了するように、行動判定部32及び取出し方向特定部33を制御する。以上で、制御部37は、
図14の流れ図に示す手順の情報処理を終了する。
【0097】
商品監視装置40の制御部47は、
図15のACT401において、移動監視部41により商品の取り上げが検出されるのを待ち受けている。例えば重量センサ84による計測重量が減少したことで商品の取り上げが検出されたことを確認すると(
図8の時点t2)、制御部47は、ACT402として商品特定部42によりその商品が特定されるのを待ち受ける。そして計測重量が商品の単位重量の整数倍だけ減少したために商品が特定されると(
図8の時点t3)、制御部47は、ACT403としてその商品の商品IDと購買数とを取得する。例えば、重量センサ84とその重量センサ84が配置されている区画に陳列されている商品の商品IDとを対応付けたデータテーブルを記憶部46で記憶しており、制御部47は、このデータテーブルから該当する重量センサに対応した商品IDを取得する。また制御部47は、重量センサ84による計測重量の減少分ΔW(W2-W1)を、商品IDで識別される商品の単位重量W0で除算し、その商を購買数として取得する。
【0098】
商品IDと購買数とを取得したならば、制御部47は、ACT404として移動監視部41及び移動方向特定部43による商品移動の監視処理を開始させる。そして制御部47は、ACT405として監視対象の商品が元の場所へ戻されたか否かを確認する。例えば、重量センサ84の計測重量が変動前の状態に戻った場合、監視対象の商品が元の場所へ戻されたと判定される。監視対象の商品が元の場所へ戻されていない場合、制御部47は、ACT405においてNOと判定し、ACT406へと進む。制御部47は、ACT406として監視対象の商品が購買者によって取り出されたか否かを確認する。商品が取り出されていない場合、制御部47は、ACT406においてNOと判定し、ACT407へと戻る。ここに制御部47は、ACT405又はACT406において、取り上げられた監視対象の商品が元の場所へ戻されるか、購買者によって取り出されるのを待ち受ける。
【0099】
ACT405又はACT406の待ち受け状態において、監視対象の商品が元の場所へ戻された場合、制御部47は、ACT405においてYESと判定し、ACT407へと進む。制御部47は、ACT407として移動監視部41及び移動方向特定部43による商品移動の監視処理を終了させる。以上で、制御部47は、
図15の流れ図に示す手順の情報処理を終了する。
【0100】
ACT405又はACT406の待ち受け状態において、監視対象の商品が購買者によって取り出された場合、制御部47は、ACT406においてYESと判定し、ACT408へと進む。制御部47は、ACT408として時計部44で計時されている時刻を商品の取出し時刻Tyとして取得する。また制御部47は、ACT409として移動方向特定部43によって特定されている移動方向Dyを取得する。かくして制御部47は、ACT410として商品ID、購買数、取出し時刻Ty及び移動方向Dyを含む取出し商品情報を作成し、記憶部46に書き込む。
【0101】
その後、制御部47は、ACT411としてその取り出された商品が元の場所に戻されたか否かを確認する。元の場所に戻されていない場合、制御部47は、ACT411においてNOと判定し、ACT412へと進む。制御部47は、ACT412として取出し商品情報を作成してから一定時間、例えば10秒が経過したか否かを確認する。一定時間が経過していない場合、制御部47は、ACT412においてNOと判定し、ACT411へと戻る。ここに制御部47は、ACT411又はACT412として購買者によって取り出された商品が元に戻されたか一定時間が経過するのを待ち受ける。
【0102】
ACT411又はACT412の待ち受け状態において、購買者によって取り出された商品が元に戻された場合、制御部47は、ACT411においてYESと判定し、ACT413へと進む。制御部47は、ACT413として記憶部46に書き込んだ取出し商品情報を破棄する。以上で、制御部47は、
図15の流れ図に示す手順の情報処理を終了する。
【0103】
商品が元に戻されることなく一定時間が経過した場合には、制御部47は、ACT412においてYESと判定し、ACT414へと進む。制御部47は、ACT414として統合認識装置50に対して取出し通知を行うように、通信部45を制御する。この制御により、通信部45は、通信ネットワーク70を介して統合認識装置50に宛てて取出し通知コマンドを送信する。取出し通知コマンドには、記憶部46で記憶した取出し商品情報が含まれている。
【0104】
統合認識装置50の制御部57は、
図16のACT501として取出し通知を待ち受けている。商品監視装置40から送信された取出し通知コマンドを通信部55で受信すると、制御部57は、ACT501においてYESと判定し、ACT502へと進む。制御部57は、ACT502として取出し通知コマンドから取出し商品情報、つまりは商品ID、購買数、取出し時刻Ty及び移動方向Dyを取得する。そして制御部57は、取出し商品情報を記憶部56で記憶する。
【0105】
制御部57は、ACT503として取出し通知コマンド送信元の商品監視装置40が監視している商品が陳列されている商品棚の手前側に居る購買者の行動を監視するための行動監視装置30から、例えば実行時刻Txが新しい順に購買者取出し情報、つまりは第2ID、実行時刻Tx、取出し方向Dx及び位置情報Q1を取得する。そして制御部57は、ACT504として時刻条件と方向条件とがそれぞれ合致する購買者取出し情報を選択する。具体的には制御部57は、取出し商品情報の取出し時刻Tyと購買者取出し情報の実行時刻Txの時間差を算出する。この時間差が許容範囲内であれば、制御部57は、取出し時刻Tyと実行時刻Txとは合致していると判定する。同様に、制御部57は、取出し商品情報の移動方向Dyと購買者取出し情報の取出し方向Dxの角度偏差を算出する。この角度偏差が許容範囲内であれば、制御部57は、移動方向Dyと取出し方向Dxとが合致していると判定する。
【0106】
こうして制御部57は、時刻条件と方向条件とがそれぞれ合致する購買者取出し情報を選択したならば、ACT505としてその購買者取出し情報から位置情報Q1を取得する。そして制御部57は、ACT506として人物追跡装置20で記憶されている各購買者の追跡データを検索する。制御部57は、ACT507として購買者取出し情報の実行時刻Tyに位置情報Q1の場所に居る購買者を特定する。
【0107】
購買者が特定されると、制御部57は、ACT508としてその購買者の第1IDを人物追跡装置20から取得する。また制御部57は、ACT509として取出し商品情報から商品IDと購買数とを取得する。しかして制御部57は、ACT510として販売管理装置60に対して購買通知を行うように、通信部14を制御する。この制御により、通信部55は、通信ネットワーク70を介して販売管理装置60に宛てて購買通知コマンドを送信する。購買通知コマンドには、第1IDと商品IDと購買数とが含まれている。以上で、制御部57は、
図16の流れ図に示す手順の情報処理を終了する。
【0108】
販売管理装置60の制御部68は、
図17のACT601において通知コマンドを受信したことを検知し、ACT604においてその通知コマンドが追跡通知コマンドでないことを確認するとNOと判定し、ACT605へと進む。制御部68は、ACT605としてその通知コマンドが購買通知コマンドであるか否かを確認する。この場合、購買通知コマンドを受信したので、制御部68は、ACT605においてYESと判定し、
図21のACT641へと進む。
【0109】
制御部68は、ACT641として購買通知コマンドから第1IDと商品IDと購買数とを取得する。そして制御部68は、ACT642としてその第1IDが登録された購買リスト600を選択する。制御部68は、ACT643としてその購買リスト600に商品IDと購買数とを登録する。以上で、制御部68は、購買通知コマンドの受信処理を終了する。
【0110】
一方、販売管理装置60の制御部68は、
図17のACT601において通知コマンドを受信したことを検知し、ACT605においてその通知コマンドが購買通知コマンドでないことを確認するとNOと判定し、ACT606へと進む。制御部68は、ACT606としてその通知コマンドが会計通知コマンドであるか否かを確認する。会計通知コマンドを受信した場合、制御部68は、ACT606においてYESと判定し、
図22のACT651へと進む。
【0111】
前述したように、人物追跡装置20から販売管理装置60へと出力される会計通知コマンドには、第1IDが含まれている。制御部68は、ACT651として会計通知コマンドから第1IDを取得する。そして制御部68は、ACT652としてその第1IDが登録された購買リスト600を選択する。制御部68は、ACT653としてその購買リスト600から会員IDを登録する。
【0112】
制御部68は、ACT654として会員IDで会員情報保存部62を検索する。そして制御部68は、当該会員IDとは関連付けて記憶されている支払口座の情報を取得する。制御部68は、ACT655として購買リスト600に登録されている商品IDで商品情報保存部61に保存されている商品情報を検索して、商品ID毎に価格を取得する。そして制御部68は価格と購買数とから会計金額を算出する。
【0113】
制御部68は、ACT656として会計金額を支払口座から引き落とすための会計処理を実行する。なお、この会計処理において、制御部68は、電子レシートを作成し、購買者のスマートフォン等に対してダウンロード可能とする。
【0114】
会計処理が終了すると、制御部68は、ACT657として人物追跡装置20に対して会計終了を通知するように通信部66を制御する。この制御により、通信部66から通信ネットワーク70を介して人物追跡装置20へと会計終了コマンドが送信される。会計終了コマンドには、会計処理が実行された購買リスト600に登録されていた第1IDが含まれている。以上で、制御部68は、会計通知コマンドの受信処理を終了する。
【0115】
図13の説明に戻る。
ACT208において会計通知コマンドの送信を制御した人物追跡装置20の制御部26は、ACT209として会計終了コマンドを待ち受ける。通信部24を介して会計終了コマンドを受信したことを検知すると、制御部26は、ACT209においてYESと判定し、ACT210と進む。制御部26は、ACT210としてその会計終了コマンドから第1IDを取得する。制御部26は、ACT211としてその第1IDを付与して追跡していた購買者に対する追跡データの蓄積を終了する。以上で、制御部26は、
図13の流れ図に示す手順の情報処理を終了する。
【0116】
以上の説明から明らかなように、販売管理システム100において、行動監視装置30の制御部37は、検出手段を構成する。すなわち制御部37は、購買者検出部31を制御して、
図14のACT301及びACT302の処理を実行することにより、陳列されている商品と対峙する購買者を検出する。また、同制御部37は、第1の認識手段を構成する。すなわち制御部37は、行動判定部32及び取出し方向特定部33を制御して、
図14のACT303乃至ACT310の処理を実行することにより、購買者の対峙している商品を取り出す行動及びその取出し方向を認識する。
【0117】
商品監視装置40の制御部47は、第2の認識手段を構成する。すなわち制御部47は、移動監視部41、商品特定部42及び移動方向特定部43を制御して、
図15のACT401乃至ACT414の処理を実行することにより、陳列されている商品の移動及びその商品の移動方向を認識する。
【0118】
統合認識装置50の制御部57は、特定手段を構成する。すなわち制御部57は、商品監視取得部51、行動監視取得部52、照合部53及び購買特定部54を制御して、
図16のACT501乃至ACT510の処理を実行することにより、購買者による商品の取出し方向と、商品の移動方向とを照合する。そして、取出し方向が移動方向と一致した場合、制御部57は、移動が認識された商品を購買者の購買商品として特定する。
【0119】
販売管理装置60の制御部68は、登録手段を構成する。すなわち制御部68は、購買リスト更新部64を制御して、
図21のACT641乃至ACT643の処理を実行することにより、特定された購買者の購買商品を購買リスト600に登録する。
【0120】
詳しくは、行動監視装置30の制御部37は、第1時刻取得手段を構成する。すなわち制御部37は、
図14のACT306の処理を実行することにより、第1の認識手段で商品を取り出す行動が認識された第1時刻である実行時刻Txを取得する。商品監視装置40の制御部47は、第2時刻取得手段を構成する。すなわち制御部37は、
図15のACT408の処理を実行することにより、第2の認識手段で商品の移動が認識された第2時刻である取出し時刻Tyを取得する。しかして統合認識装置50の制御部57は、特定手段として、取出し時刻Tyに移動が認識された商品の移動方向が、当該取出し時刻Tyと合致する範囲内の実行時刻Txに認識された取り出す行為の取出し方向と合致する場合に、購買者の購買商品を特定する。
【0121】
より詳しくは、入口ゲート装置10の制御部16は、識別手段を構成する。すなわち制御部16は、受付部11、開閉部12を制御して
図12のACT101乃至110の処理を実行することにより、購買者を識別する。人物追跡装置20の制御部26は、追跡手段を構成する。すなわち制御部26は、検出部21及び追跡部22を制御して
図13のACT201乃至ACT210の処理を実行することにより、購買者を追跡する。統合認識装置50の制御部57は、購買特定部54を制御してACT505乃至ACT507の処理を実行することにより、購買者特定手段を構成する。すなわち制御部57は、識別手段により識別された購買者を追跡手段で追跡した結果を基に、検出手段により検出された購買者を特定する。しかして販売管理装置60の制御部68は、登録手段として、購買者特定手段により特定された購買者毎に作成された購買リストに購買商品を登録する。
【0122】
以上のような構成により、例えば、
図6に示す商品棚80の監視対象領域AR1に2名の購買者CA1,CA2が左右に分かれて立ち、各々が2段目の中央の区画に陳列されている商品AAAに手を伸ばしたが、商品棚80に向かって左側に立つ購買者CA1は商品AAAを取らずに手を引っ込め、右側に立つ購買者CA2は商品AAAを取ってから手を引っ込めたと仮定する。この場合、行動監視装置30においては、購買者CA1及び購買者CA2に対して商品を取り出す行動及びその取出し方向が認識される。一方、商品監視装置40においては、商品AAAの移動及びその移動方向が認識される。このとき、商品AAAの移動方向は購買者CA2に対する取出し方向と一致するので、統合認識装置50においては、商品AAAの購買者として購買者CA2が特定される。
【0123】
また、購買者CA2の後ろにいた別の購買者CA3が、購買者CA2が商品AAAを取り出すとほぼ同時に別の区画から商品BBBを取り出した場合を想定する。この場合、行動監視装置30においては、購買者CA2及び購買者CA3に対して商品を取り出す行動及びその取出し方向が認識される。一方、商品監視装置40においては、商品AAA及び商品BBBの移動及びその移動方向が認識される。このとき、商品AAAの移動方向は購買者CA2に対する取出し方向と一致するので、統合認識装置50においては、商品AAAの購買者として購買者CA2が特定される。また、商品BBBの移動方向は購買者CA3に対する取出し方向と一致するので、統合認識装置50においては、商品BBBの購買者として購買者CA3が特定される。
【0124】
一方、購買者CA1が商品AAAを取り出した後に、購買者CA3が商品AAAと同じ区画から商品CCCを取り出した場合を想定する。この場合は、商品AAA及び商品CCCの移動方向は、購買者CA2及び購買者CA3に対する取出し方向とほぼ一致する。しかし、購買者CA2よる商品AAAを取り出す行動が認識された実行時刻Tx1と、購買者CA3による商品CCCを取り出す行動が認識された実行時刻Tx2とには時間差ΔTxがある。同様に、商品AAAの取出しが認識された取出し時刻Ty1と、商品CCCの取出しが認識された取出し時刻Ty2とにも時間差ΔTyがある。そして、実行時刻Tx1と取出し時刻Ty1とは合致していると認定され、実行時刻Tx2と取出し時刻Ty2とは合致していると認定される。したがって、統合認識装置50においては、商品AAAの購買者として購買者CA2が特定される。また、統合認識装置50においては、商品CCCの購買者として購買者CA3が特定される。
【0125】
このように、販売管理システム100によれば、商品を取った客を正しく特定することができる。
【0126】
ところで、商品監視装置40における移動監視部41及び商品特定部42のセンサの1つとして重量センサ84を用いた場合、商品棚80から取り出された商品の種類だけでなく商品の数も特定することができる。したがって、販売管理装置60においては、購買商品として特定された商品の識別コードである商品IDとともに購買数も登録することができる。
【0127】
なお、必ずしも重量センサを用いなくてもよい。例えば、カメラセンサによって撮影された画像を分析して、商品棚80から取り出された商品の数を求めてもよい。また、購買者が商品棚80から取り出す商品の数を1個に限定することにより、商品の数を求める必要はなくなる。
【0128】
また、統合認識装置50の制御部57は、
図16のACT504において、取出時刻Tyに移動が認識された商品の移動方向が、当該取出し時刻Tyと合致する範囲内の実行時刻Txに認識された取り出す行為の取出し方向と合致する場合に、購買者の購買商品を特定する。ここで、行動監視装置30の行動判定部32及び取出し方向特定部33が購買者の行動を判定するまでには、実際の行動よりも遅延を生じる。同様に、商品監視装置40の移動監視部41、商品特定部42及び移動方向特定部43が商品の移動を判定するまでは、実際の移動よりも遅延を生じる。統合認識装置50の制御部57においては、これらの遅延を考慮して合致するか否かを判定することにより、より信頼性を高い結果を得ることができる。
【0129】
以上、商品を取った客を正しく特定することができる販売管理システム及び販売管理方法の実施形態について説明したが、かかる実施形態はこれに限定されるものではない。 例えば前記実施形態では、会計金額を支払口座から引き落とすことで会計処理を行う場合を例示した。会計処理はこれら限定されるものではない。例えば周知のクレジットカード決済、バーコード、二次元コード等を利用したコード決済等により会計処理を行ってもよい。
前記実施形態では、購買者CA2が商品棚80から商品を取り出す場合を例示した。この点に関しては、商品監視装置40の移動監視部41、商品特定部42及び移動方向特定部43によって、購買者が一旦取り出した商品を商品棚80へ戻すという行動を検知することも可能である。そこで、商品が商品棚80に戻された場合には、統合認識装置50の商品監視取得部51、行動監視取得部52、照合部53及び購買特定部54によって、商品と購買者とを特定し、販売管理装置60へと通知する。この通知を受けて、販売管理装置60の制御部68は、当該購買者の購買リスト600から当該商品のデータを削除する。こうすることにより、購買者による会計前の返品にも対処できるようになる。
この他、各実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態及びその変形は、発明の範囲に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【0130】
10…入口ゲート装置、20…人物追跡装置、30…行動監視装置、40…商品監視装置、50…統合認識装置、60…販売管理装置、70…通信ネットワーク、100…販売管理システム。
【手続補正書】
【提出日】2023-10-13
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
商品棚に陳列されている商品と対峙する購買者が前記商品棚に向けて伸ばした腕部を当該商品棚から商品を出し入れする側に戻す際にどの方向に前記腕部が戻されたかを認識する第1の認識手段と、
前記商品棚から持ち上げられた商品を特定し、当該商品の移動方向を認識する第2の認識手段と、
前記腕部が戻された方向と前記商品の移動方向とが一致した場合、前記第2の認識手段で特定された商品を前記購買者の購買商品として特定する特定手段と、
前記特定手段により特定された前記購買者の購買商品を登録する登録手段と、
を具備する販売管理システム。
【請求項2】
前記第1の認識手段で前記腕部が戻された方向が認識された第1時刻を取得する第1時刻取得手段と、
前記第2の認識手段で前記商品の移動方向が認識された第2時刻を取得する第2時刻取得手段と、
をさらに具備し、
前記特定手段は、前記第2時刻に認識された前記商品の移動方向が、当該第2時刻と合致する範囲内の前記第1時刻に認識された前記腕部が戻された方向と一致する場合に、前記第2の認識手段で特定された商品を前記購買者の購買商品として特定する、請求項1記載の販売管理システム。
【請求項3】
購買者を識別する識別手段と、
前記購買者を追跡する追跡手段と、
前記識別手段により識別された購買者を前記追跡手段で追跡した結果を基に、前記商品棚に陳列されている商品と対峙する購買者を特定する購買者特定手段と、
をさらに具備し、
前記登録手段は、前記購買者特定手段により特定された購買者毎に購買商品を登録する、請求項1又は2記載の販売管理システム。
【請求項4】
前記商品棚に陳列されている商品の重量を計量する計量手段、
をさらに具備し、
前記第2の認識手段は、前記計量手段により計量されている重量が前記商品棚に陳列されている商品の単位重量の整数倍だけ減少すると、その整数を移動した商品の数としてさらに認識する、請求項1記載の販売管理システム。
【請求項5】
陳列されている商品の販売を管理するシステムによって実行される方法であって、
第1の認識手段が、商品棚に陳列されている商品と対峙する購買者が前記商品棚に向けて伸ばした腕部を当該商品棚から商品を出し入れする側に戻す際にどの方向に前記腕部が戻されたかを認識し、
第2の認識手段が、前記商品棚から持ち上げられた商品を特定し、当該商品の移動方向を認識し、
前記腕部が戻された方向と前記商品の移動方向とが一致した場合、特定手段が、前記第2の認識手段で特定された商品を前記購買者の購買商品として特定し、
登録手段が、その特定された前記購買者の購買商品を登録する、販売管理方法。
【手続補正2】
【補正対象書類名】明細書
【補正対象項目名】0129
【補正方法】変更
【補正の内容】
【0129】
以上、商品を取った客を正しく特定することができる販売管理システム及び販売管理方法の実施形態について説明したが、かかる実施形態はこれに限定されるものではない。 例えば前記実施形態では、会計金額を支払口座から引き落とすことで会計処理を行う場合を例示した。会計処理はこれら限定されるものではない。例えば周知のクレジットカード決済、バーコード、二次元コード等を利用したコード決済等により会計処理を行ってもよい。
前記実施形態では、購買者CA2が商品棚80から商品を取り出す場合を例示した。この点に関しては、商品監視装置40の移動監視部41、商品特定部42及び移動方向特定部43によって、購買者が一旦取り出した商品を商品棚80へ戻すという行動を検知することも可能である。そこで、商品が商品棚80に戻された場合には、統合認識装置50の商品監視取得部51、行動監視取得部52、照合部53及び購買特定部54によって、商品と購買者とを特定し、販売管理装置60へと通知する。この通知を受けて、販売管理装置60の制御部68は、当該購買者の購買リスト600から当該商品のデータを削除する。こうすることにより、購買者による会計前の返品にも対処できるようになる。
この他、各実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態及びその変形は、発明の範囲に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
[1]陳列されている商品と対峙する購買者を検出する検出手段と、前記検出手段により検出された購買者の前記対峙している商品を取り出す行動及びその取出し方向を認識する第1の認識手段と、前記陳列されている商品の移動及びその商品の移動方向を認識する第2の認識手段と、前記第1の認識手段で前記購買者の前記商品を取り出す行動及びその取出し方向を認識しかつ前記第2の認識手段で前記商品の移動及びその移動方向を認識した場合において、前記取出し方向が前記移動方向と一致した場合、前記第2の認識手段で移動が認識された商品を前記第1の認識手段で商品を取り出す行動が認識された購買者の購買商品として特定する特定手段と、前記特定手段により特定された購買者の購買商品を登録する登録手段と、を具備する販売管理システム。
[2]前記第1の認識手段で前記商品を取り出す行動が認識された第1時刻を取得する第1時刻取得手段と、前記第2の認識手段で前記商品の移動が認識された第2時刻を取得する第2時刻取得手段と、をさらに具備し、前記特定手段は、前記第2時刻に移動が認識された商品の移動方向が、当該第2時刻と合致する範囲内の前記第1時刻に認識された取り出す行為の取出し方向と合致する場合に、前記第2の認識手段で移動が認識された商品を前記第1の認識手段で商品を取り出す行為が認識された購買者の購買商品として特定する、付記[1]記載の販売管理システム。
[3]購買者を識別する識別手段と、前記購買者を追跡する追跡手段と、前記識別手段により識別された購買者を前記追跡手段で追跡した結果を基に、前記検出手段により検出された購買者を特定する購買者特定手段と、をさらに具備し、前記登録手段は、前記購買者特定手段により特定された購買者毎に購買商品を登録する、ふき[1]又は[2]記載の販売管理システム。
[4]前記陳列されている商品の重量を計量する計量手段、をさらに具備し、前記第2の認識手段は、前記計量手段により計量されている重量が前記陳列されている商品の単位重量の整数倍だけ減少すると、その整数を移動した商品の数としてさらに認識する、[1]項記載の販売管理システム。
[5]陳列されている商品の販売を管理するシステムであって、特定手段が、前記陳列されている商品と対峙する購買者を検出し、第1の認識手段が、前記検出された購買者の前記対峙している商品を取り出す行動及びその取出し方向を認識し、第2の認識手段が、前記陳列されている商品の移動及びその移動方向を認識し、前記購買者の前記商品を取り出す行動及びその取出し方向が認識されかつ前記商品の移動及びその移動方向が認識された場合において、前記取出し方向が前記移動方向と一致した場合、特定手段が、前記移動が認識された商品を、前記商品を取り出す行動が認識された購買者の購買商品として特定し、登録手段が、その特定された購買者の購買商品を登録する、販売管理方法。