(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024096164
(43)【公開日】2024-07-12
(54)【発明の名称】商品データ処理システム、及び商品データ処理方法
(51)【国際特許分類】
G07G 1/01 20060101AFI20240705BHJP
G07G 1/12 20060101ALI20240705BHJP
G06Q 30/06 20230101ALI20240705BHJP
G06Q 30/0601 20230101ALI20240705BHJP
【FI】
G07G1/01 301D
G07G1/12 301E
G06Q30/06
G06Q30/0601 332
【審査請求】有
【請求項の数】6
【出願形態】OL
(21)【出願番号】P 2024067311
(22)【出願日】2024-04-18
(62)【分割の表示】P 2023000617の分割
【原出願日】2017-03-06
(71)【出願人】
【識別番号】000003562
【氏名又は名称】東芝テック株式会社
(74)【代理人】
【識別番号】110003708
【氏名又は名称】弁理士法人鈴榮特許綜合事務所
(72)【発明者】
【氏名】平松 顕也
(72)【発明者】
【氏名】須崎 晃子
(72)【発明者】
【氏名】五反田 剛
(72)【発明者】
【氏名】中島 隆司
(57)【要約】
【課題】顧客の操作による購入予定とする商品の登録が確実にできるようにするためのチェック装置を提供すること。
【解決手段】実施形態によれば、チェック装置は、受信部と、カメラと、オブジェクト検出部と、チェック部とを有する。受信部は、電子機器において記憶された顧客が購入予定とする商品に関する商品情報を、前記電子機器から受信する。カメラは、画像を撮影する。オブジェクト検出部は、前記画像から商品に相当するオブジェクトを検出する。チェック部は、前記商品情報と前記オブジェクトをもとに、前記カメラによる撮影範囲内に存在する商品と前記商品情報に対応する商品との一致をチェックする。
【選択図】
図1
【特許請求の範囲】
【請求項1】
表示部と、
顧客が購入予定とする商品に関する商品情報を取得する商品情報取得手段と、
前記商品情報取得手段により取得した前記商品情報を前記表示部に表示する表示手段と、
前記商品情報取得手段により取得された前記商品情報を記憶部に記憶させる記憶手段と、
前記商品情報を前記記憶部に記憶させてから予め設定された所定時間が経過すると、顧客が購入予定とする商品を収納するための収納部に商品を収納することを促す前記顧客に対する第1案内を前記表示部に出力する第1出力手段と
前記収納部に収納された商品を認識する認識手段と、
前記認識手段により認識された商品に対応する商品情報が前記記憶部に記憶されていない場合に、前記商品情報取得手段により前記商品情報を取得させることを促す前記顧客に対する第2案内を前記表示部に出力する第2出力手段と
を有する商品データ処理システム。
【請求項2】
前記認識手段は、
前記収納部を撮像する撮像部から画像情報を取得する画像情報取得手段と、
前記画像情報から商品に相当するオブジェクトを検出するオブジェクト検出手段と、
前記オブジェクトに対応する商品の商品情報が前記記憶部に記憶されているか判別する判別手段とを有し、
前記第2出力手段は、前記判別手段により商品情報が記憶されていないと判別される場合、前記第2案内を出力する請求項1記載の商品データ処理システム。
【請求項3】
前記商品情報が前記収納部に収納する必要が無い特定の商品を示す場合には、前記収納部に商品の収納が不要であることを通知する第3案内を出力する第3出力手段をさらに有する請求項1または請求項2記載の商品データ処理システム。
【請求項4】
顧客が購入予定とする商品に関する商品情報を取得し、
前記商品情報を表示部に表示し、
前記商品情報を記憶部に記憶させ、
前記商品情報を前記記憶部に記憶させてから予め設定された所定時間が経過すると、顧客が購入予定とする商品を収納するための収納部に商品を収納することを促す前記顧客に対する第1案内を前記表示部に出力し、
前記収納部に収納された商品を認識し、
認識された商品に対応する商品情報が前記記憶部に記憶されていない場合に、前記商品情報を取得させることを促す前記顧客に対する第2案内を前記表示部に出力する商品データ処理方法。
【請求項5】
前記収納部を撮像する撮像部から画像情報を取得し
前記画像情報から商品に相当するオブジェクトを検出し、
前記オブジェクトに対応する商品の商品情報が前記記憶部に記憶されているか判別し、 この判別により商品情報が記憶されていないと判別される場合、前記第2案内を出力する請求項4記載の商品データ処理方法。
【請求項6】
前記商品情報が前記収納部に収納する必要が無い特定の商品を示す場合には、前記収納部に商品の収納が不要であることを通知する第3案内を出力する請求項4または請求項5記載の商品データ処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明の実施形態は、商品データ処理システム、及び商品データ処理方法に関する。
【背景技術】
【0002】
スーパーマーケット等の小売店では、POS(Point Of Sales)による会計処理の効率化を図るために、顧客により会計処理の作業の一部をさせるチェックアウトシステムが導入されている。例えば、セルフレジ(セルフチェックアウト端末)を設けたセルフチェックアウトシステムが導入されている。セルフレジでは、顧客の操作により商品の商品コード(一般にはバーコード)を読み取らせることで商品登録し、決済処理のための決済情報を生成する登録処理、及び登録処理により生成された決済情報をもとにした代金支払いをする決済処理を実行する。
【0003】
さらに近年では、顧客が店内で商品の買い回りをしている間に、購入予定とする商品について商品登録をするパーソナルチェックアウトシステムも考えられている。このシステムの場合、購入予定としてカートやカゴに入れられた商品と、商品登録された商品とが一致していることが必要となる。
【先行技術文献】
【特許文献】
【0004】
【発明の概要】
【発明が解決しようとする課題】
【0005】
本発明が解決しようとする課題は、顧客の操作による購入予定とする商品の登録が確実にできるようにするための商品データ処理システム、及び商品データ処理方法を提供することである。
【課題を解決するための手段】
【0006】
実施形態によれば、商品データ処理システムは、表示部、表示手段、記憶手段、第1出力手段、認識手段、第2出力手段を有する。表示手段は、前記商品情報取得手段により取得した前記商品情報を前記表示部に表示する。記憶手段は、前記商品情報取得手段により取得された前記商品情報を記憶部に記憶させる。第1出力手段は、前記商品情報を前記記憶部に記憶させてから予め設定された所定時間が経過すると、顧客が購入予定とする商品を収納するための収納部に商品を収納することを促す前記顧客に対する第1案内を前記表示部に出力する。認識手段は、前記収納部に収納された商品を認識する。第2出力手段は、前記認識手段により認識された商品に対応する商品情報が前記記憶部に記憶されていない場合に、前記商品情報取得手段により前記商品情報を取得させることを促す前記顧客に対する第2案内を前記表示部に出力する。
【図面の簡単な説明】
【0007】
【
図1】本実施形態のシステムの全体構成を概略的に示したシステム構成図。
【
図2】本実施形態における電子機器の構成を示すブロック図。
【
図3】本実施形態におけるクリップ端末の使用例を示す図。
【
図4】本実施形態におけるクリップ端末の外観を示す図。
【
図5】本実施形態における電子機器の動作を説明するためのフローチャート。
【
図6】本実施形態におけるクリップ端末の動作を説明するためのフローチャート。
【
図7】本実施形態におけるクリップ端末の動作を説明するためのフローチャート。
【
図8】本実施形態における商品チェックリストの一例を示す図。
【
図9】本実施形態におけるメッセージの一例を示す図。
【
図10】本実施形態におけるカメラにより撮影された画像の一例を示す図。
【
図11】
図10に示す画像から検出された商品に相当するオブジェクトの一例を示す図。
【
図12】本実施形態における登録位置をもとに確認が必要であるか判定する登録位置判定処理を示すフローチャート。
【
図13】店舗内の商品棚の配置とカートの位置の一例を示す図。
【発明を実施するための形態】
【0008】
以下、本実施形態について、図面を参照しながら説明する。
図1は、本実施形態のシステムの全体構成を概略的に示したシステム構成図である。
図1に示すシステムは、本部に設けられたシステム10と、複数の店舗のそれぞれに設けられた店舗システム12とが、専用回線あるいはインターネット等を含むネットワーク14を介して接続される。
【0009】
本部に設けられたシステム10は、例えば本部システム10A、顧客システム10B、決済システム10C、販促システム10Dなどが設けられ、LAN(Local Area Network)等のネットワーク10Eを介して相互に接続される。
【0010】
本部システム10Aは、各店舗に設置された店舗システム等を統括するための処理を実行する。顧客システム10Bは、店舗システムを利用して商品の購入等をする顧客を管理する。決済システム10Cは、店舗システムにおける顧客によるクレジットカード等を利用した決済処理のための処理(個人認証、クレジット決済など)を実行する。販促システム10Dは、店舗システムを通じて、販売促進のための商品の広告や店内案内などの情報を顧客(顧客が使用する電子機器)に対して提供するための管理をする。
【0011】
店舗に設けられた店舗システム12は、例えばPOS(Point Of Sales)システムとして実現される。店舗システム12は、例えば店舗サーバ20A、クリップ端末管理サーバ20B、複数の会計機20C、複数のPOS端末20Dなどが設けられ、LAN等のネットワーク20Eを介して相互に接続される。
【0012】
店舗サーバ20Aは、店舗システム12の全体を制御する。店舗サーバ20Aには、店舗内で販売される商品に関するデータ、例えば商品毎の商品コード、商品名、単価、重量、店舗内で販売されている商品位置(商品棚の位置)、商品画像などのデータが記憶されている。登録処理では、商品をスキャンすることにより読み取られた商品コードに対応する商品のデータを店舗サーバ20Aから受信して記憶すると共に、決済処理のための決済情報(金額、商品、個数などを含む)を生成することができる。クリップ端末管理サーバ20Bは、顧客の操作により購入予定として電子機器30を利用して登録処理がされた商品(買上商品)と、購入予定としてカート60やカゴに入れられた商品とが一致しているかをチェックするために使用される電子機器50(後述するクリップ端末)を管理する。会計機20Cは、顧客の操作により電子機器30を利用して登録処理がされた商品について決済処理を実行する。POS端末20Dは、店員の操作による顧客の買上商品についての登録処理、登録処理により登録された商品についての決済処理等を実行する。
【0013】
また、店内に配線されたネットワーク20Eには、複数のアクセスポイント(基地局)20Fが接続されている。アクセスポイント20Fは、店内で使用される各種の電子機器と、例えば無線LANなどにより無線通信をする。店内で使用される電子機器には、例えば顧客が使用する電子機器30、店員(アテンダント)等が使用する電子機器40、例えばカート60に装着した状態で使用される電子機器50(後述するクリップ端末50)が含まれる。
【0014】
電子機器30,40は、例えばスマートフォン、タブレット型パーソナルコンピュータ(PC)などが用いられる。電子機器30は、店舗システム12が提供するサービスを利用するためのアプリケーションプログラム(チェックプログラムを含む)に基づいて、購入予定の商品についての登録処理、登録処理がされた商品(買上商品)と購入予定としてカート60やカゴに入れられた商品とが一致しているかをチェックする個体チェック処理を、電子機器50(クリップ端末)と協働して実行する。電子機器40は、電子機器30により実行された登録処理を確認するための確認プログラムに基づいて、登録処理により登録された商品情報とカート60に入れられた商品との一致を店員(アテンダント)が容易に確認できるようにするための確認処理などを実行する。
【0015】
電子機器30と電子機器50(クリップ端末50)とは、クリップ端末管理サーバ20B(ネットワーク20E)を介して通信しても良いし、直接、近距離無線通信によって通信しても良い。さらに、通信ケーブルを相互に接続して、有線通信をするようにしても良い。
【0016】
図2は、本実施形態における電子機器30,50の構成を示すブロック図である。
図2に示す電子機器30は、例えばスマートフォンにより実現されているものとして説明する。また、電子機器50は、店舗システム12において個体チェック処理を実行するための専用のクリップ端末50として構成されているものとする。以下、クリップ端末50として説明する。なお、クリップ端末50は、スマートフォンなどのカメラが実装された汎用の機器(コンピュータ)に、チェックプログラムをインストールすることで実現することも可能である。
【0017】
電子機器30は、プロセッサ30A、メモリ30B、記憶装置30C、タッチパネル30D、カメラ30E、通信モジュール30F、及びバッテリ30Gが設けられている。 プロセッサ30Aは、メモリ30Bに記録されたプログラムを実行することにより、電子機器30としての各種処理を実現するために各部を制御する回路である。
【0018】
メモリ30Bは、プロセッサ30Aにより実行されるプログラムの他、プロセッサ30Aが各種の処理を実行する上で使用するデータを記録する。メモリ30Bに記録されるプログラムには、例えば、購入予定の商品についての登録処理を実行する登録処理プログラム、登録処理がされた商品(買上商品)と購入予定としてカート60やカゴに入れられた商品とが一致しているかをチェックするための個体チェック処理を実行するチェックプログラムが含まれる。メモリ30Bに記憶されるデータには、登録処理において読み取られた商品コードをもとに生成される決済情報、登録処理により登録された商品に関する商品情報などが記憶される。
【0019】
記憶装置30Cは、ハードディスク(HDD(Hard disk drive))装置やSSD(solid state drive)装置等により実現され、プロセッサ30Aが各種の処理を行う上で使用するデータ、あるいはプロセッサ30Aでの処理によって生成されたデータを記録する。
【0020】
タッチパネル30Dは、顧客により入力操作がされるデバイスであり、表示デバイス及びタッチセンサを含む。タッチパネル30Dには、プロセッサ30Aの処理に伴う、GUI(Graphical User Interface)画面などの任意の画面を表示する。
カメラ30Eは、プロセッサ30Aの制御のもとで画像を撮影する。
【0021】
通信モジュール30Fは、プロセッサ30Aの制御のもとで外部の電子機器との通信を制御する。通信モジュール30Fは、アクセスポイント20Fとの無線通信、クリップ端末50等の他の電子機器との近距離無線通信などの通信を制御することができる。
【0022】
クリップ端末50は、プロセッサ50A、メモリ50B、記憶装置50C、タッチパネル50D、カメラ50E、通信モジュール50F、バッテリ50G、I/Oインタフェース50H、及びリーダライタ50Jが設けられている。
【0023】
プロセッサ50Aは、メモリ50Bに記録されたプログラムを実行することにより、クリップ端末50としての各種処理を実現するために各部を制御する回路である。
【0024】
メモリ50Bは、プロセッサ50Aにより実行されるプログラムの他、プロセッサ50Aが各種の処理を実行する上で使用するデータを記録する。メモリ50Bに記録されるプログラムには、登録処理がされた商品(買上商品)と購入予定としてカート60やカゴに入れられた商品とが一致しているかをチェックする個体チェック処理を実現するチェックプログラムが含まれる。チェックプログラムには、カメラ50Eにより撮影された画像から商品に該当するオブジェクトを検出し、商品がカート60に入れられた、及び商品がカート60から取り出されたことを検出する画像処理を実現する画像処理プログラムが含まれる。メモリ50Bに記憶されるデータには、電子機器30の登録処理により登録された商品情報、画像処理により検出されるオブジェクトを管理するオブジェクト管理データ(
図11参照)、カート60に入れられた商品をチェックするための商品チェックリスト(
図8参照)などの各種データが記憶される。
【0025】
記憶装置50Cは、ハードディスク装置(HDD(Hard disk drive))やSSD(solid state drive)装置等により実現され、プロセッサ50Aが各種の処理を行う上で使用するデータ、あるいはプロセッサ50Aでの処理によって生成されたデータを記録する。
【0026】
タッチパネル50Dは、顧客により入力操作がされるデバイスであり、表示デバイス及びタッチセンサを含む。タッチパネル50Dには、プロセッサ50Aの処理に伴う、GUI(Graphical User Interface)画面などの任意の画面を表示する。
カメラ50Eは、プロセッサ50Aの制御のもとで画像を撮影する。
【0027】
通信モジュール50Fは、プロセッサ50Aの制御のもとで外部の電子機器との通信を制御する。通信モジュール50Fは、アクセスポイント20Fとの無線通信、電子機器30等の他の電子機器との近距離無線通信などの通信を制御することができる。
【0028】
I/Oインタフェース50Hは、外部機器からの信号を入力するためのインタフェースであり、例えばカート60のカゴ底部60Cに取り付けた重量センサ601(計量器、感圧器、重量計など)が接続される。重量センサ601は、カート60に入れられた(載置)商品の重量を検出して検出信号を出力する。
【0029】
リーダライタ50Jは、店舗内で販売される各商品や店舗内の商品棚などに取り付けられたRF(Radio Frequency)タグとの通信をする。リーダライタ50Jによる通信範囲は、例えばカート60に入れられた商品のRFタグと通信可能な範囲、あるいはカート60を店舗内で移動させることで商品棚に取り付けられたRFタグと通信可能な範囲とする。リーダライタ50Jは、カート60に商品が入れられた、あるいは取り出されたことを検知するために使用する、あるいはクリップ端末50が装着されたカート60の店舗内の位置を検出するために使用することができる。
【0030】
図3は、本実施形態におけるクリップ端末50の使用例を示す図、
図4は、本実施形態におけるクリップ端末50の外観を示す図である。
【0031】
クリップ端末50は、例えば、店舗内で使用されるカート60の上部フレーム60Bに装着して使用される。
図4に示すように、クリップ端末50には、クリップ60kが設けられており、任意に着脱可能となっている。従って、店舗に予め用意されている全てのカート60に予めクリップ端末50を装着しておく必要がなく、クリップ端末50を利用した個体チェック処理のサービスを利用する顧客が使用するカート60のみに、必要に応じてクリップ端末50を装着すれば良い。このため、個体チェック処理のサービスを実現するために、店舗を改造したり、カート60を交換したりするなどの大がかりな投資が不要であり、低コストで実現することが可能である。
【0032】
図3に示す例では、カート60のハンドル60Aの側の上部フレーム60Bに装着された例を示している。クリップ端末50を装着する際には、クリップ端末50に設けられたカメラ50Eをカゴ底部60Cの方向に向けて、少なくともカート60に入れられた全ての商品を撮影可能となるように撮影範囲が調整される。カメラ50Eによる撮影範囲は、好ましくは、上部フレーム60Bを含むようにして、カメラ50Eにより撮影された画像において、カゴの内外の領域を明確に区分できるようにする。さらに、カメラ50Eによる撮影範囲は、顧客による商品の出し入れの動作を検出できるように、例えば顧客の腕(手)の動きを撮影可能とすることが望ましい。
【0033】
また、クリップ端末50は、
図4に示すように、上部フレーム60Bに装着することで、タッチパネル50Dの表示面が顧客側に向くようにする。これにより、カメラ50Eにより撮影された画像や、撮影された画像を利用した個体チェック処理のチェック結果を表す情報(メッセージ等)の確認が容易となる。
【0034】
次に、本実施形態の店舗システム12において使用される電子機器30とクリップ端末50(電子機器)の動作について説明する。
図5は、本実施形態における電子機器30の動作を説明するためのフローチャートである。
図6及び
図7は、本実施形態におけるクリップ端末50の動作を説明するためのフローチャートである。
【0035】
顧客は電子機器30を用いて登録処理をする場合、店舗システム12が提供するサービスを利用するためのアプリケーションプログラム(チェックプログラム)を起動させる。以下、電子機器30のプロセッサ30Aは、アプリケーションに基づいて、以下に説明する登録処理及び個体チェック処理を実行する。
【0036】
まず、電子機器30は、店舗システム12に接続するためのログイン処理を実行する(Act10)。ログイン処理では、顧客の操作により、例えば会員カードに付された会員に固有の会員コードを含むバーコードをカメラ30Eにより読み取らせる(画像撮影)。プロセッサ30Aは、カメラ30Eに読み取られたバーコードから会員コードを抽出し、クリップ端末管理サーバ20Bに送信する。クリップ端末管理サーバ20Bは、電子機器30から受信した会員コードをもとに、顧客システム10Bにおいて管理された会員データと照合して会員認証をする。
【0037】
電子機器30は、クリップ端末管理サーバ20Bにより会員認証されたことが通知されると、店舗で利用可能なサービスの選択画面を表示させる。店舗で利用可能なサービスには、購入予定の処理についての登録処理の他、チラシ情報の表示、特売商品の案内表示、店舗案内(マップ)表示、クリップ端末50の利用などがある。クリップ端末50を利用することで、例えばカート60に入れられた商品について登録処理がされていない場合にクリップ端末50からメッセージが出力される。従って、顧客は、購入予定の商品について登録忘れなどを防ぐことができる。また、顧客により店舗内で買い回りがされている間に、クリップ端末50により購入予定商品のチェックがされているため、顧客による登録処理が終了した後のアテンダント(店員)による確認作業の負担を軽減することができる。
【0038】
店舗システム12は、顧客がクリップ端末50を利用した場合には、顧客に対して利益(ポイントなど)を提供する(顧客システム10Bにおいて顧客に対する利益を示すデータを記憶する)ことで、顧客に対してクリップ端末50の利用を促すようにしても良い。
【0039】
クリップ端末50を利用する場合、電子機器30とクリップ端末50とが通信可能な状態にする。例えば、顧客が使用するカート60にクリップ端末50を装着し(あるいは予めクリップ端末50が装着されたカート60を顧客に使用させ)、顧客の電子機器30とクリップ端末50とのリンクを設定する。例えば、電子機器30とクリップ端末50が近距離無線通信により通信可能となるようにペアリングさせる。あるいは、クリップ端末50の固有コードを電子機器30により読み取らせて、電子機器30からクリップ端末管理サーバ20Bに送信する。クリップ端末管理サーバ20Bは、協働して個体チェック処理を実行する電子機器30とクリップ端末50とを判別し、電子機器30とクリップ端末50との間でクリップ端末管理サーバ20B(ネットワーク20E)を介して通信ができるようにする。なお、電子機器30とクリップ端末50との接続方法は、他の方法を用いることも可能である。
【0040】
電子機器30のプロセッサ30Aは、クリップ端末50と接続されると(Act11)、商品の登録処理を実行可能な状態にする。また、クリップ端末50のプロセッサ50Aは、電子機器30と接続されると(Act40)、商品検出処理を開始する。商品検出処理は、カメラ50Eにより撮影された画像から商品に相当するオブジェクトを検出する処理である。プロセッサ50Aは、カメラ50Eにより撮影された画像から商品等に相当するオブジェクトを既存の画像処理により検出し、それぞれのオブジェクトの位置を記憶しておく。プロセッサ50Aは、例えばカートの外部に相当する領域(カート外)から、カートの内部(カート内)に移動するオブジェクトを検出した場合、顧客が商品を出し入れするための動作をしたものと判別する。この動作を検出した前後のカート内に存在するオブジェクトの変化をもとに、商品が入れられた、あるいは取り出されたことを検出する。また、顧客の動作を検出した場合でも、カート内の商品に相当するオブジェクトの数が変化していない場合には、例えば顧客がカート内の商品を置き直したものと判別する。プロセッサ50Aは、置き直されたオブジェクトの位置を記憶しておく。プロセッサ50Aは、カメラ50Eにより撮影された画像から検出されたオブジェクトを商品チェックリストに記憶させる。
【0041】
図8は、本実施形態における商品チェックリストの一例を示す図である。商品チェックリストでは、
図8に示すように、カメラ50Eにより撮影された画像から検出されたオブジェクト(検出オブジェクト)のデータ、及び電子機器30における登録処理により登録された商品の情報(登録商品)のデータ、登録商品と検出オブジェクトに対応する商品との一致をチェックした結果を示すデータ(チェック結果「OK」「NG」)とが対応づけられたデータ(例えばD1~D4)が記憶される。
【0042】
顧客は、店内を買い回りしながら購入しようとする商品について、電子機器30のカメラ30Eを用いて商品に付されたバーコードスキャンさせることにより商品登録する(Act12)。プロセッサ30Aは、カメラ30Eにより撮影された画像からバーコードを検出して、バーコードから商品コードを抽出する。プロセッサ30Aは、商品コードに対応する商品の情報を、例えばクリップ端末管理サーバ20B(ネットワーク20E)を通じて店舗サーバ20Aから取得してタッチパネル30Dに表示させる。すなわち、商品スキャンによって読み取られた商品の商品名称、価格、商品画像などを表示して顧客により確認させる。ここで、顧客により商品登録の指示操作(例えばタッチパネル30Dに表示された商品登録のボタンのタッチ)がされると(Act13、Yes)、プロセッサ30Aは、商品スキャンにより読み取られた商品を購入予定の登録商品として記憶する(Act14)。また、プロセッサ30Aは、登録商品の情報をクリップ端末50に対して送信する(Act15)。
【0043】
一方、クリップ端末50は、電子機器30から登録商品の情報を受信すると(Act42、Yes)、登録商品の情報を商品チェックリストに記憶させる(Act43)。プロセッサ50Aは、登録商品の情報を参照して大型商品であることを検出した場合、すなわちカート60に入れる必要がない(入れられない)商品であることが判別される場合には、商品チェックリストにスキップフラグをセットする(Act45)。
図8に示す例では、データD2として、登録商品「商品C」に対応づけてスキップフラグがセットされている。スキップフラグがセットされた登録商品「商品C」については、プロセッサ50Aは、登録商品とカート60に入れられた商品との一致をチェックする対象から外す。また、プロセッサ50Aは、電子機器30に対して商品入れ不要通知を送信する(Act57)。
【0044】
電子機器30のプロセッサ30Aは、クリップ端末50から商品入れ不要通知が受信されると(Act18、Yes)、タッチパネル30Dにおいて、登録済みの商品の情報(商品名、商品画像、価格など)と共に、顧客に対して商品をカート60に入れる必要ないことを通知するメッセージを表示させる。なお、商品入れ不要通知のメッセージは、電子機器30において表示するだけでなく、クリップ端末50のタッチパネル50Dにおいて表示させるようにしても良い。
【0045】
一方、登録商品が大型商品でない場合、プロセッサ50Aは、例えば、ネットワーク20Eを通じてクリップ端末管理サーバ20Bから、登録商品を画像処理によって識別するための商品辞書データを取得する。例えば、プロセッサ50Aは、登録商品に対応する商品辞書データを記憶していない場合に、クリップ端末管理サーバ20Bに対して、登録商品に対応する商品辞書データの送信要求を出力する。クリップ端末管理サーバ20Bは、クリップ端末50からの送信要求に応じて、該当する商品の商品辞書データをクリップ端末50に送信する。なお、電子機器30とクリップ端末50とがクリップ端末管理サーバ20Bを介して通信する場合には、クリップ端末管理サーバ20Bは、電子機器30から登録商品の情報を受信した場合に、登録商品の情報と共に該当する商品の商品辞書データをクリップ端末50に対して送信するようにしても良い。また、商品辞書データは、予めクリップ端末50に記憶されていても良い。
【0046】
また、商品チェックリストに登録商品を記憶させると、プロセッサ50Aは、この登録商品を記憶させてからの経過時間の計測を開始する。プロセッサ50Aは、登録商品に対応する商品がカート60に入れられたことが確認されるまで、経過時間が予め設定された時間を経過したかを判別する(Act46)。
【0047】
顧客による購入予定とする商品の扱いは、例えば商品を商品棚等から取り上げて、電子機器30を用いて商品スキャンをした後、カート60に載せるといった一連の動作で行われることが多い。従って、商品スキャン(クリップ端末50での登録商品の記憶)から予め設定された時間を経過した場合には、登録済みの商品のカート60への入れ忘れの可能性があるため顧客に通知できるようにしている。プロセッサ50Aは、登録商品について経過時間が予め設定された時間を経過したことが判別された場合(Act46、Yes)、電子機器30に対して商品入れ要求を送信する(Act47)。
【0048】
電子機器30のプロセッサ30Aは、クリップ端末50から商品入れ要求が受信されると(Act18、Yes)、タッチパネル30Dにおいて、登録済みの商品の情報(商品名、商品画像、価格など)と共に、顧客に対して商品をカート60に入れることを促す商品入れ要求メッセージを表示させる(Act19)。例えば、
図9(A)に示すように、「登録した商品をカートに入れてください。」のメッセージを表示させる。なお、商品入れ要求メッセージは、電子機器30において表示するだけでなく、クリップ端末50のタッチパネル50Dにおいて表示させるようにしても良い。なお、商品入れ要求メッセージの対象とする商品が複数個ある場合には、対象とする複数の商品の情報をリスト化して表示するなどして、対象商品を顧客が確実に認識できるようにしても良い。
【0049】
一方、クリップ端末50のプロセッサ50Aは、カメラ50Eにより撮影された画像に対する画像処理により、顧客が商品を出し入れするための動作をしたと検出された場合に、この動作を検出した前後のカート内に存在するオブジェクトの変化をもとに、商品が入れられた、あるいは取り出されたことを検出する。なお、プロセッサ50Aは、画像をもとに商品の出し入れの動作を検出するだけでなく、この動作を検出したタイミングでの重量センサ601により検出される重量の変化と組み合わせて、商品の出し入れを判別することもできる。
【0050】
図10には、カメラ50Eにより撮影された画像の一例を示している。
図10に示す例では、例えば3個の商品A,B,Eがカート60に入れられた状態を表している。
【0051】
プロセッサ50Aは、カメラ50Eにより撮影された画像中からカート60の上部フレーム60Bの位置及びカゴ底部60Cの領域を検出する。クリップ端末50がカート60に固定されているため、基本的に買い回り中においては、画像中の上部フレーム60B及びカゴ底部60Cの領域は変動しない。プロセッサ50Aは、上部フレーム60Bの位置を基準にして、例えばカートの外部に相当する領域(カート外)から、カートの内部(カート内)に移動するオブジェクトが検出した場合、顧客が商品を出し入れするための動作をしたものと判別する。
【0052】
また、プロセッサ50Aは、カメラ50Eにより撮影された画像から商品等に相当するオブジェクトを既存の画像処理により検出し、それぞれのオブジェクトの位置をオブジェクト管理データとして記憶しておく。
【0053】
図11には、
図10に示す画像から検出された商品に相当するオブジェクトOJ-A,OJ-B,OJ-Eの一例を示している。プロセッサ50Aは、顧客により商品の出し入れされた前後のカート内に存在するオブジェクトの変化をもとに、商品が入れられた、あるいは取り出されたことを検出する。
【0054】
プロセッサ50Aは、商品に相当するオブジェクトが画像から検出されると(Act48、Yes)、商品チェックリストを参照して、チェック結果「NG」の登録商品が記憶されているかを判別する。すなわち、電子機器30により商品登録済みであるが、対応する商品がカート60に入れられたことが確認されていない商品があるかを判別する。ここで、チェック結果「NG」の登録商品が記憶されている場合(Act49、Yes)、プロセッサ50Aは、チェック結果「NG」の登録商品に対応する商品辞書データを用いて、画像から検出されたオブジェクトについて認識処理を実行する(Act52)。商品辞書データは、例えば商品に付されたバーコード、パッケージのデザインや文字などの特徴をもとに、商品を認識することができるように作成されている。
【0055】
ここで、商品辞書データを用いた認識処理の処理結果をもとに、画像から検出されたオブジェクトが商品辞書データに対応する登録商品であるか判別する。例えば、オブジェクトが表す画像の特徴と商品辞書データが示す特徴とが、予め設定された基準値を越える類似性を示す場合に、商品辞書データに対応する登録商品であると判別する。
【0056】
ここで、登録商品であると判別された場合(Act53、Yes)、プロセッサ50Aは、認識処理に用いた商品辞書データに対応する、先に商品チェックリストに記憶されている登録商品と対応づけて、画像から検出されたオブジェクトを検出オブジェクトとして記憶させる(Act54)。なお、検出オブジェクトに関係するデータとして認識処理における類似性(類似度)を示すデータなどを記憶させても良い。これにより、商品辞書データに対応する登録商品であると判別されたが、類似度が低いために、決済処理の前にアテンダントに商品の確認を促すことができるようにしておく。
【0057】
また、プロセッサ50Aは、登録商品と検出オブジェクトの組に対応するチェック結果「OK」をセットして(Act55)、登録商品がカート60に入れられたことが確認済みであることを記憶する。この場合、プロセッサ50Aは、電子機器30に対して商品入れ確認を送信する(Act56)。
【0058】
電子機器30は、クリップ端末50から商品入れ確認が受信されると(Act20、Yes)、商品入れ要求メッセージを表示している場合には、このメッセージをタッチパネル30Dから消去する(Act28)。これにより、登録商品がカート60に入れられたことが、クリップ端末50により確認されたことを、顧客に対して通知することができる。
【0059】
なお、商品チェックリストにおいて、チェック結果「NG」の登録商品が複数個ある場合、プロセッサ50Aは、それぞれの登録商品の商品辞書データを用いてオブジェクトに対して認識処理を実行する。また、認識処理により登録商品であると判別されなかったオブジェクトについては(Act53、No)、プロセッサ50Aは、商品が未登録の検出オブジェクトとして、チェック結果「NG」として商品チェックリストに記憶させる(Act50)。また、画像からオブジェクトが検出された際に(Act48、Yes)、チェック結果「NG」の登録商品が記憶されていない場合(Act49、No)、プロセッサ50Aは、同様にして、商品が未登録の検出オブジェクトとして、チェック結果「NG」として商品チェックリストに記憶させる(Act50)。
【0060】
図8に示すデータD3は、商品Cについて電子機器30において登録済みであるが、チェック結果「NG」がセットされており、カート60に商品が入れられたことが確認されていないことを表している。また、データD4は、未登録の商品E,Fが先にカート60に入れられたことにより、オブジェクトE,Fとしてそれぞれ検出されていることを表している(チェック結果「NG」)。
【0061】
プロセッサ50Aは、商品が未登録の検出オブジェクト(チェック結果「NG」)を商品チェックリストに記憶させた場合(Act50)、電子機器30に対して商品登録要求を送信する(Act51)。電子機器30のプロセッサ30Aは、クリップ端末50から商品登録要求が受信される(Act21、Yes)、タッチパネル30Dにおいて、顧客に対して商品を登録することを促す商品登録要求メッセージを表示させる。例えば、
図9(B)に示すように、「登録されていない商品がカートにあります。商品を登録してください。」の商品登録要求メッセージを表示させる。なお、商品登録要求メッセージは、電子機器30において表示するだけでなく、クリップ端末50のタッチパネル50Dにおいて表示させるようにしても良い(Act22)。
【0062】
なお、タッチパネル50Dにおいて表示させた商品登録要求メッセージは、前述したように、商品登録された後、この登録された商品の商品辞書データを用いた認識処理に基づいて、カート60に商品が入れられていることが確認された場合に(Act49~51)、消去される(Act20,28)。
【0063】
一方、購入予定として登録済みの商品を返品する場合、顧客は、商品登録時と同様にして、返品対象とする商品について、電子機器30のカメラ30Eを用いて商品に付されたバーコードスキャンさせる(Act12)。プロセッサ30Aは、カメラ30Eにより撮影された画像からバーコードを検出して、バーコードから商品コードを抽出する。プロセッサ30Aは、商品コードに対応する商品の情報(商品名称、価格、商品画像など)をタッチパネル30Dに表示させて、返品対象とする商品を顧客に確認させる。ここで、顧客により商品取消の指示操作(例えばタッチパネル30Dに表示された商品取消のボタンのタッチ)がされると(Act13、No)、プロセッサ30Aは、商品スキャンにより読み取られた商品を購入予定から削除する(Act16)。また、プロセッサ30Aは、取消(返品)の対象とする商品の情報と共に登録取消の通知をクリップ端末50に対して送信する(Act17)。
【0064】
クリップ端末50は、電子機器30から登録取消の通知を受信すると(Act60、Yes)、取消対象の商品の情報をもとに商品チェックリストから該当する登録商品を判別し(Act61)、この登録商品の情報を削除する(Act62)。プロセッサ50Aは、電子機器30に対して取消完了の通知を送信する(Act63)。電子機器30は、取消完了の通知を受信した際に(Act25、Yes)、商品入れ要求メッセージを表示している場合には、商品入れ要求メッセージを消去する(Act28)。例えば、電子機器30は、前述したように、商品の登録処理がされた後、商品がカート60に入れられることなく設定時間が経過した場合に、商品入れ要求メッセージを表示させている。顧客が登録処理をした商品について商品取消の操作をすることで、電子機器30は、該当する商品についての商品入れ要求メッセージを消去する。
【0065】
なお、カート60に入れられた商品が顧客により取り出された場合、クリップ端末50のプロセッサ50Aは、カメラ50Eにより撮影された画像をもとに、顧客が商品を出し入れするための動作をしたことを判別し、既存の画像処理により取り出された商品に対応するオブジェクトを検出する。なお、商品が入れられた際にオブジェクトを検出する場合と同様にして、重量センサ601により検出される重量の変化と組み合わせて、商品が出されたことを判別することもできる。
【0066】
プロセッサ50Aは、オブジェクト(商品)がカート60の外に出されたことを検出した場合(Act64、Yes)、この検出されたオブジェクトに対応する登録商品が商品チェックリストに記憶されている(チェック結果「OK」)かを判別する。ここで、対応する登録商品が記憶されていない場合には(Act65、No)、プロセッサ50Aは、取り出された商品に対応する検出オブジェクトを商品チェックリストから削除する(Act68)。
【0067】
一方、対応する登録商品が記憶されている場合には(Act65、Yes)、プロセッサ50Aは、電子機器30に対して商品取消要求を送信する(Act66)。また、プロセッサ50Aは、取り出された商品に対応する検出オブジェクトについてチェック結果「NG」をセットする(Act67)。
【0068】
電子機器30のプロセッサ30Aは、クリップ端末50から商品取消要求が受信されると(Act23、Yes)、タッチパネル30Dにおいて、顧客に対して商品の取消操作を促す商品取消要求メッセージを表示させる(Act24)。例えば、
図9(C)に示すように、「カートから商品が取り出されました。返品する場合には返品操作をしてください。」の商品取消要求メッセージを表示させる。なお、商品取消要求メッセージは、電子機器30において表示するだけでなく、クリップ端末50のタッチパネル50Dにおいて表示させるようにしても良い。
【0069】
なお、カート60から商品が取り出された場合に、直ちに、商品チェックリストに記憶されたデータを更新しているが、予め決められた設定時間(例えば10秒)が経過した後に、商品の取消(返品)の可能性が高いものとしてデータを更新するようにしても良い。この場合、商品取消要求メッセージについては、商品の取り出しに応じて、直ちに電子機器30に表示させるようにしても良いし、設定時間が経過した後に表示させるようにしても良い。
【0070】
こうして、顧客は、カート60にクリップ端末50を装着し、電子機器30を利用して登録処理をしながら買い回りをすることで、購入予定の商品について登録忘れ、カート60への商品の入れ忘れがあっても、電子機器30に表示されるメッセージにより容易に確認することができる。
【0071】
顧客は、購入予定とする商品について登録処理が完了すると、例えば小計ボタンの操作により商品登録の終了を指示する。電子機器30のプロセッサ30Aは、顧客により商品登録の終了が指示されると(Act26、Yes)、登録された商品の確認画面(商品リスト)を表示させると共に、決済方法(クレジット、現金、口座引き落とし、電子マネーなど)を顧客に指定させる。プロセッサ30Aは、登録処理により登録された商品の情報をもとに決済情報を生成する。
【0072】
また、電子機器30のプロセッサ30Aは、クリップ端末50に対して、登録処理終了の通知を送信する(Act27)。クリップ端末50のプロセッサ50Aは、電子機器30から登録処理終了の通知が受信されると(Act69、Yes)、商品チェックリストのデータを電子機器30に送信する(Act70)。このデータには、例えば検出オブジェクトを認識した際の類似度を示すデータなども含まれる。プロセッサ50Aは、商品チェックリストのデータを送信後に、商品チェックリストのデータをクリアして処理を終了する(Act71)。
【0073】
なお、登録処理の終了が指示された場合に、商品チェックリストに記憶されたデータにチェック結果「NG」のデータが残っている場合には、改めて顧客に対して確認を促すためのメッセージを電子機器30のタッチパネル30D(クリップ端末50のタッチパネル50D)に表示させる。
【0074】
最終の確認の指示が顧客から指示されると、電子機器30のプロセッサ30Aは、決済情報と、商品チェックリストに含まれるアテンダントに確認を促すデータを含むコード(バーコードあるいは2次元コード)をタッチパネル30Dに表示させる。
【0075】
アテンダントは、電子機器40のカメラを利用して、電子機器30のタッチパネル30Dに表示されたコードをスキャンさせる。電子機器40は、コードに含まれる決済情報、及び確認が必要なデータに応じた確認画面を表示させる。例えば、電子機器40には、顧客が登録処理をした購入予定の商品の一覧(商品名、価格、小計額などを含む)と商品点数などを表示させる。これにより、アテンダントは、カート60に入れられた商品と登録商品とが一致しているかを確認することができる。さらに、電子機器40は、確認が必要なデータをもとに、例えばクリップ端末50の認識処理において類似度が低かった検出オブジェクトに対応する商品を明示して表示する。これにより、アテンダントに対して、特に確認が必要な商品を容易に認識できるようにして確認作業の負担を軽減することができる。
【0076】
なお、前述した説明では、クリップ端末50における画像処理を利用した、登録商品とカート60に入れられた商品の一致をチェックする例について説明しているが、重量センサ601により検出される商品の重量も利用して商品をチェックするようにしても良い。例えば、店舗サーバ20Aから提供される商品に関するデータには、商品の重量のデータが含まれるため、カート60に商品が入れられた時に増加した重量が、登録商品の重量と許容範囲内で一致するかに基づいてチェックすることができる。特に、重量によって価格が異なる計量商品については、重量センサ601により検出される重量のデータを利用することが正しいチェックをする上で有効である。例えば、重量の少ない商品により登録処理をした後、同じ種類の登録商品よりも重い商品をカート60に入れる不正などを確認することができる。商品チェックリストには、計量商品がある場合、さらに登録商品の重量とカート60に入れられた時の重量との差が設定値よりも大きい場合には、確認が必要なことを示すデータを記憶しておく。これにより、前述したように、アテンダントに対して、特に確認が必要であることを認識させることができる。
【0077】
さらに、前述した説明では、登録処理により登録された商品とカート60に入れられた商品の一致をチェックするとしているが、クリップ端末50を利用して、その他の商品の登録に関するチェックをすることも可能である。例えば、電子機器30における商品登録のタイミング、あるいはクリップ端末50による商品(検出オブジェクト)が検出されたタイミングにおける店舗内の位置と、対象商品が置かれた店舗内の商品棚の位置(商品位置)との差異が、予め設定された判定値より大きい場合に、確認が必要であると判定することも可能である。
【0078】
図12は、本実施形態における登録位置をもとに確認が必要であるか判定する登録位置判定処理を示すフローチャートである。クリップ端末50のプロセッサ50Aは、チェックプログラムに基づいて登録位置判定処理を実行する。なお、登録位置判定処理は、前述した個体チェック処理と平行して実行されるものとする。
【0079】
プロセッサ50Aは、電子機器30から登録処理された商品の商品情報を受信する(Act80、Yes)、あるいは検出オブジェクトが何れの登録商品に対応するか判別された場合(チェック結果「OK」)(Act81、Yes)に、現在位置を検出する(Act82)。現在位置は、例えばリーダライタ50Jにより店舗内の商品棚のそれぞれに付されたRFタグと通信することで検出することができる。
【0080】
図13には、店舗内の商品棚70-1~70-5の配置と、カート60の位置の一例を示す図である。カート60に装着されたクリップ端末50は、リーダライタ50Jによる限られた範囲内での通信により、商品棚70-5に取り付けられたRFタグ72-5と通信ができた場合に、商品棚70-5の近くにいると判別することができる。なお、カート60(クリップ端末50)の現在位置の検出は、リーダライタ50J(RFタグ)を用いる方法だけでなく、通信モジュール50Fと複数のアクセスポイント20Fとの間の電波強度の違い、店舗内を撮影する画像に対するカート60を検出する画像処理などの方法を用いることが可能である。
【0081】
プロセッサ50Aは、現在位置を検出すると、次に登録商品が販売されている商品位置(商品棚の位置)を示すデータを、例えば店舗サーバ20Aあるいは電子機器30を通じて取得する(Act83)。プロセッサ50Aは、現在位置と商品位置(商品棚の位置)との差異が、予め設定された判定値より大きいかを判定する(Act84)。例えば、
図13に示す商品棚70-1において配置されている商品74が、商品棚70-5の近い位置で登録処理あるいはカート60に入れられた場合には、通常と異なる動作を顧客がしたものとして確認が必要であると判定する(Act85、Yes)。クリップ端末50は、商品チェックリストの該当する登録商品と検出オブジェクトに対応するデータと対応づけた確認データを記憶させる(Act86)。これにより、前述したように、アテンダントに対して、特に確認が必要であることを認識させることができる。
【0082】
以上説明した少なくともひとつの実施形態によれば、クリップ端末50を利用することにより、電子機器30による登録処理により登録される商品情報と、クリップ端末50により検出されるカート60に出し入れされる商品に対応する検出オブジェクトに該当する商品との一致がチェックされる。このチェック結果に応じて、適宜、顧客に確認を促すメッセージを表示させることができるので、顧客の操作による購入予定とする商品の登録が確実にできるようにすることができる。
【0083】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【0084】
また、前述した実施の形態において記載した処理は、コンピュータに実行させることのできるプログラムとして、例えば磁気ディスク(フレキシブルディスク、ハードディスク等)、光ディスク(CD-ROM、DVD等)、半導体メモリなどの記録媒体に書き込んで各種装置に提供することができる。また、通信媒体により伝送して各種装置に提供することも可能である。コンピュータは、記録媒体に記録されたプログラムを読み込み、または通信媒体を介してプログラムを受信し、このプログラムによって動作が制御されることにより、上述した処理を実行する。
【符号の説明】
【0085】
12…店舗システム、20A…店舗サーバ、20B…クリップ端末管理サーバ、30,40…電子機器、50…クリップ端末(電子機器)、50A…プロセッサ、50B…メモリ、50C…記憶装置、50D…タッチパネル、50E…カメラ、50F…通信モジュール、50J…リーダライタ、60…カート、601…重量センサ。