(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024166987
(43)【公開日】2024-11-29
(54)【発明の名称】商品登録システム
(51)【国際特許分類】
G06Q 30/06 20230101AFI20241122BHJP
G07G 1/00 20060101ALI20241122BHJP
G07G 1/12 20060101ALI20241122BHJP
【FI】
G06Q30/06
G07G1/00 301Z
G07G1/00 311E
G07G1/00 311Z
G07G1/12 321H
【審査請求】未請求
【請求項の数】6
【出願形態】OL
(21)【出願番号】P 2023083468
(22)【出願日】2023-05-19
(71)【出願人】
【識別番号】000003562
【氏名又は名称】東芝テック株式会社
(74)【代理人】
【識別番号】110002147
【氏名又は名称】弁理士法人酒井国際特許事務所
(72)【発明者】
【氏名】佐々木 勇太
【テーマコード(参考)】
3E142
5L030
5L049
【Fターム(参考)】
3E142AA01
3E142AA02
3E142AA03
3E142BA01
3E142BA13
3E142CA12
3E142CA13
3E142CA20
3E142DA07
3E142EA02
3E142EA04
3E142FA27
3E142GA02
3E142GA03
3E142GA15
3E142GA22
3E142GA41
3E142JA01
3E142KA08
5L030BB56
5L030BB72
5L049BB56
5L049BB72
(57)【要約】
【課題】購入対象の商品の登録を効率的に行うことが可能な商品登録システムを提供する。
【解決手段】収納部に収納される購入対象の商品を撮像する撮像部と、前記撮像部が撮像する画像から商品を認識し、当該認識結果に基づいて前記収納部に収納される商品の種別を特定する特定部と、前記特定部で特定された商品の種別が単一の場合、当該商品の種別を購入対象の商品として第1登録情報に登録し、前記特定部で特定された商品の種別が複数の場合、当該商品の種別の組を候補商品として第2登録情報に登録する登録部と、を有し、前記登録部は、購入対象の商品の登録を終了するまでの間、前記第2登録情報に登録された前記候補商品の各々から一の商品の種別を選択する操作を受け付け、選択された商品の種別を前記第1登録情報に登録する。
【選択図】
図7
【特許請求の範囲】
【請求項1】
収納部に収納される購入対象の商品を撮像する撮像部と、
前記撮像部が撮像する画像から商品を認識し、当該認識結果に基づいて前記収納部に収納される商品の種別を特定する特定部と、
前記特定部で特定された商品の種別が単一の場合、当該商品の種別を購入対象の商品として第1登録情報に登録し、前記特定部で特定された商品の種別が複数の場合、当該商品の種別の組を候補商品として第2登録情報に登録する登録部と、
を有し、
前記登録部は、購入対象の商品の登録を終了するまでの間、前記第2登録情報に登録された前記候補商品の各々から一の商品の種別を選択する操作を受け付け、選択された商品の種別を前記第1登録情報に登録する、商品登録システム。
【請求項2】
前記第2登録情報に登録された前記候補商品毎に、当該候補商品から一の商品の種別を選択可能な画面を表示装置に表示させる表示制御部を更に有し、
前記登録部は、前記画面に基づき選択された商品の種別を前記第1登録情報に登録する、
請求項1に記載の商品登録システム。
【請求項3】
購入対象の商品の登録を終了する指示を受け付ける受付部を備え、
前記表示制御部は、前記受付部が指示を受け付けたタイミングで前記第2登録情報に前記候補商品が登録されている場合、前記画面を表示させる、
請求項2に記載の商品登録システム。
【請求項4】
前記表示制御部は、前記第2登録情報に前記候補商品が登録されたタイミングで、当該候補商品から一の商品の種別を選択可能な操作子を含む前記画面を表示させる、
請求項2又は3に記載の商品登録システム。
【請求項5】
前記撮像部を複数備え、
前記特定部は、前記撮像部の各々が撮像する画像から商品の品種を特定する、
請求項1に記載の商品登録システム。
【請求項6】
前記特定部は、前記撮像部が撮像する画像に対し異なる種別の認識処理を施すことで、認識処理の種別毎に商品の特定結果を出力する、
請求項1に記載の商品登録システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明の実施形態は、商品登録システムに関する。
【背景技術】
【0002】
従来、店舗で用いられるショッピングカートやカゴ(以下、収納部ともいう)に撮像装置を設け、当該撮像装置で撮像される画像から収納部に収納される商品の認識を行う技術が存在している。かかる技術では、顧客は収納部に商品を収納する動作を行うことで、当該商品を購入対象として登録することができる。
【0003】
ところで、上述した技術では、認識しようとする商品が同じであっても、撮像装置や認識方法等の条件によって認識結果が異なる可能性がある。例えば、撮像装置を複数用いる場合、商品を撮像する角度等の条件が異なるため、撮像装置毎に認識結果が異なることがある。この場合、認識された商品を特定することができないため、次の商品の売上登録を続けて行うことができず、収納部に収納した商品をその都度顧客に確認するがあった。
【発明の概要】
【発明が解決しようとする課題】
【0004】
本発明が解決しようとする課題は、購入対象の商品の登録を効率的に行うことが可能な商品登録システムを提供することである。
【課題を解決するための手段】
【0005】
実施形態の商品登録システムは、撮像部と、特定部と、登録部とを有する。撮像部は、収納部に収納される商品を撮像する。特定部は、前記撮像部が撮像する画像から商品を認識し、当該認識結果に基づいて前記収納部に収納される商品の種別を特定する。登録部は、前記特定部で特定された商品の種別が単一の場合、当該商品の種別を購入対象の商品として第1登録情報に登録し、前記特定部で特定された商品の種別が複数の場合、当該商品の種別の組を候補商品として第2登録情報に登録する。また、登録部は、購入対象の商品の登録を終了するまでの間、前記第2登録情報に登録された前記候補商品の各々から一の商品の種別を選択する操作を受け付け、選択された商品の種別を前記第1登録情報に登録する。
【図面の簡単な説明】
【0006】
【
図1】
図1は、実施形態に係るシステムの概観構成の一例を示す図である。
【
図2】
図2は、実施形態に係るショッピングカートの概観構成の一例を示す側面図である。
【
図3】
図3は、実施形態に係るタブレット端末のハードウェア構成の一例を示す図である。
【
図4】
図4は、実施形態に係る商品マスタのデータ構成の一例を示す図である。
【
図5】
図5は、実施形態に係る売上登録テーブルのデータ構成の一例を示す図である。
【
図6】
図6は、実施形態に係る候補商品テーブルのデータ構成の一例を示す図である。
【
図7】
図7は、実施形態に係るタブレット端末の機能構成の一例を示す図である。
【
図8】
図8は、実施形態のタブレット端末に表示される画面の一例を示す図である。
【
図9】
図9は、実施形態のタブレット端末に表示される画面の一例を示す図である。
【
図10】
図10は、実施形態のタブレット端末に表示される画面の一例を示す図である。
【
図11】
図11は、実施形態のタブレット端末に表示される画面の一例を示す図である。
【
図12】
図12は、実施形態のタブレット端末が行う商品登録処理の一例を示すフローチャートである。
【
図13】
図13は、実施形態のタブレット端末が行う候補商品選択処理の一例を示すフローチャートである。
【発明を実施するための形態】
【0007】
以下に添付図面を参照して、本実施形態に係る商品登録システムを詳細に説明する。実施形態では、店舗で使用される商品運搬用のカート(以下、ショッピングカートともいう)に取り付けられる端末装置(以下、タブレット端末ともいう)を商品登録装置の一例として説明する。なお、この適用例によって発明は限定されるものではない。
【0008】
図1は、実施形態に係るシステム1の概観構成の一例を示す図である。システム1は、商品登録システムの一例であり、
図1に示すように、タブレット端末2と、サーバ4と、会計機8とを有する。サーバ4と会計機8とは、ネットワークNaを介して通信可能に接続される。
【0009】
ネットワークNaは、インターネット、VPN(virtual private network)、LAN(local area network)、公衆通信網、移動体通信網などを、単独又は適宜に組み合わせて用いることができる。ネットワークNaとしては、一例として、インターネット及び移動体通信網が組み合わせて用いられる。
【0010】
また、ネットワークNaには、無線アクセスポイント7が接続される。無線アクセスポイント7は、無線LAN等のネットワークNbを介してタブレット端末2と接続される。そのため、タブレット端末2は、サーバ4や会計機8と通信可能である。
【0011】
ショッピングカート3は、店内に陳列されている商品を収納する収納部31(
図2を参照)を備える。収納部31は、上部が開放されており、上部から商品が収納部31に収納される。顧客は、店舗でショッピングカート3を借り受け、ショッピングカート3とともに店舗内を回遊しながら、陳列されている商品の中から購入する商品を収納部31に収納する。
【0012】
タブレット端末2は、ショッピングカート3に装着可能に設けられる。タブレット端末2は、後述する撮像部34で撮像される画像から、収納部31に収納される商品を認識し、当該商品に係る売上登録処理を実行する。ここで、売上登録処理とは、タブレット端末2が特定した商品を購入対象とする処理を意味する。具体的には、売上登録処理は、認識した商品に関する情報(以下、売上登録データともいう)を後述する売上登録テーブル242に登録する処理をいう。例えば、売上登録処理では、商品の品目等を識別可能な商品コードや当該商品の購入点数等を含む売上登録データを、売上登録テーブル242に登録する。
【0013】
また、タブレット端末2は、顧客が、会計機8で会計を行うための操作を受け付けると、一取引分の売上登録データを会計機8に引き渡すための処理を実行する。例えば、タブレット端末2は、売上登録データを二次元コード等のコードシンボルに符号化して表示する。この場合、会計機8では、タブレット端末2に表示されるコードシンボルを読み取ることで、タブレット端末2で売上登録された一取引分の売上登録データを取得し、当該売上登録データに基づいた会計処理を実行する。
【0014】
サーバ4は、タブレット端末2が使用される店舗において、商品の売買取引を行うサービスを提供するための情報処理を行う。サーバ4は、例えば店舗に設けられる店舗サーバであってもよいし、店舗外にも設けられるサーバ装置であってもよい。なお、本実施形態では、サーバ4は、単一の装置によって実現されるものとするが、ネットワーク接続された複数台の装置によって実現されるクラウドサーバ(又はクラウドシステム)であってもよい。
【0015】
サーバ4は、プロセッサや主記憶装置、補助記憶装置等を備えるコンピュータ構成の情報処理装置である。サーバ4は、例えば店舗で販売される商品の商品名や価格等が登録された商品マスタを図示しないデータベース等に記憶し、タブレット端末2や会計機8に提供する。
【0016】
会計機8は、店舗内に設けられる会計装置である。会計機8は、売上登録データに基づき商品の決済処理を実行する。決済処理とは、一取引に係る商品の合計金額や税額の表示、顧客から預かった預り金に基づいて釣銭を計算して表示する処理、商品情報や決済情報(合計金額、預り金額、釣銭額等)を印字したレシートを発行する処理等をいう。
【0017】
次に、ショッピングカート3について説明する。
図2は、ショッピングカート3の概観構成の一例を示す側面図である。ショッピングカート3は、上面が開口したカゴ状の収納部31、収納部31の下方に配置された回転するキャスタ32、収納部31やキャスタ32と連結されてショッピングカート3を移動させる際に顧客が把持するハンドル部33等を備える。
【0018】
収納部31は、側面部と底面部が網目状の格子311で略四角状に囲われた上方が開放された構成であり、収納部31に収納された商品を外部から目視することができる。なお、側面部及び底面部は、網目状の格子311ではなく壁面により構成されてもよい。
【0019】
また、ショッピングカート3は、ハンドル部33付近にタブレット端末2を着脱可能に備える。また、ショッピングカート3は、収納部31の開口部の縁付近に複数の撮像部34(341、342)を備える。撮像部34は、撮像部の一例であり、デジタルカメラ等によって実現される。なお、
図2では、2台の撮像部341、342を設けた例を示しているが、台数はこれに限らず、3台以上を設ける構成としてもよい。以下、撮像部341、342を区別しない場合、撮像部34と表記して説明する。
【0020】
撮像部34は、収納部31に収納される商品を撮像可能な、互いに異なる位置に設けられる。例えば、撮像部34は、撮像範囲の少なくとも一部が、収納部31内を含むように撮像方向が設定されている。撮像部34は、収納部31に収納される商品を撮像し、撮像した画像をタブレット端末2に出力する。ここで、画像は、フレーム単位の静止画又は動画を意味する。
【0021】
ここからは、タブレット端末2のハードウェア構成について説明する。
図3は、タブレット端末2のハードウェア構成の一例を示す図である。
【0022】
図3に示すように、タブレット端末2は、CPU(Central Processing Unit)21、ROM(Read Only Memory)22、RAM(Random Access Memory)23、記憶部24、表示部25、操作部26、通信部27、及び接続部28等を備える。
【0023】
CPU21は、プロセッサの一例であり、タブレット端末2の動作を統括的に制御する。ROM22は、各種プログラムを記憶する。RAM23は、プログラムや各種データを展開するワークスペースである。
【0024】
CPU21、ROM22、及びRAM23は、バス等を介して接続され、コンピュータ構成の制御部200を構成する。制御部200では、CPU21がROM22又は記憶部24に記憶されRAM23に展開されたプログラムに従って動作することによって、各種の処理を実行する。
【0025】
記憶部24は、HDDやフラッシュメモリ等の記憶媒体を有し、電源を遮断しても記憶内容を維持する。記憶部24は、CPU21が実行することが可能なプログラムや各種の設定情報を記憶する。また、記憶部24は、商品マスタ241、売上登録テーブル242、及び候補商品テーブル243等を記憶する。
【0026】
商品マスタ241は、店舗で販売する商品を管理するためのデータテーブルである。売上登録テーブル242は、第1登録情報の一例である。売上登録テーブル242は、自己のタブレット端末2を用いて売上登録された商品を管理するためのデータテーブルである。候補商品テーブル243は、第2登録情報の一例である。候補商品テーブル243は、売上登録の候補となる商品を管理するためのデータテーブルである。
【0027】
表示部25は、LCD(Liquid Crystal Display)等の表示デバイスである。表示部25は、CPU21の制御の下、各種の情報を表示する。操作部26は、キーボードやポインティングデバイス等の入力デバイスである。操作部26は、入力デバイスを介して入力される操作内容をCPU21に出力する。なお、操作部26は、表示部25に設けられるタッチパネルであってもよい。
【0028】
通信部27は、ネットワークNbに接続可能な有線又は無線の通信インタフェースである。通信部27は、ネットワークNbを介して無線アクセスポイント7と通信可能に接続する。制御部200は、通信部27を介して、サーバ4や会計機8と通信を行う。
【0029】
接続部28は、周辺デバイスを接続するためのインタフェースである。接続部28は、例えばUSB(Universal Serial Bus)や、Bluetooth(登録商標)等の規格に準拠した有線又は無線のインタフェースである。本実施形態では、接続部28は、撮像部34と接続される。
【0030】
図4は、商品マスタ241のデータ構成の一例を示す図である。
図4に示すように、商品マスタ241は、商品コードと、商品情報とを関連付けて記憶する。商品コードは、店舗で販売される商品の種別を識別可能な識別情報の一例である。商品コードは、例えばJANコード等を用いることができる。商品情報は、商品コードに対応する商品に関する情報である。商品情報には、例えば、商品名、価格、商品画像等が登録される。ここで、商品名は、商品の名称、品名を示す情報である。価格は、商品の単価を示す情報である。商品画像は、商品の外観等を表した画像情報である。
【0031】
なお、商品マスタ241のデータ構成は
図4に限らないものとする。例えば、商品コードに関連付けて、当該商品コードに対応する商品の外観上の特徴を示す特徴情報を登録する構成としてもよい。かかる特徴情報は、画像から商品を認識する際の照合用情報とすることができる。なお、特徴情報は、上述した商品画像であってもよいし、商品の外観上の特徴を定量的に示した情報(例えば特徴量)であってもよい。
【0032】
また、本実施形態では、タブレット端末2が商品マスタ241を保持する構成とするが、これに限らず、サーバ4が商品マスタ241を保持する構成としてもよい。この場合、タブレット端末2の各々は、サーバ4が保持する商品マスタ241を参照することで、ローカルに保持する形態と同様に商品マスタ241を取り扱うことができる。
【0033】
図5は、売上登録テーブル242のデータ構成の一例を示す図である。
図5に示すように、売上登録テーブル242は、登録番号と、商品コードとを関連付けて記憶する。登録番号は、売上登録が行われた順序を示す情報である。商品コードは、売上登録された商品の商品コードであり、商品マスタ241の商品コードに対応する。
【0034】
具体的には、撮像部34の画像から商品の単一の種別(商品コード)が特定されると、当該商品の商品コードが、新たに発行される登録番号と関連付けて売上登録テーブル242に登録される。また、後述するように、撮像部34の画像から特定された商品の種別が複数の場合、当該商品の商品コードは売上登録テーブル242に登録されずに、候補商品テーブル243に登録されることになる。但し、本実施形態では、商品の売上登録順序を保持するため、撮像部34の画像から特定された商品の種別が複数の場合であっても、登録番号が新たに発行され売上登録テーブル242に登録されるものとする。
【0035】
なお、売上登録テーブル242のデータ構成は
図5に限らないものとする。例えば、商品コードに関連付けて、当該商品コードに対応する商品情報を登録する構成としてもよい。また、商品コードに関連付けて、売上登録が行われた日時を示す日時情報を登録する構成としてもよい。
【0036】
図6は、候補商品テーブル243のデータ構成の一例を示す図である。
図6に示すように、候補商品テーブル243は、管理IDと、登録番号と、候補商品(候補商品1、2)とを関連付けて記憶する。管理IDは、候補商品テーブル243に登録されるデータを管理するための識別情報である。登録番号は、当該管理IDで管理される商品の売上登録に係る登録番号であり、売上登録テーブル242の登録番号に対応する。候補商品には、売上登録の候補となる商品の商品コードが登録される。
【0037】
なお、本実施形態では、撮像部341、342の各々の画像から特定される商品の商品コードを格納できるよう、候補商品の格納領域を二つ(候補商品1、2)備える構成としたが、格納領域の個数はこれに限らないものとする。
【0038】
また、本実施形態では、タブレット端末2が売上登録テーブル242及び候補商品テーブル243を保持する構成とするが、これに限らず、サーバ4が売上登録テーブル242及び候補商品テーブル243を保持する構成としてもよい。この場合、サーバ4は、例えばタブレット端末2の各々で行われる取引の各々を識別可能な取引IDを発行し、当該取引IDに関連付けて売上登録テーブル242及び候補商品テーブル243を保持することで、取引毎に売上登録テーブル242及び候補商品テーブル243を管理することができる。
【0039】
具体的には、サーバ4は、発行した取引IDをタブレット端末2に通知することで、当該取引IDの取引が行われる間、タブレット端末2に取引IDを保持させる。そして、タブレット端末2では、売上登録の対象となる商品の商品コードを、取引IDとともにサーバ4に送信し、当該取引IDに対応する売上登録テーブル242への登録をサーバ4に指示する。これにより、タブレット端末2の各々で売上登録された商品を、サーバ4で一元管理することができる。また、タブレット端末2では、売上登録の候補となる候補商品の商品コードを、取引IDとともにサーバ4に送信し、当該取引IDに対応する候補商品テーブル243への登録をサーバ4に指示する。これにより、タブレット端末2の各々で売上登録の候補となる商品を、サーバ4で一元管理することができる。なお、タブレット端末2では、自端末に係る取引の売上登録テーブル242及び候補商品テーブル243を参照することが可能であるものとする。
【0040】
次に、タブレット端末2の機能構成について説明する。
図7は、タブレット端末2の機能構成の一例を示す図である。
【0041】
図7に示すように、タブレット端末2は、画像取得部201と、商品認識部202と、登録処理部203と、決済処理部204とを機能構成として備える。
【0042】
タブレット端末2が備える機能構成は、タブレット端末2のプロセッサがROMや記憶部に記憶されたプログラムにしたがって動作することで実現されるソフトウェア構成とするが、これに限定されるものではない、例えば、タブレット端末2が備える機能構成の一部又は全ては、専用回路等のハードウェアで実現される形態としてもよい。
【0043】
画像取得部201は、撮像部34が撮像する画像を、接続部28を介して取得する。商品認識部202は、特定部の一例である。商品認識部202は、画像取得部201が取得した画像に基づき、撮像部34で撮像された商品を特定する。具体的には、商品認識部202は、公知の物体認識技術等を用いることで、撮像部34が撮像した画像から商品を認識し、認識した商品の外観上の特徴等に基づいて当該商品の種別、つまり商品コードを特定する。
【0044】
具体的には、商品認識部202は、撮像部341、342の各々撮像される画像を処理対象とすることで、同様のタイミングで撮像される撮像部341、342の画像から収納部31に収納される商品の認識を行う。なお、商品認識部202は、商品に付されたコードシンボルをデコードすることで、当該コードシンボルに保持された商品コードを特定する構成としてもよい。
【0045】
なお、商品認識部202による商品の認識精度は100%ではなく、商品の撮像条件等によって認識結果(以下、特定結果ともいう)が異なることがある。例えば、認識しようとする商品が同じであっても、撮像部341と撮像部342とでは商品を撮像する角度等の条件が異なるため、撮像部341由来の画像と、撮像部342由来の画像とで商品の特定結果が異なる可能性がある。このような場合、商品認識部202は、撮像部341及び撮像部342の画像から、互いに異なる二つの商品コードを特定することになる。
【0046】
登録処理部203は、登録部、表示制御部及び受付部の一例である。登録処理部203は、商品認識部202で特定された商品の売上登録処理を実行する。具体的には、登録処理部203は、商品認識部202で特定された商品の商品コードを登録番号と関連付けて売上登録テーブル242に登録する。また、登録処理部203は、登録した商品コードに対応する商品の商品名や価格を商品マスタ241から読み出すと、表示部25に表示することで、売上登録した商品を登録番号の順にリスト表示する。
【0047】
ところで、上述したように、商品認識部202の処理結果によっては、撮像部341由来の画像と撮像部342由来の画像とから、互いに異なる二つの商品コードが特定される場合がある。この場合、登録処理部203は、商品認識部202で特定された互いに異なる商品コードを候補商品として候補商品テーブル243に登録する。より具体的には、登録処理部203は、売上登録テーブル242に登録番号を登録することで、売上登録の順序を記録した後、当該登録番号と、商品認識部202で特定された互いに異なる商品コード(候補商品)とを関連付けて候補商品テーブル243に登録する。
【0048】
また、登録処理部203は、候補商品テーブル243に候補商品を登録すると、候補商品が存在することを報知する情報を表示部25に表示させる。ここで、報知の方法は特に問わず、例えば、
図8に示すように操作子の形態で報知を行ってもよい。
【0049】
図8は、タブレット端末2に表示される画面(以下、商品登録画面ともいう)の一例を示す図である。
図8に示すように、商品登録画面Aは、商品表示領域Aaと、合計表示領域Abと、操作領域Acとを有する。
【0050】
商品表示領域Aaには、売上登録された各商品の商品名、点数及び価格等、登録された商品の内訳が登録順に表示される。具体的には、登録処理部203は、商品マスタ241及び売上登録テーブル242に格納された情報に基づき、登録された各商品の商品名、点数、価格等を、登録番号の順に商品表示領域Aaに表示させる。また、登録処理部203は、候補商品テーブル243に格納された登録番号に基づき、当該登録番号に対応する商品表示領域Aaの表示エリアに、商品の選択を促すメッセージを付加した操作子Aaaを表示させる。
【0051】
ここで、操作子Aaaは、候補商品が存在することを報知する情報の一例である。また、操作子Aaaには、対応する登録番号(又は管理ID)が関連付けられており、操作子Aaaの操作を受け付けると、登録処理部203は、操作子Aaaの登録番号(又は管理ID)に基づいて、例えば、
図9に示す画面を表示部25に表示させる。
【0052】
図9は、タブレット端末2に表示される画面(以下、商品選択画面ともいう)の一例を示す図である。
図9に示すように、商品選択画面Bは、候補商品を表示するための第1表示領域Baと、第2表示領域Bbとを有する。
【0053】
具体的には、登録処理部203は、操作子Aaaの操作を受け付けると、その操作子Aaaに関連付けられた登録番号(又は管理ID)に基づき、候補商品として登録された商品コードを候補商品テーブル243から読み出す。そして、登録処理部203は、商品マスタ241に格納された情報に基づき、候補商品として読み出した商品コードの各々に対応する商品名及び商品画像等を、第1表示領域Ba、第2表示領域Bbにそれぞれ表示させる。
図9では、第1表示領域Baに「商品EF」を、第2表示領域Bbに「商品GH」を表示した例を示している。
【0054】
ここで、第1表示領域Ba及び第2表示領域Bbは、操作子としても機能し、顧客により何れか一方の商品、つまり購入する商品が選択されると、登録処理部203は、選択された表示領域に対応する候補商品の商品コードを売上登録テーブル242に登録する。より具体的には、登録処理部203は、該当する登録番号に関連付けて、選択された表示領域に対応する候補商品の商品コードを売上登録テーブル242に登録する。また、登録処理部203は、売上登録テーブル242に登録した登録番号に係るデータエントリを候補商品テーブル243から削除する。そして、登録処理部203は、商品選択画面Bを消去し、商品登録画面Aに表示を戻す。
【0055】
例えば、
図9の商品選択画面Bで「商品EF」が選択された場合、登録処理部203は、
図10の商品登録画面Aに示すように、操作子Aaaに代えて売上登録された商品の商品名(商品EF)、点数及び価格等を商品表示領域Aaに表示させる。ここで、
図10は、タブレット端末2の表示部25に表示される画面の一例を示す図である。
【0056】
なお、
図8及び
図10の何れの状態であっても、新たな商品の売上登録を行うことは可能であるとする。つまり、本実施形態のタブレット端末2では、候補商品テーブル243に候補商品が登録された状態であっても、新たな商品を売上登録テーブル242に登録することが可能となっている。
【0057】
このように、タブレット端末2では、同一の商品を撮像した画像から得られた商品認識部202の特定結果が相違するような場合であっても、新たな商品の売上登録操作を止めることなく、売上登録操作を継続して行うことができる。また、タブレット端末2では、候補商品として候補商品テーブル243に登録された商品の選択操作を、任意のタイミングで行うことができるため、利便性の向上を図ることができる。
【0058】
商品登録画面Aの説明を続ける。合計表示領域Abには、登録された商品の点数や購入金額(合計金額)が表示される。具体的には、登録処理部203は、売上登録された商品の価格及び点数に基づいて合計点数、合計金額を算出し、合計表示領域Abに表示させる。なお、候補商品の点数及び価格は算出対象から除外されるものとする。
【0059】
操作領域Acには、各種の操作ボタンが表示される。例えば、操作領域Acには、会計ボタンAcaが表示される。会計ボタンAcaは、商品の売上登録を終了し、売上登録テーブル242に登録された商品の会計を指示するための操作子である。
【0060】
登録処理部203は、会計ボタンAcaの操作を受け付けると、候補商品テーブル243が空の状態であることを条件に、商品の登録に係る処理を終了することで、売上登録テーブル242に登録された商品を一取引分の商品として確定する。ここで、候補商品テーブル243が空でない場合、つまり候補商品が登録されている場合、登録処理部203は、未確定の商品が存在することを報知し、候補商品から売上登録の対象商品を選択させるための画面を表示させる。例えば、登録処理部203は、候補商品テーブル243に登録された管理ID(登録番号)の順に、
図9に示した商品選択画面Bを順次表示させることで、購入する商品の選択を顧客に促す。そして、登録処理部203は、候補商品テーブル243が空の状態となると、商品の登録に係る処理を終了することで、売上登録テーブル242に登録された商品を一取引分の商品として確定する。会計ボタンAcaの操作後、顧客はショッピングカート3を会計機8に移動させることで、売上登録テーブル242に登録された一取引分の商品の会計を行うことができる。
【0061】
このように、登録処理部203は、候補商品テーブル243が空の状態となるまで、会計を抑制し、売上登録処理を継続する。これにより、顧客は、候補商品テーブル243に登録された候補商品の各々について、会計が行われるまでの間の任意のタイミングで選択操作を行うことができる。例えば、顧客は、会計直前のタイミングで複数の候補商品をまとめて処理したり、売上登録の操作途中で任意の候補商品を処理したりすることができる。したがって、本実施形態のシステム1では、商品の売上登録を行う際の自由度を向上させることができる。
【0062】
なお、上述の例では商品登録画面Aの操作子Aaaが操作された後、商品選択画面Bを用いて候補商品から売上登録の対象商品を選択する構成としたが、これに限らないものとする。例えば、
図11に示すように、商品選択画面Bの第1表示領域Ba、第2表示領域Bbに対応する操作子を商品登録画面Aに表示させることで、商品登録画面A内で候補商品の選択操作を行う構成としてもよい。
【0063】
図11は、タブレット端末2に表示される画面の一例を示す図であり、商品登録画面Aの他の表示形態を示すものである。
【0064】
図11に示す商品登録画面Aは、
図8の商品登録画面Aに対応するものであり、操作子Aaaで表していた候補商品の存在を、商品名等を表した操作子Aab、Aacに代えて表した例を示している。ここで、操作子Aab、Aacは、商品選択画面Bの第1表示領域Ba、第2表示領域Bbに対応する操作子であり、候補商品の商品コードに対応する商品名等が表される。
【0065】
図11に示す商品登録画面Aでは、操作子Aab、Aacの何れか一つを操作することで、購入する商品が選択することができる。具体的には、登録処理部203は、操作子Aab、Aacの何れか一つが選択されると、商品選択画面Bと同様の動作で、選択された操作子に対応する候補商品の商品コードを売上登録テーブル242に登録する。
【0066】
これにより、顧客は、商品登録画面Aを見ることで、売上登録された商品の確認や、候補商品とされた商品を確認できるとともに、表示された候補商品の中から売上登録の対象商品を選択することができる。したがって、タブレット端末2は、候補商品の選択操作に係る利便性の向上を図ることができる。
【0067】
図7に戻り、決済処理部204は、顧客の操作に応じて、売上登録された商品の決済に係る処理を実行する。例えば、決済処理部204は、上述した会計ボタンAcaの操作により一取引分の商品が確定されると、売上登録テーブル242に登録された商品の会計を行う。
【0068】
具体的には、決済処理部204は、売上登録された商品を特定可能なデータを会計機8に入力することで、会計機8で決済可能な状態を実現する。例えば、決済処理部204は、売上登録テーブル242に登録された売上登録データを二次元コード等のコードシンボルにコード化して表示部25に表示させる。この場合、会計機8は、タブレット端末2の表示部25に表示されたコードシンボルを読み取ることで、売上登録データを取得し、取得した売上登録データに基づいて、売上登録された一取引分の商品の会計処理を実行する。
【0069】
また、例えば、決済処理部204は、Bluetooth(登録商標)等の近距離無線通信により、売上登録テーブル242に登録された売上登録データを会計機8に送信してもよい。この場合、会計機8は、タブレット端末2から送信された売上登録データを取得し、取得した売上登録データに基づいて、売上登録された一取引分の商品の会計処理を実行する。
【0070】
また、例えば、売上登録テーブル242がサーバ4に保持される構成の場合、決済処理部204は、当該取引の取引IDをバーコードや二次元コード等のコードシンボルにコード化して表示部25に表示させる。この場合、会計機8は、タブレット端末2の表示部25に表示されたコードシンボルを読み取ることで取引IDを取得する。そして、会計機8は、取得した取引IDに係る売上登録データをサーバ4から取得し、取得した売上登録データに基づいて、売上登録された一取引分の商品の会計処理を実行する。
【0071】
なお、商品の決済は会計機8を用いた方法に限らず、タブレット端末2で行う形態としてもよい。例えば、決済処理部204は、操作部26を介して決済開始を指示する操作を受け付けると、電子マネー決済やクレジット決済等の決済方法を選択可能な画面を表示部25に表示させる。決済方法が選択されると、決済処理部204は、選択された決済方法で決済を行うための決済情報の入力を受け付け、外部の決済サーバと協働することで、入力された決済情報に基づき売上登録された商品の合計金額を決済する決済処理を実行する。かかる決済情報は、例えば、クレジットカード番号であってもよいし、コード決済用の二次元コードであってもよい。なお、コード決済用の二次元コードの場合、撮像部34を介して入力を受け付けてもよい。
【0072】
以下、
図12を参照して、タブレット端末2の動作例について説明する。
図12は、タブレット端末2が行う商品登録処理の一例を示すフローチャートである。
【0073】
まず、タブレット端末2の制御部200は、操作部26を介した操作に応じて、本処理を開始すると、売上登録テーブル242及び候補商品テーブル243を初期化する(ステップS11)。
【0074】
なお、売上登録テーブル242や候補商品テーブル243をサーバ4が保持する構成とする場合には、制御部200は、サーバ4に取引IDの発行を申請することで、当該取引の取引IDに係る売上登録テーブル242、候補商品テーブル243をサーバ4に保持させる。また、制御部200は、発行された取引IDをサーバ4から取得してRAM23等に保持すればよい。
【0075】
続いて、画像取得部201は、撮像部34(341、342)から画像を取得する(ステップS12)。次いで、商品認識部202は、ステップS12で取得された画像から商品を認識する処理を実行する(ステップS13)。次いで、登録処理部203は、ステップS13の処理の結果、撮像部34で撮像された画像から商品が特定されたか否かを判定する(ステップS14)。ここで、商品が特定されない場合は(ステップS14;No)、ステップS20に移行する。
【0076】
また、ステップS14で商品が特定されたと判定した場合(ステップS14;Yes)、登録処理部203は、撮像部341、342の両方の画像から商品が特定されたか否かを判定する(ステップS15)。撮像部341、342の何れか一方の画像から商品が特定された場合(ステップS15;No)、つまり特定された商品の種別が単一の場合、登録処理部203は、特定された商品の商品コードを売上登録テーブル242に登録し(ステップS17)、ステップS20に移行する。
【0077】
また、ステップS15において、撮像部341及び撮像部342の両方の画像から商品が特定された場合(ステップS15;Yes)、登録処理部203は、特定された商品が一致するか否かを判定する(ステップS16)。ここで、特定された商品が一致する場合(ステップS16;Yes)、つまり特定された商品の種別が単一の場合、登録処理部203は、その商品の商品コードを売上登録テーブル242に登録し(ステップS17)、ステップS20に移行する。
【0078】
また、ステップS16において、特定された商品が不一致と判定した場合(ステップS16;No)、つまり特定された商品の種別が複数の場合、登録処理部203は、それら商品の商品コードを候補商品として候補商品テーブル243に登録する(ステップS18)。次いで、登録処理部203は、上述した商品登録画面Aに操作子Aaa等を表示させることで、候補商品が存在することを報知し(ステップS19)、ステップS20に移行する。
【0079】
続いて、登録処理部203は、候補商品から売上登録の対象商品を選択する選択操作を受け付けたか否かを判定する(ステップS20)。例えば、登録処理部203は、商品登録画面Aの操作子Aaaに対する操作を受け付けたか否かを判定する。
【0080】
ここで、選択操作が行われない場合は(ステップS20;No)、ステップS22に移行する。また、選択操作を受け付けたと判定した場合(ステップS20;Yes)、登録処理部203は、候補商品選択処理を実行し(ステップS21)、ステップS22に移行する。なお、候補商品選択処理については後述する。
【0081】
続いて、登録処理部203は、売上登録を終了する操作が行われたか否か判定する(ステップS22)。例えば、登録処理部203は、商品登録画面Aの会計ボタンAcaに対する操作を受け付けたか否かを判定する。
【0082】
ここで、終了操作が行われない場合(ステップS22;No)、登録処理部203は、ステップS12に戻すことで、売上登録を継続する。また、終了操作を受け付けたと判定した場合(ステップS22;Yes)、登録処理部203は、候補商品テーブル243が空か否かを判定する(ステップS23)。ここで、候補商品テーブル243に候補商品が登録されている場合(ステップS23;No)、登録処理部203は、候補商品選択処理を実行し(ステップS24)、ステップS23に処理を戻す。
【0083】
一方、ステップS23で候補商品テーブル243が空と判定した場合(ステップS23;Yes)、登録処理部203は、売上登録テーブル242に登録された商品を一取引分の商品として確定し、本処理を終了する。
【0084】
次に、
図13を参照して、タブレット端末2が行う候補商品選択処理について説明する。
図13は、タブレット端末2が行う候補商品選択処理の一例を示すフローチャートである。なお、本処理では、商品選択画面Bを用いて売上登録の対象商品を選択する形態について説明する。
【0085】
まず、登録処理部203は、候補商品テーブル243に登録された候補商品に基づき、商品選択画面Bを表示部25に表示させる(ステップS31)。
【0086】
例えば、登録処理部203は、操作子Aaaの操作により登録番号が指定された場合には、指定された登録番号に係る候補商品の商品選択画面Bを表示部25に表示させる。また、会計ボタンAcaが操作される等、登録番号が未指定の状態である場合には、登録処理部203は、例えば管理ID(登録番号)の昇順で表示の対象となる候補商品を設定し、当該候補商品の商品選択画面Bを表示部25に表示させる。
【0087】
続いて、登録処理部203は、候補商品の中から売上登録の対象商品が選択されるまで待機する(ステップS32;No)。売上登録の対象商品が選択されると(ステップS32;Yes)、登録処理部203は、選択された商品のコードシンボルを売上登録テーブル242に登録する(ステップS33)。次いで、登録処理部203は、ステップS33で登録した商品にかかるデータエントリを候補商品テーブル243から削除し(ステップS34)、
図12の商品登録処理に戻る。
【0088】
以上のように、本実施形態のシステム1は、収納部に収納される購入対象の商品を撮像する撮像部34と、撮像部34が撮像する画像から商品を認識し、当該認識結果に基づいて前記収納部に収納される商品の種別を特定する商品認識部202と、特定された商品の種別が単一の場合、当該商品の種別を購入対象の商品として売上登録テーブル242に登録し、特定された商品の種別が複数の場合、当該商品の種別の組を候補商品として候補商品テーブル243に登録する登録処理部203と、を備える。また、登録処理部203は、購入対象の商品の登録を終了するまでの間、候補商品テーブル243に登録された候補商品の各々から一の商品を選択する操作を受け付け、選択された商品の商品コードを売上登録テーブル242に登録する。
【0089】
これにより、本実施形態のシステム1では、同一の商品を撮像した画像から特定される商品の種別が相違するような場合であっても、その都度商品を確認させる必要はなく、新たな商品の売上登録を継続して行うことができる。また、本実施形態のシステム1では、候補商品として候補商品テーブル243に登録された商品の選択操作を、売上登録が終了するまでの間、任意のタイミングで行うことができる。したがって、本実施形態のシステム1は、商品の売上登録を効率的に行うことができる。また、本実施形態のシステム1は、商品の売上登録を行う際の利便性向上を図ることができる。
【0090】
なお、上述した実施形態は、上述した各装置が有する構成又は機能の一部を変更することで、適宜に変形して実施することも可能である。そこで、以下では、上述した実施形態に係るいくつかの変形例を他の実施形態として説明する。なお、以下では、上述した実施形態と異なる点を主に説明することとし、既に説明した内容と共通する点については詳細な説明を省略する。また、以下で説明する変形例は、個別に実施されてもよいし、適宜組み合わせて実施されてもよい。
【0091】
(変形例1)
上述の実施形態では、ショッピングカート3に取り付ける撮像部34の個数を複数としたが、これに限らず、撮像部34を1個設ける形態としてもよい。この場合、商品認識部202は、単一の撮像部34が撮像する画像に対し異なる種別(認識方法)の認識処理を施すことで、認識処理の種別毎に商品の特定結果を出力する。
【0092】
例えば、商品認識部202は、単一の撮像部34が撮像する画像に対し、コードシンボルの読み取りにより商品を特定する第1認識処理と、一般物体認識により商品を特定する第2認識処理とを行う。そして、商品認識部202は、第1認識処理及び第2認識処理の処理結果、つまり商品の特定結果をそれぞれ出力する。
【0093】
また、登録処理部203は、商品認識部202が出力する特定結果に基づき、上述した実施形態と同様の処理を実施する。これにより、本変形例に係るタブレット端末2では、単一の撮像部34を用いた場合であっても、上述の実施形態と同様の効果を奏することができる。
【0094】
(変形例2)
上述の実施形態では、商品を収納部31に収納する際に、商品の特定結果の一致判定を行う形態としたが、これに限らず、収納部31から商品を取り出す際も、商品の特定結果の一致判定を行う形態としてもよい。
【0095】
具体的には、本実施形態の商品認識部202は、画像中から商品を認識すると、時間的に連続する画像から当該商品が移動する方向を検出する。具体的には、商品認識部202は、収納部31に対する商品の動き(例えば動きベクトル)を検出する。つまり、商品認識部202は、商品が収納部31に収納されたのか、収納部31から商品が取り出されたのかを判定可能な情報を検出する。なお、商品認識部202は、一連する画像から認識した商品について、商品コードの特定を一度行うものとする。
【0096】
また、登録処理部203は、商品認識部202で商品が認識され、且つ当該商品が下方に移動することが検出された場合、登録処理部203は、商品が収納部31に収納されたと判断する。この場合、登録処理部203は、商品認識部202で特定された商品の商品コードを登録番号と関連付けて売上登録テーブル242に登録する。
【0097】
また、登録処理部203は、商品認識部202で商品が認識され、且つ当該商品が上方に移動することが検出された場合、登録処理部203は、商品が収納部31から取り出されたと判断する。
【0098】
そして、登録処理部203は、商品が収納部31に収納されたと判断した場合、及び商品が収納部31から取り出されたと判断した場合の各々において、商品認識部202で特定された商品の一致判定を行う。そして、登録処理部203、特定された商品が不一致と判定した場合には、上述の実施形態と同様に、購入又は取り消し対象の商品を選択可能な画面を表示部25に表示させる。
【0099】
なお、収納部31から商品が取り出される場合、当該商品の商品コードは、売上登録テーブル242又は候補商品テーブル243に登録済であるため、登録処理部203は、新規の登録は行わず、登録されたデータエントリの削除を行う。
【0100】
具体的には、登録処理部203は、商品認識部202で特定された商品の商品コードが単一又は一致する場合、商品コードを含むデータエントリを売上登録テーブル242又は候補商品テーブル243から削除する。なお、特定された商品の商品コードが、売上登録テーブル242及び候補商品テーブル243の両方に存在する場合、登録処理部203は、確定済の商品が登録される売上登録テーブル242から優先的に削除することが好ましい。
【0101】
また、登録処理部203は、商品認識部202で特定された商品の商品コードが不一致の場合、当該商品コードに対応する商品を選択可能な画面(例えば、商品選択画面B)を表示部25に表示させ、顧客に選択を促す。そして、登録処理部203は、選択された商品の商品コードを含むデータエントリを売上登録テーブル242又は候補商品テーブル243から削除する。なお、この場合、削除の対象となる商品は、売上登録テーブル242又は候補商品テーブル243に登録された商品となるため、商品認識部202が、当該テーブルに未登録の商品を特定した場合、その商品は一致判定の対象から除外してもよい。
【0102】
なお、収納部31から商品が取り出された際に、商品の特定結果が不一致となった場合には、その都度、商品選択画面Bを表示させることが好ましいが、上述の実施形態と同様に、任意のタイミングで行うことができる構成としてもよい。
【0103】
この場合、例えば、特定された商品の商品コードを削除対象の候補商品として候補商品テーブル243に記憶し、削除対象の候補商品を任意のタイミングで選択できるようにしてもよい。一例として、フラグ情報等を用いて、売上登録の候補商品か削除対象の候補商品かを識別可能としてもよい。また、この場合、同一の商品について売上登録の後に登録削除が行われてしまうことを防ぐため、売上登録の候補商品の選択に先駆けて、削除対象の候補商品を選択させることが好ましい。
【0104】
(変形例3)
上述の実施形態では、ショッピングカート3の収納部31に商品が収納される形態を説明したが、これに限らず、他の形態の収納部31に商品が収納される構成としてもよい。例えば、店舗内で商品を運ぶ際に使用される買い物かご等を収納部31の一例とすることも可能である。この場合、撮像部34は、買い物かごの開口部の縁付近等に設置され、撮像範囲の少なくとも一部に買い物かご内を含むように設置される。
【0105】
また、この場合、タブレット端末2に代えて、タブレット端末2と同様の機能を有するスマートフォン等の携帯端末としてもよい。なお、買い物かごは、顧客が直接持って移動する構成としてもよいし、ショッピングカート3の収納部31に載せた状態で移動される構成としてもよい。
【0106】
(変形例4)
上述の実施形態では、撮像部34が撮像した画像からタブレット端末2が商品の認識(及び特定)を行う構成としたが、これに限らず、サーバ4等の外部装置が行う構成としてもよい。例えば、サーバ4が、商品認識部202を備える構成としてもよい。この場合、タブレット端末2の画像取得部201は、取得した画像をサーバ4に送信する。また、サーバ4の商品認識部202は、タブレット端末2から送信された画像から商品の認識(及び特定)を行い、その処理結果を送信元のタブレット端末2に返信すればよい。
【0107】
また、タブレット端末2の登録処理部203は、サーバ4から返信される処理結果に基づいて、上述した商品登録画面Aや商品選択画面Bを表示部25に表示させる。そして、タブレット端末2の登録処理部203は、当該画面を介して候補商品から選択された商品の商品コードを売上登録テーブル242に登録したり、当該商品コードに係るデータエントリを候補商品テーブル243から削除したりすればよい。
【0108】
(変形例5)
上述の実施形態では、売上登録テーブル242と候補商品テーブル243とを別テーブルとしたが、これに限らず、売上登録テーブル242のみを用いて候補商品を管理する構成としてもよい。
【0109】
この場合、登録処理部203は、商品認識部202で特定された商品の種別が複数の場合、これら商品の商品コードを売上登録テーブル242に登録すればよい。また、登録処理部203は、一の登録番号に対し、複数の異なる商品コードが登録されている商品を候補商品として取り扱い、上述した実施形態と同様に選択を促す処理を実行すればよい。具体的には、候補商品から売上登録の対象商品が選択された場合、登録処理部203は、選択された商品と同一の登録番号に関連付けて登録された他の商品の商品コードを売上登録テーブル242から削除する。
【0110】
なお、本変形例の場合、第1登録情報と第2登録情報とは売上登録テーブル242を意味することになる。
【0111】
上述の実施形態(及び変形例)の各装置で実行されるプログラムは、ROMや記憶部等に予め組み込まれた状態で提供される。上述の実施形態の各装置で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでCD-ROM、フレキシブルディスク(FD)、CD-R、DVD(Digital Versatile Disk)等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。
【0112】
さらに、上述の実施形態の各装置で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、上述の実施形態の各装置で実行されるプログラムをインターネット等のネットワーク経由で提供又は配布するように構成してもよい。
【0113】
以上、本発明の実施形態を説明したが、この実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これらの新規な実施形態やその変形例は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更、組み合わせを行うことができる。これらの実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【0114】
1 システム
2 タブレット端末
3 ショッピングカート
4 サーバ
8 会計機
200 制御部
201 画像取得部
202 商品認識部
203 登録処理部
204 決済処理部
241 商品マスタ
242 売上登録テーブル
243 候補商品テーブル
【先行技術文献】
【特許文献】
【0115】