特開 2024-166893 商品登録システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024166893

(43)【公開日】2024-11-29

(54)【発明の名称】商品登録システム

(51)【国際特許分類】

   G06Q 30/06 20230101AFI20241122BHJP

   G07G 1/00 20060101ALI20241122BHJP

【ＦＩ】

G06Q30/06

G07G1/00 311D

【審査請求】未請求

【請求項の数】5

【出願形態】ＯＬ

(21)【出願番号】P 2023083305

(22)【出願日】2023-05-19

(71)【出願人】

【識別番号】000003562

【氏名又は名称】東芝テック株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】佐々木 勇太

【テーマコード（参考）】

3E142

5L030

5L049

【Ｆターム（参考）】

3E142AA01

3E142AA02

3E142AA03

3E142CA20

3E142EA02

3E142GA22

3E142GA35

3E142JA01

5L030BB56

5L030BB72

5L049BB56

5L049BB72

(57)【要約】

【課題】商品の誤登録の発生を低減することが可能な商品登録システムを提供する。
【解決手段】購入対象の商品が収納される収納部に設けられ、当該収納部の内側を撮像範囲に含むように配置された撮像部と、前記撮像部が撮像する画像から商品を認識し、当該認識結果に基づいて前記収納部に収納される商品を特定する特定部と、前記特定部が特定した商品を前記購入対象の商品として登録する登録部と、前記登録部で登録された商品の量又は前記画像に基づいて、前記特定部が商品を認識する前記画像中の認識範囲を変更する変更部と、を有する。
【選択図】図６

【特許請求の範囲】

【請求項1】

購入対象の商品が収納される収納部に設けられ、当該収納部の内側を撮像範囲に含むように配置された撮像部と、
前記撮像部が撮像する画像から商品を認識し、当該認識結果に基づいて前記収納部に収納される商品を特定する特定部と、
前記特定部が特定した商品を前記購入対象の商品として登録する登録部と、
前記登録部で登録された商品の量又は前記画像に基づいて、前記特定部が商品を認識する前記画像中の認識範囲を変更する変更部と、
を有する商品登録システム。

【請求項2】

前記変更部は、前記登録部で登録された商品の総体積に基づいて、前記認識範囲を変更する、請求項１に記載の商品登録システム。

【請求項3】

前記変更部は、前記登録部で登録された商品の総数に基づいて、前記認識範囲を変更する、請求項１に記載の商品登録システム。

【請求項4】

前記変更部は、前記画像から前記収納部に収納された商品を認識した場合、認識した商品を含む範囲を前記認識範囲から除外する、請求項１に記載の商品登録システム。

【請求項5】

前記特定部は、前記認識結果に基づいて前記収納部から取り出される商品を特定し、
前記登録部は、前記特定部が前記収納部から取り出された商品を特定した場合、当該商品を前記購入対象から除外する、
請求項１～４の何れか一項に記載の商品登録システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施形態は、商品登録システムに関する。

【背景技術】

【0002】

商品を販売する店舗において、購入する商品を入れるショッピングカートやカゴ（以下、収納部ともいう）を撮像可能な位置に撮像装置を設け、収納部に商品が収納される際に当該商品を撮像することで、撮像された画像から商品を特定することが可能な技術が存在している。かかる技術では、顧客は収納部に商品を収納する動作を行うことで、特定された商品を取引対象として登録することができる。

【0003】

また、上述の撮像装置は、収納部の上方や収納部の開口部の縁付近等に設置され、傾けることが困難な弁当や惣菜等のトレイ状の商品を上方から撮像できるよう、収納部の内部を撮像範囲に含むように撮像方向が設定される。

【0004】

ところで、上述した従来の構成では、撮像装置は収納部の内部を撮像範囲に含むため、収納部に収納された商品の量によっては、登録済の商品が撮像範囲に入ることがあり、登録済の商品を再度登録してしまう誤登録が発生する可能性がある。そのため、商品の誤登録の発生を低減することが可能な技術が望まれている。

【発明の概要】

【発明が解決しようとする課題】

【0005】

本発明が解決しようとする課題は、商品の誤登録の発生を低減することが可能な商品登録システムを提供することである。

【課題を解決するための手段】

【0006】

実施形態の商品登録システムは、購入対象の商品が収納される収納部に設けられ、当該収納部の内側を撮像範囲に含むように配置された撮像部と、前記撮像部が撮像する画像から商品を認識し、当該認識結果に基づいて前記収納部に収納される商品を特定する特定部と、前記特定部が特定した商品を前記購入対象の商品として登録する登録部と、前記登録部で登録された商品の量又は前記画像に基づいて、前記特定部が商品を認識する前記画像中の認識範囲を変更する変更部と、を有する。

【図面の簡単な説明】

【0007】

【図1】図１は、実施形態に係るシステムの概観構成の一例を示す図である。

【図2】図２は、実施形態に係るショッピングカートの概観構成の一例を示す側面図である。

【図3】図３は、実施形態に係るタブレット端末のハードウェア構成の一例を示す図である。

【図4】図４は、実施形態に係る商品マスタのデータ構成の一例を示す図である。

【図5】図５は、実施形態に係る売上登録テーブルのデータ構成の一例を示す図である。

【図6】図６は、実施形態に係るタブレット端末の機能構成の一例を示す図である。

【図7】図７は、実施形態に係る撮像部の撮像範囲と商品認識部の認識範囲との関係を模式的に示す図である。

【図8】図８は、実施形態に係る撮像部の撮像範囲と商品認識部の認識範囲との関係を模式的に示す図である。

【図9】図９は、実施形態に係る撮像部の撮像範囲と商品認識部の認識範囲との関係を模式的に示す図である。

【図10】図１０は、実施形態のタブレット端末が行う処理の一例を示すフローチャートである。

【図11】図１１は、変形例１に係るショッピングカートの概観構成の一例を示す側面図である。

【発明を実施するための形態】

【0008】

以下に添付図面を参照して、本実施形態に係る商品登録装置及びプログラムを詳細に説明する。実施形態では、店舗で使用される商品運搬用のカート（以下、ショッピングカートともいう）に取り付けられる端末装置（以下、カート端末ともいう）を商品登録装置の一例として説明する。なお、この適用例によって発明は限定されるものではない。

【0009】

図１は、実施形態に係るシステム１の概観構成の一例を示す図である。図１に示すように、システム１は、タブレット端末２と、サーバ４と、会計機８とを備える。サーバ４と会計機８とは、ネットワークＮａを介して通信可能に接続される。

【0010】

ネットワークＮａは、インターネット、ＶＰＮ（virtual private network）、ＬＡＮ（local area network）、公衆通信網、移動体通信網などを、単独又は適宜に組み合わせて用いることができる。ネットワークＮａとしては、一例として、インターネット及び移動体通信網が組み合わせて用いられる。

【0011】

また、ネットワークＮａには、無線アクセスポイント７が接続される。無線アクセスポイント７は、無線ＬＡＮ等のネットワークＮｂを介してタブレット端末２と接続される。そのため、タブレット端末２は、サーバ４や会計機８と通信可能である。

【0012】

ショッピングカート３は、店内に陳列されている商品を収納する収納部３１（図２を参照）を備える。収納部３１は、上部が開放されており、上部から商品が収納部３１に収納される。顧客は、店舗でショッピングカート３を借り受け、ショッピングカート３とともに店舗内を回遊しながら、陳列されている商品の中から購入する商品を収納部３１に収納する。

【0013】

タブレット端末２は、ショッピングカート３に装着可能に設けられる。タブレット端末２は、後述する撮像部３４で撮像される画像から、収納部３１に収納される商品を認識し、当該商品に係る売上登録処理を実行する。ここで、売上登録処理とは、タブレット端末２が特定した商品を購入対象とする処理を意味する。具体的には、売上登録処理は、認識した商品に関する情報（以下、売上登録データともいう）を後述する売上登録テーブル２４２に登録する処理をいう。例えば、売上登録処理では、商品の品目等を識別可能な商品コードや当該商品の購入点数等を含む売上登録データを、売上登録テーブル２４２に登録する。

【0014】

また、タブレット端末２は、顧客が、会計機８で会計を行うための操作を受け付けると、一取引分の売上登録データを会計機８に引き渡すための処理を実行する。例えば、タブレット端末２は、売上登録データを二次元コード等のコードシンボルに符号化して表示する。この場合、会計機８では、タブレット端末２に表示されるコードシンボルを読み取ることで、タブレット端末２で売上登録された一取引分の売上登録データを取得し、当該売上登録データに基づいた会計処理を実行する。

【0015】

サーバ４は、タブレット端末２をユーザインタフェース端末として用い、当該ユーザインタフェース端末が使用される店舗において、商品の売買取引を行うサービスを提供するための情報処理を行う。サーバ４は、例えば店舗に設けられる店舗サーバであってもよいし、店舗外にも設けられるサーバ装置であってもよい。なお、本実施形態では、サーバ４は、単一の装置によって実現されるものとするが、ネットワーク接続された複数台の装置によって実現されるクラウドサーバ（又はクラウドシステム）であってもよい。

【0016】

サーバ４は、プロセッサや主記憶装置、補助記憶装置等を備えるコンピュータ構成の情報処理装置である。サーバ４は、例えば店舗で販売される商品の商品名や価格等が登録された商品マスタを図示しないデータベース等に記憶し、タブレット端末２や会計機８に提供する。

【0017】

会計機８は、店舗内に設けられる会計装置である。会計機８は、売上登録データに基づき商品の決済処理を実行する。決済処理とは、一取引に係る商品の合計金額や税額の表示、顧客から預かった預り金に基づいて釣銭を計算して表示する処理、商品情報や決済情報（合計金額、預り金額、釣銭額等）を印字したレシートを発行する処理等をいう。

【0018】

次に、ショッピングカート３について説明する。図２は、ショッピングカート３の概観構成の一例を示す側面図である。ショッピングカート３は、上面が開口したカゴ状の収納部３１、収納部３１の下方に配置された回転するキャスタ３２、収納部３１やキャスタ３２と連結されてショッピングカート３を移動させる際に顧客が把持するハンドル部３３等を備える。

【0019】

収納部３１は、側面部と底面部が網目状の格子３１１で略四角状に囲われた上方が開放された構成であり、収納部３１に収納された商品を外部から目視することができる。なお、側面部及び底面部は、網目状の格子３１１ではなく壁面により構成されてもよい。

【0020】

また、ショッピングカート３は、ハンドル部３３付近にタブレット端末２を着脱可能に備える。また、ショッピングカート３は、収納部３１の開口部の縁付近に撮像部３４を備える。撮像部３４は、撮像部の一例であり、デジタルカメラ等のよって実現される。撮像部３４は、撮像方向が収納部３１の開口に向けて設置されている。つまり、撮像部３４の撮像範囲の少なくとも一部が、収納部３１内を含むように撮像方向が設定されている。

【0021】

撮像部３４は、収納部３１に収納される商品、または収納部３１から取り出される商品を撮像し、撮像した画像をタブレット端末２に出力する。ここで、画像は、フレーム単位の静止画又は動画を意味する。

【0022】

ここからは、タブレット端末２のハードウェア構成について説明する。図３は、タブレット端末２のハードウェア構成の一例を示す図である。

【0023】

図３に示すように、タブレット端末２は、ＣＰＵ（Central Processing Unit）２１、ＲＯＭ（Read Only Memory）２２、ＲＡＭ（Random Access Memory）２３、記憶部２４、表示部２５、操作部２６、通信部２７、及び接続部２８等を備える。

【0024】

ＣＰＵ２１は、プロセッサの一例であり、タブレット端末２の動作を統括的に制御する。ＲＯＭ２２は、各種プログラムを記憶する。ＲＡＭ２３は、プログラムや各種データを展開するワークスペースである。

【0025】

ＣＰＵ２１、ＲＯＭ２２、及びＲＡＭ２３は、バス等を介して接続され、コンピュータ構成の制御部２００を構成する。制御部２００では、ＣＰＵ２１がＲＯＭ２２又は記憶部２４に記憶されＲＡＭ２３に展開されたプログラムに従って動作することによって、各種の処理を実行する。

【0026】

記憶部２４は、ＨＤＤやフラッシュメモリ等の記憶媒体を有し、電源を遮断しても記憶内容を維持する。記憶部２４は、ＣＰＵ２１が実行することが可能なプログラムや各種の設定情報を記憶する。また、記憶部２４は、商品マスタ２４１、売上登録テーブル２４２等を記憶する。

【0027】

商品マスタ２４１は、店舗で販売する商品を管理するためのデータテーブルである。売上登録テーブル２４２は、自己のタブレット端末２を用いて売上登録された商品を管理するためのデータテーブルである。

【0028】

表示部２５は、ＬＣＤ（Liquid Crystal Display）等の表示デバイスである。表示部２５は、ＣＰＵ２１の制御の下、各種の情報を表示する。操作部２６は、キーボードやポインティングデバイス等の入力デバイスである。操作部２６は、入力デバイスを介して入力される操作内容をＣＰＵ２１に出力する。なお、操作部２６は、表示部２５に設けられるタッチパネルであってもよい。

【0029】

通信部２７は、ネットワークＮｂに接続可能な有線又は無線の通信インタフェースである。通信部２７は、ネットワークＮｂを介して無線アクセスポイント７と通信可能に接続する。制御部２００は、通信部２７を介して、サーバ４や会計機８と通信を行う。

【0030】

接続部２８は、周辺デバイスを接続するためのインタフェースである。接続部２８は、例えばＵＳＢ（Universal Serial Bus）や、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の規格に準拠した有線又は無線のインタフェースである。本実施形態では、接続部２８は、撮像部３４と接続される。

【0031】

図４は、商品マスタ２４１のデータ構成の一例を示す図である。図４に示すように、商品マスタ２４１は、商品コードと、商品情報とを関連付けて記憶する。商品コードは、店舗で販売される商品の品種を識別可能な識別情報の一例である。商品コードは、例えばＪＡＮコード等を用いることができる。商品情報は、商品コードに対応する商品に関する情報である。商品情報には、例えば、商品名、価格、体積情報等が登録される。ここで、体積情報は、商品コードに対応する商品の大きさを示す情報であり、例えばパッケージを含めた商品の体積や容積を示す情報が登録される。

【0032】

なお、商品マスタ２４１のデータ構成は図４に限らないものとする。例えば、商品コードに関連付けて、当該商品コードに対応する商品の外観上の特徴を示す特徴情報を登録する構成としてもよい。かかる特徴情報は、画像から商品を認識する際の照合用情報とすることができる。なお、特徴情報は、商品の外観を表す画像であってもよいし、商品の外観上の特徴を定量的に示した特徴量であってもよい。

【0033】

また、本実施形態では、タブレット端末２が商品マスタ２４１を保持する構成とするが、これに限らず、サーバ４が商品マスタ２４１を保持する構成としてもよい。この場合、タブレット端末２の各々は、サーバ４が保持する商品マスタ２４１を参照することで、ローカルに保持する形態と同様に商品マスタ２４１を取り扱うことができる。

【0034】

図５は、売上登録テーブル２４２のデータ構成の一例を示す図である。図５に示すように、売上登録テーブル２４２は、商品ＩＤと、点数とを関連付けて記憶する。商品ＩＤは、売上登録された商品の商品ＩＤであり、商品マスタ２４１の商品ＩＤに対応する。点数は、売上登録された同一商品の登録点数である。例えば、点数には、デフォルトの状態で１が登録される。

【0035】

なお、売上登録テーブル２４２のデータ構成は図５に限らないものとする。例えば、商品ＩＤに関連付けて、当該商品ＩＤに対応する商品情報を登録する構成としてもよい。また、商品ＩＤに関連付けて、登録日時を示す日時情報を登録する構成としてもよい。

【0036】

また、本実施形態では、タブレット端末２が売上登録テーブル２４２を保持する構成とするが、これに限らず、サーバ４が売上登録テーブル２４２を保持する構成としてもよい。この場合、サーバ４は、例えばタブレット端末２の各々で行われる取引の各々を識別可能な取引ＩＤを発行し、当該取引ＩＤに関連付けて売上登録テーブル２４２を保持することで、取引毎に売上登録テーブル２４２を管理することができる。

【0037】

具体的には、サーバ４は、発行した取引ＩＤをタブレット端末２に通知することで、当該取引ＩＤの取引が行われる間、タブレット端末２に取引ＩＤを保持させる。そして、タブレット端末２では、売上登録される商品の商品ＩＤを、取引ＩＤとともにサーバ４に送信し、当該取引ＩＤに対応する売上登録テーブル２４２への登録をサーバ４に指示する。これにより、タブレット端末２の各々で売上登録される商品を、サーバ４で一元管理することができる。なお、タブレット端末２では、自端末に係る取引の売上登録テーブル２４２を参照することが可能であるものとする。

【0038】

次に、タブレット端末２の機能構成について説明する。図６は、タブレット端末２の機能構成の一例を示す図である。

【0039】

図６に示すように、タブレット端末２は、画像取得部２０１と、商品認識部２０２と、登録処理部２０３と、認識範囲変更部２０４と、決済処理部２０５とを機能構成として備える。

【0040】

タブレット端末２が備える機能構成は、タブレット端末２のプロセッサがＲＯＭや記憶部に記憶されたプログラムにしたがって動作することで実現されるソフトウェア構成とするが、これに限定されるものではない、例えば、タブレット端末２が備える機能構成の一部又は全ては、専用回路等のハードウェアで実現される形態としてもよい。

【0041】

画像取得部２０１は、撮像部３４が撮像する画像を、接続部２８を介して取得する。商品認識部２０２は、特定部の一例である。商品認識部２０２は、画像取得部２０１が取得した画像に基づき、撮像部３４で撮像された商品を特定する。具体的には、商品認識部２０２は、撮像部３４の撮像範囲に商品が入ることで、撮像部３４により商品が撮像されると、公知の物体認識技術等を用いることで、その商品を認識することで、当該商品の商品コードを特定する。なお、商品認識部２０２は、商品に付されたコードシンボルを認識しデコードすることで、当該コードシンボルに保持された商品コードを特定してもよい。

【0042】

ここで、図７、図８を参照して、撮像部３４の撮像範囲と、商品認識部２０２が画像中から商品を認識する認識範囲との関係について説明する。ここで、図７、図８は、撮像部３４の撮像範囲と商品認識部２０２の認識範囲との関係を模式的に示す図である。

【0043】

図７において、矩形状の枠領域が撮像範囲Ａａを示している。撮像範囲Ａａは、収納部３１の内部が含まれるよう設定されている。つまり、撮像部３４が撮像する画像には、収納部３１の内部が含まれる。

【0044】

また、撮像範囲Ａａにおいて、ハッチングで示す領域が商品認識部２０２の認識範囲Ａｂを示している。つまり、図７では、撮像部３４で撮像される画像の全域が認識範囲Ａｂとなることを示している。なお、認識範囲Ａｂと撮像範囲Ａａとは包含関係（Ａｂ⊂Ａａ）にある。

【0045】

顧客が購入を所望する商品を陳列棚から取り出し、当該商品を収納部３１に収納すると、図８に示すように、商品Ｇは撮像部３４の撮像範囲Ａａに入ることになる。商品認識部２０２は、画像取得部２０１が取得した画像のうち、当該画像の認識範囲Ａｂ、つまり画像の全域から商品Ｇを認識する。

【0046】

また、商品認識部２０２は、画像中から商品Ｇを認識すると、時間的に連続する画像から当該商品Ｇが移動する方向を検出する。具体的には、商品認識部２０２は、収納部３１に対する商品Ｇの動き（例えば動きベクトル）を検出する。つまり、商品認識部２０２は、商品Ｇが収納部３１に収納されたのか、収納部３１から商品Ｇが取り出されたのかを判定可能な情報を検出する。なお、商品認識部２０２は、一連する画像から認識した商品について、商品コードの特定を一度行うものとする。

【0047】

図６に戻り、登録処理部２０３は、登録部の一例である。登録処理部２０３は、商品認識部２０２で特定された商品の売上登録処理を実行する。具体的には、登録処理部２０３は、商品認識部２０２で商品が認識され、且つ当該商品が下方に移動することが検出された場合、登録処理部２０３は、商品が収納部３１に収納されたと判断する。この場合、登録処理部２０３は、商品認識部２０２で特定された商品の商品コードと点数とを売上登録テーブル２４２に登録する。具体的には、登録処理部２０３は、同一の商品を登録する毎に、当該商品の点数を１加算する。また、登録処理部２０３は、登録した商品コードに対応する商品の商品名や価格を商品マスタ２４１から読み出すと、点数とともに表示部２５に表示することで、売上登録した商品を登録順にリスト表示する。

【0048】

また、登録処理部２０３は、商品認識部２０２で商品が認識され、且つ当該商品が情報に移動することが検出された場合、登録処理部２０３は、商品が収納部３１から取り出されたと判断する。この場合、登録処理部２０３は、商品認識部２０２で特定された商品の商品コードを売上登録テーブル２４２から削除したり登録点数を１減算したりする。具体的には、登録点数が０となった場合、登録処理部２０３は、商品の商品コードを売上登録テーブル２４２から削除する。また、登録処理部２０３は、リスト表示された商品の中から、売上登録テーブル２４２から削除した商品の表示を消去したり、点数を減算したりすることで売上登録を解除した商品を報知する。

【0049】

このように、システム１では、顧客は商品を収納部３１に収納することで、当該商品の売上登録が自動で行われることになる。また、システム１では、顧客が商品を収納部３１から取り出すことで、当該商品の登録解除が自動で行われることになる。

【0050】

ところで、収納部３１に収納された商品は、収納部３１内で保持されるため、収納される商品が増えるほど、収納部３１内で商品が占めるスペースが大きくなる。また、大型の商品が収納部３１に収納された場合も、収納部３１内で商品が占めるスペースが大きくなる。この場合、収納部３１内に収納された商品が、商品認識部２０２の認識範囲Ａｂに入ってしまうと、登録済の商品であるのにも関わらず、商品認識部２０２が新たな商品として認識し、登録処理部２０３が売上登録を多重に行う誤登録が発生する可能性がある。

【0051】

そこで、本実施形態では、認識範囲変更部２０４が、売上登録された商品から導出される収納部３１に収納された商品の量に基づいて、商品認識部２０２の認識範囲Ａｂを変更することで、上記した誤登録の発生を低下させるための処理を行う。なお、認識範囲変更部２０４は、変更部の一例である。

【0052】

具体的には、認識範囲変更部２０４は、売上登録テーブル２４２に登録された商品コードの各々に対応する商品の体積情報を商品マスタ２４１から読み出す。次いで、認識範囲変更部２０４は、読み出した体積情報の値を加算することで、収納部３１に収納された商品の総体積を算出する。ここで、商品の総体積は、収納部３１に収納された商品の状態を表す情報の一例である。そして、認識範囲変更部２０４は、算出した総体積に応じて認識範囲Ａｂを変更する。

【0053】

図９は、認識範囲変更部２０４の動作を説明するための図であり、撮像部３４の撮像範囲Ａａと、商品認識部２０２の認識範囲Ａｂとの関係を示している。なお、図９では、収納部３１内に２つの商品Ｇａ、Ｇｂが収納された状態を示している。

【0054】

この場合、認識範囲変更部２０４は、商品Ｇａ、Ｇｂの総体積に応じて認識範囲Ａｂを変更する。一例として、認識範囲変更部２０４は、総体積が所定の閾値を超える場合に、認識範囲Ａｂを変更する。図９では、撮像範囲Ａａから収納部３１を表す領域を除外した残りの領域（撮像範囲Ａａの上半分）を認識範囲Ａｂとした例を示している。

【0055】

これにより、タブレット端末２では、収納部３１に収納された登録済の商品Ｇａ、Ｇｂを認識の対象から除外することができるため、誤登録の発生を防ぐことができる。また、タブレット端末２では、収納部３１の上方の領域を認識範囲Ａｂとしているため、新たに収納される商品Ｇｃを認識することができ、当該商品Ｇｃを売上登録することができる。

【0056】

なお、上記例では、一の閾値に基づき認識範囲Ａｂを変更する構成としたが、閾値を複数段階で設けることで、多段階で認識範囲Ａｂを変更（縮小又は拡大）する構成としてもよい。また、総体積の変化に追従して認識範囲Ａｂを動的に変更（縮小又は拡大）する構成としてもよい。

【0057】

また、上記例では、売上登録された商品の総体積に基づき認識範囲Ａｂを変更する構成としたが、他の指標を用いて認識範囲Ａｂを変更する構成としてもよい。例えば、売上登録された商品の総数に基づき認識範囲Ａｂを変更する構成としてもよい。ここで、商品の総数は、収納部３１に収納された商品の状態を表す情報の一例である。

【0058】

この場合も、一又は複数の閾値に基づき認識範囲Ａｂを変更（縮小又は拡大）してもよいし、総数の変化に追従して認識範囲Ａｂを動的に変更（縮小またじゃ拡大）する構成としてもよい。

【0059】

図６に戻り、決済処理部２０５は、顧客の操作に応じて、売上登録された商品の決済に係る処理を実行する。具体的には、決済処理部２０５は、売上登録された商品を特定可能なデータを会計機８に入力することで、会計機８で決済可能な状態を実現する。

【0060】

例えば、決済処理部２０５は、操作部２６を介して決済開始を指示する操作を受け付けると、売上登録テーブル２４２に登録された売上登録データを二次元コード等のコードシンボルにコード化して表示部２５に表示させる。この場合、会計機８は、タブレット端末２の表示部２５に表示されたコードシンボルを読み取ることで、売上登録データを取得し、取得した売上登録データに基づいて、売上登録された一取引分の商品の会計処理を実行する。

【0061】

また、例えば、決済処理部２０５は、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の近距離無線通信により、売上登録テーブル２４２に登録された売上登録データを会計機８に送信してもよい。この場合、会計機８は、タブレット端末２から送信された売上登録データを取得し、取得した売上登録データに基づいて、売上登録された一取引分の商品の会計処理を実行する。

【0062】

また、例えば、売上登録テーブル２４２がサーバ４に保持される構成の場合、決済処理部２０５は、当該取引の取引ＩＤをバーコードや二次元コード等のコードシンボルにコード化して表示部２５に表示させる。この場合、会計機８は、タブレット端末２の表示部２５に表示されたコードシンボルを読み取ることで取引ＩＤを取得する。そして、会計機８は、取得した取引ＩＤに係る売上登録データをサーバ４から取得し、取得した売上登録データに基づいて、売上登録された一取引分の商品の会計処理を実行する。

【0063】

なお、商品の決済は会計機８を用いた方法に限らず、タブレット端末２で行う形態としてもよい。例えば、決済処理部２０５は、操作部２６を介して決済開始を指示する操作を受け付けると、電子マネー決済やクレジット決済等の決済方法を選択可能な画面を表示部２５に表示させる。決済方法が選択されると、決済処理部２０５は、選択された決済方法で決済を行うための決済情報の入力を受け付け、外部の決済サーバと協働することで、入力された決済情報に基づき売上登録された商品の合計金額を決済する決済処理を実行する。かかる決済情報は、例えば、クレジットカード番号であってもよいし、コード決済用の二次元コードであってもよい。なお、コード決済用の二次元コードの場合、撮像部３４を介して入力を受け付けてもよい。

【0064】

以下、図１０を参照して、タブレット端末２の動作例について説明する。図１０は、タブレット端末２が行う処理の一例を示すフローチャートである。なお、本処理の前提として、商品認識部２０２の認識範囲Ａｂは、撮像部３４の撮像範囲Ａａと同等の範囲が設定されているものとする。また、本処理では、一の閾値に基づき商品認識部２０２の認識範囲Ａｂを変更する動作例を説明する。

【0065】

まず、タブレット端末２の制御部２００は、操作部２６を介した操作に応じて、本処理を開始すると、売上登録テーブル２４２を初期化する（ステップＳ１１）。

【0066】

なお、売上登録テーブル２４２をサーバ４が保持する構成とする場合には、制御部２００は、サーバ４に取引ＩＤの発行を申請することで、当該取引の取引ＩＤに係る売上登録テーブル２４２をサーバ４に保持させる。また、制御部２００は、発行された取引ＩＤをサーバ４から取得し、ＲＡＭ２３等に保持する。

【0067】

続いて、画像取得部２０１は、撮像部３４から画像を取得する（ステップＳ１２）。次いで、商品認識部２０２は、ステップＳ１２で取得された画像の認識範囲Ａｂから商品を認識したか否かを判定する（ステップＳ１３）。商品を認識しない場合は（ステップＳ１３；Ｎｏ）、ステップＳ２１に移行する。

【0068】

商品認識部２０２は、ステップＳ１２で取得された画像の認識範囲Ａｂから商品を認識すると（ステップＳ１３；Ｙｅｓ）、当該商品の商品コードを特定する（ステップＳ１４）。次いで、商品認識部２０２は、認識した商品の移動方向を判定する（ステップＳ１５）。ここで、商品の移動方向が収納部３１に向かう下方である場合（ステップＳ１５；Ｙｅｓ）、登録処理部２０３は、ステップＳ１４で特定された商品を売上登録テーブル２４２に登録し（ステップＳ１６）、ステップＳ１８に移行する。また、商品の移動方向が収納部３１から離脱する上方である場合（ステップＳ１５；Ｎｏ）、登録処理部２０３は、ステップＳ１４で特定された商品を売上登録テーブル２４２から削除し（ステップＳ１７）、ステップＳ１８に移行する。

【0069】

続いて、認識範囲変更部２０４は、売上登録テーブル２４２に登録された商品の総体積又は総数が閾値以下か否かを判定する（ステップＳ１８）。ここで、閾値以下と判定した場合（ステップＳ１８；Ｙｅｓ）、認識範囲変更部２０４は、商品認識部２０２の認識範囲Ａｂを撮像範囲Ａａの全域に設定し（ステップＳ１９）、ステップＳ２１に移行する。また、閾値を上回ると判定した場合（ステップＳ１８；Ｎｏ）、認識範囲変更部２０４は、商品認識部２０２の認識範囲Ａｂを、収納部３１を除いた撮像範囲Ａａの上半分に設定し（ステップＳ２０）、ステップＳ２１に移行する。

【0070】

続いて、制御部２００は、売上登録の終了が指示されたか否かを判定する（ステップＳ２１）。売上登録の終了が指示されない場合（ステップＳ２１；Ｎｏ）、制御部２００は、ステップＳ１２に処理を戻す。また、制御部２００は、売上登録の終了が指示されると（ステップＳ２１；Ｙｅｓ）、本処理を終了する。

【0071】

以上のように、システム１は、購入対象の商品が収納される収納部３１に設けられ、当該収納部の内側を撮像範囲に含むように配置された撮像部３４と、撮像部３４が撮像する画像から商品を認識し、当該認識結果に基づいて収納部３１に収納される商品を特定するタブレット端末２の商品認識部２０２と、特定された商品を購入対象の商品として登録するタブレット端末２の登録処理部２０３とを有する。また、タブレット端末２の認識範囲変更部２０４は、登録処理部２０３で登録された商品に関する情報に基づいて、登録処理部２０３の認識範囲を変更する。

【0072】

これにより、システム１では、収納部３１に収納された商品の量により、登録済の商品が撮像部３４の撮像範囲に入るような場合、認識範囲変更部２０４が認識範囲を変更することで、登録済みの商品を認識範囲から除外することができる。したがって、システム１では、商品の誤登録の発生を低減することができる。

【0073】

なお、上述した実施形態は、上述した各装置が有する構成又は機能の一部を変更することで、適宜に変形して実施することも可能である。そこで、以下では、上述した実施形態に係るいくつかの変形例を他の実施形態として説明する。なお、以下では、上述した実施形態と異なる点を主に説明することとし、既に説明した内容と共通する点については詳細な説明を省略する。また、以下で説明する変形例は、個別に実施されてもよいし、適宜組み合わせて実施されてもよい。

【0074】

（変形例１）
上述の実施形態では、ショッピングカート３に取り付ける撮像部３４の個数を１としたが、これに限らず、複数個設ける形態としてもよい。例えば、図１１に示すように、撮像部３４とは異なる位置に、他の撮像部３５を設ける構成としてもよい。ここで、図１１は、変形例１に係るショッピングカート３の概観構成の一例を示す側面図である。

【0075】

撮像部３５の撮像方向は、撮像部３４と同様に、収納部３１の開口に向けられ、撮像範囲の少なくとも一部が収納部３１内を含むように設置されている。また、撮像部３５はタブレット端末２に接続され、撮像によって得られた画像がタブレット端末２に出力される。

【0076】

この場合、タブレット端末２の画像取得部２０１は、撮像部３４及び撮像部３５の各々で撮像される画像を取得する。商品認識部２０２は、撮像部３４及び撮像部３５の各々で撮像された画像から商品の認識及び特定を実施する。登録処理部２０３は、商品認識部２０２で特定された商品の売上登録を行う。

【0077】

この場合、登録処理部２０３は、商品の多重登録を防ぐため、撮像部３４及び撮像部３５の各画像から共通の商品コードが特定された場合、又は撮像部３４及び撮像部３５の何れか一方の画像から商品コードが登録された場合にのみ商品の売上登録を行うものとする。また、この場合、登録処理部２０３は、商品を登録する際に、当該商品の特定が行われた画像の取得元（撮像部３４、撮像部３５）を示す情報（以下、取得元情報）をあわせて登録する構成としてもよい。なお、撮像部３４及び撮像部３５の各画像から異なる商品コードが特定された場合には、登録処理部２０３は、売上登録を行わず、エラーを報知するメッセージを表示部２５に表示させるものとする。

【0078】

また、認識範囲変更部２０４は、上述した実施形態と同様に売上登録された商品の総体積又は総数に基づき、商品認識部２０２の認識範囲Ａｂの変更を行う。但し、撮像部が複数個設けられているため、認識範囲変更部２０４は、撮像部３４及び撮像部３５の各々について認識範囲Ａｂを変更する。この場合、認識範囲変更部２０４は、撮像部３４及び撮像部３５の各々について認識範囲Ａｂを同様に変更してもよいし、個別に変更する形態としてもよい。後者の場合、認識範囲変更部２０４は、例えば、売上登録テーブル２４２に登録された取得元情報に基づいて、画像の取得元毎に売上登録された商品の総体積又は総数を算出する。そして、認識範囲変更部２０４は、算出結果に基づいて撮像部３４及び撮像部３５の各々に係る認識範囲Ａｂを個別に変更する。

【0079】

これにより、タブレット端末２では、例えば、収納部３１に収納された商品が、収納部３１内の一部の部位に偏った状態で収納された場合に、当該部位を撮像する撮像部に係る認識範囲Ａｂを個別に変更することできる。したがって、本変形例に係るタブレット端末２では、収納部３１内での商品の収納状況に応じた認識範囲Ａｂを設定することができるため、誤登録の発生を防ぎつつ、商品の認識を効率的に行うことができる。

【0080】

（変形例２）
上述の実施形態では、撮像部３４の撮像範囲Ａａは固定としたが、これに限らず、例えば撮像範囲Ａａを上下方向に移動可能な構成としてもよい。この場合、例えば撮像部３４は、撮像部３４の撮像方向を上下に移動させることが可能なアクチュエータ等の駆動部を備え、タブレット端末２から入力される駆動信号に応じて駆動部が駆動する構成とすればよい。

【0081】

また、この場合、タブレット端末２の登録処理部２０３は、売上登録された商品の総体積又は総数に応じて駆動部を駆動する指示信号を撮像部３４に出力することで、撮像部３４の撮像範囲Ａａ、つまり認識範囲Ａｂを変更する。具体的には、登録処理部２０３は、売上登録された商品の総体積又は総数が閾値を超える等、増加した場合に、撮像部３４を上方に移動させる駆動信号を出力する。これにより、上述した実施形態と同様に、誤登録の発生を減少させることができる。

【0082】

（変形例３）
上述の実施形態では、売上登録された商品の総体積又は総数に基づき商品認識部２０２の認識範囲Ａｂを変更する構成としたが、これに限らず、撮像部３４で撮像される画像に基づき認識範囲Ａｂを変更する構成としてもよい。具体的には、認識範囲変更部２０４は、画像取得部２０１が取得する画像から、収納部３１に収納された商品の状態を認識し、認識した商品が存在する範囲に応じて認識範囲Ａｂを変更する。例えば、認識範囲変更部２０４は、画像の下方に商品の存在を認識すると、認識した商品を含む範囲を認識範囲Ａｂから除外することで認識範囲Ａｂを変更する。これにより、上述した実施形態と同様に、誤登録の発生を減少させることができる。

【0083】

なお、認識範囲変更部２０４が、画像から商品を認識する認識方法は、商品認識部２０２と同様の方法を用いることができる。また、認識範囲変更部２０４、商品認識部２０２の認識結果に基づき、収納部３１に収納された商品を認識してもよい。例えば、連続する画像の中で略静止した状態にある商品を、収納部３１に収納された商品として認識してもよい。

【0084】

（変形例４）
上述の実施形態では、ショッピングカート３の収納部３１に商品が収納される形態を説明したが、これに限らず、他の形態の収納部３１に商品が収納される構成としてもよい。例えば、店舗内で商品を運ぶ際に使用される買い物かご等を収納部３１の一例とすることも可能である。この場合、撮像部３４は、買い物かごの開口部の縁付近等に設置され、撮像範囲の少なくとも一部に買い物かご内を含むように設置される。

【0085】

また、この場合、タブレット端末２に代えて、タブレット端末２と同様の機能を有するスマートフォン等の携帯端末としてもよい。なお、買い物かごは、顧客が直接持って移動する構成としてもよいし、ショッピングカート３の収納部３１に載せた状態で移動される構成としてもよい。

【0086】

（変形例５）
上述の実施形態では、撮像部３４が撮像した画像からタブレット端末２が商品の認識（及び特定）を行う構成としたが、これに限らず、サーバ４等の外部装置が行う構成としてもよい。この場合、例えば、タブレット端末２は、画像取得部２０１で撮像された画像をサーバ４に送信し、サーバ４が、商品認識部２０２、登録処理部２０３、及び認識範囲変更部２０４の一部又は全てを備える構成としてもよい。この場合、サーバ４は、タブレット端末２から送信された画像に基づき、商品の認識（及び特定）や売上登録処理を行えばよい。

【0087】

上述の実施形態（及び変形例）の各装置で実行されるプログラムは、ＲＯＭや記憶部等に予め組み込まれた状態で提供される。上述の実施形態の各装置で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ－ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ－Ｒ、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。

【0088】

さらに、上述の実施形態の各装置で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、上述の実施形態の各装置で実行されるプログラムをインターネット等のネットワーク経由で提供又は配布するように構成してもよい。

【0089】

以上、本発明の実施形態を説明したが、この実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これらの新規な実施形態やその変形例は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更、組み合わせを行うことができる。これらの実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

【符号の説明】

【0090】

１ システム
２ タブレット端末
３ ショッピングカート
４ サーバ
８ 会計機
２００ 制御部
２０１ 画像取得部
２０２ 商品認識部
２０３ 登録処理部
２０４ 認識範囲変更部
２０５ 決済処理部
２４１ 商品マスタ
２４２ 売上登録テーブル

【先行技術文献】

【特許文献】

【0091】

【特許文献1】特開２０１９－２１９９６６号公報

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】