(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024156470
(43)【公開日】2024-11-06
(54)【発明の名称】商品登録システム及び情報処理プログラム
(51)【国際特許分類】
G07G 1/00 20060101AFI20241029BHJP
G07G 1/12 20060101ALI20241029BHJP
【ＦＩ】
G07G1/00 311D
G07G1/12 361E
G07G1/12 301E
【審査請求】未請求
【請求項の数】2
【出願形態】ＯＬ
(21)【出願番号】P 2023070958
(22)【出願日】2023-04-24
(71)【出願人】
【識別番号】000003562
【氏名又は名称】東芝テック株式会社
(74)【代理人】
【識別番号】110003708
【氏名又は名称】弁理士法人鈴榮特許綜合事務所
(72)【発明者】
【氏名】原田 慎太郎
【テーマコード（参考）】
3E142
【Ｆターム（参考）】
3E142AA01
3E142BA01
3E142CA20
3E142FA31
3E142FA42
3E142GA22
3E142GA35
3E142GA41
3E142HA02
3E142JA01
(57)【要約】
【課題】値割引シールが貼り付けられている商品の値割引を適正に適用可能とする。
【解決手段】第１の検出手段は、取得手段による取得画像から手を検出する。識別手段は、検出された手に接する状態で取得画像に映り込んだ商品を当該画像に基づき識別する。第２の検出手段は、検出された手に接する状態で取得画像に映り込んだ商品に貼り付けられた値割引シールを検出する。第１の判定手段は、検出された値割引シールが表す値割引情報を判定する。第３の検出手段は、値割引シールが検出されていない場合に、取得画像にて検出された手から離れた商品に貼り付けられた値割引シールを検出する。第２の判定手段は、このように検出された値割引シールが表す値割引情報を判定する。登録手段は、識別された商品を取引商品として登録するとともに、値割引情報が判定されているならば、当該値割引情報を上記の取引商品に関する値割引情報として登録する。
【選択図】 図４
【解決手段】第１の検出手段は、取得手段による取得画像から手を検出する。識別手段は、検出された手に接する状態で取得画像に映り込んだ商品を当該画像に基づき識別する。第２の検出手段は、検出された手に接する状態で取得画像に映り込んだ商品に貼り付けられた値割引シールを検出する。第１の判定手段は、検出された値割引シールが表す値割引情報を判定する。第３の検出手段は、値割引シールが検出されていない場合に、取得画像にて検出された手から離れた商品に貼り付けられた値割引シールを検出する。第２の判定手段は、このように検出された値割引シールが表す値割引情報を判定する。登録手段は、識別された商品を取引商品として登録するとともに、値割引情報が判定されているならば、当該値割引情報を上記の取引商品に関する値割引情報として登録する。
【選択図】 図４
【特許請求の範囲】
【請求項1】
画像を取得する取得手段と、
前記取得手段により取得された画像に映り込んだ手を検出する第１の検出手段と、
前記取得手段により取得された画像に前記第１の検出手段により検出される手に接する状態で映り込んだ商品を当該画像に基づき識別する識別手段と、
前記取得手段により取得された画像に前記第１の検出手段により検出される手に接する状態で映り込んだ商品に貼り付けられた値割引シールを検出する第２の検出手段と、
前記第２の検出手段により値割引シールが検出されたならば、当該の値割引シールが表す値割引情報を判定する第１の判定手段と、
前記第２の検出手段により値割引シールが検出されていない場合に、前記取得手段により取得された画像にて前記第１の検出手段により検出された手から前記識別手段により識別された商品が離れた際に、当該商品に貼り付けられた値割引シールを検出する第３の検出手段と、
前記第３の検出手段により値割引シールが検出されたならば、当該の値割引シールが表す値割引情報を判定する第２の判定手段と、
前記識別手段により識別された商品を取引商品として登録するとともに、前記第１の判定手段又は前記第２の判定手段により値割引情報が判定されているならば、当該値割引情報を上記の取引商品に関する値割引情報として登録する登録手段と、
を具備した商品登録システム。
前記取得手段により取得された画像に映り込んだ手を検出する第１の検出手段と、
前記取得手段により取得された画像に前記第１の検出手段により検出される手に接する状態で映り込んだ商品を当該画像に基づき識別する識別手段と、
前記取得手段により取得された画像に前記第１の検出手段により検出される手に接する状態で映り込んだ商品に貼り付けられた値割引シールを検出する第２の検出手段と、
前記第２の検出手段により値割引シールが検出されたならば、当該の値割引シールが表す値割引情報を判定する第１の判定手段と、
前記第２の検出手段により値割引シールが検出されていない場合に、前記取得手段により取得された画像にて前記第１の検出手段により検出された手から前記識別手段により識別された商品が離れた際に、当該商品に貼り付けられた値割引シールを検出する第３の検出手段と、
前記第３の検出手段により値割引シールが検出されたならば、当該の値割引シールが表す値割引情報を判定する第２の判定手段と、
前記識別手段により識別された商品を取引商品として登録するとともに、前記第１の判定手段又は前記第２の判定手段により値割引情報が判定されているならば、当該値割引情報を上記の取引商品に関する値割引情報として登録する登録手段と、
を具備した商品登録システム。
【請求項2】
コンピュータを、
画像を取得する取得手段と、
前記取得手段により取得された画像に映り込んだ手を検出する第１の検出手段と、
前記取得手段により取得された画像に前記第１の検出手段により検出される手に接する状態で映り込んだ商品を当該画像に基づき識別する識別手段と、
前記取得手段により取得された画像に前記第１の検出手段により検出される手に接する状態で映り込んだ商品に貼り付けられた値割引シールを検出する第２の検出手段と、
前記第２の検出手段により値割引シールが検出されたならば、当該の値割引シールが表す値割引情報を判定する第１の判定手段と、
前記第２の検出手段により値割引シールが検出されていない場合に、前記取得手段により取得された画像にて前記第１の検出手段により検出された手から前記識別手段により識別された商品が離れた際に、当該商品に貼り付けられた値割引シールを検出する第３の検出手段と、
前記第３の検出手段により値割引シールが検出されたならば、当該の値割引シールが表す値割引情報を判定する第２の判定手段と、
前記識別手段により識別された商品を取引商品として登録するとともに、前記第１の判定手段又は前記第２の判定手段により値割引情報が判定されているならば、当該値割引情報を上記の取引商品に関する値割引情報として登録する登録手段と、
して機能させるための情報処理プログラム。
画像を取得する取得手段と、
前記取得手段により取得された画像に映り込んだ手を検出する第１の検出手段と、
前記取得手段により取得された画像に前記第１の検出手段により検出される手に接する状態で映り込んだ商品を当該画像に基づき識別する識別手段と、
前記取得手段により取得された画像に前記第１の検出手段により検出される手に接する状態で映り込んだ商品に貼り付けられた値割引シールを検出する第２の検出手段と、
前記第２の検出手段により値割引シールが検出されたならば、当該の値割引シールが表す値割引情報を判定する第１の判定手段と、
前記第２の検出手段により値割引シールが検出されていない場合に、前記取得手段により取得された画像にて前記第１の検出手段により検出された手から前記識別手段により識別された商品が離れた際に、当該商品に貼り付けられた値割引シールを検出する第３の検出手段と、
前記第３の検出手段により値割引シールが検出されたならば、当該の値割引シールが表す値割引情報を判定する第２の判定手段と、
前記識別手段により識別された商品を取引商品として登録するとともに、前記第１の判定手段又は前記第２の判定手段により値割引情報が判定されているならば、当該値割引情報を上記の取引商品に関する値割引情報として登録する登録手段と、
して機能させるための情報処理プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明の実施形態は、商品登録システム及び情報処理プログラムに関する。
【背景技術】
【0002】
陳列販売型の店舗において、ショッピングカートのカゴ部へと入れるべく購買者が手に持っている商品を画像から識別して、購買予定の商品として自動的に登録するようにした登録システムは既に提案されている。
さらには、商品に貼り付けられた値割引シールを画像から検出して、この値割引シールが表す値割引を上記のように識別した商品に適用することが提案されている。
さらには、商品に貼り付けられた値割引シールを画像から検出して、この値割引シールが表す値割引を上記のように識別した商品に適用することが提案されている。
【0003】
しかしながら、商品が手で持たれている状態においては、値割引シールが手によって覆われて画像に映り込まない状況はしばしば生じる。そしてこのような状況にあっては、商品の識別に用いられた画像に値割引シールが映り込まないこととなり、値割引を適正に適用できなくなってしまう恐れがあった。
このような事情から、値割引シールが貼り付けられている商品に関しての値割引を適正に適用できることが望まれていた。
このような事情から、値割引シールが貼り付けられている商品に関しての値割引を適正に適用できることが望まれていた。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開２０１６－６２５４７号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
本発明が解決しようとする課題は、値割引シールが貼り付けられている商品に関しての値割引を適正に適用可能とする商品登録システム及び情報処理プログラムを提供することである。
【課題を解決するための手段】
【0006】
実施形態の商品登録システムは、取得手段、第１の検出手段、識別手段、第２の検出手段、第１の判定手段、第３の検出手段、第２の判定手段及び登録手段を備える。取得手段は、画像を取得する。第１の検出手段は、取得手段により取得された画像に映り込んだ手を検出する。識別手段は、取得手段により取得された画像に第１の検出手段により検出される手に接する状態で映り込んだ商品を当該画像に基づき識別する。第２の検出手段は、取得手段により取得された画像に第１の検出手段により検出される手に接する状態で映り込んだ商品に貼り付けられた値割引シールを検出する。第１の判定手段は、第２の検出手段により値割引シールが検出されたならば、当該の値割引シールが表す値割引情報を判定する。第３の検出手段は、第２の検出手段により値割引シールが検出されていない場合に、により取得された画像にて第１の検出手段により検出された手から識別手段により識別された商品が離れた際に、当該商品に貼り付けられた値割引シールを検出する。第２の判定手段は、第３の検出手段により値割引シールが検出されたならば、当該の値割引シールが表す値割引情報を判定する。登録手段は、識別手段により識別された商品を取引商品として登録するとともに、第１の判定手段又は第２の判定手段により値割引情報が判定されているならば、当該値割引情報を上記の取引商品に関する値割引情報として登録する。
【図面の簡単な説明】
【0007】
【発明を実施するための形態】
【0008】
以下、実施の形態の一例について図面を用いて説明する。以下においては、店舗における購買者による商品の購買が処理の対象とする取引である取引処理システムを例に挙げる。
図１は本実施形態に係る取引処理システム１の概略構成と、カート端末１００の要部回路構成とを表すブロック図である。
取引処理システム１は、カート端末１００、会計機２００、アテンダント端末３００及びＰＯＳサーバ４００を、通信ネットワーク２を介して通信可能として構成されている。
図１は本実施形態に係る取引処理システム１の概略構成と、カート端末１００の要部回路構成とを表すブロック図である。
取引処理システム１は、カート端末１００、会計機２００、アテンダント端末３００及びＰＯＳサーバ４００を、通信ネットワーク２を介して通信可能として構成されている。
【0009】
通信ネットワーク２は、インターネット、ＶＰＮ（virtual private network）、ＬＡＮ（local area network）、公衆通信網、移動体通信網などを、単独又は適宜に組み合わせて用いることができる。通信ネットワーク２としては、一例として、ＬＡＮ及びインターネットが組み合わせて用いられる。
なお、カート端末１００、会計機２００、アテンダント端末３００及びＰＯＳサーバ４００は、それぞれ任意の数が取引処理システム１に含まれて構わないが、図１では１台ずつのみを表している。
なお、カート端末１００、会計機２００、アテンダント端末３００及びＰＯＳサーバ４００は、それぞれ任意の数が取引処理システム１に含まれて構わないが、図１では１台ずつのみを表している。
【0010】
カート端末１００は、店舗に備え付けのショッピングカート（以下、カートと称する）に取り付けられる情報処理端末である。カート端末１００は、店舗で商品を購買する購買者にカートとともに貸し出される。カート端末１００は、購買者による操作を受けて、購買者が購買を予定する商品を購買商品として登録するための取引処理を実行する端末装置である。カート端末１００は、後述するように、購買商品として登録する商品を、当該商品が映り込んだ画像から識別する処理を実行する。つまりカート端末１００は、商品登録システムとしての機能を備える。
【0011】
会計機２００は、店舗に設置され、カート端末１００により登録された購買商品の代金の決済に関わる会計処理を実行する。会計機２００は、会計処理に際して、操作者による操作を受ける。会計機２００の操作者は、主として購買者である。店員が会計機２００の操作者となる場合もある。
【0012】
アテンダント端末３００は、店員により操作される情報処理端末である。アテンダント端末３００は、取引処理システム１により処理される取引に関する店員の作業をサポートするための情報処理に関するユーザインタフェースのための端末装置である。店員の作業は例えば、処理中である取引の実施状況を監視し、適宜に購買者をサポートする作業である。
ＰＯＳサーバ４００は、カート端末１００における取引処理及び会計機２００における会計処理により処理される商品の売買取引を管理するための管理処理を実行する情報処理装置である。
ＰＯＳサーバ４００は、カート端末１００における取引処理及び会計機２００における会計処理により処理される商品の売買取引を管理するための管理処理を実行する情報処理装置である。
【0013】
カート端末１００は、プロセッサ１０１、メイン記憶ユニット１０２、補助記憶ユニット１０３、タッチパネル１０４、サウンドユニット１０５、カメラ１０６、無線通信ユニット１０７及び伝送路１０８等を備える。プロセッサ１０１と、メイン記憶ユニット１０２、補助記憶ユニット１０３、タッチパネル１０４、サウンドユニット１０５、カメラ１０６及び無線通信ユニット１０７とは、伝送路１０８を介して通信可能とされている。
【0014】
プロセッサ１０１、メイン記憶ユニット１０２及び補助記憶ユニット１０３を伝送路１０８で接続することによって、カート端末１００を制御するための情報処理を行うコンピュータを構成する。
プロセッサ１０１は、上記コンピュータの中枢部分に相当する。プロセッサ１０１は、オペレーティングシステム及びアプリケーションプログラムなどの情報処理プログラムに従って、カート端末１００としての各種の機能を実現するべく各部を制御するための情報処理を実行する。
プロセッサ１０１は、上記コンピュータの中枢部分に相当する。プロセッサ１０１は、オペレーティングシステム及びアプリケーションプログラムなどの情報処理プログラムに従って、カート端末１００としての各種の機能を実現するべく各部を制御するための情報処理を実行する。
【0015】
メイン記憶ユニット１０２は、上記コンピュータの主記憶部分に相当する。メイン記憶ユニット１０２は、読み出し専用のメモリ領域と書き換え可能なメモリ領域とを含む。メイン記憶ユニット１０２は、読み出し専用のメモリ領域では上記の情報処理プログラムの一部を記憶する。またメイン記憶ユニット１０２は、プロセッサ１０１が各部を制御するための処理を実行する上で必要なデータを読み出し専用のメモリ領域又は書き換え可能なメモリ領域で記憶する場合もある。メイン記憶ユニット１０２は、書き換え可能なメモリ領域を、プロセッサ１０１によるワークエリアとして使用する。
【0016】
補助記憶ユニット１０３は、上記コンピュータの補助記憶部分に相当する。補助記憶ユニット１０３は、例えばＥＥＰＲＯＭ（electric erasable programmable read-only memory）、ＨＤＤ（hard disc drive）、ＳＳＤ（solid state drive）、あるいはその他の周知の各種の記憶デバイスを利用できる。補助記憶ユニット１０３は、プロセッサ１０１が各種の処理を行う上で使用するデータと、プロセッサ１０１での処理によって生成されたデータとを記憶する。補助記憶ユニット１０３は、上記の情報処理プログラムを記憶する場合もある。補助記憶ユニット１０３は、本実施形態では、情報処理プログラムの１つであるカート端末プログラムＰＲＡを記憶する。カート端末プログラムＰＲＡは、取引処理の手順について記述されたアプリケーションプログラムである。補助記憶ユニット１０３の記憶領域の一部は、取引データＤＡＡを記憶する領域として利用される。取引データＤＡＡは、一取引の内容を表すデータである。
【0017】
タッチパネル１０４は、操作者に対する情報提示のための画面を表示する。またタッチパネル１０４は、操作者による画面へのタッチ操作による指示を入力する。
サウンドユニット１０５は、各種の案内や警報のための音を出力する。サウンドユニットとしては、例えば音声合成デバイス及びブザーなどの周知の種々のサウンドデバイスを、単独又は組み合わせて用いることができる。
サウンドユニット１０５は、各種の案内や警報のための音を出力する。サウンドユニットとしては、例えば音声合成デバイス及びブザーなどの周知の種々のサウンドデバイスを、単独又は組み合わせて用いることができる。
【0018】
カメラ１０６は、カートに載置される買物カゴの内部空間の全体を包含する撮影範囲を撮影して画像を得る。そしてカメラ１０６は、撮影により得た画像を表した画像データを出力する。なおカメラ１０６は、撮影を一定周期で繰り返すのでも構わないし、プロセッサ１０１からの指示に応じて撮影を行うのでも構わない。カメラ１０６に代えて、カートに固定されて、カート端末１００に接続されたカメラを用いても構わない。
【0019】
無線通信ユニット１０７は、通信ネットワーク２を介したデータ通信を無線で行うための通信処理を実行する。無線通信ユニット１０７としては、例えば無線ＬＡＮ用の既存の無線通信デバイスを用いることができる。なお、無線通信ユニット１０７に代えて、あるいは加えて、通信ネットワーク２に有線接続される通信ユニットが用いられても構わない。
伝送路１０８は、アドレスバス、データバス及び制御信号線等を含み、接続された各部の間で授受されるデータ及び制御信号を伝送する。
伝送路１０８は、アドレスバス、データバス及び制御信号線等を含み、接続された各部の間で授受されるデータ及び制御信号を伝送する。
【0020】
カート端末１００の基本ハードウェアとしては、例えばタブレット型の情報処理装置のハードウェアを用いることが想定される。そしてカート端末１００の譲渡は一般に、補助記憶ユニット１０３にカート端末プログラムＰＲＡが記憶された状態にて行われる。しかし、カート端末プログラムＰＲＡが補助記憶ユニット１０３に記憶されない状態、あるいは同種の別バージョンのアプリケーションプログラムが補助記憶ユニット１０３に記憶された状態のハードウェアと、カート端末プログラムＰＲＡとが個別に譲渡されても構わない。そして、任意の作業者の操作に応じて、補助記憶ユニット１０３にカート端末プログラムＰＲＡが書き込まれることによって、カート端末１００が構成されても構わない。カート端末プログラムＰＲＡの譲渡は、磁気ディスク、光磁気ディスク、光ディスク、半導体メモリなどのようなリムーバブルな記録媒体に記録して、あるいはネットワークを介した通信により行うことができる。
【0021】
図２はカートへのカート端末１００の取り付け状況の一例を表す斜視図である。
カート９００は、キャスタ部９１０、ハンドルフレーム部９２０、カゴ部９３０、支持部９４０及びバッテリケース９５０を備えている。
キャスタ部９１０は、カート９００を床面上で円滑に移動させるための４つの車輪９１１を有する。車輪９１１は、フレーム９１２に対して、鉛直方向の軸周りで回転可能な状態で取り付けられている。
カート９００は、キャスタ部９１０、ハンドルフレーム部９２０、カゴ部９３０、支持部９４０及びバッテリケース９５０を備えている。
キャスタ部９１０は、カート９００を床面上で円滑に移動させるための４つの車輪９１１を有する。車輪９１１は、フレーム９１２に対して、鉛直方向の軸周りで回転可能な状態で取り付けられている。
【0022】
ハンドルフレーム部９２０は、一対の縦フレーム９２１，９２１及びハンドルバー９２２を含む。縦フレーム９２１，９２１は、キャスタ部９１０の２つの車輪の上方に立設される。ハンドルバー９２２は、縦フレーム９２１，９２１の上端を連結する。
カゴ部９３０は、ハンドルフレーム部９２０の中途部位から水平に向けて設けられる。カゴ部９３０は、上方が商品を入れることが可能に開口したカゴ状をなしており、購買者が購買を予定する商品を収容するための容器として機能する。
カゴ部９３０は、ハンドルフレーム部９２０の中途部位から水平に向けて設けられる。カゴ部９３０は、上方が商品を入れることが可能に開口したカゴ状をなしており、購買者が購買を予定する商品を収容するための容器として機能する。
【0023】
支持部９４０は、ポール９４１を含む。ポール９４１は、一方の縦フレーム９２１に、その先端がハンドルバー９２２よりも上方に位置するように取り付けられている。そして、このポール９４１の先端部に上述のカート端末１００が取り付けられている。これにより支持部９４０は、カート端末１００を図２に表す状態に支持する。図２に表す状態において、カート端末１００に備えられたカメラ１０６は、タッチパネル１０４の設置面とは反対側の面に設けられていて、図２には表れていない。かくして当該のカメラ１０６は、カゴ部９３０を俯瞰撮影することができる状態にある。
バッテリケース９５０は、ハンドルフレーム部９２０の下端側にて、縦フレーム９２１，９２１の間に取り付けられている。バッテリケース９５０は、カート端末１００の外部電源として用いられるバッテリを収容する。
バッテリケース９５０は、ハンドルフレーム部９２０の下端側にて、縦フレーム９２１，９２１の間に取り付けられている。バッテリケース９５０は、カート端末１００の外部電源として用いられるバッテリを収容する。
【0024】
次に以上のように構成された取引処理システム１の動作について説明する。なお、以下に説明する各種の処理の内容は一例であって、一部の処理の順序の変更、一部の処理の省略、あるいは別の処理の追加などは適宜に可能である。例えば、以下の説明では、本実施形態の特徴的な動作を分かり易く説明するために、一部の処理についての説明を省略している。例えば、何らかのエラーが発生した場合に、そのエラーに対処するための処理が行われる場合がある。また例えば、各種の待ち受け状態においては、説明するのとは異なる事象の発生も待ち受け、発生した事象に応じた処理へと移行する場合もある。
【0025】
物販店の客、つまり当該物販店で陳列販売される商品を購買しようとする購買者は、未使用状態となっているカート端末１００で、利用開始のための予め定められた操作を行う。この操作が行われるとプロセッサ１０１は、カート端末プログラムＰＲＡに基づく取引処理を開始する。
【0026】
図３及び図４は取引処理のフローチャートである。
図３中のＡＣＴ１１としてプロセッサ１０１は、対象の取引に関する新たな取引データＤＡＡを生成する。つまりプロセッサ１０１は例えば、他の取引を識別するための取引コードとは異なる新たな取引コードを予め定められたルールに従って決定し、この取引コードを含み、購買商品に関する商品情報は含まない新たな取引データＤＡＡを生成し、補助記憶ユニット１０３に記憶させる。
図３中のＡＣＴ１１としてプロセッサ１０１は、対象の取引に関する新たな取引データＤＡＡを生成する。つまりプロセッサ１０１は例えば、他の取引を識別するための取引コードとは異なる新たな取引コードを予め定められたルールに従って決定し、この取引コードを含み、購買商品に関する商品情報は含まない新たな取引データＤＡＡを生成し、補助記憶ユニット１０３に記憶させる。
【0027】
ＡＣＴ１２としてプロセッサ１０１は、画像の取得タイミングとなったかを確認する。そしてプロセッサ１０１は、該当の事象を確認できないならばＮＯと判定し、ＡＣＴ１３へと進む。なお取得タイミングは例えば、ＡＣＴ１１からＡＣＴ１２へと進んだ直後のタイミングと、それ以降の一定の時間間隔毎のタイミングなどとすることが想定される。取得タイミングは、例えばカート端末プログラムＰＲＡの作成者などによって適宜に定められて構わない。ただし、取得タイミングは、カゴ部９３０へと入れられる商品がカメラ１０６の撮影範囲を通過する間に、少なくとも１回、好ましくは複数回にわたり到来するように定められるべきである。
【0028】
ＡＣＴ１３としてプロセッサ１０１は、会計が要求されたかを確認する。そしてプロセッサ１０１は、該当の事象を確認できないならばＮＯと判定し、ＡＣＴ１２へと戻る。
かくしてプロセッサ１０１は、ＡＣＴ１２及びＡＣＴ１３としては、取得タイミングとなるか、あるいは会計が要求されるのを待ち受ける。
かくしてプロセッサ１０１は、ＡＣＴ１２及びＡＣＴ１３としては、取得タイミングとなるか、あるいは会計が要求されるのを待ち受ける。
【0029】
プロセッサ１０１は、取得タイミングとなると、ＡＣＴ１２にてＹＥＳと判定してＡＣＴ１４へと進む。
ＡＣＴ１４としてプロセッサ１０１は、カメラ１０６が出力する画像データを取得する。プロセッサ１０１は例えば、カメラ１０６が一定周期で撮影を繰り返しているのであれば、カメラ１０６が最も新しく行った撮影に応じて出力する画像データを取得する。プロセッサ１０１は例えば、カメラ１０６がプロセッサ１０１からの指示に応じて撮影を行うのであれば、撮影をカメラ１０６に対して指示し、これに応じてカメラ１０６が撮影を行って出力する画像データを取得する。そしてプロセッサ１０１は、取得した画像データをメイン記憶ユニット１０２又は補助記憶ユニット１０３に保存する。かくしてカート端末プログラムＰＲＡに基づく情報処理をプロセッサ１０１が実行することによって、プロセッサ１０１を中枢部分とするコンピュータは、画像データが表す画像を取得する取得手段として機能する。
ＡＣＴ１４としてプロセッサ１０１は、カメラ１０６が出力する画像データを取得する。プロセッサ１０１は例えば、カメラ１０６が一定周期で撮影を繰り返しているのであれば、カメラ１０６が最も新しく行った撮影に応じて出力する画像データを取得する。プロセッサ１０１は例えば、カメラ１０６がプロセッサ１０１からの指示に応じて撮影を行うのであれば、撮影をカメラ１０６に対して指示し、これに応じてカメラ１０６が撮影を行って出力する画像データを取得する。そしてプロセッサ１０１は、取得した画像データをメイン記憶ユニット１０２又は補助記憶ユニット１０３に保存する。かくしてカート端末プログラムＰＲＡに基づく情報処理をプロセッサ１０１が実行することによって、プロセッサ１０１を中枢部分とするコンピュータは、画像データが表す画像を取得する取得手段として機能する。
【0030】
ＡＣＴ１５としてプロセッサ１０１は、上記の取得した画像データが表す画像から、手が映り込んでいる領域（以下、手領域と称する）、商品が映り込んでいる領域（以下、商品領域と称する）、商品領域中で値割引シールが映り込んでいる領域（以下、シール領域と称する）をそれぞれ検出する。ここで抽出する諸領域の判定には、例えばＣＮＮ（convolutional neural network）を利用した深層学習（deep learning）、あるいはグラフカット（graph cuts）を利用する周知の方法等を用いることが可能であり、その方法は問わない。なお、値割引シールは、商品の個々に適宜に貼り付けられ、その貼り付けられた商品に関して、本来の単価に対する値引き又は割引を適用することを表す。値割引シールは、表している値割引情報がそれぞれ異なる複数種が存在する。値割引シールが表す値割引情報は、値引き及び割引のいずれを適用するかと、適用する値引き額又は割引率とを認識可能とする情報である。
【0031】
かくして、カート端末プログラムＰＲＡに基づく情報処理をプロセッサ１０１が実行することによって、プロセッサを中枢部分とするコンピュータは第１の検出手段、第２の検出手段及び第３の検出手段として機能する。
ＡＣＴ１６としてプロセッサ１０１は、手領域の検出に成功したかを確認する。そしてプロセッサ１０１は、ＡＣＴ１５にて手領域を検出できなかったならばＮＯと判定し、ＡＣＴ１２及びＡＣＴ１３の待ち受け状態に戻る。
ＡＣＴ１６としてプロセッサ１０１は、手領域の検出に成功したかを確認する。そしてプロセッサ１０１は、ＡＣＴ１５にて手領域を検出できなかったならばＮＯと判定し、ＡＣＴ１２及びＡＣＴ１３の待ち受け状態に戻る。
【0032】
購買者は、購買商品を店舗内で探す。そして購買者は、購買する商品を売場から手に持って取り出し、カゴ部９３０に入れる。このときに購買者の手が、カメラ１０６の撮影範囲に入り、カメラ１０６が出力する画像データが表す画像に映り込むことになる。つまりプロセッサ１０１は、このように購買者が商品をカゴ部９３０に入れようとされるまでは、取得タイミングとなってもＡＣＴ１５にて手領域を検出することはないのでＡＣＴ１６にてＮＯと判定し、ＡＣＴ１２及びＡＣＴ１３の待ち受け状態へと戻ることを繰り返す。そしてプロセッサ１０１は、購買者がカゴ部９３０に入れようとして手が画像に映り込むと、ＡＣＴ１５にて手領域を検出できることとなる。そしてプロセッサ１０１はこの場合には、ＡＣＴ１６にてＹＥＳと判定してＡＣＴ１７へと進む。
【0033】
ＡＣＴ１７としてプロセッサ１０１は、購買商品として登録するための候補となる商品（以下、候補商品と称する）が後述するように設定済みであるかを確認する。そしてプロセッサ１０１は、該当の事象を確認できないならばＮＯと判定し、ＡＣＴ１８へと進む。
ＡＣＴ１８としてプロセッサ１０１は、手領域に接する商品領域がＡＣＴ１５にて検出できているかを確認する。そしてプロセッサ１０１は、該当の商品領域が検出できていることを確認できないならばＮＯと判定し、ＡＣＴ１２及びＡＣＴ１３の待ち受け状態に戻る。しかしながら購買者が手に持った商品をカゴ部９３０に入れようとしているのであれば手領域に接する状態で商品領域をＡＣＴ１５にて検出できる。そしてプロセッサ１０１は、このように手領域に接する商品領域がＡＣＴ１５にて検出できているならば、ＡＣＴ１８にてＹＥＳと判定し、ＡＣＴ１９へと進む。
ＡＣＴ１８としてプロセッサ１０１は、手領域に接する商品領域がＡＣＴ１５にて検出できているかを確認する。そしてプロセッサ１０１は、該当の商品領域が検出できていることを確認できないならばＮＯと判定し、ＡＣＴ１２及びＡＣＴ１３の待ち受け状態に戻る。しかしながら購買者が手に持った商品をカゴ部９３０に入れようとしているのであれば手領域に接する状態で商品領域をＡＣＴ１５にて検出できる。そしてプロセッサ１０１は、このように手領域に接する商品領域がＡＣＴ１５にて検出できているならば、ＡＣＴ１８にてＹＥＳと判定し、ＡＣＴ１９へと進む。
【0034】
ＡＣＴ１９としてプロセッサ１０１は、商品識別処理を実行する。商品識別処理は、手領域に接する商品領域の画像に基づき、当該商品領域に映り込んでいる商品を識別する処理である。この商品識別処理の手法については、例えば画像認識に適した手法であるＣＮＮを利用した深層学習を利用する。あるいは、ＯＣＲ（optical character recognition）又は特徴点マッチング等の手法を利用する等、その方法は問わない。かくしてカート端末プログラムＰＲＡに基づく情報処理をプロセッサ１０１が実行することによって、プロセッサ１０１を中枢部分とするコンピュータは識別手段として機能する。
【0035】
ＡＣＴ２０としてプロセッサ１０１は、ＡＣＴ１９における識別に成功したかを確認する。そしてプロセッサ１０１は、識別に成功しているならばＹＥＳと判定し、ＡＣＴ２１へと進む。
ＡＣＴ２１としてプロセッサ１０１は、ＡＣＴ１９で識別した商品を候補商品に設定する。そしてプロセッサ１０１はこののち、ＡＣＴ２２へと進む。なおプロセッサ１０１は、ＡＣＴ１９における識別に成功しなかった場合には、ＡＣＴ２０にてＮＯと判定し、ＡＣＴ２１をパスしてＡＣＴ２２へと進む。
ＡＣＴ２１としてプロセッサ１０１は、ＡＣＴ１９で識別した商品を候補商品に設定する。そしてプロセッサ１０１はこののち、ＡＣＴ２２へと進む。なおプロセッサ１０１は、ＡＣＴ１９における識別に成功しなかった場合には、ＡＣＴ２０にてＮＯと判定し、ＡＣＴ２１をパスしてＡＣＴ２２へと進む。
【0036】
ＡＣＴ２２としてプロセッサ１０１は、シール領域がＡＣＴ１５にて検出できているかを確認する。そしてプロセッサ１０１は、シール領域が検出できていることを確認できないならばＮＯと判定し、ＡＣＴ１２及びＡＣＴ１３の待ち受け状態に戻る。しかしながらプロセッサ１０１は、シール領域が検出できているならばＹＥＳと判定し、ＡＣＴ２３へと進む。
【0037】
ＡＣＴ２３としてプロセッサ１０１は、シール識別処理を実行する。シール識別処理は、ＡＣＴ１５にて検出されたシール領域の画像に基づき、当該シール領域に映り込んでいる値割引シールの種類を識別する処理である。このシール識別処理の手法については、例えば画像認識に適した手法であるＣＮＮを利用した深層学習を利用する。あるいは、ＯＣＲ又は特徴点マッチング等の手法を利用する等、その方法は問わない。複数種の値割引シールは、表している値割引情報がそれぞれ異なるから、値割引シールを識別することは、値割引シールが表す値割引情報を判定することになる。かくしてカート端末プログラムＰＲＡに基づく情報処理をプロセッサ１０１が実行することによって、プロセッサ１０１を中枢部分とするコンピュータは第１の判定手段として機能する。
ＡＣＴ２４としてプロセッサ１０１は、ＡＣＴ２３で識別した値割引シールが表す値割引情報をメイン記憶ユニット１０２又は補助記憶ユニット１０３に保存する。そしてプロセッサ１０１はこののち、ＡＣＴ１２及びＡＣＴ１３の待ち受け状態に戻る。
ＡＣＴ２４としてプロセッサ１０１は、ＡＣＴ２３で識別した値割引シールが表す値割引情報をメイン記憶ユニット１０２又は補助記憶ユニット１０３に保存する。そしてプロセッサ１０１はこののち、ＡＣＴ１２及びＡＣＴ１３の待ち受け状態に戻る。
【0038】
プロセッサ１０１は、このようにＡＣＴ２１にて候補商品を設定したのちにＡＣＴ１２及びＡＣＴ１３の待ち受け状態に戻った場合、その後の取得タイミングにおいては、ＡＣＴ１６及びＡＣＴ１７にていずれもＹＥＳと判定することとなり、図４中のＡＣＴ３１へと進む。
ＡＣＴ３１としてプロセッサ１０１は、それまで手領域に接していた商品領域が手領域から離れたかを確認する。
ＡＣＴ３１としてプロセッサ１０１は、それまで手領域に接していた商品領域が手領域から離れたかを確認する。
【0039】
購買者が商品を持ったままであれば、手領域と商品領域とが接したままとなる。そこでこの場合にプロセッサ１０１は、ＡＣＴ３１にてＮＯと判定し、そのまま図３中のＡＣＴ１２及びＡＣＴ１３の待ち受け状態に戻る。つまりプロセッサ１０１は、候補商品が設定済みの状況では、購買者が商品から手を離すのを待ち受けることになる。そして購買者が、カゴ部９３０に入れ終えた商品から手を離せば、該当の商品領域が手領域から離れることとなる。そしてこれに応じてプロセッサ１０１は、図４中のＡＣＴ３１にてＹＥＳと判定し、ＡＣＴ３２へと進む。
【0040】
ＡＣＴ３２としてプロセッサ１０１は、図３中のＡＣＴ２４にて値割引情報を保存済みであるかを確認する。そしてプロセッサ１０１は、ＡＣＴ２４を実行していないために保存済みであると確認できないならばＮＯと判定し、図４中のＡＣＴ３３へと進む。
ＡＣＴ３３としてプロセッサ１０１は、シール領域が図３中のＡＣＴ１５にて検出できているかを確認する。そしてプロセッサ１０１は、シール領域が検出できているならばＹＥＳと判定し、図４中のＡＣＴ３４へと進む。
ＡＣＴ３３としてプロセッサ１０１は、シール領域が図３中のＡＣＴ１５にて検出できているかを確認する。そしてプロセッサ１０１は、シール領域が検出できているならばＹＥＳと判定し、図４中のＡＣＴ３４へと進む。
【0041】
ＡＣＴ３４としてプロセッサ１０１は、ＡＣＴ２３と同様にシール識別処理を実行する。かくしてカート端末プログラムＰＲＡに基づく情報処理をプロセッサ１０１が実行することによって、プロセッサ１０１を中枢部分とするコンピュータは第２の判定手段として機能する。
【0042】
ＡＣＴ３５としてプロセッサ１０１は、ＡＣＴ３４で識別した値割引シールが表す値割引情報をメイン記憶ユニット１０２又は補助記憶ユニット１０３に保存する。そしてプロセッサ１０１はこののち、ＡＣＴ３６へと進む。なおプロセッサ１０１は、図３中のＡＣＴ２４にて値割引情報を保存済みであるならば、ＡＣＴ３２にてＹＥＳと判定し、ＡＣＴ３３～ＡＣＴ３５をパスしてＡＣＴ３６へと進む。またプロセッサ１０１は、シール領域が検出できていることを確認できないならばＡＣＴ３３にてＮＯと判定し、ＡＣＴ３４及びＡＣＴ３５をパスしてＡＣＴ３６へと進む。
【0043】
ＡＣＴ３６としてプロセッサ１０１は、候補商品を識別する商品コードを購買商品の商品コードとして含むように取引データＤＡＡを更新する。またここでプロセッサ１０１は、値割引情報が保存されているならば、当該値割引情報を、上記のように追加した商品コードに関連付けて含むように取引データＤＡＡを更新する。かくしてカート端末プログラムＰＲＡに基づく情報処理をプロセッサ１０１が実行することによって、プロセッサ１０１を中枢部分とするコンピュータは登録手段として機能する。そしてプロセッサ１０１はこののち、図３中のＡＣＴ１２及びＡＣＴ１３の待ち受け状態に戻る。
【0044】
購買者は、購買商品の登録を終えたならば、会計の開始を指示するための予め定められた操作を例えばタッチパネル１０４にて行う。これに応じてプロセッサ１０１は、図３中のＡＣＴ１３にてＹＥＳと判定し、会計処理へと進む。会計処理は、例えば既存のカートＰＯＳシステムで行われているのと同様の処理で構わず、その図示は省略する。例えばプロセッサ１０１は、取引データＤＡＡを会計機２００に受け渡すための処理を会計処理として行う。あるいは、カート９００に図示しない決済端末が取り付けられ、当該決済端末がカート端末１００に接続されているならば、この決済端末を用いてのクレジット決済やコード決済などを行うための処理を会計処理として行うのでも構わない。
【0045】
以上のようにカート端末１００は、カゴ部９３０へと入れるべく手により持たれた状態の商品を画像に基づき識別し、当該商品を購買商品として登録する。そしてカート端末１００は、商品の識別に際して、値割引シールの検出に成功した場合には、その値割引シールを識別する。カート端末１００は、商品の識別に際して値割引シールの検出に成功しなかった場合には、商品から手が離れた際に値割引シールを検出し、検出に成功したならばその値割引シールを識別する。そしてカート端末は、いずれかのタイミングで値割引シールを識別したならば、その識別した値割引シールが表す値割引情報を、上記の登録した購買商品に関する値割引情報として登録する。かくして、手により持たれた状態では手により隠されて値割引シールが検出できなかったとしても、その値割引シールが手から離されたときに画像に映り込む状態にあれば、その値割引シールに基づく値割引を適正に適用することが可能となる。
【0046】
この実施形態は、次のような種々の変形実施が可能である。
上記の実施形態においてプロセッサ１０１が実行している処理の一部を、ＰＯＳサーバ４００、あるいはその他の任意の１又は複数の情報処理装置にて実行するのでも構わない。例えば、カート端末１００では、ユーザインタフェース動作のみを行い、取引処理の主要な処理はＰＯＳサーバ４００に備えられたコンピュータにより実行されるのでも構わない。つまり、取得手段、第１の検出手段、識別手段、第２の検出手段、第１の判定手段、第３の検出手段、第２の判定手段及び登録手段のそれぞれは、取引処理システム１に含まれるカート端末１００以外のＰＯＳサーバ４００などの任意の情報処理装置に備えられても構わない。
上記の実施形態においてプロセッサ１０１が実行している処理の一部を、ＰＯＳサーバ４００、あるいはその他の任意の１又は複数の情報処理装置にて実行するのでも構わない。例えば、カート端末１００では、ユーザインタフェース動作のみを行い、取引処理の主要な処理はＰＯＳサーバ４００に備えられたコンピュータにより実行されるのでも構わない。つまり、取得手段、第１の検出手段、識別手段、第２の検出手段、第１の判定手段、第３の検出手段、第２の判定手段及び登録手段のそれぞれは、取引処理システム１に含まれるカート端末１００以外のＰＯＳサーバ４００などの任意の情報処理装置に備えられても構わない。
【0047】
また、取引処理は、取引処理システム１に含まれる複数の情報処理装置にて適宜に分散して処理されても構わない。つまり、上記の実施形態では、カート端末１００が単独で商品登録システムの機能を実現するものであるが、例えばカート端末１００とＰＯＳサーバ４００とで分散して処理することにより、それらの複数の装置により商品登録システムが構成されるのであっても構わない。
【0048】
情報処理によりプロセッサ１０１が実現する各機能は、その一部又は全てをロジック回路などのようなプログラムに基づかない情報処理を実行するハードウェアにより実現することも可能である。また上記の各機能のそれぞれは、上記のロジック回路などのハードウェアにソフトウェア制御を組み合わせて実現することも可能である。
【0049】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【0050】
１…取引処理システム、２…通信ネットワーク、１００…カート端末、１０１…プロセッサ、１０２…メイン記憶ユニット、１０３…補助記憶ユニット、１０４…タッチパネル、１０５…サウンドユニット、１０６…カメラ、１０７…無線通信ユニット、１０８…伝送路、２００…会計機、３００…アテンダント端末、４００…ＰＯＳサーバ。
【図1】
【図2】
【図3】
【図4】
