特開 2022-187808 商品販売データ処理装置及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022187808

(43)【公開日】2022-12-20

(54)【発明の名称】商品販売データ処理装置及びプログラム

(51)【国際特許分類】

   G07G 1/00 20060101AFI20221213BHJP

   G07G 1/12 20060101ALI20221213BHJP

   G07G 1/01 20060101ALI20221213BHJP

   G06T 7/00 20170101ALI20221213BHJP

【ＦＩ】

G07G1/00 311D

G07G1/00 311E

G07G1/12 361E

G07G1/01 301D

G06T7/00 250

【審査請求】未請求

【請求項の数】6

【出願形態】ＯＬ

(21)【出願番号】P 2021095996

(22)【出願日】2021-06-08

(71)【出願人】

【識別番号】000003562

【氏名又は名称】東芝テック株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】久保田 卓秀

【テーマコード（参考）】

3E142

5L096

【Ｆターム（参考）】

3E142AA01

3E142BA01

3E142CA12

3E142CA17

3E142DA08

3E142DA09

3E142EA02

3E142FA31

3E142GA16

3E142JA01

5L096AA02

5L096AA06

5L096CA02

5L096DA01

5L096FA14

5L096FA15

5L096HA11

5L096JA11

(57)【要約】

【課題】商品に貼付された値引き情報を有するラベルの読み取りを、より低い通信負荷で行うことが可能な商品販売データ処理装置及びプログラムを提供する。
【解決手段】携帯端末（商品販売データ処理装置）は、商品を一意に特定する商品情報を取得する商品情報取得部と、商品の値引き情報を有する値引きラベル（シンボル）を含む画像を撮像する撮像処理部と、撮像された画像の中から、少なくとも値引きラベルを含む領域を抽出する値引きラベル領域抽出部（領域抽出部）と、抽出された領域の画像をＯＣＲ実行サーバ（サーバ装置）に送信する画像情報送信部（送信部）と、ＯＣＲ実行サーバから、画像情報送信部が送信した画像に基づく商品の値引き情報を取得する値引き情報取得部と、商品情報取得部が取得した商品情報と、値引き情報取得部が取得した値引き情報に基づく商品の金額と、を関連付けて登録する商品情報登録部と、を備える。
【選択図】図３

【特許請求の範囲】

【請求項1】

商品を一意に特定する商品情報を取得する商品情報取得部と、
前記商品の値引き情報を有するシンボルを含む画像を撮像する撮像処理部と、
前記撮像処理部が撮像した画像の中から、少なくとも前記シンボルを含む領域を抽出する領域抽出部と、
前記領域抽出部が抽出した領域の画像をサーバ装置に送信する送信部と、
前記サーバ装置から、前記送信部が送信した画像に基づく前記商品の値引き情報を取得する値引き情報取得部と、
前記商品情報取得部が取得した商品情報と、前記値引き情報取得部が取得した値引き情報に基づく商品の金額と、を関連付けて登録する商品情報登録部と、
を備える商品販売データ処理装置。

【請求項2】

前記領域抽出部は、前記シンボルを含む領域を抽出して、抽出した領域の中の前記シンボル以外の領域に所定の値を書き込む、
請求項１に記載の商品販売データ処理装置。

【請求項3】

前記領域抽出部が抽出した領域の画像を、所定のサイズにリサイズするサイズ調整部を更に備えて、
前記送信部は、前記サイズ調整部によってリサイズされた領域の画像を、前記サーバ装置に送信する、
請求項１または請求項２に記載の商品販売データ処理装置。

【請求項4】

前記撮像処理部は、前記シンボルを含む画像を撮像する際に、当該画像をモニタする画面に、前記シンボルの適切な撮像サイズを示す情報を表示させる、
請求項１から請求項３のいずれか１項に記載の商品販売データ処理装置。

【請求項5】

前記商品販売データ処理装置は、客が所持する携帯端末である、
請求項１から請求項４のいずれか１項に記載の商品販売データ処理装置。

【請求項6】

コンピュータを、
商品を一意に特定する情報を取得する商品情報取得部と、
前記商品の値引き情報を有するシンボルを含む画像を撮像する撮像処理部と、
前記撮像処理部が撮像した画像の中から、少なくとも前記シンボルを含む領域を抽出する領域抽出部と、
前記領域抽出部が抽出した領域の画像をサーバ装置に送信する送信部と、
前記サーバ装置から、前記送信部が送信した画像に基づく前記商品の値引き情報を取得する値引き情報取得部と、
前記商品情報取得部が取得した商品情報と、前記値引き情報取得部が取得した値引き情報に基づく商品の金額と、を関連付けて登録する商品情報登録部と、
して機能させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施形態は、商品販売データ処理装置及びプログラムに関する。

【背景技術】

【0002】

スーパーマーケットやショッピングセンター等の店舗において、消費者が所持するスマートフォンやタブレット端末等の携帯端末に専用のアプリケーションを実装することによって、携帯端末に、従来のＰＯＳ（Point Of Sales）端末が備える商品登録機能や決済機能を持たせたセルフショッピングシステムが知られている（例えば、特許文献１）。

【0003】

特許文献１のセルフショッピングシステムにおいて、客は、自身が所持する携帯端末によって、クーポン券や割引券などの紙面を撮像する。撮像された画像は管理サーバに送信されて、管理サーバにおいて、画像に写った割引額や割引率が認識される。これによって、商品の割引額が算出される。

【0004】

このような構成のセルフショッピングシステムにあっては、撮像された画像の全てが管理サーバに送信されるため、通信負荷が高いという課題があった。

【発明の概要】

【発明が解決しようとする課題】

【0005】

本発明が解決しようとする課題は、商品に貼付された値引き情報を有するラベルの読み取りを、より低い通信負荷で行うことが可能な商品販売データ処理装置及びプログラムを提供することである。

【課題を解決するための手段】

【0006】

実施形態の商品販売データ処理装置は、商品情報取得部と、撮像処理部と、領域抽出部と、送信部と、値引き情報取得部と、商品情報登録部とを備える。商品情報取得部は、商品を一意に特定する情報を取得する。撮像処理部は、商品の値引き情報を有するシンボルを含む画像を撮像する。領域抽出部は、撮像処理部が撮像した画像の中から、少なくともシンボルを含む領域を抽出する。送信部は、領域抽出部が抽出した領域の画像をサーバ装置に送信する。値引き情報取得部は、サーバ装置から、送信部が送信した画像に基づく商品の値引き情報を取得する。商品情報登録部は、商品情報取得部が取得した商品情報と、値引き情報取得部が取得した値引き情報に基づく商品の金額と、を関連付けて登録する。

【図面の簡単な説明】

【0007】

【図1】図１は、実施形態に係るセルフチェックアウトシステムのシステム構成の一例を示すシステム構成図である。

【図2】図２は、実施形態に係る携帯端末のハードウェア構成の一例を示すハードウェアブロック図である。

【図3】図３は、実施形態に係る携帯端末の機能構成の一例を示す機能ブロック図である。

【図4】図４は、商品に付されたバーコードと値引きラベルの一例を示す図である。

【図5】図５は、値引きラベルの一例を示す図である。

【図6】図６は、携帯端末が、値引きラベルを含む領域を抽出する方法を説明する図である。

【図7】図７は、実施形態に係るセルフチェックアウトシステムが行う処理の流れの一例を説明するフローチャートである。

【図8】図８は、実施形態の変形例における、値引きラベルの撮像状態を説明する図である。

【発明を実施するための形態】

【0008】

以下、添付図面を参照して、本願発明の実施形態について説明する。以下に示す実施形態では、本願発明の商品販売データ処理装置を、客が購入する商品の登録機能及び決済機能を備えたセルフチェックアウトシステム１に適用した例について説明する。

【0009】

（セルフチェックアウトシステムの全体構成）
図１は、実施形態に係るセルフチェックアウトシステムのシステム構成の一例を示すシステム構成図である。図１に示すように、セルフチェックアウトシステム１は、携帯端末１０と、ＯＣＲ実行サーバ３０と、店舗サーバ４０と、ＰＯＳ端末５０とを備える。

【0010】

携帯端末１０とＯＣＲ実行サーバ３０、及び携帯端末１０と店舗サーバ４０とは、非図示の公衆回線等を介して、互いに通信可能に接続されている。また、店舗サーバ４０とＰＯＳ端末５０とは、ＬＡＮ（Local Area Network）等の非図示のネットワークを介して、互いに通信可能に接続されている。

【0011】

携帯端末１０は、買物中の客が所持する、スマートフォンやタブレット端末等の携帯型端末である。携帯端末１０は、客が買物を行う際に、購入する商品を登録する商品登録処理と、登録した商品の決済を行う決済処理とを行う。なお、携帯端末１０は、本開示における商品販売データ処理装置の一例である。

【0012】

商品登録処理を行う際に、携帯端末１０は、商品に貼付または印刷されたバーコードや２次元コード等のコードシンボルを読み取って、当該コードシンボルに登録されているコード情報をデコードする。そして、携帯端末１０は、デコードしたコード情報を店舗サーバ４０に送信する。店舗サーバ４０は、携帯端末１０から受信したコード情報と商品マスタとを照合することによって、コード情報に対応する、商品名や価格等の商品情報を取得する。そして、携帯端末１０は、店舗サーバ４０が送信した商品情報を受信する。

【0013】

また、携帯端末１０は、商品に貼付された値引きラベルＬ（図４参照）を撮像して、撮像された画像の中から、値引きラベルＬを含む領域を抽出する。そして、携帯端末１０は、抽出された領域の画像をＯＣＲ実行サーバ３０に送信する。更に、携帯端末１０は、ＯＣＲ実行サーバ３０から、当該ＯＣＲ実行サーバ３０が値引きラベルＬの文字情報を認識した結果である値引き情報を受信する。

【0014】

携帯端末１０は、店舗サーバ４０から受信した商品情報と、ＯＣＲ実行サーバ３０から受信した値引き情報と、に基づいて商品の価格を算出して、当該商品を登録する。

【0015】

なお、セルフチェックアウトシステム１は、ＯＣＲ実行サーバ３０と店舗サーバ４０とが、非図示のネットワークを介して互いに通信を行うことによって、ＯＣＲ実行サーバ３０が、ＯＣＲ処理によって認識した値引き情報を店舗サーバ４０に送信して、店舗サーバ４０が値引き後の商品の金額を算出して携帯端末１０に返す構成であってもよい。

【0016】

ＯＣＲ実行サーバ３０は、携帯端末１０が送信した、値引きラベルＬを含む領域の画像を受信する。また、ＯＣＲ実行サーバ３０は、受信した画像に写った値引きラベルＬの文字情報を認識するＯＣＲ（Optical Character Recognition）処理を行う。更に、ＯＣＲ実行サーバ３０は、ＯＣＲ処理によって認識された値引き情報を携帯端末１０に送信する。なお、ＯＣＲ実行サーバ３０は、本開示におけるサーバ装置の一例である。

【0017】

なお、ＯＣＲ処理は、公知のアルゴリズムによって実行される。ＯＣＲ処理は、例えば、与えられたデータを、予め用意された教師データの中の最も近いパターンに分類するｋ近傍（k-Nearest Neighbor）法や、教師ありの機械学習アルゴリズムの一種であるＳＶＭ（Support Vector Machine）法、または、ニューラルネットワークを用いて、与えられたデータの特徴を自動的に抽出して分類する深層学習（Deep Learning）等を用いることによって行われる。

【0018】

店舗サーバ４０は、携帯端末１０が送信した、商品のコード情報を受信する。また、店舗サーバ４０は、受信したコード情報と商品マスタとを照合することによって、コード情報に対応する商品情報を取得する。更に、店舗サーバ４０は、取得した商品情報を携帯端末１０に送信する。

【0019】

ＰＯＳ端末５０は、携帯端末１０を所持する客が現金決済を選択した場合に、客が支払った現金を受領する。また、ＰＯＳ端末５０は、釣銭が必要な場合に釣銭を払い出す。更に、ＰＯＳ端末５０は、現金決済の結果をレシートに印字して発行する。

【0020】

なお、携帯端末１０を所持する客が、電子マネー決済、クレジットカード決済等のキャッシュレス決済を選択した場合には、携帯端末１０は、決済結果を、非図示の電子レシートサーバに送信する。そして、携帯端末１０は、電子レシートサーバが発行する、決済の結果を示す電子レシートを受信する。客は、携帯端末１０の画面上で、受信した電子レシートを閲覧して決済の結果を確認する。

【0021】

（携帯端末のハードウェア構成）
図２を用いて、携帯端末１０のハードウェア構成を説明する。図２は、実施形態に係る携帯端末のハードウェア構成の一例を示すハードウェアブロック図である。

【0022】

図２に示すように、携帯端末１０は、制御部１１と、記憶部１２と、入出力コントローラ１４と、無線通信インタフェース１５とを備える。

【0023】

制御部１１は、ＣＰＵ（Central Processing Unit）１１１と、ＲＯＭ（Read Only Memory）１１２と、ＲＡＭ（Random Access Memory）１１３とを備える。ＣＰＵ１１１は、携帯端末１０の制御主体となる。ＲＯＭ１１２は。各種固定データや各種テーブル等を記憶する。ＲＡＭ１１３は、ＣＰＵ１１１が各種処理を行う際に、制御プログラムや各種データを展開してワークメモリとして機能する。

【0024】

記憶部１２は、制御プログラムＰと、商品登録ファイルＦ１と、決済ファイルＦ２とを記憶する。

【0025】

制御プログラムＰは、ＣＰＵ１１１が実行するプログラムである。ＣＰＵ１１１と、ＲＯＭ１１２と、ＲＡＭ１１３と、記憶部１２とは、互いに内部バス１３を介して接続されており、制御部１１は、ＣＰＵ１１１が、記憶部１２に記憶された制御プログラムＰ及びＲＯＭ１１２に記憶された各種データをＲＡＭ１１３に展開して動作させる。これによって、制御部１１は、携帯端末１０に係る各種制御処理を実行する。

【0026】

なお、制御プログラムＰは、記憶部１２に格納された状態で提供してもよいし、インストール可能な形式または実行可能な形式のファイルでＣＤ－ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ－Ｒ、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録されて提供されてもよい。また、制御プログラムＰは、ネットワークに接続したコンピュータ上に格納して、ネットワーク経由でダウンロードすることによって提供してもよい。更に、制御プログラムＰは、インターネット等のネットワーク経由で提供または配布してもよい。

【0027】

商品登録ファイルＦ１は、客が登録した商品情報を記憶したファイルである。

【0028】

決済ファイルＦ２は、携帯端末１０がキャッシュレス決済を行った結果を記憶したファイルである。なお、決済ファイルＦ２は、電子レシート管理サーバから受信した電子レシートを記憶してもよい。

【0029】

入出力コントローラ１４は、内部バス１３を介して、ＣＰＵ１１１と、周辺機器であるモニタ１６、タッチパネル１７、カメラ１８とを接続する。入出力コントローラ１４は、制御部１１からの指示に応じて、これらの周辺機器の動作を制御する。

【0030】

モニタ１６は、携帯端末１０が備える表示デバイスであり、液晶パネルや有機ＥＬパネル等で構成される。携帯端末１０の制御部１１は、モニタ１６に、携帯端末１０が行う各種処理の結果に係る画面や、各種処理の操作に係るユーザインタフェース画面等を表示する。また、携帯端末１０の制御部１１は、カメラ１８が画像を撮像している間に亘って、撮像された画像をモニタ１６に表示する。ユーザはモニタ１６を見ながら、適切な画像が撮像できるように、カメラ１８の位置を調整する。

【0031】

タッチパネル１７は、携帯端末１０が備える操作デバイスである。携帯端末１０の制御部１１は、タッチパネル１７が検出した操作内容に応じた処理を行う。なお、携帯端末１０は、タッチパネル１７の他に、物理スイッチを備えてもよい。

【0032】

カメラ１８は、携帯端末１０に内蔵されて、商品に貼付または印刷されたバーコード等のコードシンボルを撮像する。また、カメラ１８は、商品に貼付された値引きラベルＬを撮像する。

【0033】

無線通信インタフェース１５は、内部バス１３を介して、制御部１１とＯＣＲ実行サーバ３０、店舗サーバ４０とを接続する。また、無線通信インタフェース１５は、制御部１１と、非図示の電子レシート管理サーバとを接続する。

【0034】

なお、セルフチェックアウトシステム１を構成するハードウェアのうち、ＯＣＲ実行サーバ３０と、店舗サーバ４０と、ＰＯＳ端末５０と、非図示の電子レシート管理サーバについては、ハードウェア構成の説明を省略する。いずれの装置も、携帯端末１０と同様に、制御プログラムによって動作する一般的なコンピュータの構成を備えている。

【0035】

（携帯端末の機能構成）
図３を用いて、携帯端末１０の機能構成を説明する。図３は、実施形態に係る携帯端末の機能構成の一例を示す機能ブロック図である。

【0036】

携帯端末１０の制御部１１は、制御プログラムＰをＲＡＭ１１３に展開して動作させることによって、図３に示す撮像処理部６１と、商品情報取得部６２と、値引きラベル領域抽出部６３と、領域リサイズ処理部６４と、画像情報送信部６５と、値引き情報取得部６６と、商品情報登録部６７と、決済処理部６８と、表示制御部６９と、操作制御部７０と、通信制御部７１とを機能部として実現する。

【0037】

撮像処理部６１は、カメラ１８によって、商品の値引き情報を有する値引きラベルＬを含む画像を撮像する。また、撮像処理部６１は、商品に貼付または印刷されたバーコード８４（図４参照）等のコードシンボルを含む画像を撮像する。

【0038】

商品情報取得部６２は、撮像されたコードシンボルの画像から、コードシンボルの領域を抽出して、当該コードシンボルに登録されたコード情報のデコードを行う。また、商品情報取得部６２は、デコードの結果得られたコード情報を店舗サーバ４０に送信する。更に、商品情報取得部６２は、店舗サーバ４０から、商品を一意に特定する商品情報を取得する。

【0039】

なお、商品情報取得部６２は、撮像処理部６１が撮像した画像の中から、バーコード等のコードシンボルが備える特徴（例えば、白黒の繰り返しパターン等）を抽出することによって、コードシンボルの領域を抽出する。

【0040】

値引きラベル領域抽出部６３は、撮像処理部６１が撮像した画像の中に、フラグラベルＦ（図４参照）が写っているかを判定する。具体的には、値引きラベル領域抽出部６３は、撮像処理部６１が撮像した画像の中から、フラグラベルＦが有する形状や色の特徴と同じ特徴を有する領域を抽出することによって、フラグラベルＦが写っているかを判定する。

【0041】

また、値引きラベル領域抽出部６３は、撮像処理部６１が撮像した画像の中から、少なくとも値引きラベルＬを含む領域を抽出する。具体的には、値引きラベル領域抽出部６３は、撮像処理部６１が撮像した画像の中から、値引きラベルＬが有する形状や色の特徴と同じ特徴を有する領域を抽出することによって、値引きラベルＬを含む領域を抽出する。値引きラベルＬを含む領域の抽出方法について、詳しくは後述する（図６参照）。なお、値引きラベル領域抽出部６３は、本開示における領域抽出部の一例である。

【0042】

更に、値引きラベル領域抽出部６３は、抽出した領域の中の値引きラベルＬ以外の領域に所定の値を書き込む。

【0043】

領域リサイズ処理部６４は、値引きラベル領域抽出部６３が抽出した領域の画像を、所定のサイズにリサイズする。これは、客が携帯端末１０のカメラ１８で商品を撮像する際に、カメラ１８と商品との距離がばらつくことによって、撮像された値引きラベルＬの画像内での大きさが不均一になるため、値引きラベルＬの大きさを均一化するためである。即ち、不均一な大きさの値引きラベルＬを含む画像を、そのままＯＣＲ実行サーバ３０に送信すると、例えば、値引きラベルＬが小さく撮像された画像では、ＯＣＲ実行サーバ３０における文字認識の精度が悪化するおそれがある。領域リサイズ処理部６４は、例えば、画像の拡大処理または縮小処理を行うことによって、値引きラベルＬのサイズを均一化する。なお、領域リサイズ処理部６４は、本開示におけるサイズ調整部の一例である。

【0044】

画像情報送信部６５は、値引きラベル領域抽出部６３が抽出した値引きラベルＬを含む領域の画像をＯＣＲ実行サーバ３０に送信する。なお、画像情報送信部６５は、本開示における送信部の一例である。

【0045】

値引き情報取得部６６は、ＯＣＲ実行サーバ３０から、画像情報送信部６５が送信した値引きラベルＬを含む領域の画像に基づいてＯＣＲ実行サーバ３０が認識した、商品の値引き情報を取得する。

【0046】

商品情報登録部６７は、商品情報取得部６２が取得した商品情報と、値引き情報取得部６６が取得した値引き情報に基づく商品の金額と、を関連付けて登録する。

【0047】

決済処理部６８は、商品情報登録部６７による登録結果に基づいて、ユーザに指定された決済方法によって決済処理を行う。なお、ユーザが現金決済を選択した場合には、ＰＯＳ端末５０において決済処理を行う。

【0048】

表示制御部６９は、制御部１１からの指示に基づいて、モニタ１６の表示内容を制御する。

【0049】

操作制御部７０は、タッチパネル１７の操作状態を検出して制御部１１に送信する。

【0050】

通信制御部７１は、携帯端末１０と、外部機器（ＯＣＲ実行サーバ３０、店舗サーバ４０、電子レシート管理サーバ（非図示））との間の通信を制御する。

【0051】

（コードシンボル及び値引きラベルの構成）
図４と図５を用いて、バーコード８４及び値引きラベルＬの構成を説明する。図４は、商品に付されたバーコードと値引きラベルの一例を示す図である。図５は、値引きラベルの一例を示す図である。

【0052】

商品８０の表面には、バーコードラベル８１と値引きラベルＬとが貼付されている。バーコードラベル８１には、商品８０の商品名８２と、商品価格８３とバーコード８４等が印字されている。バーコード８４には、商品８０を一意に特定する商品コード等の情報が登録されている。また、バーコード８４の下部には、バーコード８４に登録されている商品コードが印字されている。なお、商品８０の表面には、バーコード８４の代わりに、２次元コードが貼付されてもよい。

【0053】

値引きラベルＬは、商品８０に関する値引き額や値引き率を示す文字情報が表示されたラベルである。値引きラベルＬは、予め決められた形状、大きさ、色、デザインを有する。なお、値引きラベルＬは、本開示におけるシンボルの一例である。値引きラベルＬの構成について、詳しくは後述する（図５参照）。

【0054】

なお、バーコード８４の近傍には、商品８０に値引きラベルＬが貼付されていることを示すフラグラベルＦが貼付される。フラグラベルＦは、予め決められた形状、大きさ、色、デザインを有する。

【0055】

携帯端末１０は、カメラ１８に対して、バーコード８４を含む領域を撮像させる。そして、携帯端末１０は、バーコード８４を含む領域を撮像した画像の中にフラグラベルＦが写っていることを条件として、商品８０に値引きラベルＬが貼付されていると認識する。携帯端末１０は、バーコード８４を含む領域の撮像が終了した後で、カメラ１８に対して、値引きラベルＬを含む領域の撮像を行わせる。

【0056】

図５に示すように、値引きラベルＬは、輪郭Ｌａと、下地Ｌｂと、装飾Ｌｃと、文字情報Ｌｄとを有する。

【0057】

輪郭Ｌａは、値引きラベルＬの外形形状を特定する。輪郭Ｌａは、円形状、矩形形状、三角形状等の、予め決められて形状とされる。また、輪郭Ｌａによって形成される値引きラベルＬの大きさは、少なくとも同一店舗においては等しいものとする。

【0058】

下地Ｌｂは、値引きラベルＬの色を特定する。値引きラベルＬに表示される文字情報Ｌｄの視認性を高めるために、下地Ｌｂと文字情報Ｌｄとは、できるだけコントラストが高い配色とするのが望ましい。

【0059】

装飾Ｌｃは、値引きラベルＬの外周に沿って付与される模様である。装飾Ｌｃは、客が商品８０を一瞥したときに、値引きラベルＬの存在に気づくように、できるだけ目立つ色やデザインとするのが望ましい。

【0060】

文字情報Ｌｄは、商品８０の値引き情報である。文字情報Ｌｄは、バーコードラベル８１に表示された商品価格８３に対する値引き率や値引き額を表す。値引き率を表す場合、文字情報Ｌｄは、例えば図５に示すように、「表示価格より２割値引き」等の形態で付与される。また、値引き額を表す場合、文字情報Ｌｄは、「表示価格より３０円引き」等の形態で付与される。更に、文字情報Ｌｄは、ポイント還元率に係る情報であってもよい。例えば、商品８０を購入すると通常よりも高いポイント還元が受けられる場合に、文字情報Ｌｄとして、「ポイント２倍」等の情報を付与してもよい。

【0061】

なお、値引きラベルＬの形状や色の特徴（輪郭Ｌａ、下地Ｌｂ、装飾Ｌｃに係る特徴）と、文字情報Ｌｄのバリエーションとは、予めＯＣＲ実行サーバ３０に登録しておくものとする。

【0062】

（値引きラベルを含む領域の抽出方法）
図６を用いて、携帯端末１０が、値引きラベルＬを含む領域を抽出する方法を説明する。図６は、携帯端末が、値引きラベルを含む領域を抽出する方法を説明する図である。

【0063】

値引きラベル領域抽出部６３は、撮像処理部６１が撮像した画像８５の中に、値引きラベルＬが写っているかを判定する。具体的には、値引きラベル領域抽出部６３は、画像８５の中に、値引きラベルＬが有する形状や色の特徴と同じ特徴があるかによって、値引きラベルＬが写っているかを判定する。

【0064】

値引きラベルＬが有する形状や色の特徴としては、図５で説明した、値引きラベルＬの輪郭Ｌａと、下地Ｌｂと、装飾Ｌｃに係る情報が利用される。

【0065】

値引きラベル領域抽出部６３は、例えば、画像８５の中から隣接する画素との間に所定の閾値以上の画素値を有するエッジ構成点を検出する。そして、エッジ構成点で構成される図形の形状が、値引きラベルＬの輪郭Ｌａの形状、または装飾Ｌｃの形状と相似形になる場合に、画像８５の中に値引きラベルＬが写っていると判定する。なお、値引きラベルＬの輪郭Ｌａが画像８５の縁からフレームアウトしている場合は、輪郭Ｌａの形状が不完全になるため、値引きラベル領域抽出部６３は、画像８５の中に値引きラベルＬが写っていると判定しない。

【0066】

また、客は、携帯端末１０のカメラ１８で商品を撮像する際に、カメラ１８と商品との位置関係を一定に保持するのが困難である。そのため、カメラ１８が商品を斜めから撮像する可能性もある。このような場合、例えば円形の値引きラベルＬは、楕円形の領域として画像化される。また、矩形の値引きラベルＬは、異なる縦横比の矩形領域や台形領域として画像化される。値引きラベル領域抽出部６３は、このようにカメラ１８の姿勢が変化した場合であっても、カメラ１８が撮像した画像の中に値引きラベルＬが写っているかを判定できるように、値引きラベルＬが斜めから撮像された場合の形状モデルも記憶しておくのが望ましい。

【0067】

また、値引きラベル領域抽出部６３は、輪郭Ｌａの内側の色が、値引きラベルＬの下地Ｌｂの色と略等しい場合に、画像８５の中に値引きラベルＬが写っていると判定してもよい。

【0068】

更に、値引きラベル領域抽出部６３は、輪郭Ｌａの内側に装飾Ｌｃが写っている場合に、画像８５の中に値引きラベルＬが写っていると判定してもよい。

【0069】

なお、値引きラベル領域抽出部６３は、画像８５の中から値引きラベルＬの輪郭Ｌａの形状、装飾Ｌｃの形状、下地Ｌｂの色、装飾Ｌｃの色の全てを検出して、画像８５の中に値引きラベルＬが写っているかを判定してもよいし、前記した特徴の一部のみを用いて、画像８５の中に値引きラベルＬが写っているかを判定してもよい。

【0070】

画像８５の中に値引きラベルＬが写っていると判定されると、値引きラベル領域抽出部６３は、値引きラベルＬの領域以外の画素に、予め設定された所定の画素値を書き込む。所定の画素値を書き込むことによって、例えば、図６に示す画像８６が得られる。なお、所定の画素値は、例えば、１画素が８ビットの容量を有する画像の場合、０から２５５の間の任意の値とされる。

【0071】

続いて、値引きラベル領域抽出部６３は、画像８６において、値引きラベルＬを含む領域８８を設定する。領域８８は、少なくとも値引きラベルＬを含んでいればよい。図６に示す画像８７では、値引きラベルＬに外接する領域８８を設定している。なお、領域８８の形状は、以後に行う処理の効率化のために、矩形であるのが望ましい。

【0072】

次に、領域リサイズ処理部６４は、値引きラベル領域抽出部６３が抽出した領域８８の画像を、所定のサイズにリサイズすることによって、部分画像８９を生成する。この処理によって、撮像された値引きラベルＬが大き過ぎる場合は領域８８が縮小されて、撮像された値引きラベルＬが小さ過ぎる場合は領域８８が拡大される。

【0073】

このようにして生成された部分画像８９は、ＯＣＲ実行サーバ３０に送信されて、ＯＣＲ実行サーバ３０において、文字情報Ｌｄの認識が行われる。

【0074】

（セルフチェックアウトシステムが行う処理の流れ）
図７を用いて、セルフチェックアウトシステム１が行う処理の流れを説明する。図７は、実施形態に係るセルフチェックアウトシステムが行う処理の流れの一例を説明するフローチャートである。

【0075】

（携帯端末が行う処理の流れ）
撮像処理部６１は、バーコード８４の撮像を開始する（ステップＳ１１）。

【0076】

撮像処理部６１は、バーコード８４が撮像されたかを判定する（ステップＳ１２）。バーコード８４が撮像されたと判定される（ステップＳ１２：Ｙｅｓ）とステップＳ１３に進む。一方、バーコード８４が撮像されたと判定されない（ステップＳ１２：Ｎｏ）とステップＳ１２を繰り返す。

【0077】

ステップＳ１２において、バーコード８４が撮像されたと判定されると、商品情報取得部６２は、撮像されたコード情報のデコードを行う（ステップＳ１３）。

【0078】

続いて、商品情報取得部６２は、デコードしたコード情報を店舗サーバ４０に送信する（ステップＳ１４）。

【0079】

更に、商品情報取得部６２は、店舗サーバ４０から商品情報を受信する（ステップＳ１５）。

【0080】

撮像処理部６１は、バーコード８４を撮像した画像の中にフラグラベルＦが写っているかを判定する（ステップＳ１６）。フラグラベルＦが写っていると判定される（ステップＳ１６：Ｙｅｓ）とステップＳ１７に進む。一方、フラグラベルＦが写っていると判定されない（ステップＳ１６：Ｎｏ）、即ち、商品の値引きがない場合はステップＳ２３に進む。

【0081】

ステップＳ１６において、フラグラベルＦが写っていると判定されると、撮像処理部６１は、値引きラベルＬの撮像を開始する（ステップＳ１７）。

【0082】

値引きラベル領域抽出部６３は、値引きラベルＬが撮像されたかを判定する（ステップＳ１８）。値引きラベルＬが撮像されたと判定される（ステップＳ１８：Ｙｅｓ）とステップＳ１９に進む。一方、値引きラベルＬが撮像されたと判定されない（ステップＳ１８：Ｎｏ）とステップＳ１８を繰り返す。

【0083】

ステップＳ１８において、値引きラベルＬが撮像されたと判定されると、値引きラベル領域抽出部６３は、値引きラベルＬに外接する領域８８を抽出する（ステップＳ１９）。

【0084】

続いて、領域リサイズ処理部６４は、値引きラベル領域抽出部６３がステップＳ１９で抽出した領域８８の画像を、所定のサイズにリサイズするリサイズ処理を行う（ステップＳ２０）。

【0085】

画像情報送信部６５は、部分画像８９をＯＣＲ実行サーバ３０に送信する（ステップＳ２１）。

【0086】

値引き情報取得部６６は、ＯＣＲ実行サーバ３０が部分画像８９に含まれる値引きラベルＬの文字情報Ｌｄの内容を認識した結果である、商品の値引き情報を取得する（ステップＳ２２）。

【0087】

商品情報登録部６７は、ステップＳ１５で取得した商品情報と、ステップＳ２２で取得した値引き情報とを関連付けて登録する（ステップＳ２３）。

【0088】

商品情報登録部６７は、全ての商品を登録したかを判定する（ステップＳ２４）。全ての商品を登録したと判定される（ステップＳ２４：Ｙｅｓ）とステップＳ２５に進む。一方、全ての商品を登録したと判定されない（ステップＳ２４：Ｎｏ）とステップＳ１１に戻る。なお、商品情報登録部６７は、例えば、携帯端末１０のモニタ１６に表示された、非図示の「商品登録完了ボタン」が押下された場合に、全ての商品の登録を完了したと判定する。

【0089】

ステップＳ２４において、全ての商品を登録したと判定されると、決済処理部６８は、商品情報登録部６７による登録結果に基づく決済処理を行う（ステップＳ２５）。その後、携帯端末１０は、図７の処理を終了する。

【0090】

（店舗サーバが行う処理の流れ）
次に、店舗サーバ４０が行う処理の流れを説明する。

【0091】

店舗サーバ４０は、携帯端末１０から、商品のコード情報を受信したかを判定する（ステップＳ３１）。商品のコード情報を受信したと判定される（ステップＳ３１：Ｙｅｓ）とステップＳ３２に進む。一方、商品のコード情報を受信したと判定されない（ステップＳ３１：Ｎｏ）とステップＳ３１を繰り返す。

【0092】

ステップＳ３１において、商品のコード情報を受信したと判定されると、店舗サーバ４０は、受信したコード情報を商品マスタと照合することによって、コード情報に対応する商品情報（商品名、価格等）を特定する（ステップＳ３２）。

【0093】

次に、店舗サーバ４０は、特定した商品情報を携帯端末１０に送信する（ステップＳ３３）。その後、店舗サーバ４０は、図７の処理を終了する。

【0094】

（ＯＣＲ実行サーバが行う処理の流れ）
次に、ＯＣＲ実行サーバ３０が行う処理の流れを説明する。

【0095】

ＯＣＲ実行サーバ３０は、携帯端末１０から、部分画像８９を受信したかを判定する（ステップＳ４１）。部分画像８９を受信したと判定される（ステップＳ４１：Ｙｅｓ）とステップＳ４２に進む。一方、部分画像８９を受信したと判定されない（ステップＳ４１：Ｎｏ）とステップＳ４１を繰り返す。

【0096】

ステップＳ４１において、部分画像８９を受信したと判定されると、ＯＣＲ実行サーバ３０は、受信した部分画像３９に含まれる文字情報Ｌｄを認識するＯＣＲ処理を行う（ステップＳ４２）。

【0097】

次に、ＯＣＲ実行サーバ３０は、文字情報Ｌｄの認識結果である値引き情報を携帯端末１０に送信する（ステップＳ４３）。その後、ＯＣＲ実行サーバ３０は、図７の処理を終了する。

【0098】

以上説明したように、実施形態の携帯端末１０（商品販売データ処理装置）は、商品を一意に特定する商品情報を取得する商品情報取得部６２と、商品の値引き情報を有する値引きラベルＬ（シンボル）を含む画像を撮像する撮像処理部６１と、撮像処理部６１が撮像した画像の中から、少なくとも値引きラベルＬを含む領域を抽出する値引きラベル領域抽出部６３（領域抽出部）と、値引きラベル領域抽出部６３が抽出した領域の画像をＯＣＲ実行サーバ３０（サーバ装置）に送信する画像情報送信部６５（送信部）と、ＯＣＲ実行サーバ３０から、画像情報送信部６５が送信した画像に基づく商品の値引き情報を取得する値引き情報取得部６６と、商品情報取得部６２が取得した商品情報と、値引き情報取得部６６が取得した値引き情報に基づく商品の金額と、を関連付けて登録する商品情報登録部６７と、を備える。したがって、携帯端末１０は、値引きラベルＬを抽出する前処理を行って、少なくとも値引きラベルＬを含む領域の画像をＯＣＲ実行サーバ３０に送信する。そのため、値引きラベルＬを含む画像の全てをＯＣＲ実行サーバ３０に送信して、ＯＣＲ実行サーバ３０において値引き情報を認識する場合と比較して、値引きラベルＬの読み取りを、より低い通信負荷で行うことができる。また、ＯＣＲ処理はＯＣＲ実行サーバ３０で実行されるため、サーバ側においてＯＣＲエンジンの更新を行うことによって、文字認識の精度を向上させることができる。また、サーバ側で画像を保持しておくことができるため、誤認識が発生した際のログの採取を容易に行うことができる。

【0099】

また、実施形態の携帯端末１０（商品販売データ処理装置）において、値引きラベル領域抽出部６３（領域抽出部）は、値引きラベルＬ（シンボル）を含む領域を抽出して、抽出した領域の中の値引きラベルＬ以外の領域に所定の値を書き込む。したがって、値引きラベルＬの領域が明確になるため、ＯＣＲ実行サーバ３０における認識処理を、より容易に行うことができる。また、部分画像８９をＯＣＲ実行サーバ３０に送信する際に、所定の値が書き込まれた画素は、同じ画素値が連続するため、例えばランレングス圧縮を行って送信することにより、通信量を削減することができる。

【0100】

また、実施形態の携帯端末１０（商品販売データ処理装置）は、値引きラベル領域抽出部６３（領域抽出部）が抽出した領域の画像を、所定のサイズにリサイズする領域リサイズ処理部６４（サイズ調整部）を更に備える。したがって、抽出された領域の画像をＯＣＲ実行サーバ３０に送信する際に、送信する画像の品質をできるだけ均一にすることができるため、ＯＣＲ実行サーバ３０における文字情報Ｌｄの認識を、安定した精度で行わせることができる。

【0101】

また、実施形態の携帯端末１０（商品販売データ処理装置）は、客が所持する携帯端末１０である。したがって、客は、自身が所持する携帯端末１０によって、商品の登録と決済とを行うことができる。

【0102】

（実施形態の変形例）
以下、添付図面を参照して、本願発明の実施形態の変形例を説明する。以下に示す実施形態の変形例は、実施形態で説明した携帯端末１０のカメラ１８が、値引きラベルＬを撮像する際に、撮像した画像をモニタするモニタ１６の画面上に、値引きラベルＬの適切な撮像サイズを示すガイド枠９２を表示するものである。なお、実施形態の変形例の携帯端末１０は、上述した実施形態と同じハードウェア構成及び機能構成を備える。したがって、以下の説明において、実施形態と同じハードウェア構成要素及び機能構成要素は、同じ符号を用いて説明する。

【0103】

図８を用いて、実施形態の変形例の動作例を説明する。図８は、実施形態の変形例における、値引きラベルの撮像状態を説明する図である。

【0104】

携帯端末１０の撮像処理部６１は、カメラ１８に値引きラベルＬを含む画像を撮像させる際に、表示制御部６９に対して、撮像した画像をモニタする画面、即ちモニタ１６に、値引きラベルＬの適切な撮像サイズを示すガイド枠９２を重畳表示させる。

【0105】

また、撮像処理部６１は、表示制御部６９に対して、モニタ１６に表示される撮像された画像に、値引きラベルＬをガイド枠９２に収まるように調整する旨をガイドするメッセージ９０を重畳表示させる。メッセージ９０は、例えば、「値引きラベルを枠に合わせてください」等の文言である。

【0106】

ユーザは、携帯端末１０のカメラ１８に商品８０の値引きラベルＬを撮像させながら、モニタ１６に表示される画像を確認する。そして、値引きラベルＬがガイド枠９２に収まるように、携帯端末１０のカメラ１８の位置を変更する。

【0107】

なお、携帯端末１０の撮像処理部６１は、更に、カメラ１８にバーコード８４を撮像させる際にも、表示制御部６９に対して、モニタ１６上の撮像された画像に、バーコード８４の適切な撮像サイズを示すガイド枠を重畳表示させてもよい。

【0108】

以上説明したように、実施形態の変形例の携帯端末１０（商品販売データ処理装置）は、撮像処理部６１が、値引きラベルＬ（シンボル）を含む画像を撮像する際に、当該画像をモニタする画面に、値引きラベルＬの適切な撮像サイズを示すガイド枠９２を表示させる。したがって、客は、携帯端末１０で商品８０を撮像する際に、値引きラベルＬがガイド枠９２に収まるように撮像すればよいため、値引きラベルＬを適切なサイズで容易に撮像することができる。

【0109】

以上、本発明の実施形態を説明したが、この実施形態は例示であり、発明の範囲を限定することは意図していない。この新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

【符号の説明】

【0110】

１…セルフチェックアウトシステム、１０…携帯端末（商品販売データ処理装置）、１６…モニタ、１７…タッチパネル、１８…カメラ、３０…ＯＣＲ実行サーバ（サーバ装置）、４０…店舗サーバ、５０…ＰＯＳ端末、６１…撮像処理部、６２…商品情報取得部、６３…値引きラベル領域抽出部（領域抽出部）、６４…領域リサイズ処理部（サイズ調整部）、６５…画像情報送信部（送信部）、６６…値引き情報取得部、６７…商品情報登録部、６８…決済処理部、６９…表示制御部、７０…操作制御部、７１…通信制御部、８０…商品、８１…バーコードラベル、８４…バーコード、８５，８６，８７…画像、８８…領域、８９…部分画像、９２…ガイド枠、Ｆ…フラグラベル、Ｌ…値引きラベル（シンボル）、Ｌа…輪郭、Ｌｂ…下地、Ｌｃ…装飾、Ｌｄ…文字情報

【先行技術文献】

【特許文献】

【0111】

【特許文献1】特開２０１４－２３５５３０号公報

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】