特許 5760022 商品情報表示装置及びコンピュータプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5760022

(24)【登録日】2015年6月12日

(45)【発行日】2015年8月5日

(54)【発明の名称】商品情報表示装置及びコンピュータプログラム

(51)【国際特許分類】

   G07G 1/01 20060101AFI20150716BHJP

   G07G 1/06 20060101ALI20150716BHJP

   G07G 1/12 20060101ALI20150716BHJP

   G07G 1/00 20060101ALI20150716BHJP

【ＦＩ】

   G07G1/01 301C

   G07G1/06 B

   G07G1/12 351C

   G07G1/00 311E

   G07G1/00 311Z

【請求項の数】6

【全頁数】23

(21)【出願番号】特願2013-39813(P2013-39813)

(22)【出願日】2013年2月28日

(65)【公開番号】特開2014-167749(P2014-167749A)

(43)【公開日】2014年9月11日

【審査請求日】2014年9月25日

(73)【特許権者】

【識別番号】000003562

【氏名又は名称】東芝テック株式会社

(74)【代理人】

【識別番号】100108855

【弁理士】

【氏名又は名称】蔵田 昌俊

(74)【代理人】

【識別番号】100109830

【弁理士】

【氏名又は名称】福原 淑弘

(74)【代理人】

【識別番号】100088683

【弁理士】

【氏名又は名称】中村 誠

(74)【代理人】

【識別番号】100103034

【弁理士】

【氏名又は名称】野河 信久

(74)【代理人】

【識別番号】100075672

【弁理士】

【氏名又は名称】峰 隆司

(74)【代理人】

【識別番号】100153051

【弁理士】

【氏名又は名称】河野 直樹

(74)【代理人】

【識別番号】100140176

【弁理士】

【氏名又は名称】砂川 克

(74)【代理人】

【識別番号】100158805

【弁理士】

【氏名又は名称】井関 守三

(74)【代理人】

【識別番号】100172580

【弁理士】

【氏名又は名称】赤穂 隆雄

(74)【代理人】

【識別番号】100179062

【弁理士】

【氏名又は名称】井上 正

(74)【代理人】

【識別番号】100124394

【弁理士】

【氏名又は名称】佐藤 立志

(74)【代理人】

【識別番号】100112807

【弁理士】

【氏名又は名称】岡田 貴志

(74)【代理人】

【識別番号】100111073

【弁理士】

【氏名又は名称】堀内 美保子

(72)【発明者】

【氏名】鈴木 茂晃

【審査官】 宮下 浩次

(56)【参考文献】

【文献】 特開２００７−２６４９１８（ＪＰ，Ａ）

【文献】 特開２００９−０３１９１９（ＪＰ，Ａ）

【文献】 特開２０１２−０６９０９２（ＪＰ，Ａ）

【文献】 特開２０１０−１９８１３７（ＪＰ，Ａ）

【文献】 特開２００５−３３９３５３（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０７Ｇ １／００ − １／１４

(57)【特許請求の範囲】

【請求項1】

カメラが撮像した画像データに含まれるコードシンボルを読み取る第１の方法で認識された商品に関する商品情報、及び、前記カメラが撮像した画像データに含まれる商品の外観の特徴に基づいて当該商品を認識する第２の方法で認識された商品に関する商品情報を取得する取得手段と、
前記取得手段が取得した商品情報を、前記第１の方法にて認識された商品の商品情報と前記第２の方法にて認識された商品の商品情報との間で表示形態を異ならせて店員用ディスプレイに表示する表示制御手段と、
を備えることを特徴とする商品情報表示装置。

【請求項2】

カメラが撮像した画像データに含まれるコードシンボルを読み取る第１の方法で認識された商品に関する商品情報、前記カメラが撮像した画像データに含まれる商品の外観の特徴に基づき当該商品を特定の１種の商品として認識する第２の方法で認識された商品に関する商品情報、及び、前記カメラが撮像した画像データに含まれる商品の外観の特徴に基づいて当該商品の１又は複数種の候補を選定し、この候補の中から店員が指定した１種を当該商品として認識する第３の方法で認識された商品に関する商品情報を取得する取得手段と、
前記取得手段が取得した商品情報を、前記第１の方法にて認識された商品の商品情報と、前記第２の方法にて認識された商品の商品情報と、前記第３の方法にて認識された商品の商品情報との間で表示形態を異ならせて店員用ディスプレイに表示する表示制御手段と、
を備えることを特徴とする商品情報表示装置。

【請求項3】

前記表示制御手段は、異なる方法で認識された商品の商品情報の色、文字サイズ、或いはフォントを異ならせること、又は、異なる方法で認識された商品の商品情報に異なる修飾を付すことにより前記表示形態を異ならせる、
ことを特徴とする請求項１又は２に記載の商品情報表示装置。

【請求項4】

前記表示制御手段は、複数の方法にて認識された同一商品について、それぞれの方法にて認識された当該商品の数を別個に前記店員用ディスプレイに表示する、
ことを特徴とする請求項１乃至３のうちいずれか１に記載の商品情報表示装置。

【請求項5】

１商取引において前記取得手段が取得した商品情報に係る商品の代金を決済する決済手段と、
前記決済手段が代金を決済した前記商品の商品情報を、当該商品情報が前記取得手段により取得された方法に応じて印刷形態を異ならせて配置したレシートをプリンタに印刷させる印刷制御手段と、
をさらに備えることを特徴とする請求項１乃至４のうちいずれか１に記載の商品情報表示装置。

【請求項6】

コンピュータを、
カメラが撮像した画像データに含まれるコードシンボルを読み取る第１の方法で認識された商品に関する商品情報、及び、前記カメラが撮像した画像データに含まれる商品の外観の特徴に基づいて当該商品を認識する第２の方法で認識された商品に関する商品情報を取得する取得手段、および、
前記取得手段が取得した商品情報を、前記第１の方法にて認識された商品の商品情報と前記第２の方法にて認識された商品の商品情報との間で表示形態を異ならせて店員用ディスプレイに表示する表示制御手段、
として機能させるためのコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施形態は、商品情報表示装置及びコンピュータプログラムに関する。

【背景技術】

【0002】

従来、ＰＯＳ（Point Of Sales）端末などの決済装置は、スキャナ装置によりバーコードを読み取ることで入力された識別子に対応する商品を客が購入する商品として登録している。決済装置やスキャナ装置は、登録された商品の名称や価格などの商品情報をディスプレイに一覧表示する。

【0003】

近年においては、バーコードを読み取る機能に加え、カメラにより商品を撮像して得た画像データに含まれる当該商品の外観の特徴に基づき当該商品を認識するオブジェクト認識機能を備えた決済装置やスキャナ装置もある。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２００１−３４８４１号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

既存の決済装置やスキャナ装置は、バーコードの読み取りとオブジェクト認識のような複数の方法で商品の登録が可能な場合であっても、いずれの方法で商品が登録されたかを区別することなく商品情報をディスプレイに表示している。したがって、店員や客は、登録済みの商品が如何なる方法で登録されたのかを知る術がない。

【0006】

そこで、店員や客が登録済みの商品が如何なる方法で登録されたのかを把握できるようにすることが望まれていた。

【課題を解決するための手段】

【0007】

一実施形態に係る商品情報表示装置は、取得手段と、表示制御手段とを備える。上記取得手段は、カメラが撮像した画像データに含まれるコードシンボルを読み取る第１の方法で認識された商品に関する商品情報、及び、上記のカメラが撮像した画像データに含まれる商品の外観の特徴に基づいて当該商品を認識する第２の方法で認識された商品に関する商品情報を取得する。上記表示制御手段は、上記取得手段が取得した商品情報を、上記第１の方法にて認識された商品の商品情報と上記第２の方法にて認識された商品の商品情報との間で表示形態を異ならせて店員用ディスプレイに表示する。

【図面の簡単な説明】

【0008】

【図1】一実施形態に係るＰＯＳシステムの構成を示すブロック図。

【図2】辞書ファイルのデータ構造の一例を示す模式図。

【図3】候補バッファのデータ構造の一例を示す模式図。

【図4】登録バッファのデータ構造の一例を示す模式図。

【図5】スキャナ装置及びＰＯＳ端末のＣＰＵが実現する機能のブロック図。

【図6】スキャナ装置の主な動作を示すフローチャート。

【図7】商品認識処理におけるスキャナ装置の動作を示すフローチャート。

【図8】商品確定処理におけるスキャナ装置の動作を示すフローチャート。

【図9】第１の登録画面の一例を示す模式図。

【図10】第２の登録画面の一例を示す模式図。

【図11】表示更新処理におけるスキャナ装置の動作を示すフローチャート。

【図12】ＰＯＳ端末の主な動作を示すフローチャート。

【図13】ＰＯＳ端末が印刷するレシートの一例を示す模式図。

【図14】第１の登録画面の変形例を示す模式図。

【図15】クラウドを利用したＰＯＳシステムの構成例を示す図。

【発明を実施するための形態】

【0009】

一実施形態について図面を参照しながら説明する。
本実施形態においては、小売店にて使用されるＰＯＳシステムを開示する。

【0010】

［システム構成］
図１は、本実施形態に係るＰＯＳシステムの構成を示すブロック図である。
ＰＯＳシステムは、スキャナ装置１及びＰＯＳ端末２を含む。スキャナ装置１及びＰＯＳ端末２は、いずれも商品情報表示装置の一形態である。

【0011】

スキャナ装置１は、いわゆる載置式スキャナであり、例えば会計場のレジカウンタ上に配置される。スキャナ装置１は、客が購入する商品のＪＡＮコードなどの商品コードを入力するための装置である。ＰＯＳ端末２は、上記レジカウンタの近傍に配置される。ＰＯＳ端末２は、スキャナ装置１にて入力された商品コードに基づき、客が購入する商品の代金を決済するための装置である。

【0012】

スキャナ装置１は、ＣＰＵ（Central Processing Unit）１０、ＲＯＭ（Read Only Memory）１１、ＲＡＭ（Random Access Memory）１２、接続Ｉ／Ｆ（Interface）１３、画像Ｉ／Ｆ１４、デバイスＩ／Ｆ１５、バスライン１６、カメラ１００、キーボード１０１、店員用ディスプレイ１０２、及び客用ディスプレイ１０３を備える。

【0013】

バスライン１６は、ＣＰＵ１０、ＲＯＭ１１、ＲＡＭ１２、接続Ｉ／Ｆ１３、画像Ｉ／Ｆ１４、及びデバイスＩ／Ｆ１５を接続する。画像Ｉ／Ｆ１４は、カメラ１００を接続する。デバイスＩ／Ｆ１５は、キーボード１０１、店員用ディスプレイ１０２、及び客用ディスプレイ１０３を接続する。

【0014】

ＣＰＵ１０は、スキャナ装置１の主制御手段である。ＲＯＭ１１は、後述の図６、図７、図８及び図１１のフローチャートに示す動作を実現させるためのコンピュータプログラムなどを記憶する。ＲＡＭ１２は、各種のワークメモリエリアを形成する。接続Ｉ／Ｆ１３は、有線或いは無線にて、スキャナ装置１とＰＯＳ端末２を通信可能に接続する。

【0015】

カメラ１００は、エリアイメージセンサであるＣＣＤ（Charge Coupled Device）撮像素子及びその駆動回路と、撮像領域の画像をＣＣＤ撮像素子に結像させるためのレンズとを備える。撮像領域とは、スキャナ装置１の筐体に設けられた読取窓からレンズを通してＣＣＤ撮像素子のエリアに結像する周辺領域を指す。カメラ１００は、レンズを通ってＣＣＤ撮像素子に結像した撮像領域の画像データを出力する。画像Ｉ／Ｆ１４は、カメラ１００が出力する画像データを取り込む。

【0016】

キーボード１０１は、テンキーや小計キーなどの各種操作キーを備える。店員用ディスプレイ１０２は、例えばＬＣＤ（Liquid Crystal Display）パネルである表示パネルと、表示パネルの表示面に対する操作を検出するタッチパネルとを備える。店員用ディスプレイ１０２は、店員の立ち位置側に表示面を向けてスキャナ装置１の筐体に設けられる。客用ディスプレイ１０３は、例えばＬＣＤパネルである表示パネルを備える。客用ディスプレイ１０３は、客の立ち位置側、すなわちレジカウンタを挟んで店員の立ち位置側と反対側の方向に表示面を向けてスキャナ装置１の筐体に設けられる。

【0017】

ＰＯＳ端末２は、ＣＰＵ２０、ＲＯＭ２１、ＲＡＭ２２、通信Ｉ／Ｆ２３、補助記憶装置２４、接続Ｉ／Ｆ２５、デバイスＩ／Ｆ２６、バスライン２７、キーボード２００、店員用ディスプレイ２０１、客用ディスプレイ２０２、及びプリンタ２０３を備える。

【0018】

バスライン２７は、ＣＰＵ２０、ＲＯＭ２１、ＲＡＭ２２、通信Ｉ／Ｆ２３、補助記憶装置２４、接続Ｉ／Ｆ２５、及びデバイスＩ／Ｆ２６を接続する。デバイスＩ／Ｆ２６は、キーボード２００、店員用ディスプレイ２０１、客用ディスプレイ２０２、及びプリンタ２０３を接続する。

【0019】

ＣＰＵ２０は、ＰＯＳ端末２の主制御手段である。ＲＯＭ２１は、後述の図１２のフローチャートに示す動作を実現するためのコンピュータプログラムなどを記憶する。ＲＡＭ２２は、各種のワークメモリエリアを形成する。通信Ｉ／Ｆ２３は、有線或いは無線にて、ＰＯＳ端末２とストアコンピュータ３とを通信可能に接続する。ストアコンピュータ３は、店舗の売上、在庫、及び発注などに関するデータを管理する。補助記憶装置２４は、例えばＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Device）などの大容量記憶装置である。接続Ｉ／Ｆ２５は、有線或いは無線にて、ＰＯＳ端末２とスキャナ装置１を通信可能に接続する。

【0020】

キーボード２００は、テンキー、預り／現計キー、及び信計キーなどの各種操作キーを備える。店員用ディスプレイ２０１は、例えばＬＣＤパネルである表示パネルと、表示パネルの表示面に対する操作を検出するタッチパネルとを備える。店員用ディスプレイ２０１は、店員の立ち位置側に表示面を向けてＰＯＳ端末２の筐体に設けられる。客用ディスプレイ２０２は、例えばＬＣＤパネルである表示パネルを備える。客用ディスプレイ２０２は、客の立ち位置側、すなわちレジカウンタを挟んで店員の立ち位置側と反対側の方向に表示面を向けてＰＯＳ端末２の筐体に設けられる。プリンタ２０３は、例えばレシート及びジャーナルを感熱紙に印刷するサーマルプリンタである。

【0021】

補助記憶装置２４は、ＰＬＵ（Price Look Up）ファイル３００及び辞書ファイル３０１（図２参照）などを記憶する。ＰＬＵファイル３００は、店舗で販売される商品の商品コードごとに、商品の名称や単価などを含む商品情報を関連付けたファイルである。ＰＯＳ端末２は、ＰＬＵファイル３００や辞書ファイル３０１を、例えばこれらのファイルが更新されたときなどのタイミングでストアコンピュータ３からダウンロードし、補助記憶装置２４に書き込む。

【0022】

本実施形態のスキャナ装置１は、一般物体認識（generic object recognition）の技術を応用して、カメラ１００にて生成された画像データに含まれる商品の外観の特徴から当該商品の種別を認識するオブジェクト認識機能を備える。具体的には、スキャナ装置１は、画像データに含まれる商品の外観特徴量を演算し、辞書ファイル３０１に登録された基準画像の特徴量データと照合して類似度を算出し、この類似度に基づいて当該商品の種別を認識する。

【0023】

スキャナ装置１のオブジェクト認識機能は、自動確定機能と、選択確定機能とを含む。自動確定機能は、画像データに含まれる商品の外観の特徴から当該商品の種別を自動的に（人の操作を介さずに）確定する機能である。選択確定機能は、画像データに含まれる商品の外観の特徴から当該商品の種別の候補を選定し、この候補の中から人の操作によって指定された商品を当該画像データに含まれる商品の種別として確定する機能である。

【0024】

なお、スキャナ装置１は、カメラ１００にて生成された画像データに含まれるシンボルコード、例えばバーコードをデコードして商品の種別を認識するシンボルコード読取機能も備える。

【0025】

図２は、辞書ファイル３０１のデータ構造を示す模式図である。辞書ファイル３０１は、オブジェクト認識機能の認識対象とする商品の商品コードごとに設けられたレコードを備える。１つのレコードは、商品コード、この商品コードに対応する商品の商品名、複数の基準画像データ０〜Ｎ、及び複数の特徴量データ０〜Ｎを含む。基準画像データ０〜Ｎは、対応する商品コードで識別される商品を様々な方向から撮影した画像のデータである。特徴量データ０〜Ｎは、対応する商品の基準画像データ０〜Ｎからその商品の外観（輪郭、色合い、模様、凹凸具合等）に関する特徴量を抽出し、この特徴量をパラメータ化したデータである。オブジェクト認識機能による認識対象とする商品は、例えばバーコードが付されていない商品である。ただし、バーコードが付された商品を認識対象に加えてもよい。

【0026】

スキャナ装置１は、接続Ｉ／Ｆ１３，２５を介してＰＯＳ端末２と通信することにより、ＰＬＵファイル３００や辞書ファイル３０１にアクセス可能である。

【0027】

ＰＯＳシステムが商品の会計に係る処理を行うとき、スキャナ装置１のＣＰＵ１０は、図３に示すデータ構造の候補バッファ３０２と、図４に示すデータ構造の登録バッファ３０３とをＲＡＭ１２に形成する。

【0028】

候補バッファ３０２は、オブジェクト認識機能により認識される商品の候補を登録するためのメモリエリアである。候補バッファ３０２は、順位（図３においては１位〜５位）が割り当てられたレコードを含む。各レコードは、順位、対応する候補の商品コード、商品名、基準画像データ、及び類似度を書き込むためのエリアを含む。

【0029】

登録バッファ３０３は、コードシンボル読取機能或いはオブジェクト認識機能により認識された各商品に関する情報を登録するためのメモリエリアである。登録バッファ３０３は、コードシンボル読取機能或いはオブジェクト認識機能により認識された各商品に対応するレコードを含む。各レコードは、対応する商品の商品コード、識別子、商品名、単価、及び購入数量などを書き込むためのエリアを含む。識別子は、対応する商品がコードシンボル読取機能、自動確定機能、或いは選択確定機能のいずれで認識された商品であるかを示す。本実施形態では、コードシンボル読取機能に対する識別子を“Ｆ０”、自動確定機能に対する識別子を“Ｆ１”、選択確定機能に対する識別子を“Ｆ２”とする。なお、図４においては既に商品が登録されてデータが書き込まれた状態の登録バッファ３０３を示しているが、１人の客に対する会計の開始当初においてはこれらのデータは書き込まれていない。

【0030】

スキャナ装置１のＣＰＵ１０及びＰＯＳ端末２のＣＰＵ２０が実現する機能につき、図５のブロック図を参照して説明する。

【0031】

ＣＰＵ１０は、ＲＯＭ１１が記憶するコンピュータプログラムを実行することにより、第１の認識部１１０、第２の認識部１１１、第３の認識部１１２、取得部１１３、及び表示制御部１１４として機能する。

【0032】

第１の認識部１１０は、コードシンボル読取機能に係る処理を実行する。すなわち、第１の認識部１１０は、カメラ１００が生成する画像データに含まれる商品に付されたバーコードをデコードして当該バーコードが示す商品コードを得ることにより、当該商品の種別を認識する。

【0033】

第２の認識部１１１及び第３の認識部１１２は、オブジェクト認識機能に係る処理を実行する。すなわち、第２の認識部１１１及び第３の認識部１１２は、カメラ１００が生成する画像データに含まれる商品の外観の特徴に基づき当該商品の種別を認識する。特に、第２の認識部１１１は、自動確定機能に係る処理を実行する。また、第３の認識部１１２は、選択確定機能に係る処理を実行する。

【0034】

取得部１１３は、第１〜第３の認識部１１０〜１１２で認識された商品に関する商品情報を取得する。特に本実施形態において、取得部１１３は、第１〜第３の認識部１１０〜１１２で認識された商品の商品コードをＰＯＳ端末２に送信し、ＰＯＳ端末２から当該商品コードに対応する商品情報を受信することにより、商品情報を取得する。

【0035】

表示制御部１１４は、取得部１１３が取得した商品情報を、第１の方法にて認識された商品の商品情報と第２の方法にて認識された商品の商品情報との間で表示形態を異ならせて店員用ディスプレイ１０２に表示する。第１の方法は例えばコードシンボル認識機能による商品の認識であり、第２の方法は例えばオブジェクト認識機能による商品の認識である。また他の観点によれば、第１の方法は例えば自動確定機能による商品の認識であり、第２の方法は例えば選択確定機能による商品の認識である。

【0036】

ＣＰＵ２０は、ＲＯＭ２１が記憶するコンピュータプログラムを実行することにより、取得部２１０、表示制御部２１１、決済部２１２、及び印刷制御部２１３として機能する。

【0037】

取得部２１０は、第１〜第３の認識部１１０〜１１２で認識された商品に関する商品情報を取得する。特に本実施形態において、取得部２１０は、第１〜第３の認識部１１０〜１１２で認識された商品の商品情報が書き込まれた登録バッファ３０３をスキャナ装置１から受信することにより、商品情報を取得する。

【0038】

表示制御部２１１は、取得部２１０が取得した商品情報を、第１の方法にて認識された商品の商品情報と第２の方法にて認識された商品の商品情報との間で表示形態を異ならせて店員用ディスプレイ２０１に表示する。

【0039】

決済部２１２は、１商取引において取得部２１０が取得した商品情報に係る商品の代金を決済する。決済は、現金、クレジットカード、或いは電子マネーなどの如何なるメディアを介して行われてもよい。

【0040】

印刷制御部２１３は、決済部２１２が代金を決済した商取引に係る商品の商品情報などが配置されたレシート及びジャーナルをプリンタ２０３に印刷させる。特に本実施形態において、印刷制御部２１３は、第１の方法にて認識された商品の商品情報と第２の方法にて認識された商品の商品情報との間で印刷形態を異ならせて商品情報を配置したレシート及びジャーナルを、プリンタに印刷させる。

【0041】

各部１１０〜１１４としてのＣＰＵ１０の動作、及び各部２１０〜２１３としてのＣＰＵ２０の動作は、以降の詳細な説明においてより明らかとなる。

【0042】

［スキャナ装置の動作］
当該ＰＯＳシステムの稼働状態において、スキャナ装置１のＣＰＵ１０は、図６のフローチャートに沿って動作する。

【0043】

当該フローチャートにおいて、先ずＣＰＵ１０は、初期化処理を実行する（ステップＳ１０１）。この処理において、ＣＰＵ１０は、ＲＡＭ１２に候補バッファ３０２、登録バッファ３０３、及びフラグＧを形成する。ここで生成された候補バッファ３０２及び登録バッファ３０３には何もデータが書き込まれていない。フラグＧの値は、“０”である。

【0044】

ステップＳ１０１の後、ＣＰＵ１０は、ＲＯＭ１１が記憶するモード情報を参照し、店員用ディスプレイ１０２の表示モードが個別モード或いは非個別モードのいずれであるかを判定する（ステップＳ１０２）。個別モードは、登録バッファ３０３の各レコードに対応する情報を、商品がシンボルコード読取機能、自動確定機能、及び選択確定機能のいずれで登録されたかを区別可能な態様にて表示するためのモードである。非個別モードは、登録バッファ３０３の各レコードに対応する情報を、商品がシンボルコード読取機能、自動確定機能、及び選択確定機能のいずれで登録されたかを特に区別することなく表示するためのモードである。ＲＯＭ１１が記憶するモード情報は、個別モードと非個別モードのいずれか一方を表す。モード情報は、例えばスキャナ装置１のキーボード１０１の操作などにより、個別モードと非個別モードの間でユーザが任意に切り替えることができる。

【0045】

表示モードが個別モードに設定されている場合（ステップＳ１０２の“個別”）、ＣＰＵ１０は、第１の登録画面（図９参照）を店員用ディスプレイ１０２に表示させる（ステップＳ１０３）。一方、表示モードが非個別モードに設定されている場合（ステップＳ１０２の“非個別”）、ＣＰＵ１０は、第２の登録画面（図１０参照）を店員用ディスプレイ１０２に表示させる（ステップＳ１０４）。

【0046】

ステップＳ１０３或いはステップＳ１０４の後、ＣＰＵ１０は、カメラ１００が生成する画像データを画像Ｉ／Ｆ１４を介して取り込み、ＲＡＭ１２に書き込む（ステップＳ１０５）。

【0047】

ステップＳ１０５の後、ＣＰＵ１０は、ＲＡＭ１２に書き込んだ画像データを解析することにより、この画像データから商品画像を検出する（ステップＳ１０６）。具体的には、ＣＰＵ１０は、画像データを二値化した画像から輪郭線などを検出する。そしてＣＰＵ１０は、画像データに映し出されている物体の輪郭抽出を試みる。物体の輪郭が抽出できた場合、ＣＰＵ１０は、その輪郭内を商品画像とみなす。

【0048】

ＣＰＵ１０は、画像データから商品画像が検出できたか否かを判定する（ステップＳ１０７）。商品画像を検出できていないと判定した場合（ステップＳ１０７のＮｏ）、ＣＰＵ１０は、フラグＧの値が“１”であるか否かを判定する（ステップＳ１０８）。当該フローチャートに示す動作を開始した当初においては、フラグＧの値は“０”である。この場合、ＣＰＵ１０は、フラグＧが“１”でないと判定し（ステップＳ１０８のＮｏ）、小計指示が入力されているか否かを判定する（ステップＳ１０９）。小計指示は、例えばキーボード１０１に設けられた小計キーをユーザが操作することで入力される。小計指示が入力されていないと判定した場合（ステップＳ１０９のＮｏ）、ＣＰＵ１０の動作はステップ１０５に戻る。なお、当該フローチャートには示していないが、登録バッファ３０３に何らデータが書き込まれていない状態で小計指示が入力された場合、ＣＰＵ１０は、当該指示をエラーとして扱う。この場合も、ＣＰＵ１０の動作はステップＳ１０５に戻る。

【0049】

このように、ＣＰＵ１０は、カメラ１００が生成する画像データから商品画像を検出できるまでステップＳ１０５〜Ｓ１０９を繰り返す。やがて店員が、客がレジに運んだ商品をカメラ１００の撮像領域に翳すと、画像データに商品が映り込む。この場合、ＣＰＵ１０は、ステップＳ１０６において商品画像を検出することになる。

【0050】

商品画像が検出できたならば（ステップＳ１０７のＹｅｓ）、ＣＰＵ１０は、この商品画像を解析することにより、商品に付されたバーコードの読み取りを試行する（ステップＳ１１０）。具体的には、ＣＰＵ１０は、商品画像からバーコードのバーパターンの検出を試みる。バーパターンを検出できた場合、ＣＰＵ１０は、当該バーパターンのデコードを試みる。バーコードの読み取りは、デコードにより商品コードが得られた場合に成功となる。一方、バーコードの読み取りは、画像データにバーパターンが含まれない場合や、含まれるがデコードできない場合に失敗となる。このように、バーコードを読み取って商品コードを取得することにより商品の種別を認識する処理は、第１の認識部１１０としての機能に相当する。

【0051】

ステップＳ１１０の後、ＣＰＵ１０は、バーコード読み取りの成否を判定する（ステップＳ１１１）。バーコードの読み取りが成功したと判定した場合（ステップＳ１１１のＹｅｓ）、ＣＰＵ１０は、当該読み取りにより得られた商品コードと識別子“Ｆ０”とをＰＯＳ端末２に送信（出力）する（ステップＳ１１２）。その後、ＣＰＵ１０の動作は、ステップＳ１１３〜Ｓ１１６を経てステップＳ１０５に戻る。ステップＳ１１３〜Ｓ１１６については、後に説明する。

【0052】

一方、バーコードの読み取りに失敗したと判定した場合（ステップＳ１１１のＮｏ）、ＣＰＵ１０は、商品認識処理を実行する（ステップＳ１１７）。商品認識処理において、ＣＰＵ１０は、図７のフローチャートに沿って動作する。

【0053】

当該フローチャートにおいて、先ずＣＰＵ１０は、候補バッファ３０２をクリアする（ステップＳ２０１）。続いて、ＣＰＵ１０は、ステップＳ１０６にて検出した商品画像から商品の外観特徴量データを演算する（ステップＳ２０２）。外観特徴量データは、商品画像から商品の外観（輪郭、色合い、模様、凹凸具合等）に関する特徴量を抽出し、この特徴量をパラメータ化したデータである。

【0054】

外観特徴量データを演算した後、ＣＰＵ１０は、辞書ファイル３０１から１商品のレコードを取得する（ステップＳ２０３）。具体的には、ＣＰＵ１０は、ＰＯＳ端末２と通信することにより、補助記憶装置２４が記憶する辞書ファイル３０１から１商品のレコード（商品コード，商品名，基準画像データ０〜Ｎ，特徴量データ０〜Ｎ）を読み込む。ただし、１商品分のレコードの取得方法はこれに限られない。その他、例えばスキャナ装置１が備えるＲＯＭ１１などのメモリに辞書ファイル３０１を記憶させておき、ＣＰＵ１０がこの辞書ファイル３０１から１商品分のレコードを読み込むようにしてもよい。

【0055】

１商品分のレコードを取得した後、ＣＰＵ１０は、当該レコードの特徴量データ０〜Ｎごとに類似度を算出する（ステップＳ２０４）。類似度は、特徴量データ０〜ＮがステップＳ２０２にて算出した外観特徴量データとどの程度類似しているかを示す値である。さらに、ステップＳ２０４において、ＣＰＵ１０は、特徴量データ０〜Ｎごとに算出した類似度の最大値を、当該レコードの商品コードで示される商品と、カメラ１００で撮像された商品との類似度として決定する。

【0056】

類似度を決定した後、ＣＰＵ１０は、当該類似度が予め定められた閾値Ｌmin以上であるか否かを判定する（ステップＳ２０５）。閾値Ｌminは、ステップＳ２０３で取得したレコードの商品コードに対応する商品を、カメラ１００で撮像された商品の候補として残す類似度の下限値である。類似度が閾値Ｌmin以上である場合（ステップＳ２０５のＹｅｓ）、ＣＰＵ１０は、ステップＳ２０３で取得したレコードの商品コード、商品名、基準画像データ、及び当該類似度を、候補バッファ３０２に書き込む。候補バッファ３０２に書き込む基準画像データは、例えばステップＳ２０４にて算出した類似度のうち、最も大きい類似度に関する特徴量データに対応する基準画像データである。

【0057】

ステップＳ２０６の後、ＣＰＵ１０は、辞書ファイル３０１に未取得のレコードが存在するか否かを判定する（ステップＳ２０７）。未取得のレコードが存在すると判定した場合（ステップＳ２０７のＹｅｓ）、ＣＰＵ１０の動作はステップＳ２０３に戻る。すなわち、ＣＰＵ１０は、辞書ファイル３０１から未取得のレコードを１つ取得し、取得したレコードを対象としてステップＳ２０４〜Ｓ２０６の動作を繰り返す。なお、ステップＳ２０４にて決定した類似度が閾値Ｌmin未満であると判定した場合（ステップＳ２０５のＮｏ）、ＣＰＵ１０の動作はステップＳ２０６を経ずにステップＳ２０７に進む。

【0058】

このように、ステップＳ２０３〜Ｓ２０７が繰り返される過程で、カメラ１００により撮像された商品の候補に関するデータが候補バッファ３０２に書き込まれていく。候補バッファ３０２にデータを書き込むに当たり、ＣＰＵ１０は、類似度の高いデータほど順位の若いレコードに配置されるように候補バッファ３０２をソートする。ステップＳ２０４にて順次算出される類似度がいずれも低い場合には、候補バッファ３０２に全くデータが書き込まれないこともある。やがて、辞書ファイル３０１に未取得のレコードが存在しなくなると（ステップＳ２０７のＮｏ）、ＣＰＵ１０は、図７のフローチャートに示す動作を終了する。

【0059】

図６のフローチャートの説明に戻る。商品認識処理の後、ＣＰＵ１０は、フラグＧを“１”にセットする（ステップＳ１１８）。その後、ＣＰＵ１０の動作はステップＳ１０５に戻る。

【0060】

カメラ１００が生成する画像データに商品が映り込み、かつバーコードの読み取りが成功しない間、ＣＰＵ１０は、ステップＳ１０５〜Ｓ１０７，Ｓ１１０，Ｓ１１１，Ｓ１１７，Ｓ１１８を繰り返す。やがて店員が商品をカメラ１００の撮像領域から外したとき、ＣＰＵ１０は、商品画像を検出できなくなる（ステップＳ１０７のＮｏ）。この場合、ＣＰＵ１０は、フラグＧの値が“１”であると判定し（ステップＳ１０８のＹｅｓ）、商品確定処理を実行する（ステップＳ１１９）。商品確定処理において、ＣＰＵ１０は、図８のフローチャートに沿って動作する。

【0061】

当該フローチャートにおいて、先ずＣＰＵ１０は、候補バッファ３０２に商品の候補に関するデータが書き込まれたレコードが存在するか否かを判定する（ステップＳ３０１）。データが書き込まれたレコードが１つでも存在する場合（ステップＳ３０１のＹｅｓ）、ＣＰＵ１０は、これらレコードに書き込まれた類似度のうち最も値が大きい類似度、すなわち順位１位のレコードに書き込まれた類似度が、予め定められた閾値Ｌmax（Ｌmax＞Ｌmin）以上となるか否かを判定する（ステップＳ３０２）。閾値Ｌmaxは、カメラ１００にて撮像された商品を、当該レコードに書き込まれた商品コードが示す商品として確定できる類似度の下限値である。

【0062】

順位１位のレコードに書き込まれた類似度が閾値Ｌmax以上となると判定した場合（ステップＳ３０２のＹｅｓ）、ＣＰＵ１０は、当該レコードに書き込まれた商品コードにて示される商品を、カメラ１００にて撮像された商品であると認識することになる。この場合、ＣＰＵ１０は、当該レコードに書き込まれた商品コードと識別子“Ｆ１”とをＰＯＳ端末２に送信（出力）する（ステップＳ３０３）。このように、候補バッファ３０２に書き込まれた商品コードにて示される商品から店員の操作を介さずに商品の種別を確定することによりカメラ１００にて撮像された商品の種別を認識する処理は、第２の認識部１１１としての機能（自動確定機能）に相当する。

【0063】

一方、順位１位のレコードに書き込まれた類似度が閾値Ｌmax以上でないと判定した場合（ステップＳ３０２のＮｏ）、ＣＰＵ１０は、店員用ディスプレイ１０２に商品選択画面を表示する（ステップＳ３０４）。商品選択画面は、店員に商品を選択させるためのＧＵＩ（Graphical User Interface）を含む。このＧＵＩは、例えば候補バッファ３０２の各レコードに書き込まれた基準画像データのそれぞれに対応する画像とすることができる。商品選択画面を表示した状態で、ＣＰＵ１０は、商品の選択を待ち受ける（ステップＳ３０５のＮｏ）。やがて店員が商品選択画面に配置されたＧＵＩのいずれかをタッチパネルを介して操作したとき（ステップＳ３０５のＹｅｓ）、ＣＰＵ１０は、当該操作されたＧＵＩに対応する商品コードで示される商品を、カメラ１００にて撮像された商品であると認識することになる。この場合、ＣＰＵ１０は、当該商品コードと識別子“Ｆ２”とをＰＯＳ端末２に送信（出力）する（ステップＳ３０６）。このように、候補バッファ３０２に書き込まれた商品コードにて示される商品から、店員の操作により商品を確定することによりカメラ１００にて撮像された商品の種別を認識する処理は、第３の認識部１１２としての機能（選択確定機能）に相当する。

【0064】

ステップＳ３０３或いはステップＳ３０６の後、ＣＰＵ１０は、図８のフローチャートに示す動作を終了する。なお、候補バッファ３０２にデータが書き込まれたレコードが１つも存在しない場合（ステップＳ３０１のＮｏ）、ＣＰＵ１０は、店員用ディスプレイ１０２に候補商品が無い旨のメッセージを表示する（ステップＳ３０７）。さらに、ＣＰＵ１０は、フラグＧの値を“０”にセットする（ステップＳ３０８）。その後、ＣＰＵ１０の動作はステップＳ１０５に移る。

【0065】

このように、ＣＰＵ１０の動作がステップＳ１１２、Ｓ３０３、Ｓ３０６のいずれかを経ることにより、スキャナ装置１からＰＯＳ端末２に商品コードが送信される。ＰＯＳ端末２のＣＰＵ２０は、商品コードを受信したとき、補助記憶装置２４が記憶するＰＬＵファイル３００から当該コードに関連付けられた商品情報をスキャナ装置１に返信する。スキャナ装置１のＣＰＵ１０は、ＰＯＳ端末２から返信される商品情報を受信することにより、画像データから認識した商品に対応する商品情報を取得する（ステップＳ１１３）。なお、商品情報の取得方法はここで説明した方法に限られない。その他に、例えばスキャナ装置１のＲＯＭ１１などにＰＬＵファイル３００を保存しておき、ＣＰＵ１０がこのＰＬＵファイル３００から商品情報を取得する方法でもよい。このように、画像データから認識した商品の商品情報を取得する処理は、取得部１１３としての機能に相当する。

【0066】

ステップＳ１１３の後、ＣＰＵ１０は、取得した商品情報を登録バッファ３０３に登録する（ステップＳ１１４）。この処理において、ＣＰＵ１０は、登録バッファ３０３に当該商品情報を書き込むためのレコードを生成する。ＣＰＵ１０は、ステップＳ１１２、Ｓ３０３、あるいはＳ３０６にてＰＯＳ端末２に送信した商品コードと識別子、ステップＳ１１３にて取得した商品情報、及び、当該商品の購入数量などを生成したレコードに書き込む。購入数量は、デフォルトで“１”であり、キーボード１０１の操作などにより店員が２以上の数値を入力した場合にはその数値である。さらにＣＰＵ１０は、当該レコードにおける単価と数量を乗算した値を、当該レコードにおける“合計価格”として書き込む。

【0067】

ステップＳ１１４の後、ＣＰＵ１０は、表示更新処理を実行する（ステップＳ１１５）。表示更新処理は、ステップＳ１０３或いはステップＳ１０４にて店員用ディスプレイ１０２に表示させた登録画面を、現在の登録バッファ３０３の内容に応じて更新するための処理である。

【0068】

ステップＳ１１５の後、ＣＰＵ１０は、フラグＧの値を“０”にセットする（ステップＳ１１６）。その後、ＣＰＵ１０の動作はステップＳ１０５に戻る。

【0069】

店員は、客が購入する全ての商品を登録し終えたならば、キーボード１０１に設けられた小計キーを操作する。このとき、ＣＰＵ１０は、ステップＳ１０９において小計指示が入力されたと判定し（ステップＳ１０９のＹｅｓ）、ＰＯＳ端末２に小計コマンドと登録バッファ３０３に書き込まれたデータ（取引データと称す）とを送信する（ステップＳ１２０）。取引データは、登録バッファ３０３の各レコードと同じレコードを含む。ステップＳ１２０を以って、ＣＰＵ１０は、図６のフローチャートに示す動作を終了する。

【0070】

ここで、上述の第１の登録画面及び第２の登録画面について説明する。
図９は、第１の登録画面の一例である登録画面４００を示す模式図である。登録画面４００は、登録バッファ３０３に商品コードが書き込まれた商品ごとに設けられる商品エリア（上から第１〜５行目のそれぞれに相当）と、合計エリア（最下段の行に相当）とを含む。各商品エリアは、商品名、単価、購入数量Ｘ、購入数量Ｙ、購入数量Ｚ、及び価格を表示するためのエリアを含む。購入数量Ｘは、商品エリアに対応する商品について、シンボルコード読取機能により認識された購入数量である。購入数量Ｙは、商品エリアに対応する商品について、自動確定機能により認識された購入数量である。購入数量Ｚは、商品エリアに対応する商品について、選択確定機能により認識された購入数量である。価格は、単価に購入数量Ｘ，Ｙ，Ｚの合計数量を乗じた金額である。合計エリアは、各商品エリアの購入数量Ｘ，Ｙ，Ｚそれぞれの合計数量、及び各商品エリアの価格の合計金額を表示するためのエリアを含む。なお、図９においては既に各商品エリア及び合計エリアに情報が表示された状態を示しているが、ステップＳ１０３にて表示された当初は登録画面４００の各エリアに情報は表示されていない。

【0071】

図１０は、第２の登録画面の一例である登録画面５００を示す模式図である。登録画面５００は、登録バッファ３０３に商品コードが書き込まれた商品ごとに設けられる商品エリア（上から第１〜５行目のそれぞれに相当）と、合計エリア（最下段の行に相当）とを含む。各商品エリアは、商品名、単価、購入数量Ｐ、及び価格を表示するためのエリアを含む。購入数量Ｐは、コードシンボル読取機能、自動確定機能、及び選択確定機能のそれぞれにおいて商品エリアに対応する商品が認識された全購入数量を示す（Ｐ＝Ｘ＋Ｙ＋Ｚ）。価格は、単価に数量Ｐの合計数量を乗じた金額である。合計エリアは、各商品エリアの購入数量Ｐの合計数量、及び各商品エリアの価格の合計金額を表示するためのエリアを含む。なお、図１０においては既に各商品エリア及び合計エリアに情報が表示された状態を示しているが、ステップＳ１０４にて表示された当初は登録画面５００の各エリアに情報は表示されていない。

【0072】

ステップＳ１１５の表示更新処理について詳細に説明する。この説明においては、第１の登録画面として登録画面４００が表示され、第２の登録画面として登録画面５００が表示される場合を想定する。表示更新処理において、ＣＰＵ１０は、図１１のフローチャートに沿って動作する。

【0073】

当該フローチャートにおいて、先ずＣＰＵ１０は、直前のステップＳ１１４にて登録された商品（以下、表示対象商品と称す）が、同一の商取引において既に登録されていた商品であるか否かを判定する（ステップＳ４０１）。ＣＰＵ１０は、表示対象商品の商品コードを有するレコードが、直前のステップＳ１１４以前に登録バッファ３０３に存在していなかった場合には、表示対象商品が未だ登録されていなかった商品であると判定する。一方、ＣＰＵ１０は、表示対象商品の商品コードを有するレコードが、直前のステップＳ１１４以前に登録バッファ３０３に存在していた場合には、表示対象商品が既に登録されていた商品であると判定する。

【0074】

表示対象商品が未だ登録されていなかった商品であると判定した場合（ステップＳ４０１のＮｏ）、ＣＰＵ１０は、登録バッファ３０３における表示対象商品のレコードの商品名及び単価を、登録画面４００，５００のうち店員用ディスプレイ１０２に表示中の一方の商品エリアに追加表示する（ステップＳ４０２）。このとき、当該商品エリアの購入数量Ｘ，Ｙ，Ｚ或いは購入数量Ｐ及び価格は“０”である。

【0075】

ステップＳ４０２の後、あるいはステップＳ４０１において表示対象商品が既に登録されていた商品であると判定した場合（ステップＳ４０１のＹｅｓ）、ＣＰＵ１０は、ＲＯＭ１１が記憶するモード情報を参照し、店員用ディスプレイ１０２の表示モードが個別モードあるいは非個別モードのいずれであるかを判定する（ステップＳ４０３）。

【0076】

本例において、個別モードである場合には、店員用ディスプレイ１０２は登録画面４００を表示している。一方、非個別モードである場合には、店員用ディスプレイ１０２は登録画面５００を表示している。

【0077】

個別モードであると判定した場合（ステップＳ４０３の“個別”）、ＣＰＵ１０は、登録バッファ３０３における表示対象商品のレコードの識別子が“Ｆ０”であるか否かを判定する（ステップＳ４０４）。識別子が“Ｆ０”であると判定した場合（ステップＳ４０４のＹｅｓ）、ＣＰＵ１０は、登録画面４００における表示対象商品の商品エリアの購入数量Ｘを、登録バッファ３０３における表示対象商品のレコードの購入数量（α）だけ増加させる（ステップＳ４０５）。

【0078】

一方、識別子が“Ｆ０”でないと判定した場合（ステップＳ４０４のＮｏ）、ＣＰＵ１０は、識別子が“Ｆ１”であるか否かを判定する（ステップＳ４０６）。識別子が“Ｆ１”であると判定した場合（ステップＳ４０６のＹｅｓ）、ＣＰＵ１０は、登録画面４００における表示対象商品の商品エリアの購入数量Ｙを、登録バッファ３０３における表示対象商品のレコードの購入数量（α）だけ増加させる（ステップＳ４０７）。

【0079】

一方、識別子が“Ｆ１”でないと判定した場合（ステップＳ４０６のＮｏ）、ＣＰＵ１０は、登録画面４００における表示対象商品の商品エリアの購入数量Ｚを、登録バッファ３０３における表示対象商品のレコードの購入数量（α）だけ増加させる（ステップＳ４０８）。

【0080】

ステップＳ４０５，Ｓ４０７或いはＳ４０８の後、ＣＰＵ１０は、登録画面４００における表示対象商品の商品エリアの価格と合計エリアとを更新する（ステップＳ４０９）。

【0081】

ステップＳ４０９の後、ＣＰＵ１０は、登録画面４００における表示対象商品の表示エリアの購入数量Ｘが“０”でなく、かつ同エリアの購入数量Ｙ，Ｚがいずれも“０”（Ｘ≠０かつＹ＝Ｚ＝０）であるか否かを判定する（ステップＳ４１０）。Ｘ≠０かつＹ＝Ｚ＝０であると判定した場合（ステップＳ４１０のＹｅｓ）、ＣＰＵ１０は、登録画面４００における表示対象商品の表示エリアの表示形態を第１の表示形態に設定する（ステップＳ４１１）。第１の表示形態は、表示対象商品がコードシンボル読取機能のみによって認識された場合の表示形態である。

【0082】

ステップＳ４１０においてＸ≠０かつＹ＝Ｚ＝０でないと判定した場合（ステップＳ４１０のＮｏ）、ＣＰＵ１０は、登録画面４００における表示対象商品の表示エリアの購入数量Ｘが“０”（Ｘ＝０）であるか否かを判定する（ステップＳ４１２）。Ｘ＝０でないと判定した場合（ステップＳ４１２のＮｏ）、ＣＰＵ１０は、登録画面４００における表示対象商品の表示エリアの表示形態を第２の表示形態に設定する（ステップＳ４１３）。第２の表示形態は、表示対象商品がコードシンボル読取機能及びオブジェクト認識機能の双方によって認識された場合の表示形態である。

【0083】

ステップＳ４１２においてＸ＝０であると判定した場合（ステップＳ４１２のＹｅｓ）、ＣＰＵ１０は、登録画面４００における表示対象商品の表示エリアの購入数量Ｙが“０”でなく、かつ同エリアの購入数量Ｚが“０”でない（Ｙ≠０かつＺ≠０）か否かを判定する（ステップＳ４１４）。Ｙ≠０かつＺ≠０であると判定した場合（ステップＳ４１４のＹｅｓ）、ＣＰＵ１０は、登録画面４００における表示対象商品の表示エリアの表示形態を第３の表示形態に設定する（ステップＳ４１５）。第３の表示形態は、表示対象商品がコードシンボル読取機能により読み取られず、かつ自動確定機能及び選択確定機能の双方によって認識された場合の表示形態である。

【0084】

ステップＳ４１４においてＹ≠０かつＺ≠０でないと判定した場合（ステップＳ４１２のＮｏ）、ＣＰＵ１０は、登録画面４００における表示対象商品の表示エリアの購入数量Ｙが“０”（Ｙ＝０）であるか否かを判定する（ステップＳ４１６）。Ｙ＝０でないと判定した場合（ステップＳ４１６のＮｏ）、ＣＰＵ１０は、登録画面４００における表示対象商品の表示エリアの表示形態を第４の表示形態に設定する（ステップＳ４１７）。第４の表示形態は、表示対象商品が自動確定機能のみによって認識された場合の表示形態である。

【0085】

ステップＳ４１６においてＹ＝０であると判定した場合（ステップＳ４１６のＹｅｓ）、ＣＰＵ１０は、登録画面４００における表示対象商品の表示エリアの表示形態を第５の表示形態に設定する（ステップＳ４１８）。第５の表示形態は、表示対象商品が選択確定機能のみによって認識された場合の表示形態である。

【0086】

なお、ステップＳ４０３において表示モードが非個別モードであると判定した場合（ステップＳ４０３の“非個別”）、ＣＰＵ１０は、登録画面５００における表示対象商品の商品エリアの購入数量Ｐを、登録バッファ３０３における表示対象商品のレコードの購入数量（α）だけ増加させる（ステップＳ４１９）。

【0087】

ステップＳ４１１，Ｓ４１３，Ｓ４１５，Ｓ４１７，Ｓ４１８，Ｓ４１９のいずれかを実行した後、ＣＰＵ１０は図１１のフローチャートに示す動作を終了する。

【0088】

上述の第１の表示形態、第２の表示形態、第３の表示形態、第４の表示形態、及び第５の実施形態は、互いに異なる表示形態とする。具体的には、表示対象商品の商品エリア内の商品情報（商品名、単価、購入数量Ｘ，Ｙ，Ｚ及び価格の全て又は一部）の色、文字サイズ、或いはフォントを異ならせること、又は、商品情報に異なる修飾を付すことなどにより、各表示形態を異ならせればよい。上記修飾としては、例えば表示対象商品の商品エリア内の色を異ならせたり、当該商品エリアに異なる記号や図形を配置したりする方法を採用できる。
なお、表示更新処理は、表示制御部１１４としての機能に相当する。

【0089】

図４及び図９を参照し、表示モードが個別モードである場合の表示更新処理の具体例について説明する。
図４に示す登録バッファ３０３のナンバ“１”のレコードのように、商取引において先ず店員が商品コード“コードＣ１”に対応する商品“りんごＡ”を、コードシンボル読取機能により５つ登録したとする。この場合、ＣＰＵ１０は、図９に示すように、登録画面４００の最上段の商品エリアに“りんごＡ”の商品情報を表示させる。登録バッファ３０３における当該レコードの識別子は“Ｆ０”であり、購入数量は“５”である。したがって、ＣＰＵ１０は、登録画面の当該商品エリアの購入数量Ｘを“５”とする。このとき、当該表示エリアにおいてはＸ≠０かつＹ＝Ｚ＝０であるため、ＣＰＵ１０は、当該表示エリアを第１の表示形態に設定する（ステップＳ４１１）。

【0090】

続いて、図４に示す登録バッファ３０３のナンバ“２”のレコードのように、店員が商品コード“コードＣ１”に対応する商品“りんごＡ”を、今度は選択確定機能により１つ登録したとする。この場合、ＣＰＵ１０は、図９に示すように、登録画面４００の“りんごＡ”の表示エリアの購入数量Ｚを“１”とする。このとき、当該表示エリアにおいてはＸ≠０かつＹ＝０かつＺ≠０となるため、ＣＰＵ１０は、当該表示エリアの表示形態を第１の表示形態から第２の表示形態に変更する（ステップＳ４１３）。

【0091】

同様に、図４に示す登録バッファ３０３のナンバ“３”〜“７”のレコードのように店員が商品を登録した場合、登録画面４００は図９に示す第２〜５行目の商品エリアの通り情報を表示する。なお、図９においては、商品エリアに第１〜第５の表示形態に応じて異なるパターンを付すことにより、第１〜第５の表示形態を表現している。

【0092】

なお、表示モードが非個別モードである場合において、図４に示す登録バッファ３０３の通り商品が登録されたならば、登録画面５００は図１０に示す通りとなる。

【0093】

［ＰＯＳ端末の動作］
次に、ＰＯＳ端末２の動作について説明する。
ＰＯＳ端末２のＣＰＵ２０は、小計コマンドとともにスキャナ装置１から送信される取引データを受信したとき、この取引データをＲＡＭ２２に書き込む。このように、取引データを受信することにより、スキャナ装置１が認識した商品の商品情報を取得する処理は、取得部２１０としての機能に相当する。

【0094】

当該取引データに係る商取引の会計順が到来したならば、ＣＰＵ２０は、当該取引データを対象として、図１２のフローチャートに沿って動作する。

【0095】

当該フローチャートにおいて、先ずＣＰＵ２０は、ＲＯＭ２１が記憶するモード情報を参照し、店員用ディスプレイ２０１の表示モードが個別モードあるいは非個別モードのいずれであるかを判定する（ステップＳ５０１）。ＲＯＭ２１が記憶するモード情報は、個別モードと非個別モードのいずれか一方を表す。モード情報は、例えばＰＯＳ端末２のキーボード２００の操作などにより、個別モードと非個別モードの間でユーザが任意に切り替えることができる。

【0096】

表示モードが個別モードに設定されていると判定した場合（ステップＳ５０１の“個別”）、ＣＰＵ２０は、第１の登録画面を店員用ディスプレイ２０１に表示させる（ステップＳ５０２）。第１の登録画面は、例えば図９に示したものと同様である。ステップＳ５０２は、表示制御部２１１としての機能に相当する。

【0097】

一方、表示モードが非個別モードに設定されていると判定した場合（ステップＳ５０１の“非個別”）、ＣＰＵ２０は、第２の登録画面を店員用ディスプレイ２０１に表示させる（ステップＳ５０３）。第２の登録画面は、例えば図１０に示したものと同様である。

【0098】

ステップＳ５０２あるいはステップＳ５０３の後、ＣＰＵ２０は、決済処理を実行する（ステップＳ５０４）。決済処理において、ＣＰＵ２０は、店員がキーボード２００の操作などで指定した現金、クレジットカード、或いは電子マネーなどの支払い方法に対応する手順で、商取引の代金を決済するための処理を実行する。ステップＳ５０４は、決済部２１２としての機能に相当する。

【0099】

決済処理の後、ＣＰＵ２０は、プリンタ２０３に当該商取引のレシート及びジャーナルを印刷させる（ステップＳ５０５）。ジャーナルは、紙媒体に印刷するのではなく、電子データとして補助記憶装置２４やストアコンピュータ３などが記憶するデータベースに保存されてもよい。ステップＳ５０５は、印刷制御部２１３としての機能に相当する。

【0100】

ステップＳ５０５を以って、ＣＰＵ２０は、図１２のフローチャートに示す動作を終了する。

【0101】

図１３は、ステップＳ５０５にてプリンタが印刷するレシートの一例であるレシート６００を示す模式図である。レシート６００は、取引データに含まれる各レコードに対応する商品情報（商品名、購入数量、価格）と、合計数量及び合計価格とを含む。

【0102】

レシート６００は、対応するレコードに識別子“Ｆ１”が書き込まれた商品情報の左隣りに識別文字“ｏ”を含む。レシート６００は、対応するレコードに識別子“Ｆ２”が書き込まれた商品情報の左隣りに識別文字“ｃ”を含む。このように、レシート６００に配置される商品情報は、識別文字を付すか否かにより、コードシンボル読取機能により認識された商品の商品情報と、オブジェクト認識機能により認識された商品の商品情報との間で印刷形態を異ならせてある。さらに、レシート６００に配置される商品情報は、識別文字を異ならせることにより、自動確定機能により認識された商品の商品情報と、選択確定機能により認識された商品の商品情報との間で印刷形態を異ならせてある。

【0103】

これらの識別文字に代えて、他の文字や記号あるいは下線などの修飾を付したり、文字のフォントやサイズを変更したりすることにより、各機能で認識された商品情報の印刷形態を異ならせてもよい。なお、プリンタ２０３が印刷するジャーナルは、レシート６００と同様の印刷形態で配置された商品情報を含む。

【0104】

以上説明したように、本実施形態に係るスキャナ装置１及びＰＯＳ端末２は、第１の登録画面を表示する。第１の登録画面に表示される商品情報は、コードシンボル読取機能で認識された商品の商品情報とオブジェクト認識機能で認識された商品の商品情報との間で表示形態が異なる。したがって、店員は、第１の登録画面を見ることで、登録済みの商品がコードシンボル読取機能及びオブジェクト認識機能のいずれで認識されたものであるかを容易に知ることができる。

【0105】

本実施形態の他の観点によれば、第１の登録画面に表示される商品情報は、自動確定機能で認識された商品の商品情報と、選択確定機能で認識された商品の商品情報との間で表示形態が異なる。したがって、店員は、第１の登録画面を見ることで、登録済みの商品が自動確定機能及び選択確定機能のいずれで認識されたものであるかを容易に知ることができる。

【0106】

登録済みの商品がどのような方法で認識されたかを知ることができれば、商品の誤登録を防止する効果が期待できる。例えば客が、バーコードが付された５個のりんごＡ、バーコードが付されていない５個のりんごＢ、バーコードが付されていない５個のりんごＣをレジに運び、店員がこれらを１つずつカメラ１００の撮像領域に翳して登録する場合を想定する。さらにこの場合において、各りんごが以下の（ａ）〜（ｄ）の通り登録されたとする。

【0107】

（ａ）りんごＡは５個がコードシンボル読取機能により登録された。

【0108】

（ｂ）りんごＢ及びりんごＣはいずれも４個が自動確定機能により登録された。

【0109】

（ｃ）りんごＣは１個が選択確定機能により登録された。

【0110】

（ｄ）りんごＢは１個が選択確定機能により登録されたが、このとき候補としてりんごＡとりんごＢが表示され、店員が誤ってりんごＡを選択した。

【0111】

（ａ）〜（ｄ）を経た場合、登録画面４００は図９の第１〜３行目のようになる。店員は、商品エリアの表示態様の相違や購入数量Ｘ，Ｙ，Ｚにより、コードシンボル読取機能とオブジェクト認識機能の双方で登録された商品があることを知る。このように同一商品であるにも関わらずコードシンボル読取機能とオブジェクト認識機能の双方で登録された商品が存在するならば、バーコードが付されていない他の商品を当該商品と間違えて登録した可能性がある。そこで、店員は、りんごＡ，Ｂ，Ｃの現物を見てこれらの数量を確認し、りんごＢを誤って登録したことに気付く。また、本例ではりんごＣの登録に誤りはないが、自動確定機能と選択確定機能の双方で登録された商品についても、現物を見てその数量を確認することで店員は誤登録に気付くことができる。

【0112】

その他にも、第１の登録画面により、同一商品の二重登録の防止、商品の登録漏れの防止、誤登録が発生した場合の原因究明の容易化などの効果が期待できる。

【0113】

プリンタ２０３が印刷するレシートに配置された商品情報は、コードシンボル読取機能で認識された商品の商品情報とオブジェクト認識機能で認識された商品の商品情報との間で印刷形態が異なる。したがって、店員や客は、レシートを見ることで、販売された商品がコードシンボル読取機能及びオブジェクト認識機能のいずれで認識されたものであるかを容易に知ることができる。さらに、プリンタ２０３が印刷するレシートに配置された商品情報は、自動確定機能で認識された商品の商品情報と選択確定機能で認識された商品の商品情報との間で印刷形態が異なる。したがって、店員や客は、レシートを見ることで、販売された商品が自動確定機能及び選択確定機能のいずれで認識されたものであるかを容易に知ることができる。
その他にも、本実施形態にて開示した構成からは、種々の好適な効果が得られる。

【0114】

［変形例］
上記実施形態においては、店員の操作により会計を進行するＰＯＳシステムを開示した。しかしながら、スキャナ装置１やＰＯＳ端末２が実行するとした処理を、客の操作により会計を進行するセルフタイプのＰＯＳシステムに適用してもよい。

【0115】

スキャナ装置１やＰＯＳ端末２は、１つの筐体に一体的に設けられてもよい。

【0116】

コードシンボル読取機能により読み取るコードシンボルは、バーコードに限られず、ＱＲコード（登録商標）などの二次元コードであってもよい。

【0117】

第１の登録画面は、図９に示した登録画面４００の形式に限られない。第１の登録画面の他の例である登録画面４０１を図１４に示す。図９に示す登録画面４００は、１行の商品エリアにコードシンボル読取機能、自動確定機能、及び選択確定機能により登録された商品の購入数量を含む。これに対し、図１４に示す登録画面４０１は、同一商品であっても、商品の認識方法ごと（コードシンボル読取機能、自動確定機能、及び選択確定機能ごと）の商品エリアを含む。登録画面４０１の商品エリアは、商品の認識方法として、コードシンボル読取機能を表す“バーコード”、自動確定機能を表す“自動確定”、及び選択確定機能を表す“キャッシャ選択”のいずれかを含む。このような登録画面４０１によっても、画面内の各商品情報がコードシンボル読取機能、自動確定機能、及び選択確定機能のいずれで登録された商品に関するものであるかが区別可能となる。

【0118】

第１の登録画面やレシートにおいて区別可能とする認識方法として、コードシンボル読取機能、自動確定機能、及び選択確定機能による認識以外の他の方法を取り入れることも可能である。他の方法としては、商品が割り当てられたプリセットキーの操作、商品に付されたＲＦＩＤ（Radio Frequency IDentification）タグの読み取り、テンキー等の操作による商品コードの直接入力などがある。

【0119】

上記実施形態では、図６、図７、図８及び図１１のフローチャートに示す動作に関る処理を実現させるためのコンピュータプログラムをスキャナ装置１のＲＯＭ１１が予め記憶し、図１２のフローチャートに示す動作に関る処理を実現させるためのコンピュータプログラムをＰＯＳ端末２のＲＯＭ２１が予め記憶するとした。しかしこれに限らず、同様のプログラムがネットワークからスキャナ装置１及びＰＯＳ端末２にダウンロードされてもよい。或いは、記録媒体に記録された同様のプログラムが、スキャナ装置１及びＰＯＳ端末２にインストールされてもよい。記録媒体は、ＣＤ−ＲＯＭ，メモリカード等のようにプログラムを記憶でき、かつ装置が読み取り可能であれば、その形態は問わない。また、プログラムのインストールやダウンロードにより得る機能は、スキャナ装置１及びＰＯＳ端末２のＯＳ（オペレーティング・システム）等と協働してその機能を実現させるものであってもよい。

【0120】

また、スキャナ装置１及びＰＯＳ端末２が実行するとした処理を実現する機能や、スキャナ装置１及びＰＯＳ端末２が備えるとした構成の一部を、スキャナ装置１及びＰＯＳ端末２に通信接続されたサーバ装置に設けてもよい。このようにしてシステムを構築する場合、例えばクラウドコンピューティングを利用できる。より具体的には、ＳａａＳ（software as a service）と称されるソフトウェア提供形態が適する。

【0121】

図１５は、クラウドシステムを利用するＰＯＳシステム７００の構成図である。このＰＯＳシステム７００は、クラウド７０１、複数の端末装置７０２及び複数の通信ネットワーク７０３、及び、互いに通信接続された複数のサーバ装置７０４を有する。なお、端末装置７０２、通信ネットワーク７０３、及び、サーバ装置７０４は、それぞれ１つのみでもよい。

【0122】

端末装置７０２は、通信ネットワーク７０３を介してクラウド７０１と通信可能である。端末装置７０２としては、上記実施形態にて説明したスキャナ装置１及びＰＯＳ端末２や、デスクトップタイプやノートブックタイプなどの種々のコンピュータ、携帯電話装置、携帯情報端末（ＰＤＡ）、或いはスマートフォンなどを適宜に利用できる。

【0123】

通信ネットワーク７０３としては、インターネット、プライベートネットワーク、次世代ネットワーク（ＮＧＮ）、或いはモバイルネットワークなど種々のネットワークを適宜に利用できる。

【0124】

このような構成のＰＯＳシステム７００において、例えば、図６、図７、図８、図１１及び図１２のフローチャートにおける各ステップを実現する機能の一部をサーバ装置７０４に設ける。さらに、店員用ディスプレイ１０２，２０１やプリンタ２０３などのハードウェアと、図６、図７、図８、図１１及び図１２のフローチャートにおける各ステップを実現する機能の残りとを端末装置７０２に設ける。端末装置７０２とサーバ装置７０４とが適宜通信しながら、上記実施形態にて開示した各処理を実現する。このＰＯＳシステム７００によっても、上記実施形態にて説明した効果が得られる。

【0125】

本発明のいくつかの実施形態を説明したが、これらの実施形態は例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
以下に、本願の当初の特許請求の範囲に記載された発明を付記する。
［１］ コードシンボルを読み取る第１の方法で認識された商品に関する商品情報、及び、カメラが撮像した画像データに含まれる商品の外観の特徴に基づいて当該商品を認識する第２の方法で認識された商品に関する商品情報を取得する取得手段と、
前記取得手段が取得した商品情報を、前記第１の方法にて認識された商品の商品情報と前記第２の方法にて認識された商品の商品情報との間で表示形態を異ならせてディスプレイに表示する表示制御手段と、
を備えることを特徴とする商品情報表示装置。
［２］ カメラが撮像した画像データに含まれる商品の外観の特徴に基づき当該商品を特定の１種の商品として認識する第１の方法で認識された商品に関する商品情報、及び、カメラが撮像した画像データに含まれる商品の外観の特徴に基づいて当該商品の１又は複数種の候補を選定し、この候補の中からユーザが指定した１種を当該商品として認識する第２の方法で認識された商品に関する商品情報を取得する取得手段と、
前記取得手段が取得した商品情報を、前記第１の方法にて認識された商品の商品情報と前記第２の方法にて認識された商品の商品情報との間で表示形態を異ならせてディスプレイに表示する表示制御手段と、
を備えることを特徴とする商品情報表示装置。
［３］ 前記表示制御手段は、前記第１の方法で認識された商品の商品情報と前記第２の方法で認識された商品の商品情報の色、文字サイズ、或いはフォントを異ならせること、又は、前記第１の方法で認識された商品の商品情報と前記第２の方法で認識された商品の商品情報とに異なる修飾を付すことにより前記表示形態を異ならせる、
ことを特徴とする［１］又は［２］に記載の商品情報表示装置。
［４］ 前記表示制御手段は、前記第１の方法及び前記第２の方法の双方にて認識された同一商品について、前記第１の方法にて認識された当該商品の数と、前記第２の方法にて認識された当該商品の数とを別個に前記ディスプレイに表示する、
ことを特徴とする［１］乃至［３］のうちいずれか１に記載の商品情報表示装置。
［５］ １商取引において前記取得手段が取得した商品情報に係る商品の代金を決済する決済手段と、
前記決済手段が代金を決済した商取引において前記第１の方法及び前記第２の方法にて認識された商品の商品情報を、前記第１の方法にて認識された商品の商品情報と前記第２の方法にて認識された商品の商品情報との間で印刷形態を異ならせて配置したレシートをプリンタに印刷させる印刷制御手段と、
をさらに備えることを特徴とする［１］乃至［４］のうちいずれか１に記載の商品情報表示装置。
［６］ コンピュータを、
コードシンボルを読み取る第１の方法で認識された商品に関する商品情報、及び、カメラが撮像した画像データに含まれる商品の外観の特徴に基づいて当該商品を認識する第２の方法で認識された商品に関する商品情報を取得する取得手段、および、
前記取得手段が取得した商品情報を、前記第１の方法にて認識された商品の商品情報と前記第２の方法にて認識された商品の商品情報との間で表示形態を異ならせてディスプレイに表示する表示制御手段、
として機能させるためのコンピュータプログラム。

【符号の説明】

【0126】

１…スキャナ装置、２…ＰＯＳ端末、１０，２０…ＣＰＵ、１００…カメラ、１０２，２０１…店員用ディスプレイ、２０３…プリンタ、３００…ＰＬＵファイル、３０１…辞書ファイル、３０２…候補バッファ、３０３…登録バッファ、４００…第１の登録画面、５００…第２の登録画面、６００…レシート。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】