知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2025009499
(43)【公開日】2025-01-20
(54)【発明の名称】商品販売データ処理装置及びプログラム
(51)【国際特許分類】
G07G 1/12 20060101AFI20250110BHJP
【ＦＩ】
G07G1/12 331H
G07G1/12 301E
【審査請求】未請求
【請求項の数】6
【出願形態】ＯＬ
(21)【出願番号】P 2023112542
(22)【出願日】2023-07-07
(71)【出願人】
【識別番号】000003562
【氏名又は名称】東芝テック株式会社
(74)【代理人】
【識別番号】110002147
【氏名又は名称】弁理士法人酒井国際特許事務所
(72)【発明者】
【氏名】加藤 武
【テーマコード（参考）】
3E142
【Ｆターム（参考）】
3E142AA01
3E142AA03
3E142CA20
3E142GA02
3E142GA03
3E142GA16
3E142GA41
3E142KA05
(57)【要約】
【課題】本発明が解決しようとする課題は、商品の変更操作に係る店員の負担を軽減することが可能な商品販売データ処理装置及びプログラムを提供することである。
【解決手段】実施形態の商品販売データ処理装置は、商品を撮像した画像に基づき前記商品を認識する認識処理の認識結果を取得する取得手段と、前記取得手段が取得した前記認識結果に基づいて、前記認識処理で認識された商品を購入対象として登録する登録処理を実行する登録手段と、登録された商品の各々を表す画面を表示する表示手段と、登録された商品に対する変更操作を受け付け、当該変更操作の内容を前記画面に表示された変更対象の商品に反映する第１受付手段と、前記登録処理の終了を指示する終了操作を受け付ける第２受付手段と、前記終了操作が行われると、当該終了操作までに行われた前記変更操作が行われたことを店員に報知する処理を行う報知手段と、を備える。
【選択図】図１４
【解決手段】実施形態の商品販売データ処理装置は、商品を撮像した画像に基づき前記商品を認識する認識処理の認識結果を取得する取得手段と、前記取得手段が取得した前記認識結果に基づいて、前記認識処理で認識された商品を購入対象として登録する登録処理を実行する登録手段と、登録された商品の各々を表す画面を表示する表示手段と、登録された商品に対する変更操作を受け付け、当該変更操作の内容を前記画面に表示された変更対象の商品に反映する第１受付手段と、前記登録処理の終了を指示する終了操作を受け付ける第２受付手段と、前記終了操作が行われると、当該終了操作までに行われた前記変更操作が行われたことを店員に報知する処理を行う報知手段と、を備える。
【選択図】図１４
【特許請求の範囲】
【請求項1】
商品を撮像した画像に基づき前記商品を認識する認識処理の認識結果を取得する取得手段と、
前記取得手段が取得した前記認識結果に基づいて、前記認識処理で認識された商品を購入対象として登録する登録処理を実行する登録手段と、
登録された商品の各々を表す画面を表示する表示手段と、
登録された商品に対する変更操作を受け付け、当該変更操作の内容に応じた情報を前記画面に表された変更対象の商品に付加する第１受付手段と、
前記登録処理の終了を指示する終了操作を受け付ける第２受付手段と、
前記終了操作が行われると、当該終了操作までに行われた前記変更操作が行われたことを店員に報知する処理を行う報知手段と、
を備える商品販売データ処理装置。
前記取得手段が取得した前記認識結果に基づいて、前記認識処理で認識された商品を購入対象として登録する登録処理を実行する登録手段と、
登録された商品の各々を表す画面を表示する表示手段と、
登録された商品に対する変更操作を受け付け、当該変更操作の内容に応じた情報を前記画面に表された変更対象の商品に付加する第１受付手段と、
前記登録処理の終了を指示する終了操作を受け付ける第２受付手段と、
前記終了操作が行われると、当該終了操作までに行われた前記変更操作が行われたことを店員に報知する処理を行う報知手段と、
を備える商品販売データ処理装置。
【請求項2】
店員による確認操作を受け付ける第３受付手段と、
前記確認操作が行われると、前記変更操作の内容を前記登録された商品に反映する反映手段と、
を更に備える請求項１に記載の商品販売データ処理装置。
前記確認操作が行われると、前記変更操作の内容を前記登録された商品に反映する反映手段と、
を更に備える請求項１に記載の商品販売データ処理装置。
【請求項3】
前記報知手段は、店員が操作する端末装置に報知を行い、
前記第３受付手段は、前記端末装置から前記確認操作を受け付ける、
請求項２に記載の商品販売データ処理装置。
前記第３受付手段は、前記端末装置から前記確認操作を受け付ける、
請求項２に記載の商品販売データ処理装置。
【請求項4】
前記報知手段は、前記変更操作の対象となった商品の当該変更操作の前後の状態を示す情報を前記端末装置に報知する、
請求項３に記載の商品販売データ処理装置。
請求項３に記載の商品販売データ処理装置。
【請求項5】
前記終了操作に応じて、登録された商品の決済処理を行う決済手段と、
前記確認操作が行われるまでの間、前記決済処理を抑制する抑制手段と、
を更に備える請求項２に記載の商品販売データ処理装置。
前記確認操作が行われるまでの間、前記決済処理を抑制する抑制手段と、
を更に備える請求項２に記載の商品販売データ処理装置。
【請求項6】
商品販売データ処理装置のコンピュータを、
商品を撮像した画像に基づき前記商品を認識する認識処理の認識結果を取得する取得手段と、
前記取得手段が取得した前記認識結果に基づいて、前記認識処理で認識された商品を購入対象として登録する登録処理を実行する登録手段と、
登録された商品の各々を表す画面を表示する表示手段と、
登録された商品に対する変更操作を受け付け、当該変更操作の内容を前記画面に表示された変更対象の商品に反映する第１受付手段と、
前記登録処理の終了を指示する終了操作を受け付ける第２受付手段と、
前記終了操作が行われると、当該終了操作までに行われた前記変更操作が行われたことを店員に報知する処理を行う報知手段と、
して機能させることができるプログラム。
商品を撮像した画像に基づき前記商品を認識する認識処理の認識結果を取得する取得手段と、
前記取得手段が取得した前記認識結果に基づいて、前記認識処理で認識された商品を購入対象として登録する登録処理を実行する登録手段と、
登録された商品の各々を表す画面を表示する表示手段と、
登録された商品に対する変更操作を受け付け、当該変更操作の内容を前記画面に表示された変更対象の商品に反映する第１受付手段と、
前記登録処理の終了を指示する終了操作を受け付ける第２受付手段と、
前記終了操作が行われると、当該終了操作までに行われた前記変更操作が行われたことを店員に報知する処理を行う報知手段と、
して機能させることができるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明の実施形態は、商品販売データ処理装置及びプログラムに関する。
【背景技術】
【0002】
従来、ショッピングセンター、量販店、百貨店等の店舗において、店舗で販売する商品の商品登録処理の操作及び決済処理の操作を顧客自身が行うセルフ型のＰＯＳ端末が存在する。このようなＰＯＳ端末には、顧客が購入する商品を撮像し、撮像した商品の画像から商品を認識し、その認識結果に基づいて商品登録処理を行うものがある。
【0003】
ところで、上述したセルフ型のＰＯＳ端末では、登録された商品の変更操作についても顧客が行うことが可能である。例えば、画像から誤った商品が認識され登録されてしまったような場合には、当該商品を削除する変更操作を顧客自身で行うことができる。但し、一旦登録した商品を削除した後、当該商品をそのまま持ち帰る等不当な目的で行われる変更操作も存在するため、変更操作が行われた場合には、その都度店員が変更内容を確認することになる。また、店舗によっては、顧客による変更操作を禁止し、その都度店員が変更操作を行う場合もある。
【0004】
しかしながら、従来の運用方法では、変更操作を行う度に店員を呼び出す必要があるため店員の負担が大きく、改善の余地がある。
【発明の概要】
【発明が解決しようとする課題】
【0005】
本発明が解決しようとする課題は、商品の変更操作に係る店員の負担を軽減することが可能な商品販売データ処理装置及びプログラムを提供することである。
【課題を解決するための手段】
【0006】
実施形態の商品販売データ処理装置は、商品を撮像した画像に基づき前記商品を認識する認識処理の認識結果を取得する取得手段と、前記取得手段が取得した前記認識結果に基づいて、前記認識処理で認識された商品を購入対象として登録する登録処理を実行する登録手段と、登録された商品の各々を表す画面を表示する表示手段と、登録された商品に対する変更操作を受け付け、当該変更操作の内容を前記画面に表示された変更対象の商品に反映する第１受付手段と、前記登録処理の終了を指示する終了操作を受け付ける第２受付手段と、前記終了操作が行われると、当該終了操作までに行われた前記変更操作が行われたことを店員に報知する処理を行う報知手段と、を備える。
【図面の簡単な説明】
【0007】
【発明を実施するための形態】
【0008】
以下、本発明の実施形態について図面を参照して説明する。以下に説明する実施形態では、購入対象となる商品の登録操作及び決済操作を顧客自身が行う商品販売データ処理装置を例に説明する。なお、以下に説明する実施形態によりこの発明が限定されるものではない。
【0009】
図１は、実施形態に係る商品販売データ処理システムの一例を示す図である。図１において、商品販売データ処理システム１は、例えば、スーパーマーケット、量販店、コンビニエンスストア、専門店等の店舗Ｔに設けられる。商品販売データ処理システム１は、１台または複数台のＰＯＳ（Point of Sales）端末１０（商品販売データ処理装置）と、撮像装置２０と、エッジデバイス３０と、店員端末４０と、店舗サーバ５０とを備える。
【0010】
ＰＯＳ端末１０とエッジデバイス３０と店員端末４０と店舗サーバ５０とは、相互に通知可能なＬＡＮ（Local Area Network）等の通信回線Ｌに接続される。また、撮像装置２０は、例えばＵＳＢ（Universal Serial Bus）ケーブルＵ等により、ＰＯＳ端末１０毎に接続される。また、撮像装置２０は、通信回線Ｌに接続される。なお、撮像装置２０は、ＰＯＳ端末１０を介して通信回線Ｌに接続される構成としてもよい。
【0011】
撮像装置２０は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像素子を備えるデバイスである。撮像装置２０は、例えば、ＰＯＳ端末１０を操作する顧客側に向けて設けられ、当該顧客が購入する商品の撮像を行う。具体的には、本実施形態では、ＰＯＳ端末１０を操作する顧客は、登録処理を行うため、自己が購入する商品を一品ずつ撮像装置２０にかざすことで、当該商品を撮像装置２０に撮像させる。
【0012】
撮像装置２０は、撮像によって画像（以下、撮像画像ともいう）を取得すると、取得した画像をエッジデバイス３０に出力する。具体的には、撮像装置２０は、所定のフレームレートで撮像された画像をエッジデバイス３０に出力する。
【0013】
また、撮像装置２０は、撮像によって得られる画像に対しコード認識を行うことで、当該画像からバーコードや二次元コード等のシンボルの検出を試みる。コード認識では、商品に付されたバーコードや二次元コード等のシンボルを画像から検出し、検出したシンボルをデコードすることで得られたデコード情報をＰＯＳ端末１０に出力する。デコード情報には、シンボルが付された商品を特定する商品特定情報が含まれるため、当該商品特定情報に基づき、撮像された商品を特定することができる。本実施形態では、商品特定情報として、各商品を識別可能な商品コードを用いるものとするが、商品を識別可能な情報であれば商品コード以外であってもよい。
【0014】
なお、撮像装置２０は、撮像によって得られた画像の中から、商品が写っている画像又写っている可能性のある画像等を抽出して、エッジデバイス３０への出力やシンボル抽出の処理対象としてもよい。この場合、画像の抽出方法は特に問わず、公知の技術を用いることができる。例えば、撮像装置２０は、時間的に連続する複数フレームの差分から画像内に含まれる物体の動きを検出し、動きを検出した画像を抽出して処理対象としてもよい。
【0015】
エッジデバイス３０は、画像処理や画像認識等の所定の処理を行う情報処理装置である。具体的には、エッジデバイス３０は、撮像装置２０から入力される画像から商品を認識するパッケージ認識を行う。
【0016】
パッケージ認識は、画像に表された商品の外観上の特徴に基づき、撮像装置２０で撮像された商品を特定する技術である。ここで、商品の外観上の特徴は、例えば、パッケージのデザインや、模様、色合い、質感、形状等が挙げられる。
【0017】
パッケージ認識は、例えば一般物体認識や、ディープラーニング等のモデルを用いた画像認識等の公知の技術を用いることができる。パッケージ認識では、画像から抽出した商品の外観上の特徴を示す特徴量に基づき、当該特徴量に類似した商品のうち、その類似度（尤度ともいう）が閾値以上となった一の商品を、被写体となった商品として特定する。
【0018】
図２は、パッケージ認識の一例を説明するための図である。図２に示すように、パッケージ認識では、物体検出モデル６１、特徴抽出モデル６２、及び照合用辞書６３の３種類の学習済みモデル又は辞書データ（以下総称して辞書ともいう）を用いて、撮像装置２０で撮像された画像から商品の特定を行う。
【0019】
物体検出モデル６１は、撮像された画像中に写っている物体の領域を検出するための辞書である。物体検出モデル６１は、撮像装置２０が撮像した撮像画像が入力されると、当該撮像画像から商品が表された領域（以下、物体画像ともいう）を検出して出力する。
【0020】
特徴抽出モデル６２は、物体検出モデル６１で検出された領域に表された商品から、当該商品に外観上の特徴を示す特徴量を抽出するための辞書である。特徴抽出モデル６２は、物体画像又は物体画像を含んだ撮像画像が入力されると、物体画像に表された商品の外観上の特徴を示す特徴量を抽出して出力する。
【0021】
照合用辞書６３は、商品の特徴量に基づいて、当該特徴量に類似する商品を特定するための辞書である。例えば、照合用辞書６３は、店舗Ｔで販売される複数の商品について、それぞれの商品を特定する商品コード別に当該商品の特徴を示す特徴量を関連付けて記憶する。また、照合用辞書６３は、入力された特徴量と記憶された特徴量とを照合することで、記憶された多数の商品が、撮像された商品にどの程度似ているかを定量的に示す類似度を算出する。類似度が高い商品ほど撮像された商品と似ている程度（すなわち、撮像された商品である確率）が高い。一例として、類似度が９５％以上の商品は、撮像された商品と同じ商品である可能性が極めて高い。
【0022】
エッジデバイス３０は、物体検出モデル６１を用いて、撮像装置２０で撮像された画像から商品が写っている領域を検出する。次に、エッジデバイス３０は、特徴抽出モデル６２を用いて、当該領域内（物体画像）に写っている商品の外観上の特徴を多次元ベクトル等で定量的に表した特徴量を抽出する。そして、エッジデバイス３０は、照合用辞書６３を用いて、抽出した特徴量と辞書に記憶されている多数の商品の特徴量とを照合することで類似度を算出し、類似度に応じて商品を認識する。
【0023】
具体的には、エッジデバイス３０は、類似度が閾値以上（例えば、９５％以上）となる商品が一つ存在する場合、その類似度が閾値以上となった商品を、撮像装置２０で撮像された商品として特定する。また、エッジデバイス３０は、類似度が閾値以上の商品が存在しない場合（例えば、何れの商品の類似度も９５％未満となる場合）、一つの商品を特定せずに、類似度が高い複数の商品を候補商品とする。例えば、エッジデバイス３０は、何れの商品の類似度も閾値未満となる場合、類似度が高いものから所定数（例えば４個）の候補商品を抽出する。そして、エッジデバイス３０は、特定した商品又は候補商品の商品コードをパッケージ認識の認識結果とし、撮像画像を送信した送信元の撮像装置２０に送信する。なお、エッジデバイス３０は、複数の候補商品を認識した場合、当該候補商品について算出した類似度を認識結果に含めて送信するものとする。また、エッジデバイス３０は、商品を一意に特定できた場合もその類似度を認識結果に含めて送信してもよい。また、エッジデバイス３０は、類似判定に係る下限閾値を有し、類似度が下限閾値を下回る場合には、当該類似度の商品を候補商品から除外する。
【0024】
撮像装置２０は、エッジデバイス３０からパッケージ認識の認識結果を受信すると、、当該認識結果をＰＯＳ端末１０に出力する。なお、撮像装置２０は、自己のコード認識で特定した商品の商品コードと、エッジデバイス３０から受信した商品コード、つまりパッケージ認識で特定された商品コードとを識別可能な状態でＰＯＳ端末１０に出力する。例えば、撮像装置２０は、コード認識とパッケージ認識とを識別可能なフラグ値をあわせて出力することで、コード認識で特定された商品の商品コードと、パッケージ認識で特定された商品の商品コードとを識別可能に出力する。
【0025】
なお、本実施形態では、エッジデバイス３０は、パッケージ認識の認識結果を、撮像装置２０を介してＰＯＳ端末１０に入力する形態としたが、これに限らず、ＰＯＳ端末１０に直接入力する形態としてもよい。この場合、エッジデバイス３０は、例えば、対となるＰＯＳ端末１０と撮像装置２０とのＩＰアドレスを関連付けた設定情報を記憶し、撮像画像の送信元の撮像装置２０に対応するＰＯＳ端末１０宛に、当該撮像画像から特定した商品又は候補商品の認識結果を送信する。
【0026】
店員端末４０は、店舗Ｔの店員が操作する端末装置である。店員端末４０は、例えば携帯型の端末装置であってもよいし、ＰＯＳ端末１０と同じエリアに配置されるアテンダント端末等であってもよい。店員端末４０は、ＰＯＳ端末１０の状態を確認することが可能となっている。
【0027】
店舗サーバ５０は、例えば店舗Ｔのバックヤードに設置される。店舗サーバ５０は、店舗Ｔで販売される各商品の商品コードに関連付けて、当該商品の商品名や価格、商品画像等を関連付けた商品マスタ（図示せず）を記憶する。また、店舗サーバ５０は、ＰＯＳ端末１０の各々に商品マスタを提供する。例えば、店舗サーバ５０は、ＰＯＳ端末１０の各々に商品マスタを送信して、ＰＯＳ端末１０のローカルに商品マスタを記憶させる。また、例えば、店舗サーバ５０は、ＰＯＳ端末１０の各々が参照可能に商品マスタを記憶する。
【0028】
また、店舗サーバ５０は、ＰＯＳ端末１０から受信した売上データを収集する。店舗サーバ５０は、収集した売上データに基づいて当該店舗Ｔの商品の売上げを管理する。
【0029】
ＰＯＳ端末１０は、他の装置と協働することで、店舗Ｔにおいて販売される商品の商品登録処理及び決済処理を行う。具体的には、ＰＯＳ端末１０は、顧客によって操作され、当該顧客が商品を撮像装置２０にかざすことで撮像装置２０によって撮像された画像に基づき特定される商品を、購入対象として登録する登録処理を実行する。また、ＰＯＳ端末１０は、登録処理の終了を指示する操作に応じて、それまでに登録された商品の代金を顧客が支払う金額で決済する決済処理を実行する。
【0030】
ＰＯＳ端末１０は、例えば店舗Ｔ内の精算エリアに１台または複数台（図１では３台）設置される。ＰＯＳ端末１０は、顧客自身が操作を行う商品販売データ処理装置である。ＰＯＳ端末１０は、顧客により購入対象の商品を撮像装置２０にかざす登録操作が行われると、上述のコード認識又はパッケージ認識で特定された商品の商品コードに基づき、顧客が購入する商品の商品登録処理を実行する。商品登録処理は、特定された商品コードや、当該商品コードに対応する商品の商品情報（商品名、商品の価格等）を、商品マスタから読み出して記憶媒体に記憶する処理をいう。
【0031】
なお、本実施形態では、商品登録処理の記憶先となる記憶媒体は、ＰＯＳ端末１０が備えるものとするが、これに限らず、例えば店舗サーバ５０等の外部装置が備える構成としてもよい。
【0032】
また、ＰＯＳ端末１０は、商品登録処理の終了を指示する操作や、決済処理の開始を指示する操作に応じて、商品登録処理で登録された商品の決済処理を実行する。決済処理とは、商品登録処理により登録商品記憶部１３１に記憶された商品情報に基づいて、当該取引に係る締め処理、具体的には、合計金額の表示部１６への表示、現金、クレジットカード、電子マネー等のメディアによる決済処理、現金決済の場合に預り金に基づいて釣銭を計算して表示部１６に表示する処理、決済処理した商品の商品情報や会計情報（合計金額、預り金額、釣銭額、ポイント情報等）を印字したレシートを後述するプリンタ１８から発行する処理等をいう。
【0033】
またＰＯＳ端末１０は、決済処理した商品の商品情報及び会計情報（総称して、売上データともいう）を、店舗サーバ５０に送信する。ＰＯＳ端末１０から店舗サーバ５０への売上データの送信のタイミングは、実施形態では決済処理が終了したタイミングで行うものとするが、これに限らず、例えば店舗Ｔの閉店時に一日分をまとめて送信する等してもよい。
【0034】
上述したように、本実施形態の商品販売データ処理システム１では、撮像装置２０で撮像される商品の特定は、コード認識とパッケージ認識とを併用することで行われる。ＰＯＳ端末１０の各々では、撮像装置２０の撮像画像に基づき行われるコード認識及びパッケージ認識の認識結果のうち、先に取得された認識結果で撮像された商品を特定することができる場合、当該商品の商品コードを用いて商品登録処理を行う。
【0035】
次に、商品販売データ処理システム１が有する各装置の構成について説明する。
【0036】
図３は、ＰＯＳ端末１０のハードウェア構成の一例を示す図である。図３に示すように、ＰＯＳ端末１０は、プロセッサの一例であるＣＰＵ（Central Processing Unit）１１、ＲＯＭ（Read Only Memory）１２、ＲＡＭ（Random Access Memory）１３、メモリ部１４等を備える。
【0037】
ＣＰＵ１１は、１又は複数の処理回路を有し、ＰＯＳ端末１０の動作を統括的に制御する。ＲＯＭ１２は、ＣＰＵ１１が実行することが可能な各種プログラムを記憶する。ＲＡＭ１３は、プログラムや各種データを一時的に記憶するためのワークエリアである。例えば、ＲＡＭ１３は、コード認識又はパッケージ認識の認識結果を記憶する。また、ＲＡＭ１３は、商品登録処理された商品の商品コードや点数、商品情報等を記憶するための登録商品記憶部１３１を保持する。
【0038】
メモリ部１４は、電源を切っても記憶情報が保持されるＨＤＤ（Hard Disc Drive）やフラッシュメモリ等の不揮発性メモリで構成される。メモリ部１４は、ＣＰＵ１１が実行することが可能な各種プログラムや設定情報等を記憶する。例えば、メモリ部１４は、ＣＰＵ１１が実行可能な制御プログラム１４１、商品マスタ１４２等を記憶する。商品マスタ１４２は、店舗Ｔで販売される各商品の商品コードに関連付けて、当該商品コードに対応する商品の商品情報等を記憶する。
【0039】
【0040】
商品情報は、商品に関する各種の情報を含む。例えば、商品情報は、商品名、価格、及び商品画像を含む。商品画像は、商品の外観等を表した画像データである。また、シンボルフラグは、商品にシンボルが付されているか否かを示す二値のフラグ情報である。
【0041】
シンボルが付された商品については、コード認識の対象となるとともに、パッケージ認識の対象になり得る。一方、シンボルが付されていない商品については、コード認識の対象とはならず、パッケージ認識でのみ認識することができる。シンボルが付されていない商品は、例えば、生鮮食品の他、店舗で製造・販売される惣菜等の商品が挙げられる。
【0042】
なお、商品マスタ１４２のデータ構成は、図４の例に限定されないものとする。例えば、商品マスタ１４２は、シンボルフラグを取り除いたデータ構成としてもよい。
【0043】
図３に戻り、ＣＰＵ１１、ＲＯＭ１２、ＲＡＭ１３、メモリ部１４は、互いにバス等を介して接続される。ここで、ＣＰＵ１１とＲＯＭ１２とＲＡＭ１３とが、ＰＯＳ端末１０の制御部１００を構成する。制御部１００は、ＣＰＵ１１がＲＯＭ１２やメモリ部１４に記憶されＲＡＭ１３に展開された制御プログラム１４１に従って動作することによって、ＰＯＳ端末１０の機能を実現する。
【0044】
また、制御部１００は、バス等を介して、操作部１５、表示部１６、カードリーダ１７、プリンタ１８等に接続される。
【0045】
操作部１５は、操作者が操作入力を行うための各種の操作キーを有している。操作部１５は、操作キーの一例として締めキーを有する。締めキーは、ＰＯＳ端末１０において商品登録処理を終了し、決済処理へ処理を進める際に操作する操作キーである。表示部１６は、例えば液晶表示器であり、ＰＯＳ端末１０の操作者である顧客に対して情報を表示する。表示部１６は、制御部１００の制御の下、例えば商品登録処理された商品の商品情報（商品名、商品の価格、等）や、決済処理に係る会計情報を表示する。なお操作部１５は、表示部１６上に設けられるタッチパネルであってもよい。
【0046】
カードリーダ１７は、例えばクレジットカード、デビットカード、電子マネーカード等で決済処理を行う場合に、当該カードから決済に係るカード情報を読み取るための読取装置である。プリンタ１８は、例えばサーマルプリンタ等の印刷装置である。プリンタ１８は、制御部１００の制御の下、決済処理した商品に係る商品情報や決済情報等を印字したレシートを発行する。
【0047】
また、制御部１００は、バス等を介して、通信部１９と接続している。通信部１９は、外部装置と接続するための各種の通信インタフェースである。通信部１９は、ケーブルＵを介して撮像装置２０と通信可能に接続される。また、通信部１９は、通信回線Ｌを介してエッジデバイス３０、店員端末４０及び店舗サーバ５０と通信可能に接続される。
【0048】
次に、撮像装置２０のハードウェア構成について説明する。図５は、撮像装置２０のハードウェア構成の一例を示す図である。図５に示すように、撮像装置２０は、プロセッサの一例であるＣＰＵ２１、ＲＯＭ２２、ＲＡＭ２３、メモリ部２４等を備える。
【0049】
ＣＰＵ２１は、１又は複数の処理回路を有し、撮像装置２０の動作を統括的に制御する。ＲＯＭ２２は、ＣＰＵ２１が実行することが可能な各種プログラムを記憶する。ＲＡＭ２３は、プログラムや各種データを一時的に記憶するためのワークエリアである。例えば、ＲＡＭ２３は、後述する撮像部２５で撮像された画像や、コード認識の中間データや処理結果（認識結果）等を記憶する。
【0050】
メモリ部２４は、電源を切っても記憶情報が保持されるＨＤＤやフラッシュメモリ等の不揮発性メモリで構成される。メモリ部２４は、ＣＰＵ２１が実行することが可能な各種プログラムや設定情報等を記憶する。例えば、メモリ部２４は、ＣＰＵ２１が実行可能な制御プログラム２４１等を記憶する。
【0051】
ＣＰＵ２１、ＲＯＭ２２、ＲＡＭ２３、メモリ部２４は、互いにバス等を介して接続される。ここで、ＣＰＵ２１とＲＯＭ２２とＲＡＭ２３とが、撮像装置２０の制御部２００を構成する。制御部２００は、ＣＰＵ２１がＲＯＭ２２やメモリ部２４に記憶されＲＡＭ２３に展開された制御プログラム２４１に従って動作することによって、撮像装置２０の機能を実現する。
【0052】
また、制御部２００は、バス等を介して、撮像部２５及び通信部２６と接続される。撮像部２５は、ＣＣＤ等の撮像素子を備えたカメラモジュールである。通信部２６は、外部装置と接続するための各種の通信インタフェースである。通信部２６は、ケーブルＵを介してＰＯＳ端末１０と通信可能に接続される。また、通信部２６は、通信回線Ｌを介してエッジデバイス３０等と通信可能に接続される。
【0053】
次に、エッジデバイス３０のハードウェア構成について説明する。図６は、エッジデバイス３０のハードウェア構成の一例を示す図である。図６に示すように、エッジデバイス３０は、プロセッサの一例であるＣＰＵ３１、ＲＯＭ３２、ＲＡＭ３３、メモリ部３４等を備える。
【0054】
ＣＰＵ３１は、１又は複数の処理回路を有し、エッジデバイス３０の動作を統括的に制御する。ＲＯＭ３２は、ＣＰＵ３１が実行することが可能な各種プログラムを記憶する。ＲＡＭ３３は、プログラムや各種データを一時的に記憶するためのワークエリアである。例えば、ＲＡＭ３３は、撮像装置２０から送信された画像や、パッケージ認識の中間データや処理結果（認識結果）等を記憶する。
【0055】
メモリ部３４は、電源を切っても記憶情報が保持されるＨＤＤやフラッシュメモリ等の不揮発性メモリで構成される。メモリ部３４は、ＣＰＵ３１が実行することが可能な各種プログラムや設定情報等を記憶する。例えば、メモリ部３４は、ＣＰＵ３１が実行可能な制御プログラム３４１を記憶する。また、メモリ部３４は、上述した物体検出モデル６１、特徴抽出モデル６２及び照合用辞書６３等の他、類似度の基づき商品を一意に特定する際の指標となる閾値を設定した閾値設定情報３４２を等記憶する。
【0056】
ＣＰＵ３１、ＲＯＭ３２、ＲＡＭ３３、メモリ部３４は、互いにバス等を介して接続される。ここで、ＣＰＵ３１とＲＯＭ３２とＲＡＭ３３とが、エッジデバイス３０の制御部３００を構成する。制御部３００は、ＣＰＵ３１がＲＯＭ３２やメモリ部３４に記憶されＲＡＭ３３に展開された制御プログラム３４１に従って動作することによって、エッジデバイス３０の機能を実現する。
【0057】
また、制御部３００は、バス等を介して通信部３５と接続される。通信部３５は、外部装置と接続するための各種の通信インタフェースである。通信部３５は、通信回線Ｌを介してＰＯＳ端末１０や撮像装置２０、店員端末４０及び店舗サーバ５０等と通信可能に接続される。
【0058】
次に、店員端末４０のハードウェア構成について説明する。図７は、店員端末４０のハードウェア構成の一例を示す図である。図７に示すように、店員端末４０は、プロセッサの一例であるＣＰＵ４１、ＲＯＭ４２、ＲＡＭ４３、メモリ部４４等を備える。
【0059】
ＣＰＵ４１は、１又は複数の処理回路を有し、店員端末４０の動作を統括的に制御する。ＲＯＭ４２は、ＣＰＵ４１が実行することが可能な各種プログラムを記憶する。ＲＡＭ４３は、プログラムや各種データを一時的に記憶するためのワークエリアである。
【0060】
メモリ部４４は、電源を切っても記憶情報が保持されるＨＤＤやフラッシュメモリ等の不揮発性メモリで構成される。メモリ部４４は、ＣＰＵ４１が実行することが可能な各種プログラムや設定情報等を記憶する。例えば、メモリ部４４は、ＣＰＵ４１が実行可能な制御プログラム４４１等を記憶する。
【0061】
ＣＰＵ４１、ＲＯＭ４２、ＲＡＭ４３、メモリ部４４は、互いにバス等を介して接続される。ここで、ＣＰＵ４１とＲＯＭ４２とＲＡＭ４３とが、店員端末４０の制御部４００を構成する。制御部４００は、ＣＰＵ４１がＲＯＭ４２やメモリ部４４に記憶されＲＡＭ４３に展開された制御プログラム４４１に従って動作することによって、店員端末４０の機能を実現する。
【0062】
また、制御部４００は、バス等を介して、操作部４５、表示部４６等に接続される。
【0063】
操作部４５は、操作者が操作入力を行うための各種の操作キーを有している。表示部４６は、例えば液晶表示器であり、店員端末４０の操作者である店員に対して情報を表示する。なお、操作部４５は、表示部４６上に設けられるタッチパネルであってもよい。
【0064】
また、制御部４００は、バス等を介して、通信部４７に接続される。通信部４７は、外部装置と接続するための各種の通信インタフェースである。通信部４７は、通信回線Ｌを介してＰＯＳ端末１０、撮像装置２０、エッジデバイス３０及び店舗サーバ５０と通信可能に接続される。
【0065】
次に、店舗サーバ５０のハードウェア構成について説明する。図８は、店舗サーバ５０のハードウェア構成の一例を示す図である。図８に示すように、店舗サーバ５０は、プロセッサの一例であるＣＰＵ５１、ＲＯＭ５２、ＲＡＭ５３、メモリ部５４等を備える。
【0066】
ＣＰＵ５１は、１又は複数の処理回路を有し、店舗サーバ５０の動作を統括的に制御する。ＲＯＭ５２は、ＣＰＵ５１が実行することが可能な各種プログラムを記憶する。ＲＡＭ５３は、プログラムや各種データを一時的に記憶するためのワークエリアである。例えば、ＲＡＭ５３は、店舗サーバ５０から送信される会計データを一時的に記憶したりする。
【0067】
メモリ部５４は、電源を切っても記憶情報が保持されるＨＤＤやフラッシュメモリ等の不揮発性メモリで構成される。メモリ部５４は、ＣＰＵ５１が実行することが可能な各種プログラムや設定情報等を記憶する。例えば、メモリ部５４は、ＣＰＵ５１が実行可能な制御プログラム５４１を記憶する。また、メモリ部５４は、商品マスタ５４２や、会計データを記憶し管理するための取引履歴ＤＢ（データベース）５４３等を記憶する。なお、商品マスタ５４２のデータ構成は、商品マスタ１４２と同様である。一例として、商品マスタ５４２がＰＯＳ端末１０の各々に提供（配布）されることで、当該商品マスタ５４２がＰＯＳ端末１０の各々で商品マスタ１４２として記憶し使用される。
【0068】
ＣＰＵ５１、ＲＯＭ５２、ＲＡＭ５３、メモリ部５４は、互いにバス等を介して接続される。ここで、ＣＰＵ５１とＲＯＭ５２とＲＡＭ５３とが、店舗サーバ５０の制御部５００を構成する。制御部５００は、ＣＰＵ５１がＲＯＭ５２やメモリ部５４に記憶されＲＡＭ５３に展開された制御プログラム５４１に従って動作することによって、店舗サーバ５０の機能を実現する。
【0069】
また、制御部５００は、バス等を介して通信部５５と接続される。通信部５５は、外部装置と接続するための各種の通信インタフェースである。通信部５５は、通信回線Ｌを介してＰＯＳ端末１０等と通信可能に接続される。
【0070】
次に、上述したＰＯＳ端末１０、撮像装置２０、エッジデバイス３０及び店員端末４０の機能構成について説明する。図９は、ＰＯＳ端末１０、撮像装置２０、エッジデバイス３０及び店員端末４０の機能構成の一例を示す図である。
【0071】
撮像装置２０は、図９に示すように、画像取得部２０１と、画像送信部２０２と、コード認識部２０３と、認識結果出力部２０４とを機能構成として備える。
【0072】
撮像装置２０の機能構成は、撮像装置２０のプロセッサがＲＯＭ２２やメモリ部２４に記憶された制御プログラム２４１にしたがって動作することで実現されるソフトウェア構成とするが、これに限定されるものではない。例えば、撮像装置２０が備える機能構成の一部又は全ては、専用回路等のハードウェアで実現されてもよい。
【0073】
画像取得部２０１は、撮像部２５が撮像する画像を取得する。なお、画像取得部２０１は、動き検出等の公知の技術により、撮像部２５の撮像で得られる画像の中から、商品が写っている画像又商品が写っている可能性のある画像等を抽出して取得してもよい。
【0074】
画像送信部２０２は、画像取得部２０１が取得した画像をエッジデバイス３０に送信する。コード認識部２０３は、画像取得部２０１が取得した画像に対しコード認識を実行することで、当該画像からバーコード等のシンボルの検出を試みる。コード認識部２０３は、画像からシンボルを検出すると当該シンボルをデコードすることで、商品コードが含まれたデコード情報をコード認識の認識結果として取得する。
【0075】
認識結果出力部２０４は、コード認識部２０３のコード認識で得られた認識結果を、ＰＯＳ端末１０に出力する。また、認識結果出力部２０４は、エッジデバイス３０から受信したパッケージ認識の認識結果をＰＯＳ端末１０に出力する。なお、認識結果出力部２０４は、コード認識とパッケージ認識との認識結果を、認識方法を示すフラグ値とあわせて出力することで、識別可能な状態で出力してもよい。
【0076】
エッジデバイス３０は、図９に示すように、画像取得部３０１と、パッケージ認識部３０２と、認識結果出力部３０３とを機能構成として備える。
【0077】
エッジデバイス３０の機能構成は、エッジデバイス３０のプロセッサがＲＯＭ３２やメモリ部３４に記憶された制御プログラム３４１にしたがって動作することで実現されるソフトウェア構成とするが、これに限定されるものではない。例えば、エッジデバイス３０が備える機能構成の一部又は全ては、専用回路等のハードウェアで実現されてもよい。
【0078】
画像取得部３０１は、撮像装置２０の各々から送信される画像を、通信部３５を介して取得する。パッケージ認識部３０２は、画像取得部３０１が取得した画像に対し上述したパッケージ認識を実行することで、当該画像から物体画像の検出や、特徴量の抽出を試みる。パッケージ認識部３０２は、画像から抽出した特徴量に基づき、類似度が閾値以上となる商品が照合用辞書６３に一つ存在することを確認すると、当該商品の商品コードを認識結果として出力する。また、パッケージ認識部３０２は、類似度が閾値以上となる商品が存在しない場合、照合用辞書６３から類似度が高位の商品を所定数抽出し、抽出した各商品の商品コードに、当該商品の類似度を関連付けた情報を認識結果として出力する。
【0079】
なお、類似度が閾値以上の商品が複数存在した場合には、パッケージ認識部３０２は、それら商品の商品コードと、当該商品の類似度とを関連付けた情報を認識結果として出力する。
【0080】
認識結果出力部３０３は、画像に対して実行されたパッケージ認識の認識結果を、当該画像の送信元に係る外部装置に出力する。具体的には、認識結果出力部３０３は、画像に対して実行されたパッケージ認識の認識結果を、通信部３５を介して、当該画像の送信元の撮像装置２０に送信する。なお、認識結果出力部３０３は、送信元の撮像装置２０に対応するＰＯＳ端末１０宛に認識結果を送信してもよい。
【0081】
また、ＰＯＳ端末１０は、図９に示すように、認識結果取得部１０１と、商品登録処理部１０２と、変更操作受付部１０３と、報知処理部１０４と、変更処理部１０５と、決済処理部１０６とを機能構成として備える。
【0082】
ＰＯＳ端末１０の機能構成は、ＰＯＳ端末１０のプロセッサがＲＯＭ１２やメモリ部１４に記憶された制御プログラム１４１にしたがって動作することで実現されるソフトウェア構成とするが、これに限定されるものではない。例えば、ＰＯＳ端末１０が備える機能構成の一部又は全ては、専用回路等のハードウェアで実現されてもよい。
【0083】
認識結果取得部１０１は、取得手段の一例である。認識結果取得部１０１は、撮像装置２０及びエッジデバイス３０で行われた、自己のＰＯＳ端末１０に係るコード認識及びパッケージ認識の認識結果を取得する。具体的には、認識結果取得部１０１は、撮像装置２０から送信されるコード認識及びパッケージ認識の認識結果を、通信部１９を介して取得する。なお、エッジデバイス３０（認識結果出力部３０３）からＰＯＳ端末１０にパッケージ認識の認識結果が直接送信される構成の場合には（図中破線参照）、認識結果取得部１０１は、エッジデバイス３０からパッケージ認識の認識結果を取得してもよい。
【0084】
商品登録処理部１０２は、登録手段及び表示手段の一例である。商品登録処理部１０２は、認識結果取得部１０１が取得する認識結果に基づき、顧客が購入する商品の商品登録処理を実行する。換言すると、商品登録処理部１０２は、商品を撮像した画像のコード認識の認識結果と、パッケージ認識の認識結果とに基づき商品登録処理を実行する。
【0085】
具体的には、商品登録処理部１０２は、コード認識又はパッケージ認識の認識結果により商品が一意に特定される場合、つまり一の商品の商品コードが認識結果に含まれる場合、当該商品の商品登録処理を実行する。なお、商品登録処理部１０２は、コード認識及びパッケージ認識のうち、先に取得された認識結果の商品コードを用いて商品登録処理を行うことで、処理の高速化を図る。
【0086】
また、コード認識の認識結果が取得されない状態で、複数の商品コードとその類似度とを含むパッケージ認識の認識結果が取得された場合、つまり複数の候補商品を含む認識結果が取得された場合、商品登録処理部１０２は、この認識結果に基づき商品登録処理を行う。具体的には、商品登録処理部１０２は、複数の候補商品が認識されると、これらの候補商品を選択可能な画面（以下、商品選択画面ともいう）を表示部１６に表示させる。
【0087】
図１０は、ＰＯＳ端末１０に表示される商品選択画面Ａの一例を示す図である。図１０に示すように、商品選択画面Ａは、認識結果に含まれた商品コードの各々に対応する商品を候補商品として表示するための表示領域Ａａを有する。
【0088】
表示領域Ａａには、候補商品の商品情報に基づき、当該候補商品の商品名や価格、画像等が表示される。図１０では、４つの候補商品を示しており、候補商品毎に表示領域Ａａが設けられる。なお、商品選択画面Ａにおいて、候補商品の配置位置は特に問わないものとするが、類似度に応じて配置することが好ましい。例えば、類似度の高いものから、左上→右上→左下→右下の順に配置する構成としてもよい。
【0089】
また、表示領域Ａａは、登録対象の商品を選択するための操作子としても機能する。顧客により何れか一の表示領域Ａａが選択されると、商品登録処理部１０２は、選択された表示領域Ａａの候補商品に対応する商品コードに基づき、商品登録処理を実行する。そして、商品登録処理部１０２は、商品選択画面Ａを消去する。
【0090】
また、商品選択画面Ａは、戻るボタンＡｂを有する。商品登録処理部１０２は、戻るボタンＡｂの操作を受け付けると、商品選択画面Ａを消去し、新たな認識結果が取得されるまで待機する。
【0091】
また、商品登録処理部１０２は、商品登録処理を実行すると、登録した商品の商品名や価格等の商品情報を、登録した商品の順に表した画面（商品登録画面ともいう）を表示部１６に表示させる。
【0092】
【0093】
商品表示領域Ｂａには、登録順を示すＩＤに関連付けて、商品登録処理で登録された各商品（以下、登録商品ともいう）の商品名、点数及び価格（単価）等の情報が表示される。また、合計表示領域Ｂｂには、登録された商品の点数や購入金額の合計が表示される。具体的には、商品登録処理部１０２は、登録商品の価格及び点数に基づいて合計点数と、合計金額とを算出し、合計表示領域Ｂｂに表示させる。
【0094】
また、商品登録画面Ｂでは、登録商品の変更操作を受け付けることが可能となっている。具体的には、変更操作受付部１０３は、操作部１５を介して、登録商品の変更操作を受け付ける。ここで、登録商品の変更操作とは、登録商品を削除する操作、登録された点数を変更（増加又は減少）する操作等を意味する。
【0095】
変更操作受付部１０３は、第１受付手段の一例である。変更操作受付部１０３は、変更操作を受け付けると、その変更操作の内容を商品登録画面Ｂに反映する。また、変更操作受付部１０３は変更操作の対象となった登録商品のＩＤと、変更操作の内容とを関連付けた変更内容情報を生成し、ＲＡＭ１３等に記憶する。
【0096】
ここで、変更操作受付部１０３は、商品登録処理で登録された実際の登録商品記憶部１３１を変更することなく、商品登録画面Ｂの表示を変更操作の内容に応じて変更する。例えば、図１１に示したＩＤ「１」の登録商品に対し削除が指示された場合、変更操作受付部１０３は、図１２に示すように、ＩＤ「１」の登録商品に取り消し線を付加して表示する。また、例えば、図１１に示したＩＤ「４」の登録商品の点数を１減らすことが指示された場合、図１２に示すように、ＩＤ「４」の点数を１減算して表示する。なお、点数の増減が指示された場合には、変更操作の対象となったことが識別できるよう、変更後の点数を強調して表示することが好ましい。
【0097】
そして、変更操作受付部１０３は、変更操作の内容に応じて、合計表示領域Ｂｂの合計点数及び合計金額を更新して表示させる。これにより、ＰＯＳ端末１０の操作者は、自己が行った変更操作の内容を、目で見て確認することができる。
【0098】
また、商品登録画面Ｂには、商品登録処理の終了（或いは、決済処理の開始）を指示するための会計ボタンＢｃが設けられる。なお、会計ボタンＢｃは、第２受付手段の一例である。
【0099】
ところで、顧客自身が商品の登録操作を行うセルフ型の商品販売データ処理装置では、顧客に操作の主導権があるため、正当な理由で行われる変更操作以外に、不当な理由により変更操作が行われる可能性がある。
【0100】
例えば、パッケージ認識では、類似度という確率値で商品が認識されるため、誤った商品が登録されてしまう可能性がある。このような場合、正しい商品を登録するため、誤登録された商品を削除する正当な変更操作が行われることがある。一方、例えば、万引き等の目的のため、一旦登録した商品を削除し、削除した商品をそのまま持ち帰るような不当な理由で行われる変更操作がある。
【0101】
上記のような理由から、セルフ型の商品販売データ処理装置で登録商品の変更操作が行われた場合には、店員による確認を行うことが好ましい。しかしながら、変更操作が行われる度に店員を呼び出すことは店員の負担が大きく、改善の余地がある。
【0102】
そこで、本実施形態のＰＯＳ端末１０では、登録商品の変更操作が行われた場合の店員確認のタイミングを一度とすることで、店側の負担軽減を図る。具体的には、報知処理部１０４は、会計ボタンＢｃ等の操作により、商品登録処理の終了又は決済処理の開始が指示されると、変更内容情報の有無に基づき、当該操作が行われる迄に登録商品の変更操作が行われたか否かを判定する。
【0103】
報知処理部１０４は、報知手段の一例である。報知処理部１０４は、変更内容情報が存在する場合に、登録商品の変更操作が行われたと判定し、変更操作が行われたことを報知する情報（以下、報知情報ともいう）を店員端末４０に送信する。報知情報は、例えば、自己のＰＯＳ端末１０を特定可能な端末識別子等の端末情報の他、変更内容情報を含む。
【0104】
また、報知情報は、登録商品記憶部１３１に登録された商品の情報を含んでもよい。例えば、報知情報は、登録商品記憶部１３１に登録された登録商品のうち、変更内容情報に含まれたＩＤに対応する登録商品の情報、つまり変更操作前の登録商品の情報を含んでもよい。これにより、報知情報を受け取る店員端末４０では、変更操作の前と後の登録商品の情報や状態を確認することができるため、変更内容の確認に係る利便性を向上させることができる。
【0105】
また、報知情報は、ＰＯＳ端末１０の表示部１６に表示される商品登録画面Ｂの画像データを含んでもよい。この場合、画像データは、商品登録画面Ｂのスナップショットであってもよいし、表示部１６に表示されるリアルタイムの商品登録画面Ｂをストリーム配信したものであってもよい。これにより、報知情報を受け取る店員端末４０では、変更操作の内容が表された商品登録画面Ｂの状態を確認することができるため、変更内容の確認に係る利便性を向上させることができる。
【0106】
変更処理部１０５は、第３受付手段、反映手段及び抑制手段の一例である。変更処理部１０５は、変更内容情報に基づき、顧客が変更した登録処理の内容を登録商品記憶部１３１に反映する処理を行う。具体的には、変更処理部１０５は、変更内容情報が存在する状態で、会計ボタンＢｃ等の操作により、商品登録処理の終了又は決済処理の開始が指示されると、会計処理の実行を抑制することで、登録商品記憶部１３１を操作することが可能な状態を維持させる。
【0107】
また、変更処理部１０５は、店員による確認操作に応じて、変更内容情報に記録された登録商品の変更内容を登録商品記憶部１３１に反映する処理を行う。ここで、店員による確認操作は、ＰＯＳ端末１０の操作部１５を介して行われてもよいし、店員端末４０から遠隔操作で行われてもよい。前者の場合、変更処理部１０５は、例えばカードリーダ１７や撮像装置２０を介して店員の店員ＩＤが読み込まれた後、変更内容の許諾を指示する操作が行われたことを条件に、変更内容を登録商品記憶部１３１に反映する。また、後者の場合、変更処理部１０５は、例えば店員端末４０から変更内容の許諾を指示する情報を受け付けたことを条件に、変更内容を登録商品記憶部１３１に反映する。
【0108】
なお、店員による変更内容の確認は、変更された登録商品毎に行われてもよいし、変更された全ての登録商品に対し一度に行われてもよい。また、変更処理部１０５は、店員操作に応じて、変更内容のキャンセルや、更なる変更を行ってもよい。
【0109】
変更処理部１０５は、全ての変更内容を登録商品記憶部１３１に反映すると、決済処理への移行を許可することで、決済処理部１０６に決済処理の開始を通知する。なお、変更内容情報が不在の状態で、商品登録処理の終了又は決済処理の開始が指示された場合には、決済処理部１０６による決済処理が直ちに開始されるものとする。
【0110】
決済処理部１０６は、決済手段の一例である。決済処理部１０６は、商品登録処理で登録された商品の決済処理を実行する。具体的には、決済処理部１０６は、登録商品記憶部１３１に登録された情報に基づき、登録商品の合計金額を算出し、当該合計金額を顧客が支払う支払金額で決済する決済処理を実行する。
【0111】
なお、決済処理は、ＰＯＳ端末１０単体で行ってもよいし、他の装置（例えば、会計装置や決済サーバ等）と協働することで行ってもよい。
【0112】
例えば、決済処理部１０６は、操作部１５を介して決済開始を指示する操作を受け付けると、現金決済や、電子マネー決済、クレジット決済等の決済方法を選択可能な画面を表示部１６に表示させる。現金決済が選択されると、決済処理部１０６は、登録された商品の合計金額を、図示しない入金装置等を介して入金された支払金額で決済する決済処理を実行する。また、決済処理部１０６は、電子マネー決済やクレジット決済が選択されると、選択された決済方法で決済を行うための決済情報の入力を受け付け、外部の決済サーバと協働することで、入力された決済情報に基づき売上登録された商品の合計金額を決済する決済処理を実行する。係る決済情報は、例えば、クレジットカード番号であってもよいし、コード決済用の二次元コードであってもよい。なお、コード決済用の二次元コードの場合、撮像装置２０を介して入力を受け付けてもよい。
【0113】
また、店員端末４０は、図９に示すように、報知受付部４０１と、確認操作受付部４０２とを機能構成として備える。
【0114】
店員端末４０の機能構成は、店員端末４０のプロセッサがＲＯＭ４２やメモリ部４４に記憶された制御プログラム４４１にしたがって動作することで実現されるソフトウェア構成とするが、これに限定されるものではない。例えば、店員端末４０が備える機能構成の一部又は全ては、専用回路等のハードウェアで実現されてもよい。
【0115】
報知受付部４０１は、ＰＯＳ端末１０から送信される報知情報に基づいて報知を行う。具体的には、報知受付部４０１は、ＰＯＳ端末１０から報知情報を受け付けると、当該報知情報に含まれる端末情報や変更操作の内容を表示部４６に表示させることで、ＰＯＳ端末１０で登録商品の変更操作が行われたことを店員に報知する。また、報知受付部４０１は、報知情報に変更操作前後の登録商品の状態が含まれる場合、変更操作前後の登録商品の状態を比較可能に表示させてもよい。なお、報知の方法は表示に限らず、音声を用いて報知を行ってもよい。
【0116】
確認操作受付部４０２は、操作部４５を介して、ＰＯＳ端末１０で行われた変更操作に対する許諾等の操作を受け付ける。例えば、確認操作受付部４０２は、端末情報を指示した変更操作の許諾操作を受け付けると、その端末情報に対応するＰＯＳ端末１０に対し、変更内容の許諾を指示する指示情報を送信する。
【0117】
なお、変更操作の確認をＰＯＳ端末１０で行う運用の場合には、確認操作受付部４０２は、店員端末４０から取り除く構成としてもよい。
【0118】
次に、商品販売データ処理システム１で実行される処理の流れについて説明する。図１３は、商品販売データ処理システム１で実行される処理の流れの一例を示すシーケンス図である。
【0119】
まず、ＰＯＳ端末１０において、購入対象の商品を撮像装置２０にかざす登録操作が顧客によって行われる。撮像装置２０の画像取得部２０１は、撮像部２５で撮像された画像を取得する（ステップＳ１）。次いで、撮像装置２０の画像送信部２０２は、撮像によって得られた画像をエッジデバイス３０に送信する（ステップＳ２）。また、撮像装置２０のコード認識部２０３、撮像によって得られた画像に対しコード認識を実行する（ステップＳ３）。
【0120】
エッジデバイス３０のパッケージ認識部３０２は、撮像装置２０から画像が送信されると、当該画像に対しパッケージ認識を実行する（ステップＳ４）。ここで、パッケージ認識により商品を一意に認識、或いは複数の候補商品が認識されると、エッジデバイス３０の認識結果出力部３０３は、認識された商品の商品コード等を含む認識結果を撮像装置２０に送信する（ステップＳ５）。
【0121】
撮像装置２０の認識結果出力部２０４は、エッジデバイス３０から認識結果を受信すると、当該認識結果をＰＯＳ端末１０に出力する（ステップＳ６）。また、コード認識部２０３は、コード認識により商品が一意に認識されると、認識された商品の商品コードを含む認識結果をＰＯＳ端末１０に出力する（ステップＳ６）。
【0122】
なお、顧客の登録操作により商品の撮像が行われる際には、商品の端の部分から順に撮像装置２０の撮像範囲に入ることになる。そのため、ＰＯＳ端末１０には、パッケージ認識の認識結果が先に出力され、コード認識の認識結果が後に出力される可能性が高くなる。但し、コード認識とパッケージ認識との認識結果の出力順序は、これに限らないものとする。
【0123】
ＰＯＳ端末１０の商品登録処理部１０２は、撮像装置２０から認識結果が入力されると、当該認識結果に基づき商品登録処理を実行する（ステップＳ７）。また、ＰＯＳ端末１０、撮像装置２０及びエッジデバイス３０は、顧客により商品の登録操作が行われる毎に、上述したステップＳ１～Ｓ７の処理を実行する。
【0124】
また、ＰＯＳ端末１０の変更操作受付部１０３は、登録商品に対する変更操作を受け付けると（ステップＳ８）、変更内容情報を生成し、変更操作の内容に応じて商品登録画面Ｂの表示を更新する（ステップＳ９）。
【0125】
続いて、ＰＯＳ端末１０では、商品登録の終了操作を受け付けると（ステップＳ１０）と、報知処理部１０４は、ステップＳ８で登録商品の変更操作が行われているため、店員端末４０に報知情報を送信する（ステップＳ１１）。
【0126】
一方、店員端末４０では、ＰＯＳ端末１０から報知情報を受け付けると、報知受付部４０１は、その報知情報に基づき、ＰＯＳ端末１０で登録商品の変更操作が行われたことを店員に報知する（ステップＳ１２）。ここで、例えば店員端末４０において、変更内容の許諾を指示する確認操作が行われると、確認操作受付部４０２は、その確認操作を受け付け（ステップＳ１３）、ＰＯＳ端末１０に対し、変更内容の許諾を指示する指示情報を送信する（ステップＳ１４）。
【0127】
ＰＯＳ端末１０の変更処理部１０５は、店員端末４０から指示情報を受け付けると、変更内容の確認が行われたと判断し、変更内容情報に記録された登録商品の変更内容を登録商品記憶部１３１に反映する（ステップＳ１５）。
【0128】
続いて、ＰＯＳ端末１０の決済処理部１０６は、登録商品記憶部１３１に登録された登録商品の合計金額を算出し、当該合計金額に基づいて決済処理を実行する（ステップＳ１６）。
【0129】
次に、図１４を参照して、ＰＯＳ端末１０が行う処理について説明する。ここで、図１４は、ＰＯＳ端末１０が行う処理の一例を示すフローチャートである。なお、本処理は、図１３のステップＳ７～Ｓ１５の処理に対応するものである。また、本処理の前提として、表示部１６に商品登録画面Ｂが表示されているものとする。
【0130】
まず、認識結果取得部１０１は、撮像装置２０から認識結果を取得したか否かを判定する（ステップＳ２１）。ここで、認識結果を取得しない場合には（ステップＳ２１；Ｎｏ）、ステップＳ２６に移行する。また、認識結果取得部１０１は、撮像装置２０から認識結果を取得すると（ステップＳ２１；Ｙｅｓ）、ステップＳ２２に移行する。
【0131】
商品登録処理部１０２は、ステップＳ２１で取得された認識結果に基づき、商品を一意に特定可能か否か否かを判定する（ステップＳ２２）。具体的には、商品登録処理部１０２は、コード認識又はパッケージ認識により認識された一の商品コードが認識結果に含まれるか否を判定する。
【0132】
ここで、商品を一意に特定可能と判定した場合には（ステップＳ２２；Ｙｅｓ）、商品登録処理部１０２は、認識結果に含まれる商品コードに基づいて商品登録処理を実行し（ステップＳ２５）、ステップＳ２６に移行する。
【0133】
なお、商品登録処理部１０２は、商品登録処理を実行すると、登録した商品の商品名や価格等の商品情報を、登録した商品の順に商品登録画面Ｂに表示させる。
【0134】
一方、商品を一意に特定することが不可と判定した場合（ステップＳ２２；Ｎｏ）、つまり認識結果に候補商品の商品コードが複数含まれる場合には、商品登録処理部１０２は、候補商品の各々から一の商品を選択可能な商品選択画面Ａを表示部１６に表示させる（ステップＳ２３）。次いで、商品登録処理部１０２は、商品選択画面Ａから一の商品が選択されるまで待機する（ステップＳ２４；Ｎｏ）。
【0135】
ステップＳ２４において、商品選択画面Ａから一の商品が選択されると（ステップＳ２４；Ｙｅｓ）、商品登録処理部１０２は、選択された商品の商品コードに基づいて商品登録処理を実行し（ステップＳ２５）、ステップＳ２６に移行する。なお、商品登録処理部１０２は、ステップＳ１５において商品の選択に伴い、商品選択画面Ａを消去し、商品登録画面Ｂを表示させる。
【0136】
続いて、変更操作受付部１０３は、登録商品の何れかに対する変更操作を受け付けたか否かを判定する（ステップＳ２６）。ここで、変更操作を受け付けない場合には（ステップＳ２６；Ｎｏ）、ステップＳ２９に移行する。
【0137】
また、変更操作受付部１０３は、変更操作を受け付けたと判定すると（ステップＳ２６；Ｙｅｓ）、受け付けた変更内容に基づき商品登録画面Ｂを更新する（ステップＳ２７）。次いで、変更操作受付部１０３は、変更内容を示した変更内容情報を記憶し（ステップＳ２８）、ステップＳ２９に移行する。
【0138】
続いて、ＰＯＳ端末１０の制御部１００は、商品登録処理の終了を指示する操作（又は済処理の開始を指示する操作）を受け付けたか否かを判定する（ステップＳ２９）。商品登録処理の終了が指示されない場合には（ステップＳ２９；Ｎｏ）、ステップＳ２１に処理を戻し、新たな認識結果の取得に備える。
【0139】
また、商品登録処理の終了を指示する操作を受け付けた場合（ステップＳ２９；Ｙｅｓ）、報知処理部１０４（及び変更処理部１０５）は、当該終了指示より前に、登録商品の変更操作が行われたか否かを判定する（ステップＳ３０）。ここで、変更操作が行われていない場合には（ステップＳ３０；Ｎｏ）、図１３のステップＳ１６に直ちに移行する。
【0140】
また、ステップＳ３０で変更操作が行われたと判定した場合には（ステップＳ３０；Ｙｅｓ）、報知処理部１０４は、自己のＰＯＳ端末１０で登録商品の変更操作が行われたことを報知する報知情報を店員端末４０に送信する（ステップＳ３１）。また、変更処理部１０５は、店員による確認操作が行われるまで待機する（ステップＳ３２；Ｎｏ）。
【0141】
なお、変更処理部１０５は、店員の確認操作を待機する間、店員による確認が行われることを案内するメッセージや、変更内容の確認が終わるまで決済を待機することを案合するメッセージを表示部１６に表示させてもよい。
【0142】
変更処理部１０５は、操作部１５を介した直接操作又は店員端末４０からの遠隔操作により、店員による確認操作を受け付けると（ステップＳ３２；Ｙｅｓ）、変更内容情報に記録された変更内容を登録商品記憶部１３１に反映した後（ステップＳ３３）、図１３のステップＳ１６に移行させる。
【0143】
以上のように、ＰＯＳ端末１０は、商品を撮像した画像に基づくコード認識及びパッケージ認識の認識結果を取得し、当該認識処理で認識された商品の商品登録処理を実行する。また、ＰＯＳ端末１０は、登録商品の各々を表す商品登録画面を表示し、登録商品に対する変更操作を受け付けると、当該変更操作の内容を商品登録画面に表された変更対象の商品に反映する。そして、ＰＯＳ端末１０は、商品登録処理の終了又は決済処理の開始を指示する操作を受け付けると、当該操作までに行われた変更操作の内容を含む報知情報を、店員端末４０に送信する。これにより、ＰＯＳ端末１０は、登録商品の変更操作に伴う店員の確認作業を一度に行わせることができるため、店員の負担を軽減することができる。
【0144】
また、ＰＯＳ端末１０は、店員による確認操作が行われるまでは、変更操作の内容を商品登録画面にのみ反映し、確認操作が行われたことを条件に、変更操作の内容を登録商品記憶部１３１に反映する。これにより、ＰＯＳ端末１０は、登録商品記憶部１３１を保護した状態で、変更操作の内容を顧客に提示することができる。また、ＰＯＳ端末１０は、店員が商品登録画面を確認する際に、変更操作の対象となった登録商品の識別性を高めることができるため、確認作業の効率化を図ることができる。
【0145】
また、ＰＯＳ端末１０は、店員端末４０から確認操作を受け付け、当該確認操作により変更操作の内容を登録商品記憶部１３１に反映する。これにより、ＰＯＳ端末１０は、店員端末４０を操作する店員の、ＰＯＳ端末１０までの移動時間を削減することができるため、確認作業の効率化を図ることができる。
【0146】
また、ＰＯＳ端末１０は、変更操作が行われた場合には、商品登録処理の終了又は決済処理の開始を指示する操作を受け付けても、店員の確認操作が行われるまでの間は決済処理の実行を抑制する。これにより、ＰＯＳ端末１０は、店員の確認が行われていない未確定の状態で決済が行われることを防ぐことができるため、取引のやり直しや金銭の追加徴収等の追加作業の発生を防ぐことができる。したがって、ＰＯＳ端末１０は、取引の円滑化を図ることができる。
【0147】
また、ＰＯＳ端末１０は、報知情報として、変更操作の対象となった商品の変更前後の状態を示す情報を店員端末４０に報知する。これにより、ＰＯＳ端末１０は、店員端末４０において変更前後の状態の確認作業を支援することができるため、確認作業の効率化を図ることができる。
【0148】
なお、上述した実施形態は、上述した各装置が有する構成又は機能の一部を変更することで、適宜に変形して実施することも可能である。そこで、以下では、上述した実施形態に係るいくつかの変形例を他の実施形態として説明する。なお、以下では、上述した実施形態と異なる点を主に説明することとし、既に説明した内容と共通する点については詳細な説明を省略する。また、以下で説明する変形例は、個別に実施されてもよいし、適宜組み合わせて実施されてもよい。
【0149】
（変形例１）
上述の実施形態では、コード認識及びパッケージ認識の何れの方法（以下、商品特定方法ともいう）で登録された商品かによらずに、登録商品の変更操作を受け付ける形態を説明した。しかしながら、この形態に限らず、商品特定方法に応じて変更操作に係る処理の内容を変えてもよい。
上述の実施形態では、コード認識及びパッケージ認識の何れの方法（以下、商品特定方法ともいう）で登録された商品かによらずに、登録商品の変更操作を受け付ける形態を説明した。しかしながら、この形態に限らず、商品特定方法に応じて変更操作に係る処理の内容を変えてもよい。
【0150】
具体的には、本変形例に係る商品登録処理部１０２は、商品登録処理の実行時に、その商品の特定に使用した商品特定方法を、商品情報等とあわせて登録する。そして、変更操作受付部１０３、報知処理部１０４、及び変更処理部１０５は、変更操作の対象となった登録商品の商品特定方法に応じた処理を実行する。
【0151】
例えば、変更操作受付部１０３は、パッケージ認識を用いて登録された登録商品の変更操作を許可し、コード認識を用いて登録された登録商品の変更操作を不許可とする構成としてもよい。また、例えば、報知処理部１０４は、変更操作の対象となった商品の商品特定方法を報知情報に含めて送信してもよい。また、例えば、変更処理部１０５は、コード認識とパッケージ認識とで、確認操作の方法を相違させてもよい。一例として、パッケージ認識で登録された登録商品が変更操作の対象に含まれる場合には、遠隔操作による確認を不可とし、自己のＰＯＳ端末１０での確認操作を必須とする等してもよい。
【0152】
このように、本変形例に係るＰＯＳ端末１０では、商品特定方法に応じて変更操作に処理の内容を変えることもできるため、様々な運用形態に対応することができる。
【0153】
（変形例２）
上述の実施形態では、登録商品の変更操作が行われた場合には店員の確認操作を必須とする構成としたが、これに限らず、変更操作の対象となった登録商品が所定の条件に該当する場合には、店員の確認操作を不要とする構成としてもよい。
上述の実施形態では、登録商品の変更操作が行われた場合には店員の確認操作を必須とする構成としたが、これに限らず、変更操作の対象となった登録商品が所定の条件に該当する場合には、店員の確認操作を不要とする構成としてもよい。
【0154】
例えば、パッケージ認識の際に算出された類似度を指標に店員の確認操作の要否を切り替える構成としてもよい。この場合、商品登録処理部１０２は、商品登録処理の実行時に、登録の対象となる商品のパッケージ認識の際に算出された類似度を、商品情報等とあわせて登録する。なお、コード認識で商品が特定された場合には、例えば類似度を空としてもよいし、１００％等としてもよい。
【0155】
ところで、誤認識で登録される商品は、類似度が低めとなる傾向がある。そこで、誤認識が発生する可能性のある程度の類似度を閾値とし、当該閾値を基準に店員の確認操作の要否を切り替える構成としてもよい。例えば、閾値未満の場合には、正しい商品を登録するための正当な変更操作（削除操作）が行われたと判断し、店員の確認操作を不要とする。一方、閾値以上の場合には、正しい商品が登録されたにも関わらず、当該商品の変更操作が行われたことになるため、不当な変更操作が行われた可能性があると判断し、店員の確認操作を要とする。
【0156】
この場合、報知処理部１０４は、変更操作の対象となった全ての登録商品の類似度が閾値未満の場合には、店員端末４０への報知を行わない。また、変更操作の対象となった一部の登録商品で類似度が閾値以上となる場合には、報知処理部１０４は、上述の実施形態と同様に店員端末４０への報知を実行する。なお、報知処理部１０４は、類似度が閾値未満の登録商品に関する情報を報知情報から除外する構成としてもよい。
【0157】
また、変更処理部１０５は、変更操作の対象となった全ての登録商品の類似度が閾値未満の場合には、店員の確認操作を不要として、変更内容情報に記録された変更内容を登録商品記憶部１３１に反映する。なお、変更操作の対象となった一部（又は全部）の登録商品で類似度が閾値以上となる場合には、変更処理部１０５は、要とし、当該確認操作が行われるまで登録商品記憶部１３１への反映を保留とする。
【0158】
このように、本変形例に係るＰＯＳ端末１０では、変更操作の対象となった登録商品に応じて店員の確認要否や確認方法を変えることもできるため、様々な運用形態に対応することができる。
【0159】
（変形例３）
上述の実施形態では、変更操作の内容によらず店員の確認操作を必須とする構成としたが、これに限らず、変更操作の内容が所定の条件に該当する場合には、店員の確認操作を不要とする構成としてもよい。
上述の実施形態では、変更操作の内容によらず店員の確認操作を必須とする構成としたが、これに限らず、変更操作の内容が所定の条件に該当する場合には、店員の確認操作を不要とする構成としてもよい。
【0160】
具体的には、変更操作の内容が点数の増加を指示するものである場合、複数の同一種別の商品に対する繰り返しの登録操作を省くため、先に登録した登録商品の点数を増加する、正当な変更操作が行われたと想定される。そこで、例えば変更操作の内容が点数の増加を指示するものである場合は、店員の確認操作を不要としてもよい。
【0161】
この場合、報知処理部１０４は、変更操作の対象となった全ての登録商品の変更内容が点数の増加を指示する場合には、店員端末４０への報知を行わない。また、報知処理部１０４は、変更操作の対象となった一部（又は全部）の登録商品で、その変更内容が削除又は点数の減少を指示する場合には、上述の実施形態と同様に店員端末４０への報知を実行する。なお、報知処理部１０４は、変更内容が点数増加となる登録商品に関する情報を報知情報から除外する構成としてもよい。
【0162】
また、変更処理部１０５は、変更操作の対象となった全ての登録商品の変更内容が点数の増加を指示する場合には、店員の確認操作を不要とし、変更内容情報に記録された変更内容を登録商品記憶部１３１に反映する。また、変更処理部１０５は、変更操作の対象となった一部（又は全部）の登録商品で、その変更内容が削除又は点数の減少を指示する場合には、上述の実施形態と同様に店員による確認操作を要とし、当該確認操作が行われるまで登録商品記憶部１３１への反映を保留とする。
【0163】
このように、本変形例に係るＰＯＳ端末１０では、変更操作の内容に応じて店員の確認要否や確認方法を変えることもできるため、様々な運用形態に対応することができる。
【0164】
（変形例４）
上述の実施形態では、登録商品に対する変更操作が行われると、商品登録処理の終了が指示（又は決済処理の開始が指示）されたタイミングで、店員端末４０に報知情報を送信する形態を説明した。しかしながら、店員端末４０に報知を行うタイミングはこれに限らず、変更操作が行われたタイミングで報知を行ってもよい。
上述の実施形態では、登録商品に対する変更操作が行われると、商品登録処理の終了が指示（又は決済処理の開始が指示）されたタイミングで、店員端末４０に報知情報を送信する形態を説明した。しかしながら、店員端末４０に報知を行うタイミングはこれに限らず、変更操作が行われたタイミングで報知を行ってもよい。
【0165】
この場合、報知処理部１０４は、直近の変更操作で行われた変更内容を示した変更内容情報を報知情報に含めて、店員端末４０に送信する。また、変更処理部１０５は、店員の確認操作に応じて、変更操作の変更内容を登録商品記憶部１３１に反映する。この場合、変更処理部１０５は、店員の確認操作が未実施の状態であっても、新たな商品の登録や変更操作を実行可能としてもよい。但し、決済処理については、店員の確認操作が未実施の状態では実行されないよう抑制することが好ましい。
【0166】
なお、報知処理部１０４は、変更操作の度に店員端末４０に報知を行ってもよいし、変更操作の内容や、変更操作の対象となった登録商品の類似度等に応じて、店員端末４０への報知の要否を制御してもよい。
【0167】
例えば、報知処理部１０４は、変更操作の内容が点数の増加を指示する場合には、店員端末４０への報知を行わない構成としてもよい。また、報知処理部１０４は、類似度が閾値未満の登録商品に対し変更操作が行われた場合には、店員端末４０への報知を行わない構成としてもよい。このように、正当な変更操作が行われた可能性が高い場合に、報知の対象から除外することで、店員による確認操作の機会を減らすことができ、店員の負担を軽減することができる。
【0168】
また、報知処理部１０４は、商品登録処理の終了が指示（又は決済処理の開始が指示）されたタイミングでの報知と、変更操作が行われたタイミングでの報知とを併用してもよい。例えば、変更操作の内容が登録商品の削除であり、且つ当該登録商品の類似度が閾値以上の場合等、不当な変更操作が行われた可能性がある場合には、報知処理部１０４は、変更操作が行われたタイミングでの報知を行う。一方、他の条件で変更操作が行われた場合には、商品登録処理の終了が指示（又は決済処理の開始が指示）されたタイミングで報知を行う。
【0169】
これにより、本変形例に係るＰＯＳ端末１０は、不当な変更操作が行われた可能性がある場合に、その変更操作が行われたタイミングで店員に報知することができるため、変更内容の確認を速やかに行うことができる。また、ＰＯＳ端末１０は、類似度が閾値未満の登録商品に対する変更操作等、正当な変更操作が行われた可能性のあるものについては、商品登録処理の終了が指示されたタイミングで店員に報知を行うため、一度の確認操作で済ますことができる。したがって、ＰＯＳ端末１０は、店員による確認操作の機会を減らすことができ、店員の負担軽減を図ることができる。
【0170】
（変形例５）
上述の実施形態では、変更操作の前後の登録商品の状態を報知情報に含めて送信する形態を説明した。本変形例では、確認作業の更なる効率化を図るため、変更操作の対象となった登録商品の実際の状態を報知情報に含めて送信する形態について説明する。
上述の実施形態では、変更操作の前後の登録商品の状態を報知情報に含めて送信する形態を説明した。本変形例では、確認作業の更なる効率化を図るため、変更操作の対象となった登録商品の実際の状態を報知情報に含めて送信する形態について説明する。
【0171】
この場合、ＰＯＳ端末１０は、顧客がＰＯＳ端末１０に持ち込んだ商品を撮像することが可能なカメラ等の撮像装置（以下、監視カメラともいう）を更に備える。なお、監視カメラは、撮像装置２０を用いて実現されてもよい。
【0172】
また、本変形例の変更操作受付部１０３は、登録商品の変更操作を受け付けたことをトリガに、監視カメラで撮像される監視画像（静止画又は動作）を所定時間分取得し、当該登録商品の変更内容情報に関連付けて記憶する。また、本変形例の報知処理部１０４は、店員端末４０に報知情報を送信する際に、変更内容情報に関連付けられた監視画像を報知情報に含めて送信する。
【0173】
これにより、報知情報を受け取る店員端末４０では、変更操作の内容とともに、監視画像に表された商品の状態を確認することができる。具体的には、店員端末４０の店員は、変更操作が行われた際の、実際の商品の状態や顧客の動作を監視画像から確認することができる。したがって、本変形例に係るＰＯＳ端末１０は、不当な操作か否かの判断材料を店員に提供することができるため、変更操作が行われた場合の確認作業を支援することができる。
【0174】
（変形例６）
上述の実施形態では、登録商品の変更操作が行われた場合、店員端末４０に報知情報を送信することで、店員に対し変更操作が行われたことを報知する形態を説明した。しかしながら、報知方法はこれに限らず、他の方法で店員に報知してもよい。
上述の実施形態では、登録商品の変更操作が行われた場合、店員端末４０に報知情報を送信することで、店員に対し変更操作が行われたことを報知する形態を説明した。しかしながら、報知方法はこれに限らず、他の方法で店員に報知してもよい。
【0175】
例えば、ＰＯＳ端末１０が、警告灯等の報知装置を備える場合、報知処理部１０４は、当該報知装置を制御することで、変更操作が行われたことを報知する形態としてもよい。この場合、店員は、警告灯等の報知装置の状態を見ることで変更操作が行われたこと認識し、変更操作が行われたＰＯＳ端末１０に向かうことになる。
【0176】
これにより、ＰＯＳ端末１０は、店員端末４０を使用しないシステム構成であっても、上述した実施形態と同様の効果を奏することができる。
【0177】
（変形例７）
上述の実施形態では、撮像装置２０がコード認識を行う形態としたが、これに限らず、例えばＰＯＳ端末１０やエッジデバイス３０が行う構成としてもよい。
上述の実施形態では、撮像装置２０がコード認識を行う形態としたが、これに限らず、例えばＰＯＳ端末１０やエッジデバイス３０が行う構成としてもよい。
【0178】
例えば、ＰＯＳ端末１０でコード認識を行う場合、撮像装置２０の画像送信部２０２は、撮像によって得られた画像をＰＯＳ端末１０に送信（出力）する。また、ＰＯＳ端末１０は、コード認識部２０３の機能構成を備え、当該コード認識部２０３により、撮像装置２０から送信された画像にコード認識を実行する。
【0179】
また、例えば、エッジデバイス３０でコード認識を行う場合、エッジデバイス３０は、コード認識部２０３の機能構成を備え、当該コード認識部２０３により、撮像装置２０から送信された画像にコード認識を実行する。なお、この場合、エッジデバイス３０の認識結果出力部３０３は、コード認識及びパッケージ認識の認識結果を、先に認識されたものから順次出力する。
【0180】
また、上述の実施形態では、エッジデバイス３０がパッケージ認識を行う形態としたが、これに限らず、例えばＰＯＳ端末１０や撮像装置２０が行う構成としてもよい。
【0181】
例えば、ＰＯＳ端末１０でパッケージ認識を行う場合、撮像装置２０の画像送信部２０２は、撮像によって得られた画像をＰＯＳ端末１０に送信（出力）する。また、ＰＯＳ端末１０は、パッケージ認識部３０２の機能構成を備え、当該パッケージ認識部３０２により、撮像装置２０から送信された画像にパッケージ認識を実行する。
【0182】
また、例えば、撮像装置２０でパッケージ認識を行う場合、撮像装置２０は、パッケージ認識部３０２の機能構成を備え、当該パッケージ認識部３０２により、撮像で得られた画像にパッケージ認識を実行する。なお、この場合、撮像装置２０の認識結果出力部２０４は、コード認識及びパッケージ認識の認識結果を、先に認識されたものから順次出力する。
【0183】
また、上述の実施形態では、エッジデバイス３０を単独の装置として説明したが、これに限らず、例えばエッジデバイス３０は、複数の情報処理装置で構成されるクラウド（クラウドコンピューティング）等で実現されてもよい。また、店舗サーバ５０が、エッジデバイス３０の機能を有してもよい。
【0184】
（変形例８）
上述の実施形態では、ＰＯＳ端末１０を顧客自身が操作する装置として説明した。しかしながら、これに限らず、ＰＯＳ端末１０は、店舗Ｔの店員が操作する装置であってもよい。この場合は、撮像装置２０は、店員による登録操作に基づいて商品の撮像を行う。
上述の実施形態では、ＰＯＳ端末１０を顧客自身が操作する装置として説明した。しかしながら、これに限らず、ＰＯＳ端末１０は、店舗Ｔの店員が操作する装置であってもよい。この場合は、撮像装置２０は、店員による登録操作に基づいて商品の撮像を行う。
【0185】
（変形例９）
上述の実施形態では、ＰＯＳ端末１０は一つの撮像装置２０（又は撮像部２５）を備える構成を説明した。しかしながら、これに限らず、複数の撮像装置２０（又は撮像部２５）を備える構成としてもよい。この場合、コード認識は、撮像装置２０の各々で行われてもよいし、一台の撮像装置２０で行われてもよい。なお、複数の撮像装置２０（又は撮像部２５）は、互いに異なる撮像位置から商品を撮像する構成とすることが好ましい。これにより、商品を多角的に撮像することができるため、認識速度や認識率の向上を図ることができる。
上述の実施形態では、ＰＯＳ端末１０は一つの撮像装置２０（又は撮像部２５）を備える構成を説明した。しかしながら、これに限らず、複数の撮像装置２０（又は撮像部２５）を備える構成としてもよい。この場合、コード認識は、撮像装置２０の各々で行われてもよいし、一台の撮像装置２０で行われてもよい。なお、複数の撮像装置２０（又は撮像部２５）は、互いに異なる撮像位置から商品を撮像する構成とすることが好ましい。これにより、商品を多角的に撮像することができるため、認識速度や認識率の向上を図ることができる。
【0186】
なお、上述の実施形態（及び変形例）の各装置で実行されるプログラムは、ＲＯＭや記憶部等に予め組み込まれた状態で提供される。上述の実施形態の各装置で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ－ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ－Ｒ、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。
【0187】
さらに、上述の実施形態の各装置で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、上述の実施形態の各装置で実行されるプログラムをインターネット等のネットワーク経由で提供又は配布するように構成してもよい。
【0188】
以上、本発明の実施形態を説明したが、この実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これらの新規な実施形態やその変形例は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更、組み合わせを行うことができる。これらの実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【0189】
１ システム
１０ ＰＯＳ端末
２０ 撮像装置
３０ エッジデバイス
４０ 店員端末
５０ 店舗サーバ
１０１ 認識結果取得部
１０２ 商品登録処理部
１０３ 変更操作受付部
１０４ 報知処理部
１０５ 変更処理部
１０６ 決済処理部
２０１ 画像取得部
２０２ 画像送信部
２０３ コード認識部
２０４ 認識結果出力部
３０１ 画像取得部
３０２ パッケージ認識部
３０３ 認識結果出力部
４０１ 報知受付部
４０２ 確認操作受付部
１０ ＰＯＳ端末
２０ 撮像装置
３０ エッジデバイス
４０ 店員端末
５０ 店舗サーバ
１０１ 認識結果取得部
１０２ 商品登録処理部
１０３ 変更操作受付部
１０４ 報知処理部
１０５ 変更処理部
１０６ 決済処理部
２０１ 画像取得部
２０２ 画像送信部
２０３ コード認識部
２０４ 認識結果出力部
３０１ 画像取得部
３０２ パッケージ認識部
３０３ 認識結果出力部
４０１ 報知受付部
４０２ 確認操作受付部
【先行技術文献】
【特許文献】
【0190】
【特許文献1】特開２０１５－２２３６７号公報
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】