知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2025009498
(43)【公開日】2025-01-20
(54)【発明の名称】商品登録装置及びプログラム
(51)【国際特許分類】
G07G 1/00 20060101AFI20250110BHJP
G06Q 50/10 20120101ALI20250110BHJP
【ＦＩ】
G07G1/00 311D
G06Q50/10
【審査請求】未請求
【請求項の数】6
【出願形態】ＯＬ
(21)【出願番号】P 2023112541
(22)【出願日】2023-07-07
(71)【出願人】
【識別番号】000003562
【氏名又は名称】東芝テック株式会社
(74)【代理人】
【識別番号】110002147
【氏名又は名称】弁理士法人酒井国際特許事務所
(72)【発明者】
【氏名】加藤 武
(72)【発明者】
【氏名】平松 直剛
【テーマコード（参考）】
3E142
5L049
5L050
【Ｆターム（参考）】
3E142AA01
3E142AA02
3E142CA20
3E142DA07
3E142FA03
3E142FA08
3E142GA01
3E142GA35
3E142JA01
5L049CC11
5L050CC11
(57)【要約】 （修正有）
【課題】商品の登録に係る処理の効率化を図ることが可能な商品登録装置及びプログラムを提供する。
【解決手段】商品登録装置は、撮像装置が撮像した対象商品の画像から対象商品を特定可能な識別情報を含んだシンボルを読み取る第１認識処理の認識結果を取得する第１取得手段と、画像に表された対象商品の外観上の特徴に基づき、予め定められた複数の商品から前記特徴に類似する商品の推定を行う第２認識処理の認識結果を取得する第２取得手段と、第１認識処理の認識結果と第２認識処理の認識結果とのうち、先に取得された認識結果により対象商品を特定することができる場合、当該対象商品を購入対象として登録する登録手段と、を備え、登録手段は、第２認識処理の認識結果が対象商品の候補となる候補商品を複数含み、且つ前記画像以外の他の情報に基づき、候補商品の何れかに前記シンボルが付されていると判定した場合、新たな前記認識結果の取得を待機する。
【選択図】図１１
【解決手段】商品登録装置は、撮像装置が撮像した対象商品の画像から対象商品を特定可能な識別情報を含んだシンボルを読み取る第１認識処理の認識結果を取得する第１取得手段と、画像に表された対象商品の外観上の特徴に基づき、予め定められた複数の商品から前記特徴に類似する商品の推定を行う第２認識処理の認識結果を取得する第２取得手段と、第１認識処理の認識結果と第２認識処理の認識結果とのうち、先に取得された認識結果により対象商品を特定することができる場合、当該対象商品を購入対象として登録する登録手段と、を備え、登録手段は、第２認識処理の認識結果が対象商品の候補となる候補商品を複数含み、且つ前記画像以外の他の情報に基づき、候補商品の何れかに前記シンボルが付されていると判定した場合、新たな前記認識結果の取得を待機する。
【選択図】図１１
【特許請求の範囲】
【請求項1】
撮像装置が撮像した対象商品の画像から前記対象商品を特定可能な識別情報を含んだシンボルを読み取る第１認識処理の認識結果を取得する第１取得手段と、
前記画像に表された前記対象商品の外観上の特徴に基づき、予め定められた複数の商品から前記特徴に類似する商品の推定を行う第２認識処理の認識結果を取得する第２取得手段と、
第１認識処理の認識結果と前記第２認識処理の認識結果とのうち、先に取得された認識結果により前記対象商品を特定することができる場合、当該対象商品を購入対象として登録する登録手段と、
を備え、
前記登録手段は、前記第２認識処理の認識結果が前記対象商品の候補となる候補商品を複数含み、且つ前記画像以外の他の情報に基づき、前記候補商品の何れかに前記シンボルが付されていると判定した場合、新たな前記認識結果の取得を待機する、商品登録装置。
前記画像に表された前記対象商品の外観上の特徴に基づき、予め定められた複数の商品から前記特徴に類似する商品の推定を行う第２認識処理の認識結果を取得する第２取得手段と、
第１認識処理の認識結果と前記第２認識処理の認識結果とのうち、先に取得された認識結果により前記対象商品を特定することができる場合、当該対象商品を購入対象として登録する登録手段と、
を備え、
前記登録手段は、前記第２認識処理の認識結果が前記対象商品の候補となる候補商品を複数含み、且つ前記画像以外の他の情報に基づき、前記候補商品の何れかに前記シンボルが付されていると判定した場合、新たな前記認識結果の取得を待機する、商品登録装置。
【請求項2】
前記登録手段は、前記複数の商品の各々に前記シンボルが付されているか否かを示す設定値が設定された設定情報に基づき、前記候補商品に前記シンボルが付されているか否かを判定する、請求項１に記載の商品登録装置。
【請求項3】
前記第２認識処理の認識結果が前記候補商品を複数含む場合、前記対象商品に前記シンボルが付されているか否かを操作者に確認するための確認画面を表示する表示手段を更に備え、
前記登録手段は、前記確認画面に対して前記操作者が入力する情報に基づき、前記候補商品に前記シンボルが付されているか否かを判定する、請求項１に記載の商品登録装置。
前記登録手段は、前記確認画面に対して前記操作者が入力する情報に基づき、前記候補商品に前記シンボルが付されているか否かを判定する、請求項１に記載の商品登録装置。
【請求項4】
前記第２認識処理の認識結果は、前記対象商品に対する前記候補商品の類似性の高さを示す類似度を含み、
前記登録手段は、前記第２認識処理の認識結果に含まれる候補商品のうち、類似度が最も高い候補商品に前記シンボルが付されている場合、新たな前記認識結果の取得を待機する、請求項１に記載の商品登録装置。
前記登録手段は、前記第２認識処理の認識結果に含まれる候補商品のうち、類似度が最も高い候補商品に前記シンボルが付されている場合、新たな前記認識結果の取得を待機する、請求項１に記載の商品登録装置。
【請求項5】
前記登録手段は、前記候補商品の全て又は所定の条件に該当する前記候補商品に、前記シンボルが付されていないと判定した場合、前記候補商品の中から一の商品を選択可能な選択画面を表示させ、当該選択画面から選択された商品を前記購入対象として登録する、請求項１に記載の商品登録装置。
【請求項6】
商品登録装置のコンピュータを、
撮像装置が撮像した対象商品の画像から前記対象商品を特定可能な識別情報を含んだシンボルを読み取る第１認識処理の認識結果を取得する第１取得手段と、
前記画像に表された前記対象商品の外観上の特徴に基づき、予め定められた複数の商品から前記特徴に類似する商品の推定を行う第２認識処理の認識結果を取得する第２取得手段と、
第１認識処理の認識結果と前記第２認識処理の認識結果とのうち、先に取得された認識結果により前記対象商品を特定することができる場合、当該対象商品を購入対象として登録する登録手段と、
して機能させ、
前記登録手段は、前記第２認識処理の認識結果が前記対象商品の候補となる候補商品を複数含み、且つ前記画像以外の他の情報に基づき、前記候補商品の何れかに前記シンボルが付されていると判定した場合、新たな前記認識結果の取得を待機する、プログラム。
撮像装置が撮像した対象商品の画像から前記対象商品を特定可能な識別情報を含んだシンボルを読み取る第１認識処理の認識結果を取得する第１取得手段と、
前記画像に表された前記対象商品の外観上の特徴に基づき、予め定められた複数の商品から前記特徴に類似する商品の推定を行う第２認識処理の認識結果を取得する第２取得手段と、
第１認識処理の認識結果と前記第２認識処理の認識結果とのうち、先に取得された認識結果により前記対象商品を特定することができる場合、当該対象商品を購入対象として登録する登録手段と、
して機能させ、
前記登録手段は、前記第２認識処理の認識結果が前記対象商品の候補となる候補商品を複数含み、且つ前記画像以外の他の情報に基づき、前記候補商品の何れかに前記シンボルが付されていると判定した場合、新たな前記認識結果の取得を待機する、プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明の実施形態は、商品登録装置及びプログラムに関する。
【背景技術】
【0002】
従来、ショッピングセンター、量販店、百貨店等の店舗において、店舗で販売する商品の商品登録処理及び処理を行うＰＯＳシステムが存在する。このようなＰＯＳシステムには、撮像装置が撮像した商品の画像の特徴から商品を認識し、その認識結果に基づいて商品登録処理を行うものがある。
【0003】
上述した商品の認識処理は、店舗で販売される各商品の外観上の特徴と、画像から抽出される商品の外観上の特徴とを比較することで行われる。この場合、認識結果は、店舗で販売される各商品と撮像された商品との類似度として出力され、類似度が閾値以上（例えば９５％以上）となる商品が、撮像の対象となった商品として一意に特定される。
【0004】
また、閾値以上となる商品が存在しない場合には、類似度が上位の所定数の商品を候補商品として抽出し、当該候補商品から一の商品を選択可能な画面（以下、商品選択画面ともいう）を表示することで、正しい商品の選択を操作者に委ねている。
【0005】
しかしながら、外観が類似する複数の候補商品の中から正しい商品を選択する操作は煩わしく、操作に不慣れな操作者にとって時間を要する作業となる。このような事情から、商品登録処理の効率化を図るため、商品選択画面の表示機会を減らすことが望まれている。
【発明の概要】
【発明が解決しようとする課題】
【0006】
本発明が解決しようとする課題は、商品の登録に係る処理の効率化を図ることが可能な商品登録装置お及びプログラムを提供することである。
【課題を解決するための手段】
【0007】
実施形態の商品登録装置は、撮像装置が撮像した対象商品の画像から前記対象商品を特定可能な識別情報を含んだシンボルを読み取る第１認識処理の認識結果を取得する第１取得手段と、前記画像に表された前記対象商品の外観上の特徴に基づき、予め定められた複数の商品から前記特徴に類似する商品の推定を行う第２認識処理の認識結果を取得する第２取得手段と、第１認識処理の認識結果と前記第２認識処理の認識結果とのうち、先に取得された認識結果により前記対象商品を特定することができる場合、当該対象商品を購入対象として登録する登録手段と、を備え、前記登録手段は、前記第２認識処理の認識結果が前記対象商品の候補となる候補商品を複数含み、且つ前記画像以外の他の情報に基づき、前記候補商品の何れかに前記シンボルが付されていると判定した場合、新たな前記認識結果の取得を待機する。
【図面の簡単な説明】
【0008】
【発明を実施するための形態】
【0009】
以下、本発明の実施形態について図面を参照して説明する。以下に説明する実施形態では、購入対象となる商品の登録操作を顧客自身が行う商品販売データ処理装置を例に説明する。なお、以下に説明する実施形態によりこの発明が限定されるものではない。
【0010】
図１は、実施形態にかかる商品販売データ処理システムの一例を示す図である。図１において、商品販売データ処理システム１は、例えば、スーパーマーケット、量販店、コンビニエンスストア、専門店等の店舗に設けられる。商品販売データ処理システム１は、１台または複数台のＰＯＳ（Point of Sales）端末１０（商品販売データ処理装置）と、撮像装置２０と、エッジデバイス３０と、店舗サーバ４０とを備える。
【0011】
ＰＯＳ端末１０とエッジデバイス３０と店舗サーバ４０とは、相互に通知可能なＬＡＮ（Local Area Network）等の通信回線Ｌに接続される。また、撮像装置２０は、例えばＵＳＢ（Universal Serial Bus）ケーブルＵ等により、ＰＯＳ端末１０毎に一又は複数台接続される。また、撮像装置２０は、通信回線Ｌに接続される。なお、撮像装置２０は、ＰＯＳ端末１０を介して通信回線Ｌに接続される構成としてもよい。
【0012】
撮像装置２０は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像素子を備えるデバイスである。撮像装置２０は、例えば、ＰＯＳ端末１０を操作する顧客側に向けて設けられ、当該顧客が購入する商品の撮像を行う。具体的には、本実施形態では、ＰＯＳ端末１０を操作する顧客は、登録処理を行うため、自己が購入する商品を一品ずつ撮像装置２０にかざすことで、当該商品を撮像装置２０に撮像させる。
【0013】
撮像装置２０は、撮像によって画像（以下、撮像画像ともいう）を取得すると、取得した撮像画像をエッジデバイス３０に出力する。具体的には、撮像装置２０は、所定のフレームレートで撮像された画像をエッジデバイス３０に出力する。
【0014】
また、撮像装置２０は、撮像によって得られる画像に対しコード認識を行うことで、当該画像からバーコードや二次元コード等のシンボルの検出を試みる。コード認識では、商品に付されたバーコードや二次元コード等のシンボルを画像から検出し、検出したシンボルをデコードすることで得られたデコード情報をＰＯＳ端末１０に出力する。デコード情報には、シンボルが付された商品を特定する商品特定情報が含まれるため、当該商品特定情報に基づき、撮像された商品を特定することができる。本実施形態では、商品特定情報として、各商品を識別可能な商品コードを用いるものとするが、商品を識別可能な情報であれば商品コード以外であってもよい。
【0015】
なお、撮像装置２０は、撮像によって得られた画像の中から、商品が写っている画像又写っている可能性のある画像等を抽出して、エッジデバイス３０への出力やシンボル抽出の処理対象としてもよい。この場合、画像の抽出方法は特に問わず、公知の技術を用いることができる。例えば、撮像装置２０は、時間的に連続する複数フレームの差分から画像内に含まれる物体の動きを検出し、動きを検出した画像を抽出して処理対象としてもよい。
【0016】
エッジデバイス３０は、画像処理や画像認識等の所定の処理を行う情報処理装置である。具体的には、エッジデバイス３０は、撮像装置２０から入力される画像から商品を認識するパッケージ認識を行う。
【0017】
パッケージ認識は、画像に表された商品の外観上の特徴に基づき、撮像装置２０で撮像された商品を特定する技術である。ここで、商品の外観上の特徴は、例えば、パッケージのデザインや、模様、色合い、質感、形状等が挙げられる。
【0018】
パッケージ認識は、例えば一般物体認識や、ディープラーニング等のモデルを用いた画像認識等の公知の技術を用いることができる。パッケージ認識では、画像から抽出した商品の外観上の特徴を示す特徴量に基づき、当該特徴量に類似した商品のうち、その類似度（尤度等とも表現される）が閾値以上となった一の商品を、被写体となった商品として特定する。
【0019】
図２は、パッケージ認識の一例を説明するための図である。図２に示すように、パッケージ認識では、物体検出モデル５１、特徴抽出モデル５２、及び照合用辞書５３の３種類の学習済みモデル又は辞書データ（以下、総称して辞書ともいう）を用いて、撮像装置２０で撮像された画像から商品の特定を行う。
【0020】
物体検出モデル５１は、撮像された画像中に写っている物体の領域を検出するための辞書である。物体検出モデル５１は、撮像装置２０が撮像した撮像画像が入力されると、当該撮像画像から商品が表された領域（以下、物体画像ともいう）を検出し出力する。
【0021】
特徴抽出モデル５２は、物体検出モデル５１で検出された領域に表された商品から、当該商品に外観上の特徴を示す特徴量を抽出するための辞書である。特徴抽出モデル５２は、物体画像又は物体画像を含んだ撮像画像が入力されると、物体画像に表された商品の外観上の特徴を示す特徴量を抽出し出力する。
【0022】
照合用辞書５３は、商品の特徴量に基づいて、当該特徴量に類似する商品を特定するための辞書である。例えば、照合用辞書５３は、店舗で販売される複数の商品について、それぞれの商品を特定する商品コード別に当該商品の特徴を示す特徴量を関連付けて記憶する。また、照合用辞書５３は、入力された特徴量と記憶された特徴量とを照合することで、記憶された多数の商品が、撮像された商品にどの程度似ているかを定量的に示す類似度を算出する。類似度が高い商品ほど撮像された商品と似ている程度（すなわち、撮像された商品である確率）が高い。一例として、類似度が９５％以上の商品は、撮像された商品と同じ商品である可能性が極めて高い。
【0023】
エッジデバイス３０は、物体検出モデル５１を用いて、撮像装置２０で撮像された画像から商品が写っている領域を検出する。次に、エッジデバイス３０は、特徴抽出モデル５２を用いて、当該領域内（物体画像）に写っている商品の外観上の特徴を多次元ベクトル等で定量的に表した特徴量を抽出する。そして、エッジデバイス３０は、照合用辞書５３を用いて、抽出した特徴量と辞書に記憶されている多数の商品の特徴量とを照合することで類似度を算出し、類似度に応じて商品を認識する。
【0024】
具体的には、エッジデバイス３０は、類似度が閾値以上（例えば、９５％以上）となる商品が一つ存在する場合、その類似度が閾値以上となった商品を、撮像装置２０で撮像された商品として特定する。また、エッジデバイス３０は、類似度が閾値以上の商品が存在しない場合（例えば、何れの商品の類似度も９５％未満となる場合）、一つの商品を特定せずに、類似度が高い複数の商品を候補商品とする。例えば、エッジデバイス３０は、何れの商品の類似度も閾値未満となる場合、類似度が高いものから所定数（例えば４個）の候補商品を抽出する。そして、エッジデバイス３０は、特定した商品又は候補商品の商品コードをパッケージ認識の認識結果とし、撮像画像を送信した送信元の撮像装置２０に送信する。なお、エッジデバイス３０は、複数の候補商品を認識した場合、当該候補商品について算出した類似度を認識結果に含めて送信するものとする。また、エッジデバイス３０は、商品を一意に特定できた場合もその類似度を認識結果に含めて送信してもよい。また、エッジデバイス３０は、類似判定に係る下限閾値を有し、類似度が下限閾値を下回る場合には、当該類似度の商品を候補商品から除外する。
【0025】
撮像装置２０は、エッジデバイス３０からパッケージ認識の認識結果を受信すると、当該認識結果をＰＯＳ端末１０に出力する。なお、撮像装置２０は、自己の装置でのコード認識の認識結果と、エッジデバイス３０から受信したパッケージ認識の認識結果とを識別可能な状態でＰＯＳ端末１０に出力してもよい。例えば、撮像装置２０は、コード認識とパッケージ認識との認識方法を識別可能なフラグ値を認識結果とともに出力することで、両認識方法を識別可能に出力してもよい。
【0026】
なお、本実施形態では、エッジデバイス３０は、パッケージ認識の認識結果を、撮像装置２０を介してＰＯＳ端末１０に出力する形態としたが、これに限らず、ＰＯＳ端末１０に直接出力する形態としてもよい。この場合、エッジデバイス３０は、例えば、対となるＰＯＳ端末１０と撮像装置２０とのＩＰアドレスを関連付けた設定情報を記憶し、撮像画像の送信元の撮像装置２０に対応するＰＯＳ端末１０宛に、パッケージ認識の認識結果を送信する。
【0027】
店舗サーバ４０は、例えば店舗のバックヤードに設置される。店舗サーバ４０は、店舗で販売される各商品の商品コードに関連付けて、当該商品の商品名や価格、商品画像等を関連付けた商品マスタ（図示せず）を記憶する。また、店舗サーバ４０は、ＰＯＳ端末１０の各々に商品マスタを提供する。例えば、店舗サーバ４０は、ＰＯＳ端末１０の各々に商品マスタを送信して、ＰＯＳ端末１０のローカルに商品マスタを記憶させる。また、例えば、店舗サーバ４０は、ＰＯＳ端末１０の各々が参照可能に商品マスタを記憶する。
【0028】
また、店舗サーバ４０は、ＰＯＳ端末１０から受信した売上データを収集する。店舗サーバ４０は、収集した売上データに基づいて当該店舗の商品の売上げを管理する。
【0029】
ＰＯＳ端末１０は、他の装置と協働することで、店舗において販売される商品の登録処理、及び決済処理を行う。具体的には、ＰＯＳ端末１０は、顧客によって操作され、当該顧客が商品を撮像装置２０にかざすことで撮像装置２０によって撮像された画像に基づき特定される商品を、購入対象として登録する登録処理を実行する。また、ＰＯＳ端末１０は、登録処理の終了を指示する操作に応じて、それまでに登録された商品の代金を顧客が支払う金額で決済する決済処理を実行する。
【0030】
ＰＯＳ端末１０は、例えば店舗の精算エリアに１台または複数台（図１では３台）設置される。ＰＯＳ端末１０は、顧客自身が操作を行う商品販売データ処理装置である。ＰＯＳ端末１０は、顧客により購入対象の商品を撮像装置２０にかざす登録操作が行われると、上述のコード認識又はパッケージ認識で認識された商品の商品コードに基づき、顧客が購入する商品の商品登録処理を実行する。なお、登録操作の対象となる商品は、対象商品の一例である。商品登録処理は、商品コードに基づいて当該商品コードに対応する商品の商品名や価格等の商品情報（商品名、商品の価格等）を、商品マスタから読み出し、ＲＡＭ１３等に記憶する処理をいう。
【0031】
また、ＰＯＳ端末１０は、商品登録処理の終了を指示する操作や、決済処理の開始を指示する操作に応じて、商品登録処理で登録された商品の決済処理を実行する。決済処理とは、商品登録処理で登録された商品情報に基づいて、当該取引に係る締め処理、具体的には、合計金額の表示部１６への表示、現金、クレジットカード、電子マネー等のメディアによる決済処理、現金決済の場合に預り金に基づいて釣銭を計算して表示部１６に表示する処理、決済処理した商品の商品情報や会計情報（合計金額、預り金額、釣銭額、ポイント情報等）を印字したレシートを後述するプリンタ１８から発行する処理等をいう。
【0032】
またＰＯＳ端末１０は、決済処理した商品の商品情報及び会計情報（総称して、売上データともいう）を、店舗サーバ４０に送信する。ＰＯＳ端末１０から店舗サーバ４０への売上データの送信のタイミングは、実施形態では決済処理が終了したタイミングで行うものとするが、これに限らず、例えば店舗の閉店時に一日分をまとめて送信する等してもよい。
【0033】
上述したように、本実施形態の商品販売データ処理システム１では、撮像画像に基づいた商品の特定は、コード認識とパッケージ認識とを併用することで行われる。ＰＯＳ端末１０の各々では、自己のＰＯＳ端末１０に接続される撮像装置２０の撮像画像を用いて行われるコード認識及びパッケージ認識の結果のうち、先に特定された商品コードを用いて商品登録処理を行う。
【0034】
次に、商品販売データ処理システム１が有する各装置の構成について説明する。
【0035】
図３は、ＰＯＳ端末１０のハードウェア構成の一例を示す図である。図３に示すように、ＰＯＳ端末１０は、プロセッサの一例であるＣＰＵ（Central Processing Unit）１１、ＲＯＭ（Read Only Memory）１２、ＲＡＭ（Random Access Memory）１３、メモリ部１４等を備える。
【0036】
ＣＰＵ１１は、１又は複数の処理回路を有し、ＰＯＳ端末１０の動作を統括的に制御する。ＲＯＭ１２は、ＣＰＵ１１が実行することが可能な各種プログラムを記憶する。ＲＡＭ１３は、プログラムや各種データを一時的に記憶するためのワークエリアである。例えば、ＲＡＭ１３は、コード認識又はパッケージ認識の認識結果や、商品登録処理された商品の商品コード等を記憶する。
【0037】
メモリ部１４は、電源を切っても記憶情報が保持されるＨＤＤ（Hard Disc Drive）やフラッシュメモリ等の不揮発性メモリで構成される。メモリ部１４は、ＣＰＵ１１が実行することが可能な各種プログラムや設定情報等を記憶する。例えば、メモリ部１４は、ＣＰＵ１１が実行可能な制御プログラム１４１、商品マスタ１４２等を記憶する。商品マスタ１４２は、店舗で販売される各商品の商品コードに関連付けて、当該商品コードに対応する商品の商品情報等を記憶する。
【0038】
【0039】
商品情報は、商品に関する各種の情報を含む。例えば、商品情報は、商品名、価格、及び商品画像を含む。商品画像は、商品の外観等を表した画像データである。また、シンボルフラグは、商品にシンボルが付されているか否かを示す二値のフラグ情報である。
【0040】
シンボルが付された商品については、コード認識の対象となるとともに、パッケージ認識の対象になり得る。一方、シンボルが付されていない商品については、コード認識の対象とはならず、パッケージ認識でのみ認識することができる。シンボルが付されていない商品は、例えば、生鮮食品の他、店舗で製造・販売される惣菜等の商品が挙げられる。
【0041】
図３に戻り、ＣＰＵ１１、ＲＯＭ１２、ＲＡＭ１３、メモリ部１４は、互いにバス等を介して接続される。ここで、ＣＰＵ１１とＲＯＭ１２とＲＡＭ１３とが、ＰＯＳ端末１０の制御部１００を構成する。制御部１００は、ＣＰＵ１１がＲＯＭ１２やメモリ部１４に記憶されＲＡＭ１３に展開された制御プログラム１４１に従って動作することによって、ＰＯＳ端末１０の機能を実現する。
【0042】
また、制御部１００は、バス等を介して、操作部１５、表示部１６、カードリーダ１７、プリンタ１８等に接続される。
【0043】
操作部１５は、操作者が操作入力を行うための各種の操作キーを有している。操作部１５は、操作キーの一例として締めキーを有する。締めキーは、ＰＯＳ端末１０において商品登録処理を終了し、決済処理へ処理を進める際に操作する操作キーである。表示部１６は、例えば液晶表示器であり、ＰＯＳ端末１０の操作者である顧客に対して情報を表示する。表示部１６は、制御部１００の制御の下、例えば商品登録処理された商品の商品情報（商品名、商品の価格、等）や、決済処理に係る会計情報を表示する。なお操作部１５は、表示部１６上に設けられるタッチパネルであってもよい。
【0044】
カードリーダ１７は、例えばクレジットカード、デビットカード、電子マネーカード等で決済処理を行う場合に、当該カードから決済に係るカード情報を読み取るための読取装置である。プリンタ１８は、例えばサーマルプリンタ等の印刷装置である。プリンタ１８は、制御部１００の制御の下、決済処理した商品に係る商品情報や決済情報等を印字したレシートを発行する。
【0045】
また、制御部１００は、バス等を介して、通信部１９と接続している。通信部１９は、外部装置と接続するための各種の通信インタフェースである。通信部１９は、ケーブルＵを介して撮像装置２０と通信可能に接続される。また、通信部１９は、通信回線Ｌを介してエッジデバイス３０及び店舗サーバ４０等と通信可能に接続される。
【0046】
次に、撮像装置２０のハードウェア構成について説明する。図５は、撮像装置２０のハードウェア構成の一例を示す図である。図５に示すように、撮像装置２０は、プロセッサの一例であるＣＰＵ２１、ＲＯＭ２２、ＲＡＭ２３、メモリ部２４等を備える。
【0047】
ＣＰＵ２１は、１又は複数の処理回路を有し、撮像装置２０の動作を統括的に制御する。ＲＯＭ２２は、ＣＰＵ２１が実行することが可能な各種プログラムを記憶する。ＲＡＭ２３は、プログラムや各種データを一時的に記憶するためのワークエリアである。例えば、ＲＡＭ２３は、後述する撮像部２５で撮像された画像や、コード認識の中間データや処理結果（認識結果）等を記憶する。
【0048】
メモリ部２４は、電源を切っても記憶情報が保持されるＨＤＤやフラッシュメモリ等の不揮発性メモリで構成される。メモリ部２４は、ＣＰＵ２１が実行することが可能な各種プログラムや設定情報等を記憶する。例えば、メモリ部２４は、ＣＰＵ２１が実行可能な制御プログラム２４１等を記憶する。
【0049】
ＣＰＵ２１、ＲＯＭ２２、ＲＡＭ２３、メモリ部２４は、互いにバス等を介して接続される。ここで、ＣＰＵ２１とＲＯＭ２２とＲＡＭ２３とが、撮像装置２０の制御部２００を構成する。制御部２００は、ＣＰＵ２１がＲＯＭ２２やメモリ部２４に記憶されＲＡＭ２３に展開された制御プログラム２４１に従って動作することによって、撮像装置２０の機能を実現する。
【0050】
また、制御部２００は、バス等を介して、撮像部２５及び通信部２６と接続される。撮像部２５は、ＣＣＤ等の撮像素子を備えたカメラモジュールである。通信部２６は、外部装置と接続するための各種の通信インタフェースである。通信部２６は、ケーブルＵを介してＰＯＳ端末１０と通信可能に接続される。
【0051】
次に、エッジデバイス３０のハードウェア構成について説明する。図６は、エッジデバイス３０のハードウェア構成の一例を示す図である。図６に示すように、エッジデバイス３０は、プロセッサの一例であるＣＰＵ３１、ＲＯＭ３２、ＲＡＭ３３、メモリ部３４等を備える。
【0052】
ＣＰＵ３１は、１又は複数の処理回路を有し、エッジデバイス３０の動作を統括的に制御する。ＲＯＭ３２は、ＣＰＵ３１が実行することが可能な各種プログラムを記憶する。ＲＡＭ３３は、プログラムや各種データを一時的に記憶するためのワークエリアである。例えば、ＲＡＭ３３は、撮像装置２０から送信された画像や、パッケージ認識の中間データや処理結果（認識結果）等を記憶する。
【0053】
メモリ部３４は、電源を切っても記憶情報が保持されるＨＤＤやフラッシュメモリ等の不揮発性メモリで構成される。メモリ部３４は、ＣＰＵ３１が実行することが可能な各種プログラムや設定情報等を記憶する。例えば、メモリ部３４は、ＣＰＵ３１が実行可能な制御プログラム３４１を記憶する。また、メモリ部３４は、上述した物体検出モデル５１、特徴抽出モデル５２及び照合用辞書５３等の他、類似度の基づき商品を一意に特定する際の指標となる閾値を設定した閾値設定情報３４２を等記憶する。
【0054】
ＣＰＵ３１、ＲＯＭ３２、ＲＡＭ３３、メモリ部３４は、互いにバス等を介して接続される。ここで、ＣＰＵ３１とＲＯＭ３２とＲＡＭ３３とが、エッジデバイス３０の制御部３００を構成する。制御部３００は、ＣＰＵ３１がＲＯＭ３２やメモリ部３４に記憶されＲＡＭ３３に展開された制御プログラム３４１に従って動作することによって、エッジデバイス３０の機能を実現する。
【0055】
また、制御部３００は、バス等を介して通信部３５と接続される。通信部３５は、外部装置と接続するための各種の通信インタフェースである。通信部３５は、通信回線Ｌを介してＰＯＳ端末１０や撮像装置２０、店舗サーバ４０と通信可能に接続される。
【0056】
次に、店舗サーバ４０のハードウェア構成について説明する。図７は、店舗サーバ４０のハードウェア構成の一例を示す図である。図７に示すように、店舗サーバ４０は、プロセッサの一例であるＣＰＵ４１、ＲＯＭ４２、ＲＡＭ４３、メモリ部４４等を備える。
【0057】
ＣＰＵ４１は、１又は複数の処理回路を有し、店舗サーバ４０の動作を統括的に制御する。ＲＯＭ４２は、ＣＰＵ４１が実行することが可能な各種プログラムを記憶する。ＲＡＭ４３は、プログラムや各種データを一時的に記憶するためのワークエリアである。例えば、ＲＡＭ４３は、ＰＯＳ端末１０から送信される会計データを一時的に記憶したりする。
【0058】
メモリ部４４は、電源を切っても記憶情報が保持されるＨＤＤやフラッシュメモリ等の不揮発性メモリで構成される。メモリ部４４は、ＣＰＵ４１が実行することが可能な各種プログラムや設定情報等を記憶する。例えば、メモリ部４４は、ＣＰＵ４１が実行可能な制御プログラム４４１を記憶する。また、メモリ部４４は、商品マスタ４４２や、会計データを記憶し管理するための取引履歴ＤＢ（データベース）４４３等を記憶する。なお、商品マスタ４４２は、商品マスタ１４２と同様である。商品マスタ４４２がＰＯＳ端末１０の各々に提供されることで、当該商品マスタ４４２がＰＯＳ端末１０の各々において商品マスタ１４２として使用される。
【0059】
ＣＰＵ４１、ＲＯＭ４２、ＲＡＭ４３、メモリ部４４は、互いにバス等を介して接続される。ここで、ＣＰＵ４１とＲＯＭ４２とＲＡＭ４３とが、店舗サーバ４０の制御部４００を構成する。制御部４００は、ＣＰＵ４１がＲＯＭ４２やメモリ部４４に記憶されＲＡＭ４３に展開された制御プログラム４４１に従って動作することによって、店舗サーバ４０の機能を実現する。
【0060】
また、制御部４００は、バス等を介して通信部４５と接続される。通信部４５は、外部装置と接続するための各種の通信インタフェースである。通信部４５は、通信回線Ｌを介してＰＯＳ端末１０等と通信可能に接続される。
【0061】
次に、上述したＰＯＳ端末１０、撮像装置２０及びエッジデバイス３０の機能構成について説明する。図８は、ＰＯＳ端末１０、撮像装置２０及びエッジデバイス３０の機能構成の一例を示す図である。
【0062】
撮像装置２０は、図８に示すように、画像取得部２０１と、画像送信部２０２と、コード認識部２０３と、認識結果出力部２０４とを機能構成として備える。
【0063】
撮像装置２０の機能構成は、撮像装置２０のプロセッサがＲＯＭ２２やメモリ部２４に記憶された制御プログラム２４１にしたがって動作することで実現されるソフトウェア構成とするが、これに限定されるものではない。例えば、撮像装置２０が備える機能構成の一部又は全ては、専用回路等のハードウェアで実現されてもよい。
【0064】
画像取得部２０１は、撮像部２５が撮像する画像を取得する。なお、画像取得部２０１は、動き検出等の公知の技術により、撮像部２５の撮像で得られる画像の中から、商品が写っている画像又商品が写っている可能性のある画像等を抽出して取得してもよい。
【0065】
画像送信部２０２は、画像取得部２０１が取得した画像をエッジデバイス３０に送信する。コード認識部２０３は、画像取得部２０１が取得した画像に対しコード認識を実行することで、当該画像からバーコード等のシンボルの検出を試みる。コード認識部２０３は、画像からシンボルを検出すると当該シンボルをデコードすることで、商品コードが含まれたデコード情報をコード認識の認識結果として取得する。
【0066】
認識結果出力部２０４は、コード認識部２０３のコード認識で得られた認識結果を、ＰＯＳ端末１０に出力する。また、認識結果出力部２０４は、エッジデバイス３０から受信したパッケージ認識の認識結果をＰＯＳ端末１０に出力する。なお、認識結果出力部２０４は、コード認識とパッケージ認識との認識結果を、認識方法を示すフラグ値とあわせて出力することで、識別可能な状態で出力してもよい。
【0067】
エッジデバイス３０は、図８に示すように、画像取得部３０１と、パッケージ認識部３０２と、認識結果出力部３０３とを機能構成として備える。
【0068】
エッジデバイス３０の機能構成は、エッジデバイス３０のプロセッサがＲＯＭ３２やメモリ部３４に記憶された制御プログラム３４１にしたがって動作することで実現されるソフトウェア構成とするが、これに限定されるものではない。例えば、エッジデバイス３０が備える機能構成の一部又は全ては、専用回路等のハードウェアで実現されてもよい。
【0069】
画像取得部３０１は、撮像装置２０の各々から送信される画像を、通信部４５を介して取得する。パッケージ認識部３０２は、画像取得部３０１が取得した画像に対し上述したパッケージ認識を実行することで、当該画像から物体画像の検出や、特徴量の抽出を試みる。パッケージ認識部３０２は、画像から抽出した特徴量に基づき、類似度が閾値以上となる商品が照合用辞書５３に一つ存在することを確認すると、当該商品の商品コードを認識結果として出力する。また、パッケージ認識部３０２は、類似度が閾値以上となる商品が存在しない場合、照合用辞書５３から類似度が高位の商品を所定数抽出し、抽出した各商品の商品コードに、当該商品の類似度を関連付けた認識結果を出力する。
【0070】
なお、類似度が閾値以上の商品が複数存在した場合には、パッケージ認識部３０２は、それら商品の商品コードと、当該商品の類似度とを関連付けた認識結果を出力する。
【0071】
認識結果出力部３０３は、画像に対して実行されたパッケージ認識の認識結果を、当該画像の送信元に係る外部装置に出力する。具体的には、認識結果出力部３０３は、画像に対して実行されたパッケージ認識の認識結果を、通信部４５を介して、当該画像の送信元の撮像装置２０に送信する。なお、認識結果出力部３０３は、送信元の撮像装置２０に対応するＰＯＳ端末１０宛に認識結果を送信してもよい。
【0072】
また、ＰＯＳ端末１０は、図８に示すように、認識結果取得部１０１と、商品登録処理部１０２と、決済処理部１０３とを備える。
【0073】
ＰＯＳ端末１０の機能構成は、ＰＯＳ端末１０のプロセッサがＲＯＭ１２やメモリ部１４に記憶された制御プログラム１４１にしたがって動作することで実現されるソフトウェア構成とするが、これに限定されるものではない。例えば、ＰＯＳ端末１０が備える機能構成の一部又は全ては、専用回路等のハードウェアで実現されてもよい。
【0074】
認識結果取得部１０１は、第１取得手段及び第２取得手段の一例である。取得部１０１は、撮像装置２０及びエッジデバイス３０で行われた、自己のＰＯＳ端末１０に係るコード認識及びパッケージ認識の認識結果を取得する。具体的には、認識結果取得部１０１は、撮像装置２０から送信されるコード認識及びパッケージ認識の認識結果を、通信部１９を介して取得する。なお、エッジデバイス３０（認識結果出力部３０３）からＰＯＳ端末１０にパッケージ認識の認識結果が直接送信される構成の場合には（図中破線参照）、認識結果取得部１０１は、エッジデバイス３０からパッケージ認識の認識結果を取得してもよい。
【0075】
商品登録処理部１０２は、登録手段及び表示手段の一例である。商品登録処理部１０２は、認識結果取得部１０１が取得する認識結果に基づき、顧客が購入する商品の商品登録処理を実行する。換言すると、商品登録処理部１０２は、商品を撮像した画像のコード認識の認識結果と、パッケージ認識の認識結果とに基づき商品登録処理を実行する。
【0076】
具体的には、商品登録処理部１０２は、コード認識又はパッケージ認識の認識結果により商品が一意に特定される場合、つまり一の商品の商品コードが認識結果に含まれる場合、当該商品の商品登録処理を実行する。なお、商品登録処理部１０２は、コード認識及びパッケージ認識のうち、先に取得された認識結果の商品コードを用いて商品登録処理を行うことで、処理の高速化を図る。
【0077】
また、コード認識の認識結果が取得されない状態で、複数の商品コードとその類似度とを含むパッケージ認識の認識結果が取得された場合、商品登録処理部１０２は、この認識結果に基づき商品登録処理を試みる。
【0078】
ところで、一般物体認識を用いた従来の商品登録処理では、複数の商品コードが候補商品として認識された場合、これらの候補商品を選択可能な画面（以下、商品選択画面ともいう）を表示装置に表示させることで、正しい商品の選択を操作者に委ねていた。しかしながら、外観が類似する複数の候補商品の中から正しい商品を選択する操作は煩わしく、特に操作に不慣れな操作者にとっては時間を要する作業となる。このような事情から、商品登録処理の効率化及び高速化を図るため、商品選択画面の表示機会を減らすことが望まれている。
【0079】
そこで、本実施形態の商品登録処理部１０２は、複数の候補商品が認識された場合であっても、商品選択画面の表示機会を減らすことで、商品登録処理の高速化を図る。
【0080】
具体的には、商品登録処理部１０２は、撮像装置２０が撮像する画像以外の他の情報に基づき、候補商品の何れかにシンボルが付されているか否かを判定し、当該判定結果に応じて、コード認識及びパッケージ認識を継続するか、商品選択画面を表示するかを制御する。
【0081】
本実施形態では、商品登録処理部１０２は、商品マスタ１４２のシンボルフラグを参照し、候補商品の何れかにシンボルが付されているか否かを判定する。ここで、シンボル有無の判定対象となる候補商品は、任意に設定可能とするが、パッケージ認識の認識結果に含まれる類似度に基づき判定対象の候補商品を決定してもよい。
【0082】
例えば、商品登録処理部１０２は、商品コードの各々に対応する類似度を参照し、類似度が最も高い商品コードを特定する。次いで、商品登録処理部１０２は、商品マスタ１４２から、特定した商品コードのシンボルフラグを参照し、当該商品コードの対応する商品にシンボルが付されているか否かを判定する。
【0083】
ここで、シンボルが付されていると判定した場合、商品登録処理部１０２は、商品選択画面の表示を行うことなく、コード認識（又はパッケージ認識）で商品が一意に特定されるまで待機する。なお、この場合、商品登録処理部１０２は、商品にシンボルが付されているか確認を促すメッセージや、シンボルを撮像装置２０に向けることを案内するメッセージ等を、表示部１６に表示させてもよい。これにより、顧客が手にした商品にシンボルが付されている場合には、シンボルの読み取りを促すことができるため、商品登録処理の高速化を図ることができる。
【0084】
一方、シンボルが付されていないと判定した場合、商品登録処理部１０２は、認識結果に含まれた商品コードの各々に対応する商品情報に基づき、商品選択画面を表示部１６に表示させる。
【0085】
図９は、ＰＯＳ端末１０に表示される商品選択画面Ａの一例を示す図である。図９に示すように、商品選択画面Ａは、認識結果に含まれた商品コードの各々に対応する商品を候補商品として表示するための表示領域Ａａを有する。
【0086】
表示領域Ａａには、候補商品の商品情報に基づき、当該候補商品の商品名や価格、商品画像等が表示される。図９では、４つの候補商品を示しており、候補商品毎に表示領域Ａａが設けられる。なお、商品選択画面Ａにおいて、候補商品の配置位置は特に問わないものとするが、類似度に応じて配置することが好ましい。例えば、類似度の高いものから、左上→右上→左下→右下の順に配置する構成としてもよい。
【0087】
また、表示領域Ａａは、登録対象の商品を選択するための操作子としても機能する。顧客により何れか一の表示領域Ａａが選択されると、商品登録処理部１０２は、選択された表示領域Ａａの候補商品に対応する商品コードに基づき、商品登録処理を実行する。そして、商品登録処理部１０２は、商品選択画面Ａを消去する。
【0088】
また、商品選択画面Ａは、戻るボタンＡｂを有する。商品登録処理部１０２は、戻るボタンＡｂの操作を受け付けると、商品選択画面Ａを消去し、新たな認識結果が取得されるまで待機する。
【0089】
なお、商品選択画面Ａにおいて、シンボル有のシンボルフラグが登録された候補商品を、非表示とする構成としてもよい。これにより、商品選択画面Ａに表示する候補商品を減らすことができるため、候補商品を認識するまでの認識速度の向上や、操作性の向上を図ることができるため、商品登録処理の効率化を図ることができる。
【0090】
また、商品登録処理部１０２は、商品選択画面Ａを表示している間も、コード認識による認識結果を待機してもよい。これにより、商品登録処理部１０２は、パッケージ認識で認識された候補商品が商品登録処理部１０２に表示されている間も、コード認識による商品登録処理を継続することができるため、コード認識で一意に商品が特定された場合には、商品登録処理を速やかに行うことができる。なお、この場合、商品選択画面Ａには、シンボルの読み取りも可能であることを報知するメッセージ等を表示することが好ましい。
【0091】
図８に戻り、決済処理部１０３は、顧客の操作に応じて、商品登録処理で登録された商品の決済に係る処理（決済処理）を実行する。決済処理は、ＰＯＳ端末１０単体で行ってもよいし、他の装置（例えば、会計装置や決済サーバ等）と協働することで行ってもよい。
【0092】
例えば、決済処理部１０３は、操作部１５を介して決済開始を指示する操作を受け付けると、現金決済や、電子マネー決済、クレジット決済等の決済方法を選択可能な画面を表示部１６に表示させる。現金決済が選択されると、決済処理部１０３は、登録された商品の合計金額を、図示しない入金装置等を介して入金された支払金額で決済する決済処理を実行する。また、決済処理部１０３は、電子マネー決済やクレジット決済が選択されると、選択された決済方法で決済を行うための決済情報の入力を受け付け、外部の決済サーバと協働することで、入力された決済情報に基づき売上登録された商品の合計金額を決済する決済処理を実行する。かかる決済情報は、例えば、クレジットカード番号であってもよいし、コード決済用の二次元コードであってもよい。なお、コード決済用の二次元コードの場合、撮像装置２０を介して入力を受け付けてもよい。
【0093】
次に、商品販売データ処理システム１で実行される処理の流れについて説明する。図１０は、商品販売データ処理システム１で実行される処理の流れの一例を示すシーケンス図である。
【0094】
まず、ＰＯＳ端末１０において、購入対象の商品を撮像装置２０にかざす登録操作が顧客によって行われる。撮像装置２０の画像取得部２０１は、撮像部２５で撮像された画像を取得する（ステップＳ１）。次いで、撮像装置２０の画像送信部２０２は、撮像によって得られた画像をエッジデバイス３０に送信する（ステップＳ２）。また、撮像装置２０のコード認識部２０３、撮像によって得られた画像に対しコード認識を実行する（ステップＳ３）。
【0095】
エッジデバイス３０のパッケージ認識部３０２は、撮像装置２０から画像が送信されると、当該画像に対しパッケージ認識を実行する（ステップＳ４）。ここで、パッケージ認識により商品を一意に認識、或いは複数の候補商品が認識されると、エッジデバイス３０の認識結果出力部３０３は、認識された商品の商品コード等を含む認識結果を撮像装置２０に送信する（ステップＳ５）。
【0096】
撮像装置２０の認識結果出力部２０４は、エッジデバイス３０から認識結果を受信すると、当該認識結果をＰＯＳ端末１０に出力する（ステップＳ６）。また、コード認識部２０３は、コード認識により商品が一意に認識されると、認識された商品の商品コードを含む認識結果をＰＯＳ端末１０に出力する（ステップＳ６）。
【0097】
なお、顧客の登録操作により商品の撮像が行われる際には、商品の端の部分から順に撮像装置２０の撮像範囲に入ることになる。そのため、ＰＯＳ端末１０には、パッケージ認識の認識結果が先に出力され、コード認識の認識結果が後に出力される可能性が高くなる。但し、コード認識とパッケージ認識との認識結果の出力順序は、これに限らないものとする。
【0098】
ＰＯＳ端末１０の商品登録処理部１０２は、撮像装置２０から認識結果が入力されると、当該認識結果に基づき商品登録処理を実行する（ステップＳ７）。また、ＰＯＳ端末１０、撮像装置２０及びエッジデバイス３０は、顧客により商品の登録操作が行われる毎に、上述したステップＳ１～Ｓ７の処理を実行する。そして、ＰＯＳ端末１０の決済処理部１０３は、顧客によって商品登録の終了が指示されると、決済処理を実行する（ステップＳ８）。
【0099】
次に、図１１を参照して、ＰＯＳ端末１０が行う処理について説明する。ここで、図１１は、ＰＯＳ端末１０が行う商品登録処理の一例を示すフローチャートである。なお、本処理は、図１０のステップＳ７に対応するものである。
【0100】
まず、認識結果取得部１０１は、撮像装置２０から認識結果を取得したか否かを判定する（ステップＳ１１）。ここで、認識結果を取得しない場合には（ステップＳ１１；Ｎｏ）、ステップＳ１８に移行する。また、認識結果取得部１０１は、撮像装置２０から認識結果を取得すると（ステップＳ１１；Ｙｅｓ）、ステップＳ１２に移行する。
【0101】
商品登録処理部１０２は、ステップＳ１１で取得された認識結果に基づき、商品を一意に特定可能か否か否かを判定する（ステップＳ１２）。具体的には、商品登録処理部１０２は、コード認識又はパッケージ認識により認識された一の商品コードが認識結果に含まれるか否を判定する。
【0102】
ここで、商品を一意に特定可能と判定した場合には（ステップＳ１２；Ｙｅｓ）、商品登録処理部１０２は、認識結果に含まれる商品コードに基づいて商品登録処理を実行し（ステップＳ１７）、ステップＳ１８に移行する。なお、商品登録処理部１０２は、商品登録処理を実行すると、登録した商品の商品名や価格等の情報を、登録順に表した図示しない画面（商品登録画面ともいう）を表示部１６に表示させる。
【0103】
一方、商品を一意に特定できないと判定した場合（ステップＳ１２；Ｎｏ）、つまり認識結果に複数の候補商品の商品コードが含まれる場合には、ステップＳ１３に移行する。ステップＳ１３では、商品登録処理部１０２は、認識結果に含まれる類似度に基づき、類似度が最も高い候補商品の商品コードを抽出する（ステップＳ１３）。次いで、商品登録処理部１０２は、商品マスタ１４２を参照し、ステップＳ１３で抽出した商品コードのシンボルフラグが、シンボル「有」を示すか否かを判定する（ステップＳ１４）。
【0104】
ここで、シンボルフラグがシンボル「有」を示す場合（ステップＳ１４；Ｙｅｓ）、商品登録処理部１０２は、ステップＳ１１に処理を戻すことで、コード認識の認識結果を取得可能な状態とする。
【0105】
一方、シンボルフラグがシンボル「無」を示す場合（ステップＳ１４；Ｎｏ）、商品登録処理部１０２は、商品マスタ１４２に記憶された各候補商品の商品情報に基づき、候補商品の各々から一の商品を選択可能な商品選択画面Ａを表示部１６に表示させる（ステップＳ１５）。次いで、商品登録処理部１０２は、商品選択画面Ａから一の商品が選択されるまで待機する（ステップＳ１５；Ｎｏ）。
【0106】
なお、シンボル有の候補商品を商品選択画面Ａに表示しない構成とする場合には、ステップＳ１６のバックグラウンドで、コード認識の認識結果を取得する処理を実行してもよい。この場合、商品選択画面Ａを表示している間にコード認識の認識結果が取得されると、商品登録処理部１０２は、ステップＳ１７に直ちに移行することで、商品登録処理を実行する形態としてもよい。なお、商品選択画面ＡからステップＳ１７に移行する際には、「シンボルが認識されました」等の表示を行うことで、画面が遷移した理由を顧客に報知することが好ましい。
【0107】
ステップＳ１６において、商品選択画面Ａから一の商品が選択されると（ステップＳ１６；Ｙｅｓ）、商品登録処理部１０２は、選択された商品の商品コードに基づいて商品登録処理を実行し（ステップＳ１７）、ステップＳ１８に移行する。
【0108】
続いて、商品登録処理部１０２は、商品登録処理の終了を指示する操作、換言すると決済処理の開始を指示する操作が行われたか否かを判定する（ステップＳ１８）。操作が行われない場合には（ステップＳ１８；Ｎｏ）、商品登録処理部１０２は、ステップＳ１１に処理を戻すことで、新たな認識結果の取得に備える。また、操作を受け付けた場合には（ステップＳ１８；Ｙｅｓ）、商品登録処理部１０２は本処理を終了し、決済処理（図１０のステップＳ８）に移行させる。
【0109】
以上のように、ＰＯＳ端末１０は、コード認識及びパッケージ認識の認識結果で商品を一意に特定することができない場合、類似度が最も高い候補商品にシンボルが付されているか否かに応じて、コード認識及びパッケージ認識を継続するか、商品選択画面Ａを表示するかを切り替える。これにより、ＰＯＳ端末１０は、商品登録処理の際に商品選択画面Ａの表示機会を減らすことができるため、操作者が候補商品の選択操作を行う機会を減らすことができ、商品登録処理の効率化を図ることができる。
【0110】
また、ＰＯＳ端末１０は、類似度が最も高い候補商品にシンボルが付されている場合に、コード認識及びパッケージ認識を継続させ、商品選択画面Ａを非表示とする。これにより、ＰＯＳ端末１０は、コード認識によって商品が特定される可能性が高い場合に、コード認識（及びパッケージ認識）を継続させることができるため、商品の認識を効率的に行うことができ、商品登録処理の高速化を図ることができる。
【0111】
なお、上述した実施形態は、上述した各装置が有する構成又は機能の一部を変更することで、適宜に変形して実施することも可能である。そこで、以下では、上述した実施形態に係るいくつかの変形例を他の実施形態として説明する。なお、以下では、上述した実施形態と異なる点を主に説明することとし、既に説明した内容と共通する点については詳細な説明を省略する。また、以下で説明する変形例は、個別に実施されてもよいし、適宜組み合わせて実施されてもよい。
【0112】
（変形例１）
上述の実施形態では、パッケージ認識で認識された候補商品のうち、類似度は最も高い候補商品のシンボルフラグに基づいて、商品選択画面Ａの表示を制御する構成としたが、当該制御に係る条件はこれに限らないものとする。
上述の実施形態では、パッケージ認識で認識された候補商品のうち、類似度は最も高い候補商品のシンボルフラグに基づいて、商品選択画面Ａの表示を制御する構成としたが、当該制御に係る条件はこれに限らないものとする。
【0113】
例えば、商品登録処理部１０２は、パッケージ認識で認識された少なくとも一の候補商品のシンボルフラグがシンボル「有」を示す場合、商品選択画面Ａを非表示とし、コード認識及びパッケージ認識を継続させてもよい。
【0114】
また、例えば、パッケージ認識で認識された全ての候補商品のシンボルフラグがシンボル「有」を示す場合に、商品選択画面Ａを非表示とし、コード認識及びパッケージ認識を継続させてもよい。また、例えば、商品登録処理部１０２は、パッケージ認識で認識された候補商品のうち、シンボルフラグがシンボル「有」の商品の個数が、シンボル「無」の商品の個数を上回る等、所定の閾値を上回る場合に商品選択画面Ａを非表示として、コード認識及びパッケージ認識を継続させてもよい。
【0115】
このように、ＰＯＳ端末１０は、候補商品のシンボルフラグの状態に応じて、コード認識及びパッケージ認識を継続するか、商品選択画面Ａを表示するかを切り替える。したがって、ＰＯＳ端末１０は、パッケージ認識で認識された候補商品のシンボルの状態に応じて、商品登録の方法を柔軟に切り替えることができ、商品選択画面Ａの表示機会の減少を図ることができる。
【0116】
（変形例２）
上述の実施形態では、パッケージ認識で候補商品が認識されると、商品マスタ１４２のシンボルフラグを参照し、シンボルが付されているか否かを判定する構成を説明した。本変形例では、撮像装置２０が撮像する画像以外の他の情報の一例として、操作者から入力される情報に基づきシンボルが付されているか否かを判定する構成を説明する。
上述の実施形態では、パッケージ認識で候補商品が認識されると、商品マスタ１４２のシンボルフラグを参照し、シンボルが付されているか否かを判定する構成を説明した。本変形例では、撮像装置２０が撮像する画像以外の他の情報の一例として、操作者から入力される情報に基づきシンボルが付されているか否かを判定する構成を説明する。
【0117】
具体的には、本変形例に係る商品登録処理部１０２は、パッケージ認識で複数の候補商品が認識されると、商品にシンボルが付されているか否かを顧客に確認するためのメッセージや確認画面を表示部１６に表示させる。例えば、商品登録処理部１０２は、図１２に示す確認画面を表示部１６に表示させる。
【0118】
図１２は、ＰＯＳ端末１０に表示される確認画面の一例を示す図である。図１２に示すように、確認画面Ｂは、商品にシンボルが付されているか否かを確認するためのメッセージＢａと、確認結果を入力するためのＹＥＳボタンＢｂ及びＮｏボタンＢｃとを有する。
【0119】
ＰＯＳ端末１０の操作者は、確認画面Ｂに基づき、撮像装置２０にかざした商品にシンボルが付されているか否を確認し、ＹＥＳボタンＢｂ又はＮｏボタンＢｃを介して、その確認結果を入力する。商品登録処理部１０２は、ＹＥＳボタンＢｂ又はＮｏボタンＢｃの操作を受け付けると、その操作内容を確認結果として取得する。
【0120】
ここで、確認結果がシンボル「有」を示す場合、商品登録処理部１０２は、商品選択画面Ａを非表示とし、コード認識（又はパッケージ認識）で商品が一意に特定されるまで待機する。一方、確認結果がシンボル「無」を示す場合、商品登録処理部１０２は、候補商品の商品情報に基づき商品選択画面Ａを表示部１６に表示させる。なお、この場合、商品登録処理部１０２は、シンボル有の候補商品を商品選択画面Ａに表示しない構成としてもよい。
【0121】
これにより、ＰＯＳ端末１０は、候補商品が認識された場合であっても、上述の実施形態と同様に、商品選択画面Ａの表示機会を減らすことができる。なお、本変形例では、候補商品が認識されると確認画面Ｂが表示されるが、確認画面Ｂで行われるのはＹＥＳ又はＮＯの二値の選択操作であるため、商品選択画面Ａで行われる選択操作と比較して、操作内容は単純なものとなる。また、商品選択画面Ａが表示される場合であっても、シンボル「無」の候補用品に絞り込まれているため、商品を選択する操作も容易に行うことができる。したがって、本変形例のＰＯＳ端末１０は、商品登録処理の効率化を図ることができる。
【0122】
なお、確認結果がシンボル「有」を示す場合、商品登録処理部１０２は、各候補商品のシンボルフラグを参照し、シンボル「有」の候補商品が一つのみであるか否かを判定してもよい。この場合、商品登録処理部１０２は、シンボル「有」の候補商品が一つと判定すると、コード認識（又はパッケージ認識）の認識結果を待機することなく、当該候補商品の商品コードに基づき商品登録処理を直ちに実行してもよい。
【0123】
また、確認結果がシンボル「無」を示す場合も、商品登録処理部１０２は、各候補商品のシンボルフラグを参照し、シンボル「無」の候補商品が一つのみであるか否かを判定してもよい。この場合、商品登録処理部１０２は、シンボル「無」の候補商品が一つと判定すると、商品選択画面Ａを表示することなく、当該候補商品の商品コードに基づき商品登録処理を直ちに実行してもよい。
【0124】
（変形例３）
上述の実施形態では、撮像装置２０がコード認識を行う形態としたが、これに限らず、例えばＰＯＳ端末１０やエッジデバイス３０が行う構成としてもよい。
上述の実施形態では、撮像装置２０がコード認識を行う形態としたが、これに限らず、例えばＰＯＳ端末１０やエッジデバイス３０が行う構成としてもよい。
【0125】
例えば、ＰＯＳ端末１０でコード認識を行う場合、撮像装置２０の画像送信部２０２は、撮像によって得られた画像をＰＯＳ端末１０に送信（出力）する。また、ＰＯＳ端末１０は、コード認識部２０３の機能構成を備え、当該コード認識部２０３により、撮像装置２０から送信された画像にコード認識を実行する。
【0126】
また、例えば、エッジデバイス３０でコード認識を行う場合、エッジデバイス３０は、コード認識部２０３の機能構成を備え、当該コード認識部２０３により、撮像装置２０から送信された画像にコード認識を実行する。なお、この場合、エッジデバイス３０の認識結果出力部３０３は、コード認識及びパッケージ認識の認識結果を、先に認識されたものから順次出力する。
【0127】
また、上述の実施形態では、エッジデバイス３０がパッケージ認識を行う形態としたが、これに限らず、例えばＰＯＳ端末１０や撮像装置２０が行う構成としてもよい。
【0128】
例えば、ＰＯＳ端末１０でパッケージ認識を行う場合、撮像装置２０の画像送信部２０２は、撮像によって得られた画像をＰＯＳ端末１０に送信（出力）する。また、ＰＯＳ端末１０は、パッケージ認識部３０２の機能構成を備え、当該パッケージ認識部３０２により、撮像装置２０から送信された画像にパッケージ認識を実行する。
【0129】
また、例えば、撮像装置２０でパッケージ認識を行う場合、撮像装置２０は、パッケージ認識部３０２の機能構成を備え、当該パッケージ認識部３０２により、撮像で得られた画像にパッケージ認識を実行する。なお、この場合、撮像装置２０の認識結果出力部２０４は、コード認識及びパッケージ認識の認識結果を、先に認識されたものから順次出力する。
【0130】
また、上述の実施形態では、エッジデバイス３０を単独の装置として説明したが、これに限らず、例えばエッジデバイス３０は、複数の情報処理装置で構成されるクラウド（クラウドコンピューティング）等で実現されてもよい。また、店舗サーバ４０が、エッジデバイス３０の機能を有してもよい。
【0131】
（変形例４）
上述の実施形態では、ＰＯＳ端末１０を顧客自身が操作する装置として説明した。しかしながら、これに限らず、ＰＯＳ端末１０は、店舗の店員が操作する装置であってもよい。この場合は、撮像装置２０は、店員による登録操作に基づいて商品の撮像を行う。
上述の実施形態では、ＰＯＳ端末１０を顧客自身が操作する装置として説明した。しかしながら、これに限らず、ＰＯＳ端末１０は、店舗の店員が操作する装置であってもよい。この場合は、撮像装置２０は、店員による登録操作に基づいて商品の撮像を行う。
【0132】
（変形例５）
上述の実施形態では、ＰＯＳ端末１０は一つの撮像装置２０（又は撮像部２５）を備える構成を説明した。しかしながら、これに限らず、複数の撮像装置２０（又は撮像部２５）を備える構成としてもよい。この場合、コード認識は、撮像装置２０の各々で行われてもよいし、一台の撮像装置２０で行われてもよい。なお、複数の撮像装置２０（又は撮像部２５）は、互いに異なる撮像位置から商品を撮像する構成とすることが好ましい。これにより、商品を多角的に撮像することができるため、認識速度や認識率の向上を図ることができる。
上述の実施形態では、ＰＯＳ端末１０は一つの撮像装置２０（又は撮像部２５）を備える構成を説明した。しかしながら、これに限らず、複数の撮像装置２０（又は撮像部２５）を備える構成としてもよい。この場合、コード認識は、撮像装置２０の各々で行われてもよいし、一台の撮像装置２０で行われてもよい。なお、複数の撮像装置２０（又は撮像部２５）は、互いに異なる撮像位置から商品を撮像する構成とすることが好ましい。これにより、商品を多角的に撮像することができるため、認識速度や認識率の向上を図ることができる。
【0133】
なお、上述の実施形態（及び変形例）の各装置で実行されるプログラムは、ＲＯＭや記憶部等に予め組み込まれた状態で提供される。上述の実施形態の各装置で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ－ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ－Ｒ、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。
【0134】
さらに、上述の実施形態の各装置で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、上述の実施形態の各装置で実行されるプログラムをインターネット等のネットワーク経由で提供又は配布するように構成してもよい。
【0135】
以上、本発明の実施形態を説明したが、この実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これらの新規な実施形態やその変形例は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更、組み合わせを行うことができる。これらの実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【0136】
１ システム
１０ ＰＯＳ端末
２０ 撮像装置
３０ エッジデバイス
４０ 店舗サーバ
１０１ 認識結果取得部
１０２ 商品登録処理部
１０３ 決済処理部
２０１ 画像取得部
２０２ 画像送信部
２０３ コード認識部
２０４ 認識結果出力部
３０１ 画像取得部
３０２ パッケージ認識部
３０３ 認識結果出力部
１０ ＰＯＳ端末
２０ 撮像装置
３０ エッジデバイス
４０ 店舗サーバ
１０１ 認識結果取得部
１０２ 商品登録処理部
１０３ 決済処理部
２０１ 画像取得部
２０２ 画像送信部
２０３ コード認識部
２０４ 認識結果出力部
３０１ 画像取得部
３０２ パッケージ認識部
３０３ 認識結果出力部
【先行技術文献】
【特許文献】
【0137】
【特許文献1】特開２０１３－８９２５８号公報
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】