特開 2024-161704 情報処理装置およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024161704

(43)【公開日】2024-11-20

(54)【発明の名称】情報処理装置およびプログラム

(51)【国際特許分類】

   G07G 1/12 20060101AFI20241113BHJP

   G07G 1/00 20060101ALI20241113BHJP

   G06Q 50/10 20120101ALI20241113BHJP

   G06K 7/10 20060101ALI20241113BHJP

【ＦＩ】

G07G1/12 301E

G07G1/00 311Z

G06Q50/10

G06K7/10 372

【審査請求】未請求

【請求項の数】5

【出願形態】ＯＬ

(21)【出願番号】P 2023076627

(22)【出願日】2023-05-08

(71)【出願人】

【識別番号】000003562

【氏名又は名称】東芝テック株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】内藤 英浩

(72)【発明者】

【氏名】竹野 唯志

【テーマコード（参考）】

3E142

5L049

5L050

【Ｆターム（参考）】

3E142BA01

3E142CA20

3E142DA07

3E142EA02

3E142GA02

3E142GA03

3E142GA35

3E142JA01

3E142JA02

5L049CC12

5L050CC12

(57)【要約】

【課題】画像認識により特定する商品の範囲を広げ、実用的な信頼性を提供可能にするとともに、技術を提供するシステムの運用における実用性を高める。
【解決手段】情報処理装置は、商品のパッケージに表示されたコードシンボルを読み取ることにより得られる、前記商品を特定可能にするコード情報を取得するコード情報取得部と、前記コードシンボルの読み取り時に撮像された前記商品の画像データを取得する画像データ取得部と、前記画像データから前記商品の外観の特徴を示す情報である特徴情報を取得する特徴情報取得部と、１つの前記コード情報に対して１以上の前記特徴情報を関連付けて記憶する照合用辞書を出力する辞書出力部と、前記画像データに基づいて、前記コード情報に関連付けて記憶させる商品画像を作成するマスタ画像作成部と、を備える。
【選択図】図１５

【特許請求の範囲】

【請求項1】

商品のパッケージに表示されたコードシンボルを読み取ることにより得られる、前記商品を特定可能にするコード情報を取得するコード情報取得部と、
前記コードシンボルの読み取り時に撮像された前記商品の画像データを取得する画像データ取得部と、
前記画像データから前記商品の外観の特徴を示す情報である特徴情報を取得する特徴情報取得部と、
１つの前記コード情報に対して１以上の前記特徴情報を関連付けて記憶する照合用辞書を出力する辞書出力部と、
前記画像データに基づいて、前記コード情報に関連付けて記憶させる商品画像を作成するマスタ画像作成部と、
を備える情報処理装置。

【請求項2】

前記マスタ画像作成部は、前記商品画像として、前記画像データのうち、商品の名称を表示した範囲を含むものを選択する
請求項１に記載の情報処理装置。

【請求項3】

前記マスタ画像作成部は、前記商品画像として、前記画像データのうち、コードシンボルを含まないものを選択する
請求項１に記載の情報処理装置。

【請求項4】

前記マスタ画像作成部は、前記商品画像として、前記画像データのうち、商品の名称が表示された面に正対したものを選択する
請求項１に記載の情報処理装置。

【請求項5】

販売データ処理にかかる商品登録を行うシステムが備えるコンピュータを、
商品のパッケージに表示されたコードシンボルを読み取ることにより得られる、前記商品を特定可能にするコード情報を取得するコード情報取得部と、
前記コードシンボルの読み取り時に撮像された前記商品の画像データを取得する画像データ取得部と、
前記画像データから前記商品の外観の特徴を示す情報である特徴情報を取得する特徴情報取得部と、
１つの前記コード情報に対して１以上の前記特徴情報を関連付けて記憶する照合用辞書を出力する辞書出力部と、
前記画像データに基づいて、前記コード情報に関連付けて記憶させる商品画像を作成するマスタ画像作成部と、
として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施形態は、情報処理装置およびプログラムに関する。

【背景技術】

【0002】

販売データ処理においては、画像認識により得られる物体の外観的な特徴（形状や色、模様など）を示す情報により、商品を特定する技術が用いられている（例えば特許文献１）。現在この技術は、主に果物や野菜など、バーコード等のコードシンボルが付されない商品の特定に用いられている。その他の、パッケージにコードシンボルが表示された商品については、従来のように、コードシンボルを読み取って得られるコード情報による商品特定が行われている。

【0003】

ここで、近年、画像認識による商品特定の対象をコードシンボル付きの商品にも広げ、コードシンボル読取によらない、パッケージの外観の特徴からの、商品特定が試みられている。画像認識でパッケージ商品を特定するには、信頼性（正確さ）を高めるための課題があり、実用化に向けて工夫されている。

【発明の概要】

【発明が解決しようとする課題】

【0004】

本発明が解決しようとする課題は、画像認識により特定する商品の範囲を広げ、実用的な信頼性を提供可能にするとともに、技術を提供するシステムの運用における実用性を高めることである。

【課題を解決するための手段】

【0005】

実施形態の情報処理装置は、商品のパッケージに表示されたコードシンボルを読み取ることにより得られる、前記商品を特定可能にするコード情報を取得するコード情報取得部と、前記コードシンボルの読み取り時に撮像された前記商品の画像データを取得する画像データ取得部と、前記画像データから前記商品の外観の特徴を示す情報である特徴情報を取得する特徴情報取得部と、１つの前記コード情報に対して１以上の前記特徴情報を関連付けて記憶する照合用辞書を出力する辞書出力部と、前記画像データに基づいて、前記コード情報に関連付けて記憶させる商品画像を作成するマスタ画像作成部と、を備える。

【図面の簡単な説明】

【0006】

【図1】図１は、実施形態の商品登録システムの構成の一例を示す図である。

【図2】図２は、ＰＯＳ端末の構成の一例を示すブロック図である。

【図3】図３は、商品マスタが含む項目の例を示す図である。

【図4】図４は、登録商品情報が含む項目の例を示す図である。

【図5】図５は、コードスキャナの構成の一例を示すブロック図である。

【図6】図６は、照合端末の構成の一例を示すブロック図である。

【図7】図７は、照合用辞書が含む項目の例を示す図である。

【図8】図８は、画像情報が含む項目の例を示す図である。

【図9】図９は、店舗サーバの構成の一例を示すブロック図である。

【図10】図１０は、サーバの構成の一例を示すブロック図である。

【図11】図１１は、商品マスタが含む項目の例を示す図である。

【図12】図１２は、取引情報が含む項目の例を示す図である。

【図13】図１３は、各制御部が備える各種機能部の一例およびそれらの対応関係を示す図である。

【図14】図１４は、各機能部の動作タイミングおよび関わりについて示す図である。

【図15】図１５は、各機能部の動作タイミングおよび関わりについて示す図である。

【図16】図１６は、マスタ画像作成部による処理をより詳細に示す図である。

【発明を実施するための形態】

【0007】

（第１実施形態）
実施形態について図面を用いて説明する。図１は、実施形態の商品登録システム１００の構成の一例を示す図である。商品登録システム１００は、サーバ１、店舗サーバ３、ＰＯＳ端末５、コードスキャナ６および照合端末７などを含む。サーバ１、店舗サーバ３、およびＰＯＳ端末５は、情報処理装置の一例である。

【0008】

商品登録システム１００において、撮像した画像から商品を正しく判断するには、画像から商品を推定するための辞書を充実させる必要がある。そのためには、当該商品に係る多くの画像を収集する必要がある。また、例えば、新商品が販売されたり、商品に変更がなくとも期間限定でパッケージのデザインが変更されたりすると、撮像画像から得る特徴情報と照合用データが一致しなくなる。このため、新たなパッケージに辞書を対応させるための更新を、継続して行うことが必要となる。

【0009】

新たなパッケージは日々現れるので、上述の辞書の更新を人手に頼るとするのは、辞書への登録漏れを起こりにくくする上で好ましくなく、また、大規模な店舗では不可能な数になると考えられる。そこで、本実施形態では、上述の辞書が自動学習的に更新されるよう構成し、新たなパッケージへの対応を自動化させる。

【0010】

ところで、特徴情報を照合用データに照らし合わせて商品を特定する運用においては、商品の特定が正しいかの確認をユーザに求めたり、或いはいくつかの候補を提示してユーザに選択を求めたりする場合が考えられる。このような場合、ユーザが判断しやすくするためには、文字情報のみよりも、特徴情報に合致するであろうと推定する商品の画像を示す方が好ましい。そこで本実施形態は、上述の辞書の自動学習に並行して、ユーザ確認時の提示用に適する画像を得るための構成を提案する。

【0011】

サーバ１は、ネットワーク２を介して店舗サーバ３と通信可能であって、情報を送受信する。店舗サーバ３は、１台以上のＰＯＳ端末５と、ＬＡＮ（Local Area Network）等のネットワーク９により通信可能に接続されて、情報を送受信する。

【0012】

コードスキャナ６および照合端末７は、１台のＰＯＳ端末５に対して、各々１台設けられる。照合端末７は、コードスキャナ６を介してＰＯＳ端末５と接続されている。コードスキャナ６は、照合端末７とＰＯＳ端末５との通信の中継も担う。照合端末７は、店舗サーバ３と、ネットワーク９により接続されて通信可能である。なお、コードスキャナ６とＰＯＳ端末５とはＵＳＢ接続、コードスキャナ６と照合端末７とはＬＡＮ接続である。

【0013】

ＰＯＳ端末５は、コードスキャナ６からの入力を受けて、商品登録を行い、登録された商品の決済を行う。コードスキャナ６は、商品の外観を撮像し、バーコードや二次元コード等のコードシンボルの読み取り結果（コード情報）や、照合端末７から入力される情報（コード情報）を、ＰＯＳ端末５に出力する。

【0014】

照合端末７は、コードスキャナ６が撮像した画像のデータから、商品の外観的な特徴（形状や色、模様など）を示す情報（特徴情報）を得て、これに合致する商品を特定可能な情報（コード情報）を、コードスキャナ６に返す。また、照合端末７は、コードスキャナ６が撮像した画像（撮像画像）のデータ（画像データ）と、コードスキャナ６が出力するコードシンボルの読み取り結果（コード情報）とを関連付けて、店舗サーバ３に提供する。

【0015】

店舗サーバ３は、例えばＰＣ（Personal Computer）等の情報処理装置であって、店舗のバックヤード等に設置され、店舗内に設置されたＰＯＳ端末５等の動作の監視や、ＰＯＳ端末５等の店内装置が記憶する情報の管理などの業務に用いられる。また、店舗サーバ３は、上記業務を行うためのＵＩ（User Interface）を、店員に提供する。

【0016】

店舗サーバ３は、ＰＯＳ端末５から送信される、決済された商品の情報（取引情報）を蓄積し、サーバ１に転送する。また、店舗サーバ３は、照合端末７から送信される、画像データとコード情報との組を、サーバ１に転送する。また、店舗サーバ３は、サーバ１から自店舗に適する商品マスタや照合辞書などの提供を受け、それらを自店舗の各ＰＯＳ端末５や照合端末７に展開する。

【0017】

サーバ１は、店舗サーバ３を介して各店舗から取得する、画像データとコード情報との組を蓄積し、これをもとに、コード情報に関連付ける照合用データを生成する。

【0018】

図２は、ＰＯＳ端末５の構成の一例を示すブロック図である。ＰＯＳ端末５は、ＣＰＵ（Central Processing Unit）５１、ＲＯＭ（Read Only Memory）５２、ＲＡＭ（Random Access Memory）５３、通信部５４、表示部５５、操作部５６、音声出力部５７、入出金部５８、記憶部５９等を備える。

【0019】

ＣＰＵ５１は、プロセッサの一例であり、ＰＯＳ端末５の各部を統括的に制御する。ＲＯＭ５２は、各種プログラムを記憶する。ＲＡＭ５３は、プログラムや各種データを展開するワークスペースである。ＣＰＵ５１、ＲＯＭ５２、およびＲＡＭ５３は、バス等を介して接続され、コンピュータ構成の制御部５０を構成する。

【0020】

通信部５４は、制御部５０と外部装置（例えば店舗サーバ３）とを、ネットワーク９を介して通信可能に接続する通信インタフェースである。また、通信部５４は、ＵＳＢ接続されたコードスキャナ６が出力するコード情報の入力を受け付ける。

【0021】

表示部５５は、ＬＣＤ（Liquid Crystal Display）等の表示デバイスを有し、ＣＰＵ５１の制御の下、各種の情報を表示する。

【0022】

操作部５６は、表示部５５の表面に重ねて設けられるタッチパネルや、キーボードやポインティングデバイス等の入力デバイスを有し、入力デバイスを介して入力される操作内容をＣＰＵ５１に出力する。

【0023】

音声出力部５７は、スピーカーやブザーを有し、ＣＰＵ５１の制御の下、音声を出力する。

【0024】

入出金部５８は、例えば釣銭機であって、現金（硬貨や紙幣）を内蔵し、決済において入金を受け付けて釣銭を出金する。

【0025】

記憶部５９は、ＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）或いはフラッシュメモリ等の記憶媒体を有し、電源を遮断しても記憶内容を維持する。記憶部５９は、ＣＰＵ５１が実行可能なプログラム５９１や、商品マスタ５９２など各種の設定情報を記憶する。また、記憶部５９（またはＲＡＭ５３）は、少なくとも一つの取引の開始から完了までの間、登録した商品（登録商品）の情報である登録商品情報５９３を、記憶する。

【0026】

図３は、商品マスタ５９２が含む項目の例を示す図である。商品マスタ５９２は、商品の情報の一例であって、店舗が取り扱う商品の情報が、例えばテーブルの形式でまとめられたものである。商品の情報の項目としては、例えば、「商品コード」や、「商品名」、「単価」、「色」、「商品画像」等がある。

【0027】

商品コードは、商品を特定可能な情報の一例であって、例えばＪＡＮコードである。他の情報（単価、照合用データ、色、対応商品など）は、商品コードに関連付けて記憶されている。

【0028】

「商品名」の項目に記録されるのは、商品の名称である。「単価」の項目に記録されるのは、商品一つ分の価格である。「色」の項目に記録されるのは、商品の色や柄（模様）を示す情報である。

【0029】

「商品画像」は、商品コードの商品を選択肢として示す際に、商品を説明する情報として添える画像のデータである。

【0030】

図４は、登録商品情報５９３が含む項目の例を示す図である。登録商品情報５９３は、顧客が購入するとして登録した商品（つまり取引対象の商品）の情報が、例えばテーブルの形式でまとめられたものである。商品の情報の項目としては、例えば、「商品コード」、「単価」、「個数」である。「個数」は、当該商品の購入数である。

【0031】

プログラム５９１は、ＰＯＳ端末５を機能させるためのアプリケーションソフトウェアである。なお、ＰＯＳは、「Point Of Sale」の略称であって、「販売時点情報管理」を意味する。ＰＯＳ端末は、販売時点情報管理を行う装置である。

【0032】

ＰＯＳ端末５の制御部５０は、ＣＰＵ５１が、ＲＯＭ５２や記憶部５９に記憶されＲＡＭ５３に展開されたプログラムに従って動作することによって、各種の処理を実行する。また、制御部５０は、プログラム５９１の実行により、各種機能部（後述、図１３参照）を提供する。

【0033】

図５は、コードスキャナ６の構成の一例を示すブロック図である。コードスキャナ６は、ＣＰＵ６１、ＲＯＭ６２、ＲＡＭ６３、通信部６４、撮像部６５等を備える。

【0034】

ＣＰＵ６１は、プロセッサの一例であり、コードスキャナ６の各部を統括的に制御する。ＲＯＭ６２は、各種プログラムを記憶する。ＲＡＭ６３は、プログラムや各種データを展開するワークスペースである。ＣＰＵ６１、ＲＯＭ６２、およびＲＡＭ６３は、バス等を介して接続され、コンピュータ構成の制御部６０を構成する。

【0035】

通信部６４は、制御部６０と外部装置（例えば照合端末７）とを、ネットワーク９を介して通信可能に接続する通信インタフェースである。また、通信部６４は、ＰＯＳ端末５とＵＳＢケーブルを介した通信を行う。

【0036】

撮像部６５は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary MOS）等の撮像素子を有し、オペレータがかざした物品を撮像し、画像データを取得する。撮像部６５は、オペレータが物品をかざすスキャン動作１回あたりの撮像で、複数の画像データを得る。

【0037】

コードスキャナ６の制御部６０は、ＣＰＵ６１が、ＲＯＭ６２に記憶されＲＡＭ６３に展開されたプログラムに従って動作することによって、各種の処理を実行し、次のような機能を提供する。

【0038】

コードスキャナ６は、画像データが構成する画像（撮像画像）からバーコードや二次元コード等のコードシンボルを切り出し、コードシンボルをデコードしてコード情報を取得する。コード情報は、商品を特定可能な情報であって、例えばＪＡＮコード等の商品コードである。つまりこの場合のコードシンボルは、ＪＡＮコードがエンコードされたものである。

【0039】

また、コードスキャナ６は、画像データを照合端末７に出力し、照合端末７からは商品コードの入力を受ける。コードスキャナ６は、自身がコードシンボルをデコードして得る商品コードと照合端末７から受信する商品コードとの、いずれか早く得られた方を、ＰＯＳ端末５に出力する。また、コードスキャナ６は、照合端末７から商品コードを受信する前に自身がデコードを終えて商品コードを得た場合、当該商品コードを照合端末７に送信する。

【0040】

図６は、照合端末７の構成の一例を示すブロック図である。照合端末７は、ＣＰＵ７１、ＲＯＭ７２、ＲＡＭ７３、通信部７４、記憶部７９等を備える。

【0041】

ＣＰＵ７１は、プロセッサの一例であり、照合端末７の各部を統括的に制御する。ＲＯＭ７２は、各種プログラムを記憶する。ＲＡＭ７３は、プログラムや各種データを展開するワークスペースである。ＣＰＵ７１、ＲＯＭ７２、およびＲＡＭ７３は、バス等を介して接続され、コンピュータ構成の制御部７０を構成する。

【0042】

通信部７４は、制御部７０と外部装置（例えば店舗サーバ３およびコードスキャナ６）とを、ネットワーク９を介して通信可能に接続する通信インタフェースである。

【0043】

記憶部７９は、ＨＤＤやＳＳＤ或いはフラッシュメモリ等の記憶媒体を有し、電源を遮断しても記憶内容を維持する。記憶部７９は、ＣＰＵ７１が実行可能なプログラムや、各種の設定情報を記憶する。また記憶部７９は、照合用辞書７９４と、画像情報７９５とを記憶している。

【0044】

図７は、照合用辞書７９４が含む項目の例を示す図である。照合用辞書７９４は、商品コードと照合用データとを、例えばテーブルの形式で関連付けて記憶するものである。

【0045】

照合用データは、特徴情報の代表値である。特徴情報は、物品の外観の特徴を示す情報である。特徴情報は、商品の外観を撮像して得られた画像データに所定の処理を施すことにより出力される（得られる）値であって、例えば、ベクトル等の大きさと向きを持つ量である。照合用データは、撮像条件等により変動する特徴情報の、標準的な値である。

【0046】

商品の外観（つまりパッケージ）の特徴から商品を特定するには、様々な角度から商品を見た場合に対応する必要があるので、様々な角度に応じた照合用データが存在するのが好ましい。したがって、一つの商品コードに対して、複数の照合用データが登録されている。

【0047】

図８は、画像情報７９５が含む項目の例を示す図である。画像情報７９５は、商品コードと画像データとを、例えばテーブルの形式で関連付けて記憶するものである。画像データおよび商品コードは、コードスキャナ６から受信したものである。

【0048】

照合端末７の制御部７０は、ＣＰＵ７１が、ＲＯＭ７２に記憶されＲＡＭ７３に展開されたプログラムに従って動作することによって、各種の処理を実行し、各種機能部（後述、図１３参照）を提供する。

【0049】

図９は、店舗サーバ３の構成の一例を示すブロック図である。店舗サーバ３は、ＣＰＵ３１、ＲＯＭ３２、ＲＡＭ３３、通信部３４、表示部３５、操作部３６、記憶部３９等を備える。

【0050】

ＣＰＵ３１は、プロセッサの一例であり、店舗サーバ３の各部を統括的に制御する。ＲＯＭ３２は、各種プログラムを記憶する。ＲＡＭ３３は、プログラムや各種データを展開するワークスペースである。ＣＰＵ３１、ＲＯＭ３２、およびＲＡＭ３３は、バス等を介して接続され、コンピュータ構成の制御部３０を構成する。

【0051】

通信部３４は、制御部３０と外部装置（例えばＰＯＳ端末５および照合端末７）とを、ネットワーク９を介して通信可能に接続する通信インタフェースである。また、通信部３４は、ネットワーク２を介してサーバ１と通信可能に接続する。

【0052】

表示部３５は、ＬＣＤ等の表示デバイスを有し、ＣＰＵ３１の制御の下、各種の情報を表示する。

【0053】

操作部３６は、表示部３５の表面に重ねて設けられるタッチパネルや、キーボードやポインティングデバイス等の入力デバイスを有し、入力デバイスを介して入力される操作内容をＣＰＵ３１に出力する。

【0054】

記憶部３９は、ＨＤＤやＳＳＤ或いはフラッシュメモリ等の記憶媒体を有し、電源を遮断しても記憶内容を維持する。記憶部３９は、ＣＰＵ３１が実行可能なプログラム３９１や、商品マスタ３９２等の各種の設定情報を記憶する。また記憶部３９は、取引情報３９３や、照合用辞書３９４を記憶している。

【0055】

商品マスタ３９２が含む項目は、図３に示す商品マスタ５９２と同じである。取引情報３９３が含む項目は、図４に示す登録商品情報５９３と同じである。照合用辞書３９４が含む項目は、図７に示す照合用辞書７９４と同じである。

【0056】

店舗サーバ３の制御部３０は、ＣＰＵ３１が、ＲＯＭ３２や記憶部３９に記憶されＲＡＭ３３に展開されたプログラムに従って動作することによって、各種の処理を実行する。また、制御部３０は、プログラム３９１の実行により、各種機能部（後述、図１３参照）を提供する。

【0057】

図１０は、サーバ１の構成の一例を示すブロック図である。サーバ１は、ＣＰＵ１１、ＲＯＭ１２、ＲＡＭ１３、通信部１４、記憶部１９等を備える。

【0058】

ＣＰＵ１１は、プロセッサの一例であり、サーバ１の各部を統括的に制御する。ＲＯＭ１２は、各種プログラムを記憶する。ＲＡＭ１３は、プログラムや各種データを展開するワークスペースである。ＣＰＵ１１、ＲＯＭ１２、およびＲＡＭ１３は、バス等を介して接続され、コンピュータ構成の制御部１０を構成する。

【0059】

通信部１４は、制御部１０と外部装置（例えば店舗サーバ３）とを、ネットワーク２を介して通信可能に接続する通信インタフェースである。

【0060】

記憶部１９は、ＨＤＤやＳＳＤ或いはフラッシュメモリ等の記憶媒体を有し、電源を遮断しても記憶内容を維持する。記憶部１９は、ＣＰＵ１１が実行可能なプログラム１９１や、商品マスタ１９２等の各種の設定情報を記憶する。また記憶部１９は、取引情報１９３や照合用辞書１９４、画像情報１９５等を、記憶している。

【0061】

図１１は、商品マスタ１９２が含む項目の例を示す図である。商品マスタ１９２は、商品の情報の一例であって、店舗が取り扱う商品の情報が、例えばテーブルの形式でまとめられたものである。商品の情報の項目としては、例えば、「店舗コード」、「商品コード」「商品名」、「単価」、「色」、「商品画像」、「取扱なし」等がある。

【0062】

店舗コードは、店舗を特定可能な情報であって、例えば、店舗ごとに割り振られたユニーク番号である。つまり店舗コードは、サーバ１の管理する同系列の店舗で重複しない。

【0063】

「取扱なし」の項目は、例えばフラグであって、フラグがＯＦＦ（オフ）であれば、同一レコードの商品コードの商品が店舗で取り扱い中であることを示し、フラグがＯＮ（オン）であれば、当該店舗で取り扱いなしであることを示す。

【0064】

商品マスタ１９２は、図３に示す商品マスタ５９２（３９２）に、「店舗コード」と「取扱なし」の項目が増えたものである。サーバ１は、１以上の店舗の店舗サーバ３と接続される。サーバ１は、各店舗のＰＯＳ端末５が使用する商品マスタ５９２として、商品マスタ１９２が含むレコードのうち、各店舗の店舗コードが関連付けられ且つ「取扱なし」フラグがＯＦＦのレコードを抽出して送信する。これを受信した各店舗サーバ３は、自店舗のＰＯＳ端末５の商品マスタ５９２を更新する。

【0065】

図１２は、取引情報１９３が含む項目の例を示す図である。取引情報１９３は、顧客が購入した商品の情報が、例えばテーブルの形式でまとめられたものである。商品の情報の項目としては、例えば、「店舗コード」、「商品コード」、「単価」、「個数」である。取引情報１９３が含む項目は、図４に示す登録商品情報５９３に、「店舗コード」の項目が増えたものである。

【0066】

照合用辞書１９４が含む項目は、図７に示す照合用辞書７９４と同じである。また、画像情報１９５が含む項目は、図８に示す画像情報７９５と同じである。

【0067】

サーバ１の制御部１０は、ＣＰＵ１１が、ＲＯＭ１２や記憶部１９に記憶されＲＡＭ１３に展開されたプログラムに従って動作することによって、各種の処理を実行する。また、制御部１０は、プログラム１９１の実行により、各種機能部（後述、図１３参照）を提供する。

【0068】

図１３は、各制御部１０，３０，５０，６０，７０が備える各種機能部の一例およびそれらの対応関係を示す図である。図１４および図１５は、上述の各機能部の動作タイミングおよび関わりについて示す図である。

【0069】

サーバ１の制御部１０は、取引情報更新部１０１、マスタ画像更新部１０２、画像情報蓄積部１０３、照合用辞書更新部１０４、マスタ配信部１０５等を備える。店舗サーバ３の制御部３０は、取引情報更新部３０１、マスタ画像作成部３０２、画像情報転送部３０３、マスタ更新部３０５、マスタ配信部３０６等を備える。ＰＯＳ端末５の制御部５０は、商品登録部５０１、決済処理部５０２、マスタ更新部５０５等を備える。照合端末７の制御部７０は、照合部７０１、画像情報蓄積部７０２、画像情報転送部７０３、照合用辞書更新部７０４等を備える。各々の動作については、図１４および図１５を参照しながら次に説明する。

【0070】

図１４は、店舗の営業中に行う処理を示している。まず、ＰＯＳ端末５が一つの取引を開始すると、これに接続されたコードスキャナ６の制御部６０が、商品を撮像する（ステップＳ６１）。制御部６０は、撮像された画像のデータ（画像データ）を、照合端末７へ転送する（ステップＳ６２）。

【0071】

また、制御部６０は、撮像された画像からコードシンボルを切り出して、（ステップＳ６３）、切り出されたコードシンボルをデコードして（ステップＳ６４）、商品コードを得る。

【0072】

一方、画像データを受信した照合端末７では、照合部７０１が、画像データに所定の処理を施すことにより、商品の外観の特徴を示す情報（特徴情報）を取得する（ステップＳ７１）。

【0073】

次に、照合部７０１は、取得した特徴情報を、照合用辞書７９４が記憶する照合用データと照らし合わせる（ステップＳ７２）。そして照合部７０１は、特徴情報と合致した照合用データに関連付けられた商品コードを、コードスキャナ６に送信する（ステップＳ７３）。

【0074】

コードスキャナ６において、ステップＳ７３よりも早いタイミングでステップＳ６４のデコードが完了していれば、制御部６０は、照合端末７に、デコードにより得た商品コードを送信する（ステップＳ６６）。この場合、照合端末７は、コードスキャナ６に商品コードを送信しない。また、この場合、照合端末７の画像情報蓄積部７０２は、画像データの蓄積を行う（ステップＳ７４）。ステップＳ７４において、画像情報蓄積部７０２は、ステップＳ６２で転送された画像データに、ステップＳ６６で受信した商品コードを関連付けて、画像情報７９５として記憶部７９に蓄積する。

【0075】

なお、コードスキャナ６における撮像（ステップＳ６１）および画像データの転送（ステップＳ６２）は、デコード完了（ステップＳ６４）か照合端末７からの商品コード受信（ステップＳ７３）まで繰り返される。このため、コードスキャナ６から照合端末７に転送される画像データは複数である可能性が高い。ステップＳ７４においては、それら全ての画像データに、同じ商品コードが関連付けられて蓄積される。

【0076】

また、照合端末７で照合（ステップＳ７２）が成功した場合、ステップＳ６２の転送により照合端末７が受信した画像データは、破棄される。

【0077】

そして、コードスキャナ６の制御部６０は、ステップＳ６４またはステップＳ７３により取得した商品コードを、ＰＯＳ端末５に送信する（ステップＳ６５）。

【0078】

ＰＯＳ端末５で商品コードが受信されると、商品登録部５０１が、受信した商品コードに合致する商品の情報（商品名や単価など）を商品マスタ５９２から取得し、個数を指定して登録商品情報５９３として記録する（ステップＳ５１）。

【0079】

取引開始から決済に移る前までの商品登録においては、ステップＳ６１からステップＳ５１までの一連の処理が、繰り返される。ＰＯＳ端末５の操作部５６が備える決済への移行を指示するキーが操作を受ける等すると、制御部５０は、商品登録を終え、決済処理部５０２として決済に処理を進める。

【0080】

決済処理部５０２は、登録商品情報５９３に記録された商品の代金を算出し、入出金部５８を介して現金の授受を行うなどの、決済処理を行う（ステップＳ５２）。なお、決済は、現金によらず、例えばクレジット決済や電子マネー決済などのキャッシュレス決済により行われても構わない。決済処理部５０２は、決済処理が完了すると、登録商品情報５９３を、店舗サーバ３へ転送する（ステップＳ５３）。

【0081】

店舗サーバ３が登録商品情報５９３を受信すると、制御部３０は、取引情報更新部３０１として、登録商品情報５９３で取引情報３９３を更新する（ステップＳ３１）。言い換えると、取引情報更新部３０１は、店舗サーバ３から受信した登録商品情報５９３を、記憶部１９に、取引情報３９３として記憶させる。

【0082】

取引情報更新部３０１は、さらに、取引情報３９３をサーバ１に送信する（ステップＳ３２）。この時送信する取引情報３９３は、前回送信からの増分（つまり登録商品情報５９３相当分）で構わない。

【0083】

サーバ１が取引情報３９３を受信すると、制御部１０は、取引情報更新部１０１として、取引情報３９３で取引情報１９３を更新する（ステップＳ１１）。このとき取引情報更新部１０１は、取引情報３９３に送信元の店舗を特定する店舗コードを関連付けたものを、取引情報１９３に記憶させる。

【0084】

次に、図１５を参照して、任意のタイミングで行う処理について説明する。任意のタイミングは、例えば、店舗の営業時間中でなくともよく、営業時間外（閉店後～開店前）でよく、また、商品登録システム１００のトラフィック等に余裕があるときで構わない。

【0085】

まず、マスタ画像作成部３０２による「商品画像」の作成および、マスタ画像更新部１０２による商品マスタ１９２の更新は、次の通りである。このマスタ画像作成部３０２による処理は、例えば、店舗サーバ３を操作する操作者（店員）が、所定のアプリケーションソフトウェアを起動させる等により、実行される。

【0086】

マスタ画像作成部３０２は、商品マスタ１９２で商品コードに関連付けて記憶される「商品画像」を、画像情報７９５が記憶する画像データに基づいて、作成する。

【0087】

マスタ画像作成部３０２は、ネットワーク９経由で照合端末７の記憶部７９にアクセスし、画像情報７９５を取得する（ステップＳ３３）。次に、マスタ画像作成部３０２は、取得した画像情報７９５が含む、一つの商品コードをピックアップし、当該商品コードに関連付けられた画像データから、「商品画像」を作成する（ステップＳ３４）。マスタ画像作成部３０２は、上記処理を、画像情報７９５が含む全ての商品コードについて繰り返す。そしてマスタ画像作成部３０２は、作成した商品画像に商品コードを関連付けたものを、サーバ１に送信する（ステップＳ３５）。

【0088】

商品画像および商品コードの組を受信したサーバ１の制御部１０は、マスタ画像更新部１０２として、受信した商品コードが関連付けられた商品マスタ１９２のレコードにおける商品画像を、受信した商品画像で更新する（ステップＳ１２）。

【0089】

ここで、ステップＳ３４での商品画像の作成について、より詳しく説明する。「商品画像」は、上述の通り、商品コードの商品を選択肢として示す際に、商品を説明する情報として添える画像のデータである。このため「商品画像」は、商品を説明する情報とともに提供するに相応しいものであることが必要である。より具体的には、「商品画像」は、例えば、下記の条件（１）～（４）を満たすものであると、好ましい。
（１）商品の名称を表示した範囲を含んだ画像である
（２）バーコードや二次元コード等のコードシンボルを含まない画像である
（３）商品の名称が表示された面に、正対した画像である
（４）商品の輪郭が、はみ出していない画像である

【0090】

なお、上記以外の条件が、さらに追加されても構わない。また、全ての条件を満たすことが難しい場合、一部が満たされていれば適すると判断するよう構成してもよい。その場合、条件に優先順位を設け、全て満たすものが無い場合には、優先順位が低い方の条件から、満たさなくても可としてもよい。上記条件（１）～（４）の順番は、本実施形態における条件の優先順位を示す。

【0091】

また、上述の、「商品画像」として相応しいとする条件を満たしていれば、画像データにより表示される画像において、商品が斜めに傾いて表示される状態で写り込んでいても構わない。そのような画像データについては、マスタ画像作成部３０２は、画像データにより表示される画像から商品の部分を切り出し、直立状態に回転させる処理を行うことで、適切な画像データを生成する。

【0092】

上述の直立状態に回転させる処理や、上記（１）の、商品が正対しているかの判断には、例えば、セグメンテーション技術を利用することができる。セグメンテーション技術によれば、画像データ中で商品が写り込んだ画素の範囲や位置、並び方がわかり、また、商品の輪郭を含む画素で囲まれた範囲を切り出すことができる。

【0093】

図１６は、マスタ画像作成部３０２による処理をより詳細に示す図である。この図の処理は、図１５のステップＳ３３～Ｓ３４の処理に対応する。図１６に示すステップＳ３４１～Ｓ３４５の処理は、図１５のステップＳ３４の処理に含まれる。

【0094】

まず、マスタ画像作成部３０２は、照合端末７から画像情報７９５を取得する（ステップＳ３３）。次に、マスタ画像作成部３０２は、取得した画像情報７９５が含む、一つの商品コードをピックアップし、当該商品コードに関連付けられた一つ以上の画像データから、商品画像の候補を一つ以上選択する（ステップＳ３４１）。ここで選択される候補は、上述の条件に合致する画像データである。

【0095】

マスタ画像作成部３０２は、ステップＳ３４１で選択された候補を、選択肢として表示部３５に表示させ、選択肢を選択する操作を操作部３６により受け付ける（ステップＳ３４２）。

【0096】

選択肢の一つを選択する操作を操作部３６が受け付けると（ステップＳ３４３；Ｙｅｓ）、マスタ画像作成部３０２は、当該選択肢とされた画像データを、「商品画像」として決定する（ステップＳ３４４）。

【0097】

次にマスタ画像作成部３０２は、ステップＳ３３で取得された画像情報７９５が含む全ての商品コードについて、商品画像を決定する処理を完了したかを判断し（ステップＳ３４５）、完了していれば（ステップＳ３４５；Ｙｅｓ）、本処理を終了する。また、ステップＳ３３で取得された画像情報７９５が含む全ての商品コードについて、商品画像を決定する処理を完了していなければ（ステップＳ３４５のＮｏ）、マスタ画像作成部３０２は、処理をステップＳ３４１に戻す。

【0098】

ここで、ステップＳ３４３において、店舗サーバ３の操作者（店員）は、選択肢を目視確認し、最適であると判断ものを選択する。また、操作者は、「選択肢に適切な画像データがない」と判断する場合には、選択肢の全てを拒否する操作を操作部３６に対して行うことができる。全選択肢の拒否の受け付けは、例えば、拒否を受け付けるための操作子を、選択肢とともに表示部３５に表示させ、操作部３６で受け付けることで可能である。

【0099】

ステップＳ３４３において、選択肢の全てが拒否された場合（ステップＳ３４３；Ｎｏ）、マスタ画像作成部３０２は、処理をステップＳ３４５に進める。

【0100】

なお、ステップＳ３４１で選択された候補が、もし一つであれば、ステップＳ３４２で表示される選択肢は一つとなる。この場合、ステップＳ３４３の処理で受け付ける選択は、選択肢を許容するか拒否するかの選択となる。

【0101】

図１５に戻り、照合用辞書１９４，３９４，７９４と、商品マスタ３９２，５９２の更新について説明する。照合端末７の制御部３０は、画像情報転送部７０３として、画像情報７９５を、店舗サーバ３に転送する（ステップＳ７５）。なお、画像情報７９５は、ステップＳ７５で転送された後に、削除されて構わない。

【0102】

店舗サーバ３が画像情報７９５を受信すると、制御部３０は、画像情報転送部３０３として、サーバ１に転送する（ステップＳ３６）。

【0103】

サーバ１が画像情報７９５を受信すると、制御部１０は、画像情報蓄積部１０３として、画像情報１９５を更新する（ステップＳ１３）。つまり、画像情報蓄積部１０３は、店舗サーバ３から受信した画像情報７９５を、記憶部１９に、画像情報１９５として追加する。

【0104】

ここで画像情報蓄積部１０３は、商品のパッケージに表示されたコードシンボルを読み取ることにより得られる、商品を特定可能にするコード情報を取得するコード情報取得部と、コードシンボルの読み取り時に撮像された商品の画像データを取得する画像データ取得部と、の一例として機能している。

【0105】

次に、営業時間外に行う処理について説明する。サーバ１の制御部１０は、照合用辞書更新部１０４として、照合用辞書１９４を更新する（ステップＳ１４）。この更新にあたって、照合用辞書更新部１０４は、画像情報１９５のうち、最新の増分（前回のステップＳ１３で増えたもの）であるレコードを用いる。照合用辞書更新部１０４は、各レコードの画像データに所定の処理を施して特徴情報を得て、同レコードの商品データを特徴情報に関連付けたものを、照合用辞書１９４に追加する。このステップで、照合用辞書１９４における新たなパッケージの情報を自動学習（登録、更新）が、実現される。

【0106】

ここで照合用辞書更新部１０４は、画像データから商品の外観の特徴を示す情報である特徴情報を取得する特徴情報取得部の一例として、機能している。

【0107】

次に、制御部１０は、マスタ配信部１０５として、各店舗の店舗サーバ３に対し、商品マスタ１９２の配信（ステップＳ１５）および照合用辞書１９４の配信（ステップＳ１６）を行う。

【0108】

まず、ステップＳ１５において、マスタ配信部１０５は、商品マスタ１９２の、転送先となる店舗の店舗コードに合致するレコードのうち、前回から変更されているものを送信する。また、前回からの変更で、取扱ありから取扱なしに変更されたレコードについては、マスタ配信部１０５は、該当の商品コードのレコードを削除する指示を、店舗サーバ３に送信する。

【0109】

また、ステップＳ１６において、マスタ配信部１０５は、照合用辞書１９４の配信にあたり、適するレコードを抜粋して配信する。すなわち、マスタ配信部１０５は、商品マスタ１９２から、指定の（配信先となる店舗の）店舗コードで取引ありの商品コードを抽出してリスト化し、当該リストが含む商品コードに関連付けられたレコードを、照合用辞書１９４から抽出して、店舗サーバ３に送信する。

【0110】

サーバ１から店舗サーバ３が商品マスタ１９２および照合用辞書１９４を受信すると、制御部３０は、マスタ更新部３０５として、商品マスタ３９２を更新し（ステップＳ３７）、照合用辞書３９４を更新する（ステップＳ３８）。

【0111】

商品マスタ３９２および照合用辞書３９４が更新されると、店舗サーバ３の制御部３０は、マスタ配信部３０６として、店内のＰＯＳ端末５に対して商品マスタ３９２を配信し（ステップＳ３９）、また、照合端末７に対して照合用辞書３９４を配信する（ステップＳ４０）。

【0112】

商品マスタ３９２を受信したＰＯＳ端末５において、制御部５０は、マスタ更新部５０５として、商品マスタ５９２を更新する（ステップＳ５４）。

【0113】

照合用辞書３９４を受信した照合端末７において、制御部７０は、照合用辞書更新部７０４として、照合用辞書７９４を更新する（ステップＳ７６）。

【0114】

以上の構成の商品登録システム１００は、コードスキャナ６によるコードシンボルのデコードと並行して、照合端末７による画像認識を行い、早く得られたコード情報により商品登録および決済を行う。

【0115】

照合端末７には、コードスキャナ６が出力した画像データが入力される。照合端末７は、画像データが示す撮像画像に写り込んだ商品の外観的な特徴（形状や色、模様など）を示す情報（特徴情報）を生成し、照合用辞書７９４を参照して、特徴情報と照合用データとを照らし合わせる。

【0116】

照合端末７は、上述のような画像認識により商品の特定を行い、結果をコードスキャナ６に戻す。照合端末７が出力した認識結果は、コードスキャナ６経由でＰＯＳ端末５に出力される。

【0117】

ＰＯＳ端末５は、コードスキャナ６が出力するコード情報に基づいて、商品の登録を行い、登録された商品の決済を行う。ＰＯＳ端末５は、特定された商品の情報を、購入対象（取引対象）として自動的に登録する。

【0118】

コードスキャナ６が得て照合端末７に送信された画像データのうち、特徴情報に合致する照合データが照合用辞書７９３になかったものは、コードスキャナ６が特定した商品コードと併せて、サーバ１まで送られる。サーバ１は、新しく追加（更新）された画像データから照合用データを生成して、照合用辞書１９４を更新する。照合用辞書１９４の追加（更新）分は、照合端末７まで送られる。これにより、照合端末７では、前回照合できなかった商品の照合用データを取得できる。

【0119】

なお、上述した実施形態は、上述した各装置が有する構成又は機能の一部を変更することで、適宜に変形して実施することも可能である。

【0120】

例えば、実施にあたって、マスタ画像作成部３０２に相当する機能部を、店舗サーバ３でなく、ＰＯＳ端末５等、店舗内の他の装置が備えていてもよい。また、実施にあたって、マスタ画像作成部３０２に相当する機能部を、サーバ１が備えていてもよい。

【0121】

また、実施にあたって、サーバ１に設けたマスタ画像作成部３０２相当の機能部を、店舗サーバ３等の店舗内の他の装置から呼び出して使用するように構成してもよい。この場合、サーバ１が備えるマスタ画像作成部３０２相当の機能部は、ＡＰＩ（Application Programming Interface）として設けられていると、外部装置からの利用に際して簡便である。

【0122】

また、上記実施形態では、「商品画像」の決定にあたり店員による目視確認を行うとして説明したが、実施にあたっては、店員による目視確認を省き、機械的に最適と判断される画像に決定するようにしてもよい。

【0123】

また、上記実施形態では、商品登録時に取得される画像データおよび商品コードを利用して、商品マスタ１９２に記憶させる商品画像を作成しているが、実施にあたってはこれに限らない。例えば、商品登録とは別のタイミングで、空いたＰＯＳ端末５、コードスキャナ６および照合端末７を使用し、コードスキャナ６により画像データおよび商品コードを取得し、画像データから商品画像の候補を選択し、ＰＯＳ端末５の表示部５５および操作部５６により候補の選択を受け付けて、商品画像を決定するように構成してもよい。さらに、この場合、コードスキャナ６に代えて、Ｗｅｂカメラ等の、デジタル画像を取り扱う他の撮像装置を用いてもよい。これにより、マスタ画像作成部３０２が行う処理に相当する処理を行うことができる。

【0124】

さらに、実施にあたって、ＰＯＳ端末５は、店員が操作するものでもよいし、顧客が操作するものでもよい。また、実施にあたって、サーバ１が、単一の装置でなく複数の装置で構成されていてもよい。また、実施にあたって、サーバ１が持つとして説明した機能部を、店舗内の装置のいずれかが担ってもよい。また、実施にあたって、サーバ１に相当する装置が、店内に設けられていてもよい。また、実施にあたって、店舗サーバ３がなくてもよい。また、実施にあたって、照合端末７が、複数のコードスキャナ６で共用されてもよい。また、記憶部１９（３９，５９，７９）は各種情報を記憶可能な記憶領域を提供する装置の一例であって、上記実施形態で同じ記憶部が記憶するとした情報が、実施にあたって同じ記憶部に記憶されている必要はなく、複数の記憶装置に分けて記憶されていてもよい。

【0125】

上述の実施形態の各装置で実行されるプログラムは、ＲＯＭ等に予め組み込まれて提供される。上述の実施形態の各装置で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ－ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ－Ｒ、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。

【0126】

さらに、上述の実施形態の各装置で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、上述の実施形態の各装置で実行されるプログラムをインターネット等のネットワーク経由で提供又は配布するように構成してもよい。

【0127】

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更、組み合わせを行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

【符号の説明】

【0128】

１００…商品登録システム、
１ …サーバ、
１０ …制御部、
１０１…取引情報更新部、１０２…マスタ画像更新部、１０３…画像情報蓄積部、
１０４…照合用辞書更新部、１０５…マスタ配信部、
１１ …ＣＰＵ、１２…ＲＯＭ、１３…ＲＡＭ、１４…通信部、
１９ …記憶部、
１９１…プログラム、１９２…商品マスタ、１９３…取引情報、
１９４…照合用辞書、１９５…画像情報、
２ …ネットワーク、
３ …店舗サーバ、
３０ …制御部、
３０１…取引情報更新部、３０２…マスタ画像作成部、３０３…画像情報転送部、
３０５…マスタ更新部、３０６…マスタ配信部、
３１ …ＣＰＵ、３２…ＲＯＭ、３３…ＲＡＭ、３４…通信部、
３５ …表示部、３６…操作部、
３９ …記憶部、
３９１…プログラム、３９２…商品マスタ、３９３…取引情報、３９４…照合用辞書、
５ …ＰＯＳ端末、
５０ …制御部、５０１…商品登録部、５０２…決済処理部、５０５…マスタ更新部、
５１ …ＣＰＵ、５２…ＲＯＭ、５３…ＲＡＭ、５４…通信部、
５５ …表示部、５６…操作部、５７…音声出力部、５８…入出金部、
５９ …記憶部、５９１…プログラム、５９２…商品マスタ、５９３…登録商品情報、
６ …コードスキャナ、６０…制御部、
６１ …ＣＰＵ、６２…ＲＯＭ、６３…ＲＡＭ、６４…通信部、６５…撮像部、
７ …照合端末、
７０ …制御部、
７０１…照合部、７０２…画像情報蓄積部、
７０３…画像情報転送部、７０４…照合用辞書更新部、
７１ …ＣＰＵ、７２…ＲＯＭ、７３…ＲＡＭ、７４…通信部、
７９ …記憶部、７９３…照合用辞書、７９４…照合用辞書、７９５…画像情報、
９ …ネットワーク。

【先行技術文献】

【特許文献】

【0129】

【特許文献1】特開２０１９－０２１１０５号公報

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】