特開 2024-176763 商品画像記憶装置およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024176763

(43)【公開日】2024-12-19

(54)【発明の名称】商品画像記憶装置およびプログラム

(51)【国際特許分類】

   G07G 1/00 20060101AFI20241212BHJP

   G07G 1/12 20060101ALI20241212BHJP

   G06Q 30/06 20230101ALI20241212BHJP

【ＦＩ】

G07G1/00 311D

G07G1/12 321Z

G06Q30/06

【審査請求】未請求

【請求項の数】9

【出願形態】ＯＬ

(21)【出願番号】P 2023095548

(22)【出願日】2023-06-09

(71)【出願人】

【識別番号】000003562

【氏名又は名称】東芝テック株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】竹野 唯志

(72)【発明者】

【氏名】内藤 英浩

【テーマコード（参考）】

3E142

5L030

5L049

【Ｆターム（参考）】

3E142AA01

3E142CA12

3E142EA02

3E142FA50

3E142GA02

3E142GA35

3E142GA41

5L030BB56

5L030BB72

5L049BB56

5L049BB72

(57)【要約】

【課題】商品のパッケージが変更された場合に、変更された商品の商品画像を変更前の商品画像と容易に区別してグループ化することが可能な撮像装置およびプログラムを提供することである。
【解決手段】インタフェースと、インタフェースから入力された、撮像部で撮像された商品の商品画像および商品画像の商品を特定する商品特定情報に基づいて、同一の商品特定情報に係る商品画像を一または複数のグループに分類したグループ情報を、商品特定情報に関連付けして記憶する記憶部と、プロセッサと、を有し、プロセッサは、インタフェースから入力された商品特定情報に基づいて、当該商品特定情報とともに入力された商品画像と、記憶部に前記グループ別に記憶されている当該商品特定情報に関連付けられた商品画像と、の類似度をグループ毎に算出し、算出された類似度に応じて決定されたグループに入力された商品画像を記憶する。
【選択図】図１０

【特許請求の範囲】

【請求項1】

インタフェースと、
前記インタフェースから入力された、撮像部で撮像された商品の商品画像および前記商品画像の商品を特定する商品特定情報に基づいて、同一の前記商品特定情報に係る前記商品画像を一または複数のグループに分類したグループ情報を、前記商品特定情報に関連付けして記憶する記憶部と、
プロセッサと、
を有し、
前記プロセッサは、
前記インタフェースから入力された前記商品特定情報に基づいて、当該商品特定情報とともに入力された前記商品画像と、前記記憶部に前記グループ別に記憶されている当該商品特定情報に関連付けられた商品画像と、の類似度をグループ毎に算出し、
算出された類似度に応じて決定されたグループに前記入力された商品画像を記憶する、
ことを特徴とする商品画像記憶装置。

【請求項2】

前記プロセッサは、
前記類似度が所定値以上である場合には、前記インタフェースから入力された前記商品画像を当該グループに追加して記憶し、
前記類似度が所定値未満である場合には、前記インタフェースから入力された前記商品画像を前記商品特定情報に係る新たなグループとして記憶する、
ことを特徴とする請求項１に記載の商品画像記憶装置。

【請求項3】

前記プロセッサは、
前記インタフェースから入力された前記商品特定情報が前記記憶部に記憶されていない場合には、前記商品画像を前記インタフェースから入力された前記商品特定情報に係る新たなグループとして前記記憶部に記憶する、
ことを特徴とする請求項１に記載の商品画像記憶装置。

【請求項4】

前記記憶部は、遡って所定期間内に前記商品画像が記憶されたことを示す実績情報を前記グループ毎に記憶し、
前記プロセッサは、
前記商品画像が記憶されたグループについて前記実績情報を新たに記憶する、
ことを特徴とする請求項１に記載の商品画像記憶装置。

【請求項5】

前記実績情報は、前記商品画像が予め決められた時刻から遡って所定期間内に記憶された時刻を示す時刻情報であり、
前記プロセッサは、
前記商品画像が記憶されたグループについて記憶された時刻に係る時刻情報を上書きして記憶する、
ことを特徴とする請求項４に記載の商品画像記憶装置。

【請求項6】

前記プロセッサは、
前記実績情報に基づいて前記所定期間内のグループを選択し、選択したグループに記憶されている前記商品画像に基づいて機械学習モデルのトレーニングを行う、
ことを特徴とする請求項４または５に記載の商品画像記憶装置。

【請求項7】

前記プロセッサは、
前記選択されたグループ毎に、当該グループに記憶されている商品画像に基づいて当該商品と撮影時のカメラとの位置・向きを推定し、推定結果に応じて前記商品画像を選別し、選別した商品画像を用いて機械学習モデルをトレーニングする、
ことを特徴とする請求項６に記載の商品画像記憶装置。

【請求項8】

前記プロセッサは、
前記選択されたグループ毎に、当該グループに記憶されている商品画像に基づいて当該商品に係る３Ｄ画像を生成し、
生成した３Ｄ画像を用いて機械学習モデルをトレーニングする、
ことを特徴とする請求項６に記載の商品画像記憶装置。

【請求項9】

インタフェースと、前記インタフェースから入力された、撮像部で撮像された商品の商品画像および前記商品画像の商品を特定する商品特定情報に基づいて、同一の前記商品特定情報に係る前記商品画像を一または複数のグループに分類したグループ情報を、前記商品特定情報に関連付けして記憶する記憶部と、プロセッサと、を有する商品画像記憶装置としてのコンピュータを、
前記インタフェースから入力された前記商品特定情報に基づいて、当該商品特定情報とともに入力された前記商品画像と、前記記憶部に前記グループ別に記憶されている当該商品特定情報に関連付けられた商品画像と、の類似度をグループ毎に算出し、
算出された類似度に応じて決定されたグループに前記入力された商品画像を記憶する、
ように機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施形態は、商品画像記憶装置およびプログラムに関する。

【背景技術】

【0002】

ショッピングセンター、量販店、百貨店等の店舗において、店舗で販売する商品の商品登録処理および決済処理を行うＰＯＳシステムが存在する。このようなＰＯＳシステムには、最近は、撮像装置が撮像した商品の画像をパッケージ認識して商品を判断しているものがある。

【0003】

ところで、同一の商品であっても、例えば季節等によって商品のパッケージのデザインが変更（以降、パッケージの変更という）されることがある。このような場合、パッケージ認識において、パッケージが変更された商品が変更前の商品と同じ商品であることを認識させるために、事前にパッケージが変更された商品の画像に基づいて機械学習モデルのトレーニングを行う必要があった。

【発明の概要】

【発明が解決しようとする課題】

【0004】

本発明が解決しようとする課題は、商品のパッケージが変更された場合に、同一商品であっても変更された商品の商品画像を変更前の商品画像と別のグループにグループ分けすることが可能な撮像装置およびプログラムを提供することである。

【課題を解決するための手段】

【0005】

実施形態の商品画像記憶装置は、インタフェースと、前記インタフェースから入力された、撮像部で撮像された商品の商品画像および前記商品画像の商品を特定する商品特定情報に基づいて、同一の前記商品特定情報に係る前記商品画像を一または複数のグループに分類したグループ情報を、前記商品特定情報に関連付けして記憶する記憶部と、プロセッサと、を有し、前記プロセッサは、前記インタフェースから入力された前記商品特定情報に基づいて、当該商品特定情報とともに入力された前記商品画像と、前記記憶部に前記グループ別に記憶されている当該商品特定情報に関連付けられた商品画像と、の類似度をグループ毎に算出し、算出された類似度に応じて決定されたグループに前記入力された商品画像を記憶する。

【図面の簡単な説明】

【0006】

【図1】図１は、実施形態に係るシステムを示す図である。

【図2】図２は、ＰＯＳ端末および撮像装置の外観を示す斜視図である。

【図3】図３は、撮像装置のハードウェア構成を示すブロック図である。

【図4】図４は、商品画像記憶装置のハードウェア構成を示すブロック図である。

【図5】図５は、スキャン画像を抽出する一例を示す図である。

【図6】図６は、撮像画像に基づいて商品画像をグループ分けする工程を示す説明図である。

【図7】図７は、グループ情報部の構成を示すメモリマップである。

【図8】図８は、撮像装置の制御処理の流れを示すフローチャートである。

【図9】図９は、商品画像記憶装置の機能構成を示す機能ブロック図である。

【図10】図１０は、商品画像記憶装置による商品画像のグループ分けに係る制御処理の流れを示すフローチャートである。

【図11】図１１は、商品画像記憶装置による機械学習モデルのトレーニングに係る制御処理の流れを示すフローチャートである。

【図12】図１２は、商品画像記憶装置による画像選別手法を用いた機械学習モデルのトレーニングに係る制御処理の流れを示すフローチャートである。

【発明を実施するための形態】

【0007】

以下、本発明の実施形態について図面を参照して説明する。なお、以下の実施形態では、商品画像記憶装置は店舗に設置された、店舗の売上情報を管理する店舗サーバを兼ねたサーバとして説明するが、商品画像記憶装置は、複数の店舗を運営する企業の本部等に設置された本部サーバ、あるいはクラウド上に設置されたクラウドサーバであってもよい。また、以下に説明する実施形態によりこの発明が限定されるものではない。

【0008】

図１は、実施形態にかかるシステムを示す図である。図１において、システム１０は、スーパーマーケット、量販店、コンビニエンスストア、専門店等の店舗Ｔに設置されている。システム１０は、店舗Ｔ内に設置されたシステムであり、１台または複数台のＰＯＳ（Point of Sales）端末１（商品販売データ処理装置）、各ＰＯＳ端末１に例えば接続された撮像装置３、エッジデバイス５、商品画像記憶装置７を備える。各ＰＯＳ端末１とエッジデバイス５と商品画像記憶装置７は、それぞれ相互に通信が可能な通信回線Ｌ（例えばＬＡＮ（Local Area Network））で接続されている。また撮像装置３は、それぞれのＰＯＳ端末１に一台ずつ接続され、例えばＰＯＳ端末１と例えばＵＳＢ（Universal Serial Bus）ケーブルＵで接続されている。また各撮像装置３は、エッジデバイス５およびと商品画像記憶装置７と通信回線Ｌで接続されている。

【0009】

なお、実施形態では、エッジデバイス５は商品画像記憶装置７とは別の装置として説明するが、商品画像記憶装置７がエッジデバイス５の機能を兼ねた装置であるとしてもよい。この場合、エッジデバイス５はシステム１０の構成から削除される。

【0010】

システム１０は、店舗Ｔにおいて販売される商品の商品登録処理、決済処理、売上管理を行う。システム１０は、パッケージ認識技術を用いて商品登録処理を実行する。

【0011】

パッケージ認識とは、商品に付されたバーコードや二次元コード等のシンボルを撮像して解析することで当該商品を特定する技術（以降「コード認識」という）と、撮像した商品の画像に基づいて、商品の質感や形状やパッケージ（デザイン等）等の商品の外観的特徴を示す特徴量に基づいて商品を認識する公知の一般物体認識技術と、を併用して、商品を認識（一つの商品を特定したり、複数の候補商品を抽出したりする）する技術である。パッケージ認識は、エッジデバイス５または／および商品画像記憶装置７が行う処理である。

【0012】

一般物体認識については、例えば、「 柳井 啓司，“一般物体認識の現状と今後”，情報処理学会論文誌，Ｖｏｌ．４８，Ｎｏ．ＳＩＧ１６［平成２２年８月１０日検索］，インターネット＜ URL: http://mm.cs.uec.ac.jp/IPSJ-TCVIM-Yanai.pdf ＞」に記載されている。

【0013】

コード認識は、商品に付されたシンボルを撮像した場合、当該シンボルをデコード解析したバーコード情報を得る。バーコード情報には、シンボルが貼付された商品を特定する商品特定情報が含まれる。商品特定情報は、例えば商品を示す商品コードであるが、商品を特定する情報であれば商品コードでなくてもよい。コード認識は、撮像装置３が行う処理である。

【0014】

撮像装置３は、第１撮像部３７と第２撮像部３８（いずれも図２、図３を参照）によって撮像された画像に基づいてコード認識を実行し、バーコード情報を生成する。そして撮像装置３は、第１撮像部３７と第２撮像部３８が撮像した撮像画像に係る画像情報と、生成したバーコード情報とを、商品画像記憶装置７に出力する。

【0015】

エッジデバイス５は、実施形態では本体４２（図２を参照）の内部に格納されている。エッジデバイス５は、撮像装置３から入力された画像情報に基づいて一般物体認識を実行する。そして、エッジデバイス５は、特定された一つの商品の商品特定情報、または複数の候補商品の商品特定情報を、撮像装置３に出力する。

【0016】

撮像装置３は、生成したバーコード情報に含まれる商品特定情報またはエッジデバイス５から入力された商品特定情報のいずれかをＰＯＳ端末１に送信する。具体的には、撮像装置３は、コード認識に基づいてバーコード情報が生成できた場合には、当該バーコード情報に含まれる商品特定情報またはエッジデバイス５から入力された特定された商品の商品特定情報のいずれかをＰＯＳ端末１に送信する。また撮像装置３は、バーコード情報が生成できなかった場合には、エッジデバイス５から入力された商品の商品特定情報をＰＯＳ端末１に送信する。

【0017】

商品画像記憶装置７は、撮像装置３から入力された撮像画像のうち商品が撮像されている商品画像および商品特定情報に基づいて、商品特定情報別（すなわち商品別に）に商品画像をグループ化して記憶する。具体的には、商品画像記憶装置７は、同一の商品特定情報であって特徴量が類似している商品画像別にグループを作成し、商品画像をグルーピングする。しかしながら、同一の商品であっても季節等によってパッケージが変更されることがある。このような商品は同一の商品特定情報が付されるが、パッケージによって商品画像から抽出される特徴量が異なる。このような場合、商品画像記憶装置７は、同一の商品特定情報であっても、変更前のパッケージの商品と変更後のパッケージの商品とを、特徴量別に異なるグループにグループ分けをする。このようにすることで、同一のパッケージの商品画像を同一のグループとし、異なるパッケージの商品画像を別のグループとする。なお、同じパッケージであっても当該商品を撮像する条件（照明の輝度や商品の周りの映像等）によって特徴量が変わる（低くなる）こともあり得る。そのため、パッケージが変更されていない商品を異なるグループにグループ分けすることもあり得る。

【0018】

また、実施形態の商品画像記憶装置７は、各グループに関連付けて時刻情報を記憶する。この時刻情報は、理屈上は当該グループに直近に商品画像が記憶された時刻であるが、実際は、撮像装置３において当該商品画像が撮像された時刻（顧客によって商品登録操作が行われた時刻）、あるいは撮像されたシンボルに基づいてバーコード情報が生成された時刻のいずれかであってもよい。時刻情報は、撮像装置３において撮像された商品画像がグループ分けされる度に、当該商品画像が記憶されたグループに新たな時刻情報が記憶される（時刻情報が更新される）。

【0019】

この時刻情報は、特定の時刻を示す情報であればよいが、それほど厳密な時刻情報でなくてもよく、例えば特定の日にちを示す情報等の、時期を示す情報であってもよい。

【0020】

また、時刻情報に基づいて、予め決められた時刻（例えば現在時刻（現在の日にちであってもよい））から遡って所定期間内に商品画像がグループに記憶されたかを確認できるため、時刻情報は、現在から遡って所定期間内に前記商品画像が記憶されたことを示す実績情報の一例である。実績情報は、現在時刻から遡って所定期間内に商品画像が記憶されたかを確認できる情報であるため、所定期間（例えば前回のトレーニング（トレーニングについては後述）から現在時刻までの期間）内に商品画像が記憶されたことを示す情報（例えばフラグ情報）であってもよく、フラグ情報等を、所定期間内に商品画像が記憶されたグループに関連付けて付すようにしてもよい。このように、所定期間内に商品画像が記憶されたことを示す情報も、現在から遡って所定期間内に前記商品画像が記憶されたことを示す実績情報の一例である。以降、実施形態では、時刻情報を実績情報の一例として説明する。

【0021】

商品画像記憶装置７は、撮像装置３から入力されたある商品特徴情報に係る商品画像について、類似する特徴量のグループが存在する場合（例えば、同一商品であってパッケージも同一（変更されていない）の商品の場合）には、当該グループに入力された商品画像を追加して記憶するとともに、当該グループの時刻情報を更新する。

【0022】

また商品画像記憶装置７は、撮像装置３から入力されたある商品特徴情報に係る商品画像について、類似する特徴量のグループが存在しない場合（例えば、同一商品ではあるがパッケージが変更された商品の場合）には、当該商品特定情報に係る新たなグループ番号のグループを作成して、入力された商品画像を当該新たなグループに記憶するとともに、当該新たなグループに時刻情報を記憶する。

【0023】

また商品画像記憶装置７は、撮像装置３から入力されたある商品特徴情報が記憶されていない場合（例えば新商品の場合）新たな商品特定情報に係るグループ番号「１」のグループを新たに作成して、入力された商品画像を当該新たなグループに記憶するとともに、当該グループの時刻情報を記憶する。

【0024】

また実施形態の商品画像記憶装置７は、機械学習モデル７４５（図４を参照）のトレーニングを行う。実施形態では、機械学習モデル７４５は商品画像記憶装置７に記憶されている。しかしながら機械学習モデル７４５は商品画像記憶装置７以外の装置が記憶するようにしてもよい。

【0025】

商品画像記憶装置７は、機械学習モデル７４５（図４を参照）を記憶する。機械学習モデル７４５は、例えば撮像装置３が撮像した商品画像に基づいて一つの商品を特定したり、複数の候補商品を抽出したりする際に使用するモデルである。

【0026】

前述のように、新商品の発売、また既存の商品のパッケージの変更に対応させて商品の認識を行うことを可能にするため、商品画像記憶装置７は機械学習モデル７４５のトレーニングを行う。商品についてトレーニングを行う際、商品画像記憶装置７は、記憶されている当該商品に対応した（商品特定情報に関連付けられている）グループを使用する。具体的には、商品画像記憶装置７は、各グループに関連付けられている時刻情報のうち、現在から遡って所定期間に含まれる時刻情報を記憶しているグループを選択する。そして商品画像記憶装置７は、選択されたグループに含まれる商品画像に基づいて当該商品に係るトレーニングを実行する。

【0027】

商品画像記憶装置７は、例えばStructure from Motion等の技術を用いて、選択されたグループに含まれる各商品画像が撮影された時の商品とカメラの位置・向きの関係を推定する。推定する際に、セマンティックセグメンテーション等の技術を用いて画像に写り込んでいる人の手（商品を把持する手）等の領域を特定して除去する。そして商品画像記憶装置７は、推定された位置・向きが均等になるように商品画像を選別する。選別された商品画像を用いてトレーニングを行う。当該商品について選択された他のグループがある場合、商品画像記憶装置７は当該他のグループについても同様の処理をして、当該商品についてトレーニングを行う。このようにして商品画像記憶装置７は機械学習モデル７４５をトレーニングする。そして商品画像記憶装置７は、トレーニング後の機械学習モデル７４５をエッジデバイス５に出力する。エッジデバイス５は、商品画像記憶装置７から入力された機械学習モデル７４５を使用して、撮像装置３で撮像された商品についての一般物体認識を行う。

【0028】

また、トレーニングの際には、例えばフォトグラメトリー等の技術を用いて、選択されたグループに含まれる商品画像に基づいて３Ｄ画像（３Ｄモデル）を生成してもよい。生成された３Ｄ画像の向きを様々な角度に変えながら当該商品について多角的にトレーニングを行うことができる。

【0029】

次に、ＰＯＳ端末１および撮像装置３について説明する。図２は、顧客が自ら操作を行うセルフ式のＰＯＳ端末１および撮像装置３の外観を示す斜視図である。図２に示すように、ＰＯＳ端末１は、本体４２、カゴ載置台４を有する。本体４２は、ＰＯＳ端末１を制御する回路基板や電源を内蔵する。カゴ載置台４は、本体４２の一側部に取り付けられ、顧客が購入する商品が入ったカゴを載置する台である。

【0030】

また、本体４２の上面は、平面状の商品載置部４１を有する。本体４２は、商品載置部４１の後部に、上方に延出する一対の支柱４５を備える。カゴ載置台４から遠い側の支柱４５には、レシートを発行するプリンタ２２が取り付けられている。またプリンタ２２の上部には、クレジットカードやポイントカード等のカードから情報を読み取るカードリーダ２１が取り付けられている。

【0031】

また、カゴ載置台４に近い側の支柱４５には、撮像装置３が取り付けられている。撮像装置３は、第１撮像部３７（撮像部）と第２撮像部３８（撮像部）を備え、撮像装置３の前方を走査された商品の画像を撮像する装置である。第１撮像部３７と第２撮像部３８は、例えば多数のＣＣＤ（Charge Coupled Device：撮像素子）を２次現状（面状）に多数配列したカメラである。

【0032】

撮像装置３は、読取面が顧客に向けて設置されており、撮像装置３の内部に設けられている第１撮像部３７は、顧客がカゴから取り出した商品を走査する動作によって、当該商品の画像を撮像する。また、顧客は、商品に付されたシンボルＳ（図６を参照）を撮像装置３に向けて商品を走査する傾向にあるため、第１撮像部３７は、商品付されたシンボルＳを同時に撮像することが多い。以降、実施形態では、第１撮像部３７がシンボルＳを撮像することとする。

【0033】

また、撮像装置３の一部である第２撮像部３８は、撮像装置３の上方に取付けられている。第２撮像部３８は、読取面が撮像装置３より斜め下方に向けて設置されており、走査される商品を第１撮像部３７とは異なる角度から撮像する。すなわち第２撮像部３８は、商品の、第１撮像部３７が撮像する面とは異なる面を撮像する。

【0034】

なお、撮像装置３において商品を多角的に撮像することが望ましい。顧客は、シンボルＳを第１撮像部３７に向けて撮像させるために、第１撮像部３７の前でシンボルＳの位置を探す動作（すなわち商品の向きをいろいろ変える動作）を行うため、第１撮像部３７および第２撮像部３８において商品を多角的に撮像することが可能である。しかしながら、商品をより多角的に（例えば商品の全面を均一に）撮像するためには、例えば特開２０２０－０４７０５１号に記載されたような商品を四方から撮像する撮像装置を用いることで、実現することができる。

【0035】

また、一対の支柱４５の間の位置には、表示器１８が備えられている。表示器１８は、ＰＯＳ端末１の操作を行う顧客に向けて設置されている、例えば液晶で形成された表示器である。表示器１８は、撮像装置３やプリンタ２２より少し上方であって、カードリーダ２１や第２撮像部３８と同等の高さに位置している。

【0036】

表示器１８は、商品登録処理された商品の商品情報（商品名、商品の価格、等）や、決済処理した決済情報（合計金額、決済金額、釣り銭額、等）を表示する。表示器１８の表示面には、タッチパネルで構成された操作部１７が設けられている。

【0037】

また、一対の支柱４５の間で表示器１８の下方位置には、商品を仮置きする一時置台４４と、商品登録処理を行った商品を入れる買い物袋の取っ手を装着する一対の装着部４３を備える。買い物袋に入れられた商品は、商品載置部４１に載置される。

【0038】

また、カゴ載置台４に近い側の支柱４５には、上方に延出した略円柱状のポール６が取り付けられている。ポール６には、パトランプ６１が取り付けられている。

【0039】

パトランプ６１は、ＰＯＳ端末１で異常が発生した（例えばレシート用紙がなくなった）場合や、顧客がアテンダントを呼び出した場合に点灯や点滅する。

【0040】

ＰＯＳ端末１は店舗Ｔ内の精算エリアに１台または複数台（第１実施形態では３台）設置される。ＰＯＳ端末１は、顧客自身が商品登録操作および会計操作を行う商品販売データ処理装置である。ＰＯＳ端末１は、顧客の商品登録操作（例えば、商品に付されたバーコード等のシンボルＳおよび商品の外観を走査して撮像装置３に撮像させる操作）が行われると、撮像装置３から受信した商品特定情報に基づいて販売される商品に係る商品登録処理を実行する。またＰＯＳ端末１は、顧客の会計操作（商品登録操作を終了して会計処理を開始する操作）によって決済処理を実行する。

【0041】

商品登録処理とは、店舗Ｔで販売される商品を特定する商品コード（商品特定情報）を取得し、取得した商品コードに基づいて当該商品の商品名や価格等の商品情報（商品名、商品の価格等）を表示器１８に表示するとともに、当該商品情報を商品情報部に記憶する処理をいう。決済処理とは、商品登録処理に伴い商品情報部に記憶された商品情報に基づいて、当該取引に係る締め処理、具体的には、合計金額の表示器１８への表示、現金、クレジットカード、電子マネー等のメディアによる決済処理、現金決済の場合に預り金に基づいて釣銭を計算して表示器１８に表示する処理、決済処理した商品の商品情報や会計情報（合計金額、預り金額、釣銭額、ポイント情報等）を印字したレシートをプリンタ２２から発行する処理等をいう。

【0042】

またＰＯＳ端末１は、決済処理した商品の商品情報と会計情報（総称して「売上データ」という）を、店舗サーバの機能を兼ねている商品画像記憶装置７に送信する。ＰＯＳ端末１から商品画像記憶装置７への売上データの送信のタイミングは、実施形態では会計処理が終了したタイミングで行うが、例えば店舗Ｔの閉店時に一日分をまとめて送信する等、任意のタイミングで送信するようにしてもよい。

【0043】

このようなシステム１０において、顧客は、カゴ載置台４に載置したカゴから商品を取り出して、商品に付されたシンボルＳを撮像装置３（第１撮像部３７と第２撮像部３８）の前方を通過（走査）させて撮像させる商品登録操作を行う。そして顧客は、商品登録操作を行った商品を装着部４３に装着された買い物袋に入れる。ＰＯＳ端末１は、撮像装置３から受信した商品特定情報に基づいて、商品登録操作を行った商品について商品登録処理を実行する。すべての商品について商品登録操作を行った顧客は、次に会計ボタンを操作する会計操作を行う。ＰＯＳ端末１は、会計操作が行われた場合に、商品登録処理した商品について決済処理を実行する。

【0044】

商品画像記憶装置７は、例えば店舗Ｔのバックヤードに設置される。商品画像記憶装置７は、ＰＯＳ端末１から受信した売上データを収集する。商品画像記憶装置７は、収集した売上データに基づいて当該店舗Ｔの商品の売上げを管理する。

【0045】

次に、撮像装置３のハードウェア構成について説明する。図３は、撮像装置３のハードウェア構成を示すブロック図である。図３に示すように、撮像装置３は、プロセッサの一例であるＣＰＵ３１、ＲＯＭ３２、ＲＡＭ３３、メモリ部３４等を備えている。ＣＰＵ３１は撮像装置３の制御主体となる。ＲＯＭ３２は各種プログラムを記憶する。ＲＡＭ３３はプログラムや各種データを展開する。メモリ部３４は各種プログラムを記憶する。ＣＰＵ３１、ＲＯＭ３２、ＲＡＭ３３、メモリ部３４は、互いにバス３５を介して接続されている。ＣＰＵ３１は、ＲＯＭ３２やメモリ部３４に記憶されＲＡＭ３３に展開された制御プログラムに従って動作することによって、後述する撮像装置３の制御処理を実行する。なお、プロセッサはＣＰＵ３１以外であってもよい。

【0046】

ＲＡＭ３３は、画像記憶部３３１、商品特定情報部３３２、バーコード情報部３３３を有する。画像記憶部３３１は、第１撮像部３７が撮像した画像と第２撮像部３８が撮像した画像を記憶する。商品特定情報部３３２は、エッジデバイス５から入力された商品特定情報を記憶する。バーコード情報部３３３は、第１撮像部３７が撮像した画像に含まれるシンボルＳをデコードした（コード認識した）バーコード情報を記憶する。

【0047】

メモリ部３４は、電源を切っても記憶情報が保持されるＨＤＤやフラッシュメモリ等の不揮発性メモリで構成され、制御プログラム部３４１を有する。制御プログラム部３４１は、撮像装置３を駆動するための制御プログラムを記憶する。

【0048】

また、ＣＰＵ３１は、バス３５およびコントローラ３６を介して、第１撮像部３７、第２撮像部３８と接続している。

【0049】

また、ＣＰＵ３１は、バス３５を介して、通信部３９と接続している。通信部３９は、通信回線Ｌを介してエッジデバイス５および商品画像記憶装置７と通信可能に接続される。また通信部３９は、ＵＳＢケーブルＵを介してＰＯＳ端末１と通信可能に接続している。

【0050】

次に、商品画像記憶装置７のハードウェア構成について説明する。図４は、商品画像記憶装置７のハードウェア構成を示すブロック図である。図４に示すように、商品画像記憶装置７は、プロセッサの一例であるＣＰＵ７１、ＲＯＭ７２、ＲＡＭ７３、メモリ部７４等を備えている。ＣＰＵ７１は商品画像記憶装置７の制御主体となる。ＲＯＭ７２は各種プログラムを記憶する。ＲＡＭ７３はプログラムや各種データを展開する。メモリ部７４は各種プログラムを記憶する。ＣＰＵ７１、ＲＯＭ７２、ＲＡＭ７３、メモリ部７４は、互いにバス７５を介して接続されている。ＣＰＵ７１は、ＲＯＭ７２やメモリ部７４に記憶されＲＡＭ７３に展開された制御プログラムに従って動作することによって、後述する商品画像記憶装置７の制御処理を実行する。なお、プロセッサはＣＰＵ７１以外であってもよい。

【0051】

ＲＡＭ７３は、売上情報部７３１とバッファ７３２を有する。売上情報部７３１は、ＰＯＳ端末１から受信した売上データを記憶し、店舗Ｔの売上を管理する。バッファ７３２は、撮像装置３から入力された撮像画像やバーコード情報を記憶する。

【0052】

メモリ部７４は、電源を切っても記憶情報が保持されるＨＤＤ（ハードディスク）やフラッシュメモリ等の不揮発性メモリ（実施形態はＨＤＤ）で構成され、制御プログラム部７４１、物体検出モデル７４２、特徴抽出モデル７４３、グループ情報部７４４（記憶部）、機械学習モデル７４５を有する。制御プログラム部７４１は、商品画像記憶装置７を駆動するための制御プログラムを記憶する。

【0053】

物体検出モデル７４２は、撮像された画像中に写っている物体（商品）の領域（範囲）を特定するための辞書である。すなわち物体検出モデル７４２は、入力された撮像画像に基づいて、当該撮像画像から物体（商品）が写っている領域を特定するための辞書である。換言すると、物体検出モデル７４２は、撮像装置３から入力された撮像画像の中から物体検出された商品画像の連続をスキャン画像Ｋ（図５で後述する）という。スキャン画像Ｋにおいて、特定された領域で囲まれた商品の画像（以降「物体画像」という）を抽出するための辞書である。

【0054】

特徴抽出モデル７４３は、特定された領域（物体画像）に写っている商品を見分けるのに有効な特徴量を算出するための辞書である。すなわち特徴抽出モデル７４３は、入力された物体画像に基づいて、領域が特定された商品の特徴を示す特徴量を示す特徴ベクトルを出力する。

【0055】

グループ情報部７４４は、商品特定情報別に、当該商品特定情報で特定される商品の商品画像を、一または複数のグループに分けて記憶する。グループ情報部７４４については図７で後述する。

【0056】

また、ＣＰＵ７１は、バス７５およびコントローラ７６を介して、表示部７７と操作部７８と接続する。表示部７７は、例えば液晶表示器であり、商品画像記憶装置７を操作する操作者に対して情報を表示する。操作部７８は、例えばキーボードであり、商品画像記憶装置７の操作者が操作する。

【0057】

また、ＣＰＵ７１は、バス７５を介して、通信部７９（インタフェース（Ｉ/Ｆ））と接続している。通信部７９は、通信回線Ｌを介してＰＯＳ端末１、撮像装置３、エッジデバイス５と通信可能に接続される。なお、通信部７９は、撮像装置３から出力された撮像画像を入力する画像Ｉ／Ｆ、撮像装置３から出力されたバーコード情報を入力するバーコード情報Ｉ／Ｆ、撮像装置３から出力された時刻情報を入力する時刻情報Ｉ／Ｆの３つの物理的なインタフェースで構成されていてもよいし、撮像装置３から出力された撮像画像とバーコード情報と時刻情報を入力する一つのインタフェースであってもよい。

【0058】

次に、スキャン画像について説明する。撮像装置３からは、顧客がスキャン（走査の動作）した商品を撮像した撮像画像が商品画像記憶装置７に送られる。撮像装置３から送られた画像には、商品が映っている画像（商品画像）と商品が映っていない画像とが混在している。商品画像記憶装置７は、入力された撮像画像から物体を検出することで物体が映っているスキャン画像を抽出する。物体の検出は、物体検出モデル７４２を使用して行ってもよいが、赤外線近接センサを用いて簡易的に行うか、ＳＳＤ（Single Shot Multibox Detector）のような技術を活用してもよい。

【0059】

図５は、撮像装置３から入力された撮像加増からスキャン画像Ｋを抽出する説明図である。図５に示すように、商品画像記憶装置７のＣＰＵ７１は、顧客が一つの商品をスキャンしたことによる一連の画像（Frame0001～Frame0009）から物体Ｂ（商品）が検出された商品画像が連続するスキャン画像Ｋ（Frame0002～Frame0008）を抽出する。スキャン画像Ｋには、シンボルＳ（バーコード）が映っており、撮像装置３は、このシンボルＳをデコードして（コード認識して）バーコード情報を生成して商品画像記憶装置７に出力する。なお、以降の説明で、スキャン画像Ｋを含む商品が映っている画像を総称して商品画像ともいう。

【0060】

次に、撮像装置３から入力された撮像画像とバーコード情報に基づいて、ＣＰＵ７１が当該撮像画像に基づいて商品画像（スキャン画像）をグループ分けするまでの工程について説明する。図６は、撮像画像に基づいてスキャン画像Ｋをグループ分けする過程を示す説明図である。

【0061】

図６に示すように、まずＣＰＵ７１は、撮像装置３から入力された撮像画像から図５で示すスキャン画像Ｋを抽出する。その際ＣＰＵ７１は、物体検出モデル７４２を使用して、抽出されたスキャン画像Ｋに映っている商品を示す商品の領域を特定する物体Ｂ検出を行う（工程Ａ）。次にＣＰＵ７１は、特徴抽出モデル７４３を使用して、検出した商品の特徴量を算出して特徴ベクトルを生成する（工程Ｂ）。一方ＣＰＵ７１は、同時に入力されたバーコード情報に基づいてグループ情報部７４４を検索し、当該バーコード情報と関連付けられているすべてのグループについて、当該グループに含まれる商品画像に係る特徴量をそれぞれ算出して特徴ベクトルをそれぞれ生成する。

【0062】

次にＣＰＵ７１は、入力された撮像画像に基づいて生成した特徴ベクトルとグループ情報部７４４を検索して生成したグループ別の特徴ベクトルとの類似度を算出する（工程Ｃ）。類似度の算出は、例えば商品認識に使われるＣＮＮ（Convolutional Neural Network）を使用して入力されたスキャン画像Ｋとグループ別に記憶されているスキャン画像Ｋとについて特徴ベクトルを生成し、生成された特徴ベクトルどうしのコサイン類似度を算出する。または、各スキャン画像ＫのＳＩＦＴ等の局所特徴量を算出し、算出された特徴量同士のマッチングによってパッケージの同一性を判定して類似度を算出してもよい。

【0063】

次にＣＰＵ７１は、類似度に応じてスキャン画像Ｋのグループ分けを行う（工程Ｄ）。生成した特徴ベクトルとの類似度が高いグループがある場合、ＣＰＵ７１は、当該スキャン画像Ｋを当該グループに追加して記憶させる。また、生成した特徴ベクトルとの類似度が高いグループがない場合、ＣＰＵ７１は、当該バーコード情報に関連する新たなグループをグループ情報部７４４に作成し、当該スキャン画像Ｋを作成したグループに記憶させる。また、グループ情報部７４４を検索した結果、入力されたバーコード情報がグループ情報部７４４に記憶されていない場合は、入力されたバーコード情報に関連付けた新たなグループをグループ情報部７４４に作成し、当該スキャン画像Ｋを作成したグループに記憶させる。このようにして、入力されたスキャン画像Ｋがグループ分けされる。

【0064】

次に、グループ情報部７４４について説明する。図７は、グループ情報部７４４の構成を示すメモリマップである。なお、図７の例では、２種類の商品を示すバーコード情報１のグループ情報ａとバーコード情報２のグループ情報ｂを示すが、実際は店舗Ｔで販売する商品の数だけのバーコード情報に係るグループ情報が存在する。

【0065】

図７に示すように、グループ情報部７４４は、バーコード情報１で特定される商品のグループ情報ａと、バーコード情報２で特定される商品のグループ情報ｂが記憶されている。上述のように、グループ情報ａとグループ情報ｂ以外のグループ情報もグループ情報部７４４は記憶しているが、ここでは省略する。

【0066】

グループ情報ａおよびグループ情報ｂは、バーコード情報部７４４１、グループ番号部７４４２、時刻情報部７４４３、画像情報部７４４４を有する。バーコード情報部７４４１は、商品を特定するバーコード情報を記憶する。実施形態では、グループ情報ａにはバーコード情報１が記憶され、グループ情報ｂにはバーコード情報２が記憶されている。グループ番号部７４４２は、バーコード情報部７４４１に記憶されているバーコード情報に属するグループを示すグループ番号を記憶する。図７の例では、グループ情報ａではバーコード情報１に係る３個のグループ（グループ１、グループ２、グループ３）が属している。グループ情報ｂではバーコード情報２に係る４個のグループ（グループ１、グループ２、グループ３、グループ４）が属している。

【0067】

時刻情報部７４４３は、グループ番号部７４４２に記憶されているそれぞれのグループ番号に対応付けて、当該グループに最も直近に商品画像が記憶された時刻（または日にち等）を示す時刻情報（実績情報の一例）を、グループ別に記憶する。

【0068】

画像情報部７４４４は、グループ番号部７４４２に記憶されているそれぞれのグループ番号に対応付けて、相互に類似度に応じた商品画像を記憶する。具体的には、撮像装置３から入力された画像に基づいて抽出されたスキャン画像Ｋの特徴量（特徴ベクトル）と、それぞれのグループに記憶されている商品画像から算出された特徴量（特徴ベクトル）との類似度を算出し、類似度が高いグループ（例えば９５％以上の類似度が算出されたグループ）があれば当該グループに当該スキャン画像Ｋを追加的に記憶する。類似度が高いグループがない場合は、当該バーコード情報に係る新たなグループを作成し、グループ番号部７４４２に新たなグループ番号を生成して記憶し、時刻情報部７４４３に作成したグループの時刻情報として現在時刻を記憶し、画像情報部７４４４にスキャン画像Ｋを記憶する。

【0069】

なお、実績情報としてフラグ情報を使用する場合は、時刻情報部７４４３にフラグ情報を記憶する。この場合、前回のトレーニングを実施して以降に画像情報部７４４４にスキャン画像Ｋが記憶された場合に、記憶されたグループに関連付けて、フラグ情報が時刻情報部７４４３に記憶される。

【0070】

ここからは、撮像装置３の制御について説明する。図８は、撮像装置３の制御処理の流れを示すフローチャートである。図８に示すように、撮像装置３のＣＰＵ３１は、撮像開始信号を受信したかを判断する（Ｓ１１）。撮像開始信号は、例えばＰＯＳ端末１において顧客が操作開始のボタンを操作した場合にＰＯＳ端末１から受信する。撮像開始信号を受信するまで待機し（Ｓ１１のＮｏ）、撮像開始信号を受信したと判断した場合には（Ｓ１１のＹｅｓ）、ＣＰＵ３１は、第１撮像部３７と第２撮像部３８を起動して、撮像を開始する（Ｓ１２）。

【0071】

次にＣＰＵ３１は、撮像終了信号を受信したかを判断する（Ｓ１３）。撮像終了信号は、例えばＰＯＳ端末１において顧客が精算処理を行った場合にＰＯＳ端末１から受信する。撮像終了信号を受信したと判断した場合には（Ｓ１３のＹｅｓ）、ＣＰＵ３１は、第１撮像部３７と第２撮像部３８による撮像を終了する（Ｓ１６）。そしてＣＰＵ３１はＳ１１に戻る。

【0072】

撮像終了信号の受信ではないと判断した場合には（Ｓ１３のＮｏ）、ＣＰＵ３１は、Ｓ１３で撮像を開始した撮像画像を画像記憶部３３１に記憶する（Ｓ１４）。そしてＣＰＵ３１は、記憶した撮像画像をエッジデバイス５と商品画像記憶装置７に出力する（Ｓ１５）。なお、Ｓ１４において、ＣＰＵ３１は、撮像開始から撮像終了までに撮像したすべての画像を記憶する。

【0073】

次にＣＰＵ３１は、画像記憶部３３１に記憶した撮像画像からシンボルＳを検出したかを判断する（Ｓ２１）。シンボルＳを検出したと判断した場合には（Ｓ２１のＹｅｓ）、ＣＰＵ３１は、検出したシンボルＳをデコードするコード認識を行う（Ｓ２２）。そしてＣＰＵ３１は、デコードして生成したバーコード情報と、バーコード情報を生成した時刻を時刻情報としてバーコード情報部３３３に記憶する（Ｓ２３）。そしてＣＰＵ３１は、バーコード情報部３３３に記憶したバーコード情報（すなわち、Ｓ１４で記憶した撮像画像に対するバーコード情報）と時刻情報を商品画像記憶装置７に出力する（Ｓ２４）。このように、記憶した撮像画像にシンボルＳが含まれている場合は、ＣＰＵ３１は、当該撮像画像とデコードしたバーコード情報と時刻情報を、ほぼ同時またはほぼ同時に近いタイミングで連続して商品画像記憶装置７に出力する。なお、ＣＰＵ３１は、バーコード情報部３３３に記憶したバーコード情報をＰＯＳ端末１に送信する場合もある。そしてＣＰＵ３１は、Ｓ１３に戻る。

【0074】

また、Ｓ２１において、シンボルＳを検出していないと判断した場合には（Ｓ２１のＮｏ）、ＣＰＵ３１は、エッジデバイス５から商品特定情報を入力したかを判断する（Ｓ２５）。入力していないと判断した場合には（Ｓ２５のＮｏ）、ＣＰＵ３１はＳ１３に戻り、エッジデバイス５から商品特定情報を入力したと判断した場合には（Ｓ２５のＹｅｓ）、ＣＰＵ３１は、当該商品特定情報を商品特定情報部３３２に記憶する（Ｓ２６）。そしてＣＰＵ３１は、商品特定情報部３３２に記憶した商品特定情報をＰＯＳ端末１に送信する（Ｓ２７）。そしてＣＰＵ３１は、Ｓ１３に戻る。このように、撮像装置３は、第１撮像部３７と第２撮像部３８で撮像した撮像画像と、シンボルＳをデコードしたバーコード情報と時刻情報と、を商品画像記憶装置７に出力する。

【0075】

ここからは、商品画像記憶装置７の機能構成について説明する。図９は、商品画像記憶装置７の機能構成を示す機能ブロック図である。商品画像記憶装置７のＣＰＵ７１は、ＲＯＭ７２やメモリ部７４の制御プログラム部７４１に記憶された制御プログラムに従うことで、算出部７１１、決定部７１２、記憶制御部７１３、実績記憶部７１４、選択部７１５、３Ｄ画像生成部７１６、トレーニング部７１７として機能する。

【0076】

算出部７１１は、通信部７９（インタフェース）から入力されたバーコード情報に含まれる商品特定情報に基づいて、当該商品特定情報とともに入力されたスキャン画像Ｋと、グループ情報部７４４にグループ別に記憶されている当該商品特定情報に関連付けられた商品画像と、の類似度をグループ毎に算出する。具体的には、算出部７１１は、通信部７９から入力されたバーコード情報に含まれる商品特定情報に基づいて、当該商品特定情報とともに入力されたスキャン画像Ｋと、グループ情報部７４４にグループ別に記憶されている当該商品特定情報に関連付けられた商品画像と、の特徴量を表す特徴ベクトルを生成し、生成した特徴ベクトルに係る類似度をグループ毎に算出する。

【0077】

決定部７１２は、算出された類似度に応じて入力されたスキャン画像Ｋを記憶するグループを決定する。具体的には、決定部７１２は、類似度が高いグループがある場合には、当該グループ（既存のグループ）を入力されたスキャン画像Ｋを記憶するグループに決定する（当該グループのグループ番号を設定する）。また決定部７１２は、類似度が高いグループがない場合（どのグループとも類似度が低い場合）、当該商品特定情報に係る新たなグループを決定する（当該商品特定情報に係る新たなグループを作成して、当該グループのグループ番号を設定する）。また決定部７１２は、算出部７１１が入力された商品特定情報がグループ情報部７４４にない場合、入力された商品特定情報に基づいて作成された新たなグループを決定する（新たな商品特定情報に係る新たなグループを作成して、当該グループのグループ番号「１」を設定する）。

【0078】

記憶制御部７１３は、算出された類似度に応じて決定されたグループに入力された商品画像を記憶する。実施形態では、記憶制御部７１３は、決定部７１２が決定したグループに入力されたスキャン画像Ｋを記憶する。具体的には、決定部７１２が、類似度が高い既存のグループを決定した場合、記憶制御部７１３は、当該既存のグループにスキャン画像を追加的に記憶する。また、決定部７１２が、同一のバーコード情報に係る新たなグループを決定した場合、記憶制御部７１３は、当該新たなグループにスキャン画像を記憶する。また、決定部７１２が、新たなバーコード情報に係る新たなグループを決定した場合、記憶制御部７１３は、当該新たなグループにスキャン画像を記憶する。

【0079】

実績記憶部７１４は、スキャン画像Ｋが記憶されたグループについて実績情報を記憶する。具体的には、実績記憶部７１４は、スキャン画像Ｋが記憶されたグループについて、撮像装置３から入力された時刻情報を記憶する。

【0080】

選択部７１５は、実績情報が記憶されているグループを選択する。具体的には、選択部７１５は、予め決められた時刻である現在時刻から遡って所定期間以内を示す時刻情報が記憶されているグループ（すなわち、最近よく購入されている商品のグループ）を選択する。所定期間は、例えば現在時刻から遡って前回トレーニングを実行した日時の範囲である。所定時間は、店舗Ｔの事情に応じて店舗Ｔで設定することができる。

【0081】

３Ｄ画像生成部７１６は、グループ毎に、各グループに記憶されている商品画像（蓄積されたスキャン画像Ｋ）に基づいて、例えばフォトグラメトリー等の技術を用いて当該商品に係る３Ｄ画像を生成する。

【0082】

トレーニング部７１７は、３Ｄ画像生成部７１６が生成した３Ｄ画像を用いて機械学習モデル７４５のトレーニングを行う。具体的には、トレーニング部７１７は、３Ｄ画像生成部７１６が生成した３Ｄ画像の様々な面を使用して均一に機械学習モデル７４５のトレーニングを行う。

【0083】

ここからは、商品画像記憶装置７の制御について説明する。図１０は、商品画像記憶装置７の、撮像装置３から入力したスキャン画像Ｋをグループ分けして記憶する際の制御処理の流れを示すフローチャートである。図１０に示すように、商品画像記憶装置７のＣＰＵ７１は、撮像装置３から出力された撮像画像を入力（取得）したかを判断する（Ｓ３１）。入力するまで待機し（Ｓ３１のＮｏ）、撮像画像を入力（取得）したと判断した場合には（Ｓ３１のＹｅｓ）、ＣＰＵ７１は、取得した撮像画像に基づいて物体検出処理（商品の検出）を行う（Ｓ３２）。そしてＣＰＵ７１は、入力した撮像画像から物体（商品）を検出したかを判断する（Ｓ３３）。商品を検出したと判断した場合には（Ｓ３３のＹｅｓ）、ＣＰＵ７１は、当該物体画像からスキャン画像Ｋを抽出して、抽出したスキャン画像Ｋをバッファ７３２に記憶する（Ｓ３４）。

【0084】

次にＣＰＵ７１は、撮像装置３から、入力した撮像画像に係るバーコード情報と時刻情報を取得したかを判断する（Ｓ３５）。入力していないと判断した場合には（Ｓ３５のＮｏ）ＣＰＵ７１はＳ３１に戻り、入力した撮像画像に係るバーコード情報と時刻情報を取得したと判断した場合には（Ｓ３５のＹｅｓ）、ＣＰＵ７１は、入力されたバーコード情報と時刻情報をバッファ７３２に記憶する（Ｓ３６）。Ｓ３４の処理とＳ３６の処理によって、撮像画像と、撮像画像に映っていたシンボルＳに係るバッファ情報と時刻情報が関連付けられる。そしてＣＰＵ７１は、Ｓ３１に戻る。

【0085】

また、商品が検出されないと判断した場合には（Ｓ３３のＮｏ、例えば顧客による一つの商品のスキャン動作が終了した場合には商品は検出されない）、ＣＰＵ７１は、バッファ７３２にバーコード情報と時刻情報が記憶されているかを判断する（Ｓ４１）。バッファ７３２にバーコード情報と時刻情報が記憶されていないと判断した場合には（Ｓ４１のＮｏ）、ＣＰＵ７１はバッファ７３２をクリアする（Ｓ４２）。すなわちＣＰＵ７１は、バッファ７３２に記憶されている撮像画像をクリアする。そしてＣＰＵ７１は、Ｓ３１に戻る。

【0086】

また、バッファ７３２にバーコード情報と時刻情報が記憶されていると判断した場合には（Ｓ４１のＹｅｓ）、ＣＰＵ７１は、当該バーコード情報に基づいてグループ情報部７４４を検索する（Ｓ４３）。そしてＣＰＵ７１は、グループ情報部７４４に同一のバーコード情報が記憶されているかを判断する（Ｓ４４）。

【0087】

同一のバーコード情報が記憶されていると判断した場合には（Ｓ４４のＹｅｓ）、算出部７１１は、バッファ７３２に記憶されているスキャン画像Ｋに基づいて算出した特徴ベクトルと、グループ情報部７４４の同一のバーコード情報に関連付けられた各グループの画像情報部７４４４に記憶されている商品画像に基づいて算出したグループ毎の特徴ベクトルと、に基づいて類似度を算出する（Ｓ４５）。

【0088】

そしてＣＰＵ７１は、算出部７１１が算出した類似度に基づいて、バッファ７３２に記憶されているスキャン画像Ｋに基づいて算出した特徴ベクトルとの類似度が高い特徴ベクトルを有するグループがあるかを判断する（Ｓ４６）。類似度が高い特徴ベクトルを有するグループがあると判断した場合には（Ｓ４６のＹｅｓ）、決定部７１２は、当該グループに対応してグループ番号部７４４２に記憶されているグループ番号をバッファ７３２に記憶されているスキャン画像Ｋのグループに決定する（Ｓ４７）。そして記憶制御部７１３は、決定されたグループ番号に対応付けられている画像情報部７４４４に当該スキャン画像Ｋを追加して記憶する（Ｓ４８）。また、実績記憶部７１４は、バッファ７３２に記憶されている時刻情報を、決定されたグループ番号に対応付けられている時刻情報部７４４３に上書き記憶する（Ｓ４８）。Ｓ４８における実績記憶部７１４の処理によって、当該グループにスキャン画像Ｋが記憶された最新の時刻情報が記憶され、時刻情報の更新がされる。そしてＣＰＵ７１は、処理を終了してＳ３１に戻る。

【0089】

また、類似度が高い特徴ベクトルを有するグループがないと判断した場合には（Ｓ４６のＮｏ）、決定部７１２は、当該バーコード情報に属する新たなグループ番号を生成して、当該グループ番号をバッファ７３２に記憶されているスキャン画像Ｋのグループに決定する（Ｓ５１）。そして記憶制御部７１３は、決定された新たなグループ番号をグループ番号部７４４２に記憶する（Ｓ５２）。また記憶制御部７１３は、新たなグループ番号に対応付けられて画像情報部７４４４に生成されたグループに当該スキャン画像Ｋを記憶する（Ｓ５２）。また、実績記憶部７１４は、バッファ７３２に記憶されている時刻情報を、決定された新たなグループ番号に対応付けられているグループの時刻情報部７４４３に記憶する（Ｓ５２）。Ｓ５２における実績記憶部７１４の処理によって、新たなグループにスキャン画像Ｋが記憶された最新の時刻情報が記憶される。そしてＣＰＵ７１は、処理を終了してＳ３１に戻る。

【0090】

また、Ｓ４４において、同一のバーコード情報は記憶されていないと判断した場合には（Ｓ４４のＮｏ）、決定部７１２は、バッファ７３２に記憶されているバーコード情報に属する新たなグループ番号（グループ番号「１」）を生成して、当該グループ番号をバッファ７３２に記憶されているスキャン画像Ｋのグループに決定する（Ｓ５３）。そして記憶制御部７１３は、新たなバーコード情報に係るグループ情報（例えばグループ情報ｃ）を生成し、当該グループ情報に係る新たなグループ番号をグループ番号部７４４２に記憶する（Ｓ５４）。また記憶制御部７１３は、新たなグループ番号に対応付けられている画像情報部７４４４に当該スキャン画像Ｋを記憶する（Ｓ５４）。また、実績記憶部７１４は、バッファ７３２に記憶されている時刻情報を、決定された新たなグループ番号「１」に対応付けられている時刻情報部７４４３に記憶する（Ｓ５４）。Ｓ５４における実績記憶部７１４の処理によって、グループ番号「１」のグループにスキャン画像Ｋが記憶された最新の時刻情報が記憶される。そしてＣＰＵ７１は、処理を終了してＳ３１に戻る。

【0091】

このような実施形態の商品画像記憶装置７は、バーコード情報で特定される商品の商品画像を類似度が高い画像どうしをグループ分けした一または複数のグループ別に記憶する。そして入力されたスキャン画像Ｋを類似度が高いグループに追加記憶し、いずれのグループとも類似度が高くない場合は新しいグループを作成してスキャン画像Ｋを記憶する。

【0092】

このような実施形態によれば、商品のパッケージが変更された場合に、同一商品であって変更された商品の商品画像を変更前の商品画像と別のグループにグループ分けして記憶することが可能である。

【0093】

ここからは、機械学習モデル７４５をトレーニングする際にトレーニングの開始を操作された商品画像記憶装置７の制御について説明する。図１１は、商品画像記憶装置７による機械学習モデル７４５のトレーニングを行う制御処理の流れを示すフローチャートである。図１１に示すように、選択部７１５は、グループ情報部７４４に記憶されている各バーコード情報に係るグループ情報において、時刻情報部７４４３に記憶されている時刻情報が現在の時刻から遡って所定期間内であるグループを、機械学習モデル７４５のトレーニングに使用するグループとして選択する（Ｓ６１）。そのため、新商品や最近パッケージが所定期間内に変更された商品のグループは選択される。一方、販売が中止された商品や古いパッケージの商品（現在は販売されていないパッケージの商品）のグループは選択されない。

【0094】

次に３Ｄ画像生成部７１６は、選択されたグループについて、画像情報部７４４４に記憶されている商品画像に基づいて３Ｄ画像を生成する（Ｓ６２）。そしてトレーニング部７１７は、生成された３Ｄ画像を使用して、当該バーコード情報で特定される商品のトレーニングを行う（Ｓ６３）。Ｓ６３におけるトレーニングは、生成された３Ｄ画像の向き（角度）を少しずつ変えて都度行うことで、様々な面について均一に当該商品のトレーニングを行う。また、異なるグループについても同様のトレーニングを実行する。また、異なるバーコード情報の商品についても同様のトレーニングを実行する。

【0095】

トレーニングを終了する場合は、例えばトレーニング終了の操作を行う。ＣＰＵ７１は、操作者によってトレーニング終了の操作がされたかを判断する（Ｓ６４）。トレーニング終了の操作がされていないと判断した場合は（Ｓ６４のＮｏ）、更なるトレーニングが続くためＳ６３に戻り、トレーニング部７１７は、３Ｄ画像の向き変えて更なるトレーニングを実行する（Ｓ６３）。トレーニング部７１７は、異なるグループについてもトレーニングを実行する。また、異なるバーコード情報の商品についても同様のトレーニングを実行する。

【0096】

一方、トレーニング終了の操作がされたと判断した場合には（Ｓ６４のＹｅｓ）、ＣＰＵ７１は処理を終了する。

【0097】

ここからは、Structure from Motion等の技術を用いた機械学習モデル７４５のトレーニングについて説明する。図１２は、Structure from Motionベースの画像選別手法を用いた機械学習モデルのトレーニングに係る制御処理の流れを示すフローチャートである。図１２に示すように、選択部７１５は、グループ情報部７４４に記憶されている各バーコード情報に係るグループ情報において、時刻情報部７４４３に記憶されている時刻情報が現在の時刻から遡って所定期間内であるグループを、機械学習モデル７４５のトレーニングに使用するグループとして選択する（Ｓ７１）。そのため、新商品や最近パッケージが所定期間内に変更された商品のグループは選択される。一方、販売が中止された商品や古いパッケージの商品（現在は販売されていないパッケージの商品）のグループは選択されない。

【0098】

次に３Ｄ画像生成部７１６は、選択されたグループについて、画像情報部７４４４に記憶されている商品画像に基づいて、商品とカメラの位置・向きを推定する（Ｓ７２）。そして３Ｄ画像生成部７１６は、推定された位置・向きが均等になるように商品画像を選別する（Ｓ７３）。そしてトレーニング部７１７は、選別された商品画像を使用して、当該バーコード情報で特定される商品のトレーニングを行う（Ｓ７４）。トレーニング部７１７は、異なるグループについても同様のトレーニングを実行する。また、異なるバーコード情報の商品についても同様のトレーニングを実行する。

【0099】

トレーニングを終了する場合は、例えばトレーニング終了の操作を行う。ＣＰＵ７１は、操作者によってトレーニング終了の操作がされたかを判断する（Ｓ７５）。トレーニング終了の操作がされていないと判断した場合は（Ｓ７５のＮｏ）、更なるトレーニングが続くためＳ６４に戻り、トレーニング部７１７は、更なるトレーニングを実行する（Ｓ７４）。トレーニング部７１７は、異なるグループについてもトレーニングを実行する。また、異なるバーコード情報の商品についても同様のトレーニングを実行する。

【0100】

一方、トレーニング終了の操作がされたと判断した場合には（Ｓ７５のＹｅｓ）、ＣＰＵ７１は処理を終了する。

【0101】

このような実施形態の商品画像記憶装置７は、機械学習モデル７４５をトレーニングする場合に、所定期間内に時刻情報が記憶されたグループ（例えばパッケージが変更されたグループ）を選択して、所定期間内に時刻情報が記憶されないグループ（例えば所定期間外の古いパッケージのグループ）は選択せずにトレーニングすることが可能となり、トレーニングの精度を高めることが可能となる。

【0102】

以上、本発明の実施形態を説明したが、この実施形態は例として提示したものであり、発明の範囲を限定することは意図していない。この実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更、組み合わせを行うことができる。この実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

【0103】

例えば、実施形態では、商品画像のグループ分け（分類）および機械学習モデル７４５のトレーニングを商品画像記憶装置７が行うようにした。しかしながらこれに限らず、商品画像記憶装置７は商品画像のグループ分けを行う装置であってもよい。この場合、機械学習モデルのトレーニングを行うトレーニング装置を別途備え、トレーニング装置は、商品画像記憶装置７がグループ分けしたグループの情報を使用して、機械学習モデルのトレーニングを実行するようにしてもよい。この場合、図９における３Ｄ画像生成部７１６とトレーニング部７１７はトレーニング装置の機能構成であり、図１１の制御はトレーニング装置が実行する。またこの場合、時刻情報は商品画像記憶装置７が有していてもトレーニング装置が有していてもよい。

【0104】

また実施形態では、商品画像記憶装置７がグループ分けしたグループ情報部７４４を用いて機械学習モデルのトレーニングを行った。しかしながらこれに限らず、商品画像記憶装置７は、グループ分けしたグループ情報部７４４を、機械学習モデルのトレーニング以外に使用してもよい。

【0105】

また実施形態では、トレーニング部７１７は、３Ｄ画像を生成して機械学習モデルのトレーニングを行った。しかしながらこれに限らず、トレーニング部７１７は、各グループに蓄積された商品画像を使用して、３Ｄ画像を生成せずに機械学習モデルのトレーニングを行ってもよい。

【0106】

また実施形態では、エッジデバイス５を単独の装置として説明した。しかしながらこれに限らず、エッジデバイス５は、例えば商品画像記憶装置７に組み込まれていてもよい。すなわち、商品画像記憶装置７がエッジデバイス５の機能を有していてもよい。

【0107】

また実施形態では、予め決められた時刻の一例として現在時刻を使用したが、予め決められた時刻は、例えば昨日の店舗の営業終了時刻等の、現在時刻からあまり遠くない時刻であれば現在時刻以外の時刻であってもよい。

【0108】

なお、実施形態の商品画像記憶装置７で実行されるプログラムは、インストール可能な形式または実行可能な形式のファイルでＣＤ－ＲＯＭ、フレキシブルディスク（FD）、ＣＤ－Ｒ、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録されて提供される。

【0109】

また、実施形態の商品画像記憶装置７で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、実施形態の商品画像記憶装置７で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。

【0110】

また、実施形態の商品画像記憶装置７で実行されるプログラムを、ＲＯＭ７２等に予め組み込んで提供するように構成してもよい。

【符号の説明】

【0111】

１ ＰＯＳ端末
３ 撮像装置
５ エッジデバイス
７ 商品画像記憶装置
１０ システム
３１ ＣＰＵ
３４ メモリ部
３７ 第１撮像部
３８ 第２撮像部
３９ 通信部
７１ ＣＰＵ
７４ メモリ部
７９ 通信部
１３１ 商品情報部
３３１ 画像記憶部
３３２ 商品特定情報部
３３３ バーコード情報部
７１１ 算出部
７１２ 決定部
７１３ 記憶制御部
７１４ 実績記憶部
７１５ 選択部
７１６ ３Ｄ画像生成部
７１７ トレーニング部
７３２ バッファ
７４２ 物体検出モデル
７４３ 特徴抽出モデル
７４４ グループ情報部
７４５ 機械学習モデル
７４４１ バーコード情報部
７４４２ グループ番号部
７４４３ 時刻情報部
７４４４ 画像情報部

【先行技術文献】

【特許文献】

【0112】

【特許文献1】特開２０２０－４７０５１号公報

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】