(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-09-20
(45)【発行日】2022-09-29
(54)【発明の名称】商品認識装置、システム、方法及びプログラム
(51)【国際特許分類】
G07G 1/00 20060101AFI20220921BHJP
G07G 1/01 20060101ALI20220921BHJP
G07G 1/12 20060101ALI20220921BHJP
【ＦＩ】
G07G1/00 311D
G07G1/01 301E
G07G1/12 311D
【請求項の数】
8
(21)【出願番号】P 2021007009
(22)【出願日】2021-01-20
(65)【公開番号】P2022111529
(43)【公開日】2022-08-01
【審査請求日】2021-01-20
(73)【特許権者】
【識別番号】000227205
【氏名又は名称】ＮＥＣプラットフォームズ株式会社
(74)【代理人】
【識別番号】100103894
【弁理士】
【氏名又は名称】家入 健
(72)【発明者】
【氏名】中川西 知也
【審査官】永安 真
(56)【参考文献】
【文献】特開２０１３－１４５５２６（ＪＰ，Ａ）
【文献】特開２０１６－１７７４３３（ＪＰ，Ａ）
【文献】特開２０１３－２２９０５８（ＪＰ，Ａ）
【文献】特開２０１５－０１８５０６（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０７Ｇ １／００ － １／１４
(57)【特許請求の範囲】
【請求項1】
購入対象の複数商品の画像を取得する取得部と、購入対象の複数商品の画像と、予め商品名と対応付けられて記憶された商品の画像との類似度を算出し、算出した類似度に基づいて、購入対象の複数商品に対応する商品名の候補を含む候補リストを生成する算出部と、
購入対象の複数商品の画像を囲む枠の内側に、前記候補リストに含まれる複数の商品の商品名を重ね合わせた合成画像を生成する生成部と、
を備えた商品認識装置。
【請求項2】
前記生成部は、前記類似度が高い順に列挙して、前記購入対象の複数商品の画像に重ね合わせた合成画像を生成する、請求項１に記載の商品認識装置。
【請求項3】
前記商品認識装置は、取得した複数商品の画像に対応する商品名を、前記候補リストから選択する処理を行うことができる、
請求項１又は２に記載の商品認識装置。
【請求項4】
商品認識サーバとＰＯＳ（Ｐｏｉｎｔ Ｏｆ Ｓａｌｅｓ）端末装置を備え、前記商品認識サーバは、
購入対象の複数商品の画像を前記ＰＯＳ端末装置から取得する取得部と、
購入対象の複数商品の画像と、予め商品名と対応付けられて記憶された商品の画像との類似度を算出し、算出した類似度に基づいて、購入対象の複数商品に対応する商品名の候補を含む候補リストを生成する算出部と、
購入対象の複数商品の画像を囲む枠の内側に、前記候補リストに含まれる複数の商品の商品名を重ね合わせた合成画像を生成する生成部を備えた、
商品認識システム。
【請求項5】
前記生成部は、前記類似度が高い順に列挙して、前記購入対象の複数商品の画像に重ね合わせた合成画像を生成する、請求項４に記載の商品認識システム。
【請求項6】
前記商品認識システムは、取得した複数商品の画像に対応する商品名を、前記候補リストから選択する処理を行うことができる、
請求項４又は５に記載の商品認識システム。
【請求項7】
購入対象の複数商品の画像を取得するステップと、購入対象の複数商品の画像と、予め商品名と対応付けられて記憶された商品の画像との類似度を算出し、算出した類似度に基づいて、購入対象の複数商品に対応する商品名の候補を含む候補リストを生成するステップと、
購入対象の複数商品の画像を囲む枠の内側に、前記候補リストに含まれる複数の商品の商品名を重ね合わせた合成画像を生成するステップと、
を備えた商品認識方法。
【請求項8】
購入対象の複数商品の画像を取得する処理と、購入対象の複数商品の画像と、予め商品名と対応付けられて記憶された商品の画像との類似度を算出し、算出した類似度に基づいて、購入対象の複数商品に対応する商品名の候補を含む候補リストを生成する処理と、
購入対象の複数商品の画像を囲む枠の内側に、前記候補リストに含まれる複数の商品の商品名を重ね合わせた合成画像を生成する処理と、
を商品認識装置に実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は商品認識装置、システム、方法及びプログラムに関する。
【背景技術】
【0002】
近年、商品の登録と商品の精算等の決済処理を行うＰＯＳ（Ｐｏｉｎｔ Ｏｆ Ｓａｌｅｓ）端末装置が普及している。ＰＯＳ端末装置は、スキャナにより商品に付されたバーコードを読み取ることによって入力された識別子に対応する商品を客が購入する商品として登録する。バーコードを予め商品の包装などに印刷しておくことによって、決済処理を行う店員の負担を軽減することができる。
【0003】
しかし、例えば青果品などは、バーコードを個々の商品に貼り付けることは極めて煩雑であり、時間とコストとが掛かる。そのため青果品などに対して、決済処理を行う店員が商品コードや金額をキーボードで入力するという運用がなされている。そこで、特許文献１において開示された技術のように商品を撮像してオブジェクト認識することにより識別し、識別された商品を売上登録する技術が普及しはじめている。
【先行技術文献】
【特許文献】
【0004】
【文献】特開２０１４－１６０５１３号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
特許文献１において開示された技術では、撮影した商品と商品名の候補が別の表示となり、コンパクトな表示となっておらず、例えばタブレット端末に表示する場合に商品の画像や商品名の候補の表示が小さくなり操作性に欠けることがある。そのため、撮影したそれぞれの商品の画像に対して、商品名の候補としてどのようなものがあるかがよりコンパクトに表示され、一目瞭然であることが望まれる。
【0006】
本開示は、このような問題点を解決するための商品認識装置、商品認識システム、商品認識方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【0007】
本開示にかかる商品認識装置は、購入対象の商品の画像を取得する取得部と、購入対象商品の画像と、予め商品名と対応付けられて記憶された商品の画像との類似度を算出する算出部と、算出した類似度に基づいて、購入対象商品に対応する商品名の候補を特定する特定部と、購入対象商品の画像に、特定した前記商品名の候補の名称を重ね合わせた合成画像を生成する生成部を備える。
【0008】
本開示にかかる商品認識システムは、商品認識サーバと端末装置を備え、前記商品認識サーバは、購入対象の商品の画像を取得する取得部と、購入対象商品の画像と、予め商品名と対応付けられて記憶された商品の画像との類似度を算出する算出部と、算出した類似度に基づいて、購入対象商品に対応する商品名の候補を特定する特定部と、購入対象商品の画像に、特定した前記商品名の候補の名称を重ね合わせた合成画像を生成する生成部を備える。
【0009】
本開示にかかる商品認識方法は、購入対象の商品の画像を取得するステップと、購入対象商品の画像と、予め商品名と対応付けられて記憶された商品の画像との類似度を算出するステップと、算出した類似度に基づいて、購入対象商品に対応する商品名の候補を特定するステップと、購入対象商品の画像に、特定した前記商品名の候補の名称を重ね合わせた合成画像を生成するステップを備える。
【0010】
本開示にかかるプログラムは、購入対象の商品の画像を取得する処理と、購入対象商品の画像と、予め商品名と対応付けられて記憶された商品の画像との類似度を算出する処理と、算出した類似度に基づいて、購入対象商品に対応する商品名の候補を特定する処理と、購入対象商品の画像に、特定した前記商品名の候補の名称を重ね合わせた合成画像を生成する処理を情報処理装置に実行させるものである。
【発明の効果】
【0011】
本開示によれば、撮影したそれぞれの商品の画像に対して、商品名の候補としてどのようなものがあるかが一目瞭然となる商品認識装置、商品認識システム、商品認識方法及びプログラムを提供することができる。
【図面の簡単な説明】
【0012】
【図1】本開示における実施形態１にかかる商品認識装置の構成図である。
【図2】本開示における実施形態２にかかる商品認識システムの構成図である。
【図3】本開示における実施形態２にかかる特徴点計算のフロー図である。
【図4】本開示における実施形態２にかかる候補商品表示処理のフロー図である。
【図5】本開示における実施形態２にかかる商品修正処理のフロー図である。
【図6】本開示における実施形態２にかかるデータベース及び商品マスタの例を示す図である。
【図7】本開示における実施形態２にかかる商品候補表示画面の例を示す図である。
【発明を実施するための形態】
【0013】
以下、図面を参照しつつ、実施の形態について説明する。なお、図面は簡略的なものであるから、この図面の記載を根拠として実施の形態の技術的範囲を狭く解釈してはならない。また、同一の要素には、同一の符号を付し、重複する説明は省略する。
【0014】
以下の実施の形態においては便宜上その必要があるときは、複数のセクション又は実施の形態に分割して説明する。ただし、特に明示した場合を除き、それらはお互いに無関係なものではなく、一方は他方の一部又は全部の変形例、応用例、詳細説明、補足説明等の関係にある。また、以下の実施の形態において、要素の数等（個数、数値、量、範囲等を含む。）に言及する場合、特に明示した場合および原理的に明らかに特定の数に限定される場合等を除き、その特定の数に限定されるものではなく、特定の数以上でも以下でもよい。
【0015】
さらに、以下の実施の形態において、その構成要素（動作ステップ等も含む）は、特に明示した場合および原理的に明らかに必須であると考えられる場合等を除き、必ずしも必須のものではない。同様に、以下の実施の形態において、構成要素等の形状、位置関係等に言及するときは、特に明示した場合および原理的に明らかにそうでないと考えられる場合等を除き、実質的にその形状等に近似又は類似するもの等を含むものとする。このことは、上記数等（個数、数値、量、範囲等を含む。）についても同様である。
【0016】
【0017】
本実施形態における商品認識装置２は、取得部３、算出部４、特定部５及び生成部６を備える。
【0018】
取得部３は、購入対象商品の画像を取得する。購入対象商品とは、例えば顧客が購入しようとする商品や、レストラン等において注文しようとする商品が挙げられるが、これに限らない。
【0019】
算出部４は、購入対象商品の画像と、予め商品名と対応付けられて記憶された商品の画像との類似度を算出する。算出部４は、算出した類似度に基づいて、取得した商品の画像に対応する商品名の候補リストを生成してもよい。候補リストは、認識した商品の候補をリスト化したものである。候補リストは、類似度が高い順に商品名を列挙することとしてもよいが、列挙する順はこれに限らない。
【0020】
特定部５は、算出部４が算出した類似度に基づいて、購入対象商品に対応する商品名の候補を特定する。生成部６は、取得部３が取得した商品の画像に、特定部５が特定した商品名の候補の名称を重ね合わせた合成画像を生成する。
【0021】
本実施形態によれば、撮影したそれぞれの商品の画像に対して、商品名の候補としてどのようなものがあるかがコンパクトに表示され、一目瞭然である商品認識装置２を提供することができる。
【0022】
【0023】
本実施形態の商品認識システム１は、例えばレストランやスーパーマーケット等において用いられるＰＯＳシステムとして構成されるが、これに限らず通信可能なサーバ及び端末装置を用いてもよい。本実施形態において、商品認識システム１は、商品認識サーバ１０及びＰＯＳ端末装置２０を備える。商品認識サーバ１０及びＰＯＳ端末装置２０は互いに通信可能である。
【0024】
商品認識サーバ１０の構成を、図２を用いて説明する。図２は、商品認識システム１の構成図である。商品認識システム１は、商品認識サーバ１０及びＰＯＳ端末装置２０を備える。ＰＯＳ端末装置２０は、複数であってもよい。商品認識サーバ１０は、取得部１１、制御部１２、入力部１３、表示部１４、記憶部１５、通信部１６及び算出部１７を備える。入力部１３と表示部１４は、タッチパネル付ディスプレイとして一つの構成としてもよいし、それぞれ別個に設けてもよい。商品認識サーバ１０は、後に説明するとおり、商品を撮像し、撮像した商品の特徴点の計算、商品の候補リストの作成を行う。商品認識サーバ１０は、ＰＯＳ端末装置２０の運用状況の管理など、様々な販売情報の管理を行う機能を更に備えてもよい。
【0025】
取得部１１は、ＰＯＳ端末装置２０が撮像した、顧客が購入しようとする商品の画像を取得する。取得部１１が取得する対象は、商品そのものの画像であるが、その商品画像から更に商品のバーコードやＱＲコード（登録商標）などの商品識別情報を読み取るようにしてもよい。また、取得部１１は、ＰＯＳ端末装置２０が読み取った商品バーコード等の商品識別情報を、当該ＰＯＳ端末装置２０から取得するようにしてもよい。取得部１１は、商品を撮影するカメラを備え、商品の画像を撮影できる構成としてもよい。
【0026】
制御部１２は、商品認識サーバ１０の各部の動作を制御する。制御部１２は、記憶手段に格納された各種プログラムに基づいて、各種制御を実行する機能を有し、中央演算処理装置（ＣＰＵ）、読出専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、入出力ポート（Ｉ／Ｏ）等により実現される。
【0027】
入力部１３は、ユーザからの操作指示を受け付ける。入力部１３は、キーボードにより構成されてもよいし、タッチパネル式の表示装置によって構成されてもよい。商品認識サーバ１０本体と接続されるキーボードやタッチパネルによって構成されてもよい。また、入力部１３が受け付ける操作指示は、ＰＯＳ端末装置の入力部２３から受け付けてもよい。
【0028】
表示部１４は、取得部１１によって取得された商品の画像を表示する。表示部１４は、算出部１７が後に詳述する特徴点計算処理において算出した商品の特徴点に基づいて、商品名の候補を表示する。表示部１４は、ＬＣＤ（ｌｉｑｕｉｄ ｃｒｙｓｔａｌ ｄｉｓｐｌａｙ），ＬＥＤ（ｌｉｇｈｔ ｅｍｉｔｔｉｎｇ ｄｉｏｄｅ）等、様々な表示手段によって構成される。表示部１４が表示する内容は、ＰＯＳ端末装置２０の表示部２４に表示してもよい。また、表示部１４に表示される内容は、ユーザが所有する携帯電話機（いわゆるスマートフォンを含む。）などの機器に表示される構成としてもよい。
【0029】
記憶部１５は、複数の商品それぞれについて商品種類毎に予め撮影した商品の画像を記憶する。また、記憶部１５は商品を識別するための商品識別コードや商品名の情報を含む商品マスタ情報を記憶する。商品識別コードとして、例えばＰＬＵ（Ｐｒｉｃｅ Ｌｏｏｋ Ｕｐ）コードやＪＡＮ（Ｊａｐａｎｅｓｅ Ａｒｔｉｃｌｅ Ｎｕｍｂｅｒ）コード等の商品を識別するためのコードを用いることができる。さらに、後述する特徴点計算処理を行った後、記憶部１５には、商品の特徴点と、商品識別コード等の商品識別情報とが互いに関連付けられてデータベースとして記憶されている。
【0030】
記憶部１５は、処理に必要な各種のプログラムや各種のデータが固定的に記憶されている不揮発性のメモリ（例えば、ＲＯＭ（Read Only Memory））を含むことができる。また、記憶部１５は、ＨＤＤやＳＳＤを用いるものであってもよい。さらに、記憶部１５は、作業領域として用いられる揮発性のメモリ（例えば、ＲＡＭ（Random Access Memory））を含むことができる。上記プログラムは、光ディスク、半導体メモリ等の可搬性の記録媒体から読み取られてもよいし、ネットワーク上のサーバ装置からダウンロードされてもよい。
【0031】
通信部１６は、ＰＯＳ端末装置２０と通信を行う。通信部１６は、ＰＯＳ端末装置２０と無線通信を行うアンテナ（不図示）を備えてもよいし、有線通信を行うためのＮＩＣ（Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃａｒｄ）等のインタフェースを備えてもよい。
【0032】
算出部１７は、取得部１１が取得した商品の画像に基づいて、商品を識別する。算出部１７は、後に詳述する商品の特徴点計算や候補商品を表示するための処理等を行う。
【0033】
ＰＯＳ端末装置２０は、撮像部２１、制御部２２、入力部２３、表示部２４、通信部２５及び精算処理部２６を備える。入力部２３と表示部２４は、タッチパネル付ディスプレイとして一つの構成であってもよいし、それぞれ別個に設けられてもよい。ＰＯＳ端末装置２０は、例えばレジに設置される専用コンピュータ等である。また、ＰＯＳ端末装置２０は、後に説明するとおり、商品を撮像し、撮像した商品の特徴点の計算指示、商品の候補リストの表示、及び決済処理を行う。
【0034】
制御部２２、入力部２３及び表示部２４は、それぞれ商品認識サーバ１０の制御部１２、入力部１３及び表示部１４と同様の機能を備えるため、説明を省略する。
【0035】
撮像部２１は、顧客が購入しようとする商品を読み取る。撮像部２１が読み取る対象は、商品そのものであるが、更に商品のバーコードやＱＲコード（登録商標）など商品の情報を認識できるものを読み取ることができる機能を備えてもよい。撮像部２１は、商品を撮影するカメラを備えてもよい。撮像部２１が読み取った商品の画像は、商品認識サーバ１０に伝送される。
【0036】
通信部２５は、商品認識サーバ１０と通信を行う。通信部２５は、商品認識サーバ１０と無線通信を行うアンテナ（不図示）を備えてもよいし、有線通信を行うためのＮＩＣ（Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃａｒｄ）等のインタフェースを備えてもよい。
【0037】
精算処理部２６は、顧客が購入等を行う商品の合計金額を算出し、決済処理を行う。精算処理部２６は、売り上げの処理や売り上げの内容を処理する機能を備えてもよい。
【0038】
ここで、商品認識サーバ１０の算出部１７が行う特徴点計算処理について、図３を用いて説明する。この特徴点計算処理は、画像認識により商品を特定する可能性がある商品すべてについて、商品識別情報（例えば商品識別コード）と、その商品の特徴点を関連付けて記憶部１５に格納しておくための処理である。図３は、算出部１７が行う特徴点計算のフロー図である。
【0039】
算出部１７は、特徴点計算処理において、撮影した商品から物体として検出した画像の特徴点を計算する。商品認識サーバ１０は、商品マスタ情報を読み込む（ステップ１０１）。
【0040】
商品認識サーバ１０の取得部１１は、ＰＯＳ端末装置２０の撮像部２１で撮像した一つの商品の画像を取得する（ステップ１０２）。算出部１７は、取得した商品の画像に含まれる商品の座標情報を取得する（ステップ１０３）。算出部１７は、取得した座標情報に基づいて、取得した画像から商品部分の画像を切り取ったクロップ画像を作成する（ステップ１０４）。商品認識サーバ１０は、作成したクロップ画像と記憶部１５が備える商品マスタ情報に含まれる商品識別コードを紐づけてデータベースに登録する（ステップ１０５）。商品認識サーバ１０は、すべてのクロップ画像をデータベースに登録していなければ（ステップ１０６のＮＯ）、商品画像の取得を繰り返す（ステップ１０２）。すなわち、ユーザは、残りの商品のそれぞれについて撮影を行うことで画像を取得し、その画像のそれぞれについてクロップ画像を作成し、対応する商品識別コードを入力する処理を行う。
【0041】
商品認識サーバ１０は、すべてのクロップ画像をデータベースに登録すれば（ステップ１０６のＹＥＳ）、取得した複数の商品のそれぞれについて、データベースに登録されたクロップ画像から特徴点を計算する（ステップ１０７）。記憶部１５は、計算した特徴点を、特徴点の計算に使用したクロップ画像に紐づく商品識別コードを紐づけてデータベースに登録する（ステップ１０８）。商品認識サーバ１０は、全ての商品識別コードに対して特徴点を計算した場合は処理を終える（ステップ１０９のＹＥＳ）。全ての商品識別コードに対して特徴点を計算していない場合は（ステップ１０９のＮＯ）、さらにデータベースに登録されたクロップ画像から特徴点を計算する（ステップ１０７）。このようにして、複数の商品のそれぞれについて商品識別コードと、特徴点とが互いに関連付けられて記憶部１５に格納される。
【0042】
次に、候補商品表示処理について、図４を用いて説明する。図４は、商品認識サーバ１０が行う候補商品表示処理のフロー図である。表示部１４は、候補商品表示処理において、算出部１７が特徴点計算処理において算出した特徴点から、候補の商品を表示する。
【0043】
商品認識サーバ１０は、商品マスタ情報を読み込む（ステップ２０１）。商品認識サーバ１０の取得部１１は、ＰＯＳ端末装置２０から購入処理対象の商品の画像を取得する（ステップ２０２）。算出部１７は、取得した商品の画像のうち、商品そのものの画像として識別された範囲の画像に対して、画像の特徴点を算出する（ステップ２０３）。算出部１７は、データベースに登録されている特徴点と撮影画像の特徴点と比較することにより類似度を算出する（ステップ２０４）。この類似度の算出処理は、記憶部１５に格納された複数の商品の全て若しくは一部に対して行われる。類似度は、それぞれの商品がどの程度類似しているかを示す指標であり、スコアと呼ぶこともできる。
【0044】
算出部１７は、算出した類似度が高い順に商品識別コードをソートする（ステップ２０５）。算出部１７は、ソートされた商品識別コードを順番に候補リストを列挙し、表示部１４に商品の画像に重ね合わせて表示してもよい（ステップ２０６）。上述した処理の後、ＰＯＳ端末装置２０の精算処理部２６は、決済処理を行う（ステップ２０７）。
【0045】
ＰＯＳ端末装置２０が行う商品修正処理について、図５を用いて説明する。図５は、ＰＯＳ端末装置２０が行う商品修正処理のフロー図である。商品修正処理は、候補商品表示処理において候補として表示された候補リストから商品名を選択することにより行う。候補リストからの商品の選択は、商品の画像に重ね合わせて表示された候補リストから行ってもよい。なお、以下説明する商品修正処理はＰＯＳ端末装置２０が行うこととして説明するが、商品認識サーバ１０が行うこととしてもよい。
【0046】
ＰＯＳ端末装置２０の表示部２４は、商品の候補リストの表示を行う（ステップ３０１）。なお、商品候補表示画面の例は、後に図を用いて説明する。ユーザは、表示された複数の商品のうち、修正する商品の画像の枠を選択してもよい（ステップ３０２）。商品の選択は、入力部２３又は表示部２４におけるタッチパネル操作によるものでもよいし、キーボード操作によるものでもよい。表示部２４は、選択された商品の候補リストを表示する（ステップ３０３）。
【0047】
候補リストに修正対象商品が存在する場合（ステップ３０４のＹＥＳ）、ユーザは修正対象の商品名を候補リストから選択し（ステップ３０５）、表示部２４が商品名を物体として検出された商品の画像に重ね合わせて表示する（ステップ３０６）。
【0048】
候補リストに修正対象商品が存在しない場合（ステップ３０４のＮＯ）、ユーザは修正する商品名を商品のマスタ情報から選択し（ステップ３０７）、表示部２４は、選択した商品名を商品の画像に重ね合わせて表示する（ステップ３０６）。
【0049】
上記処理の後、精算処理部２６は決済処理を行う（ステップ３０８）。商品認識サーバ１０の記憶部１５は、修正した商品の画像と、商品識別コードから特徴点を再計算し、記憶してもよい（ステップ３０９）。
【0050】
ここで、本実施形態において記憶部１５に記憶されるデータベース及び商品マスタの例を、図６に示す。データベースには商品識別コード、画像及び特徴点の各項目を設ける。データベースは、上述のとおり算出部１７が計算した特徴点を、特徴点の計算に使用したクロップ画像に紐づく商品識別コードを紐づけて登録したものである。「画像」は、商品の画像を示す。商品マスタには、商品識別コード、商品名及び値段の各項目を設け、これらが紐づけて登録されている。なお、データベース及び商品マスタにおける項目は、図６の例に限らない。
【0051】
また、表示された商品候補表示画面の例を、図７に示す。図７の例において、撮影した商品の画像が左側に表示される。図７の例のように、いくつかの商品を表示でき、どの商品を修正するかを選択できることとしてもよい。ここでは、「エビドリア」が選択される。図７の例において、選択した商品の候補リストが右側に表示される。候補リストからの商品の選択は、商品の画像に重ね合わせて表示された候補リストから行ってもよい。候補リストにない商品を選択したい場合に、画面右上部のフィルタボタンを選択し、商品マスタに登録されている商品を表示できることとしてもよい。表示された商品の候補から任意の商品を選択し、確定することによって、商品を修正できる。なお、商品候補表示画面は、図７の例に限らない。
【0052】
上述したとおり、商品の認識結果を画面に表示する際に、画面に表示可能な候補を商品の画像上の枠に表示することにより、複数の商品の候補をすべて確認できる。そのため、一度に複数商品の候補をすべて確認でき、商品を選択するための手順が少ない。また、商品の判別をバーコード等の商品を識別するためのコードを用いることなく行える。
【0053】
本実施形態によれば、撮影したそれぞれの商品の画像に対して、商品名の候補としてどのようなものがあるかがコンパクトに表示され、一目瞭然である商品認識システム１を提供することができる。
【0054】
＜その他の実施形態＞
本開示における商品認識装置２は、例えば、商品認識方法としての実施形態を備える。すなわち商品認識方法は、購入対象の商品の画像を取得するステップと、購入対象商品の画像と、予め商品名と対応付けられて記憶された商品の画像との類似度を算出するステップと、算出した類似度に基づいて、購入対象商品に対応する商品名の候補を特定するステップと、購入対象商品の画像に、特定した前記商品名の候補の名称を重ね合わせた合成画像を生成するステップを備える。
本開示における商品認識装置２は、例えば、商品認識方法としての実施形態を備える。すなわち商品認識方法は、購入対象の商品の画像を取得するステップと、購入対象商品の画像と、予め商品名と対応付けられて記憶された商品の画像との類似度を算出するステップと、算出した類似度に基づいて、購入対象商品に対応する商品名の候補を特定するステップと、購入対象商品の画像に、特定した前記商品名の候補の名称を重ね合わせた合成画像を生成するステップを備える。
【0055】
上記の例において、プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体は、例えば、磁気記録媒体、光磁気記録媒体、ＣＤ－ＲＯＭ（Read Only Memory）、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、半導体メモリを含む。半導体メモリは、例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（Random Access Memory）などである。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
【0056】
上記プログラムは、購入対象の商品の画像を取得する処理と、購入対象商品の画像と、予め商品名と対応付けられて記憶された商品の画像との類似度を算出する処理と、算出した類似度に基づいて、購入対象商品に対応する商品名の候補を特定する処理と、購入対象商品の画像に、特定した前記商品名の候補の名称を重ね合わせた合成画像を生成する処理を商品認識装置２に実行させるプログラムである。
【0057】
なお、本開示は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。
【符号の説明】
【0058】
１ 商品認識システム
２ 商品認識装置
３ 取得部
４ 算出部
５ 特定部
６ 生成部
１０ 商品認識サーバ
２０ ＰＯＳ端末装置
２ 商品認識装置
３ 取得部
４ 算出部
５ 特定部
６ 生成部
１０ 商品認識サーバ
２０ ＰＯＳ端末装置
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】