知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024166775
(43)【公開日】2024-11-29
(54)【発明の名称】商品登録システムおよびプログラム
(51)【国際特許分類】
G07G 1/00 20060101AFI20241122BHJP
【ＦＩ】
G07G1/00 311D
【審査請求】未請求
【請求項の数】6
【出願形態】ＯＬ
(21)【出願番号】P 2023083111
(22)【出願日】2023-05-19
(71)【出願人】
【識別番号】000003562
【氏名又は名称】東芝テック株式会社
(74)【代理人】
【識別番号】110002147
【氏名又は名称】弁理士法人酒井国際特許事務所
(72)【発明者】
【氏名】鈴木 勇貴
【テーマコード（参考）】
3E142
【Ｆターム（参考）】
3E142AA01
3E142BA01
3E142FA42
3E142GA16
3E142GA22
3E142GA35
3E142GA41
3E142JA01
3E142KA08
(57)【要約】
【課題】画像認識により特定する商品の範囲を広げた場合の信頼性を高め、実用的運用が可能な商品登録システムおよびプログラムを提供する。
【解決手段】商品登録システムは、所定の開口部への物品の１投入あたりの撮像で複数の画像を得る撮像部と、画像に映り込んだ物品の外観の特徴を示す特徴情報を出力する特徴情報出力部と、少なくとも価格を含む商品の情報に関連付けられ照合用データに特徴情報を照らし合わせて両者の似ている程度を示す類似度を出力する類似度出力部と、類似度に基づいて特徴情報に合致する商品の情報を特定する商品特定部と、商品特定部が特定した商品の情報を登録する商品登録部と、を備える。商品特定部は、同じ投入にかかる複数の画像に類似度が第１閾値を上回る照合用データが複数あった場合、それらの照合用データが関連付けられた商品の情報のうち、価格が高い方を、特徴情報に合致する商品の情報であるとする。
【選択図】図１
【解決手段】商品登録システムは、所定の開口部への物品の１投入あたりの撮像で複数の画像を得る撮像部と、画像に映り込んだ物品の外観の特徴を示す特徴情報を出力する特徴情報出力部と、少なくとも価格を含む商品の情報に関連付けられ照合用データに特徴情報を照らし合わせて両者の似ている程度を示す類似度を出力する類似度出力部と、類似度に基づいて特徴情報に合致する商品の情報を特定する商品特定部と、商品特定部が特定した商品の情報を登録する商品登録部と、を備える。商品特定部は、同じ投入にかかる複数の画像に類似度が第１閾値を上回る照合用データが複数あった場合、それらの照合用データが関連付けられた商品の情報のうち、価格が高い方を、特徴情報に合致する商品の情報であるとする。
【選択図】図１
【特許請求の範囲】
【請求項1】
所定の領域への出入り口である開口部を通過する物品を撮像し、前記領域への投入１回あたりの撮像で複数の画像を得る撮像部と、
前記画像の入力を受けて前記画像に映り込んだ物品の外観の特徴を示す情報である特徴情報を出力する特徴情報出力部と、
少なくとも価格を含む商品の情報に関連付けられ前記商品の外観の特徴を示す情報の代表値である照合用データに、前記特徴情報を照らし合わせて、両者の似ている程度を示す類似度を出力する類似度出力部と、
前記類似度に基づいて前記特徴情報に合致する前記商品の情報を特定する機能部であって、同じ前記投入にかかる複数の前記画像に前記類似度が第１閾値を上回る前記照合用データが複数あった場合、それらの前記照合用データが関連付けられた前記商品の情報のうち、前記価格が高い方を、前記特徴情報に合致する前記商品の情報であるとする商品特定部と、
前記商品特定部が特定した前記商品の情報を登録する商品登録部と、
を備える商品登録システム。
前記画像の入力を受けて前記画像に映り込んだ物品の外観の特徴を示す情報である特徴情報を出力する特徴情報出力部と、
少なくとも価格を含む商品の情報に関連付けられ前記商品の外観の特徴を示す情報の代表値である照合用データに、前記特徴情報を照らし合わせて、両者の似ている程度を示す類似度を出力する類似度出力部と、
前記類似度に基づいて前記特徴情報に合致する前記商品の情報を特定する機能部であって、同じ前記投入にかかる複数の前記画像に前記類似度が第１閾値を上回る前記照合用データが複数あった場合、それらの前記照合用データが関連付けられた前記商品の情報のうち、前記価格が高い方を、前記特徴情報に合致する前記商品の情報であるとする商品特定部と、
前記商品特定部が特定した前記商品の情報を登録する商品登録部と、
を備える商品登録システム。
【請求項2】
前記商品の情報は、前記商品が第１商品または複数個の前記第１商品を組にした第２商品のいずれか一方である場合に、他方を対応付ける情報である対応情報をさらに含み、
前記商品特定部は、同じ前記投入にかかる複数の前記画像に前記類似度が前記第１閾値を上回る前記照合用データが複数あったが、それらの前記照合用データが関連付けられた前記商品の情報が前記対応情報として互いの情報を含まない場合には、前記撮像部による撮像をやり直すための動作の実行を求めるアラートを出力する
請求項１に記載の商品登録システム。
前記商品特定部は、同じ前記投入にかかる複数の前記画像に前記類似度が前記第１閾値を上回る前記照合用データが複数あったが、それらの前記照合用データが関連付けられた前記商品の情報が前記対応情報として互いの情報を含まない場合には、前記撮像部による撮像をやり直すための動作の実行を求めるアラートを出力する
請求項１に記載の商品登録システム。
【請求項3】
前記商品特定部は、前記類似度が前記第１閾値を上回る前記照合用データの数が、第２閾値以上の場合、前記撮像部による撮像をやり直すための動作の実行を求めるアラートを出力する
請求項１に記載の商品登録システム。
請求項１に記載の商品登録システム。
【請求項4】
前記商品特定部は、前記類似度が前記第１閾値を上回る前記照合用データの数が、第２閾値以上の場合、前記第１閾値を上回る前記照合用データが関連付けられた前記商品の情報を選択肢として提示する
請求項１に記載の商品登録システム。
請求項１に記載の商品登録システム。
【請求項5】
前記商品特定部は、同じ前記投入にかかる複数の前記画像に前記類似度が前記第１閾値を上回る前記照合用データが複数ある場合に、それらの前記照合用データが関連付けられた前記商品の情報を、前記価格が高い方から順に、選択肢として提示する
請求項１に記載の商品登録システム。
請求項１に記載の商品登録システム。
【請求項6】
所定の領域への出入り口である開口部を通過する物品を撮像し、前記領域への投入１回あたりの撮像で複数の画像を得る撮像部を備える商品登録システムのコンピュータを、
前記画像の入力を受けて前記画像に映り込んだ物品の外観の特徴を示す情報である特徴情報を出力する特徴情報出力部と、
少なくとも価格を含む商品の情報に関連付けられ前記商品の外観の特徴を示す情報の代表値である照合用データに、前記特徴情報を照らし合わせて、両者の似ている程度を示す類似度を出力する類似度出力部と、
前記類似度に基づいて前記特徴情報に合致する前記商品の情報を特定する機能部であって、同じ前記投入にかかる複数の前記画像に前記類似度が第１閾値を上回る前記照合用データが複数あった場合、それらの前記照合用データが関連付けられた前記商品の情報のうち、前記価格が高い方を、前記特徴情報に合致する前記商品の情報であるとする商品特定部と、
前記商品特定部が特定した前記商品の情報を登録する商品登録部と、
として機能させるためのプログラム。
前記画像の入力を受けて前記画像に映り込んだ物品の外観の特徴を示す情報である特徴情報を出力する特徴情報出力部と、
少なくとも価格を含む商品の情報に関連付けられ前記商品の外観の特徴を示す情報の代表値である照合用データに、前記特徴情報を照らし合わせて、両者の似ている程度を示す類似度を出力する類似度出力部と、
前記類似度に基づいて前記特徴情報に合致する前記商品の情報を特定する機能部であって、同じ前記投入にかかる複数の前記画像に前記類似度が第１閾値を上回る前記照合用データが複数あった場合、それらの前記照合用データが関連付けられた前記商品の情報のうち、前記価格が高い方を、前記特徴情報に合致する前記商品の情報であるとする商品特定部と、
前記商品特定部が特定した前記商品の情報を登録する商品登録部と、
として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明の実施形態は、商品登録システムおよびプログラムに関する。
【背景技術】
【0002】
販売データ処理においては、画像認識により得られる物品の外観的な特徴（形状や色など）を示す情報により、商品を特定する技術が用いられている（例えば特許文献１）。現在この技術は、主に果物や野菜など、バーコード等のコードシンボルが付されない商品の特定に用いられている。その他の、パッケージにコードシンボルが表示された商品については、従来のように、コードシンボルを読み取って得られるコード情報による商品特定が行われている。
【0003】
ここで、近年、画像認識による商品特定の対象をコードシンボル付きの商品にも広げ、コードシンボル読取によらない、パッケージの外観の特徴からの、商品特定が試みられている。しかしながら、取引対象として登録するための商品特定をパッケージの画像認識で行うには、信頼性（正確さ）の上での課題があり、実用化に向けて工夫されている。
【発明の概要】
【発明が解決しようとする課題】
【0004】
本発明が解決しようとする課題は、画像認識により特定する商品の範囲を広げた場合の信頼性を高め、実用的運用が可能な商品登録システムおよびプログラムを提供することである。
【課題を解決するための手段】
【0005】
実施形態の商品登録システムは、所定の領域への出入り口である開口部を通過する物品を撮像し、前記領域への投入１回あたりの撮像で複数の画像を得る撮像部と、前記画像の入力を受けて前記画像に映り込んだ物品の外観の特徴を示す情報である特徴情報を出力する特徴情報出力部と、少なくとも価格を含む商品の情報に関連付けられ前記商品の外観の特徴を示す情報の代表値である照合用データに、前記特徴情報を照らし合わせて、両者の似ている程度を示す類似度を出力する類似度出力部と、前記類似度に基づいて前記特徴情報に合致する前記商品の情報を特定する機能部であって、同じ前記投入にかかる複数の前記画像に前記類似度が第１閾値を上回る前記照合用データが複数あった場合、それらの前記照合用データが関連付けられた前記商品の情報のうち、前記価格が高い方を、前記特徴情報に合致する前記商品の情報であるとする商品特定部と、前記商品特定部が特定した前記商品の情報を登録する商品登録部と、を備える。
【図面の簡単な説明】
【0006】
【発明を実施するための形態】
【0007】
（第１実施形態）
実施形態について図面を用いて説明する。図１は、実施形態の商品登録システム１００の構成の一例を示す図である。
実施形態について図面を用いて説明する。図１は、実施形態の商品登録システム１００の構成の一例を示す図である。
【0008】
商品登録システム１００は、サーバ１と、カート３に取り付けて使用される携帯型端末５および撮像部６と、を含む。
【0009】
商品登録システム１００が取り扱う対象は、例えば、バンドル商品９０や、単品商品９１である。単品商品９１は、第１商品の一例である。バンドル商品９０は、複数個の第１商品を組にした第２商品の一例である。つまり、バンドル商品９０は、同じ単品商品９１が複数個まとめられたものである。こういったバンドル商品９０と単品商品９１とが店舗内に混在、共存する商品の一例は、缶ビールである。
【0010】
単品商品９１とバンドル商品９０とでは、異なる商品コードが割り当てられている。商品コードは、商品を特定可能な情報の一例であって、例えばＪＡＮコードである。なお、商品の外装（パッケージ）には、商品コードがエンコードされたバーコードが表示されていることが多い。ここで、バーコードは、コードシンボルの一例である。コードシンボルは、二次元コード等の他の形態のものであっても構わない。バンドル商品９０の、単品商品９１を束ねる包装材には、単品商品９１とは異なるコードシンボルが表示されている。
【0011】
カート３は、荷受け籠３１が車輪３２およびハンドル３３付きのフレーム３４で支えられたものである。荷受け籠３１は、上面に開口部３０１を有する容器である。ここで、荷受け籠３１内の領域は所定の領域の一例であり、開口部３０１は所定の領域への出入り口の一例である。
【0012】
撮像部６は、開口部３０１を通過する物品を撮像するカメラである。撮像部６は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary MOS）等の撮像素子を有する。撮像部６は、物品（バンドル商品９０や単品商品９１）の外観が映り込んだ画像（撮像画像）を、携帯型端末５に送信（出力）する。撮像部６は、荷受け籠３１への投入１回あたりの撮像で、複数枚の画像を得る。
【0013】
撮像部６は、１台のカート３に対して、１つ以上取り付けられる。図１では、１台のカート３に取り付けられた撮像部６は１つであるが、１台のカート３に必要に応じて複数の撮像部６が設けられて構わない。また、携帯型端末５に備え付けの撮像部があればそれを撮像部６として活用しても構わない。
【0014】
携帯型端末５は、１台のカート３に対して、１つ取り付けられる。また、１台のサーバ１に対し、１台以上の携帯型端末５が通信を行う。
【0015】
このような構成の商品登録システム１００において、荷受け籠３１に商品（バンドル商品９０や単品商品９１）が投入された場合、開口部３０１を通過する商品が、撮像部６で撮像され、撮像画像はサーバ１に送信される。サーバ１は、受信した撮像画像に映り込んだ商品を、画像認識により得られる物品の外観的な特徴（形状や色、模様など）を示す情報により商品を特定し、特定された商品を購入対象（取引対象）として自動的に登録する。
【0016】
ここで、投入された商品がバンドル商品９０である場合、バンドル商品９０としてだけでなく、単品商品９１としても認識されてしまう可能性があると考えられる。このように、一度の投入にかかる撮像で複数の商品が候補にあがった場合、バンドル商品９０と単品商品９１とのような対応関係があることから、価格が高い方が、登録される商品として正しい、すなわち「正」の商品であると考えられる。
【0017】
本実施形態では、一度の投入にかかる撮像で複数の商品が候補にあがった場合にも、「正」である商品を自動的に特定し、登録する。以下、そのための構成および処理について説明する。
【0018】
図２は、携帯型端末５の構成の一例を示すブロック図である。携帯型端末５は、例えばタブレット型の端末装置であって、ＣＰＵ（Central Processing Unit）５１、ＲＯＭ（Read Only Memory）５２、ＲＡＭ（Random Access Memory）５３、通信部５４、表示部５５、操作部５６、音声出力部５７、記憶部５９等を備える。
【0019】
ＣＰＵ５１は、プロセッサの一例であり、携帯型端末５の各部を統括的に制御する。ＲＯＭ５２は、各種プログラムを記憶する。ＲＡＭ５３は、プログラムや各種データを展開するワークスペースである。ＣＰＵ５１、ＲＯＭ５２、およびＲＡＭ５３は、バス等を介して接続され、コンピュータ構成の制御部５０を構成する。
【0020】
通信部５４は、制御部５０と外部装置（例えばサーバ１）とを、ネットワークを介して通信可能に接続する通信インタフェースである。また、通信部５４は、撮像部６が出力する撮像画像の入力を受け付ける。
【0021】
表示部５５は、ＬＣＤ（Liquid Crystal Display）等の表示デバイスを有し、ＣＰＵ５１の制御の下、各種の情報を表示する。
【0022】
操作部５６は、表示部５５の表面に重ねて設けられるタッチパネル等の入力デバイスを有し、入力デバイスを介して入力される操作内容をＣＰＵ５１に出力する。
【0023】
音声出力部５７は、スピーカーやブザーを有し、ＣＰＵ５１の制御の下、音声を出力する。
【0024】
記憶部５９は、ＳＳＤ（Solid State Drive）やフラッシュメモリ等の記憶媒体を有し、電源を遮断しても記憶内容を維持する。記憶部５９は、ＣＰＵ５１が実行可能なプログラム５９１や、各種の設定情報を記憶する。また、記憶部５９（またはＲＡＭ５３）は、一つの取引の開始から完了までの間、登録した商品（登録商品）のリスト（一覧）である登録商品リスト５９２を、記憶する。
【0025】
プログラム５９１は、携帯型端末５をモバイルＰＯＳとして機能させるためのアプリケーションソフトウェアである。モバイルＰＯＳは、移動可能なＰＯＳ端末である。なお、ＰＯＳは、「Point Of Sale」の略称であって、「販売時点情報管理」を意味する。ＰＯＳ端末は、販売時点情報管理を行う装置である。
【0026】
制御部５０は、ＣＰＵ５１が、ＲＯＭ５２や記憶部５９に記憶されＲＡＭ５３に展開されたプログラムに従って動作することによって、各種の処理を実行する。
【0027】
また、プログラム５９１の実行により、制御部５０は、次の各種機能部を提供する。各種機能部は、例えば、後述（図５参照）の画像送信部５０１や、商品情報取得部５０２、表示制御部５０５、操作受付部５０６、音声制御部５０７等である。
【0028】
図３は、サーバ１の構成の一例を示すブロック図である。サーバ１は、ＣＰＵ１１、ＲＯＭ１２、ＲＡＭ１３、通信部１４、記憶部１９等を備える。
【0029】
ＣＰＵ１１は、プロセッサの一例であり、サーバ１の各部を統括的に制御する。ＲＯＭ１２は、各種プログラムを記憶する。ＲＡＭ１３は、プログラムや各種データを展開するワークスペースである。ＣＰＵ１１、ＲＯＭ１２、およびＲＡＭ１３は、バス等を介して接続され、コンピュータ構成の制御部１０を構成する。
【0030】
通信部１４は、制御部１０と外部装置（例えば携帯型端末５）とを、ネットワークを介して通信可能に接続する通信インタフェースである。
【0031】
記憶部１９は、ＨＤＤ（Hard Disk Drive）やフラッシュメモリ等の記憶媒体を有し、電源を遮断しても記憶内容を維持する。記憶部１９は、ＣＰＵ１１が実行可能なプログラム１９１や、商品マスタ１９２、商品登録情報１９３、プログラム１９１の実行時に使用する各種の設定情報などを、記憶する。商品登録情報１９３は、顧客が購入するとして登録した商品の情報であって、つまり、取引対象の商品の情報である。
【0032】
制御部１０は、ＣＰＵ１１が、ＲＯＭ１２や記憶部１９に記憶されＲＡＭ１３に展開されたプログラム１９１に従って動作することによって、各種の処理を実行する。またこれにより、制御部１０は、各種機能部を提供する。各種機能部は、例えば、後述（図５参照）の特徴情報出力部１０１や、類似度出力部１０２、商品特定部１０３、対応確認部１０４、候補提示部１０５、商品登録部１０６等である。
【0033】
図４は、商品マスタ１９２が含む項目の例を示す図である。商品マスタ１９２は、商品の情報の一例であって、店舗が取り扱う商品の情報が、例えばテーブルの形式でまとめられたものである。商品の情報の項目としては、例えば、「商品コード」や、「商品名」、「単価」、「照合用データ」、「色」、「対応商品」等がある。
【0034】
商品コードは、商品を特定可能な情報の一例であって、例えばＪＡＮコードである。他の情報（単価、照合用データ、色、対応商品など）は、商品コードに関連づけて記憶されている。
【0035】
「商品名」の項目に記録されるのは、商品の名称である。「単価」の項目に記録されるのは、商品一つ分の価格である。「色」の項目に記録されるのは、商品の色や柄（模様）を示す情報である。
【0036】
照合用データは、特徴情報の代表値である。特徴情報は、物品の外観の特徴を示す情報である。特徴情報は、商品の外観を撮像した画像（撮像画像）に所定の処理を施すことにより出力される（得られる）値であって、例えば、ベクトル等の大きさと向きを持つ量である。照合用データは、撮像条件等により変動する特徴情報の、標準的な値である。
【0037】
「対応商品」の項目に記録されるのは、「対応商品に関する情報」である。「対応商品」は、該当レコードの商品コードが示す商品に対応する商品である。本実施形態における「対応商品に関する情報」は、対応情報の一例であって、商品が単品商品９１またはバンドル商品９０のいずれか一方である場合に、他方を対応付ける情報である。
【0038】
具体的には、該当レコードの商品コードが示すものが単品商品９１であれば、「対応商品」の項目に記録されるのは、バンドル商品９０を示す情報（例えば商品コード）である。また、該当レコードの商品コードが示すものがバンドル商品９０であれば、「対応商品」の項目に記録されるのは、単品商品９１を示す情報（例えば商品コード）である。
【0039】
図５は、携帯型端末５およびサーバ１の機能構成例を示すブロック図である。携帯型端末５の制御部５０は、画像送信部５０１や、商品情報取得部５０２、表示制御部５０５、操作受付部５０６、音声制御部５０７等の機能部を備える。
【0040】
画像送信部５０１は、撮像部６から受信した撮像画像を、サーバ１に送信（転送、出力）する。商品情報取得部５０２は、サーバ１から、登録した商品にかかる情報を受信すると、当該情報を、記憶部５９に記憶させた登録商品リスト５９２に、追加する。
【0041】
表示制御部５０５、操作受付部５０６、および音声制御部５０７は、サーバ１から受信する信号に従って動作する。サーバ１から受信する信号は、サーバ１が制御部１０の制御により発信する信号であって、サーバ１の指示を示す。表示制御部５０５は、サーバ１の指示に従って、表示部５５の表示内容を制御する。音声制御部５０７は、サーバ１の指示に従って、音声出力部５７が出力する音声を制御する。操作受付部５０６は、サーバ１の指示に従って操作部５６を介して操作を受け付け、操作部５６が受け付けた操作をサーバ１に送信する。
【0042】
サーバ１の制御部１０は、特徴情報出力部１０１や、類似度出力部１０２、商品特定部１０３、対応確認部１０４、候補提示部１０５、商品登録部１０６等の機能部を備える。なお、対応確認部１０４および候補提示部１０５は、商品特定部１０３の一部である。
【0043】
特徴情報出力部１０１は、携帯型端末５から受信した撮像画像の入力を受けると、撮像画像に第１の処理を施すことにより、撮像画像に映り込んだ物品の特徴情報を取得し、これを出力する。
【0044】
類似度出力部１０２は、照合用データに、特徴情報を照らし合わせ、両者に基づいて第２の処理を施すことにより、類似度を出力する。類似度は、両者（照合用データと特徴情報）の、似ている程度（度合い）を示す値であって、例えば、「０」～「１００」までの数値で示され、似ている程度が高い（より似ている）場合に値が大きくなる。類似度出力部１０２は、例えば商品マスタ１９２が記憶する照合用データを総当たりして、各照合用データと特徴情報出力部１０１が出力した特徴情報との類似度を出力する。類似度の出力先は、商品特定部１０３である。
【0045】
商品特定部１０３は、類似度出力部１０２が出力した類似度に基づいて、特徴情報に合致する商品の情報を特定する。上記例の場合、例えば類似度「１００」は完全に一致を示し、類似度「０」は完全に相違を示す。本実施形態では、商品特定部１０３は、類似度が第１閾値（例えば「８０」）を上回る（超える）商品を、撮像画像に映り込んだ物品として特定する。類似度が第１閾値を上回る商品がなかった場合、商品特定部１０３は、撮像画像に映り込んだ物品がどの商品であるかを特定できなかったとする。
【0046】
また、商品特定部１０３は、同じ投入動作にかかるものとしてグルーピングされる複数の撮像画像に、類似度が第１閾値を上回る照合用データが複数（例えば２つ）あった場合、商品特定部１０３は、対応確認部１０４による処理を行う。
【0047】
対応確認部１０４は、類似度が第１閾値（例えば「８０」）を上回る複数（例えば２つ）の照合用データが関連付けられた商品の情報が、対応情報として互いの情報を含むかを判断し、含む場合には、それらの商品の情報のうち、商品マスタ１９２に記録された価格が高い方を、特徴情報に合致する商品の情報である、とする。
【0048】
また、対応確認部１０４は、類似度が第１閾値を上回る複数（例えば２つ）の照合用データが関連付けられた商品の情報が、対応情報として互いの情報を含まない場合には、撮像部６による撮像をやり直すための動作の実行を求めるアラートを出力する。アラートで求める上記動作は、例えば、荷受け籠３１から商品を一旦取出して再投入する動作である。このアラートにより、商品の再投入が促される。
【0049】
アラートは、例えば、携帯型端末５の表示部５５による画面表示や、音声出力部５７による音声出力により行われる。つまり、対応確認部１０４は、アラート出力として、携帯型端末５の表示制御部５０５や音声制御部５０７に指示するための信号を出力する。
【0050】
また、商品特定部１０３は、類似度が第１閾値（例えば「８０」）を上回る照合用データの数が第２閾値（例えば「３」）以上の場合、撮像部６による撮像をやり直すための動作の実行を求めるアラートを、出力する。アラートで求める上記動作は、例えば、荷受け籠３１から商品を一旦取出して再投入する動作である。このアラートにより、商品の再投入が促される。
【0051】
アラートは、例えば、携帯型端末５の表示部５５による画面表示や、音声出力部５７による音声出力により行われる。つまり、商品特定部１０３は、アラート出力として、携帯型端末５の表示制御部５０５や音声制御部５０７に指示するための信号を出力する。
【0052】
また、商品特定部１０３は、類似度が第１閾値を上回る照合用データはなく、撮像画像に映り込んだ物品がどの商品であるかを特定できなかった場合のうち、第３閾値（例えば「７０」）を上回る照合用データがあった場合には、候補提示部１０５による処理を行う。
【0053】
候補提示にかかる処理において、候補提示部１０５は、第３閾値を上回る照合用データが関連付けられた商品の情報を、選択肢として提示する。この場合、候補提示部１０５はさらに、操作受付にかかる処理として、選択肢を選択する操作を受け付ける。
【0054】
候補提示部１０５は、表示部５５や操作部５６、音声出力部５７を介して、候補提示や操作受付にかかる処理を行う。
【0055】
より詳しくは、候補提示部１０５は、候補提示を、例えば、携帯型端末５の表示部５５による画面表示や、音声出力部５７による音声出力により行う。つまり、候補提示部１０５は、候補提示にかかる出力として、携帯型端末５の表示制御部５０５や音声制御部５０７に指示するための信号を出力する。
【0056】
また、候補提示部１０５は、操作受付を、例えば、携帯型端末５の操作部５６により行う。つまり、候補提示部１０５は、操作受付にかかる入力として、携帯型端末５の操作受付部５０６が出力した信号を受信する。
【0057】
さらに、商品特定部１０３は、類似度が第１閾値を上回る照合用データがなく、撮像画像に映り込んだ物品がどの商品であるかを特定できなかった場合のうち、第３閾値（例えば「７０」）を上回る照合用データもなかった場合には、撮像部６による撮像をやり直すための動作の実行を求めるアラートを、出力する。アラートで求める上記動作は、例えば、荷受け籠３１から商品を一旦取出して再投入する動作である。このアラートにより、商品の再投入が促される。
【0058】
アラートは、例えば、携帯型端末５の表示部５５による画面表示や、音声出力部５７による音声出力により行われる。つまり、商品特定部１０３は、アラート出力として、携帯型端末５の表示制御部５０５や音声制御部５０７に指示するための信号を出力する。
【0059】
商品登録部１０６は、商品特定部１０３が特定した商品の情報を登録する。商品登録部１０６による「登録」は、商品特定部１０３が出力した商品の情報を、商品登録情報１９３に追加する（記録する）ことである。
【0060】
図６は、サーバ１の制御部１０が実行する処理の流れを示す図である。この処理において、制御部１０は、撮像画像の入力を待機し（ステップＳ１；Ｎｏ）、携帯型端末５から撮像画像を受信すると（ステップＳ１；Ｙｅｓ）、処理を次に進める。
【0061】
ステップＳ２において制御部１０は特徴情報出力部１０１として、撮像画像に映り込んだ商品の特徴情報を出力する。次に制御部１０は、類似度出力部１０２として、特徴情報出力部１０１が出力した特徴情報を、様々な照合用データに照らし合わせて、各照合用データに対する類似度を出力する（ステップＳ３）。
【0062】
次に制御部１０は、商品特定部１０３として、特徴情報との類似度が第１閾値（例えば「８０」）を上回る照合用データがあった場合（ステップＳ４；Ｙｅｓ）、当該照合用データに関連付けられている商品コードをリスト化する（ステップＳ５）。このリスト（一時リスト）は、例えば記憶部１９やＲＡＭ１３の空き領域を使用して記録される。
【0063】
一時リストが含む商品コードの数（つまり商品の点数）が１点の場合（ステップＳ６；１点）、制御部１０は、商品登録部１０６として、一時リストに記録された商品コードおよびこれに合致する商品の情報を、登録商品リスト５９２に記憶させる（ステップＳ９）。
【0064】
ステップＳ６において、一時リストが含む商品の点数（すなわち商品コードの数）が２点の場合（ステップＳ６；２点）、制御部１０は、対応確認部１０４として、一時リストが含む２点の商品が、互いに対応する商品であるかを判断する（ステップＳ７）。すなわち、対応確認部１０４は、一時リストが含む２つの商品コードに関連付けられた対応情報が、互いの商品コードであるかを判断する。
【0065】
ステップＳ７において、一時リストが含む２点の商品が、互いに対応する商品である場合（ステップＳ７；Ｙｅｓ）、制御部１０は、それら２つの商品の情報のうち、商品マスタ１９２に記録された価格が高い方を、特徴情報に合致する商品の情報であると決定する（ステップＳ８）。そして制御部１０は、続くステップＳ９において、制御部１０は、商品登録部１０６として、ステップＳ８で決定された商品コードおよびこれに合致する商品の情報を、登録商品リスト５９２に記憶させる。
【0066】
ステップＳ７において、一時リストが含む２点の商品が、互いに対応する商品でなかった場合（ステップＳ７；Ｎｏ）、制御部１０は、商品の再投入を促す（ステップＳ１０）。また、ステップＳ６において、一時リストが含む商品の点数（すなわち商品コードの数）が３点以上の場合（ステップＳ６；３点以上）、制御部１０は、商品の再投入を促す（ステップＳ１０）。なお、再投入の検知後、制御部１０は、処理をステップＳ１に戻す。
【0067】
ここで、再投入およびその検知について、補足する。再投入する動作は、例えば、何も持たない手を荷受け籠３１に入れ、商品を掴み出し、商品を入れ直すことである。この場合、撮像部６の撮像画像に、まず商品を持たない手が映り込み、次に商品を持った手が映り込んで去り、再び商品を持った手が映り込み、その後、商品を持たない手が映り込む。この一連の撮像画像により、制御部１０は、商品の再投入を検知できる。なお、この動作は一例であって、制御部１０は、他の手法により商品の再投入の実施を検知しても構わない。このような再投入にかかる典型的な動作のパターンに合致する動作を検知したとき、制御部１０は、再投入が行われたと判断し、一時リストをクリアする。
【0068】
ステップＳ４において、特徴情報との類似度が第１閾値（例えば「８０」）を上回る照合用データがなく（ステップＳ４；Ｎｏ）、撮像画像に映り込んだ物品がどの商品であるかを特定できなかった場合のうち、第３閾値（例えば「７０」）を上回る照合用データがあった場合（ステップＳ１１；Ｙｅｓ）に、制御部１０は、候補提示部１０５としての処理を行う。
【0069】
候補提示部１０５としての制御部１０は、第３閾値を上回る照合用データが関連付けられた商品の情報を、選択肢として提示し、選択肢を選択する操作を受け付ける（ステップＳ１２）。ステップＳ１２において、制御部１０は、いずれかの商品を選択する操作を受け付けるようにしてもよいし、複数の商品を選択する操作を受け付けるようにしても構わない。選択肢が選択されると、制御部１０は、処理をステップＳ９に進める。
【0070】
ステップＳ１１において、第３閾値を上回る照合用データがなかった場合（ステップＳ１１；Ｎｏ）、制御部１０は、商品の再投入を促す（ステップＳ１３）。なお、再投入の検知後、制御部１０は、処理をステップＳ１に戻す。
【0071】
以上のように、本実施形態では、一度の撮像で複数の商品が検知された場合、両者が対応付けられた商品であれば、高い方が登録される。このように処理することより、バンドル商品９０が投入されたときに、バンドル商品９０としてだけでなく、単品商品９１としても検知されたとしても、正しい方（つまりバンドル商品９０）を登録することができる。
【0072】
したがって、本実施形態によれば、画像認識により特定する商品の範囲が青果等からパッケージ入りの商品に広げられた場合に、維持が難しい信頼性を、運用の工夫によって、実用的なレベルに押し上げることができる。
【0073】
なお、上述した実施形態は、上述した各装置が有する構成又は機能の一部を変更することで、適宜に変形して実施することも可能である。そこで、以下では、上述した実施形態に係るいくつかの変形例を他の実施形態として説明する。なお、以下では、上述した実施形態と異なる点を主に説明することとし、既に説明した内容と共通する点については同じ符号を用い、詳細な説明を省略する。また、以下で説明する変形例は、個別に実施されてもよいし、適宜組み合わせて実施されてもよい。
【0074】
（第２実施形態）
上記実施形態では、ステップＳ１０において、商品の再投入を促していたが、実施にあたってはこれに限らない。本実施形態の商品特定部１０３は、類似度が第１閾値（例えば「８０」）を上回る照合用データの数が、第２閾値（例えば「３」）以上の場合、Ｓ１０の再投入に代えて、第１閾値を上回る照合用データが関連付けられた商品の情報を、選択肢として提示する。
上記実施形態では、ステップＳ１０において、商品の再投入を促していたが、実施にあたってはこれに限らない。本実施形態の商品特定部１０３は、類似度が第１閾値（例えば「８０」）を上回る照合用データの数が、第２閾値（例えば「３」）以上の場合、Ｓ１０の再投入に代えて、第１閾値を上回る照合用データが関連付けられた商品の情報を、選択肢として提示する。
【0075】
このような本実施形態によれば、再投入の手間に代えて、候補選択により対応することができる。
【0076】
（第３実施形態）
上記実施形態では、ステップＳ７において、対応確認部１０４による処理を行っているが、実施にあたってはこれに限らない。本実施形態の商品特定部１０３は、ステップＳ７の処理を行わない。つまり、商品特定部１０３は、ステップＳ６のＹｅｓから、ステップＳ８へと処理を進める。
上記実施形態では、ステップＳ７において、対応確認部１０４による処理を行っているが、実施にあたってはこれに限らない。本実施形態の商品特定部１０３は、ステップＳ７の処理を行わない。つまり、商品特定部１０３は、ステップＳ６のＹｅｓから、ステップＳ８へと処理を進める。
【0077】
このような本実施形態によれば、処理速度を高めることができる。このような実施形態は、例えば画像認識の精度・信頼性がある程度得られる等により、一時リスト中の２点の商品のうち価格が高い方が「正」であろうという確信がより強く得られるシステムに適用されると、好適である。
【0078】
（第４実施形態）
本実施形態の商品特定部１０３は、同じ投入にかかる複数の撮像画像に類似度が第１閾値（例えば「８０」）を上回る照合用データが複数ある場合に、それらの照合用データが関連付けられた商品の情報を、価格が高い方から順に、選択肢として提示する。
本実施形態の商品特定部１０３は、同じ投入にかかる複数の撮像画像に類似度が第１閾値（例えば「８０」）を上回る照合用データが複数ある場合に、それらの照合用データが関連付けられた商品の情報を、価格が高い方から順に、選択肢として提示する。
【0079】
本実施形態は、次のように上述の第２実施形態の変形例として考えると理解しやすい。例えば、一度の投入により複数の商品が一時リストに記録された場合の候補（選択肢）の提示にあたって、「正」である確率がより高いと考えられる商品から、客の目につきやすく提示することができる。
【0080】
（第５実施形態）
本実施形態では、商品マスタ１９２において、「対応商品」の項目に記録される「対応商品に関する情報」を、例えばフラグ等の、対応する商品の有無を判断できるだけの情報とする。この場合、対応する商品がどれであるのかは問わない。
本実施形態では、商品マスタ１９２において、「対応商品」の項目に記録される「対応商品に関する情報」を、例えばフラグ等の、対応する商品の有無を判断できるだけの情報とする。この場合、対応する商品がどれであるのかは問わない。
【0081】
このような本実施形態によれば、第３実施形態および第４実施形態と同等の効果を得るにあたり、商品マスタ１９２のメンテナンスの煩雑さを減らすことができる。
【0082】
（第６実施形態）
実施形態について図面を用いて説明する。図７は、実施形態のＰＯＳ端末７の構成の一例を示すブロック図である。ＰＯＳ端末７は、最も一般的な、店員が操作するＰＯＳ端末でもよいし、客が操作するフルセルフのＰＯＳ端末でも構わない。
実施形態について図面を用いて説明する。図７は、実施形態のＰＯＳ端末７の構成の一例を示すブロック図である。ＰＯＳ端末７は、最も一般的な、店員が操作するＰＯＳ端末でもよいし、客が操作するフルセルフのＰＯＳ端末でも構わない。
【0083】
図７は、ＰＯＳ端末７の構成の一例を示すブロック図である。ＰＯＳ端末７は、ＣＰＵ７１、ＲＯＭ７２、ＲＡＭ７３、通信部７４、表示部７５、操作部７６、音声出力部７７、記憶部７９等を備える。
【0084】
ＣＰＵ７１は、プロセッサの一例であり、ＰＯＳ端末７の各部を統括的に制御する。ＲＯＭ７２は、各種プログラムを記憶する。ＲＡＭ７３は、プログラムや各種データを展開するワークスペースである。ＣＰＵ７１、ＲＯＭ７２、およびＲＡＭ７３は、バス等を介して接続され、コンピュータ構成の制御部７０を構成する。
【0085】
通信部７４は、制御部７０と外部装置（例えばサーバ１）とを、ネットワークを介して通信可能に接続する通信インタフェースである。また、通信部７４は、撮像部６が出力する撮像画像の入力を受け付ける。
【0086】
表示部７５は、ＬＣＤ等の表示デバイスを有し、ＣＰＵ７１の制御の下、各種の情報を表示する。
【0087】
操作部７６は、表示部７５の表面に重ねて設けられるタッチパネルや、キーボードやポインティングデバイス等の入力デバイスを有し、入力デバイスを介して入力される操作内容をＣＰＵ７１に出力する。
【0088】
音声出力部７７は、スピーカーやブザーを有し、ＣＰＵ７１の制御の下、音声を出力する。
【0089】
記憶部７９は、ＨＤＤやＳＳＤ、フラッシュメモリ等の記憶媒体を有し、電源を遮断しても記憶内容を維持する。記憶部７９は、ＣＰＵ７１が実行可能なプログラム７９１や、各種の設定情報を記憶する。また、記憶部７９（またはＲＡＭ７３）は、一つの取引の開始から完了までの間、登録した商品（登録商品）のリスト（一覧）である登録商品リストを記憶する。
【0090】
プログラム７９１は、ＰＯＳ端末７を機能させるためのアプリケーションソフトウェアである。
【0091】
制御部５０は、ＣＰＵ５１が、ＲＯＭ５２や記憶部５９に記憶されＲＡＭ５３に展開されたプログラムに従って動作することによって、各種の処理を実行する。
【0092】
また、プログラム７９１の実行により、制御部７０は、第１実施形態で説明した各種機能部（画像送信部５０１、商品情報取得部５０２、表示制御部５０５、操作受付部５０６、音声制御部５０７等。図５参照）を提供する。
【0093】
ＰＯＳ端末７を操作する操作者（店員または客）は、商品を登録する際、従来は、バーコードスキャナに対してバーコードを向ける（かざす）動作を行っていたが、本実施形態では、操作者は、ＰＯＳ端末７まで運んできた商品に、開口部３０１を通過させることで、商品を登録することができる。開口部３０１は、登録後の商品が載置される領域とそれ以外との境である。開口部３０１は、例えば、商品を移し替える籠の縁でもよいし、或いは、所定のフックで保持された買物袋（マイバッグ）の縁でもよい。撮像部６は、操作者が商品を籠や買物袋に移し替える際に、商品を撮像し、撮像画像を得る。
【0094】
このような構成によれば、第１実施形態と異なる種類のＰＯＳ端末であっても、第１実施形態と同様の効果を得ることができる。
【0095】
（第７実施形態）
上記実施形態では、商品の特定を、パッケージの外観の特徴情報により行っているが、実施にあたってはこれに限らず、バーコードや二次元コード等のコードシンボルを読み取ることにより商品を特定してもよい。
上記実施形態では、商品の特定を、パッケージの外観の特徴情報により行っているが、実施にあたってはこれに限らず、バーコードや二次元コード等のコードシンボルを読み取ることにより商品を特定してもよい。
【0096】
このような本実施形態によれば、撮像部６が出力する撮像画像からコードシンボルを認識し切り出してデコードすることによりコードシンボルを読み取る場合、上記実施形態と同様に、一度の商品投入で複数のコードシンボルが読み取られる可能性があると考えられる。このような場合にも、上記実施形態と同様に、価格が高い方を「正」として処理することにより、自動での商品登録を可能とすることができる。
【0097】
（変形例１）
上述の各実施形態において、サーバ１は、単一の装置でなく、複数の装置で構成されていても構わない。また、各実施形態において、サーバ１は、クラウドサーバであって構わない。
上述の各実施形態において、サーバ１は、単一の装置でなく、複数の装置で構成されていても構わない。また、各実施形態において、サーバ１は、クラウドサーバであって構わない。
【0098】
（変形例２）
上述の各実施形態において、商品マスタ１９２と商品登録情報１９３とは、同一の記憶部１９に記憶されている必要はなく、異なる装置の記憶部に記憶されていてもよい。例えば、第１実施形態の記憶部１９は、単に各種情報を記憶可能な記憶領域を提供するものの一例であって、商品マスタ１９２と商品登録情報１９３とを同じ記憶部１９に記憶させておく必要があると示すものではない。
上述の各実施形態において、商品マスタ１９２と商品登録情報１９３とは、同一の記憶部１９に記憶されている必要はなく、異なる装置の記憶部に記憶されていてもよい。例えば、第１実施形態の記憶部１９は、単に各種情報を記憶可能な記憶領域を提供するものの一例であって、商品マスタ１９２と商品登録情報１９３とを同じ記憶部１９に記憶させておく必要があると示すものではない。
【0099】
上述の実施形態の各装置で実行されるプログラムは、ＲＯＭ等に予め組み込まれて提供される。上述の実施形態の各装置で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ－ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ－Ｒ、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。
【0100】
さらに、上述の実施形態の各装置で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、上述の実施形態の各装置で実行されるプログラムをインターネット等のネットワーク経由で提供又は配布するように構成してもよい。
【0101】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更、組み合わせを行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【0102】
１００…商品登録システム、
１ …サーバ、
１０ …制御部、
１０１…特徴情報出力部、１０２…類似度出力部、１０３…商品特定部、
１０４…対応確認部、１０５…候補提示部、１０６…商品登録部、
１１ …ＣＰＵ、１２…ＲＯＭ、１３…ＲＡＭ、１４…通信部、
１９ …記憶部、１９１…プログラム、１９２…商品マスタ、１９３…商品登録情報、
３ …カート、
３１ …荷受け籠、３０１…開口部、
３２ …車輪、３３…ハンドル、３４…フレーム、
５ …携帯型端末、
５０ …制御部、
５０１…画像送信部、５０２…商品情報取得部、
５０５…表示制御部、５０６…操作受付部、５０７…音声制御部、
５１ …ＣＰＵ、５２…ＲＯＭ、５３…ＲＡＭ、５４…通信部、
５５ …表示部、５６…操作部、５７…音声出力部、
５９ …記憶部、５９１…プログラム、５９２…登録商品リスト、
６ …撮像部、
７ …ＰＯＳ端末、
７０ …制御部、
７１ …ＣＰＵ、７２…ＲＯＭ、７３…ＲＡＭ、７４…通信部、
７５ …表示部、７６…操作部、７７…音声出力部、
７９ …記憶部、７９１…プログラム、
９０ …バンドル商品、９１…単品商品。
１ …サーバ、
１０ …制御部、
１０１…特徴情報出力部、１０２…類似度出力部、１０３…商品特定部、
１０４…対応確認部、１０５…候補提示部、１０６…商品登録部、
１１ …ＣＰＵ、１２…ＲＯＭ、１３…ＲＡＭ、１４…通信部、
１９ …記憶部、１９１…プログラム、１９２…商品マスタ、１９３…商品登録情報、
３ …カート、
３１ …荷受け籠、３０１…開口部、
３２ …車輪、３３…ハンドル、３４…フレーム、
５ …携帯型端末、
５０ …制御部、
５０１…画像送信部、５０２…商品情報取得部、
５０５…表示制御部、５０６…操作受付部、５０７…音声制御部、
５１ …ＣＰＵ、５２…ＲＯＭ、５３…ＲＡＭ、５４…通信部、
５５ …表示部、５６…操作部、５７…音声出力部、
５９ …記憶部、５９１…プログラム、５９２…登録商品リスト、
６ …撮像部、
７ …ＰＯＳ端末、
７０ …制御部、
７１ …ＣＰＵ、７２…ＲＯＭ、７３…ＲＡＭ、７４…通信部、
７５ …表示部、７６…操作部、７７…音声出力部、
７９ …記憶部、７９１…プログラム、
９０ …バンドル商品、９１…単品商品。
【先行技術文献】
【特許文献】
【0103】
【特許文献1】特開２０１３－０８９０８７号公報
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】