2024-61107 商品識別システム、商品識別装置、プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024061107

(43)【公開日】2024-05-07

(54)【発明の名称】商品識別システム、商品識別装置、プログラム

(51)【国際特許分類】

   G07G 1/00 20060101AFI20240425BHJP

   G07G 1/01 20060101ALI20240425BHJP

【ＦＩ】

G07G1/00 311E

G07G1/01 301E

【審査請求】未請求

【請求項の数】16

【出願形態】ＯＬ

(21)【出願番号】P 2022168833

(22)【出願日】2022-10-21

(71)【出願人】

【識別番号】000005267

【氏名又は名称】ブラザー工業株式会社

(74)【代理人】

【識別番号】100104178

【弁理士】

【氏名又は名称】山本 尚

(72)【発明者】

【氏名】伴野 貴昭

(72)【発明者】

【氏名】吉村 千里

【テーマコード（参考）】

3E142

【Ｆターム（参考）】

3E142CA12

3E142DA04

3E142DA07

3E142EA02

3E142FA42

3E142GA03

3E142GA32

3E142GA35

(57)【要約】

【課題】既に商品情報との対応付けが済んだ商品の識別子に対し、再度、商品情報との対応付けが処理されることを防止し、処理速度の低下を抑制することができる商品識別システム、商品識別装置、プログラムを提供する。
【解決手段】撮影画像から抽出された商品のコードに識別番号を割り当てて記憶するコードリストは常時更新される。ＣＰＵはコードリストが更新される度に、コードリストの識別番号が商品リストにあるか判断し、なければ（Ｓ５２：ＮＯ）、コード識別処理を行って（Ｓ５３）、識別した商品情報を商品リストに追加する（Ｓ５５）。撮影画像にコードが写らなかった商品が並べ直されてコードが写るようになった場合、ＣＰＵは、新たにその商品のコードに対するコード識別処理を行い、すでに識別済みの商品のコードに対しては、コード識別処理を行わず、処理負荷を軽減する。
【選択図】図８

【特許請求の範囲】

【請求項1】

商品に関する商品情報の入力を受け付けて、前記商品情報に基づく販売額を合計するレジスター装置に接続する商品識別システムであって、
所定の撮影範囲を撮影する撮影装置と、
情報を表示する表示装置と、
前記表示装置および前記撮影装置に対する制御指令を出力する制御装置と、
個々の商品の前記商品情報を、前記商品情報を示す識別子と対応付けて記憶する記憶装置と
を有し、
前記識別子はＡＲマーカであり、
前記撮影装置の前記撮影範囲内には、前記識別子が予め設けられた複数の商品が配置され、
前記制御装置は、
前記撮影装置に撮影指令を出力し、前記撮影範囲を撮影した撮影画像を随時取得する撮影処理と、
前記撮影画像から前記識別子を抽出する抽出処理と、
前記抽出処理において抽出された前記識別子のうち、前記商品情報が未取得の前記識別子に対応する前記商品情報を前記記憶装置から取得する取得処理と、
前記取得処理において取得された前記商品情報を前記識別子と対応付けて一時記憶部に記憶する一時記憶処理と、
前記表示装置に表示指令を出力し、前記一時記憶部に記憶された全ての前記商品情報を前記撮影画像に重ねて表示する表示処理と、
前記一時記憶部に記憶された全ての前記商品情報を前記レジスター装置に送信する送信処理と
を実行すること
を特徴とする商品識別システム。

【請求項2】

前記制御装置は、
前記抽出処理において抽出された前記識別子が、前記撮影画像において表示される位置の位置情報を取得する位置取得処理と、
前記識別子に対応する前記商品情報を前記撮影画像に重ねて表示する表示位置を、前記位置情報に基づいて決定する決定処理と
を実行し、
前記表示処理において、前記一時記憶部に記憶された全ての前記商品情報を、前記決定処理で決定されたそれぞれの前記表示位置に表示すること
を特徴とする請求項１に記載の商品識別システム。

【請求項3】

前記制御装置は、
前記表示処理において、前記撮影処理で新たに取得された前記撮影画像に、前記一時記憶部に記憶された前記識別子が含まれない場合でも、前記一時記憶部に記憶された全ての前記商品情報を、前記表示位置に継続して表示すること
を特徴とする請求項２に記載の商品識別システム。

【請求項4】

前記制御装置は、
前記位置取得処理において取得された前記識別子の前記位置情報に変化があった場合でも、前記一時記憶部に記憶された全ての前記商品情報を、前記表示位置に継続して表示すること
を特徴とする請求項２に記載の商品識別システム。

【請求項5】

前記制御装置は、
前記一時記憶部に記憶された前記商品情報のうちの一部または全部の前記商品情報を削除する削除処理を実行すること
を特徴とする請求項２～４のいずれかに記載の商品識別システム。

【請求項6】

前記制御装置は、
前記一時記憶部に記憶された前記商品情報に対応付けられた前記識別子のうち、前記抽出処理において抽出されない前記識別子がある場合に、その識別子が抽出されなくなった時からの経過時間を計時する計時処理と、
前記経過時間が所定時間以上か否か判断する時間判断処理と
を実行し、
前記経過時間が所定時間以上となった場合、判断対象の前記識別子に対応付けられた前記商品情報を、前記削除処理において前記一時記憶部から削除すること
を特徴とする請求項５に記載の商品識別システム。

【請求項7】

前記制御装置は、
前記位置取得処理において前記位置情報が取得された前記識別子について、前記一時記憶部において対応付けられた前記位置情報の変化が所定距離より大きいか否か判断する位置判断処理を実行し、
前記位置情報の変化が所定距離よりも大きい場合、判断対象の前記識別子に対応付けられた前記商品情報を、前記削除処理において前記一時記憶部から削除すること
を特徴とする請求項５に記載の商品識別システム。

【請求項8】

操作の入力を受け付ける入力装置を有し、
前記制御装置は、
前記入力装置を介した操作の入力を受け付ける入力処理を実行し、
前記入力処理において所定の操作の入力を受け付けた場合に、前記取得処理によって前記識別子に対応する前記商品情報が取得される処理と、前記一時記憶処理によって前記商品情報を前記一時記憶部に記憶する処理とを実行すること
を特徴とする請求項１に記載の商品識別システム。

【請求項9】

前記制御装置は、
前記入力処理において、前記撮影範囲内に配置される商品の数の入力が行われた場合に、前記取得処理と前記一時記憶処理とを実行すること
を特徴とする請求項８に記載の商品識別システム。

【請求項10】

前記制御装置は、
前記入力処理において、商品情報との対応付けの開始を指示する操作の入力が行われた場合に、前記取得処理と前記一時記憶処理とを実行すること
を特徴とする請求項８に記載の商品識別システム。

【請求項11】

前記制御装置は、
前記取得処理と前記一時記憶処理とを実行した後、前記入力処理において、商品情報との対応付けの終了を指示する操作の入力が行われた場合に、前記抽出処理、前記取得処理および前記一時記憶処理の実行を終了すること
を特徴とする請求項８～１０のいずれかに記載の商品識別システム。

【請求項12】

前記制御装置は、
前記一時記憶処理において前記識別子との対応付けがなされた前記商品情報が前記一時記憶部に記憶され次第、前記送信処理において、前記商品情報を記憶順に前記レジスター装置に送信すること
を特徴とする請求項１に記載の商品識別システム。

【請求項13】

操作の入力を受け付ける入力装置を有し、
前記制御装置は、
前記入力装置を介した操作の入力を受け付ける入力処理を実行し、
前記取得処理と前記一時記憶処理とを実行する前に、前記入力処理によって、前記商品情報の一部を修正するパラメータの入力を受け付け、
前記一時記憶処理において、前記パラメータによって修正した前記商品情報を前記一時記憶部に記憶すること
を特徴とする請求項１２に記載の商品識別システム。

【請求項14】

前記制御装置は、
前記送信処理によって前記レジスター装置への前記商品情報の送信がなされた商品の前記撮影画像における商品画像を他の画像で覆い、且つその商品の前記商品情報を非表示する隠蔽処理を実行すること
を特徴とする請求項１、１２または１３に記載の商品識別システム。

【請求項15】

商品に関する商品情報の入力を受け付けて、前記商品情報に基づく販売額を合計するレジスター装置と、所定の撮影範囲を撮影する撮影装置とに接続する商品識別装置であって、
情報を表示する表示部と、
前記撮影装置に対する制御指令を出力する制御部と、
個々の商品の前記商品情報を、前記商品情報を示す識別子と対応付けて記憶する記憶部と
を備え、
前記識別子はＡＲマーカであり、
前記撮影装置の前記撮影範囲内には、前記識別子が予め設けられた複数の商品が配置され、
前記制御部は、
前記撮影装置に撮影指令を出力し、前記撮影範囲を撮影した撮影画像を随時取得する撮影処理部と、
前記撮影画像から前記識別子を抽出する抽出処理部と、
前記抽出処理部によって抽出した前記識別子のうち、前記商品情報が未取得の前記識別子に対応する前記商品情報を前記記憶部から取得する取得処理部と、
前記取得処理部によって取得した前記商品情報を前記識別子と対応付けて一時記憶部に記憶する一時記憶処理部と、
前記表示部に、前記一時記憶部に記憶された全ての前記商品情報を前記撮影画像に重ねて表示する表示処理部と、
前記一時記憶部に記憶された全ての前記商品情報を前記レジスター装置に送信する送信処理部と
を備えたこと
を特徴とする商品識別装置。

【請求項16】

商品に関する商品情報の入力を受け付けて、前記商品情報に基づく販売額を合計するレジスター装置と、所定の撮影範囲を撮影する撮影装置とに接続し、前記撮影装置に対する制御指令を出力する商品識別装置のコンピュータが実行するプログラムであって、
前記商品識別装置は、
情報を表示する表示部と、
個々の商品の前記商品情報を、前記商品情報を示す識別子と対応付けて記憶する記憶部と
を備え、
前記識別子はＡＲマーカであり、
前記撮影装置の前記撮影範囲内には、前記識別子が予め設けられた複数の商品が配置され、
前記プログラムは、
前記撮影装置に撮影指令を出力し、前記撮影範囲を撮影した撮影画像を随時取得する撮影処理と、
前記撮影画像から前記識別子を抽出する抽出処理と、
前記抽出処理によって抽出した前記識別子のうち、前記商品情報が未取得の前記識別子に対応する前記商品情報を前記記憶部から取得する取得処理と、
前記取得処理によって取得した前記商品情報を前記識別子と対応付けて一時記憶部に記憶する一時記憶処理と、
前記表示部に、前記一時記憶部に記憶された全ての前記商品情報を前記撮影画像に重ねて表示する表示処理と、
前記一時記憶部に記憶された全ての前記商品情報を前記レジスター装置に送信する送信処理と
を前記コンピュータに実行させること
を特徴とするプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、複数の商品の情報を一括で識別する商品識別システム、商品識別装置、プログラムに関する。

【背景技術】

【0002】

複数の商品の情報を一括で認識できる装置が知られている。特許文献１に記載の商品登録装置は、トレー上の複数の商品を撮影し、撮影画像中の商品のバーコードを一括で読み取ることで、複数の商品をまとめて認識する。認識した商品のバーコードはデータベースに照会され、対応する商品の情報が取得される。商品情報はレジスター装置に送られ、販売金額が合計されて、精算が行われる。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１６－１７７４３３号広報

【発明の概要】

【発明が解決しようとする課題】

【0004】

オペレータは、正しく認識されなかった商品のバーコードが撮影画像に映るように、トレー上の商品の向きや配置位置を正す場合がある。オペレータの手がカメラとトレーとの間に進入し、正しく認識された商品のバーコードが撮影画像に映らなくなると、商品登録装置は、それら商品の認識状態を解除する。オペレータが商品の配置を正した後、商品登録装置は、配置を正した商品だけでなく、認識状態が解除された商品の認識処理を再度行うため、処理に時間がかかるという問題があった。

【0005】

本発明の目的は、既に商品情報との対応付けが済んだ商品の識別子に対し、再度、商品情報との対応付けが処理されることを防止し、処理速度の低下を抑制することができる商品識別システム、商品識別装置、プログラムを提供することである。

【課題を解決するための手段】

【0006】

本発明の第一態様によれば、商品に関する商品情報の入力を受け付けて、前記商品情報に基づく販売額を合計するレジスター装置に接続する商品識別システムであって、所定の撮影範囲を撮影する撮影装置と、情報を表示する表示装置と、前記表示装置および前記撮影装置に対する制御指令を出力する制御装置と、個々の商品の前記商品情報を、前記商品情報を示す識別子と対応付けて記憶する記憶装置とを有し、前記識別子はＡＲマーカであり、前記撮影装置の前記撮影範囲内には、前記識別子が予め設けられた複数の商品が配置され、前記制御装置は、前記撮影装置に撮影指令を出力し、前記撮影範囲を撮影した撮影画像を随時取得する撮影処理と、前記撮影画像から前記識別子を抽出する抽出処理と、前記抽出処理において抽出された前記識別子のうち、前記商品情報が未取得の前記識別子に対応する前記商品情報を前記記憶装置から取得する取得処理と、前記取得処理において取得された前記商品情報を前記識別子と対応付けて一時記憶部に記憶する一時記憶処理と、前記表示装置に表示指令を出力し、前記一時記憶部に記憶された全ての前記商品情報を前記撮影画像に重ねて表示する表示処理と、前記一時記憶部に記憶された全ての前記商品情報を前記レジスター装置に送信する送信処理とを実行することを特徴とする商品識別システムが提供される。

【0007】

商品識別システムは、撮影画像から商品の識別子を抽出し、商品情報との対応付けを行い、商品情報を表示装置に表示する。撮影画像は随時取得されており、外乱等により、既に商品情報との対応付けが済んだ商品の識別子が一時的に撮影画像に含まれなくなる場合がある。商品識別システムは、識別子と商品情報とを対応付けて一時記憶部に記憶することで、その情報を維持することができる。故に商品識別システムは、外乱等により一時的に表示されなくなった商品の識別子が新たに取得された撮影画像において再び表示された場合に、その識別子と商品情報との対応付けを再度行わないので、処理速度の低下を抑制することができる。

【0008】

第一態様の前記制御装置は、前記抽出処理において抽出された前記識別子が、前記撮影画像において表示される位置の位置情報を取得する位置取得処理と、前記識別子に対応する前記商品情報を前記撮影画像に重ねて表示する表示位置を、前記位置情報に基づいて決定する決定処理とを実行し、前記表示処理において、前記一時記憶部に記憶された全ての前記商品情報を、前記決定処理で決定されたそれぞれの前記表示位置に表示してもよい。商品識別システムは、識別子との対応付けが済んだ商品の商品情報を、撮影画像において、同じ位置に継続して表示することができる。故にオペレータは、識別がなされた商品を把握しやすい。

【0009】

第一態様の前記制御装置は、前記表示処理において、前記撮影処理で新たに取得された前記撮影画像に、前記一時記憶部に記憶された前記識別子が含まれない場合でも、前記一時記憶部に記憶された全ての前記商品情報を、前記表示位置に継続して表示してもよい。商品識別システムは、外乱等により、既に商品情報との対応付けが済んだ商品の識別子が一時的に撮影画像に含まれなくなった場合でも、その識別子に対応する商品情報を、表示されなくなる前と同じ位置に継続して表示することができる。すなわち商品識別システムは、一時的に表示されなくなった商品の識別子に対応する商品情報を再度識別するための処理が不要になるので、処理全体にかかる時間を短縮することができる。

【0010】

第一態様の前記制御装置は、前記位置取得処理において取得された前記識別子の前記位置情報に変化があった場合でも、前記一時記憶部に記憶された全ての前記商品情報を、前記表示位置に継続して表示してもよい。商品識別システムは、既に商品情報との対応付けが済んだ商品の位置がずれ、その識別子の位置情報に変更があった場合でも、その識別子に対応する商品情報を同じ位置に継続して表示することができる。すなわち商品識別システムは、位置ずれした商品の識別子と商品情報との対応付けを再度行わないので、処理速度の低下を抑制することができる。

【0011】

第一態様の前記制御装置は、前記一時記憶部に記憶された前記商品情報のうちの一部または全部の前記商品情報を削除する削除処理を実行してもよい。商品識別システムは、例えば客都合によって撮影範囲から商品が取り除かれた場合など、既に商品情報との対応付けが済んだ商品の商品情報を削除することができる。

【0012】

第一態様の前記制御装置は、前記一時記憶部に記憶された前記商品情報に対応付けられた前記識別子のうち、前記抽出処理において抽出されない前記識別子がある場合に、その識別子が抽出されなくなった時からの経過時間を計時する計時処理と、前記経過時間が所定時間以上か否か判断する時間判断処理とを実行し、前記経過時間が所定時間以上となった場合、判断対象の前記識別子に対応付けられた前記商品情報を、前記削除処理において前記一時記憶部から削除してもよい。例えば客都合によって商品が撮影範囲から取り除かれた場合に、商品の識別子が抽出できなくなる。商品識別システムは、識別子が抽出できなくなってから所定時間が経過した場合に、その商品は取り除かれたものとして、商品情報を削除することができる。

【0013】

第一態様の前記制御装置は、前記位置取得処理において前記位置情報が取得された前記識別子について、前記一時記憶部において対応付けられた前記位置情報の変化が所定距離より大きいか否か判断する位置判断処理を実行し、前記位置情報の変化が所定距離よりも大きい場合、判断対象の前記識別子に対応付けられた前記商品情報を、前記削除処理において前記一時記憶部から削除してもよい。例えば客都合によって商品が撮影範囲から取り除かれる場合に、商品の識別子の位置情報が変化する。商品識別システムは、位置情報が所定距離よりも大きく変化した場合、その商品は取り除かれるものとして、商品情報を削除することができる。

【0014】

第一態様の操作の入力を受け付ける入力装置を有し、前記制御装置は、前記入力装置を介した操作の入力を受け付ける入力処理を実行し、前記入力処理において所定の操作の入力を受け付けた場合に、前記取得処理によって前記識別子に対応する前記商品情報が取得される処理と、前記一時記憶処理によって前記商品情報を前記一時記憶部に記憶する処理とを実行してもよい。商品識別システムは、撮影画像から識別子を抽出処理は随時実行されているが、所定の操作が入力されるまで、商品情報との対応付けと一時記憶部への記憶は行われない。故に商品識別システムは、制御装置にかかる負荷を低減することができる。

【0015】

第一態様の前記制御装置は、前記入力処理において、前記撮影範囲内に配置される商品の数の入力が行われた場合に、前記取得処理と前記一時記憶処理とを実行してもよい。商品識別システムは、オペレータによって撮影範囲内に配置された商品の数の入力が行われるまで、商品情報との対応付けと一時記憶部への記憶を行わず、制御装置にかかる負荷を低減することができる。

【0016】

第一態様の前記制御装置は、前記入力処理において、商品情報との対応付けの開始を指示する操作の入力が行われた場合に、前記取得処理と前記一時記憶処理とを実行してもよい。商品識別システムは、オペレータによって商品情報との対応付けの開始を指示するボタン等の操作が行われるまで、商品情報との対応付けと一時記憶部への記憶を行わず、制御装置にかかる負荷を低減することができる。

【0017】

第一態様の前記制御装置は、前記取得処理と前記一時記憶処理とを実行した後、前記入力処理において、商品情報との対応付けの終了を指示する操作の入力が行われた場合に、前記抽出処理、前記取得処理および前記一時記憶処理の実行を終了してもよい。商品識別システムは、オペレータによって商品情報との対応付けの終了を指示するボタン等の操作が行われると、識別子の抽出、商品情報との対応付けおよび一時記憶部への記憶を終了し、それ以後の制御装置にかかる負荷を低減することができる。

【0018】

第一態様の前記制御装置は、前記一時記憶処理において前記識別子との対応付けがなされた前記商品情報が前記一時記憶部に記憶され次第、前記送信処理において、前記商品情報を記憶順に前記レジスター装置に送信してもよい。商品識別システムは、商品情報を一時記憶部に記憶し次第、順に、レジスター装置に送信するので、全ての商品情報をまとめてレジスター装置に送信する場合と比べ、会計処理の全体にかかる時間を短縮することができる。

【0019】

第一態様の操作の入力を受け付ける入力装置を有し、前記制御装置は、前記入力装置を介した操作の入力を受け付ける入力処理を実行し、前記取得処理と前記一時記憶処理とを実行する前に、前記入力処理によって、前記商品情報の一部を修正するパラメータの入力を受け付け、前記一時記憶処理において、前記パラメータによって修正した前記商品情報を前記一時記憶部に記憶してもよい。商品識別システムは、商品情報の一部を修正する税率等のパラメータによって、商品情報に含まれる商品価格を修正した上で、一時記憶部に記憶し、演算による負荷を分散することで、あとからまとめて演算する場合と比べて、制御装置にかかる負荷を低減し、会計処理の全体にかかる時間を短縮することができる。

【0020】

第一態様の前記制御装置は、前記送信処理によって前記レジスター装置への前記商品情報の送信がなされた商品の前記撮影画像における商品画像を他の画像で覆い、且つその商品の前記商品情報を非表示する隠蔽処理を実行してもよい。商品識別システムは、レジスター装置への商品情報の送信が完了した商品の画像を、例えば撮影範囲内で商品を配置する部位の画像等で覆い、その商品情報を非表示とすることができる。故にオペレータは、識別されていない商品がどれかを把握しやすい。

【0021】

本発明の第二態様によれば、商品に関する商品情報の入力を受け付けて、前記商品情報に基づく販売額を合計するレジスター装置と、所定の撮影範囲を撮影する撮影装置とに接続する商品識別装置であって、情報を表示する表示部と、前記撮影装置に対する制御指令を出力する制御部と、個々の商品の前記商品情報を、前記商品情報を示す識別子と対応付けて記憶する記憶部とを備え、前記識別子はＡＲマーカであり、前記撮影装置の前記撮影範囲内には、前記識別子が予め設けられた複数の商品が配置され、前記制御部は、前記撮影装置に撮影指令を出力し、前記撮影範囲を撮影した撮影画像を随時取得する撮影処理部と、前記撮影画像から前記識別子を抽出する抽出処理部と、前記抽出処理部によって抽出した前記識別子のうち、前記商品情報が未取得の前記識別子に対応する前記商品情報を前記記憶部から取得する取得処理部と、前記取得処理部によって取得した前記商品情報を前記識別子と対応付けて一時記憶部に記憶する一時記憶処理部と、前記表示部に、前記一時記憶部に記憶された全ての前記商品情報を前記撮影画像に重ねて表示する表示処理部と、前記一時記憶部に記憶された全ての前記商品情報を前記レジスター装置に送信する送信処理部とを備えたことを特徴とする商品識別装置が提供される。故に商品識別装置は、第一態様と同様の効果を奏する。

【0022】

本発明の第三態様によれば、商品に関する商品情報の入力を受け付けて、前記商品情報に基づく販売額を合計するレジスター装置と、所定の撮影範囲を撮影する撮影装置とに接続し、前記撮影装置に対する制御指令を出力する商品識別装置のコンピュータが実行するプログラムであって、前記商品識別装置は、情報を表示する表示部と、個々の商品の前記商品情報を、前記商品情報を示す識別子と対応付けて記憶する記憶部とを備え、前記識別子はＡＲマーカであり、前記撮影装置の前記撮影範囲内には、前記識別子が予め設けられた複数の商品が配置され、前記プログラムは、前記撮影装置に撮影指令を出力し、前記撮影範囲を撮影した撮影画像を随時取得する撮影処理と、前記撮影画像から前記識別子を抽出する抽出処理と、前記抽出処理によって抽出した前記識別子のうち、前記商品情報が未取得の前記識別子に対応する前記商品情報を前記記憶部から取得する取得処理と、前記取得処理によって取得した前記商品情報を前記識別子と対応付けて一時記憶部に記憶する一時記憶処理と、前記表示部に、前記一時記憶部に記憶された全ての前記商品情報を前記撮影画像に重ねて表示する表示処理と、前記一時記憶部に記憶された全ての前記商品情報を前記レジスター装置に送信する送信処理とを前記コンピュータに実行させることを特徴とするプログラムが提供される。故にプログラムは、第一態様と同様の効果を奏する。

【図面の簡単な説明】

【0023】

【図1】商品識別システム１の外観を示す斜視図である。

【図2】商品識別システム１の電気的構成を示すブロック図である。

【図3】商品識別画面８０の表示例である。

【図4】記憶部４４の商品情報データベース１００の概念図である。

【図5】ＲＡＭ４３のコードリスト１１０および商品リスト１２０の概念図である。

【図6】ラベル発行処理のフローチャートである。

【図7】商品識別処理のフローチャートである。

【図8】図７の商品識別処理のフローチャートの続きである。

【図9】図８の商品識別処理のフローチャートの続きである。

【図10】図９の商品識別処理のフローチャートの続きである。

【図11】撮影画像表示領域８２の表示例である。

【図12】撮影画像表示領域８２の表示例の続きである。

【発明を実施するための形態】

【0024】

図面を参照し、本発明の一実施形態に係る商品識別システム１を説明する。商品識別システム１は、識別用のコードがそれぞれに設けられた複数の商品を撮影し、撮影画像から抽出したコードの数を提示して、商品の点数に間違いがないかが容易に確認できるようにするシステムである。商品識別システム１は、例えば商品を販売する店舗において、精算時に複数の商品を一括して識別するシステムとして用いられる。

【0025】

図１に示すように、商品識別システム１は、撮影台２、撮影装置３、識別端末４、印刷装置６を備える。撮影台２は、撮影対象の複数の商品を配置する位置を示す台である。本実施形態では、複数の商品を載せるトレー２５を用意し、撮影台２上にトレー２５を配置することで、トレー２５上のすべての商品が撮影範囲Ｐ内に配置される。それぞれの商品は個別に透明な袋に包装され、予め、商品名と、商品の種類毎に異なるコードとが印刷されたラベルシール２６が貼り付けられている。コードは、例えばＡＲマーカである。

【0026】

撮影装置３は、撮影台２上に予め設定された撮影範囲Ｐを撮影台２の上方から撮影する装置である。撮影装置３は、撮影台２の側方に固定されて上方へ延びる柱状部分と、柱状部分の上部において撮影台２の中央上方へ向けて延びる腕状部分と、腕状部分の下部に設けられ、下方に位置する撮影台２に撮影方向を向ける撮影部３１を有する。撮影部３１は、撮影台２の撮影範囲Ｐを撮影するように、予め撮影方向および画角が調整されて、撮影装置３に組み付けられる。

【0027】

識別端末４は、例えば周知のタブレット端末である。識別端末４は公知のＵＳＢケーブル３５を用いて撮影装置３と接続し、撮影装置３が撮影する撮影範囲Ｐの撮影画像あるいは撮影映像を取得する。なお、静止画である撮影画像と動画である撮影映像を特に区別しない場合、以下説明では、撮影画像という。識別端末４はオペレータによる操作の入力を受け付け、撮影装置３が撮影した撮影画像、撮影画像から抽出したコードの数、コードに対応する商品情報のリスト等を画面に表示する。識別端末４は、公知のレジスター装置７に設けられたハンディスキャナ用のシリアルポートに接続したシリアルケーブル７７と、識別端末４に接続するＵＳＢケーブル７５とをＵＳＢシリアル変換器７６を介して接続することで、レジスター装置７にデータを送信することができる。また、識別端末４は、ＵＳＢケーブル６５を用いて印刷装置６と接続する。印刷装置６は、例えば公知の感熱ラベル用の印刷装置である。識別端末４から受信する印刷データに基づいて、商品名およびＡＲマーカをラベルシール２６に印刷する。なお、ラベルシール２６には、商品名、ＡＲマーカ以外にも、商品の消費期限、商品の販売額、商品の型番、商品の製造場所（製造工場）、アレルギー情報等、その他の情報が印刷されてもよい。

【0028】

商品識別システム１が識別対象とする商品は、店頭で販売される商品であり、例えばパンである。撮影台２、撮影装置３、識別端末４およびレジスター装置７は、商品を販売する売り場に配置される。また、印刷装置６は、商品を製造するバックヤードに配置される。

【0029】

図２を参照し、商品識別システム１の電気的構成について説明する。撮影装置３は、撮影部３１と制御部３２を有する。撮影部３１は、公知のＣＣＤイメージセンサあるいはＣＭＯＳイメージセンサである。制御部３２は、撮影部３１から出力されるデータを処理して撮影画像の画像データを生成し、識別端末４に出力する。撮影映像を出力する場合、制御部３２は、フレームレートに従って画像データを連続して生成し、映像データとして識別端末４に出力する。

【0030】

識別端末４は、制御部４０、記憶部４４、タッチパネル４６、ＵＳＢインターフェース４５を有する。制御部４０は、ＣＰＵ４１、ＲＯＭ４２、ＲＡＭ４３を備える。ＣＰＵ４１は識別端末４の制御を司る。ＲＯＭ４２には、ＯＳや初期設定情報が記憶される。ＲＡＭ４３には、ＣＰＵ４１が処理を実行する過程でデータが一時的に記憶される。記憶部４４は、例えばフラッシュメモリである。記憶部４４には、ＣＰＵ４１が実行するための制御プログラム、後述の商品識別プログラムおよびラベル発行プログラム、コードと商品の情報を関連付ける商品情報データベース１００等が記憶される。

【0031】

タッチパネル４６は、表示部４８と入力部４７を備える。表示部４８は液晶ディスプレイである。入力部４７は、表示部４８の表面に設けられたタッチパネルである。ＵＳＢインターフェース４５は、ＵＳＢ規格により、撮影装置３および印刷装置６と接続し、レジスター装置７にはＵＳＢシリアル変換器７６を介してシリアル変換して接続し、データ通信を行う。印刷装置６は、印刷部６１と制御部６２を備える。印刷部６１は、台紙に貼付されたラベルシール２６に商品名およびＡＲマーカを印刷する。制御部６２は、印刷装置６の制御を司る。

【0032】

図３を参照し、識別端末４の表示部４８に表示される画面を説明する。後述する商品識別処理において、識別端末４の表示部４８には、商品識別画面８０が表示される。図３（Ａ）に示すように、商品識別画面８０には、点数入力領域８１、撮影画像表示領域８２、税率設定領域８３およびメッセージ表示領域８４が設定され、識別開始ボタン８５が設けられる。

【0033】

点数入力領域８１には、オペレータのタッチ操作により、撮影台２上に配置される商品の点数の入力を受け付けるための操作項目が表示される。一例として、オペレータがタッチ操作で選択可能な商品点数を示す１～１０の数値と、１１以上の数値を入力する場合にスワイプ操作で操作項目を表示可能であることを示す三角印が表示される。オペレータによる商品点数の入力が行われた場合、入力された点数を囲って示す丸印が表示される。

【0034】

撮影画像表示領域８２には、撮影装置３が撮影した撮影範囲Ｐの撮影画像が表示される。撮影画像には、撮影台２に配置される複数の商品と、それぞれの商品に設けられた識別用のコードも写って表示される。税率設定領域８３には、オペレータが商品の税率を設定するためのボタンが表示される。カスタマーが商品のテイクアウトを所望する場合の税率である８％を設定する８％ボタンと、イートインを所望する場合の税率である１０％を設定する１０％ボタンが設けられる。メッセージ表示領域８４には、後述する商品識別処理においてオペレータに対して報知される警告メッセージが表示される。

【0035】

また、商品識別処理が進行すると、商品識別画面８０の表示内容が変化する。図３（Ｂ）に示すように、商品識別画面８０には、点数入力領域８１および撮影画像表示領域８２に加え、商品リスト表示領域８６および合計額表示領域８７が設定され、会計ボタン８８、戻るボタン８９が設けられる。なお、この場合に撮影画像表示領域８２に表示される撮影画像には、複数の商品それぞれのコードに表示される目印２８と、各商品の商品名２９（図１２（Ｂ）参照）とが重ねて表示される。目印２８は、例えば、コード（ＡＲマーカ）の輪郭部を縁取る枠体（例えば緑色）であり、商品名２９は、商品情報から取得される商品の名称である。

【0036】

商品リスト表示領域８６は、後述する商品識別処理において撮影画像から識別されたコードに対応する商品情報が一覧表示される。商品情報は商品名と単価を含み、後述する商品情報データベース１００において、コードと対応付けられている。商品情報は、後述する商品識別処理においてＲＡＭ４３に設けられる商品リスト１２０に追加される。商品リスト表示領域８６には、商品リスト１２０に基づく商品情報の一覧が表示される。なお、同一商品は個数が演算されて、一つの商品として、個数をまとめて表示される。合計額表示領域８７には、商品リスト表示領域８６に一覧表示される商品の全体での個数と、全ての商品の単価を足し合わせた小計額と、小計額にオペレータが設定した税率を掛け合わせた消費税額と、小計額と消費税額とを足し合わせた税込合計額とが表示される。個数は、撮影画像から抽出されたコードの点数と一致する。

【0037】

会計ボタン８８は、オペレータが商品リスト１２０の内容を確認して会計処理を行う場合に操作するボタンである。オペレータは、会計ボタン８８の操作によって、商品リスト１２０の商品情報をレジスター装置７に送信する。戻るボタン８９は、オペレータが商品識別処理を最初からやり直す場合に操作するボタンである。

【0038】

図４を参照し、記憶部４４に記憶される商品情報データベース１００を説明する。商品情報データベース１００は、単品販売される商品（パン）を、その種類が異なるごとに１つのコード番号を割り当てて、商品情報を紐付けたデータベースである。商品情報データベース１００には、商品情報として、コード番号、コード（ＡＲマーカ）、商品名、単価、その他の情報が対応付けて記憶される。コード番号は、商品の種類ごとに割り振られた番号である。コードには、例えば１００～９００番台のコード番号が割り当てられる。コード番号は、データベース上で商品情報を管理するため商品情報に紐付けられるＩＤである。

【0039】

コードにはコード番号が割り当てられ、ＡＲマーカとしての特徴部を有する画像（図４では便宜上、ＡＲマーカの外観図を示す）が登録される。識別端末４には、コード番号に基づいてＡＲマーカを生成することができるアプリケーションが、予めインストールされている。本実施形態では、例えば７×７セルのＡＲマーカが用いられる。商品名は、販売する商品の名称である。単価は、その商品の販売価格である。その他の情報は、例えば、商品の製造年月日、商品の消費期限、商品の製造場所、アレルギー情報等である。商品情報データベース１００は、識別端末４への商品識別プログラムのインストール時に、記憶部４４に記憶される。

【0040】

図５を参照し、商品識別処理においてＲＡＭ４３に作成されるコードリスト１１０および商品リスト１２０を説明する。図５（Ａ）に示すように、コードリスト１１０は、識別番号と、撮影画像から抽出したコードの位置を示すコード座標と、商品画像から抽出した商品の外観を表す輪郭線を示す輪郭座標とをＡＲマーカに対応付けて一時的に記憶する記憶領域である。識別番号は、撮影画像から抽出したＡＲマーカのそれぞれに割り当てる識別用の固有の番号である。コード座標は、ＡＲマーカの四隅の位置座標である。コード座標は、例えば、ＡＲマーカの四つ角のうちの一つの角の位置座標であってもよいし、ＡＲマーカの中央の位置座標であってもよい。輪郭座標は、撮影画像を画像解析することによってＡＲマーカを含む商品の輪郭線を特定した輪郭線の位置座標である。商品はラベルシール２６が貼られた透明な袋に包装されているので、特定される輪郭線は、商品およびラベルシール２６の輪郭線である。輪郭座標は、商品識別処理において、レジスター装置７に商品情報を送信し終えた商品の画像を撮影画像において背景画像で重ねて見えなくすることで送信完了を示す処理に用いられる。商品識別処理において、コードリスト１１０は常時更新される。

【0041】

図５（Ｂ）に示すように、商品リスト１２０は、識別番号と、商品情報と、コード座標と、輪郭座標と、確定フラグと、消去タイマーと、単価税額とを、コード番号に対応付けて一時的に記憶する記憶領域である。確定フラグは、商品識別処理において使用され、コードと商品情報との対応付けがなされ、識別結果が確定し、撮影画像に商品名が表示された商品に対して立てられるフラグである。消去タイマーは、商品識別処理において使用される。商品識別処理では、撮影画像において識別された商品のコードの近傍に、商品名を撮影画像に重ねて表示する処理が行われる。その際に、撮影画像では、例えばオペレータが商品の並べ直しを行った場合に、コードがオペレータの手に隠れ、一時的に識別されなくなる場合がある。消去タイマーは、撮影画像においてコードが識別されなくなった場合に、一時的に識別されない状態か、あるいは商品が取り除かれた状態であるかを判断するために使用される。単価税額は、商品の単価にオペレータが設定した税率を掛け合わせた金額である。商品識別処理において、商品リスト１２０は、商品情報が追加された後、トレー２５から商品が取り除かれたり、トレー２５内での配置位置が大きく変更されない限り、更新されない。

【0042】

図６を参照し、ラベル発行処理について説明する。識別端末４において、オペレータによってラベル発行処理のアプリケーションを起動するための操作が入力部４７を介して行われた場合、記憶部４４に記憶されたラベル発行プログラムを制御部４０のＣＰＵ４１が読み出して実行することにより、ラベル発行処理が開始される。

【0043】

制御部４０のＣＰＵ４１は、表示部４８に商品情報の編集またはラベルの発行を行う選択画面（図示略）を表示する。ＣＰＵ４１は、オペレータによる操作がなければ待機する（Ｓ１：ＮＯ、Ｓ１１：ＮＯ）。

【0044】

オペレータによって商品情報の編集を行う操作が行われた場合（Ｓ１：ＹＥＳ）、ＣＰＵ４１は、記憶部４４から商品情報データベース１００をＲＡＭ４３に読み込む（Ｓ２）。ＣＰＵ４１は、商品情報データベース１００に登録された商品の商品情報を一覧表示し、オペレータによるデータベースの編集を受け付ける（Ｓ３、Ｓ５：ＮＯ）。オペレータは、商品情報データベース１００に登録されたコード、商品名、単価、その他の情報を適宜編集することができる。オペレータがデータベースの編集を終了する操作を行うと（Ｓ５：ＹＥＳ）、ＣＰＵ４１は、編集によって商品情報データベース１００においてデータが変更された部分を更新する（Ｓ６）。ＣＰＵ４１は処理をＳ１１に進め、待機状態に移行する。

【0045】

オペレータによって商品（パン）用のラベルを発行する操作が行われた場合（Ｓ１１：ＹＥＳ）、ＣＰＵ４１は、記憶部４４から商品情報データベース１００をＲＡＭ４３に読み込む（Ｓ１２）。ＣＰＵ４１は、商品情報データベース１００に登録された商品の商品情報を表示部４８に一覧表示し、商品の選択と、ラベルの発行枚数の入力を受け付ける（Ｓ１３）。オペレータは、店頭に並べるために用意した商品（例えば焼き上がったパン）をデータベースから選択し、用意した商品の個数をラベルの発行枚数として入力する。ＣＰＵ４１は、選択された商品の商品情報に基づき、商品名およびＡＲマーカを、発行枚数分、ラベルシール２６に印刷する印刷指令を印刷装置６に出力する印刷処理を行う（Ｓ１５）。ＣＰＵ４１は処理をＳ１に戻し、待機状態に移行する。オペレータは、印刷されたラベルシール２６を商品に貼り付け、売り場に運び、店頭に陳列する。

【0046】

図３、図７～図１２を参照し、商品識別処理について説明する。識別端末４において、オペレータによって商品識別処理のアプリケーションを起動するための操作が入力部４７を介して行われた場合、記憶部４４に記憶された商品識別プログラムを制御部４０のＣＰＵ４１が読み出して実行することにより、商品識別処理が開始される。

【0047】

制御部４０のＣＰＵ４１は、表示部４８に初期状態の商品識別画面８０を表示する（Ｓ２１）。図３（Ａ）に示す商品識別画面８０では、初期状態において、撮影画像表示領域８２には何も表示されず、識別開始ボタン８５の代わりにスタートボタン（図示略）が設けられて、アクティブ化される。なお、点数入力領域８１と税率設定領域８３は非アクティブの状態である。

【0048】

図７に示すように、ＣＰＵ４１は、オペレータのタッチ操作によるスタートボタンの操作の入力待ちを行う（Ｓ２２：ＮＯ）。スタートボタンが操作されると（Ｓ２２：ＹＥＳ）、ＣＰＵ４１は撮影装置３に撮影指令を出し、撮影部３１による撮影範囲Ｐの撮影を開始する（Ｓ２３）。撮影範囲Ｐの撮影は映像により行われる。ＣＰＵ４１は撮影装置３の制御部３２から映像データを受信し、表示部４８の撮影画像表示領域８２への表示を開始する。図１１（Ａ）に示すように、３つのカレーパン、２つのあんパン、および１つのメロンパンが入れられたトレー２５が撮影台２に載置された場合を例に説明する。撮影画像には、トレー２５と、ラベルシール２６が貼られた袋に包装された上記複数のパンが写る。各ラベルシール２６にはコードが印刷されており、撮影画像にもコードが写る。なお、パンの１つ（画面右上）は、ラベルシール２６を下向きにしてトレー２５に配置されており、撮影画像にコードが写らないものとする。

【0049】

図７に示すように、ＣＰＵ４１はＲＡＭ４３に商品リスト１２０を作成し、確定フラグおよび消去タイマーを初期状態にする（Ｓ２５）。次いで点数入力領域８１がアクティブ化され、タッチ操作による商品点数の入力（選択）が可能な状態となる。商品点数は、オペレータが目視で数えた撮影台２上の商品の数である。また、税率設定領域８３がアクティブ化され、タッチ操作による税率の入力（設定）が可能な状態となる（Ｓ２６）。商品点数の入力と税率の設定は、識別開始ボタン８５が操作されるまで、入力可能な状態が維持される。商品点数の入力を受け付けた場合、ＣＰＵ４１は、入力された商品点数をＲＡＭ４３に記憶し、点数入力領域８１において、入力された商品点数を示す数値を囲む位置に、丸印を表示する処理を行う。また、税率が設定された場合、ＣＰＵ４１は、設定された税率をＲＡＭ４３に記憶し、例えば設定されたボタンの画像をボタンが押された状態の画像にして、設定状態がわかるように表示する。

【0050】

Ｓ２７～Ｓ３６では、撮影画像に写る商品のコードを抽出し、コードリスト１１０に記憶する処理が行われる。ＣＰＵ４１は、ＲＡＭ４３にコードリスト１１０を作成し（Ｓ２７）、映像データから撮影画像を取得する（Ｓ２８）。また、撮影画像に後述する目印２８が重ねて表示されている場合は消去する（Ｓ２９）。ＣＰＵ４１は、取得した撮影画像に対するコード抽出処理を行う（Ｓ３１）。コード抽出処理では、画像認識により、撮影画像においてＡＲマーカが抽出される。なお、商品の包装が他の商品のコードと重なって配置される場合があるが、包装が透明であれば、ＡＲマーカを抽出する処理への影響は生じにくい。

【0051】

ＣＰＵ４１は、抽出したＡＲマーカの四隅の位置座標をコード座標として取得する（Ｓ３２）。さらにＣＰＵ４１は、画像認識により、Ｓ３１で抽出した個々のＡＲマーカを含む個々の商品の画像を抽出し、その輪郭線の位置座標を輪郭座標として取得する（Ｓ３３）。ＣＰＵ４１は、コード座標と輪郭座標とを、ＡＲマーカに対応付けて、コードリスト１１０に記憶する（Ｓ３５）。コードリスト１１０には、ＡＲマーカの抽出順に識別番号が割り当てられる。ＣＰＵ４１は、コード座標に基づいて、ＡＲマーカのそれぞれに対し、識別対象として抽出したことを示す目印の表示を撮影画像に行う（Ｓ３６）。

【0052】

図１１（Ｂ）に示すように、抽出したＡＲマーカを示す目印２８が、撮影画像に重ねて表示される。目印２８は、コード座標に基づいて作成される。故にオペレータは、撮影画像において、コードが正しく識別されているか確認することができる。

【0053】

図８に示すように、ＣＰＵ４１は、撮影画像においてコードが１つも識別されなかった場合（Ｓ４１：ＮＯ）、メッセージ表示領域８４に警告メッセージＡを表示する（Ｓ４２）。警告メッセージＡは、例えば「撮影台に商品を置いてください。」というメッセージである（図３（Ａ）参照）。ＣＰＵ４１は処理をＳ２７に戻し、Ｓ２７～Ｓ４６の処理を繰り返して行う。この場合にＣＰＵ４１は、コードリスト１１０を作成し直し（Ｓ２７）、すでに目印２８が表示されている場合は消去してから（Ｓ２９）、コードの抽出を行う。

【0054】

ＣＰＵ４１は、商品点数の入力がない場合（Ｓ４３：ＮＯ）、または税率の入力がない場合（Ｓ４５：ＮＯ）、あるいは識別開始ボタン８５の操作がない場合には（Ｓ４６：ＮＯ）、処理をＳ２７に戻し、Ｓ２７～Ｓ４６の処理を繰り返して行う。すなわちコードリスト１１０は常時更新される。オペレータは、トレー２５上で商品が重なって配置され、コードが識別できない場合に、撮影画像に表示される目印２８を確認しながら商品の重なり状態を解消することができる。また、オペレータは、識別開始ボタン８５を操作する前であれば、商品点数および税率を変更することができる。

【0055】

ＣＰＵ４１は、オペレータのタッチ操作による商品点数の入力（Ｓ４３：ＹＥＳ）、税率の入力（Ｓ４５：ＹＥＳ）、および識別開始ボタン８５の操作のすべての操作がなされた場合（Ｓ４６：ＹＥＳ）、処理をＳ５１に進める。

【0056】

Ｓ５１～Ｓ５７では、撮影画像から抽出したコードを識別し、商品リスト１２０に商品情報を記憶する処理が行われる。ＣＰＵ４１は、コードリスト１１０に記憶された識別番号を、コードリスト１１０への記憶順に１つ選択する（Ｓ５１）。ＣＰＵ４１は、選択した識別番号が商品リスト１２０に記憶されていれば（Ｓ５２：ＹＥＳ）、処理をＳ５７に進める。選択した識別番号が商品リスト１２０に記憶されていない場合（Ｓ５２：ＮＯ）、ＣＰＵ４１はコード識別処理を行う（Ｓ５３）。ＣＰＵ４１は、記憶部４４の商品情報データベース１００に照会し、コード抽出処理で抽出したＡＲマーカが示すコード番号に対応する商品情報を検索する。コード識別処理は、商品情報データベース１００に登録された全ての商品情報に対して行われる。抽出したＡＲマーカに対応する商品情報が見つかると、ＣＰＵ４１は商品情報データベース１００から商品情報を読み込み、コードリスト１１０において選択した識別番号に対応するコード座標および輪郭座標と対応付けて、商品リスト１２０に記憶する（Ｓ５５）。またＣＰＵ４１は、設定済みの税率を商品の単価に掛け合わせて単価税額を演算し、商品リスト１２０に記憶する（Ｓ５６）。ＣＰＵ４１は、コードリスト１１０において未選択の識別番号があれば（Ｓ５７：ＹＥＳ）、処理をＳ５１に戻し、抽出したすべてのＡＲマーカに対するコード照会処理が行われる。コードリスト１１０のすべての識別番号が選択済みであれば（Ｓ５７：ＮＯ）、ＣＰＵ４１は処理をＳ６１に進める。

【0057】

Ｓ６１～Ｓ６６では、商品リスト１２０に記憶する商品情報の商品名を、撮影画像に写るコードの近傍に表示する処理が行われる。図９に示すように、ＣＰＵ４１は、商品リスト１２０に記憶された識別番号を、商品リスト１２０への記憶順に１つ選択する（Ｓ６１）。ＣＰＵ４１は、選択した識別番号に対応する確定フラグが１であり、撮影画像に商品名を表示させる処理が完了している場合には（Ｓ６２：ＹＥＳ）、処理をＳ７１に進める。選択した識別番号に対応する確定フラグが０の場合（Ｓ６２：ＮＯ）、ＣＰＵ４１は、識別番号に対応する商品の商品名を撮影画像において表示する位置を、コード座標に基づいて決定し（Ｓ６３）、撮影画像に写るコードの近傍に商品名を表示する（Ｓ６５）。ＣＰＵ４１は、確定フラグによって、撮影画像に同じ商品の商品名が二重に表示されるのを防止する。図１１（Ｃ）に示すように、コード抽出処理において抽出されたＡＲマーカの位置の近傍に、ＡＲマーカが示すコードに対応する商品情報から取得された有効な商品の商品名２９が、撮影画像に重ねて表示される。図９に示すように、ＣＰＵ４１は確定フラグを１にして（Ｓ６６）、処理をＳ７１に進める。

【0058】

Ｓ７１～Ｓ８６では、トレー２５から商品が取り除かれたり、トレー２５内の商品の位置が大きく変更されたりした場合に、その商品の商品情報を商品リスト１２０から取り除く処理が行われる。ＣＰＵ４１は、商品リスト１２０において選択中の識別番号が、コードリスト１１０に含まれるか判断する（Ｓ７１）。コードリスト１１０は常時更新されている。故に、商品リスト１２０に記憶されている識別番号がコードリスト１１０に記憶されていない状態は、トレー２５から商品が取り除かれたり、遮蔽物等によってコードが撮影画像に写らなくなった状態である。例えば、図１２（Ａ）に示すように、オペレータが、トレー２５の右上角部において裏返しに配置されたパンを、コードが写るように表向きに直そうとして撮影範囲Ｐの左下方から腕を延ばすと、一部のコードが腕に隠れて撮影画像に写らなくなる。この場合、オペレータがパンの向きを直し撮影範囲Ｐから腕をどけると、撮影画像に写らなくなったコードは、再び撮影画像に写るようになる。一方で、トレー２５から商品が取り除かれた場合は、撮影画像に写らなくなったコードは、再び撮影画像に写ることがない。

【0059】

図９に示すように、識別番号がコードリスト１１０に含まれない場合（Ｓ７１：ＮＯ）、ＣＰＵ４１は、消去タイマーが稼働していなければ稼働させ（Ｓ８１：ＮＯ、Ｓ８２）、稼働中の場合は（Ｓ８１：ＹＥＳ）、稼働状態を維持して処理をＳ８３に進める。ＣＰＵ４１は、消去タイマーによる計時が所定時間経過したか判断し、経過していなければ（Ｓ８３：ＮＯ）、処理をＳ８７に進める。所定時間は、例えば５秒である。所定時間が経過した場合（Ｓ８３：ＹＥＳ）、ＣＰＵ４１は、選択中の識別番号に対応し、撮影画像に重ねて表示する商品名２９を消去する。また、ＣＰＵ４１は、選択中の識別番号に対応する商品情報等のデータを商品リスト１２０から削除する（Ｓ８５）。ＣＰＵ４１は、メッセージ表示領域８４に警告メッセージＢを表示する（Ｓ８６）。警告メッセージＢは、例えば「識別されなくなった商品があります。」というメッセージである。ＣＰＵ４１は、商品リスト１２０において未選択の識別番号があれば（Ｓ８７：ＹＥＳ）、処理をＳ６１に戻し、未選択の識別番号に対応する商品名２９の表示を行う。

【0060】

図１２（Ａ）に示すように、オペレータが、トレー２５の右上角部において裏返しに配置されたパンを表向きに直し、撮影範囲Ｐ内から腕を外すと、図１２（Ｂ）に示すように、撮影画像に写らなくなっていたコードは、再び撮影画像に写るようになる。この場合、コードリスト１１０には、商品リスト１２０に記憶されている識別番号が、再び記憶されるようになる。よって図９に示すように、Ｓ７１の処理において、商品リスト１２０から選択された識別番号がコードリスト１１０にも含まれる場合（Ｓ７１：ＹＥＳ）、ＣＰＵ４１は、消去タイマーが稼働していれば消去タイマーをリセットし、非稼働の状態にする（Ｓ７２：ＹＥＳ、Ｓ７３）。また、ＣＰＵ４１は、消去タイマーが稼働していない場合（Ｓ７２：ＮＯ）、非稼働の状態を維持して処理をＳ７５に進める。

【0061】

ＣＰＵ４１は、選択された識別番号に対応する商品リスト１２０のコード座標と、同じ識別番号に対応するコードリスト１１０のコード座標との距離差を求める（Ｓ７５）。距離差が所定距離未満の場合（Ｓ７５：ＮＯ）、ＣＰＵ４１は、トレー２５内で商品の配置位置は移動されていないとして、処理をＳ８７に進める。所定距離は、例えばトレー２５の左右方向の略１／４の距離である。距離差が所定距離以上の場合（Ｓ７５：ＹＥＳ）、ＣＰＵ４１は、トレー２５内で商品の配置位置が移動され、トレー２５から取り除かれる過程においてコードが抽出された可能性があるとして、処理をＳ８５に進める。よってＣＰＵ４１は、選択中の識別番号に対応する商品の商品名２９を消去し、商品情報等のデータを商品リスト１２０から削除する（Ｓ８５）。ＣＰＵ４１は、警告メッセージＢを表示し（Ｓ８６）、処理をＳ８７に進める。

【0062】

商品リスト１２０のすべての識別番号が選択済みであれば（Ｓ８７：ＮＯ）、ＣＰＵ４１は処理をＳ９１に進める。ＣＰＵ４１は、商品点数とコード点数を比較する。商品点数は、点数入力領域８１において入力された数である。コード点数は、商品リスト１２０に記憶される商品の数、すなわち識別番号の数である。図１０に示すように、商品点数とコード点数とが一致しない場合（Ｓ９１：ＮＯ）、ＣＰＵ４１は、メッセージ表示領域８４に警告メッセージＣを表示する（Ｓ９２）。警告メッセージＣは、例えば「識別されていない商品があります。」というメッセージである。この場合、ＣＰＵ４１は、処理をＳ２７に戻す。

【0063】

商品点数とコード点数とが一致しない間は、Ｓ２７～Ｓ４６のコード抽出処理と、Ｓ５１～Ｓ５７のコード識別処理と、Ｓ６２～Ｓ６６の商品名２９を表示する処理とが繰り返し実行される。商品名２９の表示は、二重に行われないように確定フラグによって管理される。また、商品名２９の消去は、商品リスト１２０から商品情報等の削除によって行われる。よって図１２（Ａ）に示すように、オペレータの腕によって一部のコードが一時的に撮影画像に写らない状態となった場合、常時更新される目印２８は対象のコードに対して表示されなくなるが、商品名２９は非表示とならない。そして図１２（Ｂ）に示すように、オペレータがパンの向きを正すことでコードが正しく抽出され、その結果、商品点数とコード点数とが一致する場合（Ｓ９１：ＹＥＳ）、ＣＰＵ４１は、メッセージ表示領域８４に識別完了メッセージを表示する（Ｓ９３）。識別完了メッセージは、例えば「全商品が識別されました。」というメッセージである。

【0064】

次に図１０に示すように、ＣＰＵ４１は、商品リスト表示領域８６に、撮影画像から識別されたコードに対応する商品情報として、商品名と単価を一覧表示する（図３（Ｂ）参照）。商品名が同じ商品は１つにまとめて表示され、個数が表示される（Ｓ９５）。また、ＣＰＵ４１は、合計額表示領域８７に、全商品の個数と、個々の商品の単価を足し合わせた小計額と、個々の商品の単価税額を足し合わせた消費税額と、小計額と消費税額とを足し合わせた税込合計額とを表示する。ＣＰＵ４１は、会計ボタン８８と戻るボタン８９をアクティブ化し、待機してタッチ操作を受け付ける（Ｓ９６：ＮＯ、Ｓ９７：ＮＯ）。戻るボタン８９が操作された場合（Ｓ９６：ＹＥＳ）、ＣＰＵ４１は処理をＳ２１に戻し、商品識別画面８０の表示状態を初期状態に戻して商品識別処理を最初から実行し直す。

【0065】

会計ボタン８８が操作された場合（Ｓ９７：ＹＥＳ）、ＣＰＵ４１は、商品リスト１２０に記憶された識別番号を、商品リスト１２０への記憶順に１つ選択する（Ｓ１０１）。ＣＰＵ４１は、選択した識別番号に対応する商品の商品名、単価および税率を、レジスター装置７に送信する（Ｓ１０２）。ＣＰＵ４１は、識別番号の商品に対応し、撮影画像に重ねて表示する目印２８と商品名２９を削除する（Ｓ１０３）。ＣＰＵ４１は、撮影画像において、輪郭座標に基づく商品の輪郭線の内部領域に、予め作成した背景画像を表示する（Ｓ１０５）。背景画像は、例えば、撮影台２に載置したトレー２５を、商品を配置しない状態で撮影した画像である。図１２（Ｃ）に示すように、輪郭線３０の内部領域に背景画像を表示することで、オペレータは、撮影画像において、識別番号の商品が、あたかもトレー２５から取り除かれたように見える。ＣＰＵ４１は、商品リスト１２０において未選択の識別番号があれば（Ｓ１０６：ＹＥＳ）、処理をＳ１０１に戻し、レジスター装置への商品情報の送信と、輪郭線３０内への背景画像の表示とを行う。そして商品リスト１２０のすべての識別番号が選択済みであれば（Ｓ１０６：ＮＯ）、ＣＰＵ４１は処理をＳ２１に戻す。ＣＰＵ４１は、商品識別画面８０の表示状態を初期状態に戻して商品識別処理を最初から実行し直す。

【0066】

レジスター装置７は、予め商品情報のデータベースを記憶する。商品リスト１２０に含まれる商品情報に基づき、販売された商品の商品名をデータベースから読み込む。レジスター装置７は商品ごとの個数を求め、単価と掛け合わせた金額を合計して小計額を算出する。さらに、小計額に税率を掛け合わせた消費税額と、小計額と消費税額とを足し合わせた税込合計額とを算出し、レジスター装置７の表示部に表示する。オペレータはカスタマーから商品の代金を受け取り、販売された商品の商品名、販売数、単価、合計金額等が印刷されたレシートを発行する。

【0067】

以上説明したように、商品識別システム１は、撮影画像から商品のコードを抽出し、商品情報との対応付けを行い、商品名２９を表示部４８に表示する。撮影画像は随時取得されており、外乱等により、既に商品情報との対応付けが済んだ商品のコードが一時的に撮影画像に含まれなくなる場合がある。商品識別システム１は、コードと商品情報とを対応付けてＲＡＭ４３の商品リスト１２０に記憶することで、その情報を維持することができる。故に商品識別システム１は、外乱等により一時的に表示されなくなった商品のコードが新たに取得された撮影画像において再び表示された場合に、そのコードと商品情報との対応付けを再度行わないので、処理速度の低下を抑制することができる。

【0068】

商品識別システム１は、コードとの対応付けが済んだ商品の商品名２９を、撮影画像において、同じ位置に継続して表示することができる。故にオペレータは、識別がなされた商品を把握しやすい。

【0069】

商品識別システム１は、外乱等により、既に商品情報との対応付けが済んだ商品のコードが一時的に撮影画像に含まれなくなった場合でも、そのコードに対応する商品名２９を、表示されなくなる前と同じ位置に継続して表示することができる。すなわち商品識別システム１は、一時的に表示されなくなった商品のコードに対応する商品情報を再度識別するための処理が不要になるので、処理全体にかかる時間を短縮することができる。また、オペレータは、対応付けが済んだ商品を取り除くことによって、識別されていない商品がどれかを把握しやすくできる。

【0070】

商品識別システム１は、既に商品情報との対応付けが済んだ商品の位置がずれ、そのコードのコード座標に変更があった場合でも、そのコードに対応する商品名２９を同じ位置に継続して表示することができる。すなわち商品識別システム１は、位置ずれした商品のコードと商品情報との対応付けを再度行わないので、処理速度の低下を抑制することができる。故にオペレータは、識別されていない商品がどれかを把握しやすい。

【0071】

商品識別システム１は、例えばカスタマーの都合によって撮影範囲から商品が取り除かれた場合など、既に商品情報との対応付けが済んだ商品の商品名２９を削除することができる。

【0072】

例えばカスタマーの都合によって商品が撮影範囲から取り除かれた場合に、商品のコードが抽出できなくなる。商品識別システム１は、コードが抽出できなくなってから所定時間が経過した場合に、その商品は取り除かれたものとして、商品名２９を削除することができる。

【0073】

例えばカスタマーの都合によって商品が撮影範囲から取り除かれる場合に、商品のコードのコード座標が変化する。商品識別システム１は、コード座標が所定距離よりも大きく変化した場合、その商品は取り除かれるものとして、商品名２９を削除することができる。

【0074】

商品識別システム１は、撮影画像からコードを抽出処理は随時実行されているが、所定の操作が入力されるまで、商品情報との対応付けと商品リスト１２０への記憶は行われない。故に商品識別システム１は、制御部４０にかかる負荷を低減することができる。

【0075】

商品識別システム１は、オペレータによって撮影範囲内に配置された商品の数の入力が行われるまで、商品情報との対応付けと商品リスト１２０への記憶を行わず、制御部４０にかかる負荷を低減することができる。

【0076】

商品識別システム１は、オペレータによって商品情報との対応付けの開始を指示する識別開始ボタン８５の操作が行われるまで、商品情報との対応付けと商品リスト１２０への記憶を行わず、制御部４０にかかる負荷を低減することができる。

【0077】

商品識別システム１は、オペレータによって商品情報との対応付けの終了を指示する会計ボタン８８の操作が行われると、コードの抽出、商品情報との対応付けおよび商品リスト１２０への記憶を終了し、それ以後の制御部４０にかかる負荷を低減することができる。

【0078】

商品識別システム１は、商品情報を商品リスト１２０に記憶し次第、順に、レジスター装置７に送信するので、全ての商品情報をまとめてレジスター装置７に送信する場合と比べ、会計処理の全体にかかる時間を短縮することができる。

【0079】

商品識別システム１は、商品情報の一部を修正する税率等のパラメータによって、商品情報に含まれる商品価格を修正した上で、商品リスト１２０に記憶し、演算による負荷を分散することで、あとからまとめて演算する場合と比べて、制御部４０にかかる負荷を低減し、会計処理の全体にかかる時間を短縮することができる。

【0080】

商品識別システム１は、レジスター装置７への商品情報の送信が完了した商品の画像を、例えば撮影範囲Ｐ内で商品を配置する部位の画像等（背景画像）で覆い、その商品を非表示とすることができる。故にオペレータは、識別されていない商品がどれかを把握しやすい。

【0081】

上記実施形態において、表示部４８は、本発明の「表示装置」に相当する。制御部４０は、本発明の「制御装置」に相当する。記憶部４４は、本発明の「記憶装置」に相当する。ＣＰＵ４１が実行するＳ２３、Ｓ２８の処理は、本発明の「撮影処理」に相当する。ＣＰＵ４１が実行するＳ３１の処理は、本発明の「抽出処理」に相当する。ＣＰＵ４１が実行するＳ５３の処理は、本発明の「取得処理」に相当する。ＲＡＭ４３の商品リスト１２０は、本発明の「一時記憶部」に相当する。ＣＰＵ４１が実行するＳ５５の処理は、本発明の「一時記憶処理」に相当する。ＣＰＵ４１が実行するＳ６５の処理は、本発明の「表示処理」に相当する。ＣＰＵ４１が実行するＳ１０２の処理は、本発明の「送信処理」に相当する。

【0082】

ＣＰＵ４１が実行するＳ３２の処理は、本発明の「位置取得処理」に相当する。ＣＰＵ４１が実行するＳ６３の処理は、本発明の「決定処理」に相当する。ＣＰＵ４１が実行するＳ８５の処理は、本発明の「削除処理」に相当する。ＣＰＵ４１が実行するＳ８２の処理は、本発明の「計時処理」に相当する。ＣＰＵ４１が実行するＳ８３の処理は、本発明の「時間判断処理」に相当する。ＣＰＵ４１が実行するＳ７５の処理は、本発明の「位置判断処理」に相当する。ＣＰＵ４１が実行するＳ２６の処理は、本発明の「入力処理」に相当する。ＣＰＵ４１が実行するＳ１０５の処理は、本発明の「隠蔽処理」に相当する。

【0083】

本発明は上記実施形態から変更できる。コードはＡＲマーカを例に説明したが、公知のバーコード、ＱＲコード（登録商標）等をコードとして用いてもよいし、独自に開発したマーカをコードとして用いてもよい。商品情報は商品名と単価の他に、原材料、製造年月日、製造工場、アレルギー情報など、その他の情報を含んでもよい。

【0084】

識別端末４はタブレット端末としたが、パーソナルコンピュータ、スマートフォン等、他のデバイスを用いてもよい。パーソナルコンピュータを使用する場合、タッチパネル機能を搭載したディスプレイを用いてオペレータによる操作の入力を行うとよい。また、タブレット端末に搭載するカメラ機能を、撮影装置３として使用してもよい。この場合、カメラ機能を有するタブレット端末は、商品識別装置として動作し、本実施形態の商品識別システム１として単体で機能することができる。

【0085】

Ｓ７５～Ｓ８６の処理において、ＣＰＵ４１は、商品のコードが撮影画像に写らなくなったり、コードの位置が所定距離以上移動した場合に、撮影画像の商品名２９を消去し、商品リストからその商品のデータを削除した。これに限らず、ＣＰＵ４１は商品リストにおいて商品の全部のデータを削除せず、一部のデータ、例えば確定フラグをオフにして、コード識別処理をやり直してもよい。この場合ＣＰＵ４１は、Ｓ５２：ＹＥＳの場合に、確定フラグがオフであれば、Ｓ５３のコード識別処理を実行するとよい。また、オペレータがトレー２５から商品を取り除いた場合、所定時間が経過するまでは、撮影画像に商品名２９が残ることになる。所定時間の経過前に、その商品のデータを商品リストから削除したい場合、例えば、オペレータが撮影画像に残る商品名２９をタップすることで、ＣＰＵ４１は、撮影画像から商品名２９を消去し、商品リストから商品情報を消去できるようにしてもよい。具体的には、図９において、Ｓ８３：ＮＯの場合に商品名２９のタップの有無を判断し、タップありの場合はＳ８５に進み、タップなしの場合はＳ８７へ進む処理を加えてもよい。

【0086】

ＣＰＵ４１は、Ｓ４３で商品点数が入力済みの場合にコード識別処理を実行したが、Ｓ９７で会計ボタン８８が操作される直前まで、商品点数の入力を受け付けてもよい。ＣＰＵ４１は、Ｓ４５で税率が入力済みの場合にコード識別処理を実行したが、Ｓ９７で会計ボタン８８が操作される直前まで、税率の入力を受け付けてもよい。ＣＰＵ４１は、Ｓ４６で識別開始ボタン８５の操作を契機にコード識別処理を実行したが、識別開始ボタン８５は設けず、コードが抽出され次第、コード識別処理が実行されてもよい。

【0087】

ＣＰＵ４１はＳ９７で会計ボタン８８の操作を契機にレジスター装置７に商品リスト１２０の商品の商品情報を送信したが、Ｓ６６で確定フラグがオンになり次第、商品情報をレジスター装置７に送信してもよい。ＣＰＵ４１は、Ｓ１０２で商品リスト１２０の商品を順に１つずつレジスター装置７に送信し、Ｓ１０５で商品の画像に重ねて背景画像を表示したが、これらの処理は商品リスト１２０をレジスター装置７に送信することで一括で行ってもよい。Ｓ１０５で商品の画像に背景画像を重ねて表示する処理は行わなくてもよい。あるいはＣＰＵ４１は、輪郭座標の取得を行わず、Ｓ１０５でコード座標に基づきＡＲマーカ、またはＡＲマーカを中心とする周辺の領域に背景画像を表示してもよい。もしくは、ラベルシール２６が商品の包装の所定位置に貼り付けられるものとして、ＣＰＵ４１は、輪郭座標の取得を行わず、Ｓ１０５でコード座標に基づきＡＲマーカの位置および傾きを算出し、算出した情報に基づき商品およびラベルシール２６を覆う大きさの四角い背景画像をラベルが表示されている部分に貼り付けてもよい。背景画像は、必ずしもトレー２５の撮影画像でなくてもよく、単に単色のベタ塗り画像や、例えばチェックマークや花などを描いた所定の画像等であってもよい。または、ＡＲマーカに設けた目印２８である枠体の色を、例えば赤に変更したり、商品名２９の文字色や背景色を、例えば赤に変更したりすることで、オペレータが商品のデータを送信済みであることを認識しやすくしてもよい。

【0088】

上記実施形態では、識別子としてＡＲマーカを使用したが、ＡＲマーカに代えて、ＱＲコード（登録商標）、カメレオンコード（登録商標）等の２次元コード、バーコード、ＲＦＩＤタグ等を使用してもよい。

【符号の説明】

【0089】

１ 商品識別システム
３ 撮影装置
７ レジスター装置
４０ 制御部
４１ ＣＰＵ
４３ ＲＡＭ
４４ 記憶部
４８ 表示部
１２０ 商品リスト

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】