(58)【調査した分野】(Int.Cl.,DB名)
前記第1の画像のあとで撮像した画像上に、前記商品と前記容器とのうち前記容器のみを識別した場合に、前記処理部が、売上登録した商品の一覧を出力する、請求項1記載の商品読取装置。
【発明を実施するための形態】
【0007】
以下、商品読取装置の実施形態について、図面を用いて説明する。
【0008】
(第1の実施形態)
図1は、一実施形態に係る店舗会計システムの外観図である。このシステムは、商品読取装置1と、会計処理部としてのPOS(Point Of Sales)端末2とを含む。
【0009】
商品読取装置1は、会計カウンタ3の上に取り付けられる。POS端末2は、レジ台4の上にドロワ5を介して設置される。商品読取装置1とPOS端末2とは、通信ケーブルにより電気的に接続される。会計カウンタ3は、その奥側の客通路に沿って細長い形状である。レジ台4は、会計カウンタ3に沿って移動する客の移動方向に対して下流側の会計カウンタ3の端部手前側に、会計カウンタ3に対して略垂直に置かれる。そして、この会計カウンタ3の手前側とレジ台4の手前側が、店員のスペースとなる。
【0010】
商品読取装置1は、会計カウンタ3の客通路側の縁の略中央部に立設された板状のボディ部10Aと、このボディ部10Aの正面上端部から、上記正面に対して略直交する方向(会計カウンタ3と対向する方向)に突出した庇部10Bとを備える。そして、ボディ部10Aの頂部に、商品の登録に係るデバイスとしてキーボード11、タッチパネル12及び客用ディスプレイ13が取り付けられる。また、庇部10Bに、撮像部14が内蔵される。
【0011】
撮像部14は、エリアイメージセンサであるCCD(Charge Coupled Device)撮像素子及びその駆動回路と、撮像領域の画像をCCD撮像素子に結像させるための撮像レンズとを備える。撮像領域とは、庇部10Bの会計カウンタ3と対向する面に形成された読取窓から撮像レンズを通してCCD撮像素子のエリアに結像する画像の領域を指す。撮像部14は、撮像レンズを通ってCCD撮像素子に結像した撮像領域の画像を出力する。
【0012】
会計カウンタ3には、客が購入する商品が入れられた、容器としてのカゴ6が置かれる。店員は、商品が入れられたカゴ6を会計カウンタ3の庇部10Bの下方に置く。撮像部14によって商品が入れられたカゴ6の画像が撮像され、撮像された画像は、商品読取装置1の機能によりタッチパネル12に表示される。会計カウンタ3における庇部10bの下側は、撮像部14の撮像領域となる。
【0013】
POS端末2は、商取引の決済に係るデバイスとしてキーボード21、オペレータ用ディスプレイ22、客用ディスプレイ23及びレシートプリンタ24を備える。
【0014】
図2は、商品読取装置1とPOS端末2とのハードウェア構成を示すブロック図である。
【0015】
商品読取装置1は、処理部としてのCPU(Central Processing Unit)101を搭載する。CPU101に、アドレスバス,データバス等のバスライン102を介して、ROM103とRAM104とが接続される。ROM103には、CPU101によって実行されるプログラムが記憶される。RAM104には、POS端末2から送信されるオブジェクトデータファイル7のデータや、売上登録した商品の一覧としての売上登録リスト8のデータが記憶される。バスライン102には、前記撮像部14が接続される。接続インターフェース105及び接続インターフェース106を介して、キーボード11、タッチパネル12及び客用ディスプレイ13が、バスライン102に接続される。タッチパネル12は、例えば液晶ディスプレイを用いたパネル表示部121と、このパネル表示部121の画面上に重ねて配置されたタッチパネルセンサ122とを備える。
【0016】
POS端末2は、CPU201を搭載する。CPU201に、バスライン202を介して、ROM203、RAM204、HDD(Hard Disk Drive)装置205、通信インターフェース206及び接続インターフェース207が接続される。バスライン202に、キーボード21、オペレータ用ディスプレイ22、客用ディスプレイ23、プリンタ24及びドロワ5が接続する。通信インターフェース206は、LAN(Local Area Network)等のネットワークアダプタである。POS端末2は、ストアコンピュータSCからオブジェクトデータファイル7を受信する。受信したオブジェクトデータファイル7は、HDD装置205が記憶する。接続インターフェース207は、通信ケーブルを介して、商品読取装置1の接続インターフェース105と接続インターフェース106とに接続する。POS端末2は、接続インターフェース207を介して商品読取装置1とデータの送受信をする。POS端末2は、商品読取装置1で読み取られた商品情報を受信する。POS端末2は、前記オブジェクトデータファイル7のデータを商品読取装置1に送信する。ROM203には、CPU201によって実行されるプログラムが記憶される。RAM204には、商品の名称や単価が記憶される。
【0017】
図3は、オブジェクトデータファイル7のデータ構造を示す模式図である。オブジェクトデータファイル7には、各商品を識別する商品コードに関連付けて、その商品の名称、単価、外観特徴パラメータ等が記憶される。外観特徴パラメータは、商品の形状、表面の色合い、模様、凹凸状況等のような商品の標準的な外観の特徴量を商品毎に符号化したものである。オブジェクトデータファイル7には、売上登録終了を示すコードに関連付けて、カゴ6の外観特徴パラメータ等が記憶される。
【0018】
図4は、売上登録リストデータ8のデータ構造を示す模式図である。売上登録リストデータ8には、登録された各商品の商品コードが記憶される。商品コードに関連付けてその商品の名称、単価、位置姿勢情報等を記憶する構成としてもよい。位置姿勢情報は、撮像領域における商品の位置や向きを符号化したものである。
【0019】
図5は商品読取装置1のCPU101の処理を表すフローチャートである。
【0020】
商品が入れられたカゴ6を会計カウンタ3の撮像部14の下の撮像領域にセットした店員がキーボード11を操作することによって生じる信号に応じて、CPU101は処理を開始する。
【0021】
CPU101は、処理開始フラグを0にする(501)。CPU101は、撮像部14で撮像領域を撮像する(502)。CPU101は撮像領域の画像をRAM104に保存する。
【0022】
前回撮像した結果としての撮像領域の画像を前回画像G1、今回撮像した結果としての撮像領域の画像を今回画像G2とする。
【0023】
CPU101は、処理開始フラグが0である場合(503のNo)は504を行わずに505を行う。
【0024】
CPU101は、処理開始フラグが1である場合(503のYes)、RAM104上の今回画像G2に、RAM104上の前回画像G1とは異なる部分があるかどうかを探す(504)。
【0025】
今回画像G2上に、前回画像G1とは異なる部分がない場合(504のNo)、CPU101は 再び502を行う。
【0026】
今回画像G2上に、前回画像G1とは異なる部分がある場合(504のYes)、505を行う。
【0027】
CPU101は、RAM104上の今回画像G2上の、オブジェクトデータファイル7で定義されている各商品の外観特徴パラメータに合致する部分を探す(505)。
【0028】
RAM104上の今回画像G2上の、商品の外観特徴パラメータに合致する部分を合致部分と呼ぶ。
【0029】
CPU101は、合致部分が見つからなかった場合(505のNo)、処理開始フラグが1であれば(513のYes)、再び502を行う。処理開始フラグが0であれば(513のNo)、処理を終了する。
【0030】
CPU101は、合致部分が見つかった場合(505のYes)、合致部分がカゴ6に合致した部分かどうか判定する(506)。
【0031】
合致部分がカゴ6に合致した部分である場合(506のYes)、処理開始フラグが0であれば(507のNo)、処理を終了する。処理開始フラグが1であれば(507のYes)、CPU101は売上登録リストを接続インターフェース105を介してPOS端末2へ出力して(508)、処理を終了する。
【0032】
合致部分がカゴ6に合致した部分でない場合(506のNo)、CPU101は、処理開始フラグを1にする(509)。このフローチャートの構成上、処理開始フラグは、商品が撮像領域内にある状態でCPU101が処理を開始したかどうかを示す。
【0033】
CPU101は、ひとつの商品の合致部分に印をつけた印画像をRAM104上に保存する(510)。CPU101は、印以外の領域を透過色として印画像を今回画像G2にオーバレイした画像をパネル表示部121に表示する(511)。CPU101は、合致部分に印をつけた商品を売上登録リストへ登録する(512)。CPU101は 再び502を行う。
【0034】
図6は、POS端末2のCPU201の処理を表すフローチャートである。接続インターフェース207を介して商品読取装置1から売上登録リストデータを受信すると、CPU201は処理を開始する。CPU201は、RAM204に売上登録リストデータを記憶する(601)。CPU201は、RAM204に記憶した商品群の単価の合計を、RAM204に記憶する(602)。CPU201は、オペレータ用ディスプレイ22と客用ディスプレイ23とに商品群の単価の合計を表示して(603)、客から受け取った金額を入力するための預かり金入力待ちを行うなど、売上登録リストデータ上の商品の代金の会計処理を行うための状態となり処理を終了する。
【0035】
図7乃至
図17を用いて商品読取装置1の動作について説明する。
【0036】
図7は商品が入れられたカゴ6を表す図である。カゴ6に、商品であるティシュ―61、ポテトチップス62、うどん63、チーズ64、箸65が入っている。会計カウンタ3の撮像部14の下の撮像領域にセットされたカゴ6自体は、商品に隠れて、撮像部14からは認識に十分な姿が確認できない状態にある。箸65は、チーズ64とうどん63とティシュ―61とに隠れて、撮像部14からは認識に十分な姿が確認できない状態にある。チーズ64は、ティシュ―61に隠れて、撮像部14からは認識に十分な姿が確認できない状態にある。うどん63は、ポテトチップス62に隠れて、撮像部14からは認識に十分な姿が確認できない状態にある。ティシュ―61とポテトチップス62は、撮像部14からは認識に十分な姿が確認できる状態にある。
【0037】
図8はパネル表示部121が表示する、商品が入れられたカゴ6を表す図である。
図7の状態のカゴ6が撮像領域にあるときにCPU101が開始した処理が512まで進んだときには、パネル表示部121は、認識できたティシュ―61の合致部分に印をつけた印画像を今回画像G2にオーバレイした画像を表示している。印は、商品の合致部分を囲った点線と、点線で囲った範囲のなかの「OK」の文字である。このときには、RAM104上の売上げ登録リストには、認識できたティシュ―の商品コードが登録されている。
【0038】
なお、
図7の状態ではティシュ―61とポテトチップス62との両方が、撮像部14からは認識に十分な姿が確認できる状態にあるので、ポテトチップス62が先に認識される構成もあり得る。どちらが先に認識されるかは、撮像領域の画像のどの位置からどの位置へ合致部分を探していくのかや、合致部分を探す商品の順序など、構成に応じて異なる。例えば、撮像領域の画像の手前側から先に客通路側へ合致部分を探していくよう構成すると、手前側の商品が先に売上登録が済み、手前側の商品から先に取り出していくことができる。このようにすると、未売上登録の商品に邪魔されずに、売上登録済みの商品を取り出していきやすい。例えば、カゴ6の左に置いたカゴ1006へ、売上登録済みの商品を順次移していく場合、撮像領域の画像の左側から先に右側へ合致部分を探していくよう構成すると、左側の商品が先に売上登録が済み、左側の商品から先にカゴ1006へ移していくことができる。このようにすると、未売上登録の商品に邪魔されずに、売上登録済みの商品をカゴ6からカゴ1006へ移していきやすい。例えば、合致部分を探す商品の順序を、重いものや大きいものから先に探すよう構成すると、商品をカゴ1006へ整頓して移していきやすい。
【0039】
図9は、パネル表示部121が表示した画像において合致部分に印がつけられた、ティシュ―61が取り出されたカゴ6を表す図である。会計カウンタ3の撮像部14の下の撮像領域にセットされたカゴ6自体は、商品に隠れて、撮像部14からは認識に十分な姿が確認できない状態にある。箸65は、チーズ64とうどん63とに隠れて、撮像部14からは認識に十分な姿が確認できない状態にある。うどん63は、ポテトチップス62に隠れて、撮像部14からは認識に十分な姿が確認できない状態にある。ポテトチップス62とチーズ64とは、撮像部14からは認識に十分な姿が確認できる状態にある。
【0040】
図10は、
図8の状態のあと、ティシュ―61がカゴ6から取り出されてさらに処理が512まで進んだときにパネル表示部121が表示する、商品が入れられたカゴ6を表す図である。パネル表示部121は、認識できたポテトチップス62の合致部分に印をつけた印画像を今回画像G2にオーバレイした画像を表示している。このときには、RAM104上の売上登録リストには、新たに認識できたポテトチップスの商品コードが登録されている。
【0041】
図11は、パネル表示部121が表示した画像において合致部分に印がつけられた、ポテトチップス62が取り出されたカゴ6を表す図である。会計カウンタ3の撮像部14の下の撮像領域にセットされたカゴ6自体は、商品に隠れて、撮像部14からは認識に十分な姿が確認できない状態にある。箸65は、チーズ64とうどん63とに隠れて、撮像部14からは認識に十分な姿が確認できない状態にある。うどん63とチーズ64とは、撮像部14からは認識に十分な姿が確認できる状態にある。
【0042】
図12は、
図10の状態のあと、ポテトチップス62がカゴ6から取り出されてさらに処理が512まで進んだときにパネル表示部121が表示する、商品が入れられたカゴ6を表す図である。パネル表示部121は、認識できたうどん63の合致部分に印をつけた印画像を今回画像G2にオーバレイした画像を表示している。このときには、RAM104上の売上登録リストには、新たに認識できたうどんの商品コードが登録されている。
【0043】
図13は、パネル表示部121が表示した画像において合致部分に印がつけられた、うどん63が取り出されたカゴ6を表す図である。会計カウンタ3の撮像部14の下の撮像領域にセットされたカゴ6自体は、商品に隠れて、撮像部14からは認識に十分な姿が確認できない状態にある。箸65は、チーズ64に隠れて、撮像部14からは認識に十分な姿が確認できない状態にある。チーズ64は、撮像部14からは認識に十分な姿が確認できる状態にある。
【0044】
図14は、
図12の状態のあと、うどん63がカゴ6から取り出されてさらに処理が512まで進んだときにパネル表示部121が表示する、商品が入れられたカゴ6を表す図である。パネル表示部121は、認識できたチーズ64の合致部分に印をつけた印画像を今回画像G2にオーバレイした画像を表示している。このときには、RAM104上の売上登録リストには、新たに認識できたチーズの商品コードが登録されている。
【0045】
図15は、パネル表示部121が表示した画像において合致部分に印がつけられた、チーズ64が取り出されたカゴ6を表す図である。会計カウンタ3の撮像部14の下の撮像領域にセットされたカゴ6自体は、商品に隠れて、撮像部14からは認識に十分な姿が確認できない状態にある。箸65は、撮像部14からは認識に十分な姿が確認できる状態にある。
【0046】
図16は、
図14の状態のあと、チーズ64がカゴ6から取り出されてさらに処理が512まで進んだときにパネル表示部121が表示する、商品が入れられたカゴ6を表す図である。パネル表示部121は、認識できたチーズ64の合致部分に印をつけた印画像を今回画像G2にオーバレイした画像を表示している。このときには、RAM104上の売上登録リストには、新たに認識できた箸の商品コードが登録されている。
【0047】
図17は、パネル表示部121が表示した画像において合致部分に印がつけられた、箸65が取り出されたカゴ6を表す図である。商品が全て取り出されて、会計カウンタ3の撮像部14の下の撮像領域にセットされたカゴ6自体が、撮像部14から認識に十分な姿が確認できる状態にある。箸65がカゴ6から取り出されてさらに処理が506まで進み、カゴ6のみが認識されると売上登録が完了となり、売上登録リストがPOS端末2へ出力される。仮に、カゴ6にどの商品も入っていない状態でCPU101が開始した処理が506まで進んでカゴ6のみが認識された場合には売上登録の開始を行わない。
【0048】
第1の実施形態に係る店舗会計システムは、既に売上登録された商品をどけて次の商品を認識が行える状況になると自動的に商品の認識を開始するので、売上登録までのタイムロスを削減することができる。
【0049】
また、第1の実施形態に係る店舗会計システムは、最後の商品がなくなりカゴが認識できたら自動的に売上登録を終了するので、売上登録完了後に会計を行うまでのタイムロスを削減することができる。
【0050】
また、第1の実施形態に係る店舗会計システムは、商品群の画像上の、売上登録ができた商品の姿に対して印をつけるので、売上登録していない商品が誤ってカゴから取り出されてしまったり袋詰めされてしまったりすることを抑制することができる。
【0051】
第1の実施形態においては、キーボード11を操作することによって生じる信号に応じてCPU101が処理を開始する構成としたが、商品の合致部分が見つかったら処理を開始する構成としてもよい。このように構成すれば、最初の商品を認識できたら自動的に売上登録を開始するので、売上登録までのタイムロスを削減することができる。
【0052】
第1の実施形態においては、前回画像G1と比較した今回画像G2において合致部分を探す構成としたが、必ずしも前回画像G1と比較する画像上から合致部分を探す構成とする必要はない。例えば、前回画像G1よりも後の複数の時点で撮像した画像のうち一方を比較に用い、他方の画像から合致部分を探す構成としてもよい。
【0053】
第1の実施形態においては、容器の例はカゴ6であるが、箱状のものであったり袋状のものであったり、商品を入れることができる容器であれば容器として適用可能である。
【0054】
第1の実施形態においては、印は、商品の合致部分を囲った点線と、点線で囲った範囲のなかの「OK」の文字であるが、商品の合致部分を囲った線だけであったり、商品の合致部分を囲う色を付けた面であったり、商品の合致部分近傍の何らかの印など、合致部分の商品がどれなのかがわかる印であれば適用可能である。
【0055】
第1の実施形態においては、売上登録した商品の一覧としての売上登録リストは商品コードを含むものであるが、上述のように商品の名称、単価、位置姿勢情報等の付加的な情報を含むものであってもよい。売上登録した商品の一覧はPOS端末2が商品の代金の会計処理のために商品を認識できる情報であれば適宜適用可能である。
【0056】
(第1の実施形態の変形例1)
図18は商品読取装置1のCPU101の処理を表すフローチャートである。
【0057】
商品が入れられたカゴ6を会計カウンタ3の撮像部14の下の撮像領域にセットした店員がキーボード11を操作することによって生じる信号に応じて、CPU101は処理を開始する。
【0058】
CPU101は、処理開始フラグを0にする(1801)。CPU101は、撮像部14で撮像領域を撮像する(1802)。CPU101は撮像領域の画像をRAM104に保存する。
【0059】
前回撮像した結果としての撮像領域の画像を前回画像G1、今回撮像した結果としての撮像領域の画像を今回画像G2とする。
【0060】
CPU101は、処理開始フラグが0である場合(1803のNo)は1804を行わずに1805を行う。
【0061】
CPU101は、処理開始フラグが1である場合(1803のYes)、RAM104上の今回画像G2に、RAM104上の前回画像G1とは異なる部分があるかどうかを探す(1804)。
【0062】
今回画像G2上に、前回画像G1とは異なる部分がない場合(1804のNo)、CPU101は 再び1802を行う。
【0063】
今回画像G2上に、前回画像G1とは異なる部分がある場合(1804のYes)、1805を行う。
【0064】
CPU101は、RAM104上の今回画像G2上の、オブジェクトデータファイル7で定義されている各商品の外観特徴パラメータに合致する部分を探す(1805)。RAM104上の今回画像G2上の、商品の外観特徴パラメータに合致する部分を合致部分と呼ぶ。ある商品の外観特徴パラメータに合致する部分と、他の商品の外観特徴パラメータに合致する部分と、の複数の合致部分が見つかる場合はそれぞれを別々の合致部分として扱う。ひとつの商品の外観特徴パラメータに合致する部分が異なる位置に複数見つかる場合はそれぞれを別々の合致部分として扱う。
【0065】
CPU101は、合致部分が見つからなかった場合(1805のNo)、処理開始フラグが1であれば(1813のYes)、再び1802を行う。処理開始フラグが0であれば(1813のNo)、処理を終了する。
【0066】
CPU101は、合致部分が見つかった場合(1805のYes)、合致部分がカゴ6に合致した部分のみかどうか判定する(1806)。
【0067】
合致部分がカゴ6に合致した部分のみである場合(1806のYes)、CPU101は、処理開始フラグが0であれば(1807のNo)、処理を終了する。
【0068】
CPU101は、処理開始フラグが1であれば(1807のYes)、CPU101は売上登録リストを接続インターフェース105を介してPOS端末2へ出力して(1808)、処理を終了する。合致部分がカゴ6に合致した部分のみでない場合(1806のNo)、CPU101は、処理開始フラグを1にする(1809)。このフローチャートの構成上、処理開始フラグは、商品が撮像領域内にある状態でCPU101が処理を開始したかどうかを示す。
【0069】
CPU101は、商品の合致部分に印をつけた印画像をRAM104上に保存する(1810)。CPU101は、今回画像G2のなかに合致部分を複数見つけた場合は、合致部分それぞれに印をつける。CPU101は複数の印をつけた印画像をRAM104上に保存する。
【0070】
CPU101は、印以外の領域を透過色として印画像を今回画像G2にオーバレイした画像をパネル表示部121に表示する(1811)。
【0071】
CPU101は、合致部分に印をつけた商品の商品コードと位置姿勢情報との組のうち、売上登録リストへ未だに登録されていない組を売上登録リストへ登録する。(1812)。CPU101は 再び1802を行う。
【0072】
図19乃至
図29を用いて商品読取装置1とPOS端末2の動作について説明する。
【0073】
図19は商品が入れられたカゴ6を表す図である。カゴ6に、商品であるティシュ―61、ポテトチップス62、うどん63、チーズ64、箸65が入っている。会計カウンタ3の撮像部14の下の撮像領域にセットされたカゴ6自体は、商品に隠れて、撮像部14からは認識に十分な姿が確認できない状態にある。箸65は、チーズ64とうどん63とティシュ―61とに隠れて、撮像部14からは認識に十分な姿が確認できない状態にある。チーズ64は、ティシュ―61に隠れて、撮像部14からは認識に十分な姿が確認できない状態にある。うどん63は、ポテトチップス62に隠れて、撮像部14からは認識に十分な姿が確認できない状態にある。ティシュ―61とポテトチップス62は、撮像部14からは認識に十分な姿が確認できる状態にある。
【0074】
図20はパネル表示部121が表示する、商品が入れられたカゴ6を表す図である。
図19の状態のカゴ6が撮像領域にあるときにCPU101が開始した処理が1812まで進んだときには、パネル表示部121は、認識できたティシュ―61とポテトチップス62の合致部分に印をつけた印画像を今回画像G2にオーバレイした画像を表示している。印は、商品の合致部分を囲った点線と、点線で囲った範囲のなかの「OK」の文字である。このときには、RAM104上の売上げ登録リストには、認識できたティシュ―の商品コードに関連付けてその商品の名称、単価、位置姿勢情報が登録されている。また、認識できたポテトチップスの商品コードに関連付けてその商品の名称、単価、位置姿勢情報が登録されている。
【0075】
図21は、パネル表示部121が表示した画像において合致部分に印がつけられた、ティシュ―61とポテトチップス62とのうち、ティシュ―61が取り出されたカゴ6を表す図である。会計カウンタ3の撮像部14の下の撮像領域にセットされたカゴ6自体は、商品に隠れて、撮像部14からは認識に十分な姿が確認できない状態にある。箸65は、チーズ64とうどん63とに隠れて、撮像部14からは認識に十分な姿が確認できない状態にある。うどん63は、ポテトチップス62に隠れて、撮像部14からは認識に十分な姿が確認できない状態にある。ポテトチップス62とチーズ64とは、撮像部14からは認識に十分な姿が確認できる状態にある。
【0076】
図22は、
図20の状態のあと、ティシュ―61がカゴ6から取り出されてさらに処理が1812まで進んだときにパネル表示部121が表示する、商品が入れられたカゴ6を表す図である。パネル表示部121は、認識できたポテトチップス62とチーズ64との合致部分に印をつけた印画像を今回画像G2にオーバレイした画像を表示している。このときには、RAM104上の売上登録リストには、新たに認識できたチーズの商品コードに関連付けてその商品の名称、単価、位置姿勢情報が登録されている。ポテトチップスの商品コードと位置姿勢情報との組が
図20の状態のときに既に認識され売上登録リストへ登録されていたので、ポテトチップスのレコードは新たに登録されない。
【0077】
図23は、パネル表示部121が表示した画像において合致部分に印がつけられた、ポテトチップス62とチーズ64とのうち、ポテトチップス62が取り出されたカゴ6を表す図である。会計カウンタ3の撮像部14の下の撮像領域にセットされたカゴ6自体は、商品に隠れて、撮像部14からは認識に十分な姿が確認できない状態にある。箸65は、チーズ64とうどん63とに隠れて、撮像部14からは認識に十分な姿が確認できない状態にある。うどん63とチーズ64とは、撮像部14からは認識に十分な姿が確認できる状態にある。
【0078】
図24は、
図22の状態のあと、ポテトチップス62がカゴ6から取り出されてさらに処理が1812まで進んだときにパネル表示部121が表示する、商品が入れられたカゴ6を表す図である。パネル表示部121は、認識できたチーズ64とうどん63との合致部分に印をつけた印画像を今回画像G2にオーバレイした画像を表示している。このときには、RAM104上の売上登録リストには、新たに認識できたうどんの商品コードに関連付けてその商品の名称、単価、位置姿勢情報が登録されている。チーズの商品コードと位置姿勢情報との組が
図22の状態のときに既に認識され売上登録リストへ登録されていたので、チーズのレコードは新たに登録されない。
【0079】
図25は、パネル表示部121が表示した画像において合致部分に印がつけられた、チーズ64とうどん63のうち、うどん63が取り出されたカゴ6を表す図である。会計カウンタ3の撮像部14の下の撮像領域にセットされたカゴ6自体は、商品に隠れて、撮像部14からは認識に十分な姿が確認できない状態にある。箸65は、チーズ64に隠れて、撮像部14からは認識に十分な姿が確認できない状態にある。チーズ64は、撮像部14からは認識に十分な姿が確認できる状態にある。
【0080】
図26は、
図24の状態のあと、うどん63がカゴ6から取り出されてさらに処理が1812まで進んだときにパネル表示部121が表示する、商品が入れられたカゴ6を表す図である。パネル表示部121は、認識できたチーズ64の合致部分に印をつけた印画像を今回画像G2にオーバレイした画像を表示している。チーズの商品コードと位置姿勢情報との組が
図24の状態のときに既に認識され売上登録リストへ登録されていたので、チーズのレコードは新たに登録されない。
【0081】
図27は、パネル表示部121が表示した画像において合致部分に印がつけられた、チーズ64が取り出されたカゴ6を表す図である。会計カウンタ3の撮像部14の下の撮像領域にセットされたカゴ6自体は、商品に隠れて、撮像部14からは認識に十分な姿が確認できない状態にある。箸65は、撮像部14からは認識に十分な姿が確認できる状態にある。
【0082】
図28は、
図26の状態のあと、チーズ64がカゴ6から取り出されてさらに処理が1812まで進んだときにパネル表示部121が表示する、商品が入れられたカゴ6を表す図である。パネル表示部121は、認識できたチーズ64の合致部分に印をつけた印画像を今回画像G2にオーバレイした画像を表示している。このときには、RAM104上の売上登録リストには、新たに認識できた箸の商品コードに関連付けてその商品の名称、単価、位置姿勢情報が登録されている。
【0083】
図29は、パネル表示部121が表示した画像において合致部分に印がつけられた、箸65が取り出されたカゴ6を表す図である。商品が全て取り出されて、会計カウンタ3の撮像部14の下の撮像領域にセットされたカゴ6自体が、撮像部14から認識に十分な姿が確認できる状態にある。箸65がカゴ6から取り出されてさらに処理が1806まで進み、カゴ6のみが認識されると売上登録が完了となり、売上登録リストがPOS端末2へ出力される。
【0084】
変形例1に係る店舗会計システムは、既に売上登録された商品をどけて次の商品を認識が行える状況になると自動的に、複数の商品を逐次認識するので、売上登録までのタイムロスを削減することができる。また、カゴから商品を取り出す順序の選択肢を広げることができ、素早くかつ安定した袋詰めを行いやすくし得る。
【0085】
(第1の実施形態の変形例2)
図30は商品読取装置1のCPU101の処理を表すフローチャートである。
【0086】
商品が入れられたカゴ6を会計カウンタ3の撮像部14の下の撮像領域にセットした店員がキーボード11を操作することによって生じる信号に応じて、CPU101は処理を開始する。
【0087】
CPU101は、処理開始フラグを0にする(3001)。CPU101は、RAM104上の取出し待ちリストをクリアする(3002)。
【0088】
CPU101は、撮像部14で撮像領域を撮像する(3003)。CPU101は撮像領域の画像をRAM104に保存する。前回撮像した結果としての撮像領域の画像を前回画像G1、今回撮像した結果としての撮像領域の画像を今回画像G2とする。
【0089】
CPU101は、処理開始フラグが0である場合(3004のNo)は3005を行わずに3006を行う。
【0090】
CPU101は、処理開始フラグが1である場合(3004のYes)、RAM104上の今回画像G2に、RAM104上の前回画像G1とは異なる部分があるかどうかを探す(3005)。今回画像G2上に、前回画像G1とは異なる部分がない場合(3005のNo)、CPU101は 再び3003を行う。今回画像G2上に、前回画像G1とは異なる部分がある場合(3005のYes)、3006を行う。
【0091】
CPU101は、RAM104上の今回画像G2上の、オブジェクトデータファイル7で定義されている各商品の外観特徴パラメータに合致する部分を探す(3006)。RAM104上の今回画像G2上の、商品の外観特徴パラメータに合致する部分を合致部分と呼ぶ。ある商品の外観特徴パラメータに合致する部分と、他の商品の外観特徴パラメータに合致する部分と、の複数の合致部分が見つかる場合はそれぞれを別々の合致部分として扱う。ひとつの商品の外観特徴パラメータに合致する部分が異なる位置に複数見つかる場合はそれぞれを別々の合致部分として扱う。
【0092】
CPU101は、合致部分が見つからなかった場合(3006のNo)、処理開始フラグが1であれば(3017のYes)、再び3003を行う。処理開始フラグが0であれば(3017のNo)、処理を終了する。
【0093】
CPU101は、合致部分が見つかった場合(3006のYes)、合致部分がカゴ6に合致した部分のみかどうか判定する(3007)。
【0094】
合致部分がカゴ6に合致した部分のみである場合(3007のYes)、CPU101は、処理開始フラグが0であれば(3008のNo)、処理を終了する。CPU101は、処理開始フラグが1であれば(3008のYes)、CPU101は売上登録リストを接続インターフェース105を介してPOS端末2へ出力して(3009)、処理を終了する。
【0095】
合致部分がカゴ6に合致した部分のみでない場合(3007のNo)、CPU101は、処理開始フラグを1にする(3010)。このフローチャートの構成上、処理開始フラグは、商品が撮像領域内にある状態でCPU101が処理を開始したかどうかを示す。
【0096】
CPU101は、合致した全ての商品が取出し待ちリストにないかどうか判断する(3011)。合致した商品が取出し待ちリストにある場合(3011のYes)、CPU101は 再び3003を行う。合致した全て商品が取出し待ちリストにない場合(3011のNo)、CPU101は、取出し待ちリストをクリアする(3012)。
【0097】
CPU101は、商品の合致部分に印をつけた印画像をRAM104上に保存する(3013)。CPU101は、今回画像G2のなかに合致部分を複数見つけた場合は、合致部分それぞれに印をつける。CPU101は複数の印をつけた印画像をRAM104上に保存する。CPU101は、印以外の領域を透過色として印画像を今回画像G2にオーバレイした画像をパネル表示部121に表示する(3014)。CPU101は、合致部分に印をつけた商品を売上登録リストへ登録する。(3015)。
【0098】
CPU101は、売上登録リストへ登録した商品を取出し待ちリストへ登録する。(3016)。CPU101は 再び3003を行う。
【0099】
図31乃至
図41を用いて商品読取装置1とPOS端末2の動作について説明する。
【0100】
図31は商品が入れられたカゴ6を表す図である。カゴ6に、商品であるティシュ―61、ポテトチップス62、うどん63、チーズ64、箸65が入っている。会計カウンタ3の撮像部14の下の撮像領域にセットされたカゴ6自体は、商品に隠れて、撮像部14からは認識に十分な姿が確認できない状態にある。箸65は、チーズ64とうどん63とティシュ―61とに隠れて、撮像部14からは認識に十分な姿が確認できない状態にある。チーズ64は、ティシュ―61に隠れて、撮像部14からは認識に十分な姿が確認できない状態にある。うどん63は、ポテトチップス62に隠れて、撮像部14からは認識に十分な姿が確認できない状態にある。ティシュ―61とポテトチップス62は、撮像部14からは認識に十分な姿が確認できる状態にある。
【0101】
図32はパネル表示部121が表示する、商品が入れられたカゴ6を表す図である。
図31の状態のカゴ6が撮像領域にあるときにCPU101が開始した処理が3016まで進んだときには、パネル表示部121は、認識できたティシュ―61とポテトチップス62の合致部分に印をつけた印画像を今回画像G2にオーバレイした画像を表示している。印は、商品の合致部分を囲った点線と、点線で囲った範囲のなかの「OK」の文字である。このときには、RAM104上の売上げ登録リストと取出し待ちリストとには、認識できたティシュ―とポテトチップスとが登録されている。
【0102】
図33は、パネル表示部121が表示した画像において合致部分に印がつけられた、ティシュ―61とポテトチップス62とのうち、ティシュ―61が取り出されたカゴ6を表す図である。会計カウンタ3の撮像部14の下の撮像領域にセットされたカゴ6自体は、商品に隠れて、撮像部14からは認識に十分な姿が確認できない状態にある。箸65は、チーズ64とうどん63とに隠れて、撮像部14からは認識に十分な姿が確認できない状態にある。うどん63は、ポテトチップス62に隠れて、撮像部14からは認識に十分な姿が確認できない状態にある。ポテトチップス62とチーズ64とは、撮像部14からは認識に十分な姿が確認できる状態にある。
図32の状態になったのちに
図33の状態になったときには、取出し待ちリストにあるポテトチップスが取出されずにカゴ6の中に残っており撮像部14から認識できるので、処理が3011まで進んでも、撮像部14から認識に十分な姿が確認できる状態になったチーズ64は売上げ登録リストに登録されない。
【0103】
図34は、
図33の状態ののちにポテトチップス62が取り出されたカゴ6を表す図である。会計カウンタ3の撮像部14の下の撮像領域にセットされたカゴ6自体は、商品に隠れて、撮像部14からは認識に十分な姿が確認できない状態にある。箸65は、チーズ64とうどん63とに隠れて、撮像部14からは認識に十分な姿が確認できない状態にある。うどん63とチーズ64とは、撮像部14からは認識に十分な姿が確認できる状態にある。
図32の状態になったのちに
図34の状態になったときには、取出し待ちリストにあるティシュ―とポテトチップスがカゴ6から取出されて撮像部14から認識できなくなったので、3012乃至3016の処理がされる。
【0104】
図35のようにパネル表示部121は、認識できたチーズ64とうどん63との合致部分に印をつけた印画像を今回画像G2にオーバレイした画像を表示する。撮像部14から認識に十分な姿が確認できる状態にあるうどん63とチーズ64とが、3015の処理によって売上げ登録リストに登録される。また、売上げ登録リストに登録されたうどん63とチーズ64とが3016の処理によって、取出し待ちリストに登録される。
【0105】
図36は、パネル表示部121が表示した画像において合致部分に印がつけられた、うどん63とチーズ64とのうち、うどん63が取り出されたカゴ6を表す図である。会計カウンタ3の撮像部14の下の撮像領域にセットされたカゴ6自体は、商品に隠れて、撮像部14からは認識に十分な姿が確認できない状態にある。箸65は、チーズ64に隠れて、撮像部14からは認識に十分な姿が確認できない状態にある。チーズ64は、撮像部14からは認識に十分な姿が確認できる状態にある。
図35の状態になったのちに
図36の状態になったときには、取出し待ちリストにあるチーズが取出されずにカゴ6の中に残っており撮像部14から認識できるので、処理が3011まで進んでも、3012乃至3016の処理がされない。
【0106】
図37は、
図36の状態ののちにチーズ64が取り出されたカゴ6を表す図である。会計カウンタ3の撮像部14の下の撮像領域にセットされたカゴ6自体は、商品に隠れて、撮像部14からは認識に十分な姿が確認できない状態にある。箸65は、撮像部14からは認識に十分な姿が確認できる状態にある。
図35の状態になったのちに
図37の状態になったときには、取出し待ちリストにあるうどんとチーズがカゴ6から取出されて撮像部14から認識できなくなったので、3012乃至3016の処理がされる。
【0107】
図38のようにパネル表示部121は、認識できた箸65の合致部分に印をつけた印画像を今回画像G2にオーバレイした画像を表示する。撮像部14から認識に十分な姿が確認できる状態にある箸65が、3015の処理によって売上げ登録リストに登録される。また、売上げ登録リストに登録された箸65が3016の処理によって、取出し待ちリストに登録される。
【0108】
図39は、パネル表示部121が表示した画像において合致部分に印がつけられた、箸65が取り出されたカゴ6を表す図である。商品が全て取り出されて、会計カウンタ3の撮像部14の下の撮像領域にセットされたカゴ6自体が、撮像部14から認識に十分な姿が確認できる状態にある。箸65がカゴ6から取り出されてさらに処理が3007まで進み、カゴ6のみが認識されると売上登録が完了となり、売上登録リストがPOS端末2へ出力される。
【0109】
変形例2に係る店舗会計システムは、既に売上登録された商品全てをどけて次の商品を認識が行える状況になると自動的に、複数の商品を認識するので、売上登録までのタイムロスを削減することができる。また、カゴから商品を取り出す順序の選択肢を広げることができ、素早くかつ安定した袋詰めを行いやすくし得る。
【0110】
(第2の実施形態)
図40は、一実施形態に係る店舗会計システムの外観図である。このシステムは、商品読取装置4001と、POS(Point Of Sales)端末2とを含む。POS端末2は第1の実施形態と同様の構成であるため詳細な説明は省略する。
【0111】
商品読取装置4001から離れたところにPOS端末2が置かれる。POS端末2を操作する店員から商品読取装置4001を操作する客が見えやすいよう、客や商品読取装置4001の側とは略反対側を正面としてPOS端末2は置かれる。商品読取装置4001と、レジ台4の上にドロワ5を介して設置されるPOS端末2とは、通信ケーブルにより電気的に接続される。
【0112】
商品読取装置4001は、ボディ部4010、カゴ秤4011、クリアディスプレイ4012、支持部4013、撮像部4014、袋詰台4015、袋秤4016、袋竿4017、フック4018を備える。立設されたボディ部4010が、その正面方向(客から見て手前の方向)にカゴ秤4011と袋秤4016とを突出したかたちで昇降可能に支持する。客はカゴ秤4011に、商品が入ったカゴ4006を置く。客は袋秤4016に、商品を入れていく袋4019を置く。客は、袋4019へ商品を入れやすいように、袋秤4016から上方へ伸びる袋竿4017から突出するフック4018に、袋4019の取っ手をひっかけることができる。
【0113】
身長や姿勢が異なる客それぞれがカゴ4011から袋4019へ商品を移しやすくするために、客がカゴ秤4011と袋秤4016との高さを上下に調節することができる。支持部4013が、クリアディスプレイ4012をカゴ4006の上方に支持する。客はカゴ4006の商品をクリアディスプレイ4012を通して見る。身長や姿勢が異なる客に対応するために、ボディ部4010は支持部4013を昇降可能に支持し、支持部4013はクリアディスプレイ4012を正面方向から見て左右方向の軸に対して揺動可能に支持する。支持部4013の昇降やクリアディスプレイ4012の揺動によって、客はカゴ4006からクリアディスプレイ4012までの距離を狭めたり広げたりすることができる。客が大きな商品をカゴ4006から袋4019へ移すときにはクリアディスプレイ4012に商品や手が当たらないようにカゴ4006からクリアディスプレイ4012までの距離を広げてよいし、カゴ4006の底のほうにある商品が見やすいように客はカゴ4006からクリアディスプレイ4012までの距離を狭めてもよい。
【0114】
撮像部4014は、エリアイメージセンサであるCCD(Charge Coupled Device)撮像素子及びその駆動回路と、撮像領域の画像をCCD撮像素子に結像させるための撮像レンズとを備える。撮像領域は、カゴ秤4011に置かれたカゴ4006の上方からカゴ4006の商品が見渡せる範囲と設定される。撮像部4014は、撮像レンズを通ってCCD撮像素子に結像した撮像領域の画像を出力する。
【0115】
図41は、商品読取装置1とPOS端末2とのハードウェア構成を示すブロック図である。商品読取装置1は、CPU(Central Processing Unit)4101を搭載する。CPU4101に、アドレスバス,データバス等のバスライン4102を介して、ROM4103とRAM4104とが接続される。ROM4103には、CPU4101によって実行されるプログラムが記憶される。RAM4104には、POS端末2から送信されるオブジェクトデータファイル7のデータや、売上登録リストデータや、カゴ秤4011と袋秤4016が示す重量の合計値を控えるための合計変数が記憶される。バスライン4102には、前記撮像部4014、カゴ秤4011、クリアディスプレイ4012、袋秤4013、接続インターフェース4105が接続される。CPU4101は、接続インターフェース4105を介してPOS端末2と通信する。POS端末2は第1の実施形態と同様の構成であるため詳細な説明は省略する。
【0116】
図42は商品読取装置4001のCPU4101の処理を表すフローチャートである。
【0117】
カゴ4006がカゴ秤4011に置かれることによって生じる信号に応じて、CPU4101は処理を開始する。
【0118】
CPU4101は、カゴ秤4011が示す重量が、空のカゴ4006単体の重量以上かどうか判定する(4200)。カゴ秤4011が示す重量が、空のカゴ4006単体の重量より小さければ(4200のNo)、CPU4101は処理を終了する。カゴ秤4011が示す重量が、空のカゴ4006単体の重量以上であれば(4200のYes)、CPU4201を行う。CPU4101は、処理開始フラグを0にする(4201)。
【0119】
CPU4101は、カゴ秤4011が示す重量と袋秤4016が示す重量との合計を合計変数に記憶する(4202)。CPU4101は、撮像部4014で撮像領域を撮像する(4203)。CPU4101は撮像領域の画像をRAM4104に保存する。前回撮像した結果としての撮像領域の画像を前回画像G1、今回撮像した結果としての撮像領域の画像を今回画像G2とする。
【0120】
CPU4101は、処理開始フラグが0である場合(4204のNo)は4205を行わずに4206を行う。CPU4101は、処理開始フラグが1である場合(4204のYes)、RAM4104上の今回画像G2に、RAM4104上の前回画像G1とは異なる部分があるかどうかを探す(4205)。今回画像G2上に、前回画像G1とは異なる部分がない場合(4205のNo)、CPU4101は 再び4203を行う。今回画像G2上に、前回画像G1とは異なる部分がある場合(4205のYes)、4206を行う。
【0121】
CPU4101は、RAM4104上の今回画像G2上の、オブジェクトデータファイル7で定義されている各商品の外観特徴パラメータに合致する部分を探す(4206)。RAM4104上の今回画像G2上の、商品の外観特徴パラメータに合致する部分を合致部分と呼ぶ。
【0122】
CPU4101は、合致部分が見つからなかった場合(4206のNo)、処理開始フラグが1かどうか判定する(4215)。処理開始フラグが1であれば(4215のYes)、再び4203を行う。処理開始フラグが0であれば(4215のNo)、処理を終了する。
【0123】
CPU4101は、合致部分が見つかった場合(4206のYes)、合致部分がカゴ4006に合致した部分かどうか判定する(4207)。合致部分がカゴ4006に合致した部分である場合(4207のYes)、処理開始フラグが0であれば(4208のNo)、処理を終了する。処理開始フラグが1であれば(4208のYes)、CPU4101は売上登録リストに登録された商品と、その合計金額や税額や、客が支払うべき金額の合計をカゴ4006に重なるよう
図43のようにクリアディスプレイ4012へ表示するよう出力し、売上登録リストを接続インターフェース4105を介してPOS端末2へ出力して(4209)、処理を終了する。
【0124】
合致部分がカゴ4006に合致した部分でない場合(4207のNo)、CPU4101は、処理開始フラグを1にする(4210)。このフローチャートの構成上、処理開始フラグは、商品が撮像領域内にある状態でCPU4101が処理を開始したかどうかを示す。
【0125】
CPU4101は、カゴ秤4011が示す重量と袋秤4016が示す重量との合計が合計変数に記憶された値に一致するかどうか判定する(4211)。カゴ秤4011が示す重量と袋秤4016が示す重量との合計が合計変数に記憶された値に一致する場合(4211のYes)、CPU4101は、ひとつの商品の合致部分に印をつけた印画像をRAM4104上に保存する(4212)。CPU4101は、印以外の領域を透過色として印画像をクリアディスプレイ4012に表示する(4213)。クリアディスプレイ4012は、透過したカゴ4006の姿に重ねて印を表示することになる。CPU4101は、合致部分に印をつけた商品を売上登録リストへ登録する(4214)。CPU4101は 再び4203を行う。
【0126】
カゴ秤4011が示す重量と袋秤4016が示す重量との合計が合計変数に記憶された値に一致しない場合(4211のNo)、CPU4101は 4212乃至4214を行わずに再び4203を行う。
【0127】
第2の実施形態に係る店舗会計システムは、商品が入ったカゴが撮像領域下に設置されると自動的に商品の認識を開始するので、売上登録を開始するまでのタイムロスを削減することができる。また、空のカゴ単体よりも重いカゴが置かれたら自動的に商品の認識を開始するので、誤った売上登録開始を防止することができる。
【0128】
また、第2の実施形態に係る店舗会計システムは、売上登録された商品がカゴから袋へ移ったことをカゴ秤と袋秤とを用いて確認してから次の商品の認識を開始するので、カゴから取出した商品を袋へ入れ忘れてしまうことを防止することができる。
【0129】
また、第2の実施形態に係る店舗会計システムは、クリアディスプレイを通して商品やカゴの実物が見えるので、撮像部で撮像した画像は視認用に用いる必要がなく商品の認識に特化した画質にすることができるので、商品の認識率の向上させやすい。また、撮像部で撮像した画像のフレームレートが低くてカゴから袋へ移すときに商品像が遅延することによる不快感を抑制することができる。また、商品やカゴの画像を表示しなくて済むので表示装置が簡素化され得る。
【0130】
第一の実施形態は店員が操作する商品読取装置であるが、客自身が自ら会計を行うセルフチェックアウトシステムの商品読取装置に適用することも可能である。第二の実施形態は客が操作する商品読取装置であるが、店員が操作する商品読取装置に適用することも可能である。商品読取装置がPOS端末に組み込まれて一体として構成されていてもよい。
【0131】
各実施形態は、装置内部のプログラム記憶部であるROMに発明の機能を実現させるプログラムが予め記録されているものとしたが、これに限らず、同様のプログラムがネットワークから装置にダウンロードされてもよい。あるいは、記録媒体に記録された同様のプログラムが、装置にインストールされてもよい。記録媒体は、CD−ROM,メモリカード等のようにプログラムを記憶でき、かつ装置が読み取り可能であれば、その形態は問わない。また、プログラムのインストールやダウンロードにより得る機能は、装置内部のOS(オペレーティング・システム)等と協働してその機能を実現させるものであってもよい。
【0132】
この他、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。