(58)【調査した分野】(Int.Cl.,DB名)
【発明を実施するための形態】
【0007】
図1は、実施形態に係るチェックアウトシステム1の一例を示す斜視図である。
図1に示すように、チェックアウトシステム1は、POS装置11と、POS装置11とデータ通信可能に接続されたスキャナ101とを備える。本実施形態では、POS装置11を本実施形態にかかる商品販売データ処理装置として適用する例について説明する。
【0008】
POS装置11は、チェックアウト台41上のドロワ21上面に載置されている。POS装置11はドロワ21の開閉動作を制御する。POS装置11の上面には、キーボード22と、店員用の表示デバイス23が設けられている。表示デバイス23の表示面23a上には、タッチパネル26が配設されている。また、店員用の表示デバイス23より奥側には、客用表示デバイス24が回転可能に立設されている。客用表示デバイス24は、その表示面24aの向きを変えられるように、POS装置11の筐体上部にポールによって支持されている。
【0009】
スキャナ101は、カウンタ台151の荷受け面152上に立設されている。スキャナ101は、薄型矩形形状のハウジング102を備える。ハウジング102の正面には読取窓103が配置されている。ハウジング102の上部には、操作表示部104が取り付けられている。操作表示部104は、表面にタッチパネル105を配設した表示デバイス106を備えている。表示デバイス106の右隣にはキーボード107が設けられている。キーボード107の右隣には、カードリーダのカード読取溝108が設けられている。操作表示部104の裏側には、客に情報を提供するための客用表示デバイス109が設置されている。
【0010】
客は、購入する商品Gを入れた買物カゴ153を荷受け面152に置く。オペレータは、買物カゴ153から商品Gを取り上げ、スキャナ101の読取窓103にかざす。スキャナ101は読取窓103の内側に撮像部164(
図2参照)を備えている。撮像部164は商品Gを撮像する。スキャナ101は、撮像部164の撮像画像をPOS装置11に送信する。
【0011】
POS装置11は、撮像画像に含まれるコードシンボルをデコードして商品コードや値引きコード等のコード情報を読み取る。また、POS装置11は、オブジェクト認識技術を用いて撮像画像から商品Gの画像領域を抽出および識別し、撮像画像に含まれる商品Gを特定する。そして、POS装置11は、特定した商品Gの商品情報をPLUファイルF1(
図2参照)から読み込む。POS装置11は、このようにして読み取ったコード情報または商品情報を用いて、当該商品の販売登録、精算処理、返品登録等の処理を行う。
【0012】
図2は、POS装置11及びスキャナ101のハードウェア構成を示すブロック図である。POS装置11は、情報処理を実行するマイクロコンピュータ60を備える。マイクロコンピュータ60は、各種演算処理を実行し各部を制御するCPU(Central Processing Unit)61に、ROM(Read Only Memory)62とRAM(Random Access Memory)63とがバス接続されて構成されている。
【0013】
POS装置11のCPU61には、キーボード22、HDD(Hard Disk Drive)64、通信インタフェース25、表示デバイス23、タッチパネル26、客用表示デバイス24、接続インタフェース65、ドロワ21、プリンタ66が各種インタフェースにより接続されている。CPU61はこれら各部を制御する。
【0014】
通信インタフェース25は、ストアコンピュータSCとデータ通信を行うためのインタフェースである。接続インタフェース65は、スキャナ101との間でデータ通信を行うためのインタフェースである。プリンタ66は、CPU61の制御を受けてレシートやジャーナル、返品伝票等を印刷する。
【0015】
HDD64は、プログラムPR、PLUファイルF1、返品データ格納部64b等を記憶する。プログラムPRは本実施形態にかかる返品登録処理を行うためのプログラムである。プログラムPRの機能構成については、
図5を用いて後述する。尚、プログラムPRはROM62に格納されていてもよい。HDD64はこの他にも、商品販売登録処理、オブジェクト認識処理を行うためのプログラムを記憶している。
【0016】
PLUファイルF1は、各商品の商品情報や、オブジェクト認識に用いるデータ等を格納したファイルである。PLUファイルF1は、ストアコンピュータSCから配信および更新されてPOS装置11のHDD64に格納される。尚、PLUファイルF1はストアコンピュータSCに格納され、CPU61はネットワークを介してストアコンピューSCのPLUファイルF1にアクセスしてもよい。
【0017】
図3は、PLUファイルF1のデータ構成を例示する概念図である。
図3に示すように、PLUファイルF1は、商品ごとに、ユニークに割り当てられた商品ID、商品が属する商品分類、商品名、単価等の商品に関する情報と、その商品を撮像した商品画像(基準画像)とを、その商品の商品情報として格納するファイルである。基準画像は、返品にならないような通常品質の商品(通常商品)を撮像した撮像画像(写真)であり、後述する類似度算出の際に用いられる。尚、PLUファイルF1のデータ構成は
図3の例に限定されない。例えば、基準画像の代わりに、基準画像から読み取られた色合いや表面の凹凸状況等を示した特徴量が格納されていてもよい。
【0018】
図4は、返品データ格納部64bのデータ構成例を示す説明図である。
図4に示すように、返品データ格納部64bは、返品を受付けた日付(返品日付)、返品商品の商品コード、商品分類、商品名、返品された個数、返品理由コード、返品商品の画像ファイル名等、返品商品に関する情報を格納するためのメモリ領域である。尚、返品商品の画像ファイル名の代わりに、ファイルの格納場所を示すリンク等の情報を記憶させてもよい。無論、返品データ格納部64bは画像ファイルそのものを格納してもよい。
【0019】
図2に戻って、スキャナ101は、マイクロコンピュータ160を備える。マイクロコンピュータ160は、CPU161にROM162とRAM163とがバス接続されて構成されている。ROM162には、CPU161によって実行されるプログラムが記憶されている。スキャナ101のCPU161には、撮像部164、音声出力部165、接続インタフェース175、操作表示部104が各種の入出力回路を介して接続されている。CPU161は、これら各部の動作を制御する。
【0020】
撮像部164は、カラーCCDイメージセンサやカラーCMOSイメージセンサ等である。撮像部164は、CPU161またはPOS装置11のCPU61の制御により撮像を行う。例えば撮像部164では30fpsの動画像の撮像を行う。撮像部164が所定のフレームレートで順次撮像したフレーム画像(撮像画像)はRAM163に保存される。
【0021】
音声出力部165は、予め設定された警告音等を発生するための音声回路とスピーカ等である。音声出力部165は、CPU161の制御の下で警告音や音声による報知を行う。接続インタフェース175は、POS装置11との間でデータ通信を行うためのインタフェースである。
【0022】
操作表示部104は、
図1とともに上述したように、キーボード107、表示デバイス106、タッチパネル105、客用表示デバイス109を備える。スキャナ101のCPU161、または、POS装置11のCPU61は、操作表示部104が備える各部の動作を制御する。キーボード107には、返品登録処理を開始するための返品登録キー107a、テンキー107b、確定キー107c等が設けられている。
【0023】
次に、POS装置11のCPU61がプログラムPRを実行することで実現されるPOS装置11の機能構成について、
図5を参照して説明する。
【0024】
図5は、POS装置11の機能構成を示すブロック図である。本実施形態のPOS装置11で実行されるプログラムPRは、
図5に示すように、商品情報受付部51、返品理由受付部52、撮像制御部53、類似度算出部54、表示制御部55、返品データ管理部56、印刷制御部57を含むモジュール構成となっている。そして、実際のハードウェアとしては、CPU61(プロセッサ)がHDD64からプログラムPRを読み出して実行することにより上記各部が主記憶装置上にロードされ、生成されるようになっている。
【0025】
商品情報受付部51は、返品商品の商品情報を受付ける。即ち、商品情報受付部51は、撮像部164が撮像した画像に含まれるバーコードの画像を画像認識する。そして、商品情報受付部51は、当該バーコードをデコードして商品コードを読み取り、これを返品商品の商品コードとして受付ける。また、商品情報受付部51は、当該商品コードに対応する商品情報をPLUファイルF1からRAM63に読み込む。
【0026】
尚、商品情報受付部51は、撮像画像に対してオブジェクト認識処理を行って、商品の特定を行い、特定した商品の商品コードをPLUファイルF1から読み込んでもよい。また、商品情報受付部51は、キーボード107のテンキー107bあるいはその他のキーから、商品コードの入力を受付けてもよい。
【0027】
返品理由受付部52は、返品理由の入力を受付ける。例えば、返品理由を示すコードとして、1:破損商品(商品変形)、2:商品変質(商品変色)、3:包装破損、4:サイズ違い、5:購入間違い、6:その他、のように複数の返品理由コードが用意されている。そして、キーボード107のテンキー107bからいずれかのコード番号が入力され、確定キー107cが選択操作されると、返品理由受付部52は当該コード番号の入力を受付ける。
【0028】
尚、返品理由受付部52は、返品理由コードの他にも、テキスト入力や手書き入力、音声入力等により、返品理由の入力を受付けてもよい。
【0029】
また、返品理由受付部52は、受付けた返品理由が、商品情報受付部51が受付けた商品の返品理由として相応しい返品理由であるか否かの正否判断を行う。即ち、返品理由受付部52は、商品情報受付部51が読み込んだ返品商品の商品情報に基づいて、返品理由の適正を判断する。返品商品の商品規格が1サイズしかない場合、上記「4:サイズ違い」は返品理由として不適当である。このような場合、返品理由受付部52は返品理由が不適当であるとしてエラー出力を行う。エラー出力としては、表示デバイス106へのエラーメッセージの表示、音声出力部165によるブザー出力等があるが、特に限定されない。これにより、返品理由コードの入力ミスを防止することができる。
【0030】
撮像制御部53は、スキャナ101の撮像部164の撮像動作を制御する。即ち、撮像制御部53は、撮像部164にオン信号を出力して撮像動作を開始させる。また、撮像制御部53は、撮像部164にオフ信号を出力して撮像動作を停止させる。また、撮像制御部53は、返品登録される商品を撮像する。
【0031】
ここで、返品理由としては、商品の欠陥によるものや、客の間違いによるものがある。従って、全ての返品商品についてその証拠写真を残すことは効率的ではなく、また、データ容量も無駄に消費してしまう。そこで本実施形態では、返品商品の外見が通常商品とは異なる場合の返品に限って、撮像対象とする。通常商品とは、外見上の損傷や欠陥が無く、通常価格で販売できる商品のことである。
【0032】
より具体的には、返品理由受付部52は、上述のように受付けた返品理由が撮像対象の返品理由であるか否かを判定する。上述の例では、例えば「1:破損商品(商品変形)」、「2:商品変質(商品変色)」、「3:包装破損」が撮像対象の返品理由コードに該当する。そして、撮像制御部53は、返品理由受付部52が撮像対象の返品理由コードである旨の判定をした場合に、その返品商品の画像を撮像する。
【0033】
類似度算出部54は、PLUファイルF1を参照して、撮像部164が撮像した返品商品の画像と、商品情報受付部51が受付けた商品コードに対応する基準画像とが、どの程度類似しているかを示す値(類似度)を算出する。
【0034】
類似度の算出方法は特に限定されない。一例として、類似度算出部54は、PLUファイルF1に登録されている各商品の基準画像から、商品の色合いや表面の凹凸状態等を特徴量として読み取る。また、類似度算出部54は、撮像部164が撮像した返品商品の画像について特徴量を算出する。そして、双方の特徴量を比較することで返品商品の撮像画像とPLUファイルF1の基準画像との類似度を算出する。
【0035】
ここで、オペレータが返品商品を読取窓103にかざして撮像する際に、返品理由を裏付ける撮像画像がうまく得られない場合も起こりうる。例えば、返品商品を読取窓103にかざす向きが不適当であったり、照明の当たり具合によって変色した箇所の色合いが適当に撮像できなかったりといった不具合である。そこで、本実施形態のPOS装置11は、撮像画像に返品理由を裏付ける傷みや変色、変質が認められない場合に、商品画像を撮り直すよう報知する。
【0036】
具体例としては、予め、返品対象となる類似度の閾値を設けておく例について説明する。類似度算出部54は、撮像画像で商品が撮像された領域(即ち、背景やオペレータの手などを除く領域)を抽出する。そして類似度算出部54は、抽出した商品画像の少なくとも一部が返品対象の類似度となるか否かを判定する。
【0037】
類似度算出部54は、商品画像の少なくとも一部において、当該閾値よりも類似度が低い画像領域があれば、その商品画像を返品対象商品を撮像した画像と判定する。一方、類似度算出部54は、商品画像の全領域において類似度が閾値以上となる場合、その商品画像には返品対象の類似度となる画像領域が含まれていないと判定する。
【0038】
尚、判定方法は上述と同様の趣旨であれば詳細は特に限定されない。例えば、返品にはあたらない規格内商品(通常商品)を判別するための類似度の許容範囲を設けておき、類似度算出部54は、類似度が当該許容範囲外となる場合に、返品条件を満たすと判定してもよい。また、この判定を、オブジェクト認識による商品特定時に併せて行い、商品登録時に返品対象である旨を報知してもよい。
【0039】
表示制御部55は、表示デバイス23、106での表示処理を制御する。例えば、表示制御部55は、返品商品に関する登録事項を示した確認画面106a(
図6参照)を、スキャナ101の表示デバイス106に表示する。
【0040】
図6は、確認画面106aの一例を示す図である。
図6に示すように、確認画面106aには、商品情報受付部51が受付けた返品商品の商品情報、返品理由受付部52が受付けた返品理由コードまたは当該コードに該当する返品理由、撮像部164により撮像された商品の撮像画像80等が表示される。
【0041】
また、表示制御部55は、類似度算出部54により撮像画像の類似度が返品条件を満たさないと判定された場合に、返品商品を再度撮像し直す旨のエラーメッセージを表示デバイス106に表示させる。
【0042】
図7は、再撮像を促すエラーメッセージ106bの表示例を示す図である。
図7の例のように返品理由が「2:変色」であるが、類似度算出部54が類似度は通常商品の範囲内であり、返品理由を示す画像ではないと判定したとする。この場合に表示制御部55は、再撮像を促すエラーメッセージ106bを確認画面106a上にポップアップ表示する。
【0043】
尚、上述では、エラーメッセージ106bを表示デバイス106に表示して当該内容をオペレータに報知するとしたが、報知方法はこれに限らない。POS装置11は、その他の報知方法として、同様の報知内容を音声出力部165によって音声出力してもよいし、ブザー音を出力してもよい。
【0044】
尚、表示制御部55は、撮像部164から取り込まれたフレームごとの撮像画像を表示デバイス106に随時、連続的に表示してもよい。加えて、表示制御部55は、撮像部164が撮像した商品の画像に重ねて、類似度が返品条件を満たす箇所、または返品条件を満たさない箇所を枠で囲むなどして表示してもよい。このようにすれば、撮像領域に商品の欠陥箇所が含まれているか、欠陥箇所が適当に撮像されているかについて、商品をかざしながらリアルタイムで確認することができる。
【0045】
返品データ管理部56は、記録手段として機能する。即ち、返品データ管理部56は、商品情報受付部51が受付けた返品商品の商品情報と、返品理由受付部52が受付けた返品理由コードと、撮像部164が撮像した返品商品の画像とを対応付けて返品データ格納部64bに格納する。
【0046】
尚、返品データ管理部56は、返品商品が含まれた画像領域に対して類似度算出部54が算出した類似度を返品データ格納部64bに格納してもよい。商品画像の類似度はすべての返品について管理する必要はない。従って、返品データ管理部56は、返品理由受付部52が受付けた返品理由が、返品商品の外見が通常商品とは異なることによる返品である旨の理由である場合に、返品商品が含まれる撮像領域に対して類似度算出部54が算出した類似度を、商品情報、返品理由に対応付けて返品データ格納部64bに格納するとよい。
【0047】
印刷制御部57は、プリンタ66によって返品伝票(不図示)を印刷する。返品伝票の印刷内容は特に限定されないが、返品日付、商品情報、返品理由、返金額、担当オペレータに関する情報等が印刷される。また、印刷制御部57は、プリンタ66或いはPOS装置11に接続されたその他のプリンタを用いて、複数の返品についてその登録情報をまとめて印刷した返品ジャーナルを印刷する。返品ジャーナルには、返品商品の撮像画像の有無、画像データのファイル名、或いは、撮像画像が印刷されてもよい。撮像画像を印刷する際には、カラー画像に類似度を添えて印刷してもよい。
【0048】
次に、POS装置11が実行する返品登録処理の手順について説明する。
図8は、POS装置11が実行する返品登録処理の手順を示すフローチャートである。
【0049】
商品情報受付部51は、キーボード107の返品登録キー107a(
図2参照)が選択操作されたか否かを判定する(ステップS1)。返品登録キー107aが選択操作されない間(ステップS1:No)は操作待ちを行う(ステップS1)。返品登録キー107aが選択操作されると(ステップS1:Yes)、撮像制御部53は撮像部164にオン信号を出力して撮像を開始させる(ステップS2)。撮像部164は、撮像画像をRAM163に保存する。商品情報受付部51は、撮像画像に含まれるバーコードの画像から商品コードを読み取り、これを返品商品の商品コードとして受付ける(ステップS3)。また、商品情報受付部51は、当該商品コードに対応する商品情報をPLUファイルF1から読み込む。撮像制御部53は、撮像部164にオフ信号を出力し、撮像を停止させる(ステップS4)。
【0050】
次に、返品理由受付部52は、キーボード107のテンキー107b(
図2参照)から返品理由コードの入力を受付ける(ステップS5)。返品理由受付部52は、ステップS5で受付けた返品理由コードがステップS3で受付けた商品コードの商品の返品理由に適しているか否かを判定する(ステップS6)。返品理由が不適当である場合(ステップS6:No)、返品理由受付部52はエラー出力を行う(ステップS7)。即ち、音声出力部165によりブザー音を出力するとともに、表示デバイス106にエラーメッセージ(不図示)を表示する。エラーメッセージは特に限定されないが、「返品理由コードを再度選択して下さい」等のメッセージを用いることができる。そして、返品理由受付部52は再度、返品理由コードを受付ける(ステップS5)。返品理由が適正である場合(ステップS6:Yes)、返品理由受付部52は、当該返品理由が撮像対象の返品理由であるか否かを判定する(ステップS8)。撮像対象の返品理由でない場合(ステップS8:No)には、ステップS13に移行する。
【0051】
撮像対象の返品理由である場合(ステップS8:Yes)、撮像制御部53は撮像部164にオン信号を出力し、撮像を開始させる(ステップS9)。撮像部164は、撮像画像をRAM163に保存する。表示制御部55は、表示デバイス106に確認画面106a(
図6参照)を表示する(ステップS10)。確認画面106aには、撮像部164による撮像画像80、ステップS3で受付けた返品商品の商品コード、商品名、価格等の商品情報、ステップS5で受付けた返品理由コードまたは当該コードに対応する返品理由等が表示される。
【0052】
類似度算出部54は、商品が含まれる画像領域の類似度が、返品対象の類似度であるか否かを判定する(ステップS11)。返品対象の類似度ではない場合(ステップS11:No)、表示制御部55はエラーメッセージ106b(
図7参照)を表示する(ステップS12)。そして、再撮影ボタン106cが選択操作されると、撮像制御部53は再度商品を撮像し、表示制御部55は再撮像された画像により確認画面106aを更新して表示する(ステップS10)。その後ステップS11の判定処理を再度行う。類似度算出部54により、商品が含まれる画像領域の類似度が返品対象の類似度だと判定されると(ステップS11:Yes)、撮像制御部53は撮像部164にオフ信号を出力し、撮像を停止させる(ステップS13)。
【0053】
次に、商品情報受付部51は確認画面106a(
図6参照)において追加ボタン106dが選択操作されたか否かを判定する(ステップS14)。追加ボタン106dが選択操作された場合(ステップS14:Yes)、ステップS2に戻る。追加ボタン106dが選択操作されない場合(ステップS14:No)には、確認画面106aにおいて返金ボタン106eが選択操作されたか否かを判定する(ステップS15)。返金ボタン106eが選択操作されない場合(ステップS15:No)にはステップS14に戻る。返金ボタン106eが選択操作された場合(ステップS15:Yes)、CPU61は、ドロワ21を開放制御する(ステップS16)。オペレータは確認画面106aに表示された返金額をドロワ21から取り出して客に返金する。
【0054】
次に、印刷制御部57は返品伝票を印刷する(ステップS17)。また、返品データ管理部56は、ワークメモリ上に一時的に格納している商品情報や返品理由コード、返金額、返品商品の撮像画像、類似度を算出した場合には当該類似度、などの情報を返品データ格納部64bに格納し、返品登録を行う(ステップS18)。
【0055】
そして、返品データ管理部56は、ストアコンピュータSCからデータ出力指示を受付けたか否かを判定する(ステップS19)。データ出力指示が無い場合(ステップS19:No)には、ステップS1に戻る。データ出力指示があった場合(ステップS19:Yes)には、返品データ管理部56は返品データ格納部64bに格納されているデータをストアコンピュータSCに出力する(ステップS20)。ストアコンピュータSCにすでに前回バックアップされた返品データが格納されている場合には、当該返品データの更新処理を行う。尚、返品データ管理部56は、所定時刻となったか否かを判定し、所定時刻となった場合にストアコンピュータSCにデータを出力してもよい。
【0056】
尚、
図8では、商品コード撮像(ステップS2)とは別のステップS9において、返品商品の撮像を撮像したが、撮像のタイミングはこれに限定されない。
図8のようにコード読取のために撮像を行う場合、ステップS2で撮像した画像が返品対象の類似度の条件を満たしていれば、当該画像を返品商品の画像としてそのまま保存してもよい。
【0057】
尚、上述では、チェックアウトシステム1をPOS装置11とスキャナ101とによる2台構成としたが、実施形態はこれに限定されない。POS装置11およびスキャナ101の機能を備えた1台構成の装置に上記実施形態を適用してもよい。一例として、セルフPOS装置を用いてもよい。
【0058】
また、上述では、撮像対象の返品理由コードである場合にその返品商品の画像を撮像するとしたが、撮像対象とする判定基準はその他の判定基準であってもよい。例えば、生鮮食品が返品される場合には全て撮像するものとし、商品分類が生鮮食品である場合にその返品商品を撮像させる形態としてもよい。このように商品情報に基づいて撮像対象を判定することにより、上述と同様に効率的に返品データを保存することができる。
【0059】
尚、本実施形態のPOS装置11で実行されるプログラムPRは、インストール可能な形式又は実行可能な形式のファイルでCD−ROM、フレキシブルディスク(FD)、CD−R、DVD(Digital Versatile Disk)等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。
【0060】
さらに、本実施形態のPOS装置11で実行されるプログラムPRを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、本実施形態のPOS装置11で実行されるプログラムPRをインターネット等のネットワーク経由で提供または配布するように構成しても良い。
【0061】
尚、上述では、POS装置11がコード情報の読取処理、オブジェクト認識処理等の処理を行う形態について示したが、これら処理はスキャナ101が行ってもよい。
【0062】
以上説明したとおり、本実施形態のPOS装置11は、返品商品の画像を撮像し、当該画像と商品情報と返品理由とを対応付けて記録する。従って、返品商品がどのような状態であったのかを示す撮像画像を保存できる商品販売データ処理装置およびプログラムを提供することができる。
【0063】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。