(58)【調査した分野】(Int.Cl.,DB名)
【発明を実施するための形態】
【0009】
本発明の実施形態に係る商品販売データ処理装置を、図面を参照しながら説明する。本発明の実施形態は図示の内容を含むが、これのみに限定されるものではない。なお、以後の各図の説明で、既に説明した部位と共通する部分は同一符号を付して重複説明を一部省略する。
【0010】
図1は本発明の実施形態に係る商品販売データ処理装置の一例を示す斜視図である。
本実施形態では、商品販売データ処理装置100を撮像部(カメラ)付きのセルフ式計量装置に適用した場合を説明する。この商品販売データ処理装置100は、例えば、スーパーなどの店舗に設置され、商品の種類、個数、金額などの販売データを生成して、その販売データを、金銭登録機、ホストコンピュータなどに登録することができる。また、この商品販売データ処理装置100は、プリンタなどの印字部9を備え、印字部9により販売データに応じたラベルを発行することができる。
【0011】
本実施形態では、店舗では、例えば、容器(風袋)に収容した商品などを販売している。顧客は商品を選んで容器に収容し、その商品を収容した容器を、撮像部付きのセルフ式計量装置である商品販売データ処理装置100の計量部7の計量皿などに載置する。
商品販売データ処理装置100は、容器(風袋)、商品の種類、商品の種類毎の個数などを撮像部8により撮像された画像データに対して画像認識処理を施し、その画像認識処理の結果および計量結果に基づいて、商品、商品の個数、商品の種類などを印字したラベルを発行する。顧客は、このラベルを容器に貼付し、金銭登録機の設置された場所にて、所定の金額を支払う。
以下、商品販売データ処理装置100(セルフ式計量装置)の各構成要素を詳細に説明する。
【0012】
図1に示したように、商品販売データ処理装置100の装置本体部100aに、計量皿(不図示)などを備えた計量部7が設けられている。装置本体部100aには、プリンタなどの印字部9が設けられており、排紙口9aから印字部9により発行されたラベルが排紙される。
装置本体部100aの上部には支柱部100bにより支持された操作部5や表示部6などが設けられている。本実施形態では、操作部5や表示部6としてタッチパネル装置を採用している。操作部5、表示部6、または、支柱部100bには、計量部7の計量皿(載置部(載置手段))などに載置された商品(容器)を撮像する撮像部8が設けられている。計量部7上に撮像部8の撮像範囲80(認識範囲)が設定されている。
例えば、計量部7の計量皿(載置部)の表面に光の反射を防ぐ表面処理を施してもよい。これにより、計量部7の計量皿(載置部)に関し、不要な光の反射を防ぐことができ、撮像画像により商品(容器)の形状や色の識別率を向上させることができる。
【0013】
図2は商品販売データ処理装置100の一例を示す図である。詳細には、
図2(a)は商品販売データ処理装置の電気的な機能ブロックの一例を示す図、
図2(b)は制御部の機能ブロックの一例を示す図である。
本発明の実施形態に係る商品販売データ処理装置100は、制御部1(CPU)と、記憶部としてのROM2およびRAM3と、補助記憶部4と、操作部5と、表示部6と、計量部7と、撮像部8と、印字部9と、通信部10と、音声出力部11(スピーカ)と、などを有する。上記各構成要素は、バスなどの通信線12などにより電気的に接続されている。
【0014】
制御部1(CPU)は、商品販売データ処理装置100の各構成要素を統括的に制御する。
【0015】
ROM2は本発明に係る各種プログラムや設定値などを記憶する。RAM3はプログラムを実行するためのワークエリアを有する。また、本実施形態では記憶部としてのRAM3は、商品の単位質量情報を含む商品情報(商品データ)、容器情報などを記憶する。
【0016】
補助記憶部4は、例えば、着脱自在なフラッシュメモリなどの記憶装置であり、商品販売データ処理装置100に関する設定情報などを保存可能である。
操作部5は、スイッチ、ボタン、タッチパネルなどであり、操作者(客など)により操作され、所定の操作入力に応じた信号を制御部1に出力する。
表示部6は、制御部1の制御により、本発明に係る表示を行う。本実施形態では、タッチパネル式の表示部6を採用している。
【0017】
計量部7は、計量皿(載置部)などを有し、計量皿などに載置された商品の質量を計量し、商品(物品)の質量を示す情報を制御部1に出力する。計量部7の計量皿は、規定の色とすることが好ましい。こうすることで、例えば、計量皿などに載置された商品や、商品に付された識別子のマークの形状や色相の認識率を上げることができる。
また、計量部7の計量皿は、撮像部8の撮像範囲内に凹部が形成されていることが好ましい。この計量部7の計量皿の凹部は、この凹部に商品を載置させるガイドとして機能し、商品の認識率を上げることができる。なお、計量部7の計量皿は、上記凹部にかぎらず、凸部でも、線等でも、撮像部8の撮像範囲(商品を置くべき位置)を操作者(顧客)が直接または間接的にわかるように構成されていればよい。
【0018】
撮像部8は商品、物品、容器などを撮像する。本実施形態では、計量部7上の撮像範囲80(認識範囲)に載置された商品を撮像し、画像データを制御部1に出力する。撮像部8としては、CCD撮像装置、CMOS撮像装置などを挙げることができる。
【0019】
印字部9は、制御部1の制御により、物品を容器に収容した商品の販売データ(商品の種類、個数、金額など)をラベルに印字する。
【0020】
通信部10は、制御部1の制御により、有線式または無線式の通信路を介して金銭登録機、ホストコンピュータなどのコンピュータとデータ通信を行うことが可能である。
【0021】
音声出力部11(スピーカ)は、制御部1の制御により、商品販売データ処理装置100(セルフ式計量装置)に関する操作案内、エラー音などの音を所定のタイミングで発音可能である。
【0022】
制御部1(CPU)は、記憶部に記憶された制御用プログラムを実行することにより、コンピュータとしての商品販売データ処理装置100に、本発明に係る機能を実現させる。本実施形態では、制御部1は、
図2(b)に示したように、商品判定部161、商品登録部162、領域指定部163(領域指定手段)、撮像条件変更部164(撮像条件変更手段)、などを有する。
【0023】
商品判定部161は、撮像部8からの画像データに基づいて商品を特定する。詳細には、商品判定部161は、撮像部8からの画像データから、商品の大きさ、形状、色、容器に貼付されたシールなどの図形、文字、記号などのいずれか又はその組み合わせに基づいて、記憶部に記憶されている商品の種類情報と照らし合わせて、商品を特定する処理を行う。上記シールに印字された図形、文字、記号などは容器に直接印字されていてもよい。本実施形態では、商品判定部161は、撮像部8による画像データから商品の容器の大きさに基づいて容器を特定する処理を行う。
【0024】
商品登録部162は、撮像部8で撮像した画像データ、計量部7による商品の質量、記憶部に記憶されている商品データに基づいて、商品の料金等を決定し、商品の販売データを生成して登録する。
例えば、商品が量り売り販売形態の場合、計量部7で計量された商品などの質量データに基づいて、商品の販売データを生成して登録する。また、例えば、商品が個数売り販売形態の場合、計量部7で計量された商品などの質量データや、撮像部8で撮像した画像データにより特定した商品の個数と、記憶部に記憶されている商品の単価に基づいて、商品の販売データを生成して登録する。
また、商品登録部162は、販売データを印字部により用紙に印字して、ラベルを発行する処理を行う。
【0025】
領域指定部163は、撮像部8(撮像手段)により撮像される撮像範囲の一部分または全部の領域を指定する。
【0026】
撮像条件変更部164は、領域指定部163(領域指定手段)により指定された領域に関する露光値などの撮像条件を変更する。
【0027】
図3は容器(風袋)の一例を示す図である。詳細には、
図3(a)は角型容器の一例を示す図、
図3(b)は丸型容器の一例を示す図である。
本実施形態では、
図3(a)に示したように、商品として角型容器(風袋)に品物を収容して販売してもよいし、
図3(b)に示したように丸型容器に品物を収容して販売してもよい。また、予め容器毎に量り売りや個数売りなどの販売形態を設定しておき、容器に応じて販売形態を特定してもよい。
【0028】
図4は商品販売データ処理装置の記憶部に記憶されているデータの一例を示す図である。詳細には、
図4(a)は商品情報の一例を示す図、
図4(b)は容器情報の一例を示す図である。
【0029】
商品情報(物品情報)は、商品の分類、商品コード(物品コード)、コロッケやサラダなどの商品名称、産地名、単位重量(単位質量データ)、規格単位、容器コード、単価などを関連付けて記憶している。
なお、撮像部(撮像手段)で物品(商品)を撮像した撮像データ(画像データ)により物品(商品)を特定する場合は、商品情報に商品を特定する商品特定情報(商品特定情報は、商品の寸法、色、形状などを数値化したデータ)を更に備えてもよい。
【0030】
容器情報は、容器コード、角形容器や丸形容器などの容器名称(容器の種類)、容器特定情報(特定情報)、販売形態情報、商品コード(物品コード)、容器の質量データ(風袋重量データ、または風袋質量データ)、などを関連付けて記憶している。
容器特定情報は、容器の面積(撮像部により容器を撮像した場合の容器の面積)、容器の形状などを示す情報である。なお、容器の形状などを示す情報は、容器を上方から撮像したときの形状、面積、色等に限られず、例えば、撮像部(撮像手段)で物品(商品)の底部を撮像し撮像データ(画像データ)を取得する場合、容器の底部の形状、底部の面積、底部の色などが容器特定情報(特定情報)になり、撮像部(撮像手段)の撮像方向が容器の側端(前後、左右いずれも)である場合、容器の側端の形状、側端の面積、側端の色等が容器特定情報(特定情報)となる。販売形態情報としては、例えば、個数売りの場合は0で示し、量り売りの場合は1で示している。つまり、販売形態情報は、容器による販売形態が量り売りであるか否かを示している。
なお、容器特定情報の設定は設定画面で行うものであり、計量部の載置部に載置した空容器を撮像部で撮像し二値化処理を行い容器の面積を取得する。この取得した面積を容器の容器特定情報(特定情報)として記憶部に記憶する。なお、容器特定情報は面積に限らず、例えば、容器を二値化したドットの数であってもよいし、あるいは、外観形状(シルエット)、立体的な実寸法(縦、横、高さ)、容器表面の色や柄などを複合的に組み合わせたものであってもよい。
【0031】
本実施形態では、容器(トレイ)の種類と、容器(トレイ)に収容された物品の種類が関連付けられて記憶部に記憶されている。また、容器(トレイ)の種類と、販売形態情報が関連付けられて記憶部に記憶されている。
【0032】
図5は商品販売データ処理装置の印字部から発行されるラベルの一例を示す図である。
ラベルには、例えば、商品の名称、製造年月日、賞味期限、商品の値段、店舗名、店舗の住所、バーコードなどが印字される。
顧客は、発行されたラベルを容器に貼付して、金銭登録機の設置された場所にて、所定の金額を支払う。
【0033】
図6は、撮像範囲において均一な明るさの場合のメンテナンス画面の一例を示す図である。
商品販売データ処理装置は、例えば、メンテナンス画面に、撮像部により撮像された商品などの画像(キャプチャ画像61)に対して、設定された閾値に基づいて2値化処理を施して得られた2値化画像(変換後画像62)、容器認識に関する良(○)または不良(X)を示すデータ、容器サイズのデータ、容器等がはみ出しているか否かを示すデータ(はみ出していない場合に丸印(○)、容器等がはみ出している場合にX印を示す)、容器種別を示すデータ、シールの色を示すデータ、などを表示する。
【0034】
キャプチャ画像61には、商品の認識範囲61aが設定されている。認識範囲61aは、例えば、計量部の計量皿上の商品載置領域などに対応するように設定されることが好ましい。商品がその認識範囲61aからはみ出した場合や、操作者の手などがキャプチャ画像61に写った場合に、制御部は、正確に商品の容器を特定することができないと判断し、エラー処理を行う。制御部によるエラー処理としては、表示部にエラーを示す表示を行う処理、商品を認識範囲61a内に載置するように促す表示を表示部に表示させる処理、などを挙げることができる。
【0035】
詳細には、本実施形態では、認識範囲61aの周囲に複数のはみ出し検出部61cを設けている。制御部1は、例えば、はみ出し検出部61cの画素値が閾値以上の場合に、認識範囲61aから商品がはみ出している、操作者の手などがキャプチャ画像61に写っている、などのエラーであると判断し、エラー処理を行う。
【0036】
また、商品販売データ処理装置は、容器や商品などの被測定物毎に、特定情報としての被測定物のサイズの平均値を示す平均値マーク71、被測定物(物体)を特定する際に参照される被測定物(物体)の大きさの許容範囲を示す許容範囲情報72を関連付けて記憶部に記憶しており、必要に応じてメンテナンス画面に表示する(
図6参照)。
【0037】
また、表示部の画面中央から画面下部には、縦軸に被測定物に割り当てられた識別番号を示し、横軸に被測定物の大きさ(サイズ)、本実施形態では、画素数などを示している。
【0038】
また、本実施形態では、許容範囲情報72は、例えば、被測定物を複数回測定した測定値の分布(正規分布など)から算出された識別範囲情報73と、識別範囲よりも大きい誤差範囲情報74と、を有する。
尚、識別範囲情報73は、被測定物の大きさ(サイズ)を複数回測定した平均値を基に、所定の幅を持たせることにより算出してもよい。
また、制御部は、載置部上の撮像位置に対応して、撮像部により得られる画像データに歪みが発生する場合、その歪みを補正して被測定物の大きさを算出する際の補正処理に基づいて、所定の幅を持たせることにより、所定の幅を有する識別範囲情報73を算出してもよい。
【0039】
また、誤差範囲情報74は、例えば、撮像部により被測定物を撮像する際、照明光や太陽光などの撮影環境(撮影状況)により、被測定物の大きさ(サイズ)の測定誤差を考慮して算出された範囲を示す。
この誤差範囲情報74は、被測定物を複数回測定した測定値の分布(正規分布など)から算出されてもよいし、平均値に対応して予め規定された割合で、平均値から算出してもよい。
【0040】
図7は撮像範囲において不均一な明るさの場合のキャプチャ画面の一例を示す図である。
商品販売データ処理装置の設置環境によっては、影などの影響により撮像範囲の一部分だけが暗いなど、撮像範囲で明るさが不均一の場合がある。
図7に示した例では、撮像範囲の左側領域の一部分に影があり、キャプチャ画像61の左側領域の一部分が暗くなっている。この場合、2値化画像(変換後画像62)において、容器や商品の左側領域が正しい形状になっていない。
【0041】
図8は、撮像範囲内の指定領域の露光値を増加させる場合の設定画面の一例を示す図である。
本発明の実施形態では、撮像部8(撮像手段)により撮像される撮像範囲の一部分または全部の領域を指定し、その領域の露光値などの撮像条件を変更することで、撮像範囲内の明るさの不均一を低減し、容器や商品を正しく認識させる処理を行う。次に、その処理の一実施形態を説明する。
【0042】
図8に示した設定画面には、撮像画像全体の露光値を示す露光値表示部51、露光値を1ポイントずつ減少させる減少ボタン52a、露光値を1ポイントずつ増加させる増加ボタン52b、露光値を10ポイントずつ減少せる減少ボタン52c、露光値を10ポイントずつ増加せる増加ボタン52d、露光値を自動設定させる自動設定ボタン53が表示されている。
【0043】
また、
図8に示した設定画面には、キャプチャボタン60(キャプチャーキー)、領域ARに関する部分露光値表示部54、部分露光値を1ポイントずつ減少させる減少ボタン55a、部分露光値を1ポイントずつ増加させる増加ボタン55b、領域ARの左辺に対応する直線561を左側に移動させる左移動ボタン56a、直線561を右側に移動させる右移動ボタン56b、領域ARの右辺に対応する直線571を左側に移動させる左移動ボタン57a、直線571を右側に移動させる右移動ボタン57b、領域ARの上辺に対応する直線581を上側に移動させる上移動ボタン58a、直線581を下側に移動させる下移動ボタン58b、領域ARの下辺に対応する直線591を上側に移動させる上移動ボタン59a、直線591を下側に移動させる下移動ボタン59b、設定処理を終了させる終了ボタン69などが表示されている。尚、領域ARは、直線561、直線571、直線581、直線591により囲まれた領域である。
制御部は上記ボタン(キー)などが操作された場合、それぞれに割り当てられた機能を実行する。
【0044】
図8に示した例では、左移動ボタン56a、右移動ボタン56b、左移動ボタン57a、右移動ボタン57b、上移動ボタン58a、下移動ボタン58b、上移動ボタン59a、下移動ボタン59bをユーザ(操作者)が操作することにより、撮像部により撮像される撮像範囲の一部分または全部の領域ARを容易に指定することができる。
尚、領域指定手段としては、この形態に限られるものではなく、例えば、タッチパネルを操作して領域ARの境界領域をなぞることにより、領域ARを指定してもよい。
また、領域指定手段は、一つまたは複数の領域ARを指定してもよい。
【0045】
ユーザ(操作者)は、減少ボタン55aまたは増加ボタン55bを操作することにより、指定された領域ARの露光値を容易に調整することができる。本実施形態では、露光値表示部51に表示された露光値と、部分露光値表示部54に表示された値を加減することにより、領域ARの露光値を調整することができる。
尚、撮像条件変更手段は、領域ARの露光値を変更できる手段であれば、この形態に限られるものではない。
【0046】
図9は撮像範囲内の指定領域の露光値を減少させる場合の設定画面の一例を示す図である。
図9に示した例では、領域ARの露光値を低下させることにより、撮像領域全体の明るさの不均一を低減させている。
【0047】
上述したように、撮像範囲内の指定領域の露光値の補正は、使用環境が変化しない場合に一度だけ行えばよく、使用環境が変化した場合には、撮像範囲内の指定領域の露光値の補正を再度行えばよい。
【0048】
以上、説明したように、本発明の実施形態に係る商品販売データ処理装置100は、撮像部8(撮像手段)により撮像される物体(容器や商品など)を認識して販売データを処理する。この商品販売データ処理装置100は、撮像部8(撮像手段)により撮像される撮像範囲の一部分または全部の領域ARを指定する領域指定部163(領域指定手段)と、領域指定部163(領域指定手段)により指定された領域ARに関する露光値などの撮像条件を変更する撮像条件変更部164(撮像条件変更手段)と、を有する。
このため、撮像部8の撮像範囲の明るさが不均一であっても、領域指定部163により指定された、撮像範囲の一部分または全部の領域ARに関する露光値などの撮像条件を撮像条件変更部164(撮像条件変更手段)が変更することで、高精度に画像認識することができる商品販売データ処理装置を提供することができる。
【0049】
また、本実施形態では、領域指定部163による領域の指定は、表示部6(表示手段)より表示した撮像範囲の一部分または全部の領域ARを指定することにより行うことができる。このため、ユーザ(設定者)は、表示部6に表示された撮像範囲の画像を見ながら、簡単な操作により、撮像範囲の一部分または全部の領域ARの露光値を容易に調整することができる。
尚、上記撮像範囲の領域の指定や露光値(部分露光値)の設定を、制御部1が撮像部による撮像画像の各画素値に基づいて自動で最適値に設定する処理を行ってもよい。こうすることで、制御部が撮像領域の一部分または全部に関して、露光値を最適に自動で設定することができる。
【0050】
以上、本発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこれらの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計の変更等があっても本発明に含まれる。
また、上述の各図で示した実施形態は、その目的及び構成等に特に矛盾や問題がない限り、互いの記載内容を組み合わせることが可能である。
また、各図の記載内容はそれぞれ独立した実施形態になり得るものであり、本発明の実施形態は各図を組み合わせた一つの実施形態に限定されるものではない。
尚、上記実施形態では、撮像部により得られた画像の一部分または全部の領域の露光値などを変更したが、この形態に限られるものではない。例えば、撮像部にハード的なフィルタを部分的に設けるなどして、撮像時に部分的に露出を異ならせるようにすることで、本発明に係る撮像条件を変更してもよい。