(58)【調査した分野】(Int.Cl.,DB名)
前記基板は、前記基板に形成されたシルク文字の少なくとも一部に関して、当該シルク文字での光の反射を防ぐ処置が施されていることを特徴とする請求項1または2に記載の撮像装置。
【背景技術】
【0002】
CCD(charge coupled device)やCMOS(Complementary Metal-Oxide Semiconductor)などを用いた撮像ユニットによって商品を撮像した画像からバーコードの抽出および解析またはオブジェクト認識によって商品を認識する商品認識装置が提案されている。
【0003】
この種の商品認識装置においては、撮像ユニットを収容した筐体の内部に光源を備え、この光源が発した光によって商品を照明することがある。
【0004】
このように構成された商品認識装置では、光源が発した光が筐体の内壁などにより反射して撮像ユニットに入射することがある。そしてこのような反射光の入射が生じると、商品についての画質の低下を来たし、認識精度が低下する恐れがある。特に、物体を認識するオブジェクト認識においては、商品の特徴の微妙な違いを見分けることが必要である場合もあり、商品を高画質に撮像できることが、認識精度の向上に有効である。
【0005】
このような事情から、余計な光の入射を抑制し、商品を高画質に撮像できることが望まれていた。
【発明を実施するための形態】
【0010】
以下、撮像装置およびその撮像装置を備えたオブジェクト認識スキャナの実施形態について、図面を用いて説明する。この実施形態は、スーパーマーケット等の店舗に設けられた会計カウンタに立設される縦型の商品認識装置に適用した場合である。
【0011】
図1は本実施形態に係る商品認識装置を含んだ店舗システムの外観図である。この店舗システムは、商品認識装置100およびPOS(point of sales)端末200を含む。商品認識装置100は、会計カウンタ300の上に取り付けられる。POS端末200は、レジ台400に載置されたドロワ500の上に設置される。商品認識装置100とPOS端末200とは、図示しない通信ケーブルにより電気的に接続される。ドロワ500に代えて、自動釣銭機が設置される場合もある。
【0012】
商品認識装置100は、ハウジング101、キーボード102、タッチパネル103、客用ディスプレイ104および撮像部105を含む。
【0013】
ハウジング101は、平型の箱状をなし、会計カウンタ300の上に立つ。ハウジング101は、上端においてキーボード102、タッチパネル103、客用ディスプレイ104を支持し、内部において撮像部105を支持する。ハウジング101は、撮像部105に対向して読取窓101aを有する。撮像部105は、読取窓101aを介して、読取窓101aの前の撮像領域に位置する物体(オブジェクト)を撮像する。
【0014】
POS端末200は、ハウジング201、キーボード202、オペレータ用ディスプレイ203、客用ディスプレイ204およびプリンタ205を含む。
【0015】
ハウジング201は、キーボード202をその一部を外部に露出する状態で支持し、オペレータ用ディスプレイ203および客用ディスプレイ204を外部に位置する状態で支持し、プリンタ205を内部にて支持する。
【0016】
会計カウンタ300は、細長い天板300aを含む。会計カウンタ300は、天板の長手方向に沿った顧客通路(
図1における奥側)とオペレータスペース(
図1における手前側)とを分ける。ハウジング101は、天板300aの長手方向の略中央に位置し、キーボード102、タッチパネル103および読取窓101aをそれぞれオペレータスペース側に向けるとともに、客用ディスプレイ104を顧客通路側に向ける。天板300aの上面は、商品認識装置100を挟んで顧客移動方向の上流側の領域と下流側の領域とに区分される。上流側の領域は、買物客が購入しようとする商品のうちの売上登録が済んでいない商品を置くためのスペースとして使用される。下流側の領域は、売上登録が済んだ商品を置くためのスペースとして使用される。
【0017】
レジ台400は、顧客通路における顧客の移動方向に対して下流側の会計カウンタ300の端部に並ぶようにオペレータスペース側に位置する。
【0018】
図2は撮像部105の構造を一部破断して示す図である。
【0019】
撮像部105は、筐体105a、基板105b,105c、撮像デバイス105d、発光デバイス105e,105fおよび遮光板105gを含む。
【0020】
筐体105aは、対向する2面を第1の開口OP1および第2の開口OP2とするとともに、第1の開口OP1から第2の開口OP2に向けて断面積が徐々に減少するような、断面が矩形の筒状をなす。第1の開口OP1に透明なガラス板またはアクリル板などを取り付けて読取窓101aが形成される。
【0021】
基板105bは、第2の開口OP2をほぼ塞ぐように筐体105aに取り付けられている。基板105bには、撮像デバイス105dおよび発光デバイス105eなどが取り付けられる。基板105bのうちで、筐体105aの内部空間に向く面内の当該内部空間に露出する領域については、反射低減加工が施されている。反射低減加工としては、光の反射率の低い色での着色(例えばつや消しの黒色)、光の反射率の低い材料(吸光剤)の塗布、凹凸を形成するなどの機械的加工などのどのような手法を用いても良い。また、基板に形成されたシルク文字は、なるべく消すことが望ましい。シルク文字により表示されていた情報のうちで読み取れるようにしておく必要があるものについては、例えば刻印により表示する。このような基板105bは、第1の基板に相当することとなる。
【0022】
基板105cは、筐体105aの天井の第1の開口OP1の近くの位置に取り付けられる。基板105cには、発光デバイス105fなどが取り付けられる。
【0023】
撮像デバイス105dは、CCDなどのイメージセンサと、読取窓から入射した商品の光像を上記のイメージセンサに結像するレンズ系などを備え、商品を表した画像データを生成する。
【0024】
発光デバイス105e,105fとしては、例えばLED(light emitting diode)などの周知のデバイスを利用できる。発光デバイス105e,105fはそれぞれ、読取窓101aを通して筐体105aの外部へと光を照射する。これにより発光デバイス105e,105fは、読取窓101aの前に翳された商品を照明する。なお、発光デバイス105eは、図示の2つの他に、撮像デバイス105dを挟んだ反対側に同様に2つが配置される。また発光デバイス105fは、
図2の奥行き方向に並んで配置される。もちろん、発光デバイス105e,105fの数および配置は任意であって良い。例えば、発光デバイス105eが第1の発光デバイスに相当し、かつ発光デバイス105fが第2の発光デバイスに相当する。
【0025】
遮光板105gは、筐体105aの内部空間に、読取窓101aとほぼ平行する状態で筐体105aに固定されている。
【0026】
図3は遮光板105gを
図2中の左側より見た様子を示す平面図である。
【0027】
遮光板105gは、透明で、矩形をなす板体の中央付近にほぼ矩形の開口OP3を形成するとともに、ハッチングで示すような遮光領域を形成して構成される。板体の材質としては、アクリルが好適であるが、透明な材料であれば任意の材質であって良い。遮光板105gのうちの開口OP3および遮光領域以外の領域は、光を透過する。ちなみに,開口OP3の
図3における側方は、
図2における左側から右側に向かって間隔が狭まるような斜面SLをなしている。
【0028】
開口OP3は、所定の視野内から到来する光を遮ることなく撮像デバイス105dに入射させるように、その位置および大きさが定められる。
【0029】
遮光領域は、光の透過を遮るとともに、反射も低減するような加工が施されている。当該加工としては、光の反射率の低い色での着色、光の反射率の低い材料(吸光剤)の塗布、凹凸を形成するなどの機械的加工などのどのような手法を用いても良い。そして遮光領域は、発光デバイス105eが発した光が、読取窓101aの前に翳された商品に、それを照明するのに充分な光量で到達するように定める。かつ遮光領域は、撮像デバイス105dに反射光が入射しないよう光の経路を断つ。かくして遮光板は、遮光部材としての機能を有する。
【0030】
図4は商品認識装置100における電気的要素のブロック図である。なお、
図4に示される要素のうちで
図1および
図2に示されるのと同一の要素には同一の符号を付する。
【0031】
商品認識装置100は電気的要素として、キーボード102、タッチパネル103、客用ディスプレイ104、撮像デバイス105d、発光デバイス105e,105fのほかに、CPU(central processing unit)106、ROM(read-only memory)107、RAM(random-access memory)108、キーボードインタフェース(キーボードI/F)109、パネルインタフェース(パネルI/F)110、表示インタフェース(表示I/F)111、撮像インタフェース(撮像I/F)112、駆動部113、POS端末インタフェース(POS端末I/F)114およびバスライン115を含む。なお、バスライン115は、アドレスバスおよびデータバスなどを含み、CPU106、ROM107、RAM108、キーボードインタフェース109、パネルインタフェース110、表示インタフェース111、撮像インタフェース112およびPOS端末インタフェース114を互いに接続する。
【0032】
キーボード102は、複数のキースイッチを含み、これらのキースイッチに対するオペレータによる操作の内容を表したコマンドをCPU106へ出力する。
【0033】
タッチパネル103は、例えばLCD(liquid crystal display)などの表示デバイスと、この表示デバイスの表示画面に重ねて配置された透明な二次元タッチセンサとを含む。タッチパネル103は、CPU106の制御の下に任意の画像を表示デバイスにおいて表示する。タッチパネル103は、表示デバイスの表示画面におけるオペレータのタッチ位置を二次元タッチセンサにて検出し、そのタッチ位置を表す座標データを出力する。タッチパネル103は、オペレータに対して提示するべき各種の情報を表した画像を表示したり、オペレータの操作を入力するために利用される。
【0034】
客用ディスプレイ104は、CPU106の制御の下に任意の文字列または画像を表示する。客用ディスプレイ104は、客に対して提示するべき各種の文字列や画像を表示するために利用される。客用ディスプレイ104としては、例えば蛍光管表示器またはLCDが利用できる。
【0035】
CPU106は、コンピュータの中枢部分に相当する。CPU106は、ROM107およびRAM108に記憶されたオペレーティングシステム、ミドルウェアおよびアプリケーションプログラムに基づいて、商品認識装置100としての各種の動作を実現するべく商品認識装置100の各要素を制御する。
【0036】
ROM107は、上記コンピュータの主記憶部分に相当する。ROM107は、上記のオペレーティングシステムを記憶する。ROM107は、上記のミドルウェアやアプリケーションプログラムを記憶する場合もある。またROM107は、CPU106が各種の処理を行う上で参照するデータを記憶する場合もある。
【0037】
RAM107は、上記コンピュータの主記憶部分に相当する。RAM108は、CPU106が各種の処理を行う上で参照するデータを記憶する。さらにRAM108は、CPU106が各種の処理を行う上で一時的に使用するデータを記憶しておく、いわゆるワークエリアとして利用される。
【0038】
ROM107に記憶されるアプリケーションプログラムには、撮像デバイス105dにより生成された画像データに基づき、オブジェクト認識によって商品を認識する認識処理に関して記述したプログラムを含む。
【0039】
キーボードインタフェース109、パネルインタフェース110、表示インタフェース111、撮像インタフェース112およびPOS端末インタフェース114は、CPU106と、キーボード102、タッチパネル103、客用ディスプレイ104、撮像デバイス105dおよびPOS端末200とのデータの授受をそれぞれ仲介する。
【0040】
駆動部113は、発光デバイス105e,105fをCPU106の制御の下に点灯させるべくそれぞれ駆動する。
【0041】
なお、POS端末200は、通信ネットワーク600を介してサーバ700と通信する機能を備える。
【0042】
次に商品認識装置100の動作について説明する。
【0043】
商品認識装置100が、商品認識を行うべき動作状態にあるときにCPU106は、一定のフレームレートでの撮像が行われるように撮像デバイス105dを動作させるとともに、これに同期した適切なタイミングで商品が照明されるように発光デバイス105e,105fを発光させる。
【0044】
読取窓101aの前に翳されて、発光デバイス105e,105fが発した光により照明された商品の光像は、読取窓101aおよび遮光板105gの開口OP3を通って撮像デバイス105dのレンズ系に入射し、撮像デバイス105dのイメージセンサに結像される。そしてイメージセンサは、結像された光像に応じた画像データを生成する。CPU101aは、イメージセンサにより生成された画像データをRAM108に取り込んだ上で、この画像データを対象とし、辞書に記憶される照合用データと比較し、物体を認識する認識処理を実行することによって、読取窓101aの前に翳されている商品を認識する。従ってCPU106は、認識手段として機能する。照合用データは特徴量や、基準画像であり、これらの照合用データは、予め辞書に記憶される。特徴量は、商品の標準的な形状、表面の色合い、模様、凹凸状況等の外観の特徴をパラメータ化したものである。辞書は、商品認識装置100、POS端末200、POS端末200と接続するサーバ(図示せず)のいずれかが備える。
【0045】
認識処理は、既存の同種の装置にて行われている処理と同様であって良い。なお、画像中に含まれる物体を認識することは一般物体認識(generic object recognition)と呼ばれている。このような一般物体認識については、下記の文献において各種認識技術が解説されている。
【0046】
柳井 啓司,“一般物体認識の現状と今後”,情報処理学会論文誌,Vol.48,No.SIG16 [平成22年8月10日検索],インターネット<URL: http://mm.cs.uec.ac.jp/IPSJ-TCVIM-Yanai.pdf >
また、画像をオブジェクトごとに領域分割することによって一般物体認識を行う技術が、下記の文献において解説されている。
【0047】
Jamie Shottonら,“Semantic Texton Forests for Image Categorization and Segmentation”,[平成22年8月10日検索],インターネット<URL: http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.145.3036&rep=rep1&type=pdf >
さて、発光デバイス105e,105fで発せられた光の多くは、読取窓101aを通って筐体105aの外部へと放射されるが、一部は筐体105aで反射し、その後に様々な経路を通って撮像デバイス105dに到達する可能性がある。また、商品からの光は、上述した直接的な経路以外にも、筐体105aでの反射し、その後にさまざまな経路を通って撮像デバイス105dに到達する可能性がある。
【0048】
しかしながら、これらの反射光のうちの基板105aに到達したものは、基板105aでは殆ど反射せずに大幅に減衰する。また反射光のうちで遮光板105gの遮光領域に到達したものは、遮光板105gを殆ど透過も反射もせずに大幅に減衰する。
【0049】
このようにして、反射光のうちの多くが撮像デバイス105dには入射しない。つまり、筐体105aで反射した上で撮像デバイス105dへと入射する光量は、基板105bおよび遮光板105gによって減じられることとなり、これにより余計な映り込みを軽減して、商品についての画質を向上することが可能となる。
【0050】
そして、高画質な商品の画像に対する認識処理により、精度の高い商品認識が可能となる。
【0051】
この実施形態は、次のような変形実施が可能である。
【0052】
遮光板105gに代えて、それぞれ異なる遮光領域を形成した複数の遮光板を設けても良い。
【0053】
遮光板105gに代えて、板状ではない遮光部材を設けても良い。
【0054】
筐体105aの内部空間に露出する面を有する基板が基板105b以外に設けられる場合には、その基板105b以外の基板に、基板105bと同様に反射防止加工を施しても良い。例えば、基板105cが筐体105aの内部空間に露出するように配置されているとするならば、基板105cの読取窓101aに向く側の面に反射防止加工を施しても良い。この場合は、基板105cが第2の基板に相当することとなる。
【0055】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
以下に、本願の当初の特許請求の範囲に記載された発明を付記する。
[付記1] 一面に撮像窓を形成した筐体と、
前記筐体の内部に配置され、前記撮像窓に向く面の少なくとも一部に光の反射を防ぐ処置が施された基板と、
前記基板に取り付けられ、前記筐体の外部へと前記撮像窓を通して照明光を放射する発光デバイスと、
前記照明光によって照明された物体を、前記撮像窓を通して撮像する撮像デバイスと、
前記筐体の内部に設けられ、前記撮像を妨げることなく、かつ前記筐体の内部の各所における反射光の少なくとも一部が前記撮像デバイスに入射することを遮る遮光部材とを具備したことを特徴とする撮像装置。
[付記2] 遮光部材は、前記撮像デバイスに向かう反射光を遮る処理を一部領域に施した透明な板材であることを特徴とする付記1に記載の撮像装置。
[付記3] 前記基板は、前記基板に形成されたシルク文字の少なくとも一部に関して、当該シルク文字での光の反射を防ぐ処置が施されていることを特徴とする付記1または2に記載の撮像装置。
[付記4] 前記基板とは異なるものであり、前記筐体の内部に配置され、前記撮像窓に向く面の少なくとも一部に光の反射を防ぐ処置が施された第2の基板と、
前記第2の基板に取り付けられ、前記筐体の外部へと前記撮像窓を通して照明光を放射する第2の発光デバイスとをさらに具備したことを特徴とする付記1−3のいずれか一項に記載の撮像装置。
[付記5] 一面に撮像窓を形成した筐体と、
前記筐体の内部に配置され、前記撮像窓に向く面の少なくとも一部に光の反射を防ぐ処置が施された基板と、
前記基板に取り付けられ、前記筐体の外部へと前記撮像窓を通して照明光を放射する発行デバイスと、
前記照明光によって照明された物体を前記撮像窓を通して撮像する撮像デバイスと、
前記撮像デバイスによって得られた画像に表れた前記物体の特徴に基づいて前記物体を認識する認識手段と、
前記筐体の内部に設けられ、前記撮像を妨げることなく、かつ前記筐体の内部の各所における反射光の少なくとも一部が前記撮像デバイスに入射することを遮る遮光部材とを具備したことを特徴とするオブジェクト認識スキャナ。