特許 6205275 商品認識装置及びこの装置の制御プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6205275

(24)【登録日】2017年9月8日

(45)【発行日】2017年9月27日

(54)【発明の名称】商品認識装置及びこの装置の制御プログラム

(51)【国際特許分類】

   G07G 1/12 20060101AFI20170914BHJP

   G07G 1/00 20060101ALI20170914BHJP

【ＦＩ】

   G07G1/12 331B

   G07G1/00 311D

【請求項の数】6

【全頁数】13

(21)【出願番号】特願2014-8131(P2014-8131)

(22)【出願日】2014年1月20日

(65)【公開番号】特開2015-138301(P2015-138301A)

(43)【公開日】2015年7月30日

【審査請求日】2016年4月18日

(73)【特許権者】

【識別番号】000003562

【氏名又は名称】東芝テック株式会社

(74)【代理人】

【識別番号】100108855

【弁理士】

【氏名又は名称】蔵田 昌俊

(74)【代理人】

【識別番号】100109830

【弁理士】

【氏名又は名称】福原 淑弘

(74)【代理人】

【識別番号】100103034

【弁理士】

【氏名又は名称】野河 信久

(74)【代理人】

【識別番号】100075672

【弁理士】

【氏名又は名称】峰 隆司

(74)【代理人】

【識別番号】100153051

【弁理士】

【氏名又は名称】河野 直樹

(74)【代理人】

【識別番号】100140176

【弁理士】

【氏名又は名称】砂川 克

(74)【代理人】

【識別番号】100158805

【弁理士】

【氏名又は名称】井関 守三

(74)【代理人】

【識別番号】100179062

【弁理士】

【氏名又は名称】井上 正

(74)【代理人】

【識別番号】100124394

【弁理士】

【氏名又は名称】佐藤 立志

(74)【代理人】

【識別番号】100112807

【弁理士】

【氏名又は名称】岡田 貴志

(74)【代理人】

【識別番号】100111073

【弁理士】

【氏名又は名称】堀内 美保子

(72)【発明者】

【氏名】見原 日出海

【審査官】 望月 寛

(56)【参考文献】

【文献】 特開２０１３−１７８７２２（ＪＰ，Ａ）

【文献】 特開２００９−２５５９０４（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０７Ｇ １／１２

Ｇ０７Ｇ １／００

(57)【特許請求の範囲】

【請求項1】

読取窓と、
この読取窓の外周部に配置され、操作に応じて入力信号を出力する操作子と、
前記読取窓に翳された商品を撮像する撮像手段と、
この撮像手段で撮像された画像から、前記読取窓に翳された商品を認識する認識手段と、
前記撮像手段で撮像された画像から、オペレータによる前記操作子の操作が推測される画像を検出する検出手段と、
この検出手段により前記オペレータによる前記操作子の操作が推測される画像が検出されたことを条件に、前記操作子の入力信号を有効とする制御手段と、
を具備し、
前記操作子は、該操作子を操作するオペレータの手が前記撮像手段で撮像される位置に配置したことを特徴とする商品認識装置。

【請求項2】

前記制御手段は、前記検出手段により前記操作子の操作が推測される画像が検出された場合に前記操作子の入力信号を受け付け、入力された場合にその入力信号を有効とすることを特徴とする請求項１記載の商品認識装置。

【請求項3】

前記制御手段は、前記操作子が操作された場合に前記検出手段を動作させ、前記操作子の操作が推測される画像が検出された場合に前記操作子の入力信号を有効とすることを特徴とする請求項１記載の商品認識装置。

【請求項4】

オペレータが前記操作子を操作する際の手の画像を記憶する記憶手段、
をさらに備え、
前記検出手段は、前記撮像手段で撮像された画像を前記記憶手段で記憶される画像と照合してオペレータによる前記操作子の操作が推測される画像を検出することを特徴とする請求項１乃至３のうちいずれか１に記載の商品認識装置。

【請求項5】

前記認識手段は、前記画像に映し出されたデータコードをデコードして商品を認識するデータコード読取手段と、前記画像に映し出された商品の画像から当該商品の外観特徴量を抽出して商品を認識するオブジェクト認識手段とを含み、
前記操作子は、前記データコード読取手段による認識モードと前記オブジェクト認識手段による認識モードとを切り替えるスイッチであることを特徴とする請求項１乃至４のうちいずれか１に記載の商品認識装置。

【請求項6】

読取窓と、この読取窓の外周部に配置され、操作に応じて入力信号を出力する操作子と、前記読取窓に翳された商品を撮像する撮像手段とを備え、前記操作子は、該操作子を操作するオペレータの手が前記撮像手段で撮像される位置に配置した商品認識装置のコンピュータを、
前記撮像手段で撮像された画像から、前記読取窓に翳された商品を認識する認識手段、
前記撮像手段で撮像された画像から、オペレータによる前記操作子の操作が推測される画像を検出する検出手段、及び
前記検出手段によりオペレータによる操作子の操作が推測される画像が検出されたことを条件に、操作子の入力信号を有効とする制御手段、
として機能させるための制御プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施形態は、商品を撮像した画像からこの商品を認識する商品認識装置及びこの商品認識装置の制御プログラムに関する。

【背景技術】

【0002】

撮像画像からこの画像に映し出された商品を認識する技術として、バーコード読取技術とオブジェクト認識技術がある。バーコード読取技術は、撮像画像から商品に付されたバーコードの画像を切り出し、この画像のバーコードをデコードして商品コードを取得し、この商品コードで特定される商品を認識する。オブジェクト認識技術は、撮像画像に映し出された商品の外観特徴量を抽出し、この外観特徴量を認識辞書ファイルに予め登録された各商品の基準画像の特徴量データと照合して特徴量の類似度を算出し、この類似度に応じて商品を認識する。これらの技術は、例えば小売店の会計場（レジ）に設置されたスキャナ装置に利用される。

【0003】

ところで、例えばスーパーマーケットの食料品売場では、バーコードが付された商品と、生鮮食品のようにバーコードが付されていない商品とが混在する。そこで、このような売場向けのスキャナ装置として、バーコード読取技術とオブジェクト認識技術とを併用したスキャナ装置が提案されている。

【0004】

この種のスキャナ装置は、ハウジングにＣＣＤカメラ等の撮像装置を内蔵する。また、ハウジングの一面に読取窓が形成されており、撮像装置は、読取窓にかざされた商品の画像を撮像する。さらに、バーコード読取技術によって商品を認識するモードとオブジェクト認識技術によって商品を認識するモードとを切り替えるためのスイッチが必要となる。このスイッチは、操作性の観点から見て読取窓の近くにあることが望ましい。また、このスイッチは、頻繁に操作されるので、耐久性に優れた静電容量式のスイッチが好ましい。しかしながら、静電容量式のスイッチを操作窓の周囲に配置した場合、読取窓に翳した商品の一部がスイッチに触れて入力状態になる懸念がある。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２０１３−１７８７２２号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

一実施形態が解決しようとする課題は、読取窓の周囲に配置される操作子の意図しない入力を防止できる商品認識装置を提供しようとするものである。

【課題を解決するための手段】

【0007】

一実施形態において、商品認識装置は、読取窓と、操作子と、撮像手段と、認識手段と、検出手段と、制御手段とを含む。操作子は、読取窓の外周部に配置されており、操作に応じて入力信号を出力する。撮像手段は、読取窓に翳された商品を撮像する。認識手段は、撮像手段で撮像された画像から、読取窓に翳された商品を認識する。検出手段は、撮像手段で撮像された画像から、オペレータによる操作子の操作が推測される画像を検出する。制御手段は、検出手段によりオペレータによる操作子の操作が推測される画像が検出されたことを条件に、操作子の入力信号を有効とする。操作子は、該操作子を操作するオペレータの手が撮像手段で撮像される位置に配置される。

【図面の簡単な説明】

【0008】

【図1】一実施形態における店舗会計システムの外観図。

【図2】読取窓とその近傍に配置されるスイッチとを示す模式図。

【図3】スイッチを操作するオペレータの手を撮像した画像の一例を示す図。

【図4】スキャナ装置の要部構成を示すブロック図。

【図5】基準画像ファイルを示す模式図。

【図6】第１の実施形態において、スキャナ装置のＣＰＵが制御プログラムにしたがって実行する情報処理手順の要部を示す流れ図。

【図7】第２の実施形態において、スキャナ装置のＣＰＵが制御プログラムにしたがって実行する情報処理手順の要部を示す流れ図。

【発明を実施するための形態】

【0009】

以下、商品認識装置の実施形態について、図面を用いて説明する。この実施形態は、スーパーマーケットのチェックアウトカウンタに立設される縦型のスキャナ装置１０に商品認識装置としての機能を適用した場合である。

【0010】

（第１の実施形態）
図１は、スーパーマーケットに構築される店舗会計システム１の外観図である。店舗会計システムは、登録部としてのスキャナ装置１０と、決済部としてのＰＯＳ（Point Of Sales）端末２０とを含む。スキャナ装置１０は、チェックアウトカウンタ２の上に取り付けられる。ＰＯＳ端末２０は、レジ台３の上にドロワ４を介して設置される。スキャナ装置１０とＰＯＳ端末２０とは、通信ケーブル７（図４を参照）によって電気的に接続される。

【0011】

スキャナ装置１０は、商品の登録に必要なデバイスとしてキーボード１１、タッチパネル１２及び客用表示器１３を備える。これらの表示・操作デバイスは、スキャナ装置１０の本体を構成する薄型矩形形状のハウジング１０Ａに取り付けられる。

【0012】

ハウジング１０Ａには、撮像手段としての撮像部１４が内蔵される。また、矩形状の読取窓１０Ｂが、ハウジング１０Ａの正面に形成される。撮像部１４は、エリアイメージセンサであるＣＣＤ（Charge Coupled Device）撮像素子及びその駆動回路と、撮像領域の画像をＣＣＤ撮像素子に結像させるための撮像レンズとを備える。撮像領域とは、読取窓１０Ｂから撮像レンズを通してＣＣＤ撮像素子のエリアに結像するフレーム画像の領域を指す。撮像部１４は、撮像レンズを通ってＣＣＤ撮像素子に結像した撮像領域の画像を出力する。

【0013】

ＰＯＳ端末２０は、決済に必要なデバイスとしてキーボード２１、オペレータ用ディスプレイ２２、客用表示器２３及びレシートプリンタ２４を備える。

【0014】

チェックアウトカウンタ２は、顧客通路に沿って設置される。レジ台３は、チェックアウトカウンタ２の一方の端部の手前側に、チェックアウトカウンタ２に対して略垂直に置かれる。そして、このチェックアウトカウンタ２の手前側とレジ台３の手前側とが、オペレータである会計担当の店員（キャッシャ）のスペースとなり、その反対側が顧客通路となる。顧客は、チェックアウトカウンタ２のレジ台３が設けられた側とは反対側の端部からレジ台３が設けられた側の端部へとチェックアウトカウンタ２に沿って移動して、会計を行う。

【0015】

チェックアウトカウンタ２の略中央には、スキャナ装置１０のハウジング１０Ａが立設される。そしてこのハウジング１０Ａに、キーボード１１、タッチパネル１２及び読取窓１０Ｂがそれぞれキャッシャのスペース側に向けて取り付けられ、客用表示器１３が顧客通路側に向けて取り付けられる。

【0016】

チェックアウトカウンタ２のスキャナ装置１０を挟んで顧客移動方向上流側の荷受面は、買物客が購入する未登録の商品Ｍが入れられた買物カゴ５を置くためのスペースとなる。また、下流側の荷受面は、スキャナ装置１０により登録された商品Ｍを入れるための買物カゴ６を置くためのスペースとなる。

【0017】

スキャナ装置１０は、周知のバーコード読取技術とオブジェクト認識技術とを併用したタイプのものである。このタイプのスキャナ装置１０は、図２に示すように、バーコード読取技術によって商品を認識するかオブジェクト認識技術によって商品を認識するかの認識モードを切り替えるためのスイッチ（操作子）１５が必要となる。スイッチ１５は、読取窓１０Ｂの上縁部の略中央に配置する。この部位にスイッチ１５があると、オペレータは、スイッチ１５を操作した手を大きく動かすことなく商品を読取窓１０Ｂに翳すことができる。また、スイッチ１５は、静電容量式のスイッチを使用する。静電容量式のスイッチは、耐久性に優れている。また、塵や汚れ等の影響も少ないので、頻繁に操作されるスイッチ１５として適している。

【0018】

ところで、スイッチ１５を読取窓１０Ｂの上縁部略中央に配置した場合、図３に示すように、スイッチ１５を操作するオペレータの手が撮像部１４によって撮像される。そこで本実施形態では、スイッチ１５を操作するオペレータの手の画像を利用して、スイッチ１５から出力される入力信号の有効、無効を制御する。

【0019】

図４は、スキャナ装置１０の要部構成を示すブロック図である。スキャナ装置１０は、前述したキーボード１１、タッチパネル１２、客用表示器１３、撮像部１４、スイッチ１５以外に、ＣＰＵ（Central Processing Unit）１０１、ＲＯＭ（Read Only Memory）１０２、ＲＡＭ（Random Access Memory）１０３、Ｉ／Ｏポート１０４、通信インターフェース１０５及びバスライン１０６を含む。

【0020】

アドレスバス，データバス等のバスライン１０６は、ＣＰＵ１０１と、ＲＯＭ１０２、ＲＡＭ１０３、Ｉ／Ｏポート１０４及び通信インターフェース１０５とを接続する。また、図示しない入出力回路を介して、キーボード１１、タッチパネル１２、客用表示器１３及び撮像部１４がバスライン１０６に接続される。

【0021】

ＣＰＵ１０１は、コンピュータの中枢部分に相当する。ＣＰＵ１０１は、オペレーティングシステムやアプリケーションプログラムに従って、スキャナ装置１０としての各種の機能を実現するべく各部を制御する。

【0022】

ＲＯＭ１０２は、上記コンピュータの主記憶部分に相当する。ＲＯＭ１０２は、上記のオペレーティングシステムやアプリケーションプログラムを記憶する。ＲＯＭ１０２は、ＣＰＵ１０１が各部を制御するための処理を実行する上で必要なデータを記憶する場合もある。

【0023】

ＲＡＭ１０３は、上記コンピュータの主記憶部分に相当する。ＲＡＭ１０３は、ＣＰＵ１０１が処理を実行する上で必要なデータを記憶する。またＲＡＭ１０３は、ＣＰＵ１０１によって情報が適宜書き換えられるワークエリアとしても利用される。

【0024】

Ｉ／Ｏポート１０４は、スイッチ１５の操作により発生する入力信号を取り込む。
通信インターフェース１０５は、通信ケーブル７を介して接続されるＰＯＳ端末２０との間で、所定のプロトコルに従いデータ信号を送受信する。

【0025】

ＰＯＳ端末２０は、商品データファイル８と認識辞書ファイル９とを備える。商品データファイル８は、店舗で販売される各商品に対して予め設定された固有の商品コードに関連付けて、その商品の品名、単価等の商品データを格納する。認識辞書ファイル９は、前記商品コードに関連付けて、その商品の外観の特徴データを示すパラメータを格納する。パラメータは、商品の形状、表面の色合い、模様、凹凸状況等のような商品の標準的な外観の特徴量を商品毎に数値化したものである。

【0026】

商品データファイル８と認識辞書ファイル９は、補助記憶デバイスに保存される。補助記憶デバイスは、例えばＥＥＰＲＯＭ（Electric Erasable Programmable Read-Only Memory）、ＨＤＤ（Hard Disc Drive）、あるいはＳＳＤ（Solid State Drive）などである。補助記憶デバイスは、ＰＯＳ端末２０に内蔵されていてもよいし、外付けされていてもよい。

【0027】

スキャナ装置１０は、図５に示すように複数の基準画像Ａ，Ｂ，Ｃ，…が格納された基準画像ファイル１０７を有する。基準画像Ａ，Ｂ，Ｃ，…は、図３に示すように、スイッチ１５を操作するオペレータの手の画像であり、予め用意された複数パターンの手の画像が基準画像として基準画像ファイル１０７に格納される。ここに、基準画像ファイル１０７は、オペレータがスイッチ１５（操作子）を操作する際の手の画像を記憶する記憶手段を構成する。

【0028】

かかる構成のスキャナ装置１０において、ＣＰＵ１０１は、撮像部１４（撮像手段）で撮像された画像から、読取窓１０Ｂに翳された商品を認識する認識手段、撮像部１４（撮像手段）で撮像された画像から、オペレータによるスイッチ１５の操作が推測される画像を検出する検出手段、及び、検出手段によりオペレータによるスイッチ１５の操作が推測される画像が検出されたことを条件に、スイッチ１５の入力信号を有効とする制御手段としての機能を有する。これらの機能は、ＲＯＭ１０２に格納された制御プログラムにしたがって実現される。

【0029】

図６の流れ図を用いてＣＰＵ１０１の各機能について説明する。この流れ図は、上記制御プログラムにしたがってＣＰＵ１０１が実行する情報処理の要部手順を示すものである。

【0030】

この処理は、ＰＯＳ端末２０から通信インターフェース１０５に、商品登録の開始を指令するコマンドが入力されるとスタートする。先ず、ＣＰＵ１０１は、タッチパネル１２に登録画面を表示させる（Act１）。登録画面には、スキャナ装置１０において商品の登録が可能になったことをキャッシャが確認できる画像が表示される。したがって、登録画面を確認したキャッシャは、買物客が買い上げる商品の登録作業を開始する。

【0031】

またＣＰＵ１０２は、撮像部１４に対して撮像オン信号を出力する（Act２）。撮像オン信号が撮像部１４に出力されると、撮像部１４は、撮像領域の撮像を開始する。撮像部１４で撮像されたフレーム画像はＲＡＭ１０３に順次書き込まれる。

【0032】

さらにＣＰＵ１０１は、モードフラグＭＦを“０”に設定する（Act３：制御手段）。モードフラグＭＦは、ＲＡＭ１０３に格納されるビットデータであり、バーコード読取技術を利用した商品認識モードのとき“０”に設定され、オブジェクト認識技術を利用した商品認識モードのとき“１”に設定される。なお、Act１〜Act３の手順はこれに限定されるものではなく、順序が入れ替わってもよい。

【0033】

Act１〜Act３の処理を終了すると、ＣＰＵ１０１は、ＲＡＭ１０３に書き込まれたフレーム画像を順次取り込む（Act４）。そしてフレーム画像を取り込む毎に、ＣＰＵ１０１は、モードフラグＭＦを調べる（Act５）。モードフラグＭＦが“０”の場合（Act５にてＹＥＳ）、ＣＰＵ１０１は、フレーム画像を基準画像ファイル１０７に格納された複数の基準画像Ａ，Ｂ，Ｃ，…と照合する（Act６）。そしてＣＰＵ１０１は、オペレータによるスイッチ１５の操作が推測される画像（以下、スイッチ操作画像と称する）が撮像されたか否かを判定する（Act７：検出手段）。

【0034】

例えば、フレーム画像に映し出された物体の輪郭パターンと各基準画像Ａ，Ｂ，Ｃ，…に映し出された手の輪郭パターンとを比較し、類似度を算出する。しきい値以上の類似度が得られたならば、ＣＰＵ１０１は、スイッチ操作画像が撮像されたとみなす。この場合（Act７にてＹＥＳ）、ＣＰＵ１０１は、スイッチ１５の入力信号を受け付ける（Act８）。そして、Ｉ／Ｏポート１０４にスイッチ１５の入力信号が取り込まれている場合（Act８にてＹＥＳ）、ＣＰＵ１０１は、モードフラグＭＦを“１”に書き換える（Act９：制御手段）。しかる後、ＣＰＵ１０１は、Act４の処理に戻り、次のフレーム画像を取り込む。

【0035】

これに対し、Ｉ／Ｏポート１０４にスイッチ１５の入力信号が取り込まれていない場合には（Act８にてＮＯ）、ＣＰＵ１０１は、Act１０の処理に進む。また、スイッチ操作画像が撮像されていない場合にも（Act７にてＮＯ）、ＣＰＵ１０１は、Act１０の処理に進む。

【0036】

Act１０では、ＣＰＵ１０１は、フレーム画像を解析してデータコードの一種であるバーコードを読み取る（認識手段（データコード読取手段））。画像解析によるバーコードの読取技術は、例えば特開２００８−０３３６４０号公報に記載されているので、ここでの説明は省略する。

【0037】

ＣＰＵ１０１は、フレーム画像からバーコードを読み取ることができたか否かを判定する（Act１１）。バーコードを読み取ることができない場合（Act１１にてＹＥＳ）、ＣＰＵ１０１は、Act４の処理に戻り、次のフレーム画像を取り込む。

【0038】

バーコードを読み取ることができた場合（Act１１にてＮＯ）、ＣＰＵ１０１は、そのバーコードからデコードされる商品コードを、通信インターフェース１０５を介してＰＯＳ端末２０に出力する（Act１２）。しかる後、ＣＰＵ１０１は、登録終了か否かを判断する（Act１３）。例えばタッチパネル１２に登録終了を宣言するキーが表示されており、このキーがタッチされたことを検知すると、ＣＰＵ１０１は、登録終了と判定する。登録終了でない場合(Act１３にてＮＯ)、ＣＰＵ１０１は、Act４の処理に戻り、次のフレーム画像を取り込む。

【0039】

Act５の処理において、モードフラグＭＦが“１”に設定されていた場合（Act５にてＮＯ）、ＣＰＵ１０１は、オブジェクト認識技術によってフレーム画像に映し出された商品を認識する（Act１４：オブジェクト認識手段（認識手段））。このオブジェクト認識技術については、例えば特開２０１３−８９０９０号公報に記載されているので、ここでの説明は省略する。

【0040】

ＣＰＵ１０１は、フレーム画像から商品を認識できたか否かを判定する（Act１５）。商品を認識できない場合（Act１５にてＹＥＳ）、ＣＰＵ１０１は、Act４の処理に戻り、次のフレーム画像を取り込む。

【0041】

商品を認識できた場合には（Act１５にてＮＯ）、ＣＰＵ１０１は、その商品の商品コードをＰＯＳ端末２０に出力する（Act１６）。またＣＰＵ１０１は、モードフラグＭＦを“０”に書き換える（Act１７：制御手段）。なお、Act１６とAct１７の処理の順序は、前後を入れ替えてもよい。しかる後、ＣＰＵ１０１は、登録終了か否かを判断する（Act１３）。登録終了でない場合(Act１３にてＮＯ)、ＣＰＵ１０１は、Act４の処理に戻り、次のフレーム画像を取り込む。

【0042】

登録終了の場合（Act１３にてＹＥＳ）、ＣＰＵ１０１は、撮像部１４に対して撮像オフ信号を出力する（Act１８）。この撮像オフ信号により、撮像部１４は、撮像を終了する。以上で、制御プログラムにしたがった処理が終了する。

【0043】

このように、客が買い上げる商品の登録を開始する前は、スキャナ装置１０のモードフラグＭＦが“０”に設定される。モードフラグＭＦが“０”のとき、スキャナ装置１０は、バーコード読取技術による商品認識処理を実行する。

【0044】

このとき、スキャナ装置１０は、撮像部１４でスイッチ操作画像が撮像されたか否かを判定する。スイッチ操作画像が撮像されていない場合、スキャナ装置１０は、バーコード読取技術による商品認識処理を継続する。

【0045】

これに対し、スイッチ操作画像が撮像された場合には、スキャナ装置１０は、スイッチ１５が入力されるのを待機する。スイッチ１５が入力されない場合、スキャナ装置１０は、バーコード読取技術による商品認識処理を継続する。

【0046】

スイッチ１５が入力されると、モードフラグＭＦが“１”に変更される。モードフラグＭＦが“１”のとき、スキャナ装置１０は、オブジェクト認識技術による商品認識処理を実行する。そして、オブジェクト認識技術により商品が認識されると、モードフラグＭＦが“０”に戻される。したがってスキャナ装置１０は、バーコード読取技術による商品認識処理を実行する。

【0047】

買物客が買い上げる商品の登録を開始するキャッシャは、タッチパネル１２に登録画面が表示されていることを確認すると、買物カゴ５の中から商品Ｍを１点ずつ取り出す。そして、この商品Ｍにバーコードが付されている場合には、そのバーコードの部分を読取窓１０Ｂにかざす。この時点では、モードフラグＭＦは“０”である。したがってスキャナ装置１０では、バーコード読取技術による商品認識処理が実行される。その結果、読取窓１０Ｂに翳された商品Ｍのバーコードが読み取られて、商品Ｍの販売データがＰＯＳ端末２０に登録される。

【0048】

一方、商品Ｍにバーコードが付されていない場合、キャッシャは、スイッチ１５を指で操作する。このとき、撮像部１４では、図３に示すような画像が撮像される。この画像は、基準画像ファイル１０７に格納された複数の基準画像と照合されて、スイッチ操作画像と認識される。スイッチ操作画像と認識されると、モードフラグＭＦが“１”に変更される。したがってスキャナ装置１０では、オブジェクト認識技術による商品認識処理が実行される。その結果、読取窓１０Ｂに翳された商品Ｍが認識されて、この商品Ｍの販売データがＰＯＳ端末２０に登録される。そして、商品Ｍが認識されると、モードフラグＭＦが“０”に戻される。すなわちスキャナ装置１０では、バーコード読取技術による商品認識処理が実行される。

【0049】

このように、スキャナ装置１０では、バーコード読取技術による商品認識処理がデフォルトのモードであり、スイッチ１５が入力されたときだけ、オブジェクト認識技術による商品認識処理のモードに切り替わる。しかも、スイッチ１５の入力信号が有効になるのは、スイッチ１５を操作しようとするキャッシャの手の画像が撮像部１４によって撮像された場合に限られる。したがって、バーコードが付された商品を読取窓１０Ｂに翳した際に、商品の一部がスイッチ１５に触れても、このスイッチ１５の入力信号が有効にならないので、オブジェクト認識技術による商品認識処理のモードに切り替わることはない。かくして、読取窓１０Ｂの上縁部略中央に配置されるスイッチ１５の意図しない入力を防止できる効果を奏する。

【0050】

（第２の実施形態）
前記第１の実施形態では、モードフラグＭＦが“０”のとき、常に撮像部１４で撮像されたフレーム画像を基準画像ファイル１０７に格納された複数の基準画像と照合して、スイッチ操作画像であるか否かを判定する。第２の実施形態では、スイッチ１５が操作されたと推測される場合にのみ撮像部１４で撮像されたフレーム画像を基準画像と照合して、スイッチ操作画像であるか否かを判定する。

【0051】

図７は、この第２の実施形態において、制御プログラムにしたがってＣＰＵ１０１が実行する情報処理の要部手順を示す流れ図である。この手順において、Act２１〜Act２５は、第１の実施形態のAct１〜Act５と同一である。また、Act３０〜Act３８の手順は、第１の実施形態のAct１０〜Act１８と同一である。つまり、第２の実施形態が第１の実施形態と異なる部分は、Act２６〜Act２９の手順であるので、以下ではこの部分についてのみ説明する。

【0052】

モードフラグＭＦが“０”のとき（Act２５にてＹＥＳ）、ＣＰＵ１０１は、Ｉ／Ｏポート１０４を走査してスイッチ１５の入力信号が取り込まれているか否かを判断する（Act２６）。入力信号が取り込まれていない場合（Act２６にてＮＯ）、ＣＰＵ１０１は、Act３０の処理に進む。

【0053】

入力信号が取り込まれている場合には（Act２６にてＹＥＳ）、ＣＰＵ１０１は、フレーム画像を基準画像ファイル１０７に格納された複数の基準画像Ａ，Ｂ，Ｃ，…と照合する（Act２７）。そしてＣＰＵ１０１は、フレーム画像がスイッチ操作画像であるか否かを判定する（Act２８：検出手段）。

【0054】

フレーム画像がスイッチ操作画像の場合（Act２８にてＹＥＳ）、ＣＰＵ１０１は、モードフラグＭＦを“１”に書き換える（Act２９：制御手段）。しかる後、ＣＰＵ１０１は、Act２４の処理に戻り、次のフレーム画像を取り込む。

【0055】

フレーム画像がスイッチ操作画像でない場合には（Act２８にてＮＯ）、ＣＰＵ１０１は、Act３０の処理に進む。

【0056】

かかる構成の第２の実施形態においても、第１の実施形態と同様に、スイッチ１５の入力信号が有効になるのは、スイッチ１５を操作しようとするキャッシャの手の画像が撮像部１４によって撮像された場合に限られる。すなわち、読取窓１０Ｂの上縁部略中央に配置されるスイッチ１５の意図しない入力を防止できる。

【0057】

それに加えて、第２の実施形態では、撮像部１４で撮像されたフレーム画像を基準画像と照合するのは、スイッチ１５が操作されたと推測された場合のみである。したがって、第１の実施形態と比較して、ＣＰＵ１０１の処理負荷を軽減できる効果を奏する。

【0058】

なお、本発明は、前記実施形態に限定されるものではない。
例えば前記実施形態では、オブジェクト認識技術によって商品を認識できた場合（Act１５またはAct３５にてＮＯ）、ＣＰＵ１０１がモードフラグＭＦを“０”に設定したが（Act１７またはAct３７）、必ずしもこの時点でモードフラグＭＦを“０”に設定しなくてもよい。例えば、Act５またはAct２５においてモードフラグＭＦが“１”と判定されたとき、ＣＰＵ１０１が、フレーム画像を基準画像Ａ，Ｂ，Ｃ，…と照合し、スイッチ操作画像が撮像された場合にスイッチ１５の入力信号を受付け、入力信号が入力された場合にモードフラグＭＦを“０”に設定してもよい。あるいは、Act５またはAct２５においてモードフラグＭＦが“１”と判定されたとき、ＣＰＵ１０１が、スイッチ１５の入力信号を受付け、入力信号が入力された場合にフレーム画像を基準画像Ａ，Ｂ，Ｃ，…と照合し、スイッチ操作画像が撮像された場合にモードフラグＭＦを“０”に設定してもよい。

【0059】

また、前記実施形態では、バーコード読取技術によって商品を認識するモードをデフォルトとしたが、オブジェクト認識技術によって商品を認識するモードをデフォルトとしてもよい。この場合も、デフォルトでないモードで商品を認識できた場合に、自動的にデフォルトのモードに戻してもよいし、スイッチが入力されるまでデフォルトのモードに戻らないようにしてもよい。

【0060】

また、前記実施形態では、バーコード読取技術による商品認識モードとオブジェクト認識技術による商品認識モードとを切り替えるスイッチ１５を操作子として例示したが、操作子の種類はこれに限定されるものではない。例えば音量を調整するスイッチや、動作モードを設定モードに切り替えることを指示するスイッチなどであってもよい。

【0061】

一般に、商品認識装置の譲渡は制御プログラム等のプログラムがＲＯＭに記憶された状態にて行われる。しかしこれに限らず、コンピュータ装置が備える書き込み可能な記憶デバイスに、このコンピュータ装置とは個別に譲渡された制御プログラム等がユーザなどの操作に応じて書き込まれてもよい。制御プログラム等の譲渡は、リムーバブルな記録媒体に記録して、あるいはネットワークを介した通信により行うことができる。記録媒体は、ＣＤ−ＲＯＭ，メモリカード等のようにプログラムを記憶でき、かつ装置が読み取り可能であれば、その形態は問わない。また、プログラムのインストールやダウンロードにより得る機能は、装置内部のＯＳ（オペレーティング・システム）等と協働してその機能を実現させるものであってもよい。

【0062】

この他、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
［１］読取窓と、この読取窓の外周部に配置され、操作に応じて入力信号を出力する操作子と、前記読取窓に翳された商品を撮像する撮像手段と、この撮像手段で撮像された画像から、前記読取窓に翳された商品を認識する認識手段と、前記撮像手段で撮像された画像から、オペレータによる前記操作子の操作が推測される画像を検出する検出手段と、この検出手段により前記オペレータによる前記操作子の操作が推測される画像が検出されたことを条件に、前記操作子の入力信号を有効とする制御手段と、を具備したことを特徴とする商品認識装置。
［２］前記制御手段は、前記検出手段により前記操作子の操作が推測される画像が検出された場合に前記操作子の入力信号を受け付け、入力された場合にその入力信号を有効とすることを特徴とする付記［１］記載の商品認識装置。
［３］前記制御手段は、前記操作子が操作された場合に前記検出手段を動作させ、前記操作子の操作が推測される画像が検出された場合に前記操作子の入力信号を有効とすることを特徴とする付記［１］記載の商品認識装置。
［４］オペレータが前記操作子を操作する際の手の画像を記憶する記憶手段、をさらに備え、前記検出手段は、前記撮像手段で撮像された画像を前記記憶手段で記憶される画像と照合してオペレータによる前記操作子の操作が推測される画像を検出することを特徴とする付記［１］乃至［３］のうちいずれか１に記載の商品認識装置。
［５］前記認識手段は、前記画像に映し出されたデータコードをデコードして商品を認識するデータコード読取手段と、前記画像に映し出された商品の画像から当該商品の外観特徴量を抽出して商品を認識するオブジェクト認識手段とを含み、前記操作子は、前記データコード読取手段による認識モードと前記オブジェクト認識手段による認識モードとを切り替えるスイッチであることを特徴とする付記［１］乃至［４］のうちいずれか１に記載の商品認識装置。
［６］読取窓と、この読取窓の外周部に配置され、操作に応じて入力信号を出力する操作子と、前記読取窓に翳された商品を撮像する撮像手段とを備えた商品認識装置を、前記撮像手段で撮像された画像から、前記読取窓に翳された商品を認識する認識手段、前記撮像手段で撮像された画像から、オペレータによる前記操作子の操作が推測される画像を検出する検出手段、及び、前記検出手段によりオペレータによる操作子の操作が推測される画像が検出されたことを条件に、操作子の入力信号を有効とする制御手段、として機能させるための制御プログラム。

【符号の説明】

【0063】

１０…スキャナ装置（商品認識装置）、１０Ｂ…読取窓、１４…撮像部（撮像手段）、１５…スイッチ（操作子）、２０…ＰＯＳ端末、１０１…ＣＰＵ、１０７…基準画像ファイル。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】