特許第5760032号(P5760032)IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 東芝テック株式会社の特許一覧

特許5760032認識辞書作成装置及び認識辞書作成プログラム
<>
  • 特許5760032-認識辞書作成装置及び認識辞書作成プログラム 図000002
  • 特許5760032-認識辞書作成装置及び認識辞書作成プログラム 図000003
  • 特許5760032-認識辞書作成装置及び認識辞書作成プログラム 図000004
  • 特許5760032-認識辞書作成装置及び認識辞書作成プログラム 図000005
  • 特許5760032-認識辞書作成装置及び認識辞書作成プログラム 図000006
  • 特許5760032-認識辞書作成装置及び認識辞書作成プログラム 図000007
  • 特許5760032-認識辞書作成装置及び認識辞書作成プログラム 図000008
  • 特許5760032-認識辞書作成装置及び認識辞書作成プログラム 図000009
  • 特許5760032-認識辞書作成装置及び認識辞書作成プログラム 図000010
  • 特許5760032-認識辞書作成装置及び認識辞書作成プログラム 図000011
  • 特許5760032-認識辞書作成装置及び認識辞書作成プログラム 図000012
  • 特許5760032-認識辞書作成装置及び認識辞書作成プログラム 図000013
  • 特許5760032-認識辞書作成装置及び認識辞書作成プログラム 図000014
  • 特許5760032-認識辞書作成装置及び認識辞書作成プログラム 図000015
  • 特許5760032-認識辞書作成装置及び認識辞書作成プログラム 図000016
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】5760032
(24)【登録日】2015年6月12日
(45)【発行日】2015年8月5日
(54)【発明の名称】認識辞書作成装置及び認識辞書作成プログラム
(51)【国際特許分類】
   G06T 7/00 20060101AFI20150716BHJP
   G07G 1/00 20060101ALI20150716BHJP
【FI】
   G06T7/00 300Z
   G07G1/00 311D
【請求項の数】6
【全頁数】18
(21)【出願番号】特願2013-92519(P2013-92519)
(22)【出願日】2013年4月25日
(65)【公開番号】特開2014-215808(P2014-215808A)
(43)【公開日】2014年11月17日
【審査請求日】2014年9月25日
(73)【特許権者】
【識別番号】000003562
【氏名又は名称】東芝テック株式会社
(74)【代理人】
【識別番号】100108855
【弁理士】
【氏名又は名称】蔵田 昌俊
(74)【代理人】
【識別番号】100109830
【弁理士】
【氏名又は名称】福原 淑弘
(74)【代理人】
【識別番号】100088683
【弁理士】
【氏名又は名称】中村 誠
(74)【代理人】
【識別番号】100103034
【弁理士】
【氏名又は名称】野河 信久
(74)【代理人】
【識別番号】100075672
【弁理士】
【氏名又は名称】峰 隆司
(74)【代理人】
【識別番号】100153051
【弁理士】
【氏名又は名称】河野 直樹
(74)【代理人】
【識別番号】100140176
【弁理士】
【氏名又は名称】砂川 克
(74)【代理人】
【識別番号】100158805
【弁理士】
【氏名又は名称】井関 守三
(74)【代理人】
【識別番号】100172580
【弁理士】
【氏名又は名称】赤穂 隆雄
(74)【代理人】
【識別番号】100179062
【弁理士】
【氏名又は名称】井上 正
(74)【代理人】
【識別番号】100124394
【弁理士】
【氏名又は名称】佐藤 立志
(74)【代理人】
【識別番号】100112807
【弁理士】
【氏名又は名称】岡田 貴志
(74)【代理人】
【識別番号】100111073
【弁理士】
【氏名又は名称】堀内 美保子
(72)【発明者】
【氏名】宮越 秀彦
【審査官】 佐田 宏史
(56)【参考文献】
【文献】 特開2012−247968(JP,A)
【文献】 特開2007−072665(JP,A)
【文献】 特開2013−054673(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06T 1/00,7/00−7/60
G07G 1/00−1/12
(57)【特許請求の範囲】
【請求項1】
商品を撮像する撮像部と、
前記撮像部からこの撮像部で撮像された商品までの距離を測定する測定手段と、
前記商品を特定する特定手段と、
前記撮像部で撮像された前記商品の画像から当該商品の外観特徴量を抽出する抽出手段と、
前記測定手段により測定された距離に係る情報を報知する報知手段と、
特徴量データの登録宣言を受付ける受付手段と、
前記受付手段により登録宣言を受付けたことに応じて、前記抽出手段により抽出した外観特徴量を前記特定手段により特定された商品の前記測定手段により測定された距離における特徴量データとして当該距離データと関連付けて認識辞書ファイルに登録する登録手段と、
を具備したことを特徴とする認識辞書作成装置。
【請求項2】
前記報知手段は、前記測定手段によ測定された距離が所定の登録距離に達したことを報知する
ことを特徴とする請求項1記載の認識辞書作成装置。
【請求項3】
前記報知手段は、前記測定手段により測定された距離が所定の登録距離に達するまでの前記商品の移動距離を報知する、
ことを特徴とする請求項1記載の認識辞書作成装置。
【請求項4】
商品を撮像する撮像部と、
前記撮像部からこの撮像部で撮像された商品までの距離を測定する測定手段と、
前記商品を特定する特定手段と、
前記撮像部で撮像された前記商品の画像から当該商品の外観特徴量を抽出する抽出手段と、
前記測定手段により測定された距離が所定の登録距離であることを検出する登録検出手段と、
前記登録検出手段により前記測定された距離が前記登録距離であると検出されたことに応じて前記抽出手段により抽出した外観特徴量を前記特定手段により特定された商品の前記測定手段により測定された距離における特徴量データとして当該距離のデータと関連付けて認識辞書ファイルに登録する登録手段と、
を具備したことを特徴とする認識辞書作成装置。
【請求項5】
前記特定手段により特定された商品の特徴量データが前記認識辞書ファイルに未登録の距離を検索する検索手段と、
この検索手段による検索結果を出力する出力手段と、
をさらに具備したことを特徴とする請求項1乃至4のうちいずれか1に記載の認識辞書作成装置。
【請求項6】
撮像部で撮像された商品の画像データ及び測定手段により測定された前記撮像部からこの撮像部で撮像された商品までの距離データを取り込む機能を有したコンピュータに、
前記商品を特定する特定機能と、
前記撮像部で撮像された前記商品の画像から当該商品の外観特徴量を抽出する抽出機能と、
前記測定手段により測定された距離に係る情報を報知する報知機能と、
特徴量データの登録宣言を受付ける受付機能と、
前記受付機能により登録宣言を受付けたことに応じて、前記抽出機能により抽出した外観特徴量を前記特定機能により特定された商品の前記測定手段により測定された距離における特徴量データとして当該距離データと関連付けて認識辞書ファイルに登録する登録機能と、
を実現させるための認識辞書作成プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明の実施形態は、商品を撮像した画像からその商品を認識するシステムに用いられる認識辞書の作成装置及びコンピュータを当該作成装置として機能させるためのプログラムに関する。
【背景技術】
【0002】
撮像部で撮像された物体の画像から当該物体を認識する技術がある。この技術は、画像から物体の外観特徴量を抽出し、認識辞書に登録されている各基準画像の特徴量データと照合して、特徴量の類似度を算出する。そして、類似度が最も高い基準画像に相当する物体を、撮像部で撮像された物体として認識する。近年、このような物体認識技術を小売店の会計システム(POSシステム)に適用して、顧客が買い上げる商品を認識する提案がなされている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2012−069094号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
上述した物体認識技術を会計システムに適用する場合、ユーザであるキャッシャまたは客は、対象となる商品を撮像部に向けて翳すことになる。このとき、撮像部から商品までの距離が一定でないと、商品画像の解像度が変化する。解像度が変化すると、同じ基準画像との照合でも特徴量の類似度が低下して、認識率が悪化する懸念がある。このような懸念は、1つの商品に対して解像度が異なる複数の基準画像の特徴量データを認識辞書に用意し、商品画像から得られる商品の外観特徴量を、当該商品画像と解像度が近似した基準画像の特徴量データと照合することによって払拭される。
【0005】
一実施形態が解決しようとする課題は、1つの商品に対して解像度が異なる複数の基準画像の特徴量データを保存する認識辞書を容易に作成できる認識辞書作成装置を提供しようとするものである。
【課題を解決するための手段】
【0006】
一実施形態において、認識辞書作成装置は、撮像部と、測定手段と、特定手段と、抽出手段と、報知手段と、受付手段と、登録手段とを有する。撮像部は、商品を撮像する。測定手段は、前記撮像部からこの撮像部で撮像された商品までの距離を測定する。特定手段は、前記商品を特定する。抽出手段は、前記撮像部で撮像された前記商品の画像から当該商品の外観特徴量を抽出する。報知手段は、前記測定手段により測定された距離に係る情報を報知する。受付手段は、特徴量データの登録宣言を受付ける。登録手段は、前記受付手段により登録宣言を受付けたことに応じて、前記抽出手段により抽出した外観特徴量を前記特定手段により特定された商品の前記測定手段により測定された距離における特徴量データとして当該距離データと関連付けて認識辞書ファイルに登録する。
【図面の簡単な説明】
【0007】
図1】一実施形態である店舗会計システムの外観図。
図2】スキャナ装置とPOS端末とのハードウェア構成を示すブロック図。
図3】認識辞書ファイルに格納されるデータの構造を示す模式図。
図4】商品情報ファイルに格納されるデータの構造を示す模式図。
図5】スキャナ装置が商品認識装置として動作する場合の機能構成を示すブロック図。
図6】スキャナ装置が認識辞書作成装置として動作する場合の機能構成を示すブロック図。
図7】スキャナ装置に商品が翳されている状態を示す模式図。
図8】認識辞書作成プログラムに従いスキャナ装置のCPUが実行する情報処理手順を示す流れ図。
図9】認識辞書作成プログラムに従いスキャナ装置のCPUが実行する情報処理手順を示す流れ図。
図10】未登録商品リストの一画面例を示す模式図。
図11】未登録商品リストの一画面例を示す模式図。
図12】登録画面の一遷移例を示す模式図。
図13】登録画面の一遷移例を示す模式図。
図14】登録画面の一遷移例を示す模式図。
図15】登録画面の一遷移例を示す模式図。
【発明を実施するための形態】
【0008】
以下、認識辞書作成装置の一実施形態について、図面を用いて説明する。
なお、本実施形態は、店舗会計システムの商品認識装置として機能するスキャナ装置1に、認識辞書作成装置としての機能をさらに持たせた場合である。
【0009】
図1は、店舗会計システムの外観図である。このシステムは、顧客が買い上げる商品を登録する登録部としてのスキャナ装置1と、顧客の代金支払いを処理する決済部としてのPOS(Point Of Sales)端末2とを含む。スキャナ装置1は、会計カウンタ3の上に取り付けられる。POS端末2は、レジ台4の上にドロワ5を挟んで設置される。スキャナ装置1とPOS端末2とは、通信ケーブル8(図2を参照)によって電気的に接続される。
【0010】
スキャナ装置1は、キーボード11、タッチパネル12及び客用ディスプレイ13を備える。これらの表示・操作デバイス(キーボード11、タッチパネル12、客用ディスプレイ13)は、スキャナ装置1の本体を構成する薄型矩形形状のハウジング1Aに取り付けられる。
【0011】
ハウジング1Aには、撮像部14が内蔵される。また、矩形状の読取窓1Bが、ハウジング1Aの正面に形成される。撮像部14は、エリアイメージセンサであるCCD(Charge Coupled Device)撮像素子及びその駆動回路と、撮像領域の画像をCCD撮像素子に結像させるための撮像レンズとを備える。撮像領域とは、読取窓1Bから撮像レンズを通してCCD撮像素子のエリアに結像するフレーム画像の領域を指す。撮像部14は、撮像レンズを通ってCCD撮像素子に結像した撮像領域の画像を出力する。なお、エリアイメージセンサは、CCD撮像素子に限定されない。例えばCMOS(complementary metal oxide semiconductor)を用いたものであってもよい。
【0012】
前記読取窓1Bの近傍には、測定手段としての距離センサ15が設けられる。距離センサ15は、前記撮像部14からこの撮像部14で撮像された商品までの距離測定に供せられる。かような距離センサ15としては、赤外線LEDとフォトトランジスタとを組み合わせたもの、あるいは超音波やレーザ光を用いたもの等の周知の距離センサが適用可能である。
【0013】
POS端末2は、決済に必要なデバイスとしてキーボード21、オペレータ用ディスプレイ22、客用ディスプレイ23及びレシートプリンタ24を備える。
【0014】
会計カウンタ3は、顧客通路3Aに沿って配置される。レジ台4は、顧客通路3Aの顧客移動方向である矢印Cの方向に対して下流側の会計カウンタ3の端部の顧客通路3Aとは反対側に、会計カウンタ3に対して略垂直に置かれる。そして、この会計カウンタ3とレジ台4とで仕切られた領域が、会計担当の店員いわゆるキャッシャのスペース3Bとなる。
【0015】
会計カウンタ3の略中央には、スキャナ装置1のハウジング1Aが、キーボード11、タッチパネル12及び読取窓1Bをそれぞれ手前側のキャッシャ側に向けて立設される。スキャナ装置1の客用ディスプレイ13は、顧客通路3A側を向いてハウジング1Aに取り付けられる。
【0016】
会計カウンタ3のスキャナ装置1を挟んで顧客移動方向上流側の荷受面は、買物客が購入する未登録の商品Mが入れられた買物カゴ6を置くためのスペースとなる。他方、下流側の荷受面は、スキャナ装置1により登録された商品Mを入れるための買物カゴ7を置くためのスペースとなる。
【0017】
図2は、スキャナ装置1とPOS端末2とのハードウェア構成を示すブロック図である。スキャナ装置1は、スキャナ部101と操作・出力部102とを備える。スキャナ部101は、CPU(Central Processing Unit)111、ROM(Read Only Memory)113、RAM(Random Access Memory)114、接続インターフェース115、撮像部14及び距離センサ15を含む。CPU111、ROM113、RAM114、接続インターフェース115、撮像部14及び距離センサ15は、バスライン112によって接続される。
【0018】
CPU111は、コンピュータの中枢部分に相当する。CPU111は、オペレーティングシステムやアプリケーションプログラムに従って、スキャナ装置1としての各種の機能を実現するべく各部を制御する。
【0019】
ROM113は、上記コンピュータの主記憶部分に相当する。ROM112は、上記のオペレーティングシステムやアプリケーションプログラムを記憶する。ROM112は、CPU111が各種の処理を実行する上で必要なデータを記憶する場合もある。アプリケーションプログラムには、後述する商品認識プログラムと認識辞書作成プログラムとが含まれる。
【0020】
RAM114は、上記コンピュータの主記憶部分に相当する。RAM114は、CPU111が各種の処理を実行する上で必要なデータを必要に応じて記憶する。またRAM114は、CPU111が各種の処理を行う際のワークエリアとしても利用される。
【0021】
操作・出力部102は、接続インターフェース116、キーボード11、タッチパネル12、客用ディスプレイ13及び音声合成部16を含む。接続インターフェース116、キーボード11、タッチパネル12、客用ディスプレイ13及び音声合成部16は、バスライン117によって接続される。
【0022】
タッチパネル12は、パネル型のディスプレイ12aと、このディスプレイ12aの画面上に重ねて配置されたタッチパネルセンサ12bとを備える。
音声合成部16は、バスライン117を介して入力されるコマンドに応じて音声信号をスピーカ17に出力する。スピーカ17は、音声信号を音声に変換して出力する。
【0023】
POS端末2も、制御部本体としてCPU201を搭載する。そしてこのCPU201に、バスライン202を介して、ROM203、RAM204、補助記憶部205、通信インターフェース206及び接続インターフェース207が接続される。また、バスライン202には、前記キーボード21、オペレータ用ディスプレイ22、客用ディスプレイ23、プリンタ24及びドロワ5の各部も、それぞれ入出力回路(不図示)を介して接続される。
【0024】
通信インターフェース206は、LAN(Local Area Network)等のネットワークを介して店舗サーバ(不図示)と接続される。この接続により、POS端末2は、店舗サーバとデータの送受信が可能となる。
【0025】
接続インターフェース207は、通信ケーブル8を介して、スキャナ装置1の両接続インターフェース115,116と接続される。この接続により、POS端末2は、スキャナ装置1のスキャナ部101から情報を受信する。また、POS端末2は、スキャナ装置1の操作・出力部102を構成するキーボード11、タッチパネル12、客用ディスプレイ13、音声合成部16との間でデータ信号を送受信する。一方、スキャナ装置1は、この接続により、POS端末2の補助記憶部205に保存されているデータファイルにアクセスする。
【0026】
補助記憶部205は、例えばHDD(Hard Disk Drive)装置またはSSD(Solid State Drive)装置であって、種々のプログラムの他、認識辞書ファイル30、商品情報ファイル40等のデータファイルを保存する。認識辞書ファイル30は、短距離用認識辞書ファイル31、中距離用認識辞書ファイル32及び長距離用認識辞書ファイル33の3種類のファイルを備える。以下、短距離用認識辞書ファイル31、中距離用認識辞書ファイル32及び長距離用認識辞書ファイル33の3種類のファイルを総称して距離別ファイル31〜33と称する。
【0027】
図3は、認識辞書ファイル30に格納されるデータの構造を示す模式図である。図3に示すように、認識辞書ファイル30の各距離別ファイル31〜33には、それぞれ設定距離d1,d2,d3(d1<d2<d3)が予め格納される。例えば、短距離用認識辞書ファイル31には設定距離d1として“5cm”が格納され、中距離用認識辞書ファイル32には設定距離d2として“15cm”が格納され、長距離用認識辞書ファイル33には設定距離d3として“30cm”が格納される。
【0028】
また、各距離別ファイル31〜33には、商品ID、商品名及び特徴量データを含む認識辞書データが複数格納される。商品IDは、各商品を個々に識別するための一意のコードである。商品名は、対応する商品IDによって特定される商品の名称である。特徴量データは、対応する商品IDで識別される商品を、撮像部から対応する設定距離d1,d2またはd3だけ離して撮像した基準画像から、その商品の表面情報(外観形状、色合い、模様、凹凸具合等)である外観上の特徴量を抽出し、この外観特徴量をパラメータで表わしたものである。
【0029】
なお、撮像部14からの距離とは、読取窓1Bからの離間距離を表わす。つまり、読取窓1Bに接した状態は、撮像部14からの距離が0cmである。読取窓1Bから離れるにしたがって、撮像部14からの距離は増加する。
【0030】
図4は、商品情報ファイル40に格納されるデータの構造を示す模式図である。図4に示すように、商品情報ファイル40には、商品ID、商品名、単価、短距離ステータスds1、中距離ステータスds2及び長距離ステータスds3を含む商品情報レコードが複数格納される。商品IDは、各商品を個々に識別するための一意のコードである。商品名及び単価は、対応する商品IDによって特定される商品の名称及び1点当たりの販売価格である。
【0031】
短距離ステータスds1は、対応する商品IDによって特定される商品の基準画像から得られる特徴量データが前記短距離用認識辞書ファイル31に対して未設定のとき「X」、設定済のとき「O」、非設定のとき「−」となる。中距離ステータスds2は、同特徴量データが、前記中距離用認識辞書ファイル32に対して未設定のとき「X」、設定済のとき「O」、非設定のとき「−」となる。長距離ステータスds3は、同特徴量データが前記長距離用認識辞書ファイル33に対して未設定のとき「X」、設定済のとき「O」、非設定のとき「−」となる。
以下、短距離ステータスds1、中距離ステータスds2及び長距離ステータスds3の3種類のステータスを総称して距離別設定ステータスds1〜ds3と称する。
【0032】
POS端末2は、商品情報ファイル40のメンテナンスモード、商品認識モード、及び認識辞書作成モードを有する。ユーザは、これらのモードをキーボード11またはタッチパネル12を操作して選択することができる。
【0033】
メンテナンスモードにおいて、POS端末2は、商品情報ファイル40に新規の商品情報レコードを追加できる。例えば新製品を販売する場合、ユーザは、当該新製品に係る新規の商品情報レコードを商品情報ファイル40に追加する。新商品を追加する時点では、当該新製品の基準画像から得られる特徴量データは各距離別ファイル31〜33に対して設定されていない。このため、新規の商品情報レコードの距離別設定ステータスds1,ds2,ds3は、未設定「X」とする。ただし、例えば、外観形状が大きいために設定距離d1だけ離れた状態では全体を撮像できない商品の場合には、距離別設定ステータスds1は非設定「−」となる。同様に、外観形状が小さいために設定距離d3だけ離れた画像からは外観特徴量が得られない商品の場合には、距離別設定ステータスds1は非設定「−」とする。
【0034】
また、このメンテナンスモードにおいて、POS端末2は、商品情報レコードの距離別設定ステータスds1〜ds3に関して、設定済「O」から未設定「X」への変更、及び非設定「−」から未設定「X」への変更が可能である。例えば、設定済「O」の状態にある設定ステータスに対応した特徴量データの認識率が低い場合、ユーザは、設定ステータスを設定済「O」から未設定「X」へ変更する。こうすることにより、スキャナ装置1の後述する認識辞書作成モードにおいて、特徴量データを登録し直すことができる。
【0035】
図5は、スキャナ装置1が商品認識装置として動作する場合の機能構成を示すブロック図である。客が買い上げる商品Mをスキャナ装置1に認識させる場合、ユーザは、キーボード11またはタッチパネル12を操作して商品認識モードを選択する。そしてオペレータは、図7に示すように、商品Mを読取窓1Bに翳す。
【0036】
商品認識モードが選択されると、スキャナ装置1では、前記商品認識プログラムが起動する。そしてこの商品認識プログラムに従い、CPU111が、距離検出手段51、距離判定手段52、辞書選択手段53、抽出手段54、類似度算出手段55、候補出力手段56及び確定手段57としての機能を実現する。以下、各機能を具体的に説明する。
【0037】
商品Mが読取窓1Bに翳されると、CPU111は、距離検出手段51として機能する。すなわちCPU111は、距離センサ15から出力される距離データを、撮像部14から商品Mまでの測定距離dとして取り込む。測定距離dが取り込まれると、CPU111は、距離判定手段52として機能する。すなわちCPU111は、測定距離dが、認識辞書ファイル30の短距離用認識辞書ファイル31、中距離用認識辞書ファイル32及び長距離用認識辞書ファイル33にそれぞれ設定される設定距離d1,d2,d3のいずれに近似しているかを判定する。
【0038】
測定距離dに近似する設定距離d1,d2またはd3が特定されると、CPU111は、辞書選択手段53として機能する。すなわちCPU111は、測定距離dに近似していると特定された設定距離の認識辞書ファイル30を選択する。例えば、設定距離d1が特定された場合には、CPU111は短距離用認識辞書ファイル31を選択する。設定距離d2が特定された場合には、CPU111は中距離用認識辞書ファイル32を選択する。設定距離d3が特定された場合には、CPU111は長距離用認識辞書ファイル33を選択する。
【0039】
またCPU111は、商品Mが読取窓1Bに翳されると、抽出手段54として機能する。すなわちCPU111は、撮像部14で撮像された画像から、その画像に映し出されている商品Mの形状、表面の色合い、模様、凹凸状況等の外観特徴量を抽出する。外観特徴量が抽出されると、CPU111は、類似度算出手段55として機能する。すなわちCPU111は、抽出手段54により抽出された外観特徴量を、辞書選択手段53によって選択された認識辞書ファイル30の商品別特徴量データと順次照合して、外観特徴量が特徴量データに対してどの程度類似しているかを示す類似度を、辞書登録されている商品毎に算出する。
【0040】
商品毎の類似度が算出されると、CPU111は、候補出力手段56として機能する。すなわちCPU111は、類似度の大きい順に例えば5番目までの商品を認識商品候補として選択可能にタッチパネル12に表示出力する。認識商品候補が表示されると、CPU111は、確定手段57として機能する。すなわちCPU111は、キーボード11またはタッチパネル12の操作入力により、認識商品候補の中から選択された商品を、客が買い上げる商品として確定する。もしくはCPU111は、認識商品候補の中で類似度が最も高い商品を客が買い上げる商品として確定する。
【0041】
確定された商品の販売データは、通信ケーブル8を介してPOS端末2に送られる。かくしてPOS端末2では、確定手段57によって確定された商品の販売データが売上登録される。
【0042】
図6は、スキャナ装置1が認識辞書作成装置として動作する場合の機能構成を示すブロック図である。商品Mの認識辞書データを認識辞書ファイル30に登録する場合、ユーザは、キーボード11またはタッチパネル12を操作して認識辞書作成モードを選択する。
【0043】
認識辞書作成モードが選択されると、スキャナ装置1では、前記認識辞書作成プログラムが起動する。そして認識辞書作成プログラムに従い、CPU111が、通知手段61、特定手段62、検索手段63、出力手段64、距離検出手段65、登録検出手段66、演算手段67、表示手段68、報知手段69、受付手段70、抽出手段71及び登録手段72としての機能を実現する。以下、図8及び図9の流れ図を用いて、各機能を具体的に説明する。なお、図8及び図9に示すとともに以下に説明する処理の内容は一例であって、同様な結果を得ることが可能な様々な処理を適宜に利用できる。
【0044】
認識辞書作成プログラムが起動すると、CPU111は、商品情報ファイル40を検索する。そしてCPU111は、少なくとも1つの距離別設定ステータスds1,ds2,ds3が未設定[X]の状態にある商品情報レコードが存在するか否かを確認する(Act1)。全ての商品情報レコードの距離別設定ステータスds1,ds2,ds3が未設定[X]以外の場合(Act1にてNO)、CPU111は、未登録商品無しをユーザに通知する画面をタッチパネル12に表示させて(Act2)、処理を終了する。
【0045】
少なくとも1つの距離別設定ステータスds1,ds2,ds3が未設定[X]の商品情報レコードが存在する場合(Act1にてYES)、CPU111は、未登録商品があることをユーザに通知するための通知手段61として機能する。すなわちCPU111は、少なくとも1つの距離別設定ステータスds1,ds2,ds3が未設定[X]の商品情報レコードの商品名と距離別設定ステータスds1,ds2,ds3とを一覧にした未登録商品リスト81を作成し、タッチパネル12に表示させる(Act3)。
【0046】
未登録商品リスト81の画面80の一表示例を図10に示す。この例は、商品名[リンゴ(フジ)]の特徴量データが、短距離用認識辞書ファイル31、中距離用認識辞書ファイル32及び長距離用認識辞書ファイル33に対して未設定であり、商品名[スイカ]の特徴量データが、中距離用認識辞書ファイル32及び長距離用認識辞書ファイル33に対して未設定であり、商品名[オレンジ]の特徴量データが、短距離用認識辞書ファイル31に対して未設定である場合を示している。未登録商品リスト81の商品名は、タッチ操作により選択可能である。また、未登録商品リスト81の画面には、終了ボタン82も表示されている。CPU111は、商品名が選択されるか、終了ボタン82がタッチされるのを待機する(Act4,5)。
【0047】
ユーザは、未登録商品リスト81に表示された商品のなかから登録対象の商品を選択して、その商品名にタッチする。そしてユーザは、図7に示すように、登録対象の商品Mを読取窓1Bに翳す。なお、登録対象の商品Mが存在しない場合に、ユーザは、終了ボタン82にタッチする。終了ボタン82がタッチされた場合(Act5にてYES)、CPU111は、未登録商品リスト81の画面80を消去して、処理を終了する。
【0048】
登録対象の商品Mが選択された場合(Act4にてYES)、CPU111は、撮像部14で撮像される商品を特定する特定手段62として機能する。すなわちCPU111は、タッチ操作された商品名の商品を登録対象の商品Mとして特定し、その商品名を含む商品情報レコードを商品情報ファイル40から取得して、RAM114に格納する(Act6)。
【0049】
登録対象の商品Mが特定されると、CPU111は、当該商品Mの特徴量データが認識辞書ファイル30に未登録の距離を検索する検索手段63及びその検索結果を出力する出力手段64として機能する。すなわちCPU111は、RAM114に格納した商品情報レコードの距離別設定ステータスds1,ds2,ds3を調べる。そしてCPU111は、未設定[X]の距離別設定ステータスds1,ds2,ds3に対応する距離d1,d2,d3を未登録距離として検出し(Act7)、この未登録距離の情報を示した登録画面90をタッチパネル12に表示させる(Act8)。
【0050】
登録画面90の一表示例を図12に示す。この例は、未登録商品リスト81において、商品[リンゴ(フジ)]が選択操作された場合の登録画面90である。商品[リンゴ(フジ)]の特徴量データは、短距離用認識辞書ファイル31、中距離用認識辞書ファイル32及び長距離用認識辞書ファイル33に対して未設定である。したがって、登録画面90には、未登録距離の情報91,92,93としてd1=5cm、d2=15cm及びd3=30cmが表示される。また登録画面90には、撮像部14で撮像された画像を表示するための領域94が形成され、この領域94の近傍に、商品[リンゴ(フジ)]を撮像部14に翳すことを案内するガイダンスG1が表示される。
【0051】
登録画面90を表示させると、CPU111は、撮像部14に対して撮像オン信号を出力する(Act9)。この撮像オン信号により、撮像部14が撮像領域の撮像を開始する。撮像部14で撮像された撮像領域のフレーム画像は、RAM114に順次保存される。
【0052】
撮像オン信号を出力したCPU111は、RAM114に保存されたフレーム画像を取り込む(Act10)。そしてCPU111は、このフレーム画像に商品Mが撮像されているか否かを確認する(Act11)。具体的には、CPU111は、フレーム画像を二値化した画像から輪郭線等を抽出する。そしてCPU111は、フレーム画像に映し出されている物体の輪郭抽出を試みる。物体の輪郭が抽出されると、CPU111は、その輪郭内の画像を商品Mとみなす。
【0053】
フレーム画像に商品Mが撮像されていない場合(Act11にてNO)、CPU111は、RAM114から次のフレーム画像を取り込む(Act10)。そしてCPU111は、このフレーム画像に商品Mが撮像されているか否かを確認する(Act11)。
【0054】
フレーム画像に商品Mが撮像されていた場合(Act11にてYES)、CPU111は、撮像部14からこの撮像部14で撮像された商品Mまでの距離を取り込む距離検出手段65として機能する。すなわちCPU111は、距離センサ15から出力される距離データを、撮像部14から商品Mまでの測定距離dとして取り込む(Act12)。測定距離dが取り込まれると、CPU111は、測定距離dが所定の登録距離であることを検出する登録検出手段66として機能する。すなわちCPU111は、測定距離dが、Act7の処理で検出した未登録距離のいずれかに一致するか否かを判定する(Act13)。
【0055】
測定距離dが未登録距離のいずれにも一致しない場合(Act13にてNO)、CPU111は、測定距離dが所定の登録距離に達するまでの商品Mの移動距離dxを算出する演算手段67及びその移動距離dxを表示する表示手段68として機能する。すなわちCPU111は、測定距離dから未登録距離までの差を演算する(Act14)。CPU111は、測定距離dから未登録距離までの差のうち最も小さい差を移動距離dxとして登録画面に表示させる(Act15)。しかる後、CPU111は、RAM114から次のフレーム画像を取り込み(Act10)、Act11以降の処理を実行する。
【0056】
測定距離dがいずれかの未登録距離と一致したことを検出した場合(Act13にてYES)、CPU111は、測定距離dが所定の登録距離に達したことを報知する報知手段69として機能する(図9)。すなわちCPU111は、測定距離dがいずれかの未登録距離に到達したことをユーザに知らしめるガイダンスを、登録画面90に表示させる(Act21)。
【0057】
CPU111は、自動登録モードが設定されているか否かを判断する(Act22)。スキャナ装置1は、認識辞書作成装置として動作する場合のモードとして自動登録モードと手動登録モードとがあり、予めオプションとしてどちらかのモードが設定されている。この動作モードは、ユーザが適宜変更することができる。
【0058】
自動登録モードが設定されている場合(Act22でYES)、CPU111は、登録手段72として機能する。これに対し、手動登録モードが設定されている場合には(Act22でNO)、CPU111は、登録キーが入力されるのを待機する(Act23)。登録キーは、キーボード11に配置されている。あるいは、手動登録モードの場合に限り登録画面に登録キーを表示させてもよい。登録キーが入力されると(Act23にてYES)、CPU111は、前記登録手段72として機能する。
【0059】
登録手段72は、抽出手段71により抽出した外観特徴量を、前記特定手段62により特定された商品Mの前記測定手段(距離センサ15)により測定された距離における特徴量データとして当該距離データと関連付けて認識辞書ファイル30に登録する手段である。すなわちCPU111は、Act11の処理で商品Mが検出されたフレーム画像からその商品画像を切り出す(Act24)。そしてCPU111は、この商品画像から商品Mの形状、表面の色合い、模様、凹凸状況等の外観特徴量を抽出する(Act25:抽出手段71)。さらにCPU111は、Act13の処理で未登録距離に到達したと判定された測定距離dが設定距離として設定されている認識辞書ファイル31,32,33を選択する(Act26)。そしてCPU111は、Act6の処理でRAMに格納した商品情報レコードの商品ID及び商品名と、Act25の処理で抽出された特徴量データとを関連付けて、Act26の処理で選択した認識辞書ファイル31,32,33に登録する(Act27)。またCPU111は、Act6の処理でRAMに格納した商品情報レコードの当該測定処理dに該当する距離別設定ステータスds1,ds2,ds3を、未設定「X」から登録済「O」に書き換える。そしてCPU111は、この商品情報レコードを商品情報ファイル40に上書きする(Act28)。
【0060】
しかる後、CPU111は、RAM114に格納した商品情報レコードの距離別設定ステータスds1,ds2,ds3のなかに、未設定「X」が1つでもあるか否かを判断する(Act29)。未設定「X」の距離別設定ステータスが存在する場合(Act29にてYES)、CPU111は、Act10の処理に戻る。未設定「X」の距離別設定ステータスが存在しない場合には(Act29にてNO)、CPU111は、Act1の処理に戻る。
【0061】
図12に示した登録画面90が表示された状態において、ユーザが商品[リンゴ(フジ)]を撮像部14に翳したとき、距離センサ15により測定された距離dが5cmであったとする。この場合、Act13の判断処理において“YES”に進むので、登録画面90は、図13の画面に更新される。すなわち、測定距離dがいずれかの未登録距離に到達したことをユーザに知らしめるガイダンスG2、例えば「登録します」が登録画面90に表示される。
【0062】
ここで、自動登録モードが設定されていた場合には、スキャナ装置1においては、Act24〜Act28の処理が自動的に実行される。他方、手動登録モードが設定されていた場合には、ユーザは登録キーを入力する。そうすると、スキャナ装置1においては、Act24〜Act28の処理が実行される。
【0063】
その結果、商品[リンゴ(フジ)]を撮像部14から5cmだけ離した状態で撮像された基準画像から得られた当該商品[リンゴ(フジ)]の特徴量データが短距離用認識辞書ファイル31に登録される。また、商品[リンゴ(フジ)]に関する商品情報レコードの短距離ステータスds1が未設定[X]から設定済[O]に更新される。
【0064】
この時点において、商品[リンゴ(フジ)]に関する商品情報レコードの距離別設定ステータスds1〜ds3は、短距離ステータスds1は設定済[O]だが、中距離ステータスds2及び長距離ステータスds3は未設定[X]である。このため、図14に示すように、登録画面90には、未登録距離の情報92,93としてd2=15cm及びd3=30cmが表示される。また、測定距離dから未登録距離までの差のうち最も小さい差である移動距離dx=10cmを通知するためのガイダンスG3が領域94の近傍に表示される。
【0065】
したがってユーザは、ガイダンスG3に従い商品[リンゴ(フジ)]を読取窓1Bから少しずつ離していく。そして、測定距離dが15cmに到達すると、図15に示すように、登録画面90にガイダンスG2が表示されるので、ユーザは商品[リンゴ(フジ)]を読取窓1Bから離していく動作を静止させる。そして手動登録モードの場合にはユーザは登録キーを入力する。自動登録モードの場合には、ユーザは登録キーを入力する必要はない。そうすると、商品[リンゴ(フジ)]を撮像部14から15cmだけ離した状態で撮像された基準画像から得られた当該商品[リンゴ(フジ)]の特徴量データが中距離用認識辞書ファイル32に登録される。また、商品[リンゴ(フジ)]に関する商品情報レコードの中距離ステータスds2が未設定[X]から設定済[O]に更新される。
【0066】
この時点において、商品[リンゴ(フジ)]に関する商品情報レコードの距離別設定ステータスds1〜ds3は、短距離ステータスds1及び中距離ステータスds2は設定済[O]だが、長距離ステータスds3は未設定[X]である。このため、登録画面90には、未登録距離の情報93としてd3=30cmが表示される。また、移動距離dx=15cmを通知するためのガイダンスG3が領域94の近傍に表示される。
【0067】
したがってユーザは、ガイダンスG3に従い商品[リンゴ(フジ)]を読取窓1Bからさらに離していく。そして、測定距離dが30cmに到達すると、登録画面90にガイダンスG2が表示されるので、ユーザは商品[リンゴ(フジ)]を読取窓1Bから離していく動作を静止する。そして手動登録モードの場合にはユーザは登録キーを入力する。自動登録モードの場合には、ユーザは登録キーを入力する必要はない。そうすると、商品[リンゴ(フジ)]を撮像部14から30cmだけ離した状態で撮像された基準画像から得られた当該商品[リンゴ(フジ)]の特徴量データが長距離用認識辞書ファイル33に登録される。また、商品[リンゴ(フジ)]に関する商品情報レコードの中距離ステータスds2が未設定[X]から設定済[O]に更新される。
【0068】
この時点において、商品[リンゴ(フジ)]に関する商品情報レコードの距離別設定ステータスds1〜ds3は、全て設定済[O]となる。このため、タッチパネル12の画面は、登録画面90から未登録商品リスト81の画面80に切り替わる。このときの画面80の一表示例を図11に示す。図11に示すように、商品[リンゴ(フジ)]のデータが未登録商品リスト81から消去された。
【0069】
以後、上記と同様にしてユーザが商品「スイカ」及び商品「オレンジ」について作業を進めることにより、商品「スイカ」を撮像部14から15cmだけ離した状態で撮像された基準画像から得られた当該商品「スイカ」の特徴量データと、商品「スイカ」を撮像部14から30cmだけ離した状態で撮像された基準画像から得られた当該商品「スイカ」の特徴量データとが、中距離用認識辞書ファイル32及び長距離用認識辞書ファイル33にそれぞれ登録される。また、商品「オレンジ」を撮像部14から5cmだけ離した状態で撮像された基準画像から得られた当該商品「オレンジ」の特徴量データが短距離用認識辞書ファイル31に登録される。
【0070】
このように、本実施形態のスキャナ装置1によれば、ユーザが商品を読取窓1Bに翳すという簡単な作業により、認識辞書ファイル30の短距離用認識辞書ファイル31、中距離用認識辞書ファイル32及び長距離用認識辞書ファイル33を効率よく作成することができる。
【0071】
すなわち、短距離用認識辞書ファイル31に対しては、商品を撮像部14から5cmだけ離した状態で撮像された基準画像から得られた当該商品の特徴量データを含む認識辞書データが登録される。中距離用認識辞書ファイル32に対しては、商品を撮像部14から15cmだけ離した状態で撮像された基準画像から得られた当該商品の特徴量データを含む認識辞書データが登録される。長距離用認識辞書ファイル31に対しては、商品を撮像部14から30cmだけ離した状態で撮像された基準画像から得られた当該商品の特徴量データを含む認識辞書データが登録される。
【0072】
そして、スキャナ装置1が商品認識装置として動作する場合において、キャッシャが客が買い上げる商品を読取窓1Bに翳したとき、撮像部14から商品までの距離が約5cmのときには、撮影画像から抽出される当該商品の外観特徴量と短距離用認識辞書ファイル31に登録されている各商品の特徴量データとが照合される。これに対し、撮像部14から商品までの距離が約30cmのときには、撮影画像から抽出される当該商品の外観特徴量と長距離用認識辞書ファイル33に登録されている各商品の特徴量データとが照合される。したがって、高い認識率を持って、撮影画像から商品を認識することができる。
【0073】
また、本実施形態のスキャナ装置1は、認識辞書作成処理の動作モードとして自動登録モードと手動登録モードとを有しており、ユーザがどちらかのモードを選択できるようになっている。自動登録モードが選択された場合、ユーザは登録キーを入力する必要がないので、ユーザの手間を削減できる効果を奏する。手動登録モードが選択された場合、ユーザが登録キーを入力しない限り認識辞書データが登録されないので、所定の登録距離の認識辞書データを認識辞書ファイル30に登録するか否かをユーザが選択できる効果を奏する。
【0074】
また、本実施形態のスキャナ装置1は、距離センサ15による測定距離が所定の登録距離に達するまでの商品の移動距離を算出し、登録画面90に表示するようにしている。したがって、ユーザは、読取窓1Bに翳した商品をどれだけ移動させればよいのか把握できるので、作業効率を向上させることができる。
【0075】
また、本実施形態のスキャナ装置1は、商品の特徴量データが認識辞書ファイル30に未登録の距離を検索し、登録画面90に表示するようにしている。したがって、ユーザは、未登録の距離がいくつなのかを容易に把握できるので、データの欠落を未然に防ぐことができる。
【0076】
なお、本発明は、前記実施形態に限定されるものではない。
例えば前記実施形態では、店舗会計システムの商品認識装置として機能するスキャナ装置1に、認識辞書作成装置としての機能を持たせたが、商品認識装置としての機能を必ずしも兼用させる必要はなく、認識辞書作成装置としての専用機であってもよい。この場合、読取窓1Bに翳した商品をユーザが手動で遠ざけたり近づけたりするのでなく、例えば商品を載置したテーブルを駆動機構により読取窓から離したり近づけたりし、測定距離dが所定の登録距離に達したときにテーブルを停止させるように構成することによって、作業を自動化することも可能である。
【0077】
また、前記実施形態では、認識辞書ファイル30を、短距離用認識辞書ファイル31、中距離用認識辞書ファイル32及び長距離用認識辞書ファイル33の3種類としたが、認識辞書ファイル30の種類は3種類に限定されるものではない。短距離と長距離の2種類だけであってもよいし、個々のファイルの設定距離さえ異なれば4種類以上あってもよい。
【0078】
また、認識辞書ファイル30を距離別に分割しなくてもよい。例えば認識辞書データに設定距離d1〜d3のデータを付加することによって、認識辞書ファイル30を物理的に1ファイルで構成できるようになる。
【0079】
また、前記実施形態では、認識辞書ファイル30をPOS端末2が備える場合を示したが、認識辞書ファイル30の保存場所はPOS端末2に限定されるものではない。例えば、POS端末2の上位機であるサーバに保存されていてもよい。あるいは、スキャナ装置1が自ら認識辞書ファイル30を保存していてもよい。
【0080】
なお、認識辞書作成装置の譲渡は一般に、認識辞書作成プログラム等のプログラムがROMに記憶された状態にて行われる。しかしこれに限らず、コンピュータ装置が備える書き込み可能な記憶デバイスに、このコンピュータ装置とは個別に譲渡された認識辞書作成プログラム等がユーザなどの操作に応じて書き込まれてもよい。認識辞書作成プログラム等の譲渡は、リムーバブルな記録媒体に記録して、あるいはネットワークを介した通信により行うことができる。記録媒体は、CD−ROM,メモリカード等のようにプログラムを記憶でき、かつ装置が読み取り可能であれば、その形態は問わない。また、プログラムのインストールやダウンロードにより得る機能は、装置内部のOS(オペレーティング・システム)等と協働してその機能を実現させるものであってもよい。
【0081】
この他、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提
示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態
は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で
、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明
の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に
含まれる。
以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
[1]商品を撮像する撮像部と、前記撮像部からこの撮像部で撮像された商品までの距離を測定する測定手段と、前記商品を特定する特定手段と、前記撮像部で撮像された前記商品の画像から当該商品の外観特徴量を抽出する抽出手段と、前記抽出手段により抽出した外観特徴量を前記特定手段により特定された商品の前記測定手段により測定された距離における特徴量データとして当該距離データと関連付けて認識辞書ファイルに登録する登録手段と、を具備したことを特徴とする認識辞書作成装置。
[2]前記測定手段による測定距離が所定の登録距離に達したことを報知する報知手段と、前記特徴量データの登録宣言を受付ける受付手段と、をさらに具備し、前記登録手段は、前記受付手段により登録宣言を受付けたことに応じて登録することを特徴とする付記[1]記載の認識辞書作成装置。
[3]前記測定手段による測定距離が所定の登録距離であることを検出する登録検出手段、をさらに具備し、前記登録手段は、前記測定距離が前記登録距離であると検出されたことに応じて登録することを特徴とする付記[1]記載の認識辞書作成装置。
[4]前記測定手段による測定距離が所定の登録距離に達するまでの前記商品の移動距離を算出する演算手段と、前記移動距離を表示する表示手段と、をさらに具備したことを特徴とする付記[2]または[3]記載の認識辞書作成装置。
[5]前記特定手段により特定された商品の特徴量データが前記認識辞書ファイルに未登録の距離を検索する検索手段と、この検索手段による検索結果を出力する出力手段と、をさらに具備したことを特徴とする付記[1]乃至[4]のうちいずれか1に記載の認識辞書作成装置。
[6]撮像部で撮像された前記商品の画像データ及び測定手段により測定された前記撮像部からこの撮像部で撮像された商品までの距離データを取り込む機能を有したコンピュータに、前記商品を特定する特定機能と、前記撮像部で撮像された前記商品の画像から当該商品の外観特徴量を抽出する抽出機能と、前記抽出機能により抽出した外観特徴量を前記特定機能により特定された商品の前記測定機能により測定された距離における特徴量データとして当該距離データと関連付けて認識辞書ファイルに登録する登録機能と、を実現させるための認識辞書作成プログラム。
【符号の説明】
【0082】
1…スキャナ装置、2…POS端末、12…タッチパネル、14…撮像部、15…距離センサ、30…認識辞書ファイル、31…短距離用認識辞書ファイル、32…中距離用認識辞書ファイル、33…長距離用認識辞書ファイル、40…商品情報ファイル。
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15