特許第5826800号(P5826800)IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 東芝テック株式会社の特許一覧
特許5826800認識辞書評価装置及び認識辞書評価プログラム
<>
  • 特許5826800-認識辞書評価装置及び認識辞書評価プログラム 図000002
  • 特許5826800-認識辞書評価装置及び認識辞書評価プログラム 図000003
  • 特許5826800-認識辞書評価装置及び認識辞書評価プログラム 図000004
  • 特許5826800-認識辞書評価装置及び認識辞書評価プログラム 図000005
  • 特許5826800-認識辞書評価装置及び認識辞書評価プログラム 図000006
  • 特許5826800-認識辞書評価装置及び認識辞書評価プログラム 図000007
  • 特許5826800-認識辞書評価装置及び認識辞書評価プログラム 図000008
  • 特許5826800-認識辞書評価装置及び認識辞書評価プログラム 図000009
  • 特許5826800-認識辞書評価装置及び認識辞書評価プログラム 図000010
  • 特許5826800-認識辞書評価装置及び認識辞書評価プログラム 図000011
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】5826800
(24)【登録日】2015年10月23日
(45)【発行日】2015年12月2日
(54)【発明の名称】認識辞書評価装置及び認識辞書評価プログラム
(51)【国際特許分類】
   G07G 1/00 20060101AFI20151112BHJP
   G06T 7/00 20060101ALI20151112BHJP
   G07G 1/01 20060101ALI20151112BHJP
【FI】
   G07G1/00 311D
   G06T7/00 300F
   G07G1/01 301E
【請求項の数】6
【全頁数】18
(21)【出願番号】特願2013-148548(P2013-148548)
(22)【出願日】2013年7月17日
(65)【公開番号】特開2015-22411(P2015-22411A)
(43)【公開日】2015年2月2日
【審査請求日】2014年9月25日
(73)【特許権者】
【識別番号】000003562
【氏名又は名称】東芝テック株式会社
(74)【代理人】
【識別番号】100108855
【弁理士】
【氏名又は名称】蔵田 昌俊
(74)【代理人】
【識別番号】100109830
【弁理士】
【氏名又は名称】福原 淑弘
(74)【代理人】
【識別番号】100088683
【弁理士】
【氏名又は名称】中村 誠
(74)【代理人】
【識別番号】100103034
【弁理士】
【氏名又は名称】野河 信久
(74)【代理人】
【識別番号】100075672
【弁理士】
【氏名又は名称】峰 隆司
(74)【代理人】
【識別番号】100153051
【弁理士】
【氏名又は名称】河野 直樹
(74)【代理人】
【識別番号】100140176
【弁理士】
【氏名又は名称】砂川 克
(74)【代理人】
【識別番号】100158805
【弁理士】
【氏名又は名称】井関 守三
(74)【代理人】
【識別番号】100172580
【弁理士】
【氏名又は名称】赤穂 隆雄
(74)【代理人】
【識別番号】100179062
【弁理士】
【氏名又は名称】井上 正
(74)【代理人】
【識別番号】100124394
【弁理士】
【氏名又は名称】佐藤 立志
(74)【代理人】
【識別番号】100112807
【弁理士】
【氏名又は名称】岡田 貴志
(74)【代理人】
【識別番号】100111073
【弁理士】
【氏名又は名称】堀内 美保子
(72)【発明者】
【氏名】岡村 敦
【審査官】 小島 哲次
(56)【参考文献】
【文献】 特開2012−203634(JP,A)
【文献】 特開平03−180897(JP,A)
【文献】 特開平07−049951(JP,A)
【文献】 特開2010−009517(JP,A)
【文献】 特開平11−306357(JP,A)
【文献】 米国特許第05602938(US,A)
(58)【調査した分野】(Int.Cl.,DB名)
G07G 1/00−5/00
G06T 7/00
(57)【特許請求の範囲】
【請求項1】
各商品の外観特徴量を示す特徴量データを記憶する認識辞書ファイルが更新されたことに応じて、更新後の前記認識辞書ファイルの前記特徴量データによる各商品の品目別認識率を算出する演算手段と、
この演算手段により算出された前記各商品の品目別認識率から商品毎に求まる正当認識率が、予め設定された評価条件を満足するか否かを判断する評価手段と、
この評価手段により前記正当認識率が前記評価条件を満足しないと判断されると、前記各商品の中で前記正当認識率が所定レベル未満の低認識商品と、この低認識商品の品目別認識率の中で誤認識率が高い誤認識商品とを検出する検出手段と、
この検出手段により検出された前記低認識商品と前記誤認識商品との品目を報知する報知手段と、
を具備したことを特徴とする認識辞書評価装置。
【請求項2】
前記低認識商品または前記誤認識商品のうちいずれか一方の無効化を受付ける受付手段と、
前記認識辞書ファイルの前記無効化を受付けた商品の特徴量データを無効化する無効化手段と、
をさらに具備したことを特徴とする請求項1記載の認識辞書評価装置。
【請求項3】
前記認識辞書ファイルから前記受付手段により無効化を受付けた品目に関連付けられた特徴量データを除いた状態で、当該認識辞書ファイルの前記特徴量データによる前記各商品の品目別認識率を算出する再演算手段と、
この再演算手段により算出された前記各商品の品目別認識率から商品毎に求まる正当認識率が前記評価条件を満足するか否かを判断する再評価手段と、
をさらに具備したことを特徴とする請求項2記載の認識辞書評価装置。
【請求項4】
前記再評価手段により前記正当認識率が前記評価条件を満足しないと判断されると、前記認識辞書ファイルを更新前の状態に戻す復元手段、
をさらに具備したことを特徴とする請求項3記載の認識辞書評価装置。
【請求項5】
前記評価手段は、前記認識辞書ファイルの特徴量データが更新された商品の前記正当認識率が第1のしきい値以上であるか否か、全商品の正当認識率の平均が第2のしきい値以上であるか否か、全商品の正当認識率の平均の低下幅が第3のしきい値以下であるか否か、または前記認識辞書ファイルの特徴量データが更新されていない商品の正当認識率の低下幅が第4のしきい値以下であるか否か、のうち少なくとも1つを評価条件とすることを特徴とする請求項1乃至4のうちいずれか1に記載の認識辞書評価装置。
【請求項6】
コンピュータに、
各商品の外観特徴量を示す特徴量データを記憶する認識辞書ファイルが更新されたことに応じて、更新後の前記認識辞書ファイルの前記特徴量データによる前記各商品の品目別認識率を算出する機能と、
算出された前記各商品の品目別認識率から商品毎に求まる正当認識率が、予め設定された評価条件を満足するか否かを判断する機能と、
前記正当認識率が前記評価条件を満足しないと判断されると、前記各商品の中で正しく認識される正当認識率が所定レベル未満の低認識商品と、この低認識商品の品目別認識率の中で誤認識率が高い誤認識商品とを検出する機能と、
検出された前記低認識商品と前記誤認識商品との品目を報知する機能と、
を実現させるための認識辞書評価プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明の実施形態は、商品を撮像した画像からその商品を認識するシステムに用いられる認識辞書ファイルの評価装置及びコンピュータを当該評価装置として機能させるための認識辞書評価プログラムに関する。
【背景技術】
【0002】
撮像部で撮像された物体の画像から当該物体を認識する技術がある。この技術は、画像からその画像に映し出された物体の外観特徴量を抽出し、認識辞書ファイルに登録されている各基準画像の特徴量データと照合して、特徴量の類似度を算出する。そして、類似度が最も高い基準画像に相当する物体を、撮像部で撮像された物体として認識する。
【0003】
近年、このような物体認識技術を小売店の会計システム(POSシステム)に適用して、顧客が買い上げる商品を認識する提案がなされている。この場合、認識辞書ファイルには、各商品の品目にそれぞれ関連付けて当該品目によって特定される商品の外観特徴量を示す特徴量データが登録される。換言すれば、認識辞書ファイルに特徴量データが登録されていない商品は認識することができない。
【0004】
例えば生鮮食品を取扱う小売店では、商品の入れ替え等により、認識辞書ファイルに特徴量データが登録されていない未登録商品の販売を開始することがある。その場合、店側は、販売開始前に未登録商品の特徴量データを認識辞書ファイルに追加する。しかし、未登録商品の特徴量データを追加したために、既に登録されている商品の認識率が低下する可能性がある。また、特徴量データを追加した商品の認識率が想定よりも低い場合もある。このような事象は、特徴量データの追加のみならず、特徴量データの変更によっても起こり得る。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2012−069094号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
一実施形態が解決しようとする課題は、特徴量データの追加,変更等により更新された認識辞書ファイルの有効性を簡単に評価できる認識辞書評価装置を提供しようとするものである。
【課題を解決するための手段】
【0007】
一実施形態において、認識辞書評価装置は、演算手段と、評価手段と、検出手段と、報知手段とを備える。演算手段は、各商品の外観特徴量を示す特徴量データを記憶する認識辞書ファイルが更新されたことに応じて、更新後の認識辞書ファイルの特徴量データによる各商品の品目別認識率を算出する。評価手段は、演算手段により算出された各商品の品目別認識率から商品毎に求まる正当認識率が、予め設定された評価条件を満足するか否かを判断する。検出手段は、評価手段により正当認識率が評価条件を満足しないと判断されると、各商品の中で正当認識率が所定レベル未満の低認識商品と、この低認識商品の品目別認識率の中で誤認識率が高い誤認識商品とを検出する。報知手段は、検出手段により検出された低認識商品と誤認識商品との品目を報知する。
【図面の簡単な説明】
【0008】
図1】一実施形態である店舗会計システムの外観図。
図2】同店舗会計システムのスキャナ装置とPOS端末とのハードウェア構成を示すブロック図。
図3】認識辞書ファイルに保存される認識辞書データの構造を模式的に示す図。
図4】認識率ファイルに保存される認識率テーブルの構造を模式的に示す図。
図5】スキャナ装置が商品認識装置として動作する場合の機能構成を示すブロック図。
図6】スキャナ装置が認識辞書ファイルの更新装置及び評価装置として動作する場合の機能構成を示すブロック図。
図7】スキャナ装置のCPUが認識辞書更新プログラムにしたがって実行する認識辞書更新処理の要部手順を示す流れ図。
図8】スキャナ装置のCPUが認識辞書評価プログラムにしたがって実行する認識辞書更新処理の要部手順を示す流れ図。
図9】認識辞書ファイル更新前の認識率テーブルの一例を示す図。
図10】認識辞書ファイル更新後の認識率テーブルの一例を示す図。
【発明を実施するための形態】
【0009】
以下、認識辞書評価装置の実施形態について、図面を用いて説明する。
なお、本実施形態は、店舗会計システムの商品認識装置として機能するスキャナ装置1に、認識辞書ファイルの更新装置及び評価装置としての機能をさらに持たせた場合である。
【0010】
図1は、前記スキャナ装置1を用いた店舗会計システムの外観図である。このシステムは、顧客が買い上げる商品を登録する登録部としてのスキャナ装置1と、顧客の代金支払いを処理する決済部としてのPOS(Point Of Sales)端末2とを含む。スキャナ装置1は、会計カウンタ3の上に取り付けられる。POS端末2は、レジ台4の上にドロワ5を挟んで設置される。スキャナ装置1とPOS端末2とは、通信ケーブル8(図2を参照)によって電気的に接続される。
【0011】
スキャナ装置1は、キーボード11、タッチパネル12及び客用ディスプレイ13を備える。これらの表示・操作デバイス(キーボード11、タッチパネル12、客用ディスプレイ13)は、スキャナ装置1の本体を構成する薄型矩形形状のハウジング1Aに取り付けられる。
【0012】
ハウジング1Aには、撮像部14が内蔵される。また、矩形状の読取窓1Bが、ハウジング1Aの正面に形成される。撮像部14は、エリアイメージセンサであるCCD(Charge Coupled Device)撮像素子及びその駆動回路と、撮像領域の画像をCCD撮像素子に結像させるための撮像レンズとを備える。撮像領域とは、読取窓1Bから撮像レンズを通してCCD撮像素子のエリアに結像するフレーム画像の領域を指す。撮像部14は、撮像レンズを通ってCCD撮像素子に結像した撮像領域の画像を出力する。なお、エリアイメージセンサは、CCD撮像素子に限定されない。例えばCMOS(complementary metal oxide semiconductor)を用いたものであってもよい。
【0013】
POS端末2は、決済に必要なデバイスとしてキーボード21、オペレータ用ディスプレイ22、客用ディスプレイ23及びレシートプリンタ24を備える。
【0014】
会計カウンタ3は、顧客通路3Aに沿って配置される。レジ台4は、顧客通路3Aの顧客移動方向である矢印Eの方向に対して下流側の会計カウンタ3の端部の顧客通路3Aとは反対側に、会計カウンタ3に対して略垂直に置かれる。そして、この会計カウンタ3とレジ台4とで仕切られた領域が、会計担当の店員いわゆるキャッシャのスペース3Bとなる。
【0015】
会計カウンタ3の略中央には、スキャナ装置1のハウジング1Aが、キーボード11、タッチパネル12及び読取窓1Bをそれぞれキャッシャ側に向けて立設される。スキャナ装置1の客用ディスプレイ13は、顧客通路3A側を向いてハウジング1Aに取り付けられる。
【0016】
会計カウンタ3のスキャナ装置1を挟んで顧客移動方向上流側の荷受面は、買物客が購入する未登録の商品Mが入れられた買物カゴ6を置くためのスペースとなる。他方、下流側の荷受面は、スキャナ装置1により登録された商品Mを入れるための買物カゴ7を置くためのスペースとなる。
【0017】
図2は、スキャナ装置1とPOS端末2とのハードウェア構成を示すブロック図である。スキャナ装置1は、スキャナ部101と操作・出力部102とを備える。スキャナ部101は、CPU(Central Processing Unit)111、ROM(Read Only Memory)112、RAM(Random Access Memory)113、接続インターフェース114を含む。またスキャナ部101は、前記撮像部14も含む。CPU111、ROM112、RAM113及び接続インターフェース114は、バスライン115に接続される。また、撮像部14も、入出力回路(不図示)を介してバスライン115に接続される。
【0018】
CPU111は、コンピュータの中枢部分に相当する。CPU111は、オペレーティングシステムやアプリケーションプログラムに従って、スキャナ装置1としての各種の機能を実現するべく各部を制御する。
【0019】
ROM112は、上記コンピュータの主記憶部分に相当する。ROM112は、上記のオペレーティングシステムやアプリケーションプログラムを記憶する。ROM112は、CPU111が各種の処理を実行する上で必要なデータを記憶する場合もある。アプリケーションプログラムには、後述する商品認識プログラム、認識辞書更新プログラム及び認識辞書評価プログラムが含まれる。
【0020】
RAM113は、上記コンピュータの主記憶部分に相当する。RAM113は、CPU111が各種の処理を実行する上で必要なデータを必要に応じて記憶する。またRAM113は、CPU111が各種の処理を行う際のワークエリアとしても利用される。
【0021】
操作・出力部102は、前記キーボード11、タッチパネル12及び客用ディスプレイ13を含む。また操作・出力部102は、接続インターフェース116及び音声合成部117も含む。キーボード11、タッチパネル12、客用ディスプレイ13は、それぞれ入出力回路(不図示)を介してバスライン118に接続される。また、接続インターフェース116及び音声合成部117も、バスライン118に接続される。
【0022】
タッチパネル12は、パネル型のディスプレイ12aと、このディスプレイ12aの画面上に重ねて配置されたタッチパネルセンサ12bとを備える。
音声合成部117は、バスライン118を介して入力されるコマンドに応じて音声信号をスピーカ15に出力する。スピーカ15は、音声信号を音声に変換して出力する。
【0023】
POS端末2も、制御部本体としてCPU201を搭載する。そしてこのCPU201に、バスライン202を介して、ROM203、RAM204、補助記憶部205、通信インターフェース206及び接続インターフェース207が接続される。また、バスライン202には、前記キーボード21、オペレータ用ディスプレイ22、客用ディスプレイ23、プリンタ24及びドロワ5の各部も、それぞれ入出力回路(不図示)を介して接続される。
【0024】
通信インターフェース206は、LAN(Local Area Network)等のネットワークを介して店舗サーバ(不図示)と接続される。この接続により、POS端末2は、店舗サーバとデータの送受信が可能となる。
【0025】
接続インターフェース207は、通信ケーブル8を介して、スキャナ装置1の両接続インターフェース114,116と接続される。この接続により、POS端末2は、スキャナ装置1のスキャナ部101から情報を受信する。また、POS端末2は、スキャナ装置1の操作・出力部102を構成するキーボード11、タッチパネル12、客用ディスプレイ13、音声合成部117との間でデータ信号を送受信する。一方、スキャナ装置1は、この接続により、POS端末2の補助記憶部205に保存されているデータファイルにアクセスする。
【0026】
補助記憶部205は、例えばHDD(Hard Disk Drive)装置またはSSD(Solid State Drive)装置であって、種々のプログラムの他、認識辞書ファイル30、認識率ファイル40等のデータファイルを保存する。
【0027】
認識辞書ファイル30には、商品別の認識辞書データ30Dが保存される。図3は、認識辞書データ30Dの構造を示す模式図である。図3に示すように、認識辞書データ30Dは、商品ID、商品名、特徴量データ及び状態フラグFの各項目を含む。商品IDは、認識対象である商品を識別するために各商品にそれぞれ付された固有のコードである。商品名は、対応する商品IDによって特定される商品の品目である。
【0028】
特徴量データは、対応する商品IDによって特定される商品を撮像した基準画像から、その商品の表面情報(外観形状、色合い、模様、凹凸具合等)である外観上の特徴量を抽出し、この外観特徴量をパラメータで表わしたものである。認識辞書データ30Dには、1つの商品に対して複数の特徴量データが保存される。各特徴量データは、1つの商品を異なる方向から撮像した基準画像によって生成される。なお、特徴量データの数は固定ではない。また、特徴量データの数は商品によって異なる。
【0029】
状態フラグFは、認識辞書データ30Dが有効であるか無効であるかを識別するための情報である。本実施形態において、状態フラグFは、認識辞書データ30Dが有効なとき“0”となり、無効なとき“1”となる。
【0030】
認識率ファイル40には、複数の認識率テーブル40Tが保存される。図4は、認識率テーブル40Tの構造を示す模式図である。図4に示すように、認識率テーブル40Tは、行方向のセルの数と列方向のセルの数とが等しいマトリクス構造を有する。そして、その1行目かつ1列目のセルに、固有のテーブル番号がセットされる。テーブル番号は、例えば“1”から順番に1ずつ増加する正の整数である。
【0031】
1行目の2列目以降の各セルと1列目の2行目以降の各セルには、認識辞書ファイル30に認識辞書データ30Dが登録されている各商品の品目(商品名)がそれぞれ同じ順番でセットされる。
【0032】
2列目以降でかつ2行目以降の各セルには、その列の1行目のセルにセットされた品目で特定される商品を、認識辞書ファイル30に登録されている各商品の特徴量データで認識した際の品目別認識率(nn%)が、各行の1列目のセルにセットされた品目の順番にセットされる。
【0033】
図5は、スキャナ装置1が商品認識装置として動作する場合の機能構成を示すブロック図である。客が買い上げる商品Mをスキャナ装置1に認識させる場合、ユーザは、キーボード11またはタッチパネル12を操作して商品認識モードを選択する。そしてオペレータは、商品Mを読取窓1Bに翳す。
【0034】
商品認識モードが選択されると、スキャナ装置1では、前記商品認識プログラムが起動する。そしてこの商品認識プログラムに従い、CPU111が、抽出手段51、類似度算出手段52、候補出力手段53及び確定手段54としての機能を実現する。以下、各機能を具体的に説明する。
【0035】
商品Mが読取窓1Bに翳されると、CPU111は、抽出手段51として機能する。すなわちCPU111は、撮像部14で撮像された画像から、その画像に映し出されている商品Mの形状、表面の色合い、模様、凹凸状況等の外観特徴量を抽出する。
【0036】
外観特徴量が抽出されると、CPU111は、類似度算出手段52として機能する。すなわちCPU111は、抽出手段51により抽出された外観特徴量を、認識辞書ファイル30に登録されている各商品の特徴量データと順次照合して、外観特徴量が特徴量データに対してどの程度類似しているかを例えばハミング距離で示す類似度を品目毎に算出する。なお、このとき、状態フラグFが無効な状態にある認識辞書データ30Dの特徴量データとは照合しない。
【0037】
品目毎に類似度が算出されると、CPU111は、候補出力手段53として機能する。すなわちCPU111は、類似度の大きい順に例えば5番目までの品目を選出する。そしてCPU111は、選出した品目の商品を認識商品候補として選択可能にタッチパネル12に表示出力する。
【0038】
認識商品候補が表示されると、CPU111は、確定手段54として機能する。すなわちCPU111は、キーボード11またはタッチパネル12の操作入力により、認識商品候補の中から選択された商品を、客が買い上げる商品として確定する。もしくはCPU111は、認識商品候補の中で類似度が最も高い商品を客が買い上げる商品として確定する。
【0039】
確定された商品の販売データは、通信ケーブル8を介してPOS端末2に送られる。かくしてPOS端末2では、確定手段54によって確定された商品の販売データが売上登録される。
【0040】
図6は、スキャナ装置1が認識辞書ファイル30の更新装置及び評価装置として動作する場合の機能構成を示すブロック図である。認識辞書ファイル30に新規の認識辞書データ30Dを追加する場合、あるいは認識辞書ファイル30に既に登録されている認識辞書データ30Dの特徴量データを変更する場合、ユーザは、キーボード11またはタッチパネル12を操作して認識辞書更新モードを選択する。
【0041】
認識辞書更新モードが選択されると、スキャナ装置1では、前記認識辞書更新プログラムが起動する。そしてこの認識辞書更新プログラムに従い、CPU111は更新手段60としての機能を実現する。またスキャナ装置1では、認識辞書評価プログラムも起動する。そしてこの認識辞書評価プログラムに従い、CPU111は演算手段61、評価手段62、検出手段63、報知手段64、受付手段65、無効化手段66、再演算手段67、再評価手段68及び復元手段69としての機能を実現する。以下、図7及び図8の流れ図を用いて各機能を具体的に説明する。なお、以下に説明する処理の内容は一例であって、同様な結果を得ることが可能な様々な処理を適宜に利用できる。
【0042】
認識辞書更新プログラムが起動すると、CPU111は、図7の流れ図に示される手順の認識辞書更新処理を開始する。先ず,CPU111は、タッチパネル12のディスプレイ12aに辞書更新画面を表示させる(Act1)。辞書更新画面には、商品ID及び個体数Nの入力欄と商品名の表示欄とが形成されている。
【0043】
認識辞書データ30Dを追加または変更する場合、ユーザは、そのデータ30Dの対象となる商品のなかで標準的な外観を有する商品(以下、基準商品と称する)を複数用意する。そしてユーザは、キーボード11またはタッチパネル12を操作して、対象となる商品の商品IDを入力する。またユーザは、用意した基準商品の数を個体数Nとして入力する。
【0044】
商品IDが入力されると、CPU111は、その商品IDで特定される商品の商品名を商品データベース(不図示)から読み出して、表示欄に表示する。商品IDと個体数Nとが入力されると、CPU111は、辞書更新画面に実行ボタンを表示させる。そしてCPU111は、実行ボタンが入力されるのを待機する(Act2)。
【0045】
辞書更新画面に商品IDと個体数Nとを入力したユーザは、実行ボタンにタッチする。タッチパネルセンサ12bを介して実行ボタンの領域がタッチされたことを検知すると、CPU111は、実行ボタンが入力されたと判断する(Act2にてYES)。そしてCPU111は、辞書更新画面に表示されている商品ID、商品名及び個体数Nを、RAM113に形成された更新対象データ保存用のワークエリア(以下、更新対象エリアと称する)に格納する(Act3)。またCPU111は、撮像部14に対して撮像オン信号を出力する(Act4)。この撮像オン信号により、撮像部14が撮像領域の撮像を開始する。撮像部14で撮像された撮像領域のフレーム画像は、RAM113に形成された画像データ蓄積用のワークエリア(以下、画像エリアと称する)に順次保存される。
【0046】
CPU111は、カウンタxを“0”にリセットする(Act5)。そしてCPU111は、カウンタxの値に対して予め設定されている辞書更新のためのガイダンスを出力する(Act6)。例えばカウンタxが“0”のときには「基準商品の正面を読取窓に翳してください」というガイダンスを出力する。なお、ガイダンスの出力方法は、ディスプレイ12aへの表示出力、またはスピーカ15からの音声出力、あるいはその両方であってもよい。
【0047】
CPU111は、画像エリアに保存されたフレーム画像を取り込む(Act7)。そしてCPU111は、このフレーム画像に基準商品が撮像されているか否かを確認する(Act8)。すなわちCPU111は、フレーム画像を二値化した画像から輪郭線等を抽出する。そしてCPU111は、フレーム画像に映し出されている物体の輪郭抽出を試みる。物体の輪郭が全周にわたり抽出されると、CPU111は、フレーム画像に基準商品が撮像されているとみなす。フレーム画像に基準商品が撮像されていない場合(Act8にてNO)、CPU111は、画像エリアから次のフレーム画像を取り込む(Act7)。そしてCPU111は、このフレーム画像に基準商品が撮像されているか否かを確認する(Act8)。
【0048】
フレーム画像に基準商品が撮像されている場合(Act8にてYES)、CPU111は、このフレーム画像から基準商品の画像を切り出す。そしてCPU111は、この基準商品の画像から基準商品の形状、表面の色合い、模様、凹凸状況等の外観特徴量を抽出する(Act9)。
【0049】
CPU111は、抽出された外観特徴量を所定のパラメータに変換する。そしてCPU111は、この外観特徴量のパラメータを、基準商品を正面から見たときの特徴量データとして更新対象エリアに格納する(Act10)。
【0050】
CPU111は、前記カウンタxを“1”だけカウントアップする(Act11)。そしてCPU111は、カウンタxが所定の上限値Xを超えたか否かを判断する(Act12)。上限値Xは、1つの基準商品から得る特徴量データの数から定まる値であり、本実施形態では、1つの基準商品から得る特徴量データの数が“6”なので“5”とする。
【0051】
カウンタxが上限値Xを超えていない場合(Act12にてNO)、CPU111は、Act6の処理に戻る。すなわちCPU111は、カウンタxの値に対して予め設定されているガイダンスを出力する。例えばカウンタxが“1”のときには「基準商品の裏面を読取窓に翳してください」というガイダンスを出力する。しかる後、CPU111は、Act7〜Act12の処理を再度実行する。これにより、基準商品を裏面から見たときの特徴量データが、更新対象エリアに格納される。また、カウンタxが“2”となる。この場合も、カウンタxは上限値Xを超えていない。したがって、Act6〜Act12の処理が繰り返される。
【0052】
かくして、カウンタxは“2”、“3”、“4”、“5”と増加する。そしてそれに伴い、カウンタxが“1”のときのガイダンスの「裏面」の部分が「右側面」、「左側面」、「上面」、「下面」にそれぞれ置き換えられたガイダンスが順番に出力される。したがって、さらに基準商品を右側面から見たときの特徴量データと、左側面から見たときの特徴量データと、上面から見たときの特徴量データと、下面から見たときの特徴量データとが、更新対象エリアに格納される。
【0053】
カウンタxが上限値Xを超えると(Act12にてYES)、CPU111は、個体数Nを“1”だけ減じる(Act13)。そしてCPU111は、個体数Nが“0”になったか否かを判断する(Act14)。個体数Nが“0”より大きい場合(Act14にてNO)、CPU111は、基準商品の交換を指示するガイダンス、例えば「基準となる商品を交換してください」を出力する(Act15)。しかる後、CPU111は、Act5の処理に戻る。すなわちCPU111は、カウンタxを“0”にリセットする。そしてCPU111は、Act6以降の処理を再度実行する。その結果、2つ目の基準商品を「正面」、「裏面」、「右側面」、「左側面」、「上面」及び「下面」の6方向からそれぞれ見たときの特徴量データが、更新対象エリアに格納される。
【0054】
CPU111は、個体数Nが“0”となるまで、Act5〜Act15の処理を繰り返す。したがって、基準商品として用意されたN個の商品について、それぞれを6方向から見たときの特徴量データ、つまりは(6*N)個の特徴量データが、更新対象エリアに格納される。
【0055】
なお、カウンタxの上限値Xは“5”に限定されるものでない。認識辞書ファイル30の記憶容量や商品認識装置としての能力等を考慮して、適切な値Xが設定される。また、ガイダンスの内容はあくまでも一例であり、本実施形態の内容に限定されないのは言うまでもないことである。
【0056】
個体数Nが“0”となったならば(Act14にてYES)、CPU111は、撮像部14に対して撮像オフ信号を出力する(Act16)。この撮像オフ信号により、撮像部14は、撮像を終了する。
【0057】
またCPU111は、更新対象エリアに格納された商品ID、商品名及び各特徴量データに基づいて認識辞書ファイル30を更新する(Act17:更新手段60)。具体的にはCPU111は、当該商品IDが認識辞書ファイル30に登録済か否かを判断する。未登録の場合、CPU111は、この商品ID及び商品名と各特徴量データとから認識辞書データ30Dを生成し、認識辞書ファイル30に追加する。このとき、認識辞書データ30Dの状態フラグFは、有効を表わす値“0”となる。
【0058】
これに対して登録済の場合には、CPU111は、当該商品IDを含む認識辞書データ30Dを、RAM113に形成されたデータ退避用のワークエリア(以下、退避エリアと称する)に複写する。しかる後、CPU111は、認識辞書ファイル30の当該商品IDを含む認識辞書データ30Dの特徴量データを、更新対象エリア内の特徴量データに置換する。また、この認識辞書データ30Dの状態フラグFが無効を表わす値“1”であった場合には有効を表わす値“0”に変更する。状態フラグFが有効を表わす値“0”であった場合にはそのまま変更しない。
【0059】
こうして、認識辞書ファイル30が更新されると、スキャナ装置1では、認識辞書評価プログラムが起動する。これにより、CPU111は、図8の流れ図に示す手順の認識辞書評価処理を開始する(Act18)。
【0060】
先ず、CPU111は、更新後の認識辞書ファイル30に登録されている各商品の特徴量データを用いて、各商品に対する品目別認識率を算出する(Act21:演算手段61)。具体的にはCPU111は、認識辞書ファイル30から状態フラグFが有効を表わす値“0”の認識辞書データ30Dを順番に読み出す。状態フラグFが無効を表わす値“1”の認識辞書データ30Dは読み出さない。
【0061】
CPU111は、認識辞書データ30Dを読み出す都度、その認識辞書データ30Dに含まれる複数の特徴量データのなかから所定数、例えば10個の特徴量データを任意に選択する。そしてCPU111は、特徴量データを選択する都度、以下の処理を繰り返す。
【0062】
すなわちCPU111は、選択した特徴量データを、当該認識辞書データ30Dの商品IDで特定される商品の撮像画像から得られた外観特徴量とみなす。そしてCPU111は、この外観特徴量を、認識辞書ファイル30に登録されている各商品の特徴量データと順次照合して、外観特徴量が特徴量データに対してどの程度類似しているかを例えばハミング距離で示す類似度を品目毎に算出する。なお、このとき、状態フラグFが無効な状態にある認識辞書データ30Dの特徴量データとは照合しない。
【0063】
こうして、選択した特徴量データの全てについて、個々に品目別の類似度を算出したならば、CPU111は、品目毎に類似度の平均を求める。そしてCPU111は、この品目別の類似度平均値を百分率に換算することで、当該認識辞書データ30Dの商品IDで特定される商品の品目別認識率を算出する。
【0064】
Act21の処理が終了すると、CPU111は、このAct21の処理で算出された各商品の品目別認識率で認識率テーブル40Tを作成する(Act22)。具体的には、CPU111は、認識率テーブル40Tにおける1行目の2列目以降の各セルと1列目の2行目以降の各セルとに、それぞれAct21に処理で認識辞書ファイル30から読み出した各認識辞書データ30Dの品目を順にセットする。次いでCPU111は、上記認識率テーブル40Tの2列目以降でかつ2行目以降の各セルに、その列の1行目のセルにセットされた品目の商品に対する品目別認識率を、各行の1列目のセルにセットされた品目の順番にセットする。またCPU111は、認識率ファイル40に既に保存されている各認識率テーブル40Tにそれぞれセットされたテーブル番号を比較して最大値を取得する。そしてCPU111は、この最大値よりもさらに“1”だけ大きいテーブル番号を、今回作成した認識率テーブル40Tの1行目かつ1列目のセルにセットする。例えば、更新前の認識率テーブルの一例である図9の認識率テーブル40T−1のテーブル番号は「0011」(最大値)であり、この最大値よりもさらに“1”だけ大きいテーブル番号を、更新後の認識率テーブル40Tの1行目かつ1列目のセルにセットすると図10の認識率テーブル40T−2のテーブル番号は「0012」となる。図9及び図10の詳細な説明は後述する。
【0065】
こうして、認識率テーブル40Tを作成したならば、CPU111は、この認識率テーブル40Tに基づいて認識辞書ファイル30を評価する(Act23:評価手段62)。例えばCPU111は、以下の評価条件a1,a2,a3,a4のうち予め設定された1つの条件を満足するか否かを判断し、満足する場合には認識率ファイル40が適切であると認定し、満足しない場合には認識率ファイル40が不適切であると認定する。
【0066】
・評価条件a1:「認識辞書データが更新された商品の正当認識率が第1のしきい値以上であるか否か」
・評価条件a2:「全商品の正当認識率の平均が第2のしきい値以上であるか否か」
・評価条件a3:「全商品の正当認識率の平均の低下幅が第3のしきい値以下であるか否か」
・評価条件a4:「認識辞書データが更新されていない商品の正当認識率の低下幅が第4のしきい値以下であるか否か」
ここで、認識辞書データが更新された商品とは、更新対象エリアに格納された商品IDで特定される商品である。認識辞書データが更新されていない商品とは、認識辞書ファイル30に登録されている全ての認識辞書データ30Dの商品IDのうち更新対象エリアに格納された商品IDを除いた商品IDで特定される商品である。
【0067】
正当認識率とは、商品が正しく認識された率である。例えば認識率テーブル40Tの1列目に「品目A」がセットされている行と、同認識率テーブル40Tの1行目に「品目A」がセットされている列とが交差するセルにセットされている認識率が、「品目A」の商品の正当認識率である。同様に、認識率テーブル40Tの1列目に「品目B」がセットされている行と、同認識率テーブル40Tの1行目に「品目B」がセットされている列とが交差するセルにセットされている認識率が、「品目B」の商品の正当認識率である。
【0068】
正当認識率の低下幅とは、前回生成された認識率テーブル40Tから求まる各商品の正当認識率に対して、今回生成された認識率テーブル40Tから求まる同一商品の正当認識率がどれだけ低下したかを示す値である。例えば、前回の正当認識率が95%であったのに対して今回の正当認識率が93%であった場合、低下幅は2%である。
【0069】
したがって、評価条件a1の場合、第1のしきい値以上の場合は適切と評価され、第1のしきい値未満の場合は不適切と評価される。評価条件a2の場合、第2のしきい値以上の場合は適切と評価され、第2のしきい値未満の場合は不適切と評価される。評価条件a3の場合、第3のしきい値未満の場合は適切と評価され、第3のしきい値以上の場合は不適切と評価される。評価条件a4の場合、第4のしきい値未満の場合は適切と評価され、第4のしきい値以上の場合は不適切と評価される。
【0070】
なお、第1〜第4のしきい値は、いずれも任意である。例えばスキャナ装置1の商品認識精度を高く維持する場合、第1及び第2のしきい値は90%以上の十分に大きい値を設定し、第3及び第4のしきい値は5%未満の十分に小さい値を設定する。こうすることで、商品認識ファイル30を更新したことによるリスクを低く抑えることができる。
【0071】
CPU111は、認識率ファイル40の評価結果を確認する(Act24)。認識率ファイル40が適切であると認定された場合(Act24にてYES)、CPU111は、Act36の処理に進む。Act36では、CPU111は、Act22の処理で作成した認識率テーブル40Tを認識率ファイル40に保存する。
【0072】
これに対し、認識率ファイル40が不適切であると認定された場合には(Act24にてNO)、CPU111は、Act22の処理で作成した認識率テーブル40Tを参照して、各商品の中で正当認識率が所定レベル未満の低認識商品を検出する(Act25:検出手段63)。またCPU111は、低認識商品の品目別認識率の中で誤認識率が高い誤認識商品を検出する(Act26:検出手段63)。そしてCPU111は、低認識商品と誤認識商品との品目をタッチパネル12に表示させて報知する(Act27:報知手段64)。
【0073】
ここで、所定レベルは任意の値である。例えば、前記第1のしきい値を所定レベルとして設定することが考えられる。なお、所定レベルの設定如何によって複数の低認識商品が検出される場合も想定される。その場合には、確定認識商品のそれぞれについて誤認識商品を検出してもよいし、正当認識率が最低の低認識商品を1品目だけ選択し、この低認識商品について誤認識商品を検出してもよい。
【0074】
CPU111は、低認識商品と誤認識商品とのどちらを無効にするかの選択をユーザに促すガイダンスを出力する。そしてCPU111は、無効にする商品の品目(以下、無効化品目と称する)が選択されるのを待機する(Act28:受付手段65)。
【0075】
キーボード11またはタッチパネル12の操作入力により低認識商品の無効化が選択された場合、CPU111は、認識辞書ファイル30を検索して、低認識商品の品目がセットされた認識辞書データ30Dの状態フラグFを“1”に書き換える(Act29)。これに対し、誤認識商品の無効化が選択された場合には、CPU111は、同じく認識辞書ファイル30を検索して、誤認識商品の品目がセットされた認識辞書データ30Dの状態フラグFを“1”に書き換える(Act30)。
【0076】
しかる後、CPU111は、認識辞書ファイル30に登録されている各商品の特徴量データを用いて、各商品の品目別認識率を再度算出する。すなわちCPU111は、Act29またはAct30の処理で無効化された認識辞書データ30Dを除いた認識辞書ファイル30のデータで、各商品の品目別認識率を算出する(Act31:再演算手段69)。そしてCPU111は、各商品の品目別認識率で認識率テーブル40Tを作成する(Act32)。このときも、Act22の処理と同様に、認識率テーブル40Tには、認識率ファイル40に保存されている各認識率テーブル40Tのテーブル番号の最大値よりもさらに“1”大きい番号がテーブル番号としてセットされる。
【0077】
CPU111は、作成された認識率テーブル40Tに基づいて認識辞書ファイル30を評価する(Act33:再評価手段68)。この場合の評価方法も、Act23の処理と同様である。
【0078】
CPU111は、認識率ファイル40の評価結果を確認する(Act34)。認識率ファイル40が適切であると認定された場合(Act34にてYES)、CPU111は、Act36の処理に進む。すなわちCPU111は、Act32の処理で作成した認識率テーブル40Tを認識率ファイル40に保存する。
【0079】
これに対し、認識率ファイル40が不適切であると認定された場合には(Act34にてNO)、CPU111は、Act17の処理にて更新された認識辞書ファイル30を更新前の状態に復元する(Act35:復元手段69)。具体的には、CPU111は、Act29またはAct30の処理で“1”に変更した状態フラグを“0”に戻す。またAct17の処理において新規の認識辞書データ30Dが認識辞書ファイル30に追加された場合には、CPU111は、この認識辞書データ30Dを認識辞書ファイル30から削除する。一方、Act17の処理において、認識辞書データ30Dが退避エリアに複写された場合には、CPU111は、認識辞書ファイル30を検索して、退避エリアに複写された認識辞書データ30Dの商品IDと同一の商品IDがセットされた認識辞書データ30Dを検出する。そしてCPU111は、この検出された認識辞書データ30Dを、退避エリアに複写された認識辞書データ30Dに置換する。
【0080】
Act35またはAct36の処理が実行されると、認識辞書評価処理は終了する。
【0081】
図7の説明に戻る。認識辞書評価処理が終了すると、CPU111は、ディスプレイ12aに表示されている辞書更新画面を消去する(Act19)。また、CPU111は、RAM113のワークエリアをクリアする。以上で、認識辞書更新処理は終了する。
【0082】
認識辞書ファイル30が更新される前の認識率テーブル40Tの一例を図9に示し、更新後の認識率テーブル40Tの一例を図10に示す。なお、説明の便宜上、更新前の認識辞書ファイル30については符号30-1を付し、更新後の認識辞書ファイル30については符号30-2を付して区別する。同様に、更新前の認識率テーブル40Tについては符号40T-1を付し、更新後の認識率テーブル40Tについては符号40T-2を付して区別する。また、無効化品目として誤認識商品の品目を選択した後の認識辞書ファイル30については符号30-3を付して説明する。
【0083】
すなわちこの例は、認識対象の商品が「リンゴ」、「ミカン」及び「キュウリ」の3品目であった更新前の状態から、新たに商品「レモン」を認識対象として追加した場合である。この追加によって、商品「リンゴ」に関しては正当認識率が98%から97%に低下し、商品「ミカン」に関しては正当認識率が97%から95%に低下し、商品「キュウリ」に関しては正当認識率が96%から95%に低下した。また、商品「レモン」の正当認識率は93%であり、この商品「レモン」を品目「リンゴ」と誤認識する確率は2%、品目「ミカン」と誤認識する確率は4%、品目「キュウリ」と誤認識する確率は1%であった。
【0084】
この例において、評価条件a1の第1のしきい値が95%、評価条件a2の第2のしきい値が96%、評価条件a3及びa4の第3及び第4のしきい値がいずれも2%と仮定する。そうすると、評価条件a1を適用した場合には、商品「レモン」の正当認識率は93%であるため、更新後の認識辞書ファイル30-2は不適切であると認定される。評価条件a2を適用した場合にも、全商品「リンゴ」、「ミカン」、「キュウリ」及び「レモン」の正当認識率の平均が95%であるため、更新後の認識辞書ファイル30-2は不適切であると認定される。評価条件a3を適用した場合にも、全商品の正当認識率の平均の低下幅が2%であるため、更新後の認識辞書ファイル30-2は不適切であると認定される。評価条件a4を適用した場合にも、認識辞書データが更新されていない商品「リンゴ」、「ミカン」及び「キュウリ」のうち、商品「ミカン」の正当認識率の低下幅が2%であるため、更新後の認識辞書ファイル30-2は不適切であると認定される。すなわち、いずれの評価条件を採用した場合も、更新後の認識辞書ファイル30-2は不適切であると認定される。
【0085】
更新後の認識辞書ファイル30-2が不適切であると認定された場合、スキャナ装置1では、低認識商品として「レモン」が報知され、低認識商品である「レモン」の品目別認識率の中で御認識率が最も高い「ミカン」が、誤認識商品として報知される。そこでユーザは、商品「レモン」の認識辞書データ30Dを追加するべきか、商品「ミカン」の認識辞書データ30Dを残すべきかを考慮する。そしてユーザは、前者の場合には誤認識商品「ミカン」を無効化品目として選択し、後者の場合には低認識商品「レモン」を無効化品目として選択する。
【0086】
ユーザが誤認識商品「ミカン」を無効化品目として選択した場合、スキャナ装置1においては、商品「リンゴ」、「キュウリ」及び「レモン」の3品目が登録された認識辞書ファイル30-3について評価される。その結果、認識辞書ファイル30-3が適切であると評価された場合には、この認識辞書ファイル30-3が以後の商品認識モードの処理において適用される。したがって、商品「レモン」を認識することができる。
【0087】
これに対し、認識辞書ファイル30-3が不適切であると評価された場合には、認識辞書ファイル30として更新前の認識辞書ファイル30-1が復元される。すなわち、この後の商品認識モードの処理においても認識辞書ファイル30-1が適用される。したがって、商品「リンゴ」、「ミカン」及び「キュウリ」を、高い認識率で認識することができる。
【0088】
一方、ユーザが低認識商品「レモン」を無効化品目として選択した場合には、商品「リンゴ」、「ミカン」及び「キュウリ」の3品目が登録された認識辞書ファイル30-1について評価される。この認識辞書ファイル30-1は、既に適切であると評価されているので、以後の商品認識モードの処理においても認識辞書ファイル30-1が適用される。したがって、商品「リンゴ」、「ミカン」及び「キュウリ」を、高い認識率で認識することができる。
【0089】
このように、本実施形態のスキャナ装置1であれば、特徴量データを含む認識辞書データ30Dの追加、あるいは既存の認識辞書データ30Dに含まれる特徴量データの変更により、認識辞書ファイル30が更新された場合に、更新後の認識辞書ファイル30の有効性が自動的に評価されて報知される。したがってユーザは、その評価結果を確認することで、認識辞書ファイル30を更新すべきか否かを容易に判断することができる。
【0090】
しかもユーザは、認識辞書ファイル30を更新すべきと判断した場合には無効化品目として誤認識商品を選択し、更新すべきでないと判断した場合には無効化品目として低認識商品を選択すればよいので、簡便である。
【0091】
なお、本発明は、前記実施形態に限定されるものではない。
例えば前記実施形態では、店舗会計システムの商品認識装置として機能するスキャナ装置1に、認識辞書ファイルの更新装置及び評価装置としての機能をさらに持たせた場合を示した。この点に関しては、認識辞書ファイルの更新装置及び評価装置としての機能を汎用のパーソナルコンピュータ等のコンピュータ装置に持たせて、認識辞書ファイルの更新及び評価装置を単体で構成してもよい。さらに、認識辞書ファイルの更新機能も省略し、外部から認識辞書ファイルが更新されたことを示す指令が入力された場合に認識辞書評価プログラムを起動するようにして、認識辞書評価装置の専用機を構成することも可能である。
【0092】
また前記実施形態では、スキャナ装置1のROM112に、商品認識プログラム、認識辞書更新プログラム及び認識辞書評価プログラムを格納する場合を示した。この点に関しては、POS端末2のROM203または補助記憶部205に商品認識プログラム、認識辞書更新プログラム及び認識辞書評価プログラムの少なくとも1つを格納し、スキャナ装置1のCPU111とPOS端末2のCPU201とが協働して、各機能を実現するようにしてもよい。
【0093】
また前記実施形態では、図8におけるAct21の処理において、認識辞書データ30Dに含まれる複数の特徴量データのなかから所定数の特徴量データを選択して、個々に品目別の類似度を算出した場合を示した。この点に関しては、認識辞書データ30Dに含まれる全ての特徴量データについて、個々に品目別の類似度を算出することで、認識率テーブル40Tを作成してもよい。こうすることにより、CPU111の処理負荷が増大して処理時間がかかるものの、品目別認識率の精度を高くすることができる。
【0094】
また前記実施形態では、認識率ファイル40に複数の認識率テーブル40Tを保存するようにした。この点に関しては、最新の1つの認識率テーブル40Tを保存するだけであっても、評価条件3または4の低下幅を算出できるので、問題はない。また、評価条件3または4を省略する場合には、認識率ファイル40自体を省略することができる。
【0095】
また前記実施形態では、認識辞書ファイル30の評価方法として評価条件a1,a2,a3,a4を例示したが、評価条件はこれらに限定されるものではない。
【0096】
なお、認識辞書評価装置の譲渡は一般に、認識辞書評価プログラムがROM等に記憶された状態にて行われる。しかしこれに限らず、コンピュータ装置が備える書き込み可能な記憶デバイスに、このコンピュータ装置とは個別に譲渡された認識辞書評価プログラムがユーザなどの操作に応じて書き込まれてもよい。認識辞書評価プログラムの譲渡は、リムーバブルな記録媒体に記録して、あるいはネットワークを介した通信により行うことができる。記録媒体は、CD−ROM,メモリカード等のようにプログラムを記憶でき、かつ装置が読み取り可能であれば、その形態は問わない。また、プログラムのインストールやダウンロードにより得る機能は、装置内部のOS(オペレーティング・システム)等と協働してその機能を実現させるものであってもよい。
【0097】
この他、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【0098】
1…スキャナ装置、2…POS端末、12…タッチパネル、14…撮像部、30…認識辞書ファイル、40…認識率ファイル、51…抽出手段、52…類似度算出手段、53…候補出力手段、54…確定手段、61…演算手段、62…評価手段、63…検出手段、64…報知手段、65…受付手段、66…無効化手段、67…再演算手段、68…再評価手段、69…復元手段。
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10