特許 6838903 物品読取装置およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6838903

(24)【登録日】2021年2月16日

(45)【発行日】2021年3月3日

(54)【発明の名称】物品読取装置およびプログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20210222BHJP

【ＦＩ】

   G06T7/00 300F

【請求項の数】4

【全頁数】20

(21)【出願番号】特願2016-178873(P2016-178873)

(22)【出願日】2016年9月13日

(65)【公開番号】特開2018-45390(P2018-45390A)

(43)【公開日】2018年3月22日

【審査請求日】2019年8月21日

(73)【特許権者】

【識別番号】000003562

【氏名又は名称】東芝テック株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】特許業務法人酒井国際特許事務所

(72)【発明者】

【氏名】畠中 雄一郎

(72)【発明者】

【氏名】飯坂 仁志

(72)【発明者】

【氏名】宮越 秀彦

(72)【発明者】

【氏名】内藤 英浩

(72)【発明者】

【氏名】佐々木 勇太

【審査官】 佐藤 実

(56)【参考文献】

【文献】 特開２０１６−００１４５０（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ７／００ − ７／９０

(57)【特許請求の範囲】

【請求項1】

学習対象の物品を学習対象物品として指定する指定手段と、
前記学習対象物品を撮像した画像から当該学習対象物品の特徴を示す第１の特徴量を抽出する抽出手段と、
辞書に登録された登録物品毎に、当該登録物品の特徴を示す複数の第２の特徴量を記憶する記憶手段と、
前記抽出手段が抽出した前記第１の特徴量と前記登録物品の前記第２の特徴量とを比較して、その類似度を算出する算出手段と、
前記抽出手段が抽出した前記第１の特徴量を、前記学習対象物品の前記第２の特徴量として前記記憶手段に登録する学習処理を行う学習手段と、
前記第１の特徴量と前記学習対象物品を除く前記登録物品の前記第２の特徴量との前記類似度が、第１の閾値以上となる第２の特徴量が所定数以上存在するか、または前記第１の特徴量と前記登録物品に含まれた前記学習対象物品の前記第２の特徴量との前記類似度が、前記第１の閾値よりも低い第２の閾値以下となる第２の特徴量が所定数以上存在するかを条件に、前記学習処理に先行して報知を行う報知手段と、
を備えることを特徴とする物品読取装置。

【請求項2】

前記抽出手段は、前記学習対象物品を撮像した複数の画像の各々から前記第１の特徴量を抽出し、
前記算出手段は、前記抽出手段が抽出した前記第１の特徴量間の前記類似度を算出し、
前記報知手段は、前記条件に該当して、かつ前記第１の特徴量間の前記類似度が第３の閾値以上となる前記第１の特徴量が所定数以上存在する場合に前記報知を行う
ことを特徴とする請求項１に記載の物品読取装置。

【請求項3】

前記指定手段は、前記記憶手段が記憶していないカテゴリーの物品を、新たなカテゴリーの学習対象物品として指定するか、または前記指定手段は、前記記憶手段が記憶している既存カテゴリーに、当該既存カテゴリーに属する物品を学習対象物品として指定する
ことを特徴とする請求項１または請求項２に記載の物品読取装置。

【請求項4】

コンピュータを、
学習対象の物品を学習対象物品として指定する指定手段と、
前記学習対象物品を撮像した画像から当該学習対象物品の特徴を示す第１の特徴量を抽出する抽出手段と、
辞書に登録された登録物品毎に、当該登録物品の特徴を示す複数の第２の特徴量を記憶する記憶手段と、
前記抽出手段が抽出した前記第１の特徴量と前記登録物品の前記第２の特徴量とを比較して、その類似度を算出する算出手段と、
前記抽出手段が抽出した前記第１の特徴量を前記学習対象物品の特徴量として前記記憶手段に登録する学習処理を行う学習手段と、
前記第１の特徴量と前記学習対象物品を除く前記登録物品の前記第２の特徴量との前記類似度が、第１の閾値以上となる第２の特徴量が所定数以上存在するか、または前記第１の特徴量と前記登録物品に含まれた前記学習対象物品の前記第２の特徴量との前記類似度が、前記第１の閾値よりも低い第２の閾値以下となる第２の特徴量が所定数以上存在するかを条件に、前記学習処理に先行して報知を行う報知手段と
して機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施形態は、物品読取装置およびプログラムに関する。

【背景技術】

【0002】

従来、商品の外観を撮像した画像から当該商品の特徴量を抽出して、抽出した特徴量を予め用意された照合用のデータと比較することによって、商品の種別等を認識する一般物体認識（オブジェクト認識）を用いて商品の登録を行う技術が提案されている（例えば、特許文献１）。

【0003】

このようなオブジェクト認識を用いた物品読取装置において、新たな商品を追加登録する場合には、照合用辞書の更新を行っていた。しかしながら、新たな商品の特徴量が、既に照合用辞書に登録されている他の商品の特徴量と類似する場合には、新たに登録した商品と、既に照合用辞書に登録されている商品とを誤認識する可能性があるという課題があった。

【発明の概要】

【発明が解決しようとする課題】

【0004】

本発明が解決しようとする課題は、認識性能を下げる可能性のある画像を検知して、登録前に報知することができる物品読取装置およびプログラムを提供することである。

【課題を解決するための手段】

【0005】

実施形態の物品読取装置は、指定手段と、抽出手段と、記憶手段と、算出手段と、学習手段と、報知手段と、を備える。指定手段は、学習対象の物品を学習対象物品として指定する。抽出手段は、学習対象物品を撮像した画像から当該学習対象物品の特徴を示す第１の特徴量を抽出する。記憶手段は、辞書に登録された登録物品毎に、当該登録物品の特徴を示す複数の第２の特徴量を記憶する。算出手段は、抽出手段が抽出した第１の特徴量と登録物品の第２の特徴量とを比較して、その類似度を算出する。学習手段は、抽出手段が抽出した第１の特徴量を学習対象物品の特徴量として記憶手段に登録する学習処理を行う。報知手段は、第１の特徴量と学習対象物品を除く登録物品の第２の特徴量との類似度が、第１の閾値以上となる第２の特徴量が所定数以上存在するか、または第１の特徴量と登録物品に含まれた学習対象物品の第２の特徴量との類似度が、第１の閾値よりも低い第２の閾値以下となる第２の特徴量が所定数以上存在するかを条件に、学習処理に先行して報知を行う。

【図面の簡単な説明】

【0006】

【図1】図１は、実施形態に係る物品読取装置の一例を示す外観斜視図である。

【図2】図２は、物品読取装置のハードウェア構成の一例を示すハードウェアブロック図である。

【図3】図３は、ＰＬＵファイルのデータ構成の一例を示す概念図である。

【図4】図４は、物品読取装置の機能構成の一例を示す機能ブロック図である。

【図5】図５は、物品読取装置に新規カテゴリーの画像を追加登録する処理の流れを示すフローチャートである。

【図6】図６は、図５のフローチャートの中で行う類似画像の枚数の計数方法について説明する図である。

【図7】図７は、物品読取装置の既存カテゴリーに新たな画像を追加登録する処理の流れを示すフローチャートである。

【図8】図８は、図７のフローチャートの中で行う乖離画像の枚数の計数方法について説明する図である。

【発明を実施するための形態】

【0007】

（物品読取装置の全体構成の説明）
以下、添付図面を参照して、物品読取装置およびプログラムの実施形態を詳細に説明する。本実施形態では、係る物品読取装置およびプログラムの一実施形態として、スーパーマーケット等の店舗に設けられた、物品読取装置１への適用例を示す。

【0008】

図１は、物品読取装置１の一例を示す外観斜視図である。図１に示すように、物品読取装置１は、ＰＯＳ（Point-of-Sale）端末１０と、読取ユニット１００と、表示・操作ユニット１１０とを備える。

【0009】

ＰＯＳ端末１０は、登録対象となる物品Ｇ（商品）の登録を行う。また、ＰＯＳ端末１０は、読取ユニット１００が読み取った商品を、読取ユニット１００が出力する物品Ｇの特徴量Ｆａ（第１の特徴量）に基づいて特定して、売上登録および精算処理を行う。

【0010】

読取ユニット１００は、売上登録を行う場合に登録対象となる物品Ｇ（商品）の画像を撮像するとともに、撮像された物品の画像が有する特徴量Ｆａを読み取る。

【0011】

表示・操作ユニット１１０は、読取ユニット１００が撮像した画像を表示するとともに、ＰＯＳ端末１０が出力する各種情報を表示する。また、表示・操作ユニット１１０は、キャッシャが行う各種操作情報をＰＯＳ端末１０に転送する。

【0012】

図１において、ＰＯＳ端末１０は、レジ台４１の上に、ドロワ２１に載置した状態で設けられる。ＰＯＳ端末１０は、上面に、操作用の押下キーが配列されたキーボード２２を有する。また、ＰＯＳ端末１０は、キーボード２２の上方に、キャッシャが登録情報の確認、および決済に必要な情報の入力に使用する第１の表示デバイス２３と、客が登録情報の確認に使用する第２の表示デバイス２４とを有する。第１の表示デバイス２３は、液晶パネル等の表示パネル２３ａを有し、表示パネル２３ａにタッチパネル２６が積層されたタッチ入力式のものである。第２の表示デバイス２４は液晶パネル等の表示パネル２４ａを有する。第２の表示デバイス２４は、ＰＯＳ端末１０の上部に、客から見やすい方向に回転可能に立設されている。ドロワ２１は、内部に紙幣や硬貨などを収納し、ＰＯＳ端末１０からの指示により開放する。

【0013】

レジ台４１の隣には、レジ台４１と共にＬ状に配置されたサッカー台１５１を設けている。サッカー台１５１の上面には、買物カゴ１５３などを載置するための荷受面１５２が形成されている。図１は、買物カゴ１５３として、第１の買物カゴ１５３ａと第２の買物カゴ１５３ｂとが載置された例を示している。第１の買物カゴ１５３ａは、客が持ち込んだ買物カゴ、つまり読み取り前の物品（例えば物品Ｇ）の入った買い物カゴである。第２の買物カゴ１５３ｂは、読み取りを終えた物品Ｇを収納するための買物カゴである。キャッシャは、第１の買物カゴ１５３ａから読み取り前の例えば物品Ｇを手に取り、物品読取装置１に物品Ｇを読み取らせた後、物品Ｇを第２の買物カゴ１５３ｂに移し替える。なお、買物カゴ１５３は、カゴ状のものに限らず、トレー状、箱状、袋状等であってもよい。

【0014】

読取ユニット１００は、サッカー台１５１の荷受面１５２の中央部に立設され、ＰＯＳ端末１０と有線または無線によりデータ送受信可能に接続される。読取ユニット１００は、ハウジング１０２の表面に、キャッシャ側を向けて設けられた読取窓１０３の奥側に備えられている。読取窓１０３は透光性を有する、例えば透明なガラス板等により形成されている。読取ユニット１００は、読取窓１０３の奥に、物品Ｇを撮像するための撮像部１６０を有する。物品Ｇが撮像部１６０により撮像されると、読取ユニット１００は、撮像された物品Ｇの画像、および、画像から抽出した物品Ｇの特徴量Ｆａを、ＰＯＳ端末１０に対して出力する。

【0015】

表示・操作ユニット１１０は、ハウジング１０２の上部に備えられる。表示・操作ユニット１１０は、液晶パネル等の第３の表示デバイス１０６を有する。表示・操作ユニット１１０は、キャッシャが、読取ユニット１００が撮像した画像の確認、および物品読取装置１の操作に必要な情報の入力を行う場合に使用する。表示・操作ユニット１１０は、ＰＯＳ端末１０から出力された各種情報、例えば、物品Ｇの読み取り結果や、物品Ｇを登録対象の商品として登録した場合に、物品Ｇの読み取り性能が低下する、もしくは読み取り性能が改善しない等の警告表示等を第３の表示デバイス１０６に表示する。また、第３の表示デバイス１０６の画面には、タッチパネル１０５が積層されて、タッチ入力によって、物品読取装置１を動作させるために必要な情報の入力が可能となっている。さらに、第３の表示デバイス１０６の右隣にはキーボード１０７が設けられて、キャッシャによるキーボード入力が可能となっている。そして、表示・操作ユニット１１０は、客が、物品Ｇの読み取り結果等を確認するための第４の表示デバイス１０９を、読取窓１０３の背面側（客側）に備える。

【0016】

（物品読取装置のハードウェア構成の説明）
次に、物品読取装置１のハードウェア構成について説明する。図２は、物品読取装置１のハードウェア構成を示すハードウェアブロック図である。物品読取装置１のＰＯＳ端末１０は、ＣＰＵ（Central Processing Unit）６１、ＲＯＭ（Read Only Memory）６２、ＲＡＭ（Random Access Memory）６３、ＨＤＤ（Hard Disk Drive）６４、接続インタフェース６５、ドロワ２１、キーボード２２、第１の表示デバイス２３、第２の表示デバイス２４、通信インタフェース２５、タッチパネル２６等を備える。ＣＰＵ６１と、ＲＯＭ６２と、ＲＡＭ６３とＨＤＤ６４は、内部バス２７により接続される。また、ドロワ２１、キーボード２２、第１の表示デバイス２３、第２の表示デバイス２４、通信インタフェース２５、タッチパネル２６、ＨＤＤ６４、接続インタフェース６５は、いずれも各種の入出力回路（いずれも不図示）を介して上記内部バス２７に接続される。

【0017】

ＣＰＵ６１は、ＰＯＳ端末１０の全体の制御を司る中央演算処理装置である。ＲＯＭ６２は固定プログラムなどを格納する不揮発性メモリである。ＲＡＭ６３は、ＣＰＵ６１が作業エリアなどとして使用する揮発性メモリである。

【0018】

ＨＤＤ６４は、各種プログラムや各種ファイルを記憶する記憶部である。各種プログラムには、ＰＯＳ端末１０の全体の動作を制御するとともに、商品候補を決定してその商品候補を示す情報を選択画面に表示するなどの処理を含む、商品販売データ処理のためのプログラムＰＲなどが含まれる。各種ファイルは、ストアコンピュータＳＣから配信されて格納されたＰＬＵファイルＦ１などである。また、ＨＤＤ６４には、商品を登録するための登録テーブルや売上テーブルなどが記憶されている。すなわち、ＰＯＳ端末１０は、ＣＰＵ６１が制御主体となってプログラムＰＲ等を読み出して実行する、一般的なコンピュータシステムの構成を有する。

【0019】

通信インタフェース２５は、ストアコンピュータＳＣとデータ通信を行うためのネットワークカード等で構成される。ストアコンピュータＳＣは、店舗のバックヤード等に設置されたものである。ストアコンピュータＳＣは、ＨＤＤ（不図示）に、ＰＯＳ端末１０に配信するためのＰＬＵファイルＦ１などを格納している。

【0020】

接続インタフェース６５は、読取ユニット１００の接続インタフェース１７５、および表示・操作ユニット１１０の接続インタフェース１７６と通信を行うためのインタフェースである。通信は、有線または無線により行う。

【0021】

物品読取装置１の読取ユニット１００は、ＣＰＵ１６１と、ＲＯＭ１６２と、ＲＡＭ１６３と、撮像部１６０と、音声出力部１６５と、接続インタフェース１７５とを有する。また、物品読取装置１の表示・操作ユニット１１０は、接続インタフェース１７６と、タッチパネル１０５と、第３の表示デバイス１０６と、キーボード１０７と、第４の表示デバイス１０９とを有する。

【0022】

ＣＰＵ１６１と、ＲＯＭ１６２と、ＲＡＭ１６３は、内部バス１６６により接続される。また、撮像部１６０と、音声出力部１６５と、接続インタフェース１７５とは、いずれも各種の入出力回路（いずれも図示せず）を介して上記内部バス１６６に接続される。そして、タッチパネル１０５と、第３の表示デバイス１０６と、キーボード１０７と、第４の表示デバイス１０９とは、いずれも各種の入出力回路（いずれも不図示）を介して接続インタフェース１７６に接続される。

【0023】

ＣＰＵ１６１は、読取ユニット１００の全体の制御を司る中央演算処理装置である。ＲＯＭ１６２は、読取ユニット１００の制御プログラムなどを格納する不揮発性メモリである。制御プログラムには、撮像された物品Ｇの画像Ｉから特徴量Ｆを抽出して、抽出した特徴量ＦをＰＯＳ端末１０に出力する処理等のプログラムなどが含まれる。ＲＡＭ１６３は、ＣＰＵ１６１が作業エリアなどとして使用する揮発性メモリである。すなわち、読取ユニット１００は、ＣＰＵ１６１が制御主体となって制御プログラム等を読み出して実行する、一般的なコンピュータシステムの構成を有する。

【0024】

撮像部１６０は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子を有するカラーイメージセンサである。撮像部１６０は、ＣＰＵ１６１からの撮像開始信号を受けて撮像を開始し、読取窓１０３に翳された物品Ｇを所定のフレームレート（例えば３０ｆｐｓなど）で電気信号に変換し、撮像された画像Ｉを順次出力する。

【0025】

音声出力部１６５は、予め設定された読取音（“ピッ”）や警告音や音声等を再生するための再生回路やスピーカ等を有する。音声出力部１６５は、ＣＰＵ１６１からの制御信号により読取音や警告音や音声等を再生して、物品Ｇの読取状態等を音で報知する。

【0026】

さらに、ＣＰＵ１６１には接続インタフェース１７５が接続される。接続インタフェース１７５は、ＰＯＳ端末１０の接続インタフェース６５と通信接続して、読取ユニット１００とＰＯＳ端末１０との間のデータ送受信を行う。

【0027】

接続インタフェース１７６は、ＰＯＳ端末１０の接続インタフェース６５と通信接続して、表示・操作ユニット１１０とＰＯＳ端末１０との間のデータ送受信を行う。また、接続インタフェース１７６は、接続インタフェース１７５と通信接続して、表示・操作ユニット１１０と読取ユニット１００との間のデータ送受信を行う。

【0028】

ここで、ＰＯＳ端末１０が備えるＰＬＵファイルＦ１について、図３を用いて説明する。ＰＬＵファイルＦ１は、辞書の一例であり、後述する記憶手段７１を構成している。図３は、ＰＬＵファイルＦ１のデータ構成の一例を示す図である。ＰＬＵファイルＦ１は、物品Ｇ毎に、商品情報と、その物品Ｇの外観を撮像した画像Ｉと、画像Ｉから抽出した特徴量Ｆとを対応付けたデータファイルである。ＰＬＵファイルＦ１には、Ｎ種類の商品（物品Ｇ）の情報が登録されている。具体的には、商品毎に、商品情報と、画像Ｉと、画像Ｉから抽出した、物品Ｇの特徴を示す値である特徴量Ｆとが対応付けられて格納されている。図３の例では、商品情報として、商品ＩＤ欄ｆ１、商品分類欄ｆ２、商品名欄ｆ３、単価欄ｆ４、イラスト画像欄ｆ５に示すデータを格納する。そして、これらの商品情報に、商品の外観を撮像した画像Ｉが格納された画像欄ｆ６、当該画像Ｉから抽出した特徴量Ｆｂ（第２の特徴量）が格納された特徴量欄ｆ７、および後述する平均特徴量欄ｆ８のデータが対応付けられている。なお、後述するように、画像欄ｆ６には、１つの商品ＩＤの商品に対して、複数枚の画像Ｉが格納される。そして、特徴量欄ｆ７には、各画像Ｉから抽出した複数の特徴量Ｆｂが格納される。

【0029】

１つの物品Ｇを認識対象物品としてＰＬＵファイルＦ１に登録する場合には、各商品をより正確に判別するために、同じ商品を様々な方向から撮像した複数の画像Ｉ、または同じカテゴリーに属する複数の商品の画像Ｉを撮像する。すなわち、ＰＬＵファイルＦ１の画像欄ｆ６には、複数枚の画像Ｉが記憶される。以後、画像欄ｆ６に格納された画像を総称して画像Ｉと表記し、複数枚の画像を区別して表現する必要がある場合は、画像Ｉｎｍ（ｎ＝１〜Ｎ）と表記する。すなわち、画像Ｉｎｍは、商品ＩＤが「ｎ」の商品の外観を撮像した「ｍ番目」の画像であることを示す。

【0030】

ＰＬＵファイルＦ１の特徴量欄ｆ７に格納される特徴量Ｆｂ（第２の特徴量）は、例えば、画像Ｉから抽出した、物品Ｇの色合いや表面の凹凸等の表面状態（テクスチャ）等を用いる。ある商品ＩＤに属する複数の画像Ｉｎｍから抽出した各特徴量Ｆｂは、対応する画像Ｉｎｍと関連付けて格納される。すなわち、特徴量欄ｆ７には、画像Ｉｎｍから抽出した特徴量Ｆｂｎｍ（ｎ＝１〜Ｎ）が関連付けられて格納される。なお、特徴量Ｆｂｎｍは、商品ＩＤが「ｎ」の商品の外観を撮像した「ｍ番目」の画像から抽出した特徴量であることを示す。以後、特徴量欄ｆ７に格納された第２の特徴量を総称して特徴量Ｆｂと表記し、複数の特徴量を区別して表現する必要がある場合は、特徴量Ｆｂｎｍ（ｎ＝１〜Ｎ）と表記する。

【0031】

ＰＬＵファイルＦ１の平均特徴量欄ｆ８には、特徴量Ｆｂｎｍを平均化した平均特徴量Ｆｃが格納される。具体的には、平均特徴量欄ｆ８の、商品ＩＤが「ｎ」の商品に対応する欄には、平均特徴量Ｆｃｎ（ｎ＝１〜Ｎ）が格納される。この平均特徴量Ｆｃｎ（ｎ＝１〜Ｎ）は、物品読取装置１が商品を特定して通常の売上登録処理を行う際に、客が購入する商品の外観を撮像した画像から後述する抽出手段５３が抽出する特徴量Ｆａと、平均特徴量Ｆｃｎとの類似度Ｃを算出する際に利用する。

【0032】

なお、ＰＬＵファイルＦ１に、未登録の新たな物品Ｇ（新規カテゴリーの物品Ｇ）の画像Ｉｏを追加登録することによって、物品読取装置１の認識対象となる物品Ｇの種類を拡充させることができる。また、ＰＬＵファイルＦ１に、既に登録されている物品Ｇの新たな画像（新規画像Ｉｃ）を追加登録することによって、物品読取装置１の物品Ｇの読取性能（認識性能）を改善させることができる。詳しくは後述する。

【0033】

（物品読取装置の機能構成の説明）
次に、物品読取装置１の機能構成について説明する。図４は、物品読取装置１の機能ブロックの構成の一例を示す機能ブロック図である。なお、図４の機能ブロック図は、物品読取装置１が有する全ての機能の中で、本発明が有する特徴的な機能のみを示す。物品読取装置１では、図２に示すＣＰＵ１６１が、ＲＯＭ１６２に格納されたプログラムを適宜実行する。これにより、読取ユニット１００を構成するＣＰＵ１６１の内部に、指定手段５０と、撮像手段５１と、検知手段５２と、抽出手段５３と、報知手段５４とが機能部として実現される。

【0034】

さらに、物品読取装置１では、図２に示すＣＰＵ６１が、ＲＯＭ６２に格納されたプログラム、およびＨＤＤ６４に格納されたプログラムＰＲを適宜実行する。これにより、ＰＯＳ端末１０を構成するＣＰＵ６１の内部に、記憶手段７１と、算出手段７２と、認識手段７３と、判定手段７４と、学習手段７５とが機能部として実現される。

【0035】

次に、読取ユニット１００の機能構成について説明する。指定手段５０は、物品Ｇを学習対象物品として指定する。なお、学習対象物品を指定する場合には、前述したように、２通りの場合がある。１つめは、ＰＬＵファイルＦ１が記憶していないカテゴリーの物品Ｇを、新規カテゴリーの学習対象物品として指定する場合である。このように、新たな物品Ｇを新規カテゴリーに登録することによって、物品読取装置１は、新たな物品Ｇを認識できるようになる。２つめは、既にＰＬＵファイルＦ１が記憶している既存カテゴリーに、当該既存カテゴリーに属する物品Ｇを学習対象物品として指定する場合である。このように、既にＰＬＵファイルＦ１に登録されている物品Ｇを追加登録することによって、物品Ｇに関する特徴量の数が増加するため、物品読取装置１は、物品Ｇの認識性能を改善することができる。

【0036】

なお、指定手段５０は、具体的には、表示・操作ユニット１１０（図１）が備えるタッチパネル１０５またはキーボード１０７の操作情報に基づいて、学習対象物品を指定する。

【0037】

撮像手段５１は、撮像部１６０（図２）に対して撮像開始信号を出力して、撮像部１６０に撮像動作を開始させる。その後、撮像手段５１は、撮像部１６０が撮像して出力した画像Ｉを、ＲＡＭ１６３（図２）に順次保存する。

【0038】

検知手段５２は、撮像部１６０が撮像して出力した連続する複数の画像Ｉに基づいて、物品Ｇが読取窓１０３（図１）に翳されたことを検知する。具体的に、検知手段５２は、撮像部１６０が出力した画像ＩをＲＡＭ１６３から読み出し、直近に読み出した画像Ｉと、輝度を比較する。検知手段５２は、輝度の比較によって輝度階調に変化があったことを条件として、手や物品Ｇ等の何等かの写り込みがある画像Ｉであることを判断する。さらに、検知手段５２は、写り込みのある画像Ｉと連続する画像Ｉを２値化して物品Ｇの輪郭線を抽出する。そして、検知手段５２は、連続する画像Ｉの輪郭線の位置に変化があったときに、その輪郭線内の領域が、読取窓１０３に翳された物品Ｇを示す領域であると特定する。このようにして、検知手段５２は、物品Ｇが読取窓１０３に翳されたことを検知する。

【0039】

なお、物品Ｇが読取窓１０３に翳されたことを特定する方法は上記に限らず、他の方法を用いてもよい。例えば、画像Ｉの中の物品Ｇの輪郭線ではなく、肌色領域の有無によって特定するようにしてもよい。すなわち、画像Ｉの中に肌色領域がある場合には、キャッシャの手の写り込みがあることが予想される。したがって、例えば、画像Ｉの中から輪郭線を抽出して、手の形状を示す輪郭線のうち、物品Ｇを把持する位置の輪郭線の内側の領域を、物品Ｇを示す領域として特定してもよい。

【0040】

抽出手段５３は、画像Ｉに写っている物品Ｇの領域から、オブジェクト認識による認識対象物品が有する特徴量Ｆａ（第１の特徴量）を抽出する。そして、抽出手段５３は、抽出した特徴量ＦａをＰＯＳ端末１０に出力する。具体的に、抽出手段５３は、ＲＡＭ１６３から画像Ｉを読み出す。そして、抽出手段５３は、画像Ｉの中から物品Ｇの領域を特定する。次に、抽出手段５３は、特定した物品Ｇの領域の内部に対して、特徴量Ｆａを抽出する。抽出手段５３は、抽出した特徴量Ｆａを接続インタフェース１７５（図２）に出力する。接続インタフェース１７５は、受信した特徴量Ｆａを接続インタフェース６５（図２）に出力して、接続インタフェース６５からＰＬＵファイルＦ１に特徴量Ｆａを通知する。

【0041】

報知手段５４は、後述する学習手段７５の学習処理により、後述する認識手段７３の認識性能が低下する可能性があること、または認識性能が改善しない可能性があることを、学習処理の実行に先立って報知する。詳しくは後述する。

【0042】

次に、ＰＯＳ端末１０の機能構成について説明する。記憶手段７１は、前述したＰＬＵファイルＦ１を備える。このＰＬＵファイルＦ１は、前述したように、辞書の一例であり、辞書に登録された各登録物品の画像Ｉと各登録物品の特徴を示す特徴量Ｆｂ（第２の特徴量）を記憶する。記憶手段７１は、後述する認識手段７３がオブジェクト認識を行う場合に参照して、撮像手段５１が撮像した画像Ｉの中に写っている物品Ｇを特定する。

【0043】

算出手段７２は、撮像手段５１が撮像した画像Ｉから抽出した特徴量Ｆａ（第１の特徴量）と、記憶手段７１に格納された各商品の特徴量Ｆｂ（第２の特徴量）との類似度Ｃを算出する。

【0044】

認識手段７３は、画像Ｉの中の物品Ｇを認識するためのオブジェクト認識処理を行う。具体的には、認識手段７３は、抽出手段５３が、撮像部１６０が撮像した物品Ｇを含む画像Ｉの中から抽出した特徴量Ｆａ（第１の特徴量）と、ＰＬＵファイルＦ１に格納された各商品の平均特徴量Ｆｃｎとの類似度Ｃに基づいて、ＰＬＵファイルＦ１の中から、類似度Ｃが所定の閾値Ｃ１（第１の閾値）以上である商品を選出する。そして、認識手段７３は、未知の物品Ｇが、ＰＬＵファイルＦ１に登録されたいずれ物品Ｇであるかを認識する。

【0045】

なお、画像の中に含まれる物品Ｇを認識するオブジェクト認識は、一般物体認識（generic object recognition）とも呼ばれる。一般物体認識で用いられる各種認識技術については、下記の文献に詳しく解説されているため、説明は省略する。
柳井 啓司、“一般物体認識の現状と今後”、情報処理学会論文誌、Ｖｏｌ．４８、Ｎｏ．ＳＩＧ１６ [平成２８年８月５日検索]、インターネット<URL: http://mm.cs.uec.ac.jp/IPSJ-TCVIM-Yanai.pdf>

【0046】

Jamie Shottonら、“Semantic Texton Forests for Image Categorization and Segmentation”、[平成２８年８月５日検索]、インターネット<URL: http://mi.eng.cam.ac.uk/~cipolla/publications/inproceedings/2008-CVPR-semantic-texton-forests.pdf>

【0047】

ここで、認識手段７３がオブジェクト認識を行って物品Ｇを特定する場合に利用する類似度Ｃは、ＰＬＵファイルＦ１内の各物品Ｇの特徴量欄ｆ７に格納された特徴量Ｆｂｎｍ、または平均特徴量欄ｆ８に格納された平均特徴量Ｆｃｎと、画像Ｉの中に写っている物品Ｇの特徴量Ｆａと、がどの程度類似しているかを示す尺度である。なお、類似度Ｃは、１００％＝「類似度：１．０」とする絶対評価値で算出してもよいし、相対評価値で算出してもよい。

【0048】

例えば、類似度Ｃを絶対評価値で算出するとする。その場合、画像Ｉの中に写っている物品Ｇの特徴量Ｆａと、ＰＬＵファイルＦ１に登録された各物品Ｇの特徴量Ｆｂｎｍまたは平均特徴量Ｆｃｎ（ｎ＝１〜Ｎ）と、を１対１で比較し、この比較の結果算出される類似度Ｃを採用する。ここで、類似度９５％を第１の閾値Ｃ１にしたとする。その場合、認識手段７３は、類似度Ｃが９５％以上の商品を類似度Ｃの順に順番付けを行って、物品Ｇの候補とする。

【0049】

また、類似度Ｃを相対評価で算出するとする。その場合、ＰＬＵファイルＦ１の各商品との類似度Ｃの総和が１．０（１００％）となるよう算出する。例えばＰＬＵファイルＦ１に５つの商品（第１の商品、第２の商品、第３の商品、第４の商品、第５の商品）が登録されているものとする。その場合の類似度Ｃは、例えば第１の商品に対する類似度「０．６」、第２の商品に対する類似度「０．１」、第３の商品に対する類似度「０．１」、第４の商品に対する類似度「０．１」、第５の商品に対する類似度「０．１」等とし、類似度Ｃの総和が常に１．０になるようにする。ここで、例えば類似度０．５を第１の閾値Ｃ１にしたとする。その場合、認識手段７３は、類似度Ｃが０．５以上の商品を類似度Ｃの順に順番付けを行って、物品Ｇの候補とする。前述した例では、第１の商品が物品Ｇの候補となる。

【0050】

判定手段７４は、記憶手段７１に未登録の新たな物品Ｇの画像Ｉｏを、新規カテゴリーとして追加登録する場合、または既存カテゴリーに物品Ｇの新規画像Ｉｃを追加登録する場合に、認識手段７３の認識性能が低下する可能性があるか、または認識性能が改善しない可能性があるかを判定する。

【0051】

なお、ＰＬＵファイルＦ１に新規カテゴリーの画像Ｉｏを登録するとは、ＰＬＵファイルＦ１（図３）の商品ＩＤ欄ｆ１、商品分類欄ｆ２、商品名欄ｆ３、単価欄ｆ４、イラスト画像欄ｆ５に新しい商品情報を登録して、さらに、画像欄ｆ６に新たな画像Ｉｏを登録することである。なお、一般には、新たな画像Ｉｏは複数枚が追加登録される。新たな画像Ｉｏを登録する場合には、併せて、新たな画像Ｉｏから、特徴量Ｆａ（第１の特徴量）を抽出して、抽出した特徴量Ｆａを特徴量欄ｆ７に格納して、第２の特徴量Ｆｂとする。さらに、平均特徴量Ｆｃを算出して平均特徴量欄ｆ８に格納する。具体的には、ＰＬＵファイルＦ１の中に、商品として「ＡＡ１個」、「ＡＡ１／２個」が登録されているときに、例えば「ＡＡ１／４個」を新たな商品（カテゴリー）として登録するケースが、新規カテゴリーの追加登録の例である。

【0052】

また、既存カテゴリーに新規画像Ｉｃを追加登録するとは、ＰＬＵファイルＦ１（図３）の既登録の商品の画像欄ｆ６に、新規画像Ｉｃを追加登録（学習）することである。このような既存カテゴリーへの新規画像Ｉｃの追加登録は、当該商品の認識性能を改善したい場合に行う。

【0053】

一般に、辞書に未登録の物品Ｇ（学習対象物品）を新規カテゴリーとして当該辞書に追加登録する際に、追加登録した物品Ｇを高い認識率で認識するためには、新規登録する物品Ｇの画像から抽出した特徴量（第１の特徴量）と、辞書に登録済みの登録物品の特徴量（第２の特徴量）と、が容易に識別できることが望ましい。すなわち、第１の特徴量と第２の特徴量との類似度Ｃを算出した際に、類似度Ｃができるだけ低いことが望ましい。逆に、第１の特徴量と第２の特徴量との類似度Ｃが高い場合には、未登録の物品Ｇを登録済の物品Ｇと誤認識する可能性が高くなる。そこで、判定手段７４は、第１の特徴量と第２の特徴量との類似度Ｃに基づいて、未登録の物品Ｇを新規カテゴリーとして記憶手段７１（ＰＬＵファイルＦ１）に登録した際に、認識性能が低下する可能性があるかを判定する。詳しい判定方法については後述する。

【0054】

また、辞書に登録済の物品Ｇの既存カテゴリーに、当該既存カテゴリーに属する物品Ｇの新規画像を追加登録した際に、新規画像が追加登録された辞書を用いて、物品Ｇを確実に認識するためには、追加登録する物品Ｇの新規画像から抽出した特徴量（第１の特徴量）と、辞書に登録済の物品Ｇの特徴量（第２の特徴量）と、ができるだけ類似していることが望ましい。逆に、第１の特徴量と第２の特徴量との類似度Ｃが低い場合（登録済の画像と追加登録する新規画像とが乖離している場合）には、認識手段７３がオブジェクト認識を行った際に、登録済の物品Ｇの認識性能が低下する可能性がある。そこで、判定手段７４は、第１の特徴量と第２の特徴量との類似度Ｃに基づいて、辞書に登録済の物品Ｇの既存カテゴリーに、当該既存カテゴリーに属する物品Ｇの新規画像を追加登録した際に、認識性能が低下する可能性があるかを判定する。詳しい判定方法については後述する。

【0055】

学習手段７５は、抽出手段５３が抽出した、物品Ｇの特徴量Ｆａ（第１の特徴量）を、学習対象物品の特徴量Ｆｂ（第２の特徴量）として記憶手段７１（ＰＬＵファイルＦ１）に登録する学習処理を行う。また、学習手段７５は、記憶手段７１に新規カテゴリーの画像Ｉｏを追加登録する場合、または既存カテゴリーに新規画像Ｉｃを追加登録する場合に、新たな画像の登録を実行するかを制御する。

【0056】

（物品読取装置に新規カテゴリーの画像を登録する処理の流れの説明）
以下、実施形態である物品読取装置１が行う動作について、記憶手段７１であるＰＬＵファイルＦ１に新規カテゴリーの物品Ｇの画像Ｉｏを追加登録する動作と、記憶手段７１であるＰＬＵファイルＦ１の既存カテゴリーに、当該既存カテゴリーに属する物品Ｇの新規画像Ｉｃを追加登録する動作と、に分けて説明する。

【0057】

まず、物品読取装置１が、記憶手段７１であるＰＬＵファイルＦ１に新規カテゴリーの画像Ｉｏを追加登録する動作の流れについて、図５を用いて説明する。図５は、物品読取装置１に新規カテゴリーの画像Ｉｏを追加登録する処理の流れを示すフローチャートである。まず、ステップＳ１０において、指定手段５０は、表示・操作ユニット１１０（図１）が備えるタッチパネル１０５またはキーボード１０７の操作情報に基づいて、新規カテゴリーへの追加登録を行うことを指定する。具体的には、新規カテゴリー、および追加登録の対象となる学習対象物品を指定する。

【0058】

次に、ステップＳ１２において、撮像手段５１は、新規カテゴリーに追加登録する物品Ｇの画像Ｉｏを撮像する。なお、一般に、画像Ｉｏは複数枚撮像する。

【0059】

続いて、ステップＳ１４において、抽出手段５３は、撮像した画像Ｉｏから特徴量Ｆａ（第１の特徴量）を抽出する。

【0060】

ステップＳ１６において、まず、算出手段７２は、ＰＬＵファイルＦ１の各既存カテゴリーに登録された特徴量Ｆｂ（第２の特徴量）と、新規カテゴリーに追加登録する画像Ｉｏの特徴量Ｆａ（第１の特徴量）との類似度Ｃを算出する。そして、判定手段７４は、既存カテゴリーの中に、特徴量Ｆａと第１の閾値Ｃ１以上の類似度Ｃを有する画像Ｉｎｍ（ｎ＝１〜Ｎ）があるかを判定する。なお第１の閾値Ｃ１は、任意の値に設定してよいが、比較的高い値（例えば、類似度Ｃを相対評価で算出した場合に８０％）とするのが望ましい。第１の閾値Ｃ１以上の類似度Ｃを有する画像Ｉｎｍがあると判定された場合（ステップＳ１６：Ｙｅｓ）はステップＳ１８に進み、それ以外の場合（ステップＳ１６：Ｎｏ）はステップＳ２８に進む。

【0061】

続いて、ステップＳ１８において、算出手段７２は、各既存カテゴリーに登録されている画像Ｉｎｍの中から、画像Ｉｏと類似する画像（第１の閾値Ｃ１以上の類似度Ｃを有する画像Ｉｎｍ、以後、第１の類似画像と呼ぶ）の枚数を計数する。

【0062】

ステップＳ２０において、判定手段７４は、ステップＳ１８における計数結果に基づいて、画像Ｉｏの第１の類似画像が所定の枚数Ｋ１以上登録された既存カテゴリーがあるかを判定する。画像Ｉｏの第１の類似画像を枚数Ｋ１以上有する既存カテゴリーがあると判定された場合（ステップＳ２０：Ｙｅｓ）はステップＳ２２に進み、それ以外の場合（ステップＳ２０：Ｎｏ）はステップＳ２８に進む。なお、カテゴリーによって登録されている画像Ｉｎｍの枚数は異なるため、ステップＳ２０で判定に用いる枚数Ｋ１は、例えば、各カテゴリーに登録された総画像枚数のうち所定の割合以上（例えば３０％以上）であることとする。

【0063】

続いて、ステップＳ２２において、算出手段７２は、ステップＳ１２で撮像した複数の画像Ｉｏ間の類似度Ｃを算出する。

【0064】

ステップＳ２４において、判定手段７４は、新規カテゴリーに登録する複数の画像Ｉｏ間の類似度Ｃに基づいて、当該画像Ｉｏの中に、所定の枚数Ｋ２以上の類似画像があるかを判定する。登録する複数の画像Ｉｏの中に、枚数Ｋ２以上の類似画像があると判定された場合（ステップＳ２４：Ｙｅｓ）はステップＳ２６に進み、それ以外の場合（ステップＳ２４：Ｎｏ）はステップＳ２８に進む。なお、判定手段７４は、複数の画像Ｉｏ間の類似度Ｃ（より具体的には、複数の画像Ｉｏから抽出した特徴量Ｆａ間の類似度Ｃ）が第３の閾値Ｃ３以上であるときに、画像Ｉｏ同士は類似画像であると判定されるものとする。なお、第３の閾値Ｃ３は、前記した第１の閾値Ｃ１とは無関係に任意の値に設定してよいが、比較的高い値（例えば、類似度Ｃを相対評価で算出した場合に７０％以上）とするのが望ましい。また、ステップＳ１６で算出した類似度Ｃに基づいて類似していると判断した第１の類似画像と区別するため、ステップＳ２４において類似していると判断した類似画像を、以後、第２の類似画像と呼ぶ。また、新規カテゴリーに登録する画像Ｉｏの枚数は、場合によって異なるため、ステップＳ２４で判定に用いる枚数Ｋ２は、例えば、新規カテゴリーに登録する総画像枚数のうち所定の割合以上（例えば２０％以上）であることとする。

【0065】

ステップＳ２４において、画像Ｉｏ間に枚数Ｋ２以上の第２の類似画像があると判定された場合、判定手段７４は、ステップＳ２６において、報知手段５４に対して、警告表示による報知を行う指示を出す。そして、報知手段５４は、画像Ｉｏを新規カテゴリーとして登録すると、認識手段７３の認識性能が低下する可能性があることを報知する。その後、物品読取装置１は、ステップＳ２８の処理を行う。

【0066】

ステップＳ２８において、撮像手段５１は、画像Ｉｏの撮像を終了するかを判断する。具体的には、撮像手段５１は、表示・操作ユニット１１０を介して、画像Ｉｏの撮像の終了を指示する入力がなされたかの判断を行う。画像Ｉｏの撮像を終了する場合（ステップＳ２８：Ｙｅｓ）、すなわち、表示・操作ユニット１１０を介して、画像Ｉｏの撮像の終了を指示する入力がなされた場合はステップＳ３０に進み、それ以外の場合（ステップＳ２８：Ｎｏ）はステップＳ１２に戻る。

【0067】

続いて、ステップＳ３０において、学習手段７５は、画像Ｉｏおよび画像Ｉｏの特徴量Ｆａ（第１の特徴量）を、記憶手段７１であるＰＬＵファイルＦ１の新規カテゴリーに追加登録する。なお、特徴量Ｆａは、ＰＬＵファイルＦ１に、第２の特徴量Ｆｂとして登録される。ここで、ステップＳ２６において警告表示による報知がなされた場合であっても、学習手段７５による追加登録は無条件で実行されるものとする。ただし、追加登録した情報を活用するかは、後述するステップＳ３２で設定される。

【0068】

次に、ステップＳ３２において、学習手段７５は、ステップＳ３０で追加登録した新規カテゴリーの有効無効設定を行う。なお、新規カテゴリーを有効にする場合には、認識手段７３がＰＬＵファイルＦ１に登録した新規カテゴリーに対してアクセスできるようにする。すなわち、新規カテゴリーを、物品読取装置１の認識対象とする。また、新規カテゴリーを無効にする場合には、認識手段７３がＰＬＵファイルＦ１に登録した新規カテゴリーに対してアクセスできないようにする。すなわち、新規カテゴリーを、物品読取装置１の認識対象としない。ステップＳ３２の処理は、具体的には、キャッシャが表示・操作ユニット１１０（図１）が備えるタッチパネル１０５またはキーボード１０７を操作することによって行われる。そして、物品読取装置１は、ステップＳ３２を実行した後、図５の処理を終了する。

【0069】

ここで、ステップＳ１８で行う第１の類似画像の枚数の計数方法、およびステップＳ２２で行う第２の類似画像の枚数の計数方法について、図６を用いて、より具体的に説明する。図６は、類似画像（第１の類似画像および第２の類似画像）の枚数の計数方法について説明する図である。

【0070】

図６に示すように、ステップＳ１８（図５）において、算出手段７２は、追加登録する画像Ｉｏ（Ｉｏ１、Ｉｏ２、…、Ｉｏｎ）と、既存カテゴリーｎに登録された画像Ｉｎｍ（ｎ＝１〜Ｎ）との類似度Ｃを算出する。そして、算出手段７２は、第１の閾値Ｃ１以上の類似度Ｃを有する第１の類似画像の枚数を、カテゴリー（カテゴリー１、カテゴリー２、…、カテゴリーＮ）毎に計数する。

【0071】

すなわち、算出手段７２は、新規カテゴリーにｎ枚の画像Ｉｏを追加登録する場合には、ステップＳ１８において、例えば、ｂ枚の画像が記憶された既存カテゴリー２に対しては、ｂ＊ｎ回の類似度算出を行う。

【0072】

また、ステップＳ２２（図５）において、算出手段７２は、追加登録する画像Ｉｏ（Ｉｏ１、Ｉｏ２、…、Ｉｏｎ）間の類似度Ｃを算出する。そして、算出手段７２は、第１の閾値Ｃ１以上の類似度Ｃを有する第２の類似画像の枚数を算出する。

【0073】

すなわち、算出手段７２は、ステップＳ２２において、例えば、新規カテゴリーにｎ枚の画像Ｉｏを追加登録する場合には、ｎＣ_２回の類似度算出を行う。

【0074】

なお、図５のフローチャートでは、ステップＳ２０において、画像Ｉｏと類似する第１の類似画像が枚数Ｋ１以上登録された既存カテゴリーがあるかを判定した。そして、ステップＳ２４において、新規登録する複数の画像Ｉｏの中に、枚数Ｋ２以上の第２の類似画像があるかを判定した。その結果、画像Ｉｏと類似する第１の類似画像が枚数Ｋ１以上登録された既存カテゴリーがあって、なおかつ、複数の画像Ｉｏの中に、枚数Ｋ２以上の第２の類似画像があることを条件として、判定手段７４は、報知手段５４に対して、認識性能が低下する可能性があることを報知させるものとした。これは、新規登録する画像Ｉｏの中に、既存カテゴリーに登録された画像Ｉｎｍと類似する画像が存在すると、画像Ｉｏから抽出した特徴量Ｆａと、画像Ｉｎｍから抽出した特徴量Ｆｂとが近い値になるため、認識手段７３がオブジェクト認識を実行した際に、新規物品Ｇを既存カテゴリーに登録済の物品と誤認識する可能性が高まるためである。また、新規登録する物品Ｇを撮像した複数の画像Ｉｏ間に、類似する画像が多く存在する場合には、新規カテゴリーの物品Ｇの複数の画像Ｉｏを追加登録したにも関わらず、高い認識性能が得られない可能性がある。すなわち、新規登録する画像Ｉｏ間に類似する画像が多く存在する場合には、物品Ｇの画像Ｉｏが偏っている可能性がある。すなわち、認識手段７３がオブジェクト認識を行った際に、新規登録したカテゴリーに属する物品Ｇを物品読取装置１に読み取らせた場合に、他のカテゴリーの物品と誤認識する可能性がある。

【0075】

なお、ステップＳ２０およびステップＳ２４が行う判定処理は、より簡略化して行ってもよい。すなわち、ステップＳ１６において、新規登録する画像Ｉｏと既存カテゴリーに登録された画像Ｉｎｍとの類似度Ｃを算出した際に、登録されたいずれかのカテゴリーの中に、第１の閾値Ｃ１以上の画像Ｉｎｍが見つかったこと（ステップＳ１６：Ｙｅｓ）を条件として、判定手段７４は、報知手段５４に対して、認識手段７３の認識性能が低下する可能性があることを報知させてもよい。この場合、図５のフローチャートにおいて、ステップＳ１８、Ｓ２０、Ｓ２２、Ｓ２４の各処理は不要となる。

【0076】

さらに、ステップＳ２０において、画像Ｉｏの第１の類似画像が枚数Ｋ１以上登録された既存カテゴリーがあること（ステップＳ２０：Ｙｅｓ）を条件として、判定手段７４は、報知手段５４に対して、認識手段７３の認識性能が低下する可能性があることを報知させてもよい。この場合、図５のフローチャートにおいて、ステップＳ２２、Ｓ２４の各処理は不要となる。

【0077】

（物品読取装置の既存カテゴリーに新規画像を登録する処理の流れの説明）
次に、実施形態である物品読取装置１が、記憶手段７１であるＰＬＵファイルＦ１の既存カテゴリーｉに新規画像Ｉｃを追加登録する動作の流れについて、図７を用いて説明する。図７は、物品読取装置１の既存カテゴリーｉに新規画像Ｉｃを追加登録する処理の流れを示すフローチャートである。まず、ステップＳ４０において、指定手段５０は、表示・操作ユニット１１０（図１）が備えるタッチパネル１０５またはキーボード１０７の操作情報に基づいて、既存カテゴリーｉに新規画像Ｉｃの追加登録を行うことを指定する。具体的には、既存カテゴリーｉ、および追加登録の対象となる学習対象物品を指定する。

【0078】

次に、ステップＳ４２において、撮像手段５１は、既存カテゴリーｉに追加登録する新規画像Ｉｃを撮像する。

【0079】

続いて、ステップＳ４４において、抽出手段５３は、撮像した新規画像Ｉｃから特徴量Ｆａ（第１の特徴量）を抽出する。

【0080】

ステップＳ４６において、まず、算出手段７２は、ＰＬＵファイルＦ１の既存カテゴリーｉに登録された特徴量Ｆｂ（第２の特徴量）と、既存カテゴリーｉに追加登録する新規画像Ｉｃの特徴量Ｆａ（第１の特徴量）との類似度Ｃを算出する。そして、判定手段７４は、既存カテゴリーｉの中に、特徴量Ｆａと第２の閾値Ｃ２以下の類似度Ｃを有する画像Ｉｉｍがあるかを判定する。なお第２の閾値Ｃ２は、第１の閾値Ｃ１よりも低い任意の値に設定してよいが、比較的低い値（例えば、類似度Ｃを相対評価で算出した場合に２０％）とするのが望ましい。第２の閾値Ｃ２以下の類似度Ｃを有する画像Ｉｉｍがあると判定された場合（ステップＳ４６：Ｙｅｓ）はステップＳ４８に進み、それ以外の場合（ステップＳ４６：Ｎｏ）はステップＳ５６に進む。

【0081】

続いて、ステップＳ４８において、算出手段７２は、既存カテゴリーｉに登録されている画像Ｉｉｍの中から、新規画像Ｉｃと第２の閾値Ｃ２以下の類似度Ｃを有する画像（以下、乖離画像と呼ぶ）の枚数を計数する。

【0082】

ステップＳ５０において、判定手段７４は、ステップＳ４８における計数結果に基づいて、既存カテゴリーｉの中に、新規画像Ｉｃの乖離画像が所定の枚数Ｋ３以上あるかを判定する。乖離画像が枚数Ｋ３以上あると判定された場合（ステップＳ５０：Ｙｅｓ）はステップＳ５２に進み、それ以外の場合（ステップＳ５０：Ｎｏ）はステップＳ５６に進む。なお、既存カテゴリーｉに登録されている画像Ｉｉｍの枚数は場合によって異なるため、ステップＳ５０で判定に用いる枚数Ｋ３は、例えば、既存カテゴリーｉに登録された総画像枚数のうち所定の割合以上（例えば１５％以上）であることとする。

【0083】

ステップＳ５０において、既存カテゴリーｉの中に枚数Ｋ３以上の乖離画像があると判定された場合、判定手段７４は、ステップＳ５２において、報知手段５４に対して、警告表示による報知を行う指示を出す。そして、報知手段５４は、既存カテゴリーｉの中に新規画像Ｉｃを追加登録すると、認識手段７３の認識性能が低下する可能性があることを報知する。その後、物品読取装置１は、ステップＳ５４の処理を行う。

【0084】

続いて、ステップＳ５４において、学習手段７５は、新規画像Ｉｃを既存カテゴリーｉに登録する追加学習を行うかを判定する。追加学習を行う場合（ステップＳ５４：Ｙｅｓ）はステップＳ５６に進み、それ以外の場合（ステップＳ５４：Ｎｏ）は、物品読取装置１は図７の処理を終了する。なお、学習手段７５は、判定手段７４が、認識手段７３の認識性能が低下する可能性がないと判定したことを条件として追加学習を行えばよい。そして、学習手段７５は、判定手段７４が、認識手段７３の認識性能が低下する可能性があると判定したことを条件として追加学習を行わないようにすればよい。

【0085】

ステップＳ５６において、学習手段７５は、新規画像Ｉｃおよび新規画像Ｉｃの特徴量Ｆａ（第１の特徴量）を、記憶手段７１であるＰＬＵファイルＦ１の既存カテゴリーｉに追加登録する。なお、特徴量Ｆａは、ＰＬＵファイルＦ１に、第２の特徴量Ｆｂとして登録される。その後、物品読取装置１は、図７の処理を終了する。

【0086】

なお、図７のフローチャートでは、ステップＳ４６において、新規画像Ｉｃと、追加登録する既存カテゴリーｉに登録された画像Ｉｉｍとの類似度Ｃを算出した。そして、ステップＳ５０において、既存カテゴリーｉに登録された画像Ｉｉｍの中に、新規画像Ｉｃの乖離画像が枚数Ｋ３以上あることを条件として、判定手段７４は、報知手段５４に対して、認識性能が低下する可能性があること、または認識性能が改善しない可能性があることを報知させるものとした。これは、カテゴリーｉに追加登録する新規画像Ｉｃの中に、既に既存カテゴリーｉに登録されている画像Ｉｉｍの乖離画像が存在すると、新規画像Ｉｃから抽出した特徴量Ｆａと、画像Ｉｉｍから抽出した特徴量Ｆｂとが離れた値になるため、認識手段７３がオブジェクト認識を実行した際に、既存カテゴリーｉに属する物品Ｇを別のカテゴリーに登録された物品と誤認識する可能性が高まるためである。

【0087】

なお、ステップＳ４６およびステップＳ５０が行う判定処理は、より簡略化して行ってもよい。すなわち、ステップＳ４６において、追加登録する新規画像Ｉｃと既存カテゴリーｉに登録された画像Ｉｉｍとの類似度Ｃを算出した際に、第２の閾値Ｃ２以下の画像Ｉｉｍが見つかったこと（ステップＳ４６：Ｙｅｓ）を条件として、判定手段７４は、報知手段５４に対して、認識手段７３の認識性能が低下する可能性があることを報知させてもよい。この場合、図７のフローチャートにおいて、ステップＳ４８、Ｓ５０の各処理は不要となる。

【0088】

また、図７に示すフローチャートは、新規画像Ｉｃを１枚のみ追加登録する例について示したが、追加登録する新規画像Ｉｃは１枚に限定されるものではない。すなわち、ステップＳ５６の処理を行った後で、別の新規画像Ｉｃを追加登録するかを判定して、追加登録が必要である場合には、ステップＳ４２に戻って、図７の処理を繰り返して実行してもよい。なお、複数の新規画像Ｉｃを追加登録する際には、判定手段７４が、追加登録する複数の新規画像Ｉｃ間に、第３の閾値Ｃ３以上である類似度Ｃを有する新規画像Ｉｃが所定の枚数Ｋ２以上存在するかを判定して、類似画像が所定の枚数Ｋ２以上存在する場合に、報知手段５４に対して、認識性能が低下する可能性があること、または認識性能が改善しない可能性があることを報知させてもよい。この処理は、図５のステップＳ２２、Ｓ２４で説明した処理に対応する。

【0089】

さらに、判定手段７４は、新規画像Ｉｃと、当該新規画像Ｉｃを追加登録しない既存カテゴリー（既存カテゴリーｉ以外のカテゴリー）に登録された画像との類似度Ｃに基づいて、新規画像Ｉｃを追加登録した場合に、既存カテゴリーｉの認識性能が低下する可能性があるか、または認識性能が改善しない可能性があるかを判定してもよい。すなわち、新規画像Ｉｃの追加対象ではない既存カテゴリー（既存カテゴリーｉ以外のカテゴリー）に、新規画像Ｉｃに類似する画像が多く存在する場合には、新規画像Ｉｃを既存カテゴリーｉに追加登録した場合に、既存カテゴリーｉの認識性能が低下する可能性があると判定することができる。そしてさらに、新規画像Ｉｃと類似する画像が存在する既存カテゴリーｉの認識性能も同様に低下する可能性があると判定することができる。この処理は、例えば、図５のステップＳ１６、Ｓ１８を用いて行うことができる。

【0090】

ここで、ステップＳ４８で行う乖離画像の枚数の計数方法について、図８を用いて、より具体的に説明する。図８は、乖離画像の枚数の計数方法について説明する図である。

【0091】

図８に示すように、ステップＳ４８（図７）において、算出手段７２は、新規画像Ｉｃと、当該新規画像Ｉｃを登録する既存カテゴリーｉに登録された画像Ｉｉｍとの類似度Ｃを算出する。そして、算出手段７２は、第２の閾値Ｃ２以下の類似度Ｃを有する画像Ｉｉｍ（乖離画像）の枚数を計数する。

【0092】

すなわち、算出手段７２は、既存カテゴリーｉにｐ枚の画像が登録されている場合には、ステップＳ４８において、ｐ回の類似度算出を行う。

【0093】

以上説明したように、実施形態に係る物品読取装置１によれば、指定手段５０が、学習対象の物品Ｇを学習対象物品として指定する。そして、抽出手段５３が、学習対象物品である物品Ｇを撮像した画像から当該学習対象物品の特徴を示す特徴量Ｆａ（第１の特徴量）を抽出する。続いて、算出手段７２が、抽出手段５３が抽出した特徴量Ｆａと、ＰＬＵファイルＦ１（記憶手段７１）が構成する辞書に登録された各登録物品の特徴を示す特徴量Ｆｂ（第２の特徴量）とを比較して、その類似度Ｃを算出する。判定手段７４は、特徴量Ｆａと物品Ｇを除く登録物品の特徴量Ｆｂとの類似度Ｃが第１の閾値Ｃ１以上、または特徴量Ｆａと物品Ｇを含む登録物品の特徴量Ｆｂとの類似度Ｃが第１の閾値Ｃ１よりも低い第２の閾値Ｃ２以下であるかを判定する。そして、報知手段５４は、判定手段７４が前記判定を行ったことを条件として、学習手段７５が、抽出手段５３が抽出した特徴量Ｆａを、学習対象物品の特徴量Ｆｂとして記憶手段７１に登録する学習処理を行うのに先行して報知を行う。したがって、記憶手段７１への、認識性能が低下する可能性のある物品Ｇの追加登録を避けることができる。

【0094】

また、実施形態に係る物品読取装置１によれば、記憶手段７１は、登録物品毎に複数の特徴量Ｆｂ（第２の特徴量）を記憶する。そして、報知手段５４は、登録物品毎の特徴量Ｆｂの中に、特徴量Ｆａ（第１の特徴量）との類似度Ｃが、第１の閾値Ｃ１以上、または第２の閾値Ｃ２以下となる特徴量Ｆｂが存在することを条件として報知を行う。したがって、指定手段５０が学習対象物品を指定した際に、認識性能が低下する可能性があることを、簡単な演算で確実に判定することができる。

【0095】

さらに、実施形態に係る物品読取装置１によれば、記憶手段７１は、登録物品毎に複数の特徴量Ｆｂ（第２の特徴量）を記憶する。そして、報知手段５４は、登録物品毎の特徴量Ｆｂの中に、特徴量Ｆａ（第１の特徴量）との類似度Ｃが、第１の閾値Ｃ１以上となる特徴量Ｆｂを有する画像Ｉｏが枚数Ｋ１（所定数）以上あることを条件として報知を行う。また、報知手段５４は、登録物品毎の特徴量Ｆｂの中に、特徴量Ｆａ（第１の特徴量）との類似度Ｃが、第２の閾値Ｃ２以下となる特徴量Ｆｂを有する新規画像Ｉｃ（画像）が枚数Ｋ３（所定数）以上存在することを条件として報知を行う。したがって、指定手段５０が学習対象物品を指定した際に、認識性能が低下する可能性があることを、簡単な演算で、より一層確実に判定することができる。

【0096】

そして、実施形態に係る物品読取装置１によれば、抽出手段５３は、学習対象物品を撮像した複数の画像Ｉｏの各々から特徴量Ｆａ（第１の特徴量）を抽出する。そして、算出手段７２は、抽出手段５３が抽出した特徴量Ｆａ間の類似度Ｃを算出する。報知手段５４は、特徴量Ｆａと物品Ｇを除く登録物品の特徴量Ｆｂとの類似度Ｃが第１の閾値Ｃ１以上、または特徴量Ｆａと物品Ｇを含む登録物品の特徴量Ｆｂとの類似度Ｃが第１の閾値Ｃ１よりも低い第２の閾値Ｃ２以下であって、なおかつ特徴量Ｆａ間の類似度Ｃが第３の閾値Ｃ３以上となる特徴量Ｆａを有する画像Ｉｏが枚数Ｋ２（所定数）以上存在することを条件として報知を行う。したがって、認識性能が低下する可能性があること、または認識性能が改善しない可能性があることを確実に判定することができる。

【0097】

また、実施形態に係る物品読取装置１によれば、指定手段５０は、ＰＬＵファイルＦ１（記憶手段７１）が記憶していないカテゴリーの物品Ｇを、新たなカテゴリーの学習対象物品として指定する。また、指定手段５０は、記憶手段７１が記憶している既存カテゴリーに、当該既存カテゴリーに属する物品Ｇを学習対象物品として指定する。したがって、読み取りを行う物品Ｇの追加や変更に容易に対応することができる。

【0098】

以上、本発明の実施形態を説明したが、この実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。この新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これらの実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

【0099】

例えば、実施形態では、物品読取装置１は、ＰＬＵファイルＦ１（記憶手段７１）に画像Ｉｎｍと特徴量Ｆｂをともに登録したが、登録するのは、画像Ｉｎｍと特徴量Ｆｂのいずれか一方であってもよい。すなわち、ＰＬＵファイルＦ１に、特徴量Ｆｂのみを登録しておいてのよいし、ＰＬＵファイルＦ１に、画像Ｉｎｍのみを登録しておき、必要に応じて特徴量Ｆｂを算出してもよい。ただし、物品読取装置１に対して、新規カテゴリーの追加登録が見込まれる場合には、登録された各カテゴリーの認識性能を改善するために、今までにない新たな特徴量Ｆｂを使用する必要性が生じる場合がある。新たな特徴量Ｆｂを使用する場合には、既に登録された物品Ｇの画像から、当該新たな特徴量Ｆｂを算出する必要がある。したがって、記憶手段７１には、少なくとも物品Ｇの画像Ｉｎｍを登録しておくのが望ましい。

【0100】

また、実施形態では、物品読取装置１は、第１の特徴量Ｆａおよび第２の特徴量Ｆｂとして、それぞれ１種類の特徴量を用いたが、使用する特徴量の種類は１種類に限定されるものではない。すなわち、複数種類の特徴量を用いて、それらの特徴量の値を組み合わせて、物品Ｇを認識するようにしてもよい。

【0101】

また、実施形態では、図５と図７のフローチャートを独立して説明したが、これら２つのフローチャートは、１つに組み合わせて使用してもよい。例えば、指定手段５０の指定に応じて、新規カテゴリーへの追加登録と既存カテゴリーへの追加登録とを切り替える構成としてもよい。

【符号の説明】

【0102】

１ 物品読取装置
１０ ＰＯＳ端末
５０ 指定手段
５１ 撮像手段
５２ 検知手段
５３ 抽出手段
５４ 報知手段
６１ ＣＰＵ
７１ 記憶手段
７２ 算出手段
７３ 認識手段
７４ 判定手段
７５ 学習手段
１００ 読取ユニット
１１０ 表示・操作ユニット
１６１ ＣＰＵ
Ｆ１ ＰＬＵファイル
Ｆａ 特徴量（第１特徴量）
Ｆｂ、Ｆｂｎｍ 特徴量（第２特徴量）
Ｆｃｎ 平均特徴量
Ｃ 類似度
Ｃ１ 第１の閾値
Ｃ２ 第２の閾値
Ｃ３ 第３の閾値

【先行技術文献】

【特許文献】

【0103】

【特許文献1】特開２０１４−３２５３９号公報

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】