特許 6412911 情報処理装置及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6412911

(24)【登録日】2018年10月5日

(45)【発行日】2018年10月24日

(54)【発明の名称】情報処理装置及びプログラム

(51)【国際特許分類】

   G07G 1/00 20060101AFI20181015BHJP

   G07G 1/12 20060101ALI20181015BHJP

   G06T 7/00 20170101ALI20181015BHJP

【ＦＩ】

   G07G1/00 311D

   G07G1/00 311Z

   G07G1/12 311Z

   G06T7/00 300F

【請求項の数】5

【全頁数】16

(21)【出願番号】特願2016-236067(P2016-236067)

(22)【出願日】2016年12月5日

(62)【分割の表示】特願2014-229102(P2014-229102)の分割

【原出願日】2012年3月30日

(65)【公開番号】特開2017-84377(P2017-84377A)

(43)【公開日】2017年5月18日

【審査請求日】2016年12月6日

(73)【特許権者】

【識別番号】000003562

【氏名又は名称】東芝テック株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】特許業務法人酒井国際特許事務所

(72)【発明者】

【氏名】五反田 剛

【審査官】 小島 哲次

(56)【参考文献】

【文献】 特開２０１０−１９８１３７（ＪＰ，Ａ）

【文献】 特開２０１２−０４３３７４（ＪＰ，Ａ）

【文献】 特開２０１２−０５３７０８（ＪＰ，Ａ）

【文献】 特開２０１２−０５３７８３（ＪＰ，Ａ）

【文献】 特開２０１１−１６５１３９（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０７Ｇ １／００−１／１２

Ｇ０６Ｔ ７／００

(57)【特許請求の範囲】

【請求項1】

商品の品種を示す商品コードと、商品に付されたシンボルを含むよう前記商品コードの品種に属する商品の個体毎に撮像された基準画像と、当該基準画像で撮像された個体に固有の特性情報とを関連付けて記憶する第１記憶手段と、
識別対象の商品を撮像した撮像画像の特徴量と、前記第１記憶手段に記憶された各商品の前記基準画像に含まれる前記シンボルが存在する領域以外の他の領域の特徴量とを比較し、両特徴量の類似度に基づいて前記識別対象の商品の商品コードを識別する品種識別手段と、
前記品種識別手段で商品コードが識別された商品の撮像画像から当該商品に付された前記シンボルを検出する検出手段と、
前記検出手段で前記シンボルが検出された場合に、前記品種識別手段で識別された商品コードに関連付けて記憶されている前記基準画像の各々に含まれる前記シンボルが存在する領域の特徴量と、前記撮像画像の特徴量とを比較し、両特徴量の類似度に基づいて前記識別対象の商品に対応する個体の基準画像を識別する個体識別手段と、
前記個体識別手段で識別された基準画像に関連付けて記憶されている前記特性情報を出力する出力手段と、
を備える情報処理装置。

【請求項2】

前記商品コード毎に、前記特性情報の有無を示すフラグ情報を関連付けて記憶する第２記憶手段を更に備え、
前記品種識別手段は、前記第１記憶手段に記憶された各商品の商品コードのうち、前記特性情報の有を示すフラグ情報が関連付けられた商品コードについては、当該商品コードに関連付けて記憶された前記基準画像の前記他の領域の特徴量を用いて比較を行い、前記特性情報の無を示すフラグ情報が関連付けられた商品コードについては、当該商品コードに関連付けて記憶された前記基準画像の任意の領域の特徴量を用いて比較を行い、
前記出力手段は、前記品種識別手段で前記特性情報の無を示すフラグ情報が関連付けられた商品コードが前記識別対象の商品の商品コードと識別された場合に、当該商品コードの品種に関する情報を出力する請求項１に記載の情報処理装置。

【請求項3】

前記検出手段で前記シンボルが検出されない場合に、前記識別対象の商品の撮像に係る撮像条件の変更を指示する撮像条件指示手段を更に備える請求項１又は２に記載の情報処理装置。

【請求項4】

前記基準画像は、前記シンボルを中心とする同一の撮像条件の下で撮像された画像である請求項１〜３の何れか一項に記載の情報処理装置。

【請求項5】

情報処理装置のコンピュータを、
商品の品種を示す商品コードと、商品に付されたシンボルを含むよう前記商品コードの品種に属する商品の個体毎に撮像された基準画像と、当該基準画像で撮像された個体に固有の特性情報とを関連付けて記憶する第１記憶手段と、
識別対象の商品を撮像した撮像画像の特徴量と、前記第１記憶手段に記憶された各商品の前記基準画像に含まれる前記シンボルが存在する領域以外の他の領域の特徴量とを比較し、両特徴量の類似度に基づいて前記識別対象の商品の商品コードを識別する品種識別手段と、
前記品種識別手段で商品コードが識別された商品の撮像画像から当該商品に付された前記シンボルを検出する検出手段と、
前記検出手段で前記シンボルが検出された場合に、前記品種識別手段で識別された商品コードに関連付けて記憶されている前記基準画像の各々に含まれる前記シンボルが存在する領域の特徴量と、前記撮像画像の特徴量とを比較し、両特徴量の類似度に基づいて前記識別対象の商品に対応する個体の基準画像を識別する個体識別手段と、
前記個体識別手段で識別された基準画像に関連付けて記憶されている前記特性情報を出力する出力手段と、
して機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施形態は、情報処理装置及びプログラムに関する。

【背景技術】

【0002】

従来、農産物や加工食品等の商品について、当該商品の生産から小売までのトレーサビリティを消費者が閲覧できるようにしたトレーサビリティシステムが存在している。係るトレーサビリティシステムでは、商品の産地、生産・製造方法等を対応する商品の識別情報と関連付けて記録しておき、商品に添付されるバーコードや無線ＩＣタグから識別情報を読み取ることで、その商品の産地や生産・製造方法等を特定することが可能となっている。

【発明の概要】

【発明が解決しようとする課題】

【0003】

しかしながら、従来の技術では、産地等の付加的な情報を得るためにバーコードや無線ＩＣタグを各商品に直接付加する必要があるため、商品が増えるほど、それらの取り付けに要する作業量やコストが増加するという問題がある。

【課題を解決するための手段】

【0004】

実施の形態の情報処理装置は、第１記憶手段と、品種識別手段と、検出手段と、個体識別手段と、出力手段とを備える。第１記憶手段は、商品の品種を示す商品コードと、商品に付されたシンボルを含むよう前記商品コードの品種に属する商品の個体毎に撮像された基準画像と、当該基準画像で撮像された個体に固有の特性情報とを関連付けて記憶する。品種識別手段は、識別対象の商品を撮像した撮像画像の特徴量と、前記第１記憶手段に記憶された各商品の前記基準画像に含まれる前記シンボルが存在する領域以外の他の領域の特徴量とを比較し、両特徴量の類似度に基づいて前記識別対象の商品の商品コードを識別する。検出手段は、前記品種識別手段で商品コードが識別された商品の撮像画像から当該商品に付された前記シンボルを検出する。個体識別手段は、前記検出手段で前記シンボルが検出された場合に、前記品種識別手段で識別された商品コードに関連付けて記憶されている前記基準画像の各々に含まれる前記シンボルが存在する領域の特徴量と、前記撮像画像の特徴量とを比較し、両特徴量の類似度に基づいて前記識別対象の商品に対応する個体の基準画像を識別する。出力手段は、前記個体識別手段で識別された基準画像に関連付けて記憶されている前記特性情報を出力する。

【図面の簡単な説明】

【0005】

【図1】図１は、実施形態に係る情報処理装置及びプログラムを適用したチェックアウトシステムの外観構成を示す斜視図である。

【図2】図２は、ＰＯＳ端末及び商品読取装置のハードウェア構成を示すブロック図である。

【図3】図３は、ＰＬＵファイルのデータ構成の一例を模式的に示す図である。

【図4】図４は、商品特性ファイルのデータ構成の一例を模式的に示す図である。

【図5】図５は、ＰＯＳ端末及び商品読取装置の機能構成を示すブロック図である。

【図6】図６は、商品読取装置の表示デバイスに表示された撮像条件指示画面の一例を示す図である。

【図7】図７は、商品読取装置の表示デバイスに表示された商品情報画面の一例を示す図である。

【図8】図８は、商品読取装置における処理動作の手順を示すフローチャートである。

【図9】図９は、ＰＯＳ端末における処理動作の流れを示すフローチャートである。

【発明を実施するための形態】

【0006】

以下では、チェックアウトシステムを例に本実施形態に係る情報処理装置及びプログラムについて、図面を参照して説明する。店舗システムは、一取引に係る商品の登録、精算を行うＰＯＳ端末を備えるチェックアウトシステム（ＰＯＳシステム）等である。本実施形態は、スーパーマーケット等の店舗に導入されたチェックアウトシステムへの適用例である。

【0007】

図１は、チェックアウトシステム１の外観構成を示す斜視図である。図１に示すように、チェックアウトシステム１は、一取引に係る商品の登録、精算を行うＰＯＳ端末１１を備える。ＰＯＳ端末１１は、チェックアウト台５１上のドロワ２１上面に載置されている。ドロワ２１は、ＰＯＳ端末１１によって開放動作の制御を受ける。

【0008】

ＰＯＳ端末１１の上面には、オペレータ（店員）によって押下操作されるキーボード２２が配置されている。キーボード２２を操作するオペレータから見てキーボード２２よりも奥側には、オペレータに向けて情報を表示する表示デバイス２３が設けられている。表示デバイス２３は、その表示面２３ａに情報を表示する。表示面２３ａには、タッチパネル２６が積層されている。表示デバイス２３よりもさらに奥側には、顧客用表示デバイス２４が回転自在に立設されている。顧客用表示デバイス２４は、その表示面２４ａに情報を表示する。

【0009】

なお、図１に示す顧客用表示デバイス２４は、表示面２４ａを図１中手前側に向けているが、表示面２４ａが図１中奥側に向くように顧客用表示デバイス２４を回転させることによって、顧客用表示デバイス２４は顧客に向けて情報を表示する。

【0010】

ＰＯＳ端末１１が載置されているチェックアウト台５１とＬ字を形成するようにして、横長テーブル状のカウンタ台１５１が配置されている。カウンタ台１５１の上面には、荷受け面１５２が形成されている。荷受け面１５２には、商品Ｇを収納する買物カゴ１５３が載置される。買物カゴ１５３は、顧客によって持ち込まれる第１の買物カゴ１５３ａと、第１の買物カゴ１５３ａから商品読取装置１０１を挟んだ位置に載置される第２の買物カゴ１５３ｂとに分けて考えることができる。

【0011】

カウンタ台１５１の荷受け面１５２には、ＰＯＳ端末１１とデータ送受信可能に接続された商品読取装置１０１が設置されている。商品読取装置１０１は、薄型矩形形状のハウジング１０２を備える。

【0012】

ハウジング１０２の正面には読取窓１０３が配置されている。ハウジング１０２の上部には、表示・操作部１０４が取り付けられている。表示・操作部１０４には、タッチパネル１０５が表面に積層された表示デバイス１０６が設けられている。表示デバイス１０６の右隣にはキーボード１０７が配設されている。キーボード１０７の右隣には、図示しないカードリーダのカード読取溝１０８が設けられている。オペレータから見て表示・操作部１０４の裏面左奥側には、顧客に情報を提供するための顧客用表示デバイス１０９が設置されている。

【0013】

このような商品読取装置１０１は、商品読取部１１０（図２参照）を備えている。商品読取部１１０は、読取窓１０３の奥側に撮像部１６４（図２参照）を配置している。

【0014】

顧客によって持ち込まれた第１の買物カゴ１５３ａには、一取引に係る商品Ｇが収納されている。第１の買物カゴ１５３ａ内の商品Ｇは、商品読取装置１０１を操作するオペレータにより第２の買物カゴ１５３ｂへと移動される。この移動過程で、商品Ｇが商品読取装置１０１の読取窓１０３に向けられる。この際、読取窓１０３内に配置された撮像部１６４（図２参照）は商品Ｇを撮像する。

【0015】

図２は、ＰＯＳ端末１１及び商品読取装置１０１のハードウェア構成を示すブロック図である。ＰＯＳ端末１１は、情報処理を実行する情報処理部としてのマイクロコンピュータ６０を備える。マイクロコンピュータ６０は、各種演算処理を実行し各部を制御するＣＰＵ（Central Processing Unit）６１に、ＲＯＭ（Read Only Memory）６２とＲＡＭ（Random Access Memory）６３とがバス接続されて構成されている。

【0016】

ＰＯＳ端末１１のＣＰＵ６１には、前述したドロワ２１、キーボード２２、表示デバイス２３、タッチパネル２６、顧客用表示デバイス２４がいずれも各種の入出力回路（いずれも図示せず）を介して接続されている。

【0017】

キーボード２２は、「１」、「２」、「３」…等の数字や「×」という乗算の演算子が上面に表示されているテンキー２２ｄ、仮締めキー２２ｅ、及び締めキー２２ｆを含む。

【0018】

ＰＯＳ端末１１のＣＰＵ６１には、ＨＤＤ６４（Hard Disk Drive）が接続されている。ＨＤＤ６４には、プログラムや各種ファイルが記憶されている。ＨＤＤ６４に記憶されているプログラムや各種ファイルは、ＰＯＳ端末１１の起動時に、その全部又は一部がＲＡＭ６３にコピーされてＣＰＵ６１により順次実行される。

【0019】

ＨＤＤ６４が記憶するプログラムとして、後述する商品販売データ処理用のプログラムＰＲ等が挙げられる。また、ＨＤＤ６４が記憶するファイルとして、ＰＬＵファイルＦ１及び商品特性ファイルＦ２等が挙げられる。なお、ＰＬＵファイルＦ１及び商品特性ファイルＦ２は、後述する接続インターフェース６５を介し、商品読取装置１０１が読み出し（参照）可能に構成されているものとする。

【0020】

ＰＬＵファイルＦ１は、商品Ｇの売上登録にかかる情報と、その商品Ｇの画像との関連付けが設定されたデータファイルである。

【0021】

図３は、ＰＬＵファイルＦ１のデータ構成の一例を模式的に示す図である。同図に示すように、ＰＬＵファイルＦ１には、商品Ｇ毎に、ユニークに割り当てられた商品コードと、商品Ｇが属する商品分類、商品名、単価等の商品に関する商品情報と、商品Ｇを撮像した商品画像（以下、第１商品画像という）と、商品Ｇに後述する商品特性情報が付帯されているか否かを示したフラグ情報と、が関連付けて登録されている。なお、図３では、フラグ情報の値“１”が、商品特性情報が付帯されていることを示し、フラグ情報の値“０”が、商品特性情報が付帯されていないことを示しめている。

【0022】

また、商品特性ファイルＦ２は、商品Ｇと商品特性情報との関連付けが設定されたデータファイルである。

【0023】

図４は、商品特性ファイルＦ２のデータ構成の一例を模式的に示す図である。同図に示すように、商品特性ファイルＦ２には、商品特性情報の付帯対象となった商品Ｇ毎に、その商品Ｇの商品コードと、その商品Ｇの商品特性情報と、各商品特性情報を識別する商品特性コードと、商品Ｇを撮像した商品画像（以下、第２商品画像という）と、が関連付けて登録されている。

【0024】

商品特性ファイルＦ２には、ＰＬＵファイルＦ１に登録された商品Ｇのうち、商品特性情報の付帯対象となった各商品Ｇの商品コードが登録される。商品特性情報には、例えば、産地、等級、糖度、生産者、収穫日等の、商品Ｇの生産履歴に係るトレーサビリティ情報が含まれる。また、商品特性情報毎に、固有の商品特性コードが割り当てられている。なお、本実施形態では、商品特性情報の付帯対象となった商品Ｇの表面に、ロゴマーク等のシール、焼印等の所定のシンボル（以下、特性シンボルという）が予め付加されているものとする。

【0025】

第２商品画像は、所定の撮像条件で撮像された商品Ｇの商品画像が登録される。本実施形態では、図４に示すように、商品Ｇに付加された特性シンボルＣＳを中心に撮像することを撮像条件としており、この特性シンボルＣＳを中心に撮像された商品Ｇの一部を表す商品画像が第２商品画像として登録される。

【0026】

ここで、ＰＬＵファイルＦ１の第１商品画像が、商品Ｇの品種（例えば、りんご（ふじ）、りんご（王林）等）の識別（認識）に用いられるのに対し、商品特性ファイルＦ２の第２商品画像は、同一品種の商品Ｇの各個体を識別（認識）するのに用いられる。そのため、第１商品画像は、各品種における任意の商品Ｇを撮像した画像となっており、第２商品画像は、特性シンボルを中心とする同一の撮像条件の下、各商品Ｇを個別に撮像した画像となっている。本実施形態では、これら二つの商品画像を段階的に用いて商品Ｇの認識を行うことで、商品Ｇの品種から当該商品Ｇの個体を絞り込むことが可能となっている。

【0027】

なお、ＰＬＵファイルＦ１及び商品特性ファイルＦ２のデータ構成は、図３及び図４の例に限らないものとする。例えば、図３及び図４では、第１商品画像、第２商品画像を画像として格納する形態としたが、これに代わり、第１商品画像、第２商品画像の各々から読み取った特徴量（色合いや表面の凹凸状況等）を格納する形態としてもよい。

【0028】

図２に戻り、ＰＯＳ端末１１のＣＰＵ６１には、ストアコンピュータＳＣとデータ通信を実行するための通信インターフェース２５が入出力回路（図示せず）を介して接続されている。ストアコンピュータＳＣは、店舗のバックヤード等に設置されている。ストアコンピュータＳＣのＨＤＤ（図示せず）には、ＰＯＳ端末１１に配信されるＰＬＵファイルＦ１、商品特性ファイルＦ２が格納されている。

【0029】

さらに、ＰＯＳ端末１１のＣＰＵ６１には、商品読取装置１０１との間でデータ送受信を可能にする接続インターフェース６５が接続されている。接続インターフェース６５には、商品読取装置１０１が接続されている。また、ＰＯＳ端末１１のＣＰＵ６１には、レシート等に印字を行うプリンタ６６が接続されている。ＰＯＳ端末１１は、ＣＰＵ６１の制御の下、一取引の取引内容をレシートに印字する。

【0030】

商品読取装置１０１も、マイクロコンピュータ１６０を備える。マイクロコンピュータ１６０は、ＣＰＵ１６１にＲＯＭ１６２とＲＡＭ１６３とがバス接続されて構成されている。ＲＯＭ１６２には、ＣＰＵ１６１によって実行されるプログラムが記憶されている。ＣＰＵ１６１には、撮像部１６４、音声出力部１６５が各種の入出力回路（いずれも図示せず）を介して接続されている。撮像部１６４、音声出力部１６５は、ＣＰＵ１６１によって動作が制御される。表示・操作部１０４は接続インターフェース１７６を介してＰＯＳ端末１１に接続されている。表示・操作部１０４はＰＯＳ端末１１のＣＰＵ６１によって動作が制御される。

【0031】

撮像部１６４は、カラーＣＣＤイメージセンサやカラーＣＭＯＳイメージセンサ等であり、ＣＰＵ１６１の制御の下で読取窓１０３からの撮像を行う撮像手段である。例えば撮像部１６４では３０ｆｐｓの動画像の撮像を行う。撮像部１６４が所定のフレームレートで順次撮像したフレーム画像（撮像画像）はＲＡＭ１６３に保存される。

【0032】

音声出力部１６５は、予め設定された警告音等を発生するための音声回路とスピーカ等である。音声出力部１６５は、ＣＰＵ１６１の制御の下で警告音等の音声による報知を行う。

【0033】

さらに、ＣＰＵ１６１には、ＰＯＳ端末１１の接続インターフェース６５に接続して、ＰＯＳ端末１１との間でデータ送受信を可能にする接続インターフェース１７５が接続されている。ＣＰＵ１６１の制御の下、商品読取装置１０１の撮像部１６４によって撮像された撮像画像から認識された商品Ｇの商品情報や商品特性情報は、接続インターフェース１７５を介して出力され、接続インターフェース６５を介してＰＯＳ端末１１に入力される。

【0034】

次に、ＣＰＵ１６１、ＣＰＵ６１がプログラムを順次実行することで実現されるＣＰＵ１６１、ＣＰＵ６１の機能部について、図５を参照して説明する。

【0035】

図５は、ＰＯＳ端末１１及び商品読取装置１０１の機能構成を示すブロック図である。図５に示すように、商品読取装置１０１のＣＰＵ１６１は、プログラムを順次実行することにより、画像取込部１６１１、品種識別部１６１２、個体識別部１６１３、商品情報表示部１６１４及び情報送信部１６１５としての機能を備える。

【0036】

画像取込部１６１１は、撮像部１６４に撮像オン信号を出力して撮像部１６４に撮像動作を開始させる。画像取込部１６１１は、撮像動作開始後に撮像部１６４が撮像してＲＡＭ１６３に保存された撮像画像を順次取り込む。画像取込部１６１１による撮像画像の取り込みは、ＲＡＭ１６３に保存された順に行われる。

【0037】

品種識別部１６１２は、画像取込部１６１１により取り込まれた撮像画像から商品Ｇの品種を識別（認識）し、その品種に対応する商品情報（商品コード）を特定する。

【0038】

具体的に、品種識別部１６１２は、撮像画像に含まれる商品Ｇの全部または一部の輪郭線を、公知のパターンマッチング技術等を用いて検出する。次いで、直近のフレーム画像から抽出された輪郭線と、今回のフレーム画像から抽出された輪郭線とを比較し、変更があった部分、すなわち、読取窓１０３に向けられた商品Ｇの写り込みを検出する。

【0039】

なお、商品Ｇを検出する別の方法としては、撮像画像から肌色領域が検出されたか否かを判定し、肌色領域が検出された場合、つまり店員の手の写り込みが検出された場合には、店員の手が把持していると想定される商品Ｇの輪郭線の検出を行う。この時、手の形状を示す輪郭と、それ以外の輪郭とが検出された場合には、店員の手が商品Ｇを把持していることから、商品Ｇの写り込みが検出される。

【0040】

また、品種識別部１６１２は、撮像画像中に含まれた商品Ｇの表面の状態（表面の色合い、模様（パターン）、凸凹状況等）を特徴量として読み取り、ＰＬＵファイルＦ１に登録された各第１商品画像の特徴量と比較することにより、商品Ｇの品種を識別する。ここで、品種識別部１６１２は、両特徴量を比較することで、ＰＬＵファイルＦ１に登録された各第１商品画像と、撮像画像中に含まれた商品Ｇとの類似度を算出し、その類似度が最大又は所定の閾値を上回った第１商品画像を、商品Ｇの品種を表す商品画像として識別する。そして、品種識別部１６１２は、識別した第１商品画像に係る商品コードを、商品Ｇの商品情報として特定する。

【0041】

なお、上記のように画像中に含まれる物体を識別（認識）することは、一般物体認識（generic object recognition）と呼ばれている。このような一般物体認識については、下記の文献において各種認識技術が解説されている。
柳井 啓司，“一般物体認識の現状と今後”，情報処理学会論文誌，Ｖｏｌ．４８，Ｎｏ．ＳＩＧ１６ [平成２２年８月１０日検索]，インターネット<URL: http://mm.cs.uec.ac.jp/IPSJ-TCVIM-Yanai.pdf >

【0042】

また、画像をオブジェクトごとに領域分割することによって一般物体認識を行う技術が、下記の文献において解説されている。
Jamie Shottonら，“Semantic Texton Forests for Image Categorization and Segmentation”，[平成２２年８月１０日検索]，インターネット<URL: http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.145.3036&rep=rep1&type=pdf >

【0043】

個体識別部１６１３は、品種識別部１６１２で品種が識別された商品の個体を識別し、当該個体に固有の商品特性情報（商品特性コード）を特定する。

【0044】

具体的に、個体識別部１６１３は、品種識別部１６１２で特定された商品コードに関連付けられたＰＬＵファイルＦ１のフラグ情報に基づき、その商品に商品特定情報が付帯されているか否かを判定する。ここで、フラグ情報の値が、商品特定情報が付帯されていることを示す場合、個体識別部１６１３は、公知のパターンマッチング技術等を用いることで、撮像画像に含まれた商品Ｇの画像から特性シンボルを検出する。

【0045】

撮像画像中から特性シンボルを検出した場合、個体識別部１６１３は、第２商品画像の撮像条件と同様の撮像条件で商品Ｇが撮像されていると判定し、この特性シンボルを中心とする商品Ｇの撮像画像から、上記品種識別部１６１２と同様の手法により、当該商品Ｇ及び特性シンボルの特徴量（表面の色合い、模様、凸凹状況等）を読み取る。個体識別部１６１３は、撮像画像から読み取った特徴量と、品種識別部１６１２で特定された商品コードに関連付けられた商品特性ファイルＦ２の各第２商品画像の特徴量とを比較し、当該特徴量の類似度が最大又は所定の閾値以上となる第２商品画像を、その商品Ｇの個体を表す商品画像として識別する。そして、個体識別部１６１３は、識別した第２商品画像に係る商品特性コードを、商品Ｇの個体に対応する商品特性情報として特定する。

【0046】

なお、特性シンボルが検出されない場合、個体識別部１６１３は、第２商品画像の撮像条件と同様の撮像条件で商品Ｇが撮像されていないと判定し、特性シンボルを撮像部１６４に向けることを促す画面（撮像条件指示画面）を、表示デバイス１０６に表示（提示）することで、商品Ｇの撮像条件の変更をオペレータに指示する。

【0047】

ここで、図６は、個体識別部１６１３の制御により、表示デバイス１０６に表示された撮像条件指示画面の一例を示す図である。同図では、画面内の領域Ａ１１において、特性シンボルを撮像部１６４に向けることを促すメッセージ「特性シンボルをカメラに向けて下さい」を表示した例を示している。また、領域Ａ１２は、撮像部１６４で撮像中の撮像画像を表示するための領域である。

【0048】

上記撮像条件指示画面の表示により、商品読取装置１０１のオペレータは、領域Ａ１１に表示されたメッセージに応じて、商品Ｇの撮像方向（撮像条件）を領域Ａ１２に表示される撮像画像を確認しながら変更し、この商品Ｇに付加された特性シンボルを撮像部１６４に向けることになる。そして、個体識別部１６１３は、撮像条件の変更により、画像取込部１６１１が取り込む撮像画像から特性シンボルを検出すると、この撮像画像から商品Ｇの商品特性を特定するための処理を開始する。

【0049】

このように、本実施形態の個体識別部１６１３では、商品Ｇに付加された特性シンボルを基準に、商品Ｇの撮像条件が第２商品画像が撮像された際の撮像条件に該当するか否かを判定し、この特性シンボルが検出されない場合に、第２商品画像が撮像された際の撮像条件に近づくよう、商品Ｇの撮像条件の変更を指示することで、商品Ｇの個体の識別率を向上させることができる。なお、本実施形態では、撮像画像から特性シンボルを検出した場合に商品Ｇの個体を識別することとしたが、撮像画像内での特性シンボルの検出位置、つまり撮像画像の略中央に特性シンボルが存在するかを含めて、撮像条件に該当するか否かを判定する形態としてもよい。

【0050】

図５に戻り、商品情報表示部１６１４は、品種識別部１６１２及び個体識別部１６１３で特定された商品コード及び商品特性コードのそれぞれに対応する商品情報及び商品特性情報を、表示デバイス１０６や顧客用表示デバイス１０９に表示出力する。

【0051】

具体的に、商品情報表示部１６１４は、品種識別部１６１２で特定された商品Ｇの商品コードに対応する商品情報等をＰＬＵファイルＦ１から読み出し、表示デバイス１０６や顧客用表示デバイス１０９に表示する。また、品種識別部１６１２は、個体識別部１６１３で商品Ｇの商品特性コードが特定された場合、この商品特性コードに対応する商品詳細情報等を商品特性ファイルＦ２から読み出し、対応する商品の商品情報とともに表示デバイス１０６や顧客用表示デバイス１０９に表示する。

【0052】

ここで、図７は、商品情報表示部１６１４の制御により、表示デバイス１０６（顧客用表示デバイス１０９）に表示された、商品情報画面の一例を示す図である。同図において、画面内の領域Ａ２１には、品種識別部１６１２で認識された商品の商品画像（第１商品画像）が表示される。また、画面内の領域Ａ２２には、品種識別部１６１２で特定された商品Ｇの商品コード、個体識別部１６１３で特定された商品Ｇの商品特性コードのそれぞれに対応する商品情報及び商品特性情報が表示される。

【0053】

このように、商品Ｇの商品情報、商品特性情報を、表示デバイス１０６及び顧客用表示デバイス１０９に表示することで、読み取り対象となった商品Ｇを、オペレータ及び顧客の両者に確認させることができる。なお、図７では、領域Ａ２１に第１商品画像を表示する形態としたが、これに限らず第２商品画像を表示する形態としてもよいし、商品画像の表示を行わない形態としてもよい。

【0054】

図５に戻り、情報送信部１６１５は、品種識別部１６１２が特定した商品Ｇの商品コード、個体識別部１６１３が特定した商品Ｇの商品特性コードをＰＯＳ端末１１に通知するものである。

【0055】

また、図５に示すように、ＰＯＳ端末１１のＣＰＵ６１は、プログラムを順次実行することにより、情報受信部６１１、商品情報取得部６１２、商品特性情報取得部６１３、売上登録部６１４、会計処理部６１５としての機能を備える。

【0056】

情報受信部６１１は、商品読取装置１０１の情報送信部１６１５から送信される情報、即ち、商品コード、商品特性コード等の情報を受信するものである。

【0057】

商品情報取得部６１２は、情報受信部６１１が受信した商品コードに基づき、当該商品コードに対応する商品の商品情報を、ＰＬＵファイルＦ１から検索して取得する。

【0058】

商品特性情報取得部６１３は、情報受信部６１１が受信した商品特性コードに基づき、当該商品特性コードに対応する商品の商品特性情報を、商品特性ファイルＦ２から検索して取得する。

【0059】

売上登録部６１４は、商品情報取得部６１２が取得した商品情報に含まれる単価、情報受信部６１１が受信した情報に含まれる販売個数等から商品の販売価格を算出する。また、売上登録部６１４は、商品読取装置１０１で読み取られた商品Ｇの商品情報、商品特性情報等を、図示しない売上マスタファイル等に記録することで売上登録を行う。

【0060】

会計処理部６１５は、売上登録部６１４により登録された一取引に係る商品の会計処理を行う。また、会計処理部６１５は、売上登録部６１４により登録された一取引に係る各商品の商品情報を、商品特性情報取得部６１３が取得した対応する商品の特性情報と関連付けて、表示デバイス２３や顧客用表示デバイス２４に表示出力したり、プリンタ６６を用いてレシート等に印字出力したりする。

【0061】

次に、上記した構成を有するチェックアウトシステム１の動作について説明する。まず、商品読取装置１０１の処理動作について説明する。図８は、商品読取装置１０１における処理動作の手順を示すフローチャートである。

【0062】

図８に示すように、ＰＯＳ端末１１による商品登録の開始等に応じて処理が開始されると、画像取込部１６１１は、撮像部１６４に撮像オン信号を出力して撮像部１６４による撮像を開始する（ステップＳ１１）。続いて、画像取込部１６１１は、撮像部１６４が撮像してＲＡＭ１６３に保存されたフレーム画像（撮像画像）を取り込む（ステップＳ１２）。

【0063】

次いで、品種識別部１６１２は、画像取込部１６１１が取り込んだ撮像画像中の商品Ｇの画像の特徴量と、ＰＬＵファイルＦ１に登録された各第１商品画像の特徴量とを比較することで、商品Ｇの品種の商品コードを特定する（ステップＳ１３）。なお、商品Ｇの品種の識別候補が複数存在する場合には、それら識別候補の商品画像や商品情報を表示デバイス１０６に表示（提示）し、該当する商品（品種）の選択を、タッチパネル１０５を介してオペレータから受け付ける形態としてもよい。

【0064】

続いて、個体識別部１６１３は、ステップＳ１３で特定された商品Ｇの商品コードに関連付けられたフラグ情報の値に基づき、この商品Ｇの品種に商品特性情報が付帯されているか否かを判定する（ステップＳ１４）。ここで、フラグ情報の値が、商品特性情報が付帯されていないことを示す場合（ステップＳ１４；Ｎｏ）、個体識別部１６１３は、商品特性の特定は行わずに、ステップＳ１５に移行する。

【0065】

ステップＳ１５では、商品情報表示部１６１４が、ステップＳ１３で特定された商品の商品コードに対応する商品情報をＰＬＵファイルＦ１から読み出し、表示デバイス１０６や顧客用表示デバイス１０９に表示する（ステップＳ１５）。次いで、情報送信部１６１５は、ステップＳ１３で特定された商品の商品コード等をＰＯＳ端末１１に送信し（ステップＳ１６）、ステップＳ２２に移行する。

【0066】

また、ステップＳ１４において、フラグ情報の値が、商品特性情報が付帯されていることを示す場合（ステップＳ１４；Ｙｅｓ）、個体識別部１６１３は、画像取込部１６１１が取り込んだ撮像画像から特性シンボルの検出に係る処理を行い、当該特性シンボルを検出できたか否かを判定する（ステップＳ１７）。

【0067】

ここで、特性シンボルを検出できないと判定した場合（ステップＳ１７；Ｎｏ）、個体識別部１６１３は、第２商品画像の撮像条件と同様の撮像条件で商品Ｇが撮像されていないと判定し、特性シンボルを撮像部１６４に向けることを指示する撮像条件指示画面（図６参照）を表示デバイス１０６に表示する（ステップＳ１８）。そして、ステップＳ１７に再び戻り、撮像画像から特性シンボルが検出できるまで撮像条件指示画面の表示を継続する。

【0068】

また、ステップＳ１７において、撮像画像から特性シンボルを検出すると（ステップＳ１７；Ｙｅｓ）、個体識別部１６１３は、この特性シンボルを中心とした商品Ｇ及び特性シンボルの画像の特徴量と、ステップＳ１３で特定された商品コードに関連付けられた商品特性ファイルＦ２の各第２商品画像の特徴量とを比較することで、商品Ｇの個体を識別し、この個体に対応する商品特性コードを特定する（ステップＳ１９）。

【0069】

続いて、商品情報表示部１６１４は、ステップＳ１３で特定された商品Ｇの商品コード、ステップＳ１９で特定された商品Ｇの商品特性コードのそれぞれに対応する商品情報、商品特性情報を、ＰＬＵファイルＦ１及び商品特性ファイルＦ２から読み出し、図７に示したように、表示デバイス１０６や顧客用表示デバイス１０９に表示する（ステップＳ２０）。次いで、情報送信部１６１５は、ステップＳ１３で特定された商品Ｇの商品コード、ステップＳ１９で特定された商品Ｇの商品特性コード等をＰＯＳ端末１１に送信し（ステップＳ２１）、ステップＳ２２に移行する。

【0070】

ステップＳ２２において、ＣＰＵ１６１は、ＰＯＳ端末１１から商品登録の終了通知等による業務終了の有無を判定する（ステップＳ２２）。ここで、業務を継続する場合（ステップＳ２２；Ｎｏ）、ＣＰＵ１６１は、ステップＳ１２へ処理を戻して処理を継続させる。また、業務を終了する場合（ステップＳ２２；Ｙｅｓ）、画像取込部１６１１は、撮像部１６４に撮像オフ信号を出力することで、撮像部１６４による撮像を終了し（ステップＳ２３）、処理を終了する。

【0071】

次に、ＰＯＳ端末１１の処理動作について説明する。図９は、ＰＯＳ端末１１における処理動作の流れを示すフローチャートである。

【0072】

図９に示すように、ＰＯＳ端末１１では、情報受信部６１１が、商品読取装置１０１から商品コード、商品特性コード等の情報を受信する（ステップＳ３１）。商品情報取得部６１２は、ステップＳ３１で受信された情報に含まれる商品コードに基づき、当該商品コードに対応する商品情報をＰＬＵファイルＦ１から取得する（ステップＳ３２）。

【0073】

商品特性情報取得部６１３は、ステップＳ３１で受信された情報に商品特性コードが含まれるか否かを判定する（ステップＳ３３）。ここで、受信された情報に商品特性コードが含まれる場合（ステップＳ３３；Ｙｅｓ）、商品特性情報取得部６１３は、この商品特性コードに対応する商品特性情報を商品特性ファイルＦ２から取得し（ステップＳ３４）、ステップＳ３５に移行する。なお、受信された情報に商品特性コードが含まれない場合には（ステップＳ３３；Ｎｏ）、ステップＳ３５に直ちに移行する。

【0074】

その後、ＰＯＳ端末１１では、売上登録部６１４が、ステップＳ３２で取得された商品情報に基づいて商品の売上情報を売上マスタファイル等に登録する処理を実行する（ステップＳ３５）。なお、ステップＳ３１において、商品の販売個数を受信していた場合には、このステップＳ３５において、商品情報に含まれる単価と販売個数とを乗算することで、販売個数分の販売価格を算出する。

【0075】

続いて、ＰＯＳ端末１１では、ＣＰＵ６１が、キーボード２２の操作指示（締めキー２２ｆの押下操作等）による売上登録の終了等による業務終了の有無を判定する（ステップＳ３６）。ここで、業務を継続する場合（ステップＳ３６；Ｎｏ）、ＣＰＵ６１は、ステップＳ３１へ処理を戻して処理を継続させる。

【0076】

また、ステップＳ３６において、業務を終了する場合（ステップＳ３６；Ｙｅｓ）、会計処理部６１５が、一取引に係る各商品Ｇの会計処理を実行する（ステップＳ３７）。そして、会計処理部６１５は、これら各商品の商品情報を、商品特性情報と関連付けて、表示デバイス２３や顧客用表示デバイス２４に表示出力したり、プリンタ６６を用いてレシート等に印字出力したりした後（ステップＳ３８）、処理を終了する。

【0077】

以上のように、本実施形態のチェックアウトシステム１によれば、撮像部１６４で撮像された撮像画像から商品Ｇの個体を識別し、当該個体に付帯された商品特性情報を商品特性ファイルＦ２から特定して出力する。これにより、バーコードや無線ＩＣタグを用いずとも、商品Ｇそのものから、当該商品Ｇに固有の商品特性情報を得ることができるため、商品特性情報の取得を効率的に行うことができる。また、商品Ｇそのものを用いて個体を識別し、その個体の商品識別情報を特定することで、無線ＩＣタグ等を用いて商品識別情報を保持する場合に起こり得る、偽造やすり替え等の不正行為を防止することができるため、商品識別情報の信頼性を向上させることができる。

【0078】

以上、本発明の実施形態を説明したが、上記実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。上記実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更、追加等を行うことができる。また、上記実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

【0079】

例えば、上記実施形態では、第１商品画像と、第２商品画像とを異なる商品画像としたが、これに限らず、第２商品画像をＰＬＵファイルＦ１に登録することで、第１商品画像として用いる形態としてもよい。なお、この形態の場合、品種識別部１６１２は、第２商品画像の特性シンボルが存在する領域以外の他の領域から特徴量を読み取り、商品Ｇの特徴量との比較を行うものとする。具体的には、図４に例示した第２商品画像の場合、画像の中央部に特性シンボルＣＳが存在するため、この中央部以外の領域（例えば、画像の外縁部等）から特徴量を読み取る。

【0080】

また、第２商品画像を第１商品画像として用いる上記形態の場合、フラグ情報の値に応じて、特徴量の読み取りを行う領域を切り替える形態としてもよい。具体的に、フラグ情報の値が、商品特性情報が付帯されていることを示す場合には、特性シンボルＣＳの存在位置以外の領域から特徴量を読み取り、商品特性情報が付帯されていないことを示す場合には、画像中の任意の位置から特徴量を読み取る。

【0081】

また、上記実施形態では、商品Ｇの撮像条件を、第２商品画像の撮像時の撮像条件に近づけるため、特性シンボルを基準に撮像を行う形態を説明したが、これに限らず、例えば、果物や野菜のへたの部分等を基準に、第２商品画像及び商品Ｇを撮像することで、特性シンボルを用いずに両撮像条件を略同等とする形態としてもよい。

【0082】

また、上記実施形態では、商品読取装置１０１からＰＯＳ端末１１に商品コード、商品特性コードを送信する形態としたが、これに限らず、商品コード、商品特性コードの各々に対応する商品情報、商品特性情報をＰＯＳ端末１１に送信する形態としてもよい。

【0083】

また、上記実施形態では、ＰＯＳ端末１１がＰＬＵファイルＦ１及び商品特性ファイルＦ２を備える形態としたが、これに限らず、商品読取装置１０１がＰＬＵファイルＦ１及び商品特性ファイルＦ２を備える形態としてもよいし、ＰＯＳ端末１１及び商品読取装置１０１がアクセス可能な外部装置がＰＬＵファイルＦ１及び商品特性ファイルＦ２を備える形態としてもよい。

【0084】

また、上記実施形態では、ＰＯＳ端末１１及び商品読取装置１０１の二台構成としたが、これに限らず、ＰＯＳ端末１１及び商品読取装置１０１の両機能を備える一台構成の装置としてもよい。

【0085】

また、上記実施形態では、ＰＯＳ端末１１において商品情報、商品特性情報の出力（表示出力、印字出力）を行う形態としたが、これに限らず、商品読取装置１０１において、品種識別部１６１２が認識した商品の商品コード、及び個体識別部１６１３が特定した商品特性コードのそれぞれ対応する商品情報、商品特性情報を、表示デバイス１０６や顧客用表示デバイス１０９に表示出力する形態としてもよい。

【0086】

また、上記実施形態の各装置で実行されるプログラムは、各装置が備える記憶媒体（ＲＯＭ又は記憶部）に予め組み込んで提供するものとするが、これに限らず、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。さらに、記憶媒体は、コンピュータ或いは組み込みシステムと独立した媒体に限らず、ＬＡＮやインターネット等により伝達されたプログラムをダウンロードして記憶又は一時記憶した記憶媒体も含まれる。

【0087】

また、上記実施形態の各装置で実行されるプログラムをインターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよく、インターネット等のネットワーク経由で提供又は配布するように構成してもよい。

【符号の説明】

【0088】

１ チェックアウトシステム
１１ ＰＯＳ端末
６１ ＣＰＵ
６１１ 情報受信部
６１２ 商品情報取得部
６１３ 商品特性情報取得部
６１４ 売上登録部
６１５ 会計処理部
１０１ 商品読取装置
１０５ タッチパネル
１０６ 表示デバイス
１０７ キーボード
１６１ ＣＰＵ
１６４ 撮像部
１６５ 音声出力部
１６１１ 画像取込部
１６１２ 品種識別部
１６１３ 個体識別部
１６１４ 商品情報表示部
１６１５ 情報送信部
Ｆ１ ＰＬＵファイル
Ｆ２ 商品特性ファイル

【先行技術文献】

【特許文献】

【0089】

【特許文献1】特開２００９−２１７８４７号公報

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】