特許 6372564 ＰＯＳ端末装置、情報処理装置、情報処理システム、画像認識方法および画像認識プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6372564

(24)【登録日】2018年7月27日

(45)【発行日】2018年8月15日

(54)【発明の名称】ＰＯＳ端末装置、情報処理装置、情報処理システム、画像認識方法および画像認識プログラム

(51)【国際特許分類】

   G07G 1/12 20060101AFI20180806BHJP

   G07G 1/00 20060101ALI20180806BHJP

【ＦＩ】

   G07G1/12 311D

   G07G1/00 311D

   G07G1/12 331D

【請求項の数】9

【全頁数】16

(21)【出願番号】特願2016-510586(P2016-510586)

(86)(22)【出願日】2015年3月25日

(86)【国際出願番号】JP2015060301

(87)【国際公開番号】WO2015147329

(87)【国際公開日】20151001

【審査請求日】2016年9月21日

(31)【優先権主張番号】特願2014-65285(P2014-65285)

(32)【優先日】2014年3月27日

(33)【優先権主張国】JP

【前置審査】

(73)【特許権者】

【識別番号】000004237

【氏名又は名称】日本電気株式会社

(74)【代理人】

【識別番号】100109313

【弁理士】

【氏名又は名称】机 昌彦

(74)【代理人】

【識別番号】100124154

【弁理士】

【氏名又は名称】下坂 直樹

(72)【発明者】

【氏名】藤原 望

(72)【発明者】

【氏名】岩元 浩太

(72)【発明者】

【氏名】井下 哲夫

(72)【発明者】

【氏名】白石 壮馬

(72)【発明者】

【氏名】山田 寛

(72)【発明者】

【氏名】小林 準

(72)【発明者】

【氏名】村松 英路

(72)【発明者】

【氏名】横井 秀雄

【審査官】 小島 哲次

(56)【参考文献】

【文献】 特開２０１４−０４９０１５（ＪＰ，Ａ）

【文献】 特開２０１２−２０８８１４（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０７Ｇ １／００−１／１２

(57)【特許請求の範囲】

【請求項1】

被写体として商品を撮像し画像を生成する撮像部と、
前記撮像部が生成した前記商品の画像から当該商品の値引きを示す特定情報を抽出すると共に、前記特定情報を前記商品に関連付けて被写体情報として記憶する特定情報抽出部と、
前記商品と当該商品の値引きを示す特定情報とを関連付けて記憶された前記被写体情報に基づいて、前記撮像部が撮像した前記商品に関連付いている前記特定情報を推定する特定情報推定部と、
を備える、
ことを特徴とするＰＯＳ端末装置。

【請求項2】

前記特定情報推定部が前記被写体には前記特定情報が含まれていると推定した場合に、前記商品には前記特定情報が含まれていることを報知する特定情報報知部をさらに備える、
ことを特徴とする請求項１記載のＰＯＳ端末装置。

【請求項3】

前記特定情報推定部は、前記被写体の少なくとも一部分の画像に基づいて前記被写体に関連付いている前記特定情報を推定する、
ことを特徴とする請求項１または２に記載のＰＯＳ端末装置。

【請求項4】

前記撮像部が撮像した前記被写体の画像に基づいて前記被写体を特定する被写体特定部をさらに備える、
ことを特徴とする請求項１ないし３のいずれか１項に記載のＰＯＳ端末装置。

【請求項5】

撮像手段が撮像した被写体としての商品の画像から当該商品の値引きを示す特定情報を抽出すると共に、前記特定情報を前記商品に関連付けて被写体情報として記憶する特定情報抽出部と、
前記被写体としての商品の画像を取得し、前記商品と当該商品の値引きを示す特定情報とを関連付けて記憶された前記被写体情報に基づいて、前記撮像手段が撮像した前記商品に関連付いている前記特定情報を推定する特定情報推定部、
を備える
ことを特徴とする情報処理装置。

【請求項6】

請求項１〜４のいずれか１項に記載のＰＯＳ端末装置と、
情報処理装置と、
を含み、
前記ＰＯＳ端末装置は、前記情報処理装置との間で被写体情報を送受信する通信部とをさらに備える、
ことを特徴とする情報処理システム。

【請求項7】

被写体として商品を撮像し画像を生成する撮像部を備えるＰＯＳ端末装置と、
情報処理装置と、
を含み、
前記情報処理装置は、
前記撮像部が生成した前記商品の画像から当該商品の値引きを示す特定情報を抽出すると共に、前記特定情報を前記商品に関連付けて被写体情報として記憶する特定情報抽出部と、
前記商品と当該商品の値引きを示す特定情報とを関連付けて記憶された前記被写体情報に基づいて、前記撮像部が撮像した前記商品に関連付いている前記特定情報を推定する特定情報推定部と、を備える
ことを特徴とする情報処理システム。

【請求項8】

情報処理装置は、
撮像手段が被写体としての商品を撮像した画像を取得し、
前記撮像手段が撮像した前記商品の画像から当該商品の値引きを示す特定情報を抽出すると共に、前記特定情報を前記商品に関連付けて被写体情報として記憶し、
前記商品と当該商品の値引きを示す特定情報とを関連付けて記憶された前記被写体情報に基づいて、前記撮像手段が撮像した前記商品に関連付いている前記特定情報を推定する、
ことを特徴とする画像認識方法。

【請求項9】

コンピュータを、
撮像手段が被写体としての商品を撮像した画像を取得し、
前記撮像手段が撮像した前記商品の画像から当該商品の値引きを示す特定情報を抽出すると共に、前記特定情報を前記商品に関連付けて被写体情報として記憶し、
前記商品と当該商品の値引きを示す特定情報とを関連付けて記憶された前記被写体情報に基づいて、前記撮像手段が撮像した前記商品に関連付いている前記特定情報を推定する特定情報推定手段と、
して動作させる、
ことを特徴とする画像認識プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ＰＯＳ端末装置、情報処理装置、情報処理システム、画像認識方法および画像認識プログラムに関する。

【背景技術】

【0002】

スーパーマーケット等の量販店では、特定の情報を示す場合に特定情報、例えば値引をする商品であることを示すラベル（以下、値引ラベル）を商品に貼付している。商品の会計時にＰＯＳ（Ｐｏｉｎｔ Ｏｆ Ｓａｌｅｓ）端末装置のオペレータは、商品に貼付された値引ラベルを視認することで、その商品が値引品であることを判断することができる。
近年、ＰＯＳ端末装置が内蔵するＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）カメラ等のイメージセンサによって商品および値引ラベルを撮像し画像を生成することで、商品および値引ラベルを認識する技術が注目を集めている。
例えば、特許文献１には、物体を撮像して、撮像した画像を商品として認識するＰＯＳ端末装置が記載されている。このＰＯＳ端末装置は、商品の画像と、商品の価格等の情報とを対応させたＰＬＵ（Ｐｒｉｃｅ Ｌｏｏｋｕｐ）ファイルを予め記憶している。ＰＯＳ端末装置は、撮像した商品の画像をＰＬＵファイルが保持する商品の情報に基づいて撮像した商品を特定することで商品毎の売上管理を行っている。
また、特許文献２には、商品に貼付されたサービスラベル（値引ラベル）を認識する商品情報読取装置が記載されている。商品情報読取装置は、サービスラベルのデータであるラベル特徴データをＰＯＳ端末装置に予め記憶している。商品情報読取装置は、撮像したサービスラベルと、ラベル特徴データとをパターン認識やＯＣＲ（Ｏｐｔｉｃａｌ Ｃｈａｒａｃｔｅｒ Ｒｅｃｏｇｎｉｔｉｏｎ）等の認識処理によって判定することによって商品に貼付されたサービスラベルを認識している。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特許第５１３２７３２号公報

【特許文献2】特開２０１２−９４０７３号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

商品の画像に基づいて商品および商品に貼付されたサービスラベル等を認識する技術においては、認識した結果に間違いがないように認識率の向上が必要である。
特許文献１に記載の技術は、ＰＯＳ端末装置が予め保持するＰＬＵファイルに基づいて撮像した商品を特定している。しかしながら特許文献１に記載の技術は、ＰＯＳ端末装置が予め保持するＰＬＵファイルに基づいて撮像した商品を特定する技術を開示しているだけであって、認識率の向上については考慮してない問題がある。
特許文献２に記載の商品情報読取装置は、本来値引の対象商品であるにも関わらず、例えば、サービスラベルが剥がれてしまい商品にサービスラベルが貼付されていなかった場合に、その商品が値引品であることを認識するのは困難である。
したがって本発明は、使用を重ねることで商品の認識率が向上し、かつ、サービスラベルが剥がれてしまった場合でも、その商品を撮像することで商品に貼付されていたサービスラベルを推定することが可能なＰＯＳ端末装置を提供することを目的とする。

【課題を解決するための手段】

【0005】

本発明のＰＯＳ端末装置は、被写体と特定情報とを関連付けた被写体情報を保持する記憶部と、前記被写体を撮像し画像を生成する撮像部と、前記撮像部が撮像した前記被写体に関連付いている前記特定情報を前記被写体情報に基づいて推定する特定情報推定部、を備える。
本発明の情報処理装置は、被写体と特定情報を関連付けた被写体情報を保持する記憶部と、前記被写体の画像を受けると共に前記被写体に関連付いている前記特定情報を前記被写体情報に基づいて推定する特定情報推定部と、を備える。
本発明の情報処理システムは、本発明に係るＰＯＳ端末装置と、情報処理装置と、を含み、前記ＰＯＳ端末装置は、前記情報処理装置との間で被写体情報を送受信する通信部とをさらに備える。
本発明の別の態様の情報処理システムは、被写体を撮像し画像を生成する撮像部を備えるＰＯＳ端末装置と、情報処理装置と、を含み、前記情報処理装置は、前記被写体と特定情報を関連付けた被写体情報を保持する記憶部と、前記撮像部が撮像した被写体に関連付いている特定情報を前記被写体情報に基づいて推定する特定情報推定部と、を備える。
本発明の画像認識方法は、被写体を撮像して画像を生成し、前記撮像した被写体に関連付いている特定情報を記憶部が保持する被写体情報に基づいて推定する。
本発明の画像処理プログラムは、コンピュータを、被写体と特定情報とを関連付けた被写体情報を保持する記憶手段と、前記被写体を撮像し画像を生成する撮像手段と、前記撮像部が撮像した被写体に関連付いている特定情報を前記被写体情報に基づいて推定する特定情報推定手段と、して動作させる。

【発明の効果】

【0006】

本発明によれば、使用を重ねることで商品の認識率が向上し、かつ商品に貼付されたサービスラベルが剥がれてしまった場合でも、その商品を撮像することで、その商品に貼付されていたサービスラベルを推定することができる。

【図面の簡単な説明】

【0007】

図１は、本発明の第１実施形態に係るＰＯＳ端末装置、とサーバとの接続の一例を示すブロック図である。
図２は、本発明に係るＰＯＳシステムの概念図である。
図３は、本発明の第１実施形態に係るＰＯＳ端末装置の処理の一例を示すフローチャートである。
図４は、本発明の第２実施形態に係るＰＯＳ端末装置を示す図であり、（ａ）は、上記ＰＯＳ端末装置の商品特定部を示すブロック図、（ｂ）は、商品特定部の処理の流れを示すフローチャートである。
図５は、本発明の第３実施形態に係るＰＯＳ端末装置を示す図であり、（ａ）は、上記ＰＯＳ端末装置とサーバの構成を示すブロック図、（ｂ）は、上記ＰＯＳ端末装置とサーバの処理の流れを示すフローチャートである。
図６は、本発明の第４実施形態に係るＰＯＳ端末装置を示す図であり、（ａ）は、上記ＰＯＳ端末装置の構成を示すブロック図、（ｂ）は、上記ＰＯＳ端末装置の処理の流れを示すフローチャートである。
図７は、本発明に係る画像認識方法を説明するための図であり、（ａ）は、本発明の画像認識の流れを示すブロック図、（ｂ）は、本発明の画像認識方法の流れを示すフローチャートである。

【発明を実施するための形態】

【0008】

以下、図面を適宜参照しながら本発明を実施するための形態について詳細に説明する。
［１．ＰＯＳ端末装置の構成］
図１は、本発明の第１実施形態に係るＰＯＳ端末装置１００と、サーバ２００との一例を示すブロック図である。本発明のＰＯＳ端末装置１００は、制御部１０１と、撮像部１０２と、特定情報抽出部１０３と、特定情報推定部１０４と、記憶部１０５と、通信部１０６と、を備えている。サーバ２００は、サーバ記憶部２１０を備えている。ＰＯＳ端末装置１００は、通信部１０６を介してサーバ２００と接続している。
まず、ＰＯＳ端末装置１００を構成する各部について説明する。制御部１０１は、例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）であって、ＰＯＳ端末装置１００が実行する処理を制御することができる。具体的には、制御部１０１は、撮像部１０２と、特定情報抽出部１０３と、特定情報推定部１０４等の処理を制御する。
撮像部１０２は、被写体を撮像することができる。本発明のＰＯＳ端末装置１００は店舗等に設置するため、被写体は例えば店舗等が売買する商品である。また、撮像部１０２は商品を撮影すると共に、その商品の画像を生成する機能も有している。なお、以下では被写体を店舗等が売買する商品として説明するが、これは被写体が商品であることを限定するものではない。
特定情報抽出部１０３は、商品の画像から特定情報を抽出することができる。商品の画像は、撮像部１０２が生成した画像であってもよいし、外部機器等が入力した画像であってもよい。特定情報は、ＰＯＳ端末装置１００を店舗等に設置する場合、例えば店鋪等が売買する商品が値引品であることを示す値引ラベルである。特定情報抽出部１０３は、商品の画像から値引ラベルを抽出すると共に、その商品と値引ラベルとを関連付けた被写体情報を生成する。また、特定情報抽出部１０３は、商品から値引ラベルを抽出できなかった場合には、その商品には値引ラベルが貼付されていない（商品は値引品ではない）という被写体情報を生成する。さらに、特定情報抽出部１０３は、生成した被写体情報を記憶部１０５に格納する。この時、特定情報抽出部１０３は、被写体情報を記憶部１０５ではなく、サーバ２００が備えるサーバ記憶部２１０に格納してもよい。この場合、特定情報抽出部１０３は、通信部１０６を介して特定サーバ記憶部２１０に被写体情報を格納することができる。なお、以下では、特定情報を値引ラベルとして説明するが、これは特定情報が値引ラベルであることを限定するものではない。
特定情報推定部１０４は、記憶部１０５が保持する被写体情報に基づいて撮像部１０２が撮像した商品に関連付いている値引ラベルを推定することができる。特定情報推定部１０４は、同一の商品に種類の異なる複数の値引ラベルが関連付いている場合、その中で記憶部１０５が保持する一番総数の多い値引ラベルを、その商品に関連付いている値引ラベルであると推定する。また、特定情報推定部１０４は、サーバ記憶部２１０が保持する被写体情報に基づいて撮像部１０２が撮像した商品に関連付いている値引ラベルを推定してもよい。この時、特定情報推定部１０４は、記憶部１０５が保持する全ての被写体情報から値引ラベルを推定してもよいし、所定の期間内に撮像部１０２が生成した被写体情報から値引ラベルを推定してもよい。なお、所定の期間とは、ユーザの任意で自由に設定することのできる期間である。
撮像部１０２が撮像した画像と、被写体情報との照合には、例えばパターン認識等の一般的な画像処理を用いることができる。即ち、特定情報推定部１０４は値引ラベルからではなく、あくまで商品の画像に基づいて、その商品に貼付された値引ラベルを推定する。したがって、特定情報推定部１０４は、撮像部１０２が撮像した商品に値引ラベルが貼付されていない場合でも、商品に関連付いている値引ラベルを推定することができる。さらに、特定情報推定部１０４は、例えば撮像部１０２が撮像したのは商品の一部分の画像であり、記憶部１０５が保持する画像が商品の全体の画像であっても、その商品に関連付いている特定情報を推定することができる。これは、特定情報推定部１０４は、２つの画像の特徴量を比較しているためであり、商品の一部分の画像の特徴量が、商品の全体の画像の一部分の特徴量と、所定の範囲で類似していれば２つの商品は同一であると推定することができる。
ここで、店舗側のミス等の理由で値引品に値引ラベルを貼付していなかった場合に、特定情報抽出部１０３がその商品に対して本来とは異なる被写体情報を生成していることも想定される。しかしながら、特定情報抽出部１０３は、撮像部１０２が画像を生成する度に被写体情報を生成している。したがって、撮像部１０２が同一商品の撮像を重ねるほど、その商品本来の被写体情報の総数の方が誤った被写体情報の総数よりも相対的に多くなる。即ち、特定情報推定部１０４は、同一の商品に種類の異なる複数の被写体情報が関連付いている場合、記憶部１０５が保持する一番総数の多い被写体情報に基づいて値引ラベルを推定するため、誤った被写体情報を推定する可能性は小さい。また、このことにより、特定情報推定部１０４の商品の認識率は、撮像部１０２が撮像を重ねるごとに向上する。
記憶部１０５は、被写体情報を保持している。記憶部１０５としては、例えばＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等を使用することができる。
通信部１０６は、ＰＯＳ端末装置１００とサーバ２００とを接続する通信インターフェースである。通信部１０６は、有線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）であってもよいし、無線ＬＡＮであってもよい。ＰＯＳ端末装置１００は、通信部１０６を介して外部のサーバ等と接続することができる。
サーバ２００は、複数のＰＯＳ端末装置と接続しており、例えば店舗等に設置する店舗サーバである。サーバ２００は、各ＰＯＳ端末装置から受信した被写体情報を保持するサーバ記憶部２１０を備えている。サーバ記憶部２１０は、サーバ２００と接続している各ＰＯＳ端末装置が保持する全ての被写体情報を保持している。以下において、各ＰＯＳ端末装置とサーバ２００が接続されたネットワークについて説明する。
［２．ＰＯＳ端末装置とサーバとの接続］
図２は、各ＰＯＳ端末装置と、サーバとが接続した様子を示す概略図である。図２では、サーバ２００と、３台のＰＯＳ端末装置とがネットワーク３００を介して接続した例を図示しているが、これはサーバ２００に接続するＰＯＳ端末装置の台数を何等限定するものではない。サーバ２００に接続するＰＯＳ端末装置の台数は、ユーザの任意で自由に設定することが可能である。以下、図２を参照しながら、各ＰＯＳ端末装置とサーバとの間で被写体情報を送受信する方法について説明する。
図２を参照すると、サーバ２００は、第１ＰＯＳ端末装置１１０と、第２ＰＯＳ端末装置１２０と、第３ＰＯＳ端末装置１３０と、ネットワーク３００を介して接続している。
サーバ２００は、ネットワーク３００を介して、３台全てのＰＯＳ端末装置との間で被写体情報を送受信する。ネットワーク３００は、例えばインターネットである。したがって、第１ＰＯＳ端末装置１１０〜第３ＰＯＳ端末装置１３０のそれぞれは、他のＰＯＳ端末装置がサーバ２００に送信した被写体情報を同期することができる。第１ＰＯＳ端末装置１１０〜第３ＰＯＳ端末装置１３０は、保持する被写体情報が増えるに連れて認識率が向上するため、複数のＰＯＳ端末装置と同期することにより認識率は更に向上する。以下で、各ＰＯＳ端末装置が実行する処理および各ＰＯＳ端末装置が他のＰＯＳ端末装置との間で被写体情報を同期する処理について詳しく説明する。
［３．ＰＯＳ端末装置の処理の流れ］
図３は、ＰＯＳ端末装置１００の各部が実行する処理の流れを示すフローチャートである。以下では、図３および図１を適宜参照し、本発明の第１実施形態に係るＰＯＳ端末装置１００が実行する処理について詳細に説明する。
まず、撮像部１０２が、商品を撮像すると共に、撮像した商品の画像を生成する（ステップＳ３０１）。次いで、撮像部１０２は、特定情報抽出部１０３および特定情報推定部１０４に生成した商品の画像を送信する。なお、特定情報推定部１０４は、受信した商品の画像が撮像部１０２の初回の撮像である場合には被写体情報が存在しないため、撮像部１０２から受信した商品の画像に基づいて、その商品に貼付されている値引ラベルを推定することはできない。
特定情報抽出部１０３は、撮像部１０２から受信した商品の画像から、その商品に貼付されている値引ラベルを抽出する（ステップＳ３０２）。この処理において、特定情報抽出部１０３は、商品に貼付された値引ラベルの有無を最初に判定する（ステップＳ３０３）。
次いで、特定情報抽出部１０３は、商品に値引ラベルが貼付されている場合には（ステップＳ３０３において「ＹＥＳ」）、商品と値引ラベルとを関連付けた被写体情報を生成する（ステップＳ３０４）。
また、特定情報抽出部１０３は、商品に値引ラベルが貼付されていない場合には（ステップＳ３０３において「ＮＯ」）、その商品には値引ラベルは貼付されていないという被写体情報を生成する（ステップＳ３０５）。即ち、特定情報抽出部１０３は、商品に貼付された値引ラベルの有無に依らず被写体情報を生成する。
さらに特定情報抽出部１０３は、生成した被写体情報を記憶部１０５に格納する。この時、特定情報抽出部１０３は、通信部１０６を介してサーバ記憶部２１０に被写体情報を格納してもよい（ステップＳ３０６）。この時、例えば値引ラベルが剥がれた等の理由により、本来は値引ラベルが貼付されている商品に値引ラベルが貼付されていなかった場合に、特定情報抽出部１０３は、その商品について、本来とは異なる被写体情報を生成し、記憶部１０５に格納することになる。しかしながら特定情報抽出部１０３が、本来とは異なる被写体情報を生成したとしても、その総数は、正しい被写体情報の総数よりも相対的に少ない。また、特定情報抽出部１０３が同一商品の被写体情報の生成を重ねるほど、本来とは異なる被写体情報の総数は、正しい被写体情報の総数よりも相対的に更に少なくなる。
次いで撮像部１０２は、次の商品を撮像するとともに、撮像した商品の画像を生成する（ステップＳ３０７）。ステップＳ３０７の処理はステップＳ３０１の処理と同様であり、撮像部１０２は、商品を撮像して画像を生成し、生成した画像を、特定情報抽出部１０３および特定情報推定部１０４に入力する。
ここでは、特定情報推定部１０４は、記憶部１０５およびサーバ記憶部２１０が被写体情報を保持しているため、撮像部１０２から受信した商品の画像に基づいて、その商品に貼付されている値引ラベルを推定することができる。なお、特定情報抽出部１０３が行う処理については、ステップＳ３０２からステップＳ３０６と同様であるため、説明は省略する。
次いで、特定情報推定部１０４は、記憶部１０５、またはサーバ記憶部２１０が保持する被写体情報に基づいて、撮像部１０２が撮像した商品に関連付いている値引ラベルを推定する（ステップＳ３０８）。この時、特定情報抽出部１０４は、商品について異なる複数の被写体情報が存在する場合には、相対的に総数の多い被写体情報を、その商品の正しい被写体情報であると推定する。各ＰＯＳ端末装置は、サーバ２００を介して同期しているため、撮像部１０２が初めて撮像する商品であっても、他のＰＯＳ端末装置で撮像したことのある商品であれば、特定情報推定部１０４は、その商品に関連付いている値引ラベルを推定することができる。また、特定情報推定部１０４は、撮像した商品の画像が商品の一部分であり、記憶部１０５またはサーバ記憶部２１０が保持する画像が商品の全体像であっても、その商品に関連付いた値引ラベルを推定することができる。同様に、特定情報推定部１０４は、撮像された商品の画像が商品の全体であって、サーバ記憶部２１０が保持する画像が商品の一部の画像であっても、その商品に関連付いた値引ラベルを推定することができる。
ＰＯＳ端末装置１００は、特定情報推定部１０４が商品に値引ラベルが関連付いていると推定すると、その旨をＰＯＳ端末装置１００のオペレータ等に報知する（ステップＳ３０９）。報知の方法は、ＰＯＳ端末装置１００が備える表示部にメッセージを表示させてもよいし、例えばＰＯＳ端末装置１００が特定情報報知部を更に備え、この特定情報報知部によって報知するようにしてもよい。特定情報報知部は、例えば視覚的に判断できる形態であってもよいし、音を鳴らす形態であってもよい。ＰＯＳ端末装置１００のオペレータ等は、商品に値引ラベルを貼付していない場合でも、その商品が値引品であることを報知によって認識できるため、間違うこと無く値引することができる。
［４．その他の実施形態］
（４−１．第２実施形態）
次に、図４を参照しながら本発明の第２実施形態に係るＰＯＳ端末装置について説明する。
第２実施形態のＰＯＳ端末装置は、第１実施形態のＰＯＳ端末装置に、撮像した商品を特定できる被写体特定部を更に備える形態である。具体的に説明すると、第２実施形態のＰＯＳ端末装置は、商品に関連付いた値引ラベルを推定できると共に、撮像した商品を特定することのできる商品特定部４２０を備えている。なお、第２実施形態のＰＯＳ端末装置について説明するが、商品特定部４２０以外、例えばＰＯＳ端末装置とサーバとの間での通信方法等に関しては第１実施形態のＰＯＳ端末装置１００と同様であるため、説明は省略する。
図４（ａ）は、商品特定部４２０が、被写体画像４００をサーバ４１０に格納する様子を示した模式図である。図４（ｂ）は、商品特定部４２０の処理の流れを示すフローチャートである。以下、図１、図４（ａ）および図４（ｂ）を適宜参照しながら、商品特定部４２０の説明をする。
まず、商品特定部４２０は、被写体画像４００を受信する（ステップＳ４０１）。被写体画像４００は、例えば図１において撮像部１０２が撮像し、生成した商品の画像である。
被写体画像４００を受信した商品特定部４２０は、被写体画像４００と同一の画像を記憶部１０５およびサーバ４１０から検索する（ステップＳ４０２）。検索の結果、記憶部１０５およびサーバ４１０から被写体画像４００と同一の商品があった場合（ステップＳ４０３において「ＹＥＳ」）、商品特定部４２０は、商品を表示する表示部等に特定した商品を表示させて（ステップＳ４０４）処理を終了する。検索の結果、記憶部１０５およびサーバ４１０から被写体画像４００と同一商品を検索できなかった場合（ステップＳ４０３において「ＮＯ」）、商品特定部４２０は、被写体画像４００に基づいて、新たに商品登録を行う（ステップＳ４０５）。ここで、商品特定部４２０は、サーバ４１０に商品の登録を行うことで、サーバ４１０に接続されている全てのＰＯＳ端末装置間で新たに登録された商品の情報を共有することができる。その結果、他のＰＯＳ端末装置は、被写体画像４００を初めて受信した時でも、その被写体画像４００に写っている商品が既に登録されている商品であることを特定することができる。
（４−２．第３実施形態）
次に、図５（ａ）を参照して第３実施形態に係るＰＯＳ端末装置を説明する。
第３実施形態のＰＯＳ端末装置は、撮像部１０２のみを備えており、サーバ５１０が特定情報抽出部５１１と、特定情報推定部５１２および記憶部５１３とを備える形態である。即ち、第３実施形態のＰＯＳ端末装置は、特定情報の抽出および特定情報の推定は行わず、サーバ５１０が特定情報の抽出および特定情報の推定を行う。その他の機能、例えばＰＯＳ端末装置とサーバとの間での通信方法等に関しては第１実施形態のＰＯＳ端末装置１００と同様であるので説明は省略する。以下では、図５（ｂ）を参照しながら、第３実施形態に係るＰＯＳ端末装置の処理の流れについて説明する。
まず、第３実施形態のＰＯＳ端末装置は、例えば図１において、撮像部１０２が撮像し生成した商品の被写体画像５００をサーバ５１０に送信する（ステップＳ５０１）。次に、被写体画像５００を受信したサーバ５１０は、その商品の画像を特定情報抽出部５１１および特定情報推定部５１２に入力する。特定情報抽出部５１１は、被写体画像５００から値引ラベルを抽出し、その商品と抽出した値引ラベルとを関連付けたデータを作成する（ステップＳ５０２）。この時、特定情報抽出部５１１は、商品と値引ラベルとを関連付けたデータを記憶部５１３に格納する。
次に、特定情報推定部５１２は、撮像した商品に関連付いている商品の値引ラベルを、記憶部５１３が保持する被写体情報に基づいて推定する（ステップＳ５０３）。
したがって、サーバ５１０が特定情報抽出部５１１および特定情報推定部５１２を備えている形態でも、商品の画像に基づいて特定情報を推定することができる。また、サーバ５１０が、第２実施形態のＰＯＳ端末装置が備える商品特定部４２０を、さらに備えていてもよい。
（４−３．第４実施形態）
次に、図６を参照して、第４実施形態のＰＯＳ端末装置として、サーバと接続する機能を有していない、最小の構成からなるＰＯＳ端末装置を説明する。
図６（ａ）は、第４実施形態に係るＰＯＳ端末装置の構成を示すブロック図である。第４実施形態に係るＰＯＳ端末装置は、撮像部６００と、特定情報推定部６１０と、記憶部６２０と、を備えている。
図６（ｂ）は、第４実施形態に係るＰＯＳ端末装置が実行する処理を示すフローチャートである。以下では、図６（ｂ）を参照しながら第４実施形態に係るＰＯＳ端末装置が実行する処理について説明する。
撮像部６００は、商品を撮像すると共に、その商品の画像を生成する（ステップＳ６０１）。また撮像部６００は、生成した画像を特定情報推定部６１０に入力する。
次いで、特定情報推定部６１０は、撮像部６００が撮像した商品の画像に関連付いている値引ラベルを、記憶部６２０が保持する被写体情報に基づいて推定する（ステップＳ６０２）。即ち、第４実施形態のＰＯＳ端末装置は、他のＰＯＳ端末装置とは同期していないが、記憶部６２０が保持する被写体情報のみに基づいて撮像部６００が撮像した商品に関連付いている値引ラベルを推定できる。また第４実施形態のＰＯＳ端末装置は、繰り返し使用することで記憶部６２０が保持する被写体情報の総数が多くなることに伴い、特定情報推定部６１０の認識率も向上する。したがって、第４実施形態のＰＯＳ端末装置においても、第１実施形態のＰＯＳ端末装置１００と同様の効果を奏することができる。
以上の説明において、第１実施形態〜第４実施形態のＰＯＳ端末装置が備える各部は、ハードウエアによって実現してもよいし、ソフトウエアによって実現してもよい。また、各部は、ハードウエアとソフトウエアの組み合わせによって実現してもよい。例えば、制御部１０１が、記憶部１０５が保持するプログラムを読み出すことによって、コンピュータを第１実施形態〜第４実施形態のＰＯＳ端末装置として動作させてもよい。また、プログラムは、コンピュータが読み取り可能な媒体が保持していればよいし、例えば、ネットワークに接続された記憶装置が保持していてもよい。
［５．画像認識方法］
次に、図７を参照して、本発明に係る最小の構成から実行する画像認識方法について説明する。
図７（ａ）は、本発明に係る画像認識を示すブロック図であり、図７（ｂ）は、本発明に係る画像認識の流れを示すフローチャートである。以下では、図７（ａ）および図７（ｂ）を適宜参照し、本発明に係る画像認識方法について詳細に説明する。
本発明に係る画像認識方法は、まず、画像データ７００に対して、特定情報推定７１０を実行する（ステップＳ７０１）。
次いで、特定情報推定７１０は、入力された画像データ７００に関連付いている特定情報を推定する。具体的には、特定情報推定７１０は、被写体データ７００と同一、または類似する画像を記憶部７２０が保持する被写体情報から検索する。この時、特定情報推定７１０は、画像データ７００が被写体の一部分の画像であって、記憶部７２０が保持する画像が被写体の全体の画像であっても検索することができる。また同様に、特定情報推定７１０は、画像データ７００が被写体の全体の画像であって、記憶部７２０が保持する画像が被写体の一部分の画像であっても検索することができる。
以上、実施形態を参照して本発明を説明したが、本発明は上記実施形態に限定されない。本発明の構成や詳細には、本発明のスコープ内で当事者が理解し得る様々な変更をすることができる。
また上記の実施形態の一部、または全部は、以下のようにも記載されうる。なお、以下の付記は本発明を何等限定するものではない。
［付記１］
被写体と特定情報とを関連付けた被写体情報を保持する記憶部と、
前記被写体を撮像し画像を生成する撮像部と、
前記撮像部が撮像した前記被写体に関連付いている前記特定情報を前記被写体情報に基づいて推定する特定情報推定部と、
を備える、
ことを特徴とするＰＯＳ端末装置。
［付記２］
前記撮像部が生成した前記被写体の画像から前記特定情報を抽出すると共に、前記特定情報を前記被写体に関連付けて前記被写体情報を生成し前記記憶部に格納する特定情報抽出部をさらに備える、
ことを特徴とする上記付記に記載のＰＯＳ端末装置。
［付記３］
前記特定情報推定部が前記被写体には前記特定情報が含まれていると推定した場合に、前記被写体には前記特定情報が含まれていることを報知する特定情報報知部をさらに備える、
ことを特徴とする上記付記に記載のＰＯＳ端末装置。
［付記４］
前記特定情報推定部は、前記被写体の少なくとも一部分の画像に基づいて前記商品に関連付いている前記特定情報を推定する、
ことを特徴とする上記付記に記載のＰＯＳ端末装置。
［付記５］
前記撮像部が撮像した前記被写体の画像に基づいて前記商品を特定する被写体特定部をさらに備える、
ことを特徴とする上記付記に記載のＰＯＳ端末装置。
［付記６］
前記被写体は、店舗で売買される商品である、
ことを特徴とする上記付記に記載のＰＯＳ端末装置。
［付記７］
前記特定情報は、商品の値引を示す印である、
ことを特徴とする上記付記に記載のＰＯＳ端末装置。
［付記８］
被写体と特定情報を関連付けた被写体情報を保持する記憶部と、
前記被写体の画像を受けると共に前記被写体に関連付いている前記特定情報を前記被写体情報に基づいて推定する特定情報推定部と、
を備える、
ことを特徴とする情報処理装置。
［付記９］
前記被写体の画像から前記特定情報を抽出すると共に、前記特定情報を前記被写体に関連付けて前記被写体情報を生成し前記記憶部に格納する特定情報抽出部をさらに備える、
ことを特徴とする上記付記に記載の情報処理装置。
［付記１０］
上記付記に記載のＰＯＳ端末装置と、
情報処理装置と、
を含み、
前記ＰＯＳ端末装置は、前記情報処理装置との間で被写体情報を送受信する通信部とをさらに備える、
ことを特徴とする情報処理システム。
［付記１１］
前記ＰＯＳ端末装置は、前記情報処理装置を介して他のＰＯＳ端末装置との間で前記被写体情報を同期する、
ことを特徴とする上記付記に記載の情報処理システム。
［付記１２］
前記ＰＯＳ端末装置は、前記情報処理装置を介して、他のＰＯＳ端末装置が保持する前記被写体情報を互いに同期する、
ことを特徴とする上記付記に記載の情報処理システム。
［付記１３］
被写体を撮像し画像を生成する撮像部を備えるＰＯＳ端末装置と、
情報処理装置と、
を含み、
前記情報処理装置は、
前記被写体と特定情報を関連付けた被写体情報を保持する記憶部と、
前記撮像部が撮像した被写体に関連付いている特定情報を前記被写体情報に基づいて推定する特定情報推定部と、を備える
ことを特徴とする情報処理システム。
［付記１４］
前記情報処理装置は、前記被写体の画像から前記特定情報を抽出すると共に、前記特定情報を前記被写体に関連付けて前記被写体情報を生成し前記記憶部に格納する特定情報抽出部をさらに備える、
ことを特徴とする上記付記に記載の情報処理システム。
［付記１５］
被写体を撮像して画像を生成し、
前記撮像した被写体に関連付いている特定情報を記憶部が保持する被写体情報に基づいて推定する、
ことを特徴とする画像認識方法。
［付記１６］
前記撮像した被写体の画像から特定情報を抽出すると共に前記特定情報を前記被写体に関連付けた被写体情報を生成し、前記記憶部に格納する、
ことを特徴とする上記付記に記載の画像認識方法。
［付記１７］
前記被写体に前記特定情報が含まれていると推定された場合に、前記商品には前記特定情報が含まれていることを報知する、
ことを特徴とする上記付記に記載の画像認識方法。
［付記１８］
前記被写体の少なくとも一部分の画像に基づいて前記商品に関連付いている前記特定情報を推定する、
ことを特徴とする上記付記に記載の画像認識方法。
［付記１９］
前記被写体の画像に基づいて前記被写体を特定する、
ことを特徴とする上記付記に記載の画像認識方法。
［付記２０］
前記被写体は、店舗で売買される商品である、
ことを特徴とする上記付記に記載の画像認識方法。
［付記２１］
前記特定情報は、商品の値引を示す印である、
ことを特徴とする上記付記に記載の画像認識方法。
［付記２２］
コンピュータを、
被写体と特定情報とを関連付けた被写体情報を保持する記憶手段と、
前記被写体を撮像し画像を生成する撮像手段と、
前記撮像部が撮像した被写体に関連付いている特定情報を前記被写体情報に基づいて推定する特定情報推定手段と、
して動作させる、
ことを特徴とする画像認識プログラム。
［付記２３］
前記コンピュータを、前記撮像部が生成した前記被写体の画像から前記特定情報を抽出すると共に、前記特定情報を前記被写体に関連付けて前記被写体情報を生成し前記記憶部に格納する特定情報抽出手段として、さらに動作させる、
ことを特徴とする上記付記に記載の画像認識プログラム。
［付記２４］
前記コンピュータを、前記被写体に前記特定情報が含まれていると推定された場合に、前記被写体には前記特定情報が含まれていることを報知する報知手段として、さらに動作させる、
ことを特徴とする上記付記に記載の画像認識プログラム。
［付記２５］
前記コンピュータに、前記被写体の少なくとも一部分の画像に基づいて前記商品に関連付いている前記特定情報を推定させる、
ことを特徴とする上記付記に記載の画像認識プログラム。
［付記２６］
前記コンピュータを、前記被写体の画像に基づいて前記商品を特定する商品特定部として、さらに動作させる、
ことを特徴とする上記付記に記載の画像認識プログラム。
［付記２７］
前記被写体は、店舗で売買される商品である、
ことを特徴とする上記付記に記載の画像認識プログラム。
［付記２８］
前記特定情報は、商品の値引を示す印である、
ことを特徴とする上記付記に記載の画像認識プログラム。
この出願は、２０１４年３月２７日に出願された日本出願特願第２０１４−０６５２８５号を基礎とする優先権を主張し、その開示のすべてをここに取り込む。

【符号の説明】

【0009】

１００・・・ＰＯＳ端末装置
１０１・・・制御部
１０２・・・撮像部
１０３・・・特定情報抽出部
１０４・・・特定情報推定部
１０５・・・記憶部
１０６・・・通信部
１１０・・・第１ＰＯＳ端末装置
１２０・・・第２ＰＯＳ端末装置
１３０・・・第３ＰＯＳ端末装置
２００・・・サーバ
２１０・・・サーバ記憶部
３００・・・ネットワーク
４００・・・被写体画像
４１０・・・サーバ
４２０・・・商品特定部
５００・・・被写体画像
５１０・・・サーバ
５１１・・・特定情報抽出部
５１２・・・特定情報推定部
５１３・・・記憶部
６００・・・撮像部
６１０・・・特定情報推定部
６２０・・・記憶部
７００・・・画像データ
７１０・・・特定情報推定
７２０・・・記憶部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】