特許 6624063 自動販売機認識装置、商品棚認識装置、自動販売機認識方法、プログラムおよび画像処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6624063

(24)【登録日】2019年12月6日

(45)【発行日】2019年12月25日

(54)【発明の名称】自動販売機認識装置、商品棚認識装置、自動販売機認識方法、プログラムおよび画像処理装置

(51)【国際特許分類】

   G06T 7/00 20170101AFI20191216BHJP

   G06K 9/20 20060101ALI20191216BHJP

   G06Q 30/02 20120101ALI20191216BHJP

   G07F 9/00 20060101ALI20191216BHJP

【ＦＩ】

   G06T7/00 300F

   G06K9/20 340J

   G06Q30/02 300

   G07F9/00 L

【請求項の数】11

【全頁数】19

(21)【出願番号】特願2016-555070(P2016-555070)

(86)(22)【出願日】2015年10月9日

(86)【国際出願番号】JP2015005150

(87)【国際公開番号】WO2016063483

(87)【国際公開日】20160428

【審査請求日】2018年9月14日

(31)【優先権主張番号】特願2014-214754(P2014-214754)

(32)【優先日】2014年10月21日

(33)【優先権主張国】JP

(73)【特許権者】

【識別番号】000004237

【氏名又は名称】日本電気株式会社

(74)【代理人】

【識別番号】100109313

【弁理士】

【氏名又は名称】机 昌彦

(74)【代理人】

【識別番号】100124154

【弁理士】

【氏名又は名称】下坂 直樹

(72)【発明者】

【氏名】岩元 浩太

(72)【発明者】

【氏名】比嘉 恭太

(72)【発明者】

【氏名】包 蕊寒

(72)【発明者】

【氏名】佐藤 貴美

【審査官】 佐藤 卓馬

(56)【参考文献】

【文献】 特開２０１３−２５０６４７（ＪＰ，Ａ）

【文献】 特開２０１４−１４９２２６（ＪＰ，Ａ）

【文献】 特開２０１２−０５３７１１（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ７／００

Ｇ０６Ｋ ９／２０

Ｇ０６Ｑ ３０／０２

Ｇ０７Ｆ ９／００

(57)【特許請求の範囲】

【請求項1】

自動販売機を撮影した撮影画像を受信する受信手段と、
前記撮影画像から複数の商品を認識し、前記複数の商品の価格を夫々認識する認識手段と、
前記撮影画像上において、認識された前記商品の各々の画像領域の周辺の画像領域を、所定の条件に基づいて、前記商品の価格の認識を行う認識対象領域として設定する設定手段と、
を備える自動販売機認識装置。

【請求項2】

前記認識手段は、認識した文字が、所定の列をなすとき、該所定の列に含まれる数字からなる文字列を、該商品の価格であると認識する、ことを特徴とする請求項１に記載の自動販売機認識装置。

【請求項3】

前記認識手段は、前記撮影画像に、同じ商品が複数含まれる場合、前記撮影画像に含まれる前記同じ商品の夫々に対して認識した価格が同じになるように、前記商品の価格を認識する、ことを特徴とする請求項１または２に記載の自動販売機認識装置。

【請求項4】

前記認識手段は、前記自動販売機で販売されている商品の価格に関する情報に基づいて、前記商品の価格を認識する、ことを特徴とする請求項１から３の何れか１項に記載の自動販売機認識装置。

【請求項5】

前記認識手段は、更に、認識された前記商品の画像領域の周辺の画像領域から前記商品の販売状況を認識する、ことを特徴とする請求項１から４の何れか１項に記載の自動販売機認識装置。

【請求項6】

前記認識手段は、前記商品の価格を示す文字列の様態が、他の商品の価格を示す文字列の様態と同じか否かを更に認識する、ことを特徴とする請求項１から５の何れか１項に記載の自動販売機認識装置。

【請求項7】

前記設定手段は、認識された前記商品の画像領域の下に該商品の価格を示す情報が含まれるという条件に基づいて、該商品の価格の認識を行う認識対象領域を設定する、ことを特徴とする請求項１から６の何れか１項に記載の自動販売機認識装置。

【請求項8】

前記設定手段は、各商品に対する認識対象領域が、所定の列をなすように、前記商品毎に前記認識対象領域を設定する、ことを特徴とする請求項１から７の何れか１項に記載の自動販売機認識装置。

【請求項9】

前記認識手段は、前記認識対象領域から前記商品の販売状況を認識する、ことを特徴とする請求項１から８の何れか１項に記載の自動販売機認識装置。

【請求項10】

自動販売機を撮影した撮影画像を受信し、
前記撮影画像から複数の商品を認識し、
前記撮影画像上において、認識された前記商品の各々の画像領域の周辺の画像領域を、所定の条件に基づいて、前記商品の価格の認識を行う認識対象領域として設定し、
前記複数の商品の価格を夫々認識する、
ことを特徴とする自動販売機認識方法。

【請求項11】

自動販売機を撮影した撮影画像を受信する処理と、
前記撮影画像から複数の商品を認識する処理と、
前記撮影画像上において、認識された前記商品の各々の画像領域の周辺の画像領域を、所定の条件に基づいて、前記商品の価格の認識を行う認識対象領域として設定する処理と、
前記複数の前記商品の価格を夫々認識する処理と、
をコンピュータに実行させることを特徴とするプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、自動販売機認識装置、商品棚認識装置、自動販売機認識方法、記録媒体および画像処理装置に関する。

【背景技術】

【0002】

マーケティングとして、商品を販売する店舗や自動販売機等では、販売状況を把握するため、販売されている商品の商品情報を収集する活動が行われている。店舗や自動販売機は多数存在するため、この商品情報の収集を人手で行う場合、作業コストや作業時間がかかってしまうという問題があった。そのため、このような商品情報の収集をカメラで撮影した画像を用いて自動的に行う方法が求められている。

【0003】

特許文献１には、撮影した画像データと、予め記憶された複数の物品の画像データとを照合する装置が記載されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１４−４４４８０号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

例えば、管理していない自動販売機等に対し、販売されている商品および該商品の価格といった商品情報の収集を自動的に行う場合、該自動販売機を撮影した画像を用いて、商品情報の収集を行うことが考えられる。

【0006】

しかしながら、特許文献１の技術では、商品そのものに記載されている文字情報を読み取るにとどまるため、例えば、自動販売機のように商品そのものには該商品の価格が記載されてない場合には、該商品の価格を自動的に収集できない。

【0007】

また、特許文献１の技術では、商品の部分特徴情報に含まれる属性情報として、該商品の価格がデータベースに予め登録されており、この属性情報を物品の照合対象としている。このように、特許文献１の技術では、商品を照合するための情報として、商品の価格を収集している。しかしながら、照合が行われた商品が売られている価格を収集することについては開示されていない。したがって、特許文献１の技術を用いて、管理していない自動販売機等で販売されている商品の価格等の情報の収集を行うことは難しい。

【0008】

本発明は、上記問題に鑑みてなされたものであり、その目的は、販売されている商品の商品情報を、より好適に収集可能な技術を提供することにある。

【課題を解決するための手段】

【0009】

上記課題を解決するために、本発明の一態様に係る自動販売機認識装置は、自動販売機を撮影した撮影画像を受信する受信手段と、前記撮影画像から商品を認識し、当該認識された商品の画像領域の周辺の画像領域から前記商品の価格を認識する認識手段と、を備える。

【0010】

また、本発明の一態様に係る商品棚認識装置は、商品が陳列された商品棚を撮影した撮影画像を受信する受信手段と、前記撮影画像から商品を認識し、当該認識された商品の画像領域の周辺の画像領域から前記商品の価格を認識する認識手段と、を備える。

【0011】

また、本発明の一態様に係る自動販売機認識方法は、自動販売機を撮影した撮影画像を受信し、前記撮影画像から商品を認識し、当該認識された商品の画像領域の周辺の画像領域から前記商品の価格を認識する。

【0012】

また、本発明の一態様に係る画像処理装置は、陳列された商品を示す物体を撮影した撮影画像を受信する受信手段と、該撮影画像から所定の商品を認識し、当該認識された商品の画像領域の周辺の画像領域から、前記商品に関連する情報を認識する認識手段と、を備える。

【0013】

なお、上記各装置または方法を、コンピュータによって実現するコンピュータプログラム、およびそのコンピュータプログラムが格納されている、コンピュータ読み取り可能な記録媒体も、本発明の範疇に含まれる。

【発明の効果】

【0014】

本発明によれば、販売されている商品の商品情報を、より好適に収集することができる。

【図面の簡単な説明】

【0015】

【図1】本発明の第１の実施の形態に係る自動販売機認識装置の機能構成の一例を示す機能ブロック図である。

【図2】本発明の第１の実施の形態に係る自動販売機認識装置が受信する撮影画像の一例を説明するための図である。

【図3】本発明の第１の実施の形態において、認識対象領域を説明するための図である。

【図4】本発明の第１の実施の形態に係る自動販売機認識装置の動作の流れの一例を示すフローチャートである。

【図5】本発明の第１の実施の形態における付随情報認識部の動作の一例を説明するための図である。

【図6】本発明の第２の実施の形態に係る自動販売機認識装置の機能構成の一例を示す機能ブロック図である。

【図7】本発明の第３の実施の形態に係る商品棚認識装置の機能構成の一例を示す機能ブロック図である。

【図8】本発明の第３の実施の形態における認識部の動作を説明するための図である。

【図9】本発明の第４の実施の形態に係る画像処理装置の機能構成の一例を示す機能ブロック図である。

【図10】本発明の各実施の形態を実現可能なコンピュータ（情報処理装置）のハードウェア構成を例示的に説明する図である。

【発明を実施するための形態】

【0016】

＜第１の実施の形態＞
本発明の第１の実施の形態について、図面を参照して詳細に説明する。本実施の形態では、販売されている商品（物品）を説明するための情報であって、該商品に関連付けられた情報を商品情報と呼ぶ。商品情報は、例えば、商品名等の商品を識別する識別情報と、該商品に関連付けられた付随情報とを含む。商品の付随情報は、例えば、商品の価格、商品が販売されている状況（販売状況）を示す情報等を含む。商品の販売状況を示す情報とは、例えば、該商品が冷たい商品なのか暖かい商品なのかを示す情報である。なお、商品の付随情報はこれに限定されるものではなく、商品が販売中か売り切れかを示す情報を含んでもよい。この商品の販売状況を示す情報とは、文字列であってもよいし、色であってもよいし、形であってもよい。

【0017】

図１を参照して本実施の形態に係る自動販売機認識装置について説明する。図１は、本実施の形態に係る自動販売機認識装置１００の機能構成の一例を示す機能ブロック図である。図１に示す通り、自動販売機認識装置１００は、受信部１１０と、商品認識部１２０と、設定部１３０と、付随情報認識部（単に、認識部とも呼ぶ）１４０と、を備えている。また、自動販売機認識装置１００は、更に、記憶部１６０を備えてもよい。なお、図１に示す自動販売機認識装置１００は、本実施の形態に特有な構成について示したものであり、図１に示す自動販売機認識装置１００が図１に示されていない部材を有していてもよいことは言うまでもない。また、図面中の矢印の方向は、一例を示すものであり、ブロック間の信号の向きを限定するものではない。以降に参照する、他のブロック図においても同様に、図面中の矢印の方向は、一例を示すものであり、ブロック間の信号の向きを限定するものではない。

【0018】

受信部１１０は、商品の認識を行う対象となる自動販売機を撮影した撮影画像を受信する手段である。撮影画像は、例えば、カメラ等の撮像装置によって撮影された画像である。

【0019】

受信部１１０は、この撮影画像を、例えば、撮像装置から受信する。なお、受信部１１０が撮影画像を受信する方法は、特に限定されない。例えば、受信部１１０は、自動販売機認識装置１００にＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）ケーブル等を用いて接続された撮像装置から、撮影画像を受信するものであってもよい。また、例えば、受信部１１０は、撮影画像を、自動販売機認識装置１００とネットワークを介して接続された撮像装置から、撮影画像を受信するものであってもよい。

【0020】

また、受信部１１０は、例えば、撮影画像が蓄積された記憶装置等から、撮影画像を受け取ってもよい。なお、受信部１１０は、撮影画像と共に、該撮影画像が撮影された位置を示す位置情報を受信してもよい。

【0021】

本実施の形態において、撮影の対象となる自動販売機は、複数の商品を示す物体（例えば、商品の見本）が陳列される棚を筐体の前面の透明なパネルに有したものであってもよい。また、本実施の形態において、撮影の対象となる自動販売機は、複数の商品を示す画像がディスプレイに表示されたものであってもよい。自動販売機が、販売する商品を示す方法は、特に限定されるものではない。

【0022】

図２に、本実施の形態で使用する撮影画像の一例を示す。図２は、本実施の形態に係る自動販売機認識装置が受信する撮影画像の一例を説明するための図である。図２に示す通り、撮影画像には、複数の商品見本２１の画像が含まれる。また、撮影画像には、各商品見本２１に紐付けられた、例えば、該商品見本２１によって特定される商品の価格等を示す部分（２１１）の画像と、該商品を購入するためのボタン（２１２）の画像と、が含まれる。ここで、商品見本２１は、この商品見本２１が含まれる自動販売機で販売している商品を示すものである。以下では、商品見本２１の画像を、商品画像とも呼ぶ。また、図２において、各商品見本２１内のアルファベットは、商品名を表しているとする。

【0023】

なお、本実施の形態では、撮影画像は、図２に示すような、１つの自動販売機を撮影した画像であるとするが、複数の自動販売機を撮影したものであってもよい。また、撮影画像は、１つの自動販売機の一部を撮影したものであってもよい。

【0024】

受信部１１０は、受信した撮影画像を、商品認識部１２０に供給する。

【0025】

記憶部１６０には、撮影画像内に含まれる商品見本２１によって示される商品を認識するための情報が格納されている。具体的には、記憶部１６０には、商品または商品見本の画像、および／または、商品または商品見本の画像に含まれる特徴量が、商品を識別する情報（例えば、商品を識別するための識別子、商品名等）に紐付けられて、格納されている。なお、記憶部１６０に格納される情報は、商品を認識するために必要な情報であればよい。

【0026】

また、記憶部１６０には、文字認識の際に使用する文字データが格納されている。この文字データは、フォントごとに格納されている。後述する付随情報認識部１４０は、この文字データと抽出した文字情報とを照合することにより、文字認識を行う。なお、記憶部１６０に記憶される文字データは文字認識の際に使用するデータであればよく、その種類は特に限定されない。

【0027】

また、記憶部１６０には、商品の認識を行う対象となる自動販売機（撮影対象である自動販売機）の条件に関する情報が格納されてもよい。以降、商品の認識を行う対象となる自動販売機を対象自動販売機と呼ぶ。また、自動販売機の条件に関する情報を自動販売機条件情報とも呼ぶ。自動販売機条件情報は、例えば、上記自動販売機で取り扱う商品の価格に関する条件を示す情報や、商品見本２１の下に該商品見本２１で示される商品の価格を示す文字列があるという条件に関する情報等を含むものであってもよい。なお、自動販売機条件情報はこれに限定されるものではなく、記憶部１６０は、自動販売機が設置された位置を示す情報等が含まれるものであってもよい。なお、この位置を示す情報は、受信部１１０が受信したものであってもよい。

【0028】

なお、商品を認識するための情報、文字データ、および、自動販売機条件情報は、同じ記憶装置（例えば、記憶部１６０）に格納されるものであってもよいし、夫々、異なる記憶装置に格納されるものであってもよい。

【0029】

また、記憶部１６０は、自動販売機認識装置１００内に内蔵されるものであってもよいし、自動販売機認識装置１００とは別個の記憶装置によって実現されるものであってもよい。

【0030】

商品認識部１２０は、受信部１１０から撮影画像を受信する。商品認識部１２０は、受信した撮影画像から、記憶部１６０に格納された、商品を認識するための情報を参照し、該撮影画像に含まれる被写体（本実施の形態では商品見本２１）を認識する。これにより、商品認識部１２０は、商品の認識対象となる自動販売機で販売されている商品を認識する。

【0031】

このとき、商品認識部１２０は、撮影画像から、商品見本２１の画像が含まれる局所領域を切り出し、該切り出した局所領域から抽出した複数の特徴量を用いて、商品を認識してもよい。また、商品認識部１２０は、撮影画像から、商品画像が含まれる局所領域を切り出すことなく、撮影画像から抽出した複数の特徴量を用いて、商品を認識してもよい。商品認識部１２０が商品を認識する方法は特に限定されない。

【0032】

図２において、各商品見本２１を囲った破線の枠（商品画像領域２２）は、商品認識部１２０が認識した商品見本２１の画像領域を示している。商品認識部１２０は、認識した商品を示す情報（例えば、商品名）と、該商品に対応付けられた商品見本２１の商品画像領域２２を示す画像領域情報と、を認識結果として設定部１３０に出力する。ここで、画像領域情報とは、例えば、撮影画像内における商品見本２１の商品画像領域２２の位置情報である。このとき、商品認識部１２０は、認識結果と共に、商品の認識を行った撮影画像を設定部１３０に出力する。

【0033】

設定部１３０は、商品認識部１２０から認識結果と撮影画像とを受信する。設定部１３０は、撮影画像上において、受信した画像領域情報によって示される商品画像領域２２の周辺の画像領域を、商品画像領域２２に対応付けられた商品の価格の認識を行う領域（認識対象領域２３と呼ぶ）として設定する。なお、この認識対象領域２３は、この領域から商品の価格を示す文字列を探索する領域であるため、探索領域とも呼ぶ。

【0034】

設定部１３０が設定する認識対象領域２３について、図３を参照して説明する。図３は、図２に示した撮影画像の一部を拡大した画像の一例であり、認識対象領域を説明するための図である。設定部１３０は、商品画像領域２２の周辺の画像領域を認識対象領域２３として設定する。このとき、設定部１３０は、所定の条件に基づいて、認識対象領域２３を設定することが好ましい。この所定の条件とは、例えば、記憶部１６０に格納された自動販売機条件情報である。例えば、自動販売機条件情報が、商品見本２１の下に該商品見本２１で示される商品の価格等の付随情報を示す情報（例えば、文字列）があるという条件を示す情報の場合について説明する。このとき、設定部１３０は、この条件に基づいて、図３に示す通り、商品画像領域２２の下の領域である、一点鎖線で囲った領域を、認識対象領域２３として設定する。これにより、設定部１３０は、商品見本２１によって示される商品の付随情報を認識する領域を絞り込むことができる。

【0035】

そして、設定部１３０は、設定した認識対象領域２３の画像を、該認識対象領域２３において価格を認識する商品を示す情報と関連付けて、付随情報認識部１４０に出力する。設定部１３０が認識対象領域２３の画像と関連付ける商品を示す情報は、該設定部１３０が認識結果として、商品認識部１２０から受信した情報である。

【0036】

付随情報認識部１４０は、設定部１３０から、商品認識部１２０が認識した商品を示す情報と、該商品を示す情報に関連付けられた、認識対象領域２３の画像とを受信する。そして、付随情報認識部１４０は、該認識対象領域２３の画像内に含まれる、商品の付随情報の認識を行う。ここでは、商品の付随情報として、該商品の価格を挙げて説明する。

【0037】

付随情報認識部１４０は、認識されたある商品に関連付けられた認識対象領域２３の画像を用いて、該商品の価格を認識する。具体的には、付随情報認識部１４０は、認識対象領域２３の画像から文字候補を抽出する。そして、付随情報認識部１４０は抽出した文字候補と、記憶部１６０に格納された文字データとを照合することにより、文字認識を行う。そして、付随情報認識部１４０は、該文字認識結果と、文字認識を行った認識対象領域２３の画像に関連付けられた商品を示す情報とを関連付ける。つまり、付随情報認識部１４０は、受信した商品を示す情報によって示される商品の価格を認識し、該商品と、文字認識結果である価格とを関連付ける。

【0038】

これにより、自動販売機認識装置１００は、販売されている商品と商品の価格といった商品情報を、より好適に収集することができる。なお、付随情報認識部１４０は、互いに関連付けた商品および商品の価格を示す情報を、自動販売機認識装置１００の外部に出力してもよいし、記憶部１６０に格納してもよい。

【0039】

また、図３に示す通り、価格を示す文字列に含まれる文字は、例えば、「１６０」のように、横一列に並んで配置されている。したがって、付随情報認識部１４０は、数字として認識された文字が、この列に含まれない場合、この認識された文字を、価格を示す文字ではないと判定することが好ましい。

【0040】

例えば、付随情報認識部１４０は、価格を示す文字列（ここでは、「１６０円」を例に挙げる）に含まれる各数字を、「１」、「６」、「０」と認識したとする。このとき、この「１」、「６」、「０」は、横一列に連続して並んだ数字の集まりである。そのため、付随情報認識部１４０は、この認識した数字である「１」、「６」、「０」を、価格を示す文字列を構成する文字であると認識する。

【0041】

更に、付随情報認識部１４０が、冷たい飲み物であることを示す「ＣＯＬＤ」の「Ｏ」や「Ｄ」を「０（ゼロ）」と認識したとする。このとき、「０」と認識された文字「Ｏ」および「Ｄ」は、横一列に連続して並んだ数字ではない。また、この「Ｏ」および「Ｄ」は、「１６０」を成す列（所定の列）には含まれない。したがって、付随情報認識部１４０は、この「０」と認識された文字（「Ｏ」および「Ｄ」）は、誤認識された文字であると判定する。

【0042】

以上により、付随情報認識部１４０は、「１６０」を構成する「１」、「６」、「０」からなる文字列を、商品の価格であると認識する。

【0043】

また、価格表記には「￥１００」や「１２０円」といったように、記載された数字が価格であることを示すキーシンボル（上述の例では「￥」や「円」）が、価格を構成する数字の周辺に含まれていることが多い。付随情報認識部１４０は、この情報を使って、例えば、「￥」（または「円」）の右側（または左側）に連続する領域に記載されている数字列を商品の価格として認識する処理（価格認識処理）を行ってもよい。

【0044】

例えば、付随情報認識部１４０は、認識対象領域２３の中からキーシンボルを認識する。そして、付随情報認識部１４０は、キーシンボルの右側（もしくは左側）領域を更に認識対象領域として限定して、該限定した認識対象領域に対し、上記価格認識処理を行ってもよい。

【0045】

また、例えば、付随情報認識部１４０は、予め、認識対象領域２３の中に含まれる（キーシンボルを含む）文字をすべて認識する。そして、この文字認識結果にキーシンボルが含まれていた場合に、付随情報認識部１４０は、該キーシンボルの右側（もしくは左側）に存在する文字認識結果に基づき価格を判定してもよい。

【0046】

また、付随情報認識部１４０は、文字の並びに関する情報を文字認識結果に反映させてもよい。例えば、自動販売機の各商品の価格を構成する数字（例えば、「￥１３０」という価格表記の場合は「１」、「３」、「０」）の高さはほぼ一定であることが多い。そのため、付随情報認識部１４０は、認識された文字の高さの一貫性を、価格認識処理における指標の一つとして考慮してもよい。

【0047】

また、付随情報認識部１４０は、価格を構成する文字が並んでいる列の情報を使って、価格認識処理を行ってもよい。価格を構成する文字は、横方向に等間隔で並んでいることが多い。例えば、「１００」の価格と、「１３０」の価格とが記載されている場合、この「１００」と「１３０」との間隔は、「１００」を構成する「１」、「０」および「０」の各文字の間隔より大きい。したがって、付随情報認識部１４０は、認識した複数の数字において、横方向の文字間隔を算出し、等間隔で並んでいる文字列が商品の価格として認識されるように、制御してもよい。このように、付随情報認識部１４０は、横方向の文字間隔を、価格認識処理における指標の一つとして考慮してもよい。

【0048】

また、付随情報認識部１４０は、文字認識の類似度（信頼度）または相違度を計算し、該信頼度または相違度を価格の判定に用いてもよい。例えば、付随情報認識部１４０が価格を構成する２以上の文字列を認識した場合について説明する。このとき、付随情報認識部１４０は、この文字列ごとに、該文字列に含まれる複数の数字の夫々に対して、信頼度（または相違度）を算出する。そして、付随情報認識部１４０は、ある文字列に含まれる複数の数字の夫々に対して算出された信頼度（または相違度）の平均値を、該文字列に対する信頼度（または相違度）として、設定する。同様に、付随情報認識部１４０は、他の文字列に対しても、この他の文字列に含まれる複数の数字の夫々に対して算出された信頼度（または相違度）の平均値を、該他の文字列に対する信頼度（または相違度）として、設定する。そして、付随情報認識部１４０は、上記価格を構成する２以上の文字列のうち、設定された信頼度（または相違度）が最大（最小）となる文字列を、関連する商品の価格として、認識してもよい。

【0049】

これにより、付随情報認識部１４０は、より精度よく商品の価格を認識することができる。

【0050】

（自動販売機認識装置１００の動作の流れについて）
次に、図４を参照して、本実施の形態に係る自動販売機認識装置１００の動作の流れについて説明する。図４は、本実施の形態に係る自動販売機認識装置１００の動作の流れの一例を示すフローチャートである。

【0051】

まず、受信部１１０が撮影画像を受信する（ステップＳ１）。そして、商品認識部１２０が、ステップＳ１で受信部１１０が受信した撮影画像に含まれる商品を認識する（ステップＳ２）。

【0052】

そして、設定部１３０が、商品認識部１２０が認識した商品の各々に対し、該商品の認識対象領域２３を設定する（ステップＳ３）。そして、付随情報認識部１４０が、ステップＳ３にて、商品毎に設定された認識対象領域２３内において、その認識対象領域２３に対応付けられた商品の価格を認識する（ステップＳ４）。

【0053】

そして、付随情報認識部１４０は、ステップＳ４で認識した価格と、ステップＳ２で商品認識部１２０によって認識された商品とを対応付ける（ステップＳ５）。以上の処理により、自動販売機認識装置１００は、撮影画像から、自動販売機で販売されている商品の商品情報を収集することができる。

【0054】

なお、認識対象領域２３が、商品見本２１の下に該商品見本２１で示される商品の価格等の付随情報を示す情報があるという条件に基づいて、設定されている場合について説明する。この場合、付随情報認識部１４０は、該認識対象領域２３における文字認識の閾値を、文字認識が行われるまで下げて、文字認識を行ってもよい。ここで、文字認識の閾値とは、付随情報認識部１４０が文字を認識する際に、文字データに含まれる文字と認識対象の文字とが同一であると認識するか否かの境界の値であって、認識の類似度の値である。これにより、自動販売機認識装置１００は、より確実に商品の価格を収集することができる。

【0055】

また、付随情報認識部１４０は、自動販売機で販売されている商品の価格に関する情報に基づいて、商品の価格を認識してもよい。自動販売機で販売されている商品は、一桁目が「０」であることが一般的である。したがって、付随情報認識部１４０は、このような商品の価格に関する情報に基づいて、文字認識を行い、一桁目が「０」以外の数を認識した場合、この認識結果は誤認識であると判定する。そして、付随情報認識部１４０は、再度、文字認識を行う。このとき、付随情報認識部１４０は、文字認識を行う際に設定される認識パラメータを変更してもよい。

【0056】

なお、商品の価格に関する情報とは、上記に限定されるものではなく、例えば、自動販売機で販売されている商品の価格帯（上限価格および下限価格等）を示す情報であってもよい。このとき、付随情報認識部１４０は、この価格帯に含まれない価格を認識した場合、該認識結果は誤認識であると判定し、再度文字認識を行う。

【0057】

また、商品の価格に関する情報は、桁数を示す情報であってもよい。例えば、飲料を販売する自動販売機の価格部分（数字部分）の文字列（キーシンボルを除く）は２桁または３桁であることが多い。そのため、付随情報認識部１４０は、このような商品の価格に関する情報に基づいて、文字認識を行い、認識結果に含まれる桁数が２桁または３桁となるような、認識対象領域２３を限定（もしくは文字認識結果を選択）してもよい。これにより、付随情報認識部１４０は、商品の商品情報の認識の精度を上げることができる。

【0058】

また、自動販売機は、同じ商品名の商品を複数並べて販売している場合もある。同じ商品名の商品は同じ価格で販売されている。したがって、付随情報認識部１４０は、撮影画像に、同じ商品名の商品が複数含まれる場合、撮影画像に含まれる商品の夫々に対して認識した価格のうち、同じ商品名の商品に対する価格が同じになるように、前記商品の価格を認識する。

【0059】

例えば、図２において、商品名がＡの商品（商品Ａと呼ぶ）は３つ販売されている。そして、付随情報認識部１４０がこの商品Ａの夫々の価格を「１６０円」、「１５０円」、「１６０円」と認識したとする。この場合、付随情報認識部１４０は、３つの商品Ａの価格が全て同じになるまで、認識パラメータを変更しながら、文字認識処理を繰り返してもよい。また、付随情報認識部１４０は、認識された結果が多いものを、商品の価格として決定してもよい。例えば、上述した例の場合、商品Ａの価格として、「１６０円」と認識された数は２つであり、「１５０円」と認識された数は１つである。したがって、付随情報認識部１４０は、認識された数が多い「１６０円」を商品Ａの価格と認識してもよい。また、付随情報認識部１４０は、認識結果の確からしさを示す認識スコアの高い結果を、この商品の価格と認識してもよい。これにより、自動販売機認識装置１００は、商品情報の認識精度をより高めることができる。

【0060】

また、付随情報認識部１４０は、認識された商品の画像領域の周辺の画像領域から商品の販売状況を更に認識することが好ましい。自動販売機において、販売されている商品は、冷たい商品であることを示す情報（図３では「ＣＯＬＤ」という文字列）または温かい商品であることを示す情報が付随されていることが多い。また、商品が販売中か、売り切れかを示す情報が付随されていることがある。付随情報認識部１４０は、このような商品の販売状況を示す文字列、色、形状等を認識する。そして、付随情報認識部１４０は、認識した結果を付随情報として、関連する商品を示す情報に関連付ける。

【0061】

これにより、自動販売機認識装置１００は、より多くの商品情報を収集することができる。

【0062】

また、例えば、商品の価格を示すラベルが、他のラベルとは異なる様態で設けられている場合がある。この場合、付随情報認識部１４０は、この商品の価格が他の商品とは異なる様態で設けられていることを示す情報を商品情報として認識することが好ましい。これについて、図５を参照して説明する。

【0063】

図５は、図２に示した撮影画像の一部を拡大した画像の一例であり、付随情報認識部１４０の動作を説明するための図である。図５に示す通り商品Ｇおよび商品Ｈは、１２０円で販売されている。また、商品Ｉは１００円で販売されており、この「１００円」を示すラベルは、商品Ｇおよび商品Ｈの価格を示すラベルである「１２０円」とは異なる様態で設けられている。また、商品Ｉの価格を示す文字列は、商品ＧおよびＨの価格を示す文字列と異なる様態で記載されている。ここで、文字列の様態とは、フォントの種類やフォントサイズを示す。

【0064】

付随情報認識部１４０は、商品の価格を示す文字列の様態が、他の商品の価格を示す文字列の様態と同じか否かを認識する。例えば、商品Ｉに対しては、付随情報認識部１４０は、該商品Ｉの文字列の様態が、他の商品の価格を示す文字列の様態とは異なると認識する。そして、付随情報認識部１４０は、この異なる様態であることを示す情報を、該商品の付随情報（商品情報）として、該商品を示す情報に関連付ける。

【0065】

これにより、自動販売機認識装置１００は、例えば、意図的に値下げされた商品であることを示す情報や、売出し中の商品であることを示す情報を、収集することができる。

【0066】

なお、図２および図３に示す通り、自動販売機において、商品の価格を表示している部分は、列をなすように配置されていることが一般的である。設定部１３０は、この情報に基づいて、撮影画像から、商品の価格を示す部分からなる列の部分を抽出する。そして、設定部１３０は、撮影画像の中の、ある商品の商品画像領域２２の周辺の画像領域のうち該抽出した列の部分に含まれる領域を、該商品の認識対象領域２３として設定する。

【0067】

言い換えれば、設定部１３０は、各商品に対する認識対象領域２３が、所定の列をなすように、商品毎に認識対象領域２３を設定すると言える。このように設定部１３０が認識対象領域２３を設定することにより、付随情報認識部１４０は、より小さい領域の中から文字認識を行う。これにより、付随情報認識部１４０は、少ない演算量で、文字認識を行うことができる。また、文字認識を行う領域が小さくなることにより、余分な情報が減るため、付随情報認識部１４０は、価格が表示された領域以外の領域において、価格を示す文字列を認識するという誤認識を減らすことができる。

【0068】

また、付随情報認識部１４０は、上記列の部分に含まれる領域の認識対象領域２３を、例えば、２値化して、該認識対象領域２３に含まれる文字列をより精度よく抽出してもよい。これにより、付随情報認識部１４０は、文字認識の精度をより高めることができる。

【0069】

また、設定部１３０は、付随情報認識部１４０が、商品の販売状況を示す情報を、この認識対象領域２３から認識できるように、認識対象領域２３を設定してもよい。また、設定部１３０は、認識対象領域２３を、商品の価格が表示された領域と、商品の販売状況を示す領域とに分けて設定してもよい。これにより、自動販売機認識装置１００は、商品情報の収集の精度をより高めることができる。

【0070】

また、付随情報認識部１４０は、認識された商品を示す情報の付随情報として該商品が販売されている自動販売機が設置された位置を示す情報を含めてもよい。

【0071】

以上のように、自動販売機認識装置１００は、販売されている商品の商品情報を、より好適に収集することができる。したがって、本実施の形態に係る自動販売機認識装置１００によれば、商品のマーケティングにより有用な情報を収集することができる。

【0072】

＜第２の実施の形態＞
本発明の第２の実施の形態について説明する。本実施の形態では、本発明の課題を解決する最小の構成について説明を行う。

【0073】

図６は、本実施の形態に係る自動販売機認識装置２００の機能構成の一例を示す機能ブロック図である。本実施の形態に係る自動販売機認識装置２００は、図６に示す通り、受信部２１０と、認識部２４０とを備えている。

【0074】

受信部２１０は、上述した第１の実施の形態に係る自動販売機認識装置１００の受信部１１０に相当する。具体的には、受信部２１０は、陳列された物体であって、商品を示す物体を撮影した撮影画像を受信する手段である。ここで、商品を示す物体とは、例えば、商品そのものまたは商品の見本等である。受信部２１０は、上述した受信部１１０と同様に、撮像装置から直接またはネットワークを介して、撮影画像を受信してもよいし、撮影画像が蓄積された記憶装置等から、撮影画像を受け取ってもよい。

【0075】

受信部２１０は、受信した撮影画像を認識部２４０に供給する。

【0076】

認識部２４０は、受信部２１０から撮影画像を受信する。認識部２４０は、該撮影画像に含まれる商品を認識する。そして、認識部２４０は、認識された商品の画像領域の周辺の画像領域から、該商品の価格を認識する。

【0077】

これにより、本実施の形態に係る自動販売機認識装置２００は、第１の実施の形態に係る自動販売機認識装置１００と同様に、販売されている商品の価格といった該商品の商品情報を、より好適に収集することができる。

【0078】

＜第３の実施の形態＞
次に、本発明の第３の実施の形態に係る商品棚認識装置について説明する。第１および第２の実施の形態では、自動販売機で販売されている商品の商品情報を収集することについて説明したが、これに限定されるものではない。本実施の形態では、例えば、店舗の商品棚に陳列された商品の商品情報を収集することについて説明を行う。

【0079】

図７は、本実施の形態に係る商品棚認識装置３００の機能構成の一例を示す機能ブロック図である。本実施の形態に係る商品棚認識装置３００は、図７に示す通り、受信部３１０と、認識部３４０とを備えている。

【0080】

受信部３１０は、商品が陳列された陳列棚を撮影した撮影画像を受信する手段である。受信部３１０は、上述した受信部１１０と同様に、撮像装置から直接またはネットワークを介して、撮影画像を受信してもよいし、撮影画像が蓄積された記憶装置等から、撮影画像を受け取ってもよい。受信部３１０は、受信した撮影画像を認識部３４０に供給する。

【0081】

認識部３４０は、受信部３１０から撮影画像を受信する。認識部３４０は、該撮影画像から、該撮影画像に含まれる商品を認識する。そして、認識部３４０は、認識された商品の画像領域の周辺の画像領域から、該商品の価格を認識する。

【0082】

ここで、図８を参照して、認識部３４０の動作の一例について説明する。図８は、本実施の形態に係る商品棚認識装置３００の認識部３４０の動作の一例を説明するための図である。認識部３４０は、受信部３１０から、図８に示すような撮影画像を受信する。

【0083】

店舗の商品棚に陳列された商品のうち、同じ商品名の商品に対する価格を示すラベルは、該商品が陳列された位置毎に設けられている場合もあるし、同じ商品名の商品に対して、まとめて設けられている場合もある。本実施の形態の形態では、後者を例に説明を行う。

【0084】

図８に示す通り、複数の商品が陳列棚に陳列されており、同じ商品名の商品に対しては１つの価格を示すラベルが設けられているとする。認識部３４０は、まず、該撮影画像から、該撮影画像に含まれる商品を認識する。図８では、認識部３４０が撮影画像上において認識された各商品の画像領域を破線で囲って示している。

【0085】

そして、認識部３４０は、同じ商品名の商品の画像領域を、図８において２点破線で囲って示す通り、１つの商品画像領域２２とする。そして、認識部３４０はこの商品画像領域２２の周辺の画像領域から、該商品の価格を認識する。このとき、認識部３４０は、第１の実施の形態における設定部１３０と同様に、商品の価格を認識するための認識対象領域２３を、設定してもよい。図８では、認識部３４０が設定した認識対象領域２３の例を一点鎖線で囲って示している。このように、認識部３４０は、認識対象領域２３から関連する商品の価格を認識することが好ましい。

【0086】

なお、同じ商品名の商品には、価格を示すラベルが１つだけ設けられていることを示す情報は、例えば、商品棚情報として、第１の実施の形態において説明した記憶部１６０のような記憶装置に格納されるものであってもよい。また、商品棚情報は、第１の実施の形態において説明した自動販売機条件情報と同様に、商品棚で販売されている商品の価格に関する条件を示す情報や、商品の下に該商品の価格を示す文字列があるという条件に関する情報等を含むものであってもよい。そして、認識部３４０は、この情報に基づいて、認識処理を行ってもよい。

【0087】

このように、商品棚認識装置３００は、上述した第１の実施の形態に係る自動販売機認識装置１００が有する機能と同様の機能を有してもよい。

【0088】

また、商品の商品画像領域２２の周辺の画像領域に該商品を説明するＰＯＰ（Ｐｏｉｎｔ ｏｆ ｐｕｒｃｈａｓｅ）広告等が含まれている場合、認識部３４０は、このＰＯＰ広告を認識する。そして、認識部３４０は、ＰＯＰ広告が設けられていることを示す情報、および／またはＰＯＰ広告の内容を示す情報を、関連する商品の商品情報として認識する。これにより、商品棚認識装置３００は、撮影画像から、認識した商品にＰＯＰ広告が設けられているという商品情報を収集することができる。

【0089】

これにより、本実施の形態に係る商品棚認識装置３００は、上述した自動販売機認識装置と同様に、陳列された（販売されている）商品の商品情報を、より好適に収集することができる。

【0090】

＜第４の実施の形態＞
次に、本発明の第４の実施の形態に係る画像処理装置について説明する。本実施の形態に係る画像処理装置は、上述した第１および第２の実施の形態に係る自動販売機認識装置（１００、２００）および第３の実施の形態に係る商品棚認識装置３００の基本となる装置である。図９は、本実施の形態に係る画像処理装置４００の機能構成の一例を示す機能ブロック図である。本実施の形態に係る画像処理装置４００は、図９に示す通り、受信部４１０と、認識部４４０とを備えている。

【0091】

受信部４１０は、陳列された物体であって、商品を示す物体を撮影した撮影画像を受信する手段である。ここで、商品を示す物体とは、例えば、商品そのものまたは商品の見本等である。受信部４１０は、上述した受信部１１０と同様に、撮像装置から直接またはネットワークを介して、撮影画像を受信してもよいし、撮影画像が蓄積された記憶装置等から、撮影画像を受け取ってもよい。

【0092】

この撮影画像は、自動販売機を撮影した画像であってもよいし、例えば、店舗内の陳列棚を撮影した画像であってもよい。受信部４１０は、受信した撮影画像を認識部４４０に供給する。

【0093】

認識部４４０は、受信部４１０から撮影画像を受信する。認識部４４０は、該撮影画像から、該撮影画像に含まれる商品を認識する。そして、認識部４４０は、認識された商品の画像領域の周辺の画像領域から、該商品の付随情報を認識する。ここで、商品の付随情報とは、商品に関連付けられた情報であり、例えば、商品の価格、商品が販売されている状況を示す情報等を含んだ情報である。第１の実施の形態において上述したとおり、本実施の形態における付随情報とは、商品情報の一例である。

【0094】

なお、本実施の形態に係る画像処理装置４００は、上述した第１の実施の形態に係る自動販売機認識装置１００が有する機能と同様の機能を有するものであってもよい。

【0095】

これにより、本実施の形態に係る画像処理装置４００は、上述した自動販売機認識装置および商品棚認識装置と同様に、販売されている商品の商品情報を、より好適に収集することができる。

【0096】

＜ハードウェアの構成例＞
ここで、上述した各実施の形態に係る自動販売機認識装置（１００、２００）、商品棚認識装置３００および画像処理装置４００を実現可能なハードウェアの構成例について説明する。上述した自動販売機認識装置（１００、２００）、商品棚認識装置３００および画像処理装置４００は、専用の装置として実現してもよいが、コンピュータ（情報処理装置）を用いて実現してもよい。

【0097】

図１０は、本発明の各実施の形態を実現可能なコンピュータ（情報処理装置）のハードウェア構成を例示する図である。

【0098】

図１０に示した情報処理装置（コンピュータ）１０のハードウェアは、以下に示す部材を備える。
・ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１、
・通信インタフェース（Ｉ／Ｆ）１２、
・入出力ユーザインタフェース１３、
・ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１４、
・ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１５、
・記憶装置１７、及び
・コンピュータ読み取り可能な記憶媒体１９のドライブ装置１８。
また、これらはバス１６を介して接続されている。入出力ユーザインタフェース１３は、入力デバイスの一例であるキーボードや、出力デバイスとしてのディスプレイ等のマンマシンインタフェースである。通信インタフェース１２は、上述した各実施の形態に係る装置（図１、図６、図７および図９）が、外部装置と、通信ネットワーク２０を介して通信するための一般的な通信手段である。係るハードウェア構成において、ＣＰＵ１１は、各実施の形態に係る自動販売機認識装置（１００、２００）、商品棚認識装置３００および画像処理装置４００を実現する情報処理装置１０について、全体の動作を司る。

【0099】

上述した各実施の形態は、例えば、上記各実施の形態において説明した処理を実現可能なプログラム（コンピュータプログラム）を、図１０に示す情報処理装置１０に対して供給した後、そのプログラムを、ＣＰＵ１１に読み出して実行することによって実現される。なお、係るプログラムは、例えば、上記各実施の形態の説明において参照したフローチャート（図４）に記載した各種処理や、或いは、図１、図６、図７および図９に示したブロック図において当該装置内に示した各部（各ブロック）を実現可能なプログラムであってもよい。

【0100】

また、情報処理装置１０内に供給されたプログラムは、読み書き可能な一時記憶メモリ（１５）またはハードディスクドライブ等の不揮発性の記憶装置（１７）に格納されてもよい。即ち、記憶装置１７において、プログラム群１７Ａは、例えば、上述した各実施の形態における自動販売機認識装置（１００、２００）、商品棚認識装置３００および画像処理装置４００内に示した各部の機能を実現可能なプログラムである。また、各種の記憶情報１７Ｂは、例えば、上述した各実施の形態における撮影画像、自動販売機の位置情報、商品を認識するための情報、文字データ、自動販売機条件情報、商品情報等である。ただし、情報処理装置１０へのプログラムの実装に際して、個々のプログラム・モジュールの構成単位は、ブロック図（図１、図６、図７および図９）に示した各ブロックの区分けには限定されず、当業者が実装に際して適宜選択してよい。

【0101】

また、前記の場合において、当該装置内へのプログラムの供給方法は、以下のような現在では一般的な手順を採用することができる。
・ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）−ＲＯＭ、フラッシュメモリ等のコンピュータ読み取り可能な各種の記録媒体（１９）を介して当該装置内にインストールする方法、
・インターネット等の通信回線（２０）を介して外部よりダウンロードする方法。
そして、このような場合において、本発明の各実施の形態は、係るコンピュータプログラムを構成するコード（プログラム群１７Ａ）或いは係るコードが格納された記憶媒体（１９）によって構成されると捉えることができる。

【0102】

以上、本発明を、上述した模範的な実施の形態に適用した例として説明した。しかしながら、本発明の技術的範囲は、上述した各実施の形態に記載した範囲には限定されない。当業者には、係る実施の形態に対して多様な変更または改良を加えることが可能であることは明らかである。そのような場合、係る変更または改良を加えた新たな実施の形態も、本発明の技術的範囲に含まれ得る。そしてこのことは、請求の範囲に記載した事項から明らかである。

【0103】

この出願は、２０１４年１０月２１日に出願された日本出願特願２０１４−２１４７５４を基礎とする優先権を主張し、その開示の全てをここに取り込む。

【符号の説明】

【0104】

１００ 自動販売機認識装置
１１０ 受信部
１２０ 商品認識部
１３０ 設定部
１４０ 付随情報認識部（認識部）
１６０ 記憶部
２００ 自動販売機認識装置
２１０ 受信部
２４０ 認識部
３００ 商品棚認識装置
３１０ 受信部
３４０ 認識部
４００ 画像処理装置
４１０ 受信部
４４０ 認識部
２１ 商品見本
２２ 商品画像領域
２３ 認識対象領域

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】