特許 6746123 画像認識システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6746123

(24)【登録日】2020年8月7日

(45)【発行日】2020年8月26日

(54)【発明の名称】画像認識システム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20200817BHJP

   A47F 5/00 20060101ALI20200817BHJP

【ＦＩ】

   G06T7/00 300D

   A47F5/00 Z

【請求項の数】6

【全頁数】34

(21)【出願番号】特願2019-78184(P2019-78184)

(22)【出願日】2019年4月16日

(62)【分割の表示】特願2018-41332(P2018-41332)の分割

【原出願日】2018年3月7日

(65)【公開番号】特開2019-160328(P2019-160328A)

(43)【公開日】2019年9月19日

【審査請求日】2019年4月23日

(73)【特許権者】

【識別番号】516278171

【氏名又は名称】株式会社マーケットヴィジョン

(74)【代理人】

【識別番号】100205084

【弁理士】

【氏名又は名称】吉浦 洋一

(72)【発明者】

【氏名】谷井 成吉

【審査官】 粕谷 満成

(56)【参考文献】

【文献】 特開２０１３−０５４６７３（ＪＰ，Ａ）

【文献】 特開２０１４−１９１４２３（ＪＰ，Ａ）

【文献】 特開２０１５−０６８６６８（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ７／００

Ａ４７Ｆ ５／００

(57)【特許請求の範囲】

【請求項1】

商品を陳列した陳列棚を複数の角度から撮影した画像情報のそれぞれについて，その画像情報に写っている商品の商品識別情報の候補を特定する画像情報処理部と，
異なる角度で撮影した対応する画像情報において，前記特定した商品識別情報の候補の尤度を用いて前記画像情報に写っている商品の商品識別情報を特定する識別情報比較処理部と，を有しており，
前記識別情報比較処理部は，
前記異なる角度で撮影した対応する画像情報において，前記特定した商品識別情報の候補が複数ある場合，前記尤度を用いて所定の演算をすることで前記商品識別情報を特定する，
ことを特徴とする画像認識システム。

【請求項2】

前記画像情報処理部は，
前記陳列棚を撮影した画像情報に対して正置化処理を実行した画像情報を生成する処理部と，
前記正置化した画像情報に写っている前記陳列棚における一部の領域の画像情報と，商品の標本情報とを比較することで，前記領域に写っている商品の商品識別情報の候補を特定する識別情報特定処理部と，
を有することを特徴とする請求項１に記載の画像認識システム。

【請求項3】

前記識別情報特定処理部は，
前記領域に写っている商品の商品識別情報の候補を特定できなかった場合には，商品識別情報の入力を受け付け，
少なくとも前記商品識別情報の入力を受け付けた領域について，前記識別情報比較処理部における処理を実行せずに，前記受け付けた商品識別情報を，その領域の商品識別情報として特定する，
ことを特徴とする請求項２に記載の画像認識システム。

【請求項4】

撮影対象物を複数の角度から撮影した画像情報のそれぞれについて，その画像情報に写っている特定対象物の識別情報の候補を特定する第１の処理部と，
異なる角度で撮影した対応する画像情報において，前記特定した識別情報の候補の尤度を用いて前記画像情報に写っている特定対象物の識別情報を特定する第２の処理部と，
前記第２の処理部は，
前記異なる角度で撮影した対応する画像情報において，前記特定した識別情報の候補が複数ある場合，前記尤度を用いて所定の演算をすることで前記画像情報に写っている特定対象物の識別情報を特定する，
ことを特徴とする画像認識システム。

【請求項5】

コンピュータを，
商品を陳列した陳列棚を複数の角度から撮影した画像情報のそれぞれについて，その画像情報に写っている商品の商品識別情報の候補を特定する画像情報処理部，
異なる角度で撮影した対応する画像情報において，前記特定した商品識別情報の候補の尤度を用いて前記画像情報に写っている商品の商品識別情報を特定する識別情報比較処理部，として機能させる画像認識プログラムであって，
前記識別情報比較処理部は，
前記異なる角度で撮影した対応する画像情報において，前記特定した商品識別情報の候補が複数ある場合，前記尤度を用いて所定の演算をすることで前記商品識別情報を特定する，
ことを特徴とする画像認識プログラム。

【請求項6】

コンピュータを，
撮影対象物を複数の角度から撮影した画像情報のそれぞれについて，その画像情報に写っている特定対象物の識別情報の候補を特定する第１の処理部，
異なる角度で撮影した対応する画像情報において，前記特定した識別情報の候補の尤度を用いて前記画像情報に写っている特定対象物の識別情報を特定する第２の処理部，として機能させる画像認識プログラムであって，
前記第２の処理部は，
前記異なる角度で撮影した対応する画像情報において，前記特定した識別情報の候補が複数ある場合，前記尤度を用いて所定の演算をすることで前記画像情報に写っている特定対象物の識別情報を特定する，
ことを特徴とする画像認識プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は，画像情報に写っている商品などの対象物の識別情報の特定を精度よく行うための画像認識システムに関する。

【背景技術】

【0002】

小売業界においては，商品の陳列状況が商品の販売に影響することが知られている。そのため，商品の製造会社，販売会社としては，自社または他社のどのような商品が店舗に陳列されているのかを把握することで，自社商品の開発戦略，販売戦略につなげることができる。

【0003】

一方，その実現のためには，店頭に陳列されている商品の正確な特定が重要である。そこで，店舗の陳列棚を撮影し，その画像情報から陳列されている商品を，人間が手作業で特定をすることが考えられる。この場合，ほぼ正確に商品を特定することができる。しかし，商品の陳列状況を継続的に把握するためには，一定期間ごとにその陳列状況を把握しなければならないが，店舗の陳列棚を撮影した画像情報から毎回，人間が商品を特定するのは負担が大きく，また非効率である。

【0004】

そこで店舗の陳列棚を撮影した画像情報から，そこに陳列されている商品を自動的に特定し，商品の陳列状況を把握することが求められる。たとえば商品ごとの標本画像をもとに，店舗の陳列棚を撮影した画像に対して画像認識技術を用いる方法がある。これらの従来技術として，たとえば，下記特許文献１乃至特許文献３に示すような技術を用いて，商品の陳列状況を管理するシステムが存在する。

【0005】

また小売業界以外においても，何らかの対象物を撮影し，撮影した画像情報に写っている対象物を特定することが求められる場合もある。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】特開平５−３４２２３０号公報

【特許文献2】特開平５−３３４４０９号公報

【特許文献3】国際公開２０１２／０２９５４８

【発明の概要】

【発明が解決しようとする課題】

【0007】

特許文献１の発明は，商品をどの陳列棚に陳列すべきかが知識のない者にもできるように支援するシステムである。そのため，実際に陳列されている商品を把握することはできない。また特許文献２は，商品の陳列を支援する棚割支援システムにおいて，商品画像の入力を支援するシステムである。しかし特許文献２のシステムでは，棚割支援システムを利用する際の商品画像の入力を支援するのみであって，このシステムを用いたとしても，実際に陳列されている商品を把握することはできない。

【0008】

特許文献３は，陳列棚に空き空間がある場合に，その空き空間に陳列すべき商品を特定したり，陳列棚に陳列すべき商品を置き間違えた場合にそれを通知する発明である。この発明でも，商品と，陳列棚に陳列されている商品との画像マッチング処理を行って，陳列棚に陳列されている商品を特定しているが，認識精度が低いのが実情である。

【0009】

陳列棚を撮影した画像に対して，商品の標本画像をもとに画像認識技術を用いる場合，標本画像と，陳列棚を撮影した画像における商品の陳列部分の部分画像との画像特徴量同士の類似性を利用して商品を認識する。一方，陳列棚を撮影した画像または標本画像においては，商品パッケージの表面が光を反射する場合，店舗内の照明や外光，撮影者や撮影装置などの不要な物体が，撮影装置との位置関係によって商品の表面に写り込む場合がある。このようなことは，本来の画像特徴量を得られないため，画像認識の精度低下に影響を及ぼす要因となる。

【0010】

また陳列棚に陳列されている商品の特定に限らず，同様の問題は，一般的な対象物を撮影した画像情報から，その対象物を特定する場合にも該当する。そして，上述の各特許文献を用いたとしても，光の写り込み等による課題を解決することはできない。

【課題を解決するための手段】

【0011】

本発明者は上記課題に鑑み，光等が画像に写り込んでいる場合でも，従来よりも精度よく商品などの対象物の識別情報の特定が行える画像認識システムを発明した。

【0012】

請求項１に記載の発明は，商品を陳列した陳列棚を複数の角度から撮影した画像情報のそれぞれについて，その画像情報に写っている商品の商品識別情報の候補を特定する画像情報処理部と，異なる角度で撮影した対応する画像情報において，前記特定した商品識別情報の候補の尤度を用いて前記画像情報に写っている商品の商品識別情報を特定する識別情報比較処理部と，を有しており，前記識別情報比較処理部は，前記異なる角度で撮影した対応する画像情報において，前記特定した商品識別情報の候補が複数ある場合，前記尤度を用いて所定の演算をすることで前記商品識別情報を特定する，画像認識システムである。

【0013】

本発明のように構成することで，陳列棚を撮影した画像情報に，光等の写り込みがあったとしても，従来よりも精度よく商品の認識を行うことができる。

【0014】

各画像情報における商品識別情報の候補から，商品識別情報を特定する場合，本発明のように特定することが好ましい。すなわち，商品識別情報の候補が特定されている場合と，特定されていない場合があれば，特定されている商品識別情報の候補を商品識別情報として特定する。また，それぞれに商品識別情報の候補がある場合，もっとも尤度が高い商品識別情報を特定することができる。また候補が尤度に応じて複数ある場合には，尤度に基づく値より商品識別情報を特定することができる。

【0015】

上述の発明において，前記画像情報処理部は，前記陳列棚を撮影した画像情報に対して正値化処理を実行した画像情報を生成する処理部と，前記正置化した画像情報に写っている前記陳列棚における一部の領域の画像情報と，商品の標本情報とを比較することで，前記領域に写っている商品の商品識別情報の候補を特定する識別情報特定処理部と，を有する画像認識システムのように構成することができる。

【0016】

陳列棚を撮影した画像情報は，ゆがみ等が発生しているので，正値化処理を実行した上で処理を行うと認識精度が高くなる。また，陳列棚には複数の商品が陳列されていることが多いので，たとえば商品ごとの領域について標本情報と比較処理を実行することで，商品識別情報の候補を特定することが好ましい。

【0017】

上述の発明において，前記識別情報特定処理部は，前記領域に写っている商品の商品識別情報の候補を特定できなかった場合には，商品識別情報の入力を受け付け，少なくとも前記商品識別情報の入力を受け付けた領域について，前記識別情報比較処理部における処理を実行せずに，前記受け付けた商品識別情報を，その領域の商品識別情報として特定する，画像認識システムのように構成することができる。

【0018】

商品識別情報の候補を特定できなかった場合には，その入力を受け付けてもよい。その場合，入力される商品識別情報は，確度が高いと考えられるので，比較処理を実行せずに，そのまま特定した（確定した）商品識別情報とすると，処理時間の軽減等につなげられる。

【0022】

請求項４に記載の発明は，撮影対象物を複数の角度から撮影した画像情報のそれぞれについて，その画像情報に写っている特定対象物の識別情報の候補を特定する第１の処理部と，異なる角度で撮影した対応する画像情報において，前記特定した識別情報の候補の尤度を用いて前記画像情報に写っている特定対象物の識別情報を特定する第２の処理部と，前記第２の処理部は，前記異なる角度で撮影した対応する画像情報において，前記特定した識別情報の候補が複数ある場合，前記尤度を用いて所定の演算をすることで前記画像情報に写っている特定対象物の識別情報を特定する，画像認識システムである。

【0023】

請求項１に記載の発明では，陳列棚に陳列されている商品の識別情報を特定する画像認識システムであったが，それに限定するものではなく，撮影対象物を複数の角度から撮影した画像情報において，その画像情報に写っている特定対象物の識別情報を特定する場合であっても適用することができる。すなわち，請求項１に記載の発明と同様に，撮影した画像情報に，光等の写り込みがあったとしても，従来よりも精度よく特定対象物の識別情報の認識を行うことができる。

【0026】

請求項１に記載の発明は，本発明のプログラムをコンピュータに読み込ませて実行することで実現できる。すなわち，コンピュータを，商品を陳列した陳列棚を複数の角度から撮影した画像情報のそれぞれについて，その画像情報に写っている商品の商品識別情報の候補を特定する画像情報処理部，異なる角度で撮影した対応する画像情報において，前記特定した商品識別情報の候補の尤度を用いて前記画像情報に写っている商品の商品識別情報を特定する識別情報比較処理部，として機能させる画像認識プログラムであって，前記識別情報比較処理部は，前記異なる角度で撮影した対応する画像情報において，前記特定した商品識別情報の候補が複数ある場合，前記尤度を用いて所定の演算をすることで前記商品識別情報を特定する，画像認識プログラムのように構成することができる。

【0028】

請求項４に記載の発明は，本発明のプログラムをコンピュータに読み込ませて実行することで実現できる。すなわち，コンピュータを，撮影対象物を複数の角度から撮影した画像情報のそれぞれについて，その画像情報に写っている特定対象物の識別情報の候補を特定する第１の処理部，異なる角度で撮影した対応する画像情報において，前記特定した識別情報の候補の尤度を用いて前記画像情報に写っている特定対象物の識別情報を特定する第２の処理部，として機能させる画像認識プログラムであって，前記第２の処理部は，前記異なる角度で撮影した対応する画像情報において，前記特定した識別情報の候補が複数ある場合，前記尤度を用いて所定の演算をすることで前記画像情報に写っている特定対象物の識別情報を特定する，画像認識プログラムのように構成することができる。

【発明の効果】

【0030】

本発明の画像認識システムを用いることによって，光等が画像情報に写り込んでいる場合でも，従来よりも精度よく，商品などの対象物の特定が行える。

【図面の簡単な説明】

【0031】

【図1】本発明の画像認識システムの構成の一例を模式的に示すブロック図である。

【図2】本発明の画像認識システムにおける画像情報処理部の構成の一例を模式的に示すブロック図である。

【図3】本発明の画像認識システムで用いるコンピュータのハードウェア構成の一例を模式的に示すブロック図である。

【図4】本発明の画像認識システムにおける全体の処理プロセスの一例を示すフローチャートである。

【図5】本発明の画像情報処理部における処理プロセスの一例を示すフローチャートである。

【図6】本発明の識別情報比較処理部における処理プロセスの一例を示すフローチャートである。

【図7】標本情報記憶部の一例を模式的に示す図である。

【図8】店舗の陳列棚について，同一の機会に異なる角度から撮影した撮影画像情報の一例を示す図である。

【図9】店舗の陳列棚について，同一の機会に異なる角度から撮影した撮影画像情報のほかの一例を示す図である。

【図10】図８の撮影画像情報について，台形補正処理が実行された正置画像情報の一例を示す図である。

【図11】図９の撮影画像情報について，台形補正処理が実行された正置画像情報の一例を示す図である。

【図12】図１０の撮影画像情報において，棚段領域が特定された状態を示す図である。

【図13】図１１の撮影画像情報において，棚段領域が特定された状態を示す図である。

【図14】本発明の画像認識システムにおける代表的な処理の一例のイメージ図である。

【図15】Ｎ−１回目の撮影画像情報に対して特徴量採取領域を設定した状態の一例を示す図である。

【図16】Ｎ回目の撮影画像情報に対して特徴量採取領域を設定した状態の一例を示す図である。

【図17】Ｎ−１回目の特徴量採取領域と，Ｎ回目の特徴量採取領域とのペアの関係を示す図である。

【図18】Ｎ−１回目の撮影画像情報における棚位置Ｃを，関数Ｆにより，Ｎ回目の撮影画像情報における棚位置Ｄとして射影する状態を示す図である。

【図19】撮影画像情報の一例を示す図である。

【図20】Ｎ−１回目の撮影画像情報に特徴量採取領域を設定した状態を示す図である。

【図21】Ｎ回目の撮影画像情報に特徴量採取領域を設定した状態を示す図である。

【図22】Ｎ回目の撮影が自乗法において，棚位置Ｄ１乃至Ｄ４を特定した状態の一例を示す図である。

【図23】識別情報特定処理部におけるＮ回目の処理を模式的に示す図である。

【図24】実施例５における画像認識システムの構成の一例を模式的に示すブロック図である。

【図25】実施例５における画像情報処理部の構成の一例を模式的に示すブロック図である。

【図26】実施例５における画像認識システムの全体の処理プロセスの一例を示すフローチャートである。

【図27】実施例５における加工済正置画像情報の生成処理の処理プロセスの一例を示すフローチャートである。

【図28】正置画像情報において，所定の基準単位ごとにメッシュで区切った状態の一例を示す図である。

【図29】所定の条件を充足することで特定されたメッシュの領域の画像情報を並べて配置することで加工済正置画像情報を生成する処理を模式的に示す図である。

【図30】商品を撮影する状態を上方からみた場合の一例を示す図である。

【図31】撮影した複数の画像情報において，写り込みが生じていない部分を切り出して互いに合成することで，適切な標本情報を生成する処理を模式的に示す図である。

【図32】標本とする商品の外観の一例を模式的に示す図である。

【図33】商品の外観の形状が第１のケースの場合の撮影方法の一例を示す図である。

【図34】商品の外観の形状が第２のケースの場合の撮影方法の一例を示す図である。

【図35】商品の外観の形状が第３のケースの場合の撮影方法の一例を示す図である。

【発明を実施するための形態】

【0032】

本発明の画像認識システム１のシステム構成の一例を図１に示す。画像認識システム１は，管理端末２と撮影画像情報入力端末３とを用いる。

【0033】

管理端末２は，画像認識システム１を運営する企業等の組織が利用するコンピュータである。また，撮影画像情報入力端末３は，店舗の陳列棚を撮影した画像情報の入力を行う端末である。

【0034】

画像認識システム１における管理端末２，撮影画像情報入力端末３は，コンピュータを用いて実現される。図３にコンピュータのハードウェア構成の一例を模式的に示す。コンピュータは，プログラムの演算処理を実行するＣＰＵなどの演算装置７０と，情報を記憶するＲＡＭやハードディスクなどの記憶装置７１と，情報を表示するディスプレイなどの表示装置７２と，情報の入力が可能なキーボードやマウスなどの入力装置７３と，演算装置７０の処理結果や記憶装置７１に記憶する情報をインターネットやＬＡＮなどのネットワークを介して送受信する通信装置７４とを有している。

【0035】

コンピュータがタッチパネルディスプレイを備えている場合には，表示装置７２と入力装置７３とが一体的に構成されていてもよい。タッチパネルディスプレイは，たとえばタブレット型コンピュータやスマートフォンなどの可搬型通信端末などで利用されることが多いが，それに限定するものではない。

【0036】

タッチパネルディスプレイは，そのディスプレイ上で，直接，所定の入力デバイス（タッチパネル用のペンなど）や指などによって入力を行える点で，表示装置７２と入力装置７３の機能が一体化した装置である。

【0037】

撮影画像情報入力端末３は，上記の各装置のほか，カメラなどの撮影装置を備えていてもよい。撮影画像情報入力端末３として，携帯電話，スマートフォン，タブレット型コンピュータなどの可搬型通信端末を用いることもできる。

【0038】

本発明における各手段は，その機能が論理的に区別されているのみであって，物理上あるいは事実上は同一の領域を為していても良い。本発明の各手段における処理は，その処理順序を適宜変更することもできる。また，処理の一部を省略してもよい。たとえば後述する正置化処理を省略することもできる。その場合，正置化処理をしていない画像情報に対する処理を実行することができる。

【0039】

画像認識システム１は，撮影画像情報記憶部２０と標本情報記憶部２１と識別情報候補記憶部２２と識別情報記憶部２３と画像情報処理部２４と識別情報比較処理部２５とを有する。

【0040】

撮影画像情報記憶部２０は，撮影画像情報入力端末３から受け付けた撮影画像情報，撮影日時，店舗識別情報，画像情報識別情報などを対応づけて記憶する。撮影画像情報とは，台形補正処理を実行する対象となる画像情報であればよく，一つの陳列棚を複数枚で撮影した場合に，それが一つの画像情報として合成された画像情報も含まれる。また，歪み補正処理が実行された後の画像情報も撮影画像情報に含まれる。

【0041】

標本情報記憶部２１は，正置画像情報に写っている陳列棚の棚段における各フェイスの商品がどの商品であるかを識別するための標本情報を記憶する。標本情報は，陳列棚に陳列される可能性のある商品を，上下，左右，斜めなど複数の角度から撮影をした画像情報である。図７に標本情報記憶部２１に記憶される標本情報の一例を示す。図７では，標本情報として，缶ビールをさまざまな角度から撮影をした場合を示しているが，缶ビールに限られない。標本情報記憶部２１は，標本情報と，商品識別情報とを対応付けて記憶する。

【0042】

なお，標本情報記憶部２１には，標本情報とともに，または標本情報に代えて，標本情報から抽出された，類似性の算出に必要となる情報，たとえば画像特徴量とその位置のペアの情報を記憶していてもよい。標本情報には，類似性の算出に必要となる情報も含むとする。この場合，識別情報特定処理部２４６は，フェイスの領域の画像情報と，標本情報とのマッチング処理を行う際に，標本情報について毎回，画像特徴量を算出せずともよくなり，計算時間を短縮することができる。

【0043】

識別情報候補記憶部２２は，撮影画像情報ごとに，陳列棚の棚段の各フェイスに表示されている商品の商品識別情報の候補を記憶する。たとえば，商品識別情報の候補に対応付けて，撮影日時情報，店舗情報，撮影画像情報の画像情報識別情報，正置画像情報の画像識別情報，フェイスを識別するためのフェイス識別情報に対応づけて識別情報候補記憶部２２に記憶する。ここで記憶する商品識別情報の候補は，撮影画像情報ごとに記憶している。そのため，同一の陳列棚について複数の撮影画像情報があるので，同一の陳列棚の棚段の対応するフェイスには，撮影画像情報ごとに特定した商品識別情報の候補が記憶されていることとなる。

【0044】

識別情報記憶部２３は，陳列棚の棚段の各フェイスに表示されている商品の特定（確定）した商品識別情報を記憶する。たとえば，商品識別情報に対応付けて，撮影日時情報，店舗情報，撮影画像情報の画像情報識別情報，正置画像情報の画像識別情報，フェイスを識別するためのフェイス識別情報に対応づけて識別情報記憶部２３に記憶する。

【0045】

画像情報処理部２４は，撮影画像情報入力端末３から受け付けた撮影画像情報において，その撮影画像情報に写っている陳列棚における棚段に陳列されている商品の商品識別情報の候補を特定する処理を実行する。

【0046】

画像情報処理部２４は，撮影画像情報入力受付処理部２４１と撮影画像情報正置化処理部２４２と棚段位置特定処理部２４３と棚段領域切出処理部２４４とフェイス特定処理部２４５と識別情報特定処理部２４６と棚段画像マッチング処理部２４７とを有する。

【0047】

撮影画像情報入力受付処理部２４１は，撮影画像情報入力端末３で撮影した店舗の陳列棚の画像情報（撮影画像情報）の入力を受け付け，撮影画像情報記憶部２０に記憶させる。撮影画像情報入力端末３からは，撮影画像情報のほか，撮影日時，店舗名などの店舗識別情報，画像情報を識別する画像情報識別情報などをあわせて入力を受け付けるとよい。図８，図９に撮影画像情報の一例を示す。図８，図９では，陳列棚に３段の棚段があり，そこに商品が陳列されている撮影画像情報である。

【0048】

撮影画像情報正置化処理部２４２は，撮影画像情報記憶部２０に記憶した撮影画像情報に対して台形補正処理を実行して正置化した，正置画像情報を生成する。台形補正処理は，撮影画像情報に写っている陳列棚の棚段が水平に，そこに陳列されている商品に対する商品タグが垂直になるように行う補正処理である。正置化とは，撮影装置のレンズの光軸を撮影対象である平面の垂線方向に沿って，十分に遠方から撮影した場合と同じになるように画像情報を変形させることであり，たとえば台形補正処理がある。

【0049】

撮影画像情報正置化処理部２４２が実行する台形補正処理は，撮影画像情報において４頂点の指定の入力を受け付け，その各頂点を用いて台形補正処理を実行する。指定を受け付ける４頂点としては，陳列棚の棚段の４頂点であってもよいし，陳列棚の棚位置の４頂点であってもよい。また，２段，３段の棚段のまとまりの４頂点であってもよい。４頂点としては任意の４点を指定できる。図１０および図１１に正置化処理がされた撮影画像情報（正置画像情報）の一例を示す。

【0050】

棚段位置特定処理部２４３は，撮影画像情報または正置画像情報から棚段の領域(棚段領域）を特定する。すなわち，撮影画像情報および正置画像情報に写っている陳列棚には，商品が陳列される棚段領域と，そこに陳列される商品に対する商品タグが取り付けられている商品タグ配置領域とがある。そのため，正置画像情報から棚段領域を特定する。棚段領域の特定としては，管理端末２の操作者が手動で棚段領域を指定し，それを棚段位置特定処理部２４３が受け付けてもよいし，初回に手動で入力を受け付けた棚段領域の情報に基づいて，二回目以降は自動で棚段領域を特定してもよい。図１２，図１３に棚段領域が特定された状態を示す。

【0051】

棚段領域切出処理部２４４は，棚段位置特定処理部２４３で特定した棚段の領域の画像情報を棚段領域画像情報として切り出す。棚段領域切出処理部２４４は，実際に，画像情報として切り出してもよいし，実際には画像情報としては切り出さずに，棚段領域を構成する座標を特定することで，仮想的に切り出すのでもよい。なお，陳列棚に棚段が複数ある場合には，それぞれが棚段領域画像情報として切り出される。また棚段の領域を示す座標としては，その領域を特定するために必要な頂点の座標であり，正置画像情報におけるたとえば４点，右上と左下，左上と右下の２点の座標などでよい。また，正置画像情報における陳列棚など，画像情報における所定箇所（たとえば陳列棚の左上の頂点）を基準とした相対座標である。

【0052】

フェイス特定処理部２４５は，正置画像情報における棚段領域における棚段ごとに，商品が置かれているフェイス（商品が置かれている領域）を特定する。フェイス特定処理部２４５は，初回のフェイスの特定処理と，二回目以降のフェイスの特定処理とに分かれる。

【0053】

フェイス特定処理部２４５における初回のフェイスの特定処理は，棚段位置特定処理部２４３で特定した棚段の座標で構成される領域（好ましくは矩形領域）の範囲内において，商品が置かれている領域（フェイス）を特定する。具体的には，商品と商品との間に生じる細く狭い陰影を特定する，画像の繰り返しパターンを特定する，パッケージの上辺の段差を特定する，商品幅が同一であるなどの制約に基づいて区切り位置を特定する，などによって，フェイスの領域を特定する。フェイスの特定処理としては，商品のカテゴリや商品の形態によって，任意の方法を採用可能であり，上記に限定するものではない。また，自動的に特定したフェイスに対して，担当者による修正入力を受け付けてもよい。さらに，担当者からフェイスの位置の入力を受け付けるのでもよい。特定したフェイスを構成する領域の座標は，正置画像情報におけるフェイスの領域の座標に，撮影日時情報，店舗情報，撮影画像情報の画像情報識別情報，正置画像情報の画像識別情報，フェイスを識別するためのフェイス識別情報とを対応づけて管理する。またフェイスの領域を示す座標としては，矩形領域を特定するために必要な頂点の座標であり，正置画像情報におけるたとえば４点，右上と左下，左上と右下の２点の座標などでよい。また，正置画像情報における陳列棚など，画像情報における所定箇所（たとえば陳列棚の左上の頂点）を基準とした相対座標である。

【0054】

フェイス特定処理部２４５における二回目以降のフェイスの特定処理は，同一の陳列棚の同一の棚段について，前回（Ｎ−１回目）の正置画像情報で特定したフェイスの領域の座標を今回（Ｎ回目）の正置画像情報で特定したフェイスの領域の座標とするようにしてもよい。

【0055】

識別情報特定処理部２４６は，陳列棚の棚段ごとに，フェイスに表示されている商品の商品識別情報の候補を特定する。商品識別情報としては，商品名のほか，その商品に対して割り当てられているＪＡＮコードなどがあるが，それに限定されない。商品を識別することができる情報であればいかなるものでもよい。

【0056】

識別情報特定処理部２４６は，以下のような処理を実行する。すなわち，フェイスごとに，フェイスの画像情報と，標本情報記憶部２１に記憶する商品の標本情報とマッチングすることで，そのフェイスに表示されている商品の商品識別情報の候補を特定する。具体的には，まず，処理対象となるフェイスの座標で構成される領域の画像情報と，標本情報記憶部２１に記憶する標本情報との類似性を判定し，その類似性がもっとも高い標本情報に対応する商品識別情報を特定し，上記座標で構成されるフェイスに表示されている商品の商品識別情報の候補として特定をする。

【0057】

ここでフェイスの画像情報と標本情報との類似性を判定するには，以下のような処理を行う。まず，識別情報特定処理部２４６における商品識別情報の候補の特定処理の前までの処理において，正置画像情報の棚段におけるフェイスの領域の画像情報と，標本情報との方向が同じ（横転や倒立していない）となっており，また，それぞれの画像情報の大きさが概略同じとなっている（所定範囲以上で画像情報の大きさが異なる場合には，類似性の判定の前にそれぞれの画像情報の大きさが所定範囲内となるようにサイズ合わせをしておく）。

【0058】

識別情報特定処理部２４６は，フェイスの画像情報と，標本情報との類似性を判定するため，フェイスの画像情報の画像特徴量（たとえば局所特徴量）に基づく特徴点と，標本情報との画像特徴量（たとえば局所特徴量）に基づく特徴点を，それぞれ抽出する。そして，フェイスの画像情報の特徴点と，標本情報の特徴点とでもっとも類似性が高いペアを検出し，それぞれで対応する点の座標の差を求める。そして，差の平均値を求める。差の平均値は，フェイスの画像情報と，標本情報との全体の平均移動量を示している。そして，すべての特徴点のペアの座標差を平均の座標差と比較し，外れ度合いの大きなペアを除外する。そして，残った対応点の数で類似性を順位付ける。

【0059】

以上のような方法でフェイスの画像情報と，標本情報との類似性を算出できる。また，その精度を向上させるため，さらに，色ヒストグラム同士のＥＭＤ（Ｅａｒｔｈ Ｍｏｖｅｒｓ Ｄｉｓｔａｎｃｅ）を求め，類似性の尺度としてもよい。これによって，撮影された画像情報の明度情報等の環境変化に比較的強い類似性の比較を行うことができ，高精度で特定をすることができる。

【0060】

類似性の判定としては，ほかにも，各フェイスの領域の画像情報のシグネチャ（画像特徴量と重みの集合）同士のＥＭＤを求め，類似性の尺度としてもよい。シグネチャの画像特徴量としては，たとえばフェイス領域の画像情報のＨＳＶ色空間内の頻度分布を求め，色相と彩度に関してグルーピングを行って，特徴の個数とＨＳＶ色空間内の領域による画像特徴量とすることができる。色相と彩度についてグルーピングを行うのは，撮影条件に大きく左右されないように，明度への依存度を下げるためである。

【0061】

また，処理の高速化のため，シグネチャとＥＭＤの代わりに，適宜の色空間内での画像情報の色コリログラムや色ヒストグラムなどの画像特徴量間のＬ２距離等の類似性を用いることもできる。

【0062】

類似性の判定は，上述に限定をするものではない。特定した商品識別情報の候補は，撮影日時情報，店舗情報，撮影画像情報の画像情報識別情報，正置画像情報の画像識別情報，フェイスを識別するためのフェイス識別情報に対応づけて識別情報候補記憶部２２に記憶する。なお，ここで特定した商品識別情報の候補は，ある撮影画像情報に基づく正置画像情報におけるフェイスに写っている商品の商品識別情報の候補であるので，確定した商品識別情報ではない。

【0063】

以上のようにして特定した商品識別情報の候補は，撮影日時情報，店舗情報，撮影画像情報の画像情報識別情報，正置画像情報の画像識別情報，フェイスを識別するためのフェイス識別情報に対応づけて識別情報候補記憶部２２に記憶する。

【0064】

棚段画像マッチング処理部２４７は，前回（Ｎ−１回目）の正置画像情報における棚段の領域の画像情報と，今回（Ｎ回目）の正置画像情報における棚段の領域の画像情報とに基づいて，その類似性が高ければその棚段における各フェイスの商品識別情報の候補は同一と判定する。この類似性の判定処理は，上述のように，前回（Ｎ−１回目）の正置画像情報における棚段の領域の画像情報の画像特徴量と，今回（Ｎ回目）の正置画像情報における棚段の領域の画像情報とに基づく類似性の判定でもよいし，色ヒストグラム同士のＥＭＤを用いたものであってもよい。また，それらに限定するものではない。そして，識別情報特定処理部２４６におけるフェイス単位ごとの特定処理ではなく，識別情報特定処理部２４６に，Ｎ回目の正置画像情報におけるその棚段における各フェイスの商品識別情報の候補を，Ｎ−１回目の同一の棚段における各フェイスの商品識別情報の候補と同一として，識別情報候補記憶部２２に記憶させる。これによって，あまり商品の動きがない棚段や逆にきわめて短いサイクルで管理される棚段など，変化がほとんど生じない棚段についての処理を省略することができる。なお，棚段画像マッチング処理部２４７による処理は設けなくてもよい。

【0065】

棚段画像マッチング処理部２４７における処理は，Ｎ回目とＮ−１回目の比較の際に用いるほか，Ｎ回目に同一の陳列棚を異なる角度で撮影した正置画像情報の比較の処理の際に用いてもよい。

【0066】

識別情報比較処理部２５は，識別情報特定処理部２４６で特定した商品識別情報の候補に基づいて，同一の陳列棚を同一の機会に異なる角度で撮影した撮影画像情報（正置画像情報）において，対応するフェイス同士の商品識別情報の候補を比較し，そのフェイスに写っている商品の商品識別情報を特定（確定）する処理を実行する。識別情報比較処理部２５の処理のイメージ図を図１４に示す。

【0067】

識別情報比較処理部２５は，同一の陳列棚を同一の機会，たとえば同一日に撮影した異なる撮影画像情報に基づく正置画像情報において，画像情報処理部２４で特定したフェイスごとの商品識別情報の候補を，それぞれ識別情報候補記憶部２２から特定する。たとえば同一のフェイス識別情報に対応する商品識別情報の候補を，それぞれ特定する。そして，それぞれの商品識別情報の候補について，所定の条件と比較し，当該フェイスに対応する商品識別情報を特定（確定）する。たとえば，図１４に示すように，同一の陳列棚を同一の機会に撮影した，角度が異なる２つの撮影画像情報（撮影画像情報１，撮影画像情報２）があるとする。このとき，撮影画像情報１を正置化した正置画像情報１におけるフェイスＡには商品識別情報の候補として商品識別情報１が対応づけられており，撮影画像情報２を正置化した正置画像情報２におけるフェイスＡには商品識別情報の候補が存在していない（正置画像情報２に基づいてはフェイスＡの商品識別情報が特定できなかった）場合とする。この場合には，正置画像情報１に基づく商品識別情報１をフェイスＡの商品識別情報として特定する。また，別の例として，撮影画像情報１を正置化した正置画像情報１におけるフェイスＡには商品識別情報の候補として商品識別情報１が尤度４０％で対応づけられており，撮影画像情報２を正置化した正置画像情報２におけるフェイスＡには商品識別情報の候補として商品識別情報２が尤度９０％で対応づけられていた場合には，尤度がもっとも高い商品識別情報２をフェイスＡの商品識別情報として特定する。

【0068】

このように識別情報比較処理部２５は，同一の陳列棚を同一の機会に撮影した異なる角度の画像情報において，それぞれ特定した商品識別情報の候補を，商品識別情報の候補の有無，商品識別情報の候補の尤度に基づいて，当該フェイスに対応する商品識別情報として特定をする。なお，一つの画像情報における一つのフェイスに，尤度に応じた複数の商品識別情報の候補がある場合，尤度をそれぞれ演算してもよい。たとえば撮影画像情報１を正置化した正置画像情報１におけるフェイスＡには商品識別情報の候補として商品識別情報１が尤度６５％，商品識別情報２が尤度３０％で対応づけられており，撮影画像情報２を正置化した正置画像情報２におけるフェイスＡには商品識別情報の候補として商品識別情報２が尤度７０％，商品識別情報１が尤度２５％で対応づけられていた場合，同一の商品識別情報については，尤度に基づく値同士を加算，乗算等の演算をして値を算出し，その値に基づいていずれか一つの商品識別情報に特定をしてもよい。たとえば上述の場合，商品識別情報１を９０，商品識別情報２を１００として比較して，商品識別情報２に特定してもよい。このように，識別情報比較処理部２５は，同一の撮影対象物である陳列棚を同一の機会に撮影した異なる角度による複数の画像情報から特定した商品識別情報の候補を，所定条件で比較し，当該フェイスに対応する商品識別情報を特定する。なお，フェイス単位で処理を実行すると精度が向上するが，それに限定するものではなく，商品識別情報の候補を比較さえすればよい。

【0069】

なお，本明細書における画像認識システム１は，陳列棚に陳列した商品を撮影した画像情報から，そこに写っている商品の商品識別情報を特定する処理に適用することができるが，それに限定するものではなく，何らかの対象物が写っている画像情報から，その対象物の識別情報を特定する場合にも適用することができる。

【実施例1】

【0070】

本発明の画像認識システム１を用いた処理プロセスを，図１および図２のブロック図，図４乃至図６のフローチャートを用いて説明する。なお，以下の説明では，同一の陳列棚について，２方向から撮影した２枚の撮影画像情報を用いる場合を説明するが，３枚以上であっても，同様に処理が実行できる。

【0071】

店舗の陳列棚の撮影担当者は，同一の陳列棚について，同一の機会に，光等の写り込みが重ならないように，複数の角度から撮影を行う。そして店舗の陳列棚について，同一の機会に異なる角度から撮影された撮影画像情報（図８，図９）は，撮影画像情報入力端末３から入力され，管理端末２の画像情報処理部２４における撮影画像情報入力受付処理部２４１でその入力を受け付ける（Ｓ１００，Ｓ１１０）。また，撮影日時，店舗識別情報，撮影画像情報の画像情報識別情報の入力を受け付ける。そして，撮影画像情報入力受付処理部２４１は，入力を受け付けた撮影画像情報，撮影日時，店舗識別情報，撮影画像情報の画像情報識別情報を対応づけて撮影画像情報記憶部２０に記憶させる。

【0072】

管理端末２において所定の操作入力を受け付けると，撮影画像情報正置化処理部２４２は，撮影画像情報記憶部２０に記憶する撮影画像情報を抽出し，台形補正処理を行うための頂点である棚位置（陳列棚の位置）の４点の入力を受け付け，台形補正処理を実行する（Ｓ１２０）。このようにして台形補正処理が実行された撮影画像情報（正置画像情報）の一例が，図１０，図１１である。

【0073】

そして，正置画像情報に対して，管理端末２において所定の操作入力を受け付けることで，棚段位置特定処理部２４３は，棚段領域を特定する（Ｓ１３０）。すなわち，正置画像情報における棚段領域の入力を受け付ける。図１２および図１３が，棚段領域が特定された状態を示す図である。

【0074】

以上のようにして，棚段領域を特定すると，棚段領域切出処理部２４４は，Ｓ１３０で入力を受け付けた棚段の領域に基づいて，正置画像情報から棚段領域の画像情報を切り出す（Ｓ１４０）。そして，棚段領域画像情報における棚段ごとに，フェイスを特定する処理を実行する（Ｓ１５０）。具体的には，棚段領域における棚段について，４点の座標で構成される矩形領域の範囲内において，商品と商品との間に生ずる細く狭い陰影を特定する，画像の繰り返しパターンを特定する，パッケージの上辺の段差を特定する，商品幅が同一であるなどの制約に基づいて区切り位置を特定する，などによって，フェイスを特定する。特定したフェイスには，フェイスを識別するためのフェイス識別情報を付す。このフェイス識別情報は，同一の陳列棚を撮影した画像情報については，異なる画像情報であっても，対応するフェイスであることを識別可能とするため，同一のフェイス識別情報とするか，あるいはフェイス識別情報の対応関係を記憶しておく。

【0075】

そして，特定した各フェイスの座標は，撮影日時，店舗識別情報，撮影画像情報の画像情報識別情報，正置画像情報の画像情報識別情報，フェイスを識別するためのフェイス識別情報と対応付けて記憶させる。なお，フェイスの座標は４点を記憶せずとも，矩形領域を特定可能な２点であってもよい。

【0076】

以上のように正置画像情報の棚段領域画像情報における各棚段の各フェイスを特定すると，識別情報特定処理部２４６は，フェイスごとに，標本情報記憶部２１に記憶する標本情報とマッチング処理を実行し，類似性が最も高い標本情報に対応する商品識別情報を特定する。そして，そのフェイスに表示されている商品の商品識別情報の候補として特定する（Ｓ１６０）。すなわち，ある棚段のフェイスの矩形領域（この領域のフェイスのフェイス識別情報をＸとする）における画像情報と，標本情報記憶部２１に記憶する各標本情報とから，それぞれの画像特徴量を算出し，特徴点のペアを求めることで，類似性を判定する。そして，もっとも類似性の高い標本情報を特定し，そのときの類似性があらかじめ定められた閾値以上であれば，その標本情報に対応する商品識別情報を標本情報記憶部２１に基づいて特定する。そして，特定した商品識別情報を，そのフェイス識別情報Ｘのフェイスに表示されている商品の商品識別情報の候補とする。そして識別情報特定処理部２４６は，特定した商品識別情報の候補を，撮影日時，店舗識別情報，撮影画像情報の画像情報識別情報，正置画像情報の画像情報識別情報，フェイス識別情報に対応づけて識別情報候補記憶部２２に記憶する（Ｓ１７０）。

【0077】

なお，すべてのフェイスの商品識別情報を特定できるとは限らない。そこで，特定できていないフェイス（もっとも高い類似性が所定の閾値未満のフェイスなど）については，商品識別情報の入力を受け付け，入力を受け付けた商品識別情報を，撮影日時，店舗識別情報，撮影画像情報の画像情報識別情報，正置画像情報の画像情報識別情報，フェイス識別情報に対応づけて，商品識別情報の候補として識別情報候補記憶部２２に記憶してもよい。また，特定した商品識別情報の候補の修正処理についても同様に，入力を受け付けてもよい。なお，このようなフェイスについては，もともと確実性が高いので，後述の識別情報比較処理部２５の処理を実行せずに，商品識別情報として確定し，識別情報候補記憶部２２，識別情報記憶部２３に記憶させてもよい。このとき，識別情報候補記憶部２２には，手入力を受け付けたことを示すフラグを付し，そのフラグがある場合には識別情報比較処理部２５の処理をスキップするなどができる。

【0078】

以上のような処理を行うことで，撮影画像情報に写っている陳列棚の棚段に陳列されている商品の商品識別情報の候補を特定することができる。

【0079】

そして各撮影画像情報に基づく正置画像情報におけるフェイスについて，商品識別情報の候補が特定できると，識別情報比較処理部２５は，対応するフェイス同士の商品識別情報の候補を識別情報候補記憶部２２から特定し，それらを所定条件に基づいて比較することで，当該フェイスにおける商品識別情報として特定する（Ｓ２００）。

【0080】

具体的には，まず識別情報比較処理部２５は，同一の陳列棚を同一の機会に撮影した角度の異なる複数の正置画像情報において，対応するフェイスを特定する（Ｓ２１０）。対応するフェイスの特定では，同一のフェイス識別情報に基づいて特定する，フェイスとして対応づけられているフェイスを特定するなどの方法がある。

【0081】

そして特定したフェイスについての商品識別情報の候補を，識別情報候補記憶部２２から抽出し，対応するフェイス同士の商品識別情報の候補について，所定の条件を充足するか比較し（Ｓ２２０），当該フェイスについての商品識別情報として特定する（Ｓ２３０）。そして，特定した商品識別情報を，識別情報記憶部２３に記憶させる（Ｓ２４０）。

【0082】

以上のような処理を行うことで，撮影画像情報に写っている陳列棚の棚段に陳列されている商品の商品識別情報を特定することができる。また，複数の角度で撮影した撮影画像情報に基づいて特定しているので，光などの写り込みの影響を排除しやすくなり，商品の特定の精度を向上させることができる。

【0083】

また，２回目または２枚目以降の処理においては，適宜，棚段画像マッチング処理部２４７における処理を実行することができる。

【実施例2】

【0084】

上述した実施例１では，４点を指定することで台形補正処理を実行することとしたが，その基準となる頂点を毎回，指定して入力することは負担が大きい。そこで，台形補正処理の基準となる頂点を自動的に特定するように構成してもよい。この場合の処理を説明する。

【0085】

この場合の撮影画像情報正置化処理部２４２は，初回の台形補正処理と，二回目以降の台形補正処理とに分かれる。なお，初回とは一回目のほか，頂点を自動的に特定する際のずれを修正するため，任意のタイミングで手動で行う場合も含まれる。二回目以降とは初回以外である。また，本発明では，同一の陳列棚について同一の機会に，複数の角度から撮影を行う。そのため，最初の一枚（Ｎ−１回目）について頂点を指定することで台形補正処理を実行し，二枚目以降（Ｎ回目）については，台形補正処理の基準となる頂点を自動的に特定するようにしてもよい。

【0086】

撮影画像情報正置化処理部２４２における初回の台形補正処理は，実施例１と同様に，陳列棚の長方形の領域の４頂点の指定の入力を受け付ける。陳列棚の長方形の領域の４頂点としては，陳列棚の棚位置の４頂点であってもよいし，棚段の４頂点や商品タグを取り付ける領域の４頂点であってもよい。また，２段，３段の棚段のまとまりの４頂点であってもよい。ここで指定を受け付けた４頂点は，撮影日時情報，店舗情報，撮影画像情報の画像情報識別情報と対応づけて記憶させる。そして撮影画像情報正置化処理部２４２は，指定を受け付けた４頂点の座標に基づいて，撮影画像情報に対して台形補正処理を実行し，正置画像情報とする。

【0087】

撮影画像情報正置化処理部２４２は，二回目以降の台形補正処理を以下のように実行をする。

【0088】

まず，撮影画像情報正置化処理部２４２は，Ｎ回目の撮影画像情報に対応する同じ（ほぼ同じ）領域を撮影したＮ−１回目の撮影画像情報の頂点座標を，前回の処理の際に記憶した情報から特定する。Ｎ回目の撮影画像情報に対応する同じ（ほぼ同じ）領域を撮影したＮ−１回目の撮影画像情報の頂点座標は，撮影画像情報に対応する店舗識別情報，画像識別情報，撮影日時情報などに基づいて特定をする。そして，Ｎ−１回目の撮影画像情報に対して，特定をした４頂点の頂点座標を含む所定の大きさの矩形領域，たとえば棚段の幅の１／５程度の正方形を特徴量採取領域２４２０として設定をする。Ｎ−１回目の撮影画像情報に対して，特徴量採取領域２４２０を設定した状態の一例を図１５に示す。特徴量採取領域２４２０は，頂点座標を含む矩形領域であればよい。一方，陳列棚の背景同士がマッチングをしてしまうと，撮影位置が少しずれるだけで背景が大きくずれてしまう。そこで，特徴量採取領域２４２０は，なるべく陳列棚の内側を多く含む位置に設定することが好ましい。つまり，頂点座標は，特徴量採取領域２４２０において，特徴量採取領域２４２０の中心点よりも陳列棚の外側方向に位置していることが好ましい。

【0089】

たとえば，頂点座標の４点は左上，右上，左下，右下に位置する。そして，特徴量採取領域２４２０の矩形領域を縦横の中心でそれぞれ２分割した合計４領域に分割すると，左上の頂点座標を含む特徴量採取領域２４２０では，その頂点座標が矩形領域のうち左上の領域に位置するように特徴量採取領域２４２０を設定する。同様に，右上の頂点座標を含む特徴量採取領域２４２０では，その頂点座標が矩形領域のうち右上の領域に位置するように特徴量採取領域２４２０を設定し，左下の頂点座標を含む特徴量採取領域２４２０では，その頂点座標が矩形領域のうち左下の領域に位置するように特徴量採取領域２４２０を設定し，右下の頂点座標を含む特徴量採取領域２４２０では，その頂点座標が矩形領域のうち右下の領域に位置するように特徴量採取領域２４２０を設定する。これによって，頂点座標は，特徴量採取領域２４２０において，特徴量採取領域２４２０の中心点よりも陳列棚の外側方向に位置することとなる。

【0090】

つぎに，撮影画像情報正置化処理部２４２は，Ｎ回目の撮影画像情報において，Ｎ−１回目の撮影画像情報に設定した特徴量採取領域２４２０を内包し，Ｎ−１回目の撮影画像情報の特徴量採取領域２４２０以上の大きさの特徴量採取領域２４２１を設定する。Ｎ回目の撮影画像情報に設定する特徴量採取領域２４２１は，短辺の１／２の大きさは超えない。さらに，撮影画像情報よりも外側に出る場合には，その範囲をトリミングする。Ｎ回目の撮影画像情報に対して特徴量採取領域２４２１を設定した状態の一例を図１６に示す。

【0091】

そして撮影画像情報正置化処理部２４２は，Ｎ−１回目の撮影画像情報に対して設定した各特徴量採取領域２４２０において，局所特徴量を採取し，局所特徴量による特徴点とその座標のセットとを記憶する。また，Ｎ回目の撮影画像情報に対して設定した各特徴量採取領域２４２１において，局所特徴量を採取し，局所特徴量による特徴点とその座標のセットとを記憶する。

【0092】

撮影画像情報正置化処理部２４２は，Ｎ−１回目の撮影画像情報の特徴量採取領域２４２０における特徴点の局所特徴量と，Ｎ−１回目の撮影画像情報の特徴量採取領域２４２０に対応する位置にあるＮ回目の撮影画像情報の特徴量採取領域２４２１における特徴点の局所特徴量とを比較する。そして，Ｎ−１回目の撮影画像情報の各特徴点の各局所特徴量にもっとも近い，Ｎ回目の撮影画像情報の各局所特徴量の特徴点を特定する。そしてもっとも近い局所特徴量同士の特徴点をペアとし，ペアとなる局所特徴量による特徴点の座標を対応づける。なお，この際に，局所特徴量同士の近さ（類似性）があらかじめ定められた閾値未満のペアは除外をする。これによって，Ｎ−１回目の特徴量採取領域２４２０における局所特徴量の特徴点と，Ｎ回目の特徴量採取領域２４２１におけるもっとも近い局所特徴量の特徴点同士のペアを特定できる。Ｎ−１回目の特徴量採取領域２４２０の局所特徴量の特徴点と，Ｎ回目の特徴量採取領域２４２１の局所特徴量の特徴点とのペアの関係を図１７に示す。図１７では，Ｎ−１回目の特徴量採取領域２４２０における局所特徴量による特徴点の点群をＡ，Ｎ回目の特徴量採取領域２４２１における局所特徴量による特徴点の点群をＢ，Ｎ−１回目の台形補正処理に用いた頂点をＣで示している。

【0093】

Ｎ−１回目の特徴量採取領域２４２０における局所特徴量による特徴点の点群Ａの座標と，点群Ａに対応するＮ回目の特徴量採取領域２４２１における局所特徴量による特徴点の点群Ｂの座標とに基づいて，点群Ａを点群Ｂに射影する関数Ｆ（透視変換・ホモグラフィー）を求める。関数Ｆは，サンプリング推定を反復する，ロバスト推定の一種であるＯｐｅｎＣＶのＲＡＮＳＡＣを利用するなどの方法があるが，それらに限定しない。なお，射影の関係にある関係線からずれが大きいペアは処理対象から除外をする。

【0094】

撮影画像情報正置化処理部２４２において関数Ｆを求めたのち，撮影画像情報正置化処理部２４２は，Ｎ−１回目の台形補正処理で用いた頂点Ｃの座標を，関数Ｆに基づいてＮ回目の撮影画像情報に射影し，Ｎ回目の台形補正処理のための頂点Ｄの座標として特定する。これを模式的に示すのが図１８である。

【0095】

以上の処理を各特徴量採取領域２４２０，２４２１に対して行うことで，Ｎ回目の撮影画像情報における台形補正処理のための棚位置の４頂点を特定する。そして，撮影画像情報正置化処理部２４２は，特定した４頂点に基づいて，Ｎ回目の撮影画像情報に対する台形補正処理を実行して正置化し，正置画像情報を生成し，記憶する。この際に，撮影画像情報正置化処理部２４２は，正置画像情報に対応付けて，撮影日時情報，店舗情報，撮影画像情報の画像情報識別情報，正置画像情報の画像識別情報と対応づけて記憶をさせる。特定したＮ回目の撮影画像情報に対応する頂点の座標は，撮影日時情報，店舗情報，撮影画像情報の画像情報識別情報と対応づけて記憶させる。

【0096】

なお，撮影画像情報正置化処理部２４２における台形補正処理で用いる頂点の特定処理は，本発明のように陳列棚を撮影した画像情報から商品を特定する場合に限らず，同一の撮影対象物を撮影した複数の画像情報を正置化し，正置画像情報を生成する画像認識システム１にも適用することができる。これによって，同一の撮影対象物を撮影した複数の画像情報について，それぞれ正置化して，その撮影対象物の正置画像情報を生成することができる。

【0097】

また，Ｎ回目の撮影画像情報における台形補正処理のための棚位置の４頂点を特定するため，上述では，Ｎ−１回目の撮影画像情報における特徴量採取領域２４２０での局所特徴量による特徴点の点群Ａと，Ｎ回目の撮影画像情報における特徴量採取領域２４２１での局所特徴量による特徴点の点群Ｂとを用いて関数Ｆを求め，Ｎ−１回目の台形補正処理で用いた頂点Ｃの座標を，関数ＦによりＮ回目の撮影画像情報に射影し，Ｎ回目の台形補正処理のための頂点Ｄの座標として特定する処理を説明した。しかし，かかる処理では，Ｎ−１回目の撮影画像情報と，Ｎ回目の撮影画像情報とにおいて，類似する画像情報の対応点の座標（位置）を見つければよいので，上記の方法にするものではなく，画像情報内の箇所を特定するタイプの特徴量であればいかなるものであってもよい。たとえば，画像情報内における尖った箇所，ハイライトのポイントなどがある。本明細書では，局所特徴量などの，画像情報内の箇所を特定する特徴量を画像特徴量（位置特定型画像特徴量）という。なお，本明細書の説明では，画像特徴量として，上述のように局所特徴量を用いる場合を説明する。

【0098】

つぎに，実施例２における台形補正処理を行うための頂点の特定処理を説明する。この場合，任意の陳列棚を撮影した撮影画像情報において台形補正処理を行うための頂点がすでに特定されており，同一の陳列棚について，同一の機会に異なる角度で撮影した撮影画像情報について行う場合を説明する。

【0099】

店舗の陳列棚が撮影された撮影画像情報は，撮影画像情報入力端末３から入力され，管理端末２の撮影画像情報入力受付処理部２４１でその入力を受け付ける。図１９に，撮影画像情報の一例を示す。また，撮影日時，店舗識別情報，撮影画像情報の画像情報識別情報の入力を受け付ける。そして，撮影画像情報入力受付処理部２４１は，入力を受け付けた撮影画像情報，撮影日時，店舗識別情報，画像情報識別情報を対応づけて撮影画像情報記憶部２０に記憶させる。

【0100】

管理端末２において所定の操作入力を受け付けると，撮影画像情報正置化処理部２４２は撮影画像情報記憶部２０に記憶する撮影画像情報を抽出し，台形補正処理を実行するための，棚位置の頂点Ｄ（Ｄ１乃至Ｄ４）を特定する処理を実行する。

【0101】

今回（Ｎ回目）の撮影画像情報（図１９）に対応する同じまたはほぼ同じ領域を撮影した前回（Ｎ−１回目）の撮影画像情報（図２０）の頂点座標（たとえば頂点座標Ｃ１乃至Ｃ４とする）を特定する。前回の撮影画像情報の頂点座標は，撮影日時，店舗識別情報，撮影画像情報の画像識別情報などに基づいて特定をすればよい。

【0102】

撮影画像情報正置化処理部２４２は，撮影画像情報記憶部２０からＮ−１回目の撮影画像情報を抽出し，それぞれの頂点Ｃ１乃至Ｃ４について，頂点を一つずつ含む所定の大きさの矩形領域を特徴量採取領域２４２０として，Ｎ−１回目の撮影画像情報に設定する。Ｎ−１回目の撮影画像情報に特徴量採取領域２４２０を設定した状態を図２０に示す。

【0103】

また，撮影画像情報正置化処理部２４２は，撮影画像情報記憶部２０からＮ回目の撮影画像情報（図１９）を抽出し，Ｎ−１回目の特徴量採取領域２４２０よりも広い範囲の特徴量採取領域２４２１を，Ｎ回目の撮影画像情報に設定する。Ｎ回目の撮影画像情報に特徴量採取領域２４２１を設定した状態を図２１に示す。Ｎ回目の撮影画像情報におけるそれぞれの特徴量採取領域２４２１は，Ｎ−１回目の特徴量採取領域２４２０を一つずつ含む。図２１では，Ｎ回目の特徴量採取領域２４２１に，Ｎ−１回目の特徴量採取領域２４２０を示すことで，その包含関係を示している。

【0104】

そして撮影画像情報正置化処理部２４２は，Ｎ−１回目の撮影画像情報に対して設定した各特徴量採取領域２４２０において局所特徴量を採取し，局所特徴量による特徴点と座標のセットとを記憶する。また，Ｎ回目の撮影画像情報に対して設定した各特徴量採取領域２４２１において局所特徴量を採取し，局所特徴量による特徴点と座標のセットとを記憶する。

【0105】

撮影画像情報正置化処理部２４２は，Ｎ−１回目の撮影画像情報の特徴量採取領域２４２０での各特徴点の各局所特徴量にもっとも近いＮ回目の撮影画像情報の特徴量採取領域２４２１での局所特徴量の特徴点を特定し，それらをペアとなる局所特徴量の特徴点として，それぞれの座標を対応付ける。図１７に示すのがＮ−１回目のＮ−１回目の特徴量採取領域２４２０と，Ｎ回目の特徴量採取領域２４２１とのペアの関係である。

【0106】

そして，Ｎ−１回目の特徴量採取領域２４２０における局所特徴量による特徴点の点群をＡ，Ｎ回目の特徴量採取領域２４２１における局所特徴量による特徴点の点群をＢ，Ｎ−１回目の台形補正処理に用いた頂点をＣ（Ｃ１乃至Ｃ４）とすると，撮影画像情報正置化処理部２４２は，点群Ａと点群Ｂの座標とに基づいて，点群Ａを点群Ｂに射影する関数Ｆ（透視変換・ホモグラフィー）を求める。

【0107】

そして撮影画像情報正置化処理部２４２は，Ｎ−１回目の台形補正処理で用いた頂点Ｃ（Ｃ１乃至Ｃ４）の座標を，求めた関数Ｆに基づいて射影し，Ｎ回目の台形補正処理のための頂点Ｄ（Ｄ１乃至Ｄ４）の座標として特定する。

【0108】

以上の処理を各特徴量採取領域２４２０，２４２１に対して行うことで，Ｎ回目の台形補正処理のための４頂点Ｄ（Ｄ１乃至Ｄ４）が自動的に特定できる。特定したＮ回目の頂点Ｄ（Ｄ１乃至Ｄ４）の座標は，撮影日時，店舗識別情報，撮影画像情報の画像情報識別情報に対応づけて記憶させる。特定された頂点Ｄ１乃至Ｄ４を示すのが図２２である。

【0109】

以上のようにして，Ｎ回目の撮影画像情報に対する台形補正処理のための棚位置の頂点Ｄ（Ｄ１乃至Ｄ４）を特定すると，撮影画像情報正置化処理部２４２２２は，頂点Ｄ（Ｄ１乃至Ｄ４）に基づいて，Ｎ回目の撮影画像情報に対して台形補正処理を実行する。

【0110】

以上のような処理を実行することで，二回目以降の台形補正処理について，台形補正処理で用いる４頂点を指定せずとも，対応する頂点を自動的に特定することができるようになり，担当者の負担を軽減することができる。

【実施例3】

【0111】

さらに実施例１のフェイス特定処理部２４５におけるフェイスの特定処理の変形例を説明する。本実施例では，実施例１のフェイスの特定処理を初回の処理として，二回目以降のフェイスの特定処理として，自動的にフェイスを特定する処理を行うようにしてもよい。この場合の処理を説明する。

【0112】

なお，初回とは一回目のほか，自動的に特定する際のずれを修正するため，任意のタイミングで実施例１の処理を行う場合も含まれる。二回目以降とは初回以外である。また，二回目以降には，同一の陳列棚を同一の機会に撮影した撮影画像情報，正置画像情報について，異なる角度で撮影した撮影画像情報，正置画像情報に対する処理を行う場合も含まれる。

【0113】

フェイス特定処理部２４５は，実施例１の処理と同様の処理を初回のフェイスの特定処理として実行する。そして，フェイス特定処理部２４５における二回目以降のフェイスの特定処理は，同一の陳列棚の同一の棚段について，前回（Ｎ−１回目）の正置画像情報で特定したフェイスの領域の座標を抽出し，その座標を今回（Ｎ回目）の正置画像情報で特定したフェイスの領域の座標とする。

【0114】

フェイスの領域の座標は，棚段の位置の座標と同様に，正置画像情報における，陳列棚内での所定箇所（たとえば陳列棚の左上の頂点Ｃ１）を基準とした相対座標である。

【実施例4】

【0115】

さらに実施例１の変形例として，識別情報特定処理部２４６における，陳列棚の棚段ごとに，フェイスに表示されている商品の商品識別情報を特定する処理として，実施例１の処理を初回の商品識別情報の特定処理とし，二回目以降の商品識別情報の特定処理として，以下のような処理を実行する。

【0116】

識別情報特定処理部２４６は，Ｎ回目の正置画像情報におけるフェイスの商品識別情報の特定処理は，まず処理対象となるフェイスのフェイス識別情報を特定する。特定したフェイス識別情報をＸとする。そして，Ｎ回目の正置画像情報におけるフェイス識別情報Ｘの領域の画像情報と，フェイス識別情報Ｘに対応する位置にあるＮ−１回目の正置画像情報における領域の画像情報とを比較する。類似性の判定については，上述の実施例１乃至実施例３の処理のほか，各フェイスの領域の画像情報のシグネチャ（画像特徴量と重みの集合）同士のＥＭＤを求め，類似性の尺度とすることができる。シグネチャの画像特徴量としては，たとえばフェイス領域の画像情報のＨＳＶ色空間内の頻度分布を求め，色相と彩度に関してグルーピングを行って，特徴の個数とＨＳＶ色空間内の領域による画像特徴量とすることができる。色相と彩度についてグルーピングを行うのは，撮影条件に大きく左右されないように，明度への依存度を下げるためである。

【0117】

また，処理の高速化のため，シグネチャとＥＭＤの代わりに，適宜の色空間内での画像情報の色コリログラムや色ヒストグラムなどの画像特徴量間のＬ２距離等の類似性を用いることもできる。

【0118】

フェイス領域の画像情報の類似性が一定の閾値以上であれば，Ｎ−１回目の正置画像情報におけるその領域のフェイスに対応する商品識別情報の候補を識別情報候補記憶部２２から抽出し，Ｎ回目の正置画像情報におけるフェイス識別情報Ｘの商品識別情報の候補とする。これによって，処理対象となるＮ回目の正置画像情報におけるフェイス識別情報Ｘの商品識別情報の候補を特定できる。もし類似性が一定の閾値未満であれば，初回の場合と同様に，Ｎ回目の正置画像情報におけるフェイス識別情報Ｘの領域の画像情報と，標本情報記憶部２１に記憶する標本情報とを比較して，類似性が所定の閾値以上で，かつ，もっとも類似性が高い商品識別情報を，Ｎ回目の正置画像情報におけるフェイス識別情報Ｘのフェイスの商品識別情報の候補として特定をする。

【0119】

なお，Ｎ−１回目の正置画像情報におけるフェイスの領域の画像情報との比較において，対応するフェイスの位置との比較のみならず，所定範囲のフェイスを比較対象として含めてもよい。たとえばＮ回目の正置画像情報におけるフェイス識別情報Ｘの領域の画像情報と比較する場合，比較対象としては，Ｎ−１回目の正置画像情報におけるフェイス識別情報Ｘの領域のほか，その領域から所定範囲にあるフェイスの領域，たとえばその左右方向に一または複数離隔している位置にあるフェイス，上下の棚段に位置するフェイスの領域も含めてもよい。さらに，Ｎ−１回目の正置画像情報におけるフェイス識別情報Ｘの領域のほか，フェイス識別情報Ｘ−２，Ｘ−１，Ｘ，Ｘ＋１，Ｘ＋２のように，複数の隣接するフェイスの領域を含めてもよい。

【0120】

この場合，Ｎ回目の正置画像情報におけるフェイス識別情報Ｘの領域の画像情報と，Ｎ−１回目の正置画像情報における，比較対象となる範囲のフェイスの範囲の領域のそれぞれの画像情報とを比較し，もっとも類似性が高いＮ−１回目の正置画像情報のフェイス識別情報を特定する。なお，類似性は一定の閾値以上であることを条件としてもよい。そして特定したＮ−１回目の正置画像情報のフェイス識別情報に対応する商品識別情報の候補を識別情報候補記憶部２２から抽出し，Ｎ回目の正置画像情報におけるフェイス識別情報Ｘの商品識別情報の候補とする。この処理を模式的に示すのが図２３である。図２３（ａ）は前回（Ｎ−１回目）の正置画像情報であり，図２３（ｂ）は今回（Ｎ回目）の正置画像情報である。そして，Ｎ回目の正置画像情報の棚段１の各フェイスの領域の画像情報と，Ｎ−１回目の正置画像情報の棚段１の各フェイスの領域の画像情報とをそれぞれ比較することで類似性を判定し，もっとも類似性が高いＮ−１回目の正置画像情報の棚段１のフェイスの商品識別情報の候補を，Ｎ回目の正置画像情報の棚段１のフェイスの商品識別情報の候補として特定をすることを示す。図２３では，Ｎ回目の正置画像情報のフェイスに対応する位置にあるＮ−１回目の正置画像情報のフェイスに加え，その左右２つずつのフェイスとの比較を行う場合を示している。なお同一棚段のみならず，上下の棚段のフェイス位置の画像情報との比較を行ってもよい。たとえば図２３の場合，Ｎ回目の正置画像情報の棚段２の中心のフェイス位置の商品識別情報の候補を特定する際に，Ｎ−１回目の正置画像情報の棚段２の中心およびその左右２つずつのフェイスの領域の画像情報と比較するのみならず，Ｎ−１回目の正置画像情報の棚段１の中心およびその左右２つずつのフェイスの領域の画像情報，Ｎ−１回目の正置画像情報の棚段３の中心およびその左右２つずつのフェイスの領域の画像情報と類似性の比較を行ってもよい。

【0121】

Ｎ−１回目の正置画像情報のフェイスの画像情報との比較の結果，類似性が閾値を充足しないなどによって商品識別情報の候補を特定できなかった場合には，Ｎ回目の正置画像情報におけるフェイス識別情報Ｘの領域の画像情報と，標本情報記憶部２１に記憶する標本情報とを比較して，類似性が所定の閾値以上で，かつ，もっとも類似性が高い商品識別情報を，Ｎ回目の正置画像情報におけるフェイス識別情報Ｘのフェイスの商品識別情報の候補として特定をする。この場合の類似性の判定処理は，初回の商品識別情報の特定処理と同様に行える。

【0122】

以上のようにして特定した商品識別情報の候補は，撮影日時情報，店舗情報，撮影画像情報の画像情報識別情報，正置画像情報の画像識別情報，フェイスを識別するためのフェイス識別情報に対応づけて識別情報候補記憶部２２に記憶する。

【実施例5】

【0123】

実施例１乃至実施例４では，同一の陳列棚を同一の機会に異なる角度で撮影した画像情報のそれぞれにおいて，フェイスにおける商品識別情報の候補を特定し，対応するフェイス同士を比較することで，当該フェイスにおける商品識別情報を確定した。本実施例では，異なる角度で撮影した画像情報のそれぞれについてフェイスにおける商品識別情報の候補を特定するのではなく，異なる角度で撮影した画像情報を先に合成して光等の写り込み部分を消し込んだ上で得られた一枚の画像情報に対して，フェイスにおける商品識別情報の特定処理を実行する場合を説明する。この場合の画像認識システム１のシステム構成のブロック図の一例を図２４および図２５に示す。

【0124】

本実施例の画像認識システム１においては，撮影画像情報記憶部２０と標本情報記憶部２１と識別情報記憶部２３と画像情報処理部２４とを有する。撮影画像情報記憶部２０，標本情報記憶部２１，識別情報記憶部２３は，実施例１乃至実施例４と同様の構成である。

【0125】

画像情報処理部２４は，撮影画像情報入力受付処理部２４１と撮影画像情報正値化処理部と棚段位置特定処理部２４３と棚段領域切出処理部２４４とフェイス特定処理部２４５と識別情報特定処理部２４６と棚段画像マッチング処理部２４７と画像情報加工処理部２４８とを有する。

【0126】

撮影画像情報入力受付処理部２４１と撮影画像情報正値化処理部とは実施例１乃至実施例４と同様の処理を実行する。すなわち，撮影画像情報入力受付処理部２４１は，撮影画像情報入力端末３で撮影した店舗の陳列棚の画像情報（撮影画像情報）の入力を受け付け，撮影画像情報記憶部２０に記憶させる。また，撮影画像情報正置化処理部２４２は，撮影画像情報記憶部２０に記憶した撮影画像情報に対して台形補正処理を実行して正置化した，正置画像情報を生成する。

【0127】

画像情報加工処理部２４８は，撮影画像情報に基づいて正値化処理を実行した正置画像情報の一部または全部の範囲について，それぞれ一つの画像情報に合成する処理を実行する。すなわち，同一の陳列棚を同一の機会に異なる角度で撮影した各正置画像情報の一部または全部の範囲について，所定の基準単位，たとえば１０ピクセルから１００ピクセル程度を基準単位としてメッシュで区切る。そして，各メッシュの領域の画像情報の明度の平均値を算出する。この明度の平均値を，異なる角度で撮影した各正置画像情報で対応するメッシュごとに比較し，明度の平均値がもっとも小さい画像情報のメッシュを特定する。この処理をすべてのメッシュについて行う。特定したメッシュの領域の画像情報を一枚の画像情報（加工済正置画像情報）として縦または横方向に並べて合成すれば，光の写り込みによる影響を低減した画像情報を生成することができる。なお，メッシュ領域の画像情報については，明度の平均値に限らず，明度についてのほかの評価基準による指標値を用いて，合成するメッシュを特定すればよい。また，画像情報加工処理部２４８で処理対象とする画像情報は，それらの画像情報間で，シャッター速度，絞り値等の撮影条件が同一または同等となるように補正されていることが好ましい。撮影条件が相違するまたは同等に補正されていない画像情報間で上述の明度を用いた処理を実行した場合，写り込みがない部分については，明度に基づく指標値が低い（暗い）画像情報が選ばれることとなる。この場合であっても写り込み自体は除去できるが，生成する画像情報全体のコントラスト，明度が低くなる，あるいは荒れが目立つなどの問題が生じやすくなり，認識精度に影響を与える可能性があるからである。

【0128】

フェイス特定処理部２４５と識別情報特定処理部２４６と棚段画像マッチング処理部２４７における各処理は，実施例１乃至実施例４と同様であるが，その処理対象は正置画像情報の棚段領域ではなく，画像情報加工処理部２４８で生成した加工済正置画像情報に対して行う。また，識別情報特定処理部２４６は，実施例１乃至実施例４ではフェイス領域における商品の商品識別情報の候補を特定し，識別情報候補記憶部２２に記憶させていたが，本実施例では，フェイス領域における商品の商品識別情報を特定し，識別情報記憶部２３に特定した情報を記憶させる。

【0129】

このように加工済正置画像情報に対して処理を実行することで，実施例１乃至実施例４のように，フェイスにおける商品識別情報の候補を特定せずとも，棚段領域の範囲の画像情報について，画像情報加工処理部２４８による合成処理が実行されるので，棚段領域について光の写り込みによる影響を低減することができる。そのため，精度よく，フェイスにおける商品識別情報を直接特定することができる。

【0130】

画像情報加工処理部２４８における正置画像情報に対する処理は，棚段位置特定処理部２４３で特定した棚段位置の領域の画像情報，棚段領域切出処理部２４４で切り出した棚段領域の画像情報に対して実行することが好ましいが，それに限定されず，撮影画像情報正値化処理部で生成した正置画像情報の一部または全体の範囲に対して実行してもよい。

【0131】

つぎに本実施例における処理プロセスの一例を図２６および図２７のフローチャートを用いて説明する。

【0132】

店舗の陳列棚の撮影担当者は，同一の陳列棚について，光等の写り込みが重ならないように，複数の角度から撮影を行う。そして店舗の陳列棚について，同一の機会に異なる角度から撮影された撮影画像情報（図８，図９）は，撮影画像情報入力端末３から入力され，管理端末２の画像情報処理部２４における撮影画像情報入力受付処理部２４１でその入力を受け付ける（Ｓ３００）。また，撮影日時，店舗識別情報，撮影画像情報の画像情報識別情報の入力を受け付ける。そして，撮影画像情報入力受付処理部２４１は，入力を受け付けた撮影画像情報，撮影日時，店舗識別情報，撮影画像情報の画像情報識別情報を対応づけて撮影画像情報記憶部２０に記憶させる。

【0133】

管理端末２において所定の操作入力を受け付けると，撮影画像情報正置化処理部２４２は，撮影画像情報記憶部２０に記憶する撮影画像情報を抽出し，台形補正処理を行うための頂点である棚位置（陳列棚の位置）の４点の入力を受け付け，台形補正処理を実行する（Ｓ３１０）。このようにして台形補正処理が実行された撮影画像情報（正置画像情報）の一例が，図１０，図１１である。

【0134】

そして，正置画像情報に対して，管理端末２において所定の操作入力を受け付けることで，棚段位置特定処理部２４３は，棚段領域を特定する（Ｓ３２０）。すなわち，正置画像情報における棚段領域の入力を受け付ける。図１２および図１３が，棚段領域が特定された状態を示す図である。

【0135】

以上のようにして，棚段領域を特定すると，棚段領域切出処理部２４４は，Ｓ３２０で入力を受け付けた棚段の領域に基づいて，正置画像情報から棚段領域の画像情報を切り出す（Ｓ３３０）。

【0136】

画像情報加工処理部２４８は，Ｓ３３０で棚段領域切出処理部２４４が切り出した棚段領域の画像情報について，加工済正置画像情報生成処理を実行する（Ｓ３４０）。

【0137】

まず画像情報加工処理部２４８は，切り出した棚段領域の正置画像情報に対して，対応する棚段領域ごとに縦，横のサイズが一致または略一致するように，倍率を変更するなどしてサイズをそろえておく。そして，切り出した棚段領域の正置画像情報に対して，所定の基準単位，たとえば１０ピクセルごとにメッシュで区切る（Ｓ４００）。この状態を模式的に示すのが図２８である。図２８（ａ）が図１２，図２８（ｂ）が図１３の正置画像情報の棚段領域に対してメッシュ化した状態を示している。

【0138】

そして画像情報加工処理部２４８は，各メッシュについて，メッシュの領域の画像情報ごとの明度の平均値を算出する（Ｓ４１０）。なお平均値としては単純平均でもよいし，加重平均などでもよく，またメッシュの領域の画像情報ごとの明度に基づく基準値であれば，平均以外の演算による値であってもよい。

【0139】

そして，画像情報加工処理部２４８は，対応するメッシュごとに，明度の平均値（基準値）を比較し（Ｓ４２０），比較したうち，もっとも明度の小さいメッシュの画像情報を特定する（Ｓ４３０）。図２８であれば，図２８（ａ），図２８（ｂ）の各正置画像情報において，それぞれの正置画像情報の棚段領域における各メッシュについて，メッシュの領域の画像情報ごとの明度の平均値を算出する。そして，メッシュＡ１（図２８（ａ））とメッシュＡ２（図２８（ｂ））とが対応するので，メッシュＡ１の明度の平均値とメッシュＡ２の明度の平均値とを比較する。たとえばメッシュＡ１の明度の平均値が小さければ，メッシュＡ１を特定する。また，メッシュＢ１（図２８（ａ））とメッシュＢ２（図２８（ｂ））とが対応するので，メッシュＢ１の明度の平均値とメッシュＢ２の明度の平均値とを比較する。たとえばメッシュＢ２の明度の平均値が小さければ，メッシュＢ２を特定する。このように，対応するメッシュについての明度の比較，特定処理をすべてのメッシュについて行う。

【0140】

そして特定したメッシュを縦，横に並べて配置することで，一つの画像情報（加工済正置画像情報）を生成する（Ｓ４４０）。上述の例では，メッシュＡ１，メッシュＢ２などが特定されているので，メッシュＡ１，メッシュＢ２など，Ｓ４３０の処理で特定したメッシュを縦，横に並べて配置することで，当該棚段領域における一つの画像情報として合成し，生成する。この処理を模式的に示すのが図２９である。なお，図２９では，わかりやすさのため，図２８の棚段領域のうち，最上位の棚段領域に対する処理を一例として示している。

【0141】

以上のような処理を実行することで，棚段領域について光の写り込みを減らした画像情報を生成できる。

【0142】

このように加工済正置画像情報に対して，実施例１乃至実施例４と同様に，フェイス特定処理部２４５がフェイスの特定処理，識別情報特定処理部２４６がフェイス単位での商品識別情報の特定処理を実行する（Ｓ３５０，Ｓ３６０）。すなわち，フェイス特定処理部２４５が，加工済正置画像情報においてフェイスの領域を特定し，識別情報特定処理部２４６が，標本情報記憶部２１に記憶する標本情報と，フェイスの領域における画像情報との画像マッチング処理による商品識別情報の特定処理を実行することで，当該フェイスの領域における商品の商品識別情報を特定する。そして，特定した商品識別情報を，実施例１乃至実施例４と同様に，識別情報記憶部２３に記憶させる（Ｓ３７０）。

【0143】

なお，本実施例による処理を用いたとしても，すべてのフェイスの商品識別情報を特定できるとは限らない。そこで，特定できていないフェイスについては，商品識別情報の入力を受け付け，入力を受け付けた商品識別情報を，撮影日時，店舗識別情報，撮影画像情報の画像情報識別情報，正置画像情報の画像情報識別情報，フェイス識別情報に対応づけて，商品識別情報の候補として識別情報候補記憶部２２に記憶してもよい。また，特定した商品識別情報の候補の修正処理についても同様に，入力を受け付けてもよい。

【0144】

以上のような処理を行うことで，撮影画像情報に写っている陳列棚の棚段に陳列されている商品の商品識別情報を特定することができる。

【0145】

なお本実施例においても，実施例１乃至実施例４における各処理部の変形処理を用いることができる。

【実施例6】

【0146】

標本情報記憶部２１に記憶する標本情報に，光や周囲の色の写り込みなどがあるとその商品の外観（たとえばパッケージや包装）の画像的特徴（画像特徴量）に影響があるので，画像マッチング処理の精度に影響を与える。そのため，標本情報として用いる画像情報には，光や周囲の色の写り込みによって，商品の本来の色が損なわれないように撮影した画像情報を用いることが好ましい。しかし，商品の外観の形状や素材などによっては，光の反射によって，写り込みが避けがたい場合がある。たとえば，金属製の缶の場合，反射率が高いので照明の光の反射が写真に写り込むことが避けられない。

【0147】

商品の標本情報を撮影するときの写り込み等の外乱を与える要素としては，商品の撮影環境と，商品の外観の形状がある。撮影環境には，照明装置などの光源に加え，商品の背景や商品を載置する面の状態などがある。また商品の外観の形状は，商品の外観を構成する面の方向によって，撮影装置や，照明装置などの光の写り込みを生じる。

【0148】

そこで，本実施例では，写り込みのない標本情報を得るための処理を説明する。本実施例における処理は，実施例１乃至実施例５の標本情報に対しても適用可能である。

【0149】

撮影環境による写り込みに対する方法としては，以下の撮影方法を適用できる。

【0150】

標本情報のゆがみを防止するため，撮影装置での撮影は，商品の水平方向の正対方向から行う。この場合，反射などにより商品の外観に写り込みが生じることは避けがたい場合もあることから，写り込むものが白色や灰色などの特定の色相を持たない平板なものを写り込ませる。具体的には，特定の色相を持たない白色や灰色を背景とし，標本情報とする商品の撮影をする。商品の背景としては，白色や灰色の紙，布などを用いることがよい。そして背景とした白色や灰色の紙，布などは，商品を載置する面にも折り目なく，写り込みの結果が平板になる程度まで，商品の前面にまで広げておく。これによって，撮影環境による写り込みによる影響を軽減できる。

【0151】

商品の外観の形状による写り込みに対する方法としては，以下の撮影方法を適用できる。

【0152】

標本情報の撮影対象となる商品について，商品と撮影装置との相対的な位置（たとえば撮影装置で撮影される商品の面と，撮影装置との相対的位置）を変更せずに，商品と照明などの光源との相対的位置（たとえば光源により光が照射される商品の面と，光源との相対的位置）を変更して，商品を複数回撮影する。換言すれば，商品と撮影装置との相対的位置を変更せず，撮影装置と光源との相対的位置を変更して，商品を複数回撮影する。つまり撮影した画像情報において同じ位置，同じ大きさ（サイズ），同じ角度で商品が写るようにし，照明などの光源からの光が商品に異なる角度から照射されるようにして，複数回，撮影を行い，画像認識システム１はその入力を受け付ける。図３０に商品を撮影する状態を上方からみた場合の一例を示す。図３０（ａ）は商品の左側から照明を当てて撮影する状態の一例を示す図であり，図３０（ｂ）は商品の右側から照明を当てて撮影する状態の一例を示す図である。図３０では，撮影装置を挟んで左右２カ所から撮影する場合を示しているが，３カ所以上から撮影をしてもよい。図３０では，光源のもっとも撮影装置寄りから出射した光によって，商品の中心軸にもっとも近い箇所に生じる写り込みの光路を破線矢印で示している。この場合，入射光の角度（入射角）と反射光の角度（反射角）とは，商品の面に対する垂線を対称軸として同一となる。

【0153】

そして，画像認識システム１は，入力を受け付けた複数の画像情報において，写り込みが生じていない部分を切り出して互いに合成することで，適切な標本情報を得る。適切な標本情報は，標本情報記憶部２１に記憶される。図３１にこの処理を模式的に示す。図３１（ａ）は図３０（ａ）の状態で撮影した画像情報であり，図３１（ｂ）は図３０（ｂ）の状態で撮影した画像情報であり，図３１（ｃ）は，図３１（ａ），（ｂ）の画像情報を合成した適切な標本情報である。すなわち，図３０（ａ）は右側から光を当てて商品を撮影しているので，商品の右側に光の写り込みが発生しやすい。また，図３０（ｂ）は左側から光を当てて商品を撮影しているので，商品の左側に光の写り込みが発生しやすい。換言すれば，図３１（ａ）では商品の左側（Ａ）には光の写り込みがなく，図３１（ｂ）では商品の右側（Ｂ）には光の写り込みがない。そのため，図３１（ａ）の商品の左側（Ａ）の領域の画像情報と，図３１（ｂ）の商品の右側（Ｂ）の領域の画像情報とをそれぞれ切り出し，一つの画像情報に合成をする（図３１（ｃ））。これによって，光の写り込みがない適切な標本情報を合成することができる。

【0154】

なお，図３０（ａ），（ｂ）において，入射角と反射角の和α，βは，同一または略同一となることが好ましい。それによって，撮影した画像情報において，商品が画像情報の横方向の中心付近に写るようになっていれば，撮影した画像情報における写り込みが発生していない左半分または右半分同士をそれぞれ切り出して合成すればよいので画像の合成処理が簡単となる。入射角と反射角の和α，βは，同一または略同一の場合，画像情報の合成処理の精度を向上させることができるが，角度α，βは同一または略同一でなくてもよい。

【0155】

図３０および図３１の処理をより具体的に説明すると，以下のようになる。撮影対象となる商品の外観の形状は，一般的には，商品の水平断面図が凸状または略凸状であることから，概略，図３２に示す３種類に大別できる。すなわち，箱に入った商品のように，直方体または略直方体の場合（正面が平面）（図３２（ａ）），飲料缶のように，円柱状等であり，側面が垂直である場合（図３２（ｂ）），ワインの瓶のように，上部に球面等の曲面があるなど，側面の一部が垂直ではない場合（図３２（ｃ））である。便宜的に，図３２（ａ）を第１ケース，図３２（ｂ）を第２ケース，図３２（ｃ）を第３ケースとする。

【0156】

図３３は，第１のケースを撮影装置で撮影する場合を示す図である。図３３（ａ）は商品を撮影する場合の上方からの図，図３３（ｂ）は商品を撮影する場合の側方からの図である。第１のケースの場合，撮影装置を商品に対して正対させ，商品を照らす光が一方向から来るように，照明などの光源は，たとえば１灯とする。そして，照明装置などの光源から出射した光は，商品における撮影装置に正対している面（一点鎖線で示される範囲の反射面）に反射し，撮影装置の焦点に入射する。

【0157】

そうすると，撮影装置の焦点と商品の反射面の右辺または左辺とを結ぶ直線を，商品の反射面から撮影装置に対する垂線を対称軸として直線を想定した場合，その直線の外側（撮影装置とは反対側）の領域（領域Ｘ，領域Ｙ）のいずれかの位置に光源を設置すれば，商品に写り込みは生じない。ここで，撮影装置の焦点と商品の反射面の右辺または左辺とを結ぶ直線と当該垂線とから構成される角度と，領域Ｘ，Ｙの境界線となる線と当該垂線との角度は，入射角と反射角との関係から，ともに角度ａである。したがって，領域Ｘ，領域Ｙのいずれか一カ所から撮影をすればよい（合成はしなくてもよい）。あるいは，図３３（ｂ）のように，商品の頂部からの水平線と撮影装置から商品の頂部に対する角度ｂと同一の角度ｂである直線（水平線を対称軸とした線）よりも上方の領域を領域Ｚとし，その領域Ｚに光源を設置して撮影を行う。第１のケースの場合，図３３（ａ）または図３３（ｂ）のように撮影をすれば，商品への光源の写り込みはなくなる。

【0158】

図３４は，第２のケースを撮影装置で撮影する場合を示す図である。第２のケースにおいては，図３４（ａ）のように，図３３（ｂ）の場合と同様に，商品の頂部からの水平線と撮影装置から商品の頂部に対する角度ｂと同一の角度ｂである直線（水平線を対称軸とした線）よりも上方の領域を領域Ｚとし，その領域Ｚに光源を設置して撮影を行う。そして図３４（ａ）のように撮影できない場合，図３４（ｂ）のように撮影を行う。図３４（ｂ）は，商品を撮影する場合の上方からの図である。図３４（ｂ）では，図３０と同様に，商品と撮影装置との相対的な位置（たとえば撮影装置で撮影される商品の面と，撮影装置との相対的位置）を変更せずに，商品と照明などの光源との相対的位置（たとえば光源により光が照射される商品の面と，光源との相対的位置）を変更して，商品を複数回撮影する。そして，それぞれの位置で撮影した画像情報を，それぞれ写り込みのない部分を合成して，標本画像情報とする。

【0159】

すなわち，照明から出射した光は，商品の反射面で反射し，それが撮影装置の焦点に入射する。そのため，商品の左側の領域（領域Ｘ）に照明を設置した場合，その照明から出射した光は商品の左側に写り込みを生じさせ，商品の右側の領域（領域Ｙ）に照明を設置した場合，その照明から出射した光は商品の右側に写り込みを生じさせる。そのため，商品の左側に光源を位置させた場合の画像情報ではその右側を，商品の右側に光源を位置させた場合の画像情報ではその左側を，それぞれ特定し，一つの画像情報に合成して標本情報とする。

【0160】

図３５は，第３のケースを撮影装置で撮影する場合を示す図である。図３５は，図３０および図３４（ｂ）と同様に，商品と撮影装置との相対的な位置（たとえば撮影装置で撮影される商品の面と，撮影装置との相対的位置）を変更せずに，商品と照明などの光源との相対的位置（たとえば光源により光が照射される商品の面と，光源との相対的位置）を変更して，商品を複数回撮影する。そして，それぞれの位置で撮影した画像情報を，それぞれ写り込みのない部分を合成して，標本画像情報とする。

【0161】

以上のように，商品の標本情報を撮影する場合には，その商品の外観の形状に応じて，第１のケース乃至第３のケースに対応する撮影方法を適用すればよい。しかし，一般的に商品の外観の形状はさまざまであるから，３つのケースに分類するのではなく，第３のケース（つまり上述の図３０，図３４（ｂ），図３５と同様の撮影方法）を用いることで，汎用的に適用することができる。

【0162】

以上のような撮影方法により商品の標本情報を撮影することで，撮影条件および商品の外観の形状の双方による外乱を軽減した標本情報を得ることができる。

【0163】

実施例６の変形例として，実施例５の処理を用いてもよい。すなわち，適切な標本情報を生成するために，商品と撮影装置との相対的位置関係を変更せずに，光源の位置を変更して撮影をした複数の画像情報について，実施例５と同様の処理を実行する。具体的には，実施例５のように商品を撮影した複数の画像情報のうち，画像情報の全部または一部（商品を含む領域）をメッシュに区切り，そのメッシュにおける明度の平均値を算出する。そして対応するメッシュごとに，明度の平均値を算出して，もっとも値が小さいメッシュの画像情報を特定する。このように特定したメッシュの画像情報を縦，横に並べて配置することで，適切な標本情報とする。

【0164】

本実施例における処理を用いて生成した標本情報は，実施例１乃至実施例５と同様の処理を実行することで，画像情報に写っている商品の商品識別情報を特定するほか，撮影画像情報または正置画像情報と，標本情報とを単純に画像マッチング処理を実行することで，商品識別情報を特定する処理を実行する画像認識システム１のように構成してもよい。

【実施例7】

【0165】

上述の実施例１乃至実施例６では，店舗などの陳列棚に陳列されている商品の商品識別情報を，陳列棚を撮影した画像情報から特定する場合を説明したが，商品の識別情報の特定処理に限らず，画像情報から特定対象物の識別情報を特定する場合にも用いることができる。すなわち，撮影対象物（たとえば特定対象物を複数配置等する物）または特定対象物（識別情報の特定対象となる物）を，同一の機会に複数の角度から撮影した画像情報と，標本情報との類似性を比較することで，画像情報に写っている特定対象物の識別情報を特定する画像認識システム１に適用することができる。その場合の具体的な処理として実施例１乃至実施例６の処理を適用することができる。この場合，陳列棚に対する処理は撮影対象物に対する処理，商品に対する処理は特定対象物に対する処理として読み替えればよい。

【産業上の利用可能性】

【0166】

本発明の画像認識システム１を用いることによって，光等が画像情報に写り込んでいる場合でも，従来よりも精度よく，商品などの対象物の特定が行える。

【符号の説明】

【0167】

１：画像認識システム
２：管理端末
３：撮影画像情報入力端末
２０：撮影画像情報記憶部
２１：標本情報記憶部
２２：識別情報候補記憶部
２３：識別情報記憶部
２４：画像情報処理部
２５：識別情報比較処理部
７０：演算装置
７１：記憶装置
７２：表示装置
７３：入力装置
７４：通信装置
２４１：撮影画像情報入力受付処理部
２４２：撮影画像情報正置化処理部
２４３：棚段位置特定処理部
２４４：棚段領域切出処理部
２４５：フェイス特定処理部
２４６：識別情報特定処理部
２４７：棚段画像マッチング処理部
２４８：画像情報加工処理部
２４２０：Ｎ−１回目の画像情報における特徴量採取領域
２４２１：Ｎ回目の画像情報における特徴量採取領域

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】

【図27】

【図28】

【図29】

【図30】

【図31】

【図32】

【図33】

【図34】

【図35】