特許 7231165 検証システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-02-20

(45)【発行日】2023-03-01

(54)【発明の名称】検証システム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20230221BHJP

【ＦＩ】

G06T7/00 350Z

【請求項の数】 9

(21)【出願番号】P 2021127336

(22)【出願日】2021-08-03

(62)【分割の表示】P 2020088635の分割

【原出願日】2020-05-21

(65)【公開番号】P2021184281

(43)【公開日】2021-12-02

【審査請求日】2021-08-03

(73)【特許権者】

【識別番号】516278171

【氏名又は名称】株式会社マーケットヴィジョン

(74)【代理人】

【識別番号】100205084

【弁理士】

【氏名又は名称】吉浦 洋一

(72)【発明者】

【氏名】谷井 成吉

【審査官】千葉 久博

(56)【参考文献】

【文献】特開２０１９－４６４８４（ＪＰ，Ａ）

【文献】特開２０１５－１０８９７４（ＪＰ，Ａ）

【文献】特開２００２－３４４９５２（ＪＰ，Ａ）

【文献】米国特許第６１３７９０５（ＵＳ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００

(57)【特許請求の範囲】

【請求項1】

画像情報における一部または全部の領域に対して，画像認識処理を実行する画像認識処理部と，
前記画像認識処理により特定した対象物の一部または全部と，処理対象とする画像情報との比較処理を実行することで，前記認識結果が正しいか否かの検証処理を実行する検証処理部と，を有する検証システムであって，
前記検証処理部は，
前記検証処理として，前記画像認識処理部における画像認識処理とは同一ではない処理方式，または，前記画像認識処理に用いる要素と前記検証処理に用いる要素の全部が共通ではない処理方式による処理を実行する，
ことを特徴とする検証システム。

【請求項2】

前記検証処理部は，
前記検証処理として，前記画像認識処理部における画像認識処理とは異なる処理方式，または，前記画像認識処理に用いる要素と前記検証処理に用いる要素の全部が異なる処理方式による処理を実行する，
ことを特徴とする請求項１に記載の検証システム。

【請求項3】

前記検証処理部は，
画像情報が類似しているか否かの判定を行うための基準を示す情報である検証ディスクリプタを用いて前記検証処理を実行する，前記検証ディスクリプタに設定した条件を充足しているかを前記検証処理で実行する，または画像情報内の対象物を構成する領域とその形状を代表する部分を表現したデータであるプロファイルデータを用いて前記検証処理を実行する，のいずれか一以上を行う，
ことを特徴とする請求項１または請求項２に記載の検証システム。

【請求項4】

前記検証システムは，
対象物の標本情報を記憶する標本情報記憶部と，
前記検証処理部における前記検証処理の判定結果に対する処理を実行する検証結果処理部と，を有しており，
前記画像認識処理部における前記画像認識処理は，
前記画像情報における処理対象とする領域と，前記標本情報における標本情報とを比較することで，前記処理対象とする領域に写っている対象物を特定し，
前記検証処理部における前記検証処理は，
前記画像認識処理において特定した対象物のうち一部または全部の対象物の対応する情報と，前記処理対象とする領域との比較結果が所定条件を充足する場合には前記画像認識処理の結果が正しいと判定し，
前記検証結果処理部は，
前記検証処理部において正しいと判定した場合には，前記画像認識処理の結果を，前記処理対象とする領域に写っている対象物として特定する，
ことを特徴とする請求項１から請求項３のいずれかに記載の検証システム。

【請求項5】

前記検証処理部における前記検証処理は，
前記比較結果が所定条件を充足しない場合には前記画像認識処理の結果が誤りと判定し，
前記検証結果処理部は，
前記検証処理部において誤りと判定した場合には，所定の通知を行う，
ことを特徴とする請求項４に記載の検証システム。

【請求項6】

陳列棚を撮影した画像情報から特定したフェイス領域に対して，標本情報記憶部に記憶する商品の標本情報を用いて画像認識処理を実行することで，前記フェイス領域に写っている対象物を特定する画像認識処理部と，
前記画像認識処理により特定した対象物のうち一部または全部と，処理対象とする画像情報との比較処理を実行することで，前記認識結果が正しいか否かの検証処理を実行する検証処理部と，を有する検証システムであって，
前記検証処理部は，
前記検証処理として，前記画像認識処理部における画像認識処理とは同一ではない処理方式，または，前記画像認識処理に用いる要素と前記検証処理に用いる要素の全部が共通ではない処理方式による処理を実行する，
ことを特徴とする検証システム。

【請求項7】

前記検証処理部における前記検証処理は，
前記画像認識処理において特定した対象物のうち一部または全部の対象物の情報と，前記フェイス領域とを比較し，
比較結果が所定条件を充足する場合には前記画像認識処理の結果が正しいとして前記フェイス領域に写っている対象物として特定する，
ことを特徴とする請求項６に記載の検証システム。

【請求項8】

コンピュータを，
画像情報における一部または全部の領域に対して，画像認識処理を実行する画像認識処理部，
前記画像認識処理により特定した対象物の一部または全部と，処理対象とする画像情報との比較処理を実行することで，前記認識結果が正しいか否かの検証処理を実行する検証処理部，として機能させる検証プログラムであって，
前記検証処理部は，
前記検証処理として，前記画像認識処理部における画像認識処理とは同一ではない処理方式，または，前記画像認識処理に用いる要素と前記検証処理に用いる要素の全部が共通ではない処理方式による処理を実行する，
ことを特徴とする検証プログラム。

【請求項9】

コンピュータを，
陳列棚を撮影した画像情報から特定したフェイス領域に対して，所定の記憶領域に記憶する商品の標本情報を用いて画像認識処理を実行することで，前記フェイス領域に写っている対象物を特定する画像認識処理部
前記画像認識処理により特定した対象物のうち一部または全部と，処理対象とする画像情報との比較処理を実行することで，前記認識結果が正しいか否かの検証処理を実行する検証処理部，として機能させる検証プログラムであって，
前記検証処理部は，
前記検証処理として，前記画像認識処理部における画像認識処理とは同一ではない処理方式，または，前記画像認識処理に用いる要素と前記検証処理に用いる要素の全部が共通ではない処理方式による処理を実行する，
ことを特徴とする検証プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は，画像認識処理用の検証システムに関する。

【背景技術】

【0002】

ある画像情報に，判定対象とする対象物が写っているかを判定することが求められる場合がある。たとえば商品の陳列棚を撮影した画像情報に，判定対象とする商品が写っているかを判定することで，その商品が陳列されていたかを判定する場合などがその一例としてあげられる。

【0003】

このように，画像情報に対象物が写っているかを判定する場合には，通常，処理対象となる画像情報と，対象物の画像情報との画像認識処理（マッチング処理）を実行することが一般的である。たとえば，下記特許文献１には，商品ごとの登録画像をもとに，自動販売機を撮影した画像情報に対して画像認識処理を実行することで，自動販売機が取り扱う商品を把握するシステムが開示されている。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１４－１９１４２３号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

特許文献１の具体的な処理は，複数の方向から自動販売機を撮影し，撮影した各画像の位置関係を合わせた後，撮影した各画像を重畳することで合成画像を生成する。そして，生成した合成画像に，自動販売機に陳列される可能性のある商品を表す登録画像を照合（画像認識処理）することで，自動販売機が取り扱う商品を特定している。

【0006】

合成画像と，商品を表す登録画像との照合処理（画像認識処理）の際には，それぞれの特徴量を用いることで処理を実行することが一般的である。このような画像認識処理の精度は完全ではないため，その精度を向上させるため，さまざまな研究，開発が行われている。

【0007】

しかしながら，現時点では，最新の画像認識処理の技術を利用したとしても，その認識精度は人間の認識能力には達しておらず，たとえば上述のように，商品の陳列棚を撮影した画像情報に，判定対象とする商品が写っているかを判定することで，その商品が陳列されていたかを判定するような場合には，その認識精度は高いとはいえない。

【0008】

また，従来の画像認識システムは，あらかじめ登録されている画像のうち，どれがもっとも類似しているかを判定するシステムのため，相対的順位の優劣を比較して，もっとも順位が高い画像を第一候補として特定している。しかし画像認識システムの判定結果が正解か否かは不明であり，画像認識システムの第一候補の正誤を人間が判断する作業が必要となる場合がある。

【0009】

このように，従来の画像認識システムでは，認識結果に対して，人間による確認，修正作業が必要となる。そして人間による確認，修正作業は，作業の省力化のボトルネックになるとともに，その負担は著しく重い。

【0010】

このようなことから，画像認識処理をした認識結果に対する人間による確認，修正作業の省力化をすることが求められている。

【0011】

また，画像認識処理の精度を向上させるほか，複数の画像認識処理の技術を並行して利用し，もっとも確度が高い判定結果を，画像認識処理の結果として利用することも考えられている。

【0012】

しかしこの場合，複数の画像認識処理を同等に取り扱い，それぞれの画像認識処理システムで出力結果を出力するため，画像認識処理システムの数だけ処理負荷，処理時間を要することとなる。たとえば，画像情報のある領域に写っている商品を，１０，０００標本の中から探索する場合であって，３つの画像認識処理システムを用いてそのうちもっとも確度の高い出力結果を採用するシステムとした場合，それぞれの画像認識処理システムで，画像情報の領域と１０，０００標本との画像認識処理を行う必要がある。そのため，合計で３０，０００標本に対する画像認識処理を行うこととなり，大幅な処理負荷，処理時間の増大となる課題がある。

【課題を解決するための手段】

【0013】

そこで本発明者は上記課題に鑑み，画像認識処理システムでの認識結果に対して，検証を行う検証システムを発明した。

【0014】

第１の発明は，画像情報における一部または全部の領域に対して，画像認識処理を実行する画像認識処理部と，前記画像認識処理により特定した対象物の一部または全部と，処理対象とする画像情報との比較処理を実行することで，前記認識結果が正しいか否かの検証処理を実行する検証処理部と，を有する検証システムであって，前記検証処理部は，前記検証処理として，前記画像認識処理部における画像認識処理とは同一ではない処理方式，または，前記画像認識処理に用いる要素と前記検証処理に用いる要素の全部が共通ではない処理方式による処理を実行する，検証システムである。

【0015】

本発明のように構成することで，画像認識処理部の画像認識処理と検証処理部の検証処理のそれぞれの独立性を確保することができる。また，検証処理では，画像認識処理とは異なり，画像認識処理部の判定結果に対して比較処理を実行するので，単に複数の比較処理を併存させる場合とは異なり，処理負荷を大幅に軽減させることもでき，また，人間による判断を介在させることなく，正誤判定を行いやすくなる。

【0016】

上述の発明において，前記検証処理部は，前記検証処理として，前記画像認識処理部における画像認識処理とは異なる処理方式，または，前記画像認識処理に用いる要素と前記検証処理に用いる要素の全部が異なる処理方式による処理を実行する，検証システムのように構成することができる。
また，上述の発明において，前記検証処理部は，画像情報が類似しているか否かの判定を行うための基準を示す情報である検証ディスクリプタを用いて前記検証処理を実行する，前記検証ディスクリプタに設定した条件を充足しているかを前記検証処理で実行する，または画像情報内の対象物を構成する領域とその形状を代表する部分を表現したデータであるプロファイルデータを用いて前記検証処理を実行する，のいずれか一以上を行う，
検証システムのように構成することができる。

【0017】

本発明のように構成することで，画像認識処理部の画像認識処理と検証処理部の検証処理のそれぞれの独立性をより確保することができ，検証処理の精度を向上させることができる。

【0018】

上述の発明において，前記検証システムは，対象物の標本情報を記憶する標本情報記憶部と，前記検証処理部における前記検証処理の判定結果に対する処理を実行する検証結果処理部と，を有しており，前記画像認識処理部における前記画像認識処理は，前記画像情報における処理対象とする領域と，前記標本情報における標本情報とを比較することで，前記処理対象とする領域に写っている対象物を特定し，前記検証処理部における前記検証処理は，前記画像認識処理において特定した対象物のうち一部または全部の対象物の対応する情報と，前記処理対象とする領域との比較結果が所定条件を充足する場合には前記画像認識処理の結果が正しいと判定し，前記検証結果処理部は，前記検証処理部において正しいと判定した場合には，前記画像認識処理の結果を，前記処理対象とする領域に写っている対象物として特定する，検証システムのように構成することができる。

【0019】

本発明のような処理を実行することで，処理対象とする領域において，検証処理部で正解と判定した場合には，そのままそこに写っている対象物を特定することができるので，人手による検証作業を省力化することができる。

【0020】

上述の発明において，前記検証処理部における前記検証処理は，前記比較結果が所定条件を充足しない場合には前記画像認識処理の結果が誤りと判定し，前記検証結果処理部は，前記検証処理部において誤りと判定した場合には，所定の通知を行う，検証システムのように構成することができる。

【0021】

本発明のような処理を実行することで，処理対象とする領域において，検証処理部で誤りと判定した場合には，この通知がなされるので，この通知がなされた領域のみ，人手による検証作業を行えばよい。そのため，人手による検証作業を省力化することができる。

【0022】

第６の発明は，陳列棚を撮影した画像情報から特定したフェイス領域に対して，標本情報記憶部に記憶する商品の標本情報を用いて画像認識処理を実行することで，前記フェイス領域に写っている対象物を特定する画像認識処理部と，前記画像認識処理により特定した対象物のうち一部または全部と，処理対象とする画像情報との比較処理を実行することで，前記認識結果が正しいか否かの検証処理を実行する検証処理部と，を有する検証システムであって，前記検証処理部は，前記検証処理として，前記画像認識処理部における画像認識処理とは同一ではない処理方式，または，前記画像認識処理に用いる要素と前記検証処理に用いる要素の全部が共通ではない処理方式による処理を実行する，検証システムである。

【0023】

上述の発明において，前記検証処理部における前記検証処理は，前記画像認識処理において特定した対象物のうち一部または全部の対象物の情報と，前記フェイス領域とを比較し，比較結果が所定条件を充足する場合には前記画像認識処理の結果が正しいとして前記フェイス領域に写っている対象物として特定する，検証システムのように構成することができる。

【0024】

商品のマーケティング情報の一つとして，店舗の陳列棚に商品がどの程度陳列されているかを把握することは重要である。そのため，従来は，各店舗に担当者が赴き，手作業でそれぞれ特定をしていた。しかし，その作業は極めて負担が重く，限度もある。そこで，画像処理技術を用いて自動的に特定することが検討をされている。しかしながら，現時点では，最新の画像認識処理の技術を利用したとしても，その認識精度は人間の認識能力には達していないため，認識結果に対して，結局，人手による確認，修正作業が必要となってしまう。

【0025】

そこで，これらの発明のように構成することで，コンピュータによる処理負荷を著しく増大させることなく，人間による確認，修正作業を大幅に省力化することができるので，商品の陳列状況の把握に要する作業負担を大幅に軽減することができる。

【0026】

第１の発明は，本発明のプログラムをコンピュータに読み込ませて実行することで，実現することができる。すなわち，コンピュータを，画像情報における一部または全部の領域に対して，画像認識処理を実行する画像認識処理部，前記画像認識処理により特定した対象物の一部または全部と，処理対象とする画像情報との比較処理を実行することで，前記認識結果が正しいか否かの検証処理を実行する検証処理部，として機能させる検証プログラムであって，前記検証処理部は，前記検証処理として，前記画像認識処理部における画像認識処理とは同一ではない処理方式，または，前記画像認識処理に用いる要素と前記検証処理に用いる要素の全部が共通ではない処理方式による処理を実行する，検証プログラムである。

【0027】

第６の発明は，本発明のプログラムをコンピュータに読み込ませて実行することで，実現することができる。すなわち，コンピュータを，陳列棚を撮影した画像情報から特定したフェイス領域に対して，所定の記憶領域に記憶する商品の標本情報を用いて画像認識処理を実行することで，前記フェイス領域に写っている対象物を特定する画像認識処理部
前記画像認識処理により特定した対象物のうち一部または全部と，処理対象とする画像情報との比較処理を実行することで，前記認識結果が正しいか否かの検証処理を実行する検証処理部，として機能させる検証プログラムであって，前記検証処理部は，前記検証処理として，前記画像認識処理部における画像認識処理とは同一ではない処理方式，または，前記画像認識処理に用いる要素と前記検証処理に用いる要素の全部が共通ではない処理方式による処理を実行する，検証プログラムである。

【発明の効果】

【0028】

本発明の検証システムを用いることによって，画像認識処理システムでの認識結果に対しての検証を，省力化することができる。そのため，従来の人手による作業を大幅に減らす，あるいはなくすことができる。

【図面の簡単な説明】

【0029】

【図1】本発明の検証システムの全体の処理機能の一例を模式的に示すブロック図である。

【図2】本発明の検証システムで用いるコンピュータのハードウェア構成の一例を模式的に示すブロック図である。

【図3】撮影画像情報の一例を模式的に示す図である。

【図4】標本情報の一例を示す図である。

【図5】図３の撮影画像情報に対して正置化処理を実行した状態の画像情報の一例を模式的に示す図である。

【図6】撮影画像情報から切り出したフェイス領域の画像情報の一例を示す図である。

【図7】画像特徴量の要素を分類し，体系づけた場合の一例を模式的に示す図である。

【図8】検証ディスクリプタの生成処理の一例を示すフローチャートである。

【図9】本発明の検証システムにおける全体処理の処理プロセスの一例を示すフローチャートである。

【図10】検証処理の一例を示すフローチャートである。

【図11】実施例１における検証ディスクリプタの一例を模式的に示す図である。

【図12】標本情報に設定される検証領域の一例を示す図である。

【図13】比較対象とした領域における画像情報を二値化した画像情報と，検証キーに対応づけた抽出図形情報との一致度を算出する処理を模式的に示す図である。

【図14】実施例２における検証ディスクリプタの一例を模式的に示す図である。

【図15】実施例２における検証ディスクリプタのほかの一例を模式的に示す図である。

【図16】実施例２における検証処理の一例を示すフローチャートである。

【図17】実施例２における検証処理を模式的に示す図である。

【図18】プロファイルデータの一例を模式的に示す図である。

【図19】実施例３における標本情報に対応するプロファイルデータを生成する処理プロセスの一例を示すフローチャートである。

【図20】標本情報とする商品の画像情報とそれに対応するプロファイルの一例を模式的に示す図である。

【図21】実施例３におけるフェイス領域の画像情報からプロファイルデータを生成する処理プロセスの一例を示すフローチャートである。

【図22】実施例３における検証処理の一例を模式的に示すフローチャートである。

【図23】フェイス領域の画像情報の一例を示す図である。

【図24】図２３（ａ）のフェイス領域の画像情報に対して生成したプロファイルの一例を模式的に示す図である。

【図25】フェイス領域の画像情報に基づくプロファイルと，処理対象とするフェイス領域に写っている商品に類似している商品の商品識別情報が対応する標本情報に関連付けられたプロファイルとを用いて，その類似性を評価する処理を模式的に示す図である。

【図26】図２０の標本情報およびそのプロファイルと，図２３のフェイス領域の画像および図２４のそのプロファイルにおけるそれぞれの構成要素同士の対応付けを模式的に示す図である。

【図27】画像フィルタとそのパラメータのリストの一例を示す図である。

【発明を実施するための形態】

【0030】

本発明の検証システム１の全体の処理機能の一例のブロック図を図１に示す。検証システム１は，管理端末２と入力端末３とを用いる。

【0031】

管理端末２は，検証システム１の中心的な処理機能を実現するコンピュータである。入力端末３は，店舗の陳列棚などの撮影対象を撮影した画像情報を取得する端末である。入力端末３は，後述する比較処理（画像認識処理）で用いる標本とする商品などの対象物を撮影し，取得してもよい。

【0032】

検証システム１における管理端末２，入力端末３は，コンピュータを用いて実現される。図２にコンピュータのハードウェア構成の一例を模式的に示す。コンピュータは，プログラムの演算処理を実行するＣＰＵなどの演算装置７０と，情報を記憶するＲＡＭやハードディスクなどの記憶装置７１と，情報を表示するディスプレイなどの表示装置７２と，情報の入力が可能なキーボードやマウスなどの入力装置７３と，演算装置７０の処理結果や記憶装置７１に記憶する情報をインターネットやＬＡＮなどのネットワークを介して送受信する通信装置７４とを有している。

【0033】

コンピュータがタッチパネルディスプレイを備えている場合には，表示装置７２と入力装置７３とが一体的に構成されていてもよい。タッチパネルディスプレイは，たとえばタブレット型コンピュータやスマートフォンなどの可搬型通信端末などで利用されることが多いが，それに限定するものではない。

【0034】

タッチパネルディスプレイは，そのディスプレイ上で，直接，所定の入力デバイス（タッチパネル用のペンなど）や指などによって入力を行える点で，表示装置７２と入力装置７３の機能が一体化した装置である。

【0035】

入力端末３は，上記の各装置のほか，カメラなどの撮影装置を備えていてもよい。入力端末３として，携帯電話，スマートフォン，タブレット型コンピュータなどの可搬型通信端末を用いることもできる。入力端末３は，撮影装置で可視光などによる画像情報（後述する撮影画像情報または対象物画像情報）を撮影する。

【0036】

本発明における各手段は，その機能が論理的に区別されているのみであって，物理上あるいは事実上は同一の領域を為していてもよい。本発明の各手段における処理は，その処理順序を適宜変更することもできる。また，処理の一部を省略してもよい。また，管理端末２における機能の一部または全部を入力端末３で実行してもよい。

【0037】

検証システム１は，画像情報入力受付処理部２０と画像情報記憶部２１と標本情報記憶部２２と画像情報処理部２３と画像認識処理部２４と検証処理部２５と検証結果処理部２６とを有する。

【0038】

画像情報入力受付処理部２０は，入力端末３で撮影した画像情報（撮影画像情報）の入力を受け付け，後述する画像情報記憶部２１に記憶させる。たとえば店舗の陳列棚の撮影画像情報の入力を受け付け，画像情報記憶部２１に記憶させる。入力端末３からは，撮影画像情報のほか，撮影日時，撮影対象を示す情報，たとえば店舗名などの店舗識別情報，画像情報を識別する画像情報識別情報などをあわせて入力を受け付けるとよい。図３に撮影画像情報の一例を模式的に示す。図３では，陳列棚に３段の棚段があり，そこに商品が陳列されている状態を撮影した撮影画像情報を模式的に示すものである。

【0039】

画像情報記憶部２１は，入力端末３から受け付けた撮影画像情報，撮影日時，画像情報識別情報などを対応づけて記憶する。

【0040】

標本情報記憶部２２は，撮影画像情報に写っている対象物を特定するために，対象物の標本情報を記憶する。標本情報とは対象物の一部または全部を撮影した画像情報（対象物画像情報）および／またはその特徴量の情報である。標本情報には，対象物の識別情報，たとえば商品名，型番，ＪＡＮコードなどの商品コード，対象物画像情報としては，対象物全体の画像情報であってもよいし，対象物の一部分，たとえば対象物がペットボトル飲料の場合にはラベル部分の画像情報であってもよい。なお，標本情報として，対象物画像情報の特徴量の情報を用いる場合には，処理の都度，特徴量を抽出する必要がなくなる。

【0041】

標本情報記憶部２２には，一つの対象物について一つの標本情報を生成してもよいし，一つの対象物について複数の角度，たとえば商品を正対化して撮影する場合に，写らない位置にある表面を写すため，正面，背面，上面，下面，両側面程度の角度からの標本情報を記憶していてもよい。また，一つの対象物に複数の外装（パッケージなど）がある場合には，一つの対象物にそれぞれの外装の場合の標本情報を対応づけても良い。図４に標本情報の一例を示す。図４では，商品の外装の画像情報を標本情報とした一例である。

【0042】

なお，標本情報とする対象物は，通常，正対した位置から撮影するので，後述する正置化処理，歪み補正処理は行わなくてもよいが，行ってもよい。

【0043】

画像情報処理部２３は，画像情報入力受付処理部２０で受け付けた撮影画像情報または画像情報記憶部２１に記憶した撮影画像情報について，撮影画像情報を正対した状態とする正置化処理，撮影画像情報から標本情報と比較処理（画像認識処理）を実行する領域（フェイス領域）を特定するフェイス処理を実行する。

【0044】

正置化処理とは，一般的に，単に撮影対象物を撮影した場合には，撮影対象物を正対した状態で撮影することは困難であることから，それを正対した状態に補正する処理であり，撮影装置のレンズの光軸を撮影対象である平面の垂線方向に沿って，十分に遠方から撮影した場合と同じになるように画像情報を変形させる処理である。このような補正処理の一例として台形補正処理がある。なお，画像情報に歪みがある場合，歪み補正処理を付加してもよい。図５に，図３の撮影画像情報に対して正置化処理を実行した状態の画像情報を示す。

【0045】

なお，撮影画像情報が正対した状態で撮影された画像情報である場合，あるいは歪みがない場合には，正置化処理，歪み補正処理を実行しなくてもよい。

【0046】

撮影画像情報とは，本発明の処理対象となる画像情報であればよい。正置化処理などの撮影画像情報に対する補正処理が実行された後の画像情報も撮影画像情報に含まれる。

【0047】

また，画像情報処理部２３は，撮影対象を撮影する際に，複数枚で撮影した場合，それを一つの画像情報に合成する処理を実行し，合成処理を実行した画像情報に対して，正置化処理，フェイス処理を実行してもよい。複数枚の画像情報を一つの画像情報に合成する処理としては，公知の手法を用いることもできる。

【0048】

フェイス処理とは、撮影画像情報において，後述する標本情報と比較処理を実行するための領域（フェイス領域）を特定する。たとえば商品の陳列棚を撮影した撮影画像情報であって，標本情報が商品である場合，フェイス領域として，陳列棚に陳列されている商品の領域や商品のラベルの領域を特定する。商品がペットボトル飲料の場合には，商品のラベルの領域をフェイス領域とし，商品が箱に入った商品（たとえばお菓子）の場合には，商品のパッケージ全体をフェイス領域とするなど，商品に応じて，適宜，フェイス領域を設定できる。なお，商品がペットボトル飲料の場合にも，商品の領域をフェイス領域としてもよい。

【0049】

フェイス領域の特定方法はさまざまな方法があり，標本情報の特性に合わせて任意に設定することができる。標本情報が商品（たとえばペットボトル飲料）であって，陳列棚を撮影した撮影画像情報から商品のラベルの領域をフェイス領域として特定する場合には，たとえば，陳列棚の棚段と棚段の間の領域（棚段領域）における商品と商品との間に生じる縦の細く狭い陰影を特定する，画像の繰り返しパターンを特定する，パッケージの上辺の段差を特定する，商品幅が同一であるなどの制約に基づいて区切り位置を特定する，などによって，商品の領域を特定する。そして，その商品の領域の中から，所定の矩形領域をラベルの領域として特定し，その領域をフェイス領域として特定する。

【0050】

フェイス領域の特定方法は，商品のカテゴリや商品の形態によって任意の方法を採用可能であり，上記に限定するものではない。また，自動的に特定したフェイス領域に対して，オペレータによる修正入力を受け付けてもよい。さらに，オペレータからフェイス領域の位置の入力を受け付けるのでもよい。

【0051】

さらに画像情報処理部２３は，深層学習（ディープラーニング）を用いてフェイス領域を特定してもよい。この場合，中間層が多数の層からなるニューラルネットワークの各層のニューロン間の重み付け係数が最適化された学習モデルに対して，上記撮影画像情報を入力し，その出力値に基づいて，フェイス領域を特定してもよい。また学習モデルとしては，さまざまな撮影画像情報にフェイス領域を正解データとして与えたものを用いることができる。

【0052】

画像情報処理部２３は，以上のように特定したフェイス領域を切り出す。フェイス領域を切り出すとは，撮影画像情報から特定したフェイス領域を実際に切り出してもよいし，それ以降の処理の処理対象としてその領域を設定することも含まれる。

【0053】

フェイス領域を切り出す場合には，上述の各処理で特定したフェイス領域をそのまま切り出してもよいし，複数の方法によりフェイス領域の特定を行い，各方法で特定したフェイス領域の結果を用いて切り出す対象とするフェイス領域を特定してもよい。たとえば，陳列棚の棚段と棚段の間の領域（棚段領域）における商品と商品との間に生じる縦の細く狭い陰影を特定することで商品の領域を特定し，その領域から所定の矩形領域を特定する方法と，深層学習によりフェイス領域を特定する方法とを行い，それらの各方法で特定したフェイス領域の結果同士について，あらかじめ定めた演算によって，最終的に切り出す対象とするフェイス領域を特定してもよい。切り出すフェイス領域の特定方法は，上記に限定するものではなく，任意に設定することができる。図６に，撮影画像情報から切り出したフェイス領域の画像情報の一例を示す。

【0054】

画像認識処理部２４は，画像情報処理部２３で特定したフェイス領域と，標本情報記憶部２２に記憶する各対象物の各標本情報とを比較することで画像認識処理（第１の比較処理）を実行する。たとえばフェイス領域の画像情報の特徴量を抽出し，抽出した特徴量と，標本情報の特徴量との比較処理を実行することで，フェイス領域の画像情報と標本情報との類似性を判定し，そのフェイス領域に含まれる対象物の識別情報，たとえば商品名などを判定する。

【0055】

なお比較処理としては，フェイス領域の画像情報の全体と標本情報とをマッチングするのみならず，フェイス領域の画像情報の一部の領域の特徴量を抽出し，標本情報の特徴量と比較処理を実行してもよい。

【0056】

また，特徴量以外の方法により比較処理を行ってもよい。

【0057】

さらに，画像認識処理部２４は，深層学習（ディープラーニング）を用いて標本情報との比較処理を実行してもよい。この場合，中間層が多数の層からなるニューラルネットワークの各層のニューロン間の重み付け係数が最適化された学習モデルに対して，上記フェイス領域の画像情報の全部または一部を入力し，その出力値に基づいて，類似する標本情報を特定してもよい。学習モデルとしては，さまざまなフェイス領域の画像情報に標本情報を正解データとして与えたものを用いることができる。

【0058】

なお，上述では，画像情報処理部２３で特定したフェイス領域の画像情報に対して画像認識処理部２４で画像認識処理を行う場合を説明したが，画像情報処理部２３を用いずに，撮影画像情報に対して画像認識処理部２４で画像認識処理を行うようにしてもよい。

【0059】

検証処理部２５は，画像認識処理部２４で判定した，処理対象としたフェイス領域に含まれる対象物の識別情報が正しいか否かを検証する検証処理としては，画像認識処理部２４において判定した対象物の識別情報が対応する標本情報を標本情報記憶部２２から特定し，特定した標本情報と，処理対象としたフェイス領域の画像情報との比較処理（第２の比較処理）を実行することによって行う。また，第２の比較処理では，画像認識処理部２４において判定した対象物の識別情報が対応する標本情報と，処理対象としたフェイス領域の画像情報との比較処理を実行するので，画像認識処理部２４における画像認識処理（第１の比較処理）とは異なり，標本情報記憶部２２に記憶するすべての標本情報と比較処理を実行する必要はなく，画像認識処理部２４で判定したうち，所定範囲の対象物の識別情報と比較処理を実行すればよい。たとえば画像認識処理部２４で判定した上位３位までの対象物の標本情報と，処理対象とするフェイス領域の画像情報との比較処理を実行すればよい。好ましくは最上位の標本情報と，処理対象とするフェイス領域の画像情報との比較処理であってもよい。

【0060】

画像認識処理部２４における画像認識処理（第１の比較処理）と，検証処理における比較処理（第２の比較処理）とは，同一ではない処理方式，または画像認識処理部２４における画像認識処理（第１の比較処理）に用いる要素と検証処理部２５における検証処理（第２の比較処理）に用いる要素の全部が共通ではない処理方式を用いる。要素とは，画像認識処理において画像情報の類否を判定するために用いる基準である。

【0061】

具体的には，たとえば，画像認識処理部２４における第１の比較処理（画像認識処理）において，局所特徴量とＥＭＤの２要素を用いる場合，検証処理部２５における第２の比較処理（検証処理）では，局所特徴量とＥＭＤの２要素の全部を用いない比較処理の方法を用いる。さらに好ましくは，画像認識処理部２４における第１の比較処理と，検証処理部２５における第２の比較処理とでは，同一の要素を用いないことがよい。

【0062】

たとえば画像特徴量を体系づける方法の一例として，図７に示すようにその要素を分類したとする。この場合，画像認識処理部２４における第１の比較処理での要素として，局所特徴量とＥＭＤとを用いるとした場合，検証処理部２５における第２の比較処理での要素としては，たとえば，領域の配置情報，ドミナントカラー，オブジェクトの領域の形状および色を要素として用いるような比較処理を用いる。

【0063】

このように，画像認識処理部２４における第１の比較処理と，検証処理部２５における第２の比較処理とで，同一ではない処理方式，または要素の全部が共通ではない処理を用いることで，比較処理の独立性を確保することができる。なお，さらに，画像認識処理部２４における第１の比較処理と検証処理部２５における第２の比較処理とで，共通性のない処理方式，または要素の大半が共通ではない処理方式を用いるようにすることで，第１の比較処理と第２の比較処理との間の独立性を確保し，第１の比較処理で含まれているエラーが第２の比較処理でも生じることを最小限に抑え，第１の比較処理で生じた不正解を，偶然によって第２の比較処理で正解としてしまう可能性を低減することができる。

【0064】

また，第２の比較処理では，第１の比較処理とは異なり，画像認識処理部２４で判定した判定結果に対してだけ比較処理を実行するので，単に複数の比較処理を併存させる場合とは異なり，処理負荷を大幅に軽減させることもできる。

【0065】

第２の比較処理は一つではなく，複数の比較処理を用いてもよい。

【0066】

検証処理部２５における第２の比較処理については，画像認識処理部２４における第１の比較処理と上述のような制約を満たしていれば，さまざまな処理を用いることができ，後述するそれぞれの実施例において説明をする。

【0067】

検証結果処理部２６は，検証処理部２５において，画像認識処理部２４における判定結果を「正解」と判定した場合には，画像認識処理部２４で判定した対象物の識別情報を，そのまま当該フェイス領域に写っている対象物の識別情報として特定し，所定の記憶領域に，当該フェイス領域に対応づけて記憶させる。また検証処理部２５において，画像認識処理部２４における判定結果を「誤り」と判定した場合には，画像認識処理部２４で判定した対象物の識別情報について，修正が必要であることの通知などを行い，修正を行わせる。たとえば，撮影画像情報において，当該フェイス領域をマーキングする，修正が必要であることの強調表示を行う，など各種の通知方法がある。この通知を確認した担当者は，当該フェイス領域の画像情報を目視して，修正を行う。修正の入力を受け付けた場合，所定の記憶領域に，入力を受け付けた対象物の識別情報を，当該フェイス領域に対応づけて記憶させる。

【実施例1】

【0068】

つぎに本発明の検証システム１を用いた処理プロセスの一例を図８乃至図１０のフローチャートを用いて説明する。図８は，本実施例における検証処理（第２の比較処理）を実行するにあたっての事前処理となる検証ディスクリプタの生成処理の処理プロセスの一例を示すフローチャートであり，図９は本発明の全体の処理プロセスの一例を示すフローチャートであり，図１０は，本実施例における検証処理（第２の比較処理）の処理プロセスの一例を示すフローチャートである。

【0069】

以下の各実施例では，店舗の陳列棚を撮影し，陳列棚にある商品を特定する場合を説明する。そのため，撮影画像情報としては商品が陳列されている店舗の陳列棚であり，標本情報における対象物としては陳列される可能性のある商品となる。

【0070】

まず事前処理となる検証ディスクリプタの生成処理を，図８のフローチャートを用いて説明する。検証ディスクリプタとは，画像認識処理部２４で判定した対象物の識別情報が対応する標本情報と，撮影画像情報におけるフェイス領域の画像情報との検証処理（第２の比較処理）を実行するにあたり，２つの画像情報が類似しているか否かの判定を行うための基準を示す情報である。検証ディスクリプタの一例を図１１に示す。

【0071】

検証ディスクリプタは，対象物となる標本情報に対応づけて設定される当該対象物を特徴付ける領域（検証領域）に関する情報であり，一つの標本情報に対して一以上，好ましくは複数設定される。個々の検証領域に関する情報は検証キーとして表現される。検証キーには，検証領域の位置座標（基準となる点のｘ座標，ｙ座標）およびその位置座標からの大きさ（ｘ軸方向，ｙ軸方向の大きさ），各検証領域を抽出する画像フィルタの種別と，場合によっては抽出するパラメータの情報，当該検証領域の画像情報などの一部または全部の情報を対応づけている。検証ディスクリプタは，当該対象物の標本情報に対応づけて記憶されていてもよいし，異なる記憶装置７１で記憶されていてもよい。

【0072】

図１２に標本情報に設定される検証領域の一例を示す。図１２の標本情報において，ノズル付近の領域（検証領域１），中心付近のロゴマークの領域（検証領域２），パッケージ上の図柄の領域（検証領域３）がそれぞれ検証領域として設定されている。図１２における検証領域は実線で示される領域であり，破線部分の領域については後述する。

【0073】

オペレータは，入力端末３を用いて標本情報とする商品を正対位置から撮影し，撮影した対象物画像情報，識別情報，商品名，商品コードの入力を管理端末２で受け付け，それらを対応づけて標本情報記憶部２２に記憶させておく（Ｓ１００）。そして画像認識処理部２４における画像認識処理で用いるための標本情報を抽出し，記憶しておく。たとえば局所特徴量とＥＭＤなどを画像特徴量として抽出し，標本情報記憶部２２に記憶させる。

【0074】

このような標本情報に対する処理を，複数の商品，好ましくは陳列棚に陳列される可能性のあるすべての商品についてあらかじめ実行しておく。

【0075】

また，対象物の画像情報または標本情報から，不要な情報，たとえば背景部分を除去する（Ｓ１１０）。背景部分の除去などは自動に除去しても，手動で除去してもよい。そして，当該対象物を特徴付ける一以上の閉領域を検証領域（図１２の実線部分の閉領域）として入力を受け付ける（Ｓ１２０）。そして，検証領域と，検証領域の近傍の周辺領域（図１２の破線部分の閉領域から検証領域を除外した領域）とを区別し，各検証領域を抽出する画像フィルタを自動的に選択させる（Ｓ１３０）。周辺領域は，検証領域を所定範囲，たとえば２０％ずつ外側に膨らませたロの字型の領域として設定できる。画像フィルタの選択処理としては，あらかじめ複数の画像フィルタを用意しておき，それらの画像フィルタを当該検証領域に逐次適用して，当該検証領域とその近傍の周辺領域とを分離する画像フィルタを探索することで，もっとも分離する画像フィルタを選択させる。

【0076】

検証領域とその近傍の領域とをもっとも分離するとは，検証領域の内部にもっとも広い面積で反応し，検証領域の近傍の外部の領域で反応しないということを意味する。なお，色域抽出のような画像フィルタの一部では，パラメータが必要なものもあるが，その場合にはどのパラメータのときに分離できるかも合わせて記憶する。図１２の場合，検証領域１はノズル部分の形状が特徴的なので，適用型二値化の画像フィルタが選択され，検証領域２は明度の画像フィルタが選択され，検証領域３は色域抽出の画像フィルタのうちパラメータがオレンジ相当色が選択された場合を示している。

【0077】

検証領域とその近傍の周辺領域とを分離する画像フィルタの探索方法としては，検証領域内のなるべく大きな面積（ピクセル数）が適合となり，周辺領域のなるべく大きな面積（ピクセル数）が非適合となるような画像フィルタの探索およびそのパラメータ設定を行えばよい。たとえば画像フィルタとそのパラメータとして，図２７に示すように，あらかじめリストを用意しておき，画像フィルタを順に選択し，さらにパラメータとして取り得る値の範囲の中で値を変更しながら，すべての組み合わせを実施する。なお，組み合わせ数が膨大になる場合には，まず大きな範囲で試行し，そのうちよい結果が得られた範囲についてはより少ない範囲で再試行するといった方法で実施時間の効率化が図れる。

【0078】

そしてこの試行の中で，検証領域の適合するピクセル数が最大であって，かつ周辺領域の適合するピクセル数が最小となる画像フィルタおよびパラメータを選択する。そしてこれらの二者間にはトレードオフがあるので，（検証領域の適合ピクセル数／検証領域のピクセル数）をＡＴ，（周辺領域の非適合ピクセル数／周辺領域のピクセル数）をＢＦとしたとき，ＡＴとＢＦの調和平均を最大化するものを選択すればよい。すなわち，
Ｉ＝２×（ＡＴ×ＢＦ）／（ＡＴ＋ＢＦ）
を最大化する画像フィルタおよびパラメータを選択すればよい。なお，検証領域と周辺領域の面積比を１：１としていればＡＴとＢＦに重み付けをせずそのまま調和平均を算出してよいが，面積比が相違する場合にはＡＴ，ＢＦに重み付けをして調和平均を算出する。

【0079】

なお，検証領域，周辺領域内に画像フィルタを適用して検出される結果は，内部のピクセルが埋まっていない，いわゆる抜けのある画像となる場合がある。そのため，二値画像の膨張・収縮処理をして抜けピクセルを埋めた後に，上述の適合・非適合のピクセルの算出を行うことが好ましい。それによって，結果が安定し，より適切な画像フィルタおよびパラメータの選択が可能となる。

【0080】

画像フィルタとしては，たとえば適用型二値化，色域抽出，暖色抽出などの公知の画像フィルタを用いることができる。

【0081】

以上のように画像フィルタを選択すると，各検証領域について，検証キーとして，検証領域と検証領域に対応する領域を抽出するための画像フィルタおよびパラメータと，抽出図形情報とを対応づけて登録する。そして各検証領域の検証キーをまとめた検証ディスクリプタを，標本情報記憶部２２を含む所定の記憶領域に，当該対象物または標本情報に記憶させることで登録する（Ｓ１４０）。このように生成された検証ディスクリプタの一例が図１１である。なお，図１１の検証ディスクリプタにおける抽出図形情報とは，検証領域の画像情報を画像フィルタで抽出した結果の二値化画像である。

【0082】

以上のような処理を実行することで，検証ディスクリプタの生成処理を実行することができる。

【0083】

つぎに本発明の全体の処理プロセスの一例を図９のフローチャートを用いて説明する。

【0084】

店舗の陳列棚を撮影した撮影画像情報を，入力端末３から管理端末２の画像情報入力受付処理部２０が受け付けると（Ｓ２００），画像情報記憶部２１に，撮影日時，撮影画像情報の識別情報などと対応づけて記憶させる。

【0085】

受け付けた撮影画像情報に対して，画像情報処理部２３は，撮影画像情報が正対した状態となるように補正する正置化処理を実行する。また，正置化した撮影画像情報からフェイス領域を特定するフェイス処理を実行する。

【0086】

そして，画像認識処理部２４は，画像情報処理部２３で特定したフェイス領域と，標本情報記憶部２２に記憶する各標本情報との画像認識処理（第１の比較処理）を実行する（Ｓ２１０）。第１の比較処理としては，たとえばフェイス領域の画像情報から抽出した特徴量と，標本情報の特徴量との比較処理を実行することで，フェイス領域の画像情報と標本情報との類似性を判定し，そのフェイス領域に含まれる対象物の識別情報，たとえば商品名などを判定する。また，第１の比較処理の別の方法としては，深層学習を用いた方法などであってもよい。この場合，中間層が多数の層からなるニューラルネットワークの各層のニューロン間の重み付け係数が最適化された学習モデルに対して，フェイス領域の画像情報の全部または一部を入力し，その出力値に基づいて，類似する標本情報を特定してもよい。

【0087】

画像認識処理部２４において出力する結果としては，処理対象とするフェイス領域にある画像情報に写っている商品として，もっとも類似している商品の商品識別情報を特定するほか，類似性が高いものから順に複数の商品の商品識別情報を特定してもよい。

【0088】

以上のように，撮影画像情報の各フェイス領域について，画像認識処理部２４における画像認識処理を実行する。

【0089】

撮影画像情報の各フェイス領域について，フェイス領域に写っている商品に類似している商品の商品識別情報を特定すると，検証処理部２５において，その商品識別情報の特定が正しいかの検証処理を実行する（Ｓ２２０）。

【0090】

検証処理部２５における検証処理の処理プロセスの一例を図１０のフローチャートを用いて説明する。

【0091】

まず処理対象とするフェイス領域の画像情報から不要な情報，たとえば背景部分を除去して，処理対象とする画像情報を切り出す（Ｓ３００）。また，パラメータＡＣＣを初期値０に設定する（Ｓ３１０）。

【0092】

そして画像認識処理部２４における画像認識処理の認識結果に基づいて，処理対象とするフェイス領域に写っている商品に類似している商品の商品識別情報が対応する標本情報に関連付けられた検証ディスクリプタを特定する。そして，特定した検証ディスクリプタにおける検証キーの検証領域の情報と抽出方法とを用いて，Ｓ３００で切り出した画像情報から上記検証領域に対応する領域の画像情報を抽出する（Ｓ３２０）。なお，この際に，商品の回転や撮影角度の揺らぎなどに起因する位置ずれに追随できるように，抽出範囲の調整，リトライを行ってもよい。すなわち，抽出に失敗した場合には，抽出する領域を上下左右に移動する，領域を拡大する上でリトライするなどの方法により，検証領域に対応する領域を抽出してもよい。

【0093】

以上のようにして比較対象とする領域の抽出に成功した場合には（Ｓ３３０），当該領域における画像情報を二値化した画像情報と，検証キーに対応づけた抽出図形情報との一致度を算出する（Ｓ３４０）。

【0094】

上記抽出した領域における画像情報と，検証キーに対応づけた抽出図形情報との一致度を算出処理にはさまざまな方法を用いることができるが，たとえば以下のような方法を用いることができる。この処理の一例を図１３に示す。図１３では，画像情報ＡがＳ３２０で抽出した領域の画像情報を模したものであり，画像情報Ｂが抽出図形情報を模したものである。

【0095】

まず２つの画像情報において対応する要素を特定する。対応する要素がない要素は，処理から除外する。そして検証キーごとに，上記抽出した領域における画像情報と，検証キーに対応づけた抽出図形情報との一致度を，以下の数式を演算することで算出する。
一致度＝ｗ１×Σ（対応する要素同士の一致度）－ｗ２×Σ（対応しない要素の面積）

【0096】

ここでｗ１，ｗ２は所定の重み付けであり，任意の値として設定することが可能である。またｗ２は０として設定することもできる。すなわち，無関係の物が写り込んでいる場合など，対応しない要素の面積を考慮することが相当ではない場合には，ｗ２を０として設定することで，その影響を排除することができる。

【0097】

また，上述の一致度を算出する数式において，対応する要素同士の一致度は，２つの画像情報の大きさの尺度を合わせて，２つのプロファイルにおける要素の重心を合わせて，以下の数式を演算することで算出できる。
対応する要素同士の一致度＝（フェイスのプロファイルと標本情報のプロファイルの要素の共通部分の面積－（フェイスのプロファイルではあり標本情報のプロファイルがない部分の要素の面積＋標本情報のプロファイルではありフェイスのプロファイルではない部分の要素の面積）／２）／フェイスのプロファイルの面積

【0098】

この際に，商品の傾き（画像情報の要素の傾き）に対応するため，一方を微小な角度で回転させながら，上述の数式の演算を行い，もっとも値が大きいものを採用するようにしてもよい。さらに，２つのプロファイルにおいて対応する要素の組の個数が多いものを重視するようにしてもよい。

【0099】

以上のように算出した一致度をパラメータＡＣＣに加算する（Ｓ３５０）。そして検証ディスクリプタに，ほかに検証キーがある場合には，残りの検証キーについてもＳ３２０からＳ３５０までの処理を繰り返す（Ｓ３６０）。

【0100】

そして処理対象とするフェイス領域に写っている商品に類似している商品の商品識別情報が対応する標本情報に関連付けられた検証ディスクリプタにおけるすべての検証キーについて上述の処理を実行すると，パラメータＡＣＣとあらかじめ定めた閾値とを比較し（Ｓ３７０），パラメータＡＣＣが閾値以上であれば，検証処理部２５は，当該処理対象とするフェイス領域に写っている商品について，画像認識処理部２４における画像認識処理で特定した商品の商品識別情報は「正解」と判定する（Ｓ３８０）。一方，パラメータＡＣＣが閾値未満であれば，検証処理部２５は，当該処理対象とするフェイス領域に写っている商品について，画像認識処理部２４における画像認識処理で特定した商品の商品識別情報は「誤り」と判定する（Ｓ３９０）。

【0101】

なお，画像認識処理部２４における画像認識処理で特定した商品の商品識別情報が複数ある場合には，そのすべての商品識別情報について検証処理を実行し，「正解」と判定した商品の商品識別情報のうち，画像認識処理において，もっとも高い確度またはもっとも高い順位で特定された商品の商品識別情報を，当該処理対象とするフェイス領域に写っている商品の商品識別情報として特定する。

【0102】

以上の検証処理を，撮影画像情報における各フェイス領域について実行することで，画像認識処理部２４における画像認識処理の結果を検証する。

【0103】

以上のようにして検証処理を実行することができる。

【0104】

そして，正解と判定したフェイス領域については，検証結果処理部２６は，画像認識処理部２４で判定した対象物の識別情報を，そのまま当該フェイス領域に写っている対象物の識別情報として特定し，所定の記憶領域に，当該フェイス領域に対応づけて記憶させる（Ｓ２５０）。

【0105】

一方，検証処理部２５において，画像認識処理部２４における判定結果を「誤り」と判定した場合には，検証結果処理部２６は，画像認識処理部２４で判定した対象物の識別情報について，修正が必要であることの通知などを行い，オペレータに修正を行わせる（Ｓ２６０）。オペレータがこの通知を確認すると，当該フェイス領域の画像情報を目視して，修正入力を行う。修正入力を受け付けた場合，所定の記憶領域に，入力を受け付けた対象物の識別情報を，当該フェイス領域に対応づけて記憶させる。

【0106】

このように，撮影画像情報におけるフェイス領域について，画像認識処理部２４における画像認識処理（第１の比較処理）を実行し，その認識結果に対して，検証処理部２５で検証処理（第２の比較処理）を実行することで，従来のように複数の画像認識処理システムを並列的に用いた場合よりも，大幅に処理負荷を軽減することができる。

【実施例2】

【0107】

つぎに本発明の検証システム１において，実施例１の検証処理とは異なる検証処理を用いた場合を説明する。本実施例２における検証処理の処理プロセスの一例を図１６のフローチャートを用いて説明する。本実施例における検証処理は，検証ディスクリプタとしてより簡便な設定を設ける場合を説明する。

【0108】

本実施例では，フェイス領域の画像情報における局部的な特徴を抽出し，あらかじめ設定した条件（検証ディスクリプタに設定した条件）を充足しているかを検証処理部２５における検証処理で検証するものである。

【0109】

検証ディスクリプタは，標本情報における対象物を特徴付ける部分を類型化した特徴情報である。検証ディスクリプタには一以上の特徴情報と，優位度（重み付け）とが対応づけて記憶される。特徴情報とは，標本情報における対象物を特徴付ける部分である対象と，対象の色，外形などを示す「属性」，属性の具体的な色や形状などを示す「属性値」とを有している。たとえば標本情報における対象物が飲料のペットボトルであれば，「特徴情報」における「対象」として「キャップ」，その属性として「色」，その属性値として「白」などが対応づけて設定される。一つの対象物に対して一以上の特徴情報が検証ディスクリプタとして設定される。優位度とは，検証ディスクリプタにおける検証の順位付けをする情報であるが，優位度は設定しなくてもよい。

【0110】

本実施例における検証ディスクリプタの一例を図１４および図１５に示す。図１４はペットボトル飲料に関しての検証ディスクリプタの一例を示している。図１４の検証ディスクリプタでは，飲料のペットボトルの外形について１つの特徴情報，マークについて２つの特徴情報，キャップについて２の特徴情報の合計５つの特徴情報が設定されており，それぞれの特徴情報について，属性，属性値および優位度が設定されている。図１４では，特徴情報「ボトル外形」について，属性「ボトル肩」とその属性値「いかり肩」，優先度（重み）「０．４」が設定されており，特徴情報「マーク」の「属性」について「レイアウト」とその属性「ラベル上中央」，優先度「０．３」が設定されており，特徴情報「マーク」について属性「ベースカラー」とその属性値「白」，優先度「０．１」が設定されており，特徴情報「キャップ」について属性「色」とその属性値「白」，優先度「０．１」が設定されており，特徴情報「キャップ」について属性「形」とその属性値「標準」，優先度「０．１」が設定されている。

【0111】

図１５は図１４とは異なる商品のペットボトル飲料に関しての検証ディスクリプタの一例を示している。図１５の検証ディスクリプタでも，飲料のペットボトルの外形について１つの特徴情報，マークについて２つの特徴情報，キャップについて２の特徴情報の合計５つの特徴情報が設定されており，それぞれの特徴情報について，属性，属性値および優位度が設定されている。図１５では，特徴情報「ボトル外形」について，属性「ボトル肩」とその属性値「なで肩」，優先度（重み）「０．４」が設定されており，特徴情報「マーク」の「属性」について「レイアウト」とその属性「ラベル上左」，優先度「０．３」が設定されており，特徴情報「マーク」について属性「ベースカラー」とその属性値「白」，優先度「０．１」が設定されており，特徴情報「キャップ」について属性「色」とその属性値「白」，優先度「０．１」が設定されており，特徴情報「キャップ」について属性「形」とその属性値「標準」，優先度「０．１」が設定されている。

【0112】

検証ディスクリプタは，標本情報記憶部２２に記憶する対象物の標本情報に対応づけて記憶されている。また検証ディスクリプタでは，同一種類の商品，たとえば飲料のペットボトルについては，各特徴情報における属性は同様の属性が設定されているとよい。

【0113】

本実施例の検証処理の処理プロセスの一例を図８，図１０および図１６のフローチャートを用いて説明する。なお，Ｓ２１０までの処理は，実施例１と同様なので説明を省略する。また，本実施例の検証処理を模式的に図１７に示す。

【0114】

まず処理対象とするフェイス領域の画像情報から不要な情報，たとえば背景部分を除去して，処理対象とする画像情報を切り出す（Ｓ４００）。また，パラメータＡＣＣを初期値０に設定する（Ｓ４１０）。

【0115】

そしてＳ２１０の画像認識処理部２４における画像認識処理の認識結果に基づいて，処理対象とするフェイス領域に写っている商品に類似している商品の商品識別情報が対応する標本情報に関連付けられた検証ディスクリプタを特定する（Ｓ４２０）。

【0116】

Ｓ４００でフェイス領域の画像から切り出した画像情報と，Ｓ４２０で特定した検証ディスクリプタのうち，優位度の高い特徴情報の順番に比較をし（Ｓ４３０），特徴情報における各対象の属性およびその属性値を，当該画像情報が充足しているかを判定する（Ｓ４４０）。そして，その属性および属性値を充足している場合には，パラメータＡＣＣに当該特徴情報に対応する優位度を加算する（Ｓ４５０）。

【0117】

パラメータＡＣＣがあらかじめ設定した閾値以上であれば，検証処理部２５は，当該処理対象とするフェイス領域に写っている商品について，画像認識処理部２４における画像認識処理で特定した商品の商品識別情報は「正解」と判定する（Ｓ４７０）。一方，パラメータＡＣＣが閾値未満であって，当該検証ディスクリプタにまだほかの特徴情報がある場合には（Ｓ４８０），当該検証ディスクリプタのうち，つぎに優位度に高い特徴情報と，Ｓ４００でフェイス領域の画像から切り出した画像情報とを比較し（Ｓ４３０），Ｓ４３０以降の処理を反復する。

【0118】

そして，当該検証ディスクリプタにおけるもっとも優位度の低い特徴情報についてまでＳ４６０の判定処理を実行した結果，パラメータＡＣＣが閾値以上ではない場合には，当該検証ディスクリプタにおけるすべての特徴情報についての処理を実行しているので，検証処理部２５は，当該処理対象とするフェイス領域に写っている商品について，画像認識処理部２４における画像認識処理で特定した商品の商品識別情報は「誤り」と判定する（Ｓ４９０）。

【0119】

以上の検証処理を，撮影画像情報における各フェイス領域について実行することで，画像認識処理部２４における画像認識処理の結果を検証する。

【0120】

以上のようにして検証処理を実行することができる。そして検証処理（Ｓ２２０）以降の処理は，Ｓ２３０以降と同様なので，説明を省略する。

【0121】

なお，上述の説明ではパラメータＡＣＣに条件を充足した特徴情報に対応する優位度を加算し，パラメータＡＣＣがあらかじめ設定した閾値以上となった場合に，「正解」と判定する処理としたが，パラメータＡＣＣに優位度を加算するのではなく，条件を充足した特徴情報の数を加算するようにしてもよい。この場合，パラメータＡＣＣがあらかじめ設定した閾値（条件を充足した特徴情報の数に対する閾値）以上となった場合に，「正解」と判定するように構成することもできる。

【0122】

また，上述のＳ４４０では，検証ディスクリプタの特徴情報における属性およびその属性値を，当該画像情報が充足しているかを判定する際に，充足していれば優位度を加算し，充足していなければそのまま次の特徴情報の処理としていたが，必ずしも，当該画像情報において特徴情報を発見できるかは限らない。そのため，検証ディスクリプタの特徴情報における属性およびその属性値を，当該画像情報が充足していれば優位度を加算し，充足していなければ優位度を減算し，当該画像情報で当該特徴情報そのものを見つけられなければそのまま次の特徴情報の処理を行う，というように，３段階で処理をしてもよい。

【0123】

Ｓ４４０における条件の充足の有無，特徴情報の発見の有無についての演算は任意の演算を採用することができ，上述に限定するものではない。

【0124】

本実施例における検証ディスクリプタは，同じシリーズの別商品と区分する程度に対象，属性および属性値を設定すればよい。

【実施例3】

【0125】

つぎに本発明の検証システム１において，実施例１および実施例２の検証処理とは異なる検証処理を用いた場合を説明する。本実施例３における検証処理ではプロファイルデータを用いた場合の処理を説明する。プロファイルデータとは，画像情報内の対象物を構成する領域とその形状を代表する部分を表現したデータである。プロファイルデータは，図１８に示すように，画像上のどの位置にどのような形が存在するかを示すデータである。

【0126】

プロファイルデータは，標本情報に対応づけて標本情報記憶部２２に記憶される。プロファイルデータは，標本情報もしくはフェイス領域の画像情報を示す「元ファイル」，少なくとも一以上の構成要素を有している。構成要素には，閉領域の所定の頂点（たとえば左上）の位置，その閉領域の重心の位置，面積，当該閉領域の二値画像のファイル名などを含む。

【0127】

まず標本情報に対応するプロファイルデータを生成する処理プロセスの一例を図１９のフローチャートを用いて説明する。

【0128】

オペレータは，入力端末３を用いて標本情報とする商品を正対位置から撮影し，撮影した対象物画像情報，識別情報，商品名，商品コードの入力を管理端末２で受け付け，それらを対応づけて標本情報記憶部２２に記憶させておく（Ｓ５００）。そして画像認識処理部２４における画像認識処理で用いるための標本情報を抽出し，記憶しておく。たとえば局所特徴量とＥＭＤなどを画像特徴量として抽出し，標本情報記憶部２２に記憶させる。

【0129】

このような標本情報に対する処理を，複数の商品，好ましくは陳列棚に陳列される可能性のあるすべての商品についてあらかじめ実行しておく。

【0130】

また，対象物の画像情報または標本情報について，所定色数，たとえば５色や１０色以下に減色をする（Ｓ５１０）。これは，たとえば当該画像情報について，所定色数のドミナントカラー（支配色）を特定後，それらの色で各ピクセルを置き換えることで行える。

【0131】

減色した画像情報について，同一色の連続領域に区分けをすることで，色ごとの領域に分割をする（Ｓ５２０）。そして，面積が所定の大きさ以下の領域（小さすぎる領域），全体の面積が大きすぎる領域（対象物の地色など），画像情報の縁への密着度の高い領域（背景部分），重心がほかの要素の内部に含まれている領域（内部にデザインがある囲み図形），細くかつ屈曲が激しい領域（繊細な文字列）などの領域を除外して，残った領域を構成要素として特定する（Ｓ５３０）。そして残った領域である構成要素ごとに，その形状の情報（閉領域の所定の頂点の位置，重心の位置，面積）と二値画像とを，プロファイルデータに追加することで，プロファイルデータを生成する（Ｓ５４０）。

【0132】

図２０に，標本情報とする商品の画像情報（対象物画像情報）とそれに対応するプロファイルの一例を模式的に示す。図２０（ａ）は対象物画像情報の一例であり，図２０（ｂ）は当該標本情報に対応するプロファイルの一例である。図２０（ｂ）のプロファイルにおける各構成要素の位置などをテキストデータとして示したのが，プロファイルデータである。

【0133】

以上のように生成したプロファイルデータを用いて，検証処理部２５における検証処理を実行することとなる。

【0134】

本実施例の検証処理の処理プロセスの一例を図８，図１０，図２１および図２２のフローチャートを用いて説明する。なお，Ｓ２１０までの処理は，実施例１と同様なので説明を省略する。

【0135】

処理対象とするフェイス領域の画像情報から，図１９と同様の処理を実行することで，プロファイルデータを生成する。フェイス領域の画像情報からプロファイルデータを生成する処理プロセスの一例を示すフローチャートを図２１に示す。

【0136】

まずフェイス領域の画像情報について，所定色数，たとえば５色以下に減色をする（Ｓ６００）。フェイス領域の画像情報の一例を図２３（ａ）に，減色したフェイス領域の画像情報の一例を図２３（ｂ）に示す。

【0137】

減色した画像情報について，同一色の連続領域に区分けをすることで，色ごとの領域に分割をする（Ｓ６１０）。そして，面積が所定の大きさ以下の領域（小さすぎる領域），全体の面積が大きすぎる領域（対象物の地色など），画像情報の縁への密着度の高い領域（背景部分），重心が他の要素の内部に含まれている領域（内部にデザインがある囲み図形），細くかつ屈曲が激しい領域（繊細な文字列）などの領域を除外して，残った領域を構成要素として特定する（Ｓ６２０）。そして残った領域である構成要素ごとに，その形状の情報（閉領域の所定の頂点の位置，重心の位置，面積）と二値画像とを，プロファイルデータに追加することで，プロファイルデータを生成する（Ｓ６３０）。図２４に，図２３（ａ）のフェイス領域の画像情報に対して生成したプロファイルの一例を示す。

【0138】

以上のように生成したフェイス領域の画像情報に基づくプロファイルと，処理対象とするフェイス領域に写っている商品に類似している商品の商品識別情報が対応する標本情報に関連付けられたプロファイルとを用いて，その類似性を評価することで，検証処理を検証処理部２５が実行する（Ｓ２３０）。この処理を図２５に模式的に示す。図２５は左側が標本情報に関連付けられたプロファイルの一例であり，右側がフェイス領域の画像情報に基づくプロファイルの一例である。なお，図２５では，説明の簡略化のため，構成要素を円で示しているが，実際は閉領域であれば足り，不定形である。

【0139】

まず標本情報のプロファイルと，フェイス領域のプロファイルのそれぞれにおける構成要素のうち，面積が大きい構成要素から２以上の構成要素を特定する。たとえば面積が上位４個の構成要素を特定する（Ｓ７００）。ここで特定した構成要素を「核」とする。この状態を模式的に示すのが図２５（ａ）である。

【0140】

そしてそれぞれのプロファイルについて，Ｓ７００で特定した核となる構成要素のうち，隣り合う構成要素を重心同士で連結する。この際に，一通りに定まるように，左回り，下降が優先，といったようにあらかじめ定めたルールに従って連結をする。この状態を模式的に示すのが図２５（ｂ）である。なお，隣り合う構成要素を重心同士で連結したものを星座と呼ぶこととする。

【0141】

隣り合う構成要素のパターン（星座のパターン）が，標本情報のプロファイルとフェイス領域のプロファイルとで一致するかを示す一致性の評価をする（Ｓ７２０）。すなわち，各プロファイルにおいて，連結した構成要素の重心を結ぶことで生成される折れ線の類似度を評価する。これは，折れ線が折れ曲がるたびに，一つ前の線分との長さの比の類似度，角度の類似度を積算することで算出できる。そしてこの類似度があらかじめ設定した閾値以上であれば，一致すると判定し，閾値未満であれば類似しないと判定する。

【0142】

そして類似すると判定した場合，いずれか一方のプロファイルを拡縮することで，双方のプロファイルを重ね合わせ，縮尺，位相を合わせる（Ｓ７３０）。これは，各プロファイルにおける折れ線の総延長距離が同じとなるように拡縮すればよく，また折れ線の重心同士を一致するように平行移動すればよい。

【0143】

以上のようにして，Ｓ７００で特定した核となるプロファイル以外の構成要素について，それぞれのプロファイルで対応する構成要素があるかを特定し，特定したら，その構成要素を星座に追加する（Ｓ７４０）。すなわち，一方のプロファイルのうち，星座にまだ入っていない構成要素を特定し，その重心から一定距離の範囲で，他方のプロファイルの要素の重心がもっとも近いものを探索し，もっとも近いものがあれば，対応する構成要素があるとして特定する。この状態を模式的に示すのが図２５（ｃ）である。星座に追加した構成要素については，隣り合う構成要素の重心と連結する。また，図２０の標本情報およびそのプロファイルと，図２３のフェイス領域の画像および図２４のそのプロファイルにおけるそれぞれの構成要素同士の対応付けを模式的に示すのが図２６である。

【0144】

そして，それぞれのプロファイルの構成要素同士の対応関係から類似度を算出する処理を実行する（Ｓ７５０）。類似度の算出処理は以下の数式を演算することで算出できる。
類似度＝ｗ１×Σ（対応する要素同士の一致度）－ｗ２×Σ（対応しない要素の面積）

【0145】

ここでｗ１，ｗ２は所定の重み付けであり，任意の値として設定することが可能である。またｗ２は０として設定することもできる。すなわち，無関係の物が写り込んでいる場合など，対応しない要素の面積を考慮することが相当ではない場合には，ｗ２を０として設定することで，その影響を排除することができる。

【0146】

また，上述の類似度を算出する数式において，対応する要素同士の一致度は，２つのプロファイルの大きさの尺度を合わせて，２つのプロファイルにおける構成要素の重心を合わせて，以下の数式を演算することで算出できる。
対応する要素同士の一致度＝（フェイスのプロファイルと標本情報のプロファイルの構成要素の共通部分の面積－（フェイスのプロファイルではあり標本情報のプロファイルがない部分の構成要素の面積＋標本情報のプロファイルではありフェイスのプロファイルではない部分の構成要素の面積）／２）／フェイスのプロファイルの面積

【0147】

この際に，商品の傾き（画像情報の要素の傾き）に対応するため，一方を微小な角度で回転させながら，上述の数式の演算を行い，もっとも値が大きいものを採用するようにしてもよい。さらに，２つのプロファイルにおいて対応する構成要素の組の個数が多いものを重視するようにしてもよい。

【0148】

以上のようにして類似度を算出後，その類似度が所定値以上であれば（Ｓ７６０），検証処理部２５は，画像認識処理部２４における画像認識処理での認識結果が「正解」と判定する（Ｓ７７０）。一方，算出した類似度が所定値未満であれば（Ｓ７６０），検証処理部２５は，画像認識処理部２４における画像認識処理での認識結果が「誤り」と判定する（Ｓ７８０）。

【0149】

以上の検証処理を，撮影画像情報における各フェイス領域について実行することで，画像認識処理部２４における画像認識処理の結果を検証する。

【0150】

以上のようにして検証処理を実行することができる。そして検証処理（Ｓ２２０）以降の処理は，Ｓ２３０以降と同様なので，説明を省略する。

【0151】

上述の各実施例における各処理については，本発明の明細書に記載した順序に限定するものではなく，その目的を達成する限度において適宜，変更することが可能である。

【0152】

また，各値を比較する場合，「以上」，「未満」と実施例で記載している場合であっても，「より大きい」，「以下」と比較条件を適宜，変更してもよい。

【0153】

また，本発明の検証システム１は，店舗の陳列棚を撮影した撮影画像情報から，陳列棚に陳列した商品を対象物として，その商品の陳列状況を特定する場合に有効であるが，それに限定するものではない。すなわち，ある撮影対象物を撮影した場合に，その所望の対象物が写っている領域を撮影した画像情報から特定する際に，広く用いることができる。

【産業上の利用可能性】

【0154】

本発明の検証システム１を用いることによって，画像認識処理システムでの認識結果に対しての検証を，省力化することができる。そのため，従来の人手による作業を大幅に減らす，あるいはなくすことができる。

【符号の説明】

【0155】

１：検証システム
２：管理端末
３：入力端末
２０：画像情報入力受付処理部
２１：画像情報記憶部
２２：標本情報記憶部
２３：画像情報処理部
２４：画像認識処理部
２５：検証処理部
２６：検証結果処理部
７０：演算装置
７１：記憶装置
７２：表示装置
７３：入力装置
７４：通信装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】

【図27】