特開 2023-156991 情報処理システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023156991

(43)【公開日】2023-10-25

(54)【発明の名称】情報処理システム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20231018BHJP

   G06Q 30/06 20230101ALI20231018BHJP

【ＦＩ】

G06T7/00 Z

G06Q30/06

【審査請求】有

【請求項の数】9

【出願形態】ＯＬ

(21)【出願番号】P 2023054372

(22)【出願日】2023-03-29

(62)【分割の表示】P 2022066626の分割

【原出願日】2022-04-13

(71)【出願人】

【識別番号】516278171

【氏名又は名称】株式会社マーケットヴィジョン

(74)【代理人】

【識別番号】100205084

【弁理士】

【氏名又は名称】吉浦 洋一

(72)【発明者】

【氏名】谷井 成吉

【テーマコード（参考）】

5L049

5L096

【Ｆターム（参考）】

5L049BB72

5L096FA52

5L096FA69

(57)【要約】      （修正有）

【課題】画像情報から認識した認識結果について，検証が必要となる可能性の高い認識結果を抽出する情報処理システム及びプログラムを提供する。
【解決手段】情報処理システム１は，陳列棚を撮影した画像情報に写っている商品の商品を示す情報を認識する陳列商品認識処理部と，画像情報に写っている商品タグから商品タグ情報を認識する商品タグ認識処理部と，陳列棚に陳列されている商品の商品を示す情報と，商品タグとの対応関係を判定する対応関係判定処理部と，陳列棚に陳列されている商品のうち検証対象となる認識結果を抽出する検証対象抽出処理部と，を有している。検証対象抽出処理部は，今回の対応関係判定処理部で判定した陳列されている商品の商品を示す情報と商品タグ情報との対応関係と，対応関係判定処理部における今回より前の処理で認識した陳列されている商品の商品を示す情報と商品タグ情報との対応関係の変化を用いて検証対象を抽出する。
【選択図】図１

【特許請求の範囲】

【請求項1】

陳列棚を撮影した画像情報に写っている商品の商品を示す情報を認識する陳列商品認識処理部と，
前記画像情報に写っている商品タグから商品タグ情報を認識する商品タグ認識処理部と，
前記陳列棚に陳列されている商品の商品を示す情報と，前記商品タグとの対応関係を判定する対応関係判定処理部と，
前記陳列棚に陳列されている商品のうち検証対象となる認識結果を抽出する検証対象抽出処理部と，
を有しており，
前記検証対象抽出処理部は，
今回の対応関係判定処理部で判定した陳列されている商品の商品を示す情報と商品タグ情報との対応関係と，対応関係判定処理部における今回より前の処理で認識した陳列されている商品の商品を示す情報と商品タグ情報との対応関係の変化を用いて検証対象を抽出する，
ことを特徴とする情報処理システム。

【請求項2】

前記陳列商品認識処理部は，
前記画像情報に写っている商品の商品識別情報を認識し，
前記対応関係判定処理部は、
前記認識した商品識別情報を用いて商品種別を生成し，
前記商品種別の数と前記商品タグの数とを用いることで，前記陳列棚に陳列されている商品の商品種別と，前記商品タグとの対応関係を判定する，
ことを特徴とする請求項１に記載の情報処理システム。

【請求項3】

前記対応関係判定処理部は，
前記商品種別の数と前記商品タグの数とを比較し，前記商品種別の数が前記商品タグの数より多い場合には，仮の商品タグを配置する，
ことを特徴とする請求項２に記載の情報処理システム。

【請求項4】

前記対応関係判定処理部は，
前記商品種別の数と前記商品タグの数とを比較し，前記商品種別の数が前記商品タグの数より少ない場合には，不要な商品タグを削除する，
ことを特徴とする請求項２に記載の情報処理システム。

【請求項5】

前記対応関係判定処理部は，
二回目以降の処理は、前記商品種別と前記商品タグとの組み合わせが，今回の処理よりも前の処理における組み合わせと同一の紐付けを行い，
前記商品種別と前記商品タグとの組み合わせが異なる位置に設定した区切り位置から，再度，前記陳列棚に陳列されている商品の商品種別と，前記商品タグとの対応関係を判定する，
ことを特徴とする請求項２に記載の情報処理システム。

【請求項6】

陳列棚を撮影した画像情報に写っている商品タグから商品タグ情報を認識する商品タグ認識処理部と，
前記陳列棚に陳列されている商品のうち検証対象となる認識結果を抽出する検証対象抽出処理部と，
を有しており，
前記検証対象抽出処理部は，
今回の処理で認識した商品タグ認識処理部での認識結果と，商品タグ認識処理部における今回より前の処理で認識した認識結果との変化を用いて検証対象を抽出する，
ことを特徴とする情報処理システム。

【請求項7】

前記検証対象抽出処理部は，
前記画像情報における所定領域および／または認識結果を強調表示して検証対象であることを通知する，
ことを特徴とする請求項１から請求項６のいずれかに記載の情報処理システム。

【請求項8】

コンピュータを，
陳列棚を撮影した画像情報に写っている商品の商品を示す情報を認識する陳列商品認識処理部，
前記画像情報に写っている商品タグから商品タグ情報を認識する商品タグ認識処理部，
前記陳列棚に陳列されている商品の商品を示す情報と，前記商品タグとの対応関係を判定する対応関係判定処理部，
前記陳列棚に陳列されている商品のうち検証対象となる認識結果を抽出する検証対象抽出処理部，として機能させる情報処理プログラムであって，
前記検証対象抽出処理部は，
今回の対応関係判定処理部で判定した陳列されている商品の商品を示す情報と商品タグ情報との対応関係と，対応関係判定処理部における今回より前の処理で認識した陳列されている商品の商品を示す情報と商品タグ情報との対応関係の変化を用いて検証対象を抽出する，
ことを特徴とする情報処理プログラム。

【請求項9】

コンピュータを，
陳列棚を撮影した画像情報に写っている商品タグから商品タグ情報を認識する商品タグ認識処理部，
前記陳列棚に陳列されている商品のうち検証対象となる認識結果を抽出する検証対象抽出処理部，として機能させる情報処理プログラムであって，
前記検証対象抽出処理部は，
今回の処理で認識した商品タグ認識処理部での認識結果と，商品タグ認識処理部における今回より前の処理で認識した認識結果との変化を用いて検証対象を抽出する，
ことを特徴とする情報処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は，画像情報から認識した認識結果について，検証が必要となる可能性の高い認識結果を抽出する情報処理システムに関する。

【背景技術】

【0002】

コンビニエンスストア，スーパーなどの各種の店舗では，販売している商品を陳列棚に置いて販売をしていることが一般的である。そのため，陳列棚に商品を複数陳列しておくことで，商品の一つが購入されても，同一の商品をほかの人が購入できるようになっている。そして，商品が陳列棚のどこにいくつ陳列されているかを管理することは，商品の販売戦略上，重要である。

【0003】

そのため，店舗における商品の実際の陳列状況を把握するため，陳列棚を撮影装置で撮影し，その撮影した画像情報から陳列されている商品を自動的に特定する方法がある。たとえば商品ごとの標本画像をもとに，店舗の陳列棚を撮影した画像に対して画像認識技術を用いる方法がある。これらの従来技術として，たとえば，下記特許文献１，特許文献２がある。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開平５－３４２２３０号公報

【特許文献2】特開平５－３３４４０９号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

特許文献１の発明は，商品をどの陳列棚に陳列すべきかが知識のない者にもできるように支援するシステムである。そのため，商品をどこに陳列するかを把握することはできるが，陳列されている商品を特定するものではない。また特許文献２は，商品の陳列を支援する棚割支援システムにおいて，商品画像の入力を支援するシステムである。しかし特許文献２のシステムでは，棚割支援システムを利用する際の商品画像の入力を支援するのみであって，このシステムを用いたとしても，具体的な商品の陳列状況を把握することはできない。

【0006】

また，陳列棚に陳列されている商品を商品の画像情報から特定できたとしても，商品の実際の価格までは特定することはできない。商品の実際の価格を特定するためには，ＰＯＳシステムと対比しなければならない。

【0007】

さらに，特許文献１，特許文献２以外にも，陳列棚を撮影した画像情報から陳列されている商品を画像認識処理技術を用いて同定する技術もある。これによって，店舗における実際の陳列状況を把握することはできる点で有益である。

【0008】

しかしながら，現時点では，最新の画像認識処理の技術を利用したとしても，その認識精度は人間の認識能力には達しておらず，たとえば上述のように，商品の陳列棚を撮影した画像情報に，判定対象とする商品が写っているかを判定することで，その商品が陳列されていたかを判定するような場合には，その認識精度は高いとはいえない。

【0009】

また，従来の画像認識システムは，あらかじめ登録されている画像のうち，どれがもっとも類似しているかを判定するシステムのため，相対的順位の優劣を比較して，もっとも順位が高い画像を第一候補として特定している。しかし画像認識システムの判定結果が正解か否かは不明であり，画像認識システムの第一候補の正誤を人間が判断する作業が必要となる場合がある。

【0010】

このように，従来の画像認識システムでは，認識結果に対して，人間による確認，修正作業が必要となる。そして人間による確認，修正作業は，作業の省力化のボトルネックになるとともに，その負担は著しく重い。

【0011】

このようなことから，画像認識処理をした認識結果に対する人間による確認，修正作業の省力化をすることが求められている。

【課題を解決するための手段】

【0012】

本発明者は上記課題に鑑み，画像情報から認識した認識結果について，検証が必要となる可能性の高い認識結果を抽出する情報処理システムを発明した。

【0013】

第１の発明は，陳列棚を撮影した画像情報に写っている商品の商品を示す情報を認識する陳列商品認識処理部と，前記画像情報に写っている商品タグから商品タグ情報を認識する商品タグ認識処理部と，前記陳列棚に陳列されている商品の商品を示す情報と，前記商品タグとの対応関係を判定する対応関係判定処理部と，前記陳列棚に陳列されている商品のうち検証対象となる認識結果を抽出する検証対象抽出処理部と，を有しており，前記検証対象抽出処理部は，今回の対応関係判定処理部で判定した陳列されている商品の商品を示す情報と商品タグ情報との対応関係と，対応関係判定処理部における今回より前の処理で認識した陳列されている商品の商品を示す情報と商品タグ情報との対応関係の変化を用いて検証対象を抽出する，情報処理システムである。

【0014】

本発明のように構成することで，画像情報から認識した認識結果について，検証が必要となる可能性の高い認識結果を抽出することができる。

【0015】

上述の発明において，前記陳列商品認識処理部は，前記画像情報に写っている商品の商品識別情報を認識し，前記対応関係判定処理部は、前記認識した商品識別情報を用いて商品種別を生成し，前記商品種別の数と前記商品タグの数とを用いることで，前記陳列棚に陳列されている商品の商品種別と，前記商品タグとの対応関係を判定する，情報処理システムのように構成することができる。

【0016】

上述の発明において，前記対応関係判定処理部は，前記商品種別の数と前記商品タグの数とを比較し，前記商品種別の数が前記商品タグの数より多い場合には，仮の商品タグを配置する，情報処理システムのように構成することができる。

【0017】

上述の発明において，前記対応関係判定処理部は，前記商品種別の数と前記商品タグの数とを比較し，前記商品種別の数が前記商品タグの数より少ない場合には，不要な商品タグを削除する，情報処理システムのように構成することができる。

【0018】

上述の発明において，前記対応関係判定処理部は，二回目以降の処理は、前記商品種別と前記商品タグとの組み合わせが，今回の処理よりも前の処理における組み合わせと同一の紐付けを行い，前記商品種別と前記商品タグとの組み合わせが異なる位置に設定した区切り位置から，再度，前記陳列棚に陳列されている商品の商品種別と，前記商品タグとの対応関係を判定する，情報処理システムのように構成することができる。

【0019】

第６の発明は，陳列棚を撮影した画像情報に写っている商品タグから商品タグ情報を認識する商品タグ認識処理部と，前記陳列棚に陳列されている商品のうち検証対象となる認識結果を抽出する検証対象抽出処理部と，を有しており，前記検証対象抽出処理部は，今回の処理で認識した商品タグ認識処理部での認識結果と，商品タグ認識処理部における今回より前の処理で認識した認識結果との変化を用いて検証対象を抽出する，情報処理システムである。

【0020】

本発明のように構成することで，画像情報から認識した認識結果について，検証が必要となる可能性の高い認識結果を抽出することができる。

【0021】

上述の発明において，前記検証対象抽出処理部は，前記画像情報における所定領域および／または認識結果を強調表示して検証対象であることを通知する，情報処理システムのように構成することができる。

【0022】

本発明のように構成することで，担当者などに検証対象を容易に認識可能とすることができる。

【0023】

第１の発明の情報処理システムは，本発明のプログラムをコンピュータに読み込ませて実行することで実現できる。すなわち，コンピュータを，陳列棚を撮影した画像情報に写っている商品の商品を示す情報を認識する陳列商品認識処理部，前記画像情報に写っている商品タグから商品タグ情報を認識する商品タグ認識処理部，前記陳列棚に陳列されている商品の商品を示す情報と，前記商品タグとの対応関係を判定する対応関係判定処理部，前記陳列棚に陳列されている商品のうち検証対象となる認識結果を抽出する検証対象抽出処理部，として機能させる情報処理プログラムであって，前記検証対象抽出処理部は，今回の対応関係判定処理部で判定した陳列されている商品の商品を示す情報と商品タグ情報との対応関係と，対応関係判定処理部における今回より前の処理で認識した陳列されている商品の商品を示す情報と商品タグ情報との対応関係の変化を用いて検証対象を抽出する，情報処理プログラムである。

【0024】

第６の発明の情報処理システムは，本発明のプログラムをコンピュータに読み込ませて実行することで実現できる。コンピュータを，陳列棚を撮影した画像情報に写っている商品タグから商品タグ情報を認識する商品タグ認識処理部，前記陳列棚に陳列されている商品のうち検証対象となる認識結果を抽出する検証対象抽出処理部，として機能させる情報処理プログラムであって，前記検証対象抽出処理部は，今回の処理で認識した商品タグ認識処理部での認識結果と，商品タグ認識処理部における今回より前の処理で認識した認識結果との変化を用いて検証対象を抽出する，情報処理プログラムである。

【発明の効果】

【0025】

本発明の情報処理システムを用いることで，画像情報から認識した認識結果について，検証が必要となる可能性の高い認識結果を抽出することが可能となる。

【図面の簡単な説明】

【0026】

【図1】本発明の情報処理システムの構成の一例を模式的に示すブロック図である。

【図2】本発明の情報処理システムにおける陳列商品認識処理部の構成の一例を模式的に示すブロック図である。

【図3】本発明の情報処理システムにおける商品タグ認識処理部の構成の一例を模式的に示すブロック図である。

【図4】本発明の情報処理システムで用いるコンピュータのハードウェア構成の一例を模式的に示すブロック図である。

【図5】本発明の情報処理システムにおける全体の処理プロセスの一例を示すフローチャートである。

【図6】撮影画像情報の一例を示す図である。

【図7】撮影画像情報の他の一例を示す図である。

【図8】図６の撮影画像情報を正置化した画像情報の一例を示す図である。

【図9】図７の撮影画像情報を正置化した画像情報の一例を示す図である。

【図10】商品が陳列されている陳列棚を撮影した画像情報を正置化した正置画像情報に対して，棚段領域と商品タグ配置領域の指定の入力を受け付けた状態を模式的に示す図である。

【図11】商品が吊り下げられて陳列されている陳列棚を撮影した画像情報を正置化した正置画像情報に対して，棚段領域と商品タグ配置領域の指定の入力を受け付けた状態を模式的に示す図である。

【図12】標本情報記憶部に記憶される標本情報の一例を示す図である。

【図13】陳列棚におけるプレイスとフェイスとの関係を模式的に示す図である。

【図14】図１０の商品タグ配置領域の画像情報に対して，正置化した商品タグ配置領域の画像情報の一例を示す図である。

【図15】図１０の商品タグ配置領域の画像情報の一例を示す図である

【図16】商品タグ特定処理部における商品タグ領域の上辺位置，下辺位置を特定する処理を模式的に示す図である。

【図17】商品タグ特定処理部における商品タグ領域の横方向の位置を特定する処理を模式的に示す図である。

【図18】図１４の正置化した商品タグ配置領域の画像情報から，商品タグ領域を特定した状態を模式的に示す図である。

【図19】商品タグ内情報特定処理部における処理において，商品タグ領域を二値化した画像情報を模式的に示す図である。

【図20】商品タグ内情報特定処理部における処理において，ボックスを生成した状態を模式的に示す図である。

【図21】商品タグ内情報特定処理部における処理において，ブロックを生成した状態を模式的に示す図である。

【図22】商品タグに表記された商品名，ＯＣＲ認識の結果，商品辞書に記憶する商品名のうち編集距離が最小の商品名，編集距離の一例を示す図である。

【図23】最終候補の文字数ごとの確定してよい編集距離の対応関係の一例を示す図である。

【図24】対応関係判定処理部において商品種別と商品タグが同数である場合の処理を模式的に示す図である。

【図25】対応関係判定処理部において商品種別の数が商品タグの数より多い場合の処理を模式的に示す図である。

【図26】対応関係判定処理部において商品種別の数が商品タグの数より少ない場合の処理を模式的に示す図である。

【図27】対応関係判定処理部における二回目以降の処理を模式的に示す図である。

【図28】撮影画像情報の一例を示す図である。

【図29】図２８の撮影画像情報に対して正置化処理を実行した正置画像情報の一例を示す図である。

【図30】検証対象抽出処理部における検証対象として抽出する条件の一例を模式的に示す図である。

【発明を実施するための形態】

【0027】

本発明の情報処理システム１の処理機能の一例をブロック図で図１乃至図３に示す。情報処理システム１は，管理端末２と撮影画像情報入力端末３とを用いる。図１は情報処理システム１の全体の機能を示すブロック図であり，図２は後述する陳列商品認識処理部２４の機能を示すブロック図であり，図３は後述する商品タグ認識処理部２５の機能を示すブロック図である。

【0028】

管理端末２は，情報処理システム１を運営する企業等の組織が利用するコンピュータである。また，撮影画像情報入力端末３は，店舗の陳列棚を撮影した画像情報の入力を行う端末である。

【0029】

情報処理システム１における管理端末２，撮影画像情報入力端末３は，コンピュータを用いて実現される。図４にコンピュータのハードウェア構成の一例を模式的に示す。コンピュータは，プログラムの演算処理を実行するＣＰＵなどの演算装置７０と，情報を記憶するＲＡＭやハードディスクなどの記憶装置７１と，情報を表示するディスプレイなどの表示装置７２と，情報の入力が可能なキーボードやマウスなどの入力装置７３と，演算装置７０の処理結果や記憶装置７１に記憶する情報をインターネットやＬＡＮなどのネットワークを介して送受信する通信装置７４とを有している。

【0030】

コンピュータがタッチパネルディスプレイを備えている場合には，表示装置７２と入力装置７３とが一体的に構成されていてもよい。タッチパネルディスプレイは，たとえばタブレット型コンピュータやスマートフォンなどの可搬型通信端末などで利用されることが多いが，それに限定するものではない。

【0031】

タッチパネルディスプレイは，そのディスプレイ上で，直接，所定の入力デバイス（タッチパネル用のペンなど）や指などによって入力を行える点で，表示装置７２と入力装置７３の機能が一体化した装置である。

【0032】

撮影画像情報入力端末３は，上記の各装置のほか，カメラなどの撮影装置を備えていてもよい。撮影画像情報入力端末３として，携帯電話，スマートフォン，タブレット型コンピュータなどの可搬型通信端末を用いることもできる。

【0033】

本発明における各手段は，その機能が論理的に区別されているのみであって，物理上あるいは事実上は同一の領域を為していても良い。本発明の各手段における処理は，その処理順序を適宜変更することもできる。また，処理の一部を省略してもよい。たとえば後述する正置化処理を省略することもできる。その場合，正置化処理をしていない画像情報に対する処理を実行することができる。

【0034】

撮影画像情報に基づいて商品の陳列状況を判定する場合，情報処理システム１は，撮影画像情報入力受付処理部２０と撮影画像情報記憶部２１と撮影画像情報正置化処理部２２と位置特定処理部２３と陳列商品認識処理部２４と商品タグ認識処理部２５と標本情報記憶部２６と商品識別情報記憶部２７と対応関係判定処理部２８と検証対象抽出処理部２９とを有する。

【0035】

撮影画像情報入力受付処理部２０は，撮影画像情報入力端末３で撮影した店舗の陳列棚の画像情報（撮影画像情報）の入力を受け付け，後述する撮影画像情報記憶部２１に記憶させる。撮影画像情報入力端末３からは，撮影画像情報のほか，撮影日時，店舗名などの店舗識別情報，画像情報を識別する画像情報識別情報などをあわせて入力を受け付けるとよい。図６，図７に撮影画像情報の一例を示す。図６，図７では，陳列棚に３段の棚段があり，そこに商品が陳列されている撮影画像情報である。なお，本発明においては特にその処理を明記はしないが，陳列棚や棚段は横方向に長いことが多い。そのため，その処理においては，一定の幅で区切り，各処理の処理対象としてもよい。

【0036】

撮影画像情報記憶部２１は，撮影画像情報入力端末３から受け付けた撮影画像情報，撮影日時，店舗識別情報，画像情報識別情報などを対応づけて記憶する。撮影画像情報とは，本発明の処理対象となる画像情報であればよい。一般的には，単に撮影した場合，撮影対象物を正対した状態で撮影することが困難であることから，それを正対した状態に補正する補正処理，たとえば台形補正処理などを実行することがよい。一つの陳列棚を複数枚で撮影した場合に，それが一つの画像情報として合成された画像情報も含まれる。また，歪み補正処理が実行された後の画像情報も撮影画像情報に含まれる。

【0037】

撮影画像情報正置化処理部２２は，撮影画像情報記憶部２１に記憶した撮影画像情報に対して，撮影対象物が正対した状態になるように補正する処理（正置化処理），たとえば台形補正処理を実行した正置画像情報を生成する。台形補正処理は，撮影画像情報に写っている陳列棚の棚段が水平に，そこに陳列されている商品に対する商品タグ（たとえば値札）が垂直になるように行う補正処理である。正置化とは，撮影装置のレンズの光軸を撮影対象である平面の垂線方向に沿って，十分に遠方から撮影した場合と同じになるように画像情報を変形させることであり，たとえば台形補正処理がある。

【0038】

撮影画像情報正置化処理部２２が実行する台形補正処理は，撮影画像情報において４頂点の指定の入力を受け付け，その各頂点を用いて台形補正処理を実行する。指定を受け付ける４頂点としては，陳列棚の棚段の４頂点であってもよいし，陳列棚の棚位置の４頂点であってもよい。また，２段，３段の棚段のまとまりの４頂点であってもよい。４頂点としては任意の４点を指定できる。図８に図６の撮影画像情報を，図９に図７の撮影画像情報をそれぞれ正置化した撮影画像情報（正置画像情報）の一例を示す。

【0039】

位置特定処理部２３は，撮影画像情報正置化処理部２２において撮影画像情報に対して台形補正処理を実行した正置画像情報のうち，商品が配置される可能性のある棚段の領域（棚段領域），商品タグが取り付けられる可能性のある領域（商品タグ配置領域）を特定する。すなわち，撮影画像情報および正置画像情報には陳列棚が写っているが，陳列棚には，商品が陳列される棚段領域と，そこに陳列される商品に対する商品タグが取り付けられる可能性のある商品タグ配置領域とがある。そのため，正置画像情報から棚段領域と商品タグ配置領域を特定する。棚段領域，商品タグ配置領域の特定としては，管理端末２の操作者が手動で棚段領域，商品タグ配置領域を指定し，それを位置特定処理部２３が受け付けてもよいし，初回に手動で入力を受け付けた棚段領域，商品タグ配置領域の情報に基づいて，二回目以降は自動で棚段領域，商品タグ配置領域を特定してもよい。

【0040】

図１０に，飲料缶などの商品が陳列されている陳列棚を撮影した画像情報を正置化した正置画像情報に対して，棚段領域と商品タグ配置領域の指定の入力を受け付けた状態を模式的に示す。また，図１１に，歯ブラシなどの商品が吊り下げられて陳列されている陳列棚を撮影した画像情報を正置化した正置画像情報に対して，棚段領域と商品タグ配置領域の指定の入力を受け付けた状態を模式的に示す。

【0041】

なお，位置特定処理部２３は，棚段領域，商品タグ配置領域を特定する際に，深層学習（ディープラーニング）を用いて棚段領域，商品タグ配置領域を特定してもよい。この場合，中間層が多数の層からなるニューラルネットワークの各層のニューロン間の重み付け係数が最適化された学習モデルに対して，上記正置画像情報を入力し，その出力値に基づいて，棚段領域，商品タグ配置領域を特定してもよい。また学習モデルとしては，さまざまな正置画像情報に棚段領域，商品タグ配置領域を正解データとして与えたものを用いることができる。

【0042】

陳列商品認識処理部２４は，正置画像情報に写っている陳列棚における棚段に陳列されている商品を認識する処理を実行する。

【0043】

撮影画像情報に基づいて陳列棚に陳列している商品の商品識別情報を認識する場合，陳列商品認識処理部２４は，棚段領域処理部２４１とプレイス特定処理部２４２と商品識別情報特定処理部２４３と棚段画像マッチング処理部２４４とを有する。

【0044】

棚段領域処理部２４１は，位置特定処理部２３で特定した棚段領域の画像情報を棚段領域画像情報として特定する。棚段領域処理部２４１は，実際に，画像情報として切り出してもよいし，実際には画像情報としては切り出さずに，領域の画像情報を特定するなどによって，仮想的に切り出すのでもよい。なお，陳列棚に棚段が複数ある場合には，それぞれが棚段領域画像情報として切り出される。また棚段の領域を示す座標としては，その領域を特定するための頂点の座標であり，正置画像情報におけるたとえば４点，右上と左下，左上と右下の２点の座標などでよい。また，正置画像情報における陳列棚など，画像情報における所定箇所（たとえば陳列棚の左上の頂点）を基準とした相対座標である。

【0045】

プレイス特定処理部２４２は，正置画像情報における棚段領域における棚段ごとに，プレイスの領域を特定する。プレイスとは商品が置かれる領域であって，その商品が置かれているか否かは問わない。プレイスの領域の大きさは，そこに置かれるべき商品と同一または略同一の大きさである。そして，実際に商品が陳列されているプレイスを「フェイス」とする。またプレイスに商品が陳列されていない場合を「空」とする。プレイス特定処理部２４２は，初回のプレイスの特定処理と，二回目以降のプレイスの特定処理とに分かれることが好ましい。

【0046】

プレイス特定処理部２４２における初回のプレイスの特定処理は，位置特定処理部２３で特定した棚段の座標で構成される領域（好ましくは矩形領域）の範囲内において，プレイスを特定する。具体的には，棚段領域における商品と商品との間に生じる細く狭い陰影を特定する，画像の繰り返しパターンを特定する，パッケージの上辺の段差を特定する，商品幅が同一であるなどの制約に基づいて区切り位置を特定する，などによって，プレイスの領域を特定する。なお，プレイス特定処理部２４２は，プレイスの領域を特定する際に，深層学習（ディープラーニング）を用いてプレイスの領域を特定してもよい。この場合，中間層が多数の層からなるニューラルネットワークの各層のニューロン間の重み付け係数が最適化された学習モデルに対して，処理対象とする領域，たとえば棚段領域の画像情報を入力し，その出力値に基づいて，プレイスの領域を特定してもよい。また学習モデルとしては，さまざまな処理対象とする領域，たとえば棚段領域の画像情報にプレイスの領域を正解データとして与えたものを用いることができる。

【0047】

プレイスの特定処理としては，商品のカテゴリや商品の形態によって，任意の方法を採用可能であり，上記に限定するものではない。また，自動的に特定したプレイスに対して，担当者による修正入力を受け付けてもよい。さらに，担当者からプレイスの位置の入力を受け付けるのでもよい。特定したプレイスを構成する領域の座標は，正置画像情報におけるプレイスの領域の座標に，撮影日時情報，店舗情報，撮影画像情報の画像情報識別情報，正置画像情報の画像識別情報，プレイスを識別するためのプレイス識別情報とを対応づけて管理する。またプレイスの領域を示す座標としては，矩形領域を特定するための頂点の座標であり，正置画像情報におけるたとえば４点，右上と左下，左上と右下の２点の座標などでよい。また，正置画像情報における陳列棚など，画像情報における所定箇所（たとえば陳列棚の左上の頂点）を基準とした相対座標である。

【0048】

一般的には，一つの棚段には，同じような種類の商品が置かれることが多い。その場合，商品の大きさもほぼ同じ大きさである。そこで，一つの商品のプレイスの領域を特定した場合，その領域を棚段において反復して設定することで，当該棚段におけるプレイスを特定してもよい。

【0049】

プレイス特定処理部２４２における二回目以降のプレイスの特定処理は，同一の陳列棚の同一の棚段について，前回（Ｎ－１回目）の正置画像情報で特定したプレイスの領域の座標を今回（Ｎ回目）の正置画像情報で特定したプレイスの領域の座標とするようにしてもよい。

【0050】

商品識別情報特定処理部２４３は，陳列棚の棚段ごとに，プレイスに表示されている商品の商品識別情報を，標本情報に記憶する標本情報を用いて特定する。商品識別情報としては，商品名のほか，その商品に対して割り当てられているＪＡＮコードなどがあるが，それに限定されない。商品を識別することができる情報であればいかなるものでもよい。

【0051】

商品識別情報特定処理部２４３は，以下のような処理を実行する。すなわち，プレイスごとに，プレイスの画像情報と，標本情報記憶部２６に記憶する商品の標本情報とマッチングすることで，そのプレイスに表示されている商品の商品識別情報を特定する。具体的には，まず，処理対象となるプレイスの座標で構成される領域の画像情報と，標本情報記憶部２６に記憶する標本情報との類似性を判定し，その類似性がもっとも高い標本情報に対応する商品識別情報を特定し，特定した類似性があらかじめ定めた閾値以上であれば，上記座標で構成されるプレイスに表示されている商品の商品識別情報として特定をする。

【0052】

ここでプレイスの画像情報と標本情報との類似性を判定するには，以下のような処理を行う。まず，商品識別情報特定処理部２４３における商品識別情報の特定処理の前までの処理において，正置画像情報の棚段におけるプレイスの領域の画像情報と，標本情報との方向が同じ（横転や倒立していない）となっており，また，それぞれの画像情報の大きさが概略同じとなっている（所定範囲以上で画像情報の大きさが異なる場合には，類似性の判定の前にそれぞれの画像情報の大きさが所定範囲内となるようにサイズ合わせをしておく）。

【0053】

商品識別情報特定処理部２４３は，プレイスの画像情報と，標本情報との類似性を判定するため，プレイスの画像情報の画像特徴量（たとえば局所特徴量）に基づく特徴点と，標本情報との画像特徴量（たとえば局所特徴量）に基づく特徴点を，それぞれ抽出する。そして，プレイスの画像情報の特徴点と，標本情報の特徴点とでもっとも類似性が高いペアを検出し，それぞれで対応する点の座標の差を求める。そして，差の平均値を求める。差の平均値は，プレイスの画像情報と，標本情報との全体の平均移動量を示している。そして，すべての特徴点のペアの座標差を平均の座標差と比較し，外れ度合いの大きなペアを除外する。そして，残った対応点の数で類似性を順位付ける。

【0054】

以上のような方法でプレイスの画像情報と，標本情報との類似性を算出できる。また，その精度を向上させるため，さらに，色ヒストグラム同士のＥＭＤ（Ｅａｒｔｈ Ｍｏｖｅｒｓ Ｄｉｓｔａｎｃｅ）を求め，類似性の尺度としてもよい。これによって，撮影された画像情報の明度情報等の環境変化に比較的強い類似性の比較を行うことができ，高精度で特定をすることができる。

【0055】

類似性の判定としては，ほかにも，各プレイスの領域の画像情報のシグネチャ（画像特徴量と重みの集合）同士のＥＭＤを求め，類似性の尺度としてもよい。シグネチャの画像特徴量としては，たとえばプレイス領域の画像情報のＨＳＶ色空間内の頻度分布を求め，色相と彩度に関してグルーピングを行って，特徴の個数とＨＳＶ色空間内の領域による画像特徴量とすることができる。色相と彩度についてグルーピングを行うのは，撮影条件に大きく左右されないように，明度への依存度を下げるためである。

【0056】

また，処理の高速化のため，シグネチャとＥＭＤの代わりに，適宜の色空間内での画像情報の色コリログラムや色ヒストグラムなどの画像特徴量間のＬ２距離等の類似性を用いることもできる。

【0057】

類似性の判定は，上述に限定をするものではない。特定した商品識別情報は，撮影日時情報，店舗情報，撮影画像情報の画像情報識別情報，正置画像情報の画像識別情報，プレイスを識別するためのプレイス識別情報に対応づけて商品識別情報記憶部２７に記憶する。

【0058】

商品識別情報特定処理部２４３は，プレイスの画像情報に表示されている商品の商品識別情報を特定する際に，深層学習（ディープラーニング）を用いて商品識別情報を特定してもよい。この場合，中間層が多数の層からなるニューラルネットワークの各層のニューロン間の重み付け係数が最適化された学習モデルに対して，プレイスの画像情報を入力し，その出力値に基づいて，商品識別情報を特定してもよい。また学習モデルとしては，さまざまなプレイスの画像情報に商品識別情報を正解データとして与えたものを用いることができる。

【0059】

なお，商品識別情報が特定できたプレイスはフェイスとなるので，商品識別情報記憶部２７にそのプレイスが「フェイス」であることを示す情報が記憶され，商品識別情報が特定できなかったプレイスは「空」となるので，商品識別情報記憶部２７にそのプレイスが「空」であることを示す情報が記憶される。

【0060】

以上のようにして特定した商品識別情報は，撮影日時情報，店舗情報，撮影画像情報の画像情報識別情報，正置画像情報の画像識別情報，プレイスを識別するためのプレイス識別情報，フェイスであるか空であるかを示す情報に対応づけて商品識別情報記憶部２７に記憶する。

【0061】

棚段画像マッチング処理部２４４は，前回（Ｎ－１回目）の正置画像情報における棚段の領域の画像情報と，今回（Ｎ回目）の正置画像情報における棚段の領域の画像情報とに基づいて，その類似性が高ければその棚段における各プレイスの商品識別情報または「空」は同一と判定する。この類似性の判定処理は，上述のように，前回（Ｎ－１回目）の正置画像情報における棚段の領域の画像情報の画像特徴量と，今回（Ｎ回目）の正置画像情報における棚段の領域の画像情報とに基づく類似性の判定でもよいし，色ヒストグラム同士のＥＭＤを用いたものであってもよい。また，それらに限定するものではない。そして，商品識別情報特定処理部２４３におけるプレイス単位ごとの特定処理ではなく，商品識別情報特定処理部２４３に，Ｎ回目の正置画像情報におけるその棚段における各プレイスの商品識別情報を，Ｎ－１回目の同一の棚段における各プレイスの商品識別情報と同一として，商品識別情報記憶部２７に記憶させる。これによって，あまり商品の動きがない棚段や逆にきわめて短いサイクルで管理される棚段など，変化がほとんど生じない棚段についての処理を省略することができる。なお，棚段画像マッチング処理部２４４による処理は設けなくてもよい。

【0062】

陳列商品認識処理部２４は，プレイス特定処理部２４２，商品識別情報特定処理部２４３の処理をまとめて深層学習などによって実行してもよい。

【0063】

管理端末２における商品タグ認識処理部２５は，正置画像情報に写っている陳列棚の商品タグ領域にある商品タグに記載されている商品タグ情報を認識する処理を実行する。商品タグ情報としては，たとえば価格があるが，それに限定されない。

【0064】

撮影画像情報に基づいて商品タグの商品識別情報を認識する場合，商品タグ認識処理部２５は，商品タグ配置領域処理部２５１と商品タグ配置領域正置化処理部２５２と商品タグ特定処理部２５３と商品タグ内情報特定処理部２５４とを有する。

【0065】

商品タグ配置領域処理部２５１は，位置特定処理部２３で特定した商品タグ配置領域の画像情報を商品タグ配置領域画像情報として切り出す。商品タグ配置領域処理部２５１は，実際に，画像情報として切り出してもよいし，実際には画像情報としては切り出さずに，仮想的に切り出すのでもよい。画像情報を仮想的に切り出すとは，特定した領域，たとえば商品タグ配置領域の範囲を処理対象として処理を実行させることをいう。なお，陳列棚に商品タグ配置領域が複数ある場合には，それぞれが商品タグ配置領域画像情報として切り出される。また商品タグ配置領域を示す座標としては，その領域を特定するための頂点の座標であり，正置画像情報におけるたとえば４点，右上と左下，左上と右下の２点の座標などでよい。また，正置画像情報における陳列棚など，画像情報における所定箇所（たとえば陳列棚の左上の頂点）を基準とした相対座標である。

【0066】

商品タグ配置領域正置化処理部２５２は，商品タグ配置領域処理部２５１において切り出した商品タグ配置領域画像情報を正置化する台形補正処理を実行する。陳列棚の面が垂直であるのに対し，商品タグの面は，顧客から見やすいように，垂直面よりも上向きをしていることが多い。そこで商品タグ配置領域の画像情報を正置化することで，認識精度を向上させる。図１４に，図１０の商品タグ配置領域の画像情報に対して，正置化した商品タグ配置領域の画像情報の一例を示す。図１４（ａ）が図１０における上の棚段の商品タグ配置領域の画像情報を正置化した商品タグ配置領域の画像情報であり，図１４（ｂ）が図１０における下の棚段の商品タグ配置領域の画像情報を正置化した商品タグ配置領域の画像情報である。

【0067】

商品タグ配置領域正置化処理部２５２は，以下のような処理を実行することで，商品タグ配置領域の画像情報を正置化する。すなわち，商品タグ配置領域の画像情報において，エッジ検出を行い，左右の両端に近い箇所で，一定の長さ以上の垂直に近い輪郭線（たとえば７０度から１１０度のように，垂直（９０度）から所定範囲の角度内の輪郭線）を特定する。なお，左右の両端に近い箇所の輪郭線を抽出することが好ましいが，それに限定しない。図１０の商品タグ配置領域の画像情報の場合，図１５に示すように，Ｌ１乃至Ｌ４をそれぞれ特定する。図１５（ａ）が図１０における上の棚段の商品タグ配置領域であり，図１５（ｂ）が図１０における下の棚段の商品タグ配置領域である。なお，特定する輪郭線Ｌ１乃至Ｌ４は，実際に商品タグ配置領域の画像情報に描画するわけではない。そして図１５（ａ）のＬ１，Ｌ２，図１５（ｂ）のＬ３，Ｌ４が，それぞれ垂直線となるように，商品タグ配置領域の画像情報に対する台形補正処理をそれぞれ実行する。このような処理を実行することで，商品タグ配置領域の画像情報を正置化し，図１４に示す正置化した商品タグ配置領域の画像情報を得られる。なお，商品タグ配置領域正置化処理部２５２の処理を実行することで，商品タグ特定処理部２５３，商品タグ内情報特定処理部２５４の精度を向上させることができることから，その処理を実行することが好ましいが，省略することもできる。その場合，商品タグ特定処理部２５３，商品タグ内情報特定処理部２５４は，商品タグ配置領域処理部２５１で切り出した商品タグ配置領域に対して実行することとなる。

【0068】

商品タグ特定処理部２５３は，正置化した商品タグ配置領域画像情報から，各商品タグの領域（商品タグ領域）を特定する。商品タグ領域の特定処理には，主に３種類の方法を用いることができる。第１の方法は，輪郭線に基づいて商品タグ領域を特定する方法であり，第２の方法は，全体の明暗の分布などの全体的な特徴を，商品タグのテンプレートの画像情報とマッチングすることで商品タグ領域を特定する方法であり，第３の方法は，深層学習を用いて商品タグ領域を特定する方法である。なお，第１の方法乃至第３の方法以外の方法を用いることもできる。

【0069】

第１の方法は，商品タグの地の色（背景色）が白色が多い（背景より明るい）ことを利用する方法である。すなわち，まず正置化した商品タグ配置領域の画像情報のうち，画像情報の明度情報を横方向に積算したヒストグラムを生成する。そしてヒストグラムの立ち上がり，立ち下がり位置を特定し，商品タグの上辺位置Ａ，下辺位置Ｂを特定する。この処理を模式的に示すのが図１６である。立ち上がりとは，ヒストグラムにおいて，黒から白の方向に急峻（あらかじめ定められた比率以上）に増加する箇所であり，立ち下がりとは，ヒストグラムにおいて，白から黒の方向に急峻に減少する箇所である。

【0070】

そして，正置化した商品タグ配置領域の画像情報のうち，上辺位置Ａ，下辺位置Ｂの間を切り出し，正置化した商品タグ配置領域画像情報の明度情報を縦方向に積算したヒストグラムを生成する。そして，ヒストグラムの立ち上がり，立ち下がり位置を特定し，立ち上がりとその右の所定の距離範囲にある立ち下がりとをペアとし，それぞれを左辺位置，右辺位置として，商品タグ領域を特定する。そして，ペアを形成できなかった立ち上がりについてはその右側に，ペアを形成できなかった立ち下がりについてはその左側に，あらかじめ定めた距離内に商品タグ領域がなければ，商品タグ領域として特定をする。この処理を模式的に示すのが図１７である。

【0071】

また第１の方法により，図１４の正置化した商品タグ配置領域の画像情報から，商品タグ領域を特定した状態を図１８に示す。上辺位置Ａ，下辺位置Ｂ，左辺位置（立ち上がり）Ｕ，右辺位置（立ち下がり）Ｄのそれぞれで構成される矩形領域が，特定された商品タグの領域である。

【0072】

なお，商品タグの地の色（背景色）が白色以外，たとえば赤色であって，文字が白色などの商品タグもある。そこで，上述の処理によって商品タグにおける価格情報や商品識別情報が認識できなかった場合には，商品タグ配置領域の画像情報において，白色と黒色との関係を反転させて（明暗を反転させる），上述と同様の処理を実行するようにしてもよい。これによって，地の色が暗く，文字が明るい商品タグに対応させることもできる。

【0073】

なお，商品タグ配置領域の画像情報の明暗を反転させる処理は，商品タグにおける情報が認識できない場合のほか，商品識別情報を特定する過程の処理のいずれかにおいて正常に認識できない場合に実行してもよいし，認識できるか否かにかかわらず実行をしてもよい。

【0074】

第２の方法は，いわゆるテンプレートマッチングである。すなわち，テンプレートとして，商品タグの画像情報をあらかじめ登録しておき，テンプレートと，正置化した商品タグ配置領域の画像情報とのマッチングをすることで，商品タグ領域を特定する。

【0075】

商品タグには，税抜価格，税込価格，商品識別情報（商品名など），メーカー名，定格などが含まれる。そのため，テンプレートとなる商品タグの画像情報に，商品名など商品識別情報や価格の具体的な数字，文字を含めるとその部分も含めて画像マッチング処理の判定対象となるため，その部分をモザイク化，削除等することで，判定対象から中立化や除外してあることが好ましい。中立化とは，どのような入力についても高い点，低い点を配点しないことであり，除外とは，画像マッチング処理の際に，その部分をマッチングの対象から除外することである。

【0076】

第３の方法は，深層学習（ディープラーニング）を用いた方法である。商品タグ特定処理部２５３は，この場合，中間層が多数の層からなるニューラルネットワークの各層のニューロン間の重み付け係数が最適化された学習モデルに対して，商品タグ配置領域を正置化した画像情報を入力し，その出力値に基づいて，商品タグ領域を特定してもよい。また学習モデルとしては，さまざまな商品タグ配置領域の画像情報に商品タグ領域を正解データとして与えたものを用いることができる。

【0077】

商品タグ内情報特定処理部２５４は，商品タグ特定処理部２５３で特定した商品タグ領域に記載されている情報をＯＣＲ認識や深層学習などにより特定する処理を実行する。ＯＣＲ認識をする場合には，商品タグ領域として特定した領域のすべてまたは一部について行うことができる。商品タグ領域として特定したすべての領域に行うとノイズなどにより誤認識が発生する可能性が高いので，ＯＣＲ認識をする対象領域を限定することが好ましい。この場合，商品タグ特定処理部２５３で用いた第１の方法乃至第３の方法にそれぞれ対応した処理を実行すればよい。

【0078】

商品タグ特定処理部２５３で第１の方法を用いた場合，特定した商品タグ領域において，まず二値化処理を行う。二値化処理としては，ＨＳＶ色空間の明度を用いる方法，大津の手法，赤色を抽出する手法（商品タグの数字や文字列には黒色のほか赤色も使用頻度が高い）などのうち一または複数を組み合わせて抽出したものを候補として選定する方法がある。

【0079】

そして，二値化した画像情報においてラベリング処理を実行する。ラベリング処理とは，二値画像情報において，白または黒が連続した画素に同一の番号（識別情報）を割り振る処理を実行することで，連続する画素同士を一つの島（グループ）化する処理である。そしてラベリング処理によって検出した島を含む矩形領域（ボックス）を生成し，ボックスの高さ，幅，ベースラインを求める。ボックスを生成する際には，同一番号にラベリングされた領域を囲む最小の，垂直，水平の線分で囲まれた長方形を生成することが好ましいが，それに限定しない。なおボックスを生成する際に，あらかじめ定めた閾値となる高さ，幅を充足しない島はノイズとしてボックスを生成せず，そのまま処理対象から除去する。たとえば高さが小さすぎる島は横罫線や画像上のゴミの可能性があり，幅が広すぎる島はロゴなどの可能性があり，これらはノイズとして除去をする。

【0080】

商品タグで使用される文字は，一般的には，太字のゴシック体など文字全体の輪郭が明確な字体が用いられることが多い。そのため，画像情報に多少のピンぼけがある場合でも，一つの文字列を形成する文字群は，ベースラインと高さがそろった島として検出することができる。

【0081】

そして商品タグ内情報特定処理部２５４は，所定の類似性を有する隣接したボックス同士を併合し，ブロックを構成する。すなわち，ベースラインと高さが所定範囲内で一致し，高さおよび幅が一定の閾値の範囲内にある連続するボックスを併合し，ブロックを構成する。この際に，併合するブロックの間にある小さいボックスなどもまとめて一つのブロックとして構成する。これによって，濁点，半濁点，ハイフンなども一つのブロックに取り込まれることとなる。ブロックは，ＯＣＲ認識の対象となる領域である。そして，ブロックのうち，高さがもっとも高いブロックを価格領域（税抜価格領域）と推定し，ＯＣＲ認識を行う。また，ほかのブロックについても同様に，ＯＣＲ認識を行う。以上のような処理を実行することで，商品タグ領域において複数行にわたって自由にレイアウトされた原稿部分に対しＯＣＲ認識を行うよりも精度よく，文字認識処理を実行することができる。この処理を模式的に示すのが図１９乃至図２１である。図１９は二値化した画像情報であり，図２０はボックス（破線で示す領域）を生成した状態を示す図である。また図２１はブロック（破線で示す領域）を生成した状態を示す図である。

【0082】

以上のようにして商品タグ内情報特定処理部２５４は，商品タグに記載した情報を文字認識することができる。

【0083】

商品タグ特定処理部２５３で第２の方法を用いた場合，テンプレートとした商品タグの画像情報に，あらかじめ税抜価格，税込価格，メーカー名，商品名などの商品識別情報，定格が表記されるそれぞれの文字枠の位置，大きさ（高さ，幅）が設定されている。そのため，商品タグ特定処理部２５３で特定した商品タグ領域から，該当箇所の画像情報を切り出し，ＯＣＲ認識処理を実行する。この際に，価格，メーカー名，商品名などの商品識別情報，定格によって使用される文字種別（たとえば数字，ローマ字，記号，かな漢字のどれを含むかなど）を制約条件として定めておくことで，ＯＣＲ認識処理の精度を向上させることができる。

【0084】

商品タグ特定処理部２５３で第３の方法を用いた場合，深層学習（ディープラーニング）を用いて，商品タグ内情報を特定してもよい。商品タグ内情報特定処理部２５４は，この場合，中間層が多数の層からなるニューラルネットワークの各層のニューロン間の重み付け係数が最適化された学習モデルに対して，商品タグ領域の画像情報を入力し，その出力値に基づいて，商品タグ領域に含まれる税抜価格，税込価格，メーカー名，商品名などの商品識別情報，定格などの情報を特定してもよい。学習モデルとしては，さまざまな商品タグ領域の画像情報に，税抜価格，税込価格，メーカー名，商品名などの商品識別情報，定格などの情報を正解データとして与えたものを用いることができる。

【0085】

商品タグ認識処理部２５は，商品タグ配置領域正置化処理部２５２，商品タグ特定処理部２５３，商品タグ内情報特定処理部２５４の二以上の処理をまとめて深層学習などによって実行してもよい。

【0086】

さらに商品タグ内情報特定処理部２５４は，読み取った情報の整合性を確認する処理を実行してもよい。整合性確認処理としては，辞書照合による整合性の確認処理，ロジカルチェックの２種類を行うことが好ましい。

【0087】

辞書照合による整合性の確認処理は，たとえば以下のように実行する。情報処理システム１には，陳列棚に陳列される可能性のある商品の商品名などの商品識別情報と，それに対応するコード情報（たとえばＪＡＮコード）とを対応づけて記憶する商品辞書（図示せず）を備えている。そして，商品タグ内情報特定処理部２５４で認識した価格を示す領域から読み取った文字列以外の文字列と，商品辞書に登録されたすべての商品名などの商品識別情報との文字列類似度評価を行う。たとえば編集距離（レーベンシュタイン距離）やジャロ・ウィンクラー距離などを用いることができる。

【0088】

上記で求めた文字列類似度の最大値が一つであるならば，その商品名などの商品識別情報を最終候補とする。そして最終候補となった商品名などの商品識別情報の文字列の長さに対して，許容できる類似度をあらかじめ定めておき，許容できる類似度以上であれば商品名などの商品識別情報を同定する。許容できる類似度に達していなければ，読み取った文字列は未確定とする。また，最大値の類似度の商品が複数ある場合には，読み取った文字列は未確定とする。

【0089】

文字列類似度評価の一つである編集距離とは，二つの文字列がどの程度異なっているかを示す距離の一種であって，具体的には，一文字の挿入，削除，置換によって，一方の文字列をもう一方の文字列に変形するのに必要な手順の最小回数である。図２２に商品タグに表記された商品名，ＯＣＲ認識の結果，商品辞書に記憶する商品名のうち編集距離が最小の商品名，編集距離の一例を示す。また，図２３に，最終候補の文字数ごとの確定してよい編集距離の対応関係の表を示す。なお，本明細書では編集距離を用いて処理をする場合を説明するが，置換が挿入，削除よりも類似度が大きくなるよう定義された文字列類似度評価であってもよい。

【0090】

そして，上記の最小の編集距離の商品名などの商品識別情報を求めた後，ＯＣＲなどの認識結果から商品名などの商品識別情報の該当部分を除いた文字列に対し，別に備える定格辞書（図示せず）に記憶する各定格との編集距離，メーカー名辞書（図示せず）に記憶する各メーカー名との編集距離をそれぞれ求める。たとえば図２２における「のどごし 生 ３５０ｍｌ」の例では，「３５０ｍｌ」の部分に対し，定格の辞書における「３５０ｍｌ」と編集距離０で一致し，定格部分の文字列であることを同定する。同様に，メーカー名についても編集距離を求め，最小の編集距離にある文字列をメーカー名であることを同定する。そしてＯＣＲ認識結果から定格部分，メーカー名部分の各文字列を取り除いて，取り除いた残りの文字列に対し，商品名辞書における最短の編集距離にある文字列を求め，許容できる編集距離であるか否かを判定する。許容できる編集距離内であれば，商品名などの商品識別情報，メーカー名，定格を確定する。このような処理をすることで，商品名などの商品識別情報に定格，メーカー名が含まれる場合にも適切に確定をすることができる。なお，定格辞書とは，陳列棚に陳列される可能性のある商品の定格（容量など）を記憶する辞書である。メーカー名辞書とは，陳列棚に陳列される可能性のある商品のメーカー名を記憶する辞書である。

【0091】

商品タグ内情報特定処理部２５４による認識結果を最終的に利用者が判断，承認するため，認識結果の選択等の入力を受け付ける表示を行う際には，確定した文字列，未確定の文字列が特定可能な方法で表示が行われているとよい。たとえば確定した文字列と未確定の文字列との色を分ける，確定の文字列および／または未確定の文字列には確定または未確定を示す情報を付するなどがある。未確定の文字列については，最小の編集距離となった商品名などの商品識別情報が複数ある場合には，各商品識別情報を表示してもよい。

【0092】

商品タグ内情報特定処理部２５４におけるロジカルチェック（認識した情報の論理的整合性の判定処理）は以下のように行うことができる。たとえば価格領域として２つの価格を読み取った場合，一つは税抜価格，一つは税込価格となるが，税抜価格が税込価格よりも高くなっている場合には，それらを逆転して認識させる。また，税抜価格に消費税率を乗算して得た値が税込価格とは一致しない場合には，いずれかまたは双方に誤認識があるとする。さらに，商品名などの商品識別情報を認識した場合には，その商品または商品カテゴリの通常の価格帯に収まっているか，を判定する。また，商品名などの商品識別情報，メーカー名，定格の対応関係が一致しているかを判定してもよい。

【0093】

以上のように商品タグ内の情報の整合性を確認することで，撮影画像情報に写っている商品タグに含まれる情報を確定することができる。このように確定した情報は，たとえば表形式で出力をすることができる。

【0094】

管理端末２における標本情報記憶部２６は，正置画像情報に写っている陳列棚の棚段に陳列されている商品がどの商品であるかを識別するための標本情報を記憶する。標本情報は，陳列棚に陳列される可能性のある商品を，上下，左右，斜めなど複数の角度から撮影をした画像情報である。図１２に標本情報記憶部２６に記憶される標本情報の一例を示す。図１２では，標本情報として，缶ビールをさまざまな角度から撮影をした場合を示しているが，缶ビールに限られない。標本情報記憶部２６は，標本情報と，商品識別情報とを対応付けて記憶する。

【0095】

なお，標本情報記憶部２６には，標本情報とともに，または標本情報に代えて，標本情報から抽出された，類似性の算出に必要となる情報，たとえば画像特徴量とその位置のペアの情報を記憶していてもよい。標本情報には，類似性の算出に必要となる情報も含むとする。この場合，陳列商品認識処理部２４は，後述するプレイスの領域の画像情報と，標本情報とのマッチング処理を行う際に，標本情報について毎回，画像特徴量を算出せずともよくなり，計算時間を短縮することができる。

【0096】

また標本情報記憶部２６に記憶する標本情報は，陳列商品認識処理部２４が深層学習によって陳列棚に陳列されている商品を認識する処理を実行する場合には，正解データとして用いることもできる。

【0097】

商品識別情報記憶部２７は，陳列棚の棚段の各プレイスに表示されている商品の商品識別情報を示す情報を記憶する。たとえば，商品識別情報に対応付けて，撮影日時情報，店舗情報，撮影画像情報の画像情報識別情報，正置画像情報の画像識別情報，プレイスを識別するためのプレイス識別情報に対応づけて商品識別情報記憶部２７に記憶する。図１３に陳列棚におけるプレイスとフェイスとの関係を模式的に示す。

【0098】

対応関係判定処理部２８は，陳列棚の棚段の各プレイスに表示されている商品の商品種別と，商品タグとの対応関係を判定する。同一の商品が並んで各プレイスに陳列されている場合，それらをひとまとめにしたものを商品種別という。そのため，一つのプレイスにしか商品が陳列されていない場合にはその商品の商品種別と商品識別情報とは一つずつである。また，横方向に２つのプレイスに連続して商品が陳列されている場合には，２つのプレイスの商品種別が一つにまとめられる。なお，商品種別の特定は，商品識別情報の認識後であれば処理が行えるので，対応関係判定処理部２８における処理よりも前の処理，たとえば陳列商品認識処理部２４の商品識別情報特定処理部２４３，商品タグ認識処理部２５の商品タグ内情報特定処理部２５４において，商品識別情報の特定後に行ってもよい。

【0099】

対応関係判定処理部２８は，たとえば初回の処理と二回目以降の処理とに分けて処理を実行する。

【0100】

対応関係判定処理部２８における初回の処理は以下のように実行することができる。まず，処理対象とする領域，たとえば処理対象とする棚段領域において，商品種別の数と，商品タグの数とを比較する。この際に商品種別の数としては，商品種別情報記憶部２７に「空」として記憶しているプレイスについても一つの商品種別としてカウントしてもよい。商品種別の数と商品タグの数とが同数であれば商品種別と商品タグとを所定の方向，たとえば左側から順に一対一で紐付けする。この処理を模式的に示すのが図２４である。図２４（ａ）は，ある棚段領域において，陳列商品認識処理部２４で認識した商品識別情報と，商品タグ認識処理部２５で認識した商品識別情報とを示した図であり，図２４（ｂ）は，図２４（ａ）に基づいて陳列商品の商品種別と，商品タグの商品識別情報とを紐付けてした状態を示す図である。

【0101】

また商品種別の数が商品タグの数より多い場合には，商品種別の数と商品タグの数とが同数となるように仮の商品タグを作成し，商品タグ配置領域に配置する。これは，オペレータに仮の商品タグを作成するように所定の通知を行ってもよいし，商品種別の情報と商品タグの情報とをＯＣＲ認識して対応する商品種別と商品タグとを紐付けした後，余っている商品種別に対応する商品タグ配置領域の位置（たとえば商品種別の下または上の商品タグ配置領域の位置）に，仮の商品タグを自動的に作成してもよい。この処理を模式的に示すのが図２５である。図２５（ａ）は，ある棚段領域において，陳列商品認識処理部２４で認識した商品識別情報と，商品タグ認識処理部２５で認識した商品識別情報とを示した図であり，図２５（ｂ）は，図２５（ａ）に基づいて，仮の商品タグを作成して商品タグに配置して，陳列商品の商品種別と，商品タグの商品識別情報とを紐付けてした状態を示す図である。仮の商品タグの商品識別情報などは，オペレータが入力を行い，その後，仮の商品タグを正式な商品タグとして登録する。

【0102】

仮の商品タグを自動的に作成するためには，まず商品タグ配置領域において，あらかじめ定められた大きさの仮の商品タグを配置可能な範囲を特定する。そして，商品種別の情報と商品タグの情報とを比較して同一または類似するペアを紐付けし，紐付けできない商品種別を特定する。そして特定できなかった商品種別について，その商品種別の対応する商品タグ配置領域（たとえば上または下の商品タグ配置領域）のうち，特定した仮の商品タグを配置可能な範囲に，仮の商品タグを作成する。特定した仮の商品タグを配置可能な範囲がない場合，商品種別の数と商品タグの数の相違が２以上の場合など，所定の条件を充足した場合には，エラーを通知してオペレータに入力させるようにしてもよい。

【0103】

さらに商品種別の数が商品タグの数より少ない場合には，商品種別の数と商品タグの数とが同数となるように，不要な商品タグを削除する。これは，オペレータに商品タグを削除するように所定の通知を行ってもよいし，商品種別の情報と商品タグの情報とをＯＣＲ認識して対応する商品種別と商品タグとを紐付けした後，紐付けられていない商品タグを自動的に削除するようにしてもよい。この処理を模式的に示すのが図２６である。図２６（ａ）は，ある棚段領域において，陳列商品認識処理部２４で認識した商品識別情報と，商品タグ認識処理部２５で認識した商品識別情報とを示した図であり，図２６（ｂ）は，図２６（ａ）に基づいて，不要な商品タグを削除して，陳列商品の商品種別と，商品タグの商品識別情報とを紐付けてした状態を示す図である。

【0104】

対応関係判定処理部２８における二回目以降の処理は，以下のように実行することができる。まず，処理対象とする領域の初期位置，たとえば棚段領域の左端から順に，商品種別と商品タグとの組み合わせが，今回の処理より前，たとえば前回の組み合わせと同一の範囲で，今回の処理より前の組み合わせと同一の紐付けを行う。そして，商品種別と商品タグの組み合わせが異なる位置に区切りを設定し，その区切り位置から上述の一回目と同様の処理を実行する。この処理を模式的に示すのが図２７である。図２７（ａ）は，ある棚段領域において，初回に，陳列商品認識処理部２４で認識した商品識別情報と，商品タグ認識処理部２５で認識した商品識別情報とを示した図であり，図２７（ｂ）は，図２７（ａ）に基づいて，陳列商品の商品種別と，商品タグの商品識別情報とを紐付けてした状態を示す図である。図２７（ｃ）は，二回目の処理として，陳列商品認識処理部２４で認識した商品識別情報と，商品タグ認識処理部２５で認識した商品識別情報とを示した図である。図２７（ｃ）では，商品種別Ｃまで初回の処理と同様であるので，商品種別Ｃの次に区切りを設定し，商品種別Ｄから初回と同様の処理を実行する。

【0105】

なお，初回の処理とは，実際の初回の処理に限らず，任意のタイミングで，オペレータなどを介して，陳列商品の商品種別と商品タグとの対応関係を設定する場合であって，たとえば実際の処理を１０回実行した後に，初回の処理を再度実行して，精度を一定に保つように処理をする場合も含まれる。二回目以降の処理とは初回の処理を実行しない場合である。

【0106】

対応関係判定処理部２８は，以上のように商品種別と商品タグとの対応関係を判定すると，商品種別と商品タグとの対応関係を所定の記憶領域に記憶させる。

【0107】

検証対象抽出処理部２９は，陳列商品認識処理部２４が認識したプレイスの商品識別情報の認識結果について，所定の条件を充足する認識結果を検証対象として抽出する。検証対象抽出処理部２９において検証対象とする認識結果を抽出する条件の一例を図３０に示す。

【0108】

検証対象抽出処理部２９は，陳列商品認識処理部２４で認識した，処理対象とするプレイスの商品識別情報若しくは商品種別と，今回より前，たとえば前回の陳列商品認識処理部２４で認識した商品識別情報若しくは商品種別が同一であるか否かを判定し，同一でない場合には，検証対象として抽出する。

【0109】

また，検証対象抽出処理部２９は上記で同一と判定した場合は，今回の商品タグ認識処理部２５で認識した認識結果と，今回より前，たとえば前回の商品タグ認識処理部２５で認識した認識結果，今回の対応関係判定処理部２８で判定した陳列商品の商品種別と商品タグとの対応関係と，今回より前，たとえば前回の対応関係判定処理部２８で判定した陳列商品の商品種別と商品タグとの対応関係，今回のプレイス領域の画像情報と，今回より前，たとえば前回の対応するプレイス領域の画像情報に変化があるか，の３要素のうちいずれか一以上に変化がある場合には，検証対象として抽出することができる。

【0110】

より好ましくは，以下のような場合を検証対象として抽出してもよい。

【0111】

すなわち，今回の対応関係判定処理部２８で判定した陳列商品の商品種別と商品タグとの対応関係と，今回より前，たとえば前回の対応関係判定処理部２８で判定した陳列商品の商品種別と商品タグとの対応関係に変化があり，かつ，処理対象とする今回のプレイス領域の画像情報と，今回より前，たとえば前回の対応するプレイス領域の画像情報に変化がある場合には，検証対象として抽出する。

【0112】

また，今回の商品タグ認識処理部２５で認識した認識結果と，今回より前，たとえば前回の商品タグ認識処理部２５で認識した認識結果に変化があり，かつ，処理対象とする今回のプレイス領域の画像情報と，今回より前，たとえば前回の対応するプレイス領域の画像情報に変化がある場合には，検証対象として抽出する。

【0113】

また，上記の３要素について全て変化がある場合には，検証対象として抽出する。

【0114】

そして，上記以外の場合には検証対象としては抽出しない，としてもよい。

【0115】

なお所定の条件を充足するかは，これらに限定するものではなく，上記の要素を用いていれば任意に設定してもよい。

【0116】

比較対象として用いる商品タグ認識処理部２５で認識した認識結果としては商品識別情報であってもよいし，価格を用いてもよい。

【0117】

処理対象とするプレイスの商品の画像情報に変化の有無があるかは，今回の処理対象とするプレイスの商品の画像情報と，今回より前，たとえば前回の対応するプレイスの商品の画像情報との類似度を比較し，その類似度が一定の閾値以上（若しくは閾値より大きい）であれば変化なし，閾値未満（若しくは閾値以下）であれば変化あり，と判定する。また，ほかの方法としては，深層学習（ディープラーニング）を用いて変化の有無を判定してもよい。この場合，この場合，中間層が多数の層からなるニューラルネットワークの各層のニューロン間の重み付け係数が最適化された学習モデルに対して，今回のプレイスの商品の画像情報と，今回より前，たとえば前回の対応するプレイスの商品の画像情報とを入力し，その類似度を示す出力値に基づいて，変化の有無を判定してもよい。学習モデルとしては，２つのプレイスの商品の画像情報と，それが異なる外装の商品であるか否かを示す情報を正解データとして与えたものを用いることができる。

【0118】

陳列商品認識処理部２４で認識した処理対象とするプレイスの商品識別情報若しくは商品種別と，今回より前，たとえば前回の陳列商品認識処理部２４で認識した商品識別情報若しくは商品種別の比較の際に，前回の商品識別情報が「空」若しくは「欠品」として登録されている場合には，さらにそれよりも一つ前，すなわち前々回の陳列商品認識処理部２４で認識した商品識別情報若しくは商品種別を用いて比較を行うとよい。

【0119】

同様に，今回のプレイス領域の画像情報と，今回より前，たとえば前回の対応するプレイス領域の画像情報の比較の際に，前回の対応するプレイス領域の画像情報がない，またはそのプレイスの商品識別情報として「空」若しくは「欠品」として登録されている場合には，さらにそれよりも一つ前，すなわち前々回の対応するプレイス領域の画像情報を用いて比較を行うとよい。

【0120】

検証対象抽出処理部２９は，検証対象となる商品を抽出した場合，画像情報において，そのプレイスの領域を強調表示したり，認識結果を強調表示するなどして，検証対象であることを通知する。

【0121】

なお，検証対象抽出処理部２９で検証対象を抽出する処理の際に，検証対象を抽出する条件として用いない要素については，その処理を設ける必要はなく，検証対象を抽出する条件として用いる要素についての処理を情報処理システム１で備えていればよい。

【実施例0122】

つぎに本発明の情報処理システム１の処理プロセスの一例を図５のフローチャートを用いて説明する。なお，以下の説明では，撮影画像情報から陳列している商品の商品識別情報，商品タグの商品識別情報を特定する場合を説明する

【0123】

店舗の陳列棚が撮影された撮影画像情報は，撮影画像情報入力端末３から入力され，管理端末２の撮影画像情報入力受付処理部２０でその入力を受け付ける（Ｓ１００）。図２８に，撮影画像情報の一例を示す。また，撮影日時，店舗識別情報，撮影画像情報の画像情報識別情報の入力を受け付ける。そして，撮影画像情報入力受付処理部２０は，入力を受け付けた撮影画像情報，撮影日時，店舗識別情報，撮影画像情報の画像情報識別情報を対応づけて撮影画像情報記憶部２１に記憶させる。

【0124】

管理端末２において所定の操作入力を受け付けると，正置画像情報正置化処理部は，撮影画像情報記憶部２１に記憶する撮影画像情報を抽出し，台形補正処理などの正値化処理を行うための頂点である棚位置（陳列棚の位置）の４点の入力を受け付け，正値化処理を実行する（Ｓ１１０）。このようにして正置化処理が実行された撮影画像情報（正置画像情報）の一例が，図２９である。

【0125】

そして，正置画像情報に対して，管理端末２において所定の操作入力を受け付けることで，位置特定処理部２３は，棚段位置領域および商品タグ配置領域を特定する（Ｓ１２０）。すなわち，正置画像情報における棚段領域，商品タグ配置領域の入力を受け付ける。図１０が，棚段領域および商品タグ配置領域が特定された状態を示す図である。

【0126】

以上のようにして，棚段領域，商品タグ配置領域を特定すると，棚段領域における陳列商品の認識処理を陳列商品認識処理部２４が，商品タグ配置領域における商品タグ認識処理を商品タグ認識処理部２５がそれぞれ実行する（Ｓ１３０，Ｓ１４０）。なお陳列商品認識処理部２４における陳列商品の認識処理，商品タグ認識処理部２５による商品タグ認識処理は，並行して行ってもよいし，異なるタイミングで行ってもよい。

【0127】

まず陳列商品認識処理部２４における商品の商品識別情報の認識処理を説明する。

【0128】

陳列商品認識処理部２４における棚段領域処理部２４１は，Ｓ１２０で入力を受け付けた棚段の領域に基づいて，正置画像情報から棚段領域の画像情報を切り出す。そして，棚段領域画像情報における棚段ごとに，プレイスを特定する処理を実行する。具体的には，棚段領域における棚段について，４点の座標で構成される矩形領域の範囲内において，商品と商品との間に生ずる細く狭い陰影を特定する，画像の繰り返しパターンを特定する，パッケージの上辺の段差を特定する，商品幅が同一であるなどの制約に基づいて区切り位置を特定する，などによって，プレイスを特定する。特定したプレイスには，プレイスを識別するためのプレイス識別情報を付す。そして，特定した各プレイスの座標は，撮影日時，店舗識別情報，撮影画像情報の画像情報識別情報，正置画像情報の画像情報識別情報，プレイスを識別するためのプレイス識別情報と対応付けて記憶させる。なお，プレイスの座標は４点を記憶せずとも，矩形領域を特定可能な２点であってもよい。

【0129】

以上のように正置画像情報の棚段位置領域画像情報における各棚段の各プレイスを特定すると，商品識別情報特定処理部２４３は，プレイスごとに，標本情報記憶部２６に記憶する標本情報とマッチング処理を実行し，そのプレイスに表示されている商品の商品識別情報を特定する。すなわち，ある棚段のプレイスの矩形領域（このプレイスの領域のプレイス識別情報をＸとする）における画像情報と，標本情報記憶部２６に記憶する各標本情報とから，それぞれの画像特徴量を算出し，特徴点のペアを求めることで，類似性を判定する。そして，もっとも類似性の高い標本情報を特定し，そのときの類似性があらかじめ定められた閾値以上であれば，その標本情報に対応する商品識別情報を標本情報記憶部２６に基づいて特定する。そして，特定した商品識別情報を，そのプレイス識別情報Ｘのプレイスに表示されている商品の商品識別情報とする。なお，いずれの標本情報とも類似ではないと判定したプレイスについては，そのプレイス識別情報について「空」であることを示す情報を付する。商品識別情報特定処理部２４３は，特定した商品識別情報または「空」であることを示す情報を，撮影日時，店舗識別情報，撮影画像情報の画像情報識別情報，正置画像情報の画像情報識別情報，プレイス識別情報に対応づけて商品識別情報記憶部２７に記憶する。

【0130】

なお，すべてのプレイスの商品識別情報を特定できるとは限らない。そこで，特定できていないプレイスについては，上述のように最初から「空」の情報を付するのではなく，商品識別情報の入力を受け付け，入力を受け付けた商品識別情報を，撮影日時，店舗識別情報，撮影画像情報の画像情報識別情報，正置画像情報の画像情報識別情報，プレイス識別情報に対応づけて商品識別情報記憶部２７に記憶する。また，特定した商品識別情報の修正処理についても同様に，入力を受け付けてもよい。また，修正処理の結果，「空」であることの入力を受け付けた場合には，「空」の情報を付してもよい。なお，「空」とした場合には，そのプレイスについては商品が「欠品」であることを示す情報を商品識別情報記憶部２７に記憶させてもよい。

【0131】

以上のような処理を行うことで，撮影画像情報に写っている陳列棚の棚段に陳列されている商品の商品識別情報を特定することができる。

【0132】

なお，陳列商品認識処理部２４における商品の商品識別情報の認識処理は上述に限られるものではなく，たとえば深層学習（ディープラーニング）を用いてもよいことはすでに述べたとおりである。

【0133】

つぎに商品タグ認識処理部２５における商品タグの情報を認識する処理を説明する。

【0134】

商品タグ認識処理部２５における商品タグ配置領域処理部２５１はＳ１２０で特定した商品タグ配置領域の画像情報を切り出し，商品タグ配置領域正置化処理部２５２が台形補正処理を実行することで，商品タグ配置領域の画像情報に対する正置化処理を実行する。

【0135】

商品タグ配置領域の画像情報に対する正置化処理としては，まず，商品タグ配置領域の画像情報においてエッジ検出を行う。そして，検出したエッジのうち，一定の長さ以上であって，垂直から所定範囲の角度内にある輪郭線を特定する。そして，特定した輪郭線のうち，もっとも左および右にある輪郭線を特定する。このように特定した輪郭線の一例を図１５に示す。そして，特定した輪郭線（図１５（ａ）のＬ１，Ｌ２，図１５（ｂ）のＬ３，Ｌ４）が，それぞれ垂直線となるように，商品タグ配置領域の画像情報に対する台形補正処理を実行する。このような処理を実行することで，商品タグ配置領域の画像情報を正置化し，図１４に示す正置化した商品タグ配置領域の画像情報を得られる。

【0136】

商品タグ配置領域の画像情報の正置化処理が終了すると，商品タグ特定処理部２５３が，第１の方法乃至第３の方法により，商品タグ配置領域の画像情報から，個々の商品タグ領域を特定する。

【0137】

第１の方法を用いた場合には，正置化した商品タグ配置領域の画像情報のうち，画像情報の明度情報を横方向に積算したヒストグラムを生成し，ヒストグラムの立ち上がり，立ち下がり位置を特定する。そして，特定したヒストグラムの立ち上がりを商品タグの上辺位置Ａ，ヒストグラムの立ち下がり位置を商品タグの下辺位置Ｂとして特定する。

【0138】

つぎに，正置化した商品タグ配置領域の画像情報のうち，上辺位置Ａ，下辺位置Ｂの間を切り出し，正置化した商品タグ配置領域の画像情報の明度情報を縦方向に積算したヒストグラムを生成する。

【0139】

生成したヒストグラムにおいて立ち上がり位置Ｕ，立ち下がり位置Ｄを特定し，立ち上がり位置Ｕ（左辺位置）とその右の所定の距離範囲にある立ち下がり位置Ｄ（右辺位置）とをペアとして特定し，商品タグ領域として特定する。

【0140】

ペアを形成できなかった立ち上がり位置Ｕについてはその右側に，ペアを形成できなかった立ち下がり位置Ｄについてはその左側に，あらかじめ定めた距離内に商品タグ領域がなければ，商品タグ領域として特定をする。

【0141】

以上のような処理によって，それぞれの商品タグ領域を特定した状態が図１８である。

【0142】

また第２の方法を用いる場合には，商品タグ特定処理部２５３は，あらかじめ登録しているテンプレートの商品タグの画像情報と，正置化した商品タグ配置領域の画像情報との画像マッチング処理を実行することで，商品タグ領域を特定する。

【0143】

さらに第３の方法を用いる場合には，深層学習（ディープラーニング）を用いて商品タグ領域を特定する。この場合，さまざまな商品タグ配置領域の画像情報に商品タグ領域を正解データとして与えた学習モデルを用いて，深層学習を実行する。たとえば，商品タグ特定処理部２５３は，中間層が多数の層からなるニューラルネットワークの各層のニューロン間の重み付け係数が最適化された学習モデルに対して，商品タグ配置領域を正置化した画像情報を入力し，その出力値に基づいて，商品タグ領域を特定する。

【0144】

以上のようにして商品タグ特定処理部２５３が商品タグ領域を特定すると，商品タグ内情報特定処理部２５４が，商品タグ内における情報を特定する。

【0145】

商品タグ内情報特定処理部２５４における第１の方法は，特定した商品タグ領域について二値化処理することで，二値化した画像情報とする。そして，二値化した画像情報におけるラベリング処理により，ボックスを特定する。なお，あらかじめ定めた閾値となる高さ，幅を充足しない島はノイズとしてボックスを生成せず，そのまま処理対象から除去する。

【0146】

そして生成したボックスの高さ，幅，ベースラインを求め，ベースラインと高さが所定範囲内で一致し，高さおよび幅が一定の閾値の範囲内にある隣接するボックスを特定することで，特定したボックスを併合し，ブロックを構成する。そしてブロックのうち，高さがもっとも高いブロックを価格領域（税抜価格領域）と推定し，ＯＣＲ認識を行う。ＯＣＲ認識の結果，価格情報を得られなければ（数値の文字列を認識できなければ），高さが次に高いブロックを価格領域（税抜価格領域）と推定し，同様にＯＣＲ認識を行う。

【0147】

なお上述のＯＣＲ認識においては，価格に用いる「数字」，「コンマ」等の価格表示を構成する文字認識を制約条件として付加することで価格の読み取り精度を向上することができる。

【0148】

このように価格領域（税抜価格領域）と推定したブロックから価格情報をＯＣＲ認識により取得すると，価格領域（税抜価格領域）と推定して取得した価格情報以外のブロックを特定し，特定した各ブロックに対してＯＣＲ認識を行う。このＯＣＲ認識については，２種類のＯＣＲ認識処理を行うことが好ましい。すなわち，通常の標準的なＯＣＲ認識処理と，価格表示を構成する文字認識を制約条件として付加したＯＣＲ認識処理である。

【0149】

上述で特定したブロックには，価格領域（税込価格領域）のブロックと，メーカー名，商品名などの商品識別情報，定格などの情報の領域のブロックが含まれる。そして各ブロックについて２種類のＯＣＲ認識処理を実行する。メーカー名，商品名などの商品識別情報，定格などの情報の領域のブロックについては，標準的なＯＣＲ認識処理では文字列を認識し，制約条件を付したＯＣＲ認識処理では多くはエラーを含む文字列となる。この場合，２つの認識処理の認識結果が所定値以上相違するかを判定し，相違する場合には，標準的なＯＣＲ認識処理で実行した文字列を認識結果とし，価格領域（税込価格領域）のブロック以外のブロックであると判定する。一方，価格領域（税込価格領域）のブロックについては，標準的なＯＣＲ認識処理では価格情報の文字列を認識し，制約条件を付したＯＣＲ認識処理でも価格情報の文字列を認識する。この場合，２つの認識処理の認識結果が所定値以上相違するかを判定し，相違しない場合には，価格領域（税込価格領域）のブロックであると判定し，制約条件を付加した認識処理による文字列を認識結果の価格情報とする。

【0150】

以上のようにして商品タグ内情報特定処理部２５４は，商品タグに記載した情報を文字認識することができる。商品の陳列状況を判定するためには，商品の商品識別情報があれば足りるが，税抜価格，税込価格などほかの情報を認識することで，価格情報などについても，陳列状況に対応づけて管理することが可能となる。

【0151】

なお，商品タグ特定処理部２５３で第２の方法を用いた場合には，テンプレートとした商品タグには，あらかじめ税抜価格，税込価格，メーカー名，商品名などの商品識別情報，定格がそれぞれ表記される文字枠の位置，サイズが設定されている。そのため，商品タグ特定処理部２５３２５３で特定した商品タグ領域から，該当箇所の画像情報を切り出し，ＯＣＲ認識処理を実行すればよい。

【0152】

また，商品タグ特定処理部２５３で第３の方法を用いた場合には，さまざまな商品タグ領域の画像情報に，税抜価格，税込価格，メーカー名，商品名などの商品識別情報，定格などの情報を正解データとして与えて学習した学習モデルを用いて深層学習（ディープラーニング）による処理を実行する。商品タグ内情報特定処理部２５４は，中間層が多数の層からなるニューラルネットワークの各層のニューロン間の重み付け係数が最適化された学習モデルに対して，商品タグ領域の画像情報を入力し，その出力値に基づいて，商品タグ領域に含まれる税抜価格，税込価格，メーカー名，商品名などの商品識別情報，定格などの情報を特定する。

【0153】

そして商品タグ内情報特定処理部２５４は，特定した商品名等との辞書照合処理を実行する。すなわち，読み取った文字列と，商品辞書における各商品名などの商品識別情報との編集距離を求め，最小の編集距離の商品名などの商品識別情報を特定し，それがあらかじめ定めた所定距離内であれば商品名などの商品識別情報として同定する。そして，読み取った文字列から最短の編集距離の商品名部分を取り除き，残りの部分文字列に対し，定格辞書における各定格との編集距離を求め，最小の編集距離が所定距離内であるかを判定して，所定距離内にあればその部分を定格の文字列として同定する。同様に，読み取った文字列から最小の編集距離の商品名部分と定格部分を取り除き，残りの部分文字列に対し，メーカー名辞書における各メーカー名との編集距離を求め，最小の編集距離が所定距離内であるかを判定して，所定距離内にあればその部分をメーカー名の文字列として同定する。なお，編集距離ではなく，ジャロ・ウィンクラー距離を用いる場合には，それに応じた処理を適宜実行すればよい。

【0154】

さらに，商品タグ内情報特定処理部２５４は，文字認識した文字列に対するロジカルチェックの処理を実行する。すなわち文字認識した文字列が論理的に矛盾しないか，などを判定する。

【0155】

ロジカルチェックの結果，矛盾がないようであれば，それぞれ認識した文字列について，税抜価格，税込価格，商品名などの商品識別情報，メーカー，定格を特定し，それらを，撮影日時，店舗識別情報，撮影画像情報の画像情報識別情報と対応づけて所定の記憶領域に記憶，出力をする。たとえば表形式で出力をする。

【0156】

以上のようにして，陳列商品認識処理部２４が棚段に陳列している商品の商品識別情報を，商品タグ認識処理部２５が商品タグの商品識別情報を認識した後，対応関係判定処理部２８は，陳列商品認識処理部２４が棚段に陳列している商品の商品種別と，商品タグとの対応関係を判定する（Ｓ１５０）。

【0157】

対応関係判定処理部２８は，陳列棚に陳列されている商品の商品識別情報について，所定の方向に複数のプレイスに連続して同一の商品識別情報を有する商品が陳列されている場合には，それらのプレイスを一つの商品種別としてまとめる。

【0158】

そして，対応関係判定処理部２８は，その処理が初回の処理の場合には，処理対象とする棚段領域において，商品種別の数と商品タグの数とを比較し，同数であれば，商品種別と商品タグとを左側から順に一対一で紐付けをする（図２４）。また，商品種別の数が商品タグの数より多い場合には，商品種別の数と商品タグの数とが同数となるように，仮の商品タグを作成し，商品タグ配置領域に配置する（図２５）。さらに，商品種別の数が商品タグの数より少ない場合には，商品種別の数と商品タグの数とが同数となるように，不要な商品タグを削除する（図２６）。

【0159】

また，対応関係判定処理部２８は，その処理が二回目以降の処理の場合には，棚段領域の左端から順に，商品種別と商品タグとの組み合わせが，今回の処理より前，たとえば前回の組み合わせと同一の範囲で，今回の処理より前の組み合わせと同一の紐付けを行う。そして，商品種別と商品タグの組み合わせが異なる位置に区切りを設定し，その区切り位置から上述の一回目と同様の処理を実行する（図２７）。

【0160】

以上のような処理を実行することで，陳列棚に陳列されている商品と，商品タグとの対応関係を紐付けることができる。

【0161】

そして検証対象抽出処理部２９は，処理対象とするプレイスごとに，検証対象として抽出するかを判定する（Ｓ１６０）。

【0162】

この処理としては，まず，処理対象とするプレイスごとに，今回の陳列商品認識処理部２４で認識した商品識別情報若しくは商品種別と，前回の陳列商品認識処理部２４で認識した商品識別情報若しくは商品種別とが同一であるか否かを判定する。そして，これらが不一致であれば，検証対象として，今回の陳列商品認識処理部２４の認識結果である商品識別情報若しくは商品種別を抽出する。

【0163】

また，今回の陳列商品認識処理部２４で認識した商品識別情報若しくは商品種別と，前回の陳列商品認識処理部２４で認識した商品識別情報若しくは商品種別とが同一であると判定した場合であって，今回の対応関係判定処理部２８で判定した陳列商品の商品種別と商品タグとの対応関係と，前回の対応関係判定処理部２８で判定した陳列商品の商品種別と商品タグとの対応関係に変化があり，かつ，処理対象とする今回のプレイス領域の画像情報と，前回の対応するプレイス領域の画像情報に変化がある場合には，検証対象として，今回の陳列商品認識処理部２４の認識結果である商品識別情報若しくは商品種別を抽出する。

【0164】

さらに，今回の陳列商品認識処理部２４で認識した商品識別情報若しくは商品種別と，前回の陳列商品認識処理部２４で認識した商品識別情報若しくは商品種別とが同一であると判定した場合であって，今回の商品タグ認識処理部２５で認識した認識結果と，前回の商品タグ認識処理部２５で認識した認識結果に変化があり，かつ，処理対象とする今回のプレイス領域の画像情報と，前回の対応するプレイス領域の画像情報に変化がある場合には，検証対象として，今回の陳列商品認識処理部２４の認識結果である商品識別情報若しくは商品種別を抽出する。

【0165】

加えて，今回の陳列商品認識処理部２４で認識した商品識別情報若しくは商品種別と，前回の陳列商品認識処理部２４で認識した商品識別情報若しくは商品種別とが同一であると判定した場合であって，今回の商品タグ認識処理部２５で認識した認識結果と，前回の商品タグ認識処理部２５で認識した認識結果，今回の対応関係判定処理部２８で判定した陳列商品の商品種別と商品タグとの対応関係と，前回の対応関係判定処理部２８で判定した陳列商品の商品種別と商品タグとの対応関係，今回のプレイス領域の画像情報と，前回の対応するプレイス領域の画像情報に，それぞれ変化がある（不一致）の場合には，検証対象として，今回の陳列商品認識処理部２４の認識結果である商品識別情報若しくは商品種別を抽出する。

【0166】

検証対象として抽出した認識結果については，当該プレイスの領域若しくはその商品を検証対象として抽出し，画像情報において，そのプレイスの領域を強調表示したり，認識結果を強調表示するなどして，検証対象であることを通知する。

【実施例0167】

さらに実施例１のプレイス特定処理部２４２における特定処理の変形例を説明する。本実施例では，実施例１のプレイスの特定処理を初回の処理として，二回目以降のプレイスの特定処理として，自動的にプレイスを特定する処理を行うようにしてもよい。この場合の処理を説明する。

【0168】

なお，初回とは一回目のほか，自動的に特定する際のずれを修正するため，任意のタイミングで実施例１の処理を行う場合も含まれる。二回目以降とは初回以外である。また，二回目以降には，同一の陳列棚を同一の機会に撮影した撮影画像情報，正置画像情報について，異なる角度で撮影した撮影画像情報，正置画像情報に対する処理を行う場合も含まれる。

【0169】

プレイス特定処理部２４２は，実施例１の処理と同様の処理を初回のプレイスの特定処理として実行する。そして，プレイス特定処理部２４２における二回目以降のプレイスの特定処理は，同一の陳列棚の同一の棚段について，前回（Ｎ－１回目）の正置画像情報で特定したプレイスの領域の座標を抽出し，その座標を今回（Ｎ回目）の正置画像情報で特定したプレイスの領域の座標とする。

【0170】

プレイスの領域の座標は，棚段の位置の座標と同様に，正置画像情報における，陳列棚内での所定箇所を基準とした相対座標である。