【解決手段】店舗における商品の陳列状態が撮影された陳列什器画像情報に基づいて,陳列什器に陳列している商品の商品識別情報と棚段位置とその商品のフェイス数の情報を生成する中間フォーマット情報生成処理部22と,生成した商品識別情報と棚段位置とフェイス数の情報とに基づいて,商品のフェイス数を棚段位置に応じて表示させる画面を生成するインターフェイス生成処理部24とを有する。
【発明の概要】
【発明が解決しようとする課題】
【0007】
商品の販売において,陳列棚の何段目に陳列されているかは非常に重要である。特に,消費者(購入者)の視線の高さに位置する棚はゴールデンラインとも呼ばれ,消費者に対する商品の訴求効果が高いことから重要視されている。しかし特許文献3,特許文献4に開示されている発明では,商品の陳列状況は特定できるものの,それがゴールデンラインにどれだけ陳列されているのかなど,陳列状況を客観的に把握することが容易ではない。
【0008】
また,商品の陳列状況を撮像する場合,商品を自動的に特定可能な程度に適切に撮像をしなければならない。しかし,撮像装置の位置や光の当たり具合などによって,商品や価格が自動的に特定できないといった場合もあり得る。そのような場合には,特許文献3や特許文献4に開示されている発明では処理を行うことが困難である。
【課題を解決するための手段】
【0009】
そこで本発明者は上記課題に鑑み,商品の陳列状況を客観的,かつ容易に把握することができる商品陳列情報集計システムを発明した。また,本発明の商品陳列状況集計システムを用いることによって,商品や価格が自動的に特定できない場合であっても,処理を可能とすることができる。
【0010】
第1の発明は,商品の陳列状態を集計する商品陳列情報集計システムであって,店舗における商品の陳列状態が撮影された陳列什器画像情報に基づいて,陳列什器に陳列している商品の商品識別情報と棚段位置とその商品のフェイス数の情報を生成する中間フォーマット情報生成処理部と,前記生成した商品識別情報と棚段位置とフェイス数の情報とに基づいて,商品のフェイス数を棚段位置に応じて表示させる画面を生成するインターフェイス生成処理部と,を有する商品陳列情報集計システムである。
【0011】
本発明のように構成することで,商品の陳列状況を撮影した画像情報から,その商品が陳列什器のどの棚段にどの程度のフェイス数で表示されているのか,を客観的かつ容易に把握することができる。
【0012】
上述の発明において,前記中間フォーマット情報生成処理部は,前記陳列什器画像情報における陳列什器の種別を特定する陳列什器特定処理部,を有しており,前記インターフェイス生成処理部は,前記陳列什器の種別の情報に基づいて,その陳列什器のゴールデンラインにおける棚段位置がゴールデンラインであることの表示処理を,前記画面で行う,商品陳列情報集計システムのように構成することができる。
【0013】
本発明のような処理を行うことで,商品がゴールデンラインにどれだけ陳列されているのかを把握することができる。これによって,営業担当者は,自らの担当する商品のゴールデンラインへの陳列状況を容易に把握できるので,担当する商品をゴールデンラインの棚段に置いてもらうよう,営業活動に結びつけることができる。
【0014】
上述の発明において,前記中間フォーマット情報生成処理部は,さらに,前記陳列什器画像情報のうち,上下方向または左右方向に隣接する画像同士を連結することで連結画像情報を生成する陳列什器画像情報連結処理部と,前記連結画像情報のうち,陳列什器の柱,棚段位置を特定する陳列什器特定処理部と,前記連結画像情報と,あらかじめ登録している登録商品画像情報とをマッチングすることで,陳列什器に陳列されている商品の商品識別情報を特定する商品特定処理部と,前記特定した商品の商品識別情報に基づいてその商品のフェイス数を特定するフェイス数特定処理部と,を有する商品陳列情報集計システムのように構成することができる。
【0015】
本発明のような処理を実行することで,商品の陳列状況を撮影した画像情報から商品とそのフェイス数の特定処理を実行することができる。
【0016】
上述の発明において,前記商品特定処理部は,すでに処理をした連結画像情報がある場合には,前回の処理に用いた連結画像情報と,今回処理対象となる連結画像情報とを比較することで変化箇所を抽出し,変化箇所について,前記登録商品画像情報とマッチングすることで,陳列什器に陳列されている商品の商品識別情報を特定する,商品陳列情報集計システムのように構成することができる。
【0017】
一般に画像マッチング処理はコンピュータにとって負荷がかかる処理であり,また時間も要する。本発明のような処理を実行することで,コンピュータに対する負荷を減らし,また処理時間を減らすことにもつなげることができる。
【0018】
上述の発明において,前記商品特定処理部は,前記連結画像情報のうち,前記登録商品画像情報を用いた商品の商品識別情報の特定処理ができていない欠損箇所の商品について,商品識別情報の入力を受け付ける,商品陳列情報集計システムのように構成することができる。
【0019】
商品識別情報は,必ずしもすべての商品について自動的に特定できるわけではない。そこで,欠損箇所については、本発明のように入力を受け付けることで,商品の特定の精度を上げることができる。
【0020】
上述の発明において,前記商品特定処理部は,前記特定した商品が同一の陳列什器の同一の棚段で縦方向に重複する同一の商品識別情報があることを判定した場合には,縦方向への重複を除外する処理を実行する,商品陳列情報集計システムのように構成することができる。
【0021】
陳列什器には,縦方向に同一の商品が陳列されていることがある。商品の陳列状況において重要なフェイス数は,横方向の陳列による露出数であるから,縦方向への陳列を特定したとしても,その特定はフェイス数の算出にあたって無駄となる。そこで,本発明のように構成することで,フェイス数の算出の際に,迅速に処理を実行することができる。
【0022】
上述の発明において,前記中間フォーマット情報生成処理部は,さらに,前記連結画像情報から価格札の領域を特定してその領域における価格を読み取り,前記読み取った価格を,前記特定した商品の価格の情報として特定する価格特定処理部,を有する商品陳列情報集計システムのように構成することができる。
【0023】
本発明のように構成することで,商品の陳列状況を撮影した画像情報から商品の価格の特定処理を実行することができる。
【0024】
上述の発明において,前記価格特定処理部は,すでに処理をした連結画像情報がある場合には,前回の処理に用いた連結画像情報と,今回処理対象となる連結画像情報とを比較することで変化箇所を抽出し,変化箇所について,前記価格札の領域を特定してその領域における価格を読み取り,前記読み取った価格を,前記特定した商品の価格の情報として特定する,商品陳列情報集計システムのように構成することができる。
【0025】
商品の特定処理と同様,画像情報から価格を特定する処理は,コンピュータにとって負荷がかかる処理であり,また時間も要する。本発明のような処理を実行することで,コンピュータに対する負荷を減らし,また処理時間を減らすことにもつなげることができる。
【0026】
上述の発明において,前記価格特定処理部は,前記連結画像情報において特定できていない価格札の領域または価格がある場合には,その商品についての価格の情報の入力を受け付ける,商品陳列情報集計システムのように構成することができる。
【0027】
必ずしもすべての商品の価格を自動的に特定できるわけではない。そこで,欠損箇所については、本発明のように入力を受け付けることで,商品の価格の特定の精度を上げることができる。
【0028】
第1の発明の商品陳列情報集計システムは,以下のプログラムをコンピュータに読み込ませて実行することで実現できる。すなわち,コンピュータを,店舗における商品の陳列状態が撮影された陳列什器画像情報に基づいて,陳列什器に陳列している商品の商品識別情報と棚段位置とその商品のフェイス数の情報を生成する中間フォーマット情報生成処理部,前記生成した商品識別情報と棚段位置とフェイス数の情報とに基づいて,商品のフェイス数を棚段位置に応じて表示させる画面を生成するインターフェイス生成処理部,として機能させる商品陳列情報集計プログラムである。
【発明の効果】
【0029】
本発明の商品陳列情報集計システムによって,商品の陳列状況を客観的,かつ容易に把握することができる。また,商品や価格が自動的に特定できない場合であっても,処理を可能とすることができる。
【発明を実施するための形態】
【0031】
本発明の商品陳列情報集計システム1の全体のシステム構成の一例を
図1に示す。また,商品陳列情報集計システム1における,後述の中間フォーマット情報生成処理部22の構成の一例の概念図を
図2に示す。
【0032】
商品陳列情報集計システム1は,そのシステムを運営する企業等の組織が利用するコンピュータである管理サーバ2において実現される。
図3にコンピュータのハードウェア構成の一例を模式的に示す。コンピュータは,プログラムの演算処理を実行するCPUなどの演算装置70と,情報を記憶するRAMやハードディスクなどの記憶装置71と,情報を表示するディスプレイなどの表示装置72と,情報の入力が可能なキーボードやマウスなどの入力装置73と,演算装置70の処理結果や記憶装置71に記憶する情報をインターネットやLANなどのネットワークを介して送受信する通信装置74とを有している。
【0033】
本発明における各手段は,その機能が論理的に区別されているのみであって,物理上あるいは事実上は同一の領域を為していても良い。
【0034】
商品陳列情報集計システム1における管理サーバ2は,小売店などの店舗における商品の陳列状況を撮影する撮影者が利用するコンピュータであるアップロード端末3と,商品陳列情報集計システム1によって商品の陳列状況を把握することを所望するシステム利用者が利用するコンピュータであるシステム利用者端末4と,ネットワークを介して情報の送受信が可能である。
【0035】
商品陳列情報集計システム1における管理サーバ2は,陳列什器画像情報受付処理部20と陳列什器画像情報記憶部21と中間フォーマット情報生成処理部22と中間フォーマット情報記憶部23とインターフェイス生成処理部24とシステム利用者情報記憶部25とを有する。
【0036】
陳列什器画像情報受付処理部20は,店舗において商品を陳列している陳列什器を撮影した画像情報(陳列什器画像情報)をアップロード端末3から受け付ける。ここで受け付ける陳列什器画像情報には,店舗識別情報(店舗名などの店舗を識別する情報)や日付情報と紐付けられていることが好ましい。すなわち,陳列什器画像情報を撮影した店舗の店舗識別情報や日付情報の入力をアップロード端末3で受け付け,それらの紐付けが行われていると良い。陳列什器画像情報は,通常,店舗ごとに撮影されるので,一つの店舗につき複数の陳列什器画像情報の入力を受け付けることが一般的であるが,一つの動画像や静止画像として入力を受け付けても良い。
【0037】
陳列什器画像情報記憶部21は,陳列什器画像情報受付処理部20で受け付けた陳列什器画像情報を記憶する。
【0038】
中間フォーマット情報生成処理部22は,陳列什器画像情報記憶部21に記憶する陳列什器画像情報に基づいて,陳列什器に陳列されている各商品の商品識別情報と,フェイス数と,価格とを特定し,中間フォーマット情報として,後述する中間フォーマット情報記憶部23に記憶させる。中間フォーマット情報としては,上記のほかにも,店舗識別情報,陳列什器種別,棚段位置を含めることが好ましい。またその商品の売上金額を中間フォーマット情報として記憶させても良い。陳列什器種別とは,商品展示のための陳列什器の種類や展示位置,目的などに基づいて,陳列什器の種別を示す情報である。また棚段位置とは陳列什器において商品が置かれている棚の段数を示す情報である。商品識別情報とは商品名やJANコードなどの商品を識別する情報である。フェイス数とは,同一商品が同一の棚段にいくつ横方向に並んでいるか(横方向への露出数)を示す情報である。
【0039】
中間フォーマット情報記憶部23は,中間フォーマット情報生成処理部22で生成した中間フォーマット情報を記憶する。
図11に中間フォーマット情報記憶部23の一例を模式的に示す。なお,中間フォーマット情報は,任意に設定された単位期間(たとえば一週間,一月ごとなど)ごとに記憶されていることが好ましい。単位期間としては,各店舗の陳列什器を撮影する周期に対応していると良い。また中間フォーマット情報記憶部23は,中間フォーマット情報を用いた処理を行うに当たり必要な商品マスタ,店舗マスタなどのテーブルに,各種の情報を記憶していても良い。商品マスタの一例を
図12(a)に,店舗マスタの一例を
図12(b)に示す。商品マスタは商品識別情報と商品名との対応関係を記憶したテーブルであり,店舗マスタは店舗識別情報とエリア(地域)とチャネル(店舗の種類)とを記憶したテーブルである。
【0040】
インターフェイス生成処理部24は,中間フォーマット情報記憶部23に記憶する中間フォーマット情報に基づいて,商品の陳列状況を表示するインターフェイスを生成し,システム利用者端末4で表示させる。この際に生成するインターフェイスとして,たとえば
図13に示す画面がある。
【0041】
図13の表示画面では,商品の陳列状況を表示する際に,特定の商品と,店舗の所在地域(エリア),店舗の種類(チャネル),陳列什器の種別,集計期間などに基づいて,陳列什器の棚段ごとのフェイス数を表示させた場合である。そしてゴールデンラインと呼ばれる商品の注目が集まりやすい棚段には,「(GL)」の表示がされ,そこがゴールデンラインであることが一見して認識できるように表示されている。
【0042】
図13の場合,フェイス数をX軸方向,陳列されている棚段をY軸方向として,該当する店舗数をヒートマップにより表示している。ヒートマップとは,店舗数に応じてそのマス目の背景色を変更することで,視覚的にデータを認識可能にした表示形態である。この場合,あらかじめ定められた閾値ごとに色が定められており,それぞれのマス目におけるデータと閾値とを比較して,対応する色が背景色となる。
【0043】
たとえば
図13では,「ABCガム 143グラム」の陳列状況について示している。この場合,棚段が7でありフェイス数が2の店舗が48店舗あり,ゴールデンラインである棚段が13で,フェイス数が1の店舗は1,フェイス数が2以上の店舗は0であることを示している。そのため,当該商品についてはゴールデンラインである棚段にはあまり設置されておらず,ゴールデンラインよりは若干,下の棚段に,2つまたは3つが横並びに陳列されている傾向にあることが理解可能である。したがって,システム利用者は,この画面を確認し,営業担当者などに対して陳列状況を伝え,営業担当者は店舗に対して,もう少し上の棚に設置するように店舗に対して営業活動を行うことができる。
【0044】
このように,ゴールデンラインの棚段の表示と,該当する店舗数をヒートマップで表示することで,その商品の陳列状況を視覚的に容易に認識することが可能となる。
【0045】
システム利用者情報記憶部25は,システム利用者が本発明の商品陳列情報集計システム1を利用するにあたり必要な情報を記憶する。システム利用者情報記憶部25の一例を
図14に示す。システム利用者情報記憶部25には,たとえばシステム利用者の認証情報(システム利用者を識別するシステム利用者識別情報,パスワードなど),初期画面の設定,契約内容(フェイス数の表示対象とする商品のカテゴリーなどの情報)を記憶する。
【0046】
中間フォーマット情報生成処理部22は,陳列什器画像情報補正処理部220と陳列什器画像情報連結処理部221と登録陳列什器情報記憶部222と陳列什器特定処理部223と登録商品画像情報記憶部224と商品特定処理部225とフェイス数特定処理部226と価格特定処理部227とを有する。
【0047】
陳列什器画像情報補正処理部220は,撮影された陳列什器画像情報に対して,レンズ歪み補正,台形補正などによる補正処理を行うことで,正面から撮影した画像となるような補正処理(正面画像化補正処理)を実行する。
【0048】
陳列什器画像情報連結処理部221は,正面画像化補正処理を実行後の各陳列什器画像情報に対して,その画像の左右における類似点を特定し,画像を連結する処理を実行する。なお,通常,陳列什器は横方向に長いので左右の端部付近の類似点を特定することで各陳列什器画像情報を連結すれば良いが,陳列什器が縦方向に長く,縦方向の連結処理を行う必要がある場合には,上下の端部付近の類似点を特定することで陳列什器画像情報の連結処理を行っても良い。
【0049】
登録陳列什器情報記憶部222は,店舗に設置されるであろう陳列什器の画像情報を,陳列什器の種別情報に対応づけて記憶している。また陳列什器の柱(切れ目)と棚段の位置の情報を,陳列什器の種別情報に対応づけて記憶していてもよい。
【0050】
陳列什器特定処理部223は,陳列什器画像情報における陳列什器の柱(切れ目)と棚段を特定する。そして,特定した陳列什器の柱と棚段と,登録陳列什器情報記憶部222における陳列什器の柱と棚段の位置の情報とを比較することで,陳列什器画像情報における陳列什器の種別を特定する。なお,この際には処理対象となる陳列什器画像情報の陳列什器の柱,棚段の位置と,登録陳列什器情報記憶部222における陳列什器の画像情報の柱と棚段の位置との画像マッチングによりその同一性,類似性を判定することで,対応する陳列什器の種別を判定することができる。また画像マッチングによる方法のほかにも,処理対象となる陳列什器画像情報における特定した陳列什器の柱,棚段に基づいて,陳列什器の幅と棚段の間隔との比率を算出できるので,その比率と,登録陳列什器情報記憶部222に記憶する各種の陳列什器の幅と棚段の間隔との比率との同一性,類似性を比較することで,陳列什器の種別を特定しても良い。
【0051】
登録商品画像情報記憶部224は,陳列什器に陳列されるであろう各種の商品の画像情報(登録商品画像情報)を記憶する。登録商品画像情報は,商品陳列情報集計システム1を利用することを希望するシステム利用者などがあらかじめ所定の方法で記憶させておけば良いが,それに限定されない。
【0052】
商品特定処理部225は,登録商品画像情報記憶部224における各登録商品画像情報と,正面画像化補正処理を行った陳列什器画像情報とに基づいて,正面画像化補正処理後の陳列什器画像情報における商品識別情報を特定する。すなわち,陳列什器に陳列されている商品を特定する。
【0053】
また商品特定処理部225は,同一の店舗の正面画像化補正処理後の陳列什器画像情報がすでにある場合には,前回撮影された正面画像化補正処理後の陳列什器画像情報と今回撮影した正面画像化補正処理後の陳列什器画像情報とを比較し,変化がない場合には,前回撮影した正面画像化補正処理後の陳列什器画像情報における商品と同一の商品として特定する。また,変化があることを判定した場合には,変化箇所の画像情報と,登録商品画像情報記憶部224に記憶する登録商品画像情報と比較することで,商品識別情報を特定する。一方,変化があることを判定した一方,商品画像情報記憶部との比較の結果,商品を特定できなかった場合には,商品名をクリアにし,欠損箇所として,欠損箇所の商品識別情報の入力を受け付ける。この場合,アップロード端末3から,担当者による入力を受け付けても良いし,それ以外のものが利用するコンピュータから入力を受け付けても良い。
【0054】
フェイス数特定処理部226は,商品特定処理部225で特定した商品のうち,同一の棚段に同一の商品が並列して陳列されている個数を判定し,その個数をフェイス数として特定する。フェイス数はその商品の露出度合いを示すので,フェイス数が多ければ多いほど,消費者に対する商品の訴求効果が期待できる。そのため,営業担当者はフェイス数が多くなるように努力をするが,本発明のような処理を実行することで,フェイス数を特定できるので,営業担当者の支援につながる。
【0055】
価格特定処理部227は,正面画像化補正処理を行った陳列什器画像情報に基づいて,陳列されている商品の価格を特定する。
【0056】
また価格特定処理部227は,同一の店舗の正面画像化補正処理後の陳列什器画像情報がすでにある場合には,前回撮影された正面画像化補正処理後の陳列什器画像情報と今回撮影した正面画像化補正処理後の陳列什器画像とを比較し,変化がない場合には,前回撮影した正面画像化補正処理後の陳列什器画像情報における価格と同一の価格として特定する。また,変化があることを判定した場合には,変化箇所のうち価格札を特定し,それに基づいて価格を特定して更新する。一方,変化があることを判定した一方,価格を特定できなかった場合には,価格をクリアにし,欠損箇所として,欠損箇所の価格の入力を受け付ける。この場合,アップロード端末3から,担当者による入力を受け付けても良いし,それ以外のものが利用するコンピュータから入力を受け付けても良い。
【0057】
次に本発明の商品陳列情報集計システム1の処理プロセスの一例を
図4から
図10のフローチャートを用いて説明する。
【0058】
まず商品陳列情報集計システム1を利用する場合には,定期的または不定期に店舗内の陳列什器を撮影者がカメラなどの撮像装置などを用いて撮影を行う(S100)。この際に撮影した画像の一例を
図15(a)乃至
図15(c)に示す。
図15では本発明の説明のため3枚の画像の場合を説明しているが,実際には,店舗内にある撮影対象となる陳列什器をすべて撮影する。
【0059】
撮像装置で撮影した陳列什器画像情報(
図15(a)乃至(c))に対して,撮影者は,店舗名(店舗識別情報)を入力し,それらをアップロード端末3で紐付けした上で(S120),管理サーバ2にアップロードする処理を実行する(S120)。アップロードされた
図15の各陳列什器画像情報は,陳列什器画像情報受付処理部20で受け付ける。そして異常がなければ(S130),陳列什器画像情報受付処理部20は,陳列什器画像情報記憶部21に記憶させる。もし通信エラーや画像情報に何らかの異常があった場合には,陳列什器画像情報受付処理部20は,アップロード端末3に対して,異常があった旨を通知し,再度の処理を促す。
【0060】
以上のようにして撮影者が撮影した各陳列什器画像情報が管理サーバ2に記憶される。
【0061】
つぎに,所定のタイミングにおいて,管理サーバ2の中間フォーマット情報生成処理部22が中間フォーマット情報を生成し,中間フォーマット情報記憶部23に記憶させる中間フォーマット情報生成処理を説明する。
【0062】
まず処理対象とする店舗の店舗識別情報に基づいて,その店舗識別情報を有する陳列什器画像情報を陳列什器画像情報記憶部21から抽出する(S200)。この際に,複数の単位期間の陳列什器画像情報が記憶されている場合には,最新の単位期間の陳列什器画像情報を抽出することが好ましい。
【0063】
陳列什器画像情報記憶部21に記憶した陳列什器画像情報について,中間フォーマット生成処理部の陳列什器画像情報補正処理部220は,正面画像化の補正処理を実行する(S210)。具体的には陳列什器画像情報に対してレンズ歪み補正処理,台形補正処理を実行することで,正面画像化の補正処理を実行する。
【0064】
そして補正処理後の陳列什器画像情報に対して,陳列什器画像情報連結処理部221は,各画像情報の右側所定範囲,左側所定範囲と,隣接する陳列什器画像情報の対応箇所(右側所定範囲に対して左側所定範囲,左側所定範囲に対して右側所定範囲)の一致点,類似点を特定し,それぞれの陳列什器画像情報を連結する処理を実行する(S220)。
図15(a)乃至(c)の各陳列什器画像情報に対して正面画像化処理を実行後に,陳列什器画像連結処理部における各画像情報の連結処理を実行した結果を
図16に示す。
図16に示す連結した陳列什器画像情報を,連結画像情報とする。
【0065】
そして,陳列什器特定処理部223は,各陳列什器の柱と棚段とを連結画像情報から特定する(S230)。この場合,陳列画像中の横方向(X軸方向),縦方向(Y軸方向)に陳列什器の棚板や柱が連続している箇所(あるいは陳列什器の棚板や柱が連続していない箇所)を特定することで,柱と棚段を特定することができる。陳列什器の柱,棚段を特定した連結画像情報を
図17に示す。また,連結画像情報における陳列什器の柱に従って,陳列什器を識別する陳列什器識別情報を,連結画像情報における棚段に従って,陳列什器の棚段数の情報を,それぞれ付与する。
【0066】
また,本発明の商品陳列情報集計システム1による,当該店舗における陳列什器画像情報に対する処理が初回の場合(S240),陳列什器特定処理部223は,登録陳列什器情報記憶部222に記憶する登録陳列什器情報(画像情報や,陳列什器の幅と棚段の比率など)と,陳列什器の柱,棚段を特定した連結画像情報とを比較することで,連結画像情報における陳列什器の種別を特定する。(S250)。
【0067】
そして商品特定処理部225は,登録商品画像情報記憶部224に記憶する登録商品画像情報を用いて,連結画像情報に写っている商品(陳列什器に陳列されている商品)の商品識別情報を特定する処理を実行する(S260)。
【0068】
商品特定処理としては,まず登録商品画像情報記憶部224に記憶する登録商品画像情報を抽出し,その登録商品画像情報と同一または類似する画像部分が連結画像情報に含まれているかを画像類似検索技術によりマッチング処理をする(S400)。この場合,陳列什器ごと,棚段ごとに処理を行うことが好ましい。すなわち,
図18に示すように,所定位置の陳列什器(
図18では左端の陳列什器)の所定の棚段(
図18では最下段)から,登録商品画像情報に記憶する登録商品画像情報を随時,その棚段の範囲でマッチング処理を行う。そうすると,合致した商品画像情報がある場合には,その登録商品画像情報の商品識別情報と棚段数と位置情報(連結画像情報におけるX座標,Y座標)とを特定する(S410)。そしてその棚段に対して,すべての登録商品画像情報とのマッチング処理が終了すると(S420),つぎの棚段(
図18では下から2段目)について,S400およびS410の処理を同様に実行する。以上の処理を,同一の陳列什器のすべての棚段について実行し,すべての棚段について処理を終了すると,隣接する陳列什器の所定の棚段から同様の処理を実行する(S430)。
【0069】
以上のような処理を連結画像情報におけるすべての陳列什器について処理を実行する(S440)。
【0070】
以上のようにしてすべての陳列什器のすべての棚段についてS400およびS410の処理を実行すると,連結画像情報におけるすべての陳列什器のすべての棚段に陳列されている各商品について,その商品識別情報,棚段数,位置情報を特定することができる。これを模式的に示すのが
図19である。
【0071】
つぎに,商品特定処理部225は,S400乃至S440の処理結果に基づき,同一の陳列什器の同一の棚段で縦方向に重複する同一の商品識別情報があるかを判定する(S450)。すなわち,同一の商品が縦方向に重なっている場合を除外する処理を実行する。この処理によって,たとえば
図17の陳列什器1の1段目には,同じ商品であるガムが縦方向に複数陳列されているが,この場合にはフェイス数は1としてカウントされなければならない。しかし画像類似検索技術を用いると,
図17の陳列什器1の1段目の同一商品のガムについて複数の陳列を特定してしまう可能性がある。そこで,かかる状況を除外するため,S450により縦方向への陳列を除外する処理を実行することとなる。
【0072】
すなわち,
図19の場合,陳列什器1における商品識別情報「11111」は,棚段1に位置(4,30),(4,32)にそれぞれ特定されている。しかしいずれも棚段1におけるものであり,X軸が同一または所定範囲(任意に設定可能である)であり,かつY軸が任意に設定した所定値以上異なることから,縦方向に陳列されている同一商品であると判定できる。したがって,いずれか一方を削除などにより処理対象から除外する。この処理を行った状態が
図20である。
【0073】
以上のように縦方向に陳列されている商品を処理対象から除外すると,連結画像情報に,特定した商品を,管理サーバ2などの担当者が利用するコンピュータ上に表示させる(S460)。この場合,特定した商品の位置情報に基づいて,所定の記号,
図21では四角の記号により特定した商品を表示している。
【0074】
図21では四角の記号がある商品は商品特定処理部225で自動的に特定した商品を示しているが,商品の置かれている向き,位置,光の具合,明るさなどによって,実際には商品が陳列されているにもかかわらず,その商品の商品識別情報を特定できていない場合がある。
図22に欠損箇所の一例を模式的に示す。この欠損箇所があるかを担当者は確認した後,欠損箇所がある場合には(S470),当該コンピュータを利用して欠損箇所となっている商品を指定し,その商品識別情報を入力する。そして商品特定処理部225は,当該コンピュータで入力された商品識別情報の入力を受け付け(S480),また位置情報に基づいて,陳列什器,棚段数などを特定して記憶させる。
【0075】
そして商品特定処理部225は,S460で特定した商品識別情報,S480で入力を受け付けた商品識別情報を中間フォーマット情報の一つとして中間フォーマット情報記憶部23に記憶させる(S490)。
【0076】
以上のような処理により,連結画像情報における商品特定処理を実行後,フェイス数特定処理部226におけるフェイス数特定処理を実行する(S270)。
【0077】
フェイス数特定処理部226は,商品特定処理で特定した商品について,各陳列什器の棚段ごとに,同一の商品識別情報を有する商品が並列して陳列されている個数を判定する。すなわち,陳列什器ごとに,処理対象となる棚段を特定し(S500),同一の棚段の横方向の同一の商品の数をカウントする(S510)。横方向にあるか同一の商品があるかは,商品識別情報,棚段数,位置情報に基づいて判定できる。たとえば
図20の場合,陳列什器1および陳列什器Nに陳列されている商品のフェイス数はいずれも「1」であるが,陳列什器2の棚段1の商品識別情報「22223」は,位置情報から並列して陳列されていると判定できる。したがってフェイス数を「2」と判定する。
【0078】
そしてフェイス数特定処理部226は,
図20の場合には,商品識別情報「22223」のフェイス数は「2」,それ以外の商品のフェイス数は「1」として中間フォーマット情報記憶部23に記憶させる。この状態を模式的に示すのが
図23である。
【0079】
つぎに価格特定処理部227は,連結画像情報に基づいて,各商品の価格を特定する価格特定処理を実行する(S280)。
【0080】
価格特定処理部227は,連結画像情報から価格札の領域を特定し,それを抽出する(S600)。価格札は所定の矩形状であることが一般的であり,また陳列什器の棚段に取り付けられていることが一般的であるので,棚段にある矩形状の領域を特定すれば良い。なおこの際に,特定した価格札の領域の位置情報も特定する。
【0081】
そして価格札の領域の価格を読み取り(S610),読み取った価格の情報を,対応する商品の価格の情報とする。また,以上のように価格特定処理部227において,価格札の領域を特定すると,連結画像情報に,特定した価格札の領域を,管理サーバ2などの担当者が利用するコンピュータ上に表示させる(S620)。この場合,特定した価格札の位置情報に基づいて,所定の記号により特定した価格札の領域を表示する。
【0082】
商品特定処理部225における商品特定の処理と同様,価格札の置かれている向き,位置,光の具合,明るさなどによって,実際には価格札があるにもかかわらず,その価格札の領域を特定できていない場合がある。この欠損箇所があるかを担当者は確認した後,欠損箇所がある場合には(S630),担当者はそのコンピュータを利用して欠損箇所となっている価格札の領域を指定し,その価格を入力する。そして価格特定処理部227は,当該コンピュータで入力された価格の入力を受け付け(S640),また位置情報に基づいて,陳列什器,棚段数などを特定して記憶させる。
【0083】
そして特定した価格札の領域の位置情報と,商品特定処理部225で特定したその棚段にある商品の位置情報とに基づいて,当該価格札に対応する商品を特定する(S650)。すなわち,価格札の領域の位置情報にもっとも近接している商品の位置情報を特定し,特定した商品を当該価格札に対応する商品として特定する。
【0084】
そして価格特定処理部227は,S610で特定した価格,S640で入力を受け付けた価格を中間フォーマット情報の一つとして中間フォーマット情報記憶部23に記憶させる(S660)。
【0085】
以上のような処理により,価格特定処理部227は陳列されている商品の価格を特定し,中間フォーマット情報として中間フォーマット情報記憶部23に記憶させることができる。この処理が行われた一例が
図24である。
【0086】
以上のように,商品特定処理部225,フェイス数特定処理部226,価格特定処理部227における各処理を実行することで,中間フォーマット情報として中間フォーマット情報記憶部23に記憶させる。
【0087】
なお,中間フォーマット情報生成処理部22は,中間フォーマット情報として,上記のほかにも,当該店舗に設置されているPOSシステムからPOSデータに基づく各商品の売上金額の情報などを取得することで,商品ごとの売上金額の情報を記憶しても良い。また,撮影日時の情報を記憶させても良い。
【0088】
また,価格特定処理部227における価格特定処理は,商品特定処理部225における商品特定処理と,フェイス数特定処理部226におけるフェイス数特定処理のいずれの前後において実行しても良い。
【0089】
S240において,本発明の商品陳列情報集計システム1による,当該店舗における陳列什器画像情報に対する処理が初回ではない場合,以下の処理を実行する。
【0090】
まず,S230において,陳列什器画像情報で特定した陳列什器の柱,棚段に基づいて,今回の陳列什器画像情報における陳列什器や棚段と,前回の処理の陳列什器画像情報における陳列什器や棚段との対応関係を特定する(S290)。そして,S220において陳列什器画像情報連結処理部221が生成した連結画像情報と,前回の処理の際に陳列什器画像情報連結処理部221が生成した連結画像情報とを比較し,変化箇所を抽出する(S300)。この際には,同じ棚段画像同士の対応箇所を同定した後,画像上の変化量が所定範囲の閾値外であるかどうかから変化箇所を特定する。具体的には,棚段の画像の左右の両端点を合わせ,画像撮影の際のカメラ位置の変化による画像の歪や,商品の陳列位置および商品の角度のゆらぎを許容するために,たとえば一定範囲(たとえば10%)までの上下左右の画像の伸縮を許すという条件下で,画像内のよく一致する対応点を特定した後、局所的に(たとえば20ピクセル四方以上の面積で)一致度が80%を切る領域を変化箇所と判定する。前回の処理の連結画像情報との比較の結果,たとえば,
図25のように変化箇所を抽出する。比較の際には,照明の変化などを補正するために,事前に画像全体のコントラストや色温度の調整を行うことで判定精度を高める。
【0091】
連結画像情報における変化していない箇所にある商品,価格札の価格については,前回の処理の際に生成した中間フォーマット情報である商品識別情報,位置,価格として特定する(S310)。
【0092】
一方,変化箇所として抽出した箇所については,変化箇所に対する商品特定処理を商品特定処理部225が実行する(S320)。すなわち,商品特定処理部225は,登録商品画像情報記憶部224に記憶する登録商品画像情報を抽出し,その登録商品画像情報と同一または類似する画像部分が連結画像情報における変化箇所に含まれているかを画像類似検索技術によりマッチング処理をする(S700)。そして合致した商品画像情報がある場合には,その登録商品画像情報の商品識別情報と棚段数と位置情報とを特定する(S710)。
【0093】
この処理を一つの変化箇所に対してすべての登録商品画像情報記憶部224に記憶する登録商品画像情報について処理を実行すると(S720),つぎの変化箇所に対して同様の処理を実行する(S730)。そして,すべての変化箇所について処理を実行すると,S450と同様に,同一の陳列什器の同一の棚段で縦方向に重複する同一の商品識別情報があるかを判定する(S740)。
【0094】
そして縦方向に陳列されている商品を処理対象から除外すると,S460と同様に,連結画像情報に,特定した商品を,管理サーバ2などの担当者が利用するコンピュータ上に表示させる(S750)。そして,変化箇所に対する欠損箇所があった場合には(S760),S480と同様に,担当者はそのコンピュータを利用して欠損箇所となっている商品を指定し,その商品識別情報を入力する。そして商品特定処理部225は,当該コンピュータで入力された商品識別情報の入力を受け付け(S770),また位置情報に基づいて,陳列什器,棚段数などを特定して記憶させる。
【0095】
そして商品特定処理部225は,S710で特定した商品識別情報,S770で入力を受け付けた商品識別情報を中間フォーマット情報の一つとして中間フォーマット情報記憶部23に記憶させる(S490)。
【0096】
以上のような処理により,連結画像情報における商品特定処理を実行後,フェイス数特定処理部226におけるフェイス数特定処理を実行する(S330)。なお,フェイス数特定処理部226におけるフェイス数特定処理は,S500とS520と同様なので説明を省略する。
【0097】
そしてフェイス数の特定処理の終了後,S290で抽出した連結画像情報における変化箇所について,価格特定処理部227による価格特定処理を実行する(S340)。
【0098】
すなわち,価格特定処理部227は,連結画像情報の変更箇所から価格札の領域を特定し,それを抽出する(S800)。この際に,特定した価格札の領域の位置情報も特定する。
【0099】
そして価格札の領域の価格を読み取り(S810),読み取った価格の情報を,対応する商品の価格の情報とする。また,以上のように価格特定処理部227において変更箇所における価格札の領域を特定すると,連結画像情報に,特定した価格札の領域を,管理サーバ2などの担当者が利用するコンピュータ上に表示させる(S820)。この場合,特定した価格札の位置情報に基づいて,所定の記号により特定した価格札の領域を表示する。
【0100】
そして,変化箇所に対する欠損箇所があった場合には(S830),担当者はそのコンピュータを利用して欠損箇所となっている価格札の領域を指定し,その価格を入力する。そして価格特定処理部227は,当該コンピュータで入力された価格の入力を受け付け(S840),また位置情報に基づいて,陳列什器,棚段数などを特定して記憶させる。
【0101】
そして特定した価格札の領域の位置情報と,商品特定処理部225で特定したその棚段にある商品の位置情報とに基づいて,当該価格札に対応する商品を特定する(S850)。
【0102】
そして価格特定処理部227は,S810で特定した価格,S840で入力を受け付けた価格を中間フォーマット情報の一つとして中間フォーマット情報記憶部23に記憶させる(S860)。
【0103】
以上のような処理により,価格特定処理部227は陳列されている商品の価格を特定し,中間フォーマット情報として中間フォーマット情報記憶部23に記憶させることができる。
【0104】
つぎに中間フォーマット情報記憶部23に記憶した中間フォーマット情報に基づいて,インターフェイス生成処理部24が,システム利用者端末4において,表示処理を行う場合を説明する。この場合の処理プロセスの一例を
図26のフローチャートに示す。
【0105】
インターフェイス生成処理部24は,中間フォーマット情報記憶部23に記憶した中間フォーマット情報に基づいて,
図13に示すようなフェイス数の表示画面を生成し,システム利用者端末4に送信する。具体的には,インターフェイス生成処理部24は,システム利用者端末4から,所定の操作を受け付けることで,情報表示画面へのログイン要求を受け付ける。これによって,インターフェイス生成処理部24は,
図27に示すログイン画面をシステム利用者端末4に表示させる。
【0106】
図27に示すログイン画面では,ログインID,パスワードなどの認証情報の入力を受け付け,システム利用者情報記憶部25で記憶しているシステム利用者の認証情報と比較することで認証処理を実行する(S900)。そして正常に認証処理が行えた場合,
図28に示すような初期画面としてあらかじめ設定された画面を生成し,表示させる(S910)。
【0107】
図28では,初期画面として,商品カテゴリーごとのフェイス数の単位期間あたりのランキングの表示画面である。初期画面としてどのような画面を表示するかは,システム利用者端末4からの設定操作を受け付けることで任意に可能である。すなわち,どのような画面を表示するかを設定しておけば,その設定にしたがってインターフェイス生成処理部24が画面を生成し,表示処理を実行する。
【0108】
たとえば,初期画面が商品カテゴリーごとのフェイス数の単位期間あたりのランキングの表示の場合,システム利用者情報記憶部25に記憶する契約内容に基づいて,契約対象となっている商品のカテゴリーを特定する。そして該当するカテゴリーに属する商品ごとのフェイス数を中間フォーマット情報記憶部23から抽出する。すなわち,契約カテゴリーが「キャンディ・キャラメル」であった場合,そのカテゴリーに属する商品を特定する。商品の特定は,たとえば登録商品画像情報記憶部224に,その商品ごとのカテゴリーを合わせて記憶しておき,それをインターフェイス生成処理部24が参照することで特定しても良いし,カテゴリーと商品識別情報との対応関係を記憶した記憶部を用意しておき,その記憶部を参照しても良い。またこれ以外の方法によっても良い。
【0109】
そしてカテゴリーに属する商品の特定後,インターフェイス生成処理部24は中間フォーマット情報記憶部23を参照することで,対象となるカテゴリーに属する商品のフェイス数を抽出する。この際には,単位期間,たとえば1週間であれば直近の1週間の分の各店舗の商品ごとのフェイス数を抽出する。
【0110】
つぎに,
図28の初期画面などの表示画面において,「棚位置・棚内フェイス数」の選択を受け付けることで,インターフェイス生成処理部24は,中間フォーマット情報記憶部23を参照することで,商品ごとのフェイス数を抽出し,表示する(S920)。具体的には,「陳列位置」の選択を受け付けると,
図13に示す画面から,対象とする商品,対象とする店舗が存在するエリア(地域),店舗の形態,フェイス数の対象となる陳列什器の種別,集計期間の指定を受け付ける。そして,「帳票表示」の選択を受け付けることで,インターフェイス生成処理部24は,中間フォーマット情報記憶部23に記憶する中間フォーマット情報と,店舗マスタとを用いて,選択されたエリアと店舗の形態に基づいて,対象となる店舗を店舗識別情報から特定する。特定した店舗識別情報を有する店舗についての中間フォーマット情報から,集計期間内における単位期間ごとの中間フォーマット情報を絞り込み,さらに陳列什器種別情報に基づいて,対象となる陳列什器を絞り込む。そして絞り込まれたデータのうち,商品マスタを用いて,対象となる商品の商品識別情報についてのフェイス数を棚段位置の情報に基づいて,棚段ごとに集計するサマリーテーブルを
図29に示すように生成する。そしてこのテーブルに基づいて,表示を行う。この際に,陳列什器の種別が特定できているので,その種別ごとのゴールデンラインの表示をあわせて行う。以上のような処理をインターフェイス生成処理部24が中間フォーマット情報記憶部23に記憶する中間フォーマット情報を用いて実行することで,
図13に示すように,棚段ごとのフェイス数の表示,およびゴールデンラインの表示を行わせることが可能となる。
【0111】
通常,ゴールデンラインは,商品の購入者の視線の高さに相当する棚段の位置が該当するので,陳列什器の種別によって定まる。そのため,ゴールデンラインの情報は,陳列什器の種別ごとに記憶していても良い。ゴールデンラインの情報は,登録陳列什器情報記憶部222に陳列什器の種別ごとに記憶していても良いし,陳列什器の種別とゴールデンラインの情報とを記憶する記憶部を備えていてもよい。そして,インターフェイス生成処理部24における画面の表示処理の際に,それらの記憶部を参照することでゴールデンラインの表示を行っても良い。
【0112】
また,たとえば子供向け商品,高齢者向け商品の場合には,成人よりも身長が低いことが多く,ゴールデンラインが成人に対する商品よりも低いことがある。そのような場合には,陳列什器ごとに固定化したゴールデンラインではなく,商品ごとに,陳列什器の種類に応じたゴールデンラインを記憶する記憶部を備えておき,インターフェイス生成処理部24における画面の表示処理の際に,その記憶部を参照することで,ゴールデンラインの表示を行っても良い。すなわち当該記憶部には,商品識別情報と陳列什器の種別情報とゴールデンラインの棚段とを対応づけて記憶しておき,インターフェイス生成処理部24において,商品識別情報と陳列什器の種別情報とゴールデンラインの棚段の情報に基づいて,ゴールデンラインの表示を行えば良い。
【0113】
インターフェイス生成処理部24は,上記のように,「棚位置・棚内フェイス数」のほかにも,中間フォーマット情報記憶部23に記憶する中間フォーマット情報に基づいて,商品ごとの平均売価,配荷店舗数などのサマリーテーブルを生成することで,それぞれの表示を行うことができる。
図30(a)に平均売価のサマリーテーブルの一例を,
図30(b)に配荷店舗数のサマリーテーブルの一例を模式的に示す。
【0114】
以上のように,中間フォーマット情報記憶部23に記憶する中間フォーマット情報を用いて,インターフェイス生成処理部24がインターフェイスの生成処理を実行することで,その都度,必要なサマリーテーブルを生成し,それに基づいて画面の表示処理を行うことが可能となる。