特開 2024-39159 情報処理システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024039159

(43)【公開日】2024-03-22

(54)【発明の名称】情報処理システム

(51)【国際特許分類】

   G06V 10/70 20220101AFI20240314BHJP

   G06V 20/60 20220101ALI20240314BHJP

   G06T 7/00 20170101ALI20240314BHJP

【ＦＩ】

G06V10/70

G06V20/60

G06T7/00 300D

【審査請求】有

【請求項の数】11

【出願形態】ＯＬ

(21)【出願番号】P 2022143495

(22)【出願日】2022-09-09

(11)【特許番号】

(45)【特許公報発行日】2023-10-13

(71)【出願人】

【識別番号】516278171

【氏名又は名称】株式会社マーケットヴィジョン

(74)【代理人】

【識別番号】100205084

【弁理士】

【氏名又は名称】吉浦 洋一

(72)【発明者】

【氏名】谷井 成吉

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096DA02

5L096FA16

5L096JA22

5L096JA24

(57)【要約】

【課題】
店舗に設置される陳列棚やそこに陳列される商品に取り付けられるＰＯＰを検出するための情報処理システムを提供することを目的とする。
【解決手段】
陳列棚を撮影した画像データに写っている物体を検出する物体検出処理部と、検出した物体の種別を判別する個別判別処理部と、を有しており、個別判別処理部は、検出した物体の種別があらかじめ定めた種別以外の種別である場合には、検出した物体の種別がＰＯＰであると判別をする、情報処理システムである。
【選択図】 図１

【特許請求の範囲】

【請求項1】

陳列棚を撮影した画像データに写っている物体を検出する物体検出処理部と、
前記検出した物体の種別を判別する個別判別処理部と、を有しており、
前記個別判別処理部は、
前記検出した物体の種別があらかじめ定めた種別以外の種別である場合には、前記検出した物体の種別がＰＯＰであると判別をする、
ことを特徴とする情報処理システム。

【請求項2】

前記個別判別処理部は、
前記検出した物体の種別が商品類、商品タグ類、棚部材以外の種別である場合には、その種別がＰＯＰであると判別をする、
ことを特徴とする請求項１に記載の情報処理システム。

【請求項3】

前記情報処理システムは、
前記画像データの領域を検出する領域検出処理部、を有しており、
前記個別判別処理部は、
前記検出した領域と前記検出した物体の種別とを用いて、前記検出した物体の種別を判別する、
ことを特徴とする請求項１に記載の情報処理システム。

【請求項4】

前記個別判別処理部は、
前記検出した領域が商品陳列領域であって、前記検出した物体の種別が商品類であることを示す情報の場合には、商品密着型ＰＯＰがあるかを判別し、
前記商品密着型ＰＯＰがない場合には、あらかじめ定めた文字が含まれているかを判別し、含まれている場合には前記検出した物体がＰＯＰである、と判別する、
ことを特徴とする請求項３に記載の情報処理システム。

【請求項5】

前記個別判別処理部は、
前記検出した物体の領域から陳列商品に付けられたＰＯＰを検出する、または前記検出した物体の領域の画像データと商品の画像データとの比較によりＰＯＰを検出する、のいずれかにより、前記商品密着型ＰＯＰがあるかの判別を行う、
ことを特徴とする請求項４に記載の情報処理システム。

【請求項6】

前記個別判別処理部は、
前記検出した領域が商品陳列領域であって、前記検出した物体の種別が商品タグ類であることを示す情報の場合にはＰＯＰである、と判別をする、
ことを特徴とする請求項３に記載の情報処理システム。

【請求項7】

前記個別判別処理部は、
前記検出した領域が商品タグ領域であって、前記検出した物体の種別が商品類であることを示す情報の場合にはＰＯＰである、と判別をする、
ことを特徴とする請求項３に記載の情報処理システム。

【請求項8】

前記個別判別処理部は、
前記検出した領域が商品タグ領域または棚上部領域であって、前記検出した物体の種別が商品タグ類であることを示す情報であり、かつその物体の領域に手書きが含まれている場合にはＰＯＰであると判別をする、
ことを特徴とする請求項３に記載の情報処理システム。

【請求項9】

前記個別判別処理部は、
前記検出した領域が商品タグ領域または棚上部領域であって、前記検出した物体の種別が商品タグ類であることを示す情報であり、かつその物体の領域に手書きが含まれている場合には小売りＰＯＰであると判別をする、
ことを特徴とする請求項３に記載の情報処理システム。

【請求項10】

前記個別判別処理部は、
前記検出した領域が商品タグ領域または棚上部領域であって、前記検出した物体の種別が商品タグ類であることを示す情報であり、その物体の領域に所定の表示があるかを判定し、前記所定の表示がない場合にはＰＯＰであると判別する、
ことを特徴とする請求項３に記載の情報処理システム。

【請求項11】

コンピュータを、
陳列棚を撮影した画像データに写っている物体を検出する物体検出処理部、
前記検出した物体の種別を判別する個別判別処理部、として機能させる情報処理プログラムであって、
前記個別判別処理部は、
前記検出した物体の種別があらかじめ定めた種別以外の種別である場合には、前記検出した物体の種別がＰＯＰであると判別をする、
ことを特徴とする情報処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、店舗に設置される陳列棚やそこに陳列される商品に取り付けられるＰＯＰを検出するための情報処理システムに関する。

【背景技術】

【0002】

コンビニエンスストア、スーパーなどの各種の店舗では、販売している商品を陳列棚に置いて販売をしていることが一般的である。そのため、陳列棚に商品を複数陳列しておくことで、商品の一つが購入されても、同一の商品をほかの人が購入できるようになっている。そして、商品が陳列棚のどこにいくつ陳列されているかを管理することは、商品の販売戦略上、重要である。

【0003】

また、陳列されている商品の販売促進や広告のため、ＰＯＰが陳列棚や商品に取り付けられる場合がある。ＰＯＰとは、陳列している商品の販売のために用いられる広告、テスターやサンプル商品などの販促物である。

【0004】

ＰＯＰは商品のメーカーや販売店にとって、商品販売のために重要なアイテムである。そのため、たとえば下記特許文献１などに開示されるように、商品の販売状況に応じて、ＰＯＰを印刷するシステムが開示されている。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２０２２－２００９４号公報

【特許文献2】特許第６８７７８０６号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

特許文献１の発明では販売状況に応じてＰＯＰを印刷することができるので、たとえば販売状況が好ましくない商品についてＰＯＰを印刷して広告を行うことができる。

【0007】

一方、ＰＯＰは商品販売のための重要なアイテムであることから、ＰＯＰにどのような効果があるのか、どの商品、どの位置にＰＯＰを取り付けると効果があるのか、といったＰＯＰの効果の把握が望まれているが、上述の特許文献１ではそのような把握を行うことはできない。

【0008】

そこで特許文献２では、店舗の売上げに影響を及ぼすＰＯＰ広告を特定するシステムが開示されている。

【0009】

しかし特許文献２の特許発明では、画像データにＰＯＰ広告が含まれることを特定することの記載はあるものの、どのようにＰＯＰ広告を特定するかの記載はない。

【0010】

陳列棚を撮影した画像データから陳列する商品を特定すること自体容易ではないが、ＰＯＰは目立つことが求められる側面もあることから、さまざまな形状やデザインが採用されることがある。そのため、画像からＰＯＰを安定的に判定することは容易ではなく、上述の特許文献２では、それをどのように特定するのかまったく記載がなく、システムとしての実現性があるものではない。

【0011】

このように、ＰＯＰの効果の把握をするためには、陳列棚を撮影した画像データからＰＯＰを自動的かつ安定的に検出できなければならないが、従来はそのようなシステムはなかった。

【課題を解決するための手段】

【0012】

本発明者は上記課題に鑑み、陳列棚を撮影した画像データからＰＯＰを検出する情報処理システムを発明した。

【0013】

第１の発明は、陳列棚を撮影した画像データに写っている物体を検出する物体検出処理部と、前記検出した物体の種別を判別する個別判別処理部と、を有しており、前記個別判別処理部は、前記検出した物体の種別があらかじめ定めた種別以外の種別である場合には、前記検出した物体の種別がＰＯＰであると判別をする、情報処理システムである。

【0014】

本発明のように構成することで、陳列棚を撮影した画像データに写っている物体の種別をＰＯＰであると判別することが可能となる。

【0015】

上述の発明において、前記個別判別処理部は、前記検出した物体の種別が商品類、商品タグ類、棚部材以外の種別である場合には、その種別がＰＯＰであると判別をする、情報処理システムのように構成することができる。

【0016】

一般的な陳列棚には、陳列される商品などの商品類、商品タグなどの商品タグ類、棚部材、ＰＯＰが設けられることに本願発明者は着目した。すなわち、ＰＯＰ自体の形状、デザインは多種多様であるのでそれ自体の判別は容易ではないが、商品類、商品タグ類、棚部材については、判別をしやすい。そこで、画像データから検出した物体が商品類、商品タグ類、棚部材の各種別ではない場合にはＰＯＰと判別することで、画像データにあるＰＯＰを判別することができる。

【0017】

上述の発明において、前記情報処理システムは、前記画像データの領域を検出する領域検出処理部、を有しており、前記個別判別処理部は、前記検出した領域と前記検出した物体の種別とを用いて、前記検出した物体の種別を判別する、情報処理システムのように構成することができる。

【0018】

上述の発明において、前記個別判別処理部は、前記検出した領域が商品陳列領域であって、前記検出した物体の種別が商品類であることを示す情報の場合には、商品密着型ＰＯＰがあるかを判別し、前記商品密着型ＰＯＰがない場合には、あらかじめ定めた文字が含まれているかを判別し、含まれている場合には前記検出した物体がＰＯＰである、と判別する、情報処理システムのように構成することができる。

【0019】

上述の発明において、前記個別判別処理部は、前記検出した物体の領域から商品類に付けられたＰＯＰを検出する、または前記検出した物体の領域の画像データと商品の画像データとの比較によりＰＯＰを検出する、のいずれかにより、前記商品密着型ＰＯＰがあるかの判別を行う、情報処理システムのように構成することができる。

【0020】

陳列している商品には、商品自体に取り付けられるＰＯＰもある。そのため、これらの発明のような処理を実行することで、商品密着型のＰＯＰを検出することができる。

【0021】

上述の発明において、前記個別判別処理部は、前記検出した領域が商品陳列領域であって、前記検出した物体の種別が商品タグ類であることを示す情報の場合にはＰＯＰである、と判別をする、情報処理システムのように構成することができる。

【0022】

上述の発明において、前記個別判別処理部は、前記検出した領域が商品タグ領域であって、前記検出した物体の種別が商品類であることを示す情報の場合にはＰＯＰである、と判別をする、情報処理システムのように構成することができる。

【0023】

上述の発明において、前記個別判別処理部は、前記検出した領域が商品タグ領域または棚上部領域であって、前記検出した物体の種別が商品タグ類であることを示す情報であり、かつその物体の領域に手書きが含まれている場合にはＰＯＰであると判別をする、情報処理システムのように構成することができる。

【0024】

上述の発明において、前記個別判別処理部は、前記検出した領域が商品タグ領域または棚上部領域であって、前記検出した物体の種別が商品タグ類であることを示す情報であり、かつその物体の領域に手書きが含まれている場合には小売りＰＯＰであると判別をする、情報処理システムのように構成することができる。

【0025】

上述の発明において、前記個別判別処理部は、前記検出した領域が商品タグ領域または棚上部領域であって、前記検出した物体の種別が商品タグ類であることを示す情報であり、その物体の領域に所定の表示があるかを判定し、前記所定の表示がない場合にはＰＯＰであると判別する、情報処理システムのように構成することができる。

【0026】

これらの発明の処理を実行することで、ＰＯＰの判別をより詳細に行うことができる。また、ＰＯＰの多くは、メーカーが作成するメーカーＰＯＰであって、小売りＰＯＰを付けるケースは多くはない。そのため、小売りＰＯＰがついているケースをメーカーは把握したいという需要があるが、請求項９に記載の発明のような処理を行うことで、小売りＰＯＰであることを区別して判別することができる。

【0027】

第１の発明は、本発明のプログラムをコンピュータに読み込ませて実行することで実現できる。すなわち、コンピュータを、陳列棚を撮影した画像データに写っている物体を検出する物体検出処理部、前記検出した物体の種別を判別する個別判別処理部、として機能させる情報処理プログラムであって、前記個別判別処理部は、前記検出した物体の種別があらかじめ定めた種別以外の種別である場合には、前記検出した物体の種別がＰＯＰであると判別をする、情報処理プログラムである。

【発明の効果】

【0028】

本発明の情報処理システムを用いることで、陳列棚を撮影した画像データからＰＯＰを検出することが可能となる。

【図面の簡単な説明】

【0029】

【図1】本発明の情報処理システムの構成の一例を模式的に示すブロック図である。

【図2】本発明の情報処理システムで用いるコンピュータのハードウェア構成の一例を模式的に示すブロック図である。

【図3】本発明の情報処理システムにおける全体の処理プロセスの一例を示すフローチャートである。

【図4】棚画像データの一例を示す図である。

【図5】棚画像データから物体検出処理を実行した結果の一例を示す図である。

【図6】棚画像データから検出した物体の領域に対して所定条件を充足するかを判別してＰＯＰの領域を判別する処理の一例を示す図である。

【図7】図５の物体検出の結果に対して、商品類、商品タグ類、棚部材のいずれかとして検出した物体の領域において所定条件を充足した領域をＰＯＰの領域として判別した後の各領域の一例を示す図である。

【図8】実施例２における情報処理システムの構成の一例を模式的に示すブロック図である。

【図9】実施例２における情報処理システムの全体の処理プロセスの一例を示すフローチャートである。

【図10】実施例２における処理の概要の一例を模式的に示す図である。

【図11】実施例２における個別判別処理部の処理の一例を模式的に示す図である。

【図12】棚画像データに対して、商品陳列領域と商品タグ領域と棚上部領域の指定の入力を受け付けた状態を模式的に示す図である。

【図13】実施例３における情報処理システムの全体の処理プロセスの一例を示すフローチャートである。

【発明を実施するための形態】

【0030】

本発明の情報処理システム１の全体の処理機能の一例をブロック図で図１に示す。情報処理システム１は、管理端末２と棚画像データ入力端末３とを用いる。管理端末２は、情報処理システム１を運営する企業等の組織が利用するコンピュータである。また、棚画像データ入力端末３は、店舗の陳列棚を撮影した画像データの入力を行う端末である。

【0031】

情報処理システム１における管理端末２、棚画像データ入力端末３は、コンピュータを用いて実現される。図２にコンピュータのハードウェア構成の一例を模式的に示す。コンピュータは、プログラムの演算処理を実行するＣＰＵなどの演算装置７０と、情報を記憶するＲＡＭやハードディスクなどの記憶装置７１と、情報を表示するディスプレイなどの表示装置７２と、情報の入力が可能なキーボードやマウスなどの入力装置７３と、演算装置７０の処理結果や記憶装置７１に記憶する情報をインターネットやＬＡＮなどのネットワークを介して送受信する通信装置７４とを有している。

【0032】

コンピュータがタッチパネルディスプレイを備えている場合には、表示装置７２と入力装置７３とが一体的に構成されていてもよい。タッチパネルディスプレイは、たとえばタブレット型コンピュータやスマートフォンなどの可搬型通信端末などで利用されることが多いが、それに限定するものではない。

【0033】

タッチパネルディスプレイは、そのディスプレイ上で、直接、所定の入力デバイス（タッチパネル用のペンなど）や指などによって入力を行える点で、表示装置７２と入力装置７３の機能が一体化した装置である。

【0034】

棚画像データ入力端末３は、上記の各装置のほか、カメラなどの撮影装置を備えていてもよい。棚画像データ入力端末３として、携帯電話、スマートフォン、タブレット型コンピュータなどの可搬型通信端末を用いることもできる。棚画像データ入力端末３は、店舗の陳列棚を撮影し、陳列棚を撮影した画像データ（棚画像データ）を管理端末２に入力する。陳列棚には商品が陳列されており、陳列棚または商品にはＰＯＰが取り付けられている。そのため、棚画像データには、陳列棚に陳列する商品などの陳列商品、商品タグ、棚部材、ＰＯＰが写っている。好ましくは、人などの不要なものが写り込んでいないことが好ましい。

【0035】

本発明における各手段は、その機能が論理的に区別されているのみであって、物理上あるいは事実上は同一の領域を為していても良い。本発明の各手段における処理は、その処理順序を適宜変更することもできる。また、処理の一部を省略してもよい。たとえば後述する正置化処理を省略することもできる。その場合、正置化処理をしていない画像データに対する処理を実行することができる。

【0036】

情報処理システム１は、棚画像データ入力受付処理部２０と棚画像データ記憶部２１と棚画像データ正置化処理部２２と物体検出処理部２３と個別判別処理部２４とを有する。

【0037】

棚画像データ入力受付処理部２０は、棚画像データ入力端末３で撮影した店舗の陳列棚の画像データ（棚画像データ）の入力を受け付け、後述する棚画像データ記憶部２１に記憶させる。棚画像データ入力端末３からは、棚画像データのほか、撮影日時、店舗名などの店舗識別情報、画像データを識別する画像データ識別情報などをあわせて入力を受け付けるとよい。図４に棚画像データの一例を示す。なお、図４では棚画像データに一つの陳列棚が写っている場合を示しているが、陳列棚が複数写っていてもよいし、あるいは陳列棚の一部が写っている場合であってもよい。また、本発明においては特にその処理は明記しないが、陳列棚や棚段は横方向に長いこともある。そのため、その処理においては、一定の幅で区切り、区切った範囲で書く処理の処理対象としてもよい。

【0038】

棚画像データ記憶部２１は、棚画像データ入力端末３から受け付けた棚画像データ、撮影日時、店舗識別情報、画像データ識別情報などを対応づけて記憶する。棚画像データとは、本発明の処理対象となる画像データであればよい。一般的には、単に撮影した場合、撮影対象物を正対した状態で撮影することが困難であることから、それを正対した状態に補正する補正処理、たとえば台形補正処理などを実行することがよい。一つの陳列棚を複数枚で撮影した場合に、それが一つの画像データとして合成された画像データも含まれる。また、歪み補正処理が実行された後の画像データも棚画像データに含まれる。

【0039】

棚画像データ正置化処理部２２は、棚画像データ記憶部２１に記憶した棚画像データに対して、撮影対象物が正対した状態になるように補正する処理（正置化処理）、たとえば台形補正処理を実行した正置画像データを生成する。台形補正処理は、棚画像データに写っている陳列棚の棚段が水平に、そこに陳列されている商品やその商品に対する商品タグ（たとえば値札）が垂直になるように行う補正処理である。正置化とは、撮影装置のレンズの光軸を撮影対象である平面の垂線方向に沿って、十分に遠方から撮影した場合と同じになるように画像データを変形させることであり、たとえば台形補正処理がある。

【0040】

棚画像データ正置化処理部２２が実行する台形補正処理は、棚画像データにおいて４頂点の指定の入力を受け付け、その各頂点を用いて台形補正処理を実行する。指定を受け付ける４頂点としては、陳列棚の棚段の４頂点であってもよいし、陳列棚の棚位置の４頂点であってもよい。また、２段、３段の棚段のまとまりの４頂点であってもよい。４頂点としては任意の４点を指定できる。棚画像データ正置化処理部２２は、各種の公知の処理方法を用いることができる。

【0041】

物体検出処理部２３は、棚画像データ記憶部２１に記憶する棚画像データ（正置化した棚画像データも含む。以下、本明細書において同様）に対して、その画像データに写っている物体を検出する処理を実行する。物体検出処理としては、いわゆる深層学習（ディープラーニング）を用いて検出することが好ましい。この場合、中間層が多数の層からなるニューラルネットワークの各層のニューロン間の重み付け係数が最適化された学習モデルに対して、上記棚画像データを入力し、入力した棚画像データに写っている物体の種別（クラス）を出力値として出力する。

【0042】

学習モデルとしては、棚画像データに写る可能性のある商品、商品タグ（値札）、棚部材などをアノテーションデータとし、そのアノテーションデータを用いて所定の学習処理を実行することで上述の学習モデルを学習する。たとえば商品の画像データと商品であることまたは商品名若しくは商品コード（ＪＡＮコードなど）とを対応づけたデータをアノテーションデータとして、学習モデルのための学習処理を実行させる。画像データがアノテーションデータにおける画像データであり、商品であること、または商品であることと商品名若しくは商品コードなどの商品識別情報が「商品類」であることを示すクラスとなる。同様に商品タグの画像データがアノテーションデータにおける画像データであり、商品タグであること、または商品タグであることとその商品名若しくは商品識別情報が「商品タグ類」であることを示すクラスとなる。さらに棚部材の画像データがアノテーションデータにおける画像データであり、棚部材であることまたは棚部材の部品名などが「棚部材」であることを示すクラスとなる。なお、物体検出処理部２３でアノテーションデータとして用いる物体（オブジェクト）の種別（クラス）としては、一般的に陳列棚に陳列されることがある物、たとえば商品などの商品類、商品タグなどの商品タグ類、棚部材があるが、これらに限定するものではなく、任意の物体を検出するように学習させてもよい。

【0043】

個別判別処理部２４は、物体検出処理部２３において、棚画像データから検出した物体の種別（クラス）のうち、商品類、商品タグ類、棚部材以外の種別として検出した物体の種別は、ＰＯＰであると判別をする。また、商品類、商品タグ類、棚部材の種別（クラス）として検出した物体について、あらかじめ定めた条件を充足している場合には、その物体の種別（クラス）をＰＯＰとして判別をする。

【0044】

たとえば種別を商品類として検出した物体については、その領域に対して商品密着型の広告（ＰＯＰ）がついているかを判別し、ＰＯＰがあると判別した場合にはその領域の物体の種別をＰＯＰとして判別する。この場合、種別を商品類として検出した物体の領域から陳列商品に付けられたＰＯＰを検出する方法と、種別を商品類として検出した物体の領域の画像データとＰＯＰのない商品の画像データとの比較によりＰＯＰを検出する方法がある。

【0045】

前者の方法の場合、まず陳列商品に付けられたＰＯＰ部分を含む画像データをあらかじめ多数収集し、ＰＯＰ部分を含む各画像データについて、ＰＯＰ部分をアノテーションしておく。そして、ＰＯＰがない状態の通常の陳列商品の画像データをアノテーションデータとしてあらかじめ学習した学習モデルについて、上記ＰＯＰ部分をアノテーションした画像データを用いて追加学習させて、新たな学習モデルを生成しておく。この生成した新たな学習モデルに対して、種別を商品類として検出した物体の領域の画像データを入力し、商品認識処理などの際に、商品識別情報を出力させるほか、当該画像データにおける陳列商品にＰＯＰが付されているか否かを追加的に出力させることができる。

【0046】

後者の方法の場合、商品類として検出した物体の領域の画像データに対して商品認識処理を行った後で、認識した商品のＰＯＰのない標準的な画像データ（たとえば標本データ）と物体の領域の画像データとを比較し、その類似度を比較する。そしてその類似度が所定の値以上であれば商品類として検出した物体にはＰＯＰがないと判別し、類似度が所定の値未満であれば商品類として検出した物体にはＰＯＰがあると判別する。

【0047】

上述の方法において、商品類として検出した物体の領域の画像データと、商品認識処理で認識した商品のＰＯＰのない標準的な画像データとの比較において、相違している領域の位置によってＰＯＰであるか否かを判別すると、より精度よく判別することができる。たとえば、２つの画像データで相違している領域が特定の位置、一例として、商品の上部や肩部、尾部付近に局在していると判定した場合にはＰＯＰであると判別するとよい。

【0048】

商品認識処理としては、各種の公知の処理方法を用いることができる。たとえば、当該物体の領域の画像データに対して深層学習（ディープラーニング）を用いて商品識別情報を同定する処理を実行することができる。この場合、中間層が多数の層からなるニューラルネットワークの各層のニューロン間の重み付け係数が最適化された学習モデルに対して、当該物体の領域の画像データを入力し、その出力値に基づいて、商品識別情報を同定してもよい。学習モデルとしては、商品が写っているさまざまな画像データに商品識別情報を正解データとして与えたものを用いることができる。これ以外にも、商品の標本データ（商品を一または複数の方向から写した画像データまたはそれに基づく特徴量などのデータ）と、当該物体の領域の画像データとを比較し、その類似度を用いて商品識別情報を同定することができる。商品認識処理としてはこれらに限られるものでない。

【0049】

また、種別を商品タグ類として検出した物体については、その物体の領域の画像データが商品タグ類の要件を満たすか否かを判別する。たとえば種別を商品タグ類として検出した物体の領域に対してＯＣＲ認識処理を行い、商品タグとして通常含まれている文字、たとえば価格、商品名が含まれていれば商品タグ類として判別し、そうではない場合にはＰＯＰであると判別する。あるいは、ＯＣＲ認識処理の結果、所定の単語、たとえば「会員割引」、「テスター」、「見本」、「サンプル」など、ＰＯＰで通常使用される単語が含まれていれば、ＰＯＰと判別してもよい。また、文字として手書きが含まれている場合にはＰＯＰであると判別をしてもよい。

【0050】

また、種別を棚部材として検出した物体については、その物体の領域の画像データが棚部材の要件を満たすか否かを判別する。たとえば種別を棚部材として検出した物体の領域に対してＯＣＲ認識処理を行い、所定の単語、たとえば会員割引など、ＰＯＰで通常使用される単語が含まれていればＰＯＰと判別し、そうではない場合には棚部材として判別する。

【実施例0051】

つぎに本発明の情報処理システム１の処理プロセスの一例を図３のフローチャートを用いて説明する。なお、以下の説明では、図４の棚画像データの場合を説明する。

【0052】

店舗の陳列棚が撮影された棚画像データは、棚画像データ入力端末３から入力され、管理端末２の棚画像データ入力受付処理部２０でその入力を受け付ける（Ｓ１００）。また、撮影日時、店舗識別情報、棚画像データの画像データ識別情報の入力を受け付ける。そして、棚画像データ入力受付処理部２０は、入力を受け付けた棚画像データ、撮影日時、店舗識別情報、棚画像データの画像データ識別情報を対応づけて棚画像データ記憶部２１に記憶させる。

【0053】

管理端末２において所定の操作入力を受け付けると、棚画像データ正置化処理部２２は、棚画像データ記憶部２１に記憶する棚画像データを抽出し、台形補正処理などの正置化処理を行うための頂点である棚位置（陳列棚の位置）の４点の入力を受け付け、正置化処理を実行する（Ｓ１１０）。

【0054】

そして管理端末２において所定の操作入力を受け付けることで、物体検出処理部２３は、正置化した棚画像データに対して物体検出処理を実行して（Ｓ１２０）、当該棚画像データに写っている物体の種別を分類する（Ｓ１３０）。棚画像データから物体検出処理を実行した結果の一例を模式的に図５に示す。図５において、「ａ」は商品類、「ｂ」は商品タグ類、「ｃ」は棚部材、「ｄ」はａからｃ以外としてそれぞれ検出した物体の種別を意味している。なお、棚画像データから検出した物体の種別は、それぞれの領域に対応づけられていればよく、それぞれの画像上に書き込まれることはない。また検出した物体の領域は、棚画像データから切り出されていてもよいが、その領域の画像データが処理可能な状態であれば実際に切り出されていなくてもよい。なお、領域の画像データを切り出すとは、実際に棚画像データから当該領域の画像データを切り出すほか、当該領域の画像データを切り出さずに処理可能な状態として特定する場合も含む。

【0055】

個別判別処理部２４は、物体検出処理部２３で検出した棚画像データの物体の領域について、商品類、商品タグ類、棚部材以外の種別の物体の領域（「ｄ」の物体の領域）をＰＯＰの領域として判別して切り出す（Ｓ１４０、Ｓ１５０）。

【0056】

また、個別判別処理部２４は、物体検出処理部２３で検出した棚画像データの物体の領域のうち（Ｓ１４０）、種別を商品類として検出した領域について所定条件を充足するかを判別して、ＰＯＰの領域であるかを判別する（Ｓ１６０）。

【0057】

たとえば種別を商品類として検出した物体の領域について、その領域に対して商品密着型の広告（ＰＯＰ）がついているかを判別し、ＰＯＰがあると判別した場合にはその領域の種別をＰＯＰとして判別する。種別を商品類として検出した物体の領域について、陳列商品に付されたＰＯＰを検出する処理を実行する、あるいは商品類として検出した物体の領域の画像データと、ＰＯＰのない商品の画像データ（商品の標本画像データ）とを比較することで、ＰＯＰを検出する。

【0058】

同様に、種別を商品タグ類として検出した物体の領域については、その物体の領域の画像データが商品タグ類の要件を満たすか否かを判別する。また、棚部材として検出した物体については、その物体の領域の画像データが棚部材の要件を満たすか否かを判別する。

【0059】

以上のように、種別を商品類、商品タグ類、棚部材のいずれかとして検出した物体の領域について（Ｓ１４０）、それぞれの物体ごとの所定の条件を充足するかを判別し（Ｓ１６０）、その条件を充足する場合には、その領域の全部または一部の領域をＰＯＰとして判別する（Ｓ１７０）。この処理の一例を図６に示す。また、図５の物体検出の結果に対して、種別を商品類、商品タグ類、棚部材のいずれかとして検出した物体の領域において所定条件を充足した領域をＰＯＰの領域として判別した後の各領域の一例を図７に示す。

【0060】

個別判別処理部２４において以上のような処理を実行することで、棚画像データにおけるＰＯＰの領域を検出することができる。

【実施例0061】

本発明の別の実施例の情報処理システム１の一例を説明する。本実施例では、さらに領域検出処理部２５を有している。本実施例における情報処理システム１の全体の構成の一例を図８に、全体の処理プロセスの一例を図９のフローチャートに示す。また、処理の概要の一例を図１０に、個別判別処理の一例を図１１に示す。

【0062】

本実施例における情報処理システム１では、実施例１の構成に加えて、さらに領域検出処理部２５を有している。

【0063】

領域検出処理部２５は、棚画像データ記憶部２１に記憶する棚画像データ（正置化した棚画像データも含む）から、商品を陳列する領域である商品陳列領域、商品タグが配置される領域である商品タグ領域、棚の上部の領域である棚上部領域を検出する。商品陳列領域、商品タグ領域、棚上部領域の検出としては、管理端末２の操作者が手動で商品陳列領域、商品タグ領域、棚上部領域を指定し、それを領域検出処理部２５が受け付けてもよいし、初回に手動で入力を受け付けた商品陳列領域、商品タグ領域、棚上部領域の情報に基づいて、二回目以降は自動で商品陳列領域、商品タグ領域、棚上部領域を検出してもよい。また、領域検出処理部２５は、これら以外の領域を検出して処理対象としてもよい。

【0064】

図１２に、商品が陳列されている陳列棚を撮影した棚画像データを正置化した画像データに対して、商品陳列領域と商品タグ領域と棚上部領域の指定の入力を受け付けた状態を模式的に示す。

【0065】

なお、領域検出処理部２５は、商品陳列領域、商品タグ領域、棚上部領域を検出する際に、深層学習（ディープラーニング）を用いて商品陳列領域、商品タグ領域、棚上部領域を特定してもよい。この場合、中間層が多数の層からなるニューラルネットワークの各層のニューロン間の重み付け係数が最適化された学習モデルに対して、上記正置化した棚画像データを入力し、その出力値に基づいて、商品陳列領域、商品タグ領域、棚上部領域を検出してもよい。また学習モデルとしては、さまざまな棚画像データに商品陳列領域、商品タグ領域、棚上部領域を正解データとして与えたものを用いることができる。

【0066】

領域検出処理部２５は、上述のように深層学習を用いるほか、各種の公知の方法を用いて領域を検出してもよい。

【0067】

領域検出処理部２５は、検出した領域について、実際に画像データとして切り出してもよいし、実際には画像データとしては切り出さずに，領域の範囲を特定するなどによって、仮想的に切り出すのでもよい。この場合、領域の範囲は座標によって特定できる。

【0068】

本実施例における物体検出処理部２３は、実施例１のように、棚画像データの範囲から物体検出処理を行ってもよいし、領域検出処理部２５で検出した各領域ごとに行ってもよい。

【0069】

本実施例における個別判別処理部２４は、物体検出処理部２３で検出した各物体について、その物体の種別（クラス）と、その物体がある領域とを用いて、当該物体の種別を判別する。たとえば図１０および図１１に示す判別表など、あらかじめ定めた個別判別の条件に従って判別をする。

【0070】

図１０における「ａ１」から「ａ４」、「ｂ１」から「ｂ１０」、「ｄ１」から「ｄ５」は、図１１における「ａ１」から「ａ４」、「ｂ１」から「ｂ１０」、「ｄ１」から「ｄ５」に対応している。

【0071】

つぎに本実施例における情報処理システム１の処理プロセスの一例を図９のフローチャートを用いて説明をする。

【0072】

店舗の陳列棚が撮影された棚画像データは、棚画像データ入力端末３から入力され、管理端末２の棚画像データ入力受付処理部２０でその入力を受け付ける（Ｓ２００）。また、撮影日時、店舗識別情報、棚画像データの画像データ識別情報の入力を受け付ける。そして、棚画像データ入力受付処理部２０は、入力を受け付けた棚画像データ、撮影日時、店舗識別情報、棚画像データの画像データ識別情報を対応づけて棚画像データ記憶部２１に記憶させる。

【0073】

管理端末２において所定の操作入力を受け付けると、棚画像データ正置化処理部２２は、棚画像データ記憶部２１に記憶する棚画像データを抽出し、台形補正処理などの正置化処理を行うための頂点である棚位置（陳列棚の位置）の４点の入力を受け付け、正置化処理を実行する（Ｓ２１０）。

【0074】

そして管理端末２において所定の操作入力を受け付けることで、物体検出処理部２３は、正置化した棚画像データに対して領域検出処理を行い、商品陳列領域、商品タグ領域、棚上部領域を検出し（Ｓ２２０）、各領域の範囲を判定する。

【0075】

また、管理端末２において所定の操作入力を受け付けることで、物体検出処理部２３は、正置化した棚画像データに対して物体検出処理を実行して（Ｓ２３０）、当該棚画像データに写っている物体の種別を分類する（Ｓ２４０）。棚画像データから物体検出処理を実行した結果の一例は、実施例１と同様に図５のように分類される。

【0076】

そして、個別判別処理部２４は、物体検出処理部２３で検出した棚画像データの各物体について、その物体の種別と、当該物体がある領域（Ｓ２２０で判定した領域）とを用いて、あらかじめ定めた判定条件に従い、検出した物体の分類を行う。

【0077】

また、個別判別処理部２４は、物体検出処理部２３で検出した棚画像データの物体の種別と、その物体のある領域とを用いて、所定条件を充足するかを判定し（Ｓ２５０）、その物体の種別がＰＯＰであるか、ＰＯＰ以外（商品類、商品タグ類、棚部材など）であるかを判定する（Ｓ２６０、Ｓ２７０）。なお、各物体がどの領域にあるかは、たとえば、その物体の領域の重心が、商品類、商品タグ類、棚上部のどの領域に含まれているかなど、適宜の方法で判定すればよい。

【0078】

たとえば商品陳列領域にある物体であって、その物体の種別が商品類の場合には、個別判別処理部２４は、当該物体の領域に対して、商品密着型のＰＯＰがあるかを判定する。たとえば、実施例１と同様に、種別を商品類として検出した物体の領域から陳列商品に付けられたＰＯＰを検出する方法と、種別を商品類として検出した物体の領域の画像データとＰＯＰのない商品の画像データとの比較によりＰＯＰを検出する方法により判別をする。もし商品密着型ＰＯＰが検出できた場合には、その領域をＰＯＰとして判別をし（ａ２）、それ以外の領域を商品類として判別をする（ａ１）。また、商品密着型ＰＯＰが検出できなかった場合には、その領域についてＯＣＲ認識処理を実行し、「テスター」、「見本」、「サンプル」などＰＯＰで用いられる所定の単語が含まれているかを判別し、含まれていない場合には当該領域の物体は商品類であると判別する（ａ１）。含まれている場合には、その領域の物体はテスターや見本などのＰＯＰであると判別する（ａ３）。

【0079】

また、商品陳列領域にある物体であって、その物体の種別が商品タグ類の場合には、個別判別処理部２４は、その領域にある物体はＰＯＰであると判別をする（ｄ１）。

【0080】

また、商品陳列領域にある物体であって、その物体の種別が棚部材の場合には、個別判別処理部２４は、その領域にある物体は棚部材であると判別をする（ｃ）。

【0081】

また、商品陳列領域にある物体であって、その物体の種別が商品類、商品タグ類、棚部材以外である場合には、ＰＯＰであると判別をする（ｄ２）。

【0082】

商品タグ領域にある物体であって、その物体の種別が商品類の場合には、個別判別処理部２４は、テスターや見本などのＰＯＰであると判別をする（ｄ４）。

【0083】

また商品タグ領域にある物体であって、その物体の種別が商品タグ類の場合には、その物体の領域に対してＯＣＲ認識処理を行い、その領域に手書きがあると判定した場合には、店舗（小売り）が作成したＰＯＰ（小売りＰＯＰ）であると判別をする（ｂ４）。当該物体の領域に対してＯＣＲ認識処理の結果、その領域に手書きがないと判定した場合であって、価格および商品名の表示が含まれていると判定した場合であり、かつ「会員」などの条件を示す単語が含まれている場合には、その物体の種別はセット商品表示を示す商品タグであると判別する（ｂ２）。一方、価格および商品名の表示が含まれていると判定した場合であって、「会員」などの条件を示す単語が含まれていない場合には、その物体の種別は商品タグであると判別をする（ｂ１）。上記の価格および商品名の表示が含まれていないと判定した場合であり、かつポイントの表示がある場合にはその物体の種別は「ポイント表示」のＰＯＰであると判別をする（ｂ３）。さらに、上記においてポイントの表示がない場合には、商品のメーカーが作成したＰＯＰ（メーカーＰＯＰ）であると判別をする（ｂ９）。なお、ここではメーカーＰＯＰと小売りＰＯＰとを区別して判別する場合を示したが、単にＰＯＰとして判別をしてもよい。

【0084】

また商品タグ領域にある物体であって、その物体の種別が棚部材の場合には、個別判別処理部２４は、その領域にある物体は棚部材であると判別をする（ｃ）。

【0085】

また商品タグ領域にある物体であって、その物体の種別が商品類、商品タグ類、棚部材以外である場合には、その領域についてＯＣＲ認識処理を実行する。そして、「テスター」、「見本」、「サンプル」などＰＯＰで用いられる所定の単語が含まれているかを判別し、含まれている場合にはテスターや見本などのＰＯＰであると判別をする（ｄ４）。一方、「テスター」、「見本」、「サンプル」などＰＯＰで用いられる所定の単語が含まれていない場合には、宣伝グッズなどのＰＯＰであると判別をする（ｄ３）。

【0086】

棚上部領域にある物体であって、その物体の種別が商品類の場合には、個別判別処理部２４は、ストック商品であると判別をする（ａ４）。

【0087】

また棚上部領域にある物体であって、その物体の種別が商品タグ類の場合には、その物体の領域に対してＯＣＲ認識処理を行い、その領域に手書きがあると判定した場合には、小売りＰＯＰであると判別をする（ｂ８）。当該物体の領域に対してＯＣＲ認識処理の結果、その領域に手書きがないと判定した場合であって、価格および商品名の表示が含まれていると判定した場合であり、かつ「会員」などの条件を示す単語が含まれている場合には、その物体の種別はセット商品表示を示す商品タグであると判別する（ｂ６）。一方、価格および商品名の表示が含まれていると判定した場合であって、「会員」などの条件を示す単語が含まれていない場合には、その物体の種別は商品タグであると判別をする（ｂ５）。上記の価格および商品名の表示が含まれていないと判定した場合であり、かつポイントの表示がある場合にはその物体の種別は「ポイント表示」のＰＯＰであると判別をする（ｂ７）。さらに、上記においてポイントの表示がない場合には、メーカーＰＯＰであると判別をする（ｂ１０）。

【0088】

また棚上部領域にある物体であって、その物体の種別が棚部材の場合には、個別判別処理部２４は、その領域にある物体は棚部材であると判別をする（ｃ）。

【0089】

また棚上部領域にある物体であって、その物体の種別が商品類、商品タグ類、棚部材以外である場合には、大型の宣伝グッズなどのＰＯＰであると判別をする（ｄ５）。

【0090】

以上のように、個別判別処理部２４は、領域検出処理部２５で検出した領域と、物体検出処理部２３で検出した物体の種別とを用いて、当該物体をＰＯＰであるか、ＰＯＰではないかを判別し、棚画像データにおけるＰＯＰの領域を検出することができる。