(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022183305
(43)【公開日】2022-12-08
(54)【発明の名称】情報処理装置、情報処理方法、およびプログラム
(51)【国際特許分類】
G06Q 30/02 20120101AFI20221201BHJP
G06Q 30/06 20120101ALI20221201BHJP
【ＦＩ】
G06Q30/02 380
G06Q30/06
【審査請求】有
【請求項の数】10
【出願形態】ＯＬ
(21)【出願番号】P 2022167490
(22)【出願日】2022-10-19
(62)【分割の表示】P 2019544375の分割
【原出願日】2018-08-03
(31)【優先権主張番号】P 2017191792
(32)【優先日】2017-09-29
(33)【優先権主張国・地域又は機関】JP
(71)【出願人】
【識別番号】000004237
【氏名又は名称】日本電気株式会社
(74)【代理人】
【識別番号】100110928
【弁理士】
【氏名又は名称】速水 進治
(72)【発明者】
【氏名】米澤 八栄子
(72)【発明者】
【氏名】堀田 開登
(72)【発明者】
【氏名】矢島 明
(72)【発明者】
【氏名】関根 瑞人
(72)【発明者】
【氏名】江原 誉典
(57)【要約】
【課題】広告が規定通りに棚などに配置されているかを確認する作業を省力化する。
【解決手段】画像処理部（１１０）は、棚に配置された商品および広告が撮像された画像を解析することにより、広告の位置、商品の位置および広告が対象にしている商品の情報を取得する。判定部（１２０）は、広告が対象にしている商品の位置との関係が基準を満たしているか否かを判定する。出力部（１３０）は、判定部（１２０）による判定結果を示す情報を出力する。
【選択図】図１
【解決手段】画像処理部（１１０）は、棚に配置された商品および広告が撮像された画像を解析することにより、広告の位置、商品の位置および広告が対象にしている商品の情報を取得する。判定部（１２０）は、広告が対象にしている商品の位置との関係が基準を満たしているか否かを判定する。出力部（１３０）は、判定部（１２０）による判定結果を示す情報を出力する。
【選択図】図１
【特許請求の範囲】
【請求項1】
棚に配置された商品および広告が撮像された画像を解析することにより、前記広告の位置、前記商品の位置および前記広告が対象にしている商品の情報を取得する画像処理手段と、
前記広告の位置と、前記広告が対象にしている商品の位置との関係が基準を満たしているか否かを判定する判定手段と、
前記判定手段による判定結果を示す情報を出力する出力手段と、
を備える情報処理装置。
前記広告の位置と、前記広告が対象にしている商品の位置との関係が基準を満たしているか否かを判定する判定手段と、
前記判定手段による判定結果を示す情報を出力する出力手段と、
を備える情報処理装置。
【請求項2】
前記判定手段は、前記商品の種類別、前記商品別、前記広告の種類別、又は前記広告別に前記基準を記憶している記憶手段から、前記基準を読み出す、
請求項１に記載の情報処理装置。
請求項１に記載の情報処理装置。
【請求項3】
前記基準は、前記商品と前記広告との距離を示している、
請求項１または２に記載の情報処理装置。
請求項１または２に記載の情報処理装置。
【請求項4】
前記棚は複数の段を有しており、
前記判定手段は、前記画像の高さ方向における前記商品の一次元位置と前記画像の高さ方向における前記広告の一次元位置が重なっているか否か、又は、前記画像の幅方向における前記商品の一次元位置と前記画像の幅方向における前記広告の一次元位置が重なっているか否かを判定する、
請求項１または２に記載の情報処理装置。
前記判定手段は、前記画像の高さ方向における前記商品の一次元位置と前記画像の高さ方向における前記広告の一次元位置が重なっているか否か、又は、前記画像の幅方向における前記商品の一次元位置と前記画像の幅方向における前記広告の一次元位置が重なっているか否かを判定する、
請求項１または２に記載の情報処理装置。
【請求項5】
前記画像処理手段は、さらに前記棚に設けられた棚札の位置及び当該棚札が対象にしている商品の種類を特定し、
前記判定手段は、前記広告が対象にしている商品の種類と、当該広告に最も近い前記棚札が対象にしている商品の種類が一致しているか否かを判定する、
請求項１から４のいずれか１項に記載の情報処理装置。
前記判定手段は、前記広告が対象にしている商品の種類と、当該広告に最も近い前記棚札が対象にしている商品の種類が一致しているか否かを判定する、
請求項１から４のいずれか１項に記載の情報処理装置。
【請求項6】
前記判定手段は、前記広告の位置が前記基準と異なる第２の基準を満たすか否かを判定する、
請求項１から５のいずれか１項に記載の情報処理装置。
請求項１から５のいずれか１項に記載の情報処理装置。
【請求項7】
前記判定手段は、前記広告の種類別に当該広告を掲示すべき期間を記憶している記憶手段から、前記期間を読み出し、前記画像を撮像した日時が当該期間に含まれるか否かを判定する、
請求項１から６のいずれか１項に記載の情報処理装置。
請求項１から６のいずれか１項に記載の情報処理装置。
【請求項8】
前記判定手段による判定結果と、前記広告を掲示していた期間の前記商品の売り上げと、の関係を示す情報を生成する解析手段を備え、
前記出力手段は、前記解析手段が生成した情報を出力する、
請求項１から７のいずれか１項に記載の情報処理装置。
前記出力手段は、前記解析手段が生成した情報を出力する、
請求項１から７のいずれか１項に記載の情報処理装置。
【請求項9】
少なくとも１つのコンピュータが、
棚に配置された商品および広告が撮像された画像を解析することにより、前記広告の位置、前記商品の位置および前記広告が対象にしている商品の情報を取得し、
前記広告の位置と、前記広告が対象にしている商品の位置との関係が基準を満たしているか否かを判定し、
前記判定の結果を示す情報を出力する、
ことを含む情報処理方法。
棚に配置された商品および広告が撮像された画像を解析することにより、前記広告の位置、前記商品の位置および前記広告が対象にしている商品の情報を取得し、
前記広告の位置と、前記広告が対象にしている商品の位置との関係が基準を満たしているか否かを判定し、
前記判定の結果を示す情報を出力する、
ことを含む情報処理方法。
【請求項10】
少なくとも１つのコンピュータを、
棚に配置された商品および広告が撮像された画像を解析することにより、前記広告の位置、前記商品の位置および前記広告が対象にしている商品の情報を取得する画像処理手段、
前記広告の位置と、前記広告が対象にしている商品の位置との関係が基準を満たしているか否かを判定する判定手段、
前記判定手段による判定結果を示す情報を出力する出力手段、
として機能させるためのプログラム。
棚に配置された商品および広告が撮像された画像を解析することにより、前記広告の位置、前記商品の位置および前記広告が対象にしている商品の情報を取得する画像処理手段、
前記広告の位置と、前記広告が対象にしている商品の位置との関係が基準を満たしているか否かを判定する判定手段、
前記判定手段による判定結果を示す情報を出力する出力手段、
として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、店舗等で用いられる広告の分析技術に関する。
【背景技術】
【0002】
スーパーマーケット、コンビニエンスストア、ドラッグストアなどの小売店において、店舗の売上に影響を与える因子の一つに、陳列棚などに設置される広告（Point of purchase advertising：ＰＯＰ広告）がある。
【0003】
なお、商品の陳列作業が正しく行われているか否かを確認する技術の一例が、下記特許文献１乃至３に開示されている。下記特許文献１には、商品情報と電子棚札との対応関係を示す関連情報を予め用意しておき、画像内での商品の位置および電子棚札の位置に基づいて決まる商品と電子棚札との対応関係が、関連情報の対応関係と一致するか否かを判断する技術が開示されている。また、下記特許文献２には、画像内での商品の位置および電子棚札の位置に基づいて、最寄りにある商品と電子棚札とを関連付けた関連情報を生成し、当該関連情報に基づいて、電子棚札に商品情報を送信する技術が開示されている。また、下記特許文献３には、画像から認識された商品の種類の数と棚札の数との関係、または、当該画像から認識された種類ごとの商品の位置と当該画像から認識された棚札の位置との関係に誤りがあるか否かを判定する技術が開示されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】国際公開第２０１６／０５２３７９号
【特許文献2】国際公開第２０１６／０５２３８２号
【特許文献3】国際公開第２０１６／０５２３８３号
【発明の概要】
【発明が解決しようとする課題】
【0005】
広告の効果を十分に出すためには、広告を規定通りに配置する必要がある。しかし、広告が規定通りに棚などに配置されているかを確認する作業は、人手によっていた。
【0006】
本発明は、上記の課題に鑑みてなされたものである。本発明の目的の一つは、広告が規定通りに棚などに配置されているかを確認する作業を省力化することにある。
【課題を解決するための手段】
【0007】
本発明の情報処理装置は、棚に配置された商品および広告が撮像された画像を解析することにより、前記広告の位置および前記商品の位置を取得する画像処理手段と、前記商品の位置と、前記広告の位置との関係が基準を満たしているか否かを判定する判定手段と、前記判定手段による判定結果を示す情報を出力する出力手段と、を備える。
【0008】
本発明の情報処理方法は、コンピュータが、棚に配置された商品および広告が撮像された画像を解析することにより、前記商品に関連付けられた広告の位置および前記商品の位置を取得し、前記商品の位置と、前記広告の位置との関係が基準を満たしているか否かを判定し、当該判定結果を示す情報を出力する、ことを含む。
【0009】
本発明のプログラムは、本発明の制御方法が有する各処理をコンピュータに実行させる。
【発明の効果】
【0010】
本発明によれば、広告が規定通りに棚などに配置されているかを確認する作業を省力化することができる。
【図面の簡単な説明】
【0011】
上述した目的、およびその他の目的、特徴および利点は、以下に述べる好適な実施の形態、およびそれに付随する以下の図面によってさらに明らかになる。
【0012】
【図1】第１実施形態における情報処理装置の機能構成を概念的に示すブロック図である。
【図2】情報処理装置を実現する計算機の構成を例示する図である。
【図3】第２実施形態に係る情報処理装置の機能構成を概念的に示すブロック図である。
【図4】第２実施形態の情報処理装置によって実行される処理の流れを例示するフローチャートである。
【図5】判定部が用いる基準の第１例を説明するための図である。
【図6】判定部が用いる基準の第２例を説明するための図である。
【図7】判定部が用いる基準の第３例を説明するための図である。
【図8】第３実施形態に係る情報処理装置が行う処理を説明するための図である。
【図9】第４実施形態における情報処理装置の機能構成を概念的に示すブロック図である。
【発明を実施するための形態】
【0013】
［第１実施形態］
〔機能構成〕
図１は、第１実施形態における情報処理装置１０の機能構成を概念的に示すブロック図である。図１に示されるように、本実施形態の情報処理装置１０は、画像処理部１１０、判定部１２０、及び出力部１３０を有する。情報処理装置１０は、例えばスマートフォンやタブレットなどの携帯型の情報処理装置であるが、これに限定されない。例えば、情報処理装置１０は、例えば、サーバ装置であってもよい。この場合、情報処理装置１０は、後述の「棚に配置された商品および広告が撮像された画像」を、スマートフォンやタブレットなどの携帯端末から取得し、当該画像を用いて行う後述の処理の結果を当該携帯端末に送信する。
〔機能構成〕
図１は、第１実施形態における情報処理装置１０の機能構成を概念的に示すブロック図である。図１に示されるように、本実施形態の情報処理装置１０は、画像処理部１１０、判定部１２０、及び出力部１３０を有する。情報処理装置１０は、例えばスマートフォンやタブレットなどの携帯型の情報処理装置であるが、これに限定されない。例えば、情報処理装置１０は、例えば、サーバ装置であってもよい。この場合、情報処理装置１０は、後述の「棚に配置された商品および広告が撮像された画像」を、スマートフォンやタブレットなどの携帯端末から取得し、当該画像を用いて行う後述の処理の結果を当該携帯端末に送信する。
【0014】
画像処理部１１０は、棚に配置された商品および広告が撮像された画像を解析することにより、広告の位置および商品の位置を取得する。判定部１２０は、商品の位置と、広告の位置との関係が基準を満たしているか否かを判定する。出力部１３０は、判定部１２０による判定結果を示す情報を出力する。
【0015】
〔ハードウエア構成〕
情報処理装置１０の各機能構成部は、各機能構成部を実現するハードウエア（例：ハードワイヤードされた電子回路など）で実現されてもよいし、ハードウエアとソフトウエアとの組み合わせ（例：電子回路とそれを制御するプログラムの組み合わせなど）で実現されてもよい。以下、情報処理装置１０の各機能構成部がハードウエアとソフトウエアとの組み合わせで実現される場合について、さらに説明する。
情報処理装置１０の各機能構成部は、各機能構成部を実現するハードウエア（例：ハードワイヤードされた電子回路など）で実現されてもよいし、ハードウエアとソフトウエアとの組み合わせ（例：電子回路とそれを制御するプログラムの組み合わせなど）で実現されてもよい。以下、情報処理装置１０の各機能構成部がハードウエアとソフトウエアとの組み合わせで実現される場合について、さらに説明する。
【0016】
計算機１０００は種々の計算機である。例えば計算機１０００は、ＰＣ（Personal Computer）、サーバマシン、タブレット端末、又はスマートフォンなどである。計算機１０００は、情報処理装置１０を実現するために設計された専用の計算機であってもよいし、汎用の計算機であってもよい。
【0017】
図２は、情報処理装置１０を実現する計算機１０００の構成を例示する図である。計算機１０００は、バス１０２０、プロセッサ１０４０、メモリ１０６０、ストレージデバイス１０８０、入出力インタフェース１１００、及びネットワークインタフェース１１２０を有する。バス１０２０は、プロセッサ１０４０、メモリ１０６０、ストレージデバイス１０８０、入出力インタフェース１１００、及びネットワークインタフェース１１２０が、相互にデータを送受信するためのデータ伝送路である。ただし、プロセッサ１０４０などを互いに接続する方法は、バス接続に限定されない。プロセッサ１０４０は、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）などで実現されるプロセッサである。メモリ１０６０は、ＲＡＭ（Random Access Memory）などで実現される主記憶装置である。ストレージデバイス１０８０は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、メモリカード、又はＲＯＭ（Read Only Memory）などで実現される補助記憶装置である。
【0018】
入出力インタフェース１１００は、計算機１０００と入出力デバイスとを接続するためのインタフェースである。例えば入出力インタフェース１１００には、キーボードなどの入力装置や、ディスプレイ装置などの出力装置が接続される。
【0019】
ネットワークインタフェース１１２０は、計算機１０００をネットワークに接続するためのインタフェースである。このネットワークは、例えばＬＡＮ（Local Area Network）やＷＡＮ（Wide Area Network）である。ネットワークインタフェース１１２０がネットワークに接続する方法は、無線接続であってもよいし、有線接続であってもよい。
【0020】
ストレージデバイス１０８０は情報処理装置１０の各機能（画像処理部１１０、判定部１２０、出力部１３０）を実現するプログラムモジュールを記憶している。プロセッサ１０４０は、これら各プログラムモジュールを実行することで、そのプログラムモジュールに対応する各機能を実現する。
【0021】
本実施形態によれば、判定部１２０は、商品の位置を基準にしたときの広告の位置が基準を満たしているか否かを判定する。従って、広告が規定通りに棚などに配置されているかを確認する作業を省力化することができる。
【0022】
［第２実施形態］
〔機能構成〕
図３は、第２実施形態に係る情報処理装置１０の機能構成を概念的に示すブロック図である。図３に示されるように、本実施形態の情報処理装置１０は、記憶部２０と通信する点を除いて、第１実施形態に係る情報処理装置１０と同様の構成である。図３に示す例において、記憶部２０は、メモリまたはストレージであり、情報処理装置１０の外部に設けられている。ただし、記憶部２０は情報処理装置１０に内蔵されていてもよい。
〔機能構成〕
図３は、第２実施形態に係る情報処理装置１０の機能構成を概念的に示すブロック図である。図３に示されるように、本実施形態の情報処理装置１０は、記憶部２０と通信する点を除いて、第１実施形態に係る情報処理装置１０と同様の構成である。図３に示す例において、記憶部２０は、メモリまたはストレージであり、情報処理装置１０の外部に設けられている。ただし、記憶部２０は情報処理装置１０に内蔵されていてもよい。
【0023】
記憶部２０は、判定部１２０が判定の際に用いる基準を、商品の種類別、商品別、広告の種類別、又は広告別に記憶している。ＰＯＰ広告には、複数の種類（タイプ）がある。一例としては、ＰＯＰ広告には、陳列棚の前面に横方向に配置されるタイプや、陳列棚の柱に上下方向に配置されるタイプや、陳列棚の上方に配置されるタイプがある。記憶部２０は、例えば、このタイプを示す情報（広告タイプ情報）とともに、判定部１２０が判定の際に用いる基準を記憶している。また、記憶部２０は、ＰＯＰ広告別（広告識別情報別）に、上記した基準を記憶していてもよい。また、例えば「食品」や「生活用品」といった、複数の種類（タイプ）の商品を包括する単位で、ＰＯＰ広告が用意されることもある。また、特定の商品専用のＰＯＰ広告が用意されることもある。記憶部２０は、この商品のタイプを示す情報（商品タイプ情報）とともに、判定部１２０が判定の際に用いる基準を記憶していてもよい。また、記憶部２０は、商品別（商品識別情報別）に、上記した基準を記憶していてもよい。なお、ここで用いられる基準は、広告のタイプや商品のタイプなどによって異なるが、その具体例については、図５、図６、及び図７を用いて後述する。
【0024】
また、記憶部２０は、画像処理に用いられる各種の情報も記憶している。例えば記憶部２０は、商品を画像処理によって特定するために必要な情報（例えば特徴量）を、その商品を識別する商品識別情報に対応付けて記憶している。また、記憶部２０は、広告を画像処理によって特定するために必要な情報（例えば特徴量）を、その広告を識別する広告識別情報に対応付けて記憶している。記憶部２０は、広告のタイプ別（広告タイプ情報別）に、広告のタイプを識別するための特徴量を記憶していてもよい。記憶部２０は、さらに、広告識別情報に対応付けて、その広告識別情報に対応する広告タイプ情報、及びその広告が対象にしている商品の識別情報（商品識別情報）も記憶している。なお、広告識別情報の中に広告のタイプを特定する情報が含まれていてもよい。
【0025】
〔動作例〕
図４は、第２実施形態の情報処理装置１０によって実行される処理の流れを例示するフローチャートである。まず、情報処理装置１０の画像処理部１１０は、処理対象となる画像を取得する（Ｓ１０）。この画像は、陳列棚を撮像することにより生成された画像である。情報処理装置１０が撮像部を有している場合、この画像はこの撮像部によって生成されてもよい。また、この画像は、情報処理装置１０の外部の撮像装置によって生成されてもよい。後者の場合、この画像は、撮像装置から情報処理装置１０に送信されてもよいし、ストレージを介して情報処理装置１０に送信されてもよい。
図４は、第２実施形態の情報処理装置１０によって実行される処理の流れを例示するフローチャートである。まず、情報処理装置１０の画像処理部１１０は、処理対象となる画像を取得する（Ｓ１０）。この画像は、陳列棚を撮像することにより生成された画像である。情報処理装置１０が撮像部を有している場合、この画像はこの撮像部によって生成されてもよい。また、この画像は、情報処理装置１０の外部の撮像装置によって生成されてもよい。後者の場合、この画像は、撮像装置から情報処理装置１０に送信されてもよいし、ストレージを介して情報処理装置１０に送信されてもよい。
【0026】
次いで、画像処理部１１０は、取得した画像を解析することにより、商品の位置を特定する（Ｓ２０）。ここで行われる解析処理の一例は、特徴量のマッチング処理である。この解析で特定される位置には、高さ方向の位置及び水平方向の位置の双方が含まれている。この特定の際、画像処理部１１０は、さらに、記憶部２０に記憶されている情報を用いて、商品の種類を特定してもよい。或いは、画像処理部１１０は、さらに、記憶部２０に記憶されている情報を用いて、商品に関する情報を特定してもよい。ここで、商品に関する情報は、少なくとも、商品名、識別子（ＪＡＮ（Japanese Article Number）コードなど）、商品が属するグループの名称（例えばブランド名）、商品が属する商品カテゴリ、商品の内容量（例えば、３５０ｍｌなど）、商品のサイズ、各商品の標準価格及びメーカ（製造メーカや販売メーカ）などの情報の何れかを含んでいてもよい。
【0027】
次いで、画像処理部１１０は、取得した画像を解析することにより、広告の位置を特定する（Ｓ３０）。ここで行われる解析処理の一例は、特徴量のマッチング処理である。この解析で特定される位置にも、高さ方向の位置及び水平方向の位置の双方が含まれている。この特定の際、画像処理部１１０は、さらに、記憶部２０に記憶されている情報を用いて、広告の種類（広告識別情報）や、その広告が対象にしている商品（商品識別情報）を特定する。また、画像処理部１１０は、記憶部２０が記憶している情報を用いて、広告のタイプを特定してもよい。
【0028】
次いで、判定部１２０は、画像処理部１１０の解析結果と、記憶部２０が記憶している情報を用いることにより、商品の位置を基準にしたときの広告の位置が基準を満たしているか否かを判定する（Ｓ４０）。具体的には、判定部１２０は、画像処理部１１０が特定した広告識別情報に対応付けられた基準、又は画像処理部１１０が特定した広告タイプ情報に対応付けられた基準を読み出す。そして、判定部１２０は、画像処理部１１０が特定した商品の位置と広告の位置の関係が、読み出した基準を満たしているか否かを判定する。
【0029】
次いで、出力部１３０は、判定部１２０による判定結果を出力する（Ｓ５０）。ここでの出力は、例えば情報処理装置１０が有している表示装置に判定結果を出力することである。この出力において、出力部１３０は、画像処理部１１０が取得した画像に、基準を満たさない広告を認識させるための情報（例えば枠線や矢印）を重ねた画像を出力してもよい。なお、出力部１３０は、この判定結果をサーバや記憶部２０に送信して記憶させてもよい。なお、出力部１３０は、基準を満たしていなかった場合にのみ出力を行ってもよいし、基準を満たしている場合にも出力を行ってもよい。
【0030】
なお、判定部１２０は、画像処理部１１０が判定した広告識別情報に対応する商品識別情報を、記憶部２０に記憶されている情報を用いて特定するのが好ましい。この場合、判定部１２０は、画像処理部１１０が判定した商品の位置のうち、特定した商品識別情報に対応する商品の位置を、上述した判定に用いるのが好ましい。言い換えると、判定部１２０は、広告の位置と、その広告が対象にしている商品の位置とを判定に用いるのが好ましい。なお、判定部１２０は、これらの処理の代わりに、判定の対象にした商品の商品識別情報と、画像処理部１１０が判定した広告識別情報に対応する商品識別情報とが一致しているか否かを判定してもよい。
【0031】
図５は、判定部１２０が用いる基準の第１例を説明するための図である。本図に示す例において、商品２１０は陳列棚２００に配置されており、広告２２０は陳列棚２００の前面に取り付けられている。そして、判定部１２０が用いる基準は、商品２１０と広告２２０の距離（例えば、商品２１０の中心と広告２２０の中心の距離）である。判定部１２０は、この距離が基準値以下の場合、広告が正しい位置に配置されていると判定し、基準値超の場合、広告が誤った位置に配置されていると判定する。
【0032】
図６は、判定部１２０が用いる基準の第２例を説明するための図である。本図に示す例において、商品２１０及び広告２２０の位置は、第１例と同じである。このため、広告２２０は幅方向に延在していることになる。そして、判定部１２０が用いる基準は、例えば、画像処理部により取得された画像の幅方向における商品２１０の一次元位置と、同画像の幅方向における広告２２０の一次元位置とが重なっているか否かである。具体的には、判定部１２０は、図６のｗＭで示した領域（画像の幅方向における商品２１０の一次元位置）と、図６のｗＡで示した領域（画像の幅方向における広告２２０の一次元位置）とが重なっているか否かを判定する。判定部１２０は、これらの領域が少なくとも一部において重なっている場合は広告が正しい位置に配置されていると判定する。また、判定部１２０は、これらの領域が重なっていない場合は広告が誤った位置に配置されていると判定する。
【0033】
図７は、判定部１２０が用いる基準の第３例を説明するための図である。本図に示す例において、広告２２０は、陳列棚２００の支柱に沿って上下（高さ方向）に延在している。そして、判定部１２０が用いる基準は、例えば、画像処理部により取得された画像の高さ方向における商品２１０の一次元位置と、同画像の高さ方向における広告２２０の一次元位置とが重なっているか否かである。具体的には、判定部１２０は、図７のｈＭで示した領域（画像の高さ方向における商品２１０の一次元位置）と、図７のｈＡで示した領域（画像の高さ方向における広告２２０の一次元位置）とが重なっているか否かを判定する。判定部１２０は、これらの領域が少なくとも一部において重なっている場合は広告が正しい位置に配置されていると判定する。また、判定部１２０は、これらの領域が重なっていない場合は広告が誤った位置に配置されていると判定する。
【0034】
ただし、判定部１２０が用いる基準は、図５～図７に示した例に限定されない。例えば、棚一列について必要な広告の数が指定されている場合、画像処理部１１０は、棚一列あたりの広告の数を特定し、判定部１２０は、この数が指定された数を満たしているか否かを判定してもよい。また、画像処理部１１０は、広告の傾きを判定してもよい。この場合、判定部１２０は、傾きが一定値を超えているか否かを判定してもよい。
【0035】
【0036】
なお、記憶部２０が、広告が配置されるべき位置（第２の基準、例えば商品棚の特定の場所を基準にした位置）を示す情報を記憶している場合、判定部１２０は、広告の位置そのものが正しい位置に配置されているか否かを判定してもよい。また、記憶部２０が、広告識別情報に対応付けて、その広告識別情報に対応する広告が取り付けられた陳列棚のイメージ画像を記憶している場合、このイメージ画像と、画像処理部１１０が取得した画像の一致度（スコア）を算出し、この一致度が基準値以上であるか否かを判定してもよい。いずれの場合も、出力部１３０は、判定結果を出力する。
【0037】
また、判定部１２０は、広告が正しい期間に掲示されているか否かを判定してもよい。この場合も、出力部１３０は、その判定結果を出力する。例えば、記憶部２０は、広告識別情報に対応付けて、その広告を掲示すべき期間を記憶している。また、画像処理部１１０が、処理対象となる画像が撮像された日時を示す情報を、その画像とともに取得する。判定部１２０は、画像処理部１１０が取得した日時が、記憶部２０が記憶している期間に含まれているか否かを判定する。なお、出力部１３０は、期間外であった場合にのみ出力を行ってもよい。
【0038】
以上、本実施形態においても、判定部１２０は、商品の位置を基準にしたときの広告の位置が基準を満たしているか否かを判定する。従って、広告が規定通りに棚などに配置されているかを確認する作業を省力化することができる。
【0039】
［第３実施形態］
図８は、第３実施形態に係る情報処理装置１０が行う処理を説明するための図である。本実施形態において、情報処理装置１０は、第２実施形態に示した処理の他に、以下の処理を行う。
図８は、第３実施形態に係る情報処理装置１０が行う処理を説明するための図である。本実施形態において、情報処理装置１０は、第２実施形態に示した処理の他に、以下の処理を行う。
【0040】
まず、陳列棚２００には棚札２３０が取り付けられている。画像処理部１１０は、棚札２３０の位置を特定する。この際、画像処理部１１０は、画像処理において、棚札２３０が対象にしている商品も特定する。ここで用いられる画像処理は、例えば文字認識処理であるが、棚札２３０が有するコード（例えばバーコードや２次元コード）を読み取る処理であってもよい。そして、画像処理部１１０は、その商品の商品特定情報を特定する。商品特定情報は、特に限定されないが、例えば、文字認識処理で取得される商品の名称、コードから読み取られた商品識別情報（ＪＡＮコードなど）、画像処理で商品と認識された画像領域から抽出できる画像特徴量などである。
【0041】
そして、判定部１２０は、広告２２０が対象にしている商品の商品識別情報と、その広告２２０に最も近い棚札２３０の商品識別情報が一致しているか否かを判定する。出力部１３０は、この判定結果も出力する。なお、出力部１３０は、一致していなかった場合にのみ出力を行ってもよい。
【0042】
以上、本実施形態においても、判定部１２０は、商品の位置を基準にしたときの広告の位置が基準を満たしているか否かを判定する。従って、広告が規定通りに棚などに配置されているかを確認する作業を省力化することができる。また、判定部１２０は、さらに、棚札が対象にしている商品と広告が対象にしている商品が一致しているか否かを判定する。従って、広告が規定通りに棚などに配置されているかを確認する作業を、さらに省力化することができる。
【0043】
［第４実施形態］
図９は、第４実施形態における情報処理装置１０の機能構成を概念的に示すブロック図である。本実施形態において、情報処理装置１０は、売上記憶部２２が記憶している情報を読み出すことができる点、及び、解析部１４０を備えている点を除いて、第２実施形態又は第３実施形態に係る情報処理装置１０と同様の構成である。
図９は、第４実施形態における情報処理装置１０の機能構成を概念的に示すブロック図である。本実施形態において、情報処理装置１０は、売上記憶部２２が記憶している情報を読み出すことができる点、及び、解析部１４０を備えている点を除いて、第２実施形態又は第３実施形態に係る情報処理装置１０と同様の構成である。
【0044】
売上記憶部２２は、広告２２０が提示されている店舗における売り上げデータを記憶している。このデータは、商品識別情報別かつ期間別の売り上げデータとして集計可能になっている。
【0045】
また、記憶部２０は、広告別に、その広告が掲示されていた期間を示す情報を、その広告が対象にしている商品特定情報に対応付けて記憶している。さらに、記憶部２０は、広告別に、その広告の位置が基準を満たしていたか否かを示す情報、言い換えると判定部１２０による判定結果を示す情報を記憶している。
【0046】
そして、解析部１４０は、ある広告における判定部１２０による判定結果と、その広告を掲示していた日時の前記商品の売り上げと、の関係を示す情報を生成する。例えば、解析部１４０は、記憶部２０が記憶している情報を用いて、ある広告が提示されていた期間と、その広告が対象にしている商品の商品特定情報とを読み出す。そして、解析部１４０は読み出した期間における、読み出した商品特定情報に対応する売り上げの集計値を算出し、算出結果を、判定部１２０による判定結果を示す情報に対応付ける。出力部１３０は、この集計値及び判定部１２０による判定結果を示す情報を出力する。
【0047】
以上、本実施形態においても、判定部１２０は、商品の位置を基準にしたときの広告の位置が基準を満たしているか否かを判定する。従って、広告が規定通りに棚などに配置されているかを確認する作業を省力化することができる。また、出力部１３０は、広告を掲示していた期間の売り上げと、その広告が正しく掲示されていたか否かを示す情報（判定部１２０による判定結果）を出力する。このため、広告による販促効果を精度よく検証することができる。
【0048】
以上、図面を参照して本発明の実施形態について述べたが、これらは本発明の例示であり、上記以外の様々な構成を採用することもできる。
【0049】
上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
１．
棚に配置された商品および広告が撮像された画像を解析することにより、前記広告の位置および前記商品の位置を取得する画像処理手段と、
前記商品の位置と、前記広告の位置との関係が基準を満たしているか否かを判定する判定手段と、
前記判定手段による判定結果を示す情報を出力する出力手段と、
を備える情報処理装置。
２．
前記判定手段は、前記商品の種類別、前記商品別、前記広告の種類別、又は前記広告別に前記基準を記憶している記憶手段から、前記基準を読み出す、
１．に記載の情報処理装置。
３．
前記基準は、前記商品と前記広告との距離を示している、
１．または２．に記載の情報処理装置。
４．
前記棚は複数の段を有しており、
前記判定手段は、前記画像の高さ方向における前記商品の一次元位置と前記画像の高さ方向における前記広告の一次元位置が重なっているか否か、又は、前記画像の幅方向における前記商品の一次元位置と前記画像の幅方向における前記広告の一次元位置が重なっているか否かを判定する、
１．または２．に記載の情報処理装置。
５．
前記画像処理手段は、前記画像を解析することにより、前記商品の種類と、前記広告が対象にしている商品の種類とを特定し、
前記判定手段は、前記基準の判定に加え、前記画像処理手段が特定した前記商品の種類と前記広告が対象にしている商品の種類とが一致しているか否かを判定する、
１．から４．のいずれか１つに記載の情報処理装置。
６．
前記画像処理手段は、さらに前記棚に設けられた棚札の位置及び当該棚札が対象にしている商品の種類を特定し、
前記判定手段は、前記広告が対象にしている商品の種類と、当該広告に最も近い前記棚札が対象にしている商品の種類が一致しているか否かを判定する、
１．から５．のいずれか１つに記載の情報処理装置。
７．
前記判定手段は、前記広告の位置が前記基準と異なる第２の基準を満たすか否かを判定する、
１．から６．のいずれか１つに記載の情報処理装置。
８．
前記判定手段は、前記広告の種類別に当該広告を掲示すべき期間を記憶している記憶手段から、前記期間を読み出し、前記画像を撮像した日時が当該期間に含まれるか否かを判定する、
１．から７．のいずれか１つに記載の情報処理装置。
９．
前記判定手段による判定結果と、前記広告を掲示していた期間の前記商品の売り上げと、の関係を示す情報を生成する解析手段を備え、
前記出力手段は、前記解析手段が生成した情報を出力する、
１．から８．のいずれか１つに記載の情報処理装置。
１．
棚に配置された商品および広告が撮像された画像を解析することにより、前記広告の位置および前記商品の位置を取得する画像処理手段と、
前記商品の位置と、前記広告の位置との関係が基準を満たしているか否かを判定する判定手段と、
前記判定手段による判定結果を示す情報を出力する出力手段と、
を備える情報処理装置。
２．
前記判定手段は、前記商品の種類別、前記商品別、前記広告の種類別、又は前記広告別に前記基準を記憶している記憶手段から、前記基準を読み出す、
１．に記載の情報処理装置。
３．
前記基準は、前記商品と前記広告との距離を示している、
１．または２．に記載の情報処理装置。
４．
前記棚は複数の段を有しており、
前記判定手段は、前記画像の高さ方向における前記商品の一次元位置と前記画像の高さ方向における前記広告の一次元位置が重なっているか否か、又は、前記画像の幅方向における前記商品の一次元位置と前記画像の幅方向における前記広告の一次元位置が重なっているか否かを判定する、
１．または２．に記載の情報処理装置。
５．
前記画像処理手段は、前記画像を解析することにより、前記商品の種類と、前記広告が対象にしている商品の種類とを特定し、
前記判定手段は、前記基準の判定に加え、前記画像処理手段が特定した前記商品の種類と前記広告が対象にしている商品の種類とが一致しているか否かを判定する、
１．から４．のいずれか１つに記載の情報処理装置。
６．
前記画像処理手段は、さらに前記棚に設けられた棚札の位置及び当該棚札が対象にしている商品の種類を特定し、
前記判定手段は、前記広告が対象にしている商品の種類と、当該広告に最も近い前記棚札が対象にしている商品の種類が一致しているか否かを判定する、
１．から５．のいずれか１つに記載の情報処理装置。
７．
前記判定手段は、前記広告の位置が前記基準と異なる第２の基準を満たすか否かを判定する、
１．から６．のいずれか１つに記載の情報処理装置。
８．
前記判定手段は、前記広告の種類別に当該広告を掲示すべき期間を記憶している記憶手段から、前記期間を読み出し、前記画像を撮像した日時が当該期間に含まれるか否かを判定する、
１．から７．のいずれか１つに記載の情報処理装置。
９．
前記判定手段による判定結果と、前記広告を掲示していた期間の前記商品の売り上げと、の関係を示す情報を生成する解析手段を備え、
前記出力手段は、前記解析手段が生成した情報を出力する、
１．から８．のいずれか１つに記載の情報処理装置。
【0050】
１０．
コンピュータが、
棚に配置された商品および広告が撮像された画像を解析することにより、前記商品に関連付けられた広告の位置および前記商品の位置を取得し、
前記商品の位置と、前記広告の位置との関係が基準を満たしているか否かを判定し、
当該判定結果を示す情報を出力する、
ことを含む情報処理方法。
１１．
複数種類の前記広告があり、
前記コンピュータが、
前記商品の種類別、前記商品別、前記広告の種類別、又は前記広告別に前記基準を記憶している記憶手段から、前記基準を読み出す、
ことを含む１０．に記載の情報処理方法。
１２．
前記基準は、前記商品と前記広告との距離を示している、
１０．または１１．に記載の情報処理方法。
１３．
前記棚は複数の段を有しており、
前記コンピュータが、
前記画像の高さ方向における前記商品の一次元位置と前記画像の高さ方向における前記広告の一次元位置が重なっているか否か、又は、前記画像の幅方向における前記商品の一次元位置と前記画像の幅方向における前記広告の一次元位置が重なっているか否かを判定する、
ことを含む１０．または１１．に記載の情報処理方法。
１４．
前記コンピュータが、
前記画像を解析することにより、前記商品の種類と、前記広告が対象にしている商品の種類とを特定し、
前記基準の判定に加え、特定した前記商品の種類と前記広告が対象にしている商品の種類とが一致しているか否かを判定する、
ことを含む１０．から１３．のいずれか１つに記載の情報処理方法。
１５．
前記コンピュータが、
さらに前記棚に設けられた棚札の位置及び当該棚札が対象にしている商品の種類を特定し、
前記広告が対象にしている商品の種類と、当該広告に最も近い前記棚札が対象にしている商品の種類が一致しているか否かを判定する、
ことを含む１０．から１４．のいずれか１つに記載の情報処理方法。
１６．
前記コンピュータが、
前記広告の位置が前記基準と異なる第２の基準を満たすか否かを判定する、
ことを含む１０．から１５．のいずれか１つに記載の情報処理方法。
１７．
前記コンピュータが、
前記広告の種類別に当該広告を掲示すべき期間を記憶している記憶手段から、前記期間を読み出し、前記画像を撮像した日時が当該期間に含まれるか否かを判定する、
ことを含む１０．から１６．のいずれか１つに記載の情報処理方法。
１８．
前記コンピュータが、
前記判定結果と、前記広告を掲示していた期間の前記商品の売り上げと、の関係を示す情報を生成し、生成した情報を出力する、
ことを含む１０．から１７．のいずれか１つに記載の情報処理方法。
コンピュータが、
棚に配置された商品および広告が撮像された画像を解析することにより、前記商品に関連付けられた広告の位置および前記商品の位置を取得し、
前記商品の位置と、前記広告の位置との関係が基準を満たしているか否かを判定し、
当該判定結果を示す情報を出力する、
ことを含む情報処理方法。
１１．
複数種類の前記広告があり、
前記コンピュータが、
前記商品の種類別、前記商品別、前記広告の種類別、又は前記広告別に前記基準を記憶している記憶手段から、前記基準を読み出す、
ことを含む１０．に記載の情報処理方法。
１２．
前記基準は、前記商品と前記広告との距離を示している、
１０．または１１．に記載の情報処理方法。
１３．
前記棚は複数の段を有しており、
前記コンピュータが、
前記画像の高さ方向における前記商品の一次元位置と前記画像の高さ方向における前記広告の一次元位置が重なっているか否か、又は、前記画像の幅方向における前記商品の一次元位置と前記画像の幅方向における前記広告の一次元位置が重なっているか否かを判定する、
ことを含む１０．または１１．に記載の情報処理方法。
１４．
前記コンピュータが、
前記画像を解析することにより、前記商品の種類と、前記広告が対象にしている商品の種類とを特定し、
前記基準の判定に加え、特定した前記商品の種類と前記広告が対象にしている商品の種類とが一致しているか否かを判定する、
ことを含む１０．から１３．のいずれか１つに記載の情報処理方法。
１５．
前記コンピュータが、
さらに前記棚に設けられた棚札の位置及び当該棚札が対象にしている商品の種類を特定し、
前記広告が対象にしている商品の種類と、当該広告に最も近い前記棚札が対象にしている商品の種類が一致しているか否かを判定する、
ことを含む１０．から１４．のいずれか１つに記載の情報処理方法。
１６．
前記コンピュータが、
前記広告の位置が前記基準と異なる第２の基準を満たすか否かを判定する、
ことを含む１０．から１５．のいずれか１つに記載の情報処理方法。
１７．
前記コンピュータが、
前記広告の種類別に当該広告を掲示すべき期間を記憶している記憶手段から、前記期間を読み出し、前記画像を撮像した日時が当該期間に含まれるか否かを判定する、
ことを含む１０．から１６．のいずれか１つに記載の情報処理方法。
１８．
前記コンピュータが、
前記判定結果と、前記広告を掲示していた期間の前記商品の売り上げと、の関係を示す情報を生成し、生成した情報を出力する、
ことを含む１０．から１７．のいずれか１つに記載の情報処理方法。
【0051】
１９．
コンピュータに、１０．から１８．のいずれか１つに記載の情報処理方法を実行させるプログラム。
コンピュータに、１０．から１８．のいずれか１つに記載の情報処理方法を実行させるプログラム。
【0052】
この出願は、２０１７年９月２９日に出願された日本出願特願２０１７－１９１７９２号を基礎とする優先権を主張し、その開示の全てをここに取り込む。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】