特開 2024-86770 陳列状況解析システム、陳列状況解析方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024086770

(43)【公開日】2024-06-28

(54)【発明の名称】陳列状況解析システム、陳列状況解析方法およびプログラム

(51)【国際特許分類】

   G06Q 30/0201 20230101AFI20240621BHJP

   G06T 7/60 20170101ALN20240621BHJP

【ＦＩ】

G06Q30/0201

G06T7/60 180B

【審査請求】有

【請求項の数】5

【出願形態】ＯＬ

(21)【出願番号】P 2024059927

(22)【出願日】2024-04-03

(62)【分割の表示】P 2022145875の分割

【原出願日】2015-02-19

(31)【優先権主張番号】P 2014049001

(32)【優先日】2014-03-12

(33)【優先権主張国・地域又は機関】JP

(71)【出願人】

【識別番号】000004237

【氏名又は名称】日本電気株式会社

(74)【代理人】

【識別番号】100109313

【弁理士】

【氏名又は名称】机 昌彦

(74)【代理人】

【識別番号】100149618

【弁理士】

【氏名又は名称】北嶋 啓至

(72)【発明者】

【氏名】比嘉 恭太

(72)【発明者】

【氏名】包 蕊寒

(72)【発明者】

【氏名】佐藤 貴美

(72)【発明者】

【氏名】間瀬 亮太

(72)【発明者】

【氏名】岩元 浩太

(57)【要約】

【課題】物品の陳列状況を解析できる陳列状況解析システムを提供する。
【解決手段】陳列状況解析システムは、陳列棚に陳列された物品が撮影された陳列画像から、陳列画像中の物品を認識する物品認識手段と、物品認識手段による認識結果に基づき、積み重ねられた物品の一つ下の段の最前に存在する物品のそれぞれの上端を結んだ基準線を特定し、積み重ねられた物品の基準線からの奥行き方向への距離を算出する解析手段と、算出された距離に基づいて、陳列棚の陳列状況に関する情報を出力する出力手段とを備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

陳列棚に陳列された物品が撮影された陳列画像から、前記陳列画像中の前記物品を認識する物品認識手段と、
前記物品認識手段による認識結果に基づき、積み重ねられた前記物品の一つ下の段の最前に存在する前記物品のそれぞれの上端を結んだ基準線を特定し、積み重ねられた前記物品の前記基準線からの奥行き方向への距離を算出する解析手段と、
前記距離に基づいて、前記陳列棚の陳列状況に関する情報を出力する出力手段とを備えた
陳列状況解析システム。

【請求項2】

前記解析手段は、前記距離が所定の基準よりも大きいか否かを解析し、
前記出力手段は、前記距離が所定の基準よりも大きい場合、前記陳列棚の陳列状況に関する情報として、アラートを出力する
請求項１記載の陳列状況解析システム。

【請求項3】

前記出力手段は、前記陳列棚の陳列状況に関する情報として、前記距離に応じて色分けした画像を前記陳列画像に重畳させて出力する
請求項１または２に記載の陳列状況解析システム。

【請求項4】

コンピュータが、
陳列棚に陳列された物品が撮影された陳列画像から、前記陳列画像中の前記物品を認識し、
認識結果に基づき、積み重ねられた前記物品の一つ下の段の最前に存在する前記物品のそれぞれの上端を結んだ基準線を特定し、積み重ねられた前記物品の前記基準線からの奥行き方向への距離を算出し、
前記距離に基づいて、前記陳列棚の陳列状況に関する情報を出力する
陳列状況解析方法。

【請求項5】

コンピュータに、
陳列棚に陳列された物品が撮影された陳列画像から、前記陳列画像中の前記物品を認識する処理と、
認識結果に基づき、積み重ねられた前記物品の一つ下の段の最前に存在する前記物品のそれぞれの上端を結んだ基準線を特定し、積み重ねられた前記物品の前記基準線からの奥行き方向への距離を算出する処理と、
前記距離に基づいて、前記陳列棚の陳列状況に関する情報を出力する処理と
を実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、物品の陳列状況を解析する陳列状況解析装置、陳列状況解析方法およびプログラムに関する。

【背景技術】

【0002】

スーパーマーケットやコンビニエンスストアで陳列される商品は、一般に陳列棚の前列の商品から売れていくため、時間の経過とともに棚の前面に空きができる状態になる。そのため、店員が定期的に巡回し、商品の補充や、いわゆる「前だし」作業を適宜行うことにより、陳列棚が整理される。

【0003】

特許文献１には、陳列棚に商品がなくなったときに、その商品の在庫状況を店員に通知する在庫状況管理方法が記載されている。特許文献１に記載された管理方法では、リアルタイムカメラで商品の陳列棚の画像を監視し、陳列棚に設けられた商品無マーカを検知したときに、その商品無マーカに関連付けられた商品を割り出して、在庫確認中である旨のメッセージを出力する。

【0004】

また、特許文献２には、陳列棚における商品の陳列状態をカメラにより撮影し、その画像を分析すると共に、分析結果の時系列変化に基づいて、商品の補充タイミングを通知する商品監視システムが開示される。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２０１２－１７４１５４号公報

【特許文献2】特開平０５－０８１５５２号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

店舗内の陳列状況を店員が常に監視し続けるには限界がある。しかし、バックヤードに商品があるにもかかわらず、陳列棚に商品がない状態が続くと、販売機会を損失することになる。また、陳列棚に商品が残っていたとしても、その商品の配置などが乱れている場合には、消費者の購買意欲を減殺し、やはり販売機会を損失する可能性がある。

【0007】

特許文献１に記載された方法では、商品ごとに関連付けた商品無マーカを陳列棚に設定するため、商品を陳列する位置を柔軟に変更できないという問題がある。また、特許文献２に記載されたシステムでは、商品棚の各段の下地をすべて撮影できなければ正しい分析結果が得られないので、撮影場所に制限があるという課題がある。

【0008】

そこで、本発明は、物品の陳列状況を解析できる陳列状況解析システム、陳列状況解析方法およびプログラムを提供することを目的とする。

【課題を解決するための手段】

【0009】

本発明の第１の陳列状況解析システムは、列棚に陳列された物品が撮影された陳列画像から、前記陳列画像中の前記物品を認識する物品認識手段と、前記物品認識手段による認識結果に基づき、積み重ねられた前記物品の一つ下の段の最前に存在する前記物品のそれぞれの上端を結んだ基準線を特定し、積み重ねられた前記物品の前記基準線からの奥行き方向への距離を算出する解析手段と、前記距離に基づいて、前記陳列棚の陳列状況に関する情報を出力する出力手段とを備える。

【0010】

本発明の第１の陳列状況解析方法は、コンピュータが、陳列棚に陳列された物品が撮影された陳列画像から、前記陳列画像中の前記物品を認識し、認識結果に基づき、積み重ねられた前記物品の一つ下の段の最前に存在する前記物品のそれぞれの上端を結んだ基準線を特定し、積み重ねられた前記物品の前記基準線からの奥行き方向への距離を算出し、前記距離に基づいて、前記陳列棚の陳列状況に関する情報を出力する。

【0011】

本発明の第１のプログラムは、コンピュータに、陳列棚に陳列された物品が撮影された陳列画像から、前記陳列画像中の前記物品を認識する処理と、認識結果に基づき、積み重ねられた前記物品の一つ下の段の最前に存在する前記物品のそれぞれの上端を結んだ基準線を特定し、積み重ねられた前記物品の前記基準線からの奥行き方向への距離を算出する処理と、前記距離に基づいて、前記陳列棚の陳列状況に関する情報を出力する処理とを実行させる。

【発明の効果】

【0012】

本発明によれば、物品の陳列状況を解析できる。

【図面の簡単な説明】

【0013】

【図1】本発明による陳列状況解析装置の第１の実施形態の構成例を示すブロック図である。

【図2】陳列画像から物品を認識する処理の例を示す説明図である。

【図3】解析結果処理部が出力する出力結果の例を示す説明図である。

【図4】第１の実施形態の陳列状況解析装置の動作例を示すフローチャートである。

【図5】基準位置の例を示す説明図である。

【図6】フェイスラインの例を示す説明図である。

【図7】解析結果処理部が出力する出力結果の他の例を示す説明図である。

【図8】陳列画像から物品を認識する処理の他の例を示す説明図である。

【図9】本発明による陳列状況解析装置の各実施形態の概要を示すブロック図である。

【図10】本発明の各実施形態に係る情報処理装置のハードウエア構成を例示する図である。

【発明を実施するための形態】

【0014】

以下、本発明の実施形態を図面を参照して説明する。
実施形態１．
図１は、本発明による陳列状況解析装置の第１の実施形態の構成例を示すブロック図である。本実施形態の陳列状況解析装置１０は、陳列棚に陳列された物品を撮影した陳列画像を画像取得部２０から取得し、陳列棚の陳列状況を解析結果処理部３０に出力する。

【0015】

画像取得部２０は、例えば、陳列棚を常時監視するための定点カメラなどにより実現される。ただし、画像取得部２０自体が、画像を撮影する機能を有していなくてもよい。画像取得部２０は、例えば、陳列棚を撮影するカメラ（図示せず）により撮影された画像を、通信ネットワークを介して受信するインタフェースであってもよい。

【0016】

画像取得部２０は、定期的に陳列画像を陳列状況解析装置１０に供給してもよいし、管理者等の指示に応じて陳列画像を陳列状況解析装置１０に供給してもよい。画像取得部２０は、例えば、陳列画像が撮影された時刻を併せて陳列状況解析装置１０に供給してもよい。

【0017】

解析結果処理部３０は、陳列状況解析装置１０によって解析された物品の陳列状況を出力する。本実施形態の陳列状況解析装置１０により得られる陳列状況とは、陳列の乱れなど、物品が陳列された状況そのものを示す情報だけでなく、解析された陳列状況に応じて出力されるアラームなどを含む。すなわち、本実施形態における陳列状況とは、陳列の乱れやアラームなど、陳列状況に紐づいた情報であるということができる。なお、解析結果処理部３０が陳列状況を出力する態様は後述される。また、後述する陳列状況解析部１２が、解析結果処理部３０の処理（すなわち、物品の陳列状況を出力する処理）を行ってもよい。

【0018】

このように、陳列状況解析装置１０と、画像取得部２０と、解析結果処理部３０とが協働することにより、陳列棚の状況が認識できる。よって、陳列状況解析装置１０と、画像取得部２０と、解析結果処理部３０とを含む構成を、陳列状況解析システムと呼ぶことができる。

【0019】

陳列状況解析装置１０は、物品認識部１１と、陳列状況解析部１２と、記憶部１３とを備えている。

【0020】

物品認識部１１は、陳列画像中の物品を認識する。具体的には、物品認識部１１は、陳列画像中から物品を識別し、その物品の位置、大きさ、範囲等を認識する。以下、物品認識部１１が認識した物品や、その物品の位置、大きさ、範囲等を特定する情報を、物品認識結果と記す。物品認識結果は、例えば、認識された物品の領域を示す情報である。

【0021】

物品認識部１１は、例えば、陳列画像中に存在する物品を、記憶部１３に記憶された物品の画像とテンプレートマッチすることにより、物品を識別してもよい。ただし、物品認識部１１が画像中の物品を認識する方法は、テンプレートマッチングに限定されない。物品認識部１１は、広く知られた他の方法を用いて陳列画像中の物品を認識してもよい。

【0022】

図２は、陳列画像から物品を認識する処理の例を示す説明図である。図２に例示する陳列画像Ｐ１が入力されると、物品認識部１１は、陳列画像Ｐ１から物品を認識する。図２に例示する陳列画像Ｐ２において太枠の矩形で示す領域は、物品認識結果として特定された物品の領域を示す。

【0023】

物品認識部１１は、陳列画像と物品認識結果を陳列状況解析部１２に供給する。

【0024】

陳列状況解析部１２は、陳列された物品の陳列状況を解析する。具体的には、陳列状況解析部１２は、認識された物品の位置に基づいて、陳列された物品の陳列状況を解析し、解析結果を出力する。ここで、陳列状況解析部１２が出力する陳列状況は、上述するように、陳列の乱れやアラートなど、陳列状況に紐づいた情報を含む。

【0025】

また、上述する認識された物品の位置には、陳列画像から認識された物品の絶対位置だけではなく、以下が含まれる。すなわち、物品の位置には、他の物品との相対位置や位置関係、認識された物品から特定される点や面、認識された各物品の位置を相互に結ぶことで特定される線や、その線と他の線とから特定される範囲（面積）などが含まれる。例えば、認識された物品から特定される点と基準とする線とが陳列画像中に存在する場合、その点と基準とする線とから物品の位置が認識される。

【0026】

陳列状況解析部１２は、例えば、認識された物品の位置する奥行を算出して、陳列された物品の陳列状況を解析し、その結果を出力してもよい。ここで、物品の位置する奥行とは、物品が陳列される位置として好ましい位置（以下、基準位置と記す。）からの乖離度合を意味する。例えば、陳列棚の場合、各陳列棚の最前列を基準位置として定義した場合には、物品の位置する奥行とは、陳列棚の最前列から奥方向への距離になる。なお、以下の説明では、物品の位置する奥行を算出することを、単に奥行を算出する、と記すこともある。

【0027】

上述するように、一般には陳列棚の前列の商品から売れていく。そのため、商品が少なくなるにつれて、陳列棚の商品は、より奥に残るようになる。陳列棚に存在する物品の位置が奥にあるほど、消費者にとっては商品が見にくくなるため、物品の陳列状況として好ましいとは言えない。言い換えると、物品の位置する奥行が短い（すなわち、物品が陳列棚の手前に存在する）ほど、陳列状況は良いと言える。そのため、以下の説明では、陳列状況解析部１２は、認識された物品の位置する奥行から陳列状況を解析するものとする。

【0028】

第１の実施形態では、陳列状況解析部１２は、認識された物品の位置と基準位置との乖離度から奥行を算出する。物品を示す位置は、個々の物品ごとに予め定められる。物品の高さや幅は物品ごとに異なるため、例えば、物品の底辺の中央を、物品の位置と定義してもよい。

【0029】

例えば、陳列画像が、定点カメラにより撮影される画像である場合、陳列状況解析部１２は、カメラの画角や陳列棚までの距離等に基づいて、陳列棚の最前列の位置を予め特定しておけばよい。また、陳列画像が撮影される範囲が固定されていない場合、陳列状況解析部１２は、陳列画像中から陳列棚の位置を推定し、推定した陳列棚の位置を基準位置としてもよい。

【0030】

陳列状況解析部１２は、認識された物品の位置と基準位置との距離に基づいて、物品の位置する奥行を算出する。例えば、陳列棚の最前列が基準位置として定義されている場合、陳列状況解析部１２は、最前列を示す線と物品の位置との距離を奥行として算出してもよい。

【0031】

陳列状況解析部１２は、奥行を算出するだけでもよく、奥行を算出した結果として、物品の陳列状況の好ましさを判断してもよい。陳列状況解析部１２は、例えば、各物品の基準位置からの距離（すなわち、奥行）の総和が小さいほど、陳列状況が好ましいと判断してもよい。

【0032】

陳列状況解析部１２は、解析結果処理部３０に解析結果を供給する。陳列状況解析部１２は、例えば、基準位置からの乖離度が所定の基準より大きい物品の位置を示す情報を、解析結果として解析結果処理部３０に供給してもよい。また、陳列状況解析部１２は、すべての物品の位置と、基準位置からの乖離度を示す情報を解析結果として解析結果処理部３０に供給してもよい。なお、ここに挙げた解析結果は一例であり、陳列状況解析部１２は、解析結果処理部３０が行う処理に必要な任意の情報を解析結果として供給してもよい。

【0033】

解析結果処理部３０は、陳列状況解析部１２から供給された解析結果を利用して、陳列状況を示す任意の処理を行う。解析結果処理部３０は、例えば、解析結果を利用して、算出された物品の位置する奥行を認識可能な態様の画像を出力してもよい。

【0034】

図３は、解析結果処理部３０が出力する出力結果の例を示す説明図である。図３に示す例では、解析結果処理部３０が、基準位置からの乖離度が所定の基準より大きい物品を示す陳列画像Ｐ１中の位置に、点滅画像Ｔを重畳して表示していることを示す。

【0035】

他にも、解析結果処理部３０は、物品を補充するタイミングであることを示すアラートを関係者に通知してもよい。また、例えば、陳列棚が傾きを変化させる機能を有している場合、解析結果処理部３０は、陳列棚を傾けて自動で物品を前だしするように、陳列棚を制御する装置（図示せず）に、物品の位置等を示す情報を通知してもよい。

【0036】

また、解析結果処理部３０は、物品の位置する奥行や、その物品自体の大きさ等に基づいて、その物品の販売量を算出し、その販売量に応じて自動で発注処理を行ってもよい。陳列棚の手前にない物品は、売られたと考えられるからである。

【0037】

また、解析結果処理部３０は、各物品の解析結果から売り場の乱れ具合を評価し、例えば、複数の店舗間で比較できるように集計してもよい。

【0038】

記憶部１３は、物品の認識処理および奥行を算出する処理に必要な情報を記憶する。記憶部１３は、例えば、陳列される物品を撮影した画像や、その物品の大きさを記憶していてもよい。また、記憶部１３は、陳列画像を撮影するカメラの位置や画角、撮影範囲を示すパラメータ情報を記憶していてもよい。記憶部１３は、例えば、磁気ディスク等により実現される。

【0039】

物品認識部１１と、陳列状況解析部１２とは、プログラム（陳列状況解析プログラム）に従って動作するコンピュータのＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）によって実現される。例えば、プログラムは、記憶部１３に記憶され、ＣＰＵは、そのプログラムを読み込み、プログラムに従って、物品認識部１１および陳列状況解析部１２として動作してもよい。

【0040】

また、物品認識部１１と、陳列状況解析部１２とは、それぞれが専用のハードウェアで実現されていてもよい。また、本実施形態では、解析結果処理部３０が、陳列状況解析装置１０に含まれていない場合を例示しているが、陳列状況解析装置１０が解析結果処理部３０を備える構成であってもよい。

【0041】

次に、本実施形態の陳列状況解析装置１０の動作を説明する。図４は、第１の実施形態の陳列状況解析装置１０の動作例を示すフローチャートである。

【0042】

物品認識部１１は、画像取得部２０から入力された陳列画像から、その陳列画像中の物品を認識する（ステップＳ１１）。そして、陳列状況解析部１２は、認識された物品の位置に基づいて、陳列された物品の陳列状況を解析する（ステップＳ１２）。具体的には、陳列状況解析部１２は、認識された物品の位置する奥行を算出して、陳列された物品の陳列状況を解析してもよく、認識された物品の位置と基準状態との乖離度から奥行を算出してもよい。

【0043】

以上のように、本実施形態では、陳列状況解析部１２が認識された物品の位置に基づいて、陳列された物品の陳列状況を解析する。具体的には、陳列状況解析部１２は、陳列画像中に認識された物品の位置する奥行を算出して、陳列状況を解析する。陳列状況解析部１２は、例えば、認識された物品の位置と基準位置との距離に基づいて、物品の位置する奥行を算出する。このような構成により、物品の陳列状況を解析できる。このことにより、解析された陳列状況に基づいて商品の欠品や売り場の乱れを検出すると共に抑制できるため、販売機会の損失を低減でき、売上を向上させることができるという効果が得られる。さらに、本実施形態では、特殊な撮影装置を利用しなくても奥行を算出できるため、導入が容易であるという利点もある。

【0044】

次に、本実施形態の変形例を説明する。第１の実施形態では、各陳列棚の最前列を基準位置と定義する場合について説明した。なお、物品の陳列には、１段だけでなく多段に積み上げて陳列する場合も存在する。この場合、陳列状況解析部１２は、物品が積み重ねられる段の一つ下の段に存在する各物品の上端を結んだ線を基準位置としてもよい。

【0045】

図５は、基準位置の例を示す説明図である。基準線Ｌ１は、陳列棚の最前列を示す。また、基準線Ｌ２は、最前列に陳列された物品の１段目の上底を結んだ線を示す。このように、別々の基準位置を設けておくことで、重ねられた物品の陳列状況も、上記と同様に判断することが可能になる。

【0046】

このように基準位置を定義することで、多段に積み上げられて陳列される物品の位置する奥行も算出できるため、売り場の態様が多様であっても、その売り場の整然度合を判断することが可能になる。
実施形態２．
次に、本発明による陳列状況解析装置の第２の実施形態を説明する。本実施形態の陳列状況解析装置の構成は、第１の実施形態と同様である。

【0047】

第２の実施形態では、陳列状況解析部１２は、認識された各物品の位置を相互に結んだ線と、比較基準線との乖離度から奥行を算出する。以下、認識された各物品の位置を相互に結んだ線を、「フェイスライン」と記す。なお、物品の位置を定める方法は、第１の実施形態で用いられる方法と同様である。なお、陳列状況解析部１２は、ハフ変換で用いられる技術を利用してフェイスラインを推定してもよい。

【0048】

図６は、フェイスラインの例を示す説明図である。各物品の位置が陳列画像Ｐ２に例示するように認識されると、陳列状況解析部１２は、陳列画像Ｐ３に破線で示すフェイスラインＬ３を推定する。

【0049】

第２の実施形態で用いられる比較基準線は、陳列画像中から抽出可能な任意の線であってもよく、陳列画像とは独立して定義される線であってもよい。例えば、比較基準線を単純な直線と定義した場合、陳列状況解析部１２は、物品の位置を相互に結んだフェイスラインの歪み具合に基づいて奥行を算出してもよい。

【0050】

また、例えば、各陳列棚の最前列を示す直線を比較基準線と定義した場合、陳列状況解析部１２は、第１の実施形態と同様に、フェイスライン上の各点と比較基準線との距離から奥行を算出してもよい。

【0051】

物品の陳列が乱れていない状態では、通常、物品は並んで陳列されているため、特定されるフェイスラインは、ほぼ直線状態になる。すなわち、フェイスラインが直線状態であるということは、バックヤードからの品出しや、物品の前だしが出来ていると判断できる。一方、物品の陳列が乱れている場合、フェイスラインは直線にならず、歪んだり、階段状になったりする。すなわち、フェイスラインが直線状態でないということは、品薄や欠品の可能性があるため、アラートを上げる必要があると判断できる。

【0052】

言い換えると、フェイスラインが直線に近いほど（すなわち、比較基準線との相違が小さいほど）物品の陳列状態は良好であると言える。よって、陳列状況解析部１２が、このようなフェイスラインを特定することにより、陳列状況を解析することが可能になる。

【0053】

図７は、解析結果処理部３０が出力する出力結果の他の例を示す説明図である。解析結果処理部３０は、陳列状況解析部１２によって推定されたフェイスラインを、もとの陳列画像に重畳させて表示する。図７に示す例では、陳列されている物品が乱れているため、フェイスラインは折れ線状になっている。例えば、陳列されている物品が乱れていない状態では、ほぼ直線状のフェイスラインが陳列画像に重畳される。

【0054】

さらに、図７に示す例では、解析結果処理部３０は、奥行が長い位置に、陳列が乱れていることを示す画像を重畳している。このように、解析結果処理部３０は、乱れ具合に応じて重畳させる画像を変化させてもよい。具体的には、解析結果処理部３０は、比較基準線との乖離度合がより大きい位置に、乖離度合が認識可能な画像を重畳してもよい。例えば、解析結果処理部３０は、ヒートマップのように、陳列の乱れ具合に応じて色分けした画像を陳列画像に重畳させて表示してもよい。

【0055】

なお、図７では、もとの陳列画像を変換せずに、他の画像を重畳した例を示しているが、解析結果処理部３０は、もとの陳列画像自体を変換させてもよい。解析結果処理部３０は、例えば、陳列が乱れている物品が表示されている部分の画像のコントラストを変えるための変換処理を行うことで、乱れ具合を強調するようにしてもよい。このように陳列棚の乱れ具合を可視化することで、陳列棚全体の状況を容易に把握できる。

【0056】

以上のように、本実施形態では、陳列状況解析部１２が、フェイスラインと比較基準線との乖離度から物品の位置する奥行を算出する。このような構成であっても、第１の実施形態の効果と同様、物品の陳列状況を解析できる。
実施形態３．
次に、本発明による陳列状況解析装置の第３の実施形態を説明する。本実施形態の陳列状況解析装置の構成も、第１の実施形態と同様である。

【0057】

第３の実施形態では、陳列状況解析部１２は、所定位置に陳列されている物品が撮影された陳列画像から認識された各物品の大きさを基準状態として、その基準状態における各物品の大きさと、新たに撮影された陳列画像から認識された各物品の大きさとの乖離度から、物品の位置する奥行を算出する。陳列状況解析部１２は、例えば、所定位置として適切な位置に陳列されている場合に陳列画像から認識される各物品の大きさを基準状態として用いてもよい。適切な位置とは、陳列される位置として好ましい位置、例えば陳列棚の最前列を意味する。以下、適切な位置に陳列されている場合に陳列画像から認識される各物品の画像を基準画像と記す。基準画像は、例えば、記憶部１３に記憶される。

【0058】

一般に、物品は、陳列棚の一番手前に陳列されていることが好ましい。例えば、定点カメラ等で物品を水平方向から撮影した場合、手前に存在する物品は、奥に存在する物品よりも大きく撮影される。言い換えると、奥に位置する物品ほど、撮影される大きさは小さくなる。したがって、陳列棚の最前列にある物品を撮影した画像を基準画像とすればよい。

【0059】

陳列状況解析部１２は、認識された物品の画像と基準画像との差分（乖離度）から奥行を算出してもよい。その際、陳列状況解析部１２は、陳列画像を撮影するカメラの画角や陳列棚までの距離等に基づき、認識された物品の画像と基準画像との比率に応じて奥行を算出してもよい。

【0060】

図８は、陳列画像から物品を認識する処理の他の例を示す説明図である。図８に示す例では、物品Ａ１、物品Ａ３および物品Ａ４が、陳列棚の最前面に陳列され、物品Ａ２が、他の物品よりも奥に位置しているとする。

【0061】

図８に例示する上段の棚は、陳列画像を撮影するカメラの角度により、認識した物品の位置だけでは奥行を算出することは困難である。しかし、奥に位置する物品Ａ２は、基準画像と比較して小さく撮影される。そのため、陳列状況解析部１２は、基準画像と撮影された物品Ａ２の画像との比率から奥行を算出することができる。

【0062】

以上のように、本実施形態では、陳列状況解析部１２が、基準状態における各物品の大きさと陳列画像から認識された各物品の大きさとの乖離度から、物品の位置する奥行を算出する。よって、認識した物品の位置だけではその物品の位置する奥行が分からない場合であっても、奥行を算出することが可能になる。

【0063】

なお、陳列棚には、多様な向きで物品が陳列される可能性がある。そのため、物品認識部１１が物品を特定できるようにするためには、複数の角度から撮影した物品の基準画像を準備しておくことが好ましい。そこで、記憶部１３は、同じ物品を複数の方向から撮影した基準画像を記憶していてもよい。

【0064】

また、物品の陳列には好ましい向きも存在する。そこで、同じ物品を複数の方向から撮影した基準画像のうち、より好ましい向きであることを示す情報を各基準画像に設定しておいてもよい。この場合、陳列状況解析部１２は、各物品の位置する奥行に加え、物品の向きを考慮して、陳列状態を解析してもよい。これは、他の実施形態についても同様である。陳列状況解析部１２は、例えば、好ましい向きに陳列された物品が多いほど、陳列状態が良好であると判断してもよい。
実施形態４．
次に、本発明による陳列状況解析装置の第４の実施形態を説明する。本実施形態の陳列状況解析装置の構成も、第１の実施形態と同様である。

【0065】

第４の実施形態では、陳列状況解析部１２は、適切な陳列状態を示す陳列画像を基準状態として、その基準状態における各物品の位置または大きさと、新たに撮影された陳列画像から認識された各物品の位置または大きさのそれぞれの乖離度から、物品の位置する奥行を算出する。適切な陳列状態とは、物品が乱れなく適切な位置に陳列された状態を意味する。以下、適切な陳列状態を示す陳列画像を「基準陳列画像」と記す。基準陳列画像は、例えば、記憶部１３に記憶される。

【0066】

陳列状況解析部１２は、基準陳列画像中の物品と、新たに撮影された陳列画像中の物品との位置の差分（乖離度）に基づいて、その物品の位置する奥行を算出してもよい。また、陳列状況解析部１２は、例えば、基準陳列画像中の物品と、新たに撮影された陳列画像中の物品との大きさの差分（乖離度）に基づいて、その物品の位置する奥行を算出してもよい。陳列状況解析部１２は、例えば、差分が小さいほど物品が手前に存在すると判断し、陳列状態が良好であると判断してもよい。

【0067】

その際、陳列画像が示す範囲と同じ範囲であって、その範囲を過去に撮影した画像を基準画像として用いることが好ましい。同じ範囲を撮影した画像であれば、その差分を検出することが容易だからである。

【0068】

本実施形態では、陳列画像ごとに認識される各物品を比較して物品の位置する奥行を算出する。そのため、例えば、物品が置かれる範囲がほとんど変わらない場合には、奥行を簡易に算出することが可能である。
実施形態５．
次に、本発明による陳列状況解析装置の第５の実施形態を説明する。本実施形態の陳列状況解析装置の構成も、第１の実施形態と同様である。

【0069】

陳列棚によっては、物品が奥に陳列されるほど、その物品が暗く見えることがある。そこで、第５の実施形態では、陳列状況解析部１２は、認識された物品の明るさと、基準とする明るさを示す画素値との乖離度から奥行を算出する。陳列状況解析部１２は、基準とする明るさよりも暗い物品が、より奥に位置すると判断してもよい。

【0070】

例えば、明るさを示す情報として明度を利用する場合、陳列状況解析部１２は、同じ物品であっても、より白色に近い画素値で撮影された物品を、より明るい物品と判断してもよい。また、予め物品棚の奥行に応じた明度を計測しておき、陳列状況解析部１２は、その明度と比較して奥行を算出してもよい。

【0071】

本実施形態では、陳列画像から特定される物品の明るさを比較して、物品の位置する奥行を算出する。そのため、例えば、暗くなっている部分を認識できれば、個々の物品を特定しなくても、その奥行を判断することができる。

【0072】

以上、実施形態ごとに陳列状況解析部１２が陳列状況を解析する方法を説明したが、陳列状況解析部１２は、各実施形態で陳列状況を解析する方法を組み合わせて、陳列状況を判断してもよい。例えば、ある解析方法では奥行の算出が困難であっても、他の方法では奥行を算出できる場合がある。

【0073】

例えば、図２に例示する陳列画像Ｐ２のように、１つの陳列画像中に、上方から撮影される陳列棚と、水平方向から撮影される陳列棚が存在することがある。この場合、陳列状況解析部１２は、例えば、第１の実施形態で説明した解析方法と、第３の実施形態で説明した解析方法を組み合わせることで、いずれの陳列棚の陳列状況も解析することが可能になる。

【0074】

次に、本発明の各実施形態の概要を説明する。図９は、本発明による陳列状況解析装置の各実施形態の概要を示すブロック図である。図９に示す陳列状況解析装置は、物品認識部８１（例えば、物品認識部１１）と、陳列状況解析部８２（例えば、陳列状況解析部１２、解析結果処理部３０）とを備えている。物品認識部８１は、陳列された物品（例えば、商品）を撮影した陳列画像から、その陳列画像中の物品を認識する。陳列状況解析部８２は、認識された物品の位置に基づいて（例えば、物品の位置する奥行に基づいて）、陳列された物品の陳列状況を解析する。

【0075】

そのような構成により、物品の陳列状況を解析できる。

【0076】

具体的には、陳列状況解析部８２は、認識された物品の位置と、陳列画像中における基準位置（例えば、陳列棚の最前列）との距離に基づいて、物品の位置する奥行を算出してもよい。また、陳列状況解析部８２は、認識された各物品の位置を相互に結んだ線（例えば、フェイスライン）と、陳列画像中における比較基準線（基準とする直線や、陳列棚の最前列を示す線）との乖離度から、物品の陳列状況を解析してもよい。

【0077】

他にも、陳列状況解析部８２は、以下のように物品の陳列状況を解析してもよい。すなわち、陳列状況解析部８２は、所定位置に陳列されている物品が撮影された陳列画像から認識された各物品の大きさを基準状態とする。そして、陳列状況解析部８２は、その基準状態における各物品の大きさと、新たに撮影された陳列画像から認識された各物品の大きさとの乖離度（例えば、比率）から、物品の陳列状況を解析してもよい。

【0078】

他にも、陳列状況解析部８２は、以下のように物品の陳列状況を解析してもよい。すなわち、陳列状況解析部８２は、適切な陳列状態が撮影された陳列画像を基準状態とする。そして、陳列状況解析部８２は、その基準状態における各物品の位置または大きさと、撮影された陳列画像から認識された各物品の位置または大きさのそれぞれの乖離度（例えば、比率）から、物品の陳列状況を解析してもよい。

【0079】

また、陳列状況解析部８２は、解析された物品の陳列状況を処理する解析結果処理部（例えば、解析結果処理部３０）を備えていてもよい。そして、解析結果処理部は、算出された物品の位置する奥行が認識可能な態様の画像（例えば、図３や図７に例示する画像）を出力してもよい。

【0080】

また、陳列状況解析部８２は、認識された物品の位置する奥行を算出し、その奥行に基づいて陳列状況を出力してもよい。

【0081】

なお、図１、図９に示した陳列状況解析装置の各部は、図１０に例示するハードウエア資源において実現される。すなわち、図１０に示す構成は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）４１、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）４２、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）４３、外部接続インタフェース４４および記憶媒体４５を備える。

【0082】

上述した各実施形態では、図１、図９に示した陳列状況解析装置における各ブロックに示す機能を、図１０に示すＣＰＵ１０が実行する一例として、ソフトウエア・プログラムによって実現する場合について説明した。しかしながら、図１、図９に示した各ブロックに示す機能は、一部または全部を、ハードウエアとして実現してもよい。

【0083】

また、各実施形態を例に説明した本発明は、陳列状況解析装置に対して、上記説明した機能を実現可能なコンピュータ・プログラムを供給した後、そのコンピュータ・プログラムを、ＣＰＵ１０がＲＡＭ１１に読み出して実行することによって達成される。

【0084】

また、係る供給されたコンピュータ・プログラムは、読み書き可能なメモリ（一時記憶媒体）またはハードディスク装置等のコンピュータ読み取り可能な記憶デバイスに格納すればよい。そして、このような場合において、本発明は、係るコンピュータ・プログラムを表すコード或いは係るコンピュータ・プログラムを格納した記憶媒体によって構成されると捉えることができる。

【0085】

以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解しうる様々な変更をすることができる。

【0086】

この出願は、２０１４年３月１２日に出願された日本出願特願２０１４－０４９００１を基礎とする優先権を主張し、その開示の全てをここに取り込む。

【産業上の利用可能性】

【0087】

本発明は、例えば、商品の陳列棚の監視装置等に適用できる。

【符号の説明】

【0088】

１０ 陳列状況解析装置
１１ 物品認識部
１２ 陳列状況解析部
１３ 記憶部
２０ 画像取得部
３０ 解析結果処理部
Ｐ１，Ｐ２，Ｐ３ 陳列画像
Ｌ１，Ｌ２ 基準線
Ｌ３ フェイスライン

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】