特許 7544269 欠品検出装置、欠品検出方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-08-26

(45)【発行日】2024-09-03

(54)【発明の名称】欠品検出装置、欠品検出方法、及びプログラム

(51)【国際特許分類】

   G06Q 30/0601 20230101AFI20240827BHJP

【ＦＩ】

G06Q30/0601 338

【請求項の数】 10

(21)【出願番号】P 2023522110

(86)(22)【出願日】2021-05-20

(86)【国際出願番号】 JP2021019130

(87)【国際公開番号】W WO2022244176

(87)【国際公開日】2022-11-24

【審査請求日】2023-07-05

(73)【特許権者】

【識別番号】000004237

【氏名又は名称】日本電気株式会社

(74)【代理人】

【識別番号】100110928

【弁理士】

【氏名又は名称】速水 進治

(72)【発明者】

【氏名】富田 莉奈

(72)【発明者】

【氏名】田原 裕司

【審査官】原 忠

(56)【参考文献】

【文献】特開２０１９－２１９９０１（ＪＰ，Ａ）

【文献】特開２０１２－１５６７８８（ＪＰ，Ａ）

【文献】特開２０１０－０７２７００（ＪＰ，Ａ）

【文献】国際公開第２０１２／１４４１６２（ＷＯ，Ａ１）

【文献】特開２０１５－１８４０１３（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｑ １０／００ － ９９／００

(57)【特許請求の範囲】

【請求項1】

商品が陳列される陳列棚を含む第１画像を取得する取得手段と、
前記第１画像を処理することにより、前記陳列棚に欠品が生じているか否かを判断する画像処理手段と、
を備え、
前記画像処理手段は、
前記第１画像の少なくとも一部に含まれる複数の画素の彩度を統計処理した結果を示す第１統計情報を生成し、
前記第１統計情報を用いて前記陳列棚に欠品が生じているか否かを判断し、
さらに、前記陳列棚に欠品が生じているか否かの判断基準を生成する基準生成手段を備え、
前記画像処理手段は、前記第１統計情報が前記判断基準を満たした場合に、前記陳列棚に欠品が生じていると判断し、
前記基準生成手段は、
前記陳列棚を含む複数の画像を、前記彩度を用いて複数のクラスタに分類し、
前記複数のクラスタを用いて前記判断基準を生成する、欠品検出装置。

【請求項2】

請求項１に記載の欠品検出装置において、
前記基準生成手段は、前記判断基準として、彩度の基準値を、第１クラスタの彩度の最大値以上、第２クラスタの彩度の最小値以下の範囲の値に設定する、欠品検出装置。

【請求項3】

請求項１または２に記載の欠品検出装置において、
前記第１統計情報は、彩度の平均値を含む、欠品検出装置。

【請求項4】

請求項１～３のいずれか１項に記載の欠品検出装置において、
前記画像処理手段は、前記陳列棚に欠品が生じている場合に、欠品が生じていることを示す情報を第１の端末に送信し、
前記基準生成手段は、前記判断基準を生成するための処理において所定の条件を満たしたときに、当該所定の条件を満たしたことを示す情報を第２の端末に送信する、欠品検出装置。

【請求項5】

請求項１～４のいずれか一項に記載の欠品検出装置において、
前記画像処理手段は、
前記複数の画素の明度を統計処理した結果を示す第２統計情報を生成し、
前記第１統計情報及び前記第２統計情報を用いて、前記陳列棚に欠品が生じているか否かを判断する、欠品検出装置。

【請求項6】

請求項１～５のいずれか一項に記載の欠品検出装置において、
前記画像処理手段は、
前記複数の画素の色相を統計処理した結果を示す第３統計情報を生成し、
前記第１統計情報及び前記第３統計情報を用いて、前記陳列棚に欠品が生じているか否かを判断する、欠品検出装置。

【請求項7】

請求項１～６のいずれか一項に記載の欠品検出装置において、
店舗内における前記陳列棚の位置、及び前記陳列棚が陳列されている店舗の少なくとも一方に応じて、前記陳列棚に欠品が生じているか否かの判断基準が設定されている、欠品検出装置。

【請求項8】

請求項１～７のいずれか一項に記載の欠品検出装置において、
前記画像処理手段は、前記第１統計情報を用いて前記陳列棚に欠品が生じていないと判断した場合、
さらに、前記第１画像に対して前記商品の個数を検出する個数検出処理を行い、
前記個数検出処理において前記商品の個数が０であると判断された場合、前記陳列棚に欠品が生じていると判断する、欠品検出装置。

【請求項9】

コンピュータが、
商品が陳列される陳列棚を含む第１画像を取得する取得処理と、
前記第１画像を処理することにより、前記陳列棚に欠品が生じているか否かを判断する画像処理と、
を行い、
前記画像処理において、
前記第１画像の少なくとも一部に含まれる複数の画素の彩度を統計処理した結果を示す第１統計情報を生成し、
前記第１統計情報を用いて前記陳列棚に欠品が生じているか否かを判断し、
さらに、前記コンピュータが、
前記陳列棚に欠品が生じているか否かの判断基準を生成する基準生成処理を行い、
前記画像処理において、前記第１統計情報が前記判断基準を満たした場合に、前記陳列棚に欠品が生じていると判断し、
前記基準生成処理において、
前記陳列棚を含む複数の画像を、前記彩度を用いて複数のクラスタに分類し、
前記複数のクラスタを用いて前記判断基準を生成する、欠品検出方法。

【請求項10】

コンピュータに、
商品が陳列される陳列棚を含む第１画像を取得する取得機能と、
前記第１画像を処理することにより、前記陳列棚に欠品が生じているか否かを判断する画像処理機能と、
を持たせ、
前記画像処理機能は、
前記第１画像の少なくとも一部に含まれる複数の画素の彩度を統計処理した結果を示す第１統計情報を生成し、
前記第１統計情報を用いて前記陳列棚に欠品が生じているか否かを判断し、
さらに、前記コンピュータに、
前記陳列棚に欠品が生じているか否かの判断基準を生成する基準生成機能を持たせ、
前記画像処理機能は、
前記第１統計情報が前記判断基準を満たした場合に、前記陳列棚に欠品が生じていると判断し、
前記基準生成機能は、
前記陳列棚を含む複数の画像を、前記彩度を用いて複数のクラスタに分類し、
前記複数のクラスタを用いて前記判断基準を生成する、プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、欠品検出装置、欠品検出方法、及びプログラムに関する。

【背景技術】

【0002】

店舗において、商品の販売機会の損失を防ぐためには、陳列棚に商品が常時陳列されているのが望ましい。このため、陳列棚の商品が欠品していることを早期に把握することが望まれている。これに対し、特許文献１に記載の陳列状況判定システムは、陳列棚を撮影した画像を処理することにより、陳列されている商品の商品識別情報と、商品タグの商品識別情報と認識し、これらを比較することで，商品の陳列状況を判定する。さらにこの陳列状況判定システムは、商品タグの商品識別情報のうち、陳列されている商品の商品識別情報にはない商品識別情報を、欠品している商品の商品識別情報として判定する。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１９－１８５６８４号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

画像処理を用いる場合、商品の欠品を精度よく検出することは難しい。本発明の目的の一例は、画像処理によって商品の欠品を精度よく検出することにある。

【課題を解決するための手段】

【0005】

本発明の一態様によれば、商品が陳列される陳列棚を含む第１画像を取得する取得手段と、
前記第１画像を処理することにより、前記陳列棚に欠品が生じているか否かを判断する画像処理手段と、
を備え、
前記画像処理手段は、
前記第１画像の少なくとも一部に含まれる複数の画素の彩度を統計処理した結果を示す第１統計情報を生成し、
前記第１統計情報を用いて前記陳列棚に欠品が生じているか否かを判断する、欠品検出装置が提供される。

【0006】

本発明の一態様によれば、コンピュータが、
商品が陳列される陳列棚を含む第１画像を取得する取得処理と、
前記第１画像を処理することにより、前記陳列棚に欠品が生じているか否かを判断する画像処理と、
を行い、
前記画像処理において、
前記第１画像の少なくとも一部に含まれる複数の画素の彩度を統計処理した結果を示す第１統計情報を生成し、
前記第１統計情報を用いて前記陳列棚に欠品が生じているか否かを判断する、欠品検出方法が提供される。

【0007】

本発明の一態様によれば、コンピュータに、
商品が陳列される陳列棚を含む第１画像を取得する取得機能と、
前記第１画像を処理することにより、前記陳列棚に欠品が生じているか否かを判断する画像処理機能と、
を持たせ、
前記画像処理機能は、
前記第１画像の少なくとも一部に含まれる複数の画素の彩度を統計処理した結果を示す第１統計情報を生成し、
前記第１統計情報を用いて前記陳列棚に欠品が生じているか否かを判断する、プログラムが提供される。

【発明の効果】

【0008】

本発明によれば、画像処理によって商品の欠品を精度よく検出することができる。

【図面の簡単な説明】

【0009】

上述した目的、およびその他の目的、特徴および利点は、以下に述べる好適な実施の形態、およびそれに付随する以下の図面によってさらに明らかになる。

【0010】

【図1】実施形態に係る欠品検出装置の使用環境を説明する図である。

【図2】欠品検出装置の機能構成の一例を示す図である。

【図3】基準生成部が生成する判断基準の第１例を説明するための図である。

【図4】基準生成部が生成する判断基準の第２例を説明するための図である。

【図5】基準生成部が生成する判断基準の第３例を説明するための図である。

【図6】欠品検出装置のハードウェア構成例を示す図である。

【図7】欠品検出装置が行う処理の第１例を示すフローチャートである。

【図8】欠品検出装置が行う処理の第２例を示すフローチャートである。

【発明を実施するための形態】

【0011】

以下、本発明の実施の形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。

【0012】

図１は、実施形態に係る欠品検出装置１０の使用環境を説明する図である。欠品検出装置１０は、撮像装置２０、第１端末３０、及び第２端末４０と共に使用される。

【0013】

撮像装置２０は、店舗の中を撮影する。撮像装置２０が生成する画像には、商品の陳列棚が含まれている。この陳列棚は、温調機能、例えば保温機能、冷蔵機能、及び冷凍機能いずれも有していない一般的な陳列棚であってもよいし、温調機能を有している陳列棚であってもよい。前者の場合、陳列棚に陳列される商品は、同一の種類の場合は同一の外観を有している。後者の場合、陳列棚に陳列される商品は、例えば店内で調理された商品である。この場合、商品は、同一の種類であっても少しずつ異なる外観を有している。また、一つの陳列棚に複数種類の商品が陳列されることもある。

【0014】

欠品検出装置１０は、撮像装置２０が生成した画像を処理することにより、陳列棚に欠品が生じているか否かを判断する。そして欠品検出装置１０は、陳列棚に欠品が生じている場合、第１端末３０にそのことを示す情報（以下、欠品情報と記載）を送信する。第１端末３０は、店員に用いられている。第１端末３０は、スマートフォンやタブレットなどの携帯型の端末であってもよいし、固定型の端末であってもよい。また第１端末３０は、欠品状態の履歴を記録するデータベースを有する端末であってもよい。

【0015】

また欠品検出装置１０は、欠品の有無を判断する際に用いられる判断基準を、陳列棚を含む複数の画像を処理することにより生成する。ここで欠品検出装置１０は、この生成処理において所定の基準が満たされた場合、そのことを示す情報を、欠品検出装置１０の管理者が使用する第２端末４０に送信する。所定の基準は、上記した判断基準の精度が低下すると想定される場合である。これらの具体例については、後述する。

【0016】

なお、欠品検出装置１０は、店舗毎に設置されていてもよいし、クラウド型の装置であってもよい。後者の場合、欠品検出装置１０は、複数の店舗それぞれの撮像装置２０から画像を取得し、複数の店舗別に陳列棚の欠品の有無を判断する。ただしこの場合でも、第１端末３０は、複数の店舗別に設定されている。このため、欠品検出装置１０は複数の第１端末３０と通信する。なお、欠品検出装置１０がクラウド型の場合、第２端末４０は一つの場合もあれば複数の場合もある。

【0017】

図２は、欠品検出装置１０の機能構成の一例を示す図である。欠品検出装置１０は、取得部１１０、画像処理部１２０、基準生成部１３０、及び画像記憶部１４０を有している。

【0018】

取得部１１０は、撮像装置２０が生成した画像（以下、第１画像と記載）を取得する。第１画像は、リアルタイムで撮像装置２０が生成した画像である。そして取得部１１０は、画像記憶部１４０に第１画像を記憶させる。なお、欠品検出装置１０が複数の店舗を管理している場合、取得部１１０は、店舗識別情報とともに第１画像を取得する。そして取得部１１０は、この商品識別情報に紐づけて第１画像を画像記憶部１４０に記憶させる。これにより、画像記憶部１４０は、店舗別に第１画像を記憶できる。

【0019】

なお、画像記憶部１４０に記憶された第１画像は、欠品の有無を判断する際に用いられる判断基準を更新する際に用いられる。

【0020】

また一つの店舗に複数の陳列棚が設けられており、かつこれら複数の陳列棚別に撮像装置２０が設置されている場合、取得部１１０は、第１画像を、その第１画像を生成した撮像装置２０に識別する情報（以下、撮像装置識別情報と記載）とともに取得する。そして取得部１１０は、この撮像装置識別情報に紐づけて第１画像を画像記憶部１４０に記憶させる。これにより、画像記憶部１４０は、撮像装置２０別すなわち陳列棚別に第１画像を記憶できる。

【0021】

画像処理部１２０は、取得部１１０がリアルタイムで取得した第１画像を処理することにより、陳列棚に欠品が生じているか否かを判断する。具体的には、画像処理部１２０は、第１統計情報を生成する。第１統計情報は、第１画像の少なくとも一部に含まれる複数の画素の彩度を統計処理した結果を示す。ここで行われる処理の一例は平均値の算出であるが、最頻値の算出など、他の方法で代表値を算出する処理であってもよい。ここで、第１画像のうち第１統計情報の元になる領域は、第１画像の全体であってもよいし、第１画像のうち商品が写っているべき領域であってもよい。

【0022】

そして画像処理部１２０は、この第１統計情報を用いて前記陳列棚に欠品が生じているか否かを判断する。一例として、画像処理部１２０は、第１統計情報が所定の判断基準を満たした場合に、陳列棚の商品は欠品していると判断する。ここで用いられる判断基準は、店舗及び陳列棚の少なくとも一方に応じて設定されている。一例として、判断基準は、店舗別に設定されていてもよいし、店舗別かつ陳列棚別に設定されていてもよい。これは、陳列棚の照明条件は店舗ごとかつ陳列棚ごとに異なるためである。

【0023】

そして画像処理部１２０は、陳列棚に欠品が生じている場合、上記した欠品情報を第１端末３０に送信する。

【0024】

なお、画像処理部１２０は、さらに、第１統計情報を生成するときに用いた複数の画素の明度を統計処理した結果を示す情報（以下、第２統計情報と記載）、及びこれら複数の画素の色相を統計処理した結果を示す情報（以下、第３統計情報と記載）の少なくとも一方を算出し、この少なくとも一方をさらに用いて、陳列棚に欠品が生じているか否かを判断してもよい。第２統計情報及び第３統計情報も、平均値又は最頻値など、代表値を示す情報である。

【0025】

画像処理部１２０が行う処理の具体例については、他の図を用いて後述する。

【0026】

基準生成部１３０は、画像記憶部１４０が記憶している画像を用いて、画像処理部１２０が用いる判断基準を定期的に更新する。画像記憶部１４０は、上記した第１画像を記憶しているとともに、欠品検出装置１０の運用開始前に撮像装置２０が生成した画像（以下、第２画像と記載）も含んでいる。欠品検出装置１０の使用者は、欠品検出装置１０の運用の開始前に、所定数の第２画像を生成しておく。そして基準生成部１３０は、この所定数の第２画像用いて上記した判断基準を生成する。そして基準生成部１３０は、第１画像及び第２画像の双方を用いて、定期的に判断基準を更新する。この更新において、基準生成部１３０は、更新時から一定期間前までの間に生成された第１画像を用いる。この際、基準生成部１３０は、第１画像のみを用いて判断基準を更新してもよい。基準生成部１３０は、この判断基準を、店舗別かつ陳列棚別に生成かつ更新する。

【0027】

そして基準生成部１３０は、図１を用いて説明したように、判断基準の生成（更新）処理において所定の基準が満たされた場合、所定の情報を第２端末４０に送信する。

【0028】

画像記憶部１４０は、上記したように、第１画像及び第２画像を記憶している。そして、欠品検出装置１０の使用時間が増えるにつれて、画像記憶部１４０が記憶している第１画像は増加する。なお、画像記憶部１４０は、欠品検出装置１０の外部に位置していてもよい。

【0029】

また、第２画像としては、判断基準の精度が低下しないように選択された画像が用いられる。ここでの選択基準は、例えば照明の映り込みが少ないこと、及び／または陳列棚に広告が取り付けられていないこと、などである。第２画像の選択は、例えば機械学習を用いたモデルによって行われてもよい。

【0030】

図３は、基準生成部１３０が生成する判断基準の第１例を説明するための図である。本図に示す例において、画像処理部１２０及び基準生成部１３０は、彩度に関する第１統計情報、及び明度に関する第２統計情報を用いる。

【0031】

具体的には、基準生成部１３０は、まず、画像記憶部１４０から第１画像及び第２画像を読み出す。この段階では、読み出された画像は、商品が欠品しているか否かの情報に紐づいていない。

【0032】

そして基準生成部１３０は、これら複数の画像を、彩度及び明度を用いて複数のクラスタに分類する。これらのクラスタは、陳列棚に残っている商品の数に基づいている。例えば基準生成部１３０が複数の画像を第１クラスタ及び第２クラスタに分類する場合、相対的に彩度が小さいクラスタ（図３に示す例では第１クラスタ）は陳列棚に商品がない画像に相当し、相対的に彩度が大きいクラスタ（図３に示す例では第２クラスタ）は陳列棚に商品がある画像に相当している。

【0033】

そして基準生成部１３０は、これら複数のクラスタそれぞれを定義する領域を用いて、判断基準を生成する。

【0034】

図３に示す例では、第１クラスタと第２クラスタとが重なっている領域は小さい。そして基準生成部１３０は、第１クラスタの彩度の最大値ａ、及び第２クラスタの彩度の最小値ｂを認識する。そして、基準生成部１３０は、判断基準として、彩度の基準値を、最小値ｂ以上最大値ａ以下の範囲の値に設定する。

【0035】

そして画像処理部１２０は、第１画像の第１統計情報が基準値以下の場合に商品が欠品していると判断し、第１画像の彩度が基準値超の場合に商品はあると判断する。

【0036】

ここで基準生成部１３０は、最大値ａの代わりに、最大値ａに所定のマージン値を加えた値を用いてもよい。また基準生成部１３０は、最小値ｂの代わりに、最小値ｂから所定のマージン値を引いた値を用いてもよい。ここで用いられるマージン値は、運用開始直後においてはデフォルト値が設定されているが、その後、例えば欠品検出装置１０の管理者又は店員によって設定される。

【0037】

なお、図３に示した例において、基準生成部１３０は、明度においても同様の基準値を設定してもよい。また基準生成部１３０は、彩度及び明度に加えて、色相に関する第３統計情報を用いてもよい。この場合、クラスタは３次元空間で定義される。そして基準生成部１３０は、さらに色相においても同様の基準値を設定する。

【0038】

図４は、基準生成部１３０が生成する判断基準の第２例を説明するための図である。本図に示す例において、基準生成部１３０は、図３に示した例と同様に第１クラスタ及び第２クラスタを生成する。そして、基準生成部１３０は、第１クラスタの中心（又は重心）と第２クラスタの中心（又は重心）を結ぶ直線（以下、中心線と記載）を生成する。そして基準生成部１３０は、第１クラスタ及び第２クラスタのそれぞれについて、クラスタの範囲を示す曲線（例えば円又は楕円）の接線のうち、中心線に対して垂直な接線Ａ，Ｂを生成する。そして基準生成部１３０は、判断基準としての基準線を、これら２つの接線Ａ，Ｂの間に位置し、かつこれら接線Ａ，Ｂに平行になるように、設定する。

【0039】

そして画像処理部１２０は、図４に示した２次元平面において、第１画像が基準線上またはそれよりも第１クラスタ側に位置する場合に商品が欠品していると判断し、第１画像が基準線よりも第２クラスタ側に位置する場合に商品はあると判断する。

【0040】

ここで基準生成部１３０は、接線Ａ，Ｂの少なくとも一方を平行に移動させ、基準線として設定可能な範囲を広げてもよい。図４において、接線Ａ，Ｂの移動量をマージンと記載する。ここで用いられる移動量は、例えば欠品検出装置１０の管理者又は店員によって設定される。

【0041】

なお、本図において、第１クラスタは、第２クラスタと重なっている部分を有していない。ただし、第１クラスタの一部が第２クラスタの一部に重なっていても、本図に示す例は適用可能である。

【0042】

図５は、基準生成部１３０が生成する判断基準の第３例を説明するための図である。本図に示す例において、基準生成部１３０は、図３に示した例と同様に第１クラスタ及び第２クラスタを生成する。そして第１クラスタの一部は第２クラスタの一部に重なっている。基準生成部１３０は、第１クラスタを定義する曲線（例えば円又は楕円）と第２クラスタを定義する曲線（例えば円又は楕円）の２つの交点を特定する。そして基準生成部１３０は、これら２つの交点を結ぶ直線Ｃを生成する。そして基準生成部１３０は、直線Ｃを第１クラスタ側の平行に移動させた直線Ｄと、直線Ｃを第２クラスタ側の平行に移動させた直線Ｅを生成する。これらの移動量は、図３，４の例におけるマージンに相当しており、例えば欠品検出装置１０の管理者又は店員によって設定される。そして基準生成部１３０は、判断基準としての基準線を、これら２つの直線Ｄ，Ｅの間に位置し、かつこれら直線Ｄ，Ｅに平行になるように、設定する。

【0043】

そして画像処理部１２０は、図５に示した２次元平面において、第１画像が基準線上またはそれよりも第１クラスタ側に位置する場合に商品が欠品していると判断し、第１画像が基準線よりも第２クラスタ側に位置する場合に商品はあると判断する。

【0044】

図３～図５を用いて説明した処理は、店舗別かつ陳列棚別に行われる。

【0045】

なお、図４及び図５に示した例において、基準生成部１３０は、さらに色相に関する第３統計情報を用いてもよい。この場合、クラスタは３次元空間で定義される。そして基準生成部１３０は、この３次元空間において、上記した処理を行うことにより、判断基準を設定する。

【0046】

また、図３、図４、及び図５に示した例において、第１クラスタ及び第２クラスタが形成されなかった場合、基準生成部１３０は判断基準を生成できない。そこで基準生成部１３０は、そのことを示す情報を第２端末４０に送信する。

【0047】

また、図３及び図５に示した例において、第１クラスタと第２クラスタとが重なっている領域の面積が大きい場合、基準値の精度が低下する恐れがある。そこで基準生成部１３０は、この領域の面積が基準を満たした場合（例えば基準値以上になった場合）、そのことを示す情報を第２端末４０に送信する。

【0048】

さらに、図３～図５に示した例において、画像記憶部１４０から読み出された画像が３つ以上のクラスタに分類されることもあり得る。この場合、基準生成部１３０は、そのことを示す情報を第２端末４０に送信する。また基準生成部１３０は、所定のクラスタを削除してクラスタの数を２つに絞ってもよい。この場合、基準生成部１３０は、削除すべきクラスタを、例えば彩度及びそのクラスタに属する画像の数の少なくとも一方を用いて選択する。

【0049】

図６は、欠品検出装置１０のハードウェア構成例を示す図である。欠品検出装置１０は、バス１０１０、プロセッサ１０２０、メモリ１０３０、ストレージデバイス１０４０、入出力インタフェース１０５０、及びネットワークインタフェース１０６０を有する。

【0050】

バス１０１０は、プロセッサ１０２０、メモリ１０３０、ストレージデバイス１０４０、入出力インタフェース１０５０、及びネットワークインタフェース１０６０が、相互にデータを送受信するためのデータ伝送路である。ただし、プロセッサ１０２０などを互いに接続する方法は、バス接続に限定されない。

【0051】

プロセッサ１０２０は、ＣＰＵ（Central Processing Unit） やＧＰＵ（Graphics Processing Unit）などで実現されるプロセッサである。

【0052】

メモリ１０３０は、ＲＡＭ（Random Access Memory）などで実現される主記憶装置である。

【0053】

ストレージデバイス１０４０は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、メモリカード、又はＲＯＭ（Read Only Memory）などで実現される補助記憶装置である。ストレージデバイス１０４０は欠品検出装置１０の各機能（例えば取得部１１０、画像処理部１２０、及び基準生成部１３０）を実現するプログラムモジュールを記憶している。プロセッサ１０２０がこれら各プログラムモジュールをメモリ１０３０上に読み込んで実行することで、そのプログラムモジュールに対応する各機能が実現される。また、ストレージデバイス１０４０は画像記憶部１４０としても機能する。

【0054】

入出力インタフェース１０５０は、欠品検出装置１０と各種入出力機器とを接続するためのインタフェースである。

【0055】

ネットワークインタフェース１０６０は、欠品検出装置１０をネットワークに接続するためのインタフェースである。このネットワークは、例えばＬＡＮ（Local Area Network）やＷＡＮ（Wide Area Network）である。ネットワークインタフェース１０６０がネットワークに接続する方法は、無線接続であってもよいし、有線接続であってもよい。欠品検出装置１０は、例えばネットワークインタフェース１０６０を介して撮像装置２０、第１端末３０、及び第２端末４０と通信する。

【0056】

図７は、欠品検出装置１０が行う処理の第１例を示すフローチャートである。基準生成部１３０は、予め判断基準を生成している。この判断基準は、例えば画像記憶部１４０に記憶されている。また、撮像装置２０は、繰り返し陳列棚を撮像している。そして撮像装置２０は、一定間隔でその画像を第１画像としてリアルタイムで欠品検出装置１０に送信する。欠品検出装置１０は、第１画像を取得するたびに本図に示す処理を行う。なお、欠品検出装置１０は、本図に示す処理を自動で開始してもよいし、管理者又は店員から所定の入力があったときに開始してもよい。

【0057】

欠品検出装置１０の取得部１１０は、撮像装置２０から第１画像を取得する（ステップＳ１０）。取得部１１０は、この第１画像を画像記憶部１４０に記憶させる。

【0058】

次いで画像処理部１２０は、ステップＳ１０で取得した第１画像を処理することにより、第１統計情報を生成する。ここで画像処理部１２０は、必要に応じて第２統計情報及び第３統計情報も生成する（ステップＳ２０）。次いで基準生成部１３０は、ステップＳ２０で生成された情報と、基準生成部１３０が予め生成していた判断基準とを用いて、陳列棚の商品が欠品しているか否かを判断する（ステップＳ３０）。基準生成部１３０は、欠品していると判断した場合（ステップＳ３０：Ｙｅｓ）、欠品情報を第１端末３０に送信する（ステップＳ４０）。

【0059】

第１端末３０は、欠品情報が送信されてきたことを、例えば音声又は振動を用いて店員に通知する。店員は、欠品情報を取得すると、商品を陳列棚に補充するための作業を行う。

【0060】

なお、図１を用いて説明したように、一つの陳列棚に複数種類の商品が陳列されていることがある。この場合、商品の種類ごとに、その商品が陳列されるべき位置は決まっている。そこで、欠品検出装置１０は、商品の種類ごとに、その商品の種類に対応する領域を第１画像及び第２画像のそれぞれから切り出し、この切出した領域を第１画像及び第２画像の代わりに用いて上記した処理を行えばよい。この場合、判断基準も、同様にして生成される。

【0061】

図８は、欠品検出装置１０が行う処理の第２例を示すフローチャートである。本図において、ステップＳ１０～ステップＳ３０（Ｙｅｓ）、及びステップＳ４０に係る処理は、図７に示した例と同様である。

【0062】

画像処理部１２０は、欠品が生じていないと判断した場合（ステップＳ３０：Ｎｏ）、第１画像に対して、商品の個数を検知する処理を行う。この処理は、例えば商品の特徴量を用いて行われてもよいし、機械学習によって生成されたモデルを用いて行われてもよい（ステップＳ３２）。そして画像処理部１２０は、商品の個数が０個であると判断した場合（ステップＳ３４：Ｎｏ）、ステップＳ４０に示した処理を行う。

【0063】

陳列棚に付属品（例えば広告など）が設けられている場合、及び陳列棚の一部が照明を反射している場合、第１画像の第１統計情報、第２統計情報、及び第３統計情報の少なくとも一つ（特に第１統計情報）は、この付属品に起因して大きな値になる可能性が出てくる。この場合、ステップＳ２０及びステップＳ３０に示した処理において、商品が欠品しているにもかかわらず、商品が残っていると誤認識される可能性がでてくる。これに対してステップＳ３２及びステップＳ３４に示した処理が行われると、この誤認識をリカバリーできる。

【0064】

なお、ステップＳ３４において商品の個数が０個であると判断された場合、基準生成部１３０は以下の処理を行ってもよい。まず基準生成部１３０は、図３～図５に示した平面において、第１クラスタの中心（又は重心）とステップＳ１０で取得した第１画像の距離を算出する。この距離が基準値以上の場合、陳列棚の環境（照明条件や付属品など）に起因して、第１クラスタの精度が低下している可能性がある。そこで基準生成部１３０は、第２端末４０にそのことを示す情報を送信する。なお、この処理は画像処理部１２０が行ってもよい。この場合、画像処理部１２０は第１端末３０に上記した情報を送信する。この送信処理は、上記した距離が基準値以上になる度に行われてもよいし、上記した距離が基準値以上になった回数が基準回数に達した時に行われてもよい。

【0065】

以上、本実施形態によれば、欠品検出装置１０は、画像処理によって商品の欠品を精度よく検出できる。また、欠品の検出に必要な計算量も少なくて済む。

【0066】

以上、図面を参照して本発明の実施形態について述べたが、これらは本発明の例示であり、上記以外の様々な構成を採用することもできる。

【0067】

また、上述の説明で用いた複数のフローチャートでは、複数の工程（処理）が順番に記載されているが、各実施形態で実行される工程の実行順序は、その記載の順番に制限されない。各実施形態では、図示される工程の順番を内容的に支障のない範囲で変更することができる。また、上述の各実施形態は、内容が相反しない範囲で組み合わせることができる。

【0068】

上記の実施形態の一部または全部は、以下の付記のようにも記載されうるが、以下に限られない。
１．商品が陳列される陳列棚を含む第１画像を取得する取得手段と、
前記第１画像を処理することにより、前記陳列棚に欠品が生じているか否かを判断する画像処理手段と、
を備え、
前記画像処理手段は、
前記第１画像の少なくとも一部に含まれる複数の画素の彩度を統計処理した結果を示す第１統計情報を生成し、
前記第１統計情報を用いて前記陳列棚に欠品が生じているか否かを判断する、欠品検出装置。
２．上記１に記載の欠品検出装置において、
前記第１統計情報は、彩度の平均値を含む、欠品検出装置。
３．上記１又は２に記載の欠品検出装置において、
前記陳列棚に欠品が生じているか否かの判断基準を生成する基準生成手段を備え、
前記画像処理手段は、前記判断基準を用いて前記陳列棚に欠品が生じているか否かを判断し、
前記基準生成手段は、
前記陳列棚を含む複数の画像を、前記彩度を用いて複数のクラスタに分類し、
前記複数のクラスタを用いて前記判断基準を生成する、欠品検出装置。
４．上記３に記載の欠品検出装置において、
前記画像処理手段は、前記陳列棚に欠品が生じている場合に、欠品が生じていることを示す情報を第１の端末に送信し、
前記基準生成手段は、前記判断基準を生成するための処理において所定の条件を満たしたときに、当該所定の条件を満たしたことを示す情報を第２の端末に送信する、欠品検出装置。
５．上記１～４のいずれか一項に記載の欠品検出装置において、
前記画像処理手段は、
前記複数の画素の明度を統計処理した結果を示す第２統計情報を生成し、
前記第１統計情報及び前記第２統計情報を用いて、前記陳列棚に欠品が生じているか否かを判断する、欠品検出装置。
６．上記１～５のいずれか一項に記載の欠品検出装置において、
前記画像処理手段は、
前記複数の画素の色相を統計処理した結果を示す第３統計情報を生成し、
前記第１統計情報及び前記第３統計情報を用いて、前記陳列棚に欠品が生じているか否かを判断する、欠品検出装置。
７．上記１～６のいずれか一項に記載の欠品検出装置において、
店舗内における前記陳列棚の位置、及び前記陳列棚が陳列されている店舗の少なくとも一方に応じて、前記陳列棚に欠品が生じているか否かの判断基準が設定されている、欠品検出装置。
８．上記１～７のいずれか一項に記載の欠品検出装置において、
前記画像処理手段は、前記第１統計情報を用いて前記陳列棚に欠品が生じていないと判断した場合、
さらに、前記第１画像に対して前記商品の個数を検出する個数検出処理を行い、
前記個数検出処理において前記商品の個数が０であると判断された場合、前記陳列棚に欠品が生じていると判断する、欠品検出装置。
９．コンピュータが、
商品が陳列される陳列棚を含む第１画像を取得する取得処理と、
前記第１画像を処理することにより、前記陳列棚に欠品が生じているか否かを判断する画像処理と、
を行い、
前記画像処理において、
前記第１画像の少なくとも一部に含まれる複数の画素の彩度を統計処理した結果を示す第１統計情報を生成し、
前記第１統計情報を用いて前記陳列棚に欠品が生じているか否かを判断する、欠品検出方法。
１０．上記９に記載の欠品検出方法において、
前記第１統計情報は、彩度の平均値を含む、欠品検出方法。
１１．上記９又は１０に記載の欠品検出方法において、
前記コンピュータは、
前記陳列棚に欠品が生じているか否かの判断基準を生成する基準生成処理を行い、
前記画像処理において、前記判断基準を用いて前記陳列棚に欠品が生じているか否かを判断し、
前記基準生成処理において、
前記陳列棚を含む複数の画像を、前記彩度を用いて複数のクラスタに分類し、
前記複数のクラスタを用いて前記判断基準を生成する、欠品検出方法。
１２．上記１１に記載の欠品検出方法において、
前記コンピュータは、
前記画像処理において、前記陳列棚に欠品が生じている場合に、欠品が生じていることを示す情報を第１の端末に送信し、
前記基準生成処理において、所定の条件を満たしたときに、当該所定の条件を満たしたことを示す情報を第２の端末に送信する、欠品検出方法。
１３．上記９～１２のいずれか一項に記載の欠品検出方法において、
前記コンピュータは、前記画像処理において、
前記複数の画素の明度を統計処理した結果を示す第２統計情報を生成し、
前記第１統計情報及び前記第２統計情報を用いて、前記陳列棚に欠品が生じているか否かを判断する、欠品検出方法。
１４．上記９～１３のいずれか一項に記載の欠品検出方法において、
前記コンピュータは、前記画像処理において、
前記複数の画素の色相を統計処理した結果を示す第３統計情報を生成し、
前記第１統計情報及び前記第３統計情報を用いて、前記陳列棚に欠品が生じているか否かを判断する、欠品検出方法。
１５．上記９～１４のいずれか一項に記載の欠品検出方法において、
店舗内における前記陳列棚の位置、及び前記陳列棚が陳列されている店舗の少なくとも一方に応じて、前記陳列棚に欠品が生じているか否かの判断基準が設定されている、欠品検出方法。
１６．上記９～１５のいずれか一項に記載の欠品検出方法において、
前記コンピュータは、前記画像処理において、
前記第１統計情報を用いて前記陳列棚に欠品が生じていないと判断した場合、
さらに、前記第１画像に対して前記商品の個数を検出する個数検出処理を行い、
前記個数検出処理において前記商品の個数が０であると判断された場合、前記陳列棚に欠品が生じていると判断する、欠品検出方法。
１７．コンピュータに、
商品が陳列される陳列棚を含む第１画像を取得する取得機能と、
前記第１画像を処理することにより、前記陳列棚に欠品が生じているか否かを判断する画像処理機能と、
を持たせ、
前記画像処理機能は、
前記第１画像の少なくとも一部に含まれる複数の画素の彩度を統計処理した結果を示す第１統計情報を生成し、
前記第１統計情報を用いて前記陳列棚に欠品が生じているか否かを判断する、プログラム。
１８．上記１７に記載のプログラムにおいて、
前記第１統計情報は、彩度の平均値を含む、プログラム。
１９．上記１７又は１８に記載のプログラムにおいて、
前記コンピュータに、前記陳列棚に欠品が生じているか否かの判断基準を生成する基準生成機能を持たせ
前記画像処理機能は、前記判断基準を用いて前記陳列棚に欠品が生じているか否かを判断し、
前記基準生成機能は、
前記陳列棚を含む複数の画像を、前記彩度を用いて複数のクラスタに分類し、
前記複数のクラスタを用いて前記判断基準を生成する、プログラム。
２０．上記１９に記載のプログラムにおいて、
前記画像処理機能は、前記陳列棚に欠品が生じている場合に、欠品が生じていることを示す情報を第１の端末に送信し、
前記基準生成機能は、前記判断基準を生成するための処理において所定の条件を満たしたときに、当該所定の条件を満たしたことを示す情報を第２の端末に送信する、プログラム。
２１．上記１７～２０のいずれか一項に記載のプログラムにおいて、
前記画像処理機能は、
前記複数の画素の明度を統計処理した結果を示す第２統計情報を生成し、
前記第１統計情報及び前記第２統計情報を用いて、前記陳列棚に欠品が生じているか否かを判断する、プログラム。
２２．上記１７～２１のいずれか一項に記載のプログラムにおいて、
前記画像処理機能は、
前記複数の画素の色相を統計処理した結果を示す第３統計情報を生成し、
前記第１統計情報及び前記第３統計情報を用いて、前記陳列棚に欠品が生じているか否かを判断する、プログラム。
２３．上記１７～２２のいずれか一項に記載のプログラムにおいて、
店舗内における前記陳列棚の位置、及び前記陳列棚が陳列されている店舗の少なくとも一方に応じて、前記陳列棚に欠品が生じているか否かの判断基準が設定されている、プログラム。
２４．上記１７～２３のいずれか一項に記載のプログラムにおいて、
前記画像処理機能は、前記第１統計情報を用いて前記陳列棚に欠品が生じていないと判断した場合、
さらに、前記第１画像に対して前記商品の個数を検出する個数検出処理を行い、
前記個数検出処理において前記商品の個数が０であると判断された場合、前記陳列棚に欠品が生じていると判断する、プログラム。

【符号の説明】

【0069】

１０ 欠品検出装置
２０ 撮像装置
３０ 第１端末
４０ 第２端末
１１０ 取得部
１２０ 画像処理部
１３０ 基準生成部
１４０ 画像記憶部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】