特許 7509151 店舗監視システム、店舗監視装置、店舗監視方法及び記録媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-06-24

(45)【発行日】2024-07-02

(54)【発明の名称】店舗監視システム、店舗監視装置、店舗監視方法及び記録媒体

(51)【国際特許分類】

   H04N 7/18 20060101AFI20240625BHJP

   G06Q 30/0601 20230101ALI20240625BHJP

   A47F 5/00 20060101ALI20240625BHJP

【ＦＩ】

H04N7/18 D

H04N7/18 K

G06Q30/0601 338

A47F5/00 Z

【請求項の数】 8

(21)【出願番号】P 2021553648

(86)(22)【出願日】2020-10-28

(86)【国際出願番号】 JP2020040412

(87)【国際公開番号】W WO2021085467

(87)【国際公開日】2021-05-06

【審査請求日】2023-09-11

(31)【優先権主張番号】P 2019198268

(32)【優先日】2019-10-31

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】000004237

【氏名又は名称】日本電気株式会社

(74)【代理人】

【識別番号】100104765

【弁理士】

【氏名又は名称】江上 達夫

(74)【代理人】

【識別番号】100107331

【弁理士】

【氏名又は名称】中村 聡延

(74)【代理人】

【識別番号】100131015

【弁理士】

【氏名又は名称】三輪 浩誉

(72)【発明者】

【氏名】内村 淳

(72)【発明者】

【氏名】田原 裕司

(72)【発明者】

【氏名】富田 莉奈

(72)【発明者】

【氏名】加増 康代

【審査官】鈴木 隆夫

(56)【参考文献】

【文献】特開２０１９－１５９４３３（ＪＰ，Ａ）

【文献】特開２０１６－０９９９２３（ＪＰ，Ａ）

【文献】特開２０１９－０７９３２２（ＪＰ，Ａ）

【文献】特開２０１５－１４８９５６（ＪＰ，Ａ）

【文献】特開２００６－０５９０３８（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ７／１８

Ｇ０６Ｑ ３０／０６０１

Ａ４７Ｆ ５／００

(57)【特許請求の範囲】

【請求項1】

撮像装置と、
前記撮像装置が撮像した撮像画像を用いて、店舗の商品棚を監視する店舗監視装置と
を備え、
前記店舗監視装置は、
前記撮像装置から前記撮像画像を逐次取得する取得手段と、
前記撮像画像のうち前記商品棚が映り込んでいない非棚画像を排除することで、前記撮像画像から前記商品棚が映り込んでいる棚画像を抽出すると共に、前記棚画像の歪みを補正することで前記商品棚を正面から撮像した場合に得られる正面棚画像を生成する画像生成手段と、
前記正面棚画像を逐次蓄積する蓄積手段と
を備え、
前記蓄積手段は、前記正面棚画像が示す前記商品棚の状態の単位時間当たりの変化量に基づき、前記蓄積手段が単位時間当たりに蓄積する正面棚画像の数を変更する
店舗監視システム。

【請求項2】

前記蓄積手段は、前記正面棚画像が示す前記商品棚の状態の単位時間当たりの変化量の増加に伴い、前記蓄積手段が単位時間当たりに蓄積する前記正面棚画像の数を増加する
請求項１に記載の店舗監視システム。

【請求項3】

前記画像生成手段は、ユーザの操作に基づいて、前記正面棚画像を生成する
請求項１又は２に記載の店舗監視システム。

【請求項4】

前記撮像装置は、前記商品棚に付された指標と共に前記商品棚を撮像し、
前記画像生成手段は、前記撮像画像に映り込んでいる前記指標に基づいて、前記正面棚画像を生成する
請求項１から３のいずれか一項に記載の店舗監視システム。

【請求項5】

前記画像生成手段は、前記商品棚を正面から実際に撮像することで得られた実画像に基づいて、前記正面棚画像を生成する
請求項１から４のいずれか一項に記載の店舗監視システム。

【請求項6】

店舗の商品棚を監視する店舗監視装置であって、
撮像装置が撮像した撮像画像を逐次取得する取得手段と、
前記撮像画像のうち前記商品棚が映り込んでいない非棚画像を排除することで、前記撮像画像から前記商品棚が映り込んでいる棚画像を抽出すると共に、前記棚画像の歪みを補正することで前記商品棚を正面から撮像した場合に得られる正面棚画像を生成する画像生成手段と、
前記正面棚画像を逐次蓄積する蓄積手段と
を備え、
前記蓄積手段は、前記正面棚画像が示す前記商品棚の状態の単位時間当たりの変化量に基づき、前記蓄積手段が単位時間当たりに蓄積する正面棚画像の数を変更する
店舗監視装置。

【請求項7】

店舗の商品棚を監視する店舗監視方法であって、
撮像装置が撮像した撮像画像を逐次取得することと、
前記撮像画像のうち前記商品棚が映り込んでいない非棚画像を排除することで、前記撮像画像から前記商品棚が映り込んでいる棚画像を抽出すると共に、前記棚画像の歪みを補正することで前記商品棚を正面から撮像した場合に得られる正面棚画像を生成することと、
前記正面棚画像を逐次蓄積することと
を含み、
前記蓄積することは、前記正面棚画像が示す前記商品棚の状態の単位時間当たりの変化量に基づき、単位時間当たりに蓄積する正面棚画像の数を変更する
店舗監視方法。

【請求項8】

店舗の商品棚を監視する店舗監視方法をコンピュータに実行させるコンピュータプログラムであって、
前記店舗監視方法は、
撮像装置が撮像した撮像画像を逐次取得することと、
前記撮像画像のうち前記商品棚が映り込んでいない非棚画像を排除することで、前記撮像画像から前記商品棚が映り込んでいる棚画像を抽出すると共に、前記棚画像の歪みを補正することで前記商品棚を正面から撮像した場合に得られる正面棚画像を生成することと、
前記正面棚画像を逐次蓄積することと
を含み、
前記蓄積することは、前記正面棚画像が示す前記商品棚の状態の単位時間当たりの変化量に基づき、単位時間当たりに蓄積する正面棚画像の数を変更する
コンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、店舗の商品棚を監視するための店舗監視システム、店舗監視装置、店舗監視方法及び記録媒体の技術分野に関する。

【背景技術】

【0002】

スーパーマーケット及びコンビニエンスストア等の店舗の商品棚を監視するための店舗監視システムが知られている（例えば、特許文献１から３参照）。その他、商品棚を監視するための店舗監視システムを開示する文献ではないものの、本願発明に関連する先行技術文献として、特許文献４があげられる。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１９－００８６２２号公報

【文献】特開２０１８－１３９０６２号公報

【文献】特開２０００－２７０２９７号公報

【文献】特開２０１８－２０１１４６号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

店舗監視システムは、典型的には、店舗に設置された撮像装置と、撮像装置が撮像した撮像画像を用いて商品棚を監視する店舗監視装置とを備えている。この場合、店舗監視装置は、撮像画像から商品棚を監視するために適した画像を生成し、生成した画像を用いて商品棚を監視することが好ましい。上述した特許文献１から４に記載された店舗監視システムは、撮像画像から店舗を監視するために適した画像を生成するという点で改善の余地がある。

【0005】

本発明は、上述した技術的問題を解決可能な店舗監視システム、店舗監視装置、店舗監視方法及び記録媒体を提供することを課題とする。一例として、本発明は、撮像画像から店舗を監視するために適した画像を適切に生成することが可能な店舗監視システム、店舗監視方法及び記録媒体を提供することを課題とする。

【課題を解決するための手段】

【0006】

課題を解決するための店舗監視システムの一例は、撮像装置と、前記撮像装置が撮像した撮像画像を用いて、前記店舗の商品棚を監視する店舗監視装置とを備え、前記店舗監視装置は、前記撮像装置から前記撮像画像を逐次取得する取得手段と、前記撮像画像のうち前記商品棚が映り込んでいない非棚画像を排除することで、前記撮像画像から前記商品棚が映り込んでいる棚画像を抽出すると共に、前記棚画像の歪みを補正することで前記商品棚を正面から撮像した場合に得られる正面棚画像を生成する画像生成手段とを備える。

【0007】

課題を解決するための店舗監視装置の一例は、店舗の商品棚を監視する店舗監視装置であって、撮像装置が撮像した撮像画像を逐次取得する取得手段と、前記撮像画像のうち前記商品棚が映り込んでいない非棚画像を排除することで、前記撮像画像から前記商品棚が映り込んでいる棚画像を抽出すると共に、前記棚画像の歪みを補正することで前記商品棚を正面から撮像した場合に得られる正面棚画像を生成する画像生成手段とを備える。

【0008】

課題を解決するための店舗監視方法の一例は、店舗の商品棚を監視する店舗監視方法であって、撮像装置が撮像した撮像画像を逐次取得することと、前記撮像画像のうち前記商品棚が映り込んでいない非棚画像を排除することで、前記撮像画像から前記商品棚が映り込んでいる棚画像を抽出すると共に、前記棚画像の歪みを補正することで前記商品棚を正面から撮像した場合に得られる正面棚画像を生成することとを含む。

【0009】

課題を解決するための記録媒体の一例は、店舗の商品棚を監視する店舗監視方法をコンピュータに実行させるコンピュータプログラムが記録された記録媒体であって、前記店舗監視方法は、撮像装置が撮像した撮像画像を逐次取得することと、前記撮像画像のうち前記商品棚が映り込んでいない非棚画像を排除することで、前記撮像画像から前記商品棚が映り込んでいる棚画像を抽出すると共に、前記棚画像の歪みを補正することで前記商品棚を正面から撮像した場合に得られる正面棚画像を生成することとを含むコンピュータプログラムが記録された記録媒体である。

【発明の効果】

【0010】

上述した店舗監視システム、店舗監視装置、店舗監視方法及び記録媒体によれば、撮像画像から店舗を監視するために適した画像を適切に生成することができる。

【図面の簡単な説明】

【0011】

【図1】図１は、本実施形態の店舗監視システムの全体構成を示すブロック図である。

【図2】図２は、本実施形態の店舗監視システムが採用されている店舗５の一例を示す見取り図である。

【図3】図３は、本実施形態の店舗監視サーバの構成を示すブロック図である。

【図4】図４は、本実施形態の撮像装置の構成を示すブロック図である。

【図5】図５は、画像生成動作の流れを示すフローチャートである。

【図6】図６は、撮像装置が撮像した撮像画像を示す平面図である。

【図7】図７は、図６に示す撮像画像から生成された正面棚画像を示す平面図である。

【図8】図８（ａ）は、複数の基準点が配置された撮像画像を示す平面図であり、図８（ｂ）は、図８（ａ）に示す撮像画像から生成された正面棚画像を、複数の基準点と共に示す平面図である。

【図9】図９は、撮像画像と共に正面棚画像及び教師画像を表示する表示装置を示す平面図である。

【図10】図１０は、複数のマークが配置された商品棚を示す平面図である。

【図11】図１１は、図１０に示す複数のマークが配置された商品棚を撮像することで得られる撮像画像を示す平面図であり、図１１（ｂ）は、複数のマークが配置された商品棚を示す平面図である。

【図12】図１２は、複数のマークが配置された商品棚の他の例を示す平面図である。

【図13】図１３は、円周魚眼レンズを含むカメラによって撮像された撮像画像と、この撮像画像を平面展開することで生成されるパノラマ画像とを示す平面図である。

【図14】図１４は、本実施形態の店舗監視サーバの構成の他の例を示すブロック図である。

【発明を実施するための形態】

【0012】

以下、図面を参照しながら、店舗監視システム、店舗監視装置、店舗監視方法及び記録媒体の実施形態について説明する。以下では、店舗監視システム、店舗監視方法及び記録媒体の実施形態が適用された店舗監視システム４について説明する。

【0013】

はじめに、図１を参照しながら、本実施形態の店舗監視システム４の全体構成について説明する。図１は、本実施形態の店舗監視システム４の全体構成を示すブロック図である。

【0014】

図１に示すように、店舗監視システム４は、店舗監視サーバ１と、複数の撮像装置２とを備える。但し、店舗監視システム４は、単一の撮像装置２を備えていてもよい。店舗監視サーバ１と複数の撮像装置２の夫々とは、ネットワーク網３を介して互いに通信可能である。ネットワーク網３は、有線のネットワーク網を含んでいてもよいし、無線のネットワーク網を含んでいてもよい。

【0015】

このような店舗監視システム４が採用される店舗５の一例が、店舗５の見取り図として図２に示されている。例えば、図２に示すように、店舗５は、複数の商品棚６が設置されたショッピングスペース５１を備える。図２は、１６個の商品棚６（具体的には、商品棚６＃１から６＃１６）が設置されたショッピングスペース５１を示している。但し、商品棚６の数が１６に限定されることはない。ショッピングスペース５１には、１７個以上の商品棚６が設置されていてもよいし、１５個以下の商品棚６が設置されていてもよいし、単一の商品棚６が設置されていてもよい。顧客は、店舗５の入口５２を介して、店舗５の外部からショッピングスペース５１に入場可能である。その結果、顧客は、ショッピングスペース５１に設置された商品棚６に陳列された商品を購入することができる。更に、顧客は、入口５２を介して、ショッピングスペース５１から店舗５の外部に退場可能である。尚、図２は、店舗５の内部にショッピングスペース５１が配置される例を示している。しかしながら、ショッピングスペース５１の少なくとも一部が、店舗５の外部（例えば、店舗５の軒先等）に配置されていてもよい。

【0016】

図２（更には、図１）に示すように、撮像装置２は、ショッピングスペース５１を撮像可能な位置（例えば、店舗５の内部及び／又は外部）に配置される。図２は、９個の撮像装置２（具体的には、撮像装置２＃１から撮像装置２＃９）が店舗５内に配置される例を示している。撮像装置２は、ショッピングスペース５１に設置された少なくとも一つの商品棚６を撮像することで、少なくとも一つの商品棚６の状態を示す撮像画像７１を生成する。撮像装置２は、生成した撮像画像７１を、ネットワーク網３を介して店舗監視サーバ１に送信（言い換えれば、出力）する。

【0017】

店舗監視サーバ１は、撮像装置２から送信されてきた撮像画像７１を受信（言い換えれば、取得）する。店舗監視サーバ１は、取得した撮像画像７１を用いて、店舗５の商品棚６を監視する。具体的には、店舗監視サーバ１は、撮像画像７１から、撮像画像７１に映り込んでいる商品棚６であって且つ監視するべき商品棚６を正面から撮像した場合に得られる正面棚画像７２を生成するための画像生成動作を行う。更に、店舗監視サーバ１は、生成した正面棚画像７２を用いて、商品棚６を監視するための監視動作を行う。尚、店舗監視サーバ１は、店舗５内に配置されていてもよいし、店舗５外に配置されていてもよい。

【0018】

以下、このような店舗監視システム４を構成する各装置（つまり、店舗監視サーバ１及び撮像装置２）の構成について順に説明する。

【0019】

まず、図３を参照しながら、本実施形態の店舗監視サーバ１の構成について説明する。図３は、本実施形態の店舗監視サーバ１の構成を示すブロック図である。

【0020】

図３に示すように、店舗監視サーバ１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１と、記憶装置１２と、通信装置１３と、入力装置１４と、表示装置１５とを備えている。ＣＰＵ１１と、記憶装置１２と、通信装置１３と、入力装置１４と、表示装置１５とは、データバス１６を介して接続されている。

【0021】

ＣＰＵ１１は、コンピュータプログラムを読み込む。例えば、ＣＰＵ１１は、記憶装置１２が記憶しているコンピュータプログラムを読み込んでもよい。例えば、ＣＰＵ１１は、コンピュータで読み取り可能な記録媒体が記憶しているコンピュータプログラムを、図示しない記録媒体読み取り装置を用いて読み込んでもよい。ＣＰＵ１１は、通信装置１３を介して、店舗監視サーバ１の外部に配置される不図示の装置からコンピュータプログラムを取得してもよい（つまり、ダウンロードしてもよい又は読み込んでもよい）。ＣＰＵ１１は、読み込んだコンピュータプログラムを実行する。その結果、ＣＰＵ１１内には、店舗監視サーバ１が行うべき動作（例えば、上述した画像生成動作及び監視動作）を実行するための論理的な機能ブロックが実現される。つまり、ＣＰＵ１１は、店舗監視サーバ１が行うべき動作を実行するための論理的な機能ブロックを実現するためのコントローラとして機能可能である。

【0022】

図３には、店舗監視サーバ１が行うべき動作を実行するためにＣＰＵ１１内に実現される論理的な機能ブロックの一例が示されている。図３に示すように、ＣＰＵ１１内には、画像取得部１１１と、画像生成部１１２と、監視部１１３とが実現される。画像取得部１１１は、カメラ２１が商品棚６を撮像する都度（つまり、新たな撮像画像７１が生成される都度）、通信装置１３を介して撮像装置２から撮像画像７１を逐次取得する。画像生成部１１２は、カメラ２１が商品棚６を撮像する都度（つまり、新たな撮像画像７１が生成される都度）、上述した画像生成動作を実行することで正面棚画像７２を生成する。監視部１１３は、上述した監視動作を実行する。

【0023】

記憶装置１２は、所望のデータを記憶可能である。例えば、記憶装置１２は、ＣＰＵ１１が実行するコンピュータプログラムを一時的に記憶していてもよい。記憶装置１２は、ＣＰＵ１１がコンピュータプログラムを実行している際にＣＰＵ１１が一時的に使用するデータを一時的に記憶してもよい。記憶装置１２は、店舗監視サーバ１が長期的に保存するデータを記憶してもよい。本実施形態では特に、記憶装置１２は、画像生成動作によって生成された正面棚画像７２を蓄積しておく（つまり、記録、記憶又は格納しておく）画像ＤＢ（ＤａｔａＢａｓｅ）１２１を記憶している。つまり、記憶装置１２は、カメラ２１が商品棚６を撮像する都度（つまり、新たな撮像画像７１が生成される都度）、当該撮像画像７１から生成される正面棚画像７２を画像ＤＢ１２１に逐次蓄積する。尚、記憶装置１２は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ハードディスク装置、光磁気ディスク装置、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）及びディスクアレイ装置のうちの少なくとも一つを含んでいてもよい。

【0024】

通信装置１３は、ネットワーク網３を介して、複数の撮像装置２と通信可能である。本実施形態では、通信装置１３は、ネットワーク網３を介して、複数の撮像装置２の夫々が撮像した撮像画像７１を、複数の撮像装置２の夫々から受信可能である。

【0025】

入力装置１４は、店舗監視サーバ１のユーザ（例えば、店舗５の管理者）からの入力操作を受け付ける装置である。入力装置１４は、例えば、ユーザが操作可能な操作装置を含んでいてもよい。入力装置１４は、操作装置の一例として、例えば、キーボード、マウス及びタッチパネルのうちの少なくとも一つを備えていてもよい。

【0026】

表示装置１５は、所望の画像を表示可能な出力装置（つまり、ディスプレイ）である。

【0027】

続いて、図４を参照しながら、本実施形態の撮像装置２の構成について説明する。図４は、本実施形態の撮像装置２の構成を示すブロック図である。

【0028】

図４に示すように、撮像装置２は、カメラ２１と、通信装置２２とを備えている。カメラ２１と、通信装置２２とは、データバス２３を介して接続されていてもよい。

【0029】

カメラ２１は、少なくとも一つの商品棚６を撮像することで、少なくとも一つの商品棚６の状態を示す撮像画像７１を生成する装置である。具体的には、カメラ２１は、カメラ２１の撮像範囲（言い換えれば、撮像画角）内に、カメラ２１が撮像するべき少なくとも一つの商品棚６が位置する（つまり、含まれる）ように、店舗５内に配置される。つまり、カメラ２１は、カメラ２１が撮像するべき少なくとも一つの商品棚６を撮像するように、店舗５内に配置される。本実施形態では、カメラ２１の撮像範囲は、原則として、固定されていることが好ましい。つまり、カメラ２１が撮像するべき少なくとも一つの商品棚６は、原則として変わらないことが好ましい。カメラ２１は、同じ商品棚６を撮像し続けることが好ましい。

【0030】

カメラ２１は、所定の撮像レートで商品棚６を撮像し続ける。例えば、所定の撮像レートが１ｆｐｓ（Ｆｒａｍｅ Ｐｅｒ Ｓｅｃ）に設定された場合には、カメラ２１は、１秒間に１枚の撮像画像７１が生成されるように、１秒間に１回ずつ商品棚６を撮像する動作を繰り返す。

【0031】

カメラ２１は、広角レンズを含むカメラであってもよい。カメラ２１は、円周魚眼レンズを含む魚眼カメラであってもよい。カメラ２１は、対角線魚眼レンズを含む魚眼カメラであってもよい。カメラ２１は、その他の種類のレンズを含むカメラであってもよい。

【0032】

通信装置２２は、ネットワーク網３を介して、店舗監視サーバ１と通信可能である。本実施形態では、通信装置２２は、ネットワーク網３を介して、カメラ２１が撮像した撮像画像７１を店舗監視サーバ１に送信可能である。

【0033】

尚、上述した説明では、複数の撮像装置２の夫々が通信装置２２を備えている。しかしながら、複数の撮像装置２のうちの少なくとも二つが、共用の通信装置２２を用いて撮像画像７１を店舗監視サーバ１に送信してもよい。この場合、共用の通信装置２２を用いる少なくとも二つの撮像装置２が夫々備える少なくとも二つのカメラ２１と共用の通信装置２２とが、不図示のデータバスを介して接続されていてもよい。

【0034】

続いて、店舗監視システム４の動作について説明する。上述したように、店舗監視システム４は、監視動作と、画像生成動作とを実行する。このため、以下では、監視動作と、画像生成動作とについて順に説明する。尚、本実施形態では、主として、店舗監視サーバ１が、複数の撮像装置２と共に上述した各動作を実行する。このため、本実施形態では、店舗監視システム４が実行する動作は、店舗監視サーバ１によって実行されてもよい。

【0035】

初めに、画像生成動作によって生成された正面棚画像７２に基づいて商品棚６を監視する監視動作について説明する。

【0036】

監視部１１３は、監視動作の一部として、正面棚画像７２に基づいて、正面棚画像７２に映り込んだ商品棚６に異常が発生しているか否かを監視する動作を実行してもよい。商品棚６に発生する異常は、商品棚６に陳列されている商品の数が下限値を下回っているという異常を含んでいてもよい。商品棚６に発生する異常は、商品棚６に陳列されている商品が不足しているという異常を含んでいてもよい。商品棚６に発生する異常は、商品棚６において商品が陳列されていない空きスペースのサイズが所定サイズ以上になるという異常を含んでいてもよい。商品棚６に発生する異常は、商品棚６に、当該商品棚６に陳列されるべき商品とは異なる商品が陳列されているという異常を含んでいてもよい。

【0037】

監視部１１３は、監視動作の一部として、商品棚６に異常が発生していることを店舗監視システム４のユーザ（例えば、上述したように、店舗５の管理者）に報知する動作を実行してもよい。例えば、監視部１１３は、商品棚６に異常が発生していることを示す警報画像が表示装置１５に表示されるように、表示装置１５を制御してもよい。例えば、監視部１１３は、商品棚６に異常が発生していることを示す警報画像が、ユーザが保有するユーザ端末（例えば、スマートフォン等の携帯端末）に表示されるように、ユーザ端末を制御してもよい。その結果、ユーザは、商品棚６に異常が発生していることを早期に認識することができる。ユーザは、商品棚６に発生している異常を解消するための対策をとることができる。

【0038】

上述したように、記憶装置１２は、カメラ２１が商品棚６を撮像する都度（つまり、新たな撮像画像７１が生成される都度）、当該撮像画像７１から生成される正面棚画像７２を画像ＤＢ１２１に逐次蓄積している。ここで、正面棚画像７２に映り込んでいる商品棚６の状態が変わっていない又はそれほど大きくは変わっていない場合には、画像ＤＢ１２１には、実質的に同じ状態の商品棚６が映り込んでいる複数の正面棚画像７２（つまり、実質的に同じ複数の正面棚画像７２）が蓄積される。しかしながら、正面棚画像７２に映り込んでいる商品棚６の状態が変わっていない又はそれほど大きくは変わっていない場合には、実質的に同じ状態の商品棚６が映り込んでいる複数の正面棚画像７２の全てが蓄積される必要性は相対的に低いとも言える。一方、正面棚画像７２に映り込んでいる商品棚６の状態が相対的に大きく変わっている場合には、相対的に短い時間間隔で取得された複数の撮像画像７１から生成された複数の正面棚画像７２が蓄積されていれば、店舗監視システム４は、商品棚６の状態がどのように変化したかを適切に監視可能となる。そこで、記憶装置１２は、正面棚画像７２に映り込んでいる商品棚６の状態の単位時間当たりの変化量に基づいて、記憶装置１２が画像ＤＢ１２１に単位時間当たりに蓄積する正面棚画像７２の数を変更してもよい。典型的には、記憶装置１２は、正面棚画像７２に映り込んでいる商品棚６の状態の単位時間当たりの変化量が少なくなるほど、記憶装置１２が画像ＤＢ１２１に単位時間当たりに蓄積する正面棚画像７２の数が少なくなるように、記憶装置１２が画像ＤＢ１２１に単位時間当たりに蓄積する正面棚画像７２の数を変更してもよい。記憶装置１２は、正面棚画像７２に映り込んでいる商品棚６の状態の単位時間当たりの変化量が多くなるほど、記憶装置１２が画像ＤＢ１２１に単位時間当たりに蓄積する正面棚画像７２の数が多くなるように、記憶装置１２が画像ＤＢ１２１に単位時間当たりに蓄積する正面棚画像７２の数を変更してもよい。例えば、記憶装置１２は、商品棚６の状態の単位時間当たりの変化量が第１の量である場合には、単位時間当たりに第１の枚数の正面棚画像７２を蓄積し、商品棚６の状態の単位時間当たりの変化量が第１の量よりも多い第２の量である場合には、単位時間当たりに第１の枚数よりも多い第２の枚数の正面棚画像７２を蓄積してもよい。その結果、実質的に同じ複数の正面棚画像７２が記憶されることに起因した記憶装置１２の記憶容量の圧迫が抑制されると共に、状態が相対的に大きく変化する商品棚６の適切な監視が可能となる。

【0039】

尚、正面棚画像７２に映り込んでいる商品棚６の状態の単位時間当たりの変化量は、監視部１１３によって算出されてもよい。この場合、監視部１１３は、正面棚画像７２に映り込んでいる商品棚６の状態の単位時間当たりの変化量に基づいて、記憶装置１２が画像ＤＢ１２１に単位時間当たりに蓄積する正面棚画像７２の数を変更するように、記憶装置１２を制御してもよい。

【0040】

続いて、図５を参照しながら、監視動作で用いられる正面棚画像７２を生成する画像生成動作について説明する。図５は、画像生成動作の流れを示すフローチャートである。

【0041】

図５に示すように、画像取得部１１１は、通信装置１３を介して、撮像装置２から撮像画像７１を取得する（ステップＳ１１）。ここで、上述したように、撮像装置２のカメラ２１は、所定の撮像レートで商品棚６を撮像し続ける。このため、画像取得部１１１は、カメラ２１が商品棚６を撮像する都度（つまり、新たな撮像画像７１が生成される都度）、撮像装置２から撮像画像７１を逐次取得する。つまり、カメラ２１が商品棚６を撮像する都度（つまり、新たな撮像画像７１が生成される都度）、店舗監視サーバ１は、図５に示す画像生成動作を逐次開始する。

【0042】

但し、店舗監視サーバ１は、撮像装置２から受信した複数の撮像画像７１の一部に対して画像生成動作を実行する一方で、撮像装置２から受信した複数の撮像画像７１の他の一部に対して画像生成動作を実行しなくてもよい。この場合、撮像装置２から受信した複数の撮像画像７１の全てに対して画像生成動作が実行される場合と比較して、画像生成動作に要する処理負荷が低減される。

【0043】

その後、画像生成部１１２は、ステップＳ１１で取得された撮像画像７１から、正面棚画像７２を生成する（ステップＳ１２）。ここで、撮像画像７１から正面棚画像７２を生成する理由について、図６を参照しながら説明する。図６は、撮像画像７１を示す平面図である。

【0044】

店舗５内に設置される撮像装置２のカメラ２１は、通常、カメラ２１が撮像するべき商品棚６を正面から撮像することは困難である。このため、通常は、カメラ２１は、店舗５の天井に配置され、商品棚６の上方又は斜め上方から商品棚６を撮像することが多い。この場合、カメラ２１が商品棚６を正面から撮像していないがゆえに、図６に示すように、撮像画像７１には、商品棚６が歪んで映り込む可能性がある。

【0045】

更に、カメラ２１の撮像範囲には、カメラ２１が撮像するべき商品棚６とは異なる物体が含まれる可能性がある。その結果、カメラ２１が撮像した撮像画像７１には、カメラ２１が撮像するべき商品棚６とは異なる物体が映り込む可能性がある。例えば、図６は、商品棚６＃１を撮像するべきカメラ２１（例えば、図２の撮像装置２＃１のカメラ２１（以降、“カメラ＃２１”と称する））が撮像した撮像画像７１を示している。図６に示すように、撮像画像７１には、商品棚６＃１のみならず、カメラ２１＃１が撮像しなくてもよい商品棚６＃２も映り込んでいる。図６に示すように、撮像画像７１には、商品棚６＃１のみならず、商品棚６以外の物体（例えば、店舗５の床、店舗５の壁、店舗５で販売されている商品及び店舗５の掲示物のうちの少なくとも一つ）も映り込んでいる。このようなカメラ２１が撮像するべき商品棚６とは異なる物体は、商品棚６を監視するためには不要な物体であると言える。

【0046】

このように、撮像画像７１は、商品棚６を監視するために適した画像であるとは限らない。そこで、本実施形態では、画像生成部１１２は、撮像画像７１から、撮像画像７１よりも商品棚６を監視するのに適した正面棚画像７２を生成する。その結果、正面棚画像７２が生成されない場合と比較して、後述する監視動作によって商品棚６がより適切に監視可能となる。

【0047】

図６に示す撮像画像７１から生成された正面棚画像７２が図７に示されている。図７に示すように、正面棚画像７２に映り込んでいる商品棚６は、撮像画像７１に映り込んでいる商品棚６よりも歪みが少ない。或いは、正面棚画像７２に映り込んでいる商品棚６は、歪んでいない。更には、正面棚画像７２には、撮像画像７１に映り込んでいた、商品棚６を監視するためには不要な物体が映り込んでいない。店舗監視サーバ１は、この正面棚画像７２を用いて、監視動作を実行する。

【0048】

撮像画像７１から正面棚画像７２を生成するために、画像生成部１１２は、撮像画像７１から、正面棚画像７２に含めるべき商品棚６が映り込んだ画像部分（つまり、棚画像）を抽出する。言い換えれば、画像生成部１１２は、撮像画像７１から、正面棚画像７２に含めるべき商品棚６が映り込んだ画像部分以外の残りの画像部分を排除する。画像生成部１１２は、撮像画像７１から、正面棚画像７２に含めるべき商品棚６が映り込んでいない画像部分（つまり、非棚画像部分）を排除する。図６に示す例では、画像生成部１１２は、商品棚６＃１を取り囲む太い点線内の画像部分を、抽出画像として抽出してもよい。つまり、画像生成部１１２は、商品棚６＃１を取り囲む太い点線の外側の画像部分を排除してもよい。

【0049】

撮像画像７１から正面棚画像７２を生成するために、画像生成部１１２は、抽出した商品棚６の画像に相当する抽出画像の歪みを補正する。具体的には、画像生成部１１２は、抽出画像の歪みが少なくなる又はなくなるように、抽出画像を変形する。画像生成部１１２は、抽出画像に映り込んだ商品棚６の歪みが少なくなる又はなくなるように、抽出画像を変形する。その結果、歪みが補正された抽出画像は、正面棚画像７２として用いられる。

【0050】

或いは、画像生成部１１２は、撮像画像７１の歪みを補正した後に、歪みを補正した撮像画像７１から、正面棚画像７２に含めるべき商品棚６が映り込んだ画像部分を抽出してもよい。つまり、画像生成部１１２は、撮像画像７１の歪みを補正した後に、歪みを補正した撮像画像７１から、正面棚画像７２に含めるべき商品棚６が映り込んでいない画像部分を排除してもよい。或いは、画像生成部１１２は、撮像画像７１の歪みを補正する処理と、撮像画像７１から正面棚画像７２に含めるべき商品棚６が映り込んだ画像部分を抽出する処理とを同時に又は並行して実行してもよい。つまり、画像生成部１１２は、撮像画像７１の歪みを補正する処理と、撮像画像７１から正面棚画像７２に含めるべき商品棚６が映り込んでいない画像部分を排除する処理とを同時に又は並行して実行してもよい。いずれの場合であっても、撮像画像７１から正面棚画像７２が生成されることに変わりはない。

【0051】

再び図５において、ステップＳ１２で生成された正面棚画像７２は、記憶装置１２に記憶されている画像ＤＢ１２１に蓄積される（ステップＳ１３）。ここで、上述したように、カメラ２１が商品棚６を撮像する都度（つまり、新たな撮像画像７１が生成される都度）、店舗監視サーバ１は、図５に示す画像生成動作を逐次開始する。このため、画像生成部１１２は、カメラ２１が商品棚６を撮像する都度（つまり、新たな撮像画像７１が生成される都度）、正面棚画像７２を逐次生成する。従って、記憶装置１２もまた、画像生成部１１２が正面棚画像７２を生成する都度、正面棚画像７２を画像ＤＢ１２１に逐次蓄積する。記憶装置１２に蓄積された正面棚画像７２は、例えば、後述する監視動作において商品棚６を監視するために用いられる。

【0052】

続いて、撮像画像７１から正面棚画像７２を生成するための具体的方法について説明する。本実施形態では、画像生成部１１２は、第１の画像生成方法、第２の画像生成方法及び第３の画像生成方法のうちの少なくとも一つを用いて、撮像画像７１から正面棚画像７２を生成する。第１の画像生成方法、第２の画像生成方法及び第３の画像生成方法は、その処理内容（つまり、撮影画像７１から正面棚画像７２を生成するための処理内容）を設定するための方法が異なるという点で互いに異なる。このため、以下では、第１の画像生成方法から第３の画像生成方法について順に説明する。

【0053】

尚、画像生成方法の処理内容を設定するための動作（例えば、後述するユーザの設定操作に基づいて画像生成方法の処理内容を設定する動作、後述するマーク９１に基づいて画像生成方法の処理内容を設定する動作、又は、教師画像７３に基づいて画像生成方法の処理内容を設定する動作）は、店舗監視システム４の運用開始前に行われてもよい。画像生成方法の処理内容を設定するための動作は、店舗監視システム４の運用開始後に行われてもよい。画像生成方法の処理内容が一旦設定された場合には、画像生成部１１２は、設定された処理内容に従って、正面棚画像７２を生成してもよい。つまり、画像生成方法を設定するための動作は、少なくとも一回行われれば十分である。但し、画像生成方法を設定するための動作が既に行われている場合であっても、画像生成方法を設定するための動作が再度行われてもよい。その結果、より適切な正面棚画像７２が生成されるように、画像生成方法の処理内容が設定される（言い換えれば、変更、調整又は更新される）。

【0054】

第１の画像生成方法は、店舗監視システム４のユーザ（例えば、上述したように、店舗５の管理者）の指示に基づいてその処理内容が設定される画像生成方法である。具体的には、ユーザは、入力装置１４を用いて、第１の画像生成方法の処理内容を設定するための設定操作を入力する。画像生成部１１２は、入力装置１４を用いてユーザが行った設定操作の内容に基づいて、第１の画像生成方法の処理内容を設定する。この場合、画像生成部１１２は、入力装置１４を用いてユーザが行った設定操作の内容に基づいて、撮像画像７１から正面棚画像７２を生成しているとも言える。

【0055】

第１の画像生成方法を用いる場合には、画像生成部１１２は、まず、撮像画像７１を表示するように、表示装置１５を制御してもよい。その結果、表示装置１５に撮像画像７１が表示される。この場合、ユーザは、表示装置１５に表示された撮像画像７１を参照しながら、第１の画像生成方法の処理内容を設定するための設定操作を行うことができる。このため、撮像画像７１が表示されない場合と比較して、ユーザは、第１の画像生成方法の処理内容を設定しやすくなる。

【0056】

撮像画像７１が表示装置１５に表示される場合には、第１の画像生成方法の処理内容を設定するための設定操作は、表示装置１５に表示されている撮像画像７１上で複数の基準点８１を配置する操作を含んでいてもよい。撮像画像７１上で複数の基準点８１が配置される場合には、画像生成部１１２は、配置された複数の基準点８１を撮像画像７１と共に表示するように、表示装置１５を制御してもよい。

【0057】

この場合、ユーザは、撮像画像７１上に配置した複数の基準点８１が、撮像画像７１から生成された正面棚画像７２上で所定の配列パターンで配列されるように、撮像画像７１上に複数の基準点８１を配置する。つまり、ユーザは、撮像画像７１中の複数の画素に複数の基準点８１が夫々配置された状況下で当該撮像画像７１から正面棚画像７２が生成された場合に、正面棚画像７２中の対応する複数の画素（つまり、複数の基準点８１が夫々配置された複数の画素）が所定の配列パターンで配列されるように、撮像画像７１上に複数の基準点８１を配置する。言い換えれば、ユーザは、歪みが補正された正面棚画像７２上で所定の配列パターンで配列される複数の基準点８１を、歪みが未だ補正されていない撮像画像７１上の対応する位置（つまり、正面棚画像７２中で複数の基準点８１が夫々配置された複数の画素に対応する複数の画素）に配置する。

【0058】

例えば、図８（ａ）は、複数の基準点８１が配置された撮像画像７１を示しており、図８（ｂ）は、図８（ａ）に示す撮像画像７１から生成された正面棚画像７２を、複数の基準点８１と共に示している。図８（ａ）及び図８（ｂ）に示す例では、ユーザは、撮像画像７１上に配置した複数の基準点８１が、正面棚画像７２上で５行×５列のマトリクス状の（つまり、格子状の）配列パターンで配列されるように、撮像画像７１上に複数の基準点８１を配置する。つまり、図８（ａ）及び図８（ｂ）に示す例では、ユーザは、複数の撮像画像７１中の複数の画素に複数の基準点８１が夫々配置された状況下で当該撮像画像７１から正面棚画像７２が生成された場合に、正面棚画像７２中の対応する複数の画素が５行×５列のマトリクス状の配列パターンで配列されるように、撮像画像７１上に複数の基準点８１を配置する。言い換えれば、ユーザは、正面棚画像７２上で５行×５列のマトリクス状の配列パターンで配列される複数の基準点８１を、歪みが未だ補正されていない撮像画像７１上の対応する位置に配置する。

【0059】

図８（ａ）及び図８（ｂ）に示すように複数の基準点８１が正面棚画像７２上でマトリクス状の配列パターンで配列されるように複数の基準点８１が配置される場合には、画像生成部１１２は、配置された複数の基準点８１を格子状に結ぶ複数の基準線８２を撮像画像７１と共に表示するように、表示装置１５を制御してもよい。但し、図８（ａ）に示すように、撮像画像７１が歪んでいるがゆえに、撮像画像７１と共に表示される複数の基準線８２は、必ずしも規則的に又は周期的に交わる格子を形成するとは限らない。一方で、図８（ｂ）に示すように、複数の基準線８２は、正面棚画像７２内において、規則的に又は周期的に交わる格子を形成する。この場合、ユーザは、複数の基準線８２が正面棚画像７２内において規則的に又は周期的に交わる格子を形成する（つまり、所定の配列パターンで配列される）ように、撮像画像７１上に複数の基準点８１を配置してもよい。

【0060】

このような複数の基準点８１が設定される場合には、画像生成部１１２は、例えば、撮像画像７１内での複数の基準点８１の配置位置と、複数の基準点８１の本来の配列パターン（図８（ａ）及び図８（ｂ）に示す例では、マトリクス状の配列パターン）とに基づいて、第１の画像生成方法の処理内容を設定する。例えば、画像生成部１１２は、撮像画像７１上に配置された複数の基準点８１が所定の配列パターンで配列するように撮像画像７１を変形させるための処理内容を、第１の画像生成方法の処理内容として設定してもよい。複数の基準点８１が基準線８２で結ばれることを考慮すれば、例えば、画像生成部１１２は、撮像画像７１上に配置された複数の基準線８２が所定の配列パターンで配列するように撮像画像７１を変形させるための処理内容を、第１の画像生成方法の処理内容として設定してもよい。

【0061】

画像生成部１１２は、商品棚６毎に、第１の画像生成方法の処理内容を設定する。なぜならば、異なる複数の商品棚６が異なる複数のカメラ２１によって夫々撮像される場合には、撮像画像７１に映り込んでいる商品棚６の歪みは、商品棚６とカメラ２１と間の位置関係に応じて変わるからである。更には、異なる複数の商品棚６が単一のカメラ２１で撮像される場合であっても、撮像画像７１中の異なる複数の位置に複数の商品棚６が夫々映り込むがゆえに、商品棚６の歪みは、撮像画像７１中で商品棚６が映り込んでいる位置に応じて変わるからである。例えば、図２に示す例では、画像生成部１１２は、商品棚６＃１に対応する正面棚画像７２を生成するための第１の画像生成方法の処理内容と、商品棚６＃２に対応する正面棚画像７２を生成するための第１の画像生成方法の処理内容と、商品棚６＃３に対応する正面棚画像７２を生成するための第１の画像生成方法の処理内容と、・・・、商品棚６＃１５に対応する正面棚画像７２を生成するための第１の画像生成方法の処理内容と、商品棚６＃１６に対応する正面棚画像７２を生成するための第１の画像生成方法の処理内容とを別々に設定する。

【0062】

第１の画像生成方法を用いる場合には、図９に示すように、画像生成部１１２は、表示装置１５に表示されている撮像画像７１から生成される正面棚画像７２を、撮像画像７１と共に表示するように、表示装置１５を制御してもよい。この場合、画像生成部１１２は、第１の画像生成方法の処理内容を設定する都度、設定された最新の処理内容に基づいて、正面棚画像７２を生成し直してもよい。更に、表示装置１５は、画像生成部１１２が正面棚画像７２を生成し直す都度、生成し直された最新の正面棚画像７２を表示してもよい。この場合、ユーザは、現時点でのユーザの設定操作によって処理内容が設定された第１の画像生成方法を用いて生成される正面棚画像７２を参照しながら、第１の画像生成方法の処理内容を設定するための設定操作を行うことができる。従って、ユーザは、正面棚画像７２が適切な画像になるように、第１の画像生成方法の処理内容を設定するための設定操作を適切に行うことができる。

【0063】

第１の画像生成方法を用いる場合には、図９に示すように、画像生成部１１２は、表示装置１５に表示されている撮像画像７１に映り込んでいる商品棚６を実際に正面から撮像することで得られた教師画像７３を正面棚画像７２と並べて表示するように、表示装置１５を制御してもよい。教師画像７３は、典型的には、撮像装置２のカメラ２１とは異なるカメラを用いて商品棚６を実際に正面から撮像することで得られた画像である。但し、教師画像７３は、典型的には、撮像装置２のカメラ２１を用いて商品棚６を実際に正面から撮像することで得られた画像であってもよい。この場合、ユーザは、正面棚画像７２と教師画像７３とを対比しながら、第１の画像生成方法の処理内容を設定するための設定操作を行うことができる。従って、ユーザは、正面棚画像７２が教師画像７３に近づく又は一致するように、第１の画像生成方法の処理内容を設定するための設定操作を適切に行うことができる。

【0064】

尚、教師画像７３は、表示装置１５に表示されている撮像画像７１に映り込んでいる商品棚６と同じ仕様の商品棚６を実際に正面から撮像することで得られた画像であってもよい。例えば、教師画像７３は、表示装置１５に表示されている撮像画像７１に映り込んでいる商品棚６と同じサイズの商品棚６を実際に正面から撮像することで得られた画像であってもよい。教師画像７３は、表示装置１５に表示されている撮像画像７１に映り込んでいる商品棚６と同じ形状の商品棚６を実際に正面から撮像することで得られた画像であってもよい。この場合、実際の商品棚６を正面から撮像することが困難な場合であっても、教師画像７３が利用可能となる。この場合であっても、ユーザは、正面棚画像７２が教師画像７３に近づく又は一致するように、第１の画像生成方法の処理内容を設定するための設定操作を適切に行うことができる。

【0065】

続いて、第２の画像生成方法について説明する。第２の画像生成方法は、撮像画像７１に基づいてその処理内容が自動的に（つまり、第２の画像生成方法の処理内容を設定するためのユーザの設定操作を必要とすることなく）設定される画像生成方法である。この場合、図１０に示すように、商品棚６には、予め、第２の画像生成方法の処理内容を設定するために画像生成部１１２によって参照される複数のマーク（言い換えれば、指標）９１が配置される。複数のマーク９１は、商品棚６を正面から見た場合に所定の配列パターンで配列するように、商品棚６に配置される。図１０に示す例では、複数のマーク９１は、商品棚６を正面から見た場合に５行×５列のマトリクス状の（つまり、格子状の）配列パターンで配列するように、商品棚６に配置される。

【0066】

このような複数のマーク９１が配置された商品棚６の撮像画像７１が、図１１（ａ）に示されている。図１１（ａ）に示すように、撮像画像７１には、商品棚６に加えて、商品棚６に配置された複数のマーク９１も映り込んでいる。尚、撮像画像７１中では、撮像画像７１の歪み（つまり、撮像画像７１内の商品棚６の歪み）に起因して、複数のマーク９１が所定の配列パターンで配列していない可能性がある。この場合、画像生成部１１２は、撮像画像７１内での複数のマーク９１の配置位置を算出し、算出した複数のマーク９１の配置位置と、複数のマーク９１の本来の配列パターン（図１０に示す例では、マトリクス状の配列パターン）とに基づいて、第２の画像生成方法の処理内容を設定する。例えば、画像生成部１１２は、図１１（ｂ）に示すように、撮像画像７１中に映り込んでいる複数のマーク９１が所定の配列パターンで配列するように撮像画像７１を変形させるための処理内容を、第２の画像生成方法の処理内容として生成してもよい。例えば、画像生成部１１２は、図１１（ｂ）に示すように、撮像画像７１から生成された正面棚画像７２中で複数のマーク９１が所定の配列パターンで配列するように撮像画像７１から正面棚画像７２を生成するための処理内容を、第２の画像生成方法の処理内容として生成してもよい。この場合、画像生成部１１２は、実質的には、マーク９１に基づいて、撮像画像７１から正面棚画像７２を生成しているとも言える。

【0067】

尚、図１０に示す複数のマーク９１の配置位置及び数はあくまで一例である。このため、商品棚６には、任意の数のマーク９１が任意の配列パターンで配列するように、商品棚６に配置されてもよい。例えば、図１２に示すように、商品棚６には、商品棚６の外縁（特に、正面棚画像７２に含めるべき棚部分の外縁）を結ぶ複数のマーク９１が配置されていてもよい。この場合も、画像生成部１１２は、撮像画像７１内での複数のマーク９１の配置位置を算出し、算出した複数のマーク９１の配置位置と、複数のマーク９１の本来の配列パターンとに基づいて、第２の画像生成方法の処理内容を設定可能である。但し、隣り合う二つのマーク９１の間の距離が相対的に大きい場合には、画像生成部１１２は、隣り合う二つのマーク９１の間を結ぶ直線又は所定の数式で表現可能な線（例えば、上述した基準線８２に相当する線）上に仮想的なマーク９１が存在すると仮定した上で、第２の画像生成方法の処理内容を設定してもよい。

【0068】

また、第２の画像生成方法では、画像生成方法の処理内容を設定するためのユーザの設定操作が必ずしも必要とされない。この場合、第２の画像生成方法を用いて正面棚画像７２を生成する店舗監視サーバ１は、ユーザの設定操作の入力を受け付ける入力装置１４を備えていなくてもよい（後述する図１４参照）。第２の画像生成方法を用いて正面棚画像７２を生成する店舗監視サーバ１は、ユーザが設定操作を入力する際に参照可能な画像（例えば、図９に示すように、撮像画像７１、正面棚画像７２及び教師画像７３の少なくとも一つ）を表示する表示装置１５を備えていなくてもよい（後述する図１４参照）。

【0069】

続いて、第３の画像生成方法について説明する。第３の画像生成動作は、撮像画像７１と教師画像７３（図９参照）とに基づいてその処理内容が自動的に（つまり、画像生成方法の処理内容を設定するためのユーザの設定操作を必要とすることなく）設定される画像生成方法である。この場合、画像生成部１１２は、撮像画像７１に基づいて、撮像画像７１に映り込んでいる商品棚６の特徴点を抽出する。更には、画像生成部１１２は、教師画像７３に基づいて、教師画像７３に映り込んでいる商品棚６の特徴点を抽出する。その後、画像生成部１１２は、撮像画像７１中での商品棚６の特徴点が教師画像７３中での商品棚６の特徴点に近づく又は一致するように撮像画像７１を変形させるための処理内容を、第２の画像生成方法の処理内容として生成してもよい。この場合、画像生成部１１２は、実質的には、教師画像７３に基づいて、撮像画像７１から正面棚画像７２を生成しているとも言える。

【0070】

或いは、画像生成部１１２は、撮像画像７１に映り込んでいる商品棚６の特徴点に基づいて、撮像画像７１中での商品棚６の形状及びサイズを特定してもよい。更には、画像生成部１１２は、教師画像７３に映り込んでいる商品棚６の特徴点に基づいて、教師画像７３中での商品棚６の形状及びサイズを特定してもよい。例えば、画像生成部１１２は、商品棚６の形状及びサイズとして、商品棚６の高さ、商品棚６の横幅及び隣り合う二つの棚板の間の距離を特定してもよい。その後、画像生成部１１２は、撮像画像７１中での商品棚６の形状及びサイズが教師画像７３中での商品棚６の形状及びサイズに近づく又は一致するように撮像画像７１を変形させるための処理内容を、第２の画像生成方法の処理内容として生成してもよい。つまり、画像生成部１１２は、撮像画像７１から生成される正面棚画像７２中での商品棚６の形状及びサイズが教師画像７３中での商品棚６の形状及びサイズに近づく又は一致するように撮像画像７１から正面棚画像７２を生成するための処理内容を、第２の画像生成方法の処理内容として生成してもよい。

【0071】

尚、第３の画像生成方法においても、第２の画像生成方法と同様に、画像生成方法の処理内容を設定するためのユーザの設定操作が必ずしも必要とされない。このため、第３の画像生成方法を用いて正面棚画像７２を生成する店舗監視サーバ１は、入力装置１４及び表示装置１５の少なくとも一方を備えていなくてもよい（後述する図１４参照）。

【0072】

以上説明したように、本実施形態の店舗監視システム４は、店舗５の商品棚６を適切に監視することができる。特に、店舗監視システム４は、商品棚６を監視するためには不要な物体が映り込んだ撮像画像７１から、商品棚６を監視するためには不要な物体が映り込んでいない正面棚画像７２を生成することができる。このため、店舗監視システム４は、商品棚６を監視するためには不要な物体の悪影響を受けることなく、監視するべき商品棚６を適切に監視することができる。

【0073】

また、店舗監視システム４は、ユーザの設定操作に基づいて、第１の画像生成方法の処理内容を適切に設定することができる。このため、店舗監視システム４は、ユーザの知見を考慮しながら、正面棚画像７１を生成することができる。

【0074】

また、店舗監視システム４は、ユーザの設定操作を必要とすることなく、自動的に第２又は第３の画像生成方法の処理内容を設定することができる。このため、店舗監視システム４は、画像生成方法の処理内容の設定に要するユーザの負担を減少させることができる。この際、商品棚６にマーク９１が配置されれば画像生成方法の処理内容が自動的に設定されるがゆえに、ユーザは、商品棚６にマーク９１を配置すれば十分である。或いは、商品棚６に最初からマーク９１が配置されていれば、ユーザは、商品棚６にマーク９１を配置することすらしなくてもよい。また、教師画像７３が用意できる場合も、ユーザは、商品棚６にマーク９１を配置することすらしなくてもよい。このため、店舗監視システム４は、画像生成方法の処理内容の設定に要するユーザの負担をより一層減少させることができる。

【0075】

尚、上述したようにカメラ２１が円周魚眼レンズを含む魚眼カメラである場合には、カメラ２１が撮像した撮像画像７１は、図１３の上段に示すように、周囲３６０度の撮像範囲に含まれる光景が円形の領域に映し出される画像となる。この場合、画像生成部１１２は、撮像画像７１から正面棚画像７２を生成するために、図１３の上段に示す撮像画像７１を、図１３の下段に示すパノラマ画像７４に展開（つまり、平面展開）してもよい。ここで、図１３の下段に示すように、撮像画像７１が平面展開されることで生成されたパノラマ画像７４には、商品棚６が、その歪みが相対的に少ない状態で映り込んでいる可能性がある。この場合、画像生成部１１２は、パノラマ画像７４から、歪みが相対的に少ない商品棚６が映り込んだ画像部分を抽出してもよい。抽出された画像部分（つまり、歪みが相対的に少ない商品棚６が映り込んだ画像部分）は、正面棚画像７２として用いられてもよい。

【0076】

上述した説明では、店舗監視システム４は、監視部１１３を備える店舗監視サーバ１を備えている。しかしながら、店舗監視システム４は、店舗監視サーバ１に代えて、図１４に示す監視部１１３を備えていない店舗監視サーバ１ａを備えていてもよい。この場合、店舗監視サーバ１ａの外部の装置が、監視部１１３を備えていてもよい。店舗監視サーバ１ａの外部の装置が備える監視部１１３は、店舗監視サーバ１ａが生成した正面棚画像７２を用いて、監視動作を実行してもよい。

【0077】

上述した説明では、店舗監視システム４は、画像ＤＢ１２１が記憶された記憶装置１２を備える店舗監視サーバ１を備えている。しかしながら、店舗監視システムシステムＳＹＳは、店舗監視サーバ１に代えて、図１４に示す画像ＤＢ１２１を記憶していない記憶装置１２を備えていてもよい。この場合、画像ＤＢ１２１は、店舗監視サーバ１ａの外部の装置に記憶されていてもよい。

【0078】

本願発明は上記実施形態に限定されるものではない。本願発明は、請求の範囲及び明細書全体から読み取るこのできる発明の要旨又は思想に反しない範囲で適宜変更可能であり、そのような変更を伴う店舗監視システム、店舗監視装置、店舗監視方法、コンピュータプログラム及び記録媒体もまた本発明の技術思想に含まれる。

【0079】

法令で許容される限りにおいて、この出願は、２０１９年１０月３１日に出願された日本出願特願２０１９－１９８２６８を基礎とする優先権を主張し、その開示の全てをここに取り込む。また、法令で許容される限りにおいて、本願明細書に記載された全ての公開公報及び論文をここに取り込む。

【符号の説明】

【0080】

１ 店舗監視サーバ
１１ ＣＰＵ
１１１ 画像取得部
１１２ 画像生成部
１１３ 監視部
１２ 記憶装置
１２１ 画像ＤＢ
１３ 通信装置
１４ 入力装置
１５ 表示装置
２ 撮像装置
２１ カメラ
２２ 通信装置
４ 店舗監視システム
７１ 撮像画像
７２ 正面棚画像
８１ 基準点
８２ 基準線

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】