(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-09-08
(45)【発行日】2022-09-16
(54)【発明の名称】店舗装置
(51)【国際特許分類】
G08B 25/04 20060101AFI20220909BHJP
G08B 25/08 20060101ALI20220909BHJP
G08B 25/00 20060101ALI20220909BHJP
G08B 13/196 20060101ALI20220909BHJP
【ＦＩ】
G08B25/04 E
G08B25/08 A
G08B25/00 510M
G08B13/196
【請求項の数】
4
(21)【出願番号】P 2018211529
(22)【出願日】2018-11-09
(65)【公開番号】P2020077330
(43)【公開日】2020-05-21
【審査請求日】2021-08-31
(73)【特許権者】
【識別番号】000108085
【氏名又は名称】セコム株式会社
(74)【代理人】
【識別番号】100099759
【弁理士】
【氏名又は名称】青木 篤
(74)【代理人】
【識別番号】100123582
【弁理士】
【氏名又は名称】三橋 真二
(74)【代理人】
【識別番号】100114018
【弁理士】
【氏名又は名称】南山 知広
(74)【代理人】
【識別番号】100180806
【弁理士】
【氏名又は名称】三浦 剛
(74)【代理人】
【識別番号】100159259
【弁理士】
【氏名又は名称】竹本 実
(72)【発明者】
【氏名】沙魚川 久史
(72)【発明者】
【氏名】佐々木 辰徳
(72)【発明者】
【氏名】小南 学
【審査官】大橋 達也
(56)【参考文献】
【文献】国際公開第２０１５／０３３５７６（ＷＯ，Ａ１）
【文献】韓国公開特許第１０－２０１２－００４４６１４（ＫＲ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０８Ｂ １３／００－２５／００
Ｈ０４Ｎ ７／１８
Ｇ０６Ｔ ７／００
(57)【特許請求の範囲】
【請求項1】
店舗を監視する店舗装置であって、店舗内における複数の商品のそれぞれの配置位置と、店舗内の監視エリアとを記憶する記憶部と、
前記監視エリアを撮影した撮影画像を取得する画像取得部と、
前記撮影画像から不審人物を検出する不審人物検出部と、
不審人物が検出された場合、監視装置に通報を送信する通報部と、
利用者による前記複数の商品の内の何れかの商品及び当該商品に対する重要度の指定を受け付ける受付部と、
前記指定された商品の配置位置及び指定された重要度に基づいて、重点監視エリアを設定する重点監視エリア設定部と、を有し、
前記不審人物検出部は、前記監視エリアが前記重点監視エリアを含むか否かに応じて、前記撮影画像から不審人物を検出する基準を変更する、
ことを特徴とする店舗装置。
【請求項2】
前記受付部は、前記複数の商品のそれぞれの個数の設定をさらに受け付け、前記重点監視エリア設定部は、さらに前記複数の商品のそれぞれの個数に基づいて、前記重点監視エリアを設定する、請求項１に記載の店舗装置。
【請求項3】
前記撮影画像から店舗の店員を検出する店員検出部をさらに有し、前記不審人物検出部は、店員が検出されたか否かに応じて前記基準を変更する、請求項１又は２に記載の店舗装置。
【請求項4】
店舗が混雑しているか否かを判定する混雑判定部をさらに有し、前記不審人物検出部は、店舗が混雑しているか否かに応じて前記基準を変更する、請求項１～３の何れか一項に記載の店舗装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、店舗を監視する店舗装置に関する。
【背景技術】
【0002】
従来、店舗に設置された店舗装置が、店舗内を撮影した撮影画像を解析し、撮影画像から検出した人物への対処が必要である場合、監視センタに設置された監視装置に通報を行う画像監視システムが利用されている。
【0003】
例えば、特許文献１には、監視対象の状況を監視センタで画像により監視する画像監視システムが開示されている。この画像監視システムにおいて、画像監視装置は、利用者により非常通報操作があったときは、監視センタへの非常通報及び現画像の送出を行う。
【0004】
また、特許文献２には、重要監視物への人物の接近を検知すると、重要監視物の周囲の所定領域内の画像を取得する装置が開示されている。この装置は、所定の条件を満たす人物が画像から検出された場合、監視センタに通報を行い、監視画像を送信する。
【先行技術文献】
【特許文献】
【0005】
【文献】特開２００１－１０９９７３号公報
【文献】特開２０１２－５００３１号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
一般に、店舗内を撮影した撮影画像を用いて店舗を監視する店舗装置において、重点的に監視するエリアを設定するためには特別なスキルが必要である。そのため、このような店舗装置では、重点的に監視するエリアを容易に設定できることが望まれている。
【0007】
本発明の目的は、店舗内で重点的に監視するエリアを容易に設定できる店舗装置を提供することにある。
【課題を解決するための手段】
【0008】
かかる課題を解決するため本発明は、店舗を監視する店舗装置であって、店舗内における複数の商品のそれぞれの配置位置と、店舗内の監視エリアとを記憶する記憶部と、監視エリアを撮影した撮影画像を取得する画像取得部と、撮影画像から不審人物を検出する不審人物検出部と、不審人物が検出された場合、監視装置に通報を送信する通報部と、利用者による複数の商品の内の何れかの商品及び当該商品に対する重要度の指定を受け付ける受付部と、指定された商品の配置位置及び指定された重要度に基づいて、重点監視エリアを設定する重点監視エリア設定部と、を有し、不審人物検出部は、監視エリアが重点監視エリアを含むか否かに応じて、撮影画像から不審人物を検出する基準を変更する店舗装置を提供する。
【0009】
この店舗装置において、受付部は、複数の商品のそれぞれの個数の設定をさらに受け付け、重点監視エリア設定部は、さらに複数の商品のそれぞれの個数に基づいて、重点監視エリアを設定することが好適である。
【0010】
この店舗装置は、撮影画像から店舗の店員を検出する店員検出部をさらに有し、不審人物検出部は、店員が検出されたか否かに応じて基準を変更することが好適である。
【0011】
この店舗装置は、店舗が混雑しているか否かを判定する混雑判定部をさらに有し、不審人物検出部は、店舗が混雑しているか否かに応じて基準を変更することが好適である。
【発明の効果】
【0012】
本発明に係る店舗装置は、店舗内で重点的に監視するエリアを容易に設定できる。
【図面の簡単な説明】
【0013】
【図1】画像監視システム１の全体システム構成を示す図である。
【図2】店舗における商品の配置位置、監視エリア及び撮像装置の位置の一例を示す平面図である。
【図3】設定処理の動作を示すフローチャートの一例を示す図である。
【図4】監視処理の動作を示すフローチャートの一例を示す図である。
【図5】通報決定処理の動作を示すフローチャートの一例を示す図である。
【図6】画像監視システム１の動作シーケンスの一例を示す図である。
【図7】監視装置３０に表示される表示画面の一例である。
【発明を実施するための形態】
【0014】
以下、実施形態に係る画像監視システムについて図を参照しつつ説明する。
【0015】
図１は、実施形態に係る画像監視システム１の全体システム構成を示す図である。図１に示すように、画像監視システム１は、一又は複数の店舗のそれぞれに設置される一又は複数の店舗装置１０と、構内ＬＡＮ又はインターネット等の通信ネットワークを介して各店舗装置１０と接続される監視装置３０とを有する。また、各店舗装置１０には、一又は複数の撮像装置２１と、音出力装置２２と、一又は複数の端末装置２３とが接続される。
【0016】
店舗装置１０は、例えばパーソナルコンピュータ等であり、インタフェース部１１と、第１通信部１２と、第１記憶部１３と、第１制御部１４とを有する。
【0017】
インタフェース部１１は、例えばＵＳＢ等のシリアルバス規格に準じるインタフェース回路を有し、撮像装置２１、音出力装置２２及び／又は端末装置２３と通信接続して各種の情報を送受信する。なお、インタフェース部１１は、シリアルバス規格に準じるインタフェース回路の代わりに、ＷｉＦｉ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ等の近距離無線通信規格に準じるインタフェース回路を有してもよい。
【0018】
第１通信部１２は、イーサネット（登録商標）などの各種の通信インタフェース回路を有し、通信ネットワークを介して監視装置３０と各種の信号を送受信する。
【0019】
第１記憶部１３は、ＲＯＭ、ＲＡＭ等の半導体メモリ、磁気ディスク（ＨＤＤ）、又はＣＤ－ＲＯＭ、ＤＶＤ－ＲＡＭ等の光ディスクドライブ及びその記録媒体を有する。第１記憶部１３は、店舗装置１０を制御するためのコンピュータプログラム及び各種データを記憶し、第１制御部１４との間でこれらの情報を入出力する。コンピュータプログラムは、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ等のコンピュータ読み取り可能な可搬型記録媒体から公知のセットアッププログラム等を用いて第１記憶部１３にインストールされてもよい。また、記憶部１５は、データとして、背景画像１３１、商品配置情報１３２、監視エリア情報１３３、撮像装置情報１３４、店員情報１３５等を記憶する。
背景画像１３１は、各撮像装置２１が、動物体が存在しないときに店舗内を撮影した画像である。商品配置情報１３２は、店舗内における複数の商品のそれぞれの配置位置を示す情報である。監視エリア情報１３３は、各商品の配置位置と店舗内の監視エリアとの対応関係を示す情報である。撮像装置情報１３４は、監視エリアとその監視エリアを撮影する撮像装置２１との対応関係を示す情報である。店員情報１３５は、店員毎の顔写真を含む情報である。
背景画像１３１は、各撮像装置２１が、動物体が存在しないときに店舗内を撮影した画像である。商品配置情報１３２は、店舗内における複数の商品のそれぞれの配置位置を示す情報である。監視エリア情報１３３は、各商品の配置位置と店舗内の監視エリアとの対応関係を示す情報である。撮像装置情報１３４は、監視エリアとその監視エリアを撮影する撮像装置２１との対応関係を示す情報である。店員情報１３５は、店員毎の顔写真を含む情報である。
【0020】
第１制御部１４は、ＣＰＵ、ＭＰＵ等のプロセッサと、ＲＯＭ、ＲＡＭ等のメモリと、その周辺回路とを有し、店舗装置１０の各種信号処理を実行する。第１制御部１４は、プロセッサ上で動作するプログラムの機能モジュールとして実装される画像取得手段１４１、不審人物検出手段１４２、通報手段１４３、受付手段１４４、重点監視エリア設定手段１４５、人物検出手段１４６、店員検出手段１４７、混雑判定手段１４８及び画像送信手段１４９等を有する。なお、第１制御部１４として、ＤＳＰ、ＬＳＩ、ＡＳＩＣ、ＦＰＧＡ等が用いられてもよい。
【0021】
撮像装置２１は、店舗装置１０が設置される店舗に固定設置され、店舗内を撮影するカメラである。撮像装置２１は、ＣＣＤ素子またはＣ－ＭＯＳ素子など、可視光に感度を有する光電変換素子と、その光電変換素子上に像を結像する結像光学系と、光電変換素子から出力された電気信号を増幅し、アナログ／デジタル（Ａ／Ｄ）変換するＡ／Ｄ変換器とを有する。撮像装置２１は、撮影したＲＧＢ各色の画像を各画素が０～２５５の範囲の輝度値を有するデジタルの撮影画像に変換して店舗装置１０へ出力する。
【0022】
音出力装置２２は、店舗装置１０が設置される店舗に設置され、店舗内に音声を出力するスピーカである。音出力装置２２は、店舗装置１０から音声信号を受信し、受信した音声信号に従って、店員又は客等の店舗内の人物に音声を出力する。
【0023】
端末装置２３は、店舗装置１０の店員により携帯される端末であり、例えばインカム（インターコミュニケーション）、スマートフォン等である。端末装置２３は、店舗装置１０と接続するためのインタフェースと、店員に通知を行うための表示装置及び／又は音声出力装置等の通知部と、それらを制御するためのプロセッサとを有する。端末装置２３は、店舗装置１０から通知信号を受信し、受信した通知信号に従って、店員に画像又は音声による通知を行う。
【0024】
なお、撮像装置２１、音出力装置２２及び／又は端末装置２３は、店舗装置１０と別個に設けられるのでなく、店舗装置１０と一体に設けられてもよい。
【0025】
監視装置３０は、例えばサーバ等であり、第２通信部３１と、操作部３２と、表示部３３と、第２記憶部３４と、第２制御部３５とを有する。
【0026】
第２通信部３１は、第１通信部１２と同様の通信インタフェース回路を有し、通信ネットワークを介して店舗装置１０と各種の信号を送受信する。
【0027】
操作部３２は、例えばタッチパネル、マウス、キーボード等であり、監視センタの監視員による操作を受け付け、受け付けた操作に応じた信号を第２制御部３５に送る。
【0028】
表示部３３は、例えば液晶ディスプレイ、有機ＥＬディスプレイ等であり、第２制御部３５からの指示に従って、店舗装置１０から受信した通報、撮影画像等を表示する。
【0029】
第２記憶部３４は、第１記憶部１３と同様の半導体メモリ、磁気ディスク又は光ディスクドライブ及びその記録媒体を有する。第２記憶部３４は、監視装置３０を制御するためのコンピュータプログラム及び各種データを記憶し、第２制御部３５との間でこれらの情報を入出力する。コンピュータプログラムは、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ等のコンピュータ読み取り可能な可搬型記録媒体から公知のセットアッププログラム等を用いて第２記憶部３４にインストールされてもよい。
【0030】
第２制御部３５は、第１制御部１４と同様のプロセッサ、メモリ及び周辺回路を有し、監視装置３０の各種信号処理を実行する。第２制御部３５は、プロセッサ上で動作するプログラムの機能モジュールとして実装される監視手段３５１等を有する。
【0031】
図２は、店舗における商品の配置位置、監視エリア及び撮像装置の位置の一例を示す平面図である。
図２に示す様に、店舗には複数の棚Ｓ１～Ｓ９が配置され、商品は、棚Ｓ１～Ｓ９の何れかに配置される。店舗には棚Ｓ１～Ｓ９及びその周辺をそれぞれ含む複数の監視エリアＡ１～Ａ９が設定されている。なお、各監視エリアの一部は、他の監視エリアと重複する様に設定されてもよい。また、撮像装置２１ａ～２１ｃは、監視エリアＡ１～Ａ９の内の少なくとも一つを撮影する。本実施形態では、撮像装置２１ａは、監視エリアＡ１を、撮像装置２１ｂは、監視エリアＡ２～Ａ５を、撮像装置２１ｃは、監視エリアＡ６～Ａ９を、それぞれ撮影するように設定されている。
図２に示す様に、店舗には複数の棚Ｓ１～Ｓ９が配置され、商品は、棚Ｓ１～Ｓ９の何れかに配置される。店舗には棚Ｓ１～Ｓ９及びその周辺をそれぞれ含む複数の監視エリアＡ１～Ａ９が設定されている。なお、各監視エリアの一部は、他の監視エリアと重複する様に設定されてもよい。また、撮像装置２１ａ～２１ｃは、監視エリアＡ１～Ａ９の内の少なくとも一つを撮影する。本実施形態では、撮像装置２１ａは、監視エリアＡ１を、撮像装置２１ｂは、監視エリアＡ２～Ａ５を、撮像装置２１ｃは、監視エリアＡ６～Ａ９を、それぞれ撮影するように設定されている。
【0032】
図３は、店舗装置１０による設定処理の動作を示すフローチャートの一例を示す図である。以下、図３に示したフローチャートを参照しつつ、本実施形態による登録処理の動作を説明する。なお、以下に説明する動作のフローは、第１記憶部１３に予め記憶されているプログラムに基づいて、主に第１制御部１４により、店舗装置１０の各部と協働して実行される。なお、設定処理は、店舗装置１０が後述する監視処理の実行前、又は、監視処理と並行して実行される。
【0033】
まず、受付手段１４４は、インタフェース部１１を介して、端末装置２３から重要度設定指示を受信する（ステップＳ１０１）。尚、重要度設定指示は端末装置２３から受信するものに限られず、店舗内に設置されたパソコン等から入力された指示内容をインタフェース部１１を介して受信できるようにしてもよい。重要度設定指示は、店舗の店員等、画像監視システム１の利用者により指定された、複数の商品の内の何れかの商品及びその商品に対する重要度の組を一つ以上含む。次に、受付手段１４４は、受信した重要度設定指示に含まれる商品及び重要度の指定を受け付ける（ステップＳ１０２）。
【0034】
次に、重点監視エリア設定手段１４５は、指定された商品の配置位置及び指定された重要度に基づいて、重点監視エリアを設定する（ステップＳ１０３）。
重点監視エリア設定手段１４５は、重要度設定指示に含まれる商品の内、重要度が所定値以上である商品を抽出する。重点監視エリア設定手段１４５は、商品配置情報１３２を参照して抽出した商品の配置位置を特定し、監視エリア情報１３３を参照して特定された配置位置に対応付けられた監視エリアを特定する。重点監視エリア設定手段１４５は、特定した監視エリアを重点監視エリアに設定する。
重点監視エリア設定手段１４５は、重要度設定指示に含まれる商品の内、重要度が所定値以上である商品を抽出する。重点監視エリア設定手段１４５は、商品配置情報１３２を参照して抽出した商品の配置位置を特定し、監視エリア情報１３３を参照して特定された配置位置に対応付けられた監視エリアを特定する。重点監視エリア設定手段１４５は、特定した監視エリアを重点監視エリアに設定する。
【0035】
一方、重点監視エリア設定手段１４５は、重点監視エリアに設定されなかった監視エリアを通常監視エリアに設定する。
以上により、設定処理の動作は終了する。
なお、重点監視エリア設定手段１４５は、重要度が最大である商品が配置された監視エリア、又は、監視エリア毎に各監視エリアに配置された商品の重要度の合計値を算出し、合計値が最大である監視エリアを、重点監視エリアに設定してもよい。
以上により、設定処理の動作は終了する。
なお、重点監視エリア設定手段１４５は、重要度が最大である商品が配置された監視エリア、又は、監視エリア毎に各監視エリアに配置された商品の重要度の合計値を算出し、合計値が最大である監視エリアを、重点監視エリアに設定してもよい。
【0036】
図４は、店舗装置１０による監視処理の動作を示すフローチャートの一例を示す図である。以下、図４に示したフローチャートを参照しつつ、本実施形態による監視処理の動作を説明する。なお、以下に説明する動作のフローは、第１記憶部１３に予め記憶されているプログラムに基づいて、主に第１制御部１４により、店舗装置１０の各部と協働して実行される。監視処理は、撮像装置２１毎に実行される。
【0037】
まず、不審人物検出手段１４２は、撮影画像に写る監視エリアが、重点監視エリアを含むか否かを判定する（ステップＳ２０１）。不審人物検出手段１４２は、撮像装置情報１３４を参照して撮像装置２１が撮影する監視エリアを特定し、特定した監視エリアが図３のステップＳ１０３において設定された重点監視エリアを含むか否かを判定する。
撮影画像に写る監視エリアが重点監視エリアを含む場合、不審人物検出手段１４２は、不審人物を検出するための基準を重点監視エリア用の基準に設定する（ステップＳ２０２）。
撮影画像に写る監視エリアが重点監視エリアを含まない場合、不審人物検出手段１４２は、不審人物を検出するための基準を通常監視エリア用の基準に設定する（ステップＳ２０３）。
撮影画像に写る監視エリアが重点監視エリアを含む場合、不審人物検出手段１４２は、不審人物を検出するための基準を重点監視エリア用の基準に設定する（ステップＳ２０２）。
撮影画像に写る監視エリアが重点監視エリアを含まない場合、不審人物検出手段１４２は、不審人物を検出するための基準を通常監視エリア用の基準に設定する（ステップＳ２０３）。
【0038】
不審人物を検出するための基準には、監視エリアに第１時間以上滞留している人物が所定人数以上存在する第１基準と、監視エリアに少なくとも一人の人物が第２時間以上滞留している第２基準が含まれる。第２時間は、第１時間より長い。店舗装置１０は、撮影画像に第１基準及び第２基準のうち少なくとも一つを満たす人物が存在する場合、その人物を不審人物として検出する。
重点監視エリア用の基準における第１時間及び第２時間は、通常監視エリア用の基準における第１時間及び第２時間より短く、重点監視エリア用の基準における所定人数は、通常監視エリア用の基準における所定人数より少ない。即ち、店舗装置１０は、重点監視エリア用の基準に従って判定する場合、通常監視エリア用の基準に従って判定する場合より、滞留時間が短い人物又は少ない人数で滞留している人物を不審人物として検出しやすくなる。但し、重点監視エリア用の基準及び通常監視エリア用の基準において、第１時間、第２時間及び所定人数のうち一つ又は二つは、同一の値であってもよい。
重点監視エリア用の基準における第１時間及び第２時間は、通常監視エリア用の基準における第１時間及び第２時間より短く、重点監視エリア用の基準における所定人数は、通常監視エリア用の基準における所定人数より少ない。即ち、店舗装置１０は、重点監視エリア用の基準に従って判定する場合、通常監視エリア用の基準に従って判定する場合より、滞留時間が短い人物又は少ない人数で滞留している人物を不審人物として検出しやすくなる。但し、重点監視エリア用の基準及び通常監視エリア用の基準において、第１時間、第２時間及び所定人数のうち一つ又は二つは、同一の値であってもよい。
【0039】
次に、店舗装置１０は、不審人物検出手段１４２が設定した基準を適用して通報決定処理を実行し（ステップＳ２０４）、処理をステップＳ２０１に戻す。
【0040】
【0041】
まず、画像取得手段１４１は、撮像装置２１が店舗内の監視エリアを撮影した撮影画像をインタフェース部１１を介して撮像装置２１から取得する（ステップＳ３０１）。
【0042】
次に、人物検出手段１４６は、撮影画像から人物を検出する（ステップＳ３０２）。人物検出手段１４６は、撮影画像と、その撮影画像を撮影した撮像装置２１が撮影した背景画像１３１との間で、対応画素間の輝度差を求め、各画素の画素値がその輝度差の絶対値で表される差分画像を生成する。人物検出手段１４６は、撮影画像において、対応する差分画像内の画素値が所定の閾値以上となる領域を動物体領域として検出する。例えば、所定の閾値は、差分画像の各画素値の平均値とすることができる。人物検出手段１４６は、検出した動物体領域が、人物に対応する所定範囲の大きさを有する場合、その動物体領域を人物が写っている人物領域として検出する。
また、人物検出手段１４６は、画像取得手段１４１が順次取得した撮影画像において、検出した各人物領域に対して公知のトラッキング技術を用いて追跡処理を実行する。人物検出手段１４６は、例えば、最新の撮影画像内の人物領域のそれぞれについて、その人物領域の重心位置と、直前の撮影画像から検出された人物領域の重心位置との距離を算出し、距離が所定の閾値以下である人物領域を同一人物による人物領域として対応付ける。なお、人物検出手段１４６は、オプティカルフロー、パーティクルフィルタ等の方法を用いて追跡処理を実行してもよい。人物検出手段１４６は、同一人物による人物領域毎に、その人物領域を最初に検出した時刻を記憶する。
撮影画像から人物が検出されなかった場合、通報決定処理の動作は終了する。
また、人物検出手段１４６は、画像取得手段１４１が順次取得した撮影画像において、検出した各人物領域に対して公知のトラッキング技術を用いて追跡処理を実行する。人物検出手段１４６は、例えば、最新の撮影画像内の人物領域のそれぞれについて、その人物領域の重心位置と、直前の撮影画像から検出された人物領域の重心位置との距離を算出し、距離が所定の閾値以下である人物領域を同一人物による人物領域として対応付ける。なお、人物検出手段１４６は、オプティカルフロー、パーティクルフィルタ等の方法を用いて追跡処理を実行してもよい。人物検出手段１４６は、同一人物による人物領域毎に、その人物領域を最初に検出した時刻を記憶する。
撮影画像から人物が検出されなかった場合、通報決定処理の動作は終了する。
【0043】
一方、撮影画像から人物が検出された場合、店員検出手段１４７は、検出された人物領域から店舗の店員を検出する（ステップＳ３０３）。店員検出手段１４７は、人物検出手段１４６が検出した人物領域に対して公知の顔認識処理を実行する。店員検出手段１４７は、人物領域から顔を抽出し、抽出した顔と店員情報１３５に記憶された店員の顔との類似度（例えば正規化相互相関値）が所定の閾値以上であると判定した場合に、その人物領域に映っている人物を店員として検出する。店員検出手段１４７は、人物検出手段１４６が検出した人物領域に、予め第１記憶部１３に記憶された店員の制服の色が所定割合以上含まれると判定した場合に、その人物領域に映っている人物を店員として検出してもよい。
店員が検出された場合、不審人物検出手段１４２は、図４のステップＳ２０２又はＳ２０３において設定された基準を変更する（ステップＳ３０４）。不審人物検出手段１４２は、基準に対して、第１時間又は第２時間を長くする。又は、不審人物検出手段１４２は、基準に対して、所定人数を多くする。
撮影画像において店員が検出された場合、監視エリアは店員の目により直接見られている可能性が高い。店舗装置１０は、撮影画像において店員が検出された場合に基準を変更することにより、監視装置３０への通報を減少させ、通報に対する監視員の対応負荷を軽減させることができる。
一方、撮影画像において店員が検出されなかった場合、不審人物検出手段１４２は、ステップＳ３０４の処理を実行しない。
店員が検出された場合、不審人物検出手段１４２は、図４のステップＳ２０２又はＳ２０３において設定された基準を変更する（ステップＳ３０４）。不審人物検出手段１４２は、基準に対して、第１時間又は第２時間を長くする。又は、不審人物検出手段１４２は、基準に対して、所定人数を多くする。
撮影画像において店員が検出された場合、監視エリアは店員の目により直接見られている可能性が高い。店舗装置１０は、撮影画像において店員が検出された場合に基準を変更することにより、監視装置３０への通報を減少させ、通報に対する監視員の対応負荷を軽減させることができる。
一方、撮影画像において店員が検出されなかった場合、不審人物検出手段１４２は、ステップＳ３０４の処理を実行しない。
【0044】
次に、混雑判定手段１４８は、撮影画像から、店舗が混雑している度合いを示す混雑度を算出する（ステップＳ３０５）。例えば、混雑判定手段１４８は、人物検出手段１４６により撮影画像から検出された人物の数を混雑度として算出する。なお、混雑判定手段１４８は、撮影画像から検出された人物の内、レジ前等の予め設定された所定範囲内に位置する人物の数を混雑度として算出してもよい。また、混雑判定手段１４８は、所定範囲内に位置する人物の重みが大きくなるように、撮影画像から検出された各人物を重み付けして混雑度を算出してもよい。
次に、混雑判定手段１４８は、算出した混雑度に基づいて、店舗が混雑しているか否かを判定する（ステップＳ３０６）。混雑判定手段１４８は、混雑度が所定閾値以上である場合、店舗が混雑していると判定し、混雑度が所定閾値未満である場合、店舗が混雑していないと判定する。
次に、混雑判定手段１４８は、算出した混雑度に基づいて、店舗が混雑しているか否かを判定する（ステップＳ３０６）。混雑判定手段１４８は、混雑度が所定閾値以上である場合、店舗が混雑していると判定し、混雑度が所定閾値未満である場合、店舗が混雑していないと判定する。
【0045】
店舗が混雑していると判定された場合、不審人物検出手段１４２は、ステップＳ２０２又はＳ２０３において設定された基準を変更する（ステップＳ３０７）。不審人物検出手段１４２は、基準に対して、第１時間又は第２時間を短くする。又は、不審人物検出手段１４２は、基準に対して、所定人数を少なくする。
店舗が混雑している場合、多くの客が妨げとなって監視エリアに店員の目が届きにくい。店舗装置１０は、店舗が混雑している場合に基準を変更することにより、監視装置３０への通報を増加させ、監視を監視員に分担させることができる。
一方、店舗が混雑していると判定されなかった場合、不審人物検出手段１４２は、ステップＳ３０７の処理を実行しない。
なお、店舗が混雑していると判定された場合、不審人物検出手段１４２は、基準に対して、第１時間又は第２時間を長くしてもよく、所定人数を多くしてもよい。店舗が混雑している場合、監視エリアは一般客により直接見られている可能性が高い。このことは、万引き等の犯罪を実行しようとする人物に対して、犯罪の実行を抑止するように作用する。そこで、店舗装置１０は、店舗が混雑している場合に基準を変更することにより、監視装置３０への通報を減少させ、通報に対する監視員の対応負荷を軽減させてもよい。
店舗が混雑している場合、多くの客が妨げとなって監視エリアに店員の目が届きにくい。店舗装置１０は、店舗が混雑している場合に基準を変更することにより、監視装置３０への通報を増加させ、監視を監視員に分担させることができる。
一方、店舗が混雑していると判定されなかった場合、不審人物検出手段１４２は、ステップＳ３０７の処理を実行しない。
なお、店舗が混雑していると判定された場合、不審人物検出手段１４２は、基準に対して、第１時間又は第２時間を長くしてもよく、所定人数を多くしてもよい。店舗が混雑している場合、監視エリアは一般客により直接見られている可能性が高い。このことは、万引き等の犯罪を実行しようとする人物に対して、犯罪の実行を抑止するように作用する。そこで、店舗装置１０は、店舗が混雑している場合に基準を変更することにより、監視装置３０への通報を減少させ、通報に対する監視員の対応負荷を軽減させてもよい。
【0046】
次に、不審人物検出手段１４２は、ステップＳ２０２、Ｓ２０３、Ｓ３０４又はＳ３０７において設定された基準に従って、撮影画像から不審人物を検出する（ステップＳ３０８）。不審人物検出手段１４２は、人物検出手段１４６が検出した同一人物による各人物領域に対し、最初に検出した時刻から現在時刻までの経過時間を算出する。不審人物検出手段１４２は、各人物領域の数及び各人物領域について算出した経過時間を使用して、撮影画像が第１基準及び第２基準を満たすか否かを判定する。不審人物検出手段１４２は、撮影画像が第１基準及び第２基準のうち少なくとも一つを満たす場合、監視エリアに滞留していると判定された人物領域に写っている人物を不審人物として検出する。
撮影画像から不審人物が検出された場合、通報手段１４３は、通報を監視装置３０に送信することを決定し（ステップＳ３０９）、通報決定処理の動作を終了する。
撮影画像から不審人物が検出された場合、通報手段１４３は、通報を監視装置３０に送信することを決定し（ステップＳ３０９）、通報決定処理の動作を終了する。
【0047】
一方、撮影画像から不審人物が検出されなかった場合、通報手段１４３は、ステップＳ３０９の処理を実行せず、通報決定処理の動作を終了する。
【0048】
図６は、画像監視システム１の動作シーケンスの一例を示す図である。この動作シーケンスは、予め各装置の各記憶部に記憶されているプログラムに基づいて、主に各装置の各制御部により、店舗装置１０及び監視装置３０の各要素と協働して実行される。この動作シーケンスは、店舗装置１０が、通報決定処理において不審人物を検出し、通報を監視装置３０に送信することを決定した場合に実行される。
【0049】
まず、店舗装置１０の通報手段１４３は、通報と、通報を送信することを決定した際に使用された撮影画像とを第１通信部１２を介して監視装置３０に送信する（ステップＳ４０１）。通報には、通報を送信した店舗装置１０が設置された店舗の識別情報が含まれる。
【0050】
次に、監視装置３０の監視手段３５１は、第２通信部３１を介して店舗装置１０から通報及び撮影画像を受信した場合、通報に含まれる店舗の識別情報、及び、撮影画像を表示部３３に表示する（ステップＳ４０２）。
【0051】
図７は、監視装置３０に表示される表示画面の一例である。
図７に示すように、表示画面４００には、通報を送信した店舗の識別情報４０１、不審人物検知時の撮影画像４０２、ライブ映像を表示するライブ画像４０３、音声通知ボタン４０４、通報ボタン４０５及び終了ボタン４０６等が表示される。
監視員により音声通知ボタン４０４が押下されると、監視装置３０は、第２通信部３１を介して店舗装置１０に、警告等の所定の音声を出力することを要求する音声出力要求を送信する。店舗装置１０は、音声出力要求を受信すると、インタフェース部１１を介して音出力装置２２に所定の音声を出力させる。なお、監視装置３０は、マイク等の音声入力部（不図示）を有し、監視員による音声の入力を受け付け、受け付けた音声を店舗装置１０に送信してもよい。
監視員により通報ボタン４０５が押下されると、監視装置３０は、第２通信部３１を介して警察等に設置された他の装置（不図示）に、通報を送信する。
監視員により終了ボタン４０６が押下されると、監視装置３０は、表示画面４００の表示を終了する。
図７に示すように、表示画面４００には、通報を送信した店舗の識別情報４０１、不審人物検知時の撮影画像４０２、ライブ映像を表示するライブ画像４０３、音声通知ボタン４０４、通報ボタン４０５及び終了ボタン４０６等が表示される。
監視員により音声通知ボタン４０４が押下されると、監視装置３０は、第２通信部３１を介して店舗装置１０に、警告等の所定の音声を出力することを要求する音声出力要求を送信する。店舗装置１０は、音声出力要求を受信すると、インタフェース部１１を介して音出力装置２２に所定の音声を出力させる。なお、監視装置３０は、マイク等の音声入力部（不図示）を有し、監視員による音声の入力を受け付け、受け付けた音声を店舗装置１０に送信してもよい。
監視員により通報ボタン４０５が押下されると、監視装置３０は、第２通信部３１を介して警察等に設置された他の装置（不図示）に、通報を送信する。
監視員により終了ボタン４０６が押下されると、監視装置３０は、表示画面４００の表示を終了する。
【0052】
次に、店舗装置１０の画像送信手段１４９は、撮像装置２１が新たに撮影した撮影画像を取得し、第１通信部１２を介して監視装置３０に送信する（ステップＳ４０３）。画像送信手段１４９は、撮像装置２１が新たに撮影した撮影画像を取得するたびに、取得した撮影画像を監視装置３０に送信する。
【0053】
次に、監視装置３０の監視手段３５１は、第２通信部３１を介して店舗装置１０から取得した新たな撮影画像を表示部３３に表示する（ステップＳ４０４）。監視手段３５１は、店舗装置１０から新たな撮影画像を取得するたびに、取得した撮影画像を表示部３３に表示する。
以上により、画像監視システム１の動作シーケンスは終了する。
以上により、画像監視システム１の動作シーケンスは終了する。
【0054】
以上説明してきたように、本発明に係る店舗装置１０は、利用者から指定された商品の配置位置及び重要度に基づいて重点監視エリアを設定する。これにより、店舗装置１０は、店舗内で重点的に監視するエリアを容易に設定できる。
【0055】
以上、本発明の好適な実施形態について説明してきたが、本発明はこれらの実施形態に限定されない。例えば、受付手段１４４は、商品の在庫数を管理する在庫管理サーバから、第１通信部１２を介して、複数の商品のそれぞれの個数の設定をさらに受け付けてもよい。在庫管理サーバは、ＰＯＳ（point of sales system）システムなどの既存の在庫管理システムを利用することができる。その場合、重点監視エリア設定手段１４５は、指定された商品、指定された重要度及び当該商品の配置位置に加え、さらに複数の商品のそれぞれの個数に基づいて、重点監視エリアを設定する。
例えば、店舗装置１０は、商品配置情報１３２において、商品及び商品の配置位置の組に、その配置位置に配置されているその商品の個数をさらに関連付けて記憶する。図３のステップＳ１０３の後に、重点監視エリア設定手段１４５は、商品配置情報１３２を参照して、ステップＳ１０２において受け付けた商品の個数をその商品の配置位置毎に取得する。重点監視エリア設定手段１４５は、重要度が所定値以上である商品の個数が所定数（例えば１）以上である場合に限り、その商品が配置された監視エリアを重点監視エリアとして設定する。これにより、店舗装置１０は、売り切れ等によって配置されていない商品が配置されたエリアを重点的に監視し、監視員に不要な負担をかけてしまうことを防止できる。在庫管理サーバで管理する在庫数は、店舗に配置せず、倉庫で保管している数も含む場合があるため、在庫管理サーバで管理する情報に加えて、商品が配置されているエリアを撮影するカメラ画像から取得した配置数の情報を加えて算出するようにしてもよい。予め商品の画像情報、サイズ、高さ情報等を記憶しておくことで、撮影画像から店舗に配置されている数量を算出することができる。或いは、商品がない状態での画像を記憶しておき、商品がない状態での画像と現在画像が一致すれば、在庫なしと判定するようにしてもよい。
算出された数量が所定数以上である場合に、当該エリアを重点監視エリアとして設定する。尚、在庫管理の方法は上記に限られない。
例えば、店舗装置１０は、商品配置情報１３２において、商品及び商品の配置位置の組に、その配置位置に配置されているその商品の個数をさらに関連付けて記憶する。図３のステップＳ１０３の後に、重点監視エリア設定手段１４５は、商品配置情報１３２を参照して、ステップＳ１０２において受け付けた商品の個数をその商品の配置位置毎に取得する。重点監視エリア設定手段１４５は、重要度が所定値以上である商品の個数が所定数（例えば１）以上である場合に限り、その商品が配置された監視エリアを重点監視エリアとして設定する。これにより、店舗装置１０は、売り切れ等によって配置されていない商品が配置されたエリアを重点的に監視し、監視員に不要な負担をかけてしまうことを防止できる。在庫管理サーバで管理する在庫数は、店舗に配置せず、倉庫で保管している数も含む場合があるため、在庫管理サーバで管理する情報に加えて、商品が配置されているエリアを撮影するカメラ画像から取得した配置数の情報を加えて算出するようにしてもよい。予め商品の画像情報、サイズ、高さ情報等を記憶しておくことで、撮影画像から店舗に配置されている数量を算出することができる。或いは、商品がない状態での画像を記憶しておき、商品がない状態での画像と現在画像が一致すれば、在庫なしと判定するようにしてもよい。
算出された数量が所定数以上である場合に、当該エリアを重点監視エリアとして設定する。尚、在庫管理の方法は上記に限られない。
【0056】
また、不審人物を検出するための基準は、第１基準及び第２基準の何れか一方だけでもよく、第１基準及び第２基準の何れとも異なる他の基準であってもよい。例えば、サングラス又はマスク等で顔を隠蔽している人物が存在することを、不審人物を検出するための基準としてもよい。
この場合、第１記憶部１３は、楕円パターン等の頭部輪郭パターン、サングラス判定用テンプレート画像及びマスク判定用テンプレート画像を予め記憶している。図５のステップＳ３０８において、不審人物検出手段１４２は、人物検出手段１４６が検出した各人物領域から頭部候補領域を抽出し、抽出した頭部候補領域に対して顔隠蔽の有無を判定することにより、撮影画像から不審人物を検出する。不審人物検出手段１４２は、頭部輪郭パターンをテンプレート画像として、各人物領域においてテンプレート画像との類似度（例えば正規化相互相関値）が高い領域を頭部候補領域として抽出する。不審人物検出手段１４２は、抽出した頭部候補領域と、サングラス判定用テンプレート画像及びマスク判定用テンプレート画像との類似度をそれぞれ算出する。不審人物検出手段１４２は、算出した類似度の何れかが所定の閾値以上である場合、顔が隠蔽されていると判定し、閾値以上の類似度に対応する人物領域を不審人物が写っている人物領域として検出する。
この場合、第１記憶部１３は、楕円パターン等の頭部輪郭パターン、サングラス判定用テンプレート画像及びマスク判定用テンプレート画像を予め記憶している。図５のステップＳ３０８において、不審人物検出手段１４２は、人物検出手段１４６が検出した各人物領域から頭部候補領域を抽出し、抽出した頭部候補領域に対して顔隠蔽の有無を判定することにより、撮影画像から不審人物を検出する。不審人物検出手段１４２は、頭部輪郭パターンをテンプレート画像として、各人物領域においてテンプレート画像との類似度（例えば正規化相互相関値）が高い領域を頭部候補領域として抽出する。不審人物検出手段１４２は、抽出した頭部候補領域と、サングラス判定用テンプレート画像及びマスク判定用テンプレート画像との類似度をそれぞれ算出する。不審人物検出手段１４２は、算出した類似度の何れかが所定の閾値以上である場合、顔が隠蔽されていると判定し、閾値以上の類似度に対応する人物領域を不審人物が写っている人物領域として検出する。
【0057】
また、図５の通報決定処理において、店舗装置１０は、ステップＳ３０３～Ｓ３０４の店員の検出に関する処理、及び、ステップＳ３０５～Ｓ３０７の混雑度の算出に関する処理のうち、一方の処理を省略してもよく、両方の処理を省略してもよい。
【0058】
以上のように、本発明の範囲内で、実施される形態に合わせて様々な変更を行うことができる。
【符号の説明】
【0059】
１０ 店舗装置、１３ 第１記憶部、１４１ 画像取得手段、１４２ 不審人物検出手段、１４３ 通報手段、１４４ 受付手段、１４５ 重点監視エリア設定手段、１４７ 店員検出手段、１４８ 混雑判定手段、３０ 監視装置
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】