特許 7258580 監視装置及び監視方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-04-07

(45)【発行日】2023-04-17

(54)【発明の名称】監視装置及び監視方法

(51)【国際特許分類】

   H04N 7/18 20060101AFI20230410BHJP

   H04N 5/915 20060101ALI20230410BHJP

   H04N 5/77 20060101ALI20230410BHJP

   G08B 25/00 20060101ALI20230410BHJP

   G08B 23/00 20060101ALI20230410BHJP

【ＦＩ】

H04N7/18 D

H04N7/18 K

H04N5/915

H04N5/77

G08B25/00 510M

G08B23/00 510

【請求項の数】 11

(21)【出願番号】P 2019014719

(22)【出願日】2019-01-30

(65)【公開番号】P2020123845

(43)【公開日】2020-08-13

【審査請求日】2021-09-22

(73)【特許権者】

【識別番号】000005049

【氏名又は名称】シャープ株式会社

(74)【代理人】

【識別番号】100167302

【弁理士】

【氏名又は名称】種村 一幸

(74)【代理人】

【識別番号】100135817

【弁理士】

【氏名又は名称】華山 浩伸

(72)【発明者】

【氏名】冨永 秀人

(72)【発明者】

【氏名】西村 岳

(72)【発明者】

【氏名】三浦 啓輔

【審査官】長谷川 素直

(56)【参考文献】

【文献】特開２００４－２３４５６１（ＪＰ，Ａ）

【文献】特開２００８－３０６６０４（ＪＰ，Ａ）

【文献】特開２０１４－１５３８１３（ＪＰ，Ａ）

【文献】特開２０１２－０８４０７７（ＪＰ，Ａ）

【文献】特開２０００－２２４４５７（ＪＰ，Ａ）

【文献】特開２００３－１４３５９４（ＪＰ，Ａ）

【文献】特開２００３－２４０６１３（ＪＰ，Ａ）

【文献】特開平１１－３４６３５７（ＪＰ，Ａ）

【文献】特開２０１４－０３３４２９（ＪＰ，Ａ）

【文献】特開２０１０－１６１６５１（ＪＰ，Ａ）

【文献】特開２０１３－２１１８２１（ＪＰ，Ａ）

【文献】特開２０１６－０１８５７１（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ７／１８

Ｈ０４Ｎ ５／９１－５／９５

Ｈ０４Ｎ ５／７７

Ｇ０８Ｂ ２５／００

Ｇ０８Ｂ ２３／００

(57)【特許請求の範囲】

【請求項1】

撮像装置により撮像される監視エリアの撮像画像を取得する取得処理部と、
前記取得処理部により取得される前記撮像画像の変化と、前記撮像画像が変化した時刻である変化時刻とを検出する検出処理部と、
前記監視エリアに含まれる複数の検出エリアのうち、前記検出処理部により検出される前記撮像画像の変化に対応する検出エリアである第１検出エリアを特定する特定処理部と、
前記特定処理部により特定される前記第１検出エリアを識別可能な識別情報と、前記検出処理部により検出される前記変化時刻とを表示部に表示させる表示処理部と、
を備え、
前記複数の検出エリアのそれぞれには、互いに異なる色情報が関連付けられており、
前記表示処理部は、前記特定処理部により検出エリアが互いに異なる複数の前記第１検出エリアが特定された場合に、前記撮像画像の変化の状態を表す１つのインジケーターを前記表示部に表示させるとともに、前記インジケーターにおいて、複数の前記第１検出エリアのそれぞれに対応する前記変化時刻を、複数の前記第１検出エリアのそれぞれに関連付けられた複数の前記色情報の色で表示させる、監視装置。

【請求項2】

前記インジケーターは、時間に応じた長さを有する１つのタイムバーで構成されており、
前記表示処理部は、前記タイムバーにおいて、前記撮像画像の変化が検出された時刻から検出されなくなった時刻までの変化時間を、前記色情報の色で表示させる、
請求項１に記載の監視装置。

【請求項3】

前記特定処理部により複数の前記第１検出エリアが特定された場合に、前記表示処理部は、前記タイムバーにおいて、互いに異なる前記色を前記変化時間に応じた長さで表示させる、
請求項２に記載の監視装置。

【請求項4】

前記表示処理部は、複数の前記第１検出エリアのそれぞれに対応する前記変化時間が互いに重なる場合に、前記タイムバーにおいて、重なる時間帯を複数の前記第１検出エリアのそれぞれに関連付けられた前記色情報の色とは異なる色で表示させる、
請求項２又は３に記載の監視装置。

【請求項5】

前記表示処理部は、複数の前記第１検出エリアのそれぞれに対応する前記変化時間が互いに重なる場合に、前記タイムバーにおいて、重なる時間帯を含む複数の前記変化時間を時間軸方向とは異なる方向に併記して表示させる、
請求項２又は３に記載の監視装置。

【請求項6】

前記表示処理部は、前記取得処理部により取得される前記監視エリア全体の前記撮像画像、又は、前記撮像画像のうち前記特定処理部により特定される複数の前記第１検出エリアのそれぞれの撮像画像である複数の第１エリア画像を前記表示部に表示させる、
請求項１から５のいずれか１項に記載の監視装置。

【請求項7】

前記表示処理部は、前記監視エリア全体の前記撮像画像において、複数の前記第１検出エリアのそれぞれを識別するためのエリア情報を表示させる、
請求項６に記載の監視装置。

【請求項8】

前記取得処理部により取得される前記撮像画像を記憶部に記録する記録処理部をさらに備え、
前記記録処理部は、前記検出処理部により前記撮像画像の変化が検出された場合に、前記撮像画像を前記記憶部に記録する、
請求項１から７のいずれか１項に記載の監視装置。

【請求項9】

前記記録処理部により記録された前記撮像画像を再生する再生処理部をさらに備え、
前記再生処理部は、前記複数の検出エリアのうちユーザーにより選択された前記検出エリアに対応する前記撮像画像を再生する、
請求項８に記載の監視装置。

【請求項10】

１つの前記撮像装置を備え、
前記撮像装置は、前記監視エリア全体を撮像可能に構成されている、
請求項１から９のいずれか１項に記載の監視装置。

【請求項11】

撮像装置により撮像される監視エリアの撮像画像を取得する取得ステップと、
前記取得ステップにより取得される前記撮像画像の変化と、前記撮像画像が変化した時刻である変化時刻とを検出する検出ステップと、
前記監視エリアに含まれる複数の検出エリアのうち、前記検出ステップにより検出される前記撮像画像の変化に対応する検出エリアである第１検出エリアを特定する特定ステップと、
前記特定ステップにより特定される前記第１検出エリアを識別可能な識別情報と、前記検出ステップにより検出される前記変化時刻とを表示部に表示させる表示ステップと、
を一又は複数のプロセッサーが実行し、
前記複数の検出エリアのそれぞれには、互いに異なる色情報が関連付けられており、
前記表示ステップにおいて、前記特定ステップにより検出エリアが互いに異なる複数の前記第１検出エリアが特定された場合に、前記撮像画像の変化の状態を表す１つのインジケーターを前記表示部に表示させるとともに、前記インジケーターにおいて、複数の前記第１検出エリアのそれぞれに対応する前記変化時刻を、複数の前記第１検出エリアのそれぞれに関連付けられた複数の前記色情報の色で表示させる、監視方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、監視装置及び監視方法に関する。

【背景技術】

【0002】

監視エリアをカメラで撮像し、撮像画像を解析して管理エリア内の被写体の動きを検出する監視装置が知られている。例えば特許文献１には、撮影部によって撮影される撮影範囲の一部領域において被写体の変位を検出した場合に外部に通報する監視装置が開示されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２００８－２４４５５０号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、従来の技術は、被写体の動きを検出した場合に外部に通報する構成であるため、監視エリアのうち被写体の動きが検出された場所及び時刻を視覚的に把握することは困難である。

【0005】

本発明の目的は、監視エリアのうち検出対象の動きが検出された場所及び時刻を視覚的に把握することが可能な監視装置及び監視方法を提供することにある。

【課題を解決するための手段】

【0006】

本発明の一の局面に係る監視装置は、撮像装置により撮像される監視エリアの撮像画像を取得する取得処理部と、前記取得処理部により取得される前記撮像画像の変化と、前記撮像画像が変化した時刻である変化時刻とを検出する検出処理部と、前記監視エリアに含まれる複数の検出エリアのうち、前記検出処理部により検出される前記撮像画像の変化に対応する検出エリアである第１検出エリアを特定する特定処理部と、前記特定処理部により特定される前記第１検出エリアを識別可能な識別情報と、前記検出処理部により検出される前記変化時刻とを表示部に表示させる表示処理部と、を備える。

【0007】

本発明の他の局面に係る監視方法は、撮像装置により撮像される監視エリアの撮像画像を取得する取得ステップと、前記取得ステップにより取得される前記撮像画像の変化と、前記撮像画像が変化した時刻である変化時刻とを検出する検出ステップと、前記監視エリアに含まれる複数の検出エリアのうち、前記検出ステップにより検出される前記撮像画像の変化に対応する検出エリアである第１検出エリアを特定する特定ステップと、前記特定ステップにより特定される前記第１検出エリアを識別可能な識別情報と、前記検出ステップにより検出される前記変化時刻とを表示部に表示させる表示ステップと、を一又は複数のプロセッサーにより実行する監視方法である。

【発明の効果】

【0008】

本発明によれば、監視エリアのうち検出対象の動きが検出された場所及び時刻を視覚的に把握することが可能となる。

【図面の簡単な説明】

【0009】

【図1】図１は、本発明の実施形態に係る監視装置の構成を示すブロック図である。

【図2】図２は、本発明の実施形態に係る監視装置が適用される店舗の一例を示す図である。

【図3】図３は、本発明の実施形態に係る監視装置で利用される監視エリア情報の一例を示す図である。

【図4】図４は、本発明の実施形態に係る監視装置で利用される画像変化情報の一例を示す図である。

【図5】図５は、本発明の実施形態に係る監視装置で利用される撮像画像情報の一例を示す図である。

【図6】図６は、本発明の実施形態に係る監視装置の表示部に表示される表示画面の一例を示す図である。

【図7】図７は、本発明の実施形態に係る監視装置の表示部に表示される表示画面の他の例を示す図である。

【図8】図８は、本発明の実施形態に係る監視装置の表示部に表示される表示画面の他の例を示す図である。

【図9】図９は、本発明の実施形態に係る監視装置の表示部に表示される再生画面の一例を示す図である。

【図10】図１０は、本発明の実施形態に係る監視装置で実行される監視エリア設定処理の手順の一例を示すフローチャートである。

【図11】図１１は、本発明の実施形態に係る監視装置で実行される表示処理の手順の一例を示すフローチャートである。

【図12】図１２は、本発明の実施形態に係る監視装置で実行される再生処理の手順の一例を示すフローチャートである。

【図13】図１３は、本発明の実施形態に係る監視装置の表示部に表示される再生画面の他の例を示す図である。

【発明を実施するための形態】

【0010】

以下添付図面を参照しながら、本発明の実施形態について説明し、本発明の理解に供する。なお、以下の実施形態は、本発明を具体化した一例であって、本発明の技術的範囲を限定するものではない。

【0011】

本発明に係る監視装置は、小売店、飲食店などの店舗（施設）に設置され、店舗内の所定のエリア（本発明の監視エリアに相当）を監視する。例えば、前記監視装置は、店舗の出入り口、売り場、レジなどを含む監視エリアをカメラにより撮影して、利用客、従業員など（検出対象）による不審な行動を検出する。また、前記監視装置は、前記監視エリアにおいて前記検出対象の動きを検出した場合に、カメラにより撮像される撮像画像を再生可能に記録する。

【0012】

図１に示されるように、本発明の実施形態に係る監視装置１０は、インターネット、ＬＡＮ、ＷＡＮ、又は公衆電話回線などの通信網Ｎ１を介してカメラ２０に通信可能に接続されている。例えば、カメラ２０は、ネットワークで構成される。

【0013】

カメラ２０は、本発明の撮像装置の一例である。カメラ２０は、ＣＣＤ（Charge Coupled Device）、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子を備え、被写体を撮像する。カメラ２０は、被写体を所定のフレームレートで連続して撮像し、所定の解像度のフレーム画像を生成して逐次、監視装置１０に送信する。カメラ２０は、周知の構成を適用することができる。

【0014】

またカメラ２０は、例えば、監視エリアの全体を撮影可能な場所に１つ設置されて、監視エリア全体を撮像する。例えば図２に示すように、カメラ２０は、店舗３０の店内（監視エリア）の天井面に１つ設置されて、店内に配置された商品棚、レジカウンター、店舗３０の出入り口などを含む店内全体を撮像する。なお、本発明の監視装置は、カメラ２０を含んで構成されてもよい。

【0015】

監視装置１０は、カメラ２０により撮像された監視エリアの撮像画像をフレームごとに取得し、取得した撮像画像に基づいて、監視エリアの検出対象（利用客、従業員など）の動きを検出する。

【0016】

図１に示すように、監視装置１０は、制御部１、操作表示部２、記憶部３、通信部４などを備える。

【0017】

操作表示部２は、各種の情報を表示する液晶ディスプレイ又は有機ＥＬディスプレイのような表示部と、操作を受け付けるマウス、キーボード、又はタッチパネルなどの操作部とを備えるユーザーインターフェースである。例えば、監視装置１０の管理者（ユーザー）は、操作表示部２において、監視エリアに関する設定などを行う。操作表示部２は、本発明の表示部の一例である。

【0018】

通信部４は、監視装置１０を有線又は無線で通信網Ｎ１に接続し、通信網Ｎ１を介してカメラ２０などの外部機器との間で所定の通信プロトコルに従ったデータ通信を実行するための通信インターフェースである。

【0019】

記憶部３は、各種の情報を記憶するフラッシュメモリー、ＨＤＤなどの不揮発性の記憶部である。例えば、記憶部３には、制御部１に後述の監視エリア設定処理（図１０参照）を実行させるための監視エリア設定プログラム、表示処理（図１１参照）を実行させるための表示プログラム、及び再生処理（図１２参照）を実行させるための再生プログラム、などの制御プログラムが記憶されている。例えば、前記監視エリア設定プログラム、前記表示プログラム及び前記再生プログラムは、ＣＤ又はＤＶＤなどのコンピュータ読取可能な記録媒体に非一時的に記録されており、監視装置１０に電気的に接続されるＣＤドライブ又はＤＶＤドライブなどの読取装置（不図示）で読み取られて記憶部３に記憶される。

【0020】

また記憶部３には、監視エリア情報Ｄ１、画像変化情報Ｄ２、及び撮像画像情報Ｄ３などのデータが記憶される。図３は、監視エリア情報Ｄ１の一例を示す図である。図４は、画像変化情報Ｄ２の一例を示す図である。図５は、撮像画像情報Ｄ３の一例を示す図である。

【0021】

図３に示すように、監視エリア情報Ｄ１には、前記監視エリアに含まれる複数の検出エリアに関する情報が含まれる。例えば図２に示す店舗３０において、店内全体がカメラ２０により撮像される監視エリアである場合、当該監視エリアには、店内の場所に応じて予め設定された複数のエリア（検出エリア）が含まれる。例えば、管理者は、前記監視エリア内に、商品棚のエリア（検出エリアＡ）と、レジカウンターのエリア（検出エリアＢ）と、出入り口のエリア（検出エリアＣ）とを設定する。監視エリア情報Ｄ１には、管理者により、各検出エリアに関する情報が登録される。具体的には、監視エリア情報Ｄ１には、検出エリアごとに、対応する「範囲（座標）」、「表示色」などの情報が登録される。「範囲（座標）」は、監視エリアにおける検出エリアの範囲及び位置を示す情報である。図３に示す例では、検出エリアＡ，Ｂ，Ｃのそれぞれは、４点の座標で規定される矩形状の領域（図２参照）として設定されている。「表示色」は、検出エリアを識別するための識別情報（色情報）である。前記色情報は、本発明の識別情報の一例である。例えば、検出エリアＡには「緑色」が設定され、検出エリアＢには「黄色」が設定され、検出エリアＣには「赤色」が設定される。

【0022】

図４に示すように、画像変化情報Ｄ２には、撮像画像の変化に関する情報が含まれる。例えば、店舗３０に利用客が来店した場合、撮像画像に利用客が映り込む。この場合、監視装置１０は、撮像画像の前後のフレーム画像を比較して撮像画像の変化を検出する。監視装置１０は、監視エリアのうち変化を検出した検出エリアを特定する。画像変化情報Ｄ２には、撮像画像の変化が検出される度に、変化が検出された時刻と、変化が検出された検出エリアとが互いに関連付けられて登録される。「変化フラグ」には、撮像画像の変化が検出された場合に「１」が登録され、撮像画像の変化が検出されない場合に「０」が登録される。画像変化情報Ｄ２の「時刻」には、例えば、一日の開始時刻「０：００」から終了時刻「２４：００」までの時刻が登録される。なお、「時刻」に、店舗３０の営業時間の開始時刻から終了時刻までの時刻が登録されてもよい。

【0023】

図５に示すように、撮像画像情報Ｄ３には、撮像画像の画像データと撮像画像の情報とが含まれる。例えば、撮像画像情報Ｄ３には、撮像画像の変化が検出された場合に、前記撮像画像の変化が検出された時刻（「変化開始時刻」）、前記撮像画像の変化が検出されなくなった時刻（「変化終了時刻」）、前記撮像画像の画像データ、前記撮像画像の変化が検出された検出エリアなどの情報が登録される。

【0024】

制御部１は、ＣＰＵ、ＲＯＭ、及びＲＡＭなどを有する。前記ＣＰＵは、各種の演算処理を実行するプロセッサーである。前記ＲＯＭは、前記ＣＰＵに各種の処理を実行させるためのＢＩＯＳ及びＯＳなどの制御プログラムを予め記憶する。前記ＲＡＭは、各種の情報を記憶し、前記ＣＰＵが実行する各種の処理の一時記憶メモリー（作業領域）として使用される。そして、制御部１は、前記ＲＯＭ又は記憶部３に予め記憶された各種の制御プログラムを前記ＣＰＵで実行することにより監視装置１０を制御する。

【0025】

具体的に、制御部１は、図１に示すように、取得処理部１１、検出処理部１２、特定処理部１３、記録処理部１４、表示処理部１５、再生処理部１６などの各種の処理部を含む。なお、制御部１は、前記ＣＰＵで前記監視エリア設定プログラム、前記表示プログラム、及び前記再生プログラムに従った各種の処理を実行することによって前記各種の処理部として機能する。また、制御部１に含まれる一部又は全部の処理部が電子回路で構成されていてもよい。なお、前記監視エリア設定プログラム、前記表示プログラム、及び前記再生プログラムは、複数のプロセッサーを前記各種の処理部として機能させるためのプログラムであってもよい。

【0026】

取得処理部１１は、カメラ２０により撮像される監視エリアの撮像画像を取得する。取得処理部１１は、本発明の取得処理部の一例である。例えば、取得処理部１１は、店舗３０に設置されたカメラ２０により撮像される店内全体（監視エリア）の撮像画像をフレームごとに取得する。取得処理部１１は、カメラ２０からフレーム画像を取得すると、取得したフレーム画像を撮像時刻とともにフレームメモリ（図示せず）に記憶する。

【0027】

検出処理部１２は、取得処理部１１により取得される前記撮像画像の変化を検出する。検出処理部１２は、本発明の検出処理部の一例である。具体的には、検出処理部１２は、取得処理部１１により取得された現フレームのフレーム画像と、１フレーム前のフレーム画像とを比較して、監視エリア全体の前記撮像画像の変化を検出する。検出処理部１２は、フレーム画像ごとに、１フレーム前のフレーム画像に対して変化があるか否か（変化の有無）を判定する。

【0028】

また、検出処理部１２は、前記撮像画像の変化を検出した場合に、さらに前記撮像画像が変化した時刻である変化時刻を検出する。具体的には、検出処理部１２は、前記撮像画像の変化を検出した場合に、前記撮像画像の変化を検出した時刻（「変化開始時刻」）と、前記撮像画像の変化が検出されなくなった時刻（「変化終了時刻」）とを検出する。

【0029】

特定処理部１３は、監視エリア含まれる複数の検出エリアのうち、検出処理部１２により検出される前記撮像画像の変化に対応する検出エリアである変化エリアを特定する。特定処理部１３は、本発明の特定処理部の一例であり、前記変化エリアは、本発明の第１検出エリアの一例である。例えば、特定処理部１３は、検出エリアＡ，Ｂ，Ｃのそれぞれに対応する撮像画像について、１フレーム前のフレーム画像と比較して、前記撮像画像の変化の有無を判定する。すなわち、特定処理部１３は、検出処理部１２により監視エリア全体の前記撮像画像において変化が検出された場合に、検出エリアＡ，Ｂ，Ｃのうち変化があった検出エリアを特定する。

【0030】

記録処理部１４は、画像変化情報Ｄ２、及び撮像画像情報Ｄ３を記憶部３に登録する。記録処理部１４は、本発明の記録処理部の一例である。具体的には、記録処理部１４は、画像変化情報Ｄ２に、時刻に応じて前記変化フラグ（「０」又は「１」）を記録する。例えば図４に示すように、記録処理部１４は、特定処理部１３により前記変化エリアが特定された場合に、画像変化情報Ｄ２において、前記変化開始時刻から前記変化終了時刻までの期間の前記変化エリアに対応する検出エリアの登録欄に変化フラグ「１」を登録し、他の登録欄に変化フラグ「０」を登録する。

【0031】

また、記録処理部１４は、撮像画像情報Ｄ３に撮像画像を記録する。例えば図５に示すように、記録処理部１４は、特定処理部１３により前記変化エリアが特定された場合に、撮像画像情報Ｄ３に、前記変化開始時刻と、前記変化終了時刻と、前記変化開始時刻から前記変化終了時刻までの期間（変化時間）の撮像画像の画像データと、前記変化エリアに対応する検出エリアとの各情報を登録する。

【0032】

また、記録処理部１４は、検出処理部１２により前記撮像画像の変化が検出されない間は、取得処理部１１により取得される前記撮像画像を、解像度を低くして記憶部３に記録してもよい。これにより、撮像画像を継続して記録することができるとともに、記憶部３の記憶領域を節約することができる。なお、記録処理部１４は、記憶部３に記録された前記撮像画像を、所定期間経過後に削除してもよい。

【0033】

表示処理部１５は、特定処理部１３により特定される前記変化エリアを識別可能な識別情報を操作表示部２に表示させる。表示処理部１５は、本発明の表示処理部の一例である。前記識別情報は、例えば色情報である。色情報は、検出エリアごとに予め設定され、監視エリア情報Ｄ１（図３参照）に登録される。前記識別情報は、色情報に限定されず、文字情報、図形情報、記号情報、音声情報などであってもよい。

【0034】

例えば、表示処理部１５は、複数の検出エリアのそれぞれに対応する、前記撮像画像の変化の状態を表す複数のインジケーターを操作表示部２に表示させる。前記インジケーターは、例えば、時間に応じた長さを有するタイムバーで構成される。図６は、操作表示部２に表示される表示画面の一例を示す図である。図６に示す例では、「０：００」から「２４：００」までの長さに応じたタイムバーが表示されている。図６に示すように、表示処理部１５は、検出エリアＡに対応するタイムバー１５１ａと、検出エリアＢに対応するタイムバー１５１ｂと、検出エリアＣに対応するタイムバー１５１ｃとを操作表示部２に表示させる。

【0035】

また、表示処理部１５は、複数のインジケーター（タイムバー）のうち前記変化エリアに対応するインジケーター（タイムバー）に、前記変化エリアに関連付けられた前記色情報（図３参照）の色を表示させる。また、表示処理部１５は、前記撮像画像の変化が検出された時刻（変化開始時刻）から検出されなくなった時刻（変化終了時刻）までの変化時間（図５参照）に応じた長さの前記色を前記タイムバーに表示させる。図６に示す例では、検出エリアＡのタイムバー１５１ａにおいて、時刻Ｔ３～Ｔ４（図５参照）の変化時間（変化期間）と、時刻Ｔ５～Ｔ６の変化時間と、時刻Ｔ１１～Ｔ１２の変化時間とが、緑色で表示される。また検出エリアＢのタイムバー１５１ｂにおいて、時刻Ｔ７～Ｔ８の変化時間と、時刻Ｔ１３～Ｔ１４の変化時間と、時刻Ｔ１５～Ｔ１６の変化時間とが、黄色で表示される。また検出エリアＣのタイムバー１５１ｃにおいて、時刻Ｔ１～Ｔ２の変化時間と、時刻Ｔ９～Ｔ１０の変化時間と、時刻Ｔ１７～Ｔ１８の変化時間とが、赤色で表示される。

【0036】

このように、検出処理部１２により前記複数の検出エリアのそれぞれにおいて前記撮像画像の変化が検出された場合に、表示処理部１５は、前記複数のタイムバーのそれぞれにおいて、互いに異なる色を前記変化時間に応じた長さで表示させる。なお、表示処理部１５は、各タイムバーに、変化開始時刻及び変化終了時刻を表示させてもよい。

【0037】

また、表示処理部１５は、取得処理部１１により取得される監視エリア全体の前記撮像画像を操作表示部２に表示させる。例えば、表示処理部１５は、店舗３０の店内全体（監視エリア）の現在の様子を操作表示部２に表示させる（図６参照）。表示処理部１５は、表示画面に表示される前記撮像画像において、各検出エリアを識別するためのエリア情報を表示させてもよい。前記エリア情報は、色情報、文字情報、図形情報、記号情報などであってもよい。例えば図７に示すように、表示処理部１５は、前記撮像画像に、検出エリアＡ，Ｂ，Ｃのそれぞれに対応する色（緑色、黄色、赤色）で塗りつぶされた矩形枠を表示させてもよい。

【0038】

また、表示処理部１５は、図６に示す表示画面において、管理者により、前記撮像画像のうち所定の検出エリアが選択された場合、又は、前記タイムバーのうち所定のタイムバーが選択された場合に、選択された検出エリアの撮像画像（本発明の第１エリア画像の一例）を表示画面に表示させてもよい。例えば図６に示す表示画面において、管理者がマウスを操作して検出エリアＡ内の領域（商品棚など）をクリックした場合、図８に示すように、検出エリアＡの現在の状況を表す撮像画像が拡大されて表示画面に表示される。

【0039】

再生処理部１６は、記憶部３に記憶された撮像画像を再生する。再生処理部１６は、本発明の再生処理部の一例である。具体的には、再生処理部１６は、管理者の操作に基づいて、撮像画像情報Ｄ３に登録された撮像画像を操作表示部２に再生表示させる。例えば、録画データを再生する操作を受け付ける受付画面において、管理者が所望の検出エリアを選択した場合に、再生処理部１６は、選択された検出エリアにおいて撮像画像の変化が検出された変化時間の撮像画像を再生する。

【0040】

また、例えば図９に示すように、管理者がマウス（図９のマウスポインタＭＰ）を操作して、検出エリアＡに対応するタイムバー１５１ａのうち、時刻Ｔ１１～Ｔ１２の変化時間に表示された緑色の領域を選択した場合、再生処理部１６は、時刻Ｔ１１～Ｔ１２の撮像画像ＰＤ０６（図５参照）を操作表示部２に表示（動画再生）させる。なお、図９に示す撮像画像には、撮像画像の変化（動き）が検出された利用客Ｕ１が含まれている。

【0041】

［監視エリア設定処理］
次に、図１０を参照しつつ、監視装置１０の制御部１によって実行される監視エリア設定処理の手順の一例について説明する。制御部１は、管理者が監視エリアを設定する操作を開始することにより前記監視エリア特定プログラムの実行を開始することによって、前記監視エリア設定処理の実行を開始する。ここで、ステップＳ１０１，Ｓ１０２，・・・は、制御部１により実行される処理手順（ステップ）の番号を表している。

【0042】

なお、ここで説明する前記監視エリア設定処理に含まれる一又は複数のステップが適宜省略されてもよい。また、前記監視エリア設定処理における各ステップは、同様の作用効果を生じる範囲で実行順序が異なってもよい。さらに、ここでは監視装置１０の制御部１によって前記監視エリア設定処理における各ステップが実行される場合を例に挙げて説明するが、他の実施形態では、他の複数のプロセッサーによって前記監視エリア設定処理における各ステップが分散して実行されてもよい。また、本発明は、前記監視エリア設定処理に含まれる一又は複数のステップを実行する監視エリア設定方法の発明として捉えることができる。

【0043】

先ず、管理者は、設定画面において、監視エリアに対して検出エリアを設定する。例えば図２に示すように、管理者は、店舗３０の店内全体の監視エリアにおいて、検出エリアＡの範囲を指定する。ステップＳ１０１において、制御部１は、管理者により指定された範囲の座標を取得して、検出エリアＡに範囲（座標）を設定する（図３参照）。

【0044】

次に、管理者は、設定画面において、前記検出エリアに表示色を設定する。例えば、管理者は、検出エリアＡに「緑色」を選択する。ステップＳ１０２において、制御部１は、管理者により選択された色の情報を取得して、検出エリアＡに表示色「緑色」を設定する（図３参照）。

【0045】

続いて、管理者が他の検出エリアを設定する場合（Ｓ１０３：ＹＥＳ）、処理はステップＳ１０１に移行する。これにより、検出エリアＢに範囲（座標）及び表示色「黄色」が設定され、検出エリアＣに範囲（座標）及び表示色「赤色」が設定される。管理者が検出エリアの設定を終了した場合（Ｓ１０３：ＮＯ）、制御部１は監視エリア設定処理を終了する。監視エリア設定処理が行われると、前記各情報を含む監視エリア情報Ｄ１（図３参照）が記憶部３に記憶される。

【0046】

［表示処理］
次に、図１１を参照しつつ、監視装置１０の制御部１によって実行される表示処理の手順の一例について説明する。制御部１は、監視エリアの録画（撮像）を開始することにより前記表示プログラムの実行を開始することによって、前記表示処理の実行を開始する。

【0047】

なお、ここで説明する前記表示処理に含まれる一又は複数のステップが適宜省略されてもよい。また、前記表示処理における各ステップは、同様の作用効果を生じる範囲で実行順序が異なってもよい。さらに、ここでは監視装置１０の制御部１によって前記表示処理における各ステップが実行される場合を例に挙げて説明するが、他の実施形態では、他の複数のプロセッサーによって前記表示処理における各ステップが分散して実行されてもよい。また、本発明は、前記表示処理に含まれる一又は複数のステップを実行する表示方法の発明として捉えることができる。

【0048】

ステップＳ２０１において、制御部１は、管理者から録画停止の指示を取得した場合、録画を終了して前記表示処理を終了する（Ｓ２１３）。

【0049】

制御部１は、管理者から録画停止の指示を取得しない場合（Ｓ２０１：ＮＯ）、カメラ２０により撮像された監視エリアの撮像画像及び撮像時刻を取得して記録する（Ｓ２０２，Ｓ２０３）。例えば、制御部１は、店舗３０に設置されたカメラ２０により撮像される店内全体（監視エリア）の撮像画像をフレームごとに取得し、取得したフレーム画像を撮像時刻とともにフレームメモリに記憶する。

【0050】

次にステップＳ２０４において、制御部１は、画像変化情報Ｄ２の前記撮像時刻に対応する変化フラグに「０」を登録する。

【0051】

次にステップＳ２０５において、制御部１は、監視エリア全体に対する現フレームのフレーム画像と、１フレーム前のフレーム画像とを比較する。

【0052】

次にステップＳ２０６において、制御部１は、監視エリア全体の撮像画像の変化を検出したか否かを判定する。監視エリア全体の撮像画像の変化を検出した場合（Ｓ２０６：ＹＥＳ）、処理はステップＳ２０７に移行する。監視エリア全体の撮像画像の変化を検出しなかった場合（Ｓ２０６：ＮＯ）、処理はステップＳ２０１に戻る。制御部１は、監視エリア全体の撮像画像の変化を検出した場合、前記撮像画像が変化した時刻である変化時刻（「変化開始時刻」、「変化終了時刻」）を検出する。

【0053】

ステップＳ２０７において、制御部１は、所定の検出エリアに対応する撮像画像について、１フレーム前のフレーム画像と比較する。

【0054】

次にステップＳ２０８において、制御部１は、前記検出エリアに対応する撮像画像の変化を検出したか否かを判定する。前記検出エリアに対応する撮像画像の変化を検出した場合（Ｓ２０８：ＹＥＳ）、処理はステップＳ２０９に移行する。前記検出エリアに対応する撮像画像の変化を検出しなかった場合（Ｓ２０８：ＮＯ）、処理はステップＳ２１１に移行する。

【0055】

例えば、制御部１は、初めに複数の検出エリアＡ，Ｂ，Ｃのうち検出エリアＡについてステップＳ２０７，Ｓ２０８の処理を行う。制御部１１が検出エリアＡに対応する撮像画像の変化を検出しなかった場合（Ｓ２０８：ＮＯ）、処理はステップＳ２１１に移行する。ステップＳ２１１において、他の検出エリアがある場合にはステップＳ２１２に移行して、制御部１は次の検出エリアについて撮像画像の変化の有無を判定する。ここでは、制御部１は、検出エリアＡ，Ｂ，Ｃのうち検出エリアＢについてステップＳ２０８の判定処理を行う。制御部１１が検出エリアＢに対応する撮像画像についても変化を検出しなかった場合（Ｓ２０８：ＮＯ）、処理は再びステップＳ２１１に移行する。続いて、制御部１は、検出エリアＡ，Ｂ，Ｃのうち検出エリアＣについてステップＳ２０８の判定処理を行う。そして、制御部１１が検出エリアＣに対応する撮像画像の変化を検出した場合（Ｓ２０８：ＹＥＳ）、処理はステップＳ２０９に移行する。

【0056】

このように、制御部１は、監視エリアに含まれる複数の検出エリアのうち、前記撮像画像の変化に対応する検出エリアである変化エリアを特定する。

【0057】

ステップＳ２０９において、制御部１は、画像変化情報Ｄ２（図４参照）において、前記変化開始時刻から前記変化終了時刻までの期間（変化時間）の前記変化エリアに対応する検出エリアＣの登録欄に変化フラグ「１」を登録する。

【0058】

次にステップＳ２１０において、制御部１は、前記変化エリアに対応する検出エリアのインジケーターに、前記変化エリアに関連付けられた前記色情報（図３参照）の色を、前記変化時間に応じた長さで表示させる。例えば、制御部１は、検出エリアＣに対応するタイムバー１５１ｃに、時刻Ｔ１～Ｔ２（図５参照）の変化時間に応じた長さで赤色を表示させる（図６参照）。続くステップＳ２１１では、他の検出エリアが存在しないため、処理はステップＳ２０１に戻り、制御部１は、新たな撮像画像に対する前記処理を実行する。このようにして、録画が停止されるまで前記処理が繰り返される。これにより、例えば図６に示す表示画面が操作表示部２に表示される。

【0059】

［再生処理］
次に、図１２を参照しつつ、監視装置１０の制御部１によって実行される再生処理の手順の一例について説明する。制御部１は、管理者が録画データを再生する操作を開始することにより前記再生プログラムの実行を開始することによって、前記再生処理の実行を開始する。

【0060】

なお、ここで説明する前記再生処理に含まれる一又は複数のステップが適宜省略されてもよい。また、前記再生処理における各ステップは、同様の作用効果を生じる範囲で実行順序が異なってもよい。さらに、ここでは監視装置１０の制御部１によって前記再生処理における各ステップが実行される場合を例に挙げて説明するが、他の実施形態では、他の複数のプロセッサーによって前記再生処理における各ステップが分散して実行されてもよい。また、本発明は、前記再生処理に含まれる一又は複数のステップを実行する再生方法の発明として捉えることができる。

【0061】

ステップＳ３０１において、制御部１は、録画データの再生を受け付ける受付画面を操作表示部２に表示させる。管理者は、前記受付画面において、再生を希望する検出エリアを選択する。

【0062】

次にステップＳ３０２において、制御部１は、前記受付画面において管理者により選択された検出エリアを取得する。制御部１は、管理者から再生を終了させる操作を取得すると再生処理を終了する（Ｓ３０７）。

【0063】

ステップＳ３０４において、制御部１は、録画データを１フレーム進める。次にステップＳ３０５において、制御部１は、画像変化情報Ｄ２を参照して、フレーム画像に対応する変化フラグに「１」が設定されているか否かを判定する。前記変化フラグに「１」が設定されている場合（Ｓ３０５：ＹＥＳ）、処理はステップＳ３０６に移行する。前記変化フラグに「１」が設定されていない場合（Ｓ３０５：ＮＯ）、処理はステップＳ３０４に戻り、次のフレームに進める。

【0064】

ステップＳ３０６において、制御部１は、画像を再生する。この処理によれば、制御部１は、監視エリアに変化（動き）があった場合に、変化を含む画像のみを再生することが可能となる。また、制御部１は、管理者により指定された検出エリアのみの画像を再生させることができる。

【0065】

以上のように、本実施形態に係る監視装置１０では、監視エリアのうち検出対象の動きが検出された場所（検出エリア）を特定し、特定した検出エリアに対応する識別情報（例えば色情報）を時間情報とともに表示画面に表示する。これにより、監視エリアのうち検出対象の動きが検出された場所及び時刻を視覚的に把握することが可能となる。

【0066】

本発明の監視装置は上述の実施形態に限定されない。本発明の監視装置は、以下に示す形態であってもよい。

【0067】

例えば、監視装置１０は、複数の検出エリアにおいて撮像画像に動きが検出された場合に、変化の状態を１つのインジケーターにより表示してもよい。例えば、図１３に示すように、監視装置１０は、監視エリアに対応する１つのインジケーター（タイムバー１５１）を表示し、当該タイムバー１５１において、検出エリアごとの色を表示させてもよい。なお、タイムバー１５１において、複数の検出エリアの変化時間が重なる場合（例えば、検出エリアＡの時刻Ｔ５～Ｔ６、及び、検出エリアＢの時刻Ｔ７～Ｔ８）には、重なる時間帯を他の色で表示させてもよいし、重なる時間帯を含む両変化時間を二段で併記させてもよい。

【符号の説明】

【0068】

１ ：制御部
２ ：操作表示部
３ ：記憶部
４ ：通信部
１０ ：監視装置
１１ ：取得処理部
１２ ：検出処理部
１３ ：特定処理部
１４ ：記録処理部
１５ ：表示処理部
１６ ：再生処理部
２０ ：カメラ
３０ ：店舗
１５１ ：タイムバー
１５１ａ ：タイムバー
１５１ｂ ：タイムバー
１５１ｃ ：タイムバー

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】