特許第6844503号(P6844503)IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 京セラドキュメントソリューションズ株式会社の特許一覧

<>
  • 特許6844503-監視システム 図000002
  • 特許6844503-監視システム 図000003
  • 特許6844503-監視システム 図000004
  • 特許6844503-監視システム 図000005
  • 特許6844503-監視システム 図000006
  • 特許6844503-監視システム 図000007
  • 特許6844503-監視システム 図000008
  • 特許6844503-監視システム 図000009
  • 特許6844503-監視システム 図000010
  • 特許6844503-監視システム 図000011
  • 特許6844503-監視システム 図000012
  • 特許6844503-監視システム 図000013
  • 特許6844503-監視システム 図000014
  • 特許6844503-監視システム 図000015
  • 特許6844503-監視システム 図000016
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6844503
(24)【登録日】2021年3月1日
(45)【発行日】2021年3月17日
(54)【発明の名称】監視システム
(51)【国際特許分類】
   H04N 7/18 20060101AFI20210308BHJP
   H04N 5/232 20060101ALI20210308BHJP
   G08B 25/00 20060101ALI20210308BHJP
   G08B 25/08 20060101ALI20210308BHJP
   G08B 13/196 20060101ALI20210308BHJP
   G08B 25/04 20060101ALI20210308BHJP
【FI】
   H04N7/18 D
   H04N5/232 290
   G08B25/00 510M
   G08B25/08 A
   G08B13/196
   G08B25/04 E
   H04N5/232 930
【請求項の数】5
【全頁数】19
(21)【出願番号】特願2017-213696(P2017-213696)
(22)【出願日】2017年11月6日
(65)【公開番号】特開2019-87842(P2019-87842A)
(43)【公開日】2019年6月6日
【審査請求日】2019年10月24日
(73)【特許権者】
【識別番号】000006150
【氏名又は名称】京セラドキュメントソリューションズ株式会社
(74)【代理人】
【識別番号】100168583
【弁理士】
【氏名又は名称】前井 宏之
(72)【発明者】
【氏名】坂下 文弥
(72)【発明者】
【氏名】平沼 洋一
(72)【発明者】
【氏名】坂口 翔一
(72)【発明者】
【氏名】藤原 尚平
【審査官】 佐野 潤一
(56)【参考文献】
【文献】 特開2007−221581(JP,A)
【文献】 特開2005−065149(JP,A)
【文献】 特開2007−233872(JP,A)
【文献】 国際公開第2015/166612(WO,A1)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 7/18
H04N 5/222−5/257
G08B 13/00−31/00
(57)【特許請求の範囲】
【請求項1】
イベントを検知する監視システムであって、
第1撮像領域を撮像して、第1撮像画像を示す第1撮像画像データを生成する第1撮像装置と、
前記第1撮像画像データに基づいて前記イベントを検知する制御部と、
第1フラグ及び第2フラグを示すデータを記憶する記憶部と、
情報を通知する通知部と
を備え、
前記イベントは、プレイベントと前記プレイベントが終了した後に検知されるポストイベントとを含み、
前記プレイベントが検知される前において、前記第1フラグ及び前記第2フラグはそれぞれ、オフ状態であり、
前記プレイベントは、前記第1撮像領域における撮像を妨害する撮影妨害行為を示し、
前記ポストイベントは、前記第1撮像領域に設置された被検知体の持ち去り行為を示し、
前記制御部は、前記プレイベントを検知すると、前記第1フラグを前記オフ状態からオン状態へ変化させることで前記第1撮像画像データを前記記憶部に記憶させ、前記プレイベントが終了した後も前記第1フラグを前記オン状態に維持し
前記第1フラグが前記オン状態である場合に、前記ポストイベントを検知すると、前記第2フラグを前記オフ状態から前記オン状態へ変化させることで、連続イベントが発生した旨を示す連続イベント発生情報を前記通知部に通知させ
前記第1フラグが前記オン状態である場合に、前記ポストイベントを検知しないと、前記第1フラグを前記オン状態から前記オフ状態へ変化させることで、前記第1撮像画像データを前記記憶部から削除する、監視システム。
【請求項2】
前記制御部は、前記第1撮像領域において、前記撮影妨害行為が行われている第1妨害領域が占める割合を示す第1妨害領域率を算出し、前記第1妨害領域率が閾値以上であるか否かに基づいて、前記撮影妨害行為を前記プレイベントとして検知する、請求項に記載の監視システム。
【請求項3】
前記第1撮像領域とは異なる第2撮像領域を撮像して、第2撮像画像を示す第2撮像画像データを生成する第2撮像装置を更に備え、
前記制御部は、前記第1撮像画像データ及び前記第2撮像画像データに基づいて前記プレイベントを検知する、請求項に記載の監視システム。
【請求項4】
前記制御部は、前記第2撮像領域において、前記撮影妨害行為が行われている第2妨害領域が占める割合を示す第2妨害領域率を算出し、
前記制御部は、前記第1妨害領域率が前記閾値以上であり、且つ、前記第2妨害領域率が前記閾値以上ではない場合に、前記プレイベントを検知する、請求項に記載の監視システム。
【請求項5】
前記記憶部は、前記被検知体が第3者によって持ち去り可能であるか否かを示す被検知体情報を更に記憶し、
前記制御部は、前記被検知体が前記第3者によって持ち去り可能である旨を前記被検知体情報が示す場合に、前記ポストイベントを検知する、請求項に記載の監視システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、監視システムに関する。
【背景技術】
【0002】
特許文献1には、監視カメラシステムが開示されている。特許文献1に開示の監視カメラシステムは、ネットワークカメラ及び表示装置を備える。ネットワークカメラは、撮像系、制御系及び通信部を含む。撮像系は、画像取得部及び映像配信制御部を含む。画像取得部は、撮像素子によって撮像された撮像画像を取得する。映像配信制御部は、撮像画像を符号化した映像を表示装置へ送信する。制御系は、物体検出処理部、イベント検知処理部及びイベント配信制御部を含む。物体検出処理部は、人体などの物体を検出する。イベント検知処理部は、物体検出処理部によって検出された物体の状態に基づいて「持ち去り」や「いたずら(撮影妨害)」等のイベントの発生を検知する。物体の状態は、例えば、画面上の所定の領域に対して物体が占める割合を示す物体被覆率で表される。イベント配信制御部は、イベント検知処理部の検知結果に基づいてイベント情報を生成する。通信部は、イベント配信制御部が生成したイベント情報を表示装置へ送信する。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2012−99940号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、特許文献1に開示の監視カメラシステムでは、複数のイベントが発生すると、すべてのイベント情報が表示装置に表示される。管理者は、表示されたすべてのイベント情報の内容を確認しなければならず、管理者の確認作業の負担が増大する。この結果、重要なイベント情報が見逃されて、イベントの検知精度が低下する虞がある。
【0005】
本発明は、上記課題に鑑み、管理者の作業負担を軽減しつつ、イベントの検知精度の低下を抑制する監視システムを提供することを目的とする。
【課題を解決するための手段】
【0006】
本発明に係る監視システムは、イベントを検知する。当該監視システムは、第1撮像装置と、制御部と、記憶部と、通知部とを備える。前記第1撮像装置は、第1撮像領域を撮像して、第1撮像画像を示す第1撮像画像データを生成する。前記制御部は、前記第1撮像画像データに基づいて前記イベントを検知する。前記記憶部は、第1フラグ及び第2フラグを示すデータを記憶する。前記通知部は、情報を通知する。前記イベントは、プレイベントと前記プレイベントが終了した後に検知されるポストイベントとを含む。前記プレイベントが検知される前において、前記第1フラグ及び前記第2フラグはそれぞれ、オフ状態である。前記制御部は、前記プレイベントを検知すると、前記第1フラグを前記オフ状態からオン状態へ変化させ、前記プレイベントが終了した後も前記第1フラグを前記オン状態に維持する。前記制御部は、前記ポストイベントを検知すると、前記第2フラグを前記オフ状態から前記オン状態へ変化させて、連続イベントが発生した旨を示す連続イベント発生情報を前記通知部に通知させる。
【発明の効果】
【0007】
本発明によれば、管理者の作業負担を軽減しつつ、イベントの検知精度の低下を抑制することができる。
【図面の簡単な説明】
【0008】
図1】本発明の実施形態1に係る監視システムの構成を示す図である。
図2】本発明の実施形態1に係るイベント検知処理を示すフローチャートである。
図3】本発明の実施形態1に係る撮像画像の一例を示す図である。
図4】本発明の実施形態1に係る撮像画像の第1他例を示す図である。
図5】本発明の実施形態1に係る撮像画像の第2他例を示す図である。
図6】本発明の実施形態1に係る撮像画像の第3他例を示す図である。
図7】本発明の実施形態1に係るプレイベント検知処理を示すフローチャートである。
図8】本発明の実施形態1に係るポストイベント検知処理を示すフローチャートである。
図9】本発明の実施形態1に係るイベント検知のタイミングと通知のタイミングとを示す図である。
図10】比較例に係るイベント検知のタイミングと通知のタイミングとを示す図である。
図11】本発明の実施形態2に係る監視システムの構成を示す図である。
図12】本発明の実施形態2に係る第1撮像画像及び第2撮像画像の一例を示す図である。
図13】本発明の実施形態2に係る第1撮像画像及び第2撮像画像の第1他例を示す図である。
図14】本発明の実施形態2に係る第1撮像画像及び第2撮像画像の第2他例である。
図15】本発明の実施形態2に係るプレイベント検知処理を示すフローチャートである。
【発明を実施するための形態】
【0009】
以下、図面を参照して、本発明に係る監視システムの実施形態について説明する。なお、図中、同一又は相当部分については同一の参照符号を付して説明を繰り返さない。
【0010】
[実施形態1]
まず、図1を参照して、本発明の実施形態に係る監視システム100について説明する。図1は、実施形態1に係る監視システム100の構成を示す図である。
【0011】
図1に示すように、監視システム100は、第1カメラ1と、制御装置5とを備える。第1カメラ1は、第1撮像装置の一例である。
【0012】
第1カメラ1は、撮像素子11、カメラ通信部12、カメラ記憶部13、及びカメラ制御部14を備える。カメラ制御部14は、制御部の一例である。
【0013】
撮像素子11は、撮像領域を撮像する。撮像素子11は、撮像画像を示すデータを生成し、カメラ制御部14へ送信する。以下、撮像画像を示すデータを「撮像画像データ」と記載する。撮像素子11は、例えば、CCD(Charge Coupled Device)イメージセンサー、又はCMOS(Complementary Metal Oxide Semiconductor)イメージセンサーである。
【0014】
カメラ通信部12は、同じ通信方式(プロトコル)を利用する通信機が搭載された電子機器との間で通信が可能である。カメラ通信部12は、LAN(Local Area Network)などのネットワーク網を介して制御装置5と通信する。カメラ通信部12は、例えば、LANボードのような通信モジュール(通信機器)である。本実施形態において、カメラ通信部12は、撮像画像データを制御装置5へ送信する。
【0015】
カメラ記憶部13は、各種データを記憶する。カメラ記憶部13は、半導体メモリーによって構成される。半導体メモリーは、例えば、RAM(Random Access Memory)及びROM(Read Only Memory)を構成する。
【0016】
カメラ制御部14は、カメラ記憶部13に記憶されたカメラ制御プログラムを実行することによって、第1カメラ1が備える各部の動作を制御する。カメラ制御部14は、例えば、MPU(micro processing unit)のようなプロセッサーによって構成される。
【0017】
カメラ制御部14は、撮像画像データに基づいて、検知範囲における撮像画像の変化を検知する。カメラ制御部14は、例えば、背景差分法によって、撮像画像の変化を検知する。あるいは、カメラ制御部14は、隣接フレーム間差分法によって、撮像画像の変化を検知する。検知範囲は、管理者によって予め設定される。検知範囲を示すデータは、カメラ記憶部13に記憶される。
【0018】
本実施形態において、カメラ制御部14は、検知範囲における撮像画像の変化を検知すると、変化検知データを制御装置5へ送信する。変化検知データは、検知範囲における撮像画像データの変化が検知されたことを示す。
【0019】
制御装置5は、装置通信部51、入力装置52、出力装置53、装置記憶部54、及び装置制御部55を備える。装置通信部51及び出力装置53は、通知部の一例である。装置記憶部54は、記憶部の一例である。装置制御部55は、制御部の一例である。制御装置5は、例えば、サーバーである。
【0020】
装置通信部51は、同じ通信方式(プロトコル)を利用する通信機が搭載された電子機器との間で通信が可能である。装置通信部51は、LANなどのネットワーク網を介してカメラ通信部12と通信する。装置通信部51は、例えば、LANボードのような通信モジュール(通信機器)である。本実施形態において、装置通信部51は、撮像画像データをカメラ通信部12から受信する。また、装置通信部51は、カメラ制御部14が撮像画像の変化を検知すると、変化検知データをカメラ通信部12から受信する。
【0021】
入力装置52は、制御装置5に対するユーザーの指示の入力を受け付ける。本実施形態において、入力装置52は、キーボード及びマウスを含む。なお、入力装置52は、タッチセンサーを含み得る。
【0022】
出力装置53は、装置通信部51が受信した撮像画像データに基づく撮像画像を出力する。本実施形態において、出力装置53は、液晶ディスプレーのようなディスプレーを含む。
【0023】
装置記憶部54は、各種データを記憶する。装置記憶部54は、ストレージデバイス及び半導体メモリーによって構成される。ストレージデバイスは、例えば、HDD(Hard Disk Drive)及び/又はSSD(Solid State Drive)によって構成される。半導体メモリーは、例えば、RAM及びROMを構成する。本実施形態において、装置記憶部54は、第1フラグ541及び第2フラグ542を示すデータを記憶する。以下、第1フラグ541を示すデータを「第1フラグデータ」と記載し、第2フラグ542を示すデータを「第2フラグデータ」と記載する。第1フラグ541及び第2フラグ542の各々は、オン状態とオフ状態との間で変化する。
【0024】
装置記憶部54は、認証用画像データ、及び基準背景データを記憶する。認証用画像データは、管理者が予め設定した検知対象である被検知体を認証するための画像を示す。基準背景データは、撮像画像の基準となる基準背景画像を示す。本実施形態において、基準背景画像は、第1カメラ1が撮像する撮像領域の被検知体が設置される前の状態を示す。
【0025】
装置制御部55は、装置記憶部54に記憶された装置制御プログラムを実行することによって制御装置5が備える各部の動作を制御する。装置制御部55は、例えば、CPU(Central Processing Unit)のようなプロセッサーによって構成される。
【0026】
装置制御部55は、管理者による検知範囲及び被検知体の設定を受け付ける。装置制御部55は、例えば、出力装置53に検知範囲及び被検知体を設定するための設定画面を表示させる。管理者は、設定画面が表示されている際に、入力装置52を操作することにより、被検知体及び被検知体を囲む検知範囲を設定する。検知範囲を示すデータは、装置通信部51を介してカメラ通信部12へ送信される。カメラ制御部14は、カメラ通信部12が検知範囲を示すデータを受信すると、カメラ記憶部13に検知範囲を示すデータを記憶させる。カメラ制御部14は、カメラ記憶部13に記憶された検知範囲を示すデータに基づいて撮像画像の変化を検知する。
【0027】
装置制御部55は、入力装置52が撮像画像の出力の指示を受け付けると、装置通信部51が受信した撮像画像データに基づいて出力装置53に撮像画像を出力させる。あるいは、装置制御部55は、装置記憶部54に記憶された撮像画像データに基づいて出力装置53に撮像画像を出力させる。
【0028】
装置制御部55は、変化検知データを装置通信部51が受信すると、イベントを検知するイベント検知処理を実行する。イベント検知処理は、プレイベント検知処理及びポストイベント検知処理を含む。プレイベント検知処理は、プレイベントを検知するための処理である。ポストイベント検知処理は、ポストイベントを検知するための処理である。ポストイベント処理は、プレイベントが終了した後に実行される。本実施形態において、プレイベントは、「撮影妨害行為」である。ポストイベントは、「被検知体の持ち去り行為」である。なお、被検知体は、例えば、「公共の場に設置される物体」である。
【0029】
装置制御部55は、装置通信部51が変化検知データを受信すると、イベント検知処理を実行する。詳しくは、装置制御部55は、第1フラグ541がオフ状態であるか否かを判定する。装置制御部55は、第1フラグ541がオフ状態であると判定すると、プレイベント検知処理及びポストイベント検知処理を実行する。また、装置制御部55は、第1フラグ541がオフ状態ではないと判定すると、ポストイベント検知処理を実行する。
【0030】
プレイベント検知処理において、装置制御部55は、第1妨害領域率D1に基づいて撮影妨害行為の発生(有無)を検知する。詳しくは、装置制御部55は、第1妨害領域率D1が第1閾値以上であるか否かを判定する。第1閾値は、閾値の一例である。第1閾値は、例えば、管理者によって予め設定される。第1閾値は、例えば、70%である。
【0031】
第1妨害領域率D1は、撮像画像において第1妨害領域が占める割合を示す。第1妨害領域は、撮影妨害行為が行われている領域である。本実施形態において、第1妨害領域は、撮影を妨害する物体の画像を示す領域である。撮影を妨害する物体は、例えば、人体である。
【0032】
第1妨害領域率D1は、装置記憶部54に記憶された基準背景データと、撮像画像データとに基づいて算出される。詳しくは、第1妨害領域率D1は、基準背景データと撮像画像データとの非合致率である。具体的には、第1妨害領域率D1は、撮像画像における、基準背景画像を構成する画素と異なる画素の数の割合を示す。装置制御部55は、例えば、基準背景データによって示される基準背景画像と撮像画像とをパターンマッチングによって比較することにより、第1妨害領域率D1を算出する。
【0033】
装置制御部55は、第1妨害領域率D1が第1閾値以上であると判定すると、撮影妨害行為の発生を検知(プレイベントを検知)したと判定し、第1フラグ541をオフ状態からオン状態に変化させる。また、装置制御部55は、第1フラグ541をオン状態に変化させると、撮像画像データを装置記憶部54に記憶させる。なお、装置制御部55は、第1妨害領域率D1が第1閾値以上ではないと判定すると、第1フラグ541をオン状態に変化させることなく、ポストイベント検知処理を実行する。
【0034】
ポストイベント検知処理において、装置制御部55は、装置記憶部54に記憶された認証用画像データに基づいて、撮像画像の中において被検知体画像3の探索を行うことにより、撮像画像の中に被検知体画像3が含まれるか否かを判定する。具体的には、装置制御部55は、認証用画像データと撮像画像データとを比較することにより、撮像画像の中に被検知体画像3が含まれるか否かを判定する。より具体的には、装置制御部55は、認証用画像データによって示される認証用画像との合致率が第2閾値以上となる画像が撮像画像の中に存在するか否かによって、被検知体画像3が撮像画像の中に含まれるか否かを判定する。第2閾値は、例えば、管理者によって設定される。第2閾値は、例えば、70%である。
【0035】
装置制御部55は、撮像画像の中に被検知体画像3が含まれないと判定すると、被検知体の持ち去り行為が発生したと検知(ポストイベントを検知)したと判定し、第2フラグ542をオフ状態からオン状態へ変化させる。また、装置制御部55は、第1フラグ541がオン状態である場合に、第2フラグ542をオン状態へ変化させると、「連続イベント発生情報」を管理者に通知する。連続イベント発生情報は、連続イベントが発生した旨を示す。本実施形態において、装置制御部55は、連続イベント発生情報を示すメッセージを出力装置53に出力させる。一方、装置制御部55は、撮像画像の中に被検知体画像3が含まれると判定すると、被検知体の持ち去り行為が発生していないと判定する(ポストイベントを検知しない)。装置制御部55は、第1フラグ541がオン状態である場合に、被検知体の持ち去り行為が発生していないと判定すると、第2フラグ542をオン状態に変化させることなく、第1フラグ541をオン状態からオフ状態へ変化させる。装置制御部55は、第1フラグ541をオフ状態に変化させると、装置記憶部54に記憶された撮像画像データを削除する。
【0036】
次に、図1及び図2を参照して、実施形態1に係るイベント検知処理について更に説明する。図2は、実施形態1に係るイベント検知処理を示すフローチャートである。イベント検知処理は、装置通信部51が変化検知データを受信すると開始される。
【0037】
図2に示すように、装置制御部55は、装置通信部51が変化検知データを受信すると、第1フラグ541がオフ状態であるか否かを判定する(ステップS102)。装置制御部55は、第1フラグ541がオフ状態であると判定すると(ステップS102:Yes)、プレイベント検知処理を実行する(ステップS104)。次いで、装置制御部55は、ポストイベント検知処理を実行して(ステップS106)、イベント検知処理を終了する。一方、装置制御部55は、第1フラグ541がオフ状態ではないと判定すると(ステップS102:No)、ポストイベント検知処理を実行して(ステップS106)、イベント検知処理を終了する。
【0038】
次に、図1図4を参照して、本実施形態に係るプレイベント検知処理について説明する。図3及び図4では、プレイベントとして撮影妨害行為が検知される。なお、プレイベントが検知される前において、第1フラグ541及び第2フラグ542はそれぞれ、オフ状態である。
【0039】
図3は、実施形態1に係る撮像画像SG1の一例を示す図である。図4は、実施形態1に係る撮像画像SG1の第1他例を示す図である。詳しくは、図4は、図3に示す撮像領域に複数の人が出現した後の撮像画像SG1を示す。図4に示す撮像画像SG1の第1妨害領域率D1は、第1閾値以上である。
【0040】
図3に示すように、撮像画像SG1は、消火器を示す消火器画像GF及び絵画を示す絵画画像GP1を含む。換言すると、第1カメラ1(撮像素子11)は、消火器及び絵画が設置された撮像領域を撮像する。管理者は、入力装置52を操作することによって、撮像画像SG1の中に含まれる物体を示す画像の中から被検知体(被検知体を示す画像3)を設定する。また、管理者は、入力装置52を操作することによって、被検知体を示す画像3を囲む検知範囲4を設定する。本実施形態において、管理者は、「消火器」を被検知体として設定する。以下、被検知体を示す画像3を「被検知体画像3」と記載する。
【0041】
図3及び図4に示すように、複数の人が撮像領域に出現すると、撮像画像SG1の中に複数の人体を示す人体画像GHが出現する。複数の人が被検知体(消火器)を取り囲むと、検知範囲4における撮像画像SG1が変化する。したがって、カメラ制御部14は、検知範囲4における撮像画像SG1の変化を検知し、カメラ通信部12を介して装置通信部51へ変化検知データを送信する。装置制御部55は、装置通信部51が変化検知データを受信すると、イベント検知処理を実行する。図3及び図4に示す例では、第1フラグ541はオフ状態である。したがって、装置制御部55は、プレイベント検知処理を実行する。詳しくは、装置制御部55は、装置記憶部54に記憶された基準背景データと、撮像画像データとに基づいて第1妨害領域率D1を算出し、第1妨害領域率D1が第1閾値以上であるか否かを判定する。図4に示す例では、第1妨害領域率D1が第1閾値以上である。したがって、装置制御部55は、撮影妨害行為の発生を検知する。装置制御部55は、撮影妨害行為(プレイベント)の発生を検知すると、第1フラグ541をオフ状態からオン状態に変化させて、プレイベント検知処理を終了する。
【0042】
次に、図1図5を参照して、本実施形態に係るポストイベント検知処理について説明する。図5では、ポストイベントとして被検知体の持ち去り行為が検知される。
【0043】
図5は、実施形態1に係る撮像画像SG1の第2他例を示す図である。図6は、実施形態1に係る撮像画像SG1の第3他例を示す図である。詳しくは、図5及び図6は、図4に示す撮像領域から複数の人が去った後の撮像画像SG1を示す。換言すると、図5及び図6は、撮影妨害行為が終了した後の撮像画像SG1を示す。なお、図5及び図6に示す例では、複数の人が去ったため、撮像画像SG1の第1妨害領域率D1は、第1閾値以上ではない。また、第1フラグ541はオン状態であり、第2フラグ542はオフ状態である。なお、図5に示す2点鎖線は、持ち去られる前の被検知体画像3を示す。
【0044】
図4図6に示すように、複数の人が撮像領域から去って、撮像画像SG1の中から複数の人体画像GHが消失すると、検知範囲4における撮像画像SG1が変化する。したがって、カメラ制御部14は、検知範囲4における撮像画像SG1の変化を検知し、カメラ通信部12を介して装置通信部51へ変化検知データを送信する。装置制御部55は、装置通信部51が変化検知データを受信すると、イベント検知処理を実行する。図4図6に示す例では、第1フラグ541はオン状態である。したがって、装置制御部55は、ポストイベント検知処理を実行する。詳しくは、装置制御部55は、認証用画像データと撮像画像データとを比較し、認証用画像との合致率が第2閾値以上となる画像が撮像画像SG1の中に存在するか否かによって、被検知体画像3が撮像画像SG1の中に含まれるか否かを判定する。
【0045】
図5に示すように、認証用画像との合致率が第2閾値以上となる画像が撮像画像SG1の中に存在しない場合、装置制御部55は、被検知体の持ち去り行為(ポストイベント)の発生を検知する。装置制御部55は、被検知体の持ち去り行為の発生を検知すると、第2フラグ542をオフ状態からオン状態に変化させる。装置制御部55は、第2フラグ542をオン状態に変化させると、連続イベント発生情報を管理者に通知して、ポストイベント検知処理を終了する。
【0046】
なお、図6に示すように、認証用画像との合致率が第2閾値以上となる画像が撮像画像SG1の中に存在する場合、装置制御部55は、連続イベント発生情報を通知することなく、ポストイベント検知処理を終了する。
【0047】
次に、図1図7を参照して、実施形態1に係るプレイベント検知処理について更に説明する。図7は、実施形態1に係るプレイベント検知処理を示すフローチャートである。プレイベント検知処理は、装置制御部55が、第1フラグ541がオフ状態であると判定すると(図2のステップS102:Yes)、開始される。
【0048】
図7に示すように、装置制御部55は、第1フラグ541がオフ状態であると判定すると、第1妨害領域率D1が第1閾値以上であるか否かを判定する(ステップS202)。装置制御部55は、第1妨害領域率D1が第1閾値以上であると判定すると(ステップS202:Yes)、撮影妨害行為を検知したと判定し、第1フラグ541をオン状態に変化させて(ステップS204)、プレイベント検知処理を終了する。一方、装置制御部55は、第1妨害領域率D1が第1閾値以上ではないと判定すると(ステップS202:No)、第1フラグ541をオン状態に変化させることなく、プレイベント検知処理を終了する。
【0049】
続いて、図8を参照して、実施形態1に係るポストイベント検知処理について更に説明する。図8は、実施形態1に係るポストイベント検知処理を示すフローチャートである。ポストイベント検知処理は、プレイベント検知処理が終了すると(図2のステップS104)、開始される。あるいは、ポストイベント検知処理は、イベント検知処理において第1フラグ541がオフ状態ではないと判定されると(図2のステップS102:No)、開始される。
【0050】
図8に示すように、装置制御部55は、撮像画像SG1の中に被検知体画像3が含まれるか否かを判定する(ステップS302)。詳しくは、装置制御部55は、認証用画像データによって示される認証用画像との合致率が第2閾値以上となる画像が撮像画像SG1の中に存在するか否かによって、被検知体画像3が撮像画像SG1の中に含まれるか否かを判定する。
【0051】
装置制御部55は、撮像画像SG1の中に被検知体画像3が含まれないと判定すると(ステップS302:No)、被検知体の持ち去り行為が発生したと判定し、第2フラグ542をオン状態に変化させる(ステップS304)。次いで、装置制御部55は、第1フラグ541がオフ状態であるか否かを判定する(ステップS306)。装置制御部55は、第1フラグ541がオフ状態ではないと判定すると(ステップS306:No)、管理者に連続イベント発生情報を通知する(ステップS308)。詳しくは、装置制御部55は、連続イベント発生情報を示すメッセージを出力装置53に出力させて、ポストイベント検知処理を終了する。一方、装置制御部55は、第1フラグ541がオフ状態であると判定すると(ステップS306:Yes)、連続イベント発生情報を通知することなく、ポストイベント検知処理を終了する。
【0052】
一方、装置制御部55は、撮像画像SG1の中に被検知体画像3が含まれると判定すると(ステップS302:Yes)、第1フラグ541をオフ状態に変化させて(ステップS310)、ポストイベント検知処理を終了する。
【0053】
続いて、図9を参照して、実施形態1に係るイベント検知のタイミングと通知のタイミングとの関係について説明する。図9は、実施形態1に係るイベント検知のタイミングと通知のタイミングとを示す図である。詳しくは、図9は、イベント検知のタイミングと連続イベント発生情報の通知との関係を示す。なお、図9に示す横軸は、時間(t)を示す。
【0054】
図9に示すように、時刻t0において、プレイベント及びポストイベントは、発生していない。時刻t0において、第1フラグ541及び第2フラグ542はオフ状態である。時刻t1において、プレイベントが発生し、プレイベントが検知される。また、時刻t2において、プレイベントが終了する。時刻t3において、ポストイベントが発生し、ポストイベントが検知される。
【0055】
時刻t1において、イベント(プレイベント)が発生すると、プレイベント検知処理が実行されて、第1フラグ541がオフ状態からオン状態へ変化する。
【0056】
時刻t2において、プレイベントが終了すると、第1フラグ541の状態が維持されたまま(第1フラグ541がオン状態に維持されたまま)、ポストイベント検知処理が実行される。この結果、第2フラグ542がオフ状態からオン状態へ変化して、連続イベント発生情報が管理者へ通知される。つまり、本実施形態では、プレイベントが終了した後にポストイベントが検知されると、連続イベント発生情報が管理者に通知される。
【0057】
次に、図10を参照して、比較例に係るイベントの検知のタイミングと通知のタイミングとの関係について説明する。比較例では、イベントとして第1イベントが終了した後に第2イベントが検知される場合を例に説明する。
【0058】
図10は、比較例に係るイベントの検知のタイミングと通知のタイミングとを示す図である。比較例では、管理者は、通知が実行される通知条件としてOR条件又はAND条件を設定する。OR条件は、第1イベント及び第2イベントのうち少なくとも1つが検知された場合に通知が実行される条件である。AND条件は、第1イベントと第2イベントとが共に検知された場合に通知が実行される条件である。
【0059】
図10に示すように、比較例において、通知条件としてOR条件が設定されている場合では、イベントの検知を示す情報は、第1イベントが検知されたタイミングで管理者に通知され、第2イベントが検知されたタイミングで管理者に通知される。つまり、比較例において、通知条件としてOR条件が設定されている場合では、イベントが検知される度に、イベントの検知を示す情報が管理者に通知される。したがって、管理者へ通知される情報が過多になって、管理者の確認作業の負荷が増大する。この結果、重要な情報が見逃されてしまう虞がある。
【0060】
また、比較例において、通知条件としてAND条件が設定されている場合では、イベントの検知を示す情報は、第1イベントが検知されている期間(t1〜t2)に第2イベントが検知されていないため、管理者に通知されない。また、第2イベントが検知される前に第1イベントの検知が終了しているため、第2イベントが検知されても、イベントの検知を示す情報は、管理者に通知されない。したがって、比較例において、通知条件として、AND条件が設定されている場合では、重大なイベントを示す情報が管理者へ通知されず、イベントの検知精度が低下する虞がある。
【0061】
これに対して、本実施形態では、プレイベントの検知が終了した後に、ポストイベントを検知した場合に、連続イベント発生情報が1回だけ管理者に通知される。ポストイベントは、プレイベントが終了した後に検知されるイベントである。本実施形態では、ポストイベントが検知されない場合、連続イベント発生情報は管理者へ通知されない。したがって、例えば、人が出現(密集)したために撮影妨害行為を検知した場合であっても、プレイベントが終了した後(人が去った後)に被検知体(消火器)の持ち去り行為がないことが判定できる場合、連続イベント発生情報は管理者に通知されない。一方、プレイベントが終了した後(人が去った後)に被検知体の持ち去り行為が発生している場合、連続イベント発生情報が管理者に通知される。したがって、本実施形態によれば、管理者の作業負担を軽減しつつ、イベントの検知精度の低下を抑制することができる。
【0062】
また、イベントの検知がされるタイミングで撮像画像データを記憶領域に記憶させ、イベントの検知が終了すると撮像画像データを記憶領域から削除する構成において、図10に示す比較例において、通知条件としてOR条件が設定されている場合では、第2イベントの通知がされた時点では、第1イベントを検知した時点の撮像画像データは、記憶領域から既に削除されている。したがって、管理者は、第2イベントの発生前の様子を撮像画像データに基づいて確認することができない。また、図10に示す比較例において、通知条件としてAND条件が設定されている場合、第1イベント発生時の撮像画像データ及び第2イベント発生時の撮像画像データは、記憶領域に記憶されない。この結果、管理者は、イベントの発生原因を特定することができない虞がある。
【0063】
これに対して、本実施形態では、装置制御部55は、プレイベントを検知すると、第1フラグ541をオン状態に変化させ、撮像画像データを装置記憶部54に記憶させる。撮像画像データは、第1フラグ541がオフ状態になるまでの間、装置記憶部54に記憶される。また、第1フラグ541は、被検知体の持ち去り行為が発生していないと装置制御部55が判定するまでオン状態を維持する。換言すると、被検知体の持ち去り行為が発生していないと装置制御部55が判定するまで、撮像画像データは、装置記憶部54に記憶される。したがって、イベントの発生原因を特定できなくなる虞が低減される。
【0064】
以上、実施形態1について説明した。本実施形態によれば、管理者の作業負担を軽減しつつ、イベントの検知精度の低下を抑制することができる。
【0065】
なお、本実施形態において、装置制御部55は、変化検知データを受信すると、プレイイベント検知処理を実行したが、撮影妨害物体が動体であるか否かを判定し、撮影妨害物体が動体である場合にのみ、プレイベント検知処理を実行してもよい。
【0066】
また、本実施形態において、装置制御部55は、プレイベント検知処理が終了すると、ポストイベント検知処理を実行したが、例えば、装置制御部55は、装置記憶部54に予め記憶された被検知体情報に基づいて、ポストイベント検知処理を実行してもよい。具体的には、被検知体情報は、被検知体が第3者によって持ち去り可能であるか否かを示す。装置制御部55は、被検知体が第3者によって持ち去り可能である旨を被検知体情報が示すか否かを判定する。装置制御部55は、被検知体が第3者によって持ち去り可能である旨を被検知体情報が示すと判定すると、ポストイベント検知処理を実行する。一方、装置制御部55は、被検知体が第3者によって持ち去り可能である旨を被検知体情報が示さないと判定すると、ポストイベント検知処理を実行しない。
【0067】
また、本実施形態において、装置制御部55がイベント検知処理を実行したが、カメラ制御部14がイベント検知処理(プレイベント検知処理及びポストイベント検知処理)を実行してもよい。
【0068】
また、本実施形態において、プレイベントが撮影妨害行為であり、ポストイベントが持ち去り行為である場合を例に説明したが、ポストイベントは、プレイベントが終了した後に検知されるイベントである限りこれに限定されない。例えば、第1カメラ1が撮像領域を変化させる自動追尾機能を備える場合、プレイベントが自動追尾機能の実行であり、ポストイベントが被検知体の持ち去り行為であってもよい。
【0069】
また、本実施形態において、装置制御部55は、撮像画像SG1の中に被検知体画像3が含まれると判定すると、第1フラグ541をオフ状態に変化させたが、装置制御部55は、撮像画像SG1の中に被検知体画像3が含まれると判定してから、所定期間経過後に第1フラグ541をオフ状態に変化させてもよい。所定期間は、管理者によって任意に設定される。所定期間は、例えば、3秒間である。
【0070】
[実施形態2]
続いて、図11図15を参照して、実施形態2に係る監視システム100について説明する。実施形態2は、カメラが複数である点で実施形態1と異なる。また、プレイベント検知処理が実施形態1と異なる。以下、実施形態2について実施形態1と異なる事項について説明し、実施形態1と重複する部分についての説明は割愛する。
【0071】
まず、図11を参照して、実施形態2に係る監視システム100の構成について説明する。図11は、実施形態2に係る監視システム100の構成を示す図である。図11に示すように、監視システム100は、第2カメラ2を更に備える。第2カメラ2は、第1カメラ1とは異なる撮像領域を撮像する。以下、第1カメラ1の撮像領域を「第1撮像領域」と記載し、第2カメラ2の撮像領域を「第2撮像領域」と記載する。また、第1カメラ1が撮像する撮像画像SG1を「第1撮像画像SG1」と記載し、第2カメラ2が撮像する撮像画像SG2を「第2撮像画像SG2」と記載する。なお、本実施形態において、第1撮像領域と第2撮像領域とは、隣接するが互いに重ならない。なお、第2カメラ2は、第2撮像装置の一例である。
【0072】
図11に示すように、第2カメラ2は、撮像素子11、カメラ通信部12、カメラ記憶部13、及びカメラ制御部14を備える。
【0073】
第2カメラ2が備える撮像素子11、カメラ通信部12、カメラ記憶部13、及びカメラ制御部14の構成は、第1カメラ1が備える撮像素子11、カメラ通信部12、カメラ記憶部13、及びカメラ制御部14の構成と略同一である。このため、第2カメラ2が備える撮像素子11、カメラ通信部12、カメラ記憶部13、及びカメラ制御部14の構成についての説明は省略する。
【0074】
第2カメラ2が備えるカメラ通信部12は、撮像画像データを装置通信部51へ送信する。また、第2カメラ2のカメラ制御部14は、第2撮像画像SG2の変化を検知すると、変化検知データを第2カメラ2のカメラ通信部12を介して装置通信部51へ送信する。
【0075】
本実施形態において、装置記憶部54は、第2撮像画像SG2の基準となる背景画像を示す基準背景データを更に記憶する。以下、第1撮像画像SG1の基準背景画像を「第1基準背景画像」と記載し、第1基準背景画像を示すデータを「第1基準背景データ」と記載する。また、第2撮像画像SG2の基準背景画像を「第2基準背景画像」と記載し、第2基準背景画像を示すデータを「第2基準背景データ」と記載する。
【0076】
装置制御部55は、第1撮像画像データ及び第2撮像画像データに基づいてプレイベント検知処理を実行する。詳しくは、装置制御部55は、実施形態1(図1参照)で説明した第1妨害領域率D1と同様に第2妨害領域率D2を算出し、第1妨害領域率D1と第2妨害領域率D2とに基づいてプレイベントを検知する。第2妨害領域率D2は、第2撮像画像SG2において第2妨害領域が占める割合を示す。第2妨害領域は、撮影妨害行為が行われている領域である。本実施形態において、第2妨害領域は、撮影を妨害する物体の画像を示す領域である。撮影を妨害する物体は、例えば、人体である。
【0077】
第2妨害領域率D2は、装置記憶部54に記憶された第2基準背景データと、撮像画像データとに基づいて算出される。詳しくは、第2妨害領域率D2は、第2基準背景データと第2撮像画像データとの非合致率である。具体的には、第2妨害領域率D2は、第2撮像画像SG2における第2基準背景画像を構成する画素と異なる画素の数の割合を示す。装置制御部55は、例えば、第2基準背景データによって示される基準背景画像と第2撮像画像SG2とをパターンマッチングによって比較することにより、第2妨害領域率D2を算出する。
【0078】
本実施形態において、装置制御部55は、第1妨害領域率D1が第1閾値以上であり、第2妨害領域率D2が第1閾値以上ではない場合に、撮影妨害行為を検知する。
【0079】
続いて、図12図14を参照して、実施形態2に係るプレイベント検知処理について説明する。図12図14では、プレイベントとして撮影妨害行為が検知される。なお、プレイベントが検知される前において、第1フラグ541及び第2フラグ542はそれぞれ、オフ状態である。
【0080】
図12は、実施形態2に係る第1撮像画像SG1及び第2撮像画像SG2の一例を示す図である。図12に示す例において、第1撮像画像SG1は、第1絵画画像GP1及び消火器画像GFを含む。第2撮像画像SG2は、第2絵画を示す第2絵画画像GP2を含む。換言すると、第1カメラ1は、消火器及び第1絵画が設置された第1撮像領域を撮像する。第2カメラ2は、第2絵画が設置された第2撮像領域を撮像する。本実施形態において、第1撮像領域と第2撮像領域とは隣接するが互いに重ならない。
【0081】
図13は、実施形態2に係る第1撮像画像SG1及び第2撮像画像SG2の第1他例を示す図である。詳しくは、図13は、図12に示す撮像領域(第1撮像領域及び第2撮像領域)に複数の人が出現した後の第1撮像画像SG1及び第2撮像画像SG2を示す。図14は、実施形態2に係る第1撮像画像SG1及び第2撮像画像SG2の第2他例を示す図である。詳しくは、図14は、図12に示す撮像領域(第1撮像領域)に複数の人が出現した後の第1撮像画像SG1及び第2撮像画像SG2を示す。図13及び図14では、複数の人が第1撮像領域に出現することによる第1妨害領域率D1は、第1閾値以上である。また、図13では、複数の人が第2撮像領域に出現することによる第2妨害領域率D2は、第1閾値以上である。図14では、第2撮像領域に人が少数しかおらず、第2妨害領域率D2は、第1閾値以上ではない。
【0082】
図12及び図13に示すように、複数の人が撮像領域に出現すると、第1撮像画像SG1の中に複数の人体を示す人体画像GHが出現する。複数の人が被検知体(消火器)を取り囲むと、検知範囲4における第1撮像画像SG1が変化する。したがって、第1カメラ1のカメラ制御部14は、検知範囲4における第1撮像画像SG1の変化を検知し、第1カメラ1のカメラ通信部12を介して装置通信部51へ変化検知データを送信する。
【0083】
装置制御部55は、装置通信部51が変化検知データを受信すると、実施形態1と同様に、イベント検知処理を実行する。図13及び図14に示す例では、第1フラグ541はオフ状態である。したがって、装置制御部55は、プレイベント検知処理を実行する。詳しくは、装置制御部55は、装置記憶部54に記憶された第1基準背景データと、第1撮像画像データとに基づいて第1妨害領域率D1を算出し、第1妨害領域率D1が第1閾値以上であるか否かを判定する。図13に示す例では、第1妨害領域率D1が第1閾値以上である。
【0084】
本実施形態において、装置制御部55は、第1妨害領域率D1が第1閾値以上であると判定すると、装置記憶部54に記憶された第2基準背景データと、第2撮像画像データとに基づいて第2妨害領域率D2を算出し、第2妨害領域率D2が第1閾値以上であるか否かを判定する。図13に示す例では、第2撮像画像SG2に複数の人体画像GHが含まれ、第2妨害領域率D2が第1閾値以上である。したがって、装置制御部55は、第2妨害領域率D2が第1閾値以上であると判定する。本実施形態において、装置制御部55は、第1妨害領域率D1が第1閾値以上であり、第2妨害領域率D2が第1閾値以上であると判定すると、撮影妨害行為(プレイベント)が発生していないと判定する。
【0085】
一方、図14に示すように、第2撮像画像SG2は、少数の人体画像GHしか含まない。したがって、装置制御部55は、第2妨害領域率D2が第1閾値以上ではないと判定する。本実施形態では、装置制御部55は、第1妨害領域率D1が第1閾値以上であり、第2妨害領域率D2が第1閾値以上ではないと判定すると、撮影妨害行為が発生していると判定する。また、装置制御部55は、第1妨害領域率D1が第1閾値以上であり、第2妨害領域率D2が第1閾値以上ではないと判定すると、第1フラグ541をオフ状態からオン状態へ変化させる。
【0086】
続いて、図15を参照して、実施形態2に係るプレイベント検知処理について更に説明する。図15は、実施形態2に係るプレイベント検知処理を示すフローチャートである。図15に示すように、装置制御部55は、第1妨害領域率D1が第1閾値以上であると判定すると(ステップS202:Yes)、第2基準背景データと第2撮像画像データとに基づいて、第2妨害領域率D2を算出し、第2妨害領域率D2が第1閾値以上であるか否かを判定する(ステップS402)。装置制御部55は、第2妨害領域率D2が第1閾値以上である判定した場合(ステップS402:Yes)、又は、第1妨害領域率D1が第1閾値以上でないと判定した場合(ステップS202:No)、第1フラグ541をオン状態に変化させることなく、プレイベント検知処理を終了する。一方、装置制御部55は、第2妨害領域率D2が第1閾値以上ではないと判定すると(ステップS402:No)、撮影妨害行為を検知したと判定し、第1フラグ541をオン状態に変化させて(ステップS204)、プレイベント検知処理を終了する。
【0087】
以上、実施形態2について説明した。本実施形態によれば、装置制御部55は、複数のカメラの撮像画像(第1撮像画像SG1及び第2撮像画像SG2)に基づいて、プレイベントを検知する。詳しくは、装置制御部55は、第1妨害領域率D1が第1閾値以上であり、且つ第2妨害領域率D2が第1閾値以上ではない場合にプレイベントを検知する。被検知体画像3を含む第1撮像画像SG1にのみ複数の人体画像GHが含まれる場合(第1撮影領域に複数の人が存在し、第2撮影領域に少数の人しか存在しない場合)、被検知体を持ち去るために撮影妨害行為が発生している(人が密集する)可能性が高い。一方、第1撮像画像SG1に複数の人体画像GHが含まれる場合であっても、第1撮像画像SG1以外の第2撮像画像SG2(被検知体画像3を含まない撮像画像)に複数の人体画像GHが含まれる場合(第2撮影領域に複数の人が存在する場合)、被検知体を持ち去る以外の目的で人が集まっている可能性が高い。したがって、装置制御部55は、第1妨害領域率D1が第1閾値以上であり、且つ第2妨害領域率D2が第1閾値以上である場合、換言すると、第1撮影領域及び第2撮影領域のそれぞれに複数の人が存在する場合、装置制御部55は、撮影妨害行為が行われていると判定せず、プレイベントを検知しない。この結果、イベントの検知精度を向上させることができる。
【0088】
なお、本実施形態において、第1撮像領域と第2撮像領域とが互いに重ならない場合を例に説明したが、第1撮像領域と第2撮像領域とは互いに重なってもよい。
【0089】
また、本実施形態において、第1撮像領域と第2撮像領域とが隣接する場合を例に説明したが、第1撮像領域と第2撮像領域とは隣接しなくてもよい。
【0090】
以上、本発明の実施形態について、図面(図1図15)を参照しながら説明した。但し、本発明は、上記の実施形態に限られるものではなく、その要旨を逸脱しない範囲で種々の態様において実施することが可能である。また、上記の実施形態で示す構成は、一例であって特に限定されるものではなく、本発明の効果から実質的に逸脱しない範囲で種々の変更が可能である。
【0091】
例えば、本発明の実施形態では、連結イベント発生情報を出力装置53に出力させる構成について説明したが、連結イベント発生情報は管理者に通知されればよく、例えば、装置通信部51を介してメールで管理者に通知されてもよい。
【産業上の利用可能性】
【0092】
本発明は、監視システムの分野に有用である。
【符号の説明】
【0093】
1 第1撮像装置
53 通知部
54 記憶部
55 制御部
100 監視システム
541 第1フラグ
542 第2フラグ
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15