(58)【調査した分野】(Int.Cl.,DB名)
被監視サイトの撮影を行う複数の監視カメラと、前記被監視サイトの映像を表示する監視端末と、前記監視カメラが撮影した映像を処理する管理サーバを含む映像監視システムであって、
管理サーバは、
複数の前記監視カメラの画像を用いて前記被監視サイトの画像を合成して合成画像を作成する画像合成部と、
前記画像合成部が作成した合成画像を前記監視端末へ出力し、検知を行う領域の指定を受け付ける検知エリア受付部と、
受け付けた前記検知エリアに異常が発生したかどうかを前記検知エリアに対応する前記監視カメラの映像で判定する検知部と、
前記検知部が前記検知エリアに異常が発生したと判定したときに、判定に用いた前記監視カメラの映像と、判定に用いた前記監視カメラの映像を用いて作成した前記合成画像を前記監視端末に出力する出力部を、備え、
複数の前記監視カメラは、高所に設置されている複数の画像合成用カメラと、低所に設置されている防犯用カメラとを少なくとも含み、
前記画像合成部は、複数の前記画像合成用カメラのそれぞれで撮影した前記被監視サイトの画像を合成した画像を前記合成画像として作成する、
ことを特徴とする映像監視システム。
前記検知エリアに発生した前記異常は駐車違反であり、前記検知部は、予め定められた時間以上移動しない車両が前記検知エリアに存在する場合に前記駐車違反と判定する、
請求項1に記載の映像監視システム。
前記検知エリアに発生した前記異常は、人の滞留であり、前記検知部は、同一人物が予め定められた時間帯に、予め定められた時間以上、前記検知エリアに滞在しているときに前記滞留と判定する、
請求項1に記載の映像監視システム。
前記検知エリアに発生した前記異常は、ゴミの不法投棄であり、前記検知部は、予め定められた時間以外に進入者が検知エリアに物品を放置したときに前記不法投棄と判定する、
請求項1に記載の映像監視システム。
【発明を実施するための形態】
【0012】
以下、本発明の映像監システムに関する実施の形態例(以下、「本例」と称する)について、図面を参照して詳細に説明する。
【0013】
<映像監視システムの全体構成>
図1は、本例に係るビル等の設備を監視するための映像監視システムの全体的構成を示した概略図である。また、
図2は、被監視サイトであるビル1に設置されている画像合成用カメラ4a〜4c及び防犯用カメラ5a〜5cの設置位置の図である。
【0014】
図1に示すように、本例の映像監視システムは、ビル等の複数の被監視サイト1〜1nが、広域ネットワーク網を形成するネットワーク回線2を介して、画像データを管理する管理サーバ7に接続されている。管理サーバ7で集約した画像データは、複数の監視サイト15〜15mにおいて監視することができる。なお、以後の説明では、被監視サイト1〜1nを総称して被監視サイト1(またはビル1)といい、監視サイト15〜15mを総称して監視サイト15ということとする。n及びmは自然数であり、両者は一致してもよいし、異なっていてもよい。
【0015】
この被監視サイト1は、ネットワーク回線2との接続を行う通信装置3と、画像合成用カメラ4a〜4cと、防犯用カメラ5a〜5cと、これらの画像合成用カメラ4a〜4c及び防犯用
カメラ5a〜5cの画像データを記録する記録装置6を有している。なお、以後の説明では、画像合成用カメラ4a〜4cと防犯用カメラ5a〜5cを総称して監視カメラ4、5ということもある。
【0016】
図2に示すように、画像合成用カメラ4a〜4cは、広域の映像を取得するため、ビル等の被監視サイト1の屋上などの高さがある位置に設置される。これに対して、防犯用カメラ5a〜5cは、犯罪の抑止効果を狙って進入者の検知を目的とするため、人の見える位置である2〜3mの高さに設置される。
【0017】
一方、管理サーバ7は、ネットワーク回線2との接続を行う通信部8と、各部に指令を伝達する制御部9と、被監視サイト1の情報や、被監視サイトから送られる画像データを格納するデータベース13を備える。また、管理サーバ7は、画像合成部10、定時収集部11及び進入検知部12を備え、制御部9は、データベース13の他に、画像合成部10、定時収集部11及び進入検知部12を制御する。
【0018】
画像合成部10は、画像合成用カメラ4a〜4cからの画像データを合成する他、この合成画像上に防犯用カメラ5a〜5cからの画像データを合成する。定時収集部11は、被監視サイト1の記録装置6に記録される画像データを、所定の定期間隔毎に収集する。また、進入検知部12は、防犯用カメラ5a〜5cにより、後述する進入禁止領域に何者かが進入したかどうかを検知する。ここで、進入検知部12は、後述するように、画像合成部10で合成した被監視サイト1の検知エリアに、進入以外にも何らかの異常が発生したかを検知する機能を備えるので、単に「検知部」と称することもできる。
【0019】
データベース13は、現地情報格納テーブル13a、IPアドレス格納テーブル13b、画像格納テーブル13c、検知エリア格納テーブル13d及び発報格納テーブル13e等の記憶領域を備える。
【0020】
被監視サイト1は、画像合成用カメラ4a〜4cで撮影した画像または画像合成用カメラ4a〜4cで撮影して記録装置6に保存した画像データを、通信装置3からネットワーク回線2を介して、管理サーバ7に送信する。管理サーバ7は、被監視サイト1から画像データを通信部8で受信し、制御部9の制御下で画像合成部10により処理してデータベース13の画像格納テーブル13cに格納する。
【0021】
ここで通信部8は、被監視サイト1からの画像を受信するだけでなく、画像合成部10で合成した画像を監視サイト15に送信する機能を有する。いわば、管理サーバ7の入出力機能を持っている。すなわち、通信部8は、監視カメラ4,5からの映像を受け付ける入力部の機能をもつとともに、後述するように被監視サイト1に異常が発生した場合に、判定に用いた監視カメラ4、5の画像と、監視カメラの画像を用いて作成した合成画像を監視サイト16に出力する出力部としての機能を持つ。
【0022】
現地情報格納テーブル13aには、例えば、被監視サイト1であるビルの名称、ビルが存在するエリアの名称及びビルの所在地などの現地の情報が格納される。IPアドレス格納テーブル13bには、被監視サイト1〜1nを区別するためのIP(Internet Protocol)アドレスが格納される。
画像格納テーブル13cには、被監視サイト1の画像合成用カメラ4a〜4c及び防犯用カメラ5a〜5cで撮影された画像または被監視サイト1の記録装置6に記録されている画像が格納される。
【0023】
また、検知エリア格納テーブル13dには、予め定められたゴミ捨て場、駐車場などの監視が必要とされる検知エリアと進入禁止領域(
図6で後述)が格納される。発報格納テーブル13
eには、進入禁止領域に何者かが進入したときの時刻及びそのときの画像合成用カメラ4a〜4c及び防犯用カメラ5a〜5cで撮影されたサムネイル画像が格納される。
【0024】
一方、監視サイト15には、ネットワーク回線2と接続可能な、パソコンや携帯電話端末等の監視端末16が設けられる。
ここで、管理サーバ7の画像合成部10で生成した合成画像は、制御部9により監視サイト15の監視端末16に送られる。そして、監視端末16により、送信された合成画像上に進入者を検知するための検知エリア(後述する
図6の16Aa、16Ab、16Ac)が指定される。
【0025】
管理サーバ7の制御部9は、監視端末16による検知エリアの指定を受けて、画像合成部10で合成された合成画像上に指定された検知エリアを、データベース13の検知エリア格納
テーブル13dに記憶するとともに、画像格納テーブル13cに検知エリアが明示された合成画像を記憶する。この管理サーバ7の制御部9による一連の動作は、「検知エリア受付部」として機能するものである。
【0026】
図3は、監視端末16の画面イメージを示した図である。被監視サイト1の複数の画像合成用カメラ4a〜4cからの画像を一画面16A上に表示するため、例えば
図3Aに示すように、監視端末16の表示画面には、4つの画像表示エリア16A1〜16A4が設けられている。各画像表示エリア16A1〜16A4は、単体カメラである画像合成用カメラ4a〜4cの画像を表示するためのエリアである。本例のように画像合成用カメラが3台であれば、表示画面16A1〜16A3にそれぞれのカメラからの画像が表示され、表示画面16A4には何も表示されない。
【0027】
また、監視端末16の表示画面16Aには、画像検索釦16A5と画像合成釦16A6が設けられている。画像合成釦16A6をクリックすることにより、表示画面16Aの画像が単体カメラ(合成用カメラ4a〜4c)の画像16A1〜16A3を合成した合成画像16A7が得られる。画像合成画面16A7が表示されると、
図3Bの画像合成された画面に示すように、画像合成釦16A6が分割画面釦16A6に変わり、この状態で、分割画面釦16A6を押下すると、分割された単体カメラの画像表示画面16A1〜16A4に切り替わる。
【0028】
<映像監視システムの被監視サイト及び管理サーバのハードウェア構成>
図4は、本例の映像監視システムに用いられる、管理サーバ7と監視端末16のハードウェア構成を示す図である。
図4Aは、管理サーバ7のハードウェア構成を示し、
図4Bは、監視端末16のハードウェア構成を示している。
【0029】
図4Aに示すように、管理サーバ7は、バス20に接続されたCPU(Central Processing Unit)21、ROM(Read Only Memory)22、RAM(Random Access Memory)23、不揮発性ストレージ24を備える。また、外部との通信を行うための通信部I/F(インターフェース)25を備える。
【0030】
CPU21は、本例の映像監視システムに関係する管理サーバ7の各部の機能を実現するソフトウェアのプログラムコードをROM
22から読み出して実行する。RAM
23には、管理サーバ7内で行われる演算処理の途中で発生した変数等が一時的に書き込まれる。CPU21がROM22に記録されているプログラムコードを実行することにより、管理サーバ7内の各種機能が実現される。
【0031】
不揮発性ストレージ24は、
図1のデータベース13に対応するものであり、SSD(Solid State Drive)等の不揮発性のメモリで構成される。ROM22と不揮発性ストレージ24には、CPU21が動作するために必要なプログラムやデータ等が、半永久的に記憶され、保存されている。また、不揮発性ストレージ24には、
図1で説明した、現地情報格納テーブル13a、IPアドレス格納テーブル13b、画像格納テーブル13c、検知エリア格納テーブル13d及び発報格納テーブル13eの各記憶領域が形成されている。
【0032】
通信部I/F(インターフェース)25としては、例えば、NIC(Network Interface Card)等が用いられ、この通信部I/F25を通して、被監視サイト1及び監視サイト15の監視端末16との通信が行われる。
【0033】
図4Bは、監視サイト15に設けられる監視端末16のハードウェア構成を示す。
図4Bに示すCPU31、ROM32、RAM33は、
図4Aに示すCPU21、ROM22、RAM23と同じなのでここでは説明を省略する。
図4Bに示す監視端末16の不揮発性ストレージ34は、スマートフォン等が備えるSSD等の不揮発性のメモリと同じ構成とされ、この不揮発性ストレージ34には、CPU31が動作するために必要なプログラムやデータ等が、半永久的に記憶され、保存されている。
【0034】
通信部I/F35は、監視端末16をネットワーク回線2と接続するためのインターフェースである。
また、監視端末16には、入力部36と表示部37が設けられる。入力部36は、例えば後述する画面の合成や表示画面の切替等の操作を行うために用いられる入力アイコン等である。また、表示部37は、
図5、
図6で後述するカメラ単体の画像データまたは合成画像データを表示するために利用される。
【0035】
本例の映像監視システムでは、管理サーバ7内で、全ての監視カメラ4、5からの画像の合成処理を行うようにしている。これに対して、監視サイト15側の監視端末16の不揮発性ストレージ34に、現地情報格納テーブル13a、IPアドレス格納テーブル13b、画像格納テーブル13c、検知エリア格納テーブル13d及び発報格納テーブル13eの各記憶領域を設け、管理サーバ7と同様な画像処理を監視端末16で行うようにしてもよい。この場合には、監視端末16が映像監視装置として機能することになる。
【0036】
<映像監視ステムの監視画面のイメージ図の説明>
図5は、監視端末16の表示画面16Aの概要を示している。表示画面16Aには、
図5Aに示すような画像合成用カメラ4a〜4cの各画像を表示した例(16A1〜16A3)と、
図5Bに示すようなこれらの3つの画像の合成画像(16A7)が切り替えられて表示される。
【0037】
図5の例では、画像合成用カメラ4a〜4cで撮影されたそれぞれの画像が
画像表示エリア16A1〜16A3に表示されている。これらの画像を合成する場合には、
画像表示エリア16A1〜16A3に表示されている画像の他に、管理サーバ7の画像格納テーブル13cに予め格納されている上空から見たビル等の被監視サイト1の画像も利用される。このため、
図5Bに示す表示エリア16A7には、3つの画像合成用カメラ4a〜4cで撮影された画像の合成画像が、あたかも上空から撮影された1枚の撮影画像のように表示される。
【0038】
図6Aは、進入検知用の防犯用カメラ5a〜5cで検知する領域(検知エリア)を、点線16Aa、16Ab、16Acにより示した図である。
図6Aに示す検知エリア16Aa、16Ab、16Acは、防犯用カメラ5a〜5cで撮影される領域と必ずしも、一対一で対応するわけではない。検知エリアが広い範囲の場合(例えば16Aa)には、複数の防犯用カメラで1つの検知エリアの監視をカバーするようにしている。
【0039】
この防犯用カメラ5a〜5cによる監視の種類には、例えばゴミ捨て場への不法投棄の監視、駐車違反の監視、長時間に亘る特定の場所への座り込み等の監視が考えられる。第一のゴミ捨て場の監視の例では、ゴミ捨て場にゴミを捨てる人の行動を解析し、例えばマンション等の外部からの進入者による不法投棄を検知して画像表示することが考えられる。
また、ビル1等の俯瞰画像により、予め定めた時間以上特定のエリアに駐車している車のナンバープレートを撮影して表示することも考えられる。さらに、特定の時間帯に予め定められた時間以上滞在する人を検知して、居座りの記録画像を取ることもできる。なお、この居座りの記録画像には、立っている人や子供は除外して考えるのが適当である。
【0040】
また、
図6Bに示すように、画像合成画面16A7上に進入禁止領域16Adを設定することで、この進入禁止領域16Adが、監視領域16Aa、16Ab、16Acのどこに対応しているかを予め登録することができる。
進入禁止領域16Adは、必ずしも1台の防犯用カメラでカバー仕切れない場合もある。そのような場合には複数台の防犯用カメラ、例えば防犯用カメラ5aと5bの2台で監視することもあり得る。
図6Bに示す進入禁止領域16Adは、たまたま
図6Aに示す検知エリア16Abの範囲内にある。このような場合であれば、検知エリア16Abを主として監視する防犯用カメラ5bの1台だけで、進入禁止領域16Adの監視が可能である。
【0041】
<映像監視システムに用いられるデータベースのデータ構造>
図7は、
図1のデータベース13の検知エリア格納テーブル13dのデータ構造を示す。検知エリア格納テーブル13dは、検知エリアフィールド13d1、映像フィールド13d2、防犯用カメラ1フィールド13d3、防犯用カメラ2フィールド13d4、・・・防犯用カメラnフィールド13d5を有する。防犯用カメラ1〜防犯用カメラnとしたのは、
図1示す3台の防犯用カメラ5a〜5cはあくまでも1つの例であり、ここでは一般化して、複数台(n個)の防犯用カメラに適用することができることを示している。
【0042】
検知エリアフィールド13d1は、予め登録しておいた検知エリア、すなわち防犯用カメラ5a〜5c(
図7では防犯用カメラ1〜n)の1台または複数台によって検知されるエリアを示している。例えば
図6Aの領域16Aa、16Ab、16Acが検知エリアA、B・・・に相当する。
【0043】
映像フィールド13d2は、画像合成用カメラ4a〜4cの合成画像が記憶される領域である。
図7では、進入禁止領域16Adには、1行目の検知エリアAと2行目の検知エリアBの両方に共通の合成画像Aが格納されている。つまり、この合成画像Aは、
図5Bに示す合成画像16A7に相当するものであり、監視する被監視サイト1であるビルが共通であることを意味している。
【0044】
防犯用カメラ1フィールド13d3には、第一の防犯用カメラ1(
図1では、防犯用カメラ5a)で撮影した画像が防犯用カメラ1aとして保存される。また、防犯用カメラ2フィールド13d4には、第二の防犯用カメラ2(
図1では、防犯用カメラ5b)で撮影した画像が防犯用カメラ1bとして保存される。同様に、防犯用カメラnフィールド13d5には、n番目の防犯用カメラnで撮影した画像が保存される。
【0045】
ここで、
図7の1行目の検知エリアAの監視は、防犯用カメラ1で撮影した画像(防犯用カメラ1a)だけでカバーできることを示している。しかし、
図7の2行目の検知エリアBを監視するには、防犯用カメラ1で撮影した画像(防犯用カメラ1a)と防犯用カメラ2で撮影した画像(防犯用カメラ1b)の2つの画像が必要であることを意味している。
【0046】
図8は、
図1のデータベース13の発報格納テーブル13eのデータ構造を示す。発報格納テーブル13eは、発生日時フィールド13e1、検知エリアフィールド13e2、合成画像サムネイルフィールド13e3及び防犯用カメラサムネイルフィールド13e4を有する。
【0047】
発生日時フィールド13e1には、進入禁止領域16Adに何者かが進入した日時が格納される。例えば、
図1に示す管理サーバ7の進入検知部12が、
図5Bに示す進入禁止領域16Adに何者かが進入したことを検知すると、発生日時フィールド13
e1に進入の発生日時が格納される。
図8の第1行目の例(13e5)では、発生日時フィールド13
e1に「2017/07/13 10:30:20」という数字が格納されている。これは、2017年7月13日 10時30分20秒に、
図6Bに示す進入禁止領域16Adに何者かが進入したという事実を示している。
【0048】
同様に、
図8の第2行目の例(13e6)では、2017年7月203日の11時30分25秒に、進入禁止領域16Adに何者かが進入したことを示す。
図8の1行目(13e5)及び2行目(13e6)の検知エリアフィールド13e2は、いずれも検知エリアAとなっており、ビル1の同じ検知エリアAに何者かの進入があったことを示している。なお、
図8の検知エリアフィールド13e2は、
図7の検知エリアフィールド13d1と同じものである。
【0049】
合成画像サムネイルフィールド13e3には、例えば1行目(13e5)に示すように、検知エリアフィールド13e2の検知エリアAに対応した合成画像Aのサムネイル画像が格納される。ここでサムネイル画像は
図9の16AB8に示すように、合成画像A(
図5に示す合成画像16A7)を小さくした画像であり、合成画像サムネイルフィールド13e3には、画像合成用カメラ4a〜4cにより所定の時間間隔せ撮影した複数枚の合成画像がサムネイルとして格納される。同様に、防犯用カメラサムネイルフィールド13e4には、防犯用カメラ5a〜5cの中の1つのカメラである、例えば防犯用カメラ5aで撮影した複数の画像(防犯用カメラ1a)がサムネイル画像として格納される。
【0050】
なお、
図8の最後の行(13e7)には、2017年7月23日 11時30分25秒に、同じビル1内の検知エリアAとは異なる検知エリアBに何者かが進入したこと、そして防犯用カメラ5cで撮影した画像防犯用カメラ1cがサムネイル画像として保存されていることを示している。
【0051】
図9は、
図3の画像検索釦16A5を押したときに表示されるデータ検索画面16ABを示す。
図9に示すデータ検索画面16ABには、リアルタイム表示釦16AB1が設けられる。リアルタイム表示釦16AB1が押されると、
図5Bに示す合成画像の画面に遷移する。
また、データ検索画面16ABには、定時収集部11で収集したデータを検索結果として表示するための期間検索釦16AB2と、収集したデータの期間の始まり日時と、終了日時を入力する釦16AB4と16AB5が設けられている。さらに、進入検知部12で進入検知する時に表示する画面に切り替えるための進入検知検索釦16AB3が設けられている。
【0052】
また、データ検索画面16ABには、検索結果を表示するためのエリア16AB8の他に、
図5Bに示す合成画面16A7のサムネイルを表示するか、防犯用カメラ5a〜5cのサムネイルを表示するかを選択するための表示切替釦16AB6が設けられる。また、これらサムネイル画像の検索を実行するための検索釦16AB7が設けられる。
【0053】
<映像監視システムの制御動作の説明>
図10は、本例の映像監視システムの各部における動作処理の手順を示したフローチャートである。
図10に示すように、まず管理サーバ7の制御部9内の定時収集部11が前回の定時収集を行った時刻から1時間経過したかどうかの判断をする(ステップSA1)。ステップSA1で1時間経過していると判断された場合(ステップSA1のYes)には、管理サーバ7の定時収集部11は、通信部8を介して被監視サイトであるビル1の記録装置6に画像データを要求する(ステップSA2)。
【0054】
これを受けて、ビル1の記録装置6側では、画像の要求を受信した(ステップSB1)後、現地画像の取得を行う(ステップSB2)。そして、取得した現地画像を通信装置3からネットワーク
回線2を経由して管理サーバ7に送信する(ステップSB3)。
次に、管理サーバ7は、ビル1の記録装置6からの画像を受信し(ステップSA3)、データベース13の画像格納テーブル13cに現地画像を格納する。また、管理サーバ7の定時収集部11は、制御部9の制御の下で、例えば10分ごとのサムネイル画像を生成して、データベース13の画像格納テーブル13cに格納する(ステップSA4)。
【0055】
次に管理サーバ7の制御部9は、進入検知部12を起動し、予め定められた進入禁止領域16Ad(
図6参照)に進入があったか否かの判断を行う(ステップSA5)。ステップSA5において進入があったと判断された(ステップSA5のYes)場合、進入検知部12は、発生日時とその検知エリアを、管理サーバ7のデータベース13の発報格納テーブル13eに格納する。例えば、進入検知部12は、
図8の1行目(13e5)に示すように、発生日時フィールド13
e1に「2017/07/13 10:30:20」と格納し、検知エリアフィールド13e2に「検知エリアA」と格納する。
【0056】
また、進入検知部12は、
図7の検知エリア格納テーブル13dを参照し、合成画像サムネイルフィールド13e3に「合成画像A」と格納し、防犯用カメラサムネイルフィールド13e4に防犯用カメラ5aの画像「防犯用カメラ1a」を格納する。
一方、ステップSA5にて進入検知領域に進入がなかったと判断された場合(ステップSA5のNo)には、制御部9は処理を終了する。
【0057】
以上に説明した本例の映像監視システムによれば、管理サーバ7内の制御部9は、監視サイト15に設置された監視端末16からの画像データ要求を、ネットワーク
回線2を介して受信する。そして、予め定められた時間に管理サーバ7の定時収集部11にて、被監視サイト1に設置されている記録装置6からカメラ画像を抽出して、データベース13に格納する。その後、制御部9は、進入検知部12を起動し、予め定められた進入禁止領域16Adに何者かの進入があるかどうかの判断を行う。そして、進入禁止領域16Adに進入があると判断した場合、データベース13の発報格納エリア13dに進入の発生日時等を格納する。
【0058】
これにより、監視サイト15〜15nに設置された監視端末16の画面上で、監視員は、分割画面16A1〜16A4や、合成画像表示16A7を用いて監視を行うことができる。なお、
図9に示すデータ検索画面16ABを用いて検索を行い、監視員は、合成画面のサムネイルの検索結果と、対応した防犯用カメラサムネイルを、表示切替釦16AB6にて切替表示して確認することができる。これにより、例えば、車のナンバーや、人の顔などのより詳細な情報を把握することが可能となる。
【0059】
上述した各構成、機能、処理部、処理手段等は、それらの一部または全部を、例えば集積回路で設計する等によりハードウェアで実現することもできる。また、上記の各構成、機能などは、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、SSD(Solid State Drive)等の記録装置、または、ICカード、SDカード、DVD等の記録媒体に置くことができる。
【0060】
また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。
なお、本発明は、明細書または図面に開示した実施形態例に限定されるものではなく、特許請求の範囲に記載した内容を逸脱しない限りにおいて、他の応用例及び変形例を含むことは勿論である。