特許 6016295 監視システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6016295

(24)【登録日】2016年10月7日

(45)【発行日】2016年10月26日

(54)【発明の名称】監視システム

(51)【国際特許分類】

   H04N 7/18 20060101AFI20161013BHJP

   G08B 25/04 20060101ALI20161013BHJP

【ＦＩ】

   H04N7/18 F

   G08B25/04 E

【請求項の数】3

【全頁数】17

(21)【出願番号】特願2012-178303(P2012-178303)

(22)【出願日】2012年8月10日

(65)【公開番号】特開2014-36414(P2014-36414A)

(43)【公開日】2014年2月24日

【審査請求日】2015年7月23日

(73)【特許権者】

【識別番号】000001122

【氏名又は名称】株式会社日立国際電気

(72)【発明者】

【氏名】林 豊彦

【審査官】 高野 美帆子

(56)【参考文献】

【文献】 特開２００８−２８３２３０（ＪＰ，Ａ）

【文献】 特開２００９−２７３００６（ＪＰ，Ａ）

【文献】 特開２００１−０２５００３（ＪＰ，Ａ）

【文献】 特開２００７−２１４８３１（ＪＰ，Ａ）

【文献】 特開２０１１−０７７９８１（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ７／１８

Ｇ０８Ｂ ２５／００

Ｈ０４Ｎ５／２２２−５／２５７

(57)【特許請求の範囲】

【請求項1】

監視エリア内を撮像する複数のカメラと、当該複数のカメラから入力された画像信号を画像処理し、前記監視エリア内に侵入した侵入物体を検知する画像処理装置と、当該画像処理装置によって検知された前記侵入物体の座標位置から、予め登録されたプリセット情報を基に前記複数のカメラの向きや画角の変更を指示する制御部とを備えた監視システムにおいて、
前記複数のカメラのそれぞれに各カメラで撮影された画像信号から侵入物体を検知し、当該侵入物体の前記座標位置と検知枠面積情報とを算出する前記画像処理装置が接続され、
各画像処理装置に当該画像処理装置からの画像データのヘッダ部に前記侵入物体の前記座標位置と前記検知枠面積情報とを付加して前記制御部に送信する複数のエンコーダを備え、
前記制御部は、前記エンコーダから入力された前記侵入物体の前記座標位置を基に前記侵入物体の移動予測を行うとともに、前記エンコーダから入力された前記侵入物体の前記検知枠面積情報に基づいて前記複数のカメラから送信された画像の重要度の順位付けを行い、当該順位付けに従って監視モニタに当該画像を表示させることを特徴とする監視システム。

【請求項2】

請求項１に記載された監視システムにおいて、前記制御部は、前記順位付けされた画像を一つの監視モニタに分割表示させる場合には、重要度の高い画像を監視モニタの中央に表示させるようにし、また、複数の監視モニタにそれぞれ表示させる場合には、監視者から見て中央から脇に向かって順に表示させることを特徴とする監視システム。

【請求項3】

請求項１または２に記載された監視システムにおいて、前記制御部は、前記カメラの画角内に死角が生じる場合には、対向配置された別のカメラの画像から死角部分を切り出して前記カメラの画像に合成することによって、死角補正映像を生成することを特徴とする監視システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、各種センサとカメラを連動させた監視システムに関わり、特に、複数の監視カメラを用いて侵入者等の侵入物体を監視する技術に関する。

【背景技術】

【0002】

侵入した人物の位置を検知する複数のセンサと、該センサによって検知された侵入した人物の位置に対して、制御部の制御に基づいて視野角を変更するカメラと、複数のプリセット位置を予め登録し複数のセンサから出力された位置座標に基づいて侵入した人物の移動予測を行い、かつ侵入した人物の移動方向から侵入した人物の顔の向きを算出し、前もってカメラの視野角を変更して追尾する制御部とを備えた監視システムが従来存在する（例えば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００９−２７３００６号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかし、現状、同一監視エリア内に配置された複数の監視カメラ画像をシーケンシャルに切換えてモニタに表示したり、多分割画面でモニタするシステムは存在するが、監視画像の重要度を段階的に設定し、重要度に応じた画像を監視者に提供する監視システムは存在しない。

【0005】

また、カメラ画角内に障害物による死角が存在したり、監視エリアが広くエリア全体を１台のカメラで捉えることが不可能な場合、監視者は別方向から撮像された別のカメラを選択して、カメラを切換えながら監視する必要がある。
また、多数のカメラ画像をＩＰネットワーク網へ配信する場合、侵入者を捉えた重要な画像もその他の画像も同程度のデータ量で配信されるため、回線容量が十分でなかったり、無線環境に問題があるような場合、多数のカメラ画像がＩＰネットワーク網を圧迫し、パケットロスが発生するなどして重要な画像、必要な画像を送ることができなくなる可能性がある。

【0006】

本発明は、このような従来の事情に鑑みなされたものであり、画像処理装置で侵入者を検知した際の検知枠の大きさやレーザーセンサで検知された侵入者の軌跡情報等を元に侵入者の次の行動を予測し、複数のカメラ画像から重要度の順位付けを行うことで、重要な画像をリアルタイムに監視者へ提供することが可能な監視システムを提供することを目的とする。
また、状況に応じてカメラ画像毎に重要度の割り付けを行い、重要な画像を監視モニタの分割画面の中央に配置したり、複数台のモニタで監視する場合は監視者から見て中央寄せで重要映像を表示することで視認性の向上を図ることが可能な監視システムを提供することを目的とする。
また、監視画像内に障害物による死角が存在する場合、対向する別のカメラ画像から死角部分を切り出して合成表示させることで、カメラを切り換えることなく１枚の画像の中で監視することが可能な監視システムを提供することを目的とする。

【課題を解決するための手段】

【0007】

上記目的を達成するための本発明は、監視エリア内を撮像する複数のカメラと、当該複数のカメラから入力された画像信号を画像処理し、前記監視エリア内に侵入した侵入物体を検知する画像処理装置と、当該画像処理装置によって検知された前記侵入物体の座標位置から、予め登録されたプリセット情報を基に前記複数のカメラの向きや画角の変更を指示する制御部とを備えた監視システムにおいて、前記複数のカメラのそれぞれに各カメラで撮影された画像信号から侵入物体を検知し、当該侵入物体の前記座標位置と検知枠面積情報とを算出する前記画像処理装置が接続され、各画像処理装置に当該画像処理装置からの画像データのヘッダ部に前記侵入物体の前記座標位置と前記検知枠面積情報とを付加して前記制御部に送信する複数のエンコーダを備え、前記制御部は、前記エンコーダから入力された前記侵入物体の前記座標位置を基に前記侵入物体の移動予測を行うとともに、前記エンコーダから入力された前記侵入物体の前記検知枠面積情報に基づいて前記複数のカメラから送信された画像の重要度の順位付けを行い、当該順位付けに従って監視モニタに当該画像を表示させることを特徴とする。

【0008】

また、上記目的を達成するための本発明は、前記制御部は、前記順位付けされた画像を一つの監視モニタに分割表示させる場合には、重要度の高い画像を監視モニタの中央に表示させるようにし、また、複数の監視モニタにそれぞれ表示させる場合には、監視者から見て中央から脇に向かって順に表示させることを特徴とする。

【0009】

また、上記目的を達成するための本発明は、前記制御部は、前記カメラの画角内に死角が生じる場合には、対向配置された別のカメラの画像から死角部分を切り出して前記カメラの画像に合成することによって、死角補正映像を生成することを特徴とする。

【発明の効果】

【0010】

本発明によれば、画像処理装置で侵入者を検知した際の検知枠の大きさやレーザーセンサで検知された侵入者の軌跡情報等を元に侵入者の次の行動を予測し、複数のカメラ画像から重要度の順位付けを行うことで、重要な画像をリアルタイムに監視者へ提供することが可能な監視システムを提供することができる。
また、状況に応じてカメラ画像毎に重要度の割り付けを行い、重要な画像を監視モニタの分割画面の中央に配置したり、複数台のモニタで監視する場合は監視者から見て中央寄せで重要映像を表示することで視認性の向上を図ることが可能な監視システムを提供することができる。
また、監視画像内に障害物による死角が存在する場合、対向する別のカメラ画像から死角部分を切り出して合成表示させることで、カメラを切り換えることなく１枚の画像の中で監視することが可能な監視システムを提供することができる。

【図面の簡単な説明】

【0011】

【図1】本発明の実施の形態１に係る監視システムの構成を示すブロック図である。

【図2】本発明の実施の形態１に係る画像処理装置２０の検知枠面積算出処理のフローチャートである。

【図3】システム管理サーバ５０のプリセット情報テーブル５２に登録されている各種情報を模擬的に示した図である。

【図4】本発明の実施の形態１に係るシステム管理サーバ５０の動作フローチャートである。

【図5】侵入者の行動予測に基づく監視カメラの旋回制御と時間経過による検知枠面積の変化イメージを示す図である。

【図6】監視モニタ８０の最重要画像の表示場所のイメージ図である。

【図7】障害物による死角がある場合の監視空間イメージ図である。

【図8】図７の監視空間における監視カメラＡ４０１の画像に監視カメラＢ４０２の切り出し画像を合成する合成画像生成イメージ図である。

【図9】図８における合成画像生成処理の系統図である。

【図10】監視空間に配置された監視カメラのプリセット画角設定イメージ図である。

【図11】監視空間に配置された監視カメラのプリセット画角に重なりが生じた場合のプリセット画角設定イメージ図である。

【図12】監視空間に複数の監視カメラが一定方向に配置された場合の水平視野角を示す図である。

【図13】本発明の実施の形態２に係る監視システムの構成を示すブロック図である。

【発明を実施するための形態】

【0012】

＜実施の形態１＞
以下に、本発明の実施の形態１に係る監視システムについて、図面を参照して説明する。
図１は、本発明の実施の形態１に係る監視システムの構成を示すブロック図である。図１に示すように、監視システム１は、監視カメラ１０、画像処理装置２０、ＷＥＢエンコーダ３０、ＩＰネットワーク網４０、システム管理サーバ５０、操作端末６０、ＷＥＢデコーダ７０、監視モニタ８０を含んで構成される。
監視カメラ１０は、パン、チルト、ズームの調整機能を有する雲台を備えたカメラであり、監視カメラ１０で撮像された画像信号は画像処理装置２０に出力される。
画像処理装置２０は、監視カメラ１０から入力された画像信号を画像処理し、特開２００５−５７７４３号公報に開示のある差分法を用いた物体認識処理技術で侵入者検知を行い、侵入者を検知した場合には、侵入者を示す差分画像を囲む外接矩形の面積（検知枠面積）を算出する。
ＷＥＢエンコーダ３０は、画像処理装置２０から入力された画像信号をエンコードし、画像データのヘッダ部に画像処理装置２０から入力された侵入者の座標位置情報と検知枠面積情報を付加してＩＰネットワーク網４０へ配信する。
システム管理サーバ５０は、本発明の監視システム１全体の制御を行なう制御部５１と、監視カメラ１０それぞれの設置位置やプリセットポイント情報やプリセット画像における死角エリアが予め登録されたプリセット情報テーブル５２と、ＷＥＢエンコーダ３０を介して送信された画像データを蓄積する画像データ蓄積メモリ５３を備える。
操作端末６０は、システム管理サーバ５０に登録された各種設定情報の変更・更新等を行うためにユーザが使用する端末である。
ＷＥＢデコーダ７０は、システム管理サーバ５０から送信された画像データをデコードし、監視モニタ８０に出力する。

【0013】

上記構成によって、本発明の監視システム１では、監視カメラ１０で撮像された画像信号は画像処理装置２０に出力され、画像処理装置２０で、監視カメラ１０から入力された画像信号で侵入者が検知されると、侵入者の座標位置および検知枠面積を算出してＷＥＢエンコーダ３０へ出力する。ＷＥＢエンコーダ３０は、画像処理装置２０から入力された画像信号をエンコードし、画像データのヘッダ部に侵入者の座標位置と検知枠面積情報を付加してＩＰネットワーク網４０へ配信する。
システム管理サーバ５０では、制御部５１が、侵入者移動方向判定手段５１ａと、雲台動作制御手段５１ｂと、表示優先順位決定手段５１ｃと、表示制御手段５１ｄとを備えることで、侵入者の座標位置情報および検知枠面積情報から侵入者の移動方向を算出し、プリセット情報テーブル５２を基に、当該移動方向に応じて監視カメラ１０の雲台を制御して、侵入者を進行方向の前方から撮像できるよう監視カメラ１０の向きや画角を制御する。
さらに、侵入者の検知枠面積情報を基に、監視モニタ８０に表示する優先順位およびレイアウトを決定し、ＩＰネットワーク網４０を介して、ＷＥＢデコーダ７０に送信する。ＷＥＢデコーダ７０に送信された画像データはデコードされ監視モニタ８０にて表示される。

【0014】

ここで、画像処理装置２０で行われる検知枠面積算出処理について図２を用いて説明する。
図２は、本発明の実施の形態１に係る画像処理装置２０の検知枠面積算出処理のフローチャートである。
まず、初期化処理ステップＳ１０１では、検知枠面積算出処理を実行するための画像メモリ（図示せず）、ワークメモリ（図示せず）等の初期化を行う。
次に、差分法による侵入物体の検出処理（ステップＳ１０２〜 ステップＳ１０６） を行う。
画像入力ステップＳ１０２では、監視カメラ１０から、例えば、横方向３２０画素、高さ方向２４０画素の入力画像を得る。
差分処理ステップＳ１０３では、画像入力ステップＳ１０２で得た入力画像と、予め作成し図示しない画像メモリに記録しておいた侵入者の映っていない基準背景画像との間で、画素毎の輝度値の差分値を計算する。
二値化処理ステップＳ１０４では、差分処理ステップＳ１０３で得られた差分画像の画素値（差分値）を、例えば、１画素の画素値を８ビットで計算し、これを２５６階調で表し、所定のしきい値Ｔｈ（
例えば、Ｔｈ=２０）未満の画素値を“０”、しきい値Ｔｈ以上の画素の画素値を“２５５”として二値化画像を得る。なお、しきい値Ｔｈは、上記実施例では、２０と設定したが、２０に限定されるものではなく、侵入者の検出条件、入力画像の状態等で実験的に定められる。

【0015】

ラベリング処理ステップＳ１０５では、二値化処理ステップＳ１０４で得られた二値化像中の画素値“２５５”となる画素のかたまりを検出し、各々に番号を付けて区別できるようにする。
侵入者存在判定ステップＳ１０６では、ラベリング処理ステップＳ１０５で番号付けされた画素値“２５５”となる画素のかたまりが所定の条件（例えば、大きさが横方向２０画素以上、高さ方向５０画素以上）を満たした場合に、監視対象領域内に侵入者が存在すると判定する。

【0016】

検知枠面積算出ステップＳ１０７では、侵入者存在判定ステップＳ１０６で監視対象領域内に侵入者が存在すると判定された場合に、ラベリング処理ステップＳ１０５で番号付けされた画素値“２５５”となる画素のかたまりの外接矩形に基づき、矩形左上の座標（Ｘ１、Ｙ１）と矩形右下の座標（Ｘ２、Ｙ２）から面積（（Ｘ２−Ｘ１）×（Ｙ１−Ｙ２））を求め、また、上記２つの座標から画像上の侵入者位置（（Ｘ２＋Ｘ１）／２、Ｙ２）を求める。（図３（ａ）参照）

【0017】

なお、一般にカメラで撮影された画像座標から物体の３次元位置座標を推定する問題はコンピュータビジョンなどの分野で様々な研究が進められており、その一般式はカメラパラメータと呼ばれる行列要素を用いたアフィン変換によって得られる。

【0018】

しかし、本監視システムにおいて侵入者は地面（屋内においては床面）上を移動することを仮定すれば、侵入者の位置座標は地面（床面）である二次元平面上の一点で近似できる。たとえ、床面に凹凸があり侵入者が高さ方向に多少上下しても、本システムの監視カメラを地面（床面）から十分高い位置に設置することで侵入者の位置の近似は十分に成り立つ。

【0019】

よって、カメラ撮影画像座標（２次元座標）から物体の３次元位置座標（３次元座標） を推定する問題は、「撮影画像（２次元座標）と地面（２次元座標）」すなわち２次元平面どうしの対応問題に帰着する。これはいわゆる射影変換で簡単に知ることができる。

【0020】

ここで、システム管理サーバ５０のプリセット情報テーブル５２に登録されている各種情報について、図３を用いて説明する。
図３は、システム管理サーバ５０のプリセット情報テーブル５２に登録されている各種情報を模擬的に示した図である。以降、説明を簡略化するため監視空間座標を２次元座標として説明するものとする。
図３（ａ）は、画像処理装置２０による検知画像を示す図であり、１００１は検知画像、１００２は侵入者、また、１００３は侵入者の検知枠である。
図３（ｂ）は、監視空間を上方から俯瞰した二次元座標イメージ図であり、１０１は監視カメラＡ、１０２は監視カメラＢ、１０３は監視カメラＣ、１０４は監視カメラＤ、１００５は空間座標、１００６は監視カメラＡのプリセットポイントａ、また、１００７は監視カメラＡのプリセットポイントｂである。
システム管理サーバ５０では、予め図３（ｂ）のような空間座標１００５（ここでは２次元平面座標）、及び空間座標１００５内の各監視カメラの位置およびプリセット画角がプリセット情報テーブル５２に登録されている。また、図３（ａ）に示す各監視カメラのプリセット画像における画面内の座標情報もプリセット情報テーブル５２に登録されており、空間座標との対応テーブルを保有している。
従って、システム管理サーバ５０では、画像処理装置２０から定期的に送られてくる侵入者１００２の検知枠１００３の底辺の中心点の位置情報と検知枠面積情報から、侵入者位置に対応する監視カメラ及びその監視カメラのプリセット番号をプリセット情報テーブル５２から検索でき、監視カメラで侵入者を前方から撮影することが可能となる。

【0021】

次に、システム管理サーバ５０で行われる動作について図４を用いて説明する。
図４は、本発明の実施の形態１に係るシステム管理サーバ５０の動作フローチャートである。
まず、画像情報入力ステップＳ２０１では、画像データ蓄積メモリ５３から蓄積された画像データを取り込む。
侵入者有無確認ステップＳ２０２では、画像データのヘッダ部に付加された侵入者の座標位置情報と検知枠面積情報から侵入者の有無を確認する。
侵入者移動確認ステップＳ２０３では、画像データのヘッダ部に付加された侵入者の座標位置情報を基に、侵入者移動方向判定手段５１ａが侵入者の座標位置の変化量を算出して侵入者の移動の有無を確認する。
侵入者移動方向算出ステップＳ２０４では、侵入者移動確認ステップＳ２０３で侵入者の移動を確認した場合には、侵入者の移動方向を算出する。
雲台制御ステップＳ２０５では、雲台動作制御手段５１ｂが侵入者移動方向算出ステップＳ２０４で算出された侵入者の移動方向に応じて、プリセット情報テーブル５２の監視カメラ１０それぞれの設置位置やプリセットポイント情報を基に、侵入者を前方から撮影することが可能な監視カメラ１０を割り出し、当該監視カメラ１０の雲台の向きや画角を制御する。

【0022】

モニタ優先順位決定ステップＳ２０６では、表示優先順位決定手段５１ｃが画像データ蓄積メモリ５３に蓄積された複数の監視カメラ１０の画像データに付加された侵入者の検知枠面積情報を比較することにより、監視モニタ８０に表示する際の優先順位を決定する。
モニタ表示制御ステップＳ２０７では、モニタ優先順位決定ステップＳ２０６で決められた優先順位に基づき、予めユーザが操作端末６０から登録した画面レイアウトに従って画像データを配置し、ＷＥＢデコーダ７０に送信する。

【0023】

ここで、システム管理サーバ５０の制御部５１の雲台動作制御手段５１ｂで行われる雲台制御と、表示優先順位決定手段５１ｃで行われる優先順位決定の具体例について図５を用いて説明する。
図５は、侵入者の行動予測に基づく監視カメラの旋回制御と時間経過による検知枠面積の変化イメージを示す図である。
図５（ａ）は侵入者２０５の行動予測前の監視空間２０６、図５（ｂ）は侵入者２０５の行動予測後の監視空間２０６を示している。また、２０１は監視カメラＡ、２００１は監視カメラＡ２０１のプリセット画角、２０２は監視カメラＢ、２００２及び２００２’は監視カメラＢ２０２のプリセット画角、２０３は監視カメラＣ、２００３は監視カメラＣ２０３のプリセット画角である。また、図５（ｃ）は経過時間毎に各監視カメラが撮像した画像の侵入者検知枠面積の大きさの変化を表す。ただし、×は侵入者が検知されなかったことを示す。

【0024】

時刻ｔ＝１で、監視カメラＡ２０１に接続された画像処理装置で侵入者２０５が検知され、検知枠面積は時間経過と共に大きくなるため、監視カメラＡ２０１に侵入者が近づいていると判断される。時刻ｔ＝２で、システム管理サーバ５０は近傍の監視カメラＢ２０２、監視カメラＣ２０３に対し侵入者２０５の進行方向にプリセット旋回制御を行なう。
侵入者２０５の移動方向が判明した時点で、現在侵入者２０５を大きく捉えている監視カメラ以外の監視カメラに対しても前もって侵入者２０５に対して旋回させることで、侵入者２０５が近づいてくるのを待ち受けすることができる。
また、進行方向の監視カメラを侵入者２０５に向けることで、侵入者２０５の顔を正面方向から捉えることができる。この時の監視空間２０６における監視カメラＢ２０２のプリセット画角は図５（Ｂ）の２００６’のようになる。
時刻ｔ＝２、時刻ｔ＝３の時点では、監視カメラＡ２０１の検知枠面積が最大であるため、監視カメラＡ２０１の画像の重要度が最も高い。また、
時刻ｔ＝４では、監視カメラＡ２０１のプリセット画角２００１から侵入者２０５が消えたことで、監視カメラＢ２０２の検知枠面積が最も大きくなり、監視カメラＢ２０２の画像の重要度が最も高くなる。
同様に、時刻ｔ＝５では、監視カメラＣ２０３の画像の重要度が最も高くなる。

【0025】

次に、システム管理サーバ５０の制御部５１の表示制御手段５１ｄでのモニタ表示制御の具体例について図６を用いて説明する。
図６は、監視モニタ８０の最重要画像の表示場所のイメージ図である。
図６（ａ）は１３分割表示した監視モニタの表示例であり、監視モニタ８０の分割中心に最重要画像３０１を表示させた例である。また、図６（ｂ）は複数台の監視モニタ８０が設置された場合の表示例であり、監視者３０５の前に並んだ複数の監視モニタ８０の中で、中央に設置された監視モニタに最重要画像３０２を表示させた例である。
つまり、侵入者が検知された際の検知枠面積の大きさから得られた重要度から、システム管理サーバ５０は監視モニタ８０に表示する映像を選択する。図６（ａ）の１３分割表示例の場合は、分割中心に最重要映像３０１を表示させ、その周りに、例えば、優先順位に従って螺旋状にその他の画像を表示させる。また、図６（ｂ）の複数台の監視モニタ８０が設置された場合は、監視者３０５から見て正面の監視モニタに最重要画像３０２を表示させ、次に重要度が高い画像をその脇から順に表示させる。重要度は時間経過と共に変化するため、表示画像も変化に応じて切り替える。監視者は常に最も見やすい位置で重要な画像をモニタすることが可能となり視認性の向上を図ることが可能になる。

【0026】

次に、システム管理サーバ５０の制御部５１の表示制御手段５１ｄで行われる障害物による侵入者の死角対策に関するモニタ表示制御の具体例について図７〜図９を用いて説明する。
図７は、障害物による死角がある場合の監視空間イメージ図である。
４０３は監視空間の俯瞰イメージ、４０１は監視カメラＡ、４０２はカメラＢ、４０７は障害物Ａ、４０５は障害物Ａ４０７の近くにいる侵入者ａ、４０８は障害物Ｂ、４０６は障害物Ｂ４０８の近くにいる侵入者ｂである。また、４００１はカメラＡ４０１のプリセット画角、４００２はカメラＢ４０２のプリセット画角である。
本実施例の場合、カメラＡ４０１は侵入者ａ４０５を捉えることが可能であるが、侵入者ａ４０５が障害物Ａ４０７の死角になり捉えることができない。逆に、カメラＢ４０２は侵入者ｂ４０６を捉えることが可能であるが、侵入者ｂ４０６が障害物Ｂ４０８の死角になり捉えることができない。

【0027】

図８は、図７の監視空間における監視カメラＡ４０１の画像に監視カメラＢ４０２の切り出し画像を合成する合成画像生成イメージ図である。
図８（ａ）の４０１１はカメラＡ４０１の画像であり、図８（ｂ）の４０１２は監視カメラＢ４０２の画像、また、４０１５は監視カメラＢ４０２の画像の中の監視カメラＡ４０１では死角となる箇所の切り出しエリアである。また、図８（ｃ）の４０２０は監視カメラＡ４０１の画像に監視カメラＢ４０２の切り出しエリア４０１５を合成させた画像である。システム管理サーバ５０のプリセット情報テーブル５２には予め監視カメラＡ４０１の死角となるエリアに相当する監視カメラＢ４０２の画像内の切り出しエリアが設定される。
図８のように、監視モニタ８０に監視カメラＡ４０１の画像を表示する際に、監視カメラＢ４０２の配信画像の中からこの死角部分を切り出して監視カメラＡ４０１の画像に合成させるようにする。

【0028】

図９は、図８における合成画像生成処理の系統図である。
５０１はミキサー、５０２は加算器である。
図９のように、監視カメラＡ４０１の画像４０１１（ＩＮＰＵＴ（Ａ））と監視カメラＢ４０２の切り出し画像４０１５（ＩＮＰＵＴ（Ｂ））は制御信号Ｃ、１−Ｃにより乗算された後、両者を加算して出力画像（ＯＵＴＰＵＴ）とする。制御信号Ｃの値により切り出し画像の合成度合いを実画像、半透明、透明と選択が可能とする。
例えば、切り出しエリアの画像４０１５はＣの値により以下のようになる。
（１）Ｃ＝０の場合
出力画像＝監視カメラＡの画像・・・透明
（２）Ｃ＝０．５の場合
出力画像＝０．５×監視カメラＡの画像＋０．５×監視カメラＢの画像・・・半透明
（３）Ｃ＝１の場合
出力画像＝監視カメラＢの画像・・・実画像
なお、操作端末６０からシステム管理サーバ５０の表示制御手段５１ｄを操作することにより、合成度合いの設定が行えるようにする。
このように、監視者は監視カメラＡ４０１の画像では本来見えなかった死角の箇所を監視カメラＢ４０２の切り出し画像を合成させることによって同一画面内で視認することが可能になる。

【0029】

次に、システム管理サーバ５０のプリセット情報テーブル５２に登録する監視カメラのプリセット画角の設定方法について、図１０を使って説明する。
図１０は、監視空間に配置された監視カメラのプリセット画角設定イメージ図である。
図１０（ａ）は監視カメラが１台の場合の監視空間６０３であり、６０１は監視カメラＡ、６０１１〜６０１６は監視カメラＡ６０１のプリセット画角である。また、図１０（ｂ）は監視カメラが２台の場合の監視空間６０３であり、６０１は監視カメラＡ、６０１１〜６０１３は監視カメラＡ６０１のプリセット画角、６０２は監視カメラＡ６０１と対向する位置に配置された監視カメラＢ、６０２１〜６０２３は監視カメラＢ６０２のプリセット画角である。なお、本実施例での監視カメラの水平視野角は１５°とする。
図１０（ａ）では、監視空間６０３にカメラが１台しか無いため、各プリセット画角が重ならないように設定するためにはカメラに対して９０／１５＝６ポイントのプリセット設定を行う。従って、各プリセットポイントにおける監視カメラＡ６０１の水平旋回角度は、以下の６通りとなる。
（１）１５／２＝７．５°
（２）１５＋１５／２＝２２．５°
（３）１５×２＋１５／２＝３７．５°
（４）１５×３＋１５／２＝５２．５°
（５）１５×４＋１５／２＝６７．５°
（６）１５×５＋１５／２＝８２．５°
また、図１０（ｂ）では、監視空間６０３に対向配置された監視カメラＡ６０１と監視カメラＢ６０２が存在するため、各プリセット画角が重ならないように設定するためにはカメラに対して４５／１５＝３ポイントのプリセット設定を行う。各プリセットポイントにおけるカメラの水平旋回角度は、以下の３通りとなる。
（１）１５／２＝７．５°
（２）１５＋１５／２＝２２．５°
（３）１５×２＋１５／２＝３７．５°
図１０（ｂ）のように対向配置された監視カメラが２台存在する場合は、
（Ｎ−１）×水平視野角＋水平画角／２＜４５
となる最大のＮを求めると、この値がプリセット設定必要数となる。
つまり、システム管理サーバ５０では、プリセット情報テーブル５２に、監視カメラの設置状況に応じて、各々の監視カメラの視野範囲が重ならないように各カメラに対してプリセット角度設定を行うことで効率的な監視が可能になる。

【0030】

ここで、監視空間に配置された監視カメラのプリセット画角に重なりが生じた場合の対処方法について、図１１を用いて説明する。
図１１は、監視空間に配置された監視カメラのプリセット画角に重なりが生じた場合のプリセット画角設定イメージ図である。
図１１において、７０３は監視空間、７０１は監視カメラＡ、７０１１は監視カメラＡ７０１のプリセット画角ａａ、７０１２は監視カメラＡ７０１のプリセット画角ａｂ、また、７０２は監視カメラＢ、７０１５は監視カメラＢ７０２のプリセット画角ｂａ、７０１６は監視カメラＢ７０２のプリセット画角ｂｂ、また、７０２０は監視カメラＡ７０１と監視カメラＢ７０２のプリセット画角の重なり部分である。なお、本実施例での監視カメラの水平視野角は３０°とする。
（Ｎ−１）×水平視野角＋水平画角／２＜４５の式に当てはめると、Ｎ＝２となりプリセット設定必要数は２ポイントであることが分かる。
各プリセットポイントにおけるカメラの水平旋回角度は、以下の２通りとなる。
（１）３０／２＝１５°
（２）３０＋３０／２＝４５°
図１１に示すように、監視カメラＡ７０１、監視カメラＢ７０２の水平旋回角度４５°で設定されたプリセット画角ａｂ７０１２、プリセット画角ｂｂ７０１６に重なりが発生する。
システム管理サーバ５０は、重なりが生じたプリセット画角を同時に制御しないように制限を設けるものとする。
例えば、プリセット画角ａａ７０１１を制御する場合、監視カメラＢ７０２に対し同時に制御するプリセット画角はプリセット画角ｂｂ７０１６になり、プリセット画角ａｂ７０１２を制御する場合、監視カメラＢ７０２に対し同時に制御するプリセット画角はプリセット画角ｂａ７０１５になる。
このように、システム管理サーバ５０では、重なりが生じた互いのプリセット画角を同時に制御しないように制限を持たせることで更に効率的な監視が行える。

【0031】

次に、監視空間に複数の監視カメラが一定方向に配置された場合のカメラ視野角の設定方法について、図１２を使って説明する。
図１２は、監視空間に複数の監視カメラが一定方向に配置された場合の水平視野角を示す図である。
図１２（ａ）は監視空間８０５の断面イメージ図であり、８０１は監視カメラＡ、８００１は監視カメラＡ８０１の垂直視野角、８０２は監視カメラＢ、８００２は監視カメラＢ８０２の垂直視野角、８０３は監視カメラＣ、８００３は監視カメラＣ８０３の垂直視野角である。また、Ｌ１は監視カメラＡ８０１の撮像範囲、Ｌ２は監視カメラＢ８０２の撮像範囲、Ｌ３は監視カメラＣ８０３の撮像範囲である。また、８０６は被写体、Ｈ１は被写体８０６の高さ、Ｈ２は被写体位置での垂直方向の撮像範囲、Ｌ４は監視カメラ８００から被写体８０６までの距離である。
以降の計算の条件として、各カメラの垂直視野角を３０［°］、被写体８０６の高さを１．７［ｍ］、被写体８０６がモニタ画面の縦１０％に表示される大きさを表示の限界と仮定する。
等倍率で撮像した場合、１．７［ｍ］の被写体８０６が画面の１０％になる監視カメラ８００から被写体までの距離（Ｌ４）は以下の通りに求められる。
Ｌ４＝（１．７／０．１）／（２×ｔａｎ１５°）＝３２［ｍ］
電子ズーム２倍とした場合は、Ｌ４＝３１．７２×２＝６４［ｍ］
電子ズーム４倍とした場合は、Ｌ４＝３１．７２×４＝１２８［ｍ］
となる。
侵入者が監視カメラＡ８０１の方向から監視カメラＣ８０３の方向にまっすぐに移動した場合、システム管理サーバ５０は、以下の方法で監視カメラの電子ズーム制御とカメラ切換えを実施することで、監視者は侵入者を最適な大きさでモニタすることが可能になる。
（１） ０≦Ｌ４＜３２ の場合 監視カメラＡの等倍率
（２） ３２≦Ｌ４＜６４ の場合 監視カメラＡの電子ズーム２倍
（３） ６４≦Ｌ４＜１２８ の場合 監視カメラＡの電子ズーム４倍
（４）１２８≦Ｌ４＜１６０ の場合 監視カメラＢの等倍率
（５）１６０≦Ｌ４＜１９２ の場合 監視カメラＢの電子ズーム２倍
（６）１９２≦Ｌ４＜２５６ の場合 監視カメラＢの電子ズーム４倍
（７）２５６≦Ｌ４＜２８８ の場合 監視カメラＣの等倍率
（８）２８８≦Ｌ４＜３２０ の場合 監視カメラＣの電子ズーム２倍
（９）３２０≦Ｌ４＜３８４ の場合 監視カメラＣの電子ズーム４倍

【0032】

＜実施の形態２＞
以下に、本発明の実施の形態２に係る監視システムについて、図面を参照して説明する。
図１３は、本発明の実施の形態２に係る監視システムの構成を示すブロック図である。
図１３に示すように、監視システム２は、監視カメラ５台を有するシステムであって、監視カメラＡ９０１，監視カメラＢ９１１，監視カメラＣ９２１，監視カメラＤ９３１，監視カメラＥ９４１、画像処理装置Ａ９０２，画像処理装置Ｂ９１２，画像処理装置Ｃ９２２，画像処理装置Ｄ９３２，画像処理装置Ｅ９４２、ＷＥＢエンコーダＡ９０３，ＷＥＢエンコーダＢ９１３，ＷＥＢエンコーダＣ９２３，ＷＥＢエンコーダＤ９３３，ＷＥＢエンコーダＥ９４３、ＩＰネットワーク網９０４、システム管理サーバ９０５、操作端末９０６、ＷＥＢデコーダ９０７、監視モニタ９０８を含んで構成される。
監視カメラＡ９０１，監視カメラＢ９１１，監視カメラＣ９２１，監視カメラＤ９３１，監視カメラＥ９４１は、パン、チルト、ズームの調整機能を有する雲台を備えたカメラであり、監視カメラＡ９０１，監視カメラＢ９１１，監視カメラＣ９２１，監視カメラＤ９３１，監視カメラＥ９４１で撮像された画像信号はそれぞれ画像処理装置Ａ９０２，画像処理装置Ｂ９１２，画像処理装置Ｃ９２２，画像処理装置Ｄ９３２，画像処理装置Ｅ９４２に出力される。
画像処理装置Ａ９０２，画像処理装置Ｂ９１２，画像処理装置Ｃ９２２，画像処理装置Ｄ９３２，画像処理装置Ｅ９４２は、監視カメラＡ９０１，監視カメラＢ９１１，監視カメラＣ９２１，監視カメラＤ９３１，監視カメラＥ９４１から入力された画像信号を画像処理し、特開２００５−５７７４３号公報に開示のある差分法を用いた物体認識処理技術で侵入者検知を行い、侵入者を検知した場合には、侵入者を示す差分画像を囲む外接矩形の面積（検知枠面積）を算出する。
ＷＥＢエンコーダＡ９０３，ＷＥＢエンコーダＢ９１３，ＷＥＢエンコーダＣ９２３，ＷＥＢエンコーダＤ９３３，ＷＥＢエンコーダＥ９４３は、画像処理装置Ａ９０２，画像処理装置Ｂ９１２，画像処理装置Ｃ９２２，画像処理装置Ｄ９３２，画像処理装置Ｅ９４２からそれぞれ入力された画像信号をエンコードし、画像データのヘッダ部に画像処理装置Ａ９０２，画像処理装置Ｂ９１２，画像処理装置Ｃ９２２，画像処理装置Ｄ９３２，画像処理装置Ｅ９４２から入力された侵入者の座標位置情報と検知枠面積情報を付加してＩＰネットワーク網９０４へ配信する。
システム管理サーバ９０５は、本発明の監視システム２全体の制御を行なう制御部９３５と、監視カメラＡ９０１，監視カメラＢ９１１，監視カメラＣ９２１，監視カメラＤ９３１，監視カメラＥ９４１それぞれの設置位置やプリセットポイント情報やプリセット画像における死角エリアが予め登録されたプリセット情報テーブル９１５と、ＷＥＢエンコーダＡ９０３，ＷＥＢエンコーダＢ９１３，ＷＥＢエンコーダＣ９２３，ＷＥＢエンコーダＤ９３３，ＷＥＢエンコーダＥ９４３を介して送信された画像データを蓄積する画像データ蓄積メモリ９２５を備える。
操作端末９０６は、システム管理サーバ９０５に登録された各種設定情報の変更・更新等を行うためにユーザが使用する端末である。
ＷＥＢデコーダ９０７は、システム管理サーバ９０５から送信された画像データをデコードし、監視モニタ９０８に出力する。

【0033】

上記構成によって、本発明の監視システム２では、監視カメラＡ９０１，監視カメラＢ９１１，監視カメラＣ９２１，監視カメラＤ９３１，監視カメラＥ９４１で撮像された画像信号は画像処理装置Ａ９０２，画像処理装置Ｂ９１２，画像処理装置Ｃ９２２，画像処理装置Ｄ９３２，画像処理装置Ｅ９４２に出力され、画像処理装置Ａ９０２，画像処理装置Ｂ９１２，画像処理装置Ｃ９２２，画像処理装置Ｄ９３２，画像処理装置Ｅ９４２で、監視カメラＡ９０１，監視カメラＢ９１１，監視カメラＣ９２１，監視カメラＤ９３１，監視カメラＥ９４１から入力された画像信号で侵入者が検知されると、侵入者の座標位置および検知枠面積を算出してＷＥＢエンコーダＡ９０３，ＷＥＢエンコーダＢ９１３，ＷＥＢエンコーダＣ９２３，ＷＥＢエンコーダＤ９３３，ＷＥＢエンコーダＥ９４３へ出力する。ＷＥＢエンコーダＡ９０３，ＷＥＢエンコーダＢ９１３，ＷＥＢエンコーダＣ９２３，ＷＥＢエンコーダＤ９３３，ＷＥＢエンコーダＥ９４３は、画像処理装置Ａ９０２，画像処理装置Ｂ９１２，画像処理装置Ｃ９２２，画像処理装置Ｄ９３２，画像処理装置Ｅ９４２から入力された画像信号をエンコードし、画像データのヘッダ部に侵入者の座標位置と検知枠面積情報を付加してＩＰネットワーク網９０４へ配信する。
システム管理サーバ９０５では、制御部９３５が、侵入者移動方向判定手段９３５ａと、雲台動作制御手段９３５ｂと、表示優先順位決定手段９３５ｃと、表示制御手段９３５ｄと、回線状態判定手段９３５ｅとを備えることで、侵入者の座標位置情報および検知枠面積情報から侵入者の移動方向を算出し、プリセット情報テーブル９１５を基に、当該移動方向に応じて監視カメラＡ９０１，監視カメラＢ９１１，監視カメラＣ９２１，監視カメラＤ９３１，監視カメラＥ９４１の雲台を制御して、侵入者を進行方向の前方から撮像できるよう監視カメラＡ９０１，監視カメラＢ９１１，監視カメラＣ９２１，監視カメラＤ９３１，監視カメラＥ９４１の向きや画角を制御する。
また、侵入者の検知枠面積情報を基に、監視モニタ９０８に表示する優先順位およびレイアウトを決定し、ＩＰネットワーク網９０４を介して、ＷＥＢデコーダ９０７に送信する。ＷＥＢデコーダ９０７に送信された画像データはデコードされ監視モニタ９０８にて表示される。

【0034】

上記のように、システム管理サーバ９０５では、画像処理装置Ａ９０２，画像処理装置Ｂ９１２，画像処理装置Ｃ９２２，画像処理装置Ｄ９３２，画像処理装置Ｅ９４２から送られる検知枠面積情報と、侵入者移動方向判定手段９３５ａによる次に侵入者を捉えることが予測される監視カメラ情報に従い、表示優先順位決定手段９３５ｃで監視カメラごとに重要度を設定する。なお、操作端末９０６からの画像選択要求による画像へのアクセス数を重要度算定のパラメータとして加えてもよい。
さらに、システム管理サーバ９０５は、回線状態判定手段９３５ｅにより、ＷＥＢエンコーダＡ９０３，ＷＥＢエンコーダＢ９１３，ＷＥＢエンコーダＣ９２３，ＷＥＢエンコーダＤ９３３，ＷＥＢエンコーダＥ９４３に対して所定の周期で通信チェックを行い、ＷＥＢエンコーダＡ９０３，ＷＥＢエンコーダＢ９１３，ＷＥＢエンコーダＣ９２３，ＷＥＢエンコーダＤ９３３，ＷＥＢエンコーダＥ９４３のどこで通信異常が発生しているかを把握したり、また、ＩＰネットワーク網９０４のネットワークスイッチ（図示せず）から所定の周期で回線負荷情報を取得することで現在の通信状態を把握することが可能である。
以降の説明のために、ＷＥＢエンコーダの重要度を以下ように仮定する。なお、ｔ＝０〜４は所定の経過時間を示す。
ｔ＝０ 重要度は、Ａ＞Ｂ＞Ｃ＞Ｄ＞Ｅ
ｔ＝１ 重要度は、Ｂ＞Ｃ＞Ｄ＞Ｅ＞Ａ
ｔ＝２ 重要度は、Ｃ＞Ｄ＞Ｅ＞Ａ＞Ｂ
ｔ＝３ 重要度は、Ｄ＞Ｅ＞Ａ＞Ｂ＞Ｃ
ｔ＝４ 重要度は、Ｅ＞Ａ＞Ｂ＞Ｃ＞Ｄ
ここで、ｔ＝１のときに通信負荷による回線障害が発生した場合、システム管理サーバ９０５は、重要度が最も低い監視カメラＡ９０１に接続されるＷＥＢエンコーダＡ９０３に対して、ネットワークへ配信する映像フレームレートを下げるように指示する。
回線障害が復旧しない場合は、ＷＥＢエンコーダＡ９０３に対し、映像の配信を停止するように指示する。さらに、回線障害が復旧しない場合は、重要度が２番目に低い監視カメラＥ９４１に接続されるＷＥＢエンコーダＥ９４３に対し、ＩＰネットワーク網９０４へ配信する映像フレームレートを下げるように指示する。さらに、回線障害が復旧しない場合は、ＷＥＢエンコーダＥ９４３に対し、映像の配信を停止するように指示する。
以降、回線状態が回復するまで、同様に、ＷＥＢエンコーダＤ９３３、ＷＥＢエンコーダＣ９２３に対して行うことで、最重要な映像が優先的にモニタ表示可能な状況を作ることが可能になる。

【0035】

以上のように構成することで、以下のような効果を得ることができる。
本発明の実施の形態２によれば、監視カメラ毎、時間毎に重要度を設定しているため、現時点で必要な画像を優先的にＩＰネットワーク網に配信することで、重要な画像データを欠落することなく回線を効率的に利用することが可能になる。

【符号の説明】

【0036】

１：監視システム、２：監視システム、１０：監視カメラ、２０：画像処理装置、３０：ＷＥＢエンコーダ、４０：ＩＰネットワーク網、５０：システム管理サーバ、５１：制御部、５１ａ：侵入者移動方向判定手段、５１ｂ：雲台動作制御手段、５１ｃ：表示優先順位決定手段、５１ｄ：表示制御手段、５２：プリセット情報テーブル、５３：画像データ蓄積メモリ、６０：操作端末、７０：ＷＥＢデコーダ、８０：監視モニタ、１０１：監視カメラＡ、１０２：監視カメラＢ、１０３：監視カメラＣ、１０４：監視カメラＤ、２０１：監視カメラＡ、２０２：監視カメラＢ、２０３：監視カメラＣ、２０５：侵入者、２０６：監視空間、３０１：最重要画像、３０２：最重要画像、３０５：監視者、４０１：監視カメラＡ、４０２：監視カメラＢ、４０３：監視空間の俯瞰イメージ、４０５：侵入者ａ、４０６：侵入者ｂ、４０７：障害物Ａ、４０８：障害物Ｂ、５０１：ミキサー、５０２：加算器、６０１：監視カメラＡ、６０２：監視カメラＢ、６０３：監視空間、７０１：監視カメラＡ、７０１：監視カメラＡ、７０２：監視カメラＢ、７０３：監視空間、８００：監視カメラ、８０１：監視カメラＡ、８０２：監視カメラＢ、８０３：監視カメラＣ、８０５：監視空間、９０１：監視カメラＡ、９０２：画像処理装置Ａ、９０３：ＷＥＢエンコーダＡ、９０４：ＩＰネットワーク網、９０５：システム管理サーバ、８０６：被写体、９０６：操作端末、９０７：ＷＥＢデコーダ、９０８：監視モニタ、９１１：監視カメラＢ、９１２：画像処理装置Ｂ、９１３：ＷＥＢエンコーダＢ、９１５：プリセット情報テーブル、９２１：監視カメラＣ、９２２：画像処理装置Ｃ、９２３：ＷＥＢエンコーダＣ、９２５：画像データ蓄積メモリ、９３１：監視カメラＤ、９３２：画像処理装置Ｄ、９３３：ＷＥＢエンコーダＤ、９３５：制御部、９３５ａ：侵入者移動方向判定手段、９３５ｂ：雲台動作制御手段、９３５ｃ：表示優先順位決定手段、９３５ｄ：表示制御手段、９３５ｅ：回線状態判定手段、９４１：監視カメラＥ、９４２：画像処理装置Ｅ、９４３：ＷＥＢエンコーダＥ、１００１：検知画像、１００２：侵入者、１００３：検知枠、１００５：空間座標、１００６：プリセットポイントａ、１００７：プリセットポイントｂ、２００１：プリセット画角、２００２：プリセット画角、２００２’：プリセット画角、２００３：プリセット画角、４００１：プリセット画角、４００２：プリセット画角、４０１１：監視カメラＡ４０１の画像、４０１２：監視カメラＢ４０２の画像、４０１５：切り出しエリア、４０２０：合成させた画像、６０１１，６０１２，６０１３，６０１４，６０１５，６０１６：プリセット画角、６０２１，６０２２，６０２３：プリセット画角、７０１１：プリセット画角ａａ、７０１２：プリセット画角ａｂ、７０１５：プリセット画角ｂａ、７０１６：プリセット画角ｂｂ、７０２０：プリセット画角の重なり部分、８００１：監視カメラＡ８０１の垂直視野角、８００２：監視カメラＢ８０２の垂直視野角、８００３：監視カメラＣ８０３の垂直視野角。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】