特許 6482856 監視システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6482856

(24)【登録日】2019年2月22日

(45)【発行日】2019年3月13日

(54)【発明の名称】監視システム

(51)【国際特許分類】

   G08B 25/00 20060101AFI20190304BHJP

   B64C 39/02 20060101ALI20190304BHJP

   B64D 47/08 20060101ALI20190304BHJP

   H04N 7/18 20060101ALI20190304BHJP

   G09B 29/00 20060101ALN20190304BHJP

【ＦＩ】

   G08B25/00 510M

   B64C39/02

   B64D47/08

   H04N7/18 G

   !G09B29/00 Z

【請求項の数】4

【全頁数】16

(21)【出願番号】特願2014-259398(P2014-259398)

(22)【出願日】2014年12月22日

(65)【公開番号】特開2016-118995(P2016-118995A)

(43)【公開日】2016年6月30日

【審査請求日】2017年9月12日

(73)【特許権者】

【識別番号】000108085

【氏名又は名称】セコム株式会社

(74)【代理人】

【識別番号】100067323

【弁理士】

【氏名又は名称】西村 教光

(74)【代理人】

【識別番号】100124268

【弁理士】

【氏名又は名称】鈴木 典行

(72)【発明者】

【氏名】青木 秀行

【審査官】 中村 信也

(56)【参考文献】

【文献】 特開２０１４−１０４７９７（ＪＰ，Ａ）

【文献】 特開２０１０−２５０４７８（ＪＰ，Ａ）

【文献】 特開２００３−３３９２３８（ＪＰ，Ａ）

【文献】 特開２０１４−１４９６２１（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｂ６４Ｂ １／００−１／７０

Ｂ６４Ｃ １／００−９９／００

Ｂ６４Ｄ １／００−４７／０８

Ｂ６４Ｆ １／００−５／６０

Ｂ６４Ｇ １／００−９９／００

Ｇ０１Ｃ １／００−１／１４

Ｇ０１Ｃ ５／００−１５／１４

Ｇ０５Ｄ １／００−１／１２

Ｇ０８Ｂ １９／００−３１／００

Ｇ０９Ｂ ２３／００−２９／１４

Ｈ０４Ｎ ５／２２２−５／２５７

Ｈ０４Ｎ ７／１８

Ｈ０４Ｑ ９／００−９／１６

(57)【特許請求の範囲】

【請求項1】

地上から撮影する監視カメラと、上空から撮影する撮像部を有する飛行装置とを備えた監視システムであって、
前記監視カメラの撮影俯仰角と異なる俯仰角にて当該監視カメラの撮影範囲を撮影できる目標位置を算出する目標算出部と、
前記目標位置に前記飛行装置を移動させて前記監視カメラの撮影範囲を撮影するように前記撮像部を制御する飛行装置制御部と、
第１の角度範囲を記憶する記憶部と、
を備え、
前記目標算出部は、
前記監視カメラの撮影俯仰角が前記第１の角度範囲内か否かを判定する判定部と、
前記判定部にて前記第１の角度範囲内でないと判定した場合には前記第１の角度範囲内となる俯仰角にて前記監視カメラの撮影範囲を撮影できる目標位置を算出する算出部と、
を備えたことを特徴とする監視システム。

【請求項2】

前記算出部は、前記判定部にて前記第１の角度範囲内であると判定した場合には前記第１の角度範囲と異なる俯仰角にて前記監視カメラの撮影範囲を撮影できる目標位置を算出する請求項１に記載の監視システム。

【請求項3】

前記記憶部は、前記第１の角度範囲とは所定角度範囲離れた第２の角度範囲を記憶し、
前記算出部は、前記判定部にて前記第１の角度範囲内であると判定した場合には前記第２の角度範囲内となる俯仰角にて前記監視カメラの撮影範囲を撮影できる目標位置を算出する請求項２に記載の監視システム。

【請求項4】

前記第１の角度範囲を０度から第１の所定角度（ただし、０度＜第１の所定角度＜４５度）までに含まれる範囲としたときには前記第２の角度範囲を第２の所定角度（ただし、４５度＜第２の所定角度＜９０度）から９０度までに含まれる範囲とし、
又は、前記第１の角度範囲を前記第２の所定角度から９０度までに含まれる範囲としたときには前記第２の角度範囲を０度から前記第１の所定角度に含まれる範囲とした請求項３に記載の監視システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、例えば人物、車両などの移動体を監視する監視システムに関する。

【背景技術】

【0002】

人物、車両などの移動体を監視するシステムとしては、例えば下記特許文献１に開示されるものが知られている。この特許文献１では、システム全体にわたる移動体の追跡及び複数のビデオカメラ毎に分散された情報の統括的管理を効率よく行うことを目的として、複数ビデオカメラ毎に分散的に人物追跡するカメラ内追跡手段と、追跡を行うメイン追跡要素と移動体の特徴量をメイン追跡要素に供給するサブ追跡要素とからなり複数のカメラ内追跡手段間で連携して移動体を追跡するカメラ間追跡手段と、複数のカメラ内追跡手段に亙り移動体を探索する移動体探索手段とを具え、監視領域に分散配置された複数のビデオカメラを連携動作させている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００４−７２６２８号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

上述した特許文献１に開示されるシステムでは、複数のビデオカメラが監視領域に分散配置され、各々のビデオカメラが撮影範囲を固定的に撮影する構成なので、ある一つのビデオカメラの撮影範囲について得られる情報としてはそのビデオカメラの撮影方向から撮影した画像情報のみとなる。このため、例えば、そのビデオカメラの撮影方向から死角となる領域については状況を把握することができない。また、ある一つのビデオカメラの画像上に映った対象についてそのカメラの画像情報以外の情報を得ることはできない。上述した特許文献１に開示されるシステムでは、ビデオカメラの撮影範囲が一部重複するように設置することが示されているが、ビデオカメラの撮影範囲が固定的である以上、重複して得られた複数の画像が、お互いに、監視領域の状況を的確に把握するのに補完し合えるような関係になるとは限らない。このため、監視領域の状況を把握するのに適した他の画像を必ずしも得ることができなかった。

【0005】

そこで、本発明は上記問題点に鑑みてなされたものであり、監視領域において撮影された画像を補完し、その画像中の状況を把握するのに適した他の画像を得ることができる監視システムを提供することを目的とするものである。

【課題を解決するための手段】

【0006】

上記した目的を達成するために、本発明に係る監視システムは、地上から撮影する監視カメラと、上空から撮影する撮像部を有する飛行装置とを備えた監視システムであって、
前記監視カメラの撮影俯仰角と異なる俯仰角にて当該監視カメラの撮影範囲を撮影できる目標位置を算出する目標算出部と、
前記目標位置に前記飛行装置を移動させて前記監視カメラの撮影範囲を撮影するように前記撮像部を制御する飛行装置制御部と、
を備えたことを特徴とする。

【0007】

また、本発明に係る監視システムは、第１の角度範囲を記憶する記憶部を備え、
前記目標算出部は、
前記監視カメラの撮影俯仰角が前記第１の角度範囲か否かを判定する判定部と、
前記判定部にて前記第１の角度範囲でないと判定した場合には前記第１の角度範囲となる俯仰角にて前記監視カメラの撮影範囲を撮影できる目標位置を算出し、前記判定部にて前記第１の角度範囲であると判定した場合には前記第１の角度範囲と異なる俯仰角にて前記監視カメラの撮影範囲を撮影できる目標位置を算出する算出部と、
を備えてもよい。

【0008】

さらに、本発明に係る監視システムは、前記記憶部は、前記第１の角度範囲とは所定角度範囲離れた第２の角度範囲を記憶し、
前記算出部は、前記判定部にて前記第１の角度範囲であると判定した場合には前記第２の角度範囲となる俯仰角にて前記監視カメラの撮影範囲を撮影できる目標位置を算出してもよい。

【0009】

また、本発明に係る監視システムは、前記第１の角度範囲を０度から第１の所定角度（ただし、０度＜第１の所定角度＜４５度）までに含まれる範囲としたときには前記第２の角度範囲を第２の所定角度（ただし、４５度＜第２の所定角度＜９０度）から９０度までに含まれる範囲とし、
又は、前記第１の角度範囲を前記第２の所定角度から９０度までに含まれる範囲としたときには前記第２の角度範囲を０度から前記第１の所定角度に含まれる範囲としてもよい。

【発明の効果】

【0010】

本発明の監視システムによれば、監視カメラの撮影俯仰角とは異なる俯仰角にて監視カメラの撮影範囲を撮影できる位置に飛行装置が移動して撮像部にて撮影するように作用する。これにより、監視カメラの撮影俯仰角とは異なる俯仰角にて撮影した画像を取得でき、この飛行装置の撮像部が撮影した画像と監視カメラが撮影した画像とから監視領域の状況を把握するのに適した画像が得られ、監視カメラの撮影範囲の状況についてより多くの情報を得ることができる。

【0011】

また、本発明の監視システムによれば、監視カメラの撮影俯仰角が第１の角度範囲でない場合、飛行装置は第１の角度範囲から監視カメラの撮影範囲を撮影できる目標位置に移動して撮像部にて撮影するように作用する。これに対し、監視カメラの撮影俯仰角が第１の角度範囲である場合、飛行装置は第１の角度範囲とは異なる俯仰角にて監視カメラの撮影範囲を撮影できる目標位置に移動して撮像部にて撮影するように作用する。これにより、監視に際して必要となる撮影俯仰角などを第１の角度範囲として記憶しておけば、必要となる撮影俯仰角の画像を必ず得られるとともに、それとは異なる俯仰角にて撮影した画像も得ることができる。

【0012】

さらに、本発明の監視システムによれば、監視カメラの撮影俯仰角が第１の角度範囲である場合、飛行装置は第１の角度範囲とは所定角度範囲離れた第２の角度範囲にて監視カメラの撮影範囲を撮影できる目標位置に移動して撮像部にて撮影するように作用する。これにより、第１の角度範囲の次に取得することが望ましい俯仰角を第２の角度範囲として記憶しておけば、必要となる撮影俯仰角の画像を必ず得られるとともに、その次に取得しておくべき俯仰角にて撮影された画像も得ることができる。

【0013】

また、本発明の監視システムによれば、監視カメラにて撮影俯仰角が水平方向に近い画像が得られている場合には、飛行装置は撮影俯仰角が鉛直方向に近い画像が得られる目標位置に移動して撮像部にて監視カメラの撮影範囲を撮影するように作用する。また、監視カメラにて撮影俯仰角が鉛直方向に近い画像が得られている場合には、飛行装置は撮影俯仰角が水平方向に近い画像が得られる目標位置に移動して撮像部にて監視カメラの撮影範囲を撮影するように作用する。これにより、水平方向に近い方向から把握できる情報と鉛直方向に近い方向から把握できる情報との双方の情報を得ることができる。

【図面の簡単な説明】

【0014】

【図1】本発明に係る監視システムの全体構成を示す概略ブロック図である。

【図2】地上の水平面を仮想水平面とし、仮想水平面を側面から見たときの監視対象と監視カメラと飛行装置との位置関係を示す図である。

【図3】上空から地上を鉛直方向に見たときの仮想水平面上における監視対象と監視カメラと飛行装置との位置関係を示す図である。

【図4】（ａ），（ｂ）不審者を監視対象としたときの監視カメラと飛行装置の位置関係を示す図である。

【図5】（ａ），（ｂ）混雑を監視対象としたときの監視カメラと飛行装置の位置関係を示す図である。

【発明を実施するための形態】

【0015】

以下、本発明を実施するための形態について、添付した図面の図１〜５を参照しながら詳細に説明する。

【0016】

図１に示すように、本発明に係る監視システム１は、監視カメラ２、飛行装置３、追跡処理装置としてのセンタ装置４を備えて構築される。

【0017】

（監視カメラの構成について）
監視カメラ２は、地上から所定の撮影範囲を撮影する。監視カメラ２は、図１に示すように、カメラ部２１、制御部２２、通信部２３を備えている。

【0018】

カメラ部２１は、所定の撮影範囲を撮影する本体をなし、撮像部２１ａ、方向制御部２１ｂ、画像データ生成部２１ｃを有している。

【0019】

撮像部２１ａは、例えばＣＣＤ素子やＣ−ＭＯＳ素子などの撮像素子や光学部品などを含んで構成される。撮像部２１ａは、監視領域内の所定の撮影範囲を所定時間おきに撮像し、撮像した画像を画像データ生成部２１ｃに順次出力している。

【0020】

尚、撮像部２１ａは、監視カメラ２がパンチルトズームカメラとして構成される場合、センタ装置４からの制御信号の撮影指示に基づく制御部２２の制御により、ズーム位置が制御される。このズーム位置に基づく焦点距離の情報は画像データ生成部２１ｃに出力される。

【0021】

方向制御部２１ｂは、監視カメラ２がパンチルトズームカメラとして構成される場合に必要なものであり、センタ装置４からの制御信号の撮影指示に基づく制御部２２の制御により、水平方向及び垂直方向の角度が制御される。この水平方向の角度情報、及び俯角又は仰角（俯仰角）としての垂直方向の角度情報は、予め設定された監視カメラ２の撮影方向（水平方向の角度情報及び俯仰角）からの変位角度であり、画像データ生成部２１ｃに出力される。

【0022】

画像データ生成部２１ｃは、撮像部２１ａが撮像した画像に対し、必要に応じて焦点距離や撮影方向を付加した画像データを生成する。また、後述の測位部３４にて取得した撮影時における位置情報を必要に応じて付加した画像データを生成する。なお、監視カメラ２がパンチルトズームカメラとして構成される場合には、予め設定された監視カメラ２の撮影方向を上述の変位角度で補正した撮影方向を画像データに付加する。

【0023】

制御部２２は、カメラ部２１の画像データ生成部２１ｃが生成した画像データを所定のフレーム周期で所定時間おきに通信部２３を介してセンタ装置４に送信制御する。また、制御部２２は、センタ装置４からの制御信号を通信部２３を介して受信したときに、この制御信号の撮影指示に従ってカメラ部２１の撮像部２１ａや方向制御部２１ｂを制御する。

【0024】

通信部２３は、有線又は無線により通信を行うための通信インタフェースであり、制御部２２の制御により、通信回線を介してセンタ装置４との間で有線又は無線により通信し、データや信号の送受信を行う。具体的には、画像データ生成部２１ｃが生成した画像データを所定のフレーム周期で所定時間おきにセンタ装置４に送信する。また、撮像部２１ａや方向制御部２１ｂを制御するためのセンタ装置４からの制御信号を受信する。

【0025】

尚、監視カメラ２は、図２に示すように、監視領域の所定箇所に固定して複数設置されるものに限定されない。例えば各種車両に搭載した車載用カメラ、撮像部を有する小型移動飛行ロボットやドローンなどのように監視領域を移動できるものであってもよい。また、監視カメラ２が監視領域内を移動できる場合には、少なくとも１つの監視カメラ２が設けられた構成であってもよい。そして、監視カメラ２が監視領域を移動する場合には、撮影時における監視カメラ２の位置情報が移動に伴って変化するため、ＧＰＳからなる測位部を監視カメラ２に備え、地球上での監視カメラ２の３次元的位置（現在位置）を示す位置情報（緯度、経度、高さ）を画像データ生成部２１ｃに出力する。また、監視カメラ２が監視領域を移動する場合は、撮影時における監視カメラ２の撮影方向も移動による姿勢変動によって変化するため、後述する姿勢検出部３５と同様の構成を備え、画像データ生成部２１ｃは、これにより得られた姿勢情報により撮影方向を補正する。そして、画像データ生成部２１ｃからは、監視カメラ２の撮影時における位置情報及び撮影時における監視カメラ２の撮影方向も付加した画像データがセンタ装置４に送信される。

【0026】

（飛行装置の構成について）
飛行装置３は、センタ装置４からの制御信号の指示によって移動制御が可能な移動型飛行装置、すなわち、移動型飛行船、小型移動飛行ロボットやドローン、人工衛星などである。又は電源供給及び通信可能な状態で本体がケーブルを介して地上の係留装置と繋がれた係留型飛行装置（例えば係留型飛行船など）であってもよい。さらに、これらの組合せによって構成してもよい。

【0027】

尚、飛行装置３が係留型飛行装置の場合には、監視カメラ２で撮影できない死角領域を包含するように、監視領域の規模に合わせた数だけ設けるのが好ましい。

【0028】

飛行装置３は、図１に示すように、カメラ部３１、推進部３２、方向舵３３、測位部３４、姿勢検出部３５、制御部３６、無線通信部３７を備えている。

【0029】

カメラ部３１は、飛行装置３の本体に搭載され、主に、上空から監視カメラ２よりも広い撮影範囲で撮影を行っている。カメラ部３１は、撮像部３１ａ、方向制御部３１ｂ、画像データ生成部３１ｃを有している。

【0030】

撮像部３１ａは、例えばＣＣＤ素子やＣ−ＭＯＳ素子などの撮像素子や光学部品などを含んで構成されるものであり、所定の撮影範囲を上空から所定時間おきに撮像し、撮像した画像を画像データ生成部３１ｃに順次出力する。

【0031】

尚、撮像部３１ａは、カメラ部３１がパンチルトズームカメラとして構成される場合、センタ装置４からの制御信号の撮影指示に基づく制御部３６の制御により、ズーム位置が制御される。このズーム位置に基づく焦点距離の情報は画像データ生成部３１ｃに出力される。

【0032】

方向制御部３１ｂは、カメラ部３１がパンチルトズームカメラとして構成される場合に必要なものであり、センタ装置４からの制御信号の撮影指示に基づく制御部３６の制御により、水平方向及び垂直方向の角度が制御される。この水平方向の角度情報、及び俯角又は仰角（俯仰角）としての垂直方向の角度情報は、予め設定された監視カメラ２の撮影方向（水平方向の角度情報及び俯仰角）からの変位角度であり、画像データ生成部３１ｃに出力される。

【0033】

画像データ生成部３１ｃは、撮像部３１ａが撮像した画像に対し、撮影時における焦点距離や撮影方向を必要に応じて付加した画像データを生成する。なお、カメラ部３１がパンチルトズームカメラとして構成される場合には、予め設定されたカメラ部３１の撮影方向を上述の変位角度で補正した撮影方向を画像データに付加する。また、撮影方向は、飛行装置３の姿勢によって変化するので、後述の姿勢検出部３５の姿勢情報から撮影方向を補正している。また、後述の測位部３４にて取得した撮影時における位置情報を必要に応じて付加した画像データを生成する。

【0034】

推進部３２は、エンジンの動力をプロペラに伝達して回転させることにより飛行装置３に推進力を与えるものであり、センタ装置４からの制御信号の飛行指示に従って制御部３６により制御される。

【0035】

方向舵３３は、飛行装置３の操縦に用いる動翼であり、センタ装置４からの制御信号の飛行指示に従って制御部３６により制御される。

【0036】

測位部３４は、ＧＰＳ（Global Positioning System ）からなり、地球上での飛行装置３の３次元的位置（現在位置）を示す位置情報（緯度、経度、高さ）を制御部３６に出力する。この位置情報は画像データ生成部３１ｃへも出力する。

【0037】

姿勢検出部３５は、例えばジャイロコンパスとサーボ加速度計を備え、飛行装置３の方位角、ピッチ角、ロール角を計測して飛行装置３の姿勢を検出し、この検出により得られる姿勢情報を制御部３６に出力する。この姿勢情報は画像データ生成部３１ｃへも出力する。

【0038】

制御部３６は、カメラ部３１の画像データ生成部３１ｃが生成した画像データを所定のフレーム周期で所定時間おきにセンタ装置４に送信するように無線通信部３７を制御する。また、制御部３６は、飛行制御部３６ａとカメラ制御部３６ｂを有する。飛行制御部３６ａは、センタ装置４からの制御信号を無線通信部３７を介して受信したときに、この制御信号の飛行指示に従って推進部３２や方向舵３３を制御する。カメラ制御部３６ｂは、センタ装置４からの制御信号を無線通信部３７を介して受信したときに、この制御信号の撮影指示に従ってカメラ部３１の撮像部３１ａや方向制御部３１ｂを制御する。

【0039】

無線通信部３７は、制御部３６の制御により、センタ装置４との間で無線通信し、データや信号の送受信を行う。具体的には、画像データ生成部３１ｃが生成した画像データを所定フレーム周期で所定時間おきにセンタ装置４に送信する。また、撮像部３１ａ、方向制御部３１ｂ、推進部３２、方向舵３３を制御するため、センタ装置４からの制御信号（撮影指示、飛行指示）を受信する。

【0040】

（センタ装置の構成について）
追跡処理装置としてのセンタ装置４は、通信部４１、無線通信部４２、制御部４３、記憶部４４、操作部４５、表示部４６を備えている。

【0041】

通信部４１は、有線又は無線により通信を行うための通信インタフェースであり、制御部４３の制御により、通信回線を介して複数の監視カメラ２との間で相互に通信を行う。具体的には、複数の監視カメラ２から所定フレーム周期で所定時間おきに送信される画像データを受信する。また、制御対象となる監視カメラ２に対し、撮像部２１ａや方向制御部２１ｂを制御して撮影指示するための制御信号を送信する。

【0042】

無線通信部４２は、制御部４３の制御により、飛行装置３との間で相互に無線通信を行う。具体的には、飛行装置３から所定フレーム周期で所定時間おきに送信される画像データを受信する。また、飛行装置３の撮像部３１ａや方向制御部３１ｂを制御して撮影指示するための制御信号と、飛行装置３の推進部３２や方向舵３３を制御して飛行指示するための制御信号を必要に応じて送信する。

【0043】

制御部４３は、監視カメラ２の画像を補完する画像を得る補完画像取得処理を実行するための構成として、監視対象検出部４３ａ、取得部４３ｂ、目標算出部４３ｃ、飛行装置制御部４３ｄ、表示制御部４３ｅを備えている。

【0044】

監視対象検出部４３ａは、監視カメラ２から所定のフレーム周期で所定時間おきに送信されてくる画像データの画像から監視対象Ｎ（例えば人物や車両など）を検出する。この監視対象Ｎの検出は、従来の画像認識技術を用いればよい。一例を挙げれば、監視対象Ｎを特定するための複数種類の特徴を抽出し、抽出した特徴を対象特徴（特徴情報）として記憶部４４に予め記憶させる。例えば人物が監視対象Ｎである場合は、顔画像、年齢、性別、髪色、上半身衣服色、下半身衣服色、所持品種別、所持品色、身長、体型などが複数種類の特徴情報などとする。これら複数種類の特徴情報は、識別器や色ヒストグラムを用いた公知の手法によって抽出される。

【0045】

尚、監視対象Ｎの特徴情報の入力方法としては、監視員が必要に応じて操作部４５を操作して、記憶部４４に記憶保存された監視カメラ２の画像から監視対象Ｎに当たる部分を指定すると、この指定された画像から上述した特徴情報を抽出し、抽出した特徴情報を対象特徴として記憶部４４に記憶させる。また、監視員の指定操作に依らず、監視対象Ｎが予め決まっている場合には、その監視対象Ｎの特徴情報を対象特徴として記憶部４４に記憶させておく。

【0046】

そして、監視対象Ｎを追跡する場合には、例えば、複数の監視カメラ２毎に撮影される画像から、上述した対象特徴の抽出手法と同様にして複数種類の特徴情報を抽出し、抽出した特徴情報と対象特徴との対比により監視対象Ｎを検出する。これら複数種類の特徴情報は、個々の特徴情報について監視対象Ｎの検出における信頼性を考慮した重み付け係数が設定されている。そして、上述した複数種類の特徴情報を特徴情報の種別ごとに比較して類似度を算出する。続いて、複数種類の特徴情報ごとに算出した類似度に対し、重み付け係数を掛け合わせ、特徴情報の種類毎の類似度に重み付け係数を掛け合わせて全て足し合わせたものを全体類似度とする。そして、予め記憶部４４に記憶された監視対象Ｎと見なせる監視対象検出閾値（例えば類似度９０％）と全体類似度とを比較し、全体類似度が監視対象検出閾値を超えていると判定すると、監視対象Ｎとして検出する。

【0047】

また、監視対象検出部４３ａは、上記のようにして検出した監視対象Ｎを所定フレームおきに取得される画像にわたって追跡する。例えば、現在の画像と１フレーム前の画像とのフレーム間差分をとることで画像中における変化領域を抽出し、監視対象Ｎの位置に相当する変化領域を特定する。そして、次に新たな画像データを取得した際も同様にフレーム間差分を行って変化領域を抽出し、この抽出した変化領域が、前回の監視対象Ｎに相当する変化領域として特定した変化領域と、その位置、大きさ、形状などの点において同一の物体とみなせるかを判定し、同一とみなせる場合には、その変化領域を今回の監視対象Ｎに相当する変化領域として特定する。これらの処理を新たな画像データを取得する度に繰り返すことで、監視カメラ２の画像中において監視対象Ｎを検出して追跡している。

【0048】

取得部４３ｂは、監視員により操作部４５が操作されて、後述する補完画像取得処理の指示がなされると、記憶部４４に記憶された監視カメラ情報から監視カメラ２の撮影方向及び撮影範囲Ｌに関する情報を取得する。

【0049】

なお、取得部４３ｂは、監視カメラ２の撮影俯仰角及び撮影範囲Ｌに関する情報を、監視カメラ２から通信部４１を介して受信した画像データに含まれる情報から取得してもよい。

【0050】

目標算出部４３ｃは、監視員により操作部４５が操作されて後述する補完画像取得処理の指示がなされたときに、取得部４３ｂが取得した監視カメラ２の撮影俯仰角θ及び撮影範囲Ｌを元に、監視カメラ２の撮影俯仰角θと異なる俯仰角αにて撮影範囲Ｌを撮影できる目標位置を算出するもので、判定部４３ｃａと算出部４３ｃｂを有している。

【0051】

判定部４３ｃａは、記憶部４４に記憶された後述の角度範囲情報から第１の角度範囲（目標俯仰角範囲）を読み出し、取得部４３ｂが取得した監視カメラ２の撮影俯仰角θが第１の角度範囲に収まっているか否かを判定する。

【0052】

算出部４３ｃｂは、取得部４３ｂが取得した監視カメラ２の撮影俯仰角θと異なる俯仰角α（撮像部３１ａの垂直方向の撮影俯仰角）にて撮影範囲Ｌを撮影できる目標位置を算出する。さらに説明すると、算出部４３ｃｂは、判定部４３ｃａにて監視カメラ２の撮影俯仰角θが第１の角度範囲に収まっていないと判定すると、飛行装置３の撮像部３１ａが第１の角度範囲に収まる撮影俯仰角αにて撮影範囲Ｌを撮影できる目標位置を算出する。また、算出部４３ｃｂは、監視カメラ２の撮影俯仰角θが第１の角度範囲に収まっていると判定すると、飛行装置３の撮像部３１ａが第１の角度範囲と異なる撮影俯仰角αにて撮影範囲Ｌを撮影できる目標位置を算出する。

【0053】

ここで、目標位置の算出方法について図２及び図３を参照しながら説明する。図２は地上の水平面を仮想水平面Ｅとし、仮想水平面Ｅを側面から見たときの監視対象Ｎと監視カメラ２と飛行装置３との位置関係を示す図である。また、図３は上空から地上を鉛直方向に見たときの仮想水平面Ｅ上における監視対象Ｎと監視カメラ２と飛行装置３との位置関係を示す図である。

【0054】

図２において、監視対象Ｎを追跡する監視カメラ２から飛行装置３の撮像部３１ａまでの仮想水平面Ｅ上の撮影距離（直線距離）をＷ、監視カメラ２と監視対象Ｎとの間の仮想水平面Ｅ上の直線距離をａ、飛行装置３と監視対象Ｎとの間の仮想水平面Ｅ上の直線距離をｂ、監視対象Ｎと飛行装置３の撮像部３１ａとを結ぶ直線と仮想水平面Ｅとのなす角度をα、仮想水平面Ｅからの飛行装置３の高度をＨとすると、仮想水平面Ｅ上の撮影距離Ｗは、Ｗ＝ａ＋ｂ、Ｗ＝ａ＋（Ｈ／ｔａｎα）で表すことができる。

【0055】

そして、図２の仮想水平面Ｅ上の監視カメラ２と監視対象Ｎとの間の直線距離ａは、記憶部４４に記憶された監視カメラ情報の位置情報と撮影方向と画像中における監視対象Ｎの位置から算出することができる。また、監視対象Ｎと飛行装置３の撮像部３１ａとを結ぶ直線と仮想水平面Ｅとのなす角度αは、上述した算出部４３ｃｂによって第１の角度範囲内に設定される。さらに、仮想水平面Ｅからの飛行装置３の高度Ｈは、監視対象Ｎや周囲の状況に応じて監視員の操作部４５の操作により設定される。従って、撮影距離Ｗを一意に定めることができる。

【0056】

今、図３に示すように、監視対象Ｎを追跡する監視カメラ２の撮影位置Ｐを原点（０，０）としたときの基準方位（北）と監視対象Ｎとのなす角度をφとすると、飛行装置３の移動位置（目標位置）は図３における座標（Ｗｓｉｎφ，Ｗｃｏｓφ）、撮影方向はφ＋１８０°として算出することができる。

【0057】

なお、図２及び図３では、監視対象Ｎを挟んで監視カメラ２と対向する位置に飛行装置３を移動制御する場合の目標位置の算出について説明したが、算出部４３ｃｂは、これとは異なる方向から監視カメラ２の撮影範囲を角度αで撮影できる位置を目標位置として算出してもよい。例えば、監視対象Ｎを、監視カメラ２と同じ方向から撮影する位置を目標位置として算出してもよい。この場合は、算出部４３ｃｂによって設定されたなす角度α、監視員の操作部４５の操作により設定された高度Ｈによって、飛行装置３と監視対象Ｎとの間の仮想水平面Ｅ上の直線距離ｂを算出し、監視対象Ｎを原点としたときに座標（ｂｓｉｎ（φ＋１８０°），ｂｃｏｓ（φ＋１８０°））となる位置を目標位置とし、撮影方向をφとすればよい。また、補完画像取得処理の指示がなされたときの飛行装置３の現在位置において高度を変更することにより監視カメラ２の撮影範囲を角度αで撮影できる位置を目標位置として算出してもよい。この場合は、算出部４３ｃｂによって設定されたなす角度α、飛行装置３と監視対象Ｎとの間の仮想水平面Ｅ上の直線距離ｂから、高度Ｈを目標位置として算出する。そして、撮影方向は、原点を監視カメラの位置から飛行装置３の位置に変更した場合の監視対象Ｎの位置を算出し、飛行装置３を原点とした場合の基準方位（北）と監視対象Ｎのなす角度を求め、これを撮影方向とすればよい。

【0058】

飛行装置制御部４３ｄは、目標算出部４３ｃの算出部４３ｃｂが算出した目標位置に飛行装置３を移動制御する。また、飛行装置制御部４３ｄは、目標位置において監視カメラ２の撮影俯仰角θと異なる俯仰角α（撮像部３１ａの垂直方向の撮影俯仰角）にて撮影範囲Ｌを撮影するように飛行装置３の高度を制御するとともに飛行装置３又は撮像部３１ａの方向を制御する。

【0059】

表示制御部４３ｅは、表示部４６の表示を制御している。具体的には、通常の監視状態において、監視カメラ２から所定時間おきに送信される画像データに含まれる最新の画像を表示部４６に表示している。また、後述する補完画像取得処理では、監視カメラ２と飛行装置３の両方から送信される最新の画像を表示部４６に表示している。これにより、監視員は、表示部４６に表示された画像をモニタすることにより監視領域の最新状況を知ることができる。

【0060】

記憶部４４は、監視カメラ情報、飛行装置情報、角度範囲情報、画像データなどの各種情報を記憶している。各種情報について説明すると、監視カメラ情報は、各監視カメラ２に関する情報であって、各監視カメラ２の位置情報（撮影位置Ｐ：緯度、経度、高さ）、撮影方向、撮影範囲Ｌ、焦点距離などの情報が含まれ、動的に変化するものは監視カメラ２から受信する画像データに含まれる情報に基づいて逐次更新される。

【0061】

なお、移動可能な監視カメラ２においては、位置情報、撮影方向、撮影範囲、焦点距離が変化するため、受信する画像データに含まれる情報に基づいて制御部４３により逐次更新される。具体的には、位置情報と撮影方向、焦点距離は受信した情報をそのまま更新し、撮影範囲は画像データに含まれる位置情報、撮影方向、焦点距離に基づいて算出し、更新する。

【0062】

また、監視領域の所定箇所に固定して設置される監視カメラ２の位置情報に関する情報は、予め記憶部４４に監視カメラ情報の一部として記憶しておくことができる。このような監視カメラ２のうち、パンチルトズーム可能な監視カメラ２については、撮影方向、撮影範囲、焦点距離が変化するため、受信する画像データに含まれる情報に基づいて、上記と同様にして制御部４３により逐次更新される。

【0063】

飛行装置情報は、飛行装置３に関する情報であって、飛行装置３の位置情報（飛行位置又は撮影位置：緯度、経度、高さ）、カメラ部３１の撮影方向、撮影範囲、焦点距離などの情報が含まれ、動的に変化するものは飛行装置３から受信する画像データに含まれる情報に基づいて、監視カメラ情報の更新と同様にして制御部４３により逐次更新される。

【0064】

角度範囲情報は、図２に示すように、地上の水平面を仮想水平面Ｅ（０°）とし、この仮想水平面Ｅと直交する平面を仮想鉛直面Ｖ（９０°）としたときに、仮想水平面Ｅと仮想鉛直面Ｖとの間の角度範囲であり、第１の角度範囲と第２の角度範囲からなる。

【0065】

第１の角度範囲は、監視対象Ｎの監視に必要な必要俯仰角範囲である。具体的には、監視対象Ｎが例えば不審者である場合は、不審者の顔を捉えやすい水平寄りの角度、例えば仮想水平面Ｅを含む０〜３０°が第１の角度範囲となる。これに対し、監視対象Ｎが混雑である場合は、地上の水平面上における前後左右の周囲の状況が把握しやすい垂直寄りの角度、例えば仮想鉛直面Ｖを含む６０〜９０°が第１の角度範囲となる。

【0066】

第２の角度範囲は、第１の角度範囲から所定角度範囲だけ離れた目標俯仰角範囲である。具体的には、監視対象Ｎが例えば不審者であって、第１の角度範囲が仮想水平面Ｅを含む０〜３０°に設定された場合は、地上の水平面上における前後左右の周囲の状況が把握しやすい垂直寄りの角度、例えば仮想鉛直面Ｖを含む６０〜９０°が第２の角度範囲として設定される。これに対し、監視対象Ｎが例えば混雑であって、第１の角度範囲が仮想鉛直面Ｖに対して６０〜９０°とした場合は、不審者の顔を捉えやすい水平寄りの角度、例えば仮想水平面Ｅを含む０〜３０°が第２の角度範囲として設定される。

【0067】

なお、第１の角度範囲と第２の角度範囲は、互いに角度が重複しない角度範囲に設定されていればよい。例えば第１の角度範囲が仮想水平面Ｅを含む０〜４５°（但し、４５°を含まない）に設定された場合は、第２の角度範囲を仮想鉛直面Ｖを含む４５〜９０°（但し、４５°を含まない）に設定する。逆に、第１の角度範囲が仮想鉛直面Ｖを含む４５〜９０°（但し、４５°を含まない）に設定された場合は、第２の角度範囲を仮想水平面Ｅを含む０〜４５°（但し、４５°を含まない）に設定する。

【0068】

画像データは、各監視カメラ２や飛行装置３から所定のフレーム周期で所定時間おきに送信されるデータであり、監視カメラ２ごと飛行装置３ごとに記憶部４４に逐次蓄積される。

【0069】

操作部４５は、例えばマウス、キーボード、表示部４６の表示画面上のソフトキーなどで構成される。操作部４５は、後述する補完画像取得処理の開始又は終了の指示、第１角度範囲及び第２角度範囲の設定、監視カメラ２の撮影俯仰角θの設定、高度Ｈの設定、監視カメラ２の画像に基づく監視対象Ｎの追跡の指示、監視対象Ｎの特徴情報の指定、記憶部４４に記憶保存された画像から監視対象Ｎの指定、各監視カメラ２や飛行装置３への指示（撮影指示、飛行指示）、画像データの削除などを行う際に監視員によって操作される。

【0070】

表示部４６は、例えば液晶表示器などで構成される。表示部４６は、表示制御部４３ｅの制御により、複数の監視カメラ２や飛行装置３から取得した画像データの表示などを行っている。

【0071】

次に、上記のように構成される監視システム１の動作として、監視対象Ｎを追跡する監視カメラ２からの画像を補完する画像を取得するために飛行装置３を移動制御する補完画像取得処理について説明する。

【0072】

通常は、監視対象検出部４３ａが、地上から撮影した複数の監視カメラ２からの画像データに基づいて監視対象Ｎを検出して追跡を行っている。ここで、ある監視カメラ２が監視対象Ｎを追跡している際に、監視員が操作部４５を操作して補完画像取得処理の指示がなされると、飛行装置３を移動制御する補完画像取得処理が開始される。なお、補完画像取得処理は、監視員の操作部４５の操作によらず、監視対象検出部４３ａが監視対象Ｎを検出すると自動的に開始するようにしてもよい。

【0073】

補完画像取得処理では、取得部４３ｂが記憶部４４に記憶された監視カメラ情報から監視カメラ２の撮影位置Ｐ（緯度、経度、高さ）、撮影方向及び撮影範囲Ｌに関する情報を取得する。

【0074】

なお、取得部４３ｂは、監視カメラ２の撮影方向及び撮影範囲Ｌに関する情報は、監視カメラ２から通信部４１を介して受信した画像データに含まれる情報から取得することもできる。

【0075】

続いて、目標算出部４３ｃの判定部４３ｃａは、記憶部４４に記憶された角度範囲情報から第１の角度範囲（必要俯仰角範囲）を読み出し、取得部４３ｂが取得した監視カメラ２の撮影方向における撮影俯仰角θが第１の角度範囲に収まっているか否かを判定する。

【0076】

そして、目標算出部４３ｃの算出部４３ｃｂは、判定部４３ｃａにて監視カメラ２の撮影俯仰角θが第１の角度範囲に収まっていないと判定すると、飛行装置３の撮像部３１ａが第１の角度範囲に収まる撮影俯仰角αを設定し、この撮影俯仰角αにて撮影範囲Ｌを撮影できる目標位置を算出する。また、目標算出部４３ｃの算出部４３ｃｂは、監視カメラ２の撮影俯仰角θが第１の角度範囲に収まっていると判定すると、飛行装置３の撮像部３１ａが第１の角度範囲と異なる撮影俯仰角αを設定し、この撮影俯仰角αにて撮影範囲Ｌを撮影できる目標位置を算出する。

【0077】

そして、飛行装置制御部４３ｄは、目標算出部４３ｃの算出部４３ｃｂにて算出した目標位置まで飛行装置３を移動制御する。飛行装置３は、目標位置に到着すると、監視カメラ２の撮影俯仰角θと異なる撮影俯仰角αにて監視カメラ２の撮影範囲Ｌを含む撮影範囲で撮像部３１ａが撮影する。

【0078】

ここで、図４は不審者を監視対象Ｎとしたときの監視カメラ２と飛行装置３の位置関係を示している。監視対象Ｎが不審者の場合には、第１の角度範囲を仮想水平面Ｅを含む０〜３０°に設定し、第２の角度範囲を仮想鉛直面Ｖを含む６０〜９０°に設定してそれぞれ記憶部４４に記憶させておく。そして、目標算出部４３ｃの判定部４３ｃａは、図４（ａ）に示すように、監視カメラ２の撮影俯仰角θが第１の角度範囲：０〜３０°に収まっていると判断すると、目標算出部４３ｃの算出部４３ｃｂは、飛行装置３が第２の角度範囲：６０〜９０°において監視カメラ２の撮影範囲を撮影できる目標位置と撮影方向を設定する。飛行装置制御部４３ｄは、無線通信部４２を介して飛行装置３に制御信号を送信し、設定された目標位置において飛行装置３の撮像部３１ａが設定された撮影方向となるように制御する。つまり、飛行装置３の撮像部３１ａの撮影俯仰角αが第２の角度範囲：６０〜９０°に収まるように、制御信号の指示に従って飛行装置３の飛行状態、飛行装置３又は撮像部３１ａの方向が制御される。

【0079】

これに対し、目標算出部４３ｃの判定部４３ｃａは、図４（ｂ）に示すように、監視カメラ２の撮影俯仰角θが第１の角度範囲：０〜３０°から外れていると判断すると、目標算出部４３ｃの算出部４３ｃｂは、飛行装置３が第２の角度範囲：０〜３０°において監視カメラ２の撮影範囲を撮影できる目標位置と撮影方向を設定する。飛行装置制御部４３ｄは、無線通信部４２を介して飛行装置３に制御信号を送信し、設定された目標位置において飛行装置３の撮像部３１ａの撮影俯仰角αが設定された撮影方向となるように制御する。つまり、飛行装置３の撮像部３１ａの撮影俯仰角αが第１の角度範囲：０〜３０°に収まるように、制御信号の指示に従って飛行装置３の飛行状態、飛行装置３又は撮像部３１ａの方向が制御される。

【0080】

また、図５は混雑を監視対象としたときの監視カメラ２と飛行装置３の位置関係を示している。監視対象Ｎが混雑の場合には、第１の角度範囲を仮想鉛直面Ｖを含む６０〜９０°に設定し、第２の角度範囲を仮想水平面Ｅを含む０〜３０°に設定してそれぞれ記憶部４４に記憶させておく。そして、目標算出部４３ｃの判定部４３ｃａは、図５（ａ）に示すように、監視カメラ２の撮影俯仰角θが第１の角度範囲：６０〜９０°に収まっていると判断すると、目標算出部４３ｃの算出部４３ｃｂは、飛行装置３が第２の角度範囲：０〜３０°において監視カメラ２の撮影範囲を撮影できる目標位置と撮影方向を設定する。飛行装置制御部４３ｄは、無線通信部４２を介して飛行装置３に制御信号を送信し、設定された目標位置において飛行装置３の撮像部３１ａの撮影俯仰角αが設定された撮影方向となるように制御する。つまり、飛行装置３の撮像部３１ａの撮影俯仰角αが第２の角度範囲：０〜３０°に収まるように、制御信号の指示に従って飛行装置３の飛行状態、飛行装置３又は撮像部３１ａの方向が制御される。

【0081】

これに対し、目標算出部４３ｃの判定部４３ｃａは、図５（ｂ）に示すように、監視カメラ２の撮影俯仰角θが第１の角度範囲：６０〜９０°から外れていると判断すると、目標算出部４３ｃの算出部４３ｃｂは、飛行装置３が第２の角度範囲：６０〜９０°において監視カメラ２の撮影範囲を撮影できる目標位置と撮影方向を設定する。飛行装置制御部４３ｄは、無線通信部４２を介して飛行装置３に制御信号を送信し、設定された目標位置において飛行装置３の撮像部３１ａの撮影俯仰角αが設定された撮影方向となるように制御する。つまり、飛行装置３の撮像部３１ａの撮影俯仰角αが第１の角度範囲：６０〜９０°に収まるように、制御信号の指示に従って飛行装置３の飛行状態、飛行装置３又は撮像部３１ａの方向が制御される。

【0082】

このように、飛行装置３の撮像部３１ａが撮影する画像は、監視カメラ２とは異なる俯仰角の方向から撮影したものであり、監視カメラ２からは把握できない情報を多く含んだ画像である。そして、飛行装置３は、撮像部３１ａが撮影した画像を所定フレーム周期で所定時間おきにセンタ装置４に送信する。センタ装置４は、飛行装置３からの画像を受信し、監視カメラ２からの画像と一緒に表示部４６に表示する。これにより、監視員は、監視カメラ２からの画像だけでなく、監視カメラ２からは把握できない情報を含んだ飛行装置３からの画像をモニタし、監視カメラ２の撮影範囲Ｌの状況についてより多くの情報を得ることができ、監視領域の状況を把握して監視対象Ｎの監視が行える。

【0083】

なお、上述した実施の形態においては、算出部４３ｃｂが算出する目標位置は、図２〜５上で示した位置そのものとして説明したが、この位置を中心とした誤差範囲を設け、この誤差範囲を目標位置としてよい。

【0084】

以上説明したように、上述した実施の形態による監視システム１によれば、以下に示す効果を奏する。

【0085】

監視員による操作部４５の操作により補完画像取得処理の指示があると、目標算出部４３ｃは、監視カメラ２の撮影俯仰角θと異なる撮影俯仰角αにて撮影範囲Ｌを撮影できる目標位置を算出する。飛行装置制御部４３ｄは、目標算出部４３ｃが算出した目標位置に飛行装置３を移動させて撮影範囲Ｌを撮影するように撮像部３１ａを制御する。かかる構成により、監視カメラ２とは異なる俯仰角にて飛行装置３の撮像部３１ａが撮影した画像を取得することができる。そして、飛行装置３の撮像部３１ａが撮影した画像と監視カメラ２が撮影した画像により、監視カメラ２の撮影範囲Ｌの状況についてより多くの情報を得ることができる。

【0086】

また、記憶部４４には、互いに角度が重複しない角度範囲に設定された第１の角度範囲と第２の角度範囲からなる角度範囲情報が記憶されている。この角度範囲情報は、例えば第１の角度範囲が仮想水平面Ｅを含む０〜４５°（但し、４５°を含まない）内に設定された場合は、第２の角度範囲が仮想鉛直面Ｖを含む４５〜９０°（但し、４５°を含まない）内に設定される。逆に、第１の角度範囲が仮想鉛直面Ｖを含む４５〜９０°（但し、４５°を含まない）内に設定された場合は、第２の角度範囲が仮想水平面Ｅを含む０〜４５°（但し、４５°を含まない）内に設定される。そして、補完画像取得処理時において、飛行装置３は、監視カメラ２の撮影俯仰角θが第１の角度範囲内でなければ、第１の角度範囲内の撮影俯仰角αで撮影できる目標位置に移動して撮像部３１ａにて撮影する。また、飛行装置３は、監視カメラ２の撮影俯仰角θが第１の角度範囲内であれば、第１の角度範囲と異なる第２の角度範囲内の撮影俯仰角αで撮影できる目標位置に移動して撮像部３１ａにて撮影する。かかる構成により、監視に際して必要となる撮影俯仰角θを第１の角度範囲内に設定して記憶部４４に記憶しておけば、必要な撮影俯仰角θの画像が必ず得られ、それとは異なる俯仰角の画像も得ることができる。しかも、水平方向に近い方向から把握できる情報と鉛直方向に近い方向から把握できる情報との双方の情報が得られるので、監視対象を多角的に把握して監視することができる。

【0087】

このように、本実施の形態に係る監視システムによれば、監視カメラ２と飛行装置３とを連携させ、互いに異なる俯仰角で監視対象を撮影するので、例えば監視対象が人物であれば、画像中の人物を把握する場合に、どんな人物かを把握しやすい側面画像と、人物の周囲の状況を把握しやすい上方画像とを同時に取得して監視対象を監視することができる。

【0088】

以上、本発明に係る監視システムの最良の形態について説明したが、この形態による記述及び図面により本発明が限定されることはない。すなわち、この形態に基づいて当業者等によりなされる他の形態、実施例及び運用技術などはすべて本発明の範疇に含まれることは勿論である。

【符号の説明】

【0089】

１ 監視システム
２ 監視カメラ
３ 飛行装置
４ センタ装置（追跡処理装置）
２１ カメラ部
２２ 制御部
２３ 通信部
３１ カメラ部
３２ 推進部
３３ 方向舵
３４ 測位部
３５ 姿勢検出部
３６ 制御部
３７ 無線通信部
４１ 通信部
４２ 無線通信部
４３ 制御部
４３ａ 監視対象検出部
４３ｂ 取得部
４３ｃ 目標算出部
４３ｃａ 判定部
４３ｃｂ 算出部
４４ 記憶部
４５ 操作部
４６ 表示部
Ｄ１ 監視カメラの撮影方向
Ｄ２ 飛行装置の撮像部の撮影方向
Ｅ 仮想水平面
Ｌ 監視カメラの撮影範囲
Ｎ 監視対象
Ｐ 撮影位置
Ｖ 仮想鉛直面
θ 監視カメラの撮影俯仰角
α 飛行装置の撮像部の撮影俯仰角

【図1】

【図2】

【図3】

【図4】

【図5】