特許 6163302 監視システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6163302

(24)【登録日】2017年6月23日

(45)【発行日】2017年7月12日

(54)【発明の名称】監視システム

(51)【国際特許分類】

   G08B 25/00 20060101AFI20170703BHJP

   G08B 13/196 20060101ALI20170703BHJP

   H04N 7/18 20060101ALI20170703BHJP

【ＦＩ】

   G08B25/00 510M

   G08B13/196

   H04N7/18 D

   H04N7/18 G

【請求項の数】7

【全頁数】16

(21)【出願番号】特願2012-279851(P2012-279851)

(22)【出願日】2012年12月21日

(65)【公開番号】特開2014-123303(P2014-123303A)

(43)【公開日】2014年7月3日

【審査請求日】2015年9月4日

(73)【特許権者】

【識別番号】000108085

【氏名又は名称】セコム株式会社

(72)【発明者】

【氏名】大町 洋正

(72)【発明者】

【氏名】阿部 幸司

(72)【発明者】

【氏名】天本 晴之

(72)【発明者】

【氏名】今村 俊樹

(72)【発明者】

【氏名】篠田 佳和

(72)【発明者】

【氏名】寺岡 真

【審査官】 白川 瑞樹

(56)【参考文献】

【文献】 特開２０１１−１２８８７３（ＪＰ，Ａ）

【文献】 特開２０１１−２１７０５５（ＪＰ，Ａ）

【文献】 特開２００９−１７６２８１（ＪＰ，Ａ）

【文献】 特開２０００−２２２６７３（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｂ６４Ｂ１／００−１／７０

Ｂ６４Ｃ１／００−９９／００

Ｂ６４Ｄ１／００−４７／０８

Ｂ６４Ｆ１／００−５／００

Ｂ６４Ｇ１／００−９９／００

Ｇ０６Ｔ１／００−１／４０

３／００−５／５０

９／００−９／４０

Ｇ０８Ｂ１３／００−１５／０２

２３／００−３１／００

Ｈ０４Ｍ３／００

３／１６−３／２０

３／３８−３／５８

７／００−７／１６

１１／００−１１／１０

Ｈ０４Ｎ７／１８

(57)【特許請求の範囲】

【請求項1】

監視領域内が異常状態である場合に監視領域から逃走する移動体に関する逃走情報を監視センタに送信する監視システムであって、
前記監視領域内にて異常が発生した後に当該監視領域内に存在する移動体の位置を算出する追跡部と、
前記追跡部が算出した前記移動体の位置から所定距離だけ離れた位置に移動して追跡中の前記移動体を撮影する撮影部と、
前記移動体が前記監視領域から出たか否かを判定する逃走判定部と、
前記逃走判定部にて前記移動体が前記監視領域から出たと判定すると、前記移動体が前記監視領域から出た位置に前記撮影部を移動させ、判定した前後の所定時間分の画像から逃走情報を生成する逃走情報生成部と、
前記逃走情報を前記監視センタに送信する送信部と、を具備することを特徴とした監視システム。

【請求項2】

前記逃走情報生成部は、前記所定時間分の画像を逃走情報とする請求項１に記載の監視システム。

【請求項3】

更に、前記画像から追跡中の移動体の特徴を認識し、当該認識結果をテキストデータにする画像処理部を有し、
前記逃走情報生成部は当該テキストデータを前記逃走情報に含める請求項１または請求項２に記載の監視システム。

【請求項4】

前記画像処理部は、前記逃走判定部にて前記移動体が前記監視領域から出たと判定したときの前後の画像から当該移動体が逃走した方向を判定し、当該方向を前記テキストデータに含める請求項３に記載の監視システム。

【請求項5】

前記画像処理部は、前記移動体を撮影した画像から人物を抽出し、当該人物の人数を前記テキストデータに含める請求項３または請求項４に記載の監視システム。

【請求項6】

前記画像処理部は、前記逃走判定部にて前記移動体が前記監視領域から出たと判定したときの前後の画像から前記移動体が自動車か人物かを判定し、当該判定結果を前記テキストデータに含める請求項３〜請求項５の何れか一項に記載の監視システム。

【請求項7】

前記画像処理部は、前記移動体を撮影した画像から自動車を抽出し、当該自動車のナンバープレート、車種の特徴情報を認識し、当該特徴情報を前記テキストデータに含める請求項３〜請求項６の何れか一項に記載の監視システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、賊が建屋から逃走する際の状況を撮影する監視システムに関し、特に、逃走する賊の特定に役立つ逃走情報を取得可能にした監視システムに関する。

【背景技術】

【0002】

従来、建物とその周辺の監視領域に各種センサを設置し、センサが異常を検出すると、異常検知した場所に移動ロボットが移動して監視領域を撮影する監視システムが提案されている。
例えば、特許文献１には、火災を検出するセンサや侵入者を検出するセンサからの信号に基づいて、地上走行型の移動ロボットが異常発生の場所に移動して異常状況を撮影する監視システムが開示されている。このような監視システムは、駐車場が設けられているような工場やショッピングモールなど広範囲な監視領域を監視することがある。特許文献１のシステムでは、移動ロボットは、センサが異常を検知した場所まで走行して、その異常発生場所の撮影や監視センタへの通報などを実行している。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００９−１８１２７０号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ところで、工場等の建物に侵入して工場内の物品を盗むような賊は、金庫等の運び出しや逃走を容易にするために自動車を使用することが多い。つまり、工場等の駐車場に自動車を駐車し、その後に工場内に侵入を試みることが多い。監視システムにとって、賊を特定するためには、ナンバープレート、車色、車種などの自動車を特定するための情報、監視領域を出た後の逃走方向や賊の人数など逃走に関連する情報は、その後の捜査にとって非常に有用な情報となる。

【0005】

しかしながら、従来の監視システムでは、賊が逃走したか否かの判断をすることを想定しておらず、警備員が異常発生場所に到達して賊がいなければ逃走したと判断する。つまり、賊の逃走は、警備員が確認した後に確認するシステムが採用されている。このため、たとえ移動ロボットが賊の逃走状況を撮影していたとしても、逃走する賊を特定する情報を迅速に異常発生に向かっている警備員や警察等へ提供することが困難であるという課題があった。

【0006】

また、移動ロボットが逃走する賊を撮影できたとしても、監視員が画像を視て逃走している賊か、監視領域の利用者なのかを判断するのは、監視員の熟練が必要となり容易ではない。

【0007】

更に、監視員が異常発生場所に向かっている警備員や警察に逃走情報を提供する場合においても、警備員や警察に画像を送信することが考えられるが、警備員等が画像を確認できる装備を持っていない場合もあり、電話等の口頭や文字等で確実に逃走情報を伝達する方法が課題となる。

【0008】

そこで、本発明は、飛行ロボットによって、賊の逃走を判定するとともに、その賊の逃走情報を取得し、迅速に監視センタへ送信できる監視システムの実現を目的とする。

【0009】

更に、本発明は、逃走情報を監視員が容易に他に伝達できる監視システムの実現を目的とする。

【課題を解決するための手段】

【0010】

かかる目的を達成するために本発明は、監視領域内が異常状態である場合に監視領域から逃走する移動体に関する逃走情報を監視センタに送信する監視システムであって、監視領域内にて異常が発生した後に監視領域内に存在する移動体を追跡する追跡部と、追跡中の移動体を撮影する撮影部と、移動体が監視領域から出たか否かを判定する逃走判定部と、逃走判定部にて移動体が監視領域から出たと判定すると、判定した前後の所定時間分の画像から逃走情報を生成する逃走情報生成部と、逃走情報を監視センタに送信する送信部を有する監視システムを提供する。このとき、逃走情報生成部が前記所定時間分の画像を逃走情報とすることが好適である。

【0011】

これにより、本発明は、異常が発生している監視領域から逃走した人物や自動車などの逃走情報を監視センタに送信するので、監視センタにて逃走した事実とそのときの様子を容易に確認できる。

【0012】

更に、画像から移動体の特徴を認識し、当該認識結果をテキストデータにする画像処理部を有し、逃走情報生成部は当該テキストデータを逃走情報に含めることが好適である。

【0013】

これにより、画像だけでなく、移動体の特徴をテキストデータにて受信できるので、画像を表示する装備を持たない相手であっても、テキストデータを用いて逃走情報を的確に伝達することが容易になる。

【0014】

また、画像処理部が、逃走判定部にて移動体が監視領域から出たと判定したときの前後の画像から当該移動体が逃走した方向を判定し、当該方向を認識結果としてテキストデータにすることが好適である。また、画像処理部が、移動体を撮影した画像から人物を抽出し、当該人物の人数を認識結果としてテキストデータにすることが好適である。

【0015】

また、画像処理部が、逃走判定部にて前記移動体が監視領域から出たと判定したときの前後の画像から前記移動体が自動車か人物かを判定し、当該判定結果を認識結果としてテキストデータにすることが好適である。
また、画像処理部が、移動体を撮影した画像から自動車を抽出し、当該自動車のナンバープレート、車種、車色等の特徴情報を認識し、当該特徴情報を認識結果としてテキストデータにすることが好適である。

【0016】

また、撮影部が、追跡部が求める前記移動体の現在位置に移動して当該移動体を撮影する飛行ロボットであることが好適である。飛行ロボットであれば、人物や自動車の特徴を画像処理部での処理に適した画像を撮影することが可能になる。

【発明の効果】

【0017】

本発明によれば、監視領域から逃走する賊に関する逃走情報を迅速に監視センタへ送信することができる。

【図面の簡単な説明】

【0018】

【図1】飛行ロボットの飛行イメージを説明する図

【図2】レーザセンサの検知エリアを示す図

【図3】監視システムの全体構成図

【図4】警備装置の機能ブロック図

【図5】ロボ制御モジュールの機能ブロック図

【図6】飛行ロボットの機能ブロック図

【図7】移動体検出時の警備装置の処理フロー

【図8】画像処理モジュールの機能ブロック図

【図9】画像処理モジュールにおけるナンバープレート抽出の説明図

【図10】画像処理モジュールにおける車種判定の説明図

【図11】画像処理モジュールにおける車色判定の説明図

【図12】人数計測の説明図

【図13】トラッキング（逃走方向）の説明図

【発明を実施するための形態】

【0019】

以下、本発明にかかる監視システムの実施の形態について説明する。図１を参照して、監視システム１の概略動作イメージを説明する。図１（a）は、警備セットモード中に、自動車７にて乗りつけて賊が建屋Bに侵入したときに、飛行ロボット３が飛行を始めた様子を示している。このように、監視システムで１は、監視領域Ｅでの異常発生を警備装置２が検知すると、監視センタへの異常通報とともに、飛行ロボット３を起動する。そして、飛行ロボット３が侵入した自動車７の撮影した画像を順次、監視センタへ送信する。
図１（ｂ）は、賊が建屋Bから出てきて、自動車７に乗り込み逃走する様子を示している。賊は建屋Bから出たことをレーザセンサ４にて検知し、賊の駐車場内での移動を追跡する。飛行ロボット３は、レーザセンサ４の追跡中の賊を目指して飛行し、賊を追跡しつつ撮影する。賊は、逃走のために自動車７に乗車し、監視領域Eから逃走する。この際、飛行ロボット３は自動車７を追跡しつつ撮影を続け、撮影した画像から自動車情報、逃走方向を認識してテキストデータを生成し、逃走時の前後の画像とともに逃走情報をとして監視センタに送信する。なお、追跡中、警備装置２は、飛行ロボット３が撮影した画像を常に監視センタへ送信している。

【0020】

図３は、監視システム１の全体構成を模式的に示した図である。監視システム１は、監視領域Eに設置される警備装置２、飛行ロボット３、レーザセンサ４、建物内センサ５と、ネットワークを介して接続される監視センタ内に設置されたセンタ装置６から構成されている。センタ装置６は、警備装置２とIP網にて接続され、警備装置２から飛行ロボット３の撮影した画像や建物内センサ５の検知信号などを受信し、モニタに表示する。なお、監視員は、このモニタを視て監視領域Eの状況を把握し、適切な対応を実行する。また、ネットワークをIP網として説明しているが、一般公衆回線網、携帯電話網など画像の送受信に支障がなければこれに限るものではない。

【0021】

飛行ロボット３は、警備装置２からの無線による飛行制御信号を受信して、所定の目標位置まで撮影しながら飛行し、撮影した画像を警備装置２に送信する。図６は、飛行ロボット３の機能ブロックを示した図である。
飛行ロボット３は、警備装置２との無線通信を行うためのアンテナ３１、上昇／下降／方向転換／前進などの飛行するための４つのロータ３２、ロータ３２に駆動力を提供するモータ等からなるロータ駆動部３３、鉛直下方にレーザーを投受光して飛行ロボット３の現在高度を計測する高度センサ３４、水平方向かつ周囲にレーザーを投受光して飛行ロボット３の周辺状況を計測する測距センサ３５、飛行ロボット３の前方をカラー画像にて撮影するカメラ３６、周囲が暗いときに点灯しカメラ３６での撮影を補助するLED照明である照明３７、飛行ロボット３の全体を制御するロボ制御部３８、飛行ロボット３の各部に電力を供給するリチウムポリマー電池である電源３９から構成されている。

【0022】

また、ロボ制御部３８は、アンテナ３１を介して警備装置２との無線通信を制御する通信制御手段３８１、カメラ３６の撮影開始／終了やカメラ３６が撮影した画像を取得して通信制御手段３８１から警備装置２へ送信するなどの処理をするカメラ制御手段３８２、測距センサ３５および高度センサ３４が測定した高度情報および周辺物体と自機との距離データをスキャンデータとして通信制御手段３８１から警備装置２へ送信するなどの処理をするスキャン手段３８３、警備装置２からの飛行制御信号に基づいてロータ駆動部３３を制御して飛行ロボット３を目標位置に飛行するように制御する飛行制御手段３８４から構成されている。

【0023】

次に、図１、図４、図５を参照して、警備装置２について詳細に説明する。図１に示す監視領域Eの建屋Bの内部に警備装置２は設置されている。警備装置２は、建屋B内への侵入者を検知するための適宜の場所に設置された建物内センサ５、監視領域E内であって駐車場等の建屋Bの外を検知領域とするレーザセンサ４とそれぞれ接続されている。
図４は、警備装置２の機能ブロックを示す図である。警備装置２は、監視領域Eを監視センタが監視する警備セット状態と監視センタで監視しない警備解除状態との切替操作を行う警備モード切替部２１と、レーザセンサ４や建物内センサ５などの各種センサからの信号の入力を受けるセンサインタフェース２２、飛行ロボット３との通信を行う飛行ロボット通信部２５、飛行ロボット３が撮影した画像、各種センサが検知した異常信号などについて、センタ装置６とネットワークを介して通信を行う監視センタ通信部２６、警備装置２の処理に必要なプログラムや各種のデータ、パラメータなどを記憶しているROM/RAMなどの周辺部品にて構成される記憶部２４、および警備装置２の全体を統括制御するCPU,MPUなどから成る警備制御部２３から構成されている。

【0024】

ここで、記憶部２４に記憶されている情報について説明する。監視空間マップ２４１は、監視領域Eを３次元にて表現した情報であって、地面から飛行ロボット３の飛行に必要な程度の高さまでの監視空間を表現したマップ情報である。本実施の形態では、監視領域Eと外部を仕切る塀の存在、建屋B、レーザセンサ４の設置位置などの予め監視空間内に存在している物体の情報が記憶されている。なお、監視空間マップ２４１には、建屋B内部の３次元情報も入っており、例えば扉や窓のように人が出入り可能な場所が登録されている。

【0025】

建物内センサ配置情報２４２は、各建物内センサ５の監視場所の監視空間マップ２４１における位置情報である。これは、予め警備計画によって決められており、建物内センサ５ごとに監視空間マップ２４１上の位置が対応付けられている。

【0026】

レーザセンサパラメータ２４３は、レーザセンサ４の監視空間マップ２４１における位置、レーザセンサ４の検知領域における位置と監視空間マップ２４１上の位置との対応関係を含む情報であり、レーザセンサ４にて物体検知した位置を監視空間マップ２４１上の位置に変換するためのパラメータである。

【0027】

なお、各種パラメータ２４４は、そのほかに警備装置２が監視領域Eを監視するために必要なセンタ装置６のIPアドレスや飛行ロボット３との通信のためのデータなど種々のパラメータである。記憶部２４には、これら以外に警備装置２の機能を実現するための各種プログラムが記憶されている。

【0028】

次に、警備制御部２３について詳細に説明する。なお、警備制御部２３は、記憶部２４には図示していないソフトウェアモジュールを読み出して、CPU等にて各処理を行うものである。

【0029】

移動体追跡モジュール２３１は、センサインタフェース２２から入力されるレーザセンサ４の信号を解析処理するソフトウェアである。具体的には、レーザセンサ４がレーザー光にて検知エリアを走査した結果である探査信号を時系列に解析する。検知エリアに新たな進入物体等がなければ、時系列に入力されるレーザセンサ４の探査信号はあまり変化しないので、移動体なしとの解析結果となる。他方、検知エリアに新たな進入物体等があれば、レーザセンサ４の探査信号に変化が生じ、変化が出た検知エリアでの位置を解析して求める。更に、記憶部２４のレーザセンサパラメータ２４３を用いて、監視空間マップ２４１上の位置に変換し、進入物体の位置・大きさ・移動方向を算出し、進入物体を監視空間マップ２４１上で追跡する。また、進入物体が停止すると、その後の信号の変化がなくなるので、追跡していた自動車や人物が、停止または立ち止まったと判定することができる。更に、追跡中の進入物体が監視領域Ｅから外部へ出たことも検出する。外部へ出たこと、すなわち逃走を検出すると、逃走情報生成モジュール２３５に対し、逃走検出を通知する。
また、移動体追跡モジュール２３１の解析結果は、後述する異常判定モジュール２３２、ロボ制御モジュール２３３、画像処理モジュール２３４、逃走情報生成モジュール２３５に出力される。

【0030】

異常判定モジュール２３２は、警備モード切替部２１からの警備セット／解除信号、建物内センサ５、レーザセンサ４からの信号を受信し、監視領域Eに異常が発生したか否かを判定する。異常判定モジュール２３２は、警備モード切替部２１から警備セット信号を受信すると監視領域Eを警戒する警備セットモードとし、警備解除信号を受信すると監視領域Eを警戒していない警備解除モードに設定する。そして、警備解除モードでは、建物内センサ５やレーザセンサ４からの検知信号を受信しても、特段の処理は行わない。他方、警備セットモードでは、建物内センサ５やレーザセンサ４からの検知信号を受信すると異常発生と判定し、監視センタ通信部２６からセンタ装置６に異常通報する。異常通報とともに、ロボ制御モジュール２３３に対して飛行ロボット３の起動制御を実行する。そして、飛行ロボット通信部２５から受信した飛行ロボット３が撮影した画像を監視センタ通信部２６からセンタ装置６に送信する処理を異常状態の解除がされるまで継続する。また、後述する逃走情報生成モジュール２３５が逃走情報を生成すると、逃走情報をセンタ装置６に送信する。なお、異常状態の解除方法は種々存在するが、本発明との関連性が低いので説明は省略する。

【0031】

ロボ制御モジュール２３３は、異常判定モジュール２３２にて飛行ロボット３の起動信号を受けると、飛行ロボット通信部２５から飛行ロボット３の飛行制御を行う。

【0032】

ここで、図５を参照してロボ制御モジュール２３３を詳細に説明する。図５は、ロボ制御モジュール２３３の機能ブロック図である。ロボ制御モジュール２３３は、飛行ロボット３が到達するべき目標位置を決める目標位置設定手段イと、目標位置設定手段イが設定した目標位置に到達するための飛行経路を算出する飛行経路算出手段ロと、飛行経路算出手段ロが算出した飛行経路にて飛行するように飛行ロボット３へ飛行制御信号を生成して送信するロボ制御手段ハと、飛行ロボット３の監視空間マップ２４１上における現在の飛行位置を算出する飛行位置算出手段ニから構成されている。

【0033】

目標位置設定手段イは、移動体追跡モジュール２３１が算出した進入物体である自動車または人物の監視空間マップ２４１上の位置を上方５ｍ程度の高度から撮影できる位置を目標位置とする。なお、ここで、５ｍ程度というのは、カメラ３６の解像度や画角などの諸性能によって変わるが、飛行ロボット３が自動車や人物の全体を撮影可能な程度の高さである。なお、自動車のナンバープレートを撮影する際は、カメラ３６の俯角にもよるが２ｍ程度の高度とし、自動車の後方から撮影できる位置を目標位置とする。

【0034】

図４に戻って、画像処理モジュール２３４は、飛行ロボット通信部２５から受信した飛行ロボット３が撮影した画像を処理する。

【0035】

ここで、図８を参照して画像処理モジュール２３４を詳細に説明する。図８は、画像処理モジュール２３４の機能ブロックを示している。画像処理モジュール２３４は、飛行ロボット３が撮影した画像を順次時系列的に取得し、処理用の画像を記憶部２４に保存する画像保存手段ホと、移動体追跡モジュール２３１から逃走検出の通知を受けると、記憶部２４から逃走検知したときの前後の所定数分の画像を取得する画像取得手段ヘと、画像取得手段ヘが取得した画像から自動車または人物を抽出する移動体抽出手段トと、移動体が自動車である場合にナンバープレート、車種、車色を認識する自動車情報認識手段チと、移動体が人物である場合にその人数を計測する人数計測手段リと、移動体を画像上で追跡して逃走方向を判定するトラッキング手段ヌと、自動車情報認識手段チ・人数計測手段リ・トラッキング手段ヌの認識・計測・判定した結果を人間が理解できる自然言語のテキストデータに変換するテキストデータ生成手段ルから構成されている。ここで、逃走を検知したときの前後の所定数は、監視領域Ｅの広さや各種の認識処理に必要な数などの状況に応じて予め設定されている。

【0036】

移動体抽出手段トは、画像から人物及び／または自動車が写っている領域を抽出する。すなわち、記憶部２４の各種パラメータ２４４に予め記憶している人物テンプレート及び自動車テンプレートを用いて、画像を走査する。そして、マッチングがとれた領域に人物または自動車が存在するとし、人物か自動車を区別して領域を抽出する。

【0037】

自動車情報認識手段チは、移動体抽出手段トが自動車として抽出した画像から自動車のナンバープレート情報、自動車の車種、および自動車の車色を認識する。ここで、ナンバープレート情報、車種、車色の順でその抽出方法について説明する。

【0038】

自動車情報認識手段チが行う自動車のナンバープレートを撮影した画像からナンバーを読み取る処理について、図９を参照して説明する。画像I１は、飛行ロボット３が撮影した画像から移動体抽出手段トが自動車の領域を抽出した画像であって、自動車の背面の画像である。自動車情報認識手段チは、画像I１から自動車の中央部分且つ下方に位置し、エッジで囲まれたという特徴を持つ領域であるナンバープレート画像I２を抽出する。ここで、ナンバープレート画像が抽出できない場合は、入力された画像にナンバープレートが写っていないと判断する。ナンバープレート画像が抽出されると、そのナンバープレート画像I２から自動車を特定するためのナンバー情報を認識する。すなわち、ナンバープレートに表示されている文字は、位置や文字の種類（数字や漢字など）、配置について様式が定められているので、それに従い文字認識技術を用いて各文字を抽出する。例えば大きな数字（一連指定番号）の左にはひらがな（用途記号）、左上方には漢字（陸運支局名）、右上方には小さな数字（分類番号）が並んでいる。その位置情報を利用し、各文字をナンバープレートの画像から切り出して、周知の文字認識技術によりナンバープレートの画像からナンバー情報を認識する。そして、認識したナンバー情報をテキストデータ生成手段ルがテキスト化する。図９の例では、「練馬、５００、お、１２３４」というテキストデータとして抽出している。

【0039】

自動車情報認識手段チが行う自動車の車種を撮影した画像から判定する処理について、図１０を参照して説明する。画像I３は、飛行ロボット３が撮影した画像から移動体抽出手段トが自動車の領域を抽出した画像であって、自動車の左側面の画像である。なお、自動車の車種を形状から判定するため、左側と右側のどちら側の画像を用いても同じことである。まず、記憶部２４の各種パラメータ２４４の一つである「車種シルエット」が記憶されている。例えば図１０に示すように、セダン、ミニバン、トラックといった３種類の自動車のシルエットである。
自動車情報認識手段チは、画像I３を取得すると、自動車のタイヤ・車体・窓などの自動車の特徴情報を用いたセグメンテーション法により、画像中から自動車部分の領域を抽出する。図１０では、点線で示した領域を自動車のシルエットとして抽出している。そして、抽出したシルエットと車種シルエットとを比較し、その尤度が高い車種を画像I３に写っている自動車の車種とする。図１０では、「セダン」との尤度が最も高いので、「セダン」との判定となる。そして、判定結果である「セダン」をテキストデータ生成手段ルがテキスト化する。
本実施の形態では、予め記憶している「車種シルエット」との尤度を求めて判定したが、これに変えて車種ごとに学習した複数の学習識別器に画像I３を入力し、直接車種を判定するなど、他の方法を採用してもよい。なお、画像I３から自動車部分の抽出ができない場合は、飛行ロボット３の撮影した画像では車種の判定が不能となる。

【0040】

自動車情報認識手段チが行う自動車の車色を撮影した画像から判定する処理について、図１１を参照して説明する。画像I４は、飛行ロボット３が撮影した画像から移動体抽出手段トが自動車の領域を抽出した画像であって、自動車のボディのカラー画像である。なお、自動車の車色が左右で異なる可能性を考慮する場合は、左側と右側の両方の画像を用いることとなる。自動車情報認識手段チは、画像I４を取得すると、自動車のタイヤ・車体・窓などの自動車の特徴情報を用いたセグメンテーション法により、画像中から自動車のボディ領域を図１１の（ｂ）のように抽出する。

【0041】

更に、抽出した自動車部分の領域からタイヤ・窓を除いたボディ領域を図１１の（ｃ）のように抽出してボディ領域を更に複数のブロックに分割する。

【0042】

この分割した領域の画像ごとに、カラー情報（ＲＧＢ値）を調べて当該部分の色を特定する。ここで、色の特定は、図１１（ｄ）に記載しているように、カラー情報（RGBの輝度割合）と色との対応表から定める。
即ち、分割した領域に含まれる各画素についてＲＧＢ値を調べて、その分割領域全体の画素について集計し、ＲＧＢ値それぞれの平均輝度を求める。求めたＲＧＢ値の平均輝度の組合せを図１１（ｄ）に記載する対応表を参照し、最も近い組合せをその分割した領域の色と特定する。
例えば、ある分割領域のＲＧＢ値の平均輝度の組合せが（２２０，３０、６０）であった場合、その分割領域の色は赤色と特定する。同様に、他の分割領域のＲＧＢ値の平均輝度の組合せが（１１０，１１０，１１０）であった場合には、各成分が均等の明るさであるので、その分割領域の色は灰色と特定する。 そして、分割領域ごとに定まった色に基づいて、車色を特定する。そのために、各部分領域ごとに特定された色を集計して、ボディ領域について最も多い色を車体全体の色として決定する。例えば、全て分割領域が紺色であれば、「単一紺色」が車色と判断される。また、分割領域の上側が赤色で、下側が黒色であれば、「赤黒のツートンカラー」を車色とする。そして、判定結果である「赤黒のツートンカラー」をテキストデータ生成手段ルがテキスト化する。

【0043】

次に、人数計測手段リは、移動体抽出手段トが人物として抽出した領域の数を計数する。図１２では、点線で囲われている領域が人物として抽出されているので、「１」と計数される。そして、計数結果である「１」をテキストデータ生成手段ルがテキスト化する。

【0044】

トラッキング手段ヌは、自動車および／または人物を画像上で追跡して逃走方向を判定する手段である。先ず、移動体抽出手段トが自動車領域を最初に抽出すると、当該自動車領域の画像から色分布や形状、監視空間マップ２４１上の位置などのテンプレートを付与する。そして、次に取得されたフレーム画像にて抽出された自動車領域のテンプレートとの尤度を計算する。この尤度が所定以上である自動車領域を次フレーム画像における当該自動車の画像であるとし、テンプレートを更新する。これを順次繰り返すことにより、同一の自動車をトラッキングすることが可能となる。また、トラッキング手段ヌは、各自動車領域の重心位置を求め、かかる重心位置の移動軌跡から自動車の移動方向を決定する。なお、トラッキング処理は、次のフレーム画像にて、テンプレートと対応つく自動車領域または人物領域がなくなると当該自動車または人物のトラッキング処理を終了する。

【0045】

ここで、図１３を参照して、トラッキング処理について詳細に説明する。図１３は、飛行ロボット３が撮影した記憶部２４に保持されている時系列に並べたフレーム画像の例を示している。記憶部２４に保持されるフレーム画像は、一定時間経過すると順次古いものから消去される。同図において、ｔ_０時点のフレーム画像は、移動体抽出手段トが自動車７の写っている領域を最初に抽出したときの自動車領域（点線にて囲まれた領域）を示すフレーム画像である。その後、自動車７がトラッキングされて、監視領域Eから自動車７が逃走する様子を時刻ｔ_ｎ、ｔ_ｎ＋１、ｔ_ｎ＋２、ｔ_ｎ＋３で撮影されたフレーム画像である。

【0046】

自動車７は、時刻ｔ_ｎ＋１に監視領域Eから逃走を図っている。この逃走した時点であるｔ_ｎ＋１は、移動体追跡モジュール２３１にて自動車７の追跡結果から検出する。本実施の形態では、移動体追跡モジュール２３１にてｔ_ｎ＋１を求めているが、画像処理モジュール２３４にて画像から自動車７が監視領域Eを出たときを検出するようにしてもよい。かかる時刻ｔ_ｎ＋１の前後のフレーム画像、ここでは、ｔ_ｎ〜ｔ_ｎ＋３を用いて、トラッキング手段ヌが自動車７の移動軌跡から求めた移動方向、すなわち、「ゲートを出て左方向」を逃走方向とする。
更に、トラッキング手段ヌは、求めた「ゲートを出て左方向」を監視空間マップ２４１における方角を示す「西方向」に変換する。そして、トラッキング手段ヌが求めた逃走方向である「西方向」をテキストデータ生成手段ルがテキスト化する。
なお、テキストデータ生成手段ルは、自動車情報認識手段チ、人数計測手段リ、およびトラッキング手段ヌの各認識結果を画像処理の対象とした画像と撮影時刻に対応付けてテキストデータを認識結果として記憶部２４に順次記憶させている。

【0047】

次に、図４に戻って、逃走情報生成モジュール２３５について説明する。逃走情報生成モジュール２３５は、移動体追跡モジュール２３１にて自動車または人物が監視領域Eから出たことを検出すると、記憶部２４に記憶しているその前後所定時間分の画像を逃走情報として、監視センタ通信部２６からセンタ装置６に送信する。ここで、前後の所定時間は、監視領域Ｅの広さを考慮して、適宜定められる時間である。ここで、「逃走情報として」とは、各フレーム画像の属性として逃走情報フラグをＯＮ状態にすればセンタ装置６にて他の画像と区別して再生できるようにしたことをいう。このような方法に限らず、一連のシーンを含む画像ファイルに逃走情報という名前を付けるなど、センタ装置６にて他の画像と区別して再生できるようにすれば如何なる方法を採用してもよい。
また、逃走情報生成モジュール２３５は、画像処理モジュール２３４が生成したテキストデータになっている自動車情報、人数、逃走方向を記憶部２４から読み出して、移動体追跡モジュール２３１にて特定した自動車または人物が監視領域Eから出た前後所定時間分の画像とともに、センタ装置６に逃走情報として送信する。かかるテキストデータである逃走情報は、センタ装置６のように画像を確認できる装備を持たない人物に対して、逃走情報の伝達が容易となる。なお、移動体追跡モジュール２３１にて自動車または人物が監視領域Eから出た前後所定時間分の画像を省略し、テキストデータである逃走情報のみを送信するようにしてもよい。

【0048】

図３に戻って、レーザセンサ４は、屋外に設置されて、監視領域Eの駐車場や建屋Bの周囲への進入を監視している。図２は、レーザセンサ４の検知エリアを示した図である。同図に示すように、レーザセンサ４−１が監視領域Eの左上から建屋B方向を検知エリアとして設置され、レーザセンサ４−２が監視領域Eの右下から建屋B方向の裏手を検知エリアとするように設置されている。

【0049】

レーザセンサ４は、予め設定された検知エリアを走査するように、放射状にレーザー光である探査信号を送信し、検知エリア内の物体に反射して戻ってきた探査信号を受信する。そして、送信と受信の時間差から物体までの距離を算出し、その探査信号を送信した方向と算出した距離を求める。

【0050】

そしてレーザセンサ４は、所定周期で検知エリアを走査した走査単位の結果を警備装置２に送信する。これにより、警備装置２の移動体追跡モジュール２３１にて、監視領域Eにおける屋外での物体配置状況や進入物体の有無、自動車の追跡などが可能となる。本実施の形態では、地上を走行する自動車の進入監視を目的としているため、水平方向に１段での走査としているが、監視目的によっては、鉛直方向にも複数段の走査をするようにしてもよい。

【0051】

建物内センサ５（５a〜５ｆ）は、図１に示すように、建屋B内の各所に適宜に設置されている。例えば、窓や扉には、窓や扉の開閉を検出するマグネットセンサ、ガラス窓にガラス破壊センサ、部屋の内部に人体検出する赤外線センサ、画像にて侵入者などを検出する画像センサなど適宜の場所に設置されている。なお、建物内センサ５ごとに、監視空間マップ２４１上の検知箇所と対応付けて警備装置２に建物内センサ配置情報２４２として記憶されている。

【0052】

警備装置２による飛行ロボット３の制御のための処理について、図７を参照して説明する。先ず、警備セット中に自動車７が監視領域Eに進入してくると、レーザセンサ４の信号に基づき、警備装置２にて異常を検出する。そして、警備装置２は、異常の発生に伴ってセンタ装置６に異常通報するとともに、飛行ロボット３の制御を開始する。
警備装置２の異常判定モジュール２３２にて自動車７を検出して異常発生と判定すると、ロボ制御モジュール２３３の目標位置設定手段イは、移動体追跡モジュール２３１が解析した自動車７の重心位置である現在位置から３．５ｍ離れ、高度５ｍの位置を監視空間マップ２４１上の位置として目標位置に設定する（Ｓ７１）。

【0053】

そして、飛行経路算出手段ロは、ステップＳ７１にて設定された目標位置、飛行ロボット３の現在位置、監視空間マップ２４１を用いてＡ＊経路探索アルゴリズムにより、飛行経路を計算する。Ａ＊経路探索アルゴリズムは、現在位置と目標位置を設定すれば、監視空間マップ２４１の配置状況および飛行ロボット３の大きさ等を考慮して、安全にかつ最短で到着できる経路を算出する（Ｓ７２）。なお、飛行ロボット３は、起動信号を受信するまでは、所定の待機位置に所在しているので、その位置が現在位置となっている。その他のときは、飛行位置算出手段ニが、飛行ロボット３のスキャン手段３８３が取得したスキャンデータを受信し、このスキャンデータが監視空間マップ２４１に合致する場所を算出することにより、飛行ロボット３の現在位置を算出する。なお、本実施の形態では、スキャンデータに基づいて現在位置を算出しているが、これに限らず飛行ロボット３にＧＰＳ信号の受信機能を設けて、ＧＰＳ信号に基づいて現在位置を算出してもよい。

【0054】

次に、移動体追跡モジュール２３１は、レーザセンサ４からの信号に基づいて自動車または人物である移動体の位置を追跡する（Ｓ７３）。そして、追跡の結果、自動車または人物である移動体が移動しているか否かを判定する（Ｓ７４）。ステップＳ７４にて、移動体が移動していないと判定すると（Ｓ７４−いいえ）、ステップＳ７８に進み、ロボ制御モジュール２３３から目標位置への飛行するための飛行制御信号を飛行ロボット３に送信する。

【0055】

他方、ステップＳ７４にて自動車または人物である移動体が移動したと判定すると（Ｓ７４−はい）、さらにステップＳ７４にて自動車７が監視領域Ｅの外に移動したか否か判定する（Ｓ７５）。ここで、監視領域Ｅの外は、レーザセンサ４の検知エリア外なので、レーザセンサ４が追跡してきた移動体が消失したことを意味する。つまり、移動体追跡モジュール２３１が追跡中の自動車または人物である移動体を検出できなくなると監視領域Ｅの外に移動したと判断する。

【0056】

ステップＳ７５にて追跡を継続できる監視領域Ｅ内に自動車または人物である移動体を検出していると（Ｓ７５−いいえ）、自動車または人物である移動体の現在位置に基づき目標位置を変更設定し（Ｓ７６）、ステップＳ７８に進み、ロボ制御モジュール２３３から目標位置への飛行するための飛行制御信号を飛行ロボット３に送信する。

【0057】

他方、ステップＳ７５にて監視領域Ｅ内から自動車または人物である移動体が出ると（Ｓ７５−はい）、自動車または移動体が監視領域Eから出た位置を逃走位置として目標位置に変更設定し（Ｓ７７）、ステップＳ７８に進み、ロボ制御モジュール２３３から目標位置への飛行するための飛行制御信号を飛行ロボット３に送信する。なお、本フローでは記載していないが、自動車または人物である移動体が監視領域Eから出た場合は、10秒程度の間はその場での撮影を継続し、その後に予め指定されている待機場所を目標位置に設定して待機場所に戻ることになる。

【0058】

ステップＳ７８では、ロボ制御手段ハは、飛行ロボット３が飛行経路算出手段ロの算出した経路を飛行できるように、飛行ロボット３の飛行制御信号を算出する。具体的な飛行制御信号は、飛行ロボット３にある４つのロータ３２のそれぞれの回転数である。そして、飛行ロボット通信部２５から無線信号にて飛行制御信号を送信する。

【0059】

飛行ロボット３は、アンテナ３１から飛行制御信号を受信すると、受信した飛行制御信号に基づいて飛行する。具体的には、アンテナ３１から受信した飛行制御信号が飛行制御手段３８４に入力され、ロータ駆動部３３から各ロータ３２の回転数を個別に制御して飛行する。飛行が開始された後は、これらのステップＳ７２〜ステップＳ７８を繰り返し処理して、自動車を追跡しつつ撮影を行う。

【0060】

ここで、図７に示すフローに記載しなかったが、飛行ロボット３が最初に飛行制御信号を受信すると、カメラ制御手段３８２がカメラ３６を起動し、撮影した画像を警備装置２に送信開始する。また、スキャン手段３８３が測距センサ３５、高度センサ３４を起動し、スキャンデータを警備装置２に送信を開始する。

【0061】

以上のように、監視システム１では、監視センタのモニタを監視者が視て、自動車の特徴を画像およびテキストデータで迅速に確認することができる。また、テキストデータなので、電話等でも容易に他者に伝えることができる。

【0062】

本実施の形態では、警備装置２の警備制御部２３にて、飛行ロボット３をコントロールするようにしたが、警備装置２機能の全部または一部を適宜に飛行ロボット３に搭載するようにしてもよい。

【0063】

本実施の形態では、警備装置２にて飛行ロボット３の位置をスキャンデータから算出しているが、GPS信号にて位置を算出するようにしてもよい。

【0064】

本実施の形態では、レーザセンサ４の信号を用いて移動体を追跡したが、飛行ロボット３の測距センサ３５にて移動体を捉えることが可能になった後は、スキャンデータに基づいて移動体の追跡をするようにしてもよい。

【0065】

本実施の形態では、飛行ロボット３にて、移動体を撮影するようにしているが、多数の監視カメラを監視領域Ｅに設置し、移動体追跡モジュール２３１にて監視カメラの撮影場所を制御するようにしてもよい。

【符号の説明】

【0066】

１・・・監視システム
２・・・警備装置（制御部）
３・・・飛行ロボット
４・・・レーザセンサ（物体センサ）
５・・・建物内センサ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】