(58)【調査した分野】(Int.Cl.,DB名)
【発明を実施するための形態】
【0013】
以下に添付図面を参照して、この発明にかかる監視システム、監視装置および監視方法の実施の形態を詳細に説明する。
【0014】
(実施の形態1)
図1は、実施の形態1にかかる監視システムのネットワーク構成および機能的構成を示すブロック図である。
【0015】
本実施の形態にかかる監視システムは、
図1に示すように、検知装置としての空間センサ部100と、撮像装置としての可視カメラ部200と、監視装置300と、監視センタ400とを備えている。空間センサ部100と、可視カメラ部200と、監視装置300とは有線または無線で接続されている。また、監視装置300と監視センタ400はインターネット等のネットワークで接続されている。
【0016】
監視センタ400は、監視装置300から送信された監視領域の画像データを受信し、この画像データを確認することにより、監視領域に異常が発生しているか否かを判断するコンピュータである。
【0017】
空間センサ部100は、監視領域に設置され、監視領域内での物体を検知するセンサモジュールである。可視カメラ部200は、監視領域に設置され、監視領域内を撮像するカメラモジュールである。
【0018】
本実施の形態では、空間センサ部100で監視領域内の物体を検知し、検知した物体が人間であるか否かを判断し、その判断結果を、監視領域における異常判断を支援するためのセンサ情報として可視カメラ部200に送信する。
【0019】
可視カメラ部200は、監視領域を撮像し、撮像することより生成された画像データに、空間センサ部100から受信したセンサ情報を付加して、監視装置300に送信する。
【0020】
監視装置300は、センサ情報が付加された画像データを、ネットワークを介して監視センタ400に送信する。これにより、監視領域の撮像画像である多数の画像データに、異常判断を支援するためのセンサ情報が付加されているので、監視センタ400では、監視員が、センサ情報から、多数の画像データの中から注力して確認すべき画像データであるか否かを判断することができ、全ての画像データの確認は不要となるため、異常検知の原因の特定時間の短縮化を図ることができる。以下、詳細について説明する。
【0021】
空間センサ部100は、
図1に示すように、立体型警戒センサ110と、センサ用バッファ120と、初期侵入検知部130と、検知対象解析部140と、センサ情報送信部150とを主に備えている。
【0022】
立体型警戒センサ110は、監視領域の互いに異なる検知領域において物体を検知した場合に各検知領域に対応して2つの検知信号を出力し、立体的に検知対象を解析できるよう光学設計されている。
【0023】
本実施の形態では、立体型警戒センサ110は、扇状の立体的な検知領域を構成可能な2つの焦電素子111,112を用いている。
図2は、2つの焦電素子111,112の検知領域を示す説明図である。焦電素子111,112は、背景ノイズの影響を緩和するツイン素子構成とし、直列に接続されたそれぞれの極性の素子が、水平方向に隣り合うように配置する。
図2に示すように、2つの焦電素子111,112は、独立した検知領域を有し、具体的には、焦電素子111は上側の検知領域を有し、焦電素子112は下側の検知領域を有する。各焦電素子111、112はそれぞれの検知領域で物体を検知した場合に別個に検知信号(第1検知信号、第2検知信号)を出力する。なお、焦電素子111による上側の検知領域と、焦電素子112による下側の検知領域とで監視領域全体を網羅する。
【0024】
このような2つの焦電素子111,112からなる立体型警戒センサ110を、監視領域である部屋の角部天井等に設置し、通路や窓、扉からの侵入に対して、各検知領域の横切りを検知する。
図3は、物体が移動した場合の検知信号(出力電圧)の波形を示す図である。
図3に示すように、検知信号が変化した場合に監視領域における物体の存在を検知する。
【0025】
センサ用バッファ120は、メモリ等の記憶媒体である。各焦電素子111,112からの検知信号である出力電圧は、一定間隔でサンプリングされ、時系列データとして、センサ用バッファ120に格納される。本実施の形態では、この焦電素子111,112の出力に応じて、初期侵入検知信号、検知対象解析信号、人間移動状態推定信号の3つの信号を生成する。以下、各信号と信号生成の詳細について説明する。
【0026】
図1に戻り、初期侵入検知部130は、早期に物体の侵入らしき行動を検出する。初期侵入検知部130は、初期侵入検知信号生成部131を備えている。初期侵入検知信号生成部131は、2系統の焦電素子111,112それぞれからの二つの検知信号を解析し、2つの検知信号が略同時に所定の第1閾値を超えた場合に、監視領域に人間らしき物体が存在している可能性がある旨を示す初期侵入検知信号を生成する。
【0027】
図4は、監視領域に人間が侵入してきた早期の状態と焦電素子111,112の各検知領域との関係を示す模式図である。また、
図5は、監視領域に人間が侵入してきた早期の状態における焦電素子111,112の出力電圧(検知信号)の波形を示す図である。
【0028】
図4に示すように、監視領域の
扇形の検知領域の
外周(半径)から人間が侵入した
(本実施形態では、領域半径方向への移動とも称す)場合、最左側、もしくは最右側の検知領域を通過して、侵入することとなる。この時、検知領域内における、背景(常温)と人間の表面との間に急激な温度差が生じるため、
図5に示す
ように、焦電素子111,112の出力電圧は比較的高い値で出力されることとなる。
【0029】
この時、2つの焦電素子111,112の出力電圧が同時に出力される場合、人間が各検知領域を同時に通過したと判断することができるため、人間が地上を移動している可能性があるものとして判断することができる。
【0030】
このため、初期侵入検知信号生成部131は、センサ用バッファ120に格納されている2系統の焦電素子111,112の出力電圧が、いずれかの時間において同時に所定の第1閾値を超えた場合に、初期侵入検知信号を生成し、センサ情報送信部150に出力する。
【0031】
しかしながら、一方で、焦電素子111,112付近をネズミのような小動物が通過する場合、各検知領域間の間隔が狭くなり、小動物程度の大きさの熱源であっても各検知領域を同時に通過する可能性があるため、人間が侵入した時と同様、各焦電素子111,112の出力電圧が高い値で出力され、かつ同時に出力されることが考えられる。これは、人間やネズミに限らず、温められたカーテンの揺れなど、検知エリアの温度環境を瞬間的に変化させる要因も当てはまる。
【0032】
従って、この初期侵入検知部130による処理の段階では、人間かそれ以外かを厳密に判断することは困難である。このため、初期侵入検知信号生成部131は、各焦電素子111,112の出力電圧が同時に所定の第1閾値を超えた場合、人間らしき熱源の物体が監視領域に侵入して存在している可能性があることを示す初期侵入検知信号を生成し、検出された物体が実際に人間であるか否かの判断は、検知対象解析部140で行うこととしている。
【0033】
検知対象解析部140は、焦電素子111,112の検知信号の出力電圧の時系列データから、検知された物体の種類や移動方向を推定する検知対象解析信号を生成する。検知対象解析部140は、検知対象解析信号生成部141と、人間移動状態推定信号生成部142とを備えている。
【0034】
検知対象解析信号生成部141は、初期侵入検知信号生成部131により初期侵入検知信号が生成された場合、各焦電素子111,112の出力電圧の最大値、ピーク周波数、各焦電素子111,112の出力の位相差を逐次算出する。
【0035】
そして、検知対象解析信号生成部141は、これらの算出値の時系列推移を判断することにより、検知された物体を解析する。そして、検知対象解析信号生成部141は、焦電素子111,112からの2つの検知信号の出力電圧の最大値、ピーク周波数、各焦電素子111,112の出力の位相差の時系列推移に基づいて、検知された物体の種類と検知された物体の移動方向とを推定し、物体の種類および移動方向を示す検知対象解析信号を生成する。
【0036】
また、検知対象解析信号生成部141は、これらの物体の種類、移動方向を人間移動状態推定信号生成部142とセンサ情報送信部150とに送信する。
【0037】
以下、検知対象解析信号生成部141の詳細について説明する。監視領域の焦電素子111,112の各検知領域内に熱源である物体が侵入し、初期侵入検知信号の生成条件を満たした場合、すなわち初期侵入検知信号が生成された場合、その物体が移動する方向に応じて、各焦電素子111,112からの検知信号は以下のような振る舞いを示す。
【0038】
(1)人間が直線的に立体型警戒センサ110の検知領域を横切る場合で、人間と立体型警戒センサ110との距離が一定の場合
【0039】
図6は、人間が直線的に立体型警戒センサ110の検知領域を横切る場合において、人間と立体型警戒センサ110との距離が一定の場合における焦電素子111,112の各検知領域と人間の移動状態を示す模式図である。
図7は、人間が直線的に立体型警戒センサ110の検知領域を横切る場合において、人間と立体型警戒センサ110との距離が一定の場合における焦電素子111,112の各検知信号の出力電圧の波形を示す図である。
【0040】
図6に示すように、人間が、立体型警戒センサ110(焦電素子111,112)の検知領域に侵入後、立体型警戒センサ110の正面を横切るように移動する場合、立体型警戒センサ110までの距離がほぼ一定となる。従って、初期侵入検知信号の生成条件を満たす場合と同様に、各焦電素子111,112の検知信号の波形は、
図7に示すように、その出力電圧が初期侵入検知信号の生成時と変わらず、各焦電素子111,112の各検知信号が同位相(高相関)で推移する。
【0041】
従って、検知対象解析信号生成部141は、各焦電素子111,112の各検知信号において出力電圧が侵入時(初期侵入検知信号の生成時)と変わらず、かつ同位相(高相関)で推移する状態であると判断した場合、物体の検知は、立体型警戒センサ110との距離を一定とした状態で検知領域を横切る方向への人間の侵入と判断する。そして、この場合に、検知対象解析信号生成部141は、物体の種類が人間、移動方向が検知領域(監視領域)を横切る方向(距離一定)を示す検知対象解析信号を生成する。
【0042】
なお、検知対象解析信号生成部141は、検知信号の出力電圧が変化せず、検知信号のピーク周波数が低周波に推移する場合には、移動速度のみ低下するものと判断する。
【0043】
より具体的には、以下のような判断を行う。前提として、検知対象解析信号生成部141は、初期侵入検知信号の生成時において、センサ用バッファ120に格納されている一定間隔でサンプリングされた焦電素子111,112の検知信号の出力電圧から、以下の項目を抽出する。ここで、焦電素子111,112の定常値を0[V]とする。
【0044】
上側検知領域に対応する焦電素子111の出力電圧から取得する項目
V
a0:センサ用バッファ120内における焦電素子111の出力電圧の最大値
F
a0:センサ用バッファ120内データにおけるピーク周波数
【0045】
下側検知領域に対応する焦電素子112の出力電圧から取得する項目
V
b0:センサ用バッファ120内における焦電素子112の出力電圧の最大値
F
b0:センサ用バッファ120内データにおけるピーク周波数
また、検知対象解析信号生成部141は、処理ごとに、センサ用バッファ120に格納されている一定間隔でサンプリングされた焦電素子111,112の検知信号の出力電圧から、以下の項目を抽出する。ここで、焦電素子111,112の定常値を0[V]とし、nは試行回数を示す。
【0046】
上側検知領域に対応する焦電素子111の出力電圧から取得する項目
V
an:センサ用バッファ120内における焦電素子111の出力電圧の最大値
F
an:センサ用バッファ120内データにおけるピーク周波数
【0047】
下側検知領域に対応する焦電素子112の出力電圧から取得する項目
V
bn:センサ用バッファ120内における焦電素子112の出力電圧の最大値
F
bn:センサ用バッファ120内データにおけるピーク周波数
【0048】
この場合、検知対象解析信号生成部141は、出力電圧が同位相と判断した上で、V
an-1≒V
an、V
bn-1≒V
bnの場合に、出力電圧が初期侵入検知信号の生成時と変わらないと判断し、F
an-1≒F
an、F
bn-1≒F
bnの場合に、各検知信号が同位相(高相関)で推移すると判断し、物体の検知は、立体型警戒センサ110との距離を一定とした状態で検知領域を横切る方向への人間の侵入と判断する。
【0049】
(2)人間が直線的に立体型警戒センサ110の検知領域を横切る場合で、人間と立体型警戒センサ110との距離が近づく場合
【0050】
人間が、立体型警戒センサ110(焦電素子111,112)の検知領域に侵入後、立体型警戒センサ110
の遠方から直近に向かって横切るように移動する場合、立体型警戒センサ110までの距離が近づくこととなるため、各焦電素子111,112の検出信号の出力電圧が初期侵入検知信号生成時と比べて段階的に増加する。また、検知領域を構成する各検知ゾーン間を移動する間隔が短くなるため、検知信号のピーク周波数が高周波へと推移する。また、各焦電素子111,112の検知信号の位相は、各焦電素子111,112に対応する検知領域をほぼ同時に通過するため、同位相(高相関)となる。
【0051】
従って、検知対象解析信号生成部141は、各焦電素子111,112の各検知信号が同位相(高相関)で出力電圧が増加し、かつピーク周波数が高周波に推移すると判断した場合に、人間が立体型警戒センサ110直近に向かって横切るように移動しているものと判断する。そして、この場合に、検知対象解析信号生成部141は、物体の種類が人間、移動方向が、立体型警戒センサ110直近に向かって横切る方向を示す検知対象解析信号を生成する。
【0052】
より具体的には、検知対象解析信号生成部141は、出力電圧が同位相と判断した上で、V
an-1<V
an、V
bn-1<V
bnの場合に、出力電圧が増加すると判断し、F
an-1<F
an、F
bn-1<F
bnの場合に、各検知信号のピーク周波数が高周波に推移すると判断し、人間が立体型警戒センサ110直近に向かって横切るように移動しているものと判断する。
【0053】
(3)人間が立体型警戒センサ110の
扇形の検知領域の、当該立体型警戒センサ110の直近から遠方に向かって横切る方向(検知領域
の円周方向
とも称す)へ移動する場合
【0054】
人間が、立体型警戒センサ110の検知領域に侵入後、検知領域の円周方向に向かって横切るように移動する場合には、各焦電素子111,112の検知信号の出力電圧が初期侵入検知信号生成時と比べて段階的に減少する。また、検知領域を構成する各検知ゾーン間を移動する間隔が長くなるため、検知信号のピーク周波数が高周波から低周波へ推移する。また、各焦電素子111,112の検知信号の位相は、各焦電素子111,112に対応する検知領域をほぼ同時に通過するため、同位相(高相関)となる。
【0055】
従って、検知対象解析信号生成部141は、各焦電素子111,112の各検知信号が同位相(高相関)で出力電圧が減少し、かつピーク周波数が高周波から低周波に推移すると判断した場合に、人間が立体型警戒センサ110の検知領域の円周方向に移動しているものと判断する。そして、この場合に、検知対象解析信号生成部141は、物体の種類が人間、移動方向が検知領域の円周方向を示す検知対象解析信号を生成する。
【0056】
より具体的には、検知対象解析信号生成部141は、出力電圧が同位相と判断した上で、V
an-1>V
an、V
bn-1>V
bnの場合に、出力電圧が減少すると判断し、F
an-1>F
an、F
bn-1>F
bnの場合に、各検知信号のピーク周波数が低周波に推移すると判断し、人間が立体型警戒センサ110の検知領域の円周方向に移動しているものと判断する。
【0057】
(4)人間が立体型警戒センサ110の検知領域に侵入し、検知領域半径方向へ移動する場合
【0058】
図8は、人間が立体型警戒センサ110の検知領域に侵入し、検知領域半径方向へ移動する場合における焦電素子111,112の各検知領域と人間の移動状態を示す模式図である。
図9は、人間が立体型警戒センサ110の検知領域に侵入し、検知領域半径方向へ移動する場合における焦電素子111,112の各検知信号の出力電圧の波形を示す図である。
【0059】
図8に示すように、人間が、立体型警戒センサ110の検知領域に侵入後、検知領域の半径方向に移動する場合、検知領域を構成する各検知ゾーンの中心部の移動を経由することとなる。人間が各検知ゾーンの中心部を移動する場合、焦電素子111,112の各極性に対応する検知ゾーンの中心を移動することになり、焦電素子111,112の内部において正電圧と負電圧が同時に発生するため、2つの検知信号の打ち消し合いが生じ、
図9に示すように、焦電素子111、112の検知信号の出力電圧が定常値(0[V])付近を推移することになる。従って、人間が検知領域の半径方向に移動する場合、各焦電素子111,112の出力電圧が減少することとなる。
【0060】
また、この時の検知信号のピーク周波数は、人間の僅かな姿勢のずれに各焦電素子111,112の検知信号が依存することになるため、
図9に示すように、ピーク周波数が連続的に変化し、かつ各検知信号間の位相が大幅にずれることによって類似性(相関性)が無くなる傾向となる。
【0061】
従って、検知対象解析信号生成部141は、焦電素子111,112の検出信号の出力電圧が初期侵入検知信号生成時より減少し、かつピーク周波数が連続的に変化し、更に各焦電素子111,112の検出信号の相関性が無い場合(同位相でない場合)に、人間が検知領域内を半径方向に移動したものと判断する。そして、この場合に、検知対象解析信号生成部141は、物体の種類が人間、移動方向が検知領域内の半径方向を示す検知対象解析信号を生成する。
【0062】
より具体的には、検知対象解析信号生成部141は、V
a0>V
an、V
b0>V
bnの場合に、出力電圧が初期侵入検知信号生成時より減少すると判断し、ピーク周波数F
an、F
bn更に各焦電素子111,112の検出信号の相関性が無い場合に、各検知信号のピーク周波数が低周波に推移すると判断し、人間が立体型警戒センサ110の検知領域の円周方向に移動しているものと判断する。
【0063】
(5)人間が立体型警戒センサ110の検知領域の円周方向に移動し、その後方向転換をした場合
【0064】
図10は、人間が立体型警戒センサ110の検知領域の円周方向に移動し、その後方向転換をする場合における焦電素子111,112の各検知領域と人間の移動状態を示す模式図である。
図11は、人間が立体型警戒センサ110の検知領域の円周方向に移動し、その後方向転換をする場合における焦電素子111,112の各検知信号の出力電圧の波形を示す図である。
【0065】
図10に示すように、人間が立体型警戒センサ110の検知領域の円周方向に移動し、その後方向転換をする場合には、上記(3)人間が立体型警戒センサ110の検知領域円周方向へ移動する場合と同様に、
図11に示すように、焦電素子111,112の検知信号は、当初、同位相(高相関)で出力電圧が減少し、かつピーク周波数が高周波から低周波に推移するが、方向転換後に、かかる傾向が急激に変化する。
【0066】
従って、検知対象解析信号生成部141は、各焦電素子111,112の各検知信号が同位相(高相関)で出力電圧が減少し、かつピーク周波数が高周波から低周波に推移し、かつ急激にかかる検知信号の状態が変化したと判断した場合に、人間が立体型警戒センサ110の検知領域の円周方向に移動し、その後方向転換したと判断する。そして、この場合に、検知対象解析信号生成部141は、物体の種類が人間、移動方向が検知領域の円周方向から方向転換を示す検知対象解析信号を生成する。
【0067】
(6)人間以外の物体が侵入、発生した場合
【0068】
(6−1)立体型警戒センサ110の近傍を小動物が通過した場合
【0069】
図12は、立体型警戒センサ110の近傍を小動物が通過した場合における焦電素子111,112の各検知領域と小動物の移動状態を示す模式図である。
図13は、立体型警戒センサ110の近傍を小動物が通過した場合における焦電素子111,112の各検知信号の出力電圧の波形を示す図である。
【0070】
図12に示すように、立体型警戒センサ110の近傍を通過する小動物は、立体型警戒センサ110から見た見かけ上のサイズが大きいため、
図13に示すように、各焦電素子111,112の検知信号の出力電圧は高い状態が推移することとなる。また、検知対象である物体と検知領域の重なりが、地上を移動する人間と比べてより連続的に変化するため、
図13に示すように、2つの検知信号の周波数や位相差もこれに応じて連続的に変化する。
【0071】
従って、検知対象解析信号生成部141は、各焦電素子111,112の各検知信号の出力電圧が所定レベルより高く(例えば、人間の場合の出力電圧より高く)、かつ各焦電素子111,112の検知信号に相関性が無い場合、小動物が移動したものと判断する。そして、この場合には、検知対象解析信号生成部141は、物体の種類が小動物を示す検知対象解析信号を生成する。
【0073】
図14は、検知領域内でカーテンが揺れた場合における焦電素子111,112の各検知領域を示す模式図である。
図15は、検知領域内でカーテンが揺れた場合における焦電素子111,112の各検知信号の出力電圧の波形を示す図である。
【0074】
図14に示すように、窓際等に設置されたカーテンが、風によって揺らぐ場合、風によるランダムな揺れが生じるため、
図15に示すように、焦電素子111,112の検知信号の周波数が連続的に変化し、各焦電素子111,112の検知信号の位相も連続的に変化する。
【0075】
従って、検知対象解析信号生成部141は、各焦電素子111,112の各検知信号の出力電圧が所定レベルより高いレベル(例えば、人間の場合の出力電圧より高いレベル)で連続的に推移し、かつ周波数が連続的に変化し、かつ各焦電素子111,112の検知信号の相関性も同様に連続的な変化をした場合に、カーテンが揺れているものと判断する。そして、この場合には、検知対象解析信号生成部141は、物体の種類がカーテンを示す検知対象解析信号を生成する。
【0076】
なお、人間の移動には個人差があり、人間以外の物体の移動も同様に様々な状況が想定される。そこで、これらの影響を吸収する手法として、学習データに基づくパターン認識を導入し、パターン認識により検知対象解析を行うように検知対象解析信号生成部141を構成してもよい。これにより、予め取得した学習データに基づき、確率的に検知対象を推定することで、各熱源の個体差(個人差)を緩和した推定システムを構築することができる。なお、これにより、算出された個々の状態における計算結果(推定確率)から、複数の検知対象を推定することも可能となる。
【0077】
図1に戻り、人間移動状態推定信号生成部142は、検知対象解析信号において物体の種類が人間である場合に、人間である可能性を段階的に示す人間推定度をカウントアップすることにより人間推定度を算出し、この人間推定度を検出期間ごとに累積する。そして、人間移動状態推定信号生成部142は、累積した人間推定度が所定の第2閾値を超えた場合に、人間の存在の旨とその移動方向を推定した人間移動状態推定信号を生成し、センサ情報送信部150に出力する。
【0078】
センサ情報送信部150は、上記初期侵入検知信号と検知対象解析信号と人間移動状態推定信号を、可視カメラ部200および監視装置300の通信部301へそれぞれ送信する。
【0079】
次に、可視カメラ部200の詳細について説明する。可視カメラ部200は、
図1に示すように、可視カメラ201と、画像バッファ203と、センサ情報付加部205とを備えている。
【0080】
可視カメラ201は、監視領域内を撮像し、画像データを生成する。画像バッファ203は、メモリ等の記憶媒体に設けられ、可視カメラ201により撮像することにより生成された画像データを一定時間バッファリングして記憶する。なお、バッファリング間隔は、センサ情報付加部205からの要求に応じて変更される。
【0081】
センサ情報付加部205は、空間カメラ部100のセンサ情報送信部150から取得したセンサ情報に基づいて、画像バッファ203に格納されている画像データの取得、および画像データの送信間隔の変更を行う。
【0082】
また、センサ情報付加部205は、センサ情報送信部150からセンサ情報として初期侵入検知信号を受信した場合、画像バッファ203に格納してある画像データを取得し、最新の画像データに初期侵入検知信号を付加し、初期侵入検知信号が付加された画像データを、監視装置300の通信部301へ送信する。
【0083】
即ち、センサ情報付加部205は、初期侵入検知信号を受信した場合、初期侵入検知信号の受信前の画像データに遡って一連の画像データを取得し、初期侵入検知信号の受信時の画像データにセンサ情報を付加して、通信部301へ送信する。
【0084】
これらの処理が終了すると、以後、画像バッファ203では、バッファリングせずにセンサ情報付加部205へリアルタイムに画像データを送信するよう、センサ情報付加部205より画像バッファ203へ要求する。
【0085】
また、センサ情報付加部205は、画像バッファ203から送信されるリアルタイムな画像データを、通信部301へ送信する。この時、センサ情報付加部205は、センサ情報送信部150から検知対象解析信号を受信した場合、該当する画像データに検知対象解析信号を付加して、通信部301へ送信する。
【0086】
また、センサ情報付加部205は、センサ情報送信部150から人間移動状態推定信号を受信した場合、画像バッファ203から送信されるリアルタイムな画像データに、人間移動状態推定信号を付加して、通信部301へ送信する。この人間移動状態推定信号が付加された画像データおよび直近の画像データに、人間の移動と思われる場所が表されていることとなる。
【0087】
なお、センサ情報付加部205は、センサ情報送信部150から人間移動状態推定信号を受信した場合、もしくは焦電素子111,112の各検知信号の出力電圧が定常状態となった場合、もしくは初期侵入検知信号を生成後一定時間が経過した場合、画像バッファ203のリアルタイム画像送信を停止し、バッファリングを行うように画像バッファ203に要求する。
【0088】
監視装置300は、
図1に示すように、通信部301を備えている。通信部301は、可視カメラ部200のセンサ情報付加部205から受信した、センサ情報が付加された画像データを受信し、これを、ネットワークを介して監視センタ400に送信する。
【0089】
図16は、人間が移動状態の場合の検知信号と画像データとの関係を示す説明図である。
図16に示すように、人間推定度が第2閾値を超え、人間移動状態推定信号が画像データに付加されている場合には、人間移動状態推定信号が付加されたフレームの直近の複数フレームの画像データにおいて、人間の移動と思われる場所を表示していると考えられるため、監視センタ内の監視員が、画像データの送信範囲の中から、かかる範囲の画像データを優先確認対象として注力して確認すればよい。
【0090】
次に、以上のように構成された本実施の形態の監視システムによる監視処理について説明する。まず、空間センサ部100の立体型警戒センサ110および初期侵入検知信号生成部131による初期侵入検知処理について説明する。
図17は、初期侵入検知処理の手順を示すフローチャートである。
【0091】
まず、センサ用バッファ120では、焦電素子111,112からの2つの検知信号の出力電圧を取得して(ステップS11)、バッファリングする(ステップS13)。
【0092】
次に、センサ用バッファ120から2つの検知信号を取得して、その出力電圧の判定を行う(ステップS15)。そして、2つの検知信号の出力電圧が同時に第1閾値を超えた場合には(ステップS15:第1閾値より大)、初期侵入検知信号生成部131は、初期侵入検知信号を生成する(ステップS17)。
【0093】
生成された初期侵入検知信号は、初期侵入検知信号生成部131によりセンサ情報送信部150へ送出される。また、初期侵入検知信号が生成された旨が検知対象解析部140の検知対象解析信号生成部141に送出される。
【0094】
一方、ステップS15において、2つの検知信号の出力電圧が同時に第1閾値を超えていない場合、すなわちいずれかの検知信号が第1閾値以下である場合には(ステップS15:第1閾値以下)、ステップS11へ戻る。
【0095】
次に、検知対象解析部140による検知対象解析処理について説明する。
図18は、検知対象解析処理の手順を示すフローチャートである。なお、検知対象解析部140の検知対象解析信号生成部141が初期侵入検知信号生成部131から初期侵入検知信号の生成の通知を受けた場合に、以下の処理が実行される。
【0096】
検知対象解析信号生成部141は、センサ用バッファ120にバッファリングされている焦電素子111,112からの2つの検知信号の出力電圧の最大値を取得する(ステップS35)。
【0097】
そして、検知対象解析信号生成部141は、2つの検知信号の周波数を算出し、各検知信号のピーク周波数を抽出する(ステップS37)。さらに、検知対象解析信号生成部141は、2つの検知信号の出力電圧間の位相差を抽出する(ステップS39)。
【0098】
次に、検知対象解析信号生成部141は、上記2つの検知信号の出力電圧の最大値、ピーク周波数、位相差から、上述した手法により、検知対象解析信号を生成する(ステップS41)。生成された検知対象解析信号は、検知対象解析信号生成部141によりセンサ情報送信部150へ送出される。
【0099】
そして、人間移動状態推定部142は、生成された検知対象解析信号の物体の種類が人間である場合に、人間推定度をカウントアップする(ステップS42)。
【0100】
そして、人間移動状態推定部142は、人間推定度が第2閾値を超えたか否かを判定する(ステップS43)。そして、人間推定度が第2閾値を超えた場合には(ステップS43:Yes)、人間移動状態推定部142は、人間移動状態推定信号を生成する(ステップS49)。生成された人間移動状態推定信号は、人間移動状態推定部142によりセンサ情報送信部150へ送出される。
【0101】
ステップS43において、人間推定度が第2閾値以下である場合には(ステップS43:No)、人間移動状態推定部142は定常状態か否かを判定し(ステップS45)、定常状態である場合には(ステップS45:定常状態)、タイマー監視を行う(ステップS47)。タイマー監視により設定時間以上経過している場合には(ステップS47:設定時間以上)、人間でない旨の人間移動状態推定信号を生成する(ステップS49)。
【0102】
ステップS45で非定常状態である場合(ステップS45:非定常状態)、またはステップS47で設定時間以内である場合には(ステップS47:設定時間以内)、ステップS35に戻り、ステップS35からS47までの処理を繰り返す。
【0103】
以上のように生成された、初期侵入検知信号、検知対象解析信号、人間移動状態推定信号は、可視カメラ部200のセンサ情報付加部205で受信される。まず、可視カメラ部200による初期侵入検知信号の付加処理について説明する。
【0104】
図19は、初期侵入検知信号の付加処理の手順を示すフローチャートである。まず、可視カメラ201は監視領域を撮像し、撮像した画像データを取得し(ステップS61)、この画像データを画像バッファ203にバッファリングする(ステップS63)。
【0105】
次に、センサ情報付加部205は、空間センサ部100から初期侵入検知信号を受信したか否かを判断し(ステップS65)、受信していない場合には(ステップS65:未受信)、ステップS61からS63までの処理を繰り返す。
【0106】
センサ情報付加部205は、空間センサ部100から初期侵入検知信号を受信した場合には(ステップS65:受信)、画像バッファ203にバッファリングされている画像データを取得し(すなわち、初期侵入検知信号の受信前の画像データに遡って一連の画像データを取得し)、画像データに初期侵入検知信号を付加する(ステップS67)。そして、センサ情報付加部205は、初期侵入検知信号が付加された画像データを監視装置300の通信部301へ送信する(ステップS69)。そして、センサ情報付加部205は、画像バッファ203への画像データのバッファリングを停止する(ステップS71)。すなわち、これ以降、画像バッファ203では、バッファリングせずにセンサ情報付加部205へリアルタイムに画像データを送信する。
【0107】
次に、センサ情報付加部205による検知対象解析結果(検知対象解析信号、人間移動状態推定信号)の付加処理について説明する。
図20は、検知対象解析結果の付加処理の手順を示すフローチャートである。
【0108】
センサ情報付加部205は、画像バッファ203から画像データを取得する(ステップS91)。次に、センサ対象付加部205は、空間センサ部100から検知対象解析信号を受信したか否かを判定する(ステップS93)。そして、検知対象解析信号を受信した場合には(ステップS93:受信)、センサ対象付加部205は、取得した画像データに検知対象解析信号を付加する(ステップS95)。一方、検知対象解析信号を受信していない場合には(ステップS93:未受信)、ステップS95の処理は行われない。
【0109】
次に、センサ情報付加部205は、空間センサ部100から人間移動状態推定信号を受信したか否かを判定する(ステップS99)。そして、人間移動状態推定信号を受信していない場合には(ステップS99:未受信)、画像データを監視装置300の通信部301に送信し(ステップ97)、ステップS91からS95までの処理を繰り返す。これにより、リアルタイム画像データが(検知対象解析信号が付加されている場合には当該信号とともに)送信されることになる。
【0110】
一方、人間移動状態推定信号を受信した場合には(ステップS99:受信)、センサ情報付加部205は、ステップS91にて取得した画像データに人間移動状態推定信号を付加して(ステップS101)、監視装置300の通信部301に送信する(ステップS103)。この人間移動状態信号が付加された画像データおよび直近の画像データが、人間の移動と思われる場所を表示していることになる。なお、センサ情報付加部205は、人間移動状態推定信号を受信した場合、画像バッファ203のリアルタイム画像データの送信を停止し、バッファリングを行うように画像バッファ203へ要求する。
【0111】
このように本実施の形態では、画像データに、初期侵入検知信号が生成された場合に、検知対象解析信号、人間移動状態推定信号を付加して監視センタに送信しているので、別途、トラッキング機能を設けずに、画像データに検知対象解析信号、人間移動状態推定信号等の人間の侵入情報を付加することが可能となる。
【0112】
また、本実施の形態では、画像データに人間移動状態推定信号を付加しているので、監視員が優先的に確認する画像を自動的に選択することが可能となり、センサ情報によるシーン検索の自動化を実現することができる。特に、この場合には、監視員がすべての画像データを何も情報がない状態で確認する場合と比較して、確認すべき画像データが優先的に表示されるため、監視領域である現場の確認の判断までの時間を短縮化することが可能となる。
【0113】
また、本実施の形態では、検知対象解析信号を生成する過程において、人間の移動方向や人間以外の物体(熱源)を推定することが可能なため、監視領域である現場の確認前に、機械警備隊員に詳細な情報を提供することが可能となる。
【0114】
以上のように、本実施の形態によれば、遠隔地の監視領域における異常検知の原因の特定時間の短縮化を図るとともに、装置の製造コストを低減することができる。
【0115】
(実施の形態2)
実施の形態1では、空間センサ部100というセンサモジュールで、初期侵入検知信号、検知対象解析信号、人間移動状態推定信号を生成し、可視カメラ部200でこれらの信号を画像データに付加していたが、この実施の形態2は、監視装置において、初期侵入検知信号、検知対象解析信号、人間移動状態推定信号を生成し、これらの信号を画像データに付加する。
【0116】
図21は、実施の形態2にかかる監視システムのネットワーク構成および機能的構成を示すブロック図である。
【0117】
本実施の形態にかかる監視システムは、
図21に示すように、立体型警戒センサ110と可視カメラ201とが有線または無線で接続された監視装置2500と、監視センタ400とがインターネット等のネットワークで接続されている。ここで、立体型警戒センサ110、可視カメラ201、監視センタ400の機能、構成は実施の形態1と同様である。
【0118】
本実施の形態の監視装置2500は、
図21に示すように、センサ用バッファ120と、初期侵入検知部130と、検知対象解析部140と、画像バッファ203と、センサ情報付加部205と、通信部301とを備えている。各部の機能および構成は、実施の形態1と同様である。
【0119】
従って、本実施の形態では、監視装置2500は、立体型警戒センサ110からの2つの検知信号から、初期侵入検知信号を生成し、初期侵入検知信号が生成された場合に、検知対象解析信号、人間移動状態推定信号を生成し、各信号を、可視カメラ201で撮像した画像データに付加して、監視センタ400に送信する。初期侵入検知信号、検知対象解析信号、人間移動状態推定信号の生成処理、これら各信号の画像データへの付加処理については実施の形態1と同様である。
【0120】
このように本実施の形態では、実施の形態1と同様の効果を奏する。
【0121】
なお、上記実施の形態では、立体型警戒センサ110として2つの焦電素子111,112を用いる形態を例にあげて説明したが、監視領域内で異なる検知領域を有し、立体的に物体の検知を行うセンサであれば、焦電素子111,112以外の任意のセンサを用いることができる。
【0122】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。