特許 5893400 画像監視装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5893400

(24)【登録日】2016年3月4日

(45)【発行日】2016年3月23日

(54)【発明の名称】画像監視装置

(51)【国際特許分類】

   G08B 13/194 20060101AFI20160310BHJP

   G06T 7/20 20060101ALI20160310BHJP

【ＦＩ】

   G08B13/194

   G06T7/20 A

【請求項の数】5

【全頁数】18

(21)【出願番号】特願2011-288964(P2011-288964)

(22)【出願日】2011年12月28日

(65)【公開番号】特開2013-137701(P2013-137701A)

(43)【公開日】2013年7月11日

【審査請求日】2014年12月4日

(73)【特許権者】

【識別番号】000108085

【氏名又は名称】セコム株式会社

(74)【代理人】

【識別番号】100067323

【弁理士】

【氏名又は名称】西村 教光

(74)【代理人】

【識別番号】100124268

【弁理士】

【氏名又は名称】鈴木 典行

(72)【発明者】

【氏名】王 雪冰

(72)【発明者】

【氏名】濱石 佳孝

【審査官】 白川 瑞樹

(56)【参考文献】

【文献】 特開平０８−２４９４７１（ＪＰ，Ａ）

【文献】 特開２００５−３４７９０５（ＪＰ，Ａ）

【文献】 特開２００６−１０７４５７（ＪＰ，Ａ）

【文献】 特開２０１０−２７８９６３（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ１／００−１／４０

３／００−９／４０

Ｇ０８Ｂ１３／００−１５／０２

２３／００−３１／００

Ｈ０４Ｎ７／１８

(57)【特許請求の範囲】

【請求項1】

監視空間を撮像した熱画像を順次取得する撮像部と、前記熱画像から変化した変化領域を抽出するとともに、目標移動物体と想定される大きさ内に含まれる１又は複数の変化領域からなる統合変化領域を抽出する抽出部と、前記統合変化領域を時間的に追跡する追跡部と、前記統合変化領域を包含する大きさの判定領域を求め当該判定領域の特徴量を算出する特徴量算出部と、前記特徴量に基づいて前記判定領域における前記目標移動物体の有無を判定する判定部を有する画像監視装置であって、
前記特徴量算出部は、近接する第一時刻と第二時刻に取得した２枚の前記熱画像ごとに、前記判定領域の面積に対する前記統合変化領域の面積の割合を面積占有率として求め、当該２つの面積占有率の変化割合を面積占有変化率として算出する面積占有変化率算出手段を有し、
前記判定部は、前記面積占有変化率が第一の閾値以上であれば当該判定領域を目標移動物体ではなく外乱とすることを特徴とした画像監視装置。

【請求項2】

前記特徴量算出部は、前記第一時刻における第一統合変化領域と前記第二時刻における第二統合変化領域の前記熱画像上の位置が重複している度合いである重複度を算出する重複度算出手段を更に有し、
前記判定部は、前記重複度が予め定めた第二の閾値以上であるときのみ外乱とする請求項１に記載の画像監視装置。

【請求項3】

前記判定部は、前記第一統合変化領域の重心位置と前記第二統合変化領域の重心位置までの距離が小さくなるほど前記第一の閾値が小さくなるように該第一の閾値を変更する第１閾値変更手段を更に有する請求項２に記載の画像監視装置。

【請求項4】

前記判定部は、前記重複度の大きさが小さくなるほど前記第一の閾値が大きくなるように該第一の閾値を変更する第２閾値変更手段を更に有する請求項２又は請求項３に記載の画像監視装置。

【請求項5】

前記特徴量算出部は、前記統合変化領域に外接する領域を前記判定領域とする請求項１〜請求項４の何れか一項に記載の画像監視装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、監視空間を撮影した熱画像を順次取得し、この順次取得した熱画像を画像処理して監視空間における目標移動物体の有無を判定する画像監視装置に関する。

【背景技術】

【0002】

従来、撮像装置としてのカメラから入力される画像と過去の画像との変化態様から侵入者等の移動物体の特徴を示す領域を検出し、当該領域が目標移動物体（例えば侵入者）であるか否かを判定する画像監視装置が知られている。

【0003】

この種の画像監視装置としては、例えば、特許文献１に開示されているように、撮像装置としての監視カメラが現在撮影した入力画像と予め記憶している背景画像などの過去の画像とを比較し、両画像の差分を変化領域として抽出し、この抽出した変化領域の大きさや移動速度などの特徴量と、予め記憶した目標移動物体の特徴量とを比較することにより、目標移動物体が監視領域に存在するか否かを判断している。

【0004】

ところで、監視領域を撮影した赤外線などの熱画像を用いた画像監視装置では、熱画像中に発生した温度変化領域の特徴を利用し、予め定めた人体サイズに近い温度変化領域が移動したときに、監視領域内に侵入者ありとみなして発報する仕組みを採用することが多い。具体的には、図９（ａ）に示すように、監視領域を撮影した熱画像の温度変化領域の外接矩形について透視変換から推定されたサイズが人体サイズに近く、かつ前後フレーム間の熱画像における温度変化領域の重心位置の移動量（すなわち移動速度）が所定値以上のときに、監視領域内に侵入者ありとみなして発報している。なお、前後フレーム間の熱画像における温度変化領域の重心位置の移動量だけではなく、出現位置からの移動量を併用することで、出現位置から所定距離以上の移動があった場合に発報させる仕組みを採用することもある。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開平０５−２８４５０１号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかしながら、この種の熱画像を用いた従来の画像監視装置では、侵入者以外に、様々な要因で監視領域内の温度変化が起きるため、それらの温度変化と侵入者による温度変化とを区別する必要がある。侵入者以外で熱画像に変化を引き起こす要因の一例としては、監視領域内に存在し、温度変化をする物（発熱源、冷却源など）がある。

【0007】

そして、従来の熱画像を用いた画像監視装置では、上記のような温度変化をする物として、例えばエアコンなどの発熱源が監視領域内に外乱要因として存在すると、発熱源自体や発熱源付近の物体の温度変化領域の形状変化を物体の移動と誤認識し、その結果、侵入者として誤検知する恐れがあった。さらに説明すると、発熱源自体や発熱源付近の物体の温度は、それらの物体の表面全体において常に均一に変化するとは限らず、むしろ通常は不均一に変化する。そのため、熱画像から抽出される発熱源やその付近の温度変化領域の形状は、それらの物体の形状が安定的に抽出されるのではなく、不安定な形状となって抽出されやすい。その結果、従来の熱画像を用いた画像監視装置では、熱画像から抽出される発熱源自体や発熱源付近の物体の温度変化領域が不規則に変化することにより、変化領域の重心位置が変化して物体が移動したと誤認識し、侵入者として誤検出するという問題があった。

【0008】

このような誤検出する場合の一例として、不安定な形状となる抽出として過去の変化領域の近傍に複数の変化領域が新たに現れ、それらがラベル統合処理されることによって誤検出につながる例について説明する。一般的に、熱画像を用いた画像監視装置では、あるフレームの熱画像で抽出された温度変化領域（すなわちラベル領域）が、人物サイズを想定した所定の画像領域内に複数個所存在するとき、侵入者による温度変化領域が分離して抽出されている状況を考慮して、同一の侵入者による温度変化領域であるとみなし、同一のラベルとして統合するラベル統合処理を行う。図９（ｂ）は、エアコンが、監視領域内に含まれていた場合におけるラベル統合処理によって生じた誤検出を説明する図である。図９（ｂ）では、現在フレーム（ｎ＋１フレーム）の熱画像ではエアコンの吹出口と近くの壁とに２個のラベル２０が抽出されている。この抽出された２個のラベル２０は同一の移動物体によるラベルとみなされてラベル統合処理された結果、当該ラベルの重心位置が前フレーム（ｎフレーム）のラベル２０の重心位置から移動したと認識されている。

【0009】

このように、温度変化する静止物体及びその付近の物体の温度変化は不均一であるため、それらの物体の形状が不安定な形状（この例では、複数個のラベル）となって抽出されやすい。そのため、これらの複数個のラベルについてラベル統合処理を行った場合には、誤って重心位置の移動が検出されることがある。また、前フレームでは同一ラベルだった複数の温度変化領域が別々のラベルに分かれることによっても、誤って重心位置の移動として検出されることもある。さらに、上記のような複数ラベルの統合や分離の例の他にも、単一ラベルの形状が不安定に変化することによっても、誤って重心位置の移動として検出されることもある。したがって、実際には物体が移動しているわけではないにも関わらず、人が移動したように誤認識され、侵入者として誤検出される場合があった。

【0010】

そこで、本発明は上記問題点に鑑みてなされたものであり、温度変化する物体特有の温度変動の性質を効果的に捉えることにより、人体等の比較的温度変化が少ない移動物体と区別し、誤検出を低減することができる画像監視装置を提供することを目的とするものである。

【課題を解決するための手段】

【0011】

上記した目的を達成するために、本願請求項１に係る画像監視装置は、監視空間を撮像した熱画像を順次取得する撮像部と、前記熱画像から変化した変化領域を抽出するとともに、目標移動物体と想定される大きさ内に含まれる１又は複数の変化領域からなる統合変化領域を抽出する抽出部と、前記統合変化領域を時間的に追跡する追跡部と、前記統合変化領域を包含する大きさの判定領域を求め当該判定領域の特徴量を算出する特徴量算出部と、前記特徴量に基づいて前記判定領域における前記目標移動物体の有無を判定する判定部を有する画像監視装置であって、
前記特徴量算出部は、近接する第一時刻と第二時刻に取得した２枚の前記熱画像ごとに、前記判定領域の面積に対する前記統合変化領域の面積の割合を面積占有率として求め、当該２つの面積占有率の変化割合を面積占有変化率として算出する面積占有変化率算出手段を有し、
前記判定部は、前記面積占有変化率が第一の閾値以上であれば当該判定領域を目標移動物体ではなく外乱とすることを特徴としている。

【0012】

かかる構成により、本発明の抽出部は、背景差分等により変化領域を抽出し、ラベル統合処理等によって統合された一又は複数の変化領域である統合変化領域を抽出する。そして、面積占有変化率算出手段は、例えば、現在のフレームの統合変化領域の面積が、判定領域（例えば、この統合変化領域を包含して外接する外接矩形）の面積に占める割合である面積占有率を算出する。また、面積占有変化率算出手段は、前フレームにおける面積占有率も算出する。そして、これら前後フレーム間の面積占有率の変化率を示す面積占有変化率を算出する。すなわち、面積占有変化率は、温度変化する物による温度変化領域の形状が不安定に変化するといった性質を有することに着目したパラメータであり、温度変化する物による温度変化領域らしさを表す値となる。そして、本発明の判定部は、抽出部が抽出する熱画像上の判定領域の特徴量（例えば、大きさと移動量）に基づいて当該変化領域が目標移動物体であると判定したとしても、面積占有変化率算出手段にて算出した面積占有変化率が予め定めた第一の閾値以上であるときは、当該判定領域に含まれる統合変化領域は、目標移動物体ではなく、物体の温度変化に起因する外乱であると判定する。このように、たとえ判定領域の特徴量から当該判定領域に含まれる統合変化領域が目標移動物体であると判定できる場合であったとしても、温度変化する物に起因する外乱らしさを表す面積占有変化率を利用することで、物体の温度変化に起因する外乱であることを精度良く判定できるため、当該外乱による誤検出を低減できる。

【0013】

本願請求項２に係る画像監視装置は、請求項１の画像監視装置において、
前記特徴量算出部は、前記第一時刻における第一統合変化領域と前記第二時刻における第二統合変化領域の前記熱画像上の位置が重複している度合いである重複度を算出する重複度算出手段を更に有し、
前記判定部は、前記重複度が予め定めた第二の閾値以上であるときのみ外乱とすることを特徴としている。

【0014】

かかる構成により、本発明の重複度算出手段は、例えば、熱画像上の注目する変化領域において、追跡部にて同一物体とみなされた現在フレームの統合変化領域と前フレームの統合変化領域との熱画像上における重複度合いを示す重複度を算出する。重複度は、温度変化する静止物体による温度変化領域が、前後フレーム間において移動せずに略重なって抽出され易いといった性質を有することに着目したパラメータであり、温度変化する静止物体による温度変化領域らしさを表す値である。そして、本発明の判定部は、抽出部が抽出する熱画像上の判定領域の特徴量に基づいて当該判定領域に含まれる統合変化領域が目標移動物体であると判定したとしても、面積占有変化率算出手段にて算出した面積占有変化率が予め定めた第一の閾値以上であり、且つ、重複度算出手段にて算出した重複度が予め定めた第二の閾値以上であるときは、当該判定領域に含まれる統合変化領域は、目標移動物体ではなく、静止物体の温度変化に起因する外乱であると判定する。このように、たとえ判定領域の特徴量から当該判定領域に含まれる統合変化領域が目標移動物体であると判定できる場合であったとしても、静止物体の温度変化に起因する外乱らしさを表す重複度と面積占有変化率とを利用することで、静止物体の温度変化に起因する外乱であることを精度良く判定できるため、当該外乱による誤検出を低減できる。

【0015】

本願請求項３に係る画像監視装置は、請求項２の画像監視装置において、
前記判定部は、前記第一統合変化領域の重心位置と前記第二統合変化領域の重心位置までの距離が小さくなるほど前記第一の閾値が小さくなるように該第一の閾値を変更する第１閾値変更手段を更に有することを特徴としている。

【0016】

かかる構成により、本発明の判定部は、第一統合変化領域の重心位置から第二統合変化領域の重心位置までに至る距離である重心移動量の大きさが小さくなるほど第一の閾値が小さくなるように第一の閾値を変更している。例えば、現在フレームにおいて前フレームの統合変化領域近傍に面積の小さな変化領域が新たに生じ、これらがラベル統合された場合、前後フレーム間における統合変化領域の重心移動量は小さな値となる。この場合、現在フレームにおける面積占有率と前フレームにおける面積占有率との差異が一般的に小さくなり、結果として面積占有変化率は小さな値となり、外乱として判定せずに、誤検出となりやすくなってしまう。そこで、このような重心移動量が小さい場合は、第一の閾値を小さめに調整することにより、外乱の判定精度を高めることができる。

【0017】

本願請求項４に係る画像監視装置は、請求項２又は３の画像監視装置において、
前記判定部は、前記重複度の大きさが小さくなるほど前記第一の閾値が大きくなるように該第一の閾値を変更する第２閾値変更手段を更に有することを特徴としている。

【0018】

かかる構成により、本発明の判定部は、例えば、前フレームの統合変化領域と現在フレームの統合変化領域との重複度の大きさが小さくなるほど、第一の閾値が大きくなるよう調整し、当該調整した第一の閾値を用いて外乱の判定をしている。例えば、重複度が第二の閾値以上であって静止物体の温度変化による外乱とみなすための条件を満たしていた場合であっても、その重複度が比較的小さめであったような場合、判定領域に含まれる統合変化領域は外乱ではなく、ゆっくりと移動している目標移動物体であるといった疑い（可能性）も一方で残っていることを意味している。そこで、重複度が第二の閾値以上でありながらもその値が比較的小さめであった場合は、第一の閾値を大きめに調節することにより、このような判定領域に対してより厳格に外乱であるか否かを判定して、外乱の判定精度を高めることができる。

【0019】

本願請求項５に係る画像監視装置は、請求項１〜請求項４の何れかの画像監視装置において、
前記特徴量算出部は、前記統合変化領域に外接する領域を前記判定領域とすることを特徴としている。

【0020】

一般的に、判定領域の大きさが大きくなる程、面積占有変化率に明確な差異が現れづらくなる。したがって、上記の構成のように、判定領域の大きさを、統合変化領域を含む最小の領域である「外接する大きさの領域（例えば、統合変化領域の外接矩形）」とすることにより、面積占有変化率算出手段は、面積占有変化率を最も明確な差異が現れるよう算出することができ、温度変化する物による温度変化領域（外乱）らしさを、最も精度よく判定することができる。

【発明の効果】

【0021】

本発明に係る画像監視装置によれば、目標移動物体と温度変化する物とを区別し、外乱による誤検出を低減することができる。

【図面の簡単な説明】

【0022】

【図1】本発明に係る画像監視装置の全体構成を示すブロック構成図である。

【図2】本発明に係る画像監視装置に用いられる重複度の説明図である。

【図3】本発明に係る画像監視装置に用いられる面積占有変化率の説明図である。

【図4】本発明に係る画像監視装置の第１閾値変更手段の処理例を示す図である。

【図5】本発明に係る画像監視装置の第２閾値変更手段の処理例を示す図である。

【図6】本発明に係る画像監視装置による全体動作の処理手順を示すフローチャートである。

【図7】図６の特徴量算出処理の具体的処理内容を示すフローチャートである。

【図8】図６の侵入者判定処理の具体的処理内容を示すフローチャートである。

【図9】（ａ）従来の画像監視装置による侵入者判定処理の概要を示す説明図である。 （ｂ）従来の画像監視装置による誤報の一例を示す説明図である。

【発明を実施するための形態】

【0023】

以下、本発明を監視空間における侵入者を検出する画像監視装置に適用した実施形態について、添付した図面を参照しながら詳細に説明する。

【0024】

（画像監視装置の全体構成について）
本発明に係る画像監視装置は、監視空間を撮像した熱画像を順次取得し、この順次取得した熱画像を画像処理して監視空間における目標移動物体である人物の有無を判定するものである。

【0025】

特に、本実施形態は、エアコンやストーブ等の温度変化する物に起因する温度変化領域の形状は、温度変化の少ない人体などの温度変化領域の形状と比較して不安定に変化するという性質を利用した条件（条件１）を用いて、監視空間を撮像した熱画像から抽出される変化領域が温度変化をする外乱か否かを判定する機能を含む画像監視装置を提供するものである。さらに、前記条件１に加えて、エアコン等の静止物体自体の温度変化領域は移動せずに略重なって抽出され易いという性質を利用した条件（条件２）を用いることによって、監視空間を撮像した熱画像から抽出される変化領域が当該静止物体の温度変化に起因する外乱か否かをより精度良く判定する機能を含む画像監視装置を提供するものである。なお、条件２については、エアコン等の温度変化する静止物体自体の特徴を表した性質であるため、必須の条件としなくても良い。

【0026】

図１に示すように、本例の画像監視装置１は、上述した機能を実現するべく、撮像部２、記憶部３、画像処理部４、出力部５を含んで概略構成される。

【0027】

撮像部２は、例えば所定画素（例えば３２０×３２０画素）の赤外線検出素子を有し、監視領域から放射される赤外線をレンズやミラーなどの光学系により集光して検出し、検出した赤外線量に応じた監視領域の温度分布を監視画像（以下、熱画像、画像とも言う）として画像処理部４に出力している。撮像部２は、天井や壁に設置され上から斜め下方の空間を撮像している。その際、１フレームの監視画像を所定の時間間隔で取得して画像処理部４に出力する。

【0028】

また、撮像部２は、その設置位置や撮像方向を示す外部パラメータと、焦点距離、画角、レンズ歪み、その他のレンズ特性や撮像素子の画素数を示す内部パラメータとを撮像パラメータとして含む。この撮像パラメータは、実際に計測を行うなどして得ることができ、予め記憶部３に記憶される。

【0029】

そして、この撮像パラメータを用いれば、監視画像中の画素位置を撮像部２の撮像面における座標（撮像面座標）と実空間における座標（実座標）との間で座標変換することが可能となる。本実施例では、この撮像パラメータを用いた（１）撮像面座標から実座標への変換及び（２）実座標から撮像面座標への変換の両変換を透視変換と総称している。

【0030】

記憶部３は、画像監視装置１に関する設定情報（例えば装置の設置高、俯角など）、画像処理部４の各種処理に使用される情報を記憶している。画像監視装置１に関する設定情報としては、上述した撮像部２の設置環境を含む撮像パラメータが含まれる。また、画像処理部４の各種処理に使用される情報としては、例えばフレーム毎の画像データ、画像データから変化領域を抽出するための基準画像の他、本実施例の処理に用いられる計算式や閾値、基準値等の各種パラメータが含まれる。

【0031】

画像処理部４は、ＣＰＵ等を備えたコンピュータで構成され、撮像部２からデジタル化された画像の入力を受け、後述する図６〜図８に示す一連の処理として、抽出処理、ラベリング処理、ラベル統合処理、ノイズ除去処理、トラッキング（物体候補の追跡）処理、特徴量算出処理、侵入者判定処理を実行するべく、抽出部４ａ、追跡部４ｂ、特徴量算出部４ｃ、判定部４ｄを含んでいる。

【0032】

抽出部４ａは、撮像部２で取得された熱画像の中から変化のある領域を変化領域として抽出する抽出処理を行っている。本実施例では、例えば予め過去の熱画像を基準画像として記憶部３に保存しておき、今回取得した熱画像と基準画像との差分が所定の閾値以上の領域を温度変化があると判定し、この温度変化がある領域を変化領域として抽出する。この際、基準画像として監視空間の背景の熱画像や、過去に取得した熱画像を適宜選択して採用することができる。また、抽出部４ａは、抽出した変化領域に対し、ラベリング処理によってラベル付けを行っている。さらに、抽出部４ａにおけるラベリング処理では、画像上の位置に基づく人物の想定サイズを求め、当該想定サイズの範囲内にある複数の変化領域を一体の物体からなる変化領域とみなし、単一ラベルに統合するラベル統合処理を行っている。以下では、ラベリング処理によってラベルが付与された変化領域（ラベル統合処理によって統合された一又は複数の変化領域を含む）を「ラベル領域」という。なお、本発明における統合変化領域は、本実施例におけるラベル領域（統合されたラベル領域も含む）に対応する。また、抽出部４ａは、個々のラベル領域に対し、ノイズ抽出であるか否かを判定し、ノイズ抽出と判定された場合に除去するノイズ除去処理を行っている。なお、本実施例では現在取得した熱画像における予め記憶した基準画像からの差分から変化領域を抽出しているが、これに限らず、画素値の時間変化をディジタルフィルタなどの周波数解析を行うことによって変化領域を抽出する方法を用いても良い。また、上記のラベル統合処理やノイズ除去処理を省略することもできる。

【0033】

追跡部４ｂは、抽出部４ａが抽出した変化領域を時間的に追跡するもので、抽出部４ａによるラベリング処理で求まったラベル領域（変化領域）に対し、前回取得した画像の追跡ラベル領域との対応付けをするトラッキング処理を行っている。

【0034】

なお、追跡ラベル領域とは、これまでに取得した画像において、同一の追跡物体によるラベル領域が常に同じラベルになるように、抽出部４ａによるラベリング処理でのラベルと異なるユニークなラベル（以下、追跡ラベルという）を付与し直したラベル領域のことを指す。

【0035】

特徴量算出部４ｃは、後述する特徴量算出処理（図７）として、新規の追跡ラベルか否かの判定処理を含め、追跡ラベル領域の外接矩形座標計算処理、透視変換処理、追跡ラベル領域の移動量計算処理、人らしさ算出処理、重複度算出処理、面積占有変化率算出処理を実行し、追跡部４ｂにて求めた追跡ラベル領域を包含する判定領域についての、侵入者や外乱を判定するための特徴量を算出している。

【0036】

なお、特徴量算出処理の詳細については追って説明するが、この処理によって算出される特徴量には、画像上における変化領域の大きさから透視変換によって推定される追跡ラベル領域の実空間での大きさ（推定幅・推定高さ）、フレーム間の追跡ラベル領域の重心の移動量、面積占有率、重複度、前後フレームにおける追跡ラベルの面積占有変化率などが含まれる。

【0037】

また、特徴量算出部４ｃは、図１に示すように、移動量算出手段１１、重複度算出手段１２、面積占有変化率算出手段１３を含む構成である。

【0038】

移動量算出手段１１は、注目する追跡ラベル領域について前後フレーム間の重心移動量を算出している。具体的には、図７の追跡ラベル領域の移動量計算処理として、例えば、前フレームの追跡ラベル領域の重心座標と現在フレームの追跡ラベル領域の重心座標からフレーム間の重心の移動距離を求め、この重心の移動距離の値を変化領域の移動量として計算している。

【0039】

重複度算出手段１２は、現在フレームの追跡ラベル領域と前フレームの追跡ラベル領域との重複度合いを示す重複度を算出している。その算出方法について図２を用いて説明する。図２の符号２１は、現在フレーム（ｎ＋１フレーム）と前フレーム（ｎフレーム）の熱画像から抽出部４ａにて抽出処理された後の抽出画像であり、また、符号２０は各フレームにおいて抽出領域の追跡ラベルである。なお、点線で表した領域内の一又は複数のラベル２０は、抽出部４ａにて同一の物体からなる変化領域としてラベル統合されていることを意味していることとする。また、符号２２は、現在フレームと前フレームの抽出画像２１を重ね合わせたものであり、図中の塗り潰し箇所は、各フレーム間の追跡ラベル領域の重複部分である。

【0040】

まず、図２に示すように、重複度算出手段１２は、追跡処理で求めた前フレームの追跡ラベル領域の面積をＳ１、現在フレームの追跡ラベル領域の面積をＳ２、前フレームの追跡ラベル領域と現在フレームの追跡ラベル領域の重複部分の面積をＳ３としたとき、これら面積Ｓ１，Ｓ２，Ｓ３を計算する。そして、重複度算出手段１２は、算出した面積Ｓ１，Ｓ２，Ｓ３から重複度Ｒｏ＝ＭＡＸ（Ｓ３／Ｓ１，Ｓ３／Ｓ２）を算出する。

【0041】

面積占有変化率算出手段１３は、現在フレームと前フレームのフレーム間による追跡ラベル領域の面積占有変化率を算出している。その算出方法について図３を用いて説明する。図３においても、図２と同様に、前フレームと現在フレームに係る熱画像から抽出部４ａにて抽出処理された後の抽出画像２１をそれぞれ表している。ここで、符号２３は、各フレームにおける追跡ラベル領域の外接矩形である。

【0042】

まず、面積占有変化率算出手段１３は、前フレームの外接矩形面積Ｓ１’と、現在フレームの外接矩形面積Ｓ２’とを計算する。次に、面積占有変化率算出手段１３は、これまでの計算によって求めた前フレームの追跡ラベル領域面積Ｓ１、現在フレームの追跡ラベル領域面積Ｓ２、前フレームの追跡ラベル領域の外接矩形面積Ｓ１’、現在フレームの追跡ラベル領域の外接矩形面積Ｓ２’を用いて、前フレームの追跡ラベル領域の面積占有率Ｘ１＝Ｓ１／Ｓ１’と、現在フレームの追跡ラベル領域の面積占有率Ｘ２＝Ｓ２／Ｓ２’とを算出する。そして、面積占有変化率算出手段１３は、上記計算によって求めた前フレームの面積占有率Ｘ１と現在フレームの面積占有率Ｘ２とを用い、面積占有変化率Ｒｓ＝ＭＡＸ（Ｘ１／Ｘ２，Ｘ２／Ｘ１）を算出する。

【0043】

なお、本実施例では、本発明における判定領域を、ラベル領域を包含して外接している矩形（外接矩形）として計算している。しかし、これに限らず、判定領域の面積を算出するための判定領域の形状は、矩形状に限定されるものではなく、例えば円形、三角形など、ラベル領域を包含する形状であればよい。また、判定領域の大きさは、ラベル領域を包含する大きさであればよく、必ずしもラベル領域に外接している大きさである必要は無い。例えば、画像上の位置における人物の想定サイズを算出し、当該想定サイズを判定領域の大きさとしてもよい。

【0044】

判定部４ｄは、後述する侵入者判定処理（図８）を実行し、予め定められた判定条件に従い、移動量算出処理、重複度算出処理、面積占有変化率算出処理、人らしさ算出処理によって算出された特徴量を元に、対象となる追跡ラベル領域（変化領域）が侵入者か否かを判定している。そして、判定部４ｄは、侵入者ありと判定したときに、その旨の判定信号を出力部５に出力している。

【0045】

また、判定部４ｄは、図１に示すように、温度変化する静止物体（外乱）による誤検出を低減するための手段として、第１閾値変更手段１４、第２閾値変更手段１５を含む構成である。

【0046】

第１閾値変更手段１４は、特徴量算出部４ｃの移動量算出手段１１にて算出される追跡ラベル領域の前後フレーム間の重心移動量の大きさに応じて第一の閾値を変更している。本例では、追跡ラベル領域の前後フレーム間の重心移動量と予め設定される基準移動量（本実施例では３ピクセル）との大小関係に応じて第一の閾値を変更する処理を行う。

【0047】

本処理を具体的に説明するため、図４を用いて説明する。図４において符号Ｇ１、Ｇ２は、それぞれ前フレーム（ｎフレーム）及び現在フレーム（ｎ＋１フレーム）における追跡ラベル２０の重心位置を表しており、Ｇ１からＧ２に向かう矢印２４の画像上における長さが重心移動量の大きさを表している。図４では、現在フレームと前フレームにおける追跡ラベル領域２０の変化を２つのケースに分けて表現しており、ケース１はフレーム間における重心移動量が小さい場合について、ケース２はフレーム間における重心移動量が大きい場合について例示している。

【0048】

図４のケース１のように、現在フレームにおいて前フレームの追跡ラベル領域の近辺に小ラベルが生じている場合、重心移動量は小さな値をとる。このようなケースでは、現在フレームにおける追跡ラベル領域の面積占有率が比較的大きめに算出され、結果として画像占有変化率が小さめに算出される。例えば、前フレームにおける面積占有率が０．８であり、現在フレームの面積占有率が０．５であった場合、面積占有変化率は０．８／０．５≒１．６と計算される。一方、図４のケース２のように、現在フレームにおいて前フレームの追跡ラベル領域から比較的離れた位置に新たな変化領域が生じている場合、重心移動量は大きめの値をとる。このようなケースでは、現在フレームにおける追跡ラベル領域の面積占有率が比較的小さめに算出され、結果として画像占有変化率が大きめに算出される。例えば、前フレームにおける面積占有率が０．８であり、現在フレームの面積占有率が０．４であった場合、面積占有変化率は０．８／０．４＝２と計算される。

【0049】

このように、温度変化する静止物体による温度変化領域が不安定な形状となって抽出されたとしても、その形状が不安定さは、重心移動量の大きさと相関を有する。そのため、全てのケースにおいて同じ値の第一の閾値を用いて判定した場合、例えば図４のケース１については第一の閾値以下であるとして、温度変化する静止物体ではないと誤判断される恐れがある。そこで、第１閾値変更手段１４は、重心移動量の大きさに基づいて第一の閾値（本実施例では１．７を第一の閾値の基準値とする）を調整することにより、外乱の判定精度を高めている。具体的には、重心移動量が基準移動量（３ピクセル）以上であった場合、第１閾値変更手段１４は、第一の閾値を基準値の１．７から１．８へ０．１だけ増加させる。逆に重心移動量が基準移動量以下であった場合、第１閾値変更手段１４は、第一の閾値を基準値の１．７から１．６へ０．１だけ減少させる。このように、第１閾値変更手段１４は、重心移動量の大きさに応じて第一の閾値を変更することにより、外乱の判定精度を高めることができる。

【0050】

第２閾値変更手段１５は、特徴量算出部４ｃの重複度算出手段１２にて算出される追跡ラベル領域の前後フレームの変化領域の重複度の大きさに応じて第一の閾値を変更している。本例では、追跡ラベル領域の前後フレームの変化領域の重複度と予め設定される基準重複度（本実施例では０．９）との大小関係に応じて第一の閾値を変更している。

【0051】

本処理の具体例について図５を用いて説明する。図５において、現在フレーム（ｎ＋１フレーム）に記されている斜線領域２５は、前フレームにおける追跡ラベル領域２０の大きさに相当する領域を表したものである。図５では、現在フレームと前フレームにおける追跡ラベル領域２０の変化を２つのケースに分けて表現しており、ケース１はフレーム間における重複度が比較的大きい場合について、ケース２はフレーム間における重複度がケース１と比較して小さめの場合について例示している。

【0052】

図５のケース１のように、フレーム間における重複度が比較的大きい場合（例えば、０．９８）、静止物体による温度変動の特徴が顕著に現れているといえるため、移動物体らしさが小さいと想定できる。そのため、この場合のように重複度が基準重複度（０．９）よりも大きい場合は、第一の閾値を小さめに変更する（例えば、第一の閾値を基準値の１．７から０．１だけ減少させる）ことにより、面積占有変化率が第一の閾値にわずかに届かなくて、静止物体による温度変化を人物移動と誤判定しないようにしている。一方、図５のケース２のように、フレーム間における重複度が第二の閾値（例えば、０．８）以上であったとしても、その値が比較的小さいような場合（例えば、０．８２）、静止物体による温度変動の特徴が表れているとはいえ、ゆっくりと移動している人物である可能性も比較的高いといえる。そのため、このような人物移動の疑いの残っている変化領域に対しては、第一の閾値を大きめに変更する（例えば、第一の閾値を基準値の１．７から０．１だけ増加させる）ことにより、面積占有変化率の判定にてより厳格に外乱であるか否かを判定する。このように、第２閾値変更手段１５は、重複度の大きさに応じて第一の閾値を変更することにより、外乱の判定精度を高めることができる。

【0053】

なお、上述した第１閾値変更手段１４、第２閾値変更手段１５の基準値として用いられる基準移動量、基準重複度は、固定値又は所定範囲を持つ値として記憶部３に予め記憶されている。

【0054】

出力部５は、画像処理部４の判定部４ｄにて侵入者ありと判定された旨の判定信号を外部に出力するもので、例えば表示器やブザーなどで構成される。出力部５は、画像処理部４の判定部４ｄから侵入者ありの判定信号が入力されると、表示器やブザーを駆動して侵入者ありの旨を報知する。

【0055】

なお、出力部５は、不図示の警備装置や遠隔の監視センタなどと通信線を介して接続され、画像処理部４の判定部４ｄから入力された侵入者ありの判定信号を通信線に出力する通信Ｉ／Ｆとして構成することもできる。

【0056】

（画像監視装置１による人物有無の判定処理について）
次に、上記構成による画像監視装置１を用いて監視空間における人物の有無を判定する場合の画像処理部４の処理動作について図６を参照しながら説明する。

【0057】

画像処理部４は、画像監視装置１の電源がオンされると、設定情報取得処理を実行する（ＳＴ１）。設定情報取得処理では、予め設定される画像監視装置１に関する設定情報や画像処理部４の各種処理に使用される情報を取得し、取得した情報を記憶部３に格納する。ここで言う情報とは、撮像部２の設置高や俯角、撮像部２より得られる画像の垂直方向及び水平方向の画素数、垂直画角や水平画角、基準画像、各種閾値などである。

【0058】

次に、画像処理部４は、入力画像取得処理を実行する（ＳＴ２）。入力画像取得処理では、撮像部２が監視空間の監視範囲を撮像した赤外線などの熱画像の取得を行う。

【0059】

次に、画像処理部４の抽出部４ａにより抽出処理を実行する（ＳＴ３）。抽出処理では、入力画像取得処理で取得された熱画像から変化領域を抽出する。

【0060】

次に、画像処理部４の抽出部４ａによりラベリング処理を実行する（ＳＴ４）。ラベリング処理では、ＳＴ３の抽出処理で求めた変化領域についてラベル付けを行う。例えば注目抽出画素の周囲で隣接する抽出画素をひとまとまりとしてラベル領域とする手法などが利用できる。また、ラベリング処理では、所定範囲にある複数のラベルを一つのラベルに統合するラベル統合処理を行う。例えばそれぞれのラベルの抽出領域について、設定情報取得処理で得た設置情報（例えば撮像部２の設置高や俯角などの情報）を活用し、画面上での人想定サイズに基づいた領域の位置と大きさを算出する。そして、算出した領域に別のラベルが付与された抽出領域が含まれる場合は、同一のラベルとなるようにラベルを付与し直す。これに対し、画面内にラベルが１つしか存在しない場合は、何も処理を行わない。

【0061】

次に、画像処理部４の抽出部４ａによりノイズ除去処理を実行する（ＳＴ５）。ノイズ除去処理では、ＳＴ４のラベリング処理で得られた個々のラベルがノイズ抽出であるか否かを判定し、ノイズ抽出と判定された場合は除去する。例えばラベルの画素数が設定値以下である場合は、そのラベルをノイズ抽出として除去する。なお、その際の設定値は、予め記憶部３に記憶されている。

【0062】

次に、画像処理部４の追跡部４ｂにより追跡処理を実行する（ＳＴ６）。追跡処理では、ＳＴ４のラベリング処理及びＳＴ５のノイズ除去処理が施されたラベル領域に対し、前回取得した熱画像の追跡ラベル領域との対応付けを行う。具体的には、前回取得した熱画像の追跡ラベル領域と現在処理中の熱画像のラベル領域について、熱画像内での位置関係などをもとに、同一の追跡物体によるものか否かを判別する。そして、同一の追跡物体によるものと判定された場合には、前回取得した熱画像の追跡ラベル領域と同じ追跡ラベルを付与し直す処理を行う。また、現在処理中の熱画像に出現しているラベル領域であって、前回の追跡ラベル領域のいずれとも対応付けられないラベル領域については、新規に出現した追跡ラベル領域として追跡を開始し、新たな追跡ラベルを付与する。さらに、前回存在した追跡ラベル領域で、現在処理中の熱画像に出現したラベル領域のいずれとも対応付けられない追跡ラベル領域については、追跡を終了し、当該ラベルを破棄する。

【0063】

次に、画像処理部４の特徴量算出部４ｃにより特徴量算出処理を実行する（ＳＴ７）。特徴量算出処理では、ＳＴ６の追跡処理で求めた追跡ラベル領域について、侵入者か否かを判定するための特徴量を算出するとともに、静止物体の温度変化による外乱であるか否かを判定するための特徴量を算出する。具体的には、透視変換によって推定される実空間での幅・高さや移動量などを用いて、後述する追跡ラベル領域の人らしさを求める。また、予め記憶部３に記憶される計算式を用いて、後述する重複度と面積占有変化率を求める。

【0064】

次に、画像処理部４の判定部４ｄにより侵入者判定処理を実行する（ＳＴ８）。侵入者判定処理では、ＳＴ７の特徴量算出処理で求めた侵入者を判定するための特徴量を用い、予め定められた判定条件に従って追跡ラベル領域が侵入者か否かの判定を行う。例えば後述する特徴量算出処理により追跡ラベル領域の人らしさを１フレーム毎に算出し、判定条件として、変化領域の出現時刻からの人らしさの累積値が閾値以上で、かつ移動量も閾値以上のときに、追跡ラベル領域が侵入者であると判定する。その際の閾値は、予め記憶部３に記憶されている。

【0065】

なお、図６のフローチャートにおいて、ループ１はＳＴ２〜ＳＴ８の各処理を１フレームの画像取得毎に実行することを意味し、ループ２はＳＴ７〜ＳＴ８の各処理をラベル領域の数だけ実行することを意味している。

【0066】

（特徴量算出処理の詳細について）
次に、図６のフローチャートのＳＴ７における、画像処理部４の特徴量算出部４ｃが実行する特徴量算出処理について図７を参照しながら説明する。

【0067】

画像処理部４の特徴量算出部４ｃは、まず、ＳＴ６の追跡処理で求めた追跡ラベル領域が新規の追跡ラベル、すなわち初めて出現した追跡ラベルであるか否かを判別する（ＳＴ１１）。追跡処理で求めた追跡ラベル領域が新規の追跡ラベルではないと判定すると、ＳＴ１２の追跡ラベル領域の外接矩形座標計算処理に移行する。これに対し、追跡処理で求めた追跡ラベル領域が新規の追跡ラベルであると判定すると、特徴量算出処理を終了し、前述したＳＴ８の侵入者判定処理に移行する。この場合、当該追跡ラベルについての全ての特徴量を０に設定することとする。

【0068】

ＳＴ１２の追跡ラベル領域の外接矩形座標計算処理では、ＳＴ６の追跡処理で求めた追跡ラベル領域について、この追跡ラベル領域の外接矩形の頂点の座標値、外接矩形の幅や高さを算出する。

【0069】

次に、透視変換処理を実行する（ＳＴ１３）。透視変換処理では、ＳＴ１２の追跡ラベル領域の外接矩形座標計算処理で求めた外接矩形の頂点の座標値、幅や高さ、記憶部に記憶されている設定情報である画像監視装置の設置高・俯角を利用し、追跡ラベル領域の実空間上での推定幅と推定高さを透視変換によって計算する。

【0070】

次に、追跡ラベル領域の移動量計算処理を実行する（ＳＴ１４）。追跡ラベル領域の移動量計算処理では、ＳＴ６の追跡処理で求めた追跡ラベル領域の移動量を計算する。例えば、前フレームの追跡ラベル領域の重心座標と現在フレームの追跡ラベル領域の重心座標からフレーム間の重心移動量距離を求め、この重心移動距離を移動量として計算する。

【0071】

次に、人らしさ算出処理を実行する（ＳＴ１５）。人らしさ算出処理では、ＳＴ１３の透視変換処理にて求めた追跡ラベル領域の外接矩形の実空間上での推定幅と推定高さを元に、人らしさを計算する。具体的には、対象の追跡ラベル領域について、（１）実空間上での推定幅が６０ｃｍ以上１００ｃｍ以下、（２）実空間上での推定高さが７０ｃｍ以上２００ｃｍ以下といった条件を定め、（１），（２）の両方の条件を満たす場合のみ、人らしさを１とし、（１），（２）の条件の何れか一つでも満たさない場合は、人らしさを０とする。そして、記憶部３にこの追跡ラベル領域に対応するよう記憶されている人らしさの累積値に、ここで算出した人らしさを加算する処理を行う。

【0072】

次に、特徴量算出部４ｃの重複度算出手段１２にて重複度算出処理を実行する（ＳＴ１６）。重複度算出処理では、前フレームと現在フレームの追跡ラベル領域の重複度合いを示す重複度を算出する。具体的には、追跡処理で求めた前フレームと現在フレームの追跡ラベル領域について、図２に示すように、前フレームの追跡ラベル領域面積Ｓ１、現在フレームの追跡ラベル領域面積Ｓ２とし、前フレームと現在フレームの追跡ラベル領域の重なった部分の面積Ｓ３を算出し、これら面積Ｓ１，Ｓ２，Ｓ３から重複度Ｒｏ＝ＭＡＸ（Ｓ３／Ｓ１，Ｓ３／Ｓ２）を求める。

【0073】

次に、特徴量算出部４ｃの面積占有変化率算出手段１３にて面積占有変化率算出処理を実行する（ＳＴ１７）。面積占有変化率算出処理では、前後フレームの追跡ラベル領域の面積占有変化率を算出する。まず、面積占有率を計算するために、図３に示すように、前フレームの追跡ラベル領域面積Ｓ１、現在フレームの追跡ラベル領域面積Ｓ２、前フレームの追跡ラベル外接矩形面積Ｓ１’、現在フレームの追跡ラベル外接矩形面積Ｓ２’を算出する。

【0074】

次に、算出した前フレームの追跡ラベル領域面積Ｓ１、現在フレームの追跡ラベル領域面積Ｓ２、前フレームの追跡ラベル領域の外接矩形面積Ｓ１’、現在フレームの追跡ラベル領域の外接矩形面積Ｓ２’を用いて、前フレームの追跡ラベル領域の面積占有率Ｘ１＝Ｓ１／Ｓ１’と、現在フレームの追跡ラベル領域の面積占有率Ｘ２＝Ｓ２／Ｓ２’とを算出する。

【0075】

そして、上記計算によって求めた前フレームの追跡ラベル領域の面積占有率Ｘ１と現在フレームの追跡ラベル領域の面積占有率Ｘ２とを用い、面積占有変化率Ｒｓ＝ＭＡＸ（Ｘ１／Ｘ２，Ｘ２／Ｘ１）を算出する。

【0076】

（侵入者判定処理の詳細について）
次に、図６のフローチャートにおいて、画像処理部４の判定部４ｄが実行する侵入者判定処理と第一の閾値変更処理について図８を参照しながら説明する。

【0077】

画像処理部４の判定部４ｄは、まず、追跡ラベル領域の移動量計算処理で求めた追跡ラベル領域の移動量が人らしい移動量として予め定めた基準移動量（例えば３ピクセル）以上であるか否かを判別する（ＳＴ２１）。追跡ラベル領域の移動量が基準移動量以上であると判定すると、記憶部３にこの追跡ラベル領域に対応して記憶された人らしさの累積値を読み出し、当該累積値が予め定めた所定の基準値（例えば、５）以上であるか否かを判定する（ＳＴ２２）。

【0078】

追跡ラベル領域の人らしさの累積値が所定の基準値以上であると判定すると（ＳＴ２２−Ｙｅｓ）、ＳＴ２３、ＳＴ２４の第一の閾値の変更処理に進む。

【0079】

なお、追跡ラベル領域の移動量が設定値以上ではないと判定したとき（ＳＴ２１−Ｎｏ）、追跡ラベル領域の人らしさの累積値が基準値である「５」以上ではないと判定したとき（ＳＴ２２−Ｎｏ）は、侵入者なしの旨の結果信号を出力部に出力する（ＳＴ２５）。

【0080】

（第一の閾値変更処理の詳細について）
第一の閾値の変更処理では、まず、判定部４ｄの第１閾値変更手段１４が特徴量算出部４ｃの移動量算出手段１１にて算出された前後フレームの変化領域の重心移動量と基準移動量（３ピクセル）との比較により第一の閾値を変更する（ＳＴ２３）。具体的には、重心移動量が基準移動量（３ピクセル）以上であった場合、第１閾値変更手段１４は、第一の閾値を基準値の１．７から１．８へ０．１だけ増加させる。逆に重心移動量が基準移動量以下であった場合、第１閾値変更手段１４は、第一の閾値を基準値の１．７から１．６へ０．１だけ減少させる。このように、第１閾値変更手段１４は、重心移動量の大きさに応じて第一の閾値を変更することにより、外乱の判定精度を高めることができる。

【0081】

次に、判定部４ｄの第２閾値変更手段１５は、特徴量算出部４ｃの重複度算出手段１２にて算出された前後フレームの変化領域の重複度と基準重複度（０．９）との比較により第一の閾値を変更する（ＳＴ２４）。すなわち、重複度が基準重複度よりも大きい場合は、第一の閾値を基準値の１．７から０．１だけ減少させる。一方、重複度が基準重複度以下の場合は、第一の閾値を基準値の１．７から０．１だけ増加させる。このように、第２閾値変更手段１５は、重複度の大きさに応じて第一の閾値を変更することにより、外乱の判定精度を高めることができる。

【0082】

そして、上述したＳＴ２３、ＳＴ２４の第一の閾値の変更処理が適宜実行されると、重複度が第二の閾値以上であるか否かを判別する（ＳＴ２６）。重複度が第二の閾値以上であると判定すると、面積占有変化率が第一の閾値以上であるか否かを判別する（ＳＴ２７）。これに対し、重複度が第二の閾値以上ではないと判定すると、侵入者ありの旨の結果信号を出力部５に出力する（ＳＴ２８）。

【0083】

そして、面積占有変化率が第一の閾値以上であると判定すると、侵入者なしの旨の結果信号を出力部５に出力する（ＳＴ２５）。これに対し、面積占有変化率が第一の閾値以上ではないと判定すると、侵入者ありの旨の結果信号を出力部５に出力する（ＳＴ２８）。

【0084】

なお、図８のフローチャートの第一の閾値の変更処理は、前後フレームの変化領域の移動量に応じた第一の閾値の変更処理（ＳＴ２３）、前後フレームの変化領域の重複度に応じた第一の閾値の変更処理（ＳＴ２４）の順序で行っているが、これら２つの変更処理は必要に応じて適宜行うことができる。また、これら２つの変更処理は、その順序及び組み合わせを問わないものであり、何れかの変更処理を省略することもできる。

【0085】

以上のように、本発明に係る画像監視装置は、エアコン等の温度変化する物に起因する温度変化領域の形状は、温度変化の少ない人体などの温度変化領域の形状と比較して不安定に変化するという性質を利用した条件（条件１）を用いて、監視空間を撮像した熱画像から抽出される変化領域が温度変化をする物によるものか否かを判定する機能を有している。また、付加的に、静止物体自体の温度変化領域は移動せずに略重なって抽出され易いという性質を利用した条件（条件２）を用いて、監視空間を撮像した熱画像から抽出される変化領域が温度変化をする静止物体によるものか否かを判定する機能も有している。すなわち、条件１に関しては、前後フレームで変化領域として抽出されるラベル領域（統合変化領域）の面積が判定領域（外接矩形）の面積に占める割合の変化率を示す面積占有変化率を算出する。条件２に関しては、前後フレームで変化領域として抽出されるラベル領域（統合変化領域）の熱画像上の重複度合いを示す重複度を算出する。そして、これら算出された面積占有変化率と重複度とを利用することにより、抽出された変化領域が温度変化をする物に起因する外乱であるか否かを精度良く判定し、外乱による誤検出を低減することができる。

【0086】

ここで、条件１に関して、温度変化をする物に起因する温度変化領域の形状が不安定に変化する場合は、前後フレームにおいて、判定領域の面積に占める追跡ラベル面積の割合（面積占有率）が急激に変化する。これに対し、人体等の温度変化の少ない移動物体の場合、追跡ラベル領域の形状は比較的安定しているため、面積占有率も安定に推移する。そこで、前後フレームでの面積占有率の変化率を示す面積占有変化率を算出し、この算出した面積占有変化率が予め定めた第一の閾値以上のときに、移動物体ではなく、温度変化をする物に起因する不安定な温度変化領域の候補としている。

【0087】

また、条件２に関して、静止物体に起因する温度変化領域は移動していないため、現在フレームでは前フレームとほぼ同じ位置に追跡ラベル領域が存在する。そこで、現在フレームと前フレームの追跡ラベル領域の重複面積が現在フレーム又は前フレームの追跡ラベル領域面積に占める割合を示す重複度を算出し、この算出した重複度が予め定めた第二の閾値以上のときに、静止物体候補としている。

【0088】

そして、注目している追跡ラベル領域について、上述した条件１と条件２の両方が成立するとき、すなわち、面積占有変化率が第一の閾値以上であり、且つ、重複度が第二の閾値以上であるときに、静止物体に起因する不安定な温度変化領域であると判定し、発報を抑制している。これにより、静止物体の温度変化で誤報せず、侵入者のときだけ発報させることができる。なお、エアコン等の静止物体自体の温度変化に限らなければ、条件１のみを用いることによっても、温度変化をする物に起因する誤報を抑制することができる。

【0089】

また、前記実施例では、前後フレームの変化領域の重心位置間の移動量、前後フレームの変化領域の重複度に応じて侵入者であるか否かを判定するための第一の閾値の変更処理を行っている。これにより、例えば発熱源や冷却源などの温度変化する静止物体が監視領域内に存在する場合に、熱画像上の変化領域を静止物体として誤判定することなく、静止物体の温度変化に起因する外乱の判定精度を高めることができる。

【0090】

ところで、本発明は、上記実施例に限定されるものではなく、特許請求の範囲に記載した技術的思想の範囲内で、更に種々の異なる実施例で実施されてもよいものである。また、実施例に記載した効果は、これに限定されるものではない。

【0091】

前記実施例では、目標移動物体として人物の有無を判定している。しかし、これに限らず、目標移動物体として車などの人物以外の移動物体の有無を判定する画像監視装置として用いても良い。すなわち、前記実施例では、ＳＴ１５の人らしさ算出処理において、追跡ラベルの実空間での大きさ（推定幅、推定高さ）が人物らしい大きさのときに人らしいとして、特徴量である「人らしさ」を算出しているが、これを車らしい大きさのときに車らしいとして特徴量である「車らしさ」を算出するよう処理を行う。また、前記実施例では、ＳＴ２１にて、追跡ラベル領域の移動量が人らしい移動量以上であるか否かを判定しているが、これを車らしい移動量（例えば、１０ピクセル）以上であるか否かを判定する処理を行う。

【0092】

また、前記実施例では、温度変化をする物に起因する外乱であると判定したとき、「侵入者なし」の出力をしている。しかし、これに限らず、温度変化をする物に起因する外乱であると判定したときに特徴量である「目標移動物体らしさ（例えば、人らしさ）」を減じるよう処理し、最終的にこの「人らしさ」が所定の閾値以上であるときにのみ「侵入者あり」の出力をするよう、処理を行ってもよい。

【符号の説明】

【0093】

１ 画像監視装置
２ 撮像部
３ 記憶部
４ 画像処理部
４ａ 抽出部
４ｂ 追跡部
４ｃ 特徴量算出部
４ｄ 判定部
５ 出力部
１１ 移動量算出手段
１２ 重複度算出手段
１３ 面積占有変化率算出手段
１４ 第１閾値変更手段
１５ 第２閾値変更手段
２０ 各フレームにおいて抽出されたラベル
２１ 現在フレームと前フレームの熱画像から抽出処理された後の抽出画像
２２ 現在フレームと前フレームの抽出画像を重ね合わせたもの
２３ 各フレームにおける追跡ラベル領域の外接矩形
２４ 前フレームの追跡ラベルの重心位置から現在フレームの追跡ラベルの重心位置に向かう矢印 Ｇ１ 前フレームにおける追跡ラベルの重心位置
Ｇ２ 現在フレームにおける追跡ラベルの重心位置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】