特許 5904795 画像監視装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5904795

(24)【登録日】2016年3月25日

(45)【発行日】2016年4月20日

(54)【発明の名称】画像監視装置

(51)【国際特許分類】

   H04N 7/18 20060101AFI20160407BHJP

【ＦＩ】

   H04N7/18 D

【請求項の数】4

【全頁数】14

(21)【出願番号】特願2012-1340(P2012-1340)

(22)【出願日】2012年1月6日

(65)【公開番号】特開2013-143580(P2013-143580A)

(43)【公開日】2013年7月22日

【審査請求日】2014年12月4日

(73)【特許権者】

【識別番号】000108085

【氏名又は名称】セコム株式会社

(74)【代理人】

【識別番号】100067323

【弁理士】

【氏名又は名称】西村 教光

(74)【代理人】

【識別番号】100124268

【弁理士】

【氏名又は名称】鈴木 典行

(72)【発明者】

【氏名】井部 鮎子

【審査官】 秦野 孝一郎

(56)【参考文献】

【文献】 特開平９−５５９３２（ＪＰ，Ａ）

【文献】 特開２００７−１８９４３２（ＪＰ，Ａ）

【文献】 特開２００７−３２５１２０（ＪＰ，Ａ）

【文献】 特開２００２−１８５８５２（ＪＰ，Ａ）

【文献】 特開平９−３２５０７３（ＪＰ，Ａ）

【文献】 特開２００１−１５３７２３（ＪＰ，Ａ）

【文献】 特表２００７−５０２４０３（ＪＰ，Ａ）

【文献】 特開２００８−２２４５４（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ７／１８

(57)【特許請求の範囲】

【請求項1】

監視空間から赤外光を受光する複数の赤外線検知素子を二次元に配列したセンサを有し、該センサの出力値を撮影環境に応じた補正値にて補正して監視画像を取得する撮像部と、前記監視画像と過去に取得した前記監視画像である基準画像を比較して変化領域を抽出する抽出部と、前記変化領域の特徴から物体を判定する判定部と、を具備する画像監視装置であって、
前記撮像部は、前記補正値を所定タイミングにて更新する補正手段を有し、
前記抽出部は、前記変化領域がノイズか否かを判別する第一閾値と前記第一閾値より大きい第二閾値を有し、通常時は前記第一閾値を用い、前記補正値を更新した直後からの所定期間である第一取得後期間においては前記第二閾値を用いて前記第一閾値又は前記第二閾値より小さい面積の変化領域をノイズと判定し除去することを特徴とした画像監視装置。

【請求項2】

前記抽出部は、前記第一取得後期間の経過後の所定期間である第二取得後期間内においては、前記第一取得後期間終了時点からの経過時間にともなって前記第二閾値から前記第一閾値へと経時的に減じた値の閾値を用いて、前記変化領域がノイズか否かを判定する請求項１に記載の画像監視装置。

【請求項3】

前記撮像部は、前記センサ自体の温度を取得するセンサ温度取得手段を更に備え、
前記抽出部は、前記撮像部の前記補正手段にて前回補正値を更新した時点における前記温度と、今回補正値を更新した時点における前記温度との温度差が大きいほど大きい値となるよう前記第二閾値を変更する請求項１又は２に記載の画像監視装置。

【請求項4】

前記抽出部は、前記変化領域が前記監視画像における信号雑音比の小さい所定領域に位置するとき、通常時においては前記第一閾値をより大きい値に変更し、第一取得後期間においては前記第二閾値をより大きい値に変更する請求項１〜３の何れかに記載の画像監視装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、監視空間を撮影した熱画像（赤外線画像）を順次取得し、この順次取得した熱画像を画像処理して監視空間における物体を判別する画像監視装置に関する。

【背景技術】

【0002】

従来、赤外線カメラにて撮像した熱画像と過去に撮像した熱画像との変化態様から侵入者等の移動物体の特徴を示す領域を検出して当該変化領域が目標移動物体（例えば侵入者）であるか否かを判定するような画像監視装置が知られている。

【0003】

この種の画像監視装置としては、例えば、現在撮影した熱画像と予め記憶している背景などの過去の熱画像とを比較して、両画像の差分値が大きい領域を変化領域（温度が変化した領域）として抽出し、この抽出された変化領域について面積や移動速度などを算出し、この算出結果に基づいて目標移動物体が存在するか否かを判断するものが知られるところである。

【0004】

ところで、一般に、この種の画像監視装置で利用される赤外線カメラでは、撮像素子ごとの特性の違いや、カメラ筐体等からの熱などの環境温度変動やセンサ自体の発熱などといった外乱により、熱画像の各画素の値（以下、「画素値」という）が画素毎に一定にならない。すなわち、均一な温度面を撮像した場合であっても、出力画像の温度分布が均一でなくなり、いわゆる固定パターンノイズ（Fixed Pattern Noise:ＦＰＮ）が生じる。そのため、従来の画像監視装置における赤外線カメラでは、ＦＰＮを除去するような処理をする必要がある。例えば下記特許文献１に開示されているように、レンズと撮像素子との間に均一な温度分布を有するシャッタを設け、所定のタイミングでシャッタを閉開作動させ、シャッタを閉じた時の撮像により得られたセンサの出力値を補正値として取得する。そして、現在撮影した熱画像におけるセンサの出力値を当該補正値を使って補正することによって、現在撮影した熱画像における外乱の影響を取り除くよう補正するオフセット補正を行っている。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２００１−１５３７２３号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

このように、従来の画像監視装置における赤外線カメラでは、例えば所定のタイミングでシャッタを閉開作動させ、撮影環境に応じて更新した補正値を用いてオフセット補正を行っている。しかし、シャッタなどにより補正値を取得して撮影環境に起因する外乱の影響を取り除くよう補正したとしても、次に補正値が更新されるまでの期間（以下、「補正値更新期間」という）においても、センサは外乱の影響を受けている。そのため、補正値を更新した直後から時間が経過するにつれて画素値は徐々に変動（温度ドリフト）し得る。そして、次に補正値を更新した直後においては、更新された補正値を用いたオフセット補正によって、補正値更新期間に受けた外乱の影響を取り除くよう補正することができるものの、当該補正値の更新直後の画素値と更新直前の画素値との間に出力変動が生じることになる。

【0007】

したがって、監視空間において物体の温度変動が無かったにもかかわらず、補正値を更新した前後において画素値が大きく変動した画素は、急激な温度変化が生じたとみなされて抽出され、誤抽出となる。結果として、補正値を更新した直後においては、誤抽出が多発して比較的大きめのノイズ抽出が発生し易く、当該大きめのノイズ抽出が目標移動物体として誤判定され易いといった問題があった。

【0008】

特に、信号雑音比（ＳＮ比）が小さい領域では、補正値更新期間における画素値が出力変動しやすく、補正値を更新した直後においては、特に大きめのノイズ抽出が発生しがちであった。ＳＮ比が小さい領域の例としては、画像中央領域と比較して、レンズ収差の影響や環境温度変動の影響を受け易い、画像外周領域が挙げられる。

【0009】

そこで、本発明は上記問題点に鑑みてなされたものであり、シャッタなどによって補正値を更新した直後に多発する大きめのノイズ抽出を効果的に削減することにより物体の誤判定を抑制することができる画像監視装置を提供することを目的とするものである。

【課題を解決するための手段】

【0010】

上記した目的を達成するために、本願請求項１に係る画像監視装置は、監視空間から赤外光を受光する複数の赤外線検知素子を二次元に配列したセンサを有し、該センサの出力値を撮影環境に応じた補正値にて補正して監視画像を取得する撮像部と、前記監視画像と過去に取得した前記監視画像である基準画像を比較して変化領域を抽出する抽出部と、前記変化領域の特徴から物体を判定する判定部と、を具備する画像監視装置であって、
前記撮像部は、前記補正値を所定タイミングにて更新する補正手段を有し、
前記抽出部は、前記変化領域がノイズか否かを判別する第一閾値と前記第一閾値より大きい第二閾値を有し、通常時は前記第一閾値を用い、前記補正値を更新した直後からの所定期間である第一取得後期間においては前記第二閾値を用いて前記第一閾値又は前記第二閾値より小さい面積の変化領域をノイズと判定し除去することを特徴としている。

【0011】

かかる構成により、本発明の撮像部は、例えばシャッタなどを用いて、環境温度変動やセンサ温度変動など撮影環境に応じた補正値を所定のタイミングで更新し、当該補正値を用いてセンサの出力値をオフセット補正した監視画像を取得する。そして、本発明の抽出部は、通常時は予め設定された基準の閾値である第一閾値をノイズ判定のための閾値として設定する処理を行う。一方、補正値を更新した直後からの所定期間（第一取得後期間）においては、第一閾値よりも大きい値の閾値（第二閾値）をノイズ判定のための閾値として設定する処理を行う。そして、抽出部は、設定された閾値よりも例えば面積（画素数）が小さい変化領域をノイズと判定して除去する処理を行う。これにより、補正値を更新した直後において、大きめのノイズ抽出が生じている場合であったとしても、当該ノイズ抽出が生じやすい第一取得後期間の間は、ノイズ判定閾値を通常時の第一閾値よりも大きめの値である第二閾値を用いてノイズ除去を行うため、これらの大きめのノイズ抽出を除去することができ、ノイズ抽出による目標移動物体の誤検出を抑制することができる。

【0012】

本願請求項２に係る画像監視装置は、請求項１の画像監視装置において、
前記抽出部は、前記第一取得後期間の経過後の所定期間である第二取得後期間内においては、前記第一取得後期間終了時点からの経過時間にともなって前記第二閾値から前記第一閾値へと経時的に減じた値の閾値を用いて、前記変化領域がノイズか否かを判定することを特徴としている。

【0013】

かかる構成により、本発明の抽出部のノイズ除去手段は、第一取得後期間の経過後直ちに閾値を第二閾値から第一閾値へと変更するのではなく、第一取得後期間の経過後の所定期間（第二取得後期間）の間に、第二閾値から第一閾値へと徐々に減少させた値の閾値を用いてノイズ除去を行う。一般的に補正値更新に伴う画素値の変動は、補正値を更新した直後（すなわちシャッタ直後）にのみ発生するものの、場合によってはその変動の影響が残り、大きめのノイズ抽出が多く発生する状況が一定期間継続することがある。例えば、変化領域を抽出するための基準画像は、監視領域の環境変化に適応（追従）するよう、直近に取得した熱画像の画素値を加重平均するなどして、徐々に更新させる方法が用いられる場合がある。この場合、補正値の更新直後における画素値の変動に対して、基準画像の画素値は緩やかに更新されていくため、大きめのノイズ抽出の発生しやすい状況が一定期間継続することになる。一方で、閾値が高い状態を長期間継続させることは、判別対象の移動物体の変化領域を誤って除去して、失検出する恐れが増大するため、避けるのが望ましい。そこで、第一取得後期間の経過後、ノイズ判定閾値を第二閾値から徐々に基準値（第一閾値）に戻るよう経時的に減少させることによって、補正値の更新直後における適度のノイズ抽出の除去と目標移動物体の検知精度の維持との両立を図る。

【0014】

本願請求項３に係る画像監視装置は、請求項１又は２の画像監視装置において、
前記撮像部は、前記センサ自体の温度を取得するセンサ温度取得手段を更に備え、
前記抽出部は、前記撮像部の前記補正手段にて前回補正値を更新した時点における前記温度と、今回補正値を更新した時点における前記温度との温度差が大きいほど大きい値となるよう前記第二閾値を変更することを特徴としている。

【0015】

一般的に、前回補正値を更新した時点におけるセンサ温度と、今回補正値を更新した時点におけるセンサ温度との温度差が大きいほど、補正値更新期間において受けた外乱の影響が大きいと考えられる。そのため、このような温度差が大きい場合、補正値を更新する直前におけるセンサの出力値には、大きめの外乱の影響（大きめの誤差）が含まれていると考えられる。そして、更新した補正値を用いたオフセット補正によって、このような大きめの外乱の影響を補正することができるものの、結果として補正値の更新前後において、画素値により一層大きな出力変動が生じやすくなり、大きめのノイズ抽出がより多発しやすくなる。したがって、通常のノイズ判定閾値を用いてノイズ除去を行っただけでは除去しきれないノイズ抽出が残る恐れがある。そこで、上記構成により、センサ温度の温度差が大きいときにはノイズ判定閾値を大きめに設定することによって、より高精度のノイズ除去を行うことができる。

【0016】

本願請求項４に係る画像監視装置は、請求項１〜３の何れかの画像監視装置において、
前記抽出部は、前記変化領域が前記監視画像における信号雑音比の小さい所定領域に位置するとき、通常時においては前記第一閾値をより大きい値に変更し、第一取得後期間においては前記第二閾値をより大きい値に変更することを特徴としている。

【0017】

かかる構成により、本発明の抽出部は、まず、抽出した変化領域の画像上の位置が、監視画像における予め設定した信号雑音比（ＳＮ比）の小さい領域に位置しているか否かを判定する。例えば、監視画像の画像外周領域は、レンズの収差の影響などによって、画像中央領域と比較してＳＮ比が小さい領域であるため、当該画像外周領域を予め設定しておく。そして、変化領域が設定された画像外周領域に位置しているか否かを判定する。その後、抽出部は、変化領域が当該画像外周領域に位置していた場合、予め設定された閾値を大きめの値に修正してノイズ除去を行う。例えば、変化領域を抽出した時刻が第一取得後期間であるときに、ある変化領域が画像外周領域に位置している場合、設定された第二閾値よりも大きい値の閾値を用いて、当該変化領域に対してノイズ除去判定を行う。また、変化領域を抽出した時刻が第一取得後期間経過後であるときには、ある変化領域が画像外周領域に位置している場合、設定された第一閾値よりも大きい値の閾値を用いて、当該変化領域に対してノイズ除去判定を行う。これにより、補正値の更新直後に特に大きめのノイズ抽出が生じやすい領域であるＳＮ比が小さい領域については、大きめのノイズ判定閾値を用いてノイズ除去を行うことができ、ＳＮ比が小さい領域における誤検出をさらに抑制することができる。

【発明の効果】

【0018】

本発明に係る画像監視装置によれば、補正値の更新直後に多発する大きめのノイズ抽出を効果的に削減することができ、物体の誤判定を抑制することができる。

【図面の簡単な説明】

【0019】

【図1】本発明に係る画像監視装置の全体構成を示すブロック構成図である。

【図2】本発明に係る画像監視装置における補正手段のシャッタ閉開タイミングとノイズ判定閾値との関係を示す図である。

【図3】本発明に係る画像監視装置による全体動作の処理手順を示すフローチャートである。

【図4】図３のノイズ除去処理の具体的処理内容の手順を示すフローチャートである。

【発明を実施するための形態】

【0020】

以下、本発明を監視空間における侵入者を検出する画像監視装置に適用した実施形態について、添付した図面を参照しながら詳細に説明する。

【0021】

（画像監視装置の全体構成について）
本発明に係る画像監視装置は、監視空間を撮像した熱画像を順次取得し、この順次取得した熱画像を画像処理して監視空間における物体（例えば侵入者）を判別するものである。

【0022】

特に、本実施形態は、均一な赤外線を受光したときのセンサの出力値を、オフセット補正のための補正値として取得し、補正値を更新した直後に多発する大きめのノイズ抽出を除去する機能を含む画像監視装置を提供するものである。

【0023】

図１に示すように、本実施形態の画像監視装置１は、上述した機能を実現するべく、撮像部２、記憶部３、画像処理部４、出力部５を含んで構成される。

【0024】

撮像部２は、天井や壁に設置して上から斜め下方の空間を撮像しており、１フレームの監視画像を所定の時間間隔で取得して画像処理部４に出力している。撮像部２は、図１に示すように、センサ１１、補正手段１２、センサ温度取得手段１３を含む構成である。

【0025】

センサ１１は、撮像素子として複数の赤外線検知素子を二次元に配列したものであり、３２０×３２０個からなる素子で形成され、３２０×３２０画素からなる熱画像をセンサ出力値とする。

【0026】

補正手段１２は、均一な赤外線を受光したときのセンサ１１の出力値を補正値として取得し、監視空間を撮像したときのセンサ１１の出力を当該補正値でオフセット補正したものを監視画像として画像処理部４に出力している。均一な赤外線を受光してオフセット補正を行うために、所定時間おきに閉開制御されるシャッタが撮像素子と光学系（レンズ）との間に配置されている。なお、補正値を更新するためのシャッタ間隔（補正値取得期間）を５分の固定期間として設定されていることとする。しかし、シャッタ間隔は必ずしも固定期間である必要は無く、センサ温度や環境温度変動に応じた可変変動としてもよい。また、本実施形態では、このように、シャッタを閉じたときの撮像により得られたセンサの出力値を補正値として利用する方法を用いているが、補正値の取得方法はこれに限らない。例えば、恒温槽と黒体炉を用いて、シャッタを利用したときと同等の補正値を予め取得して記憶部３に記憶しておき、対象撮像時に、これらの補正値とセンサ温度等を用いて補正する方法などを用いてもよい。

【0027】

センサ温度取得手段１３は、例えば熱電対、測温抵抗体やサーミスタなどの抵抗温度計などをセンサ１１に設け、センサ１１自体の温度（センサ温度）を検出してセンサ温度情報を取得し、取得したセンサ温度情報を画像処理部４に出力している。

【0028】

なお、撮像部２は、その設置位置や撮像方向を示す外部パラメータと、焦点距離、画角、レンズ歪み、その他のレンズ特性や撮像素子の画素数を示す内部パラメータとを撮像パラメータとして含む。この撮像パラメータは、実際に計測を行うなどして得ることができ、予め記憶部３に記憶される。

【0029】

そして、この撮像パラメータを用いれば、監視画像中の画素位置を撮像部２の撮像面における座標（撮像面座標）と実空間における座標（実座標）との間で座標変換することが可能となる。この撮像パラメータを用いた（１）撮像面座標から実座標への変換及び（２）実座標から撮像面座標への変換の両変換を透視変換と総称している。

【0030】

記憶部３は、画像監視装置１に関する設定情報（例えば装置の設置高、俯角など）、画像処理部４の各種処理に使用される情報を記憶している。画像監視装置１に関する設定情報としては、上述した撮像部２の設置環境を含む撮像パラメータが含まれる。また、画像処理部４の各種処理に使用される情報としては、例えばフレーム毎の画像データ、画像データから変化領域を抽出するための基準画像、後述するノイズ除去処理に用いられるノイズ判定閾値、センサ１１自体の温度情報（センサ温度）の他、処理に用いられる計算式や閾値、基準値等の各種パラメータが含まれる。

【0031】

画像処理部４は、ＣＰＵ等を備えたコンピュータで構成され、撮像部２からデジタル化された画像の入力を受け、後述する図３、図４に示す一連の処理として、入力画像取得処理、抽出処理、ラベリング処理、ラベル統合処理、ノイズ除去処理、トラッキング（物体候補の追跡）処理、特徴量算出処理、侵入者判定処理を実行するべく、抽出部４ａ、追跡部４ｂ、特徴量算出部４ｃ、判定部４ｄを含んでいる。

【0032】

抽出部４ａは、図１に示すように、ラベル抽出手段１４とノイズ除去手段１５とを含む構成である。ラベル抽出手段１４は、撮像部２で取得された熱画像（監視画像）の中から変化のある領域（温度変化のある領域）を変化領域として抽出する抽出処理を行っている。予め過去の熱画像を基準画像として記憶部３に保存しておき、今回取得した熱画像と基準画像との差分が所定の閾値以上の領域を温度変化があると判定し、この温度変化がある領域を変化領域として抽出する。この際、基準画像として監視空間の背景の熱画像や、過去に取得した熱画像を適宜選択して採用することができる。また、ラベル抽出手段１４は、抽出した変化領域に対し、ラベリング処理によってラベル付けを行っている。さらに、抽出部４ａにおけるラベリング処理では、画像上の位置に基づく人物の想定サイズを求め、当該想定サイズの範囲内にある複数の変化領域を一つの物体からなる変化領域とみなし、単一ラベルに統合するラベル統合処理を行っている。以下では、ラベリング処理によってラベルが付与された変化領域（ラベル統合処理によって統合された一又は複数の変化領域を含む）を「ラベル領域」という。なお、本実施形態では、現在取得した熱画像において、予め記憶した基準画像からの差分値の大きい領域を変化領域として抽出しているが、これに限らず、画素値の時間変化をディジタルフィルタなどの周波数解析を行うことによって変化領域を抽出する方法を用いても良い。また、上記のラベル統合処理を省略することもできる。

【0033】

ノイズ除去手段１５は、個々のラベル領域に対し、ノイズ抽出であるか否かを判定し、ノイズ抽出と判定された場合に除去するノイズ除去処理を行っている。まず、ノイズ除去手段１５は、シャッタを閉状態にすることによって補正値を取得した直後からの経過時間や、監視画像上におけるラベル領域の位置などに応じたノイズ判定閾値を設定する処理を行う。そして、ノイズ除去手段１５は、個々のラベル領域に対し、ラベル領域の画素数（面積）と設定されたノイズ判定閾値との比較により、当該ラベル領域がノイズ抽出であるか否かを判定し、ノイズ抽出と判定されたラベル領域を除去する処理を行う。すなわち、ノイズ除去処理では、ラベル領域の画素数がノイズ判定閾値以下であった場合、当該ラベル領域をノイズ抽出であると判定して除去する。なお、ノイズ除去手段１５におけるノイズ除去処理の詳細については追って説明する。

【0034】

追跡部４ｂは、抽出部４ａが抽出したラベル領域を時間的に追跡するもので、抽出部４ａによるラベリング処理で求まったラベル領域（変化領域）に対し、前回取得した画像の追跡ラベル領域との対応付けを行っている。

【0035】

なお、追跡ラベル領域とは、これまでに取得した画像において、同一の追跡物体によるラベル領域が常に同じラベルになるように、抽出部４ａによるラベリング処理でのラベルと異なるユニークなラベル（以下、追跡ラベルという）を付与し直したラベル領域のことを指す。

【0036】

特徴量算出部４ｃは、追跡部４ｂにて求めた追跡ラベル領域について、侵入者を判定するための特徴量を算出する特徴量算出処理を実行している。本実施形態では、透視変換によって推定される実空間での幅・高さや移動量などを用いて追跡ラベル領域の人らしさを求め、この人らしさを侵入者判定のための特徴量としている。

【0037】

判定部４ｄは、予め定められた判定条件に従い、特徴量算出処理によって算出された特徴量を元に、対象となる追跡ラベル領域（変化領域）が侵入者か否かを判定する侵入者判定処理を実行している。そして、判定部４ｄは、侵入者ありと判定したときに、その旨の判定信号を出力部５に出力している。

【0038】

出力部５は、画像処理部４の判定部４ｄにて侵入者ありと判定された旨の判定信号を外部に出力するもので、例えば表示器やブザーなどで構成される。出力部５は、画像処理部４の判定部４ｄから侵入者ありの判定信号が入力されると、表示器やブザーを駆動して侵入者ありの旨を報知する。

【0039】

なお、出力部５は、不図示の警備装置や遠隔の監視センタなどと通信線を介して接続され、画像処理部４の判定部４ｄから入力された侵入者ありの判定信号を通信線に出力する通信Ｉ／Ｆとして構成することもできる。

【0040】

（画像監視装置１による人物有無の判定処理について）
次に、上記構成による画像監視装置１を用いて監視空間における人物の有無を判定する場合の画像処理部４の処理動作について図３を参照しながら説明する。

【0041】

画像処理部４は、画像監視装置１の電源がオンされると、設定情報取得処理を実行する（ＳＴ１）。設定情報取得処理では、予め設定される画像監視装置１に関する設定情報や画像処理部４の各種処理に使用される情報を取得し、取得した情報を記憶部３に格納する。ここで言う情報とは、撮像部２の設置高や俯角、撮像部２より得られる画像の垂直方向及び水平方向の画素数、垂直画角や水平画角、基準画像、各種閾値などである。

【0042】

次に、画像処理部４は、入力画像取得処理を実行する（ＳＴ２）。入力画像取得処理では、撮像部２が監視空間の監視範囲を撮像した熱画像の取得を行う。

【0043】

次に、画像処理部４の抽出部４ａにより抽出処理を実行する（ＳＴ３）。抽出処理では、入力画像取得処理で取得された熱画像から変化領域を抽出する。本実施形態では、例えば予め直近又は過去の熱画像を基準画像として記憶部３に保存しておき、今回取得した熱画像と基準画像との画素値の差分が閾値以上の領域を温度変化があると判定し、この温度変化がある領域を変化領域として抽出する。

【0044】

次に、画像処理部４の抽出部４ａによりラベリング処理を実行する（ＳＴ４）。ラベリング処理では、ＳＴ３の抽出処理で求めた変化領域についてラベル付けを行う。例えば注目抽出画素の周囲で隣接する抽出画素をひとまとまりとしてラベル領域とする手法などが利用できる。また、ラベリング処理では、所定範囲にある複数のラベルを一つのラベルに統合するラベル統合処理を行う。例えばそれぞれのラベルの変化領域について、設定情報取得処理で得た設置情報（例えば撮像部２の設置高や俯角などの情報）を活用し、画面上での人想定サイズに基づいた領域の位置と大きさを算出する。そして、算出した領域に別のラベルが付与された変化領域が含まれる場合は、同一のラベルとなるようにラベルを付与し直す。これに対し、画面内にラベルが１つしか存在しない場合は、何も処理を行わない。

【0045】

次に、画像処理部４の抽出部４ａによりノイズ除去処理を実行する（ＳＴ５）。ノイズ除去処理では、ＳＴ４のラベリング処理で得られた個々のラベル領域がノイズ抽出であるか否かを判定し、ノイズ抽出と判定された場合は除去する。このノイズ除去処理の詳細については追って説明する。

【0046】

次に、画像処理部４の追跡部４ｂにより追跡処理を実行する（ＳＴ６）。追跡処理では、ＳＴ４のラベリング処理及びＳＴ５のノイズ除去処理が施されたラベル領域に対し、前回取得した熱画像の追跡ラベル領域との対応付けを行う。具体的には、前回取得した熱画像の追跡ラベル領域と現在処理中の熱画像のラベル領域について、熱画像内での位置関係などをもとに、同一の追跡物体によるものか否かを判定する。そして、同一の追跡物体によるものと判定された場合には、前回取得した熱画像の追跡ラベル領域と同じ追跡ラベルを付与し直す処理を行う。また、現在処理中の熱画像に出現しているラベル領域であって、前回の追跡ラベル領域のいずれとも対応付けられないラベル領域については、新規に出現した追跡ラベル領域として追跡を開始し、新たな追跡ラベルを付与する。さらに、前回存在した追跡ラベル領域で、現在処理中の熱画像に出現したラベル領域のいずれとも対応付けられない追跡ラベル領域については、追跡を終了し、当該ラベルを破棄する。

【0047】

次に、画像処理部４の特徴量算出部４ｃにより特徴量算出処理を実行する（ＳＴ７）。特徴量算出処理では、ＳＴ６の追跡処理で求めた追跡ラベル領域について、侵入者か否かを判定するための特徴量を算出する。具体的には、対象の追跡ラベル領域について、（１）実空間上での推定幅が６０ｃｍ以上１００ｃｍ以下、（２）実空間上での推定高さが１４０ｃｍ以上２００ｃｍ以下という条件を定め、（１）と（２）の条件を満たす場合のみ、追跡ラベル領域の人らしさを１とし、（１）と（２）の条件の何れか一つでも満たさない場合は、追跡ラベル領域の人らしさを０とする。

【0048】

次に、画像処理部４の判定部４ｄにより侵入者判定処理を実行する（ＳＴ８）。侵入者判定処理では、ＳＴ７の特徴量算出処理で求めた侵入者を判定するための特徴量を用い、予め定められた判定条件に従って追跡ラベル領域が侵入者か否かの判定を行う。例えば追跡ラベル領域の人らしさを１フレーム毎に算出し、判定条件として、変化領域の出現時刻からの人らしさの累積値が閾値以上で、かつ移動量も閾値以上のときに、追跡ラベル領域が侵入者であると判定する。その際の閾値は、予め記憶部３に記憶されている。

【0049】

なお、図３のフローチャートにおいて、ループ１はＳＴ２〜ＳＴ８の各処理を１フレームの画像取得毎に実行することを意味し、ループ２はＳＴ７〜ＳＴ８の各処理をラベル領域の数だけ実行することを意味している。

【0050】

（ノイズ除去処理の詳細について）
次に、図３のフローチャートにおいて、画像処理部４のノイズ除去手段１５が実行するノイズ除去処理について図４を参照しながら説明する。このノイズ除去処理によりノイズ抽出と判定されたラベル領域については抽出されていないものとして除去され、図３におけるＳＴ７の特徴量算出処理以降の処理は行われない。

【0051】

ノイズ除去手段１５は、ＳＴ４のラベリング処理が行われると、現在時刻の状況に応じてノイズ判定閾値を設定する処理を実行する。すなわち、この処理では、まず、現在時刻が補正値を更新した直後の期間内か否か、すなわちシャッタを閉から開に切り替えた直後の第一取得後期間Ｔ１内か否かを判別する（ＳＴ１１）。なお、本実施形態では、第一取得後期間Ｔ１を１秒として、予め記憶部３に記憶していることとする。そして、現在時刻がシャッタを閉から開に切り替えた第一取得後期間Ｔ１内であると判定すると（ＳＴ１１−Ｙｅｓ）、ノイズ判定閾値を基準値である第一閾値Ｓ１よりも大きい値の第二閾値Ｓ２に設定し、記憶部３に記憶する（ＳＴ１２）。なお、本実施形態では、第一閾値Ｓ１を２０として、予め記憶部３に記憶していることとする。また、第二閾値Ｓ２は、第一閾値よりも２倍大きい値（４０）となるよう設定されていることとする。

【0052】

本処理について、図２を用いて具体的に説明する。図２（ａ）は、移動物体や温度変化する物体の存在しない監視空間を撮像したときにおける監視画像について、当該監視画像のある画素に着目したときの画素値の時間的な変化を表すグラフである。図２（ａ）における塗りつぶし領域の時間帯はシャッタが閉状態である期間を表し、それ以外の時間帯はシャッタが開状態である期間をあらわしている。図２（ａ）に表すように、監視画像のある画素値は、時間の経過とともに徐々に変化（温度ドリフト）していることがわかる。また、シャッタが閉状態から開状態となる度に、画素値が急激に変化していることがわかる。これは、シャッタによって新たに取得した補正値によってオフセット補正を行った結果、温度ドリフト分の出力が補正されていることを意味する。このように、補正値を更新する前後においては、画素値に出力差（段差）がみられ、当該出力差を抽出部４ａが温度変化とみなして誤抽出することにより、ノイズ抽出が生じることになる。

【0053】

図２（ｂ）は、ノイズ除去手段１５のノイズ除去処理に用いられるノイズ判定閾値の時間的な変化を表すグラフである。図２（ｂ）に表すように、シャッタが閉状態となって新たな補正値を取得した直後の所定期間である第一取得後期間Ｔ１においては、ノイズ判定閾値を基準値であるＳ１から、Ｓ１よりも大きいＳ２に変更していることがわかる。

【0054】

このように、ノイズ除去手段１５は、第一取得後期間Ｔ１の間は基準値である第一閾値Ｓ１よりも大きな値の第二閾値Ｓ２をノイズ判定閾値として設定し、後述するノイズ除去処理を行う。これにより、シャッタ前後で画素値が大きく変動して大きめのノイズ抽出が生じるような場合であったとしても、これら大きめのノイズ抽出を大きめのノイズ判定閾値を用いて除去することができ、ノイズ抽出による人物の誤検出を抑制することができる。

【0055】

次に、ノイズ除去手段１５は、ＳＴ１１において、現在時刻がシャッタを閉から開に切り替えた第一取得後期間Ｔ１内でないと判定すると（ＳＴ１１−Ｎｏ）、現在時刻が第一取得後期間Ｔ１後の所定期間である第二取得後期間Ｔ２内か否かを判別する（ＳＴ１３）。なお、本実施形態では、第二取得後期間Ｔ１を１秒として、予め記憶部３に記憶していることとする。そして、現在時刻が第二取得後期間Ｔ２内であると判定すると（ＳＴ１３−Ｙｅｓ）、ノイズ判定閾値を第一取得後期間Ｔ１からの経過時間に応じて第二閾値Ｓ２を変更する（ＳＴ１４）。具体的には、図２（ｂ）に表すように、第二閾値Ｓ２から第一閾値Ｓ１へ近づく値となるように第一取得後期間Ｔ１からの経過時間に応じて第二閾値Ｓ２を経時的に減少させた値に変更する。

【0056】

一般的に補正値更新に伴う画素値の変動は、補正値を更新した直後（すなわちシャッタ直後）にのみ発生するものの、場合によってはその変動の影響が残り、大きめのノイズ抽出が多く発生する状況が一定期間継続することがある。例えば、変化領域を抽出するための基準画像は、監視領域の環境変化に適応（追従）するよう、直近に取得した熱画像の画素値を加重平均するなどして、徐々に更新させる方法が用いられる場合がある。この場合、補正値の更新直後における画素値の変動に対して、基準画像の画素値は緩やかに更新されていくため大きめのノイズ抽出の発生しやすい状況が一定期間継続することになる。また、上記例の場合以外にも、オフセット補正処理の実装方法に起因して、大きめのノイズ抽出が多く発生する状況が一定期間継続することがある。補正値の更新を行うと、補正値更新の前後で、画素値や補正値がステップ関数状に変化する。アナログ回路上で補正処理を実行しているような場合、回路の周波数特性によっては、アナログ信号がこのようなステップ関数状の変化に追従できず、周波数特性に応じた所定期間の間、画素値や補正値が不安定に変動することがある。このため前記所定期間の間は、大きめのノイズ抽出が多く発生する状況が継続することがある。これらの影響は、補正値更新からの時間が経過するにつれて、徐々に少なくなっていく。

【0057】

このように、一般的に補正値更新に伴う画素値変動による大きめのノイズ抽出は、シャッタにより新たな補正値を取得した直後に多く発生し、時間の経過とともに徐々に少なくなっていく傾向が見られる。そこで、現在時刻（すなわち、ラベル抽出手段１４にてラベル領域を抽出した時刻）が第一取得後期間Ｔ１の経過後の期間である第二取得後期間Ｔ２の間は、第二閾値Ｓ２から徐々に第一閾値Ｓ１に戻るよう経時的に減少させた値をノイズ判定閾値として設定し、後述するノイズ除去処理を行う。これにより、補正値を更新した直後から一定期間継続して発生するノイズ抽出を効果的に除去することができる。

【0058】

なお、第二閾値Ｓ２の大きさを、前回補正値を取得した時点におけるセンサ温度と、今回新たに補正値を取得した時点におけるセンサ温度との温度差に応じて変更させてもよい。すなわち、ＳＴ１２とＳＴ１４において、第二閾値Ｓ２をノイズ判定閾値として設定する際、補正手段１２にて前回補正値を取得した時点と今回補正値を取得した時点とにおいてセンサ温度取得手段１３が取得するセンサ１１の温度差が大きいほど、第二閾値Ｓ２の値が大きい値となるよう調整し、この調整した第二閾値Ｓ２をノイズ判定閾値として設定することもできる。

【0059】

一般的に、前回補正値を取得した時点におけるセンサ温度と今回補正値を取得した時点におけるセンサ温度との温度差が大きいほど、補正値更新期間において受けた外乱の影響が大きいと考えられる。そのため、このような温度差が大きい場合、補正値を更新する直前におけるセンサの出力値には、当該外乱の影響が加わった大きめの誤差が含まれていると考えられる。そして、更新した補正値を用いたオフセット補正によって、このような大きめの誤差を補正することができるものの、結果として補正値の更新前後において、画素値により一層大きな出力変動が生じやすくなり、大きめのノイズ抽出がより多発しやすくなる。したがって、通常のノイズ判定閾値を用いてノイズ除去を行っただけでは除去しきれないノイズ抽出が残る恐れがある。そこで、上記構成により、センサ内部の温度差が大きいときにはノイズ判定閾値を大きめに設定することによって、より好適にノイズ除去を行うことができる。

【0060】

次に、ＳＴ１３において、現在時刻が第一取得後期間Ｔ１後の第二取得後期間Ｔ２内でないと判定すると（ＳＴ１３−Ｎｏ）、ノイズ判定閾値を基準値である第一閾値Ｓ１に設定する（ＳＴ１５）。

【0061】

次に、上述したノイズ判定閾値を設定する処理が完了すると、注目するラベル領域を一つ選択し（ＳＴ１６）、そのラベル領域が予め定めた監視画像の画像外周領域に位置するか否かを判定する（ＳＴ１７）。具体的には、ラベル領域が監視画像端から１０ピクセルの距離以内の領域に含まれていれば、そのラベル領域が画像外周領域にあると判定する。そして、ラベル領域が画像外周領域に位置すると判定されると、ＳＴ１１〜ＳＴ１５における処理にて設定されたノイズ判定閾値を予め定めた割合（本実施形態では１．５倍とする）だけ大きい値に変更し（ＳＴ１８）、ラベル領域の面積（画素数）が当該変更されたノイズ判定閾値以下であるか否かを判定する（ＳＴ１９）。これに対し、注目するラベル領域が画像外周領域に位置しないと判定されると、そのままＳＴ１９の処理に移行する。なお、本実施形態では、ＳＴ１５にてノイズ判定閾値がＳ１（１０）と設定されたときに、ラベル領域が画像外周領域に位置していた場合、Ｓ１よりも１．５倍大きい値（１５）にノイズ判定閾値を更新する。また、ＳＴ１２にてノイズ判定閾値がＳ２（２０）と設定されたときに、ラベル領域が画像外周領域に位置していた場合、Ｓ２よりも１．５倍大きい値（３０）にノイズ判定閾値を更新する。

【0062】

上記のように本実施形態では、監視画像の画像外周領域を監視画像端から１０ピクセルの距離以内の領域として予め記憶部３に記憶している。これは、画像外周領域が光学系のレンズの収差の影響などによって画像中央領域と比較してＳＮ比が小さい領域であることを考慮して予め設定されたものである。このようなＳＮ比が小さい領域では、補正値更新直後に抽出ピクセル数の大きいノイズ抽出が発生しやすい。そこで、注目するラベル領域の画面上での座標位置を利用して、当該ラベル領域が画像外周領域に位置するか否かを判定し、画像外周領域に位置すると判定されたラベル領域についてはＳＴ１１〜ＳＴ１５における処理にて設定されたノイズ判定閾値から所定の割合だけ大きい値の閾値をノイズ判定閾値として更新し、このノイズ判定閾値以下のラベル領域をノイズ抽出として除去している。これにより、監視画像において特に大きめのノイズ抽出が発生し易い領域（ＳＮ比の小さい領域）における誤検出を抑制できるとともに、それ以外の領域における失検出を抑制することができる。

【0063】

なお、本実施形態では、監視画像端からの距離に基づいてノイズ抽出の出やすい領域（ＳＮ比が小さい領域）を規定している。しかし、ノイズ抽出の出やすい領域の規定方法としては、これに限らず、例えば、予め画素ごとにＳＮ比を評価して、ＳＮ比が一定値以下の領域を当該領域と定めておく方法などが考えられる。具体的には、まず、均一な温度物体を一定期間撮影したときの画素値の時間的変動量を求める。そして、異なる温度の均一な温度物体を見た時の画素値の差分値を求める。前者は画素ごとのノイズ成分に、後者は同じ温度変化に対する画素ごとの出力値変化量に相当するため、後者を前者で除算することにより、画素ごとのＳＮ比を求めることができる。そして、ＳＮ比が所定値以下の画素の領域をノイズの出やすい領域として記憶部３に記憶させておく方法を用いてもよい。

【0064】

そして、ＳＴ１９において、ラベル領域の面積がノイズ判定閾値以下であると判定すると、そのラベルをノイズ抽出として除去し（ＳＴ２０）、ループ３に移行する。これに対し、ラベル領域の面積がノイズ判定閾値以下でないと判定すると、そのラベル領域はノイズ抽出ではなく有効なラベルとして記憶部３に保存され、ループ３に移行する。

【0065】

なお、図４のフローチャートにおいて、ループ３はＳＴ１６〜ＳＴ２０の各処理をラベル領域の数だけ実行することを意味している。また、ＳＴ１７，ＳＴ１８の処理に関しては、必要に応じて選択処理が可能であり、これらの処理を削除することもできる。

【0066】

ところで、本発明は、上記実施形態に限定されるものではなく、特許請求の範囲に記載した技術的思想の範囲内で、更に種々の異なる実施形態で実施されてもよいものである。また、実施形態に記載した効果は、これに限定されるものではない。

【符号の説明】

【0067】

１ 画像監視装置
２ 撮像部
３ 記憶部
４ 画像処理部
４ａ 抽出部
４ｂ 追跡部
４ｃ 特徴量算出部
４ｄ 判定部
１１ センサ
１２ 補正手段
１３ センサ温度取得手段
１４ ノイズ抽出手段
１５ ノイズ除去手段

【図1】

【図2】

【図3】

【図4】