(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-09-30
(45)【発行日】2022-10-11
(54)【発明の名称】火災検知装置及び火災検知方法
(51)【国際特許分類】
G08B 17/10 20060101AFI20221003BHJP
【ＦＩ】
G08B17/10 F
【請求項の数】
2
(21)【出願番号】P 2021078307
(22)【出願日】2021-05-06
(62)【分割の表示】P 2017166980の分割
【原出願日】2017-08-31
(65)【公開番号】P2021119523
(43)【公開日】2021-08-12
【審査請求日】2021-06-02
(73)【特許権者】
【識別番号】000003403
【氏名又は名称】ホーチキ株式会社
(74)【代理人】
【識別番号】100079359
【弁理士】
【氏名又は名称】竹内 進
(72)【発明者】
【氏名】門馬 英一郎
(72)【発明者】
【氏名】根本 雅彦
(72)【発明者】
【氏名】江幡 弘道
【審査官】西巻 正臣
(56)【参考文献】
【文献】特開２０１７－０７６３０４（ＪＰ，Ａ）
【文献】特開２００６－２３８１２４（ＪＰ，Ａ）
【文献】天野潤平、木村駿太、門馬英一郎，L-48モルフォロジカルな特徴を用いた画像からの煙検知に関する基礎的検討，日本大学理工学部学術講演会予稿集，日本，日本大学理工学部，2016年12月03日，平成28年度（第60回），996-997，https://www.cst.nihon-u.ac.jp/research/gakujutu/60/pdf/L-48.pdf
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ１／００－１／４０
３／００－７／９０
Ｇ０６Ｖ１０／００－２０／９０
３０／４１８
４０／１６
４０／２０
Ｇ０８Ｂ１７／００－１７／１２
２３／００－３１／００
Ｈ０４Ｎ７／１８
(57)【特許請求の範囲】
【請求項1】
監視領域を撮像した画像を出力する撮像手段と、前記撮像手段から出力された前記画像を必要に応じてグレースケール化して入力する画像入力手段と、
前記画像入力手段で入力された画像からトップハット処理により画像中の濃度の稜線を強調した稜線濃度強調画像を生成する稜線濃度強調手段と、
前記撮像手段により撮像された煙が発生していない状態の画像を前記画像入力手段により必要に応じてグレースケール化して前記稜線濃度強調手段により生成された稜線濃度強調画像である固定背景画像と、前記稜線濃度強調手段により生成された前記稜線濃度強調画像との差分の絶対値をとった差分画像を生成する差分画像生成手段と、
前記差分画像生成手段で生成された前記差分画像から背景差分により前景画像を抽出する前景画像抽出手段と、
前記前景画像に基づいて火災を判定する火災判定手段と、
を設け、
前記稜線濃度強調手段は、前記トップハット処理として、前記入力された画像の各画素を注目画素とし、所定の円形フィルタ内に位置する参照範囲の中で最も小さい画素値を前記注目画素の画素値と置き換える収縮処理を所定回数行った後に、前記参照範囲の中で最も大きい画素値を前記注目画素の画素値と置き換える膨張処理を同じ回数行なって生成した画像と前記入力された元の画像との差分をとって前記稜線濃度強調画像を生成することを特徴とする火災検知装置。
【請求項2】
撮像手段により、監視領域を撮像した画像を出力し、画像入力手段により、前記撮像手段から出力された前記画像を必要に応じてグレースケール化して入力し、
稜線濃度強調手段により、前記画像入力手段で入力された画像からトップハット処理により画像中の濃度の稜線を強調した稜線濃度強調画像を生成し、
差分画像生成手段により、前記撮像手段により撮像された煙が発生していない状態の画像を前記画像入力手段により必要に応じてグレースケール化して前記稜線濃度強調手段により生成された稜線濃度強調画像である固定背景画像と、前記稜線濃度強調手段により生成された前記稜線濃度強調画像との差分の絶対値をとった差分画像を生成し、
前景画像抽出手段により、前記差分画像生成手段で生成された前記差分画像から背景差分により前景画像を抽出し、
火災判定手段により、前記前景画像に基づいて火災を判定し、
前記稜線濃度強調手段の前記トップハット処理として、前記入力された画像の各画素を注目画素とし、所定の円形フィルタ内に位置する参照範囲の中で最も小さい画素値を前記注目画素の画素値と置き換える収縮処理を所定回数行った後に、前記参照範囲の中で最も大きい画素値を前記注目画素の画素値と置き換える膨張処理を同じ回数行なって生成した画像と前記入力された元の画像との差分をとって前記稜線濃度強調画像を生成することを特徴とする火災検知方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、カメラで撮像した監視領域の画像から火災による煙を検知する火災検知装置及び火災検知方法に関する。
【背景技術】
【0002】
従来、火災の検知には感知器周辺の煙の濃度を利用して煙を検知する光電式スポット型感知器を用いるが、初期火災や炎を伴わないくん焼火災では火源の熱量が小さく、発生した煙が天井等の高所に設置された感知器に届く前に滞留してしまい、早期検知することが難しい。
【0003】
そこで、画像からの煙検知として、様々な場所に設置されている監視カメラを利用できれば、火災を早期検知できると考えられ、監視カメラで撮像した監視領域の画像に対し画像処理を施すことにより、火災を検知するようにした様々な装置やシステムが提案されている。
【0004】
このため従来装置（特許文献１）にあっては、画像から火災に伴う煙により起きる現象として、透過率又はコントラストの低下、輝度値の特定値への収束、輝度分布範囲が狭まって輝度の分散の低下、煙による輝度の平均値の変化、エッジの総和量の低下、低周波帯域の強度増加を導出し、これらを総合的に判断して煙の検出を可能としている。
【先行技術文献】
【特許文献】
【0005】
【文献】特開２００８－０４６９１６号公報
【文献】特開平７－２４５７５７号公報
【文献】特開２０１０－２３８０２８号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、このような従来の火災に伴う煙の画像から火災を検知する火災検知システムにあっては、監視カメラで撮像した画像全体を処理して煙による特徴的な変化を検知して火災を判断しており、画像全体から火災を判断するための処理負担が増加して処理に時間がかかるという問題がある。
【0007】
また、監視カメラを利用した煙検知では、火災を早期に検知することが重要になるが、初期火災における煙は半透明であり、状況によりその濃度も揺らぎつつ変化することから、一般物体の画像認識処理と同等に扱うことが難しいという問題が残されている。
【0008】
本発明は、監視カメラで撮像した画像の中のくん焼火災や火災初期に発生する煙を確実に捉えて火災判断を可能とする火災検知装置及び火災検知方法を提供することを目的とする。
【課題を解決するための手段】
【0009】
（火災検知装置）
本発明は、火災検知装置に於いて、
監視領域を撮像した画像を出力する撮像手段と、
撮像手段から出力された画像を必要に応じてグレースケール化して入力する画像入力手段と、
画像入力手段で入力された画像からトップハット処理により画像中の濃度の稜線を強調した稜線濃度強調画像を生成する稜線濃度強調手段と、
撮像手段により撮像された煙が発生していない状態の画像を画像入力手段により必要に応じてグレースケール化して稜線濃度強調手段により生成された稜線濃度強調画像である固定背景画像と、稜線濃度強調手段により生成された稜線濃度強調画像との差分の絶対値をとった差分画像を生成する差分画像生成手段と、
差分画像生成手段で生成された差分画像から背景差分により前景画像を抽出する前景画像抽出手段と、
前景画像に基づいて火災を判定する火災判定手段と、
を設けたことを特徴とする。
本発明は、火災検知装置に於いて、
監視領域を撮像した画像を出力する撮像手段と、
撮像手段から出力された画像を必要に応じてグレースケール化して入力する画像入力手段と、
画像入力手段で入力された画像からトップハット処理により画像中の濃度の稜線を強調した稜線濃度強調画像を生成する稜線濃度強調手段と、
撮像手段により撮像された煙が発生していない状態の画像を画像入力手段により必要に応じてグレースケール化して稜線濃度強調手段により生成された稜線濃度強調画像である固定背景画像と、稜線濃度強調手段により生成された稜線濃度強調画像との差分の絶対値をとった差分画像を生成する差分画像生成手段と、
差分画像生成手段で生成された差分画像から背景差分により前景画像を抽出する前景画像抽出手段と、
前景画像に基づいて火災を判定する火災判定手段と、
を設けたことを特徴とする。
【0010】
（トップハット処理）
稜線濃度強調手段は、トップハット処理として、入力された画像の各画素を注目画素とし、所定の円形フィルタ内に位置する参照範囲の中で最も小さい画素値を注目画素の画素値と置き換える収縮処理を所定回数行った後に、参照範囲の中で最も大きい画素値を注目画素の画素値と置き換える膨張処理を同じ回数行なって生成した画像と入力された元の画像との差分をとって稜線濃度強調画像を生成させる。
稜線濃度強調手段は、トップハット処理として、入力された画像の各画素を注目画素とし、所定の円形フィルタ内に位置する参照範囲の中で最も小さい画素値を注目画素の画素値と置き換える収縮処理を所定回数行った後に、参照範囲の中で最も大きい画素値を注目画素の画素値と置き換える膨張処理を同じ回数行なって生成した画像と入力された元の画像との差分をとって稜線濃度強調画像を生成させる。
【0014】
本発明の火災検知方法による特徴は、前述した火災検知装置の場合と基本的に同じになることから、その説明を省略する。
【発明の効果】
【0015】
（基本的な効果）
本発明は、火災検知装置に於いて、監視領域を撮像した画像を出力する撮像手段と、撮像手段から出力された画像を必要に応じてグレースケール化して入力する画像入力手段と、画像入力手段で入力された画像からトップハット処理により画像中の濃度の稜線を強調した稜線濃度強調画像を生成する稜線濃度強調手段と、撮像手段により撮像された煙が発生していない状態の画像を画像入力手段により必要に応じてグレースケール化して稜線濃度強調手段により生成された稜線濃度強調画像を固定背景画像と、稜線濃度強調手段により生成された稜線濃度強調画像との差分の絶対値をとった差分画像を生成する差分画像生成手段と、差分画像生成手段で生成された差分画像から背景差分により前景画像を抽出する前景画像抽出手段と、前景画像に基づいて火災を判定する火災判定手段とが設けられたため、くん焼火災や火災初期に発生する煙は、火源を起点として煙の粒子が熱により上昇しているため、半透明な円柱状の物体が揺らぎながら上方へ伸びていくモデルが考えられ、従ってこのモデルを水平方向から見ると、煙の中心線が濃度の稜線となり、そこでトップハット処理を用いて画像中の濃度の稜線を強調した画像から煙を含む前景画像を確実に抽出可能とする。
本発明は、火災検知装置に於いて、監視領域を撮像した画像を出力する撮像手段と、撮像手段から出力された画像を必要に応じてグレースケール化して入力する画像入力手段と、画像入力手段で入力された画像からトップハット処理により画像中の濃度の稜線を強調した稜線濃度強調画像を生成する稜線濃度強調手段と、撮像手段により撮像された煙が発生していない状態の画像を画像入力手段により必要に応じてグレースケール化して稜線濃度強調手段により生成された稜線濃度強調画像を固定背景画像と、稜線濃度強調手段により生成された稜線濃度強調画像との差分の絶対値をとった差分画像を生成する差分画像生成手段と、差分画像生成手段で生成された差分画像から背景差分により前景画像を抽出する前景画像抽出手段と、前景画像に基づいて火災を判定する火災判定手段とが設けられたため、くん焼火災や火災初期に発生する煙は、火源を起点として煙の粒子が熱により上昇しているため、半透明な円柱状の物体が揺らぎながら上方へ伸びていくモデルが考えられ、従ってこのモデルを水平方向から見ると、煙の中心線が濃度の稜線となり、そこでトップハット処理を用いて画像中の濃度の稜線を強調した画像から煙を含む前景画像を確実に抽出可能とする。
【0016】
また、煙のない状態での固定背景画像とトップハット処理で生成した稜線濃度強調画像との差分の絶対値をとった差分画像を生成することにより、固定背景画像と濃淡の差が大きい箇所は白く、小さい箇所は黒くなるグレースケール画像が生成され、このように差分をとることで濃淡の変化が大きい箇所をより強調し、次に行う背景差分で背景モデルを適切に生成することができ、適切な前景画像を抽出することができる。
【0017】
（トップハット処理による効果）
また、稜線濃度強調手段は、トップハット処理として、入力された画像の各画素を注目画素とし、所定の円形フィルタ内に位置する参照範囲の中で最も小さい画素値を注目画素の画素値と置き換える収縮処理を所定回数行った後に、参照範囲の中で最も大きい画素値を注目画素の画素値と置き換える膨張処理を同じ回数行なって生成した画像と入力された元の画像との差分をとって稜線濃度強調画像を生成させるようにしたため、トップハット処理はモルフォロジー演算の一つであり、モルフォロジー演算はグレースケール画像の全画素について注目し、注目画素の画素値と注目画素の近くの画素値を参照し、その中で最も大きい画素値を注目画素の画素値と置き換える処理を膨張処理、同様に最も小さい画素値と置き換える処理を収縮処理とし、所定回数収縮した後に同じ回数膨張させた画像と原画像との差分をとる処理により、グレースケール画像における煙による濃度の稜線を強調させることができる。また、円形フィルタ内に位置する参照範囲で収縮処理及び膨張処理を行うことで、ノイズの強調を抑えつつ煙の稜線を十分に強調して稜線濃度強調画像を生成することができる。
また、稜線濃度強調手段は、トップハット処理として、入力された画像の各画素を注目画素とし、所定の円形フィルタ内に位置する参照範囲の中で最も小さい画素値を注目画素の画素値と置き換える収縮処理を所定回数行った後に、参照範囲の中で最も大きい画素値を注目画素の画素値と置き換える膨張処理を同じ回数行なって生成した画像と入力された元の画像との差分をとって稜線濃度強調画像を生成させるようにしたため、トップハット処理はモルフォロジー演算の一つであり、モルフォロジー演算はグレースケール画像の全画素について注目し、注目画素の画素値と注目画素の近くの画素値を参照し、その中で最も大きい画素値を注目画素の画素値と置き換える処理を膨張処理、同様に最も小さい画素値と置き換える処理を収縮処理とし、所定回数収縮した後に同じ回数膨張させた画像と原画像との差分をとる処理により、グレースケール画像における煙による濃度の稜線を強調させることができる。また、円形フィルタ内に位置する参照範囲で収縮処理及び膨張処理を行うことで、ノイズの強調を抑えつつ煙の稜線を十分に強調して稜線濃度強調画像を生成することができる。
【0018】
（混合正規分布を用いた背景差分法による効果）
また、前景画像抽出手段は、差分画像生成手段により生成された所定時間分の複数の差分画像に基づき、各画素の時間的な変化のヒストグラムを混合正規分布として生成し、混合正規分布を用いた背景差分により前景画像を抽出するしたため、トップハット処理により生成された差分画像の各画素を一定時間観察し、画素値の時間的変化から、各画素における画素値の変化が背景である確率を学習し、学習した確率はそれぞれ正規分布をモデルとしており、各画素の背景である確率分布はそれらの正規分布を合成した混合正規分布となり、その確率分布から現在のフレームの各画素が背景であるか、前景であるかを判断し、煙が含まれる前景画像を確実に抽出することができる。
また、前景画像抽出手段は、差分画像生成手段により生成された所定時間分の複数の差分画像に基づき、各画素の時間的な変化のヒストグラムを混合正規分布として生成し、混合正規分布を用いた背景差分により前景画像を抽出するしたため、トップハット処理により生成された差分画像の各画素を一定時間観察し、画素値の時間的変化から、各画素における画素値の変化が背景である確率を学習し、学習した確率はそれぞれ正規分布をモデルとしており、各画素の背景である確率分布はそれらの正規分布を合成した混合正規分布となり、その確率分布から現在のフレームの各画素が背景であるか、前景であるかを判断し、煙が含まれる前景画像を確実に抽出することができる。
【0019】
（前景画像の加算合成による効果）
また、前景画像抽出手段は、所定時間の間に抽出された複数の前景画像を加算した前景加算画像を生成し、火災判定手段は、前景加算画像に基づいて火災を判断するようにしたため、現在の入力画像からの直近となる例えば１秒間に生成した前景画像を加算することで、前景画像に含まれる煙の稜線画像が更に強調され、煙の稜線画像に基づく火災の判断をより正確に行うことが可能となる。
また、前景画像抽出手段は、所定時間の間に抽出された複数の前景画像を加算した前景加算画像を生成し、火災判定手段は、前景加算画像に基づいて火災を判断するようにしたため、現在の入力画像からの直近となる例えば１秒間に生成した前景画像を加算することで、前景画像に含まれる煙の稜線画像が更に強調され、煙の稜線画像に基づく火災の判断をより正確に行うことが可能となる。
【0020】
（ガウシアンピラミッドによる解像度低下の効果）
また、画像入力手段は、更に、撮像手段で撮像された画像の解像度を所定値に低下して稜線濃度強調手段に入力するようにしたため、監視カメラで撮像されたカラー画像は、例えば１２８０×７２０ピクセルの解像度であるが、これをガウシアンピラミッドで複数スケールの画像を作成し、煙の変化が抽出されるスケールに注目してグレースケール化し、例えば１／４にスケール化して６４０×３６０ピクセルの解像度のグレースレール画像とし、１フレーム当りの画素数を低減することで、コンピュータ装置の演算処理時間を短縮し、監視カメラで撮像された動画入力に対し実時間処理で煙の稜線画像を生成して火災を判断可能とする。
また、画像入力手段は、更に、撮像手段で撮像された画像の解像度を所定値に低下して稜線濃度強調手段に入力するようにしたため、監視カメラで撮像されたカラー画像は、例えば１２８０×７２０ピクセルの解像度であるが、これをガウシアンピラミッドで複数スケールの画像を作成し、煙の変化が抽出されるスケールに注目してグレースケール化し、例えば１／４にスケール化して６４０×３６０ピクセルの解像度のグレースレール画像とし、１フレーム当りの画素数を低減することで、コンピュータ装置の演算処理時間を短縮し、監視カメラで撮像された動画入力に対し実時間処理で煙の稜線画像を生成して火災を判断可能とする。
【図面の簡単な説明】
【0021】
【図1】本発明の火災検知装置を設置した監視領域を示した説明図
【図2】検知対象とする煙モデルの説明図
【図3】画像処理装置の機能構成の概略を示したブロック図
【図4】ガウシアンピラミッドによるスケール化を示した説明図
【図5】トップハット処理の構造化要素として使用する円形フィルタを示した説明図
【発明を実施するための形態】
【0022】
［火災検知装置の概要］
図１は本発明による火災検知装置を設置した監視領域を透視して示した説明図である。
図１は本発明による火災検知装置を設置した監視領域を透視して示した説明図である。
【0023】
図１に示すように、監視領域１８には撮像手段として機能する監視カメラ１０と照明器具２０が設置され、監視カメラ１０により監視領域１８が撮像されている。
【0024】
監視カメラ１０は、上下、左右及び前後に仕切られた監視領域（監視空間）１８の例えば上部コーナの中央に設置され、その撮像光軸斜め下向きに配置して監視領域１８を全体的に撮像可能としている。
【0025】
監視カメラ１０は監視領域１８を動画撮影しており、撮影サイズは例えば１２８０×７２０ピクセルであり、毎秒３０フレーム又は毎秒６０フレームのフレーム速度でカラーのフレーム画像の連続からなる動画を出力する。
【0026】
監視領域１８に置かれたごみ入れ等の火源２２の可燃物が何らかの原因でくん焼火災が発生する状況となり、火源２２から煙２４が立ち上っている。監視カメラ１０により撮像された動画は伝送路を介して管理人室などに設置した画像処理装置１２に伝送され、画像処理によりごみ入れなどの火源２２から立ち上がっている煙２４を検知して火災を判断し、火災検知信号を火災報知設備１４に出力して火災警報を出力させる。
【0027】
［煙の検出原理］
本実施形態により煙を検知する原理を説明すると次のようになる。図２は検知対象とする煙モデルの説明図であり、図２（Ａ）に煙モデルを示し、図２（Ｂ）に水平方向から見た画素濃度の分布を示す。
本実施形態により煙を検知する原理を説明すると次のようになる。図２は検知対象とする煙モデルの説明図であり、図２（Ａ）に煙モデルを示し、図２（Ｂ）に水平方向から見た画素濃度の分布を示す。
【0028】
図１に示すように、くん焼火災や火災初期に発生する煙２４は、火源２２を起点として煙の粒子が熱により上昇しているため、図２（Ａ）に示すように、半透明な円柱状の物体が揺らぎながら上方へ伸びていく煙モデル３８が考えられる。従って、煙モデル３８をＸ－Ｘでは示す水平方向から見ると、煙モデル３８の中心線が濃度の稜線となる。そこで、本実施形態の画像処理装置１２は、画像中の濃度の稜線を強調することで、動画像から煙を抽出することとする。
【0029】
稜線の強調処理にはＳｏｂｅｌフィルタ等のエッジ抽出ではなく、モルフォロジー演算の一つであるトップハット処理を用いることとし、抽出処理には混合正規分布を用いた背景差分を使用する。
【0030】
［火災検知装置］
（火災検知装置の機能構成）
図３は本発明による火災検知装置の機能構成の概略を示したブロック図、図４はガウシアンピラミッドによるスケール化を示した説明図、図５はトップハット処理の構造化要素として使用する円形フィルタを示した説明図、図６は図５の画像処理装置で生成された煙を含む前景画像を示した説明図である。
（火災検知装置の機能構成）
図３は本発明による火災検知装置の機能構成の概略を示したブロック図、図４はガウシアンピラミッドによるスケール化を示した説明図、図５はトップハット処理の構造化要素として使用する円形フィルタを示した説明図、図６は図５の画像処理装置で生成された煙を含む前景画像を示した説明図である。
【0031】
図３に示すように、火災検知装置は、監視カメラ１０及び画像処理装置１２で構成される。画像処理装置１２は、そのハードウェアとしてＣＰＵ、メモリ、各種の入出力ポート等を備えたコンピュータ回路等で構成され、ＣＰＵによるプログラムの実行により実現される機能として、画像入力手段として機能する画像入力部２６、稜線濃度強調手段として機能する稜線濃度強調部２８、差分画像生成手段として機能する差分画像生成部３０、前景画像抽出手段として機能する前景画像抽出部３２、火災判定手段として機能する火災判定部３４及び制御部３６が設けられている。
【0032】
撮像手段として機能する監視カメラ１０は、制御部３６からの指示を受けて動作し、例えば毎秒３０フレーム又は毎秒６０フレームとなる監視領域のカラーの動画データを伝送し、画像処理装置１２に設けられた図示しないメモリに記憶する。
【0033】
（画像入力部）
画像入力部２６は監視カメラ１０からカラー動画のフレーム画像をグレースケール化して稜線濃度強調部２８に出力する。ここで、監視カメラで撮像されたカラーのフレーム画像のサイズは、例えば１２８０×７２０ピクセルの解像度であるが、画像入力部２６は、入力したフレーム画像に対しガウシアンピラミッドで複数スケールの画像を作成し、煙の変化が抽出されるスケールに注目してグレースケール化し、例えば図４に示すように、入力フレーム画像４０を１／４にスケール化して６４０×３６０ピクセルの解像度の１／４グレースケール画像４２を生成して稜線濃度強調部２８に出力する。
画像入力部２６は監視カメラ１０からカラー動画のフレーム画像をグレースケール化して稜線濃度強調部２８に出力する。ここで、監視カメラで撮像されたカラーのフレーム画像のサイズは、例えば１２８０×７２０ピクセルの解像度であるが、画像入力部２６は、入力したフレーム画像に対しガウシアンピラミッドで複数スケールの画像を作成し、煙の変化が抽出されるスケールに注目してグレースケール化し、例えば図４に示すように、入力フレーム画像４０を１／４にスケール化して６４０×３６０ピクセルの解像度の１／４グレースケール画像４２を生成して稜線濃度強調部２８に出力する。
【0034】
このような画像入力部２６による１／４グレースケール画像４２の生成により１フレーム当りの画素数を低減することで、コンピュータ回路を用いた画像処理装置１２の演算処理時間を短縮し、監視カメラ１０で撮像された動画入力に対し実時間処理で煙の稜線画像を生成して火災を判断可能とする。
【0035】
（稜線濃度強調部）
稜線濃度強調部２８は、画像入力部２６から入力されたグレースケールのフレーム画像毎に、トップハット処理により画像中の濃度の稜線を強調した稜線濃度強調画像を生成する。
稜線濃度強調部２８は、画像入力部２６から入力されたグレースケールのフレーム画像毎に、トップハット処理により画像中の濃度の稜線を強調した稜線濃度強調画像を生成する。
【0036】
稜線濃度強調部２８で用いるトップハット処理はモルフォロジー演算の一つであり、モルフォロジー演算はグレースケール画像の全画素について注目し、注目画素の画素値と注目画素の近くの画素値を参照し、その中で最も大きい画素値を注目画素の画素値と置き換える処理を膨張処理、同様に最も小さい画素値と置き換える処理を収縮処理とし、収縮処理を所定回数行なった後に膨張処理を同じ回数行なって生成された画像と元のグレースケール画像との差分をとる処理により、グレースケール画像における煙による濃度の稜線を強調させることができる。
【0037】
トップハット処理により入力画像を所定回数収縮させた後に同じ回数膨張させる場合に、注目画素に対し参照する画素の参照範囲は構造化要素とよばれる矩形、円形、十字形などの形状で定められるフィルタで決まり、処理対象に合わせた形状とサィズを用いることで様々な処理結果を得られる。
【0038】
本実施形態にあっては、最適な構造化要素のフィルタ形状とサイズを決定するため、フィルタ形状を矩形または円形とし、５×５ピクセル、２５×２５ピクセル、３５×３５ピクセルといった縦横奇数サイズとの組み合わせをいくつか試行している。
【0039】
ここで、円形フィルタ４６は、５×５を例にとると、図５に示すように、縦横５×５の正方形に内接する直径５ピクセルの円で決まる段付き円形となり、中心の注目画素４８の周囲を囲んで１２個の参照画素５０が存在する。
【0040】
試行の結果、矩形フィルタでは円形よりも多く煙の稜線を強調できているが、同時にノイズも多く強調しており、一方、円形フィルタでは矩形フィルタよりもノイズの強調が少なく、かつ煙の稜線は十分に強調できていたため、本実施形態にあっては、円形フィルタを採用することとし、最も良い結果となった、３１×３１ピクセルのサイズの円形フィルタを構造化要素に用いることを決定している。
【0041】
（差分画像生成部）
差分画像生成部３０は、装置の使用に先だち、監視領域１８に煙が発生していない状態で監視カメラ１０で撮像された画像に対し、画像入力部２６による１／４グレースケール画像の生成、及び、稜線濃度強調部２８のトップハット処理を用いて生成された稜線濃度強調画像を固定背景画像として予め記憶している。
差分画像生成部３０は、装置の使用に先だち、監視領域１８に煙が発生していない状態で監視カメラ１０で撮像された画像に対し、画像入力部２６による１／４グレースケール画像の生成、及び、稜線濃度強調部２８のトップハット処理を用いて生成された稜線濃度強調画像を固定背景画像として予め記憶している。
【0042】
この状態で、差分画像生成部３０は、稜線濃度強調部２８で生成された稜線濃度強調画像を入力する毎に、予め記憶している固定背景画像との差分の絶対値をとった差分画像を生成して前景画像抽出部３２に出力する。
【0043】
このように差分画像生成部３０で稜線濃度強調画像と固定背景画像との差分画像を生成することにより、固定背景画像と濃淡の差が大きい箇所は白く、小さい箇所は黒くなるグレースケール画像が生成され、次の前景画像抽出部３２で行う混合正規分布を用いた背景差分は、画素値の濃淡変化から背景モデルを生成するため、差分をとることで濃淡の変化の大きい箇所をより強調することができ、背景モデルが適切に生成できる。
【0044】
（前景画像抽出部）
前景画像抽出部３２は、差分画像生成部３０により生成された所定時間分の複数の差分画像に基づき、各画素の時間的な変化のヒストグラムを混合正規分布として生成し、混合正規分布を用いた背景差分により前景画像を抽出する。
前景画像抽出部３２は、差分画像生成部３０により生成された所定時間分の複数の差分画像に基づき、各画素の時間的な変化のヒストグラムを混合正規分布として生成し、混合正規分布を用いた背景差分により前景画像を抽出する。
【0045】
前景画像抽出部３２の混合正規分布を用いた背景差分による前景画像を抽出する背景差分法は、Ｚｉｖｋｏｖｉｃらによる手法であり、入力されたフレーム画像の各画素を一定時間観察し、画素値の時間的変化から、各画素における画素値の変化が背景である確率を学習する。学習した背景である確率はそれぞれ正規分布を背景モデルとしており、各画素の確率分布はそれらの正規分布を含成した混合正規分布となり、その分布確率から現在のフレームの各画素が背景であるか、前景であるかを判断し、前景を抽出する。
【0046】
即ち、混合正規分布を用いた背景差分法は、背景正規分布を基にした前景と背景の領域分割のアルゴリズムであり、背景に属する各画素を混合数Ｋが３～５の混合正規分布でモデル化する手法として知られている。特に、Ｚｉｖｋｏｖｉｃらによる手法では、画素毎に最適な混合数Ｋを選択する点に特徴がある。その処理は、差分画像の各画素につき画素値の濃淡変化から背景モデルを生成し、続いて、差分画像が入力する毎に、背景モデルを使用して前景領域のマスクを生成し、前景領域の画像を抽出する。
【0047】
本実施形態は、背景モデルを学習するフレーム数と正規分布の分散の値σ2についていくつか試行し、最も良い結果が得られたフレーム数は、毎秒６０フレームの場合は１５フレーム、毎秒３０フレームの場合は７フレームで、分散σ2＝６を用いた場合であった。
【0048】
ここで、フレーム数については、実際の動画から煙の塊が立ち上るのにかかるフレーム数と照明のちらつきの周期を予測し、５０Ｈｚ又は６０Ｈｚに対応した照明のちらつきの周期を含む長さで且つ煙の塊が立ち上がるのにかかるフレーム数により短くなるようなフレーム数を探し、その結果、毎秒６０フレームの場合は１５フレーム、毎秒３０フレームの場合は７フレームが得られている。
【0049】
また、前景画像抽出部３２は、所定時間の間、例えば現在の入力画像からの直近となる例えば１秒間に生成した前景画像を加算した前景加算画像を生成し、前景加算画像に基づいて次の火災判断部３４で火災を判断させるようにしても良い。このように現在の入力画像からの直近となる例えば１秒間に生成した前景画像を加算することで、前景画像に含まれる煙の稜線画像が更に強調され、煙の稜線画像に基づく火災の判断をより正確に行うことが可能となる。
【0050】
このような前景画像抽出部３２の処理により、例えば、図６に示すように、煙の稜線が強調された前景抽出画像を得ることができる。
【0051】
（火災判定部）
火災判定部３４は、図６に示すような煙の稜線が強調された前景画像を入力し、火災により発生した煙に固有な特徴から火災を判定し、火災検出信号を火災報知設備１４に送信して火災警報を出力させる。
火災判定部３４は、図６に示すような煙の稜線が強調された前景画像を入力し、火災により発生した煙に固有な特徴から火災を判定し、火災検出信号を火災報知設備１４に送信して火災警報を出力させる。
【0052】
火災判定部３４による火災の判断方法として、煙画像の累積値が所定の閾値以上となった場合に火災と判定する方法、煙画像の時系列変化から煙の上昇速度を求めて閾値速度以上となった場合に火災と判定する方法、煙が上方に広がる角度を検出して火災を判定する方法等、火災に固有な煙の様々な特徴を利用して火災を判定する。
【0053】
【0054】
図７に示すように、制御部３６はステップＳ１で監視カメラ１０で撮像された監視領域のカラー動画、即ちカラーのフレーム画像を画像入力部２６に読み込み、ステップＳ２で図４に示したようにガルシアンピラミッドにより１／４グレースケール化したフレーム画像を生成し、ステップＳ３で稜線濃度強調部２８に指示し、トップハット処理によりフレーム画像中の稜線を強調した稜線濃度強調画像を生成する。
【0055】
続いて、制御部３６はステップＳ４に進み、予め記憶した固定背景画像と入力した稜線濃度強調画像の画素の絶対値の差分による差分画像を生成し、前景画像抽出部３２に出力する。
【0056】
続いて、制御部３６はステップＳ５に進み、前景画像抽出部３２に指示し、差分画像に対して、混合正規分布を用いた背景差分により前景マスクを生成して前景画像を抽出し、ステップＳ６で直近の所定時間前からの前景画像を加算合成して前景加算画像を生成し、ステップＳ７で火災の煙に固有な特徴から火災を判定する。なお、ステップＳ６の前景加算画像の生成は必ずしも行う必要はなく、ステップＳ６の処理はスキップしても良い。
【0057】
続いて、制御部３６はステップＳ８に進み、煙ありを判別した場合はステップＳ９に進んで火災検出信号を火災報知設備１４に送信して火災警報又は火災予備警報（プリアラーム）を出力させる。また、制御部３６はステップＳ８で煙なしを判別した場合はステップＳ１に戻り、次のフレーム画像の処理を行う。
【0058】
〔本発明の変形例〕
(監視カメラ)
上記の実施形態は、カラー動画を出力する監視カメラを使用したため、画像入力部２６でカラーのフレーム画像をグレースケール画像に変換しているが、モノクロ動画を出力する監視カメラを使用した場合には、画像入力部におけるグレースケール化は不要となる。
(監視カメラ)
上記の実施形態は、カラー動画を出力する監視カメラを使用したため、画像入力部２６でカラーのフレーム画像をグレースケール画像に変換しているが、モノクロ動画を出力する監視カメラを使用した場合には、画像入力部におけるグレースケール化は不要となる。
【0059】
（ガウシアンピラミッドによるグレースケール化）
上記の実施形態は、監視カメラから入力したカラーのフレーム画像を、ガウシアンピラミッドで１／４グレースケール画像に変換して解像度を落としているが、画像処理装置１２に用いるコンピュータ回路の処理速度が十分に高い場合には、ガウシアンピラミッドでのスケール化は不要であり、グレースケール画像に変換するだけで良い。
上記の実施形態は、監視カメラから入力したカラーのフレーム画像を、ガウシアンピラミッドで１／４グレースケール画像に変換して解像度を落としているが、画像処理装置１２に用いるコンピュータ回路の処理速度が十分に高い場合には、ガウシアンピラミッドでのスケール化は不要であり、グレースケール画像に変換するだけで良い。
【0060】
（その他）
また、本発明は上記の実施形態に限定されず、その目的と利点を損なうことのない適宜の変形を含み、更に上記の実施形態に示した数値による限定は受けない。
また、本発明は上記の実施形態に限定されず、その目的と利点を損なうことのない適宜の変形を含み、更に上記の実施形態に示した数値による限定は受けない。
【符号の説明】
【0061】
１０：監視カメラ
１２：画像処理装置
１４：火災報知設備
１８：監視領域
２０：照明器具
２２：火源
２４：煙
２６：画像入力部
２８：稜線濃度強調部
３０：差分画像生成部
３２：前景画像抽出部
３４：火災判定部
３６：制御部
３８：煙モデル
４０：入力フレーム画像
４２：１／４グレースケール画像
４６：円形フィルタ
４８：注目画素
５０：参照画素
１２：画像処理装置
１４：火災報知設備
１８：監視領域
２０：照明器具
２２：火源
２４：煙
２６：画像入力部
２８：稜線濃度強調部
３０：差分画像生成部
３２：前景画像抽出部
３４：火災判定部
３６：制御部
３８：煙モデル
４０：入力フレーム画像
４２：１／４グレースケール画像
４６：円形フィルタ
４８：注目画素
５０：参照画素
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】