(58)【調査した分野】(Int.Cl.,DB名)
【背景技術】
【0002】
火災発生時の初期消火、あるいは火災事故における逃げ遅れの防止の観点から、火災あるいは煙の早期発見が非常に重要となっている。そこで、煙検出装置の分野においては、監視カメラにより撮像された画像に対して画像処理を施すことで、煙の早期発見を行うことが研究されている。
【0003】
その一例として、トンネル内などにカメラを設置し、カメラにより撮像された画像に対して画像処理を施すことで、煙を検出する従来の煙検出装置がある。煙を検出するための画像処理では、一般的に、基準となる画像(基準画像)をあらかじめ記憶しておき、最新の撮像画像と基準画像との差分画像を演算し、変化の生じた領域を抽出することで、煙を検出している(例えば、特許文献1参照)。
【0004】
また、日照などの影響により基準画像が時間的に変化することに対応するために、基準画像を定期的に更新することが行われている。
【0005】
このように、カメラにより撮像された画像に対して画像処理を施して煙検出を行うことで、次の2点のメリットが得られる。
1)監視カメラの画像を目視確認することで、遠隔地において煙検出状況の把握が可能となる。
2)すでに設置されている監視カメラを流用することが可能であり、効率的な設備を構築できる。
【発明を実施するための形態】
【0013】
以下、本発明の煙検出装置および煙検出方法の好適な実施の形態につき図面を用いて説明する。
【0014】
実施の形態1.
図1は、本発明の実施の形態1における煙検出装置の構成図である。本実施の形態1における煙検出装置は、画像メモリ10、前処理部20、および煙発生検出部30を備えている。画像メモリ10は、カメラ1により撮像された画像を、過去一定期間分、時系列データとして記憶できるように、複数フレーム分の画像メモリとして構成されている。
【0015】
前処理部20は、差分画像生成部21、同期性判定処理部22、および同期性画像生成部23で構成される。そして、この前処理部20は、画像メモリ10に記憶された、カメラ1により撮像された過去一定期間分の画像に基づいて、煙検出を行う際に使用する同期性画像を時系列に順次生成する機能を有している。
【0016】
また、煙発生検出部30は、判定値算出部31、および煙判定部32で構成される。そして、この煙発生検出部30は、前処理部20で時系列に順次生成された同期性画像に基づいて、煙の発生を検出するための判定値を算出し、算出結果に基づいて煙が発生しているか否かを判断する機能を有している。
【0017】
ここで、本願発明の検出原理について説明する。
日照変化や、水銀灯・ハロゲンライトのような光源によるゆっくりとした明るさの変化は、カメラ画像内の一定範囲に同期性のある輝度変化(暗から明、あるいは明から暗といった方向性を持つ輝度変化)を生じさせる。
【0018】
一方、煙が発生した場合においても、同様に、同期性のある輝度変化が発生する。しかしながら、煙が発生した場合には、同期性のある輝度変化領域の分布、および分布状態の経時変化において、日照や光源等による明るさの変化の場合とは異なる挙動が見られる。そこで、本願発明では、このような相違点に着目し、同期性の分布を定量的に解析することで算出した指標値に基づいて、照明変化等に代表される煙と誤判定するおそれのある要因を除外し、煙の存在を高精度に識別することを可能としている。
【0019】
次に、本実施の形態1の煙検出装置における前処理部20で実行される一連の画像処理内容について、
図2、
図3を用いて説明する。
図2は、本発明の実施の形態1における同期性判定処理部22による一連処理に関する説明図である。この
図2では、パターン1〜パターン3を例に、同期性判定処理部22による(a)〜(d)の一連処理の結果をまとめて示したものである。なお、詳細は、後述するが、パターン1は「同期性なし」、パターン2は「正の同期性あり」、パターン3は「負の同期性あり」として、最終的に同期性判定処理部22により判定された3種の同期性を例示している。
【0020】
また、
図3は、本発明の実施の形態1における同期性画像生成部23により生成される同期性画像に関する説明図である。この
図3では、取り込んだ画像に対して、同期性画像生成部23により生成される正同期性画像と負同期性画像をまとめて示したものである。そこで、これら
図2、
図3を参照しながら、ステップごとに、順に説明する。
【0021】
[ステップ1]差分画像の生成(
図2(a)参照)
差分画像生成部21は、画像メモリ10に記憶された、カメラ1により撮像された過去一定期間分の時系列画像に基づいて、最新画像と時系列的に1つ前の画像との差分画像を、順次生成する。ここで、各画素は、例えば、0〜255までの8ビット分の輝度値として表される。
【0022】
この差分画像の生成について、
図2(a)を用いて、詳細に説明する。
図2(a)は、注目画素である中央の画素と、それに隣接する4近傍画素(具体的は、上下左右に隣接している4つの画素に相当)の合計5つの画素に関するそれぞれの差分値を、パターン1〜パターン3について示している。例えば、上段のパターン1では、中央の画素の差分値が−5となっており、最新画像におけるこの中央の画素の輝度値が、時系列的に1つ前の画像における中央の画素の輝度値より「5」だけ減っていることを意味している。
【0023】
同様に、パターン1においては、4近傍画素のそれぞれの差分値が、上画素の差分値「−2」、右画素の差分値「10」、下画素の差分値「3」、左画素の差分値「7」として、それぞれ求まった場合を例示している。
【0024】
なお、注目画素である中央の画素と、それに隣接する4近傍画素の合計5つの画素に関する差分値のいずれかが0の場合は、その注目画素を同期性の判断対象から除外する。つまり、注目画素を含む5つの画素全てについて差分値が発生する場合についてのみ、注目画素の同期性を判断している。
【0025】
[ステップ2]4近傍画素の個々の乗算値の算出(
図2(b)参照)
次に、同期性判定処理部22は、先のステップ1で得られた差分画像について、画像を構成する画素ごとに、その4近傍の画素と中央の画素との差分値同士の乗算値を算出する。
【0026】
この乗算値の算出について、
図2(b)を用いて、詳細に説明する。
図2(a)に示した差分値に基づいて、中央の画素の差分値と、4近傍画素のそれぞれの差分値とを乗算した結果が、
図2(b)として示されている。すなわち、4近傍画素のそれぞれの差分値の符号と、中央の画素の差分値の符号が一致している場合には、乗算値の符号は+となり、符号が一致していない場合には、乗算値の符号は−となっている。
【0027】
[ステップ3]4近傍画素の個々の同期性判断(
図2(c)参照)
次に、同期性判定処理部22は、4近傍画素のそれぞれについて、ステップ2で算出された乗算値の符号が正の場合には、中央の注目画素との同期性があると判断し、ステップ2で算出された乗算値の符号が負の場合には、中央の注目画素との同期性がないと判断する。4近傍画素の個々の同期性判断結果が、
図2(c)に示されている。
【0028】
このように、同期性判定処理部22は、4近傍画素のそれぞれについて、中央の画素と同一の符号の方向に輝度値が変化している場合には、中央の画素と同期して輝度が変化している(すなわち、同期性あり)と判断している。また、同期性判定処理部22は、4近傍画素のそれぞれについて、中央の画素とは異なる符号の方向に輝度値が変化している場合には、中央の画素と同期せずに輝度が変化している(すなわち、同期性なし)と判断している。
[ステップ4]中央の注目画素の同期性判断(
図2(d)参照)
次に、同期性判定処理部22は、4近傍画素の個々の同期性の有無に基づいて、中央の注目画素の同期性を判断する。具体的には、同期性判定処理部22は、注目画素について、以下のような判断を行う。
・4近傍画素のうち、少なくとも1つが同期性なしと判断されている場合には、同期性がないと判断する。
・4近傍画素のすべてが同期性ありと判断され、かつ、自身の差分値が正の場合には、正の同期性があると判断する。
・4近傍画素のすべてが同期性ありと判断され、かつ、自身の差分値が負の場合には、負の同期性があると判断する。
このような中央の注目画素の同期性判断結果が、
図2(d)に示されている。
【0029】
[ステップ5]同期性画像の生成(
図3参照)
次に、同期性画像生成部23は、ステップ4により決定された注目画素のそれぞれに関する同期性判断結果に基づいて、同期性画像を生成する。具体的には、同期性画像生成部23は、同期性があると判定した注目画素を白、同期性がないと判定した注目画素を黒とした画像を、正の同期性と負の同期性のそれぞれで生成し、正同期性画像および負同期性画像とする。
【0030】
図3は、同期性画像生成部23によって生成される正同期性画像および負同期性画像の具体例を示している。
図3(a)は、時系列画像を示したものであり、明るい輝度を有する円形状の領域が、時間経過とともに、左から右に徐々に移動している状態を示している。このような時系列画像に対して、前処理部20により、上述したステップ1〜ステップ5の一連処理を実行することで、
図3(b)に示した正同期性画像と、
図3(c)に示した負同期性画像がそれぞれ生成される。
【0031】
すなわち、
図3(b)に示した正同期性画像は、輝度が明るくなる方向に同期して変化している画素を白として2値化した画像に相当する。また、
図3(c)に示した負同期性画像は、輝度が暗くなる方向に同期して変化している画素を白として2値化した画像に相当する。
【0032】
[ステップ6]正同期性画像および負同期性画像に基づく判定値算出処理
次に、煙発生検出部30内の判定値算出部31は、ステップ5で生成された正同期性画像および負同期性画像に基づいて、煙の発生の有無を判断するための判定値を算出する。具体的には、本実施の形態1における判定値算出部31は、まず始めに、正同期性画像および負同期性画像のそれぞれを、あらかじめ決められた複数のエリアに分割し、最新の一定期間(所定回数分)における両画像の時系列データに関し、それぞれの分割エリアごとに、以下の5つの判定値に基づく5つの指標値を算出する。
【0033】
[第1の判定値:煙が発生している可能性が高い領域を抽出する指標]
判定値算出部31は、正同期性画像のみの時系列画像、負同期性画像のみの時系列画像、そして正同期性画像および負同期性画像の両方の時系列画像について、白画素の継続回数があらかじめ決められた第1の所定回数以上である画素数を計数し、エリア内密度を算出し、第1の判定値とする。
【0034】
この第1の判定値は、煙判定の領域を抽出するための第1の指標値となる。すなわち、火災による煙は継続的に発生する特徴があるため、同期性のある領域は、継続的に存在すると考えられる。従って、少なくとも正同期性画像あるいは負同期性画像のいずれかにおいて、第1の判定値が、あらかじめ決められた第1の閾値以上である場合には、その領域は同期性のある画素が継続的に存在している領域であるとして、煙が発生している可能性がある領域として抽出することができる。
【0035】
[第2の判定値:ノイズの影響を除去する指標値]
判定値算出部31は、正同期性画像および負同期性画像の両方の時系列画像について、白画素の継続回数があらかじめ決められた第2の所定回数以下である画素数を計数し、エリア内の画素総数で除算することで、エリア内密度を算出し、第2の判定値とする。
【0036】
この第2の判定値は、ノイズの影響による誤判定を防止するための第2の指標値となる。すなわち、エリアごとに算出された第2の判定値であるエリア内密度が、あらかじめ決められた第2の閾値以上である場合には、その領域は、同期性のある画素が非常に少ない領域であると判断できる。従って、正同期性画像および負同期性画像の両方において、第2の判定値であるエリア内密度が第2の閾値以上である領域を、煙判定の対象領域から除外することで、誤判定要因の1つであるノイズの影響を除去することができる。
【0037】
[第3の判定値:日照変化、照明変化等と、煙を区別するための指標]
判定値算出部31は、正同期性画像および負同期性画像の両方の時系列画像について、白画素の継続回数があらかじめ決められた第3の所定回数以上である画素数を計数し、エリア内密度を算出し、第3の判定値とする。
【0038】
この第3の判定値は、日照変化、あるいは光源移動による明るさの変化などの影響による誤判定を防止するための第3の指標値となる。すなわち、日照変化、あるいは光源移動による明るさの変化が発生する場合には、「暗から明」または「明から暗」への一方向的な変化が生ずると考えられる。このため、同期性画像における一定期間内の白画素の出現状態をみると、正同期性画像、または負同期性画像のどちらか一方にのみ白画素が現れることとなる。
【0039】
一方、煙が発生した場合には、煙の流れにより生ずる明るさの濃淡があるため、正同期性画像と負同期性画像のどちらにも白画素が現れる。そこで、エリアごとに算出された第3の判定値であるエリア内密度が、あらかじめ決められた第3の閾値以上である場合には、その領域は、日照変化、あるいは光源移動による明るさの変化が発生した領域であると判断できる。従って、正同期性画像または負同期性画像のどちらか一方において、第3の判定値であるエリア内密度が第3の閾値以上である領域を、煙判定の対象領域から除外することで、誤判定要因の1つである明るさの変化の影響を除去することができる。なお、第3の判定値を用いるために使用した第3の所定回数は、第1の判定値を用いるために使用した第1の所定回数よりも大きい値として設定することとなる。
【0040】
[第4の判定値:照明点灯時と、煙を区別するための指標]
判定値算出部31は、正同期性画像、負同期性画像のそれぞれについて、白画像の重心位置の移動距離を算出し、第4の判定値とする。
【0041】
この第4の判定値は、光源点灯時の明るさ変動の影響による誤判定を防止するための第4の指標値となる。すなわち、光源のゆっくりとした点灯時には、明るさの変化は、ある一点を中心として広がるように生ずる傾向にある。このため、同期性画像に現れる白画素の重心位置は、ほとんど変化しない。
【0042】
一方、煙が発生した場合には、熱気流の流れに沿って明るさの濃淡がゆっくりと移動するため、同期性画像に現れる白画素の重心位置が変化することとなる。そこで、エリアごとに算出された第4の判定値である重心位置の距離が、あらかじめ決められた第4の閾値以下である場合には、その領域は、光源点灯時における明るさの変化が発生した領域であると判断できる。従って、正同期性画像または負同期性画像のどちらか一方において、第4の判定値である重心位置の距離が第4の閾値以下である領域を、煙判定の対象領域から除外することで、誤判定要因の1つである光源点灯時の明るさ変動の影響を除去することができる。
【0043】
[第5の判定値:煙以外の要因で発生する明るさ変動の影響を除去する指標値]
判定値算出部31は、所定回数分の時系列画像のそれぞれのエリアについて、すべての画素の差分値の合計を算出し、第5の判定値とする。
【0044】
この第5の判定値は、煙以外の要因で発生する明るさ変動の影響を除去するための第5の指標値となる。すなわち、煙による明るさの変化の差は、比較的少ないという特徴があり、第5の判定値が大きくなることはないと考えられる。そこで、エリアごとに算出された第5の判定値である時系列差分値の合計値が、あらかじめ決められた第5の閾値以上である場合には、その領域は、煙の影響による輝度変化が生じた領域ではないと判断できる。従って、第5の判定値が第5の閾値以上である領域を、煙判定の対象領域から除外することで、誤判定要因の1つである煙以外の要因による明るさ変動の影響を除去することができる。
【0045】
以上のようにして、判定値算出部31は、前処理部20により生成された、時系列の正同期性画像および負同期性画像に基づいて、第1から第5までの5つの判定値を算出することができる。そこで、煙判定部32は、これら5つの判定値に基づいて、第1の指標値により、煙判定を行う対象領域を特定するとともに、第2の指標値〜第5の指標値により、誤判定要因の領域を特定する。
【0046】
そして、煙判定部32は、第1の指標値に基づいて特定した領域から、第2の指標値〜第5の指標値に基づいて特定した領域を除外することで、誤判定要因を除外した高精度な煙検出処理を実現できる。煙判定部32による具体的な検出処理をまとめると、以下のような5つの条件を判断することとなる。
【0047】
[条件1]正同期性画像について算出された第1の判定値が、第1の閾値以上である領域を正同期性に基づく煙検出候補領域として抽出する。同様に、負同期性画像について算出された第1の判定値が、第1の閾値以上である領域を負同期性に基づく煙検出候補領域として抽出する(同期性に基づく煙検出候補領域の抽出)。
[条件2]正同期性画像について算出された第2の判定値が第2の閾値以上であり、かつ負同期性画像について算出された前記第2の判定値が第2の閾値以上である領域を第1の除外領域として特定する(ノイズの影響除去)。
[条件3]正同期性画像について算出された第3の判定値が第3の閾値以上である領域を正同期性に基づく第2の除外領域として特定する。同様に、負同期性画像について算出された第3の判定値が第3の閾値以上である領域を負同期性に基づく第2の除外領域として特定する(日照変化、照明変化等の影響除去)。
[条件4]正同期性画像について算出された第4の判定値が第4の閾値以下である領域を正同期性に基づく第3の除外領域として特定する。同様に、負同期性画像について算出された第4の判定値が第4の閾値以下である領域を負同期性に基づく第3の除外領域として特定する(照明点灯時の影響除去)。
[条件5]差分値に基づく第5の判定値が、第5の閾値以上である領域を第4の除外領域として特定する(煙以外の要因で発生する明るさ変動の影響除去)。
【0048】
そして、煙判定部32は、正同期性に基づく煙検出候補領域から、第1の除外領域、正同期性に基づく第2の除外領域、正同期性に基づく第3の除外領域、および第4の除外領域の4つからなる除外領域を除いた領域を正同期性に基づく煙検出領域として特定する。
【0049】
同様に、煙判定部32は、負同期性に基づく煙検出候補領域から、第1の除外領域、負同期性に基づく第2の除外領域、負同期性に基づく第3の除外領域、および第4の除外領域の4つからなる除外領域を除いた領域を負同期性に基づく煙検出領域として特定する。
【0050】
そして、最終的に、煙判定部32は、少なくとも正同期性に基づく煙検出領域および負同期性に基づく煙検出領域のいずれかに属する領域を、煙が発生した領域として特定することとなる。
【0051】
以上のように、実施の形態1によれば、時系列で取り込まれた複数の画像から、差分値の時系列変動に基づいて同期性画像を生成している。そして、差分値および同期性画像の時系列データに基づいて、煙発生領域を特定するとともに誤判定要因を除去するための複数の指標を算出する構成を備えている。この結果、同期性に着目することで、誤判定要因を除外した高精度な煙検出処理を実現できる煙検出装置および煙検出方法を得ることができる。
【0052】
特に、過去一定期間内の複数の画像を用いて、あらかじめ決められた領域ごとに、同期性の発生状況、および同期性の移り変わりに基づいて、種々の誤判定要因を識別するために適した複数の指標値を算出し、煙発生領域の特定を行っている。従って、それぞれの指標値を判定するための閾値、あるいは指標値を用いた判定条件に適用する閾値を適切に選定することで、環境に応じて適切な煙検出を実現することが可能となる。
【0053】
なお、上述した実施の形態1では、指標値1〜指標値5をすべて用いて煙検出領域を特定する場合について説明したが、本発明は、これに限定されるものではない。煙検出を行う環境に応じて、5つの指標値のいくつかを使用、あるいは使用しないような閾値を用いることも可能である。
【0054】
また、上述した実施の形態1では、1画面内の検査領域を、あらかじめ決められた複数のエリアに分割する場合について説明したが、分割エリアは、必ずしも均等サイズに分割する必要はなく、検出対象となる環境や画像に応じて、適切に設定することができる。また、画像内で、煙が発生するおそれのないエリアを、検出対象外のエリアとして設定しておくことも可能である。
【0055】
また、上述した実施の形態1では、指標値を算出するために、第1〜第3の所定回数、および第1〜第5の閾値を用いているが、これらは、分割エリアごとに個別の値として設定することも可能であり、検出対象となる環境や画像に応じて、適切に設定することができる。
【0056】
また、上述した実施の形態1では、注目画素の周囲の所定の位置にある1以上の画素として、注目画素の上下左右に隣接する4近傍画素を用いて同期性の有無を判断する場合について説明した。しかしながら、注目画素の周囲の所定の位置にある1以上の画素としては、4近傍画素のうちの1つ以上を用いる、注目画素の斜め方向で隣接している画像を用いる、あるいは、注目画素を中心とした5×5で規定される周囲の24画素を用いるなど、検出対象となる環境や画像に応じて、適切に設定変更することができる。