(58)【調査した分野】(Int.Cl.,DB名)
前記炎検出部は、前記前処理部により前記候補領域が特定されたサイクルにおいて、前記前処理部により周辺領域における平均輝度値の前記複数Nフレーム分の平均値として算出された値を前記炎抽出閾値として採用する
請求項2または3に記載の炎検出装置。
【背景技術】
【0002】
火災による死亡者数が依然として途絶えておらず、火災発生時の初期消火、あるいは火災事故における逃げ遅れの防止の観点から、火災の早期発見が非常に重要となっている。火災は、短時間で大きくなり、被害が甚大になってしまうため、早期発見・消火を行うことで、被害を抑えることが特に重要となる。人の目視や嗅覚等による発見は、確実であるが、見えない場所で発生すると発見に遅れてしまい、監視による労働力も大きい。
【0003】
そこで、火災検出装置の分野においては、監視カメラにより撮像された画像に対して画像処理を施すことで、火災要因の早期発見を行うことが研究されている。2次元画像から火災を検出する方法は、これまで多種多様な方法が提案されており、実用化されているものもある。また、火災の検出対象は、炎と煙に大別されるが、炎の存在を直接検出する火災検出装置も実用化されている。
【0004】
その一例として、イルミネーション等の外乱光の影響を受けることなく、確実に火災による炎を画像処理により認識する従来技術がある(例えば、特許文献1参照)。この特許文献1による炎検出装置は、警戒区域の画像データに基づいた色温度の高い領域を検出する空間色温度検出処理に加え、特定のカラー成分について位置的な変化が大きい部分の密度分布である空間周波数を解析する空間周波数検出処理を備えている。このような構成を備えることで、イルミネーション等の外乱光を区別して火災による炎を確実に認識することができ、画像処理による炎判断の信頼性を大幅に向上させることができる。
【発明を実施するための形態】
【0013】
以下、本発明の炎検出装置および炎検出方法の好適な実施の形態につき図面を用いて説明する。
本発明は、炎特有の揺らぎを候補領域の境界線上における輝度増減特徴として定量的に抽出し、特に、移動する車などが混入している画像に対しても、炎検出の精度向上を実現することを技術的特徴とするものである。
【0014】
実施の形態1.
図1は、本発明の実施の形態1における炎検出装置の構成図である。本実施の形態1における炎検出装置は、画像メモリ10、前処理部20、および炎検出部30を備えている。画像メモリ10は、カメラ1により撮像された画像を、過去一定期間分、時系列データとして記憶できるように、複数フレーム分の画像メモリとして構成されている。
【0015】
前処理部20は、移動体抽出部21、および候補領域生成部22で構成される。そして、この前処理部20は、画像メモリ10に記憶された、カメラ1により撮像された過去一定期間(1サイクル)に含まれる各フレームの画像に基づいて、移動体と思われる部分の画素を抽出し、炎検出を行うための領域を候補領域として特定する機能を有している。さらに、前処理部20は、輝度増減特徴を算出するための基準位置となる境界線を算出する機能も有している。
【0016】
また、炎検出部30は、輝度増減特徴算出部31、および炎判定部32で構成される。そして、この炎検出部30は、前処理部20でサイクルごとに特定された候補領域および境界線を用いて、炎の発生の有無を検出するための輝度増減読聴を算出し、算出結果に基づいて炎が発生しているか否かを判断する機能を有している。
【0017】
ここで、本願発明の検出原理について、概略を説明する。
まず始めに、カメラ1から取得された画像に対して、移動体に対応する画素の抽出を行う(ステップ1)。次に、抽出された画素を元に、炎候補領域を作成するとともに、境界線を算出する(ステップ2)。次に、作成した炎候補領域内で、抽出された移動体の輝度増減特徴を、境界線を含む周辺領域について計算する(ステップ3)。そして、最後に、その輝度増減特徴の増減度合いから炎らしさを判別し、火災の判定を行うこととなる(ステップ4)。
【0018】
ここで、本実施の形態1では、毎フレーム処理と毎サイクル処理に分けて行い、1サイクルを64フレームとして処理する場合を例に説明する。本実施の形態1では、具体的には、炎候補領域を作成するまでのステップ1、2の処理を、毎フレーム処理として1サイクル分繰り返し行い、1サイクル処理した結果として抽出された炎候補領域について、次のサイクルでステップ3の輝度増減特徴の計算、およびステップ4の火災判定を行うこととなる。
【0019】
そして、ステップ1の移動体抽出処理が、前処理部20内の移動体抽出部21で毎フレーム実行され、ステップ2の炎候補領域作成処理が、前処理部20内の候補領域生成部22で毎フレーム実行され、各サイクルの終了時点で、後段の炎検出部30で使用する候補領域(最終候補領域)が特定される。また、ステップ3の指輝度増減特徴計算処理が、炎検出部30内の輝度増減特徴算出部31で毎サイクル実行され、ステップ4の火災判定処理が、炎検出部30内の炎判定部32で毎サイクル実行される。そこで、前処理部20により毎フレーム実行される処理と、炎検出部30により毎サイクル実行される処理に分けて、以下に説明する。
【0020】
(1)前処理部20により毎フレーム実行される処理について
前処理部20は、カメラ1により取得されたカメラ映像から、移動している物体の抽出を行なう。
図2は、本発明の実施の形態1における炎検出装置の前処理部20による移動体画素の抽出処理に関する説明図である。なお、
図2では、説明をわかりやすくするために、本来の検出対象である炎の代わりに、歩行中の人を移動体として抽出する場合を示している。さらに、この移動体が、背景よりも明るいと仮定して説明する。
【0021】
図2(a)には、カメラ1により取り込まれる画像として、次の3つの画像が示されている。
(画像a1)移動体が存在しない状態の基準画像(炎が存在しない背景画像に相当)であり、例えば、プログラム起動時などにあらかじめ取得される画像に相当する。
(画像a2)時系列で取得される1サイクル分の画像のうち、ある時刻t−1に取得された画像であり、左側に移動体が撮像された画像を例示している。
(画像a3)時系列で取得される1サイクル分の画像のうち、ある時刻tに取得された画像であり、時刻t−1において左側に存在した移動体が、中央寄りに移動した状態の画像を例示している。
【0022】
次に、
図2(b)には、
図2(a)の3つの画像に基づいて得られる、次の2種類の差分画像が示されている。
(画像b1)画像a2と画像a3の差分画像であり、時系列差分画像を示している。具体的には、時系列である時刻t−1の画像a2と時刻tの画像a3に基づいて、両画像の対応する画素ごとに、両画素の輝度値(濃淡値)の差分の絶対値を求めることで生成される画像を、時系列差分画像と称している。
(画像b2)画像a1と画像a3の差分画像であり、背景差分画像を示している。具体的には、基準画像a1と時刻tの画像a3に基づいて、両画像の対応する画素ごとに、両画素の輝度値の差分の絶対値を求めることで生成される画像を、背景差分画像と称している。
【0023】
次に、
図2(c)には、
図2(b)の2種類の差分画像のそれぞれに対して、所定の閾値で2値化することで得られる、次の2つの2値画像が示されている。
(画像c1)画像b1に関して所定の閾値により2値化して得られる2値画像であり、時系列差分画像として、所定の閾値以上の差分を有する画素が抽出されることとなる。従って、炎のように揺れている場合には、時刻t−1と時刻tの画像で、一方の時刻のみ炎と検出された画素を抽出できることとなる。
(画像c2)画像b2に関して所定の閾値により2値化して得られる2値画像であり、背景差分画像として、所定の閾値以上の差分を有する画素が抽出されることとなる。従って、時刻tの画像で、炎と検出された画素を抽出できることとなる。
【0024】
次に、
図2(d)には、画像c1と画像c2の論理和をとって得られる、次の2値画像が示されている。
(画像d1)時系列差分に基づく2値画像c1と、背景差分に基づく2値画像c2に基づいて、少なくとも一方の画像で黒の画素を黒とし、両方の画像とも白の画素を白とすることで、炎検出領域を抽出することができる。
【0025】
なお、炎として検出される画素は、所定の高輝度値以上を有することが前提となる。そこで、
図2(a)の2つの画像に基づいて、時系列差分画像b1あるいは背景差分画像b2を算出する際には、少なくとも一方の画像において所定の高輝度値以上を有する画素のみを抽出して差分画像を生成することで、余分な領域を最終的に炎検出領域として抽出しないようにすることができる。
【0026】
そして、前処理部20内の移動体抽出部21は、
図2(a)〜
図2(c)に示した一連処理をフレームごとに繰り返し実行する。また、前処理部20内の候補領域生成部22は、
図2(d)としてフレームごとに抽出される炎検出領域について、1サイクル分(64サイクル分)の論理和をとることで、最終的に1サイクル処理後の炎候補領域を特定することとなる。すなわち、候補領域生成部22は、64サイクルの中で1回でも炎候補領域として抽出された画素を集計し、炎候補領域を特定する。
【0027】
さらに、候補領域生成部22は、画素ごとに、1サイクル内において、炎候補領域として抽出された回数(以下、この回数のことを抽出回数と称す)をカウントすることで、画素ごとの抽出回数を算出しておくことができる。すなわち、この抽出回数は、64フレーム中何フレームで炎候補領域として特定された画素に相当するかを示す指標となる。
【0028】
そして、候補領域生成部22は、抽出回数が所定回数未満の画素を候補領域から除外することもできる。
【0029】
また、候補領域生成部22は、1サイクル中の64フレームの中で1回でも炎候補領域として抽出された画素のうち、隣接して1つの島を形成している画素の集合に対して、外接長方形を設定することで、矩形状の領域として炎候補領域を特定することもできる。
【0030】
また、本実施の形態1における候補領域生成部22は、後段の炎検出部30で使用するための移動体の境界線を、以下のようにして算出する。具体的には、候補領域生成部22は、既知である判別分析法を用いて、特定された候補領域内で2値化処理を行う。このような2値化処理を実際に煙が存在している領域において行った場合には、煙が発生している領域を、中央部分と外側の部分に2分割することが可能となる。
【0031】
さらに、2値化の境界線上の点を中心として、3×3の局所領域を作成し、それらの局所領域を合わせることで、境界線を含む周辺領域を作成する。なお、局所領域は、3×3画素には限定されず、n×n(nは、3以上の奇数)として規定することができる。
【0032】
(2)炎検出部30により毎サイクル実行される処理について
前処理部20により1サイクル処理ごとに特定される炎候補領域および境界線を含む周辺領域に対して、本実施の形態1における炎検出部30内の輝度増減特徴算出部31は、以下のような輝度増減特徴に基づく炎判別処理を行うこととなる。
[炎判別処理]次の1サイクル内のそれぞれのフレームについて、境界線を含む周辺領域の輝度平均値を算出し、輝度平均値の1サイクル内での変化データを作成する。そして、例えば64フレーム分の輝度平均値の変化データと、炎抽出閾値とを比較し、変化データが炎抽出閾値を超える回数を炎判別の指標値として算出する。
【0033】
そして、本実施の形態1における炎検出部30内の炎判定部32は、輝度増減特徴算出部31による炎判別処理で算出された指標値の大きさから、最終的に炎判定を実行する。そこで、次に、炎判別処理について、詳細を説明する。
【0034】
検出対象である炎は、炎の揺らぎにより、境界線を含む周辺領域においては、発光したり消えたりすることを繰り返し、輝度がばらつく明滅現象が発生する傾向がある。一方、車などの移動体は、炎のような揺らぎはなく、輝度のばらつきが炎と比較して小さく、明滅現象が発生しにくいと考えられる。
【0035】
そこで、このような炎固有の特性を利用して、炎判別処理では、境界線を含む周辺領域について、1サイクル内の平均輝度値の変化データの増減状態から炎であるか否かを判別している。以下に、平均輝度値の変化データを用いた具体的な判別方法を説明する。
【0036】
図3は、本発明の実施の形態1において、移動体が炎である場合と、移動体が車である場合に、前処理部20で算出された候補領域の境界線を示す説明図である。具体的には、
図3(a)は、検出対象である炎に対応する境界線を示した図である。また、
図3(b)は、誤検出要因である車の移動に対応する境界線を示した図である。
【0037】
また、
図4は、本発明の実施の形態1において、移動体の境界線を含む周辺領域について求めた平均輝度値の1サイクル内での変化を示した説明図である。具体的には、
図4(a)は、検出対象である炎による平均輝度値の変化データであり、
図4(b)は、誤検出要因である車の移動による平均輝度値の変化データである。
【0038】
本来の検出対象である炎は、明滅現象により、1サイクル内での平均輝度値の変化が激しく、
図4(a)においては、変化データが炎検出閾値を超える回数が4回発生している状態を例示している。
【0039】
一方、誤検出要因である車の移動は、1サイクル内での平均輝度値の変化が炎と比較して緩やかであり、
図4(b)においては、変化データが炎検出閾値を超える回数が1回しか発生していない状態を例示している。
【0040】
従って、炎判定部32は、輝度増減特徴算出部31により指標値として算出された、1サイクル内での輝度平均値が炎抽出閾値を超える回数が、所定の判定回数を超えた場合には、検出した移動体が炎である可能性が高いと判断する。
【0041】
以上のように、実施の形態1によれば、前処理部の働きにより、直近の時系列画像データに基づいて、1サイクルごとに炎検出のための適切な候補領域、および境界線を含む周辺領域を特定できる。さらに、前のサイクルで特定された候補領域および周辺領域を用いて、次のサイクルで周辺領域における平均輝度値の輝度増減特徴に基づく判断処理を行うことで、誤検出を抑制し、かつ、炎自体の検出精度を向上させることができる。
【0042】
この結果、特に、揺らぎの少ない移動体を炎と識別することができ、種々の誤検出要因を含む様々な設置環境において炎を高精度に検出することのできる炎検出装置および炎検出方法を実現できる。
【0043】
なお、炎判定部32が使用する炎抽出閾値としては、あらかじめ設定しておくこともできるが、前処理部20において境界線を求めたサイクルにおいて、1サイクル内での周辺領域における平均輝度値の平均値を採用する、あるいは、炎判定部32により判定を行うサイクル内での周辺領域における平均輝度値の平均値を採用することもできる。
【0044】
また、1サイクル内での周辺領域全体における平均輝度値の平均値ではなく、境界線を含むそれぞれの局所領域毎に炎抽出閾値を超える回数を数えてもよい。この場合には、周辺領域を構成する全ての局所領域のうち、炎抽出閾値を超えた局所領域数の割合があらかじめ設定した炎判定割合を超えた場合に、炎である可能性が高いと判断してもよい。この炎判定割合としては、例えば、5割といった値を設定することが考えられる。