ホーム > 特許ランキング > 国立大学法人徳島大学
▶ 国立大学法人徳島大学の特許一覧 ▶ 能美防災株式会社の特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022184321
(43)【公開日】2022-12-13
(54)【発明の名称】煙検出装置
(51)【国際特許分類】
G06T 7/00 20170101AFI20221206BHJP
G08B 17/12 20060101ALI20221206BHJP
【ＦＩ】
G06T7/00 300F
G08B17/12
【審査請求】未請求
【請求項の数】5
【出願形態】ＯＬ
(21)【出願番号】P 2021092095
(22)【出願日】2021-06-01
(71)【出願人】
【識別番号】304020292
【氏名又は名称】国立大学法人徳島大学
(71)【出願人】
【識別番号】000233826
【氏名又は名称】能美防災株式会社
(74)【代理人】
【識別番号】100110423
【弁理士】
【氏名又は名称】曾我 道治
(74)【代理人】
【識別番号】100111648
【弁理士】
【氏名又は名称】梶並 順
(74)【代理人】
【識別番号】100147566
【弁理士】
【氏名又は名称】上田 俊一
(74)【代理人】
【識別番号】100161171
【弁理士】
【氏名又は名称】吉田 潤一郎
(74)【代理人】
【識別番号】100188514
【弁理士】
【氏名又は名称】松岡 隆裕
(72)【発明者】
【氏名】寺田 賢治
(72)【発明者】
【氏名】岩藤 那留
【テーマコード（参考）】
5C085
5L096
【Ｆターム（参考）】
5C085AA03
5C085BA36
5C085CA08
5C085DA17
5C085EA41
5L096BA02
5L096CA02
5L096DA03
5L096EA43
5L096FA32
5L096FA66
5L096GA30
5L096GA43
5L096HA02
5L096JA11
(57)【要約】
【課題】煙特有の輝度の揺らぎに着目した特徴量を用いて監視対象領域内に発生した煙を検出し、煙を誤認識してしまうことを抑制することのできる煙検出装置を得る。
【解決手段】本開示に係る煙検出装置は、監視カメラにより撮像された監視対象画像内の煙候補領域に対して画像処理を施すことにより、煙の発生を検出する煙検出装置であって、監視カメラにより撮像された監視対象画像について、煙候補領域における各画素の輝度値を用いて同時生起行列を算出し、算出した同時生起行列に基づきテクスチャ特徴量を算出する特徴量抽出部と、特徴量抽出部により算出されたテクスチャ特徴量に基づき監視対象画像内の煙候補領域において煙が発生したか否かを判断する煙発生検出部とを備える。
【選択図】図１
【解決手段】本開示に係る煙検出装置は、監視カメラにより撮像された監視対象画像内の煙候補領域に対して画像処理を施すことにより、煙の発生を検出する煙検出装置であって、監視カメラにより撮像された監視対象画像について、煙候補領域における各画素の輝度値を用いて同時生起行列を算出し、算出した同時生起行列に基づきテクスチャ特徴量を算出する特徴量抽出部と、特徴量抽出部により算出されたテクスチャ特徴量に基づき監視対象画像内の煙候補領域において煙が発生したか否かを判断する煙発生検出部とを備える。
【選択図】図１
【特許請求の範囲】
【請求項1】
監視カメラにより撮像された監視対象画像内の煙候補領域に対して画像処理を施すことにより、煙の発生を検出する煙検出装置であって、
前記監視カメラにより撮像された前記監視対象画像について、前記煙候補領域における各画素の輝度値を用いて同時生起行列を算出し、算出した前記同時生起行列に基づきテクスチャ特徴量を算出する特徴量抽出部と、
前記特徴量抽出部により算出された前記テクスチャ特徴量に基づき前記監視対象画像内の前記煙候補領域において煙が発生したか否かを判断する煙発生検出部と
を備える煙検出装置。
前記監視カメラにより撮像された前記監視対象画像について、前記煙候補領域における各画素の輝度値を用いて同時生起行列を算出し、算出した前記同時生起行列に基づきテクスチャ特徴量を算出する特徴量抽出部と、
前記特徴量抽出部により算出された前記テクスチャ特徴量に基づき前記監視対象画像内の前記煙候補領域において煙が発生したか否かを判断する煙発生検出部と
を備える煙検出装置。
【請求項2】
前記監視カメラにより撮像された前記監視対象画像を、あらかじめ決められたサンプリング周期ごとに時系列監視対象画像として記憶する画像メモリをさらに備え、
前記特徴量抽出部は、前記時系列監視対象画像に含まれる時系列的に隣接した２以上の監視対象画像内の前記煙候補領域おける各画素の輝度値を用いて前記同時生起行列を算出する
請求項１に記載の煙検出装置。
前記特徴量抽出部は、前記時系列監視対象画像に含まれる時系列的に隣接した２以上の監視対象画像内の前記煙候補領域おける各画素の輝度値を用いて前記同時生起行列を算出する
請求項１に記載の煙検出装置。
【請求項3】
監視カメラにより撮像された監視対象画像内の煙候補領域に対して画像処理を施すことにより、煙の発生を検出する煙検出装置であって、
監視時に、あらかじめ決められたサンプリング周期ごとに前記監視カメラにより撮像された前記監視対象画像を時系列監視対象画像として記憶する画像メモリと、
それぞれの画素に関して、前記時系列監視対象画像を用いて指数移動平均を行った結果である画素からなるＥＭＡ画像を順次算出し、それぞれの画素について、前記ＥＭＡ画像を算出したときあるいは次のサンプリング周期において撮像された前記監視対象画像の輝度値と、前記ＥＭＡ画像の輝度値とを比較して、その大小により２値画像を生成する前処理部と、
前記前処理部で前記煙候補領域内において生成された前記２値画像に基づき前記監視対象画像内の前記煙候補領域において煙が発生したか否かを判断する煙発生検出部と
を備える煙検出装置。
監視時に、あらかじめ決められたサンプリング周期ごとに前記監視カメラにより撮像された前記監視対象画像を時系列監視対象画像として記憶する画像メモリと、
それぞれの画素に関して、前記時系列監視対象画像を用いて指数移動平均を行った結果である画素からなるＥＭＡ画像を順次算出し、それぞれの画素について、前記ＥＭＡ画像を算出したときあるいは次のサンプリング周期において撮像された前記監視対象画像の輝度値と、前記ＥＭＡ画像の輝度値とを比較して、その大小により２値画像を生成する前処理部と、
前記前処理部で前記煙候補領域内において生成された前記２値画像に基づき前記監視対象画像内の前記煙候補領域において煙が発生したか否かを判断する煙発生検出部と
を備える煙検出装置。
【請求項4】
前記前処理部で前記煙候補領域内において順次生成された前記２値画像における各画素の２値を用いて同時生起行列を算出し、算出した前記同時生起行列に基づきテクスチャ特徴量を算出する特徴量抽出部をさらに備え、
前記煙発生検出部は、前記２値画像を用いる代わりに、前記特徴量抽出部により算出された前記テクスチャ特徴量に基づき前記監視対象画像内の前記煙候補領域において煙が発生したか否かを判断する
請求項３に記載の煙検出装置。
前記煙発生検出部は、前記２値画像を用いる代わりに、前記特徴量抽出部により算出された前記テクスチャ特徴量に基づき前記監視対象画像内の前記煙候補領域において煙が発生したか否かを判断する
請求項３に記載の煙検出装置。
【請求項5】
前記前処理部は、前記サンプリング周期ごとに順次生成した前記２値画像を時系列２値画像として前記画像メモリに記憶させ、
前記特徴量抽出部は、前記時系列２値画像に含まれる時系列的に隣接した２以上の２値画像の前記煙候補領域における各画素の２値を用いて前記同時生起行列を算出する
請求項４に記載の煙検出装置。
前記特徴量抽出部は、前記時系列２値画像に含まれる時系列的に隣接した２以上の２値画像の前記煙候補領域における各画素の２値を用いて前記同時生起行列を算出する
請求項４に記載の煙検出装置。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、監視カメラにより撮像された画像に対して画像処理を施すことにより、煙の発生を検出する技術に関する。
【背景技術】
【0002】
画像処理技術を応用し、監視カメラが撮像した監視対象領域の中から、煙の領域だけを抽出できる従来装置がある（例えば、特許文献１参照）。このような従来装置は、監視カメラにより撮像された画像に対して画像処理を施すことで、煙に起因した特徴量を抽出し、煙が発生した状態を、定常状態とは異なる異常状態として検出している。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０１０－９７２６５号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、従来技術には、以下のような課題がある。
画像処理技術を応用した従来の煙検出手法では、複数の特徴量による多次元特徴空間上で、教師データから学習した識別境界に基づき、「煙」と「煙以外」とを判別することで、煙の検出精度の向上を図っている。
画像処理技術を応用した従来の煙検出手法では、複数の特徴量による多次元特徴空間上で、教師データから学習した識別境界に基づき、「煙」と「煙以外」とを判別することで、煙の検出精度の向上を図っている。
【0005】
しかしながら、従来の煙検出手法に用いられている特徴量の種類としては、煙特有の輝度の揺らぎを評価するものが不足している。例えば、照明あるいは太陽光による輝度変化、人が通過したことによる輝度変化等を、煙として誤認識しやすいといった問題があった。従って、煙特有の輝度の揺らぎに着目した特徴量を用いて、煙を誤認識してしまうことを抑制することが望まれている。
【0006】
本開示は、前記のような課題を解決するためになされたものであり、煙特有の輝度の揺らぎに着目した特徴量を用いて監視対象領域内に発生した煙を検出し、煙を誤認識してしまうことを抑制することのできる煙検出装置を得ることを目的とする。
【課題を解決するための手段】
【0007】
本開示に係る煙検出装置は、監視カメラにより撮像された監視対象画像内の煙候補領域に対して画像処理を施すことにより、煙の発生を検出する煙検出装置であって、監視カメラにより撮像された監視対象画像について、煙候補領域における各画素の輝度値を用いて同時生起行列を算出し、算出した同時生起行列に基づきテクスチャ特徴量を算出する特徴量抽出部と、特徴量抽出部により算出されたテクスチャ特徴量に基づき監視対象画像内の煙候補領域において煙が発生したか否かを判断する煙発生検出部とを備えるものである。
【0008】
また、本開示に係る煙検出装置は、監視カメラにより撮像された監視対象画像内の煙候補領域に対して画像処理を施すことにより、煙の発生を検出する煙検出装置であって、監視時に、あらかじめ決められたサンプリング周期ごとに監視カメラにより撮像された監視対象画像を時系列監視対象画像として記憶する画像メモリと、それぞれの画素に関して、時系列監視対象画像を用いて指数移動平均を行った結果である画素からなるＥＭＡ画像を順次算出し、それぞれの画素について、ＥＭＡ画像を算出したときあるいは次のサンプリング周期において撮像された監視対象画像の輝度値と、ＥＭＡ画像の輝度値とを比較して、その大小により２値画像を生成する前処理部と、前処理部で煙候補領域内において生成された２値画像に基づき監視対象画像内の煙候補領域において煙が発生したか否かを判断する煙発生検出部とを備えるものである。
【発明の効果】
【0009】
本開示によれば、煙特有の輝度の揺らぎに着目した特徴量を用いて監視対象領域内に発生した煙を検出し、煙を誤認識してしまうことを抑制することのできる煙検出装置を得ることができる。
【図面の簡単な説明】
【0010】
【図1】本開示の実施の形態１における煙検出装置の構成図である。
【図2】本開示の実施の形態１における移動物体の種類によるＥＭＡ差分画像の違いを説明するための図である。
【図3】本開示の実施の形態１における特徴量抽出部によって、１枚の画像入力からＧＬＣＭを作成する手法を説明するためのイメージ図である。
【図4】本開示の実施の形態１における特徴量抽出部によって、時系列に並んだ複数枚の画像入力からＧＬＣＭを作成する手法を説明するためのイメージ図である。
【図5】本開示の実施の形態１において、煙シーンと人が動くシーンのそれぞれに対してエントロピーを求めた際の高低を可視化した画像である。
【図6】本開示の実施の形態１における煙領域と非煙領域における、エントロピーの確率密度分布を示した図である。
【図7】本開示の実施の形態１において、煙シーンと人が動くシーンのそれぞれに対して不均一性を求めた際の高低を可視化した画像である。
【図8】本開示の実施の形態１における煙領域と非煙領域における、不均一性の確率密度分布を示した図である。
【図9】本開示の実施の形態１において、煙シーンと人が動くシーンのそれぞれに対してエネルギーを求めた際の高低を可視化した画像である。
【図10】本開示の実施の形態１における煙領域と非煙領域における、エネルギーの確率密度分布を示した図である。
【発明を実施するための形態】
【0011】
以下、本開示の煙検出装置の好適な実施の形態につき、図面を用いて説明する。本開示は、ＧＬＣＭ（Ｇｒａｙ Ｌｅｖｅｌ Ｃｏ－ｏｃｃｕｒｒｅｎｃｅ Ｍａｔｒｉｘ：同時生起行列）、ＥＭＡ（Ｅｘｐｏｎｅｎｔｉａｌ Ｍｏｖｉｎｇ Ａｖｅｒａｇｅ：指数移動平均）、あるいはＧＬＣＭとＥＭＡとの組み合わせを用いて、煙特有の輝度の揺らぎに着目した特徴量を算出することを技術的特徴としている。
【0012】
そこで、ＧＬＣＭとＥＭＡとの組み合わせに基づく煙検出手法についてまず説明し、その後、ＧＬＣＭ単独、あるいはＥＭＡ単独に基づく煙検出手法について説明する。
【0013】
実施の形態１．
図１は、本開示の実施の形態１における煙検出装置の構成図である。本実施の形態１における煙検出装置は、画像メモリ１０および検出処理部２０を備えている。画像メモリ１０は、撮像素子に相当する監視カメラ１によりあらかじめ決められたサンプリング周期ごとに撮像された監視対象画像を、過去一定期間分、時系列監視対象画像として記憶できるように、複数フレーム分の画像メモリとして構成されている。１フレーム分の画像は、複数の画素から構成される。
図１は、本開示の実施の形態１における煙検出装置の構成図である。本実施の形態１における煙検出装置は、画像メモリ１０および検出処理部２０を備えている。画像メモリ１０は、撮像素子に相当する監視カメラ１によりあらかじめ決められたサンプリング周期ごとに撮像された監視対象画像を、過去一定期間分、時系列監視対象画像として記憶できるように、複数フレーム分の画像メモリとして構成されている。１フレーム分の画像は、複数の画素から構成される。
【0014】
また、検出処理部２０は、前処理部２１、特徴量抽出部２２、および煙発生検出部２３を含んで構成されており、監視カメラ１により撮像された監視対象画像内の煙候補領域に対して画像処理を施すことにより、煙の発生を検出する。まず始めに、検出処理部２０の一連処理の概要について説明する。
【0015】
前処理部２１は、時系列監視対象画像を用いて、指数移動平均を行った結果である画素からなるＥＭＡ画像を順次算出する。さらに、前処理部２１は、それぞれの画素について、ＥＭＡ画像を算出したときのサンプリング周期に撮像された監視対象画像の輝度値あるいは次のサンプリング周期に撮像された監視対象画像の輝度値と、ＥＭＡ画像の輝度値とを比較して、その大小により２値画像を生成する。
【0016】
特徴量抽出部２２は、前処理部２１によって煙候補領域内において順次生成された２値画像における各画素の２値を用いて同時生起行列を算出する。さらに、特徴量抽出部２２は、算出した同時生起行列に対して煙の存在の有無を識別するための統計処理を施すことで、煙候補領域内におけるテクスチャ特徴量を算出する。
【0017】
煙発生検出部２３は、特徴量抽出部２２で算出されたテクスチャ特徴量に基づいて、監視対象画像内の煙候補領域において煙が発生したか否かを判断する。
【0018】
次に、煙特有の輝度の揺らぎに着目したテクスチャ特徴量を求める前段階として、ＥＭＡ差分画像を求める演算処理、およびＧＬＣＭを求める演算処理、のそれぞれについて詳細に説明する。
【0019】
＜ＥＭＡ差分画像について＞
時系列的な情報を持たせた特徴量を算出するための前処理として、前処理部２１によってＥＭＡ差分画像の算出処理が行われる。まず始めに、ＥＭＡ画像の作成方法について説明し、次に、ＥＭＡ差分画像の作成方法について説明する。
（１）ＥＭＡ画像の作成方法
前処理部２１は、一連の時系列画像に相当する時系列監視対象画像のそれぞれの画像内の各輝度について、時系列方向に指数移動平均（以下、ＥＭＡと称す）を算出する。本開示において、ＥＭＡを算出した各値を輝度値とした画像のことをＥＭＡ画像と定義する。
時系列的な情報を持たせた特徴量を算出するための前処理として、前処理部２１によってＥＭＡ差分画像の算出処理が行われる。まず始めに、ＥＭＡ画像の作成方法について説明し、次に、ＥＭＡ差分画像の作成方法について説明する。
（１）ＥＭＡ画像の作成方法
前処理部２１は、一連の時系列画像に相当する時系列監視対象画像のそれぞれの画像内の各輝度について、時系列方向に指数移動平均（以下、ＥＭＡと称す）を算出する。本開示において、ＥＭＡを算出した各値を輝度値とした画像のことをＥＭＡ画像と定義する。
【0020】
ＥＭＡ画像は、時間経過によって逐次更新され続ける画像であり、監視対象画像に変化が起こらない場合には、ＥＭＡ画像上でも変化が起こらない。一方、移動物体が視野内を横切るような動きをする場合には、ＥＭＡ画像上において、移動物体の移動軌跡が残像として残る。また、画面全体の照度が徐々に変化する場合には、ＥＭＡ画像は、逐次適応して、徐々に輝度が変化する。
【0021】
ＥＭＡの算出式は、それぞれの画素に関して、下式（１）として示される。
Ｓｔ＝α×Ｙｔ＋（１－α）×Ｓｔ－１ （１）
ただし、Ｓｔ：今回のサンプリング周期である時刻ｔにおける指数移動平均
Ｓｔ－１：前回のサンプリング周期である時刻ｔ－１における指数移動平均
Ｙｔ：時刻ｔにおいて前記監視カメラにより撮像された監視対象画像の輝度値
α：０～１の間の値として設定される平滑化係数
Ｓｔ＝α×Ｙｔ＋（１－α）×Ｓｔ－１ （１）
ただし、Ｓｔ：今回のサンプリング周期である時刻ｔにおける指数移動平均
Ｓｔ－１：前回のサンプリング周期である時刻ｔ－１における指数移動平均
Ｙｔ：時刻ｔにおいて前記監視カメラにより撮像された監視対象画像の輝度値
α：０～１の間の値として設定される平滑化係数
【0022】
監視対象の環境、外乱となる要素の影響による輝度変化のスピード等に応じて、平滑化係数αの値を適切に設定することで、時間経過によって逐次更新され続けるＥＭＡ画像において、現在のサンプリング時刻におけるＥＭＡの値を求める際の、１回前のサンプリング時刻におけるＥＭＡの値の重み付けの度合を変更できる。
【0023】
（２）ＥＭＡ差分画像の作成
次に、前処理部２１は、それぞれの画素について、ＥＭＡ画像を算出したときにサンプリング周期あるいは次のサンプリング周期において撮像された監視対象画像の輝度値である第１の輝度値と、ＥＭＡ画像の輝度値である第２の輝度値とを比較する。そして、前処理部２１は、第１の輝度値と第２の輝度値の大小関係に応じて、ＥＭＡ差分画像の作成を行う。
次に、前処理部２１は、それぞれの画素について、ＥＭＡ画像を算出したときにサンプリング周期あるいは次のサンプリング周期において撮像された監視対象画像の輝度値である第１の輝度値と、ＥＭＡ画像の輝度値である第２の輝度値とを比較する。そして、前処理部２１は、第１の輝度値と第２の輝度値の大小関係に応じて、ＥＭＡ差分画像の作成を行う。
【0024】
一例として、前処理部２１は、それぞれの画素に関して、第１の輝度値が第２の輝度値よりも高い場合には白とし、第１の輝度値が第２の輝度値以下の場合には黒とする２値化処理を行うことで、ＥＭＡ差分画像を作成する。ここで、第１の輝度値および第２の輝度値のそれぞれを０～２５５の２５６階調とすると、白は２５５、黒は０に相当する。
【0025】
なお、ここでは、説明を簡略化するために、ＥＭＡ差分画像を２値画像としているが、第１の輝度値と第２の輝度値の差分を複数段階に分けた３値以上の値のグレースケール画像としてＥＭＡ差分画像を作成することも可能である。
【0026】
このようにして作成されたＥＭＡ差分画像の特徴について説明する。図２は、本開示の実施の形態１における移動物体の種類によるＥＭＡ差分画像の違いを説明するための図である。図２（ａ）は、監視対象領域内において動きがないシーンに対して作成されたＥＭＡ差分画像を示しており、図２（ｂ）は、監視対象領域内において煙発生領域が含まれている場合に作成されたＥＭＡ差分画像を示しており、図２（ｃ）は、監視対象領域内において移動物体である人が含まれている場合に作成されたＥＭＡ差分画像を示している。
【0027】
ＥＭＡ差分画像は、監視対象領域内における被写体の動き方、表面のテクスチャ変化の周期性などが要因となって、異なる見た目となる。画面内で変化が起こらない場合には、図２（ａ）に示したように、ＥＭＡ差分画像上には、走査線あるいはＡＧＣ（オートゲインコントロール）による細かな画素値の揺らぎによるランダムノイズが画面全体にわたって現れる。
【0028】
また、人物等の移動物体によって監視対象領域内で輝度の変化が起きた場合には、図２（ｃ）に示したように、ＥＭＡ差分画像上の移動物体領域内には、その物体の輝度の高低に応じた模様と移動軌跡上の残像とが現れる。
【0029】
また、部屋の照明あるいは外光による照度の変化によって監視対象領域の明るさが大きく変化する場合には、ＥＭＡ差分画像上には、変化直後の第１の輝度と第２の輝度との差が大きい間は、画面内の物体が濃淡に応じてシルエット上に現れる。その後、ＥＭＡ画像が照度変化後の画面に適用し、第１の輝度値と第２の輝度値との差が小さくなるにつれて、ＥＭＡ差分画像はランダムノイズへと戻る。
【0030】
一方、本来の検出対象である煙発生領域が監視対象領内に現れた場合には、図２（ｂ）に示したように、ＥＭＡ差分画像上の煙発生領域内には、煙の流動と周期性によって生じる特有の濃淡模様が現れる。
【0031】
＜ＧＬＣＭについて＞
上述したようにして算出されたＥＭＡ差分画像では、画面内の移動物体の有無、あるいは移動物体の移動方向の違いによって、異なるテクスチャが現れる。従って、これらの違いをテクスチャ特徴量によって定量的に識別することで、煙が発生した領域があるか否かを特定することが可能となる。そこで、煙特有の輝度の揺らぎに着目したテクスチャ特徴量を抽出するために用いられる、ＧＬＣＭの作成方法について説明する。
上述したようにして算出されたＥＭＡ差分画像では、画面内の移動物体の有無、あるいは移動物体の移動方向の違いによって、異なるテクスチャが現れる。従って、これらの違いをテクスチャ特徴量によって定量的に識別することで、煙が発生した領域があるか否かを特定することが可能となる。そこで、煙特有の輝度の揺らぎに着目したテクスチャ特徴量を抽出するために用いられる、ＧＬＣＭの作成方法について説明する。
【0032】
なお、ＧＬＣＭに関しては、１枚の画像からＧＬＣＭを求める場合と、時系列的に並ぶ複数の画像からＧＬＣＭを求める場合とが考えられる。本開示では、前者を２次元のＧＬＣＭと称し、後者を３次元のＧＬＣＭと称することとする。特徴量抽出部２２によって行われるＧＬＣＭの具体的な作成方法、およびＧＬＣＭに基づく煙検出に適したテクスチャ特徴量の算出について、２次元と３次元に分けて、次に説明する。
【0033】
（１）２次元のＧＬＣＭの作成
図３は、本開示の実施の形態１における特徴量抽出部２２によって、１枚の画像入力からＧＬＣＭを作成する手法を説明するためのイメージ図である。図３（ａ）は、入力画像の一例として、５×５画素の２値画像を示している。また、図３（ｂ）は、入力画像に基づいて特徴量抽出部２２により作成されるＧＬＣＭに相当する行列Ａを示している。
図３は、本開示の実施の形態１における特徴量抽出部２２によって、１枚の画像入力からＧＬＣＭを作成する手法を説明するためのイメージ図である。図３（ａ）は、入力画像の一例として、５×５画素の２値画像を示している。また、図３（ｂ）は、入力画像に基づいて特徴量抽出部２２により作成されるＧＬＣＭに相当する行列Ａを示している。
【0034】
ＧＬＣＭは、画素同士の位置関係に基づく輝度のばらつき具合を定量的に表現した行列Ａに相当する。２次元のＧＬＣＭを作成するに当たっては、行に注目画素の輝度値、列に注目画素周囲の輝度値をとる。すなわち、図３（ｂ）に示した行列Ａの各要素をＡｉ、ｊとしたとき、ｉは、注目画素における濃度値を意味し、ｊは、近傍画素における濃度値を意味する。
【0035】
特徴量抽出部２２は、Ａｉ、ｊのそれぞれの要素ごとの累積加算結果を求めることで、行列Ａを算出する。具体的には、Ａ０、０、Ａ０、１、Ａ１、０、Ａ１、１の各要素は、次のような条件が成立する場合に、カウントアップされる。
Ａ０、０：注目画素の輝度値が０、近傍画素の輝度値が０の場合に、＋１される。
Ａ０、１：注目画素の輝度値が０、近傍画素の輝度値が１の場合に、＋１される。
Ａ１、０：注目画素の輝度値が１、近傍画素の輝度値が０の場合に、＋１される。
Ａ１、１：注目画素の輝度値が１、近傍画素の輝度値が１の場合に、＋１される。
Ａ０、０：注目画素の輝度値が０、近傍画素の輝度値が０の場合に、＋１される。
Ａ０、１：注目画素の輝度値が０、近傍画素の輝度値が１の場合に、＋１される。
Ａ１、０：注目画素の輝度値が１、近傍画素の輝度値が０の場合に、＋１される。
Ａ１、１：注目画素の輝度値が１、近傍画素の輝度値が１の場合に、＋１される。
【0036】
例えば、図３（ａ）に示した２値の入力画像における二重線で囲った画素を注目画素とし、右側の画素と左側の画素をそれぞれ近傍画素とした場合について説明する。この場合、注目画素の濃度値は「０」であり、右側の近傍画素の濃度値は「１」であり、下側の近傍画素の濃度値は「０」である。従って、行列Ａの４つの要素のうち、Ａ０、０とＡ０、１に１が加算されることとなる。
【0037】
ブロック内のすべての画素に対して、順次、注目画素を移動させながら同様の処理を繰り返し行うことで、特徴量抽出部２２は、要素ごとの累積加算結果を求めることができる。さらに、特徴量抽出部２２は、行列Ａのそれぞれの要素における累積加算結果を、全要素の累積加算結果の総和で割ることで、正規化された行列Ａを求めることができる。
【0038】
正規化を行うことで、各要素Ａｉ、ｊは、画素の輝度値が（０、０）、（０、１）、（１、０）、（１、１）として隣り合う確率を表すこととなる。
【0039】
なお、図３で説明した具体例では、ＥＭＡ差分画像の輝度値は、０と１の２値としたため、ＧＬＣＭに相当する行列Ａは、２×２の行列となっている。しかしながら、これは一例であり、例えば、ＥＭＡ差分画像を０、１、２、３の４値とした場合には、ＧＬＣＭに相当する行列Ａは、４×４の行列となる。
【0040】
また、図３で説明した具体例では、右と下の２画素を隣接画像としたが、右と下以外の画素を隣接画素とすることも可能である。例えば、左と上の２画素を隣接画像とすることも可能である。また、斜めの画素を隣接画素とすることも可能である。
【0041】
特徴量抽出部２２は、入力画像に対して、上述した演算処理を実行することで、２次元のＧＬＣＭに相当する行列Ａを算出することができる。
【0042】
（２）３次元のＧＬＣＭの作成
上述した２次元のＧＬＣＭは、特徴量を算出する周期にあわせて、一定間隔ごとに作成された１枚の差分画像を入力画像として算出されることとなる。この場合、ランダムノイズの偏り方によって特徴量が安定しない課題が考えられる。あるいは、差分画像が作成されない大部分のフレームにおいて特徴量抽出が行われないことにより、十分な数の特徴量が得られないといった課題も考えられる。
上述した２次元のＧＬＣＭは、特徴量を算出する周期にあわせて、一定間隔ごとに作成された１枚の差分画像を入力画像として算出されることとなる。この場合、ランダムノイズの偏り方によって特徴量が安定しない課題が考えられる。あるいは、差分画像が作成されない大部分のフレームにおいて特徴量抽出が行われないことにより、十分な数の特徴量が得られないといった課題も考えられる。
【0043】
従って、煙検出精度の向上を図るためには、統計的に安定した特徴量を抽出するためのＧＬＣＭの作成が望まれる。そこで、これらの課題を解決するためには、１枚の入力画像における画素同士の位置関係に基づく輝度のばらつき具合を定量的に表現した２次元のＧＬＣＭに代えて、時系列的に前後方向の隣接関係も考慮して３次元のＧＬＣＭを作成することが考えられる。
【0044】
一例として、ＥＭＡ差分画像を３２フレーム分蓄積し、３２画素×３２画素×３２フレームから構成される立方体ボクセルごとに、３次元のＧＬＣＭの作成及びテクスチャ解析を行うことが考えられる。
【0045】
図４は、本開示の実施の形態１における特徴量抽出部２２によって、時系列に並んだ複数枚の画像入力からＧＬＣＭを作成する手法を説明するためのイメージ図である。図４（ａ）は、ＥＭＡ差分画像を３２フレーム分蓄積した時系列２値画像としての立方体ボクセルを示している。
【0046】
また、図４（ｂ）は、サンプリング時刻ｔにおける入力画像に加え、時系列的に１つ前のサンプリング時刻ｔ－１における入力画像と、時系列的に１つ後のサンプリング時刻ｔ＋１における入力画像を考慮し、合計３枚の入力画像を用いて３次元のＧＬＣＭを求める場合を例示している。
【0047】
先の図３で説明した２次元のＧＬＣＭの作成に当たっては、１枚の画像において、注目画素と、右および下の２つの隣接画素との隣接関係を考慮していた。これに対して、図４に示したように、３次元のＧＬＣＭの作成に当たっては、時系列的に前後のフレームにおける、注目画素と同じ位置の画素に対しても、さらに隣接関係を考慮し、画素同士の位置関係に基づく輝度のばらつき具合を定量的に評価している。
【0048】
特徴量抽出部２２は、時刻ｔの入力画像における注目画素に対して、時刻ｔの入力画像における右側と下側の２つの隣接画素（ｘ、ｙ方向）に加え、時刻ｔ－１および時刻ｔ＋１の入力画像における、時刻ｔの入力画像の注目画素と同じ位置にある２つの隣接画素を考慮して、４つの隣接画素を用いて行列Ａを作成する。
【0049】
このようにして、特徴量抽出部２２は、時系列的に並んだ３枚の入力画像に基づく４つの隣接画素を用いて、３次元のＧＬＣＭを作成することができる。この結果、２次元のＧＬＣＭを作成する場合と比較して、より多くのサンプリング周期における監視対象画像を考慮し、より安定した特徴量を算出するためのＧＬＣＭを作成することが可能となる。
【0050】
（３）ＧＬＣＭに基づくテクスチャ特徴量の抽出処理
次に、２次元のＧＬＣＭあるいは３次元のＧＬＣＭとして行列Ａが作成された後に、特徴量抽出部２２によって、Ａ行列から煙検出の判断に使用されるテクスチャ特徴量を抽出する具体的な統計処理例について説明する。
次に、２次元のＧＬＣＭあるいは３次元のＧＬＣＭとして行列Ａが作成された後に、特徴量抽出部２２によって、Ａ行列から煙検出の判断に使用されるテクスチャ特徴量を抽出する具体的な統計処理例について説明する。
【0051】
本開示では、テクスチャ特徴量として、ＧＬＣＭに対して統計処理を施すことで、エントロピー、不均一性、およびエネルギーの３つのテクスチャ特徴量を抽出する場合を具体例として、以下に説明する。なお、テクスチャ特徴量を抽出するにあたっては、他のテクスチャ特徴量を用いることも可能である。
【0052】
（３－１）エントロピーについて
ＧＬＣＭをＰ（Ａ）としたとき、エントロピーは、下式（２）として算出することができる。
ＧＬＣＭをＰ（Ａ）としたとき、エントロピーは、下式（２）として算出することができる。
【0053】
【数1】
【0054】
先の図２に示した差分画像を例に説明すると、エントロピーは、差分画像における白と黒の並びが図２（ａ）の「動きのないシーン」のようにランダムであるほど高い値となる。その一方で、白と黒の並びが規則的であったり、図２（ｃ）の「移動物体（人）」における人の後方の残像部分のように、白または黒が一様であったりする場合には、エントロピーは、低い値となる。
【0055】
図５は、本開示の実施の形態１において、煙シーンと人が動くシーンのそれぞれに対してエントロピーを求めた際の高低を可視化した画像である。具体的には、図５（ａ）は、煙シーンにおけるエントロピーの高低を可視化した画像であり、図５（ｂ）は、人が動くシーンにおけるエントロピーの高低を可視化した画像である。
【0056】
さらに、図６は、本開示の実施の形態１における煙領域と非煙領域における、エントロピーの確率密度分布を示した図である。具体的には、図６（ａ）は、２次元のＧＬＣＭに対して求めたエントロピーの確率密度分布であり、図６（ｂ）は、３次元のＧＬＣＭに対して求めたエントロピーの確率密度分布である。
【0057】
【0058】
図６に示したように、煙領域内におけるエントロピーの確率密度分布である分布１は、エントロピーが小さくなる傾向がある。このため、図６（ａ）、図６（ｂ）のそれぞれで、分布１は、分布２と比較して、ピークが低く、かつ、左側にピークがずれていることが判る。また、図６（ａ）と図６（ｂ）との比較から、３次元のＧＬＣＭに基づいて算出したテクスチャ特徴量の方が、分布１と分布２の違いがより明確に表れていることがわかる。
【0059】
従って、煙発生検出部２３は、特徴量抽出部２２によって算出されたエントロピーに関するテクスチャ特徴量の確率密度分布から、監視対象領域において煙が発生したか否かを定量的に判断することができる。
【0060】
（３－２）不均一性について
ＧＬＣＭをＰ（Ａ）としたとき、不均一性は、下式（３）として算出することができる。
ＧＬＣＭをＰ（Ａ）としたとき、不均一性は、下式（３）として算出することができる。
【0061】
【数2】
【0062】
差分画像における白または黒の画素が連続する確率が低い場合に、不均一性は高い値となる。従って、不均一性の値は、煙内部では低く、ランダムノイズが発生している領域では高くなる傾向がある。
【0063】
図７は、本開示の実施の形態１において、煙シーンと人が動くシーンのそれぞれに対して不均一性を求めた際の高低を可視化した画像である。具体的には、図７（ａ）は、煙シーンにおける不均一性の高低を可視化した画像であり、図７（ｂ）は、人が動くシーンにおける不均一性の高低を可視化した画像である。
【0064】
さらに、図８は、本開示の実施の形態１における煙領域と非煙領域における、不均一性の確率密度分布を示した図である。具体的には、図８（ａ）は、２次元のＧＬＣＭに対して求めた不均一性の確率密度分布であり、図８（ｂ）は、３次元のＧＬＣＭに対して求めた不均一性の確率密度分布である。
【0065】
【0066】
図８に示したように、煙領域内における不均一性の確率密度分布である分布１は、不均一性が小さくなる傾向がある。このため、図８（ａ）、図８（ｂ）のそれぞれで、分布１は、分布２と比較して、左側にピークがずれていることが判る。また、図８（ａ）と図８（ｂ）との比較から、３次元のＧＬＣＭに基づいて算出したテクスチャ特徴量の方が、分布１と分布２の違いがより明確に表れていることがわかる。
【0067】
従って、煙発生検出部２３は、特徴量抽出部２２によって算出された不均一性に関するテクスチャ特徴量の確率密度分布から、監視対象領域において煙が発生したか否かを定量的に判断することができる。
【0068】
（３－２）エネルギーについて
ＧＬＣＭをＰ（Ａ）としたとき、エネルギーは、下式（４）として算出することができる。
ＧＬＣＭをＰ（Ａ）としたとき、エネルギーは、下式（４）として算出することができる。
【0069】
【数3】
【0070】
差分画像において白または黒で一様な場合、あるいは特定なパターンが繰り返される場合に、エネルギーは高い値となる。従って、エネルギーの値は、煙内部では高く、ランダムノイズが発生している領域では低くなる傾向がある。
【0071】
図９は、本開示の実施の形態１において、煙シーンと人が動くシーンのそれぞれに対してエネルギーを求めた際の高低を可視化した画像である。具体的には、図９（ａ）は、煙シーンにおけるエネルギーの高低を可視化した画像であり、図９（ｂ）は、人が動くシーンにおけるエネルギーの高低を可視化した画像である。
【0072】
さらに、図１０は、本開示の実施の形態１における煙領域と非煙領域における、エネルギーの確率密度分布を示した図である。具体的には、図１０（ａ）は、２次元のＧＬＣＭに対して求めたエネルギーの確率密度分布であり、図１０（ｂ）は、３次元のＧＬＣＭに対して求めたエネルギーの確率密度分布である。
【0073】
【0074】
図１０に示したように、煙領域内におけるエネルギーの確率密度分布である分布１は、エネルギーが大きくなる傾向がある。このため、図１０（ａ）、図１０（ｂ）のそれぞれで、分布１は、分布２と比較して、右側にピークがずれていることが判る。また、図１０（ａ）と図１０（ｂ）との比較から、３次元のＧＬＣＭに基づいて算出したテクスチャ特徴量の方が、分布１と分布２の違いがより明確に表れていることがわかる。
【0075】
従って、煙発生検出部２３は、特徴量抽出部２２によって算出されたエネルギーに関するテクスチャ特徴量の確率密度分布から、監視対象領域において煙が発生したか否かを定量的に判断することができる。
【0076】
なお、本実施の形態１では、煙特有の輝度の揺らぎに着目した特徴量を算出するために、ＥＭＡ差分画像を入力画像としてＧＬＣＭを作成し、統計処理を施すことで監視対象領域において煙が発生したか否かを定量的に判断する場合について詳細に説明した。しかしながら、本開示に係る煙検出装置は、このような構成に限定されるものではない。
【0077】
そこで、ＥＭＡ差分画像を用いてＧＬＣＭを用いない構成、および、ＥＭＡ差分画像を用いずにＧＬＣＭを用いる構成、のそれぞれについて、以下に補足説明する。
【0078】
＜ＥＭＡ差分画像を用いてＧＬＣＭを用いない構成について＞
このような構成は、検出処理部２０を、以下のような前処理部２１および煙発生検出部２３として構成することで実現できる。
このような構成は、検出処理部２０を、以下のような前処理部２１および煙発生検出部２３として構成することで実現できる。
【0079】
画像メモリ１０には、監視時において、あらかじめ決められたサンプリング周期ごとに監視カメラ１により撮像された監視対象画像が時系列監視対象画像として記憶される。
【0080】
前処理部２１は、それぞれの画素に関して、時系列監視対象画像を用いて指数移動平均を行った結果である画素からなるＥＭＡ画像を順次算出する。さらに、前処理部２１は、それぞれの画素について、ＥＭＡ画像を算出したときあるいは次のサンプリング周期において撮像された監視対象画像の輝度値と、ＥＭＡ画像の輝度値とを比較して、その大小により２値画像を生成する。
【0081】
そして、煙発生検出部２３は、前処理部２１で煙候補領域内において生成された２値画像に基づき、監視対象画像内の煙候補領域において煙が発生したか否かを判断する。
【0082】
すなわち、検出処理部２０は、このような演算処理を施し、先の図２に示したようなＥＭＡ差分画像に対してＧＬＣＭを求めることなしに、ＥＭＡ差分画像から、煙特有の輝度の揺らぎに着目した特徴量を算出することで、図２（ｂ）に示した状態を特定することができ、煙を誤認識してしまうことを抑制することができる。
【0083】
＜ＥＭＡ差分画像を用いずにＧＬＣＭを用いる構成について＞
このような構成は、検出処理部２０を、以下のような特徴量抽出部２２および煙発生検出部２３として構成することで実現できる。
このような構成は、検出処理部２０を、以下のような特徴量抽出部２２および煙発生検出部２３として構成することで実現できる。
【0084】
特徴量抽出部２２は、監視カメラ１により撮像された監視対象画像について、煙候補領域における各画素の輝度値を用いて同時生起行列を作成する。さらに、特徴量抽出部２２は、作成した同時生起行列に基づき、テクスチャ特徴量を算出する。
【0085】
具体的には、特徴量抽出部２２は、ＥＭＡ差分画像の代わりに、監視カメラ１により撮像された監視対象画像を用いて、監視対象画像として例えば２５６階調の輝度としての画像を２値以上の２５６階調以下の濃淡画像に変換した後に、同時生起行列を作成する。
【0086】
そして、煙発生検出部２３は、特徴量抽出部により算出されたテクスチャ特徴量に基づき監視対象画像内の煙候補領域において煙が発生したか否かを判断する。
【0087】
すなわち、検出処理部２０は、このような演算処理を施し、ＥＭＡ差分画像を用いずにＧＬＣＭを作成することによっても、煙特有の輝度の揺らぎに着目した特徴量を算出することで、煙が発生したか否かを判断することができ、煙を誤認識してしまうことを抑制することができる。
【符号の説明】
【0088】
１ 監視カメラ、１０ 画像メモリ、２０ 検出処理部、２１ 前処理部、２２ 特徴量抽出部、２３ 煙発生検出部。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
