特許 7419582 煙の検出装置及び煙の検出方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-01-12

(45)【発行日】2024-01-22

(54)【発明の名称】煙の検出装置及び煙の検出方法

(51)【国際特許分類】

   G06T 7/277 20170101AFI20240115BHJP

   G08B 17/10 20060101ALI20240115BHJP

   G08B 17/12 20060101ALI20240115BHJP

【ＦＩ】

G06T7/277

G08B17/10 Z

G08B17/12 B

【請求項の数】 4

(21)【出願番号】P 2023014387

(22)【出願日】2023-02-02

(62)【分割の表示】P 2019032283の分割

【原出願日】2019-02-26

(65)【公開番号】P2023065377

(43)【公開日】2023-05-12

【審査請求日】2023-02-24

(73)【特許権者】

【識別番号】000003403

【氏名又は名称】ホーチキ株式会社

(74)【代理人】

【識別番号】100079359

【弁理士】

【氏名又は名称】竹内 進

(74)【代理人】

【識別番号】100228669

【弁理士】

【氏名又は名称】竹内 愛規

(72)【発明者】

【氏名】門馬 英一郎

(72)【発明者】

【氏名】小野 隆

(72)【発明者】

【氏名】中村 嘉夫

(72)【発明者】

【氏名】江幡 弘道

【審査官】笠田 和宏

(56)【参考文献】

【文献】特開２０１７－１９１５４４（ＪＰ，Ａ）

【文献】特開２０１６－０３５７４７（ＪＰ，Ａ）

【文献】特開２０１８－００５６４２（ＪＰ，Ａ）

【文献】特開２０１６－１１０２６２（ＪＰ，Ａ）

【文献】中国特許出願公開第１０４７１５５５９（ＣＮ，Ａ）

【文献】天野 潤平，外４名，混合正規分布を用いた背景差分による煙抽出方法の検討，電気学会研究会資料 知覚情報研究会 ＰＩ－１７－０７６～０８５ 次世代産業システム研究会 ＩＩＳ－１，pp. 33-37

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／２７７

Ｇ０８Ｂ １７／１０

Ｇ０８Ｂ １７／１２

(57)【特許請求の範囲】

【請求項1】

監視領域の画像を逐次撮像する撮像手段と、
前記撮像手段で撮像された画像毎に、画像中の煙領域の重心を求めることでクラスを配置する処理を繰り返し、配置された前記クラスを追跡して前記クラスの移動軌跡を検出するクラス追跡手段と、
前記クラス追跡手段で検出された前記クラスの移動軌跡から煙による特徴的な所定の変化を検知して火災を判断する火災判断手段と、
が設けられ、
前記火災判断手段は、前記煙による特徴的な所定の変化を前記クラスの移動軌跡の直線性に基づき検知し、前記クラスの移動軌跡が所定の非直線性条件を充足して上昇している場合には前記煙による特徴的な所定の変化と検知することを特徴とする煙の検出装置。

【請求項2】

請求項１記載の煙の検出装置に於いて、
前記火災判断手段は、前記クラスの直線性に基づく前記煙による特徴的な所定の変化の検知として、前記クラスの移動軌跡の始点及び終点を結ぶ直線に対する各クラスのぶれ量に基づき前記煙による特徴的な所定の変化を検知することを特徴とする煙の検出装置。

【請求項3】

請求項１又は２記載の煙の検出装置に於いて、
所定の手段により煙の可能性が高いと判断した場合に、前記クラス追跡手段で処理する画像を増加させることを特徴とする煙の検出装置。

【請求項4】

撮像手段により、監視領域の画像を逐次撮像し、
クラス追跡手段により、前記撮像手段で撮像された画像毎に、画像中の煙領域の重心を求めてクラスを配置する処理を繰り返し、配置された前記クラスを追跡して前記クラスの移動軌跡を検出し、
火災判断手段により、前記クラス追跡手段で検出された前記クラスの移動軌跡から煙による特徴的な所定の変化を検知して煙と判断し、
前記火災判断手段は、前記煙による特徴的な所定の変化を前記クラスの移動軌跡の直線性に基づき検知し、前記クラスの移動軌跡が所定の非直線性条件を充足して上昇している場合には前記煙による特徴的な所定の変化と検知することを特徴とする煙の検出方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、カメラで撮像した監視領域の画像から火災による煙を検知する煙の検出装置及び煙の検出方法に関する。

【背景技術】

【0002】

従来、監視カメラで撮像した監視領域の画像に対し画像処理を施すことにより、火災を検知するようにした様々な装置やシステムが提案されている。

【0003】

このような煙の検出装置にあっては、火災発生に対する初期消火や避難誘導の観点から火災の早期発見が重要である。

【0004】

このため従来装置（特許文献１）にあっては、画像から火災に伴う煙により起きる現象として、透過率又はコントラストの低下、輝度値の特定値への収束、輝度分布範囲が狭まって輝度の分散の低下、煙による輝度の平均値の変化、エッジの総和量の低下、低周波帯域の強度増加を導出し、これらを総合的に判断して煙の検出を可能としている。

【0005】

しかしながら、このような従来の火災に伴う煙の画像から火災を検知する火災検知システムにあっては、監視カメラで撮像した画像全体を処理して煙による特徴的な変化を検知して火災を判断しており、画像全体から火災を判断するための処理負担が増加して処理に時間がかかるという問題がある。

【0006】

この問題を解決するため、特許文献２にあっては、火災により立ち上る煙の内部には、濃度の濃い領域と濃度の薄い領域があり、濃度の濃い煙の領域が順次出現して上方に移動して行く現象が現れることから、撮像した画像から濃度の濃い煙の部分に例えばパーティクルフィルタの規則に従ってクラスを配置し、各クラスを画像毎に追跡して位置情報を求め、煙による特徴的な上方に移動する変化を検知することで、確実な火災判断を可能としている。

【先行技術文献】

【特許文献】

【0007】

【文献】特開２００８－０４６９１６号公報

【文献】特開２０１７－１９１５４４号公報

【発明の概要】

【発明が解決しようとする課題】

【0008】

ところで、このような従来のパーティクルフィルタを用いて煙領域にクラスを配置して追跡する手法にあっては、対象画像にパーティクルをばら撒いてクラスを配置する場合、パーティクルが一ヶ所に集中し、複数のクラスを配置して追跡することができない問題があることから、監視領域に多数スポット光を照射し、監視カメラで撮像した監視領域の画像に散在するスポット光の当たっている領域の画像を抽出して追跡処理することで、複数のクラスを生成して追跡することを可能としている。

【0009】

しかしながら、監視領域に多数スポット光を照射するために特殊なスポット照射装置が必要となり、スポット光が当たっていることを分からなくするために赤外線光源を使用しており、通常の可視光による照明環境で使用することができず、汎用性に欠ける問題がある。

【0010】

本発明は、可視光の照明環境で撮像した画像を対象に、パーティクルフィルタによるクラス追跡でパーティクルが一ヶ所に集中せず、煙領域を示す複数のクラスを時系列的に配置して煙に特有な動きを捉え、火災を早期に検知可能とする煙の検出装置及び煙の検出方法を提供することを目的とする。

【課題を解決するための手段】

【0011】

（煙の検出装置）
本発明は、煙の検出装置であって、
監視領域の画像を逐次撮像する撮像手段と、
撮像手段で撮像された画像毎に、画像中の煙領域の重心を求めることでクラスを配置する処理を繰り返し、配置されたクラスを追跡してクラスの移動軌跡を検出するクラス追跡手段と、
クラス追跡手段で検出されたクラスの移動軌跡から煙による特徴的な所定の変化を検知して火災を判断する火災判断手段と、
が設けられ、
火災判断手段は、煙による特徴的な所定の変化をクラスの移動軌跡の直線性に基づき検知し、クラスの移動軌跡が所定の非直線性条件を充足して上昇している場合には煙による特徴的な所定の変化と検知することを特徴とする。

【0012】

（移動軌跡の始点及び終点を結ぶ直線に対するクラスのぶれ量による検知）
火災判断手段は、クラスの直線性に基づく煙による特徴的な所定の変化の検知として、クラスの移動軌跡の始点及び終点を結ぶ直線に対する各クラスのぶれ量に基づき煙による特徴的な所定の変化を検知する。

【0013】

（処理画像の増加）
所定の手段により煙の可能性が高いと判断した場合に、クラス追跡手段で処理する画像を増加させる。

【0014】

（煙の検出方法）
本発明の別の形態は、煙の検出方法であって、
撮像手段により、監視領域の画像を逐次撮像し、
クラス追跡手段により、撮像手段で撮像された画像毎に、画像中の煙領域の重心を求めてクラスを配置する処理を繰り返し、配置されたクラスを追跡してクラスの移動軌跡を検出し、
火災判断手段により、クラス追跡手段で検出されたクラスの移動軌跡から煙による特徴的な所定の変化を検知して煙と判断し、
火災判断手段は、煙による特徴的な所定の変化をクラスの移動軌跡の直線性に基づき検知し、クラスの移動軌跡が所定の非直線性条件を充足して上昇している場合には煙による特徴的な所定の変化と検知することを特徴とする。

【発明の効果】

【0015】

（基本的な効果）
本発明の煙の検出装置にあっては、監視領域の画像を逐次撮像する撮像手段と、撮像手段で撮像された画像毎に、画像中の煙領域の重心を求めることでクラスを配置する処理を繰り返し、配置されたクラスを追跡してクラスの移動軌跡を検出するクラス追跡手段と、クラス追跡手段で検出されたクラスの移動軌跡から煙による特徴的な所定の変化を検知して火災を判断する火災判断手段と、が設けられ、火災判断手段は、煙による特徴的な所定の変化をクラスの移動軌跡の直線性に基づき検知し、クラスの移動軌跡が所定の非直線性条件を充足して上昇している場合には煙による特徴的な所定の変化と検知するようにしたため、例えば、人等の動きの画像から生成したクラスは直線的な動きとなることから、これを火災判断の対象から除外することで、煙に固有な非直線的なクラスの移動軌跡を検知して確実に火災を判断することができる。

【0016】

（移動軌跡の始点及び終点を結ぶ直線に対するクラスのぶれ量による検知の効果）
また、火災判断手段は、クラスの直線性に基づく煙による特徴的な所定の変化の検知として、クラスの移動軌跡の始点及び終点を結ぶ直線に対する各クラスのぶれ量に基づき煙による特徴的な所定の変化を検知するようにしたため、画面内で任意の方向に直線的に移動するクラスの移動軌跡を確実に判別して火災判断の対象から除外することができる。

【0017】

（処理画像の増加の効果）
所定の手段により煙の可能性が高いと判断した場合に、クラス追跡手段で処理する画像を増加させるようにしたため、通常時には処理する画像を少なくして負荷を低減できると共に、煙の可能性が高い時には処理する画像を多くして確実に煙による特徴的な所定の変化を検知することができる。

【0018】

尚、煙の検出方法の効果は、前述した煙の検出装置の効果と同じになる。

【図面の簡単な説明】

【0019】

【図1】本発明の煙の検出装置を設置した監視領域を示した説明図

【図2】煙の検出装置の機能構成の概略を示したブロック図

【図3】監視カメラで撮像したフレーム画像とその差分画像を示した説明図

【図4】最初に出現した煙領域に対する初期的なパーティクルのばら撒きによる新たなクラスの配置までの手順を示した説明図

【図5】クラス再配置の際のパーティクルのばら撒き領域示した説明図

【図6】図３のクラス再配置に続く新たなクラスの配置を示した説明図である。

【図7】時系列に変化する差分画像に対するクラス配置の時系列変化とクラス移動軌跡を示した説明図

【図8】滞留したクラスの再配置を示した説明図

【図9】直線的なクラスの移動軌跡を示した説明図

【図10】図２の煙の検出装置による煙監視処理を示したフローチャート

【図11】図１０のステップＳ２のパーティクルフィルタによるクラス追跡の詳細を示したフローチャート

【図12】図１０のステップＳ３のクラス追跡軌跡に基づく火災判断の詳細を示したフローチャート

【発明を実施するための形態】

【0020】

［実施形態の基本的な概念］
図１は本発明の煙の検出装置を設置した監視領域を示した説明図、図２は煙の検出装置の機能構成の概略を示したブロック図である。

【0021】

本実施形態の基本的な概念は、撮像手段として機能する監視カメラ１０により撮影された動画像を煙の検出装置１２に入力し、火災を早期に検知するものである。煙の検出装置１２に入力した画像からは、差分画像生成手段として機能する差分画像生成部２４により複数の画像毎に差分画像を生成し、パーティクルフィルタを用いたクラス追跡手段として機能するクラス追跡部２６により、差分画像生成部２４で生成された差分画像毎に、所定の規則の従って画像中に所定数のパーティクルをばら撒き、各パーティクルについて煙らしさを示す尤度により重み付けをし、所定値未満又は所定値以下の尤度のパーティクルを消去すると共に所定値以上又は所定値を超える尤度のパーティクルを残してクラスを配置する処理を繰り返し、クラスを追跡して移動軌跡を検出し、続いて、火災判断手段として機能する火災判断部２８により、クラス追跡部２６で検出されたクラスの移動軌跡から煙による特徴的な所定の変化を検知して火災を判断する、というものである。

【0022】

特に、クラス追跡部２６は、クラスが配置されていない差分画像の場合は、所定数のパーティクルをランダムに画像中にばら撒いて新たなクラスを配置し、クラスが配置された差分画像の場合は、前回のクラス配置で残したパーティクルより上方の所定位置を中心に所定の確率密度分布に従ってばら撒いてクラスを再配置し、全てのクラスを再配置した後に、クラスを除く領域に所定数のパーティクルをランダムにばら撒いて新たなクラスを配置する、というものである。

【0023】

このようにクラス追跡部２６がクラスを再配置する際に、前回のクラス配置で残したパーティクルより上方の位置を中心にパーティクルをばら撒いてクラスを再配置し、また、全てのクラスの再配置が済んだらクラス配置領域を除く領域にパーティクルクスをばら撒いて新たなクラスを配置することで、煙の渦として上昇する一定濃度の煙の塊（煙領域）に対し、相互に干渉することなく、クラスの配置と再配置を継続的に行って追跡することができ、複数のクラスの移動軌跡から煙に固有な特徴を捉えて火災であることを確実に判断できる。

【0024】

また、煙は一般的に下降しにくいことから、クラスを再配置する際に、パーティクルを、クラスを前回配置した時の各パーティクルの位置より少し上の領域でかつ、他のクラスに属するパーティクルの重心を中心とする所定の範囲を含まない領域にパーティクルをばら撒いてクラスを再配置することで、クラス同士のパーティクルの重複を確実に防止し、煙の塊の上昇に正確に追従したクラスの移動軌跡を検出することができる。

【0025】

更に、本実施形態にあっては、火災判断部２８が、クラスの移動軌跡が横方向の揺らぎ、例えば所定値以上の横ぶれ幅をもって上昇している場合は煙と判断し、直線的に上昇している場合は煙ではないと判断しており、例えば、人等の動きの差分画像から生成したクラスは直線的な動きとなることから、これを火災判断の対象から除外することで、煙に固有な左右に揺らぐクラスの移動軌跡を検知して確実に火災を判断することができる、というものである。以下詳細に説明する。

【0026】

［煙の検出装置の概要］
図１に示すように、監視領域１４には監視カメラ１０が設置され、監視カメラ１０は照明器具により照明された状態の監視領域を逐次、例えば毎秒３０フレーム又は毎秒６０フレームのフレーム速度で撮像してカラーのフレーム画像の連続からなる動画を出力している。監視カメラ１０は、上下、左右及び前後に仕切られた監視領域（監視空間）１４の例えば上部コーナの中央に設置され、その撮像光軸を相対する壁面に向うように斜め下向きに配置して監視領域１４を全体的に撮影可能としている。

【0027】

監視カメラ１０は、監視領域１４の可視画像を動画撮影し、監視カメラ１０で撮影した動画像は伝送路を介して管理人室などに設置した煙の検出装置１２に伝送され、画像処理によりごみ入れなどの火源１５から立ち上がっている煙１６を、パーティクルフィルタを用いた画像処理により検知して火災を判断し、火災検知信号を火災報知設備１８に送信して火災警報を出力させる。監視カメラ１０による動画像のサイズは例えば１２８０×７２０ピクセルとなる。

【0028】

［煙の検出装置の機能構成］
図２に示すように、煙の検出装置１２は、ハードウェアとしてＣＰＵ、メモリ、各種の入出力ポート等を備えたコンピュータ回路等で構成され、ＣＰＵによるプログラムの実行により実現される機能として、制御部２０、画像入力部２２、差分画像生成部２４、クラス追跡部２６、火災判断部２８が設けられる。また、火災を判断した場合に警報を報知するため警報表示部３０と音響警報部３２が設けられている。

【0029】

制御部２０は、監視カメラ１０及び煙の検出装置１２に設けた各機能の全体的な制御を行う。監視カメラ１０は、制御部２０からの指示を受けて動作し、伝送制御により動画像データとして、例えば毎秒３０フレームとなる監視領域の画像データを伝送し、煙の検出装置１２の画像入力部２２で受信され、図示しないメモリに記憶される。画像入力部２２は制御部２０の指示により、記憶された動画像をフレーム単位に読出し、差分画像生成部２４に出力する。

【0030】

［差分画像生成部］
図３は監視カメラで撮像したフレーム画像とその差分画像を示した説明図であり、図３（Ａ）に煙の画像を示し、図３（Ｂ）に煙の差分画像を示す。

【0031】

差分画像生成部２４は次の手順に従って差分画像を生成する。
（手順１） フレーム画像をグレースケール化し、ノイズ低減のためガウシアンフィルタにより平滑化する。
（手順２） 現在のフレーム画像を含めた直近例えば３０フレームにおける各画素の最大値および最小値を監視し、３０フレーム間の最大値画像と最小値画像を作成する。
（手順３） 手順２で生成した最大値画像と最小値画像から差分画像を作成する。

【0032】

なお、差分画像の生成は手順１～３に限定されず、適宜の差分画像の生成方法が適用できる。

【0033】

ここで、差分を取る３０フレームの長さは、流速の緩やかな煙の映像に対する処理の長さであり，流速の早い煙の場合には例えば６フレーム程度とする必要があり、実際の処理では、流速に対応した複数のフレーム数により差分画像を作成する並列処理で対応する。

【0034】

図３（Ａ）に示すように、図１に示す火源１５から立ち昇る煙１６を撮影したフレーム３４の煙画像１６ａにおいて、煙は揺らぎながら上昇する特徴を有しており、煙が存在する画像のある一点に着目すると、視点と背景を結ぶ線上において煙の有無が変化し、本来の背景の画像濃度である状態と煙の濃度である状態が存在すると考えられ、このような時空間領域の特徴を用いて、差分処理により煙の可視化を行う。

【0035】

このような手順１～３の差分処理により図３（Ｂ）の差分フレーム３６に示す煙差分画像１６ｂが生成され、煙差分画像１６ｂは一定の濃度を持つ煙の塊となる煙領域が時系列的に複数出現しながら上昇していく様子が可視化される。なお、差分フレーム３６では火源画像１５ａは点線のように消滅される。

【0036】

［クラス追跡部］
図４は最初に出現した煙領域に対する初期的なパーティクルのばら撒きによる新たなクラスの配置までの手順を示した説明図、図５はクラス再配置の際のパーティクルのばら撒き領域を示した説明図、図６は図３のクラス再配置に続く新たなクラスの配置を示した説明図である。

【0037】

（クラス追跡部の概要）
クラス追跡部２６は、差分画像を対象に、パーティクルフィルタを利用して煙の塊となる煙領域をクラスとして配置し、これを時系列的に追跡してクラスの移動軌跡を検出する。

【0038】

クラス追跡部２６は、パーティクルフィルタの処理手順であるサンプリング、予測、及び観測という処理を繰り返す。即ち、クラス追跡部２６は、差分画像生成部２４で生成された差分画像毎に、所定の規則の従って画像中に複数のパーティクル（粒子）をばら撒き、各パーティクルについて煙らしさを示す尤度により重み付けをして煙領域の重心を求めてクラスを配置する処理を繰り返し、クラスを追跡して移動軌跡を検出する。ここで、１つのパーティクルは例えば１画素に対応しており、パーティクルの濃度値を尤度としており、画素値に応じた重み付けが行われる。

【0039】

なお、パーティクルのサイズを所定数の複数画素としてもよく、この場合は、パーティクルに含まれる画素の画素値総和を尤度として重み付けする。

【0040】

（クラスの初期配置）
クラス追跡部２６は、それまでの処理でクラスが配置されていない場合には、読み込んだ差分画像に対し、所定数のパーティクル、例えば４０個のパーティクルをランダムに画像中にばら撒いて新たなクラスを配置する処理を行う。

【0041】

例えば図４に示すように、最初に煙の塊となる点線で囲むような煙領域４１が出現した処理フレーム３８－１については、４０個のパーティクル４０を画像の全領域にランダムらばら撒く。

【0042】

続いて、処理フレーム３８－２に示すように、各パーティクルの画素値を尤度として重み付けし、尤度の低いパーティクルを白丸、尤度の高いパーティクルを黒丸とすると、処理フレーム３８－３に示すように尤度の低いパーティクル３４個を消滅させて尤度の高い煙推定パーティクル４２を残し、残された煙推定パーティクル４２の重み値について重心計算を行うと、処理フレーム３８－４に示すように、重心４６－１を持つクラス４４－１が配置される。なお、重心４６－１はクラス再配置でばら撒いた各パーティクルの位置を意味する。

【0043】

ここで、クラス４４－１は煙の塊となる煙領域を示しているが、実際は、煙推定パーティクル４２の集合であり、説明を簡単にするため、円形の領域として示している。

【0044】

（クラスの再配置）
クラス追跡部２６は、図４に示したように、最初に出現した煙領域にクラスを配置した後は、次の差分画像を読み込んだ際に、前回のクラス配置で残った６個のパーティクルについて、前回配置した時の各パーティクルの位置（重心）４６－１より上方の所定位置を中心に、位置の基準となっているパーティクルの尤度により決まり、再配置したパーティクルの総数が４０となるような数を、所定の確率密度分布、例えば正規分布の乱数に従って生成した座標位置にパーティクルをばら撒き、併せて４０個のパーティクルをばら撒いた状態としてクラスを再配置する処理を行う。この時、前回配置時のパーティクルの尤度が高いほど、その位置を基準に再配置するパーティクルの数は多くなるようにする。

【0045】

ここで、前回配置した各パーティクルの位置（重心）４６－１からばら撒き中心４８までの距離Ｌは、煙の色に対応した移動速度、又は過去のクラスの移動速度に対応して変化させる。これは、画像間の煙の移動は、煙が上昇する速度により変化することから、煙の移動速度が高ければ、クラス再配置の際に、クラスの重心４６－１からパーティクルのばら撒き中心５０までの距離Ｌを長くし、煙の移動速度が低ければ距離Ｌを短くすることで、煙の移動速度に対応してクラス再配置に最適な領域にパーティクルをばら撒くことができる。

【0046】

例えば、燃焼火災による黒い煙は上昇速度が高いことから、パーティクルのばら撒き中心までの距離Ｌを長くし、燻焼火災による白い煙は上昇速度が低いことから、パーティクルのばら撒き中心Ｌまでの距離を短くすることで、煙の移動に合わせた正確なクラスの再配置ができる。

【0047】

更に、クラス追跡部２６は、図５に示すばら撒き領域５０にクラスの再配置のためにばら撒いたパーティクルの内、前回配置した各パーティクルの位置（重心）４６－１を通る水平線５２より下の領域を点線で示すように非ばら撒き領域５４とし、非ばら撒き領域５４に存在するパーティクルは再配置するクラスの重心位置の計算から除外し、水平線５２の上側に存在するばら撒き領域５０に存在するパーティクルの尤度から重心を求めて再配置する処理を行う。

【0048】

非ばら撒き領域５４に存在するパーティクルの除外は、パーティクルの重みをゼロとすることで、排除できる。また、非ばら撒き領域５４に存在するパーティクルを全て水平線５２上に移動することでばら撒き領域５０のパーティクルとしてクラスの重心を計算しても良い。

【0049】

このようにクラスを再配置する際に、直前の画像のクラスの重心の下方に位置するパーティクルを除外するか、または、クラスの重心位置に移動してクラスを再配置することにより、煙は通常は下方に下がることはないから、再配置するクラスを下方に移動させないように再配置することで、煙に固有なクラスの移動軌跡を検出することができる。

【0050】

図６の処理フレーム３８－５，３８－６は、図４の処理フレーム３８－４に続く次の差分画像を対象としたクラスの再配置を示している。処理フレーム３８－５は、前回配置した時の各パーティクルの位置（重心）４６－１より上方の所定位置を中心に、パーティクルを総数が４０となるように、ばら撒いた状態であり、次の処理フレーム３８－６に示すように、尤度の低いパーティクルを消滅させ、尤度の高い黒丸で示すパーティクルを残し、尤度の高いパーティクルの重心４６－２を求めることでクラス４４－２が再配置される。

【0051】

なお、クラスの再配置にあっては、図５に示す前回配置した各パーティクルの位置（重心）４６－１からばら撒き中心４８までの距離Ｌを煙の移動速度に応じて変化させているが、図２に示した差分画像生成部２４において差分を取るフレーム数を煙の移動速度に応じて変化させることで、距離Ｌを略一定にすることができる。

【0052】

例えば、差分画像生成部２４は流速の遅い煙は３０フレーム単位で差分画像を生成し、流速の早い煙は６フレーム単位に差分画像を生成したとすると、流速の遅い３０フレーム単位の差分画像と、流速の早い例えば６フレーム単位の差分画像における煙領域の移動量を略同じにすることができ、クラス追跡部２６の処理を簡略化できる。

【0053】

（クラス再配置後のクラス初期配置）
クラス追跡部２６は、前画像でクラスが配置された画像について、全てのクラスの再配置が済んだときには、再配置したクラス領域を除く領域に、ランダムに４０個のパーティクルをばら撒いて新たなクラスを配置するクラス初期化配置を行う。

【0054】

図６の処理フレーム３８－５，３８－６に示したクラスの再配置にあっては、直前の画像で配置されたクラスは一つであり、１回の処理でクラス再配置が終了している。このようにクラス再配置が終了したときには、処理フレーム３８－７に示すように、再配置した重心４６－２を持つクラス領域４４－２を除くばら撒き領域５８に４０個のパーティクル４０をランダムにばら撒き、図４に示したクラス初期化配置と同様にして、パーティクルに画素値の尤度に応じた重み付けをして重心を計算し、新たに煙領域が出現していれば、そこに新たなクラスを配置することができる。

【0055】

（クラス移動軌跡の検出）
クラス追跡部２６は、時系列的に読み込んだ差分画像にクラス配置及びクラス再配置を繰り返すことで、時系列的に移動するクラスの移動軌跡を検出する処理を行う。

【0056】

図７（Ａ）は時刻ｔ１～ｔ５で時系列に処理された処理フレーム６０－１～６０－５であり、クラスＣ１～Ｃ５が順次配置され、且つ、再配置により上昇している。

【0057】

この結果、クラス追跡部２６は、例えばクラスＣ１について、図７（Ｂ）に示すクラスＣ１におけるクラスの重心Ｇｔ１～Ｇｔ５の移動軌跡を検出することができる。残りのクラスＣ２～Ｃ５についても同様にクラスの重心の移動軌跡が検出される。

【0058】

（滞留したクラスの消去）
図７（Ａ）の処理フレーム６０－５に示すように、煙の上昇により移動したクラスＣ１は、画像の上端に達すると再配置されず、滞留することになる。

【0059】

クラス追跡部２６は、クラスの再配置処理を終了したときに、図８の処理フレーム６０－５に示すように、滞留したクラスＣ１を検出した場合、点線で示すように、クラスＣ１を消去（リセット）し、新たなクラスに対する配置に利用可能とする。

【0060】

滞留したクラスを消去した後の再利用は、例えば、最大クラス数を５クラスとすると、図８に示すように、処理フレーム６０－５でクラスＣ１の滞留を検出して消去すると、次のサブ画像を対象とした処理フレーム６０－６に示すように、そのとき存在しているクラスＣ２～Ｃ５の煙領域の下側、例えばクラスＣ５の下を通る水平線６２の下側をばら撒き領域６４として、４０個のパーティクル４０をランダムにばら撒いて新たなクラスを生成し、新たに生成したクラスを、滞留により消去したクラスＣ１として配置する。

【0061】

また、クラスＣ１が滞留して消去したときに、それ以外のクラスが存在していないときには、消去したクラスＣ１下を通る水平線の下側をばら撒き領域６４として、新たなクラスを配置するための初期化処理を行う。

【0062】

本実施形態にあっては、クラス追跡部２６で配置するクラスの最大数を例えば１６クラスとしているが、このような滞留したクラスの消去と再配置により、クラスを循環的に配置することで、クラス最大数の制約を受けないクラスの配置ができる。

【0063】

（クラスの優先度に基づく再配置の効果）
クラス追跡部２６は、図７の処理フレーム６０－１～６０－５に示すように、次々と出現する煙領域に対しクラスの配置と再配置を繰り返す場合、各クラスに異なる優先度を設定して上位のクラスから順番に再配置し、クラス再配置のためにばら撒いた複数のパーティクルの内、既に再配置した上位のクラスの煙領域に重複するパーティクルを除いた残りのパーティクルの尤度から重心を求めて再配置する処理を行う。

【0064】

例えば、クラスの発生が古い程、高い優先度を設定したとすると、図７の処理フレーム６０－４から処理フレーム６０－５への再配置を例にとると、クラスＣ１～Ｃ４の順に高い優先度が設定される。

【0065】

このときクラス追跡部２６は、最も優先度の高いクラスＣ１の再配置を最初に行うが、このときパーティクルのばら撒き範囲は優先度の低い他のクラスＣ２～Ｃ４により制限されない。次にクラス配置部２６は、次の優先度の高いクラスＣ２の再配置を行う。このときの再配置の済んだ優先度の高いクラスＣ１の煙領域をマスクし、クラスＣ１の煙領域からクラスＣ２の再配置のためにばら撒いたパーティクルを排除し、クラスＣ１，Ｃ２の煙領域が重複しないようにする。

【0066】

これにより連続して上昇する煙領域に対応してクラスを重複することなく再配置してクラスの移動軌跡を正確に検出することができる。

【0067】

［火災判断部］
火災判断部２８は、クラス追跡部２６により検出された各クラスの重心位置の移動軌跡に基づき、煙による特徴的な所定の変化を検知して火災を判断する。即ち、火災判断部２８は、クラスの移動軌跡が所定幅となる横方向の揺らぎ、例えば所定値以上の横ぶれ幅をもって上昇している場合は煙と判断し、所定幅未満となって直線的に上昇している場合は煙ではないと判断する。

【0068】

このようなクラス移動軌跡の直線的な上昇は、人等の動きの差分画像から生成したクラスの移動軌跡に現れる。人等の動きにより発生した差分画像の輝度の高い部分は、色の濃度分布がベタで、ムラのないものとなるため、クラスの移動軌跡は直線状になる。

【0069】

図９は直線的なクラスの移動軌跡を示した説明図であり、監視カメラ１０の手前側から光軸方向となる前方に人が移動した場合は、処理フレーム６０－１１にように、直線的に上昇するクラスの重心Ｇｔ１～Ｇｔ５の移動軌跡となり、人が斜め前方に移動した場合は、処理フレーム６０－１２のように、斜め上方に直線的に移動するクラスの重心Ｇｔ１～Ｇｔ５の移動軌跡となり、人が前方を横切った場合は、処理フレーム６０－１３のように、横方向に直線的に移動するクラスの重心Ｇｔ１～Ｇｔ５の移動軌跡となる。なお、処理フレーム６０－１３は、重心の上側を中心にパーティクルをばら撒いてクラスを再配置することから、出現する可能性は低い。

【0070】

火災判断部２８による移動軌跡の直線性の判断は、横方向のぶれ幅以外に、例えば、クラスの移動軌跡における各クラス間の傾き（ベクトル）を検出し、傾きの最大値と最小値の差が所定の閾値以上又は閾値を超えた場合は煙と判断し、閾値未満又は閾値以下の場合は煙ではないと判断するようにしても良い。ここで、傾きの最大値と最小値の差は、クラス移動軌跡の横ぶれ量（横ぶれ度合）を示しており、横ぶれ量がないか小さい場合は直線的な移動と判断できる。

【0071】

なお、移動軌跡の直線性の判断は、上記の手法に限定されず、例えば、クラス移動軌跡の始点と終点を結ぶ直線に対する各クラスのぶれ量から判断する手法等といった適宜の手法が適用できる。

【0072】

また、火災判断部２８は、クラスの移動軌跡に基づく火災判断に蓄積条件を設定しており、例えばクラス移動軌跡の煙判断が複数回連続したとき、又は、クラス移動軌跡の煙判断が複数フレーム連続したときに、火災と判断して火災警報を出力すると共に外部に火災検出信号を送信する。

【0073】

［煙の検出装置の処理動作］
図１０は図２の煙の検出装置による煙検知処理の概要を示したフローチャート、図１１は図１０のステップＳ２のパーティクルフィルタによるクラス追跡の詳細を示したフローチャート、図１２は図１０のステップＳ３のクラス追跡軌跡に基づく火災判断の詳細を示したフローチャートである。

【0074】

（煙検知処理動作の概要）
図１０に示すように、図２に示した煙の検出装置１０の制御部２０は、ステップＳ１で差分画像生成部２４を動作し、画像入力部２２から監視カメラ１０で撮影された所定プレーム数の画像を対象に、各画素の最大値および最小値を検出して複数フレーム間の最大値画像と最小値画像を作成し、最大値画像と最小値画像から差分画像を生成する。

【0075】

続いて、制御部２０はステップＳ２に進み、クラス追跡部２６を動作し、差分画像生成部２４で生成された差分画像毎に、所定の規則に従って画像中に複数のパーティクルをばら撒き、各パーティクルについて煙らしさを示す尤度により重み付けをすることで煙領域の重心を求めてクラスを配置する処理を繰り返し、クラスを追跡してクラスの重心位置の移動を示す移動軌跡を検出する。

【0076】

続いて、制御部２０はステップＳ３に進み、火災判断部２８を動作し、クラス追跡部２６で検出されたクラスの重心の移動軌跡が所定の時間以上継続している場合は火災による煙として火災を判断する。

【0077】

続いて、制御部２０はステップＳ４に進み、ステップＳ３の火災判断が所定の蓄積条件を満たすか否か判別し、例えば、火災判断が所定回数連続するといった蓄積条件を満たしたときにステップＳ５に進み、警報表示部３０と音響警報部３２を動作して火災警報を出力させると共に、火災検知信号を図１に示した火災報知設備１８に送信して火災警報を出力させる。

【0078】

（クラス追跡処理）
図１０のステップＳ２で制御部２０の指示により動作したクラス追跡部２６は、図１１に示すクラス追跡処理を行う。クラス追跡部２６は、ステップＳ１１で差分画像生成部２４により生成された差分画像を読込み、差分画像に煙領域が最初に出現していたとすると、それまでの処理でクラスは配置されていないことから、ステップＳ１２で既存のクラスなしを判別してステップＳ１３に進み、初期化処理としてのクラス配置を行う。

【0079】

クラス追跡部２６による初期化処理としてのクラス配置は、ステップＳ１３で差分画像中に、図４に示したように、ランダムに例えば４０個のパーティクルをばら撒き、ステップＳ１４で各パーティクルの濃度値を尤度として重みを設定し、尤度の低いパーティクルを消去し、尤度の高いパーティクルを残し、ステップＳ１５で残したパーティクルの重みの重心を計算により求め、求めた重心をもつ新たなクラスを配置し、ステップＳ１６で配置したクラスの重心（座標位置）を記憶し、図１０のメインルーチンにリターンする。

【0080】

一方、クラス追跡部２６は、ステップＳ１２で既存のクラスの存在を判別した場合はステップＳ１７に進み、クラスの再配置処理を行う。クラス追跡部２６によるクラスの再配置処理は、ステップＳ１７で既存のクラスの重心を取り出す。ここで、既に複数のクラスが配置されていた場合には、古い順にクラスに優先度が設定されていることから、クラス追跡部２６は優先度の最も高いクラス（出現が最も古いクラス）の重心を取り出す。

【0081】

続いて、クラス追跡部２６は、ステップＳ１８に進み、重心を取り出したクラスが煙らしくないクラスか否か判断し、煙らしくないクラスの場合はステップＳ１９に進み、クラスを消去し、新たなクラス配置に利用可能とする。例えば、図７の処理フレーム６０－５に示したように、画面上端に達して滞留したクラスは、煙らしくないクラスとして消去する。また、クラスの重心の計算に用いたパーティクルの分布の幅が所定範囲を超えて広い場合（標準偏差が所定値を超えた場合）、煙らしくないクラスとして消去する。

【0082】

クラス追跡部２６はステップＳ１８で煙らしいクラスと判別するとステップＳ２０に進み、図５に示したように、前回の処理で残したパーティクルに加え、クラスの重心４６－１の上方の所定距離Ｌにばら撒き中心４８を設定して、前回の処理で消去した数分のパーティクルを正規分布の乱数による座標を生成してばら撒き、ステップＳ２１で各パーティクルの濃度値を尤度として重みを設定し、ステップＳ２２で尤度の低いパーティクルを消去し、尤度の高いパーティクルを残し、残したパーティクルの重みの重心を計算により求めてクラスを再配置し、ステップＳ２３に進んで再配置したクラスの重心（座標位置）を記憶する。

【0083】

続いて、クラス追跡部２６は、ステップＳ２４に進んで全クラスの再配置が終了したか否か判別し、終了していない場合はステップＳ１７に戻り、次の優先度の高いクラスの重心を取り出し、ステップＳ２０～Ｓ２３によりクラスの再配置を行う。

【0084】

クラス追跡部２６は、ステップＳ２４で全てのクラスの再配置の終了を判別するとステップＳ２６に進み、ステップＳ１７～Ｓ２５のクラスの再配置処理でクラス消去があったことを判別するとステップＳ２７に進み、図８の処理フレーム６０－６に示したように、既存のクラスの下側にランダムに４０個のパーティクルをばら撒き、ステップＳ１４～Ｓ１６によりパーティクルの濃度値を尤度として重み付けし、尤度の低いパーティクルを消去し、尤度の高いパーティクルを残して重心位置を求めることで、新たなクラスを配置する初期化処理を行う。

【0085】

なお、ステップＳ２７によるパーティクルのばら撒きは、消去したクラス以外に他のクラスが存在しない場合は、消去したクラスの下側にランダムに４０個のパーティクルをばら撒き、ステップＳ１４～Ｓ１６によりパーティクルの濃度値を尤度として重み付けし、尤度の低いパーティクルは消去し、尤度の高いパーティクルは残して重心を求めることで、新たなクラスを配置する。

【0086】

クラス追跡部２６は、ステップＳ２６で消去したクラスがないことを判別した場合はステップＳ２８に進み、図６の処理フレーム３８－７に示したように、再配置した既存のクラスの空き領域にランダムに４０個のパーティクルをばら撒き、ステップＳ１４～Ｓ１６により新たなクラスを配置する初期化処理を行う。なお、ステップＳ２８のパーティクルのばら撒きは、既存のクラスの煙領域をマスクした状態で、４０個のパーティクルをランダムにばら撒けば良い。

【0087】

（火災判断処理）
図１０のステップＳ３で制御部２０の指示により動作した火災判断部２８は、図１２に示す火災判断処理を行う。

【0088】

図１２に示すように、火災判断部２８は、ステップＳ３１で、例えば図７（Ｂ）の処理フレーム６０に示したクラスの重心の追跡軌跡を示す重心位置の時系列データを読込み、ステップＳ３２でクラス間の重心位置の移動方向を検出し、ステップＳ３３で直線的移動か否か判別する。

【0089】

火災判断部２８は、ステップＳ３２の重心位置の移動方向の検出として、例えば各クラス間の重心を結ぶ直線の傾きを検出し、検出した傾きの最大値と最小値の差を横ぶれ量として求め、ステップＳ３３で横ぶれ量を所定の閾値と比較し、閾値以上であればステップＳ３４に進んで煙候補と判定し、閾値未満であれば直線的移動と判断してステップＳ３５で非煙候補として排除する。

【0090】

続いて、火災判断部３６はステップＳ３６に進み、例えばステップＳ３４で判定された煙候補の数が所定の閾値以上であることを判別するとステップＳ３７に進み、煙と判断して火災対処処理を行い、例えば火災警報の出力と火災検知信号の送信を行う。

【0091】

〔本発明の変形例〕
（クラス配置）
上記の実施形態は、また、滞留したクラスを消去して、新たなクラスを配置する場合、他のクラスが存在する領域の下側、又は、他のクラスが存在しない場合は消去したクラスの下側にパーティクルをランダムにばら撒くことでクラスを配置することとしているが、これに限定されず、例えば、画面全体に一様かつランダムに所定の数のパーティクルをばら撒くようにしても良い。

【0092】

（火災検知）
また、上記の実施形態は、煙による特徴的な時系列変化として、パーティクルフィルタにより特徴領域にクラスを配置して追跡しているが、これに限定されず、これ以外の適宜のフィルタ処理により、煙による特徴的な移動を示す時系列変化を追跡して火災を判断するようにしても良い。

【0093】

（通常時と煙発生時の画像処理）
また、通常時は処理する対象の画像の数を少なくし（例えば５回の撮像につき１画像）、煙の可能性が高いと判断した場合に、処理する画像を増やして（全撮像の画像）処理するようにしても良い。ここで、画像の数とは、具体的にはフレーム数を意味する。

【0094】

また、煙の可能性が高いと判断した場合に、処理の対象としなかった画像（例えば５回の撮像の時の残りの４画像）も含めて、煙の可能性が高いと判断し時点より少し前の時間から改めて全ての画像処理を行うようにしても良い。

【0095】

更に、別の画像処理として、単純に撮像間隔を変更する処理、例えば、通常時は撮像間隔を長くし、煙の可能性が高いと判断した場合は撮像間隔を短くするようにしても良い。

【0096】

（その他）
また、本発明は上記の実施形態に限定されず、その目的と利点を損なうことのない適宜の変形を含み、更に上記の実施形態に示した数値による限定は受けない。

【符号の説明】

【0097】

１０：監視カメラ
１２：煙の検出装置
１４：監視領域
１５：火源
１６：煙
１６ａ：煙画像
１６ｂ：煙差分画像
１８：火災報知設備
２０：制御部
２２：画像入力部
２４：差分画像生成部
２６：クラス追跡部
２８：火災判断部
３０：警報表示部
３２：音響警報部
３４：フレーム
３６：差分フレーム
４０：パーティクル
４２：煙推定パーティクル
４４－１，４４－２：クラス
４６－１，４６－２：重心
４８：ばら撒き中心
５０，５８，６４：ばら撒き領域
５４：非ばら撒き領域

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】