(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B1)
(11)【特許番号】
(24)【登録日】2024-03-13
(45)【発行日】2024-03-22
(54)【発明の名称】火災検出装置
(51)【国際特許分類】
G06T 7/11 20170101AFI20240314BHJP
G08B 17/12 20060101ALI20240314BHJP
【ＦＩ】
G06T7/11
G08B17/12 A
【請求項の数】
3
(21)【出願番号】P 2023054471
(22)【出願日】2023-03-30
【審査請求日】2023-08-18
【早期審査対象出願】
【前置審査】
(73)【特許権者】
【識別番号】000233826
【氏名又は名称】能美防災株式会社
(74)【代理人】
【識別番号】100110423
【弁理士】
【氏名又は名称】曾我 道治
(74)【代理人】
【識別番号】100111648
【弁理士】
【氏名又は名称】梶並 順
(74)【代理人】
【識別番号】100147566
【弁理士】
【氏名又は名称】上田 俊一
(74)【代理人】
【識別番号】100188514
【弁理士】
【氏名又は名称】松岡 隆裕
(72)【発明者】
【氏名】山岸 貴俊
【審査官】▲広▼島 明芳
(56)【参考文献】
【文献】特開２０１１－２１５８０６（ＪＰ，Ａ）
【文献】特開２０１６－１１０２６２（ＪＰ，Ａ）
【文献】特開２０００－３３１２６２（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ ７／００ － ７／９０
Ｇ０６Ｖ １０／００ － ２０／９０
Ｇ０８Ｂ １７／１２
(57)【特許請求の範囲】
【請求項1】
監視カメラで撮像した入力画像に対して演算処理を施すことで火炎領域を特定する火災検出装置であって、前記入力画像を構成する画素単位での演算処理を行う画素演算処理部と、
複数の画素をまとめた小領域単位での演算処理を行う小領域演算処理部と、
前記小領域単位でラベリング処理を行うことで得られたラベル領域単位での演算処理を行うラベル領域演算処理部と
を備え、
前記画素演算処理部は、前記入力画像に対する第１段階の処理として前記画素単位での演算処理を行い、
前記小領域演算処理部は、前記画素演算処理部での前記第１段階による処理結果および前記入力画像を用いた第２段階の処理として前記小領域単位での演算処理を行い、
前記ラベル領域演算処理部は、前記小領域演算処理部での前記第２段階による処理結果に基づいて所定の条件を満たす隣接する小領域を統合するラベリング処理を行うことで得られたラベル領域を火災判定処理領域として抽出し、前記火災判定処理領域のそれぞれに対する第３段階の処理として前記ラベル領域単位での演算処理を行うことで前記火炎領域を特定するための候補領域と特徴量の統計量を抽出し、
前記小領域演算処理部は、
前記候補領域を抽出するために前記小領域単位での演算処理で算出される複数の特徴量のそれぞれに関する時系列データを記憶する時系列記憶領域を有し、
前記複数の特徴量のそれぞれとして、小領域における空間的特徴量あるいは時間変化特徴量を算出し、特徴量ごとに過去から現在までの所定期間における算出結果を前記時系列データとして前記時系列記憶領域に記憶させ、
前記ラベル領域演算処理部は、
前記時系列記憶領域に記憶された前記複数の特徴量に関する前記時系列データに基づいて前記ラベリング処理を行うことで前記火災判定処理領域を抽出し、
抽出した前記火災判定処理領域のそれぞれにおける前記空間的特徴量あるいは前記時間変化特徴量に関する前記時系列データの統計量に基づいて前記候補領域と特徴量の統計量を抽出する
火災検出装置。
【請求項2】
前記画素演算処理部は、前記監視カメラで撮像された前記入力画像を取得するサンプリング間隔が、炎のゆらぎエネルギーが集中する周波数帯である１０Ｈｚ以下の周波数成分について、全域を保持しないサンプリング間隔に設定されている請求項１に記載の火災検出装置。
【請求項3】
監視カメラで撮像した入力画像に対して演算処理を施すことで火炎領域を特定する火災検出装置であって、前記入力画像を構成する画素単位での演算処理を行う画素演算処理部と、
複数の画素をまとめた小領域単位での演算処理を行う小領域演算処理部と、
前記小領域単位でラベリング処理を行うことで得られたラベル領域単位での演算処理を行うラベル領域演算処理部と
を備え、
前記画素演算処理部は、前記入力画像に対する第１段階の処理として前記画素単位での演算処理を行い、
前記小領域演算処理部は、前記画素演算処理部での前記第１段階による処理結果および前記入力画像を用いた第２段階の処理として前記小領域単位での演算処理を行い、
前記ラベル領域演算処理部は、前記小領域演算処理部での前記第２段階による処理結果に基づいて所定の条件を満たす隣接する小領域を統合するラベリング処理を行うことで得られたラベル領域を火災判定処理領域として抽出し、前記火災判定処理領域のそれぞれに対する第３段階の処理として前記ラベル領域単位での演算処理を行うことで前記火炎領域を特定するための候補領域と特徴量の統計量を抽出し、
前記画素演算処理部は、前記監視カメラで撮像された前記入力画像を取得するサンプリング間隔が、炎のゆらぎエネルギーが集中する周波数帯である１０Ｈｚ以下の周波数成分について、全域を保持しないサンプリング間隔に設定されている
火災検出装置。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、監視カメラで撮像した入力画像に対して演算処理を施すことで火炎領域を特定する火災検出装置に関するものである。
【背景技術】
【0002】
煙特有の流動に着目した特徴量を用いて監視対象領域内に発生した煙を検出することで火炎領域を特定する従来装置がある（例えば、特許文献１参照）。特許文献１では、入力画像に関して任意の区画で区切られた個々の分割領域を単位として特徴量を算出し、分割単位における特徴量の連結状態を考慮して、流動する煙を検出し、火炎領域の判定を行っている。
【0003】
ここで、分割領域とは、数画素単位でまとめた小領域に相当し、小領域としては、例えば、３×３画素、５×５画素といった領域が挙げられる。特許文献１では、空間的な隣接画素を考慮して特徴量が算出される。また、一定のサンプリング間隔で撮像された入力画像に関しては、時系列的に並んだ小領域同士の隣接関係も考慮して特徴量が算出される。
【0004】
特許文献１に係る従来装置は、このようにして算出された特徴量に基づくことで、監視対象領域内で流動する煙を検出し、煙の検出性能の向上を図っている。
【先行技術文献】
【特許文献】
【0005】
【文献】特開２０２１－０８７０８４号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、従来技術には、以下のような課題がある。
特許文献１では、煙が発生している領域が部分的に遮蔽された場合には、小領域における特徴量が変化してしまい、この技術を火炎領域の検出へ応用した場合、失報の原因となることが考えられる。また、小領域で得られる特徴量は、小窓から風景を覗いた状態と同じで、得られる特徴量が少なく、そもそも火災検出精度を一定の性能以上に向上させるには、本手法以外にも、特定の現象に対して火災領域と非火災領域を区別するために有効な特徴量を見出して、適切な別の手法を加える必要があるといった課題がある。
特許文献１では、煙が発生している領域が部分的に遮蔽された場合には、小領域における特徴量が変化してしまい、この技術を火炎領域の検出へ応用した場合、失報の原因となることが考えられる。また、小領域で得られる特徴量は、小窓から風景を覗いた状態と同じで、得られる特徴量が少なく、そもそも火災検出精度を一定の性能以上に向上させるには、本手法以外にも、特定の現象に対して火災領域と非火災領域を区別するために有効な特徴量を見出して、適切な別の手法を加える必要があるといった課題がある。
【0007】
また、種々の監視環境において火炎領域を高精度に検出するためには、煙の流動性ばかりでなく、監視目的に応じて火災検出に有効な種々の特徴量を考慮し、誤報を抑制した上で検出精度の向上を図ることが重要である。
【0008】
さらに、監視環境によっては、監視カメラの光学系が汚損される状況が想定され、監視カメラで撮像した入力画像が汚損の影響を受けることで、火災検出性能に悪影響を及ぼすことが考えられる。
【0009】
従って、監視目的に応じて、種々の設置環境において、誤報を抑制した上で火災検出精度の向上を図ることができる装置が強く望まれている。
【0010】
本開示は、上記の課題を解決するためになされたものであり、種々の監視環境に対応可能なロバスト性を備えた火災検出装置を得ることを目的とする。
【課題を解決するための手段】
【0011】
本開示に係る火災検出装置は、監視カメラで撮像した入力画像に対して演算処理を施すことで火炎領域を特定する火災検出装置であって、入力画像を構成する画素単位での演算処理を行う画素演算処理部と、複数の画素をまとめた小領域単位での演算処理を行う小領域演算処理部と、小領域単位でラベリング処理を行うことで得られたラベル領域単位での演算処理を行うラベル領域演算処理部とを備え、画素演算処理部は、入力画像に対する第１段階の処理として画素単位での演算処理を行い、小領域演算処理部は、画素演算処理部での第１段階による処理結果および入力画像を用いた第２段階の処理として小領域単位での演算処理を行い、ラベル領域演算処理部は、小領域演算処理部での第２段階による処理結果に基づいて所定の条件を満たす隣接する小領域を統合するラベリング処理を行うことで得られたラベル領域を火災判定処理領域として抽出し、火災判定処理領域のそれぞれに対する第３段階の処理としてラベル領域単位での演算処理を行うことで火炎領域を特定するための候補領域と特徴量の統計量を抽出し、小領域演算処理部は、候補領域を抽出するために小領域単位での演算処理で算出される複数の特徴量のそれぞれに関する時系列データを記憶する時系列記憶領域を有し、複数の特徴量のそれぞれとして、小領域における空間的特徴量あるいは時間変化特徴量を算出し、特徴量ごとに過去から現在までの所定期間における算出結果を時系列データとして時系列記憶領域に記憶させ、ラベル領域演算処理部は、時系列記憶領域に記憶された複数の特徴量に関する時系列データに基づいてラベリング処理を行うことで火災判定処理領域を抽出し、抽出した火災判定処理領域のそれぞれにおける空間的特徴量あるいは時間変化特徴量に関する時系列データの統計量に基づいて候補領域と特徴量の統計量を抽出するものである。
また、本開示に係る火災検出装置は、監視カメラで撮像した入力画像に対して演算処理を施すことで火炎領域を特定する火災検出装置であって、入力画像を構成する画素単位での演算処理を行う画素演算処理部と、複数の画素をまとめた小領域単位での演算処理を行う小領域演算処理部と、小領域単位でラベリング処理を行うことで得られたラベル領域単位での演算処理を行うラベル領域演算処理部とを備え、画素演算処理部は、入力画像に対する第１段階の処理として画素単位での演算処理を行い、小領域演算処理部は、画素演算処理部での第１段階による処理結果および入力画像を用いた第２段階の処理として小領域単位での演算処理を行い、ラベル領域演算処理部は、小領域演算処理部での第２段階による処理結果に基づいて所定の条件を満たす隣接する小領域を統合するラベリング処理を行うことで得られたラベル領域を火災判定処理領域として抽出し、火災判定処理領域のそれぞれに対する第３段階の処理としてラベル領域単位での演算処理を行うことで火炎領域を特定するための候補領域と特徴量の統計量を抽出し、画素演算処理部は、監視カメラで撮像された入力画像を取得するサンプリング間隔が、炎のゆらぎエネルギーが集中する周波数帯である１０Ｈｚ以下の周波数成分について、全域を保持しないサンプリング間隔に設定されているものである。
また、本開示に係る火災検出装置は、監視カメラで撮像した入力画像に対して演算処理を施すことで火炎領域を特定する火災検出装置であって、入力画像を構成する画素単位での演算処理を行う画素演算処理部と、複数の画素をまとめた小領域単位での演算処理を行う小領域演算処理部と、小領域単位でラベリング処理を行うことで得られたラベル領域単位での演算処理を行うラベル領域演算処理部とを備え、画素演算処理部は、入力画像に対する第１段階の処理として画素単位での演算処理を行い、小領域演算処理部は、画素演算処理部での第１段階による処理結果および入力画像を用いた第２段階の処理として小領域単位での演算処理を行い、ラベル領域演算処理部は、小領域演算処理部での第２段階による処理結果に基づいて所定の条件を満たす隣接する小領域を統合するラベリング処理を行うことで得られたラベル領域を火災判定処理領域として抽出し、火災判定処理領域のそれぞれに対する第３段階の処理としてラベル領域単位での演算処理を行うことで火炎領域を特定するための候補領域と特徴量の統計量を抽出し、画素演算処理部は、監視カメラで撮像された入力画像を取得するサンプリング間隔が、炎のゆらぎエネルギーが集中する周波数帯である１０Ｈｚ以下の周波数成分について、全域を保持しないサンプリング間隔に設定されているものである。
【発明の効果】
【0012】
本開示によれば、種々の監視環境に対応可能なロバスト性を備えた火災検出装置を得ることができる。
【図面の簡単な説明】
【0013】
【図1】本開示の実施の形態１における火災検出装置の機能ブロック図である。
【図2】本開示の実施の形態１に係る火災検出装置において画像サンプリングごとに実行される一連処理を示したフローチャートである。
【図3】本開示の実施の形態１に係るラベル領域演算処理部によるラベリング処理に関する説明図である。
【図4】本開示の実施の形態２に係る火災検出装置における一連処理の流れを示した説明図である。
【図5】本開示の実施の形態３に係る第１の機械学習判別器を用いた火災検出装置における一連処理の流れを示した説明図である。
【図6】本開示の実施の形態３に係る第２の機械学習判別器を用いた火災検出装置における一連処理の流れを示した説明図である。
【図7】本開示の実施の形態３に係る判別器と第１の機械学習判別器と第２の機械学習判別器を併用した火災検出装置における一連処理の流れを示した説明図である。
【発明を実施するための形態】
【0014】
以下、本開示の火災検出装置の好適な実施の形態につき、図面を用いて説明する。
本開示では、実施の形態１～４に分けて、それぞれの実施の形態に係る火災検出装置が、種々の監視環境に対応可能なロバスト性を備えている点について詳細に説明する。
本開示では、実施の形態１～４に分けて、それぞれの実施の形態に係る火災検出装置が、種々の監視環境に対応可能なロバスト性を備えている点について詳細に説明する。
【0015】
実施の形態１では、画素単位、小領域単位、ラベル領域単位の演算処理を段階的に実施することで、火炎領域を特定するための候補領域を抽出しており、最終的に抽出された候補領域での特徴量に基づいて火炎領域を特定できる点を技術的特徴としている。この結果、高精度かつ部分的な遮蔽に強く、種々の監視環境に対応可能なロバスト性を備えた火災検出装置を実現できる。
【0016】
実施の形態２では、火災判定に必要な条件を個々に分割して構成された複数の小識別器を用いて、ラベル領域ごとに算出された１以上の統計量の組合せに基づいてラベル領域ごとに火災領域であるかを識別し、さらに、判別器を用いて複数の小識別器による識別結果の組合せから火炎領域を特定する点を技術的特徴としている。この結果、単体では精度が低い小識別器でも、火災検出の目的に応じて、複数の小識別器による識別結果の組合せから火炎領域を高い精度で特定でき、種々の監視環境に対応可能なロバスト性を備えた火災検出装置を実現できる。
【0017】
実施の形態３では、実施の形態２において設計者により構築された判別器に代えて、複数の小識別器による識別結果の組合せから火炎領域を特定する機械学習判別器、あるいは、ラベル領域ごとに算出された１以上の統計量の組合せから火炎領域を特定する機械学習判別器を、機械学習判別処理を行う火炎領域特定部として備えている点を技術的特徴としている。また、本実施の形態３では、実施の形態２において設計者により構築された判別器に加えて、機械学習判別器を併用する構成を、機械学習判別処理を行う火炎領域特定部として備えている点を技術的特徴としている。この結果、特性の異なる判別器を用いることで、火災検出の目的に応じて火炎領域を高い精度で特定でき、種々の監視環境に対応可能なロバスト性を備えた火災検出装置を実現できる。
【0018】
実施の形態４では、赤外線サーモグラフィーで撮像した赤外画像における赤外線エネルギー量に着目し、赤外線サーモグラフィーの光学系が汚損されて透過率が劣化した状態を想定した上で、火炎領域を特定するための温度閾値を決定する構成を備えている点を技術的特徴としている。この結果、汚損状況が変わっても、感度補償をすることなしに継続して火災監視が可能となり、種々の監視環境に対応可能なロバスト性を備えた火災検出装置を実現できる。
【0019】
実施の形態１．
図１は、本開示の実施の形態１における火災検出装置の機能ブロック図である。本実施の形態１に係る火災検出装置は、監視カメラ１で撮像した入力画像に対して演算処理を施すことで火炎領域を特定する機能を有しており、画像メモリ１０および演算処理部２０を備えて構成されている。
図１は、本開示の実施の形態１における火災検出装置の機能ブロック図である。本実施の形態１に係る火災検出装置は、監視カメラ１で撮像した入力画像に対して演算処理を施すことで火炎領域を特定する機能を有しており、画像メモリ１０および演算処理部２０を備えて構成されている。
【0020】
画像メモリ１０は、監視カメラ１によりあらかじめ決められたサンプリング周期ごとに撮像された入力画像を、過去一定期間分、時系列画像として記憶できるように、複数フレーム分の画像メモリとして構成されている。１フレーム分の画像は、複数の画素から構成される。
【0021】
また、演算処理部２０は、画素演算処理部２１、小領域演算処理部２２、およびラベル領域演算処理部２３を含んで構成されており、３段階の演算処理を行うことで、火炎領域を特定するための候補領域を抽出する。
【0022】
すなわち、本実施の形態１に係る火災検出器は、図１のような機能を備えることで、火災領域の絞り込みを段階的に行っていき、絞り込まれた火災領域における統計量を算出できることで、高精度であり、かつ部分的な遮蔽に強いロバストな火災検出を可能とする。
【0023】
図２は、本開示の実施の形態１に係る火災検出装置において画像サンプリングごとに実行される一連処理を示したフローチャートである。ステップＳ２１０において、火災検出装置は、監視カメラ１により撮像された入力画像を取得し、画像メモリ１０に記憶させる。
【0024】
なお、以下の説明では、監視カメラ１として、赤外線サーモグラフィーなどの赤外線カメラを使用し、各画素のデータとしては、温度情報に相当する値が得られる場合を具体例として説明する。この場合、例えば、各画素の輝度値０～２５５が、０～２５５℃に相当することとなる。
【0025】
火災検出装置は、監視カメラ１により入力画像を取得した後には、ステップＳ２２０による画素単位での演算処理、ステップＳ２３０による小領域単位での演算処理、およびステップＳ２４０によるラベル領域単位での演算処理を順次実行する。
【0026】
ステップＳ２２０による画素単位での演算処理は、ステップＳ２２１～ステップＳ２２３によって構成されており、画素演算処理部２１によって実行される。ステップＳ２２１において、画素演算処理部２１は、入力画像の各画素に関して、高温領域を抽出するためにあらかじめ設定された温度閾値を用いて、高温領域を抽出する。例えば、温度閾値として炎を検出でき、また通常環境温度を排除可能な温度２００℃を設定する。
【0027】
次に、ステップＳ２２２において、画素演算処理部２１は、画像内に新たに侵入してきた物体がないかを判断する侵入領域の抽出処理を行う。具体的には、画素演算処理部２１は、火災のない通常状態における複数の入力画像から、背景画素の確率密度分布を作成する。
【0028】
そして、画素演算処理部２１は、火災監視時に取得した入力画像の対象画素の値が、確率密度分布中での出現頻度が低い値に相当する場合には、画像内に新たに侵入してきた物体があると判断する。このような侵入領域の抽出を行うことで、火災が発生した領域を侵入領域として抽出することができる。
【0029】
なお、背景画素の確率密度分布を作成するに当たっては、例えば、公知のカーネル密度推定法が適用でき、詳細な説明は省略する。
【0030】
次に、ステップＳ２２３において、画素演算処理部２１は、前回のサンプリング時に取得した入力画像と、今回のサンプリング時に取得した入力画像とに基づいて、各画素に関する差分を算出するフレーム差分処理を実行する。その後、ステップＳ２３０による小領域単位での演算処理に進む。
【0031】
画素単位での演算処理結果として得られた、高温領域として抽出された画素、侵入領域として抽出された画素、フレーム差分が算出された画素に関する情報は、後段において、小領域単位での演算処理による特徴量の算出、およびラベル領域単位での演算処理による特徴量の算出に活用することができる。
【0032】
ステップＳ２３０による小領域単位での演算処理は、ステップＳ２３１によって構成されており、小領域演算処理部２２によって実行される。ステップＳ２３１において、小領域演算処理部２２は、先のステップＳ２２１～ステップＳ２２３により得られた画素単位での演算結果、および画像メモリ１０に記憶された入力画像の時系列データに基づいて、小領域単位での種々の特徴量を算出する。
【0033】
具体的には、小領域演算処理部２２は、例えば、以下のような３つの特徴量１～特徴量３を、小領域単位で算出する。ここで、小領域とは、隣接する数画素単位でまとめた領域に相当し、例えば、３×３画素、５×５画素といった領域が挙げられる。
【0034】
＜特徴量１＞
小領域演算処理部２２は、ステップＳ２２１による画素単位での高温領域抽出処理に基づいて、小領域内に占める高温を示す画素数の比率を特徴量１として算出する。例えば、小領域を３×３とした場合に、高温を示す画素が５画素存在する小領域は、
特徴量１＝５／９
として算出される。
小領域演算処理部２２は、ステップＳ２２１による画素単位での高温領域抽出処理に基づいて、小領域内に占める高温を示す画素数の比率を特徴量１として算出する。例えば、小領域を３×３とした場合に、高温を示す画素が５画素存在する小領域は、
特徴量１＝５／９
として算出される。
【0035】
＜特徴量２＞
小領域演算処理部２２は、ステップＳ２２２による画素単位での侵入領域の抽出処理に基づいて、小領域内に占める侵入物と判定された画素数の比率を特徴量２として算出する。例えば、小領域を３×３とした場合に、侵入物と判定された画素数が７画素存在する小領域は、
特徴量２＝７／９
として算出される。
小領域演算処理部２２は、ステップＳ２２２による画素単位での侵入領域の抽出処理に基づいて、小領域内に占める侵入物と判定された画素数の比率を特徴量２として算出する。例えば、小領域を３×３とした場合に、侵入物と判定された画素数が７画素存在する小領域は、
特徴量２＝７／９
として算出される。
【0036】
＜特徴量３＞
小領域演算処理部２２は、ステップＳ２２３による画素単位でのフレーム差分処理に基づいて、小領域内に占める一定の差分値以上を示す画素数の比率を特徴量３として算出する。例えば、小領域を３×３とし、一定の差分値を１０とした場合に、一定の差分値以上を示す画素数が３画素存在する小領域は、
特徴量３＝３／９
として算出される。その後、ステップＳ２４０によるラベル領域単位での演算処理に進む。
小領域演算処理部２２は、ステップＳ２２３による画素単位でのフレーム差分処理に基づいて、小領域内に占める一定の差分値以上を示す画素数の比率を特徴量３として算出する。例えば、小領域を３×３とし、一定の差分値を１０とした場合に、一定の差分値以上を示す画素数が３画素存在する小領域は、
特徴量３＝３／９
として算出される。その後、ステップＳ２４０によるラベル領域単位での演算処理に進む。
【0037】
小領域単位での演算処理結果として得られた、小領域における種々の特徴量に関する情報は、後段において、ラベル領域単位での演算処理によるラベリング処理および特徴量の統計量算出処理に活用することができる。
【0038】
なお、上述した特徴量１～特徴量３は、一例であり、小領域演算処理部２２は、画像メモリ１０に記憶された入力画像の時系列データに基づいて、輝度変化、相関関係等を示す汎用性の高い複数の特徴量を算出することが可能である。すなわち、小領域演算処理部２２は、火災検出の目的、あるいは監視環境に応じて、火災に起因する汎用性の高い特徴量を算出するように構成することができる。
【0039】
さらに、小領域演算処理部２２は、画像メモリ１０に記憶された入力画像の時系列データに基づいて、小領域における空間的特徴量あるいは時間変化特徴量を算出し、特徴量ごとに過去から現在までの所定期間における算出結果を時系列データとして時系列記憶領域に記憶させておくことができる。
【0040】
複数の特徴量として時系列記憶領域に記憶された小領域における空間的特徴量あるいは時間変化特徴量の各時系列データは、後段のステップＳ２４１、ステップＳ２４２において用いられることとなる。
【0041】
ステップＳ２４０によるラベル領域単位での演算処理は、ステップＳ２４１～ステップＳ２４３によって構成されており、ラベル領域演算処理部２３によって実行される。ステップＳ２４１において、ラベル領域演算処理部２３は、先のステップＳ２３１により得られた種々の特徴量の算出結果に基づいて、所定の条件を満たす隣接する小領域を統合するラベリング処理を行う。
【0042】
例えば、ラベル領域演算処理部２３は、時系列記憶領域に記憶された複数の特徴量に基づいて、以下のような２つの条件を満たす小領域を抽出する。
＜条件１＞
画像メモリ１０に記憶された過去５回分の入力画像に対して、上述した特徴量１が算出された時系列データを参照し、例えば、５回中１回でも特徴量１が検出された小領域を抽出する。
＜条件２＞
画像メモリ１０に記憶された過去５回分の入力画像に対して、上述した特徴量２が算出された時系列データを参照し、例えば、５回中１回でも特徴量２が検出された小領域を抽出する。
＜条件１＞
画像メモリ１０に記憶された過去５回分の入力画像に対して、上述した特徴量１が算出された時系列データを参照し、例えば、５回中１回でも特徴量１が検出された小領域を抽出する。
＜条件２＞
画像メモリ１０に記憶された過去５回分の入力画像に対して、上述した特徴量２が算出された時系列データを参照し、例えば、５回中１回でも特徴量２が検出された小領域を抽出する。
【0043】
そして、ラベル領域演算処理部２３は、条件１および条件２をともに満たす小領域を１に設定する。さらに、ラベル領域演算処理部２３は、１に設定された隣接する小領域を統合するラベリング処理を行う。
【0044】
図３は、本開示の実施の形態１に係るラベル領域演算処理部２３によるラベリング処理に関する説明図である。図３（Ａ）は、小領域演算処理部２２での処理結果に基づいて所定の条件を満たす隣接する小領域を抽出した部分が白抜きの小領域として示されている。
【0045】
また、図３（Ｂ）は、白抜きされた小領域を統合するラベリング処理を施すことで、「１」～「４」にラベル付けされた４つの島が火災判定処理領域として抽出された状態を示している。
【0046】
次に、ステップＳ２４２において、ラベル領域演算処理部２３は、抽出した火災判定処理領域のそれぞれにおいて、時系列記憶領域に記憶された小領域における空間的特徴量あるいは時間変化特徴量の各時系列データの統計量を算出することで、ラベル単位での火災判定に必要な候補領域と特徴量の統計量を抽出する。
【0047】
具体的には、ラベル領域演算処理部２３は、例えば、上述した高温領域に関する特徴量１に基づいて、以下のような統計量１、統計量２を、ラベル領域単位で算出する。
【0048】
＜統計量１＞
時系列記憶領域に記憶された小領域における特徴量１に関する時系列データに基づいて、ラベル領域ごとに、過去５回分において例えば２回以上の比率で高温領域として特定された小領域の数をカウントすることで、ラベル領域中の高温領域の面積を算出する。
時系列記憶領域に記憶された小領域における特徴量１に関する時系列データに基づいて、ラベル領域ごとに、過去５回分において例えば２回以上の比率で高温領域として特定された小領域の数をカウントすることで、ラベル領域中の高温領域の面積を算出する。
【0049】
＜統計量２＞
時系列記憶領域に記憶された小領域における特徴量１に関する時系列データに基づいて、ラベル領域ごとに、過去５回分において共通して高温領域として特定された小領域の数をカウントし、ラベル領域に含まれる小領域の数で正規化することで、ラベル領域中の高温領域の面積比を算出する。
時系列記憶領域に記憶された小領域における特徴量１に関する時系列データに基づいて、ラベル領域ごとに、過去５回分において共通して高温領域として特定された小領域の数をカウントし、ラベル領域に含まれる小領域の数で正規化することで、ラベル領域中の高温領域の面積比を算出する。
【0050】
また、ラベル領域演算処理部２３は、例えば、上述したフレーム差分に関する特徴量３に基づいて、以下のような統計量３を、ラベル領域単位で算出する。
【0051】
＜統計量３＞
ラベル領域ごとに、特徴量３の条件を満たす小領域の数をカウントし、ラベル領域に含まれる小領域の数で正規化することで、ラベル領域中で特徴量３を示す領域の面積比を算出する。
ラベル領域ごとに、特徴量３の条件を満たす小領域の数をカウントし、ラベル領域に含まれる小領域の数で正規化することで、ラベル領域中で特徴量３を示す領域の面積比を算出する。
【0052】
なお、上述した統計量１～統計量３は、一例であり、ラベル領域演算処理部２３は、小領域演算処理部２２で算出された空間的特徴量あるいは時間変化特徴量に関する種々の特徴量に基づいて、火炎領域を特定するための候補領域の抽出と、火災判定に適した特徴量の統計量の算出とが可能である。すなわち、ラベル領域演算処理部２３は、火災検出の目的、あるいは監視環境に応じて、候補領域を抽出し、火災判定に適した特徴量の統計量を算出するように構成することができる。
【0053】
より具体的には、ラベル領域演算処理部２３は、小領域演算処理部２２で算出された小領域における空間的特徴量あるいは時間変化特徴量に基づいて、ラベリング処理を実行し、ラベル領域ごとに、種々の特徴量の統計量を算出することができる。
【0054】
次に、ステップＳ２４３において、ラベル領域演算処理部２３は、ステップＳ２４２で算出されたラベル領域ごとの統計量に基づいて、火炎領域を特定する。なお、このステップＳ２４３における火炎領域を特定するための具体的な処理については、実施の形態２および実施の形態３において詳細に説明する。
【0055】
上述した本実施の形態１に係る火災検出装置の特徴をまとめると、以下のようになる。
＜特徴１＞
本実施の形態１に係る火災検出装置では、以下の３つの演算処理部を備えている。
・入力画像を構成する画素単位での演算処理を行う画素演算処理部
・複数の画素をまとめた小領域単位での演算処理を行う小領域演算処理部
・小領域単位でラベリング処理を行うことで得られたラベル領域単位での演算処理を行うラベル領域演算処理部
＜特徴１＞
本実施の形態１に係る火災検出装置では、以下の３つの演算処理部を備えている。
・入力画像を構成する画素単位での演算処理を行う画素演算処理部
・複数の画素をまとめた小領域単位での演算処理を行う小領域演算処理部
・小領域単位でラベリング処理を行うことで得られたラベル領域単位での演算処理を行うラベル領域演算処理部
【0056】
具体的には、画素演算処理部は、入力画像に対する第１段階の処理として画素単位での演算処理を行い、小領域演算処理部は、画素演算処理部での第１段階による処理結果および入力画像を用いて、第２段階の処理として前記小領域単位での演算処理を行う。
【0057】
さらに、ラベル領域演算処理部は、小領域演算処理部での第２段階による処理結果に基づいて所定の条件を満たす隣接する小領域を統合するラベリング処理を行うことでラベル領域を火災判定処理領域として抽出する。また、ラベル領域演算処理部は、火災判定処理領域のそれぞれに対する第３段階の処理としてラベル領域単位での演算処理を行うことで火炎領域を特定するための特徴量の統計量を抽出する。
【0058】
このような構成により、汎用性の高い複数の特徴量を小領域ごとに算出し、算出結果に基づいてラベリング処理を実行することで火災判定処理領域に相当するラベル領域を特定し、ラベル領域ごとに空間的特徴量あるいは時間変化特徴量の統計量を算出し、候補領域の絞り込みを段階的に行うことができる。この結果、高精度、かつ部分的な遮蔽に強いロバストな火災検出を行うための演算処理を実現することが可能となる。
【0059】
＜特徴２＞
本実施の形態１に係る火災検出装置では、特に、小領域演算処理部およびラベル領域演算処理部が、以下のような機能を備えている。
小領域演算処理部は、小領域単位での複数の特徴量として、小領域における空間的特徴量あるいは時間変化特徴量を算出し、特徴量ごとに過去から現在までの所定期間における算出結果を時系列データとして時系列記憶領域に記憶させる。
本実施の形態１に係る火災検出装置では、特に、小領域演算処理部およびラベル領域演算処理部が、以下のような機能を備えている。
小領域演算処理部は、小領域単位での複数の特徴量として、小領域における空間的特徴量あるいは時間変化特徴量を算出し、特徴量ごとに過去から現在までの所定期間における算出結果を時系列データとして時系列記憶領域に記憶させる。
【0060】
ラベル領域演算処理部は、時系列記憶領域に記憶された複数の特徴量に関する時系列データに基づいてラベリング処理を行うことで抽出した火災判定処理領域のそれぞれにおいて、空間的特徴量あるいは時間変化特徴量に関する時系列データの統計量を算出する。
【0061】
このような演算処理では、ラベル領域において、炎特有のゆらぎ周波数の情報を用いることなしに、火災検出処理を行っている。従って、画像を取得するサンプリング間隔は、一般に炎のゆらぎエネルギーが集中する周波数帯（例えば、１０Ｈｚ以下までの帯域）を考慮する必要がない。すなわち、炎のゆらぎエネルギーが集中する周波数帯である１０Ｈｚ以下の全域の周波数成分を保持しないサンプリング間隔で、入力画像を取得することができる。
【0062】
より具体的には、入力画像を取得するためのサンプリング間隔は、例えば０．５～２秒程度に設定できる。この結果、折り返し雑音の発生するサンプリング条件で取得した動画像であっても、高い検出精度を発揮できる。
【0063】
さらには、特徴２を備えることで、折り返し雑音が発生した画像でも高い精度を実現できるため、画像のサンプリング間隔のジッタの許容度が極めて高く、例えば、トラフィックが変動するネットワーク経由で画像を取得した場合に対しても、安定した検出性能を発揮できる火災検出装置を実現できる。
【0064】
以上のように、実施の形態１によれば、種々の監視環境に対応可能なロバスト性を備えた火災検出装置を得ることができる。
【0065】
実施の形態２．
本実施の形態２では、ラベル領域ごとに算出された複数の統計量に基づいて火炎領域を特定するための具体的な構成について、詳細に説明する。
本実施の形態２では、ラベル領域ごとに算出された複数の統計量に基づいて火炎領域を特定するための具体的な構成について、詳細に説明する。
【0066】
図４は、本開示の実施の形態２に係る火災検出装置における一連処理の流れを示した説明図である。なお、本実施の形態２における図４の説明、および後述する実施の形態３における図５～図７の説明では、先の実施の形態１で説明した画素単位での演算処理の後に小領域単位の演算処理を行う部分を、小領域単位の演算処理として１つにまとめて記載している。
【0067】
図４では、一連処理が、ステップＳ４１０、Ｓ４２０、Ｓ４３０、Ｓ４４０、Ｓ４５０、Ｓ４６０の６ステップに分けて記載されており、このうち、ステップＳ４１０、Ｓ４２０、Ｓ４３０は先の実施の形態１で説明した内容と同等であり、先の図１に示した機能ブロック図と同等の構成により処理される。
【0068】
一方、本実施の形態２における特徴部分であるステップＳ４４０、Ｓ４５０、Ｓ４６０は、それぞれ、Ｎ個の小識別器１～Ｎ、３個の判別器１～３、および投票器５１による、図１には記載されていない新たな構成により処理される。そこで、ステップＳ４１０、Ｓ４２０、Ｓ４３０については簡単に説明し、ステップＳ４４０、Ｓ４５０、Ｓ４６０については詳細に説明することとする。
【0069】
ステップＳ４１０において、監視カメラ１で撮像された入力画像が、あらかじめ決められたサンプリング周期で、画像メモリ１０に記憶されることで、画像入力処理が行われる。なお、図４では、監視カメラ１として赤外線カメラを用い、入力画像として赤外画像が得られた場合を例示している。
【0070】
次に、ステップＳ４２０において、画素単位での演算処理および小領域単位での演算処理が実行されることで、汎用性の高い複数の特徴量１～Ｌが算出される。その後、ステップＳ４３０において、ラベル領域単位での演算処理が実行されることで、ラベリング処理されたラベル領域ごとに空間的特徴量あるいは時間変化特徴量の統計量として、複数の統計量１～Ｍが算出される。
【0071】
次に、ステップＳ４４０において、複数の小識別器３０（１）～３０（Ｎ）のそれぞれを用いて、火災領域であるか非火災領域であるかをラベル領域ごとに識別する処理が行われる。ここで、小識別器３０は、ラベル領域演算処理部２３によって算出された複数の統計量１～Ｍのうちの１以上の統計量に基づいて、火災判定に必要な条件を分割した上で、ラベル領域ごとに、火災領域であるか非火災領域であるかを識別するように構成されている。
【0072】
換言すると、小識別器３０のそれぞれは、個々としては決して識別精度が高くないが、特定の条件を識別することができるように、適切に選定された統計量に基づいた識別処理を行い、火災領域として識別したラベル領域に対しては１をセットし、非火災領域として識別したラベル領域に対しては－１をセットする。例えば、先に説明した統計量１を用いた小識別器３０（１）、および統計量３を用いた小識別器３０（２）を、以下のように構成することができる。
【0073】
＜小識別器３０（１）＞
ラベル領域中の高温領域の面積を示す統計量１の時間遷移に基づいて、高温領域が継続して発生するラベル領域における面積変動が所定範囲内であれば火災領域、所定範囲内でなければ非火災領域と識別する。
ラベル領域中の高温領域の面積を示す統計量１の時間遷移に基づいて、高温領域が継続して発生するラベル領域における面積変動が所定範囲内であれば火災領域、所定範囲内でなければ非火災領域と識別する。
【0074】
＜小識別器３０（２）＞
ラベル領域中の特徴量３を示す領域の面積比を示す統計量３の時間遷移に基づいて、最大値が所定範囲内であれば火災領域、所定範囲内でなければ非火災領域と識別する。
ラベル領域中の特徴量３を示す領域の面積比を示す統計量３の時間遷移に基づいて、最大値が所定範囲内であれば火災領域、所定範囲内でなければ非火災領域と識別する。
【0075】
なお、それぞれの小識別器３０では、１つの統計量を用いる場合には限定されず、２以上の統計量を組み合わせて用いることもできる。また、それぞれの小識別器３０において、使用する統計量、設定される所定範囲は、火災検出の目的、あるいは監視環境に応じて、適切に設定できる。さらに、それぞれの小識別器３０は、火災領域を抽出するために適した条件ばかりでなく、非火災領域を抽出するために適した条件を識別するように、個別に設定することができる。
【0076】
小識別器３０で用いられる統計量は，ラベル領域の面積に何らかの相関関係を持つものが多くある。そこで、同一の小識別器３０内でも、ラベル領域の面積に応じて所定範囲として設定する値を異ならせることで、相関関係を考慮した識別処理を行うように構成してもよい。
【0077】
次に、ステップＳ４５０において、複数の判別器４０（１）～４０（３）のそれぞれを用いて、火災検出の目的に応じて、火災領域であるか非火災領域であるかをラベル領域ごとに判別する処理が行われる。
【0078】
ここで、判別器４０は、複数の小識別器３０（１）～３０（Ｎ）の中から１以上の所望の小識別器で構成された小識別器群を、火災検出の目的に応じて選定し、選定した小識別器群に含まれる各小識別器３０による識別結果の論理演算により、火災領域であるか非火災領域であるかをラベル領域ごとに判別するように構成されている。
【0079】
換言すると、判別器４０のそれぞれは、火災検出の目的に応じて小識別器群を選定し、論理演算により厳密な判別を行うことで、火災領域であるか非火災領域であるかを切り分け、誤報要因の抑制を図っている。
【0080】
次に、ステップＳ４６０において、１台の投票器５１を用いて、複数の判別器４０（１）～４０（３）による判別結果の組み合わせ投票により火炎領域を特定する処理が行われる。
【0081】
投票器５１は、例えば、比較的大きな面積を有するラベル領域に特化した判別器４０（１）による判別結果と、比較的小さな面積を有するラベル領域に特化した判別器４０（２）、および判別器４０（３）による判別結果との組み合わせ投票により火炎領域を特定することで、単体では精度が低い複数の小識別器３０を用いて、複数の判別器４０と組み合わせることで、高い精度の火災判別性能を実現できる。なお、本実施の形態では３つの判別器の構成としたが、判別器の数は、この実施例の限りではなく、適切な火災判別ができる数を用意するのがよい。
【0082】
上述した本実施の形態２に係る火災検出装置の特徴をまとめると、以下のようになる。
＜特徴１＞
本実施の形態２に係る火災検出装置では、先の実施の形態１で説明したラベル領域演算処理部の後段に、以下の３つの構成を備えている。
・ラベル領域演算処理部によって算出された複数の統計量の中から１以上の統計量に基づいて、火災領域であるか非火災領域であるかをラベル領域ごとに識別する複数の小識別器
＜特徴１＞
本実施の形態２に係る火災検出装置では、先の実施の形態１で説明したラベル領域演算処理部の後段に、以下の３つの構成を備えている。
・ラベル領域演算処理部によって算出された複数の統計量の中から１以上の統計量に基づいて、火災領域であるか非火災領域であるかをラベル領域ごとに識別する複数の小識別器
【0083】
・火災検出の目的に応じて複数の小識別器の中から１以上の所望の小識別器で構成された小識別器群を選定し、選定した小識別器群に含まれる各小識別器による識別結果の論理演算により火災領域であるか非火災領域であるかをラベル領域ごとに判別する複数の判別器
・複数の判別器による判別結果の組み合わせ投票により火炎領域を特定する投票器
・複数の判別器による判別結果の組み合わせ投票により火炎領域を特定する投票器
【0084】
具体的には、複数の小識別器のそれぞれは、火災判定に必要な条件を分割して構成され、特定の条件に特化して構成されており、特定の誤報要因を火災検出しないことを目的として、火災判定に必要な条件が設定された誤報特定用の小識別器も含むことができる。
【0085】
同様に、複数の判別器として、特定の非火災を検出する判別器を含むように構成することができる。
【0086】
換言すると、本実施の形態２に係る火災検出装置は、あらかじめ汎用性の高い複数の特徴量を多数用意し、これら特徴量から算出される統計量を用いて判別精度が高くはないが有効な小識別器を多数用意し、これら小識別器を組み合わせた複数の判別器による投票を行う構成を備えている。
【0087】
従って、このような構成を備えることで、単体では精度が低い識別器でも、高い精度の火災判別性能を実現できる。すなわち、特定の現象に対して火災領域と非火災領域を区別するために有効な特徴量を見出して、その都度、適切なアルゴリズムを考え出していた従来手法を改善することができる。
【0088】
＜特徴２＞
本実施の形態２に係る火災検出装置では、ラベル領域の面積に応じて小識別器群に含まれる小識別器の組合せを変更して選定を行うことができ、同一の小識別器内においてもラベル領域の面積に応じて異なる閾値を用いて火災領域と非火災領域との識別処理を実行できる構成を備えている。
本実施の形態２に係る火災検出装置では、ラベル領域の面積に応じて小識別器群に含まれる小識別器の組合せを変更して選定を行うことができ、同一の小識別器内においてもラベル領域の面積に応じて異なる閾値を用いて火災領域と非火災領域との識別処理を実行できる構成を備えている。
【0089】
また、ある特徴量あるいは統計量に注目し、その値が一定の範囲となる場合に、異なる識別器の組み合わせを用いて火災検出をさせることで、例えば、小さい面積の領域だけに特化した火災判別を行わせることができる。
【0090】
以上のように、実施の形態２によれば、種々の監視環境に対応可能なロバスト性を備えた火災検出装置を得ることができる。
【0091】
実施の形態３．
先の実施の形態２では、設計者により複数の小識別器３０および複数の判別器４０が設計され、火災領域および非火災領域を特定する適切な判別処理が行われる場合について説明した。これに対して、本実施の形態３では、機械学習による判別処理を用いる場合について詳細に説明する。
先の実施の形態２では、設計者により複数の小識別器３０および複数の判別器４０が設計され、火災領域および非火災領域を特定する適切な判別処理が行われる場合について説明した。これに対して、本実施の形態３では、機械学習による判別処理を用いる場合について詳細に説明する。
【0092】
なお、機械学習による判別処理を適用する手法としては、以下の３つが考えられる。
（１）複数の小識別器３０のそれぞれの識別結果を入力パラメータとして火災領域であるか非火災領域であるかをラベル領域ごとに判別する第１の機械学習判別器
（２）ラベル領域演算処理部２３により算出された複数の統計量を入力パラメータとして火災領域であるか非火災領域であるかをラベル領域ごとに判別する第２の機械学習判別器
（３）先の実施の形態２で説明した設計者により設計された複数の判別器４０と、第１の機械学習判別器と、第２の機械学習判別器とを組み合わせた判別器
（１）複数の小識別器３０のそれぞれの識別結果を入力パラメータとして火災領域であるか非火災領域であるかをラベル領域ごとに判別する第１の機械学習判別器
（２）ラベル領域演算処理部２３により算出された複数の統計量を入力パラメータとして火災領域であるか非火災領域であるかをラベル領域ごとに判別する第２の機械学習判別器
（３）先の実施の形態２で説明した設計者により設計された複数の判別器４０と、第１の機械学習判別器と、第２の機械学習判別器とを組み合わせた判別器
【0093】
そこで、（１）～（３）のそれぞれについて、以下に個別に図面を用いて説明する。
＜（１）第１の機械学習判別器について＞
図５は、本開示の実施の形態３に係る第１の機械学習判別器６１を用いた火災検出装置における一連処理の流れを示した説明図である。図５におけるステップＳ４１０、Ｓ４２０、Ｓ４３０、Ｓ４４０の４ステップは、先の図４におけるステップＳ４１０、Ｓ４２０、Ｓ４３０、Ｓ４４０の４ステップと同一であり、説明を省略する。
＜（１）第１の機械学習判別器について＞
図５は、本開示の実施の形態３に係る第１の機械学習判別器６１を用いた火災検出装置における一連処理の流れを示した説明図である。図５におけるステップＳ４１０、Ｓ４２０、Ｓ４３０、Ｓ４４０の４ステップは、先の図４におけるステップＳ４１０、Ｓ４２０、Ｓ４３０、Ｓ４４０の４ステップと同一であり、説明を省略する。
【0094】
一方、本実施の形態３における図５の特徴部分は、ステップＳ５５０およびステップＳ５６０であり、それぞれ、第１の機械学習判別器６１、および投票器５２による、図１には記載されていない新たな構成により処理される。そこで、ステップ５５０およびステップＳ５６０について詳細に説明することとする。
【0095】
ステップＳ５５０において、第１の機械学習判別器６１を用いて、複数の小識別器３０（１）～３０（Ｎ）による識別結果を入力パラメータとして、火災領域であるか非火災領域であるかをラベル領域ごとに判別する処理が行われる。
【0096】
ここで、第１の機械学習判別器６１は、畳み込みニューラルネットワーク（ＣＮＮ）により火災判定を行う。なお、第１の機械学習判別器６１は、複数の小識別器３０（１）～３０（Ｎ）による識別結果としてあらかじめ取得された教師データに基づいて学習済みである。
【0097】
使用するＣＮＮは、例えば、入力層数＝小識別器数Ｎ、中間層数＝入力層数、出力層数＝１のＣＮＮであり、入力層に対して複数の小識別器３０（１）～３０（Ｎ）による識別結果が入力され、出力層から判別結果が出力される。
【0098】
なお、第１の機械学習判別器６１としては、異なる教師データや初期パラメータに基づいて学習を行った複数のＣＮＮで構成することも可能である。例えば、特定の監視環境ごとに個別のＣＮＮを用いたり、初期値を変えることにより判別特性の異なるＣＮＮを用いることが考えられる。あるいは、火災領域を特定するための学習とは別に、特定の誤報要因について個別のＣＮＮを用いることが考えられる。
【0099】
なお、ニューラルネットワーク自体は公知の技術であり、詳細な説明は省略する。
【0100】
次に、ステップＳ５６０において、１台の投票器５２を用いて、第１の機械学習判別器６１による判別結果の組み合わせ投票により火炎領域を特定する処理が行われる。投票器５２は、複数のＣＮＮで構成された第１の機械学習判別器６１による判別結果の組み合わせ投票により火炎領域を特定することで、単体では精度が低い複数の小識別器３０を用いて、第１の機械学習判別器６１と組み合わせることで、高い精度の火災判別性能を実現できる。
【0101】
＜（２）第２の機械学習判別器について＞
図６は、本開示の実施の形態３に係る第２の機械学習判別器６２を用いた火災検出装置における一連処理の流れを示した説明図である。図６におけるステップＳ４１０、Ｓ４２０、Ｓ４３０の３ステップは、先の図４におけるステップＳ４１０、Ｓ４２０、Ｓ４３０の３ステップと同一であり、説明を省略する。
図６は、本開示の実施の形態３に係る第２の機械学習判別器６２を用いた火災検出装置における一連処理の流れを示した説明図である。図６におけるステップＳ４１０、Ｓ４２０、Ｓ４３０の３ステップは、先の図４におけるステップＳ４１０、Ｓ４２０、Ｓ４３０の３ステップと同一であり、説明を省略する。
【0102】
一方、本実施の形態３における図６の特徴的な部分は、ステップＳ６５０およびステップＳ６６０であり、それぞれ、第２の機械学習判別器６２、および投票器５３による、図１には記載されていない新たな構成により処理される。そこで、ステップ６５０およびステップＳ６６０について詳細に説明することとする。
【0103】
ステップＳ６５０において、第２の機械学習判別器６２を用いて、ラベル領域演算処理部２３により算出された複数の統計量を入力パラメータとして、火災領域であるか非火災領域であるかをラベル領域ごとに判別する処理が行われる。
【0104】
ここで、第２の機械学習判別器６２は、第１の機械学習判別器６１と同様に、ＣＮＮにより火災判定を行う。なお、第２の機械学習判別器６２は、ラベル領域演算処理部２３により算出された複数の統計量としてあらかじめ取得された教師データに基づいて学習済みである。
【0105】
使用するＣＮＮは、例えば、入力層数＝統計量数Ｍ、中間層数＝入力層数、出力層数＝１のＣＮＮであり、入力層に対してラベル領域演算処理部２３により算出された複数の統計量が入力され、出力層から判別結果が出力される。
【0106】
なお、第２の機械学習判別器６２としては、異なる教師データや初期パラメータに基づいて個別に学習を行った複数のＣＮＮで構成することも可能である。例えば、特定の監視環境ごとに個別のＣＮＮを用いたり、初期値を変えることにより判別特性の異なるＣＮＮを用いることが考えられる。あるいは、火災領域を特定するための学習とは別に、特定の誤報要因について個別のＣＮＮを用いることが考えられる。
【0107】
なお、ニューラルネットワーク自体は公知の技術であり、詳細な説明は省略する。また、図５に示した第１の機械学習判別器６１と図６に示した第２の機械学習判別器６２との相違点については、後述する（３）のところで詳細に説明する。
【0108】
次に、ステップＳ６６０において、１台の投票器５３を用いて、第２の機械学習判別器６２による判別結果の組み合わせ投票により火炎領域を特定する処理が行われる。投票器５３は、複数のＣＮＮで構成された第２の機械学習判別器６２による判別結果の組み合わせ投票により火炎領域を特定することで、複数の統計量を用いて、高い精度の火災判別性能を実現できる。
【0109】
＜（３）判別器４０と機械学習判別器６１、６２との組合せについて＞
図７は、本開示の実施の形態３に係る判別器４０と第１の機械学習判別器６１と第２の機械学習判別器６２を併用した火災検出装置における一連処理の流れを示した説明図である。
図７は、本開示の実施の形態３に係る判別器４０と第１の機械学習判別器６１と第２の機械学習判別器６２を併用した火災検出装置における一連処理の流れを示した説明図である。
【0110】
図７におけるステップＳ４１０、Ｓ４２０、Ｓ４３０、Ｓ４４０、Ｓ４５０、Ｓ４６０の６ステップは、先の図４におけるステップＳ４１０、Ｓ４２０、Ｓ４３０、Ｓ４４０、Ｓ４５０、Ｓ４６０の６ステップと同一である。また、図７におけるステップＳ５５０、Ｓ５６０の２ステップは、先の図５におけるステップＳ５５０、Ｓ５６０の２ステップと同一である。さらに、図７におけるステップＳ６５０、Ｓ６６０の２ステップは、先の図６におけるステップＳ６５０、Ｓ６６０の２ステップと同一である。
【0111】
一方、本実施の形態３における図７の特徴的な部分は、ステップＳ７７０であり、火災判別器７１による、図１には記載されていない新たな構成により処理される。そこで、ステップ７７０について詳細に説明することとする。
【0112】
ステップＳ４１０、Ｓ４２０、Ｓ４３０、Ｓ４４０、Ｓ４５０、Ｓ４６０の６ステップによる一連の処理は、先の実施の形態２で説明したように、設計者により設計された判別器４０を用いた火災判別手法である。従って、設計者による複数の小識別器３０および複数の判別器４０の設計により、火災判別結果が異なる。
【0113】
また、ステップＳ４１０、Ｓ４２０、Ｓ４３０、Ｓ４４０、Ｓ５５０、Ｓ５６０の６ステップによる一連処理は、上述した（１）で説明した第１の機械学習判別器６１を用いた火災判別手法である。従って、学習内容に応じて火災判別結果が異なる。
【0114】
また、ステップＳ４１０、Ｓ４２０、Ｓ４３０、Ｓ６５０、Ｓ６６０の５ステップによる一連処理は、上述した（２）で説明した第２の機械学習判別器６２を用いた火災判別手法である。従って、学習内容に応じて火災判別結果が異なる。
【0115】
さらに、判別器４０、第１の機械学習判別器６１、第２の機械学習判別器６２を比較すると、それぞれ以下のような特性を有する。
【0116】
判別器４０は、設計者によって性能が左右されるが、設計者の経験、設置環境の特性などから、少ないデータであっても火災判別性能を高められる特性がある。また、意図的に、誤報を抑制するための厳しい火災判別特性を有するように、判別器４０を設計することも可能である。
【0117】
また、第１の機械学習判別器６１は、実測されたデータから作成された教師データに基づいて種々の状況を考慮した火災判別性能が得られる。また、複数の小識別器３０の識別結果を入力パラメータとしているため、小識別器の設計内容に応じた性能になるため、設計者の経験に基づきつつも、実測に基づく火災判別を行うことができる特性を有する。定性的には、このような構成の識別器では、第２の機械学習判別器６２と判別器４０との中間の特性を有する。
【0118】
さらに、第２の機械学習判別器６２は、実測されたデータから作成された教師データに基づいて種々の状況を考慮した火災判別性能が得られる。また、ラベル領域演算処理部２３によって算出された複数の統計量を入力パラメータとしているため、設計者の経験外の論理に基づく火災判別特性を有する。定性的には、このような構成の識別器では、火災判別性能は低下するものの、最も迅速な火災判別性能を有する。
【0119】
すなわち、判別器４０、第１の機械学習判別器６１、第２の機械学習判別器６２は、いずれも火災と非火災を正確に判別する完全な結果を得ることはできないが、それぞれ上述したような異なる特性を備えている。そこで、図７に示す構成では、判別器４０、第１の機械学習判別器６１、第２の機械学習判別器６２によるそれぞれの判別処理に基づく投票結果を考慮して、最終段において火災判別処理を行う火災判別器７１を備えている。
【0120】
ステップＳ７７０において、火災判別器７１を用いて、判別器４０、第１の機械学習判別器６１、第２の機械学習判別器６２によるそれぞれの判別処理に基づく投票結果を考慮して、火災領域であるか非火災領域であるかをラベル領域ごとに判別する処理が最終段として行われる。
【0121】
図７に示した一連処理を実行する火災検出装置の特徴をまとめると、以下のようになる。
＜特徴１＞
火災判別器７１は、３つの異なる判別器および投票器を介して、以下の３つの判別結果の提供を受けることとなる。
・第１の機械学習判別器６１によるそれぞれの判別結果に基づく投票器５２による投票結果が、第１の判別結果として火災判別器７１に提供される。
・第２の機械学習判別器６２によるそれぞれの判別結果に基づく投票器５３による投票結果が、第２の判別結果として火災判別器７１に提供される。
・複数の判別器４０によるそれぞれの判別結果に基づく投票器５１による投票結果が、第３の判別結果として火災判別器７１に提供される。
＜特徴１＞
火災判別器７１は、３つの異なる判別器および投票器を介して、以下の３つの判別結果の提供を受けることとなる。
・第１の機械学習判別器６１によるそれぞれの判別結果に基づく投票器５２による投票結果が、第１の判別結果として火災判別器７１に提供される。
・第２の機械学習判別器６２によるそれぞれの判別結果に基づく投票器５３による投票結果が、第２の判別結果として火災判別器７１に提供される。
・複数の判別器４０によるそれぞれの判別結果に基づく投票器５１による投票結果が、第３の判別結果として火災判別器７１に提供される。
【0122】
そして、火災判別器７１は、第１の判別結果と、第２の判別結果と、第３の判別結果による投票に基づいた多数決から、火炎領域を特定することができる。
【0123】
ここで、投票器５１、投票器５２、および投票器５３による３種の投票による個別の判別結果を取得する前段の工程は、第１プロセス部に相当し、火災判別器７１により３つの判別結果から最終的な判定結果を生成する後段の工程は、第２プロセス部に相当する。
【0124】
換言すると、本実施の形態３に係る図７の処理構成を備えた火災検出装置は、あらかじめ汎用性の高い複数の特徴量を多数用意し、これら特徴量から算出される統計量を用いて判別精度が高くはないが有効な小識別器を多数用意し、これら小識別器の出力を入力パラメータとした第１の機械学習判別器６１による判別結果に対して投票処理を行うことで、第１の判別結果を生成できる。
【0125】
また、あらかじめ汎用性の高い複数の特徴量を多数用意し、これら特徴量から算出される統計量を入力パラメータとした第２の機械学習判別器６２による判別結果に対して投票処理を行うことで、第２の判別結果を生成できる。
【0126】
さらに、あらかじめ汎用性の高い複数の特徴量を多数用意し、これら特徴量から算出される統計量を用いて判別精度が高くはないが有効な小識別器を多数用意し、これら小識別器を組み合わせた複数の判別器４０による判別結果に対して投票処理を行うことで、第３の判別結果を生成できる。
【0127】
そして、第１乃至第３の３種の判別結果に基づいて、最終的に、火炎領域を特定できる。この結果、それぞれの判別器単体では目標精度に到達できない場合であっても、特性の異なる判別器による判別結果の組合せの効果により、火災判別性能の高精度化を実現できる。
【0128】
以上のように、実施の形態３によれば、種々の監視環境に対応可能なロバスト性を備えた火災検出装置を得ることができる。
【0129】
実施の形態４.
本実施の形態４では、監視カメラ１として赤外線サーモグラフィーを用いた場合に、入力画像から高温領域を抽出するために使用される温度閾値Ｔｔｈの設定方法について説明する。
本実施の形態４では、監視カメラ１として赤外線サーモグラフィーを用いた場合に、入力画像から高温領域を抽出するために使用される温度閾値Ｔｔｈの設定方法について説明する。
【0130】
例えば、トンネルや屋外プラントなどの屋外用途として火災検出装置を用いる場合には、監視時における光学系の汚損が、検出性能に重大な影響を与える。そこで、光学式火災検知器などでは、センサの窓材の汚損の程度を把握し、検出感度を補償する機能を有する。
【0131】
屋外用途において、監視カメラ１として赤外線サーモグラフィーを用いて、監視環境の温度に関する情報を取得し、画像処理を施すことで火災監視を行う本開示に係る火災検出装置を適用する場合には、レンズや窓材が汚損すると、実際の温度よりも低い温度が観測されてしまう。
【0132】
しかも、レンズや窓材の汚れは一様ではなく、中央部と周辺部では汚損の度合いが異なることが考えられる。すなわち、監視カメラ１として赤外線サーモグラフィーを用いる場合には、結像光学系を採用するため、画像の位置によって汚損の状況が異なることになる。しかしながら、この汚損の分布を正確に把握することは、非常に困難である。
【0133】
このような課題を解決するために、本実施の形態４では、汚損状況が劣化することをあらかじめ想定した上で、演算処理を施す対象領域を構成する画素として、入力画像から高温領域を構成する画素を抽出するために使用される温度閾値Ｔｔｈを、汚損に対しロバストな値に設定することに技術的特徴を有しており、具体的な設定方法について以下に説明する。
【0134】
なお、入力画像から高温領域を構成する画素を抽出する処理は、画素演算処理部２１により実行される。
【0135】
まず、レンズが汚れていない状態で、安定して火災領域を抽出できる適切な温度閾値を、例えば、設計プロセスで実験的に取得する。このときの適切な温度閾値を、以下では「設定温度」と称す。換言すると、「設定温度」とは、赤外線サーモグラフィーの光学系が汚損されていない状態を、赤外線サーモグラフィーの光学系の波長帯の透過率が１００％の状態とし、この１００％の状態において赤外線サーモグラフィーで撮像した場合に火災領域を抽出可能な適切な温度閾値に相当する。
【0136】
次に、赤外線サーモグラフィーを、監視環境に設置可能な最大周囲温度に相当する温度環境を設定する。このときの最大温度を、以下では「環境温度」と称す。
【0137】
通常、屋外環境に設置される光学機器の汚損は、管理の都合上、可視光の波長帯の透過率に基づいて管理・設定される。
【0138】
一方、これら光学機器の汚れは、煤塵などの微粒子の付着の蓄積によって起こるものであるが、同一粒径に対する分光透過率は、波長が長くなるほど、回折量が増加し、透過率は増加する。
【0139】
すなわち、赤外線サーモグラフィーの波長帯（物によるが、一般的には３μｍ～５μｍ、または８μｍ～１４μｍ）で透過率を管理すれば、可視光の波長帯では、より低い透過率までの監視性能を確保できる。
【0140】
このような管理手法に基づいて、本実施の形態４では、下式（１）の指数関数を用いて、入力画像から高温領域を抽出するために使用される適切な温度閾値Ｔｔｈを設定している。
Ｔｔｈ＝（（Ｅａ－Ｅｂ）×Ｚ／１００＋Ｅｂ）x （１）
Ｔｔｈ＝（（Ｅａ－Ｅｂ）×Ｚ／１００＋Ｅｂ）x （１）
【0141】
ここで、上式（１）における各記号は、以下の意味を有している。
Ｅａ：設定温度における総光学エネルギー
Ｅｂ：環境温度における総光学エネルギー
Ｚ：許容限界まで汚損された場合の透過率（すなわち、光学系が許容可能な汚損限界の透過率） Ｚ％（Ｚは、１００以下の正数）
Ｘ：総光学エネルギーから温度閾値を算出するための定数
なお、温度閾値Ｔｔｈは、設定温度における総光学エネルギーＥａ、および環境温度における総光学エネルギーＥｂに基づいて、上式（１）以外によっても決定することができる。
Ｅａ：設定温度における総光学エネルギー
Ｅｂ：環境温度における総光学エネルギー
Ｚ：許容限界まで汚損された場合の透過率（すなわち、光学系が許容可能な汚損限界の透過率） Ｚ％（Ｚは、１００以下の正数）
Ｘ：総光学エネルギーから温度閾値を算出するための定数
なお、温度閾値Ｔｔｈは、設定温度における総光学エネルギーＥａ、および環境温度における総光学エネルギーＥｂに基づいて、上式（１）以外によっても決定することができる。
【0142】
例えば、Ｚ＝５０％として、上式（１）に従って温度閾値Ｔｔｈを設定した場合には、汚損５０％まで、汚損状況が変わったとしても、感度補償をすることなしに継続して監視が可能となる。
【0143】
従って、上式（１）を用いて適切な温度閾値Ｔｔｈを設定することで、監視時における光学系の汚損が、検出性能に与える影響を抑制でき、感度補償を行うことなしに、あらかじめ想定した汚損状態となるまで高温領域を抽出する性能を維持することが可能となる。
【0144】
以上のように、実施の形態４によれば、種々の監視環境に対応可能なロバスト性を備えた火災検出装置を得ることができる。
【符号の説明】
【0145】
１ 監視カメラ、１０ 画像メモリ、２０ 演算処理部、２１ 画素演算処理部、２２ 小領域演算処理部、２３ ラベル領域演算処理部、３０ 小識別器、４０ 判別器、５１、５２、５３ 投票器、６１ 第１の機械学習判別器、６２ 第２の機械学習判別器、７１ 火災判別器。
【要約】
【課題】種々の監視環境に対応可能なロバスト性を備えた火災検出装置を得る。
【解決手段】監視カメラで撮像した入力画像を構成する画素単位での演算処理を行う画素演算処理部と、複数の画素をまとめた小領域単位での演算処理を行う小領域演算処理部と、小領域単位でラベリング処理を行うことで得られたラベル領域単位での演算処理を行うラベル領域演算処理部とを備え、小領域演算処理部は、画素演算処理部での第１段階による処理結果を用いた第２段階の処理として小領域単位での演算処理を行い、ラベル領域演算処理部は、小領域演算処理部での第２段階による処理結果に基づくラベリング処理を行うことで得られたラベル領域を火災判定処理領域として抽出し、火災判定処理領域のそれぞれに対する第３段階の処理としてラベル領域単位での演算処理を行うことで火炎領域を特定するための候補領域と特徴量の統計量を抽出する。
【選択図】図１
【解決手段】監視カメラで撮像した入力画像を構成する画素単位での演算処理を行う画素演算処理部と、複数の画素をまとめた小領域単位での演算処理を行う小領域演算処理部と、小領域単位でラベリング処理を行うことで得られたラベル領域単位での演算処理を行うラベル領域演算処理部とを備え、小領域演算処理部は、画素演算処理部での第１段階による処理結果を用いた第２段階の処理として小領域単位での演算処理を行い、ラベル領域演算処理部は、小領域演算処理部での第２段階による処理結果に基づくラベリング処理を行うことで得られたラベル領域を火災判定処理領域として抽出し、火災判定処理領域のそれぞれに対する第３段階の処理としてラベル領域単位での演算処理を行うことで火炎領域を特定するための候補領域と特徴量の統計量を抽出する。
【選択図】図１
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
