(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-11-05
(45)【発行日】2024-11-13
(54)【発明の名称】監視装置、監視システムおよび監視方法
(51)【国際特許分類】
G08B 25/00 20060101AFI20241106BHJP
G08B 17/12 20060101ALI20241106BHJP
H04N 7/18 20060101ALI20241106BHJP
【ＦＩ】
G08B25/00 510M
G08B17/12 B
H04N7/18 D
H04N7/18 K
【請求項の数】
9
(21)【出願番号】P 2023093985
(22)【出願日】2023-06-07
(62)【分割の表示】P 2019059416の分割
【原出願日】2019-03-26
(65)【公開番号】P2023116618
(43)【公開日】2023-08-22
【審査請求日】2023-07-06
(73)【特許権者】
【識別番号】000004444
【氏名又は名称】ＥＮＥＯＳ株式会社
(74)【代理人】
【識別番号】100149548
【弁理士】
【氏名又は名称】松沼 泰史
(74)【代理人】
【識別番号】100189337
【弁理士】
【氏名又は名称】宮本 龍
(74)【代理人】
【識別番号】100188949
【弁理士】
【氏名又は名称】田中 成典
(74)【代理人】
【識別番号】100214215
【弁理士】
【氏名又は名称】▲高▼梨 航
(72)【発明者】
【氏名】後藤 治久
(72)【発明者】
【氏名】石井 信行
(72)【発明者】
【氏名】清家 寛志
【審査官】飯島 尚郎
(56)【参考文献】
【文献】特開２００８－１９９１７３（ＪＰ，Ａ）
【文献】特開２０００－２６８２７０（ＪＰ，Ａ）
【文献】特開平１０－２３２１９８（ＪＰ，Ａ）
【文献】特開２００６－２６８２００（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０８Ｂ ２５／００
Ｇ０８Ｂ １７／１２
Ｈ０４Ｎ ７／１８
(57)【特許請求の範囲】
【請求項1】
フレアを放出するバーナー部を含む映像を取得する映像取得部と、取得された前記映像を解析する映像解析部と、
解析された前記映像について予め定められた所定の異常フレア領域に占める前記フレアの大きさに基づいて、異常フレアを検出する異常フレア判定部と、
前記異常フレアが検出された前記映像を解析することにより、検出された前記異常フレアの誤検出の可能性を判定する誤検出判定部と、
を備え、
前記誤検出判定部は、
前記異常フレアが検出された前記映像に対して、色相に基づく判定と他の判定とを行い、
前記色相に基づく判定の結果を前記他の判定の結果よりも重んじて用いることで、前記異常フレアの誤検出の可能性を判定する、
監視装置。
【請求項2】
前記色相に基づく判定の結果に応じた第１スコアと、前記他の判定の結果に応じた第２スコアと、予め定められた閾値と、を記憶する記憶部をさらに備え、前記色相に基づく判定において誤検出の可能性ありと判定された場合の前記第１スコアは、前記他の判定において誤検出の可能性ありと判定された場合の前記第２スコアよりも大きい値が設定されており、
前記誤検出判定部は、
前記第１スコアと前記第２スコアとの和が前記閾値以上である場合に、検出された前記異常フレアが誤報であると判定し、
前記第１スコアと前記第２スコアとの和が前記閾値未満である場合に、検出された前記異常フレアが誤報ではないと判定する、
請求項１に記載の監視装置。
【請求項3】
前記誤検出判定部は、前記他の判定の一つとして、前記異常フレアが検出された前記映像に含まれる前記フレアの形状の左右対称の程度に基づいて誤検出の可能性を判定する、
請求項１または請求項２に記載の監視装置。
【請求項4】
前記誤検出判定部は、前記色相に基づく判定として、
前記異常フレアが検出された前記映像に含まれる前記異常フレア領域のうち、フレアに対応する所定範囲のＲＧＢ輝度値を有する画素の色相に関する値の平均値を算出し、
算出された前記平均値に基づいて誤検出の可能性を判定する、
請求項１から請求項３のいずれか一項に記載の監視装置。
【請求項5】
前記誤検出判定部は、前記異常フレアが検出された前記映像に含まれる前記異常フレア領域のうち、フレアに対応する所定範囲のＲＧＢ輝度値を有する各画素の色相から基準とする所定の色相を減算した補正色相を算出し、
算出された前記各画素の前記補正色相の平均値を算出し、
算出された前記平均値に基づいて、前記異常フレアの誤検出の可能性を判定する、
請求項４に記載の監視装置。
【請求項6】
前記誤検出判定部は、予め指定された時間帯にのみ前記異常フレアの誤検出の可能性を判定する、請求項１から請求項５のいずれか一項に記載の監視装置。
【請求項7】
前記誤検出判定部は、前記色相に基づく判定および前記他の判定のうちの少なくともいずれか一つで誤検出ではないと判定され、残りの方法で誤検出と判定された場合に、「誤報ではない」との判定結果に加え、「誤報の可能性あり」との内容を示す付記情報を追加する、請求項１から請求項６のいずれか一項に記載の監視装置。
【請求項8】
フレアスタックのフレア放出部周辺の映像を撮影する撮像装置と、前記映像を取得する請求項１から請求項７の何れか１項に記載の監視装置と、
を備える監視システム。
【請求項9】
フレアを放出するバーナー部を含む映像を取得する工程と、取得された前記映像を解析する工程と、
解析された前記映像について設定された所定の異常フレア領域に占める前記フレアの大きさに基づいて、異常フレアを検出する工程と、
前記異常フレアが検出された前記映像を解析することにより、検出された前記異常フレアの誤検出の可能性を判定する工程と、
を有し、
前記誤検出の可能性を判定する工程では、
前記異常フレアが検出された前記映像に対して、色相に基づく判定と他の判定とを行い、
前記色相に基づく判定の結果を前記他の判定の結果よりも重んじて用いることで、前記異常フレアの誤検出の可能性を判定する、
監視方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、監視装置、監視システムおよび監視方法に関する。
【背景技術】
【0002】
製油所では、製油の過程で排出された余剰のガスをフレアスタックと呼ばれる設備で焼却する。フレアスタックのバーナー部の先端からは、余剰ガスの燃焼により生じる火炎（フレア）や黒煙が放出される。フレアスタックでは、事故防止や環境に対する配慮から、フレアの状態や黒煙の発生などを監視する。フレア等の監視は、バーナー部周辺の様子を監視用カメラで撮影し、監視員がその映像を確認しながら行うことが多い。
【0003】
例えば、特許文献１には、化学プラントや火力発電施設、塵焼却施設におけるフレアスタックや煙突から排出される黒煙を検知する黒煙検知システムが記載されている。特許文献１に記載の黒煙検知システムは、排出された煙を連続して撮影した画像を用いて、２つの画像の所定領域に対してオプティカルフロー推定を計算する。そして、オプティカルフロー推定から速度場ベクトルを演算し、速度場が存在する領域から排出煙領域を抽出する。さらに排出煙領域の全画素について輝度ヒストグラムを計算し、暗い輝度値を有する画素が一定以上存在する場合に排出煙領域に黒煙が存在すると判定する。
【先行技術文献】
【特許文献】
【0004】
【文献】特開２００１－２５６４７５号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
上記したフレアの監視では、フレアの異常を早期に精度よく検出することが求められる。例えば、煙突を撮影した画像からフレアを検出しようとすると、煙突の付近に写り込んだ夕焼け雲をフレアと誤検出する可能性があるが、このような誤検出を防ぎ精度よく異常フレアを検出する技術は提供されていない。また、特許文献１にも、フレアの異常を検出する方法は記載されていない。
【0006】
そこでこの発明は、上述の課題を解決することのできる監視装置、監視システムおよび監視方法を提供することを目的としている。
【課題を解決するための手段】
【0007】
本発明の一態様によれば、監視装置は、映像を取得する映像取得部と、前記映像を解析し、フレアを放出するバーナー部を基準として設定された所定の異常フレア領域を認識する映像解析部と、前記異常フレア領域に占める前記フレアの大きさに基づいて、異常フレアを検出する異常フレア判定部と、所定期間に取得された複数の前記映像に基づいて前記異常フレアの時間的変化を解析することにより、前記異常フレアの誤検出の可能性を判定する誤検出判定部と、を備える。
【0008】
本発明の一態様によれば、前記誤検出判定部は、複数の前記映像において前記フレアが占める割合の経時的な変化に基づいて誤検出の可能性を判定する。
【0009】
本発明の一態様によれば、前記誤検出判定部は、複数の前記映像において前記フレアに対応する画素数の単位時間あたりの変動を示す値を前記画素数で除算した規格化処理後の値に基づいて誤検出の可能性を判定する。
【0010】
本発明の一態様によれば、前記誤検出判定部は、前記規格化処理後の値が所定の閾値より大きい場合、前記異常フレアの検出は、誤検出ではないと判定する。
【0011】
本発明の一態様によれば、前記誤検出判定部は、前記規格化処理後の値が所定の閾値以下の場合、前記異常フレアの検出は、誤検出の可能性があると判定する。
【0012】
本発明の一態様によれば、前記誤検出判定部は、複数の前記映像に含まれる前記フレアの挙動を、前記映像に雲が含まれる場合に当該雲が示す挙動と比較して誤検出の可能性を判定する。
【0013】
本発明の一態様によれば、前記誤検出判定部は、異常フレアが検出された前記映像に含まれる前記フレアの形状の左右対称の程度に基づいて誤検出の可能性を判定する。
【0014】
本発明の一態様によれば、前記誤検出判定部は、異常フレアが検出された前記映像に含まれる前記フレアの色相が、基準とする所定の色相から乖離する程度に基づいて誤検出の可能性を判定する。
【0015】
本発明の一態様によれば、前記誤検出判定部は、前記異常フレアを誤検出したときの前記映像を学習して構築された学習済みモデルに基づいて誤検出の可能性を判定する。
【0016】
本発明の一態様によれば、前記映像解析部は、前記映像における前記フレアに対応するＲＧＢ輝度値と前記ＲＧＢ輝度値の範囲を示す設定情報に基づいて、前記異常フレア領域において、前記フレアが映った領域の画素数を算出し、前記異常フレア判定部は、前記画素数が所定の閾値以上となると異常フレアと判定する。
【0017】
本発明の一態様によれば、監視システムは、フレアスタックのフレア放出部周辺の映像を撮影する撮像装置と、前記映像を取得する上記の何れかに記載の監視装置と、を備える。
【0018】
本発明の一態様によれば、監視方法は、映像を取得する工程と、前記映像を解析し、フレアを放出するバーナー部を基準として設定された所定の異常フレア領域を認識する工程と、前記異常フレア領域に占める前記フレアの大きさに基づいて、異常フレアを検出する工程と、所定期間に取得された複数の前記映像に基づいて前記異常フレアの時間的変化を解析することにより、前記異常フレアの誤検出の可能性を判定する工程と、を有する。
【発明の効果】
【0019】
本発明によれば、異常フレアの誤検出を防ぐことができる。
【図面の簡単な説明】
【0020】
【図1】本発明の一実施形態における監視システムの一例を示す図である。
【図2】本発明の第一実施形態における監視装置の一例を示す機能ブロック図である。
【図3】本発明の第一実施形態における監視装置が解析する映像の一例を示す図である。
【図4】本発明の第一実施形態における監視システムの監視画面の一例を示す図である。
【図5】本発明の第一実施形態における形状による誤検出判定処理を説明する第１の図である。
【図6】本発明の第一実施形態における形状による誤検出判定処理を説明する第２の図である。
【図7】本発明の第一実施形態における色相による誤検出判定処理を説明する第１の図である。
【図8】本発明の第一実施形態における色相による誤検出判定処理を説明する第２の図である。
【図9】本発明の第一実施形態における色相による誤検出判定処理を説明する第３の図である。
【図10】本発明の第一実施形態における経時的変化の特性による誤検出判定処理を説明する図である。
【図11】本発明の第一実施形態における誤報判定処理の一例を示すフローチャートである。
【図12】本発明の第一実施形態における監視処理の一例を示すフローチャートである。
【図13】本発明の第二実施形態における監視装置の一例を示す機能ブロック図である。
【図14】本発明の第二実施形態における監視処理を説明する図である。
【発明を実施するための形態】
【0021】
以下、本発明の第一実施形態によるフレアスタックの監視システムについて図１～図１２を参照して説明する。
（システムの構成）
図１は、本発明の一実施形態における監視システムの一例を示す図である。
図１に、監視システム１の構成を示す。図１に示すように監視システム１は、カメラ１０と、映像取得装置１５と、映像分配装置２０と、監視用モニター２５と、監視装置３０と、を備える。
カメラ１０は、フレアや煙が放出されるフレアスタック先端のバーナー部（フレアを放散する先端部、煙突）と、その周辺の映像を撮影する。図３にカメラ１０が撮影した映像の一例を示す。カメラ１０が撮影した映像を、以下フレア映像と記載する。なお、カメラ１０は、動画を撮影する撮像装置であることが好ましいが、例えば、所定の時間間隔で静止画を撮影するものであってもよい。
（システムの構成）
図１は、本発明の一実施形態における監視システムの一例を示す図である。
図１に、監視システム１の構成を示す。図１に示すように監視システム１は、カメラ１０と、映像取得装置１５と、映像分配装置２０と、監視用モニター２５と、監視装置３０と、を備える。
カメラ１０は、フレアや煙が放出されるフレアスタック先端のバーナー部（フレアを放散する先端部、煙突）と、その周辺の映像を撮影する。図３にカメラ１０が撮影した映像の一例を示す。カメラ１０が撮影した映像を、以下フレア映像と記載する。なお、カメラ１０は、動画を撮影する撮像装置であることが好ましいが、例えば、所定の時間間隔で静止画を撮影するものであってもよい。
【0022】
映像取得装置１５は、カメラ１０が撮影したフレア映像を取得し、そのフレア映像を映像分配装置２０へ出力する。一般的に映像取得装置１５は、監視用モニター２５と直接接続され、監視員は、監視用モニター２５に表示されたフレア映像を見てフレアスタックのバーナー部の周辺や上空を確認し、フレアが大きくないか、失火していないか、黒煙が発生していないかなどを目視により監視する。本実施形態の監視システム１では、映像取得装置１５は、映像分配装置２０と接続される。
【0023】
映像分配装置２０は、映像の分配する機能を有している。映像分配装置２０は、監視用モニター２５および監視装置３０と接続されている。映像分配装置２０は、映像取得装置１５から取得したフレア映像を監視用モニター２５および監視装置３０へ出力する。
監視用モニター２５は、フレア映像を表示する。監視員は、監視用モニター２５に表示されたフレア映像を監視する。
監視用モニター２５は、フレア映像を表示する。監視員は、監視用モニター２５に表示されたフレア映像を監視する。
【0024】
監視装置３０は、フレア映像を解析して、フレア映像に映るフレアの大きさの異常、フレアの失火、黒煙の発生を検出する。監視装置３０は、フレアの異常等を検出すると、その検出結果を監視装置３０に接続された表示装置へ表示し、監視員に通知する。次に監視装置３０について詳しく説明する。
【0025】
＜第一実施形態＞
（監視装置の機能）
図２は、本発明の第一実施形態における監視装置の一例を示す機能ブロック図である。 監視装置３０は、ＣＰＵ（Central Processing Unit）等の演算装置を備えたＰＣ（Personal Computer）やサーバ等のコンピュータである。図示するように監視装置３０は、映像取得部３１と、設定情報取得部３２と、映像解析部３３と、異常フレア判定部３４と、誤検出判定部３４１と、失火判定部３５と、黒煙判定部３６と、記憶部３７と、出力制御部３８と、を備えている。
（監視装置の機能）
図２は、本発明の第一実施形態における監視装置の一例を示す機能ブロック図である。 監視装置３０は、ＣＰＵ（Central Processing Unit）等の演算装置を備えたＰＣ（Personal Computer）やサーバ等のコンピュータである。図示するように監視装置３０は、映像取得部３１と、設定情報取得部３２と、映像解析部３３と、異常フレア判定部３４と、誤検出判定部３４１と、失火判定部３５と、黒煙判定部３６と、記憶部３７と、出力制御部３８と、を備えている。
【0026】
映像取得部３１は、フレア映像を取得する。映像取得部３１は、フレア映像を映像解析部３３へ出力する。
設定情報取得部３２は、フレア映像を解析しフレアの異常等の検出に必要な設定情報を取得する。設定情報取得部３２は、取得した設定情報を記憶部３７に記録する。
設定情報取得部３２は、フレア映像を解析しフレアの異常等の検出に必要な設定情報を取得する。設定情報取得部３２は、取得した設定情報を記憶部３７に記録する。
【0027】
映像解析部３３は、フレア映像を解析する。ここで、図３を参照する。図３は、本発明の第一実施形態における監視装置が解析する映像の一例を示す図である。図３にフレア映像５０の一例を示す。なお、矩形の枠５１～５４は、フレア映像５０そのものではなく、出力制御部３８がフレア映像５０に加えた画像情報である。（１）例えば、映像解析部３３は、フレア映像に映るバーナー部５６を、バーナー部の形状に基づくパターン認識により検出する。映像解析部３３は、検出したバーナー部５６の所定の位置（例えば、バーナー部５６の中心）を、フレア映像５０における基準位置として設定する。映像解析部３３は、例えば、フレア映像５０の左下端を原点としたときの基準位置の座標情報を記憶部３７に記録する。
【0028】
（２）また、映像解析部３３は、フレア映像５０における基準位置に基づく所定範囲を、正常フレア領域５１、異常フレア領域５２、黒煙検出領域５３、背景領域５４として設定する。
正常フレア領域５１は、例えば、バーナー部５６の一部を含んでフレア５５の大きさが正常とみなせる範囲を規定する。
異常フレア領域５２は、例えば、正常フレア領域５１よりも基準位置から離れた領域を含んで設定される。異常フレア領域５２は、フレア５５が拡大したときに、その一部が届く可能性がある位置に対して設定される。例えば、異常フレア領域５２は、正常フレア領域５１外側の上空側に、正常フレア領域５１よりも広い幅を有して設定される。監視装置３０は、フレア５５が拡大し、その一部が異常フレア領域５２に達し、所定の割合を占めるようになると、フレア５５が大きい（異常）と判定する。なお、異常フレア領域５２は、図示するように正常フレア領域５１を含まないように設定されても良いし、正常フレア領域５１を含んで設定されてもよい。以下では、特に断りのない限り、図示するように異常フレア領域５２が、正常フレア領域５１を含まないように設定される場合を例に説明を行う。
正常フレア領域５１は、例えば、バーナー部５６の一部を含んでフレア５５の大きさが正常とみなせる範囲を規定する。
異常フレア領域５２は、例えば、正常フレア領域５１よりも基準位置から離れた領域を含んで設定される。異常フレア領域５２は、フレア５５が拡大したときに、その一部が届く可能性がある位置に対して設定される。例えば、異常フレア領域５２は、正常フレア領域５１外側の上空側に、正常フレア領域５１よりも広い幅を有して設定される。監視装置３０は、フレア５５が拡大し、その一部が異常フレア領域５２に達し、所定の割合を占めるようになると、フレア５５が大きい（異常）と判定する。なお、異常フレア領域５２は、図示するように正常フレア領域５１を含まないように設定されても良いし、正常フレア領域５１を含んで設定されてもよい。以下では、特に断りのない限り、図示するように異常フレア領域５２が、正常フレア領域５１を含まないように設定される場合を例に説明を行う。
【0029】
黒煙検出領域５３は、例えば、異常フレア領域５２よりも基準位置からさらに離れた位置を含んで設定される。黒煙検出領域５３は、黒煙が発生したときに黒煙が届く可能性がある位置に対して設定される。例えば、黒煙検出領域５３は、異常フレア領域５２外側の上空側に、異常フレア領域５２よりもさらに広い幅を有して設定される。これは、黒煙は、上空の風の影響により、広い範囲に達する可能性があり、確実に黒煙を検出するためである。監視装置３０は、黒煙検出領域５３に黒煙の存在を検出すると黒煙が発生したと判定する。なお、黒煙の存在を検出するために映像解析部３３は、背景領域５４に含まれる画素の輝度値を基準として、黒煙検出領域５３内に存在する画素の輝度値が、その基準の輝度値よりも所定の値以下であれば（暗ければ）、黒煙検出領域５３内に存在する当該画素が黒煙を示していると判定する。なお、黒煙検出領域５３は、図示するように異常フレア領域５２および正常フレア領域５１を含まないように設定されても良いし、異常フレア領域５２、または、異常フレア領域５２および正常フレア領域５１を含んで設定されてもよい。以下では、特に断りのない限り、図示するように黒煙検出領域５３が、異常フレア領域５２および正常フレア領域５１を含まないように設定される場合を例に説明を行う。
【0030】
背景領域５４は、上記したように黒煙検出のために設定される。背景領域５４は、フレアや黒煙が到達しない領域に設定される。背景領域５４は、例えば、バーナー部５６から十分に離れ、構造物が存在しない空間の一部について設定される。
なお、正常フレア領域５１、異常フレア領域５２、黒煙検出領域５３、背景領域５４は監視員が任意に設定することができる。
なお、正常フレア領域５１、異常フレア領域５２、黒煙検出領域５３、背景領域５４は監視員が任意に設定することができる。
【0031】
（３）また、映像解析部３３は、フレアに対応するＲＧＢ輝度値（ＲＧＢ色空間における赤、緑、青それぞれの２５６階調の値）に基づいて、フレア映像５０からフレア５５を検出する。フレアに対応するＲＧＢ輝度値とその範囲を規定する値は、監視員が監視装置３０へ入力し、設定情報取得部３２がその値を取得してもよい、あるいは、映像解析部３３は、バーナー部５６の周辺の画素のうちフレア５５が映った画素を解析してフレアに対応するＲＧＢ輝度値を設定してもよい。
【0032】
異常フレア判定部３４は、映像解析部３３の解析結果に基づいて、異常フレア領域５２に占めるフレア５５の大きさが所定の割合以上となるとフレア５５は異常フレア（フレアが大きい）と判定する。より具体的には、異常フレア判定部３４は、異常フレア領域５２におけるフレアに対応するＲＧＢ輝度値を有する画素数が閾値以上となるとフレア５５を異常フレアと判定する。
【0033】
誤検出判定部３４１は、異常フレアが検出されたフレア映像に対する解析結果に基づいて、異常フレアの誤検出の可能性を判定する。例えば、誤検出判定部３４１は、フレア映像に映ったフレアの形状（左右の対称性）に基づいて誤検出の可能性を判定する。また、誤検出判定部３４１は、フレア映像に映ったフレアの色相と、基準とする色相（４５°）との乖離の程度に基づいて誤検出の可能性を判定する。また、誤検出判定部３４１は、フレア映像に映ったフレアの経時的変化の特性に基づいて誤検出の可能性を判定する。誤検出判定部３４１による処理は、後に図５～図１１を用いて説明する。
【0034】
失火判定部３５は、映像解析部３３の解析結果に基づいて、正常フレア領域５１に占めるフレアの大きさが所定閾値以下となるとフレア５５は失火したと判定する。より具体的には、失火判定部３５は、正常フレア領域５１におけるフレアに対応するＲＧＢ輝度値を有する画素数が閾値以下となると失火と判定する。あるいは、失火判定部３５は、カメラ１０が撮影したフレア映像５０に対する映像解析部３３による解析結果に基づいて、フレアに対応するＲＧＢ輝度値を有する画素数が閾値以下となる状態が、連続して所定時間以上継続すると失火と判定する。
【0035】
黒煙判定部３６は、映像解析部３３の解析結果に基づいて、黒煙検出領域５３における黒煙に対応する輝度値を有する画素数が閾値以上となると黒煙が発生した判定する。後述するように黒煙の判定には白黒間の２５６階調の輝度値（白黒輝度値）を用いる。
【0036】
記憶部３７は、種々の情報を記憶する。例えば、記憶部３７は、バーナー部５６の基準位置の座標情報や、フレアに対応するＲＧＢ輝度値およびその範囲の設定情報などを記憶する。
【0037】
出力制御部３８は、異常フレア判定部３４、誤検出判定部３４１、失火判定部３５、黒煙判定部３６による判定結果を表示したり、設定情報を入力したりするためのユーザインタフェース（例えば図４の監視画面６０）の画像を生成する。出力制御部３８は、ユーザインタフェース画像を監視装置３０の表示装置に出力し、表示させる。図４に監視画面の一例を示す。
【0038】
（監視装置の出力例）
図４は、本発明の第一実施形態における監視システムの監視画面の一例を示す図である。
出力制御部３８は、図４に例示する監視画面６０の画像を生成する。監視画面６０は、結果表示欄６１、フレア輝度表示欄６２ａ～６２ｂ、設定情報入力欄６３ａ～６３ｆ、登録ボタン６４、フレア映像５０を含む。
結果表示欄６１には、異常フレア判定部３４および失火判定部３５および黒煙判定部３６による判定結果が表示される。異常フレア判定部３４がフレア異常を検出せず、失火判定部３５が失火を検出せず、黒煙判定部３６が黒煙を検出しないとき、出力制御部３８は、結果表示欄６１に文字データ「正常」を表示する。異常フレア判定部３４がフレア異常を検出すると、出力制御部３８は、例えば、文字データ「フレア異常」を表示する。また、誤検出判定部３４１がフレア異常の誤検出の可能性を検出すると、出力制御部３８は、例えば、文字データ「フレア異常（誤報の可能性あり）」を表示する。失火判定部３５が失火を検出すると、出力制御部３８は、例えば、文字データ「失火」を表示する。黒煙判定部３６が黒煙を検出すると、出力制御部３８は、例えば、文字データ「黒煙発生」を表示する。また、異常フレア判定部３４がフレア異常を検出し、黒煙判定部３６が黒煙を検出した場合、出力制御部３８は、例えば、文字データ「フレア異常および黒煙発生」を表示する。
図４は、本発明の第一実施形態における監視システムの監視画面の一例を示す図である。
出力制御部３８は、図４に例示する監視画面６０の画像を生成する。監視画面６０は、結果表示欄６１、フレア輝度表示欄６２ａ～６２ｂ、設定情報入力欄６３ａ～６３ｆ、登録ボタン６４、フレア映像５０を含む。
結果表示欄６１には、異常フレア判定部３４および失火判定部３５および黒煙判定部３６による判定結果が表示される。異常フレア判定部３４がフレア異常を検出せず、失火判定部３５が失火を検出せず、黒煙判定部３６が黒煙を検出しないとき、出力制御部３８は、結果表示欄６１に文字データ「正常」を表示する。異常フレア判定部３４がフレア異常を検出すると、出力制御部３８は、例えば、文字データ「フレア異常」を表示する。また、誤検出判定部３４１がフレア異常の誤検出の可能性を検出すると、出力制御部３８は、例えば、文字データ「フレア異常（誤報の可能性あり）」を表示する。失火判定部３５が失火を検出すると、出力制御部３８は、例えば、文字データ「失火」を表示する。黒煙判定部３６が黒煙を検出すると、出力制御部３８は、例えば、文字データ「黒煙発生」を表示する。また、異常フレア判定部３４がフレア異常を検出し、黒煙判定部３６が黒煙を検出した場合、出力制御部３８は、例えば、文字データ「フレア異常および黒煙発生」を表示する。
【0039】
出力制御部３８は、フレア映像５０のフレア５５に対応する部分の画素のＲＧＢ輝度値（例えば平均値）を、フレア輝度表示欄６２ａ～６２ｂに表示する。出力制御部３８は、例えば、赤輝度値をフレア輝度表示欄６２ａに緑輝度値をフレア輝度表示欄６２ｂに表示する。
出力制御部３８は、カメラ１０が撮影したフレア映像５０に正常フレア領域５１、異常フレア領域５２、黒煙検出領域５３、背景領域５４それぞれの境界線を重ねた画像を表示する。
監視員は、監視用モニター２５に表示されるフレア映像５０に加え、結果表示欄６１、フレア映像５０、フレア輝度表示欄６２ａ～６２ｂを見てフレアの監視を行う。なお、監視用モニター２５に表示されるフレア映像５０には、正常フレア領域５１、異常フレア領域５２、黒煙検出領域５３、背景領域５４を示す境界線は表示されない。
出力制御部３８は、カメラ１０が撮影したフレア映像５０に正常フレア領域５１、異常フレア領域５２、黒煙検出領域５３、背景領域５４それぞれの境界線を重ねた画像を表示する。
監視員は、監視用モニター２５に表示されるフレア映像５０に加え、結果表示欄６１、フレア映像５０、フレア輝度表示欄６２ａ～６２ｂを見てフレアの監視を行う。なお、監視用モニター２５に表示されるフレア映像５０には、正常フレア領域５１、異常フレア領域５２、黒煙検出領域５３、背景領域５４を示す境界線は表示されない。
【0040】
監視員は、異常フレア判定部３４がフレア異常と判定するときのしきい値、つまりフレア５５が映っているとみなせる画素数の異常フレア領域５２の全画素数に占める割合のしきい値を、設定情報入力欄６３ａに入力する。
監視員は、黒煙判定部３６が、黒煙が発生したと判定するときのしきい値、つまり黒煙が映っているとみなせる画素数の黒煙検出領域５３の全画素数に占める割合のしきい値を、設定情報入力欄６３ｂに入力する。
監視員は、黒煙判定部３６が、黒煙が発生したと判定するときのしきい値、つまり黒煙が映っているとみなせる画素数の黒煙検出領域５３の全画素数に占める割合のしきい値を、設定情報入力欄６３ｂに入力する。
【0041】
監視員は、映像解析部３３が、フレア映像５０からフレア５５を検出するときに用いるときのしきい値を、設定情報入力欄６３ｃ～６３ｅに入力する。監視員は、例えば、設定情報入力欄６３ｃには、フレア５５のＲＧＢ輝度値のうち、赤（Ｒ）輝度値のしきい値を入力し、設定情報入力欄６３ｄには、フレア５５のＲＧＢ輝度値のうち、緑（Ｇ）輝度値のしきい値を入力する。監視員は、設定情報入力欄６３ｅには、設定情報入力欄６３ｃ、６３ｄに入力したしきい値の輝度幅を入力する。これらの入力より、映像解析部３３は、設定情報入力欄６３ｃに入力された値を中心として設定情報入力欄６３ｅに入力した値を許容範囲とする赤輝度値と、設定情報入力欄６３ｄに入力された値を中心として設定情報入力欄６３ｅに入力した値を許容範囲とする緑輝度値と、を有する画素をフレア５５と認識する。
【0042】
監視員は、映像解析部３３が、フレア映像５０における黒煙を検出するときに用いる値を設定情報入力欄６３ｆに入力する。映像解析部３３は、背景領域５４内の画像をＲＧＢ色空間の画像（ＲＧＢ画像）をグレースケール化して白黒画像に変換した後の輝度値から設定情報入力欄６３ｆに入力された値を減算した値以下の輝度値を有する黒煙検出領域５３内の画素（グレースケール化後の画素）を黒煙が映った画素であると認識する。
【0043】
監視員が、登録ボタン６４を押下すると、設定情報取得部３２が、設定情報入力欄６３ｃ～６３ｆに入力された値を記憶部３７に記録する。映像解析部３３は、記憶部３７に記録された各設定情報に基づいて、フレア映像５０の解析を行う。
【0044】
次にフレア映像５０の解析において、異常フレア判定部３４が異常フレアを検出したときに、その検出が妥当かどうかを確認する処理について説明する。
（誤検出の判定）
１．形状に基づく誤検出の判定
図５は、本発明の第一実施形態における形状による誤検出判定処理を説明する第１の図である。
画像５ａは、映像取得部３１が取得したフレア映像である。画像５ｂは、画像５ａについてフレアに対応するＲＧＢ輝度値を有する画素を白色で表示し、残りを黒色で表示した画像である。画像５ａ，５ｂは、異常フレアの例である。画像５ｂからわかるように異常フレアの形状は、バーナー部５６を基準として、おおよそ左右対称である。異常フレアの多くは、図５に例示するように左右対称の形状で観測される。
（誤検出の判定）
１．形状に基づく誤検出の判定
図５は、本発明の第一実施形態における形状による誤検出判定処理を説明する第１の図である。
画像５ａは、映像取得部３１が取得したフレア映像である。画像５ｂは、画像５ａについてフレアに対応するＲＧＢ輝度値を有する画素を白色で表示し、残りを黒色で表示した画像である。画像５ａ，５ｂは、異常フレアの例である。画像５ｂからわかるように異常フレアの形状は、バーナー部５６を基準として、おおよそ左右対称である。異常フレアの多くは、図５に例示するように左右対称の形状で観測される。
【0045】
図６は、本発明の第一実施形態における形状による誤検出判定処理を説明する第２の図である。
画像６ａは、映像取得部３１が取得したフレア映像である。画像６ｂは、画像６ａについてフレアに対応するＲＧＢ輝度値を有する画素を白色で表示し、残りを黒色で表示した画像である。画像６ａ，６ｂは、夕焼け雲が異常フレアと誤検出された場合の例である。画像６ｂからわかるように夕焼け雲の形状は、左右対称とならないことが多い。
画像６ａは、映像取得部３１が取得したフレア映像である。画像６ｂは、画像６ａについてフレアに対応するＲＧＢ輝度値を有する画素を白色で表示し、残りを黒色で表示した画像である。画像６ａ，６ｂは、夕焼け雲が異常フレアと誤検出された場合の例である。画像６ｂからわかるように夕焼け雲の形状は、左右対称とならないことが多い。
【0046】
図６に例示するように、異常フレア領域５２におけるＲＧＢ輝度値を有する画素の数だけで異常フレアの検出を行うと、類似するＲＧＢ輝度値で撮影された夕焼け雲や朝焼け雲と混同が生じる可能性がある。そこで、誤検出判定部３４１は、異常フレア判定部３４によって異常フレアが検出されたフレア映像について、例えば、２値化処理を行って、フレアに対応する所定範囲のＲＧＢ輝度値を有する画素を抽出し、抽出された画素が形成する形状に注目して異常フレアの誤検出の可能性を判定する。より具体的には、誤検出判定部３４１は、バーナー部５６の適切な位置を基準として地面に対する垂直線を設定する。バーナー部５６の適切な位置とは、異常フレアと判定された画素が形成する形状の左右対称性を判定するために適した位置である。例えば、誤検出判定部３４１は、バーナー部５６中央を適切な位置としてもよいし、フレアを形成する画素のうち左端と右端の画素の横方向の座標情報の平均値を適切な位置としてもよい。誤検出判定部３４１は、垂直線の左右にフレア映像を分割して画像Ａ１と画像Ａ２を生成し、一方の画像（例えば、画像Ａ１）を鏡像変換して画像Ａ１´を生成する。続いて、誤検出判定部３４１は、画像Ａ１´と画像Ａ２の類似度を公知の方法により算出する。誤検出判定部３４１は、類似度が所定の閾値以上であれば、画像Ａ１と画像Ａ２は左右対称である、つまり、異常フレア判定部３４による異常フレアの検出は誤検出ではないと判定する。類似度が所定の閾値未満であれば、誤検出判定部３４１は、画像Ａ１と画像Ａ２は左右対称では無い、つまり、夕焼け雲などを検出したものであって、異常フレアの検出は誤検出の可能性があると判定する。
なお、左右の類似度について、２値化処理した画像からエッジ処理して画像の外形を抽出し、所定の位置から外形の画素とのベクトル距離の積算を計算し、左右のベクトル積算値の比を用いて、その比が所定の範囲内であれば左右対称であると判定してもよい。または検出したフレア画像の水平方向の画素分布を計算し、その尖度または歪度を比較してもよい。
なお、左右の類似度について、２値化処理した画像からエッジ処理して画像の外形を抽出し、所定の位置から外形の画素とのベクトル距離の積算を計算し、左右のベクトル積算値の比を用いて、その比が所定の範囲内であれば左右対称であると判定してもよい。または検出したフレア画像の水平方向の画素分布を計算し、その尖度または歪度を比較してもよい。
【0047】
このように誤検出判定部３４１は、異常フレアと判定されたフレア映像から抽出したフレアの形状に基づいて、異常フレアの誤検出の可能性を判定する。この方法は、フレアが風の影響で横方向に流された場合や、夕焼け雲によって形成されたフレアに対応するＲＧＢ輝度値を有する範囲の形状が左右対称に近かったりする場合、誤った判定をする可能性がある。そこで、誤検出判定部３４１は、さらに以下に説明する方法によって誤検出か否かの判定を行ってもよい。
【0048】
２．色相に基づく誤検出の判定
図７は、本発明の第一実施形態における色相による誤検出判定処理を説明する第１の図である。
画像７ａは異常フレアの画像、画像７ｂは朝焼け雲を異常フレアと誤検出したときの画像である。この例の場合、上記の形状による判定では、誤検出か否かの判定が難しい。そこで、出願人は、これらの画像のフレアと判定された画素の色相、彩度、明度について解析を行った。その結果を、図８に示す。
図７は、本発明の第一実施形態における色相による誤検出判定処理を説明する第１の図である。
画像７ａは異常フレアの画像、画像７ｂは朝焼け雲を異常フレアと誤検出したときの画像である。この例の場合、上記の形状による判定では、誤検出か否かの判定が難しい。そこで、出願人は、これらの画像のフレアと判定された画素の色相、彩度、明度について解析を行った。その結果を、図８に示す。
【0049】
図８は、本発明の第一実施形態における色相による誤検出判定処理を説明する第２の図である。
図８の表に、正しくフレア異常が検出された画像７ａの色相、彩度、明度と、フレア異常が誤検出された画像７ｂの色相、彩度、明度とを示す。図示するように彩度、明度には差が無く、色相に差があることが分かった。また、色相について、フレアに対応するＲＧＢ輝度値を有する全画素の中の最大値、最小値よりも全画素の平均値に注目すると誤検出か否かを判別しやすいことが分かった。出願人は、この他にも監視エリア内の色相の度数分布に注目して誤検出の判別を行う方法も試みたが、異常フレアと朝焼け雲で有意な差が出なかった。なお、図８の表中の色相の最大、最小、平均の各値は、色相４５°を基準とする値である。つまり、図７の画像７ａのフレア部分の色相の平均値は３９．９°（４５－５．１）で、画像７ｂのフレア部分の色相の平均値は４５．４°である。図９に検出対象とする色相と彩度を示す。
図８の表に、正しくフレア異常が検出された画像７ａの色相、彩度、明度と、フレア異常が誤検出された画像７ｂの色相、彩度、明度とを示す。図示するように彩度、明度には差が無く、色相に差があることが分かった。また、色相について、フレアに対応するＲＧＢ輝度値を有する全画素の中の最大値、最小値よりも全画素の平均値に注目すると誤検出か否かを判別しやすいことが分かった。出願人は、この他にも監視エリア内の色相の度数分布に注目して誤検出の判別を行う方法も試みたが、異常フレアと朝焼け雲で有意な差が出なかった。なお、図８の表中の色相の最大、最小、平均の各値は、色相４５°を基準とする値である。つまり、図７の画像７ａのフレア部分の色相の平均値は３９．９°（４５－５．１）で、画像７ｂのフレア部分の色相の平均値は４５．４°である。図９に検出対象とする色相と彩度を示す。
【0050】
図９は、本発明の第一実施形態における色相による誤検出判定処理を説明する第３の図である。
図示するようにフレアや朝焼け雲、夕焼け雲の彩度は２５％付近の値である。ここで彩度２５％付近における色相４５°とは、濃い黄色に対応し、色相の度数が小さくなるほど赤色に近づく。また、彩度２５％付近では、色相４５°は白味がかった黄色である。図８に示すように、朝焼け雲は、白っぽい黄色（色相４５．４°）に近く、フレアは、よりオレンジに近い黄色（色相３９．９°）である。
図示するようにフレアや朝焼け雲、夕焼け雲の彩度は２５％付近の値である。ここで彩度２５％付近における色相４５°とは、濃い黄色に対応し、色相の度数が小さくなるほど赤色に近づく。また、彩度２５％付近では、色相４５°は白味がかった黄色である。図８に示すように、朝焼け雲は、白っぽい黄色（色相４５．４°）に近く、フレアは、よりオレンジに近い黄色（色相３９．９°）である。
【0051】
そこで、誤検出判定部３４１は、異常フレア判定部３４によって異常フレアが検出されたフレア映像について、フレアに対応する所定範囲のＲＧＢ輝度値を有する画素を全て抽出し、抽出された全画素の色相を解析する。そして、誤検出判定部３４１は、解析した色相から４５°を減算した補正色相を算出し、減算後の補正色相の平均値を算出する。算出した平均値が、例えば±１°の場合、誤検出判定部３４１は、検出された対象は、朝焼け雲や夕焼け雲であって、異常フレアの検出は誤検出であると判定し、それ以外の場合を誤検出ではないと判定してもよい。あるいは、誤検出判定部３４１は、算出した平均値が所定の設定値（例えば－４）より小さければ、検出されたのは異常フレアであって誤検出ではないと判定し、それ以外の場合を誤検出と判定してもよい。
【0052】
形状による判定に加えて、色相による判定を行うことでより正確に異常フレアの誤検出を防ぐことができる。また、フレアと検出された全画素の色相の平均値を用いるので、全体として白っぽい（雲）か、濃い黄色（フレア）かによって雲かフレアかを判別することができる。なお、全画素の色相の平均値に基づいて判定することで、人が目視により雲かフレアかを判別する場合に近い判定が可能である。
【0053】
３．経時的変化の特性に基づく誤検出の判定
また、誤検出判定部３４１は、異常フレアとして検出された画素群の経時的変化に基づいて誤検出の判定を行ってもよい。
図１０は、本発明の第一実施形態における経時的変化の特性による誤検出判定処理を説明する図である。
図１０（ａ）は、夕焼け雲を異常フレアとして検出した場合のフレアとして検出された画素数のフレア映像全体の画素数に占める割合の経時的な変化を示すグラフである。
図１０（ｂ）は、正しく異常フレアを検出した場合のフレアとして検出された画素数のフレア映像全体の画素数に占める割合の経時的な変化を示すグラフである。
図１０（ａ）、図１０（ｂ）に示すように夕焼け雲の画素数の変動は小さく、フレアの単位時間当たりの画素数の変動は大きい。つまり、細かい時間間隔で観察したときに、フレアには、形状が揺らいだり、一瞬消えたりといった激しい挙動の変化がみられるのに対し、雲は一定の大きさ、形状を保つという経時的変化の特性がある。誤検出判定部３４１は、複数の映像に含まれるフレアの挙動を、当該映像に雲が含まれた場合の当該雲が示す挙動と比較して誤報の可能性を判定する。
また、誤検出判定部３４１は、異常フレアとして検出された画素群の経時的変化に基づいて誤検出の判定を行ってもよい。
図１０は、本発明の第一実施形態における経時的変化の特性による誤検出判定処理を説明する図である。
図１０（ａ）は、夕焼け雲を異常フレアとして検出した場合のフレアとして検出された画素数のフレア映像全体の画素数に占める割合の経時的な変化を示すグラフである。
図１０（ｂ）は、正しく異常フレアを検出した場合のフレアとして検出された画素数のフレア映像全体の画素数に占める割合の経時的な変化を示すグラフである。
図１０（ａ）、図１０（ｂ）に示すように夕焼け雲の画素数の変動は小さく、フレアの単位時間当たりの画素数の変動は大きい。つまり、細かい時間間隔で観察したときに、フレアには、形状が揺らいだり、一瞬消えたりといった激しい挙動の変化がみられるのに対し、雲は一定の大きさ、形状を保つという経時的変化の特性がある。誤検出判定部３４１は、複数の映像に含まれるフレアの挙動を、当該映像に雲が含まれた場合の当該雲が示す挙動と比較して誤報の可能性を判定する。
【0054】
具体的には、誤検出判定部３４１は、異常フレア判定部３４によって異常フレアが検出された所定時間ごと（例えば、数秒ごと～数分ごと）のフレア映像について、フレアに対応するＲＧＢ輝度値を有する画素数を算出する。次に誤検出判定部３４１は、算出した画素数の経時的変化を算出する。そして、算出した画素数の経時的変化が所定範囲より大きければ、誤検出判定部３４１は、検出されたのはフレアであって誤検出ではないと判定し、画素数の経時的変化が所定範囲内であれば、誤検出判定部３４１は、検出されたのは夕焼け雲などであって誤検出の可能性が高いと判定する。例えば、誤検出判定部３４１は、画素数の経時的変化が２回連続して閾値以上であれば、検出されたのはフレアであって誤検出ではないと判定する。つまり、時刻Ｔ１の画素数をＰ１、次の時刻Ｔ２の画素数をＰ２、さらに次の時刻Ｔ３の画素数をＰ３とした場合、｜Ｐ１－Ｐ２｜および｜Ｐ２－Ｐ３｜の値が閾値以上であれば、誤検出判定部３４１は、誤検出ではないと判定する。なお、判定の基準とする連続回数は２回に限定されず、任意であってよい。
また、画素数の経時的変化が所定範囲を超えることが連続して観測されなくてもよい。例えば、所定時間（例えば、２分）において画素数の経時的変化が所定範囲を超える回数が閾値以上となると、誤検出判定部３４１は、異常フレアの検出は誤検出ではないと判定してもよい。
なお、経時的変化の算出は以下のようにして行ってもよい。まず、誤検出判定部３４１は、所定時間のフレア画素数の標準偏差を算出し、算出した標準偏差を所定時間のフレア画素数の平均値で除算する規格化処理を行う。そして、除算した結果が、所定の閾値以上の場合、誤検出判定部３４１は、異常フレアの検出は誤検出ではないと判定し、閾値以下の場合、異常フレアの検出は誤検出であると判定してもよい。この規格化処理は、検出した対象が雲の場合、その雲が大きいと、変化率は小さくても変化量は大きくなる可能性があり、変化量を検出した対象の画素数で割って、変化量が対象全体に占める割合で判断することによって、精度良く雲か異常フレアかを判断するために行う。雲の場合、変化量が占める割合は、ごく一部の為、除算後の値は、例えば数パーセント以下となる。一方、異常フレアの場合、変化量がフレア全体に占める割合は大きなものとなる。なお、規格化処理において画素数の平均値で割るとしたが、例えば、所定時間における画素数の最大値や最小値、中央値などの他の代表値を用いて除算してもよい。
また、画素数の経時的変化が所定範囲を超えることが連続して観測されなくてもよい。例えば、所定時間（例えば、２分）において画素数の経時的変化が所定範囲を超える回数が閾値以上となると、誤検出判定部３４１は、異常フレアの検出は誤検出ではないと判定してもよい。
なお、経時的変化の算出は以下のようにして行ってもよい。まず、誤検出判定部３４１は、所定時間のフレア画素数の標準偏差を算出し、算出した標準偏差を所定時間のフレア画素数の平均値で除算する規格化処理を行う。そして、除算した結果が、所定の閾値以上の場合、誤検出判定部３４１は、異常フレアの検出は誤検出ではないと判定し、閾値以下の場合、異常フレアの検出は誤検出であると判定してもよい。この規格化処理は、検出した対象が雲の場合、その雲が大きいと、変化率は小さくても変化量は大きくなる可能性があり、変化量を検出した対象の画素数で割って、変化量が対象全体に占める割合で判断することによって、精度良く雲か異常フレアかを判断するために行う。雲の場合、変化量が占める割合は、ごく一部の為、除算後の値は、例えば数パーセント以下となる。一方、異常フレアの場合、変化量がフレア全体に占める割合は大きなものとなる。なお、規格化処理において画素数の平均値で割るとしたが、例えば、所定時間における画素数の最大値や最小値、中央値などの他の代表値を用いて除算してもよい。
【0055】
また、誤検出判定部３４１は、所定時間ごとのフレア映像について、フレアに対応する画素数の全画素数に占める割合を算出し、算出した割合の経時的変化に基づいて、異常フレア判定部３４による異常フレアの検出が正しいか誤検出かを判定してもよい。
【0056】
このように異常フレアが検出された時刻を含む所定期間の映像を解析した結果が示すフレアの経時的変化の特性に基づいて、異常フレアと夕焼け雲や朝焼け雲を判別することができる。
【0057】
次に上記例示した３つの判定方法を組み合わせた誤報判定処理の例を示す。
図１１は、本発明の第一実施形態における誤報判定処理の一例を示すフローチャートである。
誤検出判定部３４１に対して、上記の１～３の誤検出判定処理の実行の有無を設定することができるとする。例えば、監視員は、常に風が吹いている環境では、「１．形状に基づく誤検出の判定」を行わないように設定してもよいし、反対に、風の影響がなく、カメラ１０の設置位置や方向、周囲の建物などの関係から朝焼け雲、夕焼け雲の影響があまりない環境の場合、「１．形状に基づく誤検出の判定」だけを行って他の判定処理を実行しないように設定してもよい。もちろん監視員は、「２．色相に基づく誤検出の判定」だけを行うよう設定してもよいし、「３．経時的変化の特性に基づく誤検出の判定」だけを行うよう設定してもよい。あるいは、１～３の全ての誤検出判定処理を実行するようにも設定できる。これらの設定は、所定の設定ファイルなどに設定登録され、誤検出判定部３４１は、この設定ファイルに登録された設定内容を参照して以下の誤検出判定処理を行う。なお、以下に示す１～３の処理順は便宜的なものであって、１～３の誤検出判定処理は任意の順番で行うことができる。
図１１は、本発明の第一実施形態における誤報判定処理の一例を示すフローチャートである。
誤検出判定部３４１に対して、上記の１～３の誤検出判定処理の実行の有無を設定することができるとする。例えば、監視員は、常に風が吹いている環境では、「１．形状に基づく誤検出の判定」を行わないように設定してもよいし、反対に、風の影響がなく、カメラ１０の設置位置や方向、周囲の建物などの関係から朝焼け雲、夕焼け雲の影響があまりない環境の場合、「１．形状に基づく誤検出の判定」だけを行って他の判定処理を実行しないように設定してもよい。もちろん監視員は、「２．色相に基づく誤検出の判定」だけを行うよう設定してもよいし、「３．経時的変化の特性に基づく誤検出の判定」だけを行うよう設定してもよい。あるいは、１～３の全ての誤検出判定処理を実行するようにも設定できる。これらの設定は、所定の設定ファイルなどに設定登録され、誤検出判定部３４１は、この設定ファイルに登録された設定内容を参照して以下の誤検出判定処理を行う。なお、以下に示す１～３の処理順は便宜的なものであって、１～３の誤検出判定処理は任意の順番で行うことができる。
【0058】
誤検出判定部３４１は、異常フレア判定部３４が異常フレアを検出すると、誤報判定処理を開始する。
まず、誤検出判定部３４１は、設定ファイルを読み込んで１～３の何れの判定処理を実行するかについての設定情報を取得する。
次に、誤検出判定部３４１は、形状に基づく判定を行うか否かを判定する（ステップＳ１）。判定を行う場合（ステップＳ１；Ｙｅｓ）、誤検出判定部３４１は、上記の「１．形状に基づく誤検出の判定」の処理を行う（ステップＳ２）。例えば、誤検出判定部３４１は、フレア映像からフレアを示す画素を抽出して、バーナー部５６を通過する垂直線を基準とする左右対称の程度（類似度）を算出する。左右対称とみなせる（類似度が閾値以上）の場合、誤検出判定部３４１は、誤検出ではないと判定する。左右対称ではない（類似度が閾値未満）の場合、誤検出判定部３４１は、誤検出の可能性が高いと判定する。誤検出判定部３４１は、誤検出の方法と判定結果を対応付けて記憶部３７に記録する。
形状に基づく判定を行なわない場合（ステップＳ１；Ｎｏ）、ステップＳ３へ進む。
まず、誤検出判定部３４１は、設定ファイルを読み込んで１～３の何れの判定処理を実行するかについての設定情報を取得する。
次に、誤検出判定部３４１は、形状に基づく判定を行うか否かを判定する（ステップＳ１）。判定を行う場合（ステップＳ１；Ｙｅｓ）、誤検出判定部３４１は、上記の「１．形状に基づく誤検出の判定」の処理を行う（ステップＳ２）。例えば、誤検出判定部３４１は、フレア映像からフレアを示す画素を抽出して、バーナー部５６を通過する垂直線を基準とする左右対称の程度（類似度）を算出する。左右対称とみなせる（類似度が閾値以上）の場合、誤検出判定部３４１は、誤検出ではないと判定する。左右対称ではない（類似度が閾値未満）の場合、誤検出判定部３４１は、誤検出の可能性が高いと判定する。誤検出判定部３４１は、誤検出の方法と判定結果を対応付けて記憶部３７に記録する。
形状に基づく判定を行なわない場合（ステップＳ１；Ｎｏ）、ステップＳ３へ進む。
【0059】
次に誤検出判定部３４１は、色相に基づく判定を行うか否かを判定する（ステップＳ３）。色相に基づく判定を行う場合（ステップＳ３；Ｙｅｓ）、誤検出判定部３４１は、上記の「２．色相に基づく誤検出の判定」の処理を行う（ステップＳ４）。例えば、誤検出判定部３４１は、フレア映像からフレアを示す画素を抽出して、色相の平均値を算出する。誤検出判定部３４１は、例えば、平均値が４５°付近（例えば±１°）であれば、誤検出の可能性が高く、平均値が４５°より所定の値（例えば４°）以上小さい値であれば、誤検出ではないと判定する。誤検出判定部３４１は、誤検出の方法と判定結果を対応付けて記憶部３７に記録する。一方、色相に基づく判定を行なわない場合（ステップＳ３；Ｎｏ）、ステップＳ５へ進む。
【0060】
次に誤検出判定部３４１は、経時的変化の特性に基づく判定を行うか否かを判定する（ステップＳ５）。時間変化特性に基づく判定を行う場合（ステップＳ５；Ｙｅｓ）、誤検出判定部３４１は、上記の「３．経時的変化の特性に基づく誤検出の判定」の処理を行う（ステップＳ６）。例えば、誤検出判定部３４１は、異常フレア検出後の所定時間に撮影されたフレア映像を取得して、フレアに対応するＲＧＢ輝度値を有する画素数の推移を監視する。誤検出判定部３４１は、画素数の変動が所定範囲を超える場合には誤検出ではなく、画素数の変動があまり見られない場合には、誤検出の可能性が高いと判定する。誤検出判定部３４１は、誤検出の方法と判定結果を対応付けて記憶部３７に記録する。一方、経時的変化の特性に基づく判定を行なわない場合（ステップＳ５；Ｎｏ）、ステップＳ７へ進む。
【0061】
次に誤検出判定部３４１は、異常フレア判定部３４による異常フレアの検出が誤報か否かの最終的な判定を行う（ステップＳ７）。誤検出判定部３４１は、ステップＳ２、Ｓ４、Ｓ６で記憶部３７に記録した判定結果に基づいて最終的な判定を行う。例えば、１～３の全ての方法で誤検出の判定を行った場合であって、１～３のそれぞれの処理で誤検出の可能性ありと判定された場合、誤検出判定部３４１は、異常フレアの検出は「誤報」と判定する。反対に１～３の全ての方法で、誤検出ではないと判定された場合、誤検出判定部３４１は、異常フレアの検出は、「誤報ではない」と判定する。
【0062】
また、例えば、１～３のうち１つの方法でのみ誤検出の判定を行う場合、誤検出判定部３４１は、その方法によって誤検出の可能性ありと判定された場合は「誤報」と判定し、誤検出ではないと判定された場合は「誤報ではない」と判定する。また、その１つの方法が、「１．形状に基づく誤検出の判定」であって、誤検出の可能性ありと判定された場合には、誤報ではないと判定しつつ、「誤報の可能性あり」との付記情報を判定結果に追加してもよい。
【0063】
また、１～３の方法による判定結果について、「１．形状に基づく誤検出の判定」によって誤検出の可能性ありと判定された場合は＋１点、「２．色相に基づく誤検出の判定」によって誤検出の可能性ありと判定された場合は＋２点、「３．経時的変化の特性に基づく誤検出の判定」によって誤検出の可能性ありと判定された場合は＋３点といったスコアを与え、誤検出判定部３４１は、スコアの合計が所定の点数以上となる場合は「誤報」と判定し、そうでない場合には「誤報ではない」と判定してもよい。
【0064】
また、実際に異常フレアが発生した場合には対処を行う必要があるため、異常フレア検出の判定の否定は慎重に行うべきであると考えるとすると、例えば、１～３のうちの何れか１つの方法で誤検出ではないと判定された場合には、残りの方法で誤検出と判定されたとしても、誤検出判定部３４１は、異常フレア判定部３４による異常フレアの検出を重んじて、「誤報ではない」と判定しつつ、「誤報の可能性あり」との付記情報を判定結果に追加してもよい。
【0065】
なお、図１１のフローチャートでは、各誤検出判定処理について実行する、しないの設定を行うこととしたが、さらに時間帯を実行条件に加えてもよい。例えば、朝焼け雲や夕焼け雲が観測される季節ごとの時間帯（例えば、５：００～６：００、１７：３０～１８：３０）だけステップＳ１～ステップＳ７を実行するようにしてもよい。
【0066】
（監視処理の流れ）
次に監視装置３０における処理の流れについて説明する。
図１２は、本発明の一実施形態における監視処理の一例を示すフローチャートである。カメラ１０は、フレアスタックのバーナー部周辺の映像を継続的に撮影しており、その映像を映像取得装置１５へ出力している。また、監視装置３０では、映像取得部３１が映像分配装置２０を介して、フレア映像を取得する。
次に監視装置３０における処理の流れについて説明する。
図１２は、本発明の一実施形態における監視処理の一例を示すフローチャートである。カメラ１０は、フレアスタックのバーナー部周辺の映像を継続的に撮影しており、その映像を映像取得装置１５へ出力している。また、監視装置３０では、映像取得部３１が映像分配装置２０を介して、フレア映像を取得する。
【0067】
まず、監視員が、フレア映像５０における正常フレア領域５１、異常フレア領域５２、黒煙検出領域５３、背景領域５４の位置関係を設定する（ステップＳ１１）。例えば、監視員は、バーナー部と正常フレア領域５１の位置関係を規定する情報（例えば、正常フレア領域５１の各辺の長さや、バーナー部の所定位置から各辺の距離など）を監視装置３０へ入力する。あるいは、監視装置３０のディスプレイに表示された図３、図４に例示するフレア映像５０の画像に対して、監視員が直接、正常フレア領域５１の範囲を指定するような操作（例えば、画像上、正常フレア領域５１を示す矩形の枠をマウス等の入力手段を用いて指定する等）を行って位置関係の設定を行ってもよい。他の異常フレア領域５２、黒煙検出領域５３、背景領域５４についても同様である。設定情報取得部３２は、これらの情報を取得し、記憶部３７に記録する。
【0068】
次に映像解析部３３が、記憶部３７に記録された正常フレア領域５１、異常フレア領域５２、黒煙検出領域５３、背景領域５４の位置関係を規定する情報に基づいて、フレア映像５０に対して各監視用エリア（正常フレア領域５１、異常フレア領域５２、黒煙検出領域５３、背景領域５４）を設定する（ステップＳ１２）。映像解析部３３は、フレア映像５０におけるバーナー部５６の位置をパターン認識処理により認識し、バーナー部５６の所定位置を基準点として設定する。具体的には、まず、映像解析部３３は、基準点と各監視用エリアとの位置関係を算出し、正常フレア領域５１、異常フレア領域５２、黒煙検出領域５３、背景領域５４の各エリアを設定する。そして、出力制御部３８は、カメラ１０が撮影したフレア映像５０に正常フレア領域５１、異常フレア領域５２、黒煙検出領域５３、背景領域５４それぞれの境界線を重ねた画像を所定の位置に表示した図４で例示したような監視画面６０の画像を生成し、ディスプレイに表示する。
【0069】
次に監視員は、図４で例示した監視画面６０の各設定情報を入力する。設定情報取得部は、入力された各設定情報を記憶部３７に記録する。映像解析部３３が、記憶部３７に記録された各設定情報を、フレア映像５０の解析に用いるしきい値として設定する（ステップＳ１３）。次に監視員は、監視を開始する（ステップＳ１４）。まず、映像解析部３３は、フレア映像５０のバーナー部を認識し、必要に応じて基準点や各監視用エリア（正常フレア領域５１、異常フレア領域５２、黒煙検出領域５３、背景領域５４）を再設定する（ステップＳ１５）。この処理は、監視員の操作によりカメラ１０の撮影方向が変更され、その後、再度、フレアスタックの方向へ調整されたり、何らかの外的要因によってカメラ１０の撮影方向がずれたりすることがある。その場合、各監視用エリアは、前回の基準点に対し設定されたものなので、現在の基準点との間では適切な位置関係にない可能性がある。ステップＳ１５の処理は、それを是正し、カメラ１０が撮影するフレア映像５０における監視エリアの範囲を調整する目的で行う。
【0070】
次に映像解析部３３は、フレア映像５０について解析処理を行う（ステップＳ１６）。例えば、映像解析部３３は、正常フレア領域５１におけるフレア５５が映った画素を、設定情報入力欄６３ｃ～６３ｅに入力されたしきい値（例えば、赤輝度しきい値：２４３、緑輝度しきい値：１５２、輝度幅：３０）に基づいて検出する。映像解析部３３は、正常フレア領域５１におけるフレア５５が映った画素数（フレア画素数（正常））を失火判定部３５へ出力する。
また、映像解析部３３は、異常フレア領域５２におけるフレアが映った画素を、同様のしきい値に基づいて検出する。映像解析部３３は、異常フレア領域５２におけるフレアが映った画素数（フレア画素数（異常））を異常フレア判定部３４へ出力する。
なお、図４で例示した監視画面６０では、赤輝度値と緑輝度値を設定する場合を例示したが、映像解析部３３は、正常フレア領域５１や異常フレア領域５２におけるフレアが映った画素の検出にさらに青輝度値を加えて検出してもよい。また、監視画面６０には、青輝度値を設定する入力欄を設けてもよい。
また、映像解析部３３は、異常フレア領域５２におけるフレアが映った画素を、同様のしきい値に基づいて検出する。映像解析部３３は、異常フレア領域５２におけるフレアが映った画素数（フレア画素数（異常））を異常フレア判定部３４へ出力する。
なお、図４で例示した監視画面６０では、赤輝度値と緑輝度値を設定する場合を例示したが、映像解析部３３は、正常フレア領域５１や異常フレア領域５２におけるフレアが映った画素の検出にさらに青輝度値を加えて検出してもよい。また、監視画面６０には、青輝度値を設定する入力欄を設けてもよい。
【0071】
また、映像解析部３３は、背景領域５４における複数の画素について、ＲＧＢ画像をグレースケール化して白黒画像へ変換し、変換後の白黒画像における白黒輝度値の代表値（複数画素の輝度値の平均値や中央値など）を算出する。映像解析部３３は、算出した白黒輝度値（２５６階調）の代表値から、設定情報入力欄６３ｆに入力された値（例えば、１００）を減算して黒煙と判定するための画素値のしきい値を算出する。映像解析部３３は、黒煙検出領域５３における全画素を、ＲＧＢ画像から白黒画像へ変換する。映像解析部３３は、変換後の白黒画像における黒煙検出領域５３の全画素の白黒輝度値を、黒煙判定用のしきい値と比較する。映像解析部３３は、黒煙判定用のしきい値より小さな輝度値を有する画素数を算出して、この画素数（黒煙画素数）を黒煙判定部３６へ出力する。
【0072】
また、フレア５５の検出について、映像解析部３３は以下のように処理してもよい。つまり、監視員により設定されたＲＧＢ輝度値の閾値や輝度幅を用いるのではなく、正常フレア領域５１の画素に基づいて、フレア５５の輝度値を設定する。例えば、映像解析部３３は、基準点から所定の位置関係にある画素（通常の運転状態でフレアが映っている確率が最も高い部分の画素）を、フレア５５が映った画像の一部であるとみなし、当該画素のＲＧＢ輝度値を算出してフレア５５のしきい値として設定してもよい。映像解析部３３は、算出したＲＧＢ輝度値に任意の輝度幅を設定して、正常フレア領域５１におけるフレア画素数（正常）、異常フレア領域５２におけるフレア画素数（異常）を算出する。
【0073】
次に異常フレア判定部３４が、フレア画素数（異常）が異常フレア判定用の閾値以上か否かを判定する（ステップＳ１７）。異常フレア判定用の閾値とは、異常フレア領域５２に含まれる全画素数に設定情報入力欄６３ａに入力された割合を乗じた値である。例えば、全画素数が１００個で、設定情報入力欄６３ａに２０（％）と入力された場合、異常フレア判定部３４は、映像解析部３３から取得したフレア画素数（異常）が２０個以上かどうかを判定する。異常フレア判定用の閾値以上の場合（ステップＳ１７；Ｙｅｓ）、異常フレア判定部３４は、異常フレア（フレア５５が大きい）との判定結果を、誤検出判定部３４１へ出力する。誤検出判定部３４１は、図１１を参照して説明した誤報判定処理を行う（ステップＳ１７１）。誤検出判定部３４１は、誤報判定処理の処理結果を異常フレア判定部３４へ出力する。誤検出判定部３４１による判定結果が誤報の場合（ステップＳ１７２；Ｙｅｓ）、異常フレア判定部３４は、フレアは正常であると判定し、この判定結果を出力制御部３８に出力する。そして、ステップＳ１９の処理に進む。
【0074】
誤検出判定部３４１による判定結果が誤報ではない場合（ステップＳ１７２；Ｎｏ）、異常フレア判定部３４は、異常フレアと判定する（ステップＳ１８）。異常フレア判定部３４は、異常フレアが発生しているとの判定結果を出力制御部３８へ出力する。なお、誤検出判定部３４１による判定結果が誤報ではないが、「誤報の可能性あり」との付記情報が加えられている場合、異常フレア判定部３４は、異常フレアが発生しているとの判定結果とともに「誤報の可能性あり」の付記情報を出力制御部３８へ出力する。
【0075】
異常フレア領域５２に含まれるフレア画素数（異常）が異常フレア判定用の閾値未満の場合（ステップＳ１７；Ｎｏ）、異常フレア判定部３４がフレアは正常であると判定し、この判定結果を出力制御部３８に出力する。そして、失火判定部３５が、フレア画素数（正常）が失火判定用のしきい値以下か否かを判定する（ステップＳ１９）。失火判定用のしきい値とは、例えば、０である。この場合、失火判定部３５は、正常フレア領域にフレアとみなせるＲＧＢ輝度値を有する画素の有無を判定する。フレア画素数（正常）が失火判定用の閾値以下の場合（ステップＳ１９；Ｙｅｓ）、失火判定部３５は、フレア５５は失火したと判定する（ステップＳ２０）。失火判定部３５は、フレア５５が失火したとの判定結果を出力制御部３８へ出力する。なお、失火判定用のしきい値は予め記憶部３７に記録されている。
【0076】
なお、失火判定部３５は、映像解析部３３から取得したフレア画素数（正常）が失火判定用のしきい値以下の状態が所定の時間継続すると、あるいは、所定の回数以上連続して失火判定用のしきい値以下のフレア画素数（正常）を映像解析部３３から取得すると、失火が生じたと判定してもよい。
【0077】
正常フレア領域５１に含まれるフレア画素数（正常）が失火判定用の閾値を上回る場合（ステップＳ１９；Ｎｏ）、失火判定部３５は、失火が生じていないと判定し、この判定結果を出力制御部３８に出力する。そして、黒煙判定部３６は、黒煙画素数が黒煙発生判定用のしきい値以上か否かを判定する（ステップＳ２１）。黒煙発生判定用のしきい値とは、黒煙検出領域５３に含まれる全画素数に設定情報入力欄６３ｂに入力された割合を乗じた値である。例えば、全画素数が１００個で、設定情報入力欄６３ｂに５（％）と入力された場合、黒煙判定部３６は、映像解析部３３から取得した黒煙画素数が５個以上かどうかを判定する。黒煙発生判定用のしきい値以上の場合（ステップＳ２１；Ｙｅｓ）、黒煙判定部３６は、黒煙が発生したと判定する（ステップＳ２２）。黒煙判定部３６は、黒煙が発生しているとの判定結果を出力制御部３８へ出力する。
【0078】
黒煙検出領域５３に含まれる黒煙画素数が黒煙発生判定用の閾値未満の場合（ステップＳ２１；Ｎｏ）、黒煙判定部３６が、黒煙が発生していないと判定し（ステップＳ２３）、この判定結果を出力制御部３８に出力する。
【0079】
次に出力制御部３８が、各判定処理に基づく判定結果を監視画面６０に反映させる。例えば、ステップＳ１７およびステップＳ１９およびステップＳ２１の判定でＮｏの場合、出力制御部３８は、文字データ「正常」を監視画面６０の結果表示欄６１に設定する。また、ステップＳ１８で異常フレアと判定された場合、出力制御部３８は、例えば、文字データ「フレア異常」を監視画面６０の結果表示欄６１に設定する。また、ステップＳ１７１で誤報ではないが、誤報の可能性ありと判定された場合、出力制御部３８は、例えば、文字データ「フレア異常（誤報の可能性あり）」を監視画面６０の結果表示欄６１に設定する。また、ステップＳ２０で失火と判定された場合、出力制御部３８は、例えば、文字データ「失火」を監視画面６０の結果表示欄６１に設定する。また、ステップＳ２２で黒煙発生と判定された場合、出力制御部３８は、例えば、文字データ「黒煙発生」を監視画面６０の結果表示欄６１に設定する。なお、ステップＳ１８で異常フレアと判定され、さらにステップＳ２２で黒煙発生と判定された場合、出力制御部３８は、例えば、文字データ「フレア異常および黒煙発生」あるいは「フレア異常（誤報の可能性あり）および黒煙発生」を監視画面６０の結果表示欄６１に設定する。
【0080】
また、出力制御部３８は、正常フレア領域５１においてフレア５５が映った画素の赤輝度値をフレア輝度表示欄６２ａ、緑輝度値をフレア輝度表示欄６２ｂに表示する。これらの値は、例えば、映像解析部３３がステップＳ１９の判定用に算出したものを用いる。 出力制御部３８は、上記の値を設定した監視画面６０の画像を生成し、ディスプレイに表示する（ステップＳ２４）。フレア５５の監視を継続する場合（ステップＳ２５；Ｎｏ）、ステップＳ１５以降の処理を繰り返し、フレア５５の監視を終了する場合（ステップＳ２５；Ｙｅｓ）、一連の処理を終了する。なお、「フレア異常」、「失火」、「黒煙発生」等と判定されたとき、その時の時刻とフレア映像を、ログとして記憶部３７に記録するようにしてもよい。
【0081】
なお、異常フレア領域５２を、正常フレア領域５１を含むように設定した場合、映像解析部３３は、ステップS１６の処理で、異常フレア領域５２におけるフレアが映った領域の画素数から正常フレア領域５１におけるフレアが映った領域の画素数を減算した値を、フレア画素数（異常）として、異常フレア判定部３４へ出力してもよい。あるいは、異常フレア判定用のしきい値を大きな値に設定してもよい。
また、黒煙検出領域５３を、異常フレア領域５２を含むように設定した場合、映像解析部３３は、ステップＳ１６の処理で、黒煙検出領域５３における黒煙が映った領域の画素数から異常フレア領域５２における黒煙が映った領域の画素数を減算した値を、黒煙画素数として、黒煙判定部３６へ出力してもよい。同様に、黒煙検出領域５３を、異常フレア領域５２および正常フレア領域５１を含むように設定した場合、映像解析部３３は、ステップＳ１６の処理で、黒煙検出領域５３における黒煙が映った領域の画素数から異常フレア領域５２または正常フレア領域５１における黒煙が映った領域の画素数を減算した値を、黒煙画素数として、黒煙判定部３６へ出力してもよい。あるいは、黒煙判定用のしきい値を大きな値に設定してもよい。
また、黒煙検出領域５３を、異常フレア領域５２を含むように設定した場合、映像解析部３３は、ステップＳ１６の処理で、黒煙検出領域５３における黒煙が映った領域の画素数から異常フレア領域５２における黒煙が映った領域の画素数を減算した値を、黒煙画素数として、黒煙判定部３６へ出力してもよい。同様に、黒煙検出領域５３を、異常フレア領域５２および正常フレア領域５１を含むように設定した場合、映像解析部３３は、ステップＳ１６の処理で、黒煙検出領域５３における黒煙が映った領域の画素数から異常フレア領域５２または正常フレア領域５１における黒煙が映った領域の画素数を減算した値を、黒煙画素数として、黒煙判定部３６へ出力してもよい。あるいは、黒煙判定用のしきい値を大きな値に設定してもよい。
【0082】
一般にフレアスタックでは、フレアの映像を撮影し、監視を行っている。本実施形態の監視システム１によれば、そのフレア映像を監視装置３０に入力するだけで、１つのシステムでフレアの異常、失火、黒煙の発生を検出することができる。また、図１に示す監視システム１に示すようにフレア映像を監視用モニター２５に表示させて従来通りの監視を行いつつ、監視装置３０が通知する「正常」、「フレア異常」、「フレア異常（誤報の可能性あり）」、「失火」、「黒煙発生」などの検出結果を参照することができる。また、監視員は、余剰ガスの性質やフレアスタックの設置環境などに応じて、フレア異常等の判定基準となる、正常フレア領域５１、異常フレア領域５２、黒煙検出領域５３、背景領域５４の範囲や、フレアに対応する輝度値などを任意に設定することができるので、どのような設備にも適用することができる。
なお、一度、異常フレアと判定され、その後誤報と判定され、採取的に正常となった場合、出力制御部３８は、例えば、「正常（フレア類似雲検出）」などの文字データを監視画面６０の結果表示欄６１に設定してもよい。
なお、一度、異常フレアと判定され、その後誤報と判定され、採取的に正常となった場合、出力制御部３８は、例えば、「正常（フレア類似雲検出）」などの文字データを監視画面６０の結果表示欄６１に設定してもよい。
【0083】
また、フレアスタックの後方に夕焼け雲や朝焼け雲が掛かった場合、それらの雲を異常フレアと誤検出してしまう可能性があるが、本実施形態の監視システム１によれば、夕焼け雲などとの混同を防ぎ、精度よく早期に異常フレアを検出することができる。あるいは、誤検出の可能性がある場合には、誤検出の可能性ありとの通知を監視員に行うことができるので、監視員は、誤検出の可能性を認識しつつ、異常フレアへの対処を行うことができる。
【0084】
＜第二実施形態＞
以下、本発明の第二実施形態による監視装置３０ａついて図１３～図１４を参照して説明する。
第二実施形態に係る監視装置３０ａは、第一実施形態の処理で異常フレアか否か、誤検出か否かを判定した結果の画像を学習して、正常フレアの画像か、異常フレアの画像か、異常フレアと誤検出される画像かを判別する学習済みモデルを構築する機能を有している。また、構築された学習済み画像を用いて、映像取得部３１が取得したフレア映像に含まれるフレアが、上記の３つのうちの何れであるかを判定する機能を有している。
以下、本発明の第二実施形態に係る構成のうち、本発明の第一実施形態と同じ構成、処理には同じ符号を付し、それらの説明を省略する。
以下、本発明の第二実施形態による監視装置３０ａついて図１３～図１４を参照して説明する。
第二実施形態に係る監視装置３０ａは、第一実施形態の処理で異常フレアか否か、誤検出か否かを判定した結果の画像を学習して、正常フレアの画像か、異常フレアの画像か、異常フレアと誤検出される画像かを判別する学習済みモデルを構築する機能を有している。また、構築された学習済み画像を用いて、映像取得部３１が取得したフレア映像に含まれるフレアが、上記の３つのうちの何れであるかを判定する機能を有している。
以下、本発明の第二実施形態に係る構成のうち、本発明の第一実施形態と同じ構成、処理には同じ符号を付し、それらの説明を省略する。
【0085】
図１３は、本発明の第二実施形態における監視装置の一例を示す機能ブロック図である。
第二実施形態に係る監視装置３０ａは、異常フレア判定部３４に代えて異常フレア判定部３４ａを備えている。異常フレア判定部３４ａは、第一実施形態の異常フレア判定部３４の機能に加え、学習済みモデルに基づいて、正常フレア、異常フレアを判別する機能を備えている。また、監視装置３０ａは、学習部３９を備えている。次にこれらの機能について、図１４を参照して説明する。
第二実施形態に係る監視装置３０ａは、異常フレア判定部３４に代えて異常フレア判定部３４ａを備えている。異常フレア判定部３４ａは、第一実施形態の異常フレア判定部３４の機能に加え、学習済みモデルに基づいて、正常フレア、異常フレアを判別する機能を備えている。また、監視装置３０ａは、学習部３９を備えている。次にこれらの機能について、図１４を参照して説明する。
【0086】
図１４は、本発明の第二実施形態における監視処理を説明する図である。
まず、図１４の上段の図を参照して学習部３９の機能を説明する。学習部３９は、図１２のフローチャートの処理により、「正常」、「フレア異常」、「誤報」と判定されたときの映像に、それぞれ「正常」、「異常」、「誤報」又は「類似」といったラベルを付した学習データを記憶部３７へ蓄積していく。なお、このラベルについては、図１２の処理後、監視員が、実際に「正常」、「フレア異常」、「誤報」を確認してから付してもよい。次に監視員が、学習を行うよう監視装置３０ａに指示操作を行う。すると、学習部３９は、記憶部３７に蓄積した学習データを読み出して、深層学習を行って「正常」、「異常」、「誤報」の各画像を識別する学習済みモデル（例えば、多層のニューラルネットワーク）を構築する。
まず、図１４の上段の図を参照して学習部３９の機能を説明する。学習部３９は、図１２のフローチャートの処理により、「正常」、「フレア異常」、「誤報」と判定されたときの映像に、それぞれ「正常」、「異常」、「誤報」又は「類似」といったラベルを付した学習データを記憶部３７へ蓄積していく。なお、このラベルについては、図１２の処理後、監視員が、実際に「正常」、「フレア異常」、「誤報」を確認してから付してもよい。次に監視員が、学習を行うよう監視装置３０ａに指示操作を行う。すると、学習部３９は、記憶部３７に蓄積した学習データを読み出して、深層学習を行って「正常」、「異常」、「誤報」の各画像を識別する学習済みモデル（例えば、多層のニューラルネットワーク）を構築する。
【0087】
次に異常フレア判定部３４ａの機能について、図１４の下段の図を参照して説明する。異常フレア判定部３４ａは、監視対象のフレア映像を学習済みモデルに入力して、「正常」、「異常」、「誤報」を判別する。異常フレア判定部３４ａは、図１２のステップＳ１７の処理の代わりに学習済みモデルによる判別結果に基づいて異常フレアの検出処理を行ってもよい。例えば、学習済みモデルの判別結果が、「正常」または「誤報」の場合、ステップＳ１７で「ＮＯ」の判定された場合と同様にステップＳ１９以降の処理を行う。また、学習済みモデルの判別結果が、「異常」の場合、ステップＳ１８以降の処理を行う。 あるいは、学習済みモデルの判別結果が、「正常」の場合はステップＳ１９以降の処理へ進み、学習済みモデルの判別結果が、「異常」または「誤報」の場合、ステップＳ１７１以降の処理を行うようにしてもよい。
または、学習済みモデルによる判定と、図１２のフローチャートで説明した各判定処理を共に行うようにしてもよい。例えば、異常フレア判定部３４ａは、ステップＳ１７の判定を行いつつ、学習済みモデルによる判別を行う。そして、ステップＳ１７の処理でＹＥＳと判定されるか、又は、学習済みモデルによって「異常」または「誤報」と判別された場合、ステップＳ１７１以降の処理を行うようにしてもよい。
また、このような処理を行いつつ、学習データをさらに蓄積し、学習部３９が、所定のタイミングで学習済みモデルを再構築してもよい。これにより、学習済みモデルの精度を向上させることができる。
または、学習済みモデルによる判定と、図１２のフローチャートで説明した各判定処理を共に行うようにしてもよい。例えば、異常フレア判定部３４ａは、ステップＳ１７の判定を行いつつ、学習済みモデルによる判別を行う。そして、ステップＳ１７の処理でＹＥＳと判定されるか、又は、学習済みモデルによって「異常」または「誤報」と判別された場合、ステップＳ１７１以降の処理を行うようにしてもよい。
また、このような処理を行いつつ、学習データをさらに蓄積し、学習部３９が、所定のタイミングで学習済みモデルを再構築してもよい。これにより、学習済みモデルの精度を向上させることができる。
【0088】
本実施形態によれば、学習済みモデルによって異常フレアと異常フレアに類似する画像を判別することができる。これにより、異常フレアの誤検出を防ぎ、精度よく異常フレアを検出することができる。
なお、失火や黒煙発生の画像を学習して、失火や黒煙発生の判別を行うことができる学習済みモデルを構築してもよい。
なお、失火や黒煙発生の画像を学習して、失火や黒煙発生の判別を行うことができる学習済みモデルを構築してもよい。
【0089】
監視装置３０における各処理の過程は、例えば監視装置３０が有するＣＰＵ等がプログラムを実行することによって実現できる。監視装置３０によって実行されるプログラムは、コンピュータが読み取り可能な記録媒体に記録され、この記録媒体に記録されたプログラムを読み出して実行することによって実現してもよい。なお、監視装置３０は、ＯＳや周辺機器等のハードウェアを含むものとする。また、コンピュータが読み取り可能な記録媒体は、例えば、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、監視装置３０に内蔵されるハードディスク等の記憶装置である。また、コンピュータが読み取り可能な記録媒体には、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。
【0090】
その他、本発明の趣旨を逸脱しない範囲で、上記した実施の形態における構成要素を周知の構成要素に置き換えることは適宜可能である。また、この発明の技術範囲は上記の実施形態に限られるものではなく、本発明の趣旨を逸脱しない範囲において種々の変更を加えることが可能である。
なお、ＲＧＢ輝度値とは、ＲＧＢ色空間における赤（Ｒ）、緑（Ｇ）、青（Ｂ）の輝度値（０～２５５）の組み合わせで表される値のことである、白黒輝度値とは、０（黒）～２５５（白）の２５６階調で表される値のことである。
なお、ＲＧＢ輝度値とは、ＲＧＢ色空間における赤（Ｒ）、緑（Ｇ）、青（Ｂ）の輝度値（０～２５５）の組み合わせで表される値のことである、白黒輝度値とは、０（黒）～２５５（白）の２５６階調で表される値のことである。
【符号の説明】
【0091】
１・・・監視システム
１０・・・カメラ
１５・・・映像取得装置
２０・・・映像分配装置
２５・・・監視用モニター
３０・・・監視装置
３１・・・映像取得部
３２・・・設定情報取得部
３３・・・映像解析部
３４、３４ａ・・・異常フレア判定部
３４１、３４１ａ・・・誤検出判定部
３５・・・失火判定部
３６・・・黒煙判定部
３７・・・記憶部
３８・・・出力制御部
３９・・・学習部
５０・・・フレア映像
５１・・・正常フレア領域
５２・・・異常フレア領域
５３・・・黒煙検出領域
５４・・・背景領域
６０・・・監視画面
６１・・・結果表示欄
６２ａ、６２ｂ・・・フレア輝度表示欄
６３ａ～６３ｆ・・・設定情報入力欄
６４・・・登録ボタン
１０・・・カメラ
１５・・・映像取得装置
２０・・・映像分配装置
２５・・・監視用モニター
３０・・・監視装置
３１・・・映像取得部
３２・・・設定情報取得部
３３・・・映像解析部
３４、３４ａ・・・異常フレア判定部
３４１、３４１ａ・・・誤検出判定部
３５・・・失火判定部
３６・・・黒煙判定部
３７・・・記憶部
３８・・・出力制御部
３９・・・学習部
５０・・・フレア映像
５１・・・正常フレア領域
５２・・・異常フレア領域
５３・・・黒煙検出領域
５４・・・背景領域
６０・・・監視画面
６１・・・結果表示欄
６２ａ、６２ｂ・・・フレア輝度表示欄
６３ａ～６３ｆ・・・設定情報入力欄
６４・・・登録ボタン
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】