特開 2023-140881 炎検出装置、炎検出方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023140881

(43)【公開日】2023-10-05

(54)【発明の名称】炎検出装置、炎検出方法、及びプログラム

(51)【国際特許分類】

   G06T 7/262 20170101AFI20230928BHJP

   G01P 13/00 20060101ALI20230928BHJP

【ＦＩ】

G06T7/262

G01P13/00 C

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2022046926

(22)【出願日】2022-03-23

(71)【出願人】

【識別番号】000003403

【氏名又は名称】ホーチキ株式会社

(74)【代理人】

【識別番号】100149548

【弁理士】

【氏名又は名称】松沼 泰史

(74)【代理人】

【識別番号】100161506

【弁理士】

【氏名又は名称】川渕 健一

(74)【代理人】

【識別番号】100171446

【弁理士】

【氏名又は名称】高田 尚幸

(72)【発明者】

【氏名】中村 嘉夫

(72)【発明者】

【氏名】森 智彦

(72)【発明者】

【氏名】野田 裕介

(72)【発明者】

【氏名】久木 祐弥

【テーマコード（参考）】

2F034

5L096

【Ｆターム（参考）】

2F034AA20

2F034CA10

5L096AA02

5L096AA06

5L096BA02

5L096CA04

5L096DA02

5L096FA06

5L096FA23

5L096FA32

5L096FA33

5L096FA60

5L096FA67

5L096FA69

5L096GA51

5L096HA03

(57)【要約】

【課題】移動体に火災が発生した場合であっても画像に炎が示されているか否かを精度よく判定する。
【解決手段】監視対象が時系列に沿って撮像された複数の対象画像を取得する取得部と、前記取得部によって取得された対象画像の各々から炎候補領域を抽出する抽出部と、前記炎候補領域に示されている対象が炎らしい動きを示す指標を、前記炎候補領域に設定した追跡点の移動量が前記移動量の平均値に対して揺動する度合を用いて算出し、前記算出した指標に基づいて前記炎候補領域に炎が示されているか否かを判定する判定部、を備える。
【選択図】図２

【特許請求の範囲】

【請求項1】

監視対象が時系列に沿って撮像された複数の対象画像を取得する取得部と、
前記取得部によって取得された対象画像の各々から炎候補領域を抽出する抽出部と、
前記炎候補領域に示されている対象が炎らしい動きを示す指標を、前記炎候補領域に設定した追跡点の移動量が前記移動量の平均値に対して揺動する度合を用いて算出し、前記算出した指標に基づいて前記炎候補領域に炎が示されているか否かを判定する判定部、
を備える炎検出装置。

【請求項2】

前記判定部は、前記炎候補領域に含まれる画素のオプティカルフローを、前記移動量として算出する、
請求項１に記載の炎検出装置。

【請求項3】

前記判定部は、前記移動量が、前記平均値を下回る値から上回る値に変化する第１クロス回数、又は前記平均値を上回る値から下回る値に変化する第２クロス回数の少なくとも一方を用いて前記指標を算出する、
請求項１又は請求項２に記載の炎検出装置。

【請求項4】

前記判定部は、前記対象画像における第１方向、及び前記第１方向と異なる第２方向のそれぞれについて前記移動量及び前記平均値を算出し、それぞれの方向における前記指標に基づいて前記炎候補領域に炎が示されているか否かを判定する、
請求項１から請求項３のいずれか一項に記載の炎検出装置。

【請求項5】

前記抽出部は、前記複数の対象画像に含まれる色情報に基づいて第１候補領域を抽出し、
前記複数の対象画像のうちの第１画像から抽出した前記第１画像における前記第１候補領域と、
前記複数の対象画像のうちの前記第１画像よりも後に撮像された第２画像から抽出した前記第２画像における前記第１候補領域と、に基づき、
前記第１画像における前記第１候補領域と、前記第２画像における前記第１候補領域が同一の対象物によるものかどうかを判定し、同一の対象物によるものである場合、前記第１画像における前記第１候補領域、および／又は、前記第２画像における前記第１候補領域を第２候補領域として決定し、
前記第２候補領域から前記炎候補領域を決定する、
請求項１から請求項４のいずれか一項に記載の炎検出装置。

【請求項6】

前記抽出部は、前記第２候補領域が炎らしい度合を、前記第２候補領域における色が変化する周波数特性に基づいて算出し、前記算出した炎らしい度合に基づいて、前記第２候補領域を前記炎候補領域とするか否かを決定する、
請求項５に記載の炎検出装置。

【請求項7】

コンピュータである炎検出装置が行う炎検出方法であって、
取得部が、監視対象が時系列に沿って撮像された複数の対象画像を取得し、
抽出部が、前記取得部によって取得された対象画像の各々から炎候補領域を抽出し、
判定部が、前記炎候補領域に示されている対象が炎らしい動きを示す指標を、前記炎候補領域に設定した追跡点の移動量が前記移動量の平均値に対して揺動する度合を用いて算出し、前記算出した指標に基づいて前記炎候補領域に炎が示されているか否かを判定する、
炎検出方法。

【請求項8】

コンピュータである炎検出装置に、
監視対象が時系列に沿って撮像された複数の対象画像を取得させ、
前記対象画像の各々から炎候補領域を抽出させ、
前記炎候補領域に示されている対象が炎らしい動きを示す指標を、前記炎候補領域に設定した追跡点の移動量が前記移動量の平均値に対して揺動する度合を用いて算出し、前記算出した指標に基づいて前記炎候補領域に炎が示されているか否かを判定させる、
プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、炎検出装置、炎検出方法、及びプログラムに関する。

【背景技術】

【0002】

画像を用いて火災の発生を検出する技術が知られている（例えば、特許文献１）。時系列で撮像された複数の画像において画像に存在する移動体を抽出し、抽出した移動体が炎らしい動きをしている場合にその移動体が炎であると判定する。例えば、移動体の重心位置の座標が周期的に変化していたり、単調増加あるいは単調減少していたりする場合、その移動体は炎ではなく、周期的に発光状態が変化する赤色灯、或いは一方方向に移動する車両などの移動体であると判定する。このような炎らしくない動きをする移動体を炎から除外することにより、赤色灯を点灯させた車両などの移動体が誤って炎と検出されないようにして検出精度を向上させることができる。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特許第６１４０５９９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら炎が移動する場合もあり得る。例えば、移動中の車両に火災が発生すれば、車両の移動に応じて炎が移動する。このような移動する炎の様子が撮像された場合に、画像に炎が示されていることを正しく検出できるほうが望ましい。

【0005】

本発明は、このような事情に鑑みてなされたもので、その目的は、移動体に火災が発生した場合であっても画像に炎が示されているか否かを精度よく判定することができる炎検出装置、炎検出方法、及びプログラムを提供することである。

【課題を解決するための手段】

【0006】

上述した課題を解決するために、本発明の一実施形態は、監視対象が時系列に沿って撮像された複数の対象画像を取得する取得部と、前記取得部によって取得された対象画像の各々から炎候補領域を抽出する抽出部と、前記炎候補領域に示されている対象が炎らしい動きを示す指標を、前記炎候補領域に設定した追跡点の移動量が前記移動量の平均値に対して揺動する度合を用いて算出し、前記算出した指標に基づいて前記炎候補領域に炎が示されているか否かを判定する判定部、を備える炎検出装置である。

【0007】

また、本発明の一実施形態は、コンピュータである炎検出装置が行う炎検出方法であって、取得部が、監視対象が時系列に沿って撮像された複数の対象画像を取得し、抽出部が、前記取得部によって取得された対象画像の各々から炎候補領域を抽出し、判定部が、前記炎候補領域に示されている対象が炎らしい動きを示す指標を、前記炎候補領域に設定した追跡点の移動量が前記移動量の平均値に対して揺動する度合を用いて算出し、前記算出した指標に基づいて前記炎候補領域に炎が示されているか否かを判定する炎検出方法である。

【0008】

また、本発明の一実施形態は、コンピュータである炎検出装置に、監視対象が時系列に沿って撮像された複数の対象画像を取得させ、前記対象画像の各々から炎候補領域を抽出させ、前記炎候補領域に示されている対象が炎らしい動きを示す指標を、前記炎候補領域に設定した追跡点の移動量が前記移動量の平均値に対して揺動する度合を用いて算出し、前記算出した指標に基づいて前記炎候補領域に炎が示されているか否かを判定させる、プログラムである。

【発明の効果】

【0009】

以上説明したように、この発明によれば、移動体に火災が発生した場合であっても画像に炎が示されているか否かを精度よく判定することができる。

【図面の簡単な説明】

【0010】

【図1】実施形態に係る炎検出装置１０が適用される炎検出システム１の構成例を示す図である。

【図2】実施形態に係る炎検出装置１０の構成例を示すブロック図である。

【図3A】実施形態に係る炎候補領域抽出部１０１が行う処理を説明する図である。

【図3B】実施形態に係る炎候補領域抽出部１０１が行う処理を説明する図である。

【図4】実施形態に係る炎判定部１０２が行う処理を説明する図である。

【図5】実施形態に係る炎判定部１０２が行う処理を説明する図である。

【図6】実施形態に係る炎判定部１０２が行う処理を説明する図である。

【図7】実施形態に係る炎判定部１０２が行う処理を説明する図である。

【図8】実施形態に係る炎判定部１０２が行う処理を説明する図である。

【図9】実施形態に係る炎検出装置１０が行う処理の流れを示すフローチャートである。

【図10】実施形態の変形例１に係る炎判定部１０２が行う処理を説明する図である。

【図11】実施形態の変形例２に係る炎判定部１０２が行う処理を説明する図である。

【発明を実施するための形態】

【0011】

以下、本発明の一実施形態について図面を参照して説明する。

【0012】

図１は、実施形態に係る炎検出装置１０が適用される炎検出システム１の構成例を示す図である。炎検出システム１は、例えば、カメラＣＡと、炎検出装置１０とを備える。カメラＣＡと炎検出装置１０は、通信ネットワーク、無線ＬＡＮ（Local Area Network）などを用いた近距離通信、或いはＵＳＢ（Universal Serial Bus）ケーブルなどを介して通信可能に接続される。また、カメラＣＡと炎検出装置１０が一体に備えられるものであってもよい。すなわち、カメラＣＡが炎検出装置１０に内蔵されていてもよい。
監視対象Ｔは、炎検出システム１が監視する対象となる領域又は物体である。監視対象Ｔは任意に設定されてよい。例えば、監視対象Ｔは、車道、トンネル構内、建物、建物構内等である。
カメラＣＡは監視対象Ｔを撮像する。カメラＣＡは、動画を撮像してもよいし、静止画を撮像してもよい。カメラＣＡは撮像した画像を炎検出装置１０に出力する。
炎検出装置１０は、コンピュータであり、例えば、ＰＣ（Personal Computer）、サーバ装置などにより実現される。炎検出装置１０は、監視対象Ｔが撮像された画像（対象画像）をカメラＣＡから取得し、取得した画像に炎が示されているか否かを判定する。

【0013】

図２は、実施形態に係る炎検出装置１０の構成例を示すブロック図である。炎検出装置１０は、例えば、画像取得部１００と、炎候補領域抽出部１０１と、炎判定部１０２と、判定結果出力部１０３と、画像情報記憶部１０４とを備える。
炎検出装置１０が備える機能部（画像取得部１００と、炎候補領域抽出部１０１と、炎判定部１０２と、判定結果出力部１０３）は、炎検出装置１０がハードウェアとして備えるＣＰＵ（Central Processing Unit）にプログラムを実行させることによって実現される。

【0014】

画像取得部１００は、対象画像の画像情報を取得する。画像取得部１００は、カメラＣＡにより撮像された、対象画像の画像情報を取得する。画像取得部１００は、取得した画像情報を炎候補領域抽出部１０１に出力する。

【0015】

炎候補領域抽出部１０１は、対象画像から炎候補領域を抽出する。炎候補領域は、対象画像において、炎らしい物体が示されている領域である。炎候補領域抽出部１０１が対象画像から炎候補領域を抽出する具体的な方法は後で詳しく説明する。

【0016】

炎判定部１０２は、炎候補領域に炎が示されているか否かを判定する。炎判定部１０２は、炎候補領域に撮像された対象の動きに基づいて、炎候補領域に炎が示されているか否かを判定する。炎判定部１０２が炎候補領域に炎が示されているか否かを判定する具体的な方法は後で詳しく説明する。

【0017】

判定結果出力部１０３は、炎判定部１０２による判定結果、すなわち対象画像に炎が示されているか否かを出力する。判定結果出力部１０３は、例えば、図示しないディスプレイに判定結果を表示することにより、判定結果を表示するように構成されてもよい。この場合、対象画像に炎が示されている場合には、火災の可能性がある旨のメッセージを表示したり、アラーム音などを出力させたりする等してユーザに注意を促すようにしてもよい。

【0018】

画像情報記憶部１０４は画像情報を記憶する。画像情報は、対象画像の画像情報である。画像情報に、炎候補領域抽出部１０１によって抽出された炎候補領域を示す情報や、炎判定部１０２によって判定された判定結果、判定に用いられた指標などを示す情報が含まれていてもよい。
画像情報記憶部１０４は、記憶媒体、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、フラッシュメモリ、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ ｒｅａｄ／ｗｒｉｔｅ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、またはこれらの記憶媒体の任意の組み合わせによって構成される。

【0019】

ここで炎候補領域抽出部１０１が対象画像から炎候補領域を抽出する方法について説明する。炎候補領域抽出部１０１は、複数の段階的な処理を経て対象画像から炎候補領域を抽出する。

【0020】

第１段階として、炎候補領域抽出部１０１は、対象画像における色情報に基づいて第１候補領域を抽出する。具体的には、炎候補領域抽出部１０１は、対象画像における画素を、その画素値が炎らしい色を示しているか否かに応じて二値化する。
例えば、色情報がＲＧＢ（Red、Green、Blue）にて示される場合、炎らしい色とは、色情報における赤色成分であるＲ値が閾値より大きい色、又は、赤色成分と緑色成分の差分（Ｒ－Ｇ）値が閾値より大きい色である。色情報がＨＳＶ（Hue、Saturation、Value・Brightness）にて示される場合、炎らしい色とは、例えば、色相成分であるＨ値が赤寄りで、且つ明度成分であるＶ値が閾値より大きい色である。
炎候補領域抽出部１０１は、二値化した画素のうち、炎らしい色を示す画素群からなる領域を抽出し、抽出した領域を第１候補領域とする。この場合において、炎候補領域抽出部１０１は、炎らしい色を示す画素群からなる領域のうち、閾値未満の面積を有する領域をノイズとして排除し、閾値以上の面積を有するものを第１候補領域とするようにしてもよい。

【0021】

第２段階として、炎候補領域抽出部１０１は、第１候補領域を抽出した対象画像（以下、第１画像）よりも後に撮像された対象画像（以下、第２画像）から抽出した第１候補領域が、同一の対象物によるものか否かを判定する追跡処理を行う。

【0022】

図３（図３Ａ及び図３Ｂ）は、追跡処理を説明する図である。
図３Ａには、対象画像ＴＧ１の例が模式的に示されている。対象画像ＴＧ１には、領域Ｒ１及びＲ２が、第１候補領域として抽出されている。例えば、領域Ｒ１には点滅する赤色灯が示されている。領域Ｒ２には炎が示されている。このような赤色灯や炎は、炎らしい色が示されていることから第１候補領域として抽出される。
炎候補領域抽出部１０１は、第１候補領域として抽出した領域において特定の位置にある画素、例えば重心に位置する画素を追跡点とし、追跡点の位置座標を取得する。この図の例では、炎候補領域抽出部１０１は、領域Ｒ１の追跡点として画素Ｒ１Ｇ、領域Ｒ２の追跡点として画素Ｒ２Ｇのそれぞれの位置座標を取得する。

【0023】

図３Ｂには、対象画像ＴＧ２の例が模式的に示されている。対象画像ＴＧ２は対象画像ＴＧ１よりも時系列的に後の時刻に撮像された対象画像である。例えば、動画像において、対象画像ＴＧ２は対象画像ＴＧ１の次フレームに撮像された画像である。
対象画像ＴＧ２には、領域Ｒ２＃が、第１候補領域として抽出されている。
炎候補領域抽出部１０１は、第１候補領域として抽出した領域Ｒ２＃の追跡点として画素Ｒ２Ｇ＃の位置座標を取得する。炎候補領域抽出部１０１は、第１画像において取得した追跡点（画素Ｒ２Ｇ）と、第２画像において取得した追跡点（画素Ｒ２Ｇ＃）の距離を算出する。炎候補領域抽出部１０１は、算出した距離が閾値未満である場合、第１画像において抽出した第１候補領域と、第２画像において抽出した第１候補領域とが、同一の対象物によるものであると判定する。この場合、領域Ｒ２を追跡対象として、第２画像以降に撮像された対象画像においても、追跡処理を行う。上記の閾値を設定する方法は適宜決定されてよいが、例えば、監視対象Ｔにおいて最も高速に動くものを基準に設定されてもよい。例えば、監視対象Ｔが車道やトンネル構内である場合、車道やトンネル構内を通行する車両の最高速度、もしくは最高速度に所定の余裕を含めた速度で走行する車両が、対象画像ＴＧ１と対象画像ＴＧ２とを撮影する時間間隔において移動する距離に基づいて、閾値が設定されるようにしてもよい。
一方、炎候補領域抽出部１０１は、第２画像において、第１画像で取得した追跡点（画素Ｒ１Ｇ）の近傍に、第１候補領域が抽出されなかった場合、第１画像において抽出した第１候補領域と、第２画像において抽出した第１候補領域とが、同一の対象物によるものではないと判定する。つまり、第１画像の領域Ｒ１において撮像された対象が、第２画像において追跡できなかったと判定する。この場合、領域Ｒ１を追跡対象から除外し、第２画像以降に撮像された対象画像においても、追跡処理を行わない。

【0024】

炎候補領域抽出部１０１は、追跡処理の結果に基づいて、第１候補領域を第２候補領域とするか否かを決定する。炎候補領域抽出部１０１は、第１段階で抽出した第１候補領域が追跡対象となった場合、つまり、第２画像において、第１画像で抽出した領域Ｒ２の近傍に、領域Ｒ２＃が抽出された場合、領域Ｒ２、および／又は、領域Ｒ２＃を、第２候補領域とする。一方、炎候補領域抽出部１０１は、第１段階で抽出した第１候補領域が追跡対象から除外された場合、つまり、第２画像において、第１画像で抽出した領域Ｒ１の近傍に、第１候補領域が抽出されなかった場合、その第１候補領域（領域Ｒ１）を第２候補領域としない。このように、第２段階として追跡処理を行うことにより、より炎らしい振る舞いをする対象が移動していたとしても、第２候補領域とすることができる。

【0025】

この場合において、炎候補領域抽出部１０１は、時系列に連続する所定の数以上の対象画像、例えば数フレーム分の画像において追跡することができた領域を第２候補領域とし、数フレーム分の画像において追跡できなくなった領域を、第２候補領域としないように構成されてもよい。

【0026】

第３段階として、炎候補領域抽出部１０１は、第２候補領域が炎らしい度合を、第２候補領域における形状の複雑さ、及び／又は色の時系列変化に基づいて算出する。

【0027】

まず、炎候補領域抽出部１０１が、第２候補領域における形状の複雑さに基づいて、第２候補領域が炎らしい度合を算出する方法について説明する。
炎候補領域抽出部１０１は、輪郭情報として、輪郭を構成する画素群の座標を示す数列Ｐｎを抽出する。数列Ｐｎは、例えば、輪郭を構成する画素群を、所定の方向、例えば時計回り、又は反時計回りの方向に沿って順に並べた数列である。炎候補領域抽出部１０１は、数列Ｐｎから、所定の間隔離れた画素を３つ選択する。具体的に、炎候補領域抽出部１０１は、数列Ｐｎ｛Ｐ１、Ｐ２、…、Ｐｎ｝から、距離ｄ離れた三つの画素（Ｐｋ－ｄ、Ｐｋ、Ｐｋ＋ｄ）を選択する。

【0028】

炎候補領域抽出部１０１は、選択した三つの画素のそれぞれを輪郭に沿って接続させてなる線分がなす角度を算出する。具体的に、炎候補領域抽出部１０１は、数列Ｐｎから選択した三つの画素（Ｐｋ－ｄ、Ｐｋ、Ｐｋ＋ｄ）のそれぞれの座標のうち、起点とするＰｋから、他の点（Ｐｋ－ｄ）、及び（Ｐｋ＋ｄ）に向かうベクトルＶ１、Ｖ２を計算する。ベクトルＶ１は画素（Ｐｋ）から画素（Ｐｋ－ｄ）に向かうベクトルである。ベクトルＶ２は画素（Ｐｋ）から画素（Ｐｋ＋ｄ）に向かうベクトルである。炎候補領域抽出部１０１は、例えば、式（１）に示すように、ベクトルの内積を用いて線分がなす角度θを算出する。

【0029】

ｄｘ１＊ｄｘ２＋ｄｙ１＊ｄｙ２
＝√（ｄｘ１＾２＋ｄｙ１＾２）×√（ｄｘ２＾２＋ｄｙ２＾２）×ｃｏｓθ …（１）
但し、
（ｄｘ１，ｄｙ１)：ベクトルＶ１の座標値
（ｄｘ２，ｄｙ２)：ベクトルＶ２の座標値
θ：線分がなす角度

【0030】

このようにして、炎候補領域抽出部１０１は、炎候補領域Ｒの輪郭を構成する画素群から選択した三つの画素を輪郭に沿って接続させてなる線分がなす角度を、輪郭線がなす角度として算出する。炎候補領域抽出部１０１は、例えば、輪郭を構成する全ての画素のそれぞれを起点にした線分のそれぞれがなす角度を、輪郭線がなす角度として算出する。炎候補領域抽出部１０１は輪郭線がなす角度の統計量を用いて、形状の複雑さに基づく炎らしい度合を算出する。ここでの統計量は、輪郭線がなす角度が特定の角度、例えば、１８０度などに集中しているか否かを示す指標となる統計量であれば任意に決定されてよい。例えば、統計量は、平均値、代表値、最頻値、最大値、最小値、分散、標準偏差、及びこれらの組合せを用いることができる。

【0031】

ここで、炎候補領域抽出部１０１が、統計量を用いて指標を算出する具体的な方法について説明する。本実施形態では、炎候補領域形状の複雑さを示す指標として、（１）集中度、及び（２）最頻値となった角度のばらつき、の２つの指標を用いる。
（１）集中度は、輪郭線がなす角度が特定の角度に集中している度合を示す指標であり、輪郭線がなす角の総数に対する、最頻値となった角度の数の比率である。例えば、輪郭を構成する全ての画素のそれぞれを起点にした線分を生成し、生成した線分のそれぞれがなす角度を取得した場合、輪郭線がなす角の総数は、輪郭線を構成する画素の総数と同じである。この場合、炎候補領域抽出部１０１は、第２候補領域から算出した集中度が閾値未満である場合、その第２候補領域に撮像された対象が炎らしいと判定する。一方、炎候補領域抽出部１０１は、第２候補領域から算出した集中度が閾値以上である場合、その第２候補領域に撮像された対象が炎ではないと判定する。

【0032】

（２）最頻値となった角度のばらつきは、監視対象Ｔを撮像した動画像を用いた場合に、各画像において輪郭線がなす角度の最頻値が集中していない度合、つまり、ばらつく度合を示す指標である。例えば、炎候補領域抽出部１０１は、動画像を構成する対象画像のそれぞれについて最頻値を算出する。ここでの最頻値は、対象画像から抽出された炎候補領域における輪郭線がなす角のうち最頻値となった角度である。炎候補領域抽出部１０１は、時系列に連続する第２候補領域のそれぞれから算出した最頻値のばらつきが大きく、閾値以上である場合、その第２候補領域に撮像された対象が炎らしいと判定する。一方、炎候補領域抽出部１０１は、第２候補領域のそれぞれから算出した最頻値のばらつきが小さく、閾値未満である場合、その第２候補領域に撮像された対象が炎ではないと判定する。

【0033】

次に、炎候補領域抽出部１０１が、第２候補領域における色の時系列変化に基づいて、第２候補領域が炎らしい度合を算出する方法について説明する。
例えば、炎候補領域抽出部１０１は、時系列に撮像された複数の対象画像のそれぞれに示された第２候補領域を構成する画素群のそれぞれの画素値を取得する。炎候補領域抽出部１０１は、取得した画素値から選択した代表的な画素値、例えば平均値等の時系列変化を周波数解析、例えばＦＦＴ（Fast Fourier Transform、高速フーリエ変換）することによって、その画素値が変化するリズム（周波数特性）を算出する。
炎候補領域抽出部１０１は、画素値が変化するリズム（周波数特性）が、炎の色が変化するリズムに似ている度合を、その第２候補領域が炎らしい度合として算出する。

【0034】

図４は、第２候補領域を構成する画素の炎らしい度合を算出する方法を説明する図である。図４には、画素値をＦＦＴすることによって算出した周波数特性が示されている。図４に示すグラフの横軸は周波数及び縦軸は信号強度を示している。

【0035】

図４の左側に示すグラフには、動画像において炎が示された領域における画素値の周波数特性が示されている。この図では、１．０［Ｈｚ］＜周波数ｆ≦４．５［Ｈｚ］の範囲におけるスペクトル（信号強度）が最も大きい。これは、炎が燃え盛る様子を動画で撮像した場合、おおよそ１秒間に１～４．５回程度のリズムで色が変化することを示している。

【0036】

図４の右側に示すグラフには、動画像において自動車が通過する様子が示された領域における画素値の周波数特性が示されている。この図では、１．５［Ｈｚ］以下の周波数領域におけるスペクトル（信号強度）が最も大きい。これは、車両が通過する様子を動画で撮像した場合、おおよそ１秒間に１．５回程度以下のリズムで色が変化することを示している。

【0037】

炎候補領域抽出部１０１は、第２候補領域を構成する画素群に基づく画素の周波数特性が、所定の周波数範囲、例えば１．０［Ｈｚ］＜周波数ｆ≦４．５［Ｈｚ］に、ピークをもつ、つまり最も大きい信号強度を有する場合、その第２候補領域に撮像された対象が炎らしいと判定する。一方、炎候補領域抽出部１０１は、第２候補領域を構成する画素群に基づく画素の周波数特性が、所定の周波数範囲に、ピークをもたない場合、その第２候補領域に撮像された対象が炎ではないと判定する。
炎候補領域抽出部１０１は、第２候補領域のうち炎らしい度合が大きく、その第２候補領域に撮像された対象が炎であると判定されたものを、炎候補領域とする。

【0038】

ここで炎判定部１０２が炎候補領域に炎が示されているか否かを判定する方法について説明する。炎判定部１０２は、炎候補領域に撮像された対象の動きに基づいて、炎候補領域に炎が示されているか否かを判定する。

【0039】

炎判定部１０２は、炎候補領域を格子状の領域に分割し、分割したそれぞれの領域の各々に追跡点を設定する。炎判定部１０２は、各追跡点におけるオプティカルフローを計算する。ここでのオプティカルフローは、画像に撮像されている対象の移動を表す概念であり、例えば、画像に撮像された炎が移動する方向を表す概念である。ここでは、炎判定部１０２は、炎候補領域を格子状に分割した各領域に設定した追跡点の各々の色の変化を取得する。炎判定部１０２は、追跡点における色の変化に関する演算、例えば、第１の点から第２の点に向かって色が変化した場合には、第１の点から第２の点に向かうベクトルを演算する。炎判定部１０２は、このような演算を、前述した複数の追跡点のそれぞれに対して実行することにより複数のベクトルを求めす。炎判定部１０２は、このようにして求めた複数のベクトルを合成したベクトルを、炎が動く方向及び大きさを示すオプティカルフローとして算出する。

【0040】

炎判定部１０２は、オプティカルフローの時系列変化に基づいて、炎候補領域に撮像された対象が、炎のような動きをしているか否かを示す指標を算出する。

【0041】

一般的に、炎は、大きくなったり小さくなったりする動き、つまり揺動を繰り返しながら、徐々に大きく燃え広がるような挙動となる。一方、車両などの移動体は、一定の方向に、等速或いは速度を変化させながら移動するのが一般的である。このような炎が有する特有の動きを利用し、本実施形態では、炎判定部１０２は、オプティカルフローの時系列変化に基づいて、炎候補領域に撮像された対象が、炎のような動きをしているか否かを示す指標を算出する。

【0042】

図５は、炎が撮像された動画像から算出したオプティカルフローの例を示す図である。図５には、時刻ｔ＝０から時刻ｔ＝１１までのフレーム画像のそれぞれが時系列に示されている。各フレーム画像には炎が揺らめく様子が撮像されている、各フレーム画像から抽出された炎候補領域（炎が撮像された領域）において算出されたオプティカルフローが矢印で示されている。この図の例に示すように、炎が撮像された場合、各フレーム画像において算出されたオプティカルフローは様々な動きを示しており、車両などの移動体のような一定の方向に向かう動きをしない。

【0043】

炎判定部１０２は、追跡点のそれぞれについて算出したオプティカルフローにおけるｘ軸方向成分の値（以下、ｘ成分値）、及びｙ軸方向成分の値（以下、ｙ成分値）を時系列に抽出する。また、炎判定部１０２は、オプティカルフローにおけるｘ成分値の時系列変化に基づいて、ある時間区間におけるｘ成分値の単純加算平均値（以下、ｘ平均値）を算出する。また、炎判定部１０２は、オプティカルフローにおけるｙ成分値の時系列変化に基づいて、ある時間区間におけるｙ成分値の単純加算平均値（以下、ｙ平均値）を算出する。

【0044】

なお、ここでのｘ軸方向及びｙ軸方向は任意に決定されてよい。例えば、ｘ軸方向は対象画像における水平方向（横方向）であり、ｙ軸方向は対象画像における垂直方向（縦方向）である。また、例えば、オプティカルフローにおける画像中の水平方向成分、及び垂直方向成分について主成分分析を行って得られる、第一主成分の方向をx軸、第二主成分の方向をy軸としてもよい。または、監視対象Ｔに道路が含まれる場合、道路の通行方向をｘ軸方向とし、通行方向に垂直な方向をｙ軸方向として使用してもよい。

【0045】

図６は、オプティカルフローにおけるｘ成分値の時系列変化、及びｘ平均値の例を示す図である。図６の横軸は時間、縦軸は成分値を示す。この図の例に示すように、炎のように大きくなったり小さくなったりする動きを繰り返す場合、ｘ成分値はｘ平均値を下回ったり上回ったりする動きを繰り返す。

【0046】

炎判定部１０２は、ｘ平均値に対してｘ成分値が揺動をする度合を、炎のような動きをしているか否かを示す指標として算出する。ここで、ｘ平均値に対してｘ成分値が揺動をするとは、ｘ成分値がｘ平均値をクロスすることである。より具体的には、ｘ成分値が、ｘ平均値未満である状態からｘ平均値以上に変化すること、又はｘ成分値が、ｘ平均値以上である状態からｘ平均値未満に変化することである。このような揺動をする度合として、ｘ成分値がｘ平均値をクロスする回数（以下、クロス回数）を用いることができる。

【0047】

ｙ方向についても同様に、炎判定部１０２は、ｙ平均値に対してｙ成分値が揺動をする度合を、炎のような動きをしているか否かを示す指標として算出する。ここで、ｙ平均値に対してｙ成分値が揺動をするとは、ｙ成分値がｙ平均値をクロスすることである。より具体的には、ｙ成分値が、ｙ平均値未満である状態からｘ平均値以上に変化すること、又はｙ成分値が、ｙ平均値以上である状態からｙ平均値未満に変化することである。このような揺動をする度合として、ｙ成分値がｙ平均値をクロスする回数（以下、クロス回数）を用いることができる。なお、このクロスしたか否かの判定に、ヒステリシスを持たせるようにしてもよい。例えば、ｘ成分値が、ｘ平均値未満である状態から（ｘ平均値＋所定の値α）以上に変化すること、又はｘ成分値が、ｘ平均値以上である状態から（ｘ平均値－所定の値β）未満に変化した場合に、クロスしたと判定するようにしてもよい。ここでの所定の値αとβは、同じ値であってもよいし、異なる値であってもよい。

【0048】

図７は、炎が撮像された炎候補領域におけるオプティカルフローのｘ成分値及びｙ成分の時系列変化の例を示す図である。図７の横軸は時間、縦軸は成分値を示す。Ａｖｅｘはｘ平均値を示す。Ａｖｅｙはｙ平均値を示す。この図の例では、ｘ方向のクロス回数は８回であり、ｙ方向のクロス回数は６回である。ｘ方向のクロス回数とｙ方向のクロス回数とを合計したクロス回数は１４回である。

【0049】

図８は、通過する車両が撮像された炎候補領域におけるオプティカルフローのｘ成分値及びｙ成分の時系列変化の例を示す図である。図８の横軸は時間、縦軸は成分値を示す。Ａｖｅｘはｘ平均値を示す。Ａｖｅｙはｙ平均値を示す。この図の例では、ｘ方向のクロス回数は３回であり。ｙ方向のクロス回数は２回である。ｘ方向のクロス回数とｙ方向のクロス回数とを合計したクロス回数は５回である。

【0050】

炎判定部１０２は、このようなクロス回数を、揺動をする度合、つまり炎のような動きをしているか否かを示す指標として算出する。例えば、炎判定部１０２は、炎候補領域から求めたクロス回数が閾値以上である場合、その炎候補領域に炎が示されていると判定する。一方、炎判定部１０２は、炎候補領域から求めたクロス回数が閾値未満である場合、その炎候補領域に炎が示されていないと判定する。

【0051】

なお、炎判定部１０２は、ｘ方向のクロス回数、又はｙ方向のクロス回数のいずれか一方のみを用いて、炎候補領域に炎が示されているか否かを判定するようにしてもよい。また、炎判定部１０２は、ｘ成分値が、ｘ平均値未満である状態からｘ平均値以上に変化する回数（第１クロス回数）、又はｘ成分値が、ｘ平均値以上である状態からｘ平均値未満に変化する回数（第２クロス回数）のいずれか一方のみを用いて、炎候補領域に炎が示されているか否かを判定するようにしてもよい。

【0052】

ここで、図９を用いて炎検出装置１０が行う処理の流れを説明する。図９は、実施形態に係る炎検出装置１０が行う処理の流れを示すフローチャートである。

【0053】

炎検出装置１０は、時系列に連続する対象画像（フレーム画像）を取得する（ステップＳ１０）。炎検出装置１０は、例えば、カメラＣＡによって監視対象Ｔが撮像された動画像を、時系列に連続する対象画像として取得する。
次に、炎検出装置１０は、各対象画像から第１候補領域を抽出する（ステップＳ１１）。炎検出装置１０は、各対象画像における色情報に基づいて、炎らしい色が示された表域を第１候補領域として抽出する。
次に、炎検出装置１０は、第１候補領域を追跡処理した結果に基づいて、第１候補領域を第２候補領域とするか否かを決定する（ステップＳ１２）。炎検出装置１０は、あるフレーム画像において抽出した第１候補領域が、次フレーム以降の数フレームに渡って追跡できた場合、その第１候補領域を第２候補領域とする。一方、炎検出装置１０は、あるフレーム画像において抽出した第１候補領域が、次フレーム以降の数フレームにおいて追跡できない場合、その第１候補領域を第２候補領域としない。

【0054】

次に、炎検出装置１０は、第２候補領域の特徴、つまり輪郭形状の複雑さ、及び／又は、色の時系列変化に基づいて、第２候補領域を炎候補領域とするか否かを決定する（ステップＳ１３）。
例えば、炎検出装置１０は、第２候補領域の輪郭形状がなす角が、特定の角度に集中していない場合、その第２候補領域を炎候補領域とする。一方、炎検出装置１０は、第２候補領域の輪郭形状がなす角が、特定の角度に集中している場合、その第２候補領域を炎候補領域としない。或いは、炎検出装置１０は、第２候補領域の輪郭形状がなす角の角度の最頻値が時系列においてばらついている場合、その第２候補領域を炎候補領域とする。一方、炎検出装置１０は、第２候補領域の輪郭形状がなす角の角度の最頻値が時系列においてばらついていない場合、その第２候補領域を炎候補領域としない。
例えば、炎検出装置１０は、第２候補領域における画素値の周波数特性を算出し、画素値のスペクトルが、炎のスペクトルに似ている場合、その第２候補領域を炎候補領域とする。一方、炎検出装置１０は、第２候補領域における画素値のスペクトルが、炎のスペクトルに似ていない場合、その第２候補領域を炎候補領域としない。

【0055】

次に、炎検出装置１０は、炎候補領域におけるオプティカルフローを算出する（ステップＳ１４）。炎検出装置１０は、炎候補領域に設定した複数の追跡点のそれぞれの動きを示すベクトルを算出し、算出したベクトルを合成することによりオプティカルフローを算出する。

【0056】

そして、炎検出装置１０は、オプティカルフローの成分が平均値に対して揺動する度合（クロス回数）に基づいて炎候補領域に炎が示されているか判定する（ステップＳ１５）。炎検出装置１０は、オプティカルフローのｘ成分及びｙ成分のそれぞれについてクロス回数を求め、ｘ成分のクロス回数と、ｙ成分のクロス回数とを合計した値を、揺動する度合（クロス回数）とする。炎検出装置１０は、クロス回数が閾値以上である場合、炎候補領域に炎が示されていると判定する。一方、炎検出装置１０は、クロス回数が閾値未満である場合、炎候補領域に炎が示されていないと判定する。

【0057】

以上説明したように、実施形態の炎検出装置１０は、画像取得部１００と、炎候補領域抽出部１０１と、炎判定部１０２とを備える。画像取得部１００は、動画像を取得する。動画像は、監視対象Ｔが時系列に沿って撮像された複数の対象画像である。炎候補領域抽出部１０１は、対象画像の各々から炎候補領域を抽出する。炎判定部１０２は、炎候補領域に示されている対象が炎らしい動きを示す指標を算出する。炎判定部１０２は、炎候補領域に設定した追跡点の移動量が、その移動量の平均値に対して揺動する度合を用いて指標を算出する。炎判定部１０２は算出した指標に基づいて、炎候補領域に炎が示されているか否かを判定する。

【0058】

これにより実施形態の炎検出装置１０は、炎候補領域に撮像された対象が、炎らしい動きを示しているか否かに応じて、その炎候補領域に撮像された対象が炎であるか否かを判定することができる。したがって、移動体に火災が発生した場合であっても画像に炎が示されているか否かを精度よく判定することができる。

【0059】

また、実施形態の炎検出装置１０では、炎判定部１０２は、炎候補領域に含まれる画素のオプティカルフローを、移動量（例えば、ｘ成分値、ｙ成分値）として算出する。これにより、実施形態の炎検出装置１０では、オプティカルフローを用いて、炎候補領域に撮像された対象の動きを定量的に算出することができる。

【0060】

また、実施形態の炎検出装置１０では、炎判定部１０２は、移動量が、平均値を下回る値から上回る値に変化する第１クロス回数、又は平均値を上回る値から下回る値に変化する第２クロス回数の少なくとも一方を用いて、指標を算出する。これにより、実施形態の１０では、クロス回数を用いて炎候補領域に撮像された対象が炎らしい動きをしているか容易に判定することができる。

【0061】

また、実施形態の炎検出装置１０では、炎判定部１０２は、対象画像におけるＸ軸方向（第１方向）、及びｙ軸方向（第２方向）のそれぞれについて、移動量及び平均値を算出する。炎判定部１０２は算出したそれぞれの方向におけるクロス回数（指標）に基づいて、炎候補領域に炎が示されているか否かを判定する。これにより、実施形態の１０では、動きを示すベクトル、例えばオプティカルフローの各成分を用いて、それぞれの方向の動きの揺動具合に基づいて精度よく判定することができる。

【0062】

また、実施形態の炎検出装置１０では、炎候補領域抽出部１０１は、複数の対象画像に含まれる色情報に基づいて第１候補領域を抽出する。炎候補領域抽出部１０１は、第１画像から抽出した第１候補領域と、第１画像よりも後に撮像された第２画像から抽出した第１候補領域が同一の対象物によるものかどうかを判定する。炎候補領域抽出部１０１は、第１画像から抽出した第１候補領域と第２画像から抽出した第１候補領域が同一の対象物によるものである場合、第１画像から抽出した第１候補領域、および／又は第２画像から抽出した第１候補領域を第２候補領域とする。炎候補領域抽出部１０１は、第２候補領域から炎候補領域を決定する。
また、実施形態の炎検出装置１０では、炎候補領域抽出部１０１は、第２候補領域が炎らしい度合を、第２候補領域における色が変化する周波数特性に基づいて算出し、算出した炎らしい度合に基づいて、第２候補領域を前記炎候補領域とするか否かを決定する。
これにより、実施形態の炎検出装置１０では、対象画像に撮像された対象の色及び色が変化するリズムに基づいて、色やその色が変化する様子が炎らしい領域を炎候補領域とすることができる。

【0063】

ここで、実施形態の変形例１について説明する。本変形例では、平均値（ｘ平均値及びｙ平均値）に回帰直線を用いる点において、上述した実施形態と相違する。回帰直線は、成分値（ｘ成分値又はｙ成分値）の分布に最も合う（フィットする）直線である。回帰直線を求めす方法は従来技術にある任意に方法を用いることができる。例えば、回帰直線における係数と切片を最適に算出するための方法として、最小二乗法を用いることができる。

【0064】

図１０は実施形態の変形例１に係る炎判定部１０２が行う処理を説明する図である。
図１０には、オプティカルフローにおけるｘ成分値の時系列変化、及びｘ成分値の回帰直線をｘ平均値とした例を示す図である。この図の例に示すように、ｘ成分値が、上下に揺動しながら、徐々に小さくなっていく場合があり得る。このような場合において、単純加算平均値に基づいてクロス回数を算出すると、揺動の度合を適切に取得することが難しい。この対策として、本変形例では、ｘ成分値の回帰直線をｘ平均値とする。
これにより、ｘ成分値が、上下に揺動しながら、徐々に小さくなっていく（或いは、徐々に増加していく）場合であっても、ｘ成分値が揺動する度合を適切に算出することができる。

【0065】

ここで、実施形態の変形例２について説明する。本変形例では、平均値（ｘ平均値及びｙ平均値）に、前後の値の単純加算平均値（以下、前後平均値という）を用いる点において、上述した実施形態と相違する。前後平均値は、成分値（ｘ成分値又はｙ成分値）の前後の値を単純加算平均した値である。例えば、前後平均値は、平均値を求める時刻を基準として、時系列の前後数フレームのｘ成分値を単純加算平均した値である。

【0066】

図１１は実施形態の変形例２に係る炎判定部１０２が行う処理を説明する図である。
図１１には、オプティカルフローにおけるｘ成分値の時系列変化、及びｘ成分値の前後平均値をｘ平均値とした例を示す図である。この図の例に示すように、ｘ成分値が、上下に揺動しながら、徐々に小さくなる過程においてその小さくなる度合が一定していない場合があり得る。このような場合、単純加算平均値や回帰直線に基づいてクロス回数を算出すると、揺動の度合を適切に取得することが難しい。この対策として、本変形例では、ｘ成分値の前後平均値をｘ平均値とする。
これにより、ｘ成分値が、上下に揺動しながら、徐々に小さくなっていく（或いは、徐々に増加していく）過程においてその小さくなる度合が一定していない場合であっても、近傍のｘ成分値に基づいて、ｘ平均値を設定することができるため、ｘ成分値が揺動する度合を適切に算出することができる。

【0067】

上述した実施形態では、追跡処理の方法について一例を説明したがこの方法に限定されない。具体的には、図３（図３Ａ及び図３Ｂ）の第１画像において取得した追跡点（画素Ｒ２Ｇ）と、第２画像において取得した追跡点（画素Ｒ２Ｇ＃）の距離が閾値未満である場合、第１画像において抽出した第１候補領域と、第２画像において抽出した第１候補領域とが、同一の対象物によるものであると判定するとしたが、領域Ｒ２と領域Ｒ２＃が同一の対象物によるものかどうかの判定はこれに限らない。例えば、領域Ｒ２の追跡点（画素Ｒ２Ｇ）が領域Ｒ２＃に含まれている場合に、第１画像において抽出した第１候補領域と、第２画像において抽出した第１候補領域とが同一の対象物によるものであると判定してもよい。また、領域Ｒ２＃の追跡点（画素Ｒ２Ｇ＃）が領域Ｒ２に含まれている場合に同一の対象物によるものであると判定してもよい。

【0068】

上述した実施形態における炎検出装置１０の全部または一部をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＦＰＧＡ等のプログラマブルロジックデバイスを用いて実現されるものであってもよい。

【0069】

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

【符号の説明】

【0070】

１…炎検出システム
１０…炎検出装置
１００…画像取得部（取得部）
１０１…炎候補領域抽出部（抽出部）
１０２…炎判定部（判定部）

【図1】

【図2】

【図3A】

【図3B】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】