特開 2023-34503 可視煙判定装置、プログラム、可視煙判定システム及び可視煙判定方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023034503

(43)【公開日】2023-03-13

(54)【発明の名称】可視煙判定装置、プログラム、可視煙判定システム及び可視煙判定方法

(51)【国際特許分類】

   G06T 7/00 20170101AFI20230306BHJP

   G05B 23/02 20060101ALN20230306BHJP

【ＦＩ】

G06T7/00 Z

G05B23/02 301X

【審査請求】未請求

【請求項の数】12

【出願形態】ＯＬ

(21)【出願番号】P 2021140765

(22)【出願日】2021-08-31

(71)【出願人】

【識別番号】000006655

【氏名又は名称】日本製鉄株式会社

(74)【代理人】

【識別番号】110002044

【氏名又は名称】弁理士法人ブライタス

(72)【発明者】

【氏名】坂本 健一

(72)【発明者】

【氏名】辻 典宏

【テーマコード（参考）】

3C223

5L096

【Ｆターム（参考）】

3C223AA05

3C223BA03

3C223BB08

3C223CC02

3C223CC03

3C223DD03

3C223FF04

3C223FF12

3C223FF24

3C223FF34

3C223FF35

3C223GG01

3C223HH02

3C223HH06

3C223HH08

3C223HH26

3C223HH29

5L096BA08

5L096BA18

5L096CA02

5L096DA03

5L096FA32

5L096GA08

5L096HA02

5L096JA11

(57)【要約】

【課題】画像解析により監視対象の設備から可視煙が発生しているか否かを判定する際に、未検知を増加させることなく誤検知を低減させる。
【解決手段】可視煙発生の監視対象である設備の方向を撮像して得られた撮像画像内に可視煙判定領域を設定する領域設定部と、可視煙判定領域内の各画素の画素情報に基づいて、可視煙発生の指標となる指標値を算出する指標値算出部と、指標値が所定の基準値以上である可視煙判定領域を、可視煙発生の候補となる候補領域として検出する候補検出部と、候補領域について、指標値が基準値以上となってから基準値未満となるまでの超過時間を計測する時間計測部と、超過時間が所定の閾値未満である候補領域に可視煙が発生していると判定し、超過時間が所定の閾値以上である候補領域には可視煙は発生していないと判定する判定部と、を備える、可視煙判定装置が提供される。
【選択図】図４

【特許請求の範囲】

【請求項1】

可視煙発生の監視対象である設備の方向を撮像して得られた撮像画像内に可視煙判定領域を設定する領域設定部と、
前記可視煙判定領域内の各画素の画素情報に基づいて、可視煙発生の指標となる指標値を算出する指標値算出部と、
前記指標値が所定の基準値以上である可視煙判定領域を、可視煙発生の候補となる候補領域として検出する候補検出部と、
前記候補領域について、前記指標値が前記基準値以上となってから前記基準値未満となるまでの超過時間を計測する時間計測部と、
前記超過時間が所定の閾値未満である前記候補領域に可視煙が発生していると判定し、前記超過時間が前記所定の閾値以上である前記候補領域には可視煙は発生していないと判定する判定部と、
を備える、可視煙判定装置。

【請求項2】

前記領域設定部は、前記撮像画像内に背景領域をさらに設定し、
前記指標値算出部は、
撮像画像内に設定された前記可視煙判定領域及び前記背景領域について、領域内の各画素の画素情報の総和を当該領域内の画素数で割った値を、当該領域を代表する代表画素情報として算出し、
前記指標値として、
前記背景領域の代表画素情報から前記可視煙判定領域の代表画素情報を差し引いた差分値、
前記差分値の時間変化値、または、
前記差分値から前記差分値の移動平均値を差し引いた値、のいずれかを算出する、請求項１に記載の可視煙判定装置。

【請求項3】

前記領域設定部は、過去の所定期間内に撮像された複数の撮像画像に基づいて、
前記監視対象の設備から発生した可視煙が撮像されている領域を、前記可視煙判定領域として設定し、
前記可視煙により全体が覆われることのなかった領域を、前記背景領域として設定する、請求項２に記載の可視煙判定装置。

【請求項4】

前記撮像画像は２５６階調のＲＧＢ表色系画像であり、
前記指標値算出部は、画素の赤成分、緑成分及び青成分により表される関数を用いて、前記各画素の画素情報を算出する、請求項１～３のいずれか１項に記載の可視煙判定装置。

【請求項5】

前記画素情報は、輝度または明度を表す情報である、請求項１～４のいずれか１項に記載の可視煙判定装置。

【請求項6】

前記指標値の基準値または前記超過時間の閾値の少なくともいずれかを設定する閾値設定部を備え、
前記閾値設定部は、過去の所定期間内に撮像された複数の撮像画像を用いて、
人が目視で確認できる可視煙の数に対して前記可視煙判定装置により可視煙と判定した数の比率で定められる再現率を、所定の比率以上とする、
前記可視煙判定装置により候補領域と検出した数に対して、人が目視で確認できる可視煙の数の比率で定められる適合率を、所定の比率以上とする、または、
前記再現率と前記適合率との調和平均であるＦ値を最大とすることにより、前記指標値の基準値または前記超過時間の閾値の少なくともいずれかを設定する、請求項１～５のいずれか１項に記載の可視煙判定装置。

【請求項7】

前記判定部は、可視煙が発生していると判定したときに、発報装置に対して、可視煙発生の報知を指示する、請求項１～６のいずれか１項に記載の可視煙判定装置。

【請求項8】

前記監視対象の設備はコークス炉である、請求項１～７のいずれか１項に記載の可視煙判定装置。

【請求項9】

前記コークス炉においてコークスの押出しが行われる毎に、コークス押出時刻と前記コークス炉の窯番号とを関連付けて記憶する記憶部を備え、
前記候補検出部は、前記指標値が前記基準値以上である可視煙判定領域を検出したときに、前記指標値が前記基準値以上となった検出時刻と一致する前記コークス押出時刻が前記記憶部に記録されている場合には、前記検出時刻を、前記コークス押出時刻及び前記コークス炉の窯番号と関連付けて前記記憶部に記録し、
前記判定部は、前記候補領域において可視煙が発生していると判定したときに、発報装置に対して、可視煙発生と、前記記憶部に前記候補領域の検出時刻と関連付けて記録されている前記コークス押出時刻及び前記コークス炉の窯番号との報知を指示する、請求項８に記載の可視煙判定装置。

【請求項10】

コンピュータを、請求項１～９のいずれか１項に記載の前記可視煙判定装置として機能させるプログラム。

【請求項11】

可視煙発生の監視対象である設備の方向を撮像して撮像画像を取得する撮像装置と、
前記撮像画像に基づいて、前記監視対象の設備から可視煙が発生していることを判定する可視煙判定装置と、
を含み、
前記可視煙判定装置は、
前記撮像画像内に可視煙判定領域を設定する領域設定部と、
前記可視煙判定領域内の各画素の画素情報に基づいて、可視煙発生の指標となる指標値を算出する指標値算出部と、
前記指標値が所定の基準値以上である可視煙判定領域を、可視煙発生の候補となる候補領域として検出する候補検出部と、
前記候補領域について、前記指標値が前記基準値以上となってから前記基準値未満となるまでの超過時間を計測する時間計測部と、
前記超過時間が所定の閾値未満である前記候補領域に可視煙が発生していると判定し、前記超過時間が前記所定の閾値以上である前記候補領域には可視煙は発生していないと判定する判定部と、
を備える、可視煙判定システム。

【請求項12】

可視煙発生の監視対象である設備の方向を撮像して得られた撮像画像内に可視煙判定領域を設定する領域設定ステップと、
前記可視煙判定領域内の各画素の画素情報に基づいて、可視煙発生の指標となる指標値を算出する指標値算出ステップと、
前記指標値が所定の基準値以上である可視煙判定領域を、可視煙発生の候補となる候補領域として検出する候補検出ステップと、
前記候補領域について、前記指標値が前記基準値以上となってから前記基準値未満となるまでの超過時間を計測する時間計測ステップと、
前記超過時間が所定の閾値未満である前記候補領域に可視煙が発生していると判定し、前記超過時間が前記所定の閾値以上である前記候補領域には可視煙は発生していないと判定する判定ステップと、
を含む、可視煙判定方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、可視煙判定装置、プログラム、可視煙判定システム及び可視煙判定方法に関する。

【背景技術】

【0002】

製鉄所では、大気環境の保全対策の一環として、コークス炉や焼結機等の設備から排出される排ガスに対して排出基準値や遵守値を満たすように処理を施してから排出している。そのうえ、自然調和の観点や地域住民の要望に応えるべく、可視煙の発生を抑制するための操業が行われている。しかし、例えば、何らかの原因でコークス炉においてコークスの燃焼不良が生じると、コークスの押し出し時に黒煙が発生することがある。そこで、このような事象をただちに確認して、速やか再発を防止するための措置を行うことが重要である。

【0003】

そこで、監視対象である設備を被写体として撮像した撮像画像を自動的に画像解析して、可視煙の発生を判定する取り組みが行われている。監視映像に画像解析技術を適用して煙を検知する方法として、例えば特許文献１には、日照、降雨等で変化する変動画像を画素分解し、数枚の画像の画素をそれぞれに移動平均した標準画像を原画像として、リアルタイムの変動画像を画素毎に差演算して、背景部を構成する不変画像部分を除去し、変動画像部分から成る発塵発煙画像の面積及び輝度差が一定の設定値を超えると警報を発する手段を具備した発煙又は発塵の検知装置が開示されている。

【0004】

また、特許文献２には、画像を時間経過に従って移動平均することにより得た各画素の輝度の推移を時間微分し、その時間微分して得た一次微分係数がピークを生じて、そのピーク値が一定値を超えた画素の数の割合が一定値を超えた場合に、発塵発煙画像であると推定する手段を具備した発煙又は発塵の検知装置が開示されている。

【0005】

特許文献３には、特許文献２と同様の手段で発塵発煙画像であると推定する際に、解析対象エリアとその部分以外の部分との一次微分係数の定常時の値に対する変化率を比較し、両変化率の間の比が２倍以上の場合に発塵発煙画像であると推定する手段を具備した発煙又は発塵の検知装置が開示されている。

【0006】

特許文献４には、画像の背景領域と可視煙判定用領域との色相毎の明度差が、少なくとも１つの色相において予め設定された閾値以上のとき、撮像された煙を可視煙と判定する可視煙判定装置が開示されている。

【先行技術文献】

【特許文献】

【0007】

【特許文献1】特開平４－３５２０７７号公報

【特許文献2】特開平４－３５８２８５号公報

【特許文献3】特開平５－１０７３８号公報

【特許文献4】特開２０１５－１６９６１８号公報

【発明の概要】

【発明が解決しようとする課題】

【0008】

しかし、上記特許文献１～４の装置に組み込まれた可視煙検知方法は、いずれも、撮像した画像中から得られる検知指標に閾値を設定し、その設定値を超えた場合に可視煙と判定する方法である。閾値を高めに設定すると、特大規模の可視煙は検知できたとしても、それ以下の可視煙は検知され難い。一方で、閾値を低く設定すると、可視煙の検知能は向上する可能性が高まるが、同時に雲等のノイズによる誤検知が増える。このように、未検知と誤検知とはトレードオフの関係にあり、これらを同時に低減することは難しかった。

【0009】

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、画像解析により監視対象の設備から可視煙が発生しているか否かを判定する際に、未検知を増加させることなく誤検知を低減させることの可能な、可視煙判定装置、プログラム、可視煙判定システム及び可視煙判定方法を提供することにある。

【課題を解決するための手段】

【0010】

上記課題を解決するために、本発明のある観点によれば、可視煙発生の監視対象である設備の方向を撮像して得られた撮像画像内に可視煙判定領域を設定する領域設定部と、可視煙判定領域内の各画素の画素情報に基づいて、可視煙発生の指標となる指標値を算出する指標値算出部と、指標値が所定の基準値以上である可視煙判定領域を、可視煙発生の候補となる候補領域として検出する候補検出部と、候補領域について、指標値が基準値以上となってから基準値未満となるまでの超過時間を計測する時間計測部と、超過時間が所定の閾値未満である候補領域に可視煙が発生していると判定し、超過時間が所定の閾値以上である候補領域には可視煙は発生していないと判定する判定部と、を備える、可視煙判定装置が提供される。

【0011】

領域設定部は、撮像画像内に背景領域をさらに設定し、指標値算出部は、撮像画像内に設定された可視煙判定領域及び背景領域について、領域内の各画素の画素情報の総和を当該領域内の画素数で割った値を、当該領域を代表する代表画素情報として算出し、指標値として、背景領域の代表画素情報から可視煙判定領域の代表画素情報を差し引いた差分値、差分値の時間変化値、または、差分値から差分値の移動平均値を差し引いた値、のいずれかを算出してもよい。

【0012】

領域設定部は、過去の所定期間内に撮像された複数の撮像画像に基づいて、監視対象の設備から発生した可視煙が撮像されている領域を、可視煙判定領域として設定し、可視煙により全体が覆われることのなかった領域を、背景領域として設定してもよい。

【0013】

撮像画像は２５６階調のＲＧＢ表色系画像であり、指標値算出部は、画素の赤成分、緑成分及び青成分により表される関数を用いて、各画素の画素情報を算出してもよい。

【0014】

画素情報は、輝度または明度を表す情報であってもよい。

【0015】

可視煙判定装置は、指標値の基準値または超過時間の閾値の少なくともいずれかを設定する閾値設定部を備えてもよい。閾値設定部は、過去の所定期間内に撮像された複数の撮像画像を用いて、人が目視で確認できる可視煙の数に対して可視煙判定装置により可視煙と判定した数の比率で定められる再現率を、所定の比率以上とする、可視煙判定装置により候補領域と検出した数に対して、人が目視で確認できる可視煙の数の比率で定められる適合率を、所定の比率以上とする、または、再現率と適合率との調和平均であるＦ値を最大とすることにより、指標値の基準値または超過時間の閾値の少なくともいずれかを設定してもよい。

【0016】

判定部は、可視煙が発生していると判定したときに、発報装置に対して、可視煙発生の報知を指示してもよい。

【0017】

監視対象の設備はコークス炉であってもよい。

【0018】

このとき、可視煙判定装置は、コークス炉においてコークスの押出しが行われる毎に、コークス押出時刻とコークス炉の窯番号とを関連付けて記憶する記憶部を備えてもよい。候補検出部は、指標値が基準値以上である可視煙判定領域を検出したときに、指標値が基準値以上となった検出時刻と一致するコークス押出時刻が記憶部に記録されている場合には、検出時刻を、コークス押出時刻及びコークス炉の窯番号と関連付けて記憶部に記録し、判定部は、候補領域において可視煙が発生していると判定したときに、発報装置に対して、可視煙発生と、記憶部に候補領域の検出時刻と関連付けて記録されているコークス押出時刻及びコークス炉の窯番号との報知を指示するようにしてもよい。

【0019】

また、上記課題を解決するために、本発明の別の観点によれば、コンピュータを、上述の可視煙判定装置として機能させるプログラムが提供される。

【0020】

さらに、上記課題を解決するために、本発明の別の観点によれば、可視煙発生の監視対象である設備の方向を撮像して撮像画像を取得する撮像装置と、撮像画像に基づいて、監視対象の設備から可視煙が発生していることを判定する可視煙判定装置と、を含み、可視煙判定装置は、撮像画像内に可視煙判定領域を設定する領域設定部と、可視煙判定領域内の各画素の画素情報に基づいて、可視煙発生の指標となる指標値を算出する指標値算出部と、指標値が所定の基準値以上である可視煙判定領域を、可視煙発生の候補となる候補領域として検出する候補検出部と、候補領域について、指標値が基準値以上となってから基準値未満となるまでの超過時間を計測する時間計測部と、超過時間が所定の閾値未満である候補領域に可視煙が発生していると判定し、超過時間が所定の閾値以上である候補領域には可視煙は発生していないと判定する判定部と、を備える、可視煙判定システムが提供される。

【0021】

また、上記課題を解決するために、本発明の別の観点によれば、可視煙発生の監視対象である設備の方向を撮像して得られた撮像画像内に可視煙判定領域を設定する領域設定ステップと、可視煙判定領域内の各画素の画素情報に基づいて、可視煙発生の指標となる指標値を算出する指標値算出ステップと、指標値が所定の基準値以上である可視煙判定領域を、可視煙発生の候補となる候補領域として検出する候補検出ステップと、候補領域について、指標値が基準値以上となってから基準値未満となるまでの超過時間を計測する時間計測ステップと、超過時間が所定の閾値未満である候補領域に可視煙が発生していると判定し、超過時間が所定の閾値以上である候補領域には可視煙は発生していないと判定する判定ステップと、を含む、可視煙判定方法が提供される。

【発明の効果】

【0022】

以上説明したように本発明によれば、可視煙発生の指標となる指標値が基準値を超え、かつ、指標値が基準値を超過した超過時間が所定の閾値未満である場合に、検出対象の可視煙と判定する。これにより、画像解析により監視対象の設備から可視煙が発生しているか否かを判定する際に、未検知を増加させることなく誤検知を低減させることができる。

【図面の簡単な説明】

【0023】

【図1】可視煙発生の監視対象である設備の上空を撮像した撮像画像の一例を示す模式図である。

【図2】撮像画像中における可視煙判定領域の内外の輝度差を指標値として、撮像画像について可視煙判定を実施した結果の一例を示す模式図である。

【図3】撮像画像中における可視煙判定領域の内外の輝度差の時間変化を表す指標値により、撮像画像について可視煙判定を実施した結果の一例を示す模式図である。

【図4】本発明の一実施形態に係る可視煙判定装置を備える可視煙判定システムの一構成例を示す機能ブロック図である。

【図5】可視煙判定領域及び背景領域の設定の一例を示す模式図である。

【図6】同実施形態に係る可視煙判定方法を示すフローチャートである。

【図7】同実施形態に係る可視煙判定装置として機能する情報処理装置のハードウェア構成の一例を示すブロック図である。

【図8】実施例におけるある監視時間帯において、撮像画像中における可視煙判定領域の内外の輝度差の時間変化を表す指標値の推移と可視煙の検出結果の一例を示す模式図である。

【発明を実施するための形態】

【0024】

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

【0025】

［１．概要］
まず、図１～図３に基づいて、本発明の一実施形態に係る可視煙判定装置による可視煙判定の概要を説明する。図１は、可視煙発生の監視対象である設備の上空を撮像した撮像画像の一例を示す模式図である。図２は、撮像画像中における可視煙判定領域の内外の輝度差を指標値として、撮像画像について可視煙判定を実施した結果の一例を示す模式図である。図３は、撮像画像中における可視煙判定領域の内外の輝度差の時間変化を表す指標値により、撮像画像について可視煙判定を実施した結果の一例を示す模式図である。

【0026】

本実施形態に係る可視煙判定装置は、緩慢に変化する雲に対して相対的に短時間で変化する煙の時間変化の違いに着目し、可視煙発生の指標となる指標値が基準値を超え、かつ、指標値が基準値を超過した超過時間が所定の閾値未満である場合に、検出対象の可視煙と判定する。

【0027】

撮像画像は、可視煙発生の監視対象である設備の方向（設備またはその設備の上方など）を撮像して得られた画像である。例えば図１に示す撮像画像１０は、様々な監視対象の設備５を備える工場を遠方から撮像した画像であり、樹木７の奥にある監視対象の設備５（複数の煙突３を含む）と、その上空とが写っている。撮像画像１０においては直接視認できないが、樹木７に隠れている監視対象の設備５も複数存在する。工場内の監視対象の設備５から可視煙が発生すると、図１に示すように、撮像画像１０には可視煙９も写る。なお、図１に示す可視煙９は、樹木７に隠れている監視対象の設備５から発生した煙の例を示している。

【0028】

図１に示したような撮像画像１０を画像処理して検出対象である可視煙９を検出する場合、従来から、可視煙発生の指標として、空間的な輝度、明度、あるいはそれらの時間変化によって表される指標値を用い、当該指標値が基準値を超えたことにより可視煙を検出することが行われている。このとき、可視煙の未検知を低減するために基準値を低くすると、雲等のノイズを可視煙と誤検知してしまい、検出能が低下する。

【0029】

ここで、煙は、緩慢に変化する雲に対して相対的に短時間で変化する。そこで、本実施形態に係る可視煙判定装置では、指標値の基準値超過を検出するとともに、指標値が基準値を超えてから基準値未満となるまでの時間（超過時間）を計測することで煙と雲とを区別する。これにより、基準値を低めに設定した場合でも、雲に混在する煙を検知することができるとともに雲による誤検知を低減できる。

【0030】

例えば、図２に、撮像画像中における可視煙判定領域の内外の輝度差を指標値（以下、「指標値Ａ」とする。）として、撮像画像の可視煙判定を実施した結果の一例を示す。ここで、可視煙判定領域とは、監視対象の設備から可視煙が発生しているか否かを判定するために設定される領域である。図２には、指標値Ａ（輝度差）と基準値とを示している。ただし、基準値は、可視煙判定領域の内外の輝度差の移動平均としてもよい。なお、各時間において画像処理した撮像画像のうち、一部の撮像画像には、空（背景）を覆いつくしていない薄い雲（以下、「雲ａ」ともいう。）、雨雲のように空（背景）を覆う黒みがかった濃い雲（以下、「雲ｂ」ともいう。）、黒煙等の大きな煙（以下、「煙ａ」ともいう。）または薄い小さな煙（以下、「煙ｂ」ともいう。）が写っている。

【0031】

従来の手法では、指標値Ａ（輝度差）が基準値を超えた場合に可視煙と判定されるため、雲ａ、雲ｂ、煙ａが可視煙として判定される。これに対して、本実施形態に係る手法によれば、雲ａ、雲ｂ、煙ａのうち、指標値の超過時間が閾値未満の雲ａ、煙ａのみが可視煙と判定され、指標値の超過時間が閾値以上である雲ｂは可視煙として判定されない。つまり、本実施形態に係る手法により、従来の手法による雲ｂの誤検知をなくすことができる。なお、煙ｂについては、従来の手法及び本実施形態に係る手法のいずれにおいても未検知となっている。このように、本実施形態に係る手法によれば、基準値を低めに設定しても雲に混在する煙を検知することができるとともに雲による誤検知を低減できるため、可視煙の未検知を増加させることなく誤検知を低減できる。

【0032】

他の例として、図３に、撮像画像中における可視煙判定領域の内外の輝度差の時間変化を表す指標値（以下、「指標値Ｂ」とする。）として、撮像画像の可視煙判定を実施した結果の一例を示す。ここでは、指標値Ｂは、輝度差から輝度差の移動平均を減じた値とする。図３には、指標値Ｂ（輝度差－輝度差の移動平均）と基準値を示している。図３の可視煙判定に用いた撮像画像は図２の可視煙判定に用いた撮像画像と同一である。ここで、移動平均は、時系列データを平滑した値であり、例えば、単純移動平均、加重移動平均、指数移動平均などがある。

【0033】

従来の手法では、指標値Ｂ（輝度差－輝度差の移動平均）が基準値を超えた場合に可視煙と判定されるため、雲ｂ、煙ａ、煙ｂが可視煙として判定される。これに対して、本実施形態に係る手法によれば、雲ｂ、煙ａ、煙ｂのうち、指標値Ｂの超過時間が閾値未満の煙ａ、煙ｂのみが可視煙と判定され、指標値Ｂが基準値を超えない雲ａ、指標値Ｂの超過時間が閾値以上である雲ｂは可視煙として判定されない。このように、本実施形態に係る手法において指標値Ｂを用いた場合には、指標値Ａを用いた場合よりも高精度に可視煙を判定することができ、可視煙の未検知と誤検知をよりいっそう低減できる。

【0034】

以下、本実施形態に係る可視煙判定手法について詳細に説明する。

【0035】

［２．可視煙判定システム］
まず、図４に基づいて、本実施形態に係る可視煙判定装置１００を備える可視煙判定システム１について説明する。図４は、本実施形態に係る可視煙判定装置１００を備える可視煙判定システム１の一構成例を示す機能ブロック図である。

【0036】

可視煙判定システム１は、図４に示すように、撮像装置５０と、可視煙判定装置１００と、発報装置２００とにより構成される。また、可視煙判定システム１は、情報処理装置３００、監視対象管理装置４００が可視煙判定装置１００と情報を送受信可能に構成されてもよい。

【0037】

［２－１．撮像装置］
撮像装置５０は、可視煙発生の監視対象である設備の方向を撮像する。なお、撮像装置５０の撮像範囲には、必ずしも監視対象の設備が含まれていなくともよく、監視対象の設備から可視煙が発生した場合に可視煙が現れる領域（例えば、設備の上方）が含まれていればよい。すなわち、撮像画像には、監視対象の設備が目視にて確認できるように写っている必要はなく、設備から発生した可視煙が写っていればよい。撮像装置５０の撮像範囲には、１つの監視対象の設備のみを含んでもよく、複数の監視対象の設備を含んでもよい。

【0038】

撮像装置５０は、撮像範囲を連続して撮像し、撮像画像を取得する。撮像装置５０は、例えば、動画として撮像範囲を撮像してもよい。この場合、動画の各フレームが、可視煙判定装置１００によって画像処理される撮像画像となる。あるいは、撮像装置５０は、所定の間隔で連続して撮像範囲を撮像してもよい。例えば、撮像装置５０は、３秒毎に１枚の静止画像を取得してもよい。撮像装置５０は、カラー画像を取得するカラーカメラであってもよく、モノクロ画像を取得するモノクロカメラであってもよい。撮像装置５０の撮像画像は、可視煙判定装置１００へ出力される。

【0039】

［２－２．可視煙判定装置］
可視煙判定装置１００は、撮像装置５０の撮像画像を画像処理して、監視対象である設備から可視煙が発生しているか否かを判定する。可視煙判定装置１００は、領域設定部１１０と、指標値算出部１２０と、候補検出部１３０と、判定部１４０と、時間計測部１５０と、閾値設定部１６０と、記憶部１７０とを有する。

【0040】

（領域設定部）
領域設定部１１０は、撮像画像内に可視煙判定領域を設定する。可視煙判定領域は、監視対象の設備から可視煙が発生しているか否かを判定するために設定される領域であり、監視対象の設備毎、設備間、または設備上方に設定される。例えば、領域設定部１１０は、図５に示すように、撮像画像１０中の、監視対象の設備５（煙突３を含む）の間、及び、上方に可視煙判定領域Ａ～Ｍを設定してもよい。監視対象の設備５がコークス炉であるとき、可視煙判定領域は、例えばコークス炉設備の上方に設定される。可視煙判定領域は、図５では矩形領域であるが、本発明は係る例に限定されず、他の形状であってもよい。また、複数の可視煙判定領域を設定する場合、各可視煙判定領域の形状及びサイズは同一であってもよく、異なっていてもよい。

【0041】

また、領域設定部１１０は、撮像画像内に背景領域Ｘをさらに設定してもよい。背景領域Ｘは、監視対象の設備から可視煙が発生した場合であっても発生した可視煙により領域全体が覆われることがない領域である。可視煙判定装置１００の可視煙発生の判定精度を高めるため、背景領域Ｘは、可視煙判定領域よりも広い領域であることが望ましい。例えば、領域設定部１１０は、図５に示すように、撮像画像１０中の可視煙判定領域Ａ～Ｍの上方に、背景領域Ｘを設定してもよい。

【0042】

可視煙判定領域Ａ～Ｍ及び背景領域Ｘの形状、サイズ、位置及び個数は、過去に取得された撮像画像において可視煙が現れた位置に基づいて経験的に設定される。例えば、領域設定部１１０は、必ずしも設備５（煙突３を含む）の上方に可視煙判定領域を設定する必要はなく、過去の所定期間内に撮像された複数の撮像画像に基づいて、監視対象の設備から発生した可視煙が撮像された実績のある領域を可視煙判定領域として設定し、可視煙により全体が覆われることのなかった領域を背景領域として設定してもよい。

【0043】

領域設定部１１０は、撮像画像内に可視煙判定領域を設定すると、指標値算出部１２０に、撮像画像内に設定した領域に関する情報（撮像画像内における各領域の位置情報）を出力する。

【0044】

（指標値算出部）
指標値算出部１２０は、可視煙判定領域内の各画素の画素情報に基づいて、可視煙発生の指標となる指標値を算出する。

【0045】

画素情報は、例えば、輝度または明度を表す情報である。撮像画像がグレースケールによるモノクロ画像、つまり多階調単色画像である場合には、画素の階調がそのまま画素の画像情報となる。撮像画像がカラー画像である場合には、指標値算出部１２０は、画素の赤成分、緑成分及び青成分により表される関数を用いて各画素の画素情報を算出する。例えば、撮像画像が２５６階調のＲＧＢ表色系画像であるとき、各画素の輝度に基づく画素情報及び明度に基づく画素情報は、以下のように表し得る。

【0046】

輝度に基づく画素情報
赤成分×０．２１＋緑成分×０．７２＋青成分× ０．０７
明度に基づく画像情報
＝｛（max(赤成分，緑成分，青成分)）＋（min(赤成分，緑成分，青成分)）｝／２

【0047】

指標値算出部１２０は、撮像画像内に設定された領域内の各画素の画素情報に基づき、当該領域を代表する代表画素情報を生成してもよい。代表画素情報は、領域内の各画素の画素情報の特徴を表す代表的な画素情報である。輝度値が画素情報であるとき、代表画素情報は、例えば、領域内の各画素の輝度値の総和を当該領域内の画素数で割った値（すなわち、平均輝度値）としてもよい。また、明度が画素情報であるとき、代表画素情報は、例えば、領域内の各画素の明度の総和を当該領域内の画素数で割った値（すなわち、平均明度）としてもよい。

【0048】

画素情報として輝度値または明度のいずれを用いるかは、検出したい煙の色味等の特徴に応じて決定すればよい。本実施形態では、輝度に基づく画素情報を用いる場合について説明する。

【0049】

指標値算出部１２０は、撮像画像内に設定された領域内の画素情報を用いて、可視煙発生の指標となる指標値を算出する。例えば、指標値算出部１２０は、上述した指標値Ａ、Ｂなどを、可視煙発生の指標として算出する。

【0050】

例えば、指標値算出部１２０は、可視煙判定領域の代表画素情報に－１を乗じた値を可視煙判定領域の指標値としてもよい。この場合、可視煙判定領域の代表画素情報が低ければ、当該指標値の値は高くなる。

【0051】

また、指標値算出部１２０は、可視煙判定領域の代表画素情報に－１を乗じた値の時間変化値を、可視煙判定領域の指標値としてもよい。当該指標値は、可視煙判定領域の代表画素情報に－１を乗じた値が急激に増加すると高くなる。

【0052】

あるいは、指標値算出部１２０は、可視煙判定領域の代表画素情報に－１を乗じた値から当該値の移動平均値を差し引いた値を、可視煙判定領域の指標値としてもよい。

【0053】

このように、可視煙判定領域の代表画素情報のみから指標値を算出する場合は、可視煙判定領域の背景にある雲等によって指標値が影響を受け変化する。そこで、その影響を低減させるために、可視煙判定領域から背景領域の影響を差し引く方法もある。例えば、指標値算出部１２０は、背景領域の代表画素情報から可視煙判定領域の代表画素情報を差し引いた差分値を、可視煙判定領域の指標値としてもよい。この場合、背景領域の代表画素情報差に比べて可視煙判定領域の代表画素情報が低ければ、当該指標値の値は高くなる。なお、背景領域の代表画素情報には、可視煙判定領域と同様に、平均輝度値、平均明度などを用いることができる。

【0054】

また、指標値算出部１２０は、背景領域の代表画素情報から可視煙判定領域の代表画素情報を差し引いた差分値の時間変化値を、可視煙判定領域の指標値としてもよい。当該指標値は、差分値が急激に増加すると高くなる。

【0055】

あるいは、指標値算出部１２０は、背景領域の代表画素情報から可視煙判定領域の代表画素情報を差し引いた差分値から当該差分値の移動平均値を差し引いた値を、可視煙判定領域の指標値としてもよい。例えば、判定時点の差分値から過去１分間における差分値の移動平均値を差し引いた値を指標値とする。このとき、１分よりも短時間である数秒間で画素情報の差分値が増加した場合に、当該指標値の値は高くなる。本実施形態では、この差分値から当該差分値の移動平均値を差し引いた値を指標値とする場合について説明する。なお、代表画素情報を用いない場合には、背景領域と可視煙判定領域からそれぞれ同一数分の画素を選択（例えば、ランダムに選択）し、各画素の差分値の総和（絶対値の総和）などを指標値としてもよい。

【0056】

指標値算出部１２０は、各可視煙判定領域について算出した指標値を、候補検出部１３０へ出力する。

【0057】

（候補検出部）
候補検出部１３０は、撮像画像から、指標値が所定の基準値以上である可視煙判定領域を、可視煙発生の候補となる候補領域として検出する。基準値は、後述する閾値設定部１６０により設定された値であってもよく、過去の判定結果に基づいて、監視者が情報処理装置３００を介して設定した値であってもよい。閾値設定部１６０による基準値の設定についての詳細は後述する。

【0058】

候補検出部１３０は、指標値算出部１２０により算出された各可視煙判定領域の指標値と基準値とを比較し、指標値が所定の基準値以上である可視煙判定領域を、可視煙発生の候補となる候補領域として検出する。候補検出部１３０は、候補領域を検出すると、候補領域を検出したことを判定部１４０に通知する。

【0059】

（判定部）
判定部１４０は、候補検出部１３０により検出された候補領域において可視煙が発生しているか否かを判定する。判定部１４０は、候補検出部１３０から候補領域を検出したことが通知されると、後述する時間計測部１５０に対して、候補領域の指標値が基準値以上となってから基準値未満となるまでの超過時間（基準値を超過している間の時間）の計測を指示する。そして、時間計測部１５０から候補領域の指標値が基準値を超過した超過時間が入力されると、判定部１４０は、超過時間と所定の閾値とを比較し、当該超過時間が閾値未満であるとき当該候補領域に可視煙が発生していると判定する。超過時間の閾値は、後述する閾値設定部１６０により設定された値であってもよく、過去の判定結果に基づいて、監視者が情報処理装置３００を介して設定した値であってもよい。閾値設定部１６０による超過時間の閾値の設定についての詳細は後述する。

【0060】

判定部１４０は、候補領域に可視煙が発生していると判定すると、発報装置２００に対して可視煙発生の報知を指示する。また、判定部１４０は、判定結果を記憶部１７０に記録してもよい。

【0061】

（時間計測部）
時間計測部１５０は、候補検出部１３０により検出された候補領域について、指標値が基準値以上となってから基準値未満となるまでの超過時間を計測する。時間計測部１５０は、超過時間の計測を開始すると、撮像装置５０から撮像画像が可視煙判定装置１００に入力される毎に指標値算出部１２０によって算出される候補領域の指標値を取得し、当該指標値と基準値とを比較する。そして、時間計測部１５０は、超過時間計測中の候補領域の指標値が基準値未満となったとき、計測した超過時間を判定部１４０へ出力する。ただし、時間計測部１５０は、実際に経過時間を計測する必要はなく、入力された撮像画像を撮像した時刻を示す情報から超過時間を求めてもよい。

【0062】

（閾値設定部）
閾値設定部１６０は、過去の判定結果に基づいて各種閾値を設定する。例えば、閾値設定部１６０は、指標値の基準値や超過時間の閾値等を設定する。

【0063】

例えば、指標値の基準値は、可視煙判定領域の指標値に基づき可視煙が発生している可能性が高い候補領域を検出するために設定される値である。閾値設定部１６０は、記憶部１７０に記録されている過去の判定結果を用いて、基準値を設定し得る。記憶部１７０には、過去の所定期間内に撮像された複数の撮像画像について、可視煙判定装置１００により判定された各可視煙判定領域の指標値の時系列データが記録されている。また、記憶部１７０には、これらの撮像画像について、監視者が目視にて可視煙を確認し、確認された可視煙が発生している可視煙判定領域と発生時刻とが記録されている。

【0064】

例えば、閾値設定部１６０は、監視者が目視で確認できる可視煙の数に対して、可視煙判定装置１００により可視煙と判定した数の比率で定められる再現率が所定の比率以上となるように、指標値の基準値を設定してもよい。これは、目視で確認できる可視煙の検知率を基準として基準値を設定する方法である。一般的に、当該基準値を低く設定するほど再現率は高まる。

【0065】

また、閾値設定部１６０は、可視煙判定装置１００により候補領域と検出した数に対して、監視者が目視で確認できる可視煙の数の比率で定められる適合率が所定の比率以上となるように、指標値の基準値を設定してもよい。これは、可視煙と判定したものが実際に可視煙である比率によって基準値を設定する方法である。一般的に、当該基準値を高く設定すると適合率は高まる。

【0066】

あるいは、閾値設定部１６０は、再現率と適合率との調和平均であるＦ値を最大とすることにより、指標値の基準値を設定してもよい。再現率と適合率とはトレードオフの関係にあることから、その中庸となる基準値を設定したい場合には、かかる方法によって基準値を設定すればよい。

【0067】

このように、指標値の基準値の設定方法は複数あり、目的に応じて使用する方法を使い分ければよい。例えば、撮像装置５０の設置位置から煙発生源までの距離が各可視煙判定領域で異なる場合がある。当該距離が遠い場合は、当該距離が近い場合に比べて、実際の煙の規模は同程度であっても撮像画像の可視煙判定領域内では相対的に小さく写るため、指標値の変化も鈍くなる。例えば、再現率に基づき基準値を設定すると、撮像装置５０の設置位置から煙発生源までの距離が遠い場合の基準値は、当該距離が近い場合の基準値よりも小さくなることが多い。このため、各可視煙判定領域の基準値は、それぞれ異なる値を設定するのがよいが、すべての可視煙判定領域の基準値を同一としてもよい。

【0068】

また、閾値設定部１６０は、超過時間の閾値も、指標値の基準値と同様に設定し得る。例えば、閾値設定部１６０は、可視煙判定装置１００により可視煙と判定した数の比率で定められる再現率が所定の比率以上となるように、超過時間の閾値を設定してもよい。これは、可視煙発生の候補領域として検出された可視煙判定領域のうち、監視者が目視で確認できる可視煙の検知率を基準として閾値を設定する方法である。

【0069】

また、閾値設定部１６０は、可視煙判定装置１００により候補領域と検出した数に対して、監視者が目視で確認できる可視煙の数の比率で定められる適合率が所定の比率以上となるように、超過時間の閾値を設定してもよい。これは、可視煙判定装置１００により可視煙と判定したものが実際に可視煙である比率に基づき、閾値を設定する方法である。

【0070】

あるいは、閾値設定部１６０は、再現率と適合率との調和平均であるＦ値を最大とすることにより、超過時間の閾値を設定してもよい。超過時間の閾値を長めに設定すると、候補領域を母体とする可視煙の未検知数が減少するため再現率は高くなるが、雲等による誤検知数は増加するため可視煙の適合率は低下する。一方、超過時間の閾値を短めに設定すると、候補領域を母体とする可視煙の未検知数が増加するため再現率は低下するが、雲等による誤検知数は減少するため可視煙の適合率は高くなる。このように、可視煙の再現率と可視煙の適合率はトレードオフの関係にある。そこで、再現率と適合率の中庸となる閾値を設定したい場合には、かかる方法を用いるとよい。

【0071】

このように、超過時間の閾値の設定方法は複数あり、目的に応じて使用する方法を使い分ければよい。上述したように、撮像装置５０の設置位置から煙発生源までの距離が各可視煙判定領域で異なる場合がある。当該距離が遠い場合は、当該距離が近い場合に比べて、実際の煙の規模は同程度であっても撮像画像の可視煙判定領域内では相対的に小さく写るため、超過時間の閾値も短くなる。例えば、再現率に基づき閾値を設定すると、撮像装置５０の設置位置から煙発生源までの距離が遠い場合の閾値は、当該距離が近い場合の閾値よりも短くなることが多い。このため、各可視煙判定領域の閾値は、それぞれ異なる値を設定するのがよいが、すべての可視煙判定領域の閾値を同一としてもよい。

【0072】

閾値設定部１６０は、指標値の基準値を設定した場合には候補検出部１３０へ出力し、超過時間の閾値を設定した場合には、判定部１４０へ出力する。

【0073】

（記憶部）
記憶部１７０は、可視煙判定装置１００にて利用する各種情報を記憶する記憶部である。記憶部１７０には、例えば、過去に撮像された複数の撮像画像について、可視煙判定装置１００により判定された各可視煙判定領域の指標値の時系列データや、これらの撮像画像について監視者が目視にて確認した可視煙が発生している可視煙判定領域及び発生時刻等が記録されている。

【0074】

また、記憶部１７０には、監視対象の設備の操業を管理する監視対象管理装置４００から入力される、操業情報が記録されてもよい。例えば、監視対象の設備がコークス炉であるとき、監視対象管理装置４００は、コークス炉においてコークスの押出しが行われる毎に、コークス押出時刻とコークス炉の窯番号とを可視煙判定装置１００へ出力し、記憶部１７０に記録するようにしてもよい。このとき、候補検出部１３０は、指標値が基準値以上である可視煙判定領域を検出したときに、指標値が基準値以上となった検出時刻と一致するコークス押出時刻が記憶部１７０に記録されている場合には、検出時刻を、コークス押出時刻及びコークス炉の窯番号と関連付けて記憶部１７０に記録してもよい。そして、判定部１４０は、候補領域において可視煙が発生していると判定したときに、発報装置２００に対して、可視煙発生と、記憶部１７０に候補領域の検出時刻と関連付けて記録されているコークス押出時刻及びコークス炉の窯番号との報知を指示してもよい。これにより、発報装置２００から可視煙発生の通知を受けた監視者は、コークス炉にて可視煙が発生していることを把握できるとともに、可視煙を発生させている可能性の高い窯を把握することができる。

【0075】

［２－３．発報装置］
発報装置２００は、可視煙判定装置１００からの通知を受けて、監視対象の設備からの可視煙発生を設備の監視者や工場等の関係者に報知する。発報装置２００は、例えば、コンピュータやタブレット端末、移動通信端末等の情報処理端末であって、ディスプレイ等の、情報を表示する表示部を備える。発報装置２００は、スピーカ等の、音声を出力する音声出力部を備えていてもよい。発報装置２００は、可視煙判定装置１００からの通知を受けて、可視煙の発生を、表示部にメッセージ表示して監視者に通知してもよく、電子メールを工場等の関係者に通知してもよい。この際、可視煙と判定された煙の画像を表示部に表示したり、電子メールに添付したりしてもよい。

【0076】

また、発報装置２００は、監視対象の設備の操業情報が記憶部１７０に記録されている場合には、可視煙の発生とともに、可視煙発生と関連性の高い監視対象の設備に関する情報を通知してもよい。例えば、可視煙の発生時刻と同時刻にコークス炉の窯出しを行っていれば、その窯番号を通知してもよい。

【0077】

［２－４．情報処理装置］
情報処理装置３００は、可視煙判定装置１００と情報を送受信可能な端末であり、例えば、監視者等が、可視煙判定装置１００に対して指標値の基準値や超過時間の閾値等を入力する際に用いられる。情報処理装置３００は、例えば発報装置２００と兼用してもよい。

【0078】

［２－５．監視対象管理装置］
監視対象管理装置４００は、監視対象の設備の操業を管理する装置であり、可視煙判定装置１００と情報を送受信可能に構成されてもよい。監視対象管理装置４００は、例えば、設備において可視煙の発生と関連性のある操業情報を、可視煙判定装置１００へ出力してもよい。例えば、監視対象の設備がコークス炉であるとき、監視対象管理装置４００は、コークス炉においてコークスの押出しが行われる毎に、コークス押出時刻とコークス炉の窯番号とを可視煙判定装置１００へ出力してもよい。

【0079】

以上、本実施形態に係る可視煙判定システム１の構成について説明した。

【0080】

［３．可視煙判定方法］
次に、図６に基づいて、本実施形態に係る可視煙判定方法を説明する。図６は、本実施形態に係る可視煙判定方法を示すフローチャートである。

【0081】

図６に示すように、まず、撮像装置５０は、可視煙発生の監視対象である設備を被写体として撮像し、撮像画像を取得する（Ｓ１０１）。撮像装置５０は、連続して撮像を行い、撮像画像を取得する毎に可視煙判定装置１００へ撮像画像を出力する。

【0082】

撮像装置５０から撮像画像が入力されると、可視煙判定装置１００は、撮像装置５０の撮像画像を画像処理して、監視対象である設備から可視煙が発生しているか否かを判定する。まず、領域設定部１１０は、撮像画像内に可視煙判定領域を設定する（Ｓ１０３）。例えば、領域設定部１１０は、図５に示したように、撮像画像１０中に、監視対象の設備の上方に可視煙判定領域Ａ～Ｍを設定する。撮像画像に対して設定する可視煙判定領域の形状、サイズ、位置及び個数は、例えば、過去に取得された撮像画像において可視煙が現れた位置に基づいて適宜設定される。このとき、領域設定部１１０は、撮像画像内に背景領域をさらに設定してもよい。例えば、領域設定部１１０は、図５に示したように、撮像画像１０中の可視煙判定領域Ａ～Ｍの上方に、背景領域Ｘを設定してもよい。

【0083】

領域設定部１１０は、撮像画像内に可視煙判定領域を設定すると、指標値算出部１２０に、撮像画像内に設定した領域に関する情報（撮像画像内における各領域の位置情報）を出力する。

【0084】

次いで、指標値算出部１２０は、可視煙判定領域内の各画素の画素情報に基づいて、可視煙発生の指標となる指標値を算出する（Ｓ１０５）。例えば、撮像画像が２５６階調のＲＧＢ表色系画像であり、可視煙判定領域及び背景領域が設定されているとする。輝度を表す情報を画像情報とする場合、指標値算出部１２０は、撮像画像内に設定された各領域について、上述した画素の赤成分、緑成分及び青成分により表される関数を用いて、輝度に基づく画素情報を求める。次いで、指標値算出部１２０は、撮像画像内に設定された領域内の各画素の画素情報に基づき、当該領域を代表する代表画素情報を生成する。例えば、指標値算出部１２０は、領域内の各画素の輝度値の総和を当該領域内の画素数で割った値（すなわち、平均輝度値）を、代表画素情報として求める。

【0085】

そして、指標値算出部１２０は、撮像画像内に設定された領域内の画素情報を用いて、可視煙発生の指標となる指標値を算出する。例えば、指標値算出部１２０は、背景領域の代表画素情報から可視煙判定領域の代表画素情報を差し引いた差分値から当該差分値の移動平均値を差し引いた値を、可視煙判定領域の指標値としてもよい。指標値算出部１２０は、各可視煙判定領域について算出した指標値を、候補検出部１３０及び時間計測部１５０へ出力する。

【0086】

指標値算出部１２０から可視煙判定領域の指標値が入力されると、指標値が入力された候補検出部１３０または時間計測部１５０は、ステップＳ１０５にて算出された可視煙判定領域の指標値と基準値とを比較する（Ｓ１０７）。ステップＳ１０７の処理は、入力された指標値の可視煙判定領域が既に可視煙発生の候補領域として検出されているか否かによって、実施する機能部が異なる。可視煙判定領域が候補領域でない場合には、候補検出部１３０が実施し、可視煙判定領域が候補領域である場合には、時間計測部１５０が実施する。フローチャートの説明を分かりやすくするため、ある可視煙判定領域について、候補領域として検出され、超過時間の計測が開始してから超過時間の計測が終了するまでの流れで、以降の処理を説明する。

【0087】

まず、１枚目の撮像画像についてステップＳ１０５までの処理を終えると、候補検出部１３０は、ステップＳ１０５にて算出された可視煙判定領域の指標値と基準値とを比較する（Ｓ１０７）。候補検出部１３０が可視煙判定領域の指標値が基準値未満と判定すると（Ｓ１０７：ＹＥＳ）、判定部１４０は、当該可視煙判定領域が既に時間計測部１５０によって超過時間の計測が行われているか否かを判定する（Ｓ１０９）。判定部１４０は、当該可視煙判定領域については超過時間の計測が行われていないと判定すると（Ｓ１０９：ＮＯ）、当該可視煙判定領域は可視煙発生の候補領域でないと判定し、ステップＳ１０１の処理に戻り、次の撮像画像についての処理を開始する。

【0088】

ステップＳ１０７に戻り、候補検出部１３０は、可視煙判定領域の指標値が基準値以上であると判定すると（Ｓ１０７：ＮＯ）、当該可視煙判定領域が既に時間計測部１５０によって超過時間の計測が行われているか否かを判定する（Ｓ１１１）。候補検出部１３０は、当該可視煙判定領域については超過時間の計測が行われていないと判定すると（Ｓ１１１：ＮＯ）、当該可視煙判定領域は可視煙発生の候補領域であると判定する。そして、候補検出部１３０は、判定部１４０に対して候補領域を検出したことを通知する。判定部１４０は、時間計測部１５０に対して検出された候補領域について基準値の超過時間の計測を開始するよう指示する（Ｓ１１３）。その後、ステップＳ１０１の処理に戻り、次の撮像画像についての処理を開始する。

【0089】

再びステップＳ１０７に戻り、時間計測部１５０は、候補領域の指標値と基準値とを比較する。時間計測部１５０は、連続して候補領域の指標値が基準値以上であると判定すると（Ｓ１０７：ＮＯ）、当該候補領域は指標値が基準値を下回る時点を監視している状態であることから、そのままステップＳ１０１の処理に戻り（Ｓ１１１：ＹＥＳ）、次の撮像画像についての処理を開始する。また、ステップＳ１０７において、時間計測部１５０が候補領域の指標値と基準値とを比較した結果、候補領域の指標値が基準値未満であると判定し（Ｓ１０７：ＹＥＳ）、さらに当該候補領域が超過時間の計測中であると判定した場合には（Ｓ１０９：ＹＥＳ）、当該候補領域において基準値を超過していた指標値が初めて基準値を下回ったことになるため、時間計測部１５０は、超過時間の計測を終了する（Ｓ１１５）。そして、時間計測部１５０は、計測した超過時間を判定部１４０へ出力する。

【0090】

判定部１４０は、時間計測部１５０から計測した超過時間が入力されると、超過時間と閾値とを比較する（Ｓ１１７）。判定部１４０は、超過時間が閾値以上であるとき（Ｓ１１７：ＮＯ）、当該候補領域には可視煙は発生していないと判定し（Ｓ１１９）、図６の処理を終了し、新たに入力される撮像画像について図６の処理を再び開始する。一方、判定部１４０は、超過時間が閾値未満であるとき（Ｓ１１７：ＹＥＳ）、当該候補領域に可視煙が発生していると判定する（Ｓ１２１）。そして、判定部１４０は発報装置２００に対して可視煙発生の報知を指示し、発報装置２００は可視煙発生を監視者等に報知する（Ｓ１２３）。このとき、監視対象の設備の操業情報が記憶部１７０に記録されている場合には、可視煙の発生とともに、可視煙発生と関連性の高い監視対象の設備に関する情報を通知するようにしてもよい。

【0091】

以上、本実施形態に係る可視煙判定方法について説明した。本実施形態に係る可視煙判定方法によれば、可視煙発生の指標となる指標値が基準値を超え、かつ、指標値が基準値を超過した超過時間が所定の閾値未満である場合に、可視煙判定領域に検出対象の可視煙が発生していると判定する。これにより、基準値を低めに設定しても雲に混在する煙を検知することができるとともに雲による誤検知を低減できるため、可視煙の未検知を増加させることなく誤検知を低減できる。

【0092】

［４．ハードウェア構成］
図７に基づいて、本実施形態に係る可視煙判定装置１００のハードウェア構成について説明する。図７は、本実施形態に係る可視煙判定装置１００として機能する情報処理装置９００のハードウェア構成の一例を示すブロック図である。

【0093】

情報処理装置９００は、プロセッサ（図７ではＣＰＵ９０１）と、ＲＯＭ９０３と、ＲＡＭ９０５とを含む。また、情報処理装置９００は、バス９０７と、入力Ｉ／Ｆ９０９と、出力Ｉ／Ｆ９１１と、ストレージ装置９１３と、ドライブ９１５と、接続ポート９１７と、通信装置９１９とを含む。

【0094】

ＣＰＵ９０１は、演算処理装置および制御装置として機能する。ＣＰＵ９０１は、ＲＯＭ９０３、ＲＡＭ９０５、ストレージ装置９１３、またはリムーバブル記録媒体９２５に記録された各種プログラムに従って、情報処理装置９００内の動作全般またはその一部を制御する。ＲＯＭ９０３は、ＣＰＵ９０１が使用するプログラムあるいは演算パラメータ等を記憶する。ＲＡＭ９０５は、ＣＰＵ９０１が使用するプログラム、あるいは、プログラムの実行において適宜変化するパラメータ等を一次記憶する。これらはＣＰＵバス等の内部バスにより構成されるバス９０７により相互に接続されている。

【0095】

バス９０７は、ブリッジを介して、ＰＣＩ（Peripheral Component Interconnect/Interface）バスなどの外部バスに接続されている。

【0096】

入力Ｉ／Ｆ９０９は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ及びレバー等の、ユーザが操作する操作手段である入力装置９２１からの入力を受け付けるインタフェースである。入力Ｉ／Ｆ９０９は、例えば、ユーザが入力装置９２１を用いて入力した情報に基づいて入力信号を生成し、ＣＰＵ９０１に出力する入力制御回路等として構成されている。入力装置９２１は、例えば、赤外線あるいはその他の電波を利用したリモートコントロール装置、あるいは、情報処理装置９００の操作に対応したＰＤＡ等の外部機器９２７であってもよい。情報処理装置９００のユーザは、入力装置９２１を操作し、情報処理装置９００に対して各種のデータを入力したり処理動作を指示したりすることができる。

【0097】

出力Ｉ／Ｆ９１１は、入力された情報を、ユーザに対して視覚的または聴覚的に通知可能な出力装置９２３へ出力するインタフェースである。出力装置９２３は、例えば、ＣＲＴディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、ＥＬディスプレイ装置およびランプ等の表示装置であってもよい。あるいは、出力装置９２３は、スピーカ及びヘッドホン等の音声出力装置や、プリンター、移動通信端末、ファクシミリ等であってもよい。出力Ｉ／Ｆ９１１は、出力装置９２３に対して、例えば、情報処理装置９００により実行された各種処理にて得られた処理結果を出力するよう指示する。具体的には、出力Ｉ／Ｆ９１１は、表示装置に対して情報処理装置９００による処理結果を、テキストまたはイメージで表示するよう指示する。また、出力Ｉ／Ｆ９１１は、音声出力装置に対し、再生指示を受けた音声データ等のオーディオ信号をアナログ信号に変換して出力するよう指示する。

【0098】

ストレージ装置９１３は、情報処理装置９００の記憶部の１つであり、データ格納用の装置である。ストレージ装置９１３は、例えば、ＨＤＤ（Hard Disk Drive）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイスまたは光磁気記憶デバイス等により構成される。ストレージ装置９１３は、ＣＰＵ９０１が実行するプログラム、プログラムの実行により生成された各種データ、及び、外部から取得した各種データ等を格納する。

【0099】

ドライブ９１５は、記録媒体用リーダライタであり、情報処理装置９００に内蔵あるいは外付けされる。ドライブ９１５は、装着されているリムーバブル記録媒体９２５に記録されている情報を読み出し、ＲＡＭ９０５に出力する。また、ドライブ９１５は、装着されているリムーバブル記録媒体９２５に情報を書き込むことも可能である。リムーバブル記録媒体９２５は、例えば、磁気ディスク、光ディスク、光磁気ディスクまたは半導体メモリ等である。具体的には、リムーバブル記録媒体９２５は、ＣＤメディア、ＤＶＤメディア、Ｂｌｕ－ｒａｙ（登録商標）メディア、コンパクトフラッシュ（登録商標）（CompactFlash：ＣＦ）、フラッシュメモリ、ＳＤメモリカード（Secure Digital memory card）等であってもよい。また、リムーバブル記録媒体９２５は、例えば、非接触型ＩＣチップを搭載したＩＣカード（Integrated Circuit card）または電子機器等であってもよい。

【0100】

接続ポート９１７は、機器を情報処理装置９００に直接接続するためのポートである。接続ポート９１７は、例えば、ＵＳＢ（Universal Serial Bus）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Small Computer System Interface）ポート、ＲＳ－２３２Ｃポート等である。情報処理装置９００は、接続ポート９１７に接続された外部機器９２７から、直接各種データを取得したり外部機器９２７に各種データを提供したりすることができる。

【0101】

通信装置９１９は、例えば、通信網９２９に接続するための通信デバイス等で構成された通信インタフェースである。通信装置９１９は、例えば、有線または無線ＬＡＮ（Local Area Network）、Ｂｌｕｅｔｏｏｔｈ（登録商標）またはＷＵＳＢ（Wireless USB）用の通信カード等である。また、通信装置９１９は、光通信用のルータ、ＡＤＳＬ（Asymmetric Digital Subscriber Line）用のルータ、または、各種通信用のモデム等であってもよい。通信装置９１９は、例えば、インターネットや他の通信機器との間で、例えばＴＣＰ／ＩＰ等の所定のプロトコルに則して信号等を送受信することができる。また、通信装置９１９に接続される通信網９２９は、有線または無線によって接続されたネットワーク等により構成されている。例えば、通信網９２９は、インターネット、家庭内ＬＡＮ、赤外線通信、ラジオ波通信または衛星通信等である。

【0102】

以上、情報処理装置９００のハードウェア構成の一例を示した。上述の各構成要素は、汎用的な部材を用いて構成されてもよく、各構成要素の機能に特化したハードウェアにより構成されてもよい。情報処理装置９００のハードウェア構成は、本実施形態を実施する時々の技術レベルに応じて適宜変更可能である。

【実施例0103】

本発明の効果を検証すべく、コークス炉を監視対象の設備として、撮像装置による撮像画像を画像処理して、コークス炉における黒煙の発生の検出を行った。実施期間は５日間であり、監視時間は日中（６時～１８時）とした。撮影画像はＲＧＢ表色系画像であり、撮像画像には、図５に示したように、可視煙判定領域Ａ～Ｍ及び背景領域Ｘを設定した。画像情報は輝度を表す情報とし、上述した画素の赤成分、緑成分及び青成分により表される関数を用いて輝度に基づく画素情報を求め、領域内の各画素の輝度値の総和を当該領域内の画素数で割った値（すなわち、平均輝度値）を代表画素情報とした。

【0104】

指標値には、図３で用いた指標値Ｂ（すなわち、輝度差から輝度差の移動平均を減じた値）を用いた。移動平均は、過去１０分間の単純移動平均とした。指標値の基準値は６とし、超過時間の閾値は４５秒とした。なお、基準値は、監視者が目視で確認できる可視煙の８割以上が候補領域として検出されるように設定した。つまり、基準値は、監視者が目視で確認できる可視煙の数に対して、可視煙判定装置により可視煙と判定した数の比率で定められる再現率が０．８以上となるように設定した。また、超過時間の閾値は、候補領域として検出された可視煙がすべて可視煙として判定されるように設定した。つまり、超過時間の閾値は、可視煙判定装置により候補領域と検出した数に対して、監視者が目視で確認できる可視煙の数の比率で定められる適合率が１となるように設定した。したがって、下記表１に示すように、比較例と実施例の未検知率は等しくなる。

【0105】

このような条件において、実施例として、上述の図６のフローチャートに基づく可視煙判定方法を実施した。比較例として、超過時間の判定は行わず、指標値の判定のみにより可視煙の発生を判定する従来の手法を実施した。その結果を表１に示す。また、図８に、表１の３日目の１２時～１５時における可視煙判定領域Ａ、Ｃ、Ｍの指標値の時系列データを示す。

【0106】

【表1】

【0107】

表１より、１日目の雨のちくもりの天気では、比較例では雲による誤検知が４９回発生したが、実施例では１８回に低減している。また、２～５日目は晴れまたはくもりのち晴れの天気であり、比較例では雲による誤検知が３～５回発生したが、実施例では０回であった。５日間平均では雲による誤検知が７２％低減した。

【0108】

また、図８より、目視にて黒煙と確認された２ケース（Ｐ１、Ｐ２）は実施例及び比較例のいずれにおいても検出された。これらのケースでは、指標値が基準値を超過した閾値超過時間は４５秒未満であった。一方、雲影響による基準値を超過した２ケース（Ｐ３、Ｐ４）は、指標値が基準値を超過した閾値超過時間が４５秒以上であった。このため、比較例では黒煙と誤検知したが、実施例では黒煙として検出されることはなかった。

【0109】

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

【符号の説明】

【0110】

１ 可視煙判定システム
１０ 撮像画像
５０ 撮像装置
１００ 可視煙判定装置
１１０ 領域設定部
１２０ 指標値算出部
１３０ 候補検出部
１４０ 判定部
１５０ 時間計測部
１６０ 閾値設定部
１７０ 記憶部
２００ 発報装置
３００ 情報処理装置
４００ 監視対象管理装置
９００ 情報処理装置
９０７ バス
９１３ ストレージ装置
９１５ ドライブ
９１７ 接続ポート
９１９ 通信装置
９２１ 入力装置
９２３ 出力装置
９２５ リムーバブル記録媒体
９２７ 外部機器
９２９ 通信網

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】