特開 2024-94216 可視煙判定装置、可視煙判定方法、可視煙判定システム及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024094216

(43)【公開日】2024-07-09

(54)【発明の名称】可視煙判定装置、可視煙判定方法、可視煙判定システム及びプログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240702BHJP

   G06V 10/82 20220101ALI20240702BHJP

   G08B 25/00 20060101ALI20240702BHJP

【ＦＩ】

G06T7/00 350C

G06V10/82

G08B25/00 510M

【審査請求】未請求

【請求項の数】19

【出願形態】ＯＬ

(21)【出願番号】P 2023131878

(22)【出願日】2023-08-14

(31)【優先権主張番号】P 2022210775

(32)【優先日】2022-12-27

(33)【優先権主張国・地域又は機関】JP

(71)【出願人】

【識別番号】000006655

【氏名又は名称】日本製鉄株式会社

(74)【代理人】

【識別番号】110002952

【氏名又は名称】弁理士法人鷲田国際特許事務所

(72)【発明者】

【氏名】坂本 健一

(72)【発明者】

【氏名】辻 典宏

【テーマコード（参考）】

5C087

5L096

【Ｆターム（参考）】

5C087AA02

5C087AA03

5C087AA04

5C087AA19

5C087AA37

5C087BB73

5C087BB74

5C087DD49

5C087EE14

5C087GG02

5C087GG08

5C087GG09

5C087GG70

5C087GG83

5L096AA02

5L096AA06

5L096BA02

5L096CA02

5L096DA02

5L096GA40

5L096GA51

5L096HA11

(57)【要約】

【課題】監視対象の撮像画像から可視煙の発生を高精度に検知するための技術を提供することである。
【解決手段】本開示の一態様は、監視対象を撮像した画像の可視煙判定領域における可視煙判定指標を算出する指標算出部と、前記可視煙判定指標と前記可視煙判定領域における被写体の形状とに基づいて可視煙の発生を判定する可視煙判定部と、を有する可視煙判定装置に関する。
【選択図】図３

【特許請求の範囲】

【請求項1】

監視対象を撮像した画像の可視煙判定領域における可視煙判定指標を算出する指標算出部と、
前記可視煙判定指標と前記可視煙判定領域における被写体の形状とに基づいて可視煙の発生を判定する可視煙判定部と、
を有する可視煙判定装置。

【請求項2】

前記可視煙判定指標は、前記可視煙判定領域における画素値の時間変化を示す、請求項１に記載の可視煙判定装置。

【請求項3】

前記指標算出部は、前記画像における前記可視煙判定領域の代表画素値と背景領域の代表画素値とを決定し、前記可視煙判定領域の代表画素値と背景領域の代表画素値との間の差分値の時間変化値を前記可視煙判定指標として算出する、請求項２に記載の可視煙判定装置。

【請求項4】

前記可視煙判定部は、前記可視煙判定指標が所定の閾値以上であるか判定する閾値判定部を有する、請求項１に記載の可視煙判定装置。

【請求項5】

前記所定の閾値は、前記可視煙判定指標に基づく閾値判定による再現率若しくは適合率が所定の比率以上になるように、又は、前記再現率と前記適合率との調和平均値を最大にするよう決定される、請求項４に記載の可視煙判定装置。

【請求項6】

前記可視煙判定部は、前記画像を学習モデルに入力し、前記学習モデルからの判定結果を取得する画像判定部を有する、請求項１から５の何れか１項に記載の可視煙判定装置。

【請求項7】

前記学習モデルは、可視煙を含む前記監視対象の画像と、可視煙を含まない前記監視対象の画像とから構成される訓練画像と、前記訓練画像における可視煙の有無を示す正解データとから構成される訓練データによって訓練されている、請求項６に記載の可視煙判定装置。

【請求項8】

前記画像判定部は、前記可視煙判定指標に基づいて可視煙と判定された場合、前記学習モデルを利用して前記画像から前記可視煙の発生を判定する、請求項６に記載の可視煙判定装置。

【請求項9】

前記画像判定部は、前記可視煙判定指標が所定の閾値以上になってから前記所定の閾値未満になった後、前記学習モデルを利用して前記可視煙の発生を判定する、請求項８に記載の可視煙判定装置。

【請求項10】

前記訓練画像は、障害物を更に含む画像を含む、請求項７に記載の可視煙判定装置。

【請求項11】

前記可視煙判定部は、複数の撮像装置によって撮像された画像に対して可視煙の発生を判定する、請求項１に記載の可視煙判定装置。

【請求項12】

前記複数の撮像装置によって撮像された画像は、異なる視点で撮像された画像を含む、請求項１１に記載の可視煙判定装置。

【請求項13】

前記学習モデルは、畳み込みニューラルネットワーク又はＨＯＧ（Ｈｉｓｔｏｇｒａｍｓ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔｓ）特徴量に基づくサポートベクターマシーンから構成される、請求項６に記載の可視煙判定装置。

【請求項14】

前記可視煙が発生していると判定すると、前記可視煙判定部は、前記可視煙の発生を報知するよう指示する、請求項１に記載の可視煙判定装置。

【請求項15】

前記可視煙判定指標は、前記可視煙判定領域における画素値に基づいて、前記可視煙指標を算出し、
前記可視煙判定部は、前記可視煙判定指標に基づく可視煙の有無の判定結果と、画像と可視煙の有無との関係性を学習した学習モデルを用いた前記可視煙判定領域における可視煙の有無の判定結果とに基づいて、可視煙の発生を判定する、請求項１に記載の可視煙判定装置。

【請求項16】

監視対象を撮像した画像の可視煙判定領域における可視煙判定指標を算出することと、
前記可視煙判定指標と前記可視煙判定領域における被写体の形状とに基づいて可視煙の発生を判定することと、
をコンピュータが実行する可視煙判定方法。

【請求項17】

監視対象を撮像した画像の可視煙判定領域における可視煙判定指標を算出することと、
前記可視煙判定指標と前記可視煙判定領域における被写体の形状とに基づいて可視煙の発生を判定することと、
をコンピュータに実行させるプログラム。

【請求項18】

１つ以上の撮像装置と、
前記１つ以上の撮像装置と通信可能に接続される１つ以上の可視煙判定装置と、
前記１つ以上の可視煙判定装置に通信可能に接続される統合判定部と、
を有し、
各可視煙判定装置は、
監視対象を撮像した画像の可視煙判定領域における可視煙判定指標を算出する指標算出部と、
前記可視煙判定指標と前記可視煙判定領域における被写体の形状とに基づいて可視煙の発生を判定する可視煙判定部と、
を有し、
前記統合判定部は、前記１つ以上の可視煙判定装置による判定結果に基づいて、可視煙の発生を判定する、可視煙判定システム。

【請求項19】

前記統合判定部は、発報装置又はサーバにより実現される、請求項１８に記載の可視煙判定システム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、可視煙判定装置、可視煙判定方法及びプログラムに関する。

【背景技術】

【0002】

製鉄所では、大気環境の保全対策の一環として、コークス炉や焼結機等の設備から排出される排ガスに対して排出基準値や遵守値を満たすように処理を施してから、排ガスを排出している。そのうえ、自然調和の観点や地域住民の要望に応えるべく、可視煙の発生を抑制するための操業が行われている。しかしながら、例えば、何らかの原因でコークス炉においてコークスの燃焼不良が生じると、コークスの押し出し時に黒煙が発生することがある。そこで、このような事象をただちに確認して、速やかに再発を防止するための措置を行うことが重要である。

【0003】

そこで、監視対象である設備を撮像した撮像画像を自動的に画像解析して、可視煙の発生を判定する取り組みが行われている。撮像画像に画像解析技術を適用して可視煙を検知する技術が、例えば、特許文献１～５に提案されている。

【0004】

特許文献１～５に開示される可視煙検知技術では、輝度差や色相毎の明度差の平均値、エッジの総和量、あるいは、それらの時間変化等に基づき可視煙の発生が検知されている。

【0005】

一方、近年、撮像画像に深層学習などの機械学習を適用した可視煙検知技術が提案されている。特許文献６、７には、学習済みモデルを用いて火災に伴う煙を判定する火災監視システムや燃焼に伴う煙を判定する可視煙検知技術が開示されている。これらの特許文献６、７に開示される可視煙検知技術では、静止画が判定対象とされている。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】特開平４－３５２０７７号公報

【特許文献2】特開平４－３５８２８５号公報

【特許文献3】特開平５－１０７３８号公報

【特許文献4】特開２０１５－１６９６１８号公報

【特許文献5】特願平６－８９０４１号公報

【特許文献6】特許第６８５７００７号公報

【特許文献7】特許第７１２０２０９号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

しかしながら、特許文献１～５に開示される可視煙検知技術では、可視煙判定領域内に鳥が映りこむ場合、あるいは、監視カメラのレンズへ付着した水滴や窓越しに監視カメラを置く場合の窓への水滴の付着によって可視煙判定領域内に水滴が映りこむ場合などに、可視煙とは形状が異なるにもかかわらず、可視煙との特徴の違いが判別できず、誤検知する可能性があり、精度良く可視煙を検知できない場合がある。一方で、特許文献６、７に記載される学習済みモデルを利用した可視煙検知技術では、撮像画像内の形状に基づく学習が行われているため、可視煙判定領域内に映りこんだ鳥、水滴などの可視煙と異なる形状の障害物を可視煙と誤検知する可能性は低くなると考えられる。しかしながら、特許文献６、７に開示される可視煙検知技術は、静止画が判定対象とされているため、例えば、可視煙判定領域内に、人間の目で見ても雲なのか可視煙なのか判別できない程に可視煙と形状が類似した雲が映りこむ場合、静止画を判定対象とした学習済みモデルでは、誤検知する可能性があり、精度良く可視煙を検知できないことがある。映像などの時系列データに適した深層学習モデルとしてリカレントニューラルネットワークが知られているが、リカレントニューラルネットワークは、モデルが複雑となることや、計算コストがかかるため、監視用に適用するにはハードルが高い。従って、上記特許文献１～７に開示される可視煙検知技術は、いずれも、鳥や水滴などの障害物に加え、静止画では可視煙と形状が類似した雲などによる誤検知を防ぐことは難しく、可視煙の発生を高精度に検知することができない。

【0008】

上記問題に鑑み、本開示の１つの課題は、監視対象の撮像画像から可視煙の発生を高精度に検知するための技術を提供することである。

【課題を解決するための手段】

【0009】

本開示の一態様は、監視対象を撮像した画像の可視煙判定領域における可視煙判定指標を算出する指標算出部と、前記可視煙判定指標と前記可視煙判定領域における被写体の形状とに基づいて可視煙の発生を判定する可視煙判定部と、を有する可視煙判定装置に関する。

【発明の効果】

【0010】

本開示によれば、監視対象の撮像画像から可視煙の発生を高精度に検知するための技術を提供することができる。

【図面の簡単な説明】

【0011】

【図1】本開示の実施の一形態による可視煙判定システムを示す概略図である。

【図2】本開示の実施の一形態による可視煙判定装置のハードウェア構成を示すブロック図である。

【図3】本開示の実施の一形態による可視煙判定装置の機能構成を示すブロック図である。

【図4】本開示の実施の一形態による可視煙判定領域を示す図である。

【図5】本開示の実施の一形態による撮像画像を示す図である。

【図6】本開示の実施の一形態による撮像画像を示す図である。

【図7】本開示の実施の一形態による撮像画像を示す図である。

【図8】本開示の実施の一形態による障害物を含む撮像画像のイメージ図である。

【図9】本開示の実施の一形態による障害物を含む撮像画像のイメージ図である。

【図10】本開示の実施の一形態による可視煙判定システムを示す概略図である。

【図11】本開示の実施の一形態による可視煙判定システムを示す概略図である。

【図12】本開示の実施の一形態による可視煙判定システムを示す概略図である。

【図13】本開示の実施の一形態による可視煙判定処理を示すフローチャートである。

【発明を実施するための形態】

【0012】

以下、図面を参照して本開示の実施の形態を説明する。

【0013】

以下の実施の形態では、工場の排煙設備などの監視対象を撮像した画像から可視煙の発生を判定する可視煙判定装置が開示される。

【0014】

［概略］
図１に示されるように、本開示の実施の一形態による可視煙判定システム１０では、ビデオカメラなどの撮像装置２０が工場３０の排煙設備（例えば、煙突など）を動画撮影し、撮像した映像を可視煙判定装置１００に送信する。可視煙判定装置１００は、以下で詳細に説明するように、撮像画像内に撮像された排煙設備の周辺を可視煙判定領域として設定し、可視煙判定領域の画素値の時間変化を示す可視煙判定指標を算出する。可視煙判定装置１００は、可視煙判定指標に基づく閾値判定と、撮像画像から可視煙（例えば、黒色煙などの有色煙、不透過煙など）の有無を判定する学習モデル４０（学習済みモデル）を利用した画像判定との双方の判定結果に基づいて可視煙の発生を判定する。

【0015】

学習モデル４０は、訓練データデータベース（ＤＢ）５０に格納されている訓練データによって機械学習などにより事前に訓練され、撮像画像に含まれる撮像された被写体の形状に基づいて可視煙の発生を判定する。ここでの被写体は、撮像画像に写った物体を意味しうる。訓練データは、例えば、監視対象において撮像された可視煙を含む画像と、可視煙を含まない画像とから構成される訓練画像と、当該訓練画像における可視煙の有無を示す正解データとから構成されうる。可視煙が発生していると判定すると、可視煙判定装置１００は、発報装置６０に可視煙の発生を報知するよう指示してもよい。発報装置６０は、例えば、コンピュータやタブレット端末、移動通信端末等の情報処理端末であって、ディスプレイ等の、情報を表示する表示部を備える。発報装置６０は、スピーカー等の、音声を出力する音声出力部を備えていてもよい。発報装置６０は、可視煙判定装置１００からの通知を受けて、可視煙の発生を、表示部にメッセージ表示して監視者に通知してもよく、電子メールを工場等の関係者に通知してもよい。この際、可視煙と判定された煙の画像を表示部に表示したり、電子メールに添付したりしてもよい。

【0016】

ここで、可視煙判定装置１００は、パーソナルコンピュータ等の計算装置によって実現されてもよく、例えば、図２に示されるようなハードウェア構成を有してもよい。すなわち、可視煙判定装置１００は、バスＢを介し相互接続される記憶装置１０１、プロセッサ１０２、ユーザインタフェース（ＵＩ）装置１０３及び通信装置１０４を有する。

【0017】

可視煙判定装置１００における後述される各種機能及び処理を実現するプログラム又は指示は、ネットワークなどを介し何れかの外部装置からダウンロードされてもよいし、ＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ－Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ等の着脱可能な記憶媒体から提供されてもよい。

【0018】

記憶装置１０１は、ランダムアクセスメモリ、フラッシュメモリ、ハードディスクドライブなどによって実現され、インストールされたプログラム又は指示と共に、プログラム又は指示の実行に用いられるファイル、データ等を格納する。記憶装置１０１は、非一時的な記憶媒体（ｎｏｎ－ｔｒａｎｓｉｔｏｒｙ ｓｔｏｒａｇｅ ｍｅｄｉｕｍ）を含んでもよい。

【0019】

プロセッサ１０２は、１つ以上のプロセッサコアから構成されうる１つ以上のＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、処理回路（ｐｒｏｃｅｓｓｉｎｇ ｃｉｒｃｕｉｔｒｙ）等によって実現されてもよく、記憶装置１０１に格納されたプログラム、指示、当該プログラム若しくは指示を実行するのに必要なパラメータなどのデータ等に従って、後述される可視煙判定装置１００の各種機能及び処理を実行する。

【0020】

ユーザインタフェース装置１０３は、可視煙判定装置１００のユーザとの間のインタフェースを実現する。例えば、ユーザは、ディスプレイ又はタッチパネルに表示されたＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）をキーボード、マウス等を操作し、インタフェース装置１０３を介し可視煙判定装置１００との間で各種情報、データ、指示などを送受信する。

【0021】

通信装置１０４は、外部装置、インターネット、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）等の通信ネットワークとの通信処理を実行する各種通信回路により実現される。

【0022】

しかしながら、上述したハードウェア構成は単なる一例であり、本開示による可視煙判定装置１００は、他の何れか適切なハードウェア構成により実現されてもよい。

【0023】

［可視煙判定装置］
次に、図３～９を参照して、本開示の実施の一形態による可視煙判定装置１００を説明する。図３は、本開示の実施の一形態による可視煙判定装置１００の機能構成を示すブロック図である。

【0024】

図３に示されるように、可視煙判定装置１００は、画像取得部１１０、領域設定部１２０、指標算出部１３０及び可視煙判定部１４０を有する。また、可視煙判定部１４０は、閾値判定部１４１、画像判定部１４２及び判定部１４３を有する。なお、これら機能部１１０～１４３への可視煙判定装置１００による処理の区分け、及び／又は、図３に示された各機能部１１０～１４３の接続関係は、一例にすぎず、本開示による可視煙判定装置１００は、これに限定されるものでない。

【0025】

画像取得部１１０は、監視対象を撮像した画像を取得する。具体的には、画像取得部１１０は、ビデオカメラなどの撮像装置２０によって撮影された動画を取得し、取得した動画から所定の時間間隔などによって画像フレームを抽出する。画像取得部１１０は、抽出した画像を領域設定部１２０及び／又は可視煙判定部１４０に適宜提供する。

【0026】

領域設定部１２０は、監視対象を撮像した画像において可視煙判定領域を設定する。具体的には、撮像装置２０から撮像映像を取得すると、領域設定部１２０は、撮像映像の所定時間毎の画像フレームに対して可視煙判定領域を設定する。例えば、可視煙判定領域は、図４に示されるような矩形領域Ａ～Ｍであってもよい。各矩形領域Ａ～Ｍは、監視対象の排煙設備やコークス炉の周辺領域として設定されてもよく、矩形領域Ａ～Ｍにおいて可視煙の発生が検出されると、排煙設備やコークス炉に不具合が生じている可能性があると判定できる。典型的には、撮像装置２０は、レンズを撮像対象に向けて固定的に設置された動画撮像可能なビデオカメラであってもよく、各矩形領域Ａ～Ｍは、撮像された複数の画像に対して共通の位置に設定されうる。また、領域設定部１２０は、図示されるような背景領域Ｘを設定してもよい。背景領域Ｘは、排煙設備からの排煙が混入する可能性が低く、画像変化のない高度の大気領域でありうる。領域設定部１２０は、撮像映像から所定の時間間隔で画像フレームを抽出し、所定の可視煙判定領域を設定してもよい。例えば、図５～７は、異なる天候状態及び時間帯に撮影された実際の画像に対して設定された可視煙判定領域を示す。なお、可視煙判定領域は、図示されるような撮像画像内の一部の領域に限定されず、撮像画像全体であってもよい。すなわち、領域設定部１２０は、撮像画像全体を可視煙判定領域に設定してもよい。

【0027】

指標算出部１３０は、監視対象を撮像した画像の可視煙判定領域における可視煙判定指標を算出する。具体的には、指標算出部１３０は、可視煙判定領域内の各画素の画素値に基づいて可視煙判定指標を算出してもよい。例えば、撮像画像が２５６階調のＲＧＢ表色系画像であり、可視煙判定領域と背景領域とが設定されているとする。このとき、各画素の輝度及び明度に基づく画素値はそれぞれ、限定されることなく、例えば、以下のように表されうる。

【0028】

輝度に基づく画素値＝赤（Ｒ）成分×０．２１＋緑（Ｇ）成分×０．７２＋青（Ｂ）成分×０．０７
明度に基づく画素値＝｛ｍａｘ（赤成分，緑成分，青成分）＋ｍｉｎ（赤成分，緑成分，青成分）｝／２

【0029】

指標算出部１３０は、撮像画像内に設定された各可視煙判定領域及び背景領域内の各画素の画素値に基づいて、当該領域を代表する代表画素値を算出してもよい。例えば、指標算出部１３０は、各領域内の各画素の輝度値の総和を当該領域内の画素数で除算した平均輝度値を代表画素値として決定してもよい。そして、指標算出部１３０は、背景領域の代表画素値と各可視煙判定領域の代表画素値との間の領域間差分値を算出し、算出した領域間差分値の時間変化値を可視煙判定指標として決定してもよい。領域間差分値が急激に増加すると、可視煙判定指標は大きくなりうる。

【0030】

例えば、指標算出部１３０は、所定の期間における領域間差分値の移動平均値を算出し、背景領域の代表画素値と各可視煙判定領域の代表画素値との間の領域間差分値と移動平均値との間の乖離値を可視煙判定指標として決定してもよい。例えば、指標算出部１３０は、過去１分間における領域間差分値の移動平均値を算出し、算出対象の可視煙判定領域の領域間差分値と移動平均値との間の乖離値を可視煙判定指標として決定してもよい。直前の１分間において当該乖離値が増加すると、可視煙判定指標は大きくなりうる。

【0031】

なお、本開示による可視煙判定指標の時間変化値は、上述したものに限定されず、画素値の時間変化を示す他の何れか適切な値が適用されてもよい。

【0032】

可視煙判定部１４０は、可視煙判定指標と可視煙判定領域における被写体の形状とに基づいて可視煙の発生を判定する。ここでの被写体は、画像に写った物体を意味しうる。具体的には、可視煙判定部１４０は、可視煙判定指標に基づく可視煙の有無の判定結果と、過去に監視対象を撮像した画像などの過去画像と可視煙の有無との関係性を学習した学習モデルを用いた可視煙判定領域における可視煙の有無の判定結果とに基づいて、可視煙の発生を判定しても良い。より具体的には、図３に示すように、可視煙判定部１４０は、後述する閾値判定部１４１と画像判定部１４２との双方の判定結果に基づいて、取得した撮像画像に可視煙が含まれているか判定してもよい。

【0033】

閾値判定部１４１は、可視煙判定指標が所定の閾値以上であるか判定する。具体的には、算出された可視煙判定指標が所定の閾値以上である場合、閾値判定部１４１は、検知対象の画像に可視煙が発生していると判定し、算出された可視煙判定指標が所定の閾値未満である場合、閾値判定部１４１は、検知対象の画像に可視煙が発生していないと判定してもよい。そして、閾値判定部１４１は、当該検知対象の画像に対する判定結果を判定部１４３に送信する。

【0034】

例えば、所定の閾値は、
ｉ）可視煙判定指標に基づく閾値判定による再現率が所定の比率以上になるように、
ｉｉ）可視煙判定指標に基づく閾値判定による適合率が所定の比率以上になるように、又は、
ｉｉｉ）再現率と適合率との調和平均値を最大にするように、
決定されてもよい。ここで、閾値判定部１４１によって可視煙が発生していると判定された撮像画像に対して、再現率及び適合率は以下のように決定されてもよい。
再現率＝（人によって目視で可視煙と確認され、かつ、閾値判定部１４１によって可視煙と判定された数）／（人によって目視で可視煙と確認された数）
適合率＝（人によって目視で可視煙と確認され、かつ、閾値判定部１４１によって可視煙と判定された数）／（閾値判定部１４１によって可視煙と判定された数）

【0035】

閾値を小さめに設定すると、可視煙の未検知数、すなわち、人によって目視で可視煙と確認されるが閾値判定部１４１は可視煙と判定しない可視煙が減少するため再現率は高くなる。従って、再現率が所定の比率以上になるようにするには、閾値を小さめに設定すると良い。しかし、その場合、雲等による誤検知数は増加するため可視煙の適合率は低下する。一方、閾値を大きめに設定すると、雲等による誤検知数は減少するため可視煙の適合率は高くなる。従って、適合率が所定の比率以上になるようにするには、閾値を大きめに設定すると良い。しかし、その場合、可視煙の未検知数が増加するため再現率は低下する。このように、可視煙の再現率と可視煙の適合率はトレードオフの関係にある。そこで、再現率と適合率の中庸となる閾値を設定したい場合には、再現率と適合率との調和平均値を最大にするように、決定されると良い。閾値は、典型的には、可視煙判定装置１００のユーザ等によって予め設定されうる。

【0036】

画像判定部１４２は、少なくとも可視煙判定領域を含む画像を学習モデル４０に入力し、学習モデル４０からの判定結果を取得する。具体的には、画像判定部１４２は、入力された撮像画像などの画像（可視煙判定領域）に可視煙が含まれているか判定するよう訓練された学習モデル４０を利用して、検知対象の画像を学習モデル４０に入力し、当該画像において可視煙が発生しているか否かを示す判定結果を学習モデル４０から取得する。そして、画像判定部１４２は、当該検知対象の画像に対する判定結果を判定部１４３に送信する。なお、図１に示すように、学習モデル４０は、可視煙判定装置１００が備えていてもよい。あるいは、学習モデル４０は、可視煙判定装置１００以外であって、例えば通信ネットワークなどを用いて可視煙判定装置１００に通信可能に接続された他の装置が備えていても良い。この場合には、可視煙判定装置１００などから検知対象の可視煙判定領域を少なくとも含む画像を上記の他の装置に送り、これに対する判定結果を画像判定部１４２が受信するように構成してもよい。

【0037】

例えば、学習モデル４０は、可視煙を含む監視対象の画像と、可視煙を含まない監視対象の画像とから構成される訓練画像と、訓練画像における可視煙の有無を示す正解データとから構成される訓練データによって訓練されうる。また、訓練画像は、鳥、水滴など監視対象の環境に応じて誤検知を生じさせうる障害物を更に含む画像を含んでもよい。例えば、図８に示されるイメージ図のように、撮像画像に鳥が映りこむことがある。また、図９に示されるイメージ図のように、撮像画像に水滴の付着が映りこむことがある。これらのイメージ図により示されるような障害物を含む画像に対して、学習モデル４０は、形状が有意に異なるため、可視煙と誤検知する可能性は低くなりうる。

【0038】

例えば、学習モデル４０は、畳み込みニューラルネットワークによって実現されてもよい。畳み込みニューラルネットワークは、畳み込み層とプーリング層とから構成されるニューラルネットワークであり、画像解析に効果的であることが知られている。この場合、学習モデル４０に入力された訓練画像に対する出力結果（例えば、可視煙が発生しているか否かを示す確度パラメータ）と正解データとの誤差に応じて、学習モデル４０のパラメータが誤差逆伝播法に従って更新される。確度パラメータは、例えば、０～１の範囲の値をとり、確度パラメータが０である場合、可視煙の発生確率が０であり、確度パラメータが１である場合、可視煙の発生確率が１であることを意味する。確度パラメータが所定の閾値以上である場合、画像判定部１４２は、可視煙が発生していると判定してもよい。

【0039】

他の例として、学習モデル４０は、ＨＯＧ（Ｈｉｓｔｏｇｒａｍｓ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔｓ）特徴量に基づくサポートベクターマシーンによって実現されてもよい。ＨＯＧ特徴量は、物体検出に効果的な特徴量として知られており、局所領域の画素値の勾配方向をヒストグラム化することによって取得されうる。訓練データを利用して訓練された学習モデル４０は、サポートベクターマシーンとして可視煙の有無を判定しうる。

【0040】

そして、判定部１４３は、可視煙判定指標に基づく閾値判定と、学習モデル４０を利用した画像判定との双方の判定結果を利用して、可視煙が発生しているか否かを判定する。具体的には、判定部１４３は、閾値判定部１４１から取得した判定結果と、画像判定部１４２から取得した判定結果との双方が可視煙の発生を示す場合、可視煙が発生していると判定する。他方、判定部１４３は、閾値判定部１４１から取得した判定結果と、画像判定部１４２から取得した判定結果との少なくとも一方が可視煙の発生を示していない場合、可視煙は発生していないと判定する。

【0041】

これにより、可視煙判定指標に基づく閾値判定と、学習モデル４０を利用した画像判定との何れか一方のみを利用した可視煙判定より高精度に可視煙の発生を判定できる。例えば、可視煙判定指標に基づく閾値判定によると、雲と可視煙とは、時間変化の程度の相違から良好に区別できるが、鳥や水滴などの障害物が画像に映りこむ場合、誤検知する可能性があり、可視煙を良好には検知することができない場合がある。他方、学習モデル４０を利用した画像判定によると、形状に基づく画像判定を実行する学習モデル４０は、形状が可視煙と類似した雲と可視煙とを良好に区別することは困難で、誤検知する可能性があるが、鳥や水滴などの障害物が映りこむ画像を可視煙として誤検知する可能性は低い。このため、可視煙判定指標に基づく閾値判定と、学習モデル４０を利用した画像判定とを併用することによって、形状が可視煙と類似した雲と可視煙とを良好に区別することが可能になると共に、障害物の映りこみによる誤検知を低減することが可能になる。

【0042】

実施の一形態では、領域設定部１２０、指標算出部１３０及び閾値判定部１４１がまず、可視煙判定指標に基づく閾値判定を実行し、閾値判定によって可視煙発生と判定された撮像画像に対して、その後に、画像判定部１４２が学習モデル４０を利用して画像判定を実行してもよい。すなわち、可視煙判定指標が所定の閾値以上であると閾値判定部１４１が判定した場合、画像判定部１４２は、学習モデル４０を利用して撮像画像から可視煙の発生を判定してもよい。判定部１４３は、可視煙判定指標に基づく閾値判定と学習モデル４０を利用した画像判定との双方で可視煙の発生が検知された撮像画像に対して、可視煙が発生していると判定してもよい。

【0043】

可視煙判定指標に基づく閾値判定による誤検知は、鳥や水滴等の障害物の映り込みに主として起因し、その発生確率は、可視煙と雲との誤検知の確率より相対的に低いと考えられうる。従って、可視煙判定指標に基づく閾値判定において誤検知された相対的に少数の撮像画像に対してのみ、学習モデル４０を利用した画像判定が実行されることになり、計算負荷の高い学習モデル４０を利用した画像判定の実行回数を低減しながら、可視煙の判定精度を向上させうる。

【0044】

なお、ある撮像画像に対して可視煙判定指標に基づく閾値判定によって可視煙が発生していると判定されると、当該撮像画像以降の画像フレームにおいても可視煙が発生していると判定されるケースが多いと想定される。これは、可視煙が発生すると、当該撮像画像に連続する画像フレームにおいても可視煙が映り込んでいる可能性が高いためである。可視煙判定指標に基づく閾値判定によって可視煙が発生していると判定される毎に、学習モデル４０を利用した画像判定を実行した場合、学習モデル４０を利用した画像判定が過剰に実行されることになりうる。学習モデル４０を利用した画像判定の過剰な実行を回避するため、画像判定部１４２は、可視煙判定指標が所定の閾値以上になってから閾値未満になった後、学習モデル４０を利用して可視煙の発生を判定するようにしてもよい。換言すると、可視煙判定指標に基づく閾値判定によって可視煙が発生していると判定されてから可視煙の発生がないと判定されるまでの期間、すなわち、可視煙発生期間が確定した後、画像判定部１４２は、当該期間中の何れかの撮像画像に対して、学習モデル４０を利用した画像判定を実行するようにしてもよい。例えば、画像判定部１４２は、可視煙発生期間において可視煙判定指標が最大となる撮像画像に対してのみ学習モデル４０を利用した画像判定を実行するようにしてもよい。なお、学習モデル４０を利用した画像判定の対象となる撮像画像は、これに限定されるものでなく、１つ以上の何れかの撮像画像であってもよい。

【0045】

しかしながら、本開示による可視煙判定指標に基づく閾値判定と学習モデル４０を利用した画像判定との実行順序は、上記に限定されず、学習モデル４０を利用した画像判定がまず実行され、その後、画像判定により可視煙が発生していると判定された撮像画像に対して可視煙判定指標に基づく閾値判定が実行されてもよい。あるいは、可視煙判定指標に基づく閾値判定と学習モデル４０を利用した画像判定とが、パラレルに実行されてもよい。

【0046】

例えば、上述した実施の形態では、可視煙判定部１４０（画像判定部１４２）は、学習モデルを使用して、被写体の形状に基づく可視煙の発生の有無判定を行うよう構成されているが、他の実施の形態では、学習モデルを使用せずに、他の手法によってこの判定を行うよう構成されてもよい。

【0047】

このようにして可視煙の発生を検知すると、可視煙判定部１４０は、可視煙の発生を報知するよう指示してもよい。具体的には、可視煙判定部１４０は、発報装置６０に可視煙の発生を報知するよう指示してもよい。発報装置６０は、可視煙判定装置１００からの指示を受けて、可視煙の発生を、表示部にメッセージ表示して監視者に通知してもよく、電子メールを工場等の関係者に通知してもよい。この際、可視煙と判定された煙の画像を表示部に表示したり、電子メールに添付したりしてもよい。

【0048】

なお、上述した実施形態では、１つの撮像装置２０が工場３０の排煙設備などの監視対象を撮影しているが、本開示による可視煙判定装置１００は、これに限定されず、例えば、複数の撮像装置２０が、多視点で工場３０の監視対象を撮影し、これらの撮像装置２０から提供された多視点で撮像された画像に基づいて可視煙の発生が判定されてもよい。実施の一形態では、可視煙判定装置１００は、２つ以上の撮像装置２０による異なる２つ以上の視点、例えば、２つ以上の撮像装置が監視対象を含む直線上で且つ向かい合わない視点から、つまり対向していない２つ以上の視点から撮像された画像を取得してもよい。このように画像を取得することで、監視対象の手前や後方の映像が複数の撮像装置で重複することを回避できるので、それら複数の装置が、可視煙ではないが可視煙に似たものを同時に可視煙と誤検知してしまう可能性を低めることができる。

【0049】

実施の一形態では、可視煙判定システム１０は、１つ以上の可視煙判定装置１００に通信可能に接続される統合判定部１５０を有してもよい。統合判定部１５０は、ハードウェアで構成してもよいし、計算装置などのコンピュータ上で動作するソフトウェア（プログラム）で構成してもよい。統合判定部１５０は、１つ以上の可視煙判定装置１００による判定結果に基づいて、可視煙の発生を判定しうる。具体的には、統合判定部１５０は、各可視煙判定装置１００から通知される可視煙発生の判定結果を取得し、これらの判定結果に基づいて発報装置６０に可視煙の発生を報知させてもよい。例えば、このような統合判定部１５０は、発報装置６０によって実現されてもよいし、あるいは、可視煙判定装置１００に通信可能に接続されるクラウド上のサーバなどの何れかの情報処理装置により実現されてもよい。

【0050】

例えば、統合判定部１５０が発報装置６０によって実現される場合、統合判定部１５０は、１つ以上の可視煙判定装置１００から収集される可視煙発生の判定結果に基づいて可視煙の発生を報知してもよい。例えば、図１０に示される可視煙判定システム１０では、各撮像装置２０＿ｉに対して可視煙判定装置１００＿ｉが備えられ（例えば、複数の撮像装置２０の総数がＮであるとき、１≦ｉ≦Ｎ、Ｎは２以上の自然数、など）、これらの可視煙判定装置１００＿１～１００＿Ｎが、後述する可視煙判定処理を並行して実行するようにしてもよい。そして、例えば、全ての可視煙判定装置１００＿１～１００＿Ｎが可視煙の発生を検知した場合、可視煙が発生したと判定されてもよい。全ての可視煙判定装置１００＿１～１００＿Ｎが可視煙の発生有りと判定し、発報装置６０に可視煙の発生を報知するよう指示した場合に限って、可視煙判定システム１０は、可視煙の発生を報知してもよい。

【0051】

ただし、可視煙発生の報知は、これに限定されず、可視煙判定装置１００＿１～１００＿Ｎの一部による可視煙発生の検知に基づいて行われてもよい。すなわち、発報装置６０は、可視煙判定装置１００＿１～１００＿Ｎから収集し、収集した可視煙判定結果に基づいて可視煙発生の発報の要否を判定してもよい。例えば、収集した可視煙判定結果の過半数以上が可視煙の発生有りを示す場合、発報装置６０は、可視煙発生を発報してもよい。あるいは、収集した可視煙判定結果の少なくとも１つが可視煙の発生有りを示す場合、発報装置６０は、可視煙発生を発報してもよい。このように、可視煙発生の報知は、所定の報知条件（例えば、全て、過半数、少なくとも１つなどの可視煙発生の判定結果など）に従って行われてもよい。また、可視煙発生の発報要否を判定する発報装置６０は、可視煙判定装置１００＿１～１００＿Ｎの何れかに含まれてもよい。

【0052】

あるいは、図１１に示されるように、統合判定部１５０がクラウド上のサーバ７０によって実現される場合、統合判定部１５０は、１つ以上の可視煙判定装置１００から収集される可視煙発生の判定結果に基づいて可視煙の発生を報知するよう発報装置６０に指示してもよい。具体的には、可視煙判定装置１００＿１～１００＿Ｎから可視煙発生の判定結果を取得すると、サーバは、所定の報知条件に従って判定結果に基づいて可視煙発生を報知するか判定し、可視煙発生を報知すると判定した場合、発報装置６０に可視煙発生を報知させてもよい。

【0053】

また、可視煙発生の報知の判定は、上記に限定されず、例えば、可視煙判定装置１００によって行われてもよい。具体的には、可視煙判定装置１００は、可視煙判定部１４０（判定部１４３）に接続された統合判定部１５０をさらに備え、統合判定部１５０が、可視煙判定部１４０による複数の画像の各々に対する可視煙判定結果に基づいて、可視煙の発生を判定してもよい。例えば、図１２に示される可視煙判定システム１０では、複数の撮像装置２０＿１～２０＿Ｎに対して１つの可視煙判定装置１００が備えられ、当該１つの可視煙判定装置１００が、多視点から撮像された複数の画像を処理し、可視煙判定処理を実行してもよい。例えば、可視煙判定装置１００は、多視点から撮像された複数の画像を順次あるいは並列に処理し、各画像に対して可視煙判定処理を実行してもよい。そして、例えば、全ての画像に対して可視煙判定装置１００が可視煙の発生を検知した場合、可視煙が発生したと判定されてもよい。全ての画像に対して可視煙判定装置１００が可視煙の発生有りと判定した場合、可視煙判定装置１００に有線あるいは無線で接続された発報装置６０に可視煙の発生を報知するよう指示してもよい。しかしながら、可視煙発生の報知は、これに限定されず、一部の画像に対する可視煙判定装置１００の可視煙発生の検知に基づいて行われてもよい。

【0054】

１つの視点による撮像画像に基づいて可視煙判定を行うと、例えば、可視煙判定領域内に、人間の目で見ても雲なのか可視煙なのか判別できない程に可視煙と形状が酷似した雲が映り込み、かつ、その雲が強風等で可視煙と似た動きをした場合、あるいは、何らかの外部環境の影響で可視煙ではないが形状や動きが可視煙に似たものが映り込んだ場合、可視煙と誤検知してしまう可能性がありうる。一方、監視対象を少なくとも２つ以上の多視点で撮像した画像に対して可視煙の発生を判定することによって、何れかの撮像画像に対して誤検知してしまった場合であっても、他の視点で撮像された画像は、可視煙監視領域内に含まれる空間（背景を含む）が異なるため、同時刻に可視煙と形状や動きが似た雲等が映り込む可能性は低くなると考えられる。

【0055】

よって、上述した可視煙ではないが、形状あるいは形状及び動きが可視煙と酷似したものが映り込んだ場合であっても、多視点の全てで誤検知が発生する可能性が低くなるので、多視点の判定結果を総合して判定することで、同時刻に誤検知と判定する可能性は極めて低くなりうる。そのため、このような雲等の外部環境の影響による誤検知を排除することができ、可視煙の判定精度を向上させうる。

【0056】

また、同時刻において背景に可視煙と形状が酷似した雲が映り込んだとして、ある視点では風向と垂直方向になり、強風の影響で可視煙と似た速い動きであったとしても、別の視点（例えば、風向と平行方向など）では、雲の流れる速度が異なりうると考えられる。このような場合であっても、誤検知を排除することができ、可視煙の判定精度を向上させうる。

【0057】

［可視煙判定処理］
次に、図１３を参照して、本開示の実施の一形態による可視煙判定処理を説明する。当該可視煙判定処理は、上述した可視煙判定装置１００によって実行され、より詳細には、可視煙判定装置１００の１つ以上のプロセッサ１０２が１つ以上の記憶装置１０１に格納された１つ以上のプログラム又は指示を実行することによって実現されてもよい。図１３は、本開示の実施の一形態による可視煙判定処理を示すフローチャートである。

【0058】

図１３に示されるように、ステップＳ１０１において、可視煙判定装置１００は、撮像画像を取得する。具体的には、撮像装置２０は、監視対象を動画撮影するよう固定的に設置され、撮像映像を可視煙判定装置１００に送信しうる。撮像映像を取得すると、可視煙判定装置１００は、取得した撮像映像から所定の時間間隔で画像フレームを抽出し、抽出した画像フレームを検知対象の画像としてもよい。

【0059】

ステップＳ１０２において、可視煙判定装置１００は、抽出した各画像内における可視煙判定領域を設定する。例えば、可視煙判定装置１００は、工場内のコークス炉や排煙設備（例えば、煙突など）の周囲を可視煙判定領域として設定し、背景領域などの他の領域と区別してもよい。なお、可視煙判定領域は、撮像画像内の一部の領域に限定されず、撮像画像全体であってもよい。すなわち、撮像画像全体が可視煙判定領域に設定されてもよい。

【0060】

ステップＳ１０３において、可視煙判定装置１００は、可視煙判定領域に対して可視煙判定指標を算出する。例えば、可視煙判定指標は、可視煙判定領域における画素値の時間変化を示す何れかの指標であってもよく、可視煙判定領域の代表画素値と背景領域の代表画素値との間の領域間差分値の時間変化値であってもよい。具体的には、可視煙判定指標は、算出対象の画像から所定の期間の以前の画像の領域間差分値の移動平均値と、当該算出対象の画像の領域間差分値との間の乖離値であってもよい。

【0061】

ステップＳ１０４において、可視煙判定装置１００は、可視煙判定指標が所定の閾値以上であるか判定する。当該閾値は、例えば、可視煙判定指標に基づく閾値判定による再現率若しくは適合率が所定の比率以上になるように、又は、再現率と適合率との調和平均値を最大にするよう決定されてもよい。可視煙判定指標が所定の閾値以上である場合（Ｓ１０４：ＹＥＳ）、可視煙判定装置１００は、可視煙判定指標に基づく閾値判定において可視煙が発生していると判定し、ステップＳ１０５に移行する。他方、可視煙判定指標が所定の閾値未満である場合（Ｓ１０４：ＮＯ）、可視煙判定装置１００は、可視煙は発生していないと判定し、ステップＳ１０１に移行して次の画像に対して上述した可視煙判定処理を実行する。

【0062】

ステップＳ１０５において、可視煙判定装置１００は、学習モデル４０に撮像画像を入力する。学習モデル４０は、入力された画像に可視煙が映っているか否かを示す判定結果を出力するよう訓練されている。例えば、学習モデル４０は、可視煙を含む監視対象の画像と、可視煙を含まない監視対象の画像とから構成される訓練画像と、当該訓練画像における可視煙の有無を示す正解データとから構成される訓練データによって事前に訓練されたものであってもよい。

【0063】

ステップＳ１０６において、可視煙判定装置１００は、入力された撮像画像において可視煙が発生しているか否かを判定する。可視煙が発生していると判定した場合（Ｓ１０６：ＹＥＳ）、可視煙判定装置１００は、ステップＳ１０７に移行し、可視煙が発生していないと判定した場合（Ｓ１０６：ＮＯ）、可視煙判定装置１００は、ステップＳ１０１に移行して次の画像に対して上述した可視煙判定処理を実行する。

【0064】

ステップＳ１０７において、可視煙判定装置１００は、可視煙の発生を報知するよう発報装置６０に指示してもよい。発報装置６０は、可視煙判定装置１００からの指示を受けて、可視煙の発生を、表示部にメッセージ表示して監視者に通知してもよく、電子メールを工場等の関係者に通知してもよい。この際、可視煙と判定された煙の画像を表示部に表示したり、電子メールに添付したりしてもよい。スピーカー、サイレンなどの発報装置６０に可視煙の発生を報知するよう指示してもよい。

【0065】

上述した実施の形態によると、可視煙判定装置１００は、可視煙判定指標に基づく閾値判定と、学習モデル４０を利用した画像判定との双方を利用して、高精度な可視煙判定処理を実行することができる。

【0066】

以上、本開示の実施の形態について詳述したが、本開示は上述した特定の実施の形態に限定されるものではなく、特許請求の範囲に記載された本開示の要旨の範囲内において、種々の変形・変更が可能である。

【符号の説明】

【0067】

１０ 可視煙判定システム
２０ 撮像装置
３０ 工場
４０ 学習モデル
５０ 訓練データＤＢ
６０ 発報装置
７０ サーバ
１００ 可視煙判定装置
１１０ 画像取得部
１２０ 領域設定部
１３０ 指標算出部
１４０ 可視煙判定部
１４１ 閾値判定部
１４２ 画像判定部
１４３ 判定部
１５０ 統合判定部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】