特許第5792671号(P5792671)IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ JX日鉱日石エネルギー株式会社の特許一覧

<>
  • 特許5792671-異常検知方法及び異常検知装置 図000002
  • 特許5792671-異常検知方法及び異常検知装置 図000003
  • 特許5792671-異常検知方法及び異常検知装置 図000004
  • 特許5792671-異常検知方法及び異常検知装置 図000005
  • 特許5792671-異常検知方法及び異常検知装置 図000006
  • 特許5792671-異常検知方法及び異常検知装置 図000007
  • 特許5792671-異常検知方法及び異常検知装置 図000008
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】5792671
(24)【登録日】2015年8月14日
(45)【発行日】2015年10月14日
(54)【発明の名称】異常検知方法及び異常検知装置
(51)【国際特許分類】
   G06T 7/20 20060101AFI20150928BHJP
   G08B 25/00 20060101ALI20150928BHJP
   G01B 11/28 20060101ALI20150928BHJP
【FI】
   G06T7/20 Z
   G08B25/00 510M
   G01B11/28 H
【請求項の数】8
【全頁数】19
(21)【出願番号】特願2012-80002(P2012-80002)
(22)【出願日】2012年3月30日
(65)【公開番号】特開2013-210798(P2013-210798A)
(43)【公開日】2013年10月10日
【審査請求日】2014年5月9日
(73)【特許権者】
【識別番号】000004444
【氏名又は名称】JX日鉱日石エネルギー株式会社
(74)【代理人】
【識別番号】100087479
【弁理士】
【氏名又は名称】北野 好人
(74)【代理人】
【識別番号】100114915
【弁理士】
【氏名又は名称】三村 治彦
(74)【代理人】
【識別番号】100120363
【弁理士】
【氏名又は名称】久保田 智樹
(72)【発明者】
【氏名】後藤 治久
(72)【発明者】
【氏名】石井 信行
【審査官】 佐田 宏史
(56)【参考文献】
【文献】 特開平07−192186(JP,A)
【文献】 特開2005−258724(JP,A)
【文献】 特開2010−238032(JP,A)
【文献】 米国特許出願公開第2010/0141980(US,A1)
【文献】 特開2006−268200(JP,A)
【文献】 特開2002−090471(JP,A)
【文献】 特開2002−032876(JP,A)
【文献】 広瀬 敦規、黒川 不二雄,“面積増加率を用いた煙認識アルゴリズムについて”,電子情報通信学会2007年総合大会講演論文集 情報・システム2,日本,社団法人電子情報通信学会,2007年 3月 7日,p.130
【文献】 中村 昭浩、外2名,“テクスチャ特徴とその時間変化に基づく映像からの煙領域の抽出”,電子情報通信学会技術研究報告,日本,社団法人電子情報通信学会,2009年10月 8日,Vol.109, No.227,p.71-76
(58)【調査した分野】(Int.Cl.,DB名)
G06T 1/00,7/00−7/60
G01B 11/00−11/30
G08B 13/194−13/196,25/00
H04N 7/18
(57)【特許請求の範囲】
【請求項1】
撮像手段により撮像された監視対象の画像から異常を検知する異常検知方法において、
前記撮像手段により撮像された画像を連続的に取得する第1のステップと、
前記第1のステップにより取得された複数の画像の各画素値の差からなる差分画像を生成する第2のステップと、
前記第2のステップにより生成された連続する第1の差分画像と第2の差分画像について、前記第1の差分画像の各画素の画素値DP1と前記第2の差分画像の各画素の画素値DP2とから次の演算式
CP=(DP1×DP2)1/2
により演算した各画素の演算値CPからなる演算画像を生成する第3のステップと、
前記第3のステップにより生成された演算画像のヒストグラムの累積度数のグラフの傾きが一定になるように変換するヒストグラム均一化処理を行う第4のステップと、
前記第4のステップによりヒストグラム均一化された前記演算画像における所定値以上の画素値の画素数を計数する第のステップと、
前記第のステップにより計数された画素数が所定のしきい値以上であるか否かにより前記監視対象が異常であると判断する際に、連続して複数回以上、計数された画素数が所定のしきい値以上であると判断された場合に、前記監視対象が異常であると判断する第のステップと
を有することを特徴とする異常検知方法。
【請求項2】
撮像手段により撮像された監視対象の画像から異常を検知する異常検知方法において、
前記撮像手段により撮像された画像を連続的に取得する第1のステップと、
前記第1のステップにより取得された複数の画像の各画素値の差からなる差分画像を生成する第2のステップと、
前記第2のステップにより生成された連続する第1の差分画像と第2の差分画像について、前記第1の差分画像の各画素の画素値DP1と前記第2の差分画像の各画素の画素値DP2とから次の演算式
CP=(DP1×DP2)1/2
により演算した各画素の演算値CPからなる演算画像を生成する第3のステップと、
前記第3のステップにより生成された演算画像のヒストグラムの累積度数のグラフの傾きが一定になるように変換するヒストグラム均一化処理を行う第4のステップと、
前記第4のステップによりヒストグラム均一化された前記演算画像における所定値以上の画素値の画素数を計数する第のステップと、
前記第のステップにより計数された演算画像の画素数が所定のしきい値以上であるか否かを判断する第のステップと、
前記第のステップにより所定のしきい値以上であると判断された連続する複数の演算画像の画素数の変動が所定の範囲内であるか否かにより前記監視対象が異常であると判断する際に、連続して複数回以上、前記連続する複数の演算画像の画素数の変動が所定の範囲内であると判断された場合に、前記監視対象が異常であると判断する第のステップと
を有することを特徴とする異常検知方法。
【請求項3】
請求項2記載の異常検知方法において、
前記第のステップでは、連続する複数の演算画像の画素数の変動が50%以内であるか否かを判断する
ことを特徴とする異常検知方法。
【請求項4】
請求項1乃至3のいずれか1項に記載の異常検知方法において、
前記第1のステップは、前記撮像手段により所定の時間間隔毎に撮像された画像を連続的に取得し、前記所定の時間間隔は1/6秒以上である
ことを特徴とする異常検知方法。
【請求項5】
監視対象を撮像する撮像手段と、前記撮像手段により撮像された監視対象の画像を処理する画像処理手段とを有し、監視対象の異常を検知する異常検知装置において、
前記画像処理手段は、
前記撮像手段により撮像された画像を連続的に取得する第1の手段と、
前記第1の手段により取得された複数の画像の各画素値の差からなる差分画像を生成する第2の手段と、
前記第2の手段により生成された連続する第1の差分画像と第2の差分画像について、前記第1の差分画像の各画素の画素値DP1と前記第2の差分画像の各画素の画素値DP2とから次の演算式
CP=(DP1×DP2)1/2
により演算した各画素の演算値CPからなる演算画像を生成する第3の手段と、
前記第3の手段により生成された演算画像のヒストグラムの累積度数のグラフの傾きが一定になるように変換するヒストグラム均一化処理を行う第4の手段と、
前記第4の手段によりヒストグラム均一化された前記演算画像における所定値以上の画素値の画素数を計数する第の手段と、
前記第の手段により計数された演算画像の画素数が所定のしきい値以上であるか否かにより前記監視対象が異常であると判断する際に、連続して複数回以上、計数された画素数が所定のしきい値以上であると判断された場合に、前記監視対象が異常であると判断する第の手段と
を有することを特徴とする異常検知装置。
【請求項6】
監視対象を撮像する撮像手段と、前記撮像手段により撮像された監視対象の画像を処理する画像処理手段とを有し、監視対象の異常を検知する異常検知装置において、
前記画像処理手段は、
前記撮像手段により撮像された画像を連続的に取得する第1の手段と、
前記第1の手段により取得された複数の画像の各画素値の差からなる差分画像を生成する第2の手段と、
前記第2の手段により生成された連続する第1の差分画像と第2の差分画像について、前記第1の差分画像の各画素の画素値DP1と前記第2の差分画像の各画素の画素値DP2とから次の演算式
CP=(DP1×DP2)1/2
により演算した各画素の演算値CPからなる演算画像を生成する第3の手段と、
前記第3の手段により生成された演算画像のヒストグラムの累積度数のグラフの傾きが一定になるように変換するヒストグラム均一化処理を行う第4の手段と、
前記第の手段により生成された演算画像における所定値以上の画素値の画素数を計数する第の手段と、
前記第の手段により計数された演算画像の画素数が所定のしきい値以上であるか否かを判断する第の手段と、
前記第の手段により所定のしきい値以上であると判断された連続する複数の演算画像の画素数の変動が所定の範囲内であるか否かにより前記監視対象が異常であると判断する際に、連続して複数回以上、前記連続する複数の演算画像の画素数の変動が所定の範囲内であると判断された場合に、前記監視対象が異常であると判断する第の手段と
を有することを特徴とする異常検知装置。
【請求項7】
請求項6記載の異常検知装置において、
前記第6の手段は、連続する複数の演算画像の画素数の変動が50%以内であるか否かを判断する
ことを特徴とする異常検知装置。
【請求項8】
請求項5乃至7のいずれか1項に記載の異常検知装置において、
前記第1の手段は、前記撮像手段により所定の時間間隔毎に撮像された画像を連続的に取得し、前記所定の時間間隔は1/6秒以上である
ことを特徴とする異常検知装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は異常検知方法及び異常検知装置に関し、特に石油精製装置等の異常を検知する異常検知方法及び異常検知装置に関する。
【背景技術】
【0002】
プラントや工場等の設備が正常に稼動しているか否かを常時監視する異常監視システムには、監視対象設備内に設置した遠隔操作可能な工業用カメラが広く用いられている。カメラで撮影された画像を、画像処理によって煙や塵を検知する方法としては、例えば、CCDカメラと、その画像を画素分解して標準画像を作製し、この標準画像とリアルタイム画像と比較し差演算する手段を具備し、その差画像と気象データ等を比較し判別して発煙発塵を判別する方法が知られている(特許文献1参照)。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開平5−10737号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、従来の技術では、輪郭が明瞭である大量の白煙や黒煙は検知することは可能であるが、輪郭が不明瞭な希薄な白煙を検知することが困難であった。大量の白煙や黒煙を検知したときには、異常事態が進行している可能性があるので、異常発生時の初期の段階における希薄な白煙を検知することは、早期に異常を検知して設備のトラブルの影響を低減するために、解決すべき重要な課題である。
【0005】
本発明の目的は、輪郭が不明瞭な希薄な白煙のような像であっても、その発生を高精度かつ迅速に検知することができる異常検知方法及び異常検知装置を提供することにある。
【課題を解決するための手段】
【0006】
本発明の一態様による異常検知方法は、撮像手段により撮像された監視対象の画像から異常を検知する異常検知方法において、前記撮像手段により撮像された画像を連続的に取得する第1のステップと、前記第1のステップにより取得された複数の画像の各画素値の差からなる差分画像を生成する第2のステップと、前記第2のステップにより生成された連続する複数の差分画像の各画素値を演算した演算値からなる演算画像を生成する第3のステップと、前記第3のステップにより生成された演算画像における所定値以上の画素値の画素数を計数する第4のステップと、前記第4のステップにより計数された画素数が所定のしきい値以上であるか否かを判断する第5のステップとを有することを特徴とする。
【0007】
上述した異常検知方法において、前記第5のステップにおいて、連続して複数回以上、計数された画素数が所定のしきい値以上であると判断された場合に、前記監視対象が異常であると判断するようにしてもよい。
【0008】
本発明の一態様による異常検知方法は、撮像手段により撮像された監視対象の画像から異常を検知する異常検知方法において、前記撮像手段により撮像された画像を連続的に取得する第1のステップと、前記第1のステップにより取得された複数の画像の各画素値の差からなる差分画像を生成する第2のステップと、前記第2のステップにより生成された連続する複数の差分画像の各画素値を演算した演算値からなる演算画像を生成する第3のステップと、前記第3のステップにより生成された演算画像における所定値以上の画素値の画素数を計数する第4のステップと、前記第4のステップにより計数された演算画像の画素数が所定のしきい値以上であるか否かを判断する第5のステップと、前記第5のステップにより所定のしきい値以上であると判断された連続する複数の演算画像の画素数の変動が所定の範囲内であるか否かを判断する第6のステップとを有することを特徴とする。
【0009】
上述した異常検知方法において、前記第6のステップでは、連続する複数の演算画像の画素数の変動が50%以内であるか否かを判断するようにしてもよい。
【0010】
上述した異常検知方法において、前記第6のステップにおいて、連続して複数回以上、前記連続する複数の演算画像の画素数の変動が所定の範囲内であると判断された場合に、前記監視対象が異常であると判断するようにしてもよい。
【0011】
上述した異常検知方法において、前記第3のステップにより生成された演算画像のヒストグラムの累積度数のグラフの傾きが一定になるように変換するヒストグラム均一化処理を行うヒストグラム均一化処理ステップを更に有し、前記第4のステップは、前記ヒストグラム均一化処理ステップによりヒストグラム均一化された前記演算画像における所定値以上の画素値の画素数を計数するようにしてもよい。
【0012】
上述した異常検知方法において、前記第1のステップは、前記撮像手段により所定の時間間隔毎に撮像された画像を連続的に取得し、前記所定の時間間隔は1/6秒以上であるようにしてもよい。
【0013】
本発明の一態様による異常検知装置は、監視対象を撮像する撮像手段と、前記撮像手段により撮像された監視対象の画像を処理する画像処理手段とを有し、監視対象の異常を検知する異常検知装置において、前記画像処理手段は、前記撮像手段により撮像された画像を連続的に取得する第1の手段と、前記第1の手段により取得された複数の画像の各画素値の差からなる差分画像を生成する第2の手段と、前記第2の手段により生成された連続する複数の差分画像の各画素値を演算した演算値からなる演算画像を生成する第3の手段と、前記第3の手段により生成された演算画像における所定値以上の画素値の画素数を計数する第4の手段と、前記第4の手段により計数された演算画像の画素数が所定のしきい値以上であるか否かを判断する第5の手段とを有することを特徴とする。
【0014】
上述した異常検知装置において、前記第5の手段により、連続して複数回以上、計数された画素数が所定のしきい値以上であると判断された場合に、前記監視対象が異常であると判断するようにしてもよい。
【0015】
本発明の一態様による異常検知装置は、監視対象を撮像する撮像手段と、前記撮像手段により撮像された監視対象の画像を処理する画像処理手段とを有し、監視対象の異常を検知する異常検知装置において、前記画像処理手段は、前記撮像手段により撮像された画像を連続的に取得する第1の手段と、前記第1の手段により取得された複数の画像の各画素値の差からなる差分画像を生成する第2の手段と、前記第2の手段により生成された連続する複数の差分画像の各画素値を演算した演算値からなる演算画像を生成する第3の手段と、前記第3の手段により生成された演算画像における所定値以上の画素値の画素数を計数する第4の手段と、前記第4の手段により計数された演算画像の画素数が所定のしきい値以上であるか否かを判断する第5の手段と、前記第5の手段により所定のしきい値以上であると判断された連続する複数の演算画像の画素数の変動が所定の範囲内であるか否かを判断する第6の手段とを有することを特徴とする。
【0016】
上述した異常検知装置において、前記第6の手段は、連続する複数の演算画像の画素数の変動が50%以内であるか否かを判断するようにしてもよい。
【0017】
上述した異常検知装置において、前記第6の手段により、連続して複数回以上、前記連続する複数の演算画像の画素数の変動が所定の範囲内であると判断された場合に、前記監視対象が異常であると判断するようにしてもよい。
【0018】
上述した異常検知装置において、前記第3の手段により生成された演算画像のヒストグラムの累積度数のグラフの傾きが一定になるように変換するヒストグラム均一化処理を行うヒストグラム均一化処理手段を更に有し、前記第4の手段は、前記ヒストグラム均一化処理手段によりヒストグラム均一化された前記演算画像における所定値以上の画素値の画素数を計数するようにしてもよい。
【0019】
上述した異常検知装置において、前記第1の手段は、前記撮像手段により所定の時間間隔毎に撮像された画像を連続的に取得し、前記所定の時間間隔は1/6秒以上であるようにしてもよい。
【発明の効果】
【0020】
以上の通り、本発明によれば、撮像手段により撮像された画像を連続的に取得し、取得された複数の画像の各画素値の差からなる差分画像を生成し、生成された連続する複数の差分画像の各画素値を演算した演算値からなる演算画像を生成し、生成された演算画像における所定値以上の画素値の画素数を計数し、計数された画素数が所定のしきい値以上であるか否かを判断するようにしたので、輪郭が不明瞭な希薄な白煙のような像であっても、その発生を高精度かつ迅速に検知することができる。
【図面の簡単な説明】
【0021】
図1】本発明の第1実施形態による異常検知装置の具体的構成を示す図である。
図2】本発明の第1実施形態による異常検知装置のブロック図である。
図3】本発明の第1実施形態の異常検知装置による異常検知方法の第1の具体例のフローチャートである。
図4】本発明の第1実施形態の異常検知装置による異常検知方法の第2の具体例のフローチャートである。
図5】本発明の第2実施形態の異常検知装置による異常検知方法の第1の具体例のフローチャートである。
図6】本発明の第2実施形態の異常検知装置による異常検知方法の検知結果を示すグラフである。
図7】本発明の第2実施形態の異常検知装置による異常検知方法の第2の具体例のフローチャートである。
【発明を実施するための形態】
【0022】
[第1実施形態]
本発明の第1実施形態による異常検知装置について図1乃至図4を用いて説明する。図1は本実施形態による異常検知装置の具体的構成を示す図であり、図2は本実施形態による異常検知装置のブロック図であり、図3図4は本実施形態の異常検知装置による異常検知方法のフローチャートである。
【0023】
(異常検知装置)
本実施形態による異常検知装置は、プラントや工場等の設備である監視対象10が正常に稼働しているか否かを常時監視する異常監視システムとして機能する。監視対象10からの白煙や黒煙の発生を検出し、監視対象10の異常を検知する。
【0024】
本実施形態による異常検知装置では、図1に示すように、監視対象10の近傍に、ネットワークカメラやCCTV(Closed Circuit Television)カメラ等のカメラ12を設置する。カメラ12により監視対象10を連続的に撮像する。カメラ12は、モノクロ画像を撮像するモノクロカメラでも、カラー画像を撮像するカラーカメラでもよい。
【0025】
カメラ12には、プラントや工場等の設備である監視対象10の爆発等の異常状態においても画像取得が可能となるように、安全防爆構造が施されている。
【0026】
カメラ12により撮像された監視対象10の画像は、無線中継局14、16を介して、安全な場所に設置されたPC18により取得される。PC18は、監視対象10の画像に対して所定の画像処理を行って、監視対象10の異常を検知する。
【0027】
本実施形態による異常検知装置は、図2のブロック図に示すように、監視対象10を撮像するカメラ12には、カメラ12からの画像を処理する画像処理装置20が接続されている。画像処理装置20には、カメラ12からの画像を記憶する画像メモリ22と、様々な情報を表示するディスプレイ24と、異常を知らせるアラーム表示装置26が接続されている。
【0028】
画像処理装置20は、画像メモリ22に記憶されたカメラ12からの画像を用いて、後述するような異常を検知する処理を実行する。その結果、監視対象10の異常を検知した場合には、アラーム表示装置26により異常を知らせる。
【0029】
アラーム表示装置26は、ブザー音やパトライト(登録商標)のような点灯装置、または監視員へのCRT表示など、直ぐに監視員がアラーム発生を認識できる装置である。アラーム表示装置26に所定の表示をすると共に、監視員へ電子メールでアラームを通知するようにしてもよい。
【0030】
(異常検知方法の第1の具体例)
本実施形態の異常検知装置による異常検知方法の第1の具体例について、図3のフローチャートを用いて説明する。
【0031】
まず、カメラ12は監視対象10を連続的に撮像し、所定の時間毎に、監視対象10の画像を順次取得する。例えば、1/6秒毎に、監視対象10の画像1、画像2、画像3、…を順次取得する(ステップS11〜S13)。
【0032】
画像を順次取得する時間間隔は、希薄な白煙画像でも充分なレベルの画素値を得るために必要な時間を確保する。例えば、カメラ12により1秒間に30フレーム撮像するとして、5フレーム程度必要であるから、所定の時間間隔としては、(1/30)×5=1/6秒が必要である。
【0033】
画像1はある時刻の監視対象10の画像であり、画像2は画像1の1/6秒後の監視対象10の画像であり、画像3は画像2の1/6秒後の監視対象10の画像である。取得された画像1、画像2、画像3、…は、画像メモリ22に記憶される。
【0034】
本実施形態では、画像1、画像2、画像3、…はモノクロ画像である。なお、カラー画像であってもよい。各画像は、例えば、縦640ピクセル、横480ピクセルの640×480個の画素から構成されている。各画素の値である画素値Pは、濃淡に応じて、例えば、0〜255の間の値となる。
【0035】
次に、取得された画像1、画像2、画像3に対して、それぞれ、所定のノイズ除去処理を実行する(ステップS21〜S23)。ノイズ除去処理としては、例えば、画像1、画像2、画像3を構成する画素の画素値Pから、例えば、輝度10を一律に減算して、ノイズを除去する。
【0036】
次に、ノイズ除去処理された画像1とノイズ除去処理された画像2とから差分画像1を生成し(ステップS31)、ノイズ除去処理された画像2とノイズ除去処理された画像3とから差分画像2を生成する(ステップS32)。
【0037】
ステップS31では、画像1の各画素の画素値P1と画像2の各画素の画素値P2とから、次式の通り、画素値P1と画素値P2の差の絶対値である差分画像1の画素値DP1を生成する。
【0038】
DP1=|P2−P1|
同様に、ステップS32では、画像2の各画素の画素値P2と画像3の各画素の画素値P3とから、次式の通り、画素値P2と画素値P3の差の絶対値である差分画像2の各画素の画素値DP2を生成する。
【0039】
DP2=|P3−P2|
次に、差分画像1と差分画像2とから所定の演算画像を生成する(ステップS41)。
【0040】
ステップS41では、差分画像1の各画素の画素値DP1と差分画像2の各画素の画素値DP2とから、所定の演算式により演算して、演算画像の各画素の演算値CPを生成する。
【0041】
所定の演算式としては、例えば、次式の通り、画素値DP1と画素値DP2の平均値である演算画像の各画素の画素値CPを生成する。
【0042】
CP=(DP1+DP2)/2
なお、差分画像1と差分画像2に所定のノイズ除去処理を行った後に、所定の演算を行ってもよい。例えば、次式に示すように、ある画素の画素値DP1及び画素値DP2のいずれかが、例えば、5より小さい場合には、その画素の画素値CPを0とする。
【0043】
CP=(DP1+DP2)/2
ただし、DP1<5、又は、DP2<5である場合には、CP=0
また、他の所定の演算式としては、次式の通り、画素値DP1と画素値DP2のいずれか大きい方を、演算画像の各画素の画素値CPとするようにしてもよい。ただし、ある画素の画素値DP1及び画素値DP2のいずれかが、例えば、5より小さい場合には、その画素の画素値CPを0とする。
【0044】
CP=DP1又はDP2の大きい方
ただし、DP1<5、又は、DP2<5である場合には、CP=0
また、他の所定の演算式としては、次のような式であってもよい。
【0045】
CP=(DP1×DP2)1/2
なお、差分画像1と差分画像2に所定のノイズ除去処理を行った後に、所定の演算を行ってもよい。例えば、次式に示すように、ある画素の画素値DP1及び画素値DP2のいずれかが、例えば、5より小さい場合には、その画素の画素値CPを0とする。
【0046】
CP=(DP1×DP2)1/2
ただし、DP1<5、又は、DP2<5である場合には、CP=0
次に、演算画像にヒストグラム均一化処理を実行する(ステップS51)。
【0047】
ヒストグラム均一化処理(イコライゼーション処理)は、ヒストグラムの累積度数(輝度値0から画素数を累積したもの)のグラフの傾きが一定になるように変換する処理である。ヒストグラム均一化処理により、コントラストを改善したり、明るさが偏っている画像の全体的なバランスを改善したりすることが可能である。
【0048】
次に、ヒストグラム均一化処理を行った演算画像に対して所定のしきい値により2値化して2値化画像を生成する(ステップS61)。例えば、演算画像の各画素の画素値CPが所定のしきい値、例えば、128以上であれば、2値化画像の画素値BPを「1」とし、128より小さければ、2値化画像の画素値BPを「0」とする。
【0049】
次に、2値化画像の白画素、すなわち、画素値BPが1である画素の数を積算して、積算値Sを求める(ステップS71)。
【0050】
次に、ステップS71において求めた積算値Sが所定のしきい値Sth、例えば、20より大きいか否か判断する(ステップS81)。積算値Sの所定しきい値Sthとしては、20であればよく、100であればなお望ましい。
【0051】
ステップS81において積算値Sが所定のしきい値Sth以下である場合には、正常、すなわち、異常なしと判断する。
【0052】
ステップS81において積算値Sが所定のしきい値Sthより大きい場合には、異常の可能性があると判断する。
【0053】
次に、所定の時間間隔、例えば、1/6秒後における、監視対象10の画像1、画像2、画像3を取得して、監視対象10の新たな画像1、画像2、画像3に対して、上述したステップS11〜S81の処理を実行する。
【0054】
そして、ステップS81において積算値Sが所定のしきい値Sth以下であると判断された場合には、正常、すなわち、異常なしと判断する。
【0055】
しかし、ステップS81において積算値Sが所定のしきい値Sthより大きいと連続して2回以上判断された場合には、監視対象10の異常と判断する(ステップS91)。
【0056】
なお、ステップS91における監視対象10の異常の判断は他の条件により判断してもよい。
【0057】
例えば、連続して3回以上積算値Sが所定のしきい値Sthより大きい場合に監視対象10が異常と判断してもよい。
【0058】
また、ステップS11〜S81の処理を所定回数、例えば、10回実行し、ステップS81における10回の異常・正常の判断結果のパターンに基づいて、ステップS46において監視対象10の正常・異常を判断するようにしてもよい。
【0059】
また、所定回数の積算値Sに対する平均値を取り、しきい値Sthより大きい場合に監視対象10が異常と判断してもよい。
【0060】
(異常検知方法の第2の具体例)
本実施形態の異常検知装置による異常検知方法の第2の具体例について、図4のフローチャートを用いて説明する。
【0061】
この異常検知方法の第2の具体例は、図3に示す異常検知方法の第1の具体例とは、差分画像1、差分画像2の生成方法が異なる。
【0062】
まず、カメラ12は監視対象10を連続的に撮像し、所定の時間毎に、監視対象10の画像を順次取得する。例えば、1/6秒毎に、監視対象10の画像1、画像2、画像3、画像4、…を順次取得する(ステップS11〜S14)。例えば、画像1はある時刻の監視対象10の画像であり、画像2は画像1の1/6秒後の監視対象10の画像であり、画像3は画像2の1/6秒後の監視対象10の画像であり、画像4は画像3の1/6秒後の監視対象10の画像である。取得された画像1、画像2、画像3、画像4、…は、画像メモリ22に記憶される。
【0063】
次に、取得された画像1、画像2、画像3、画像4に対して、それぞれ、所定のノイズ除去処理を実行する(ステップS21〜S24)。ノイズ除去処理としては、例えば、画像1、画像2、画像3、画像4を構成する画素の画素値Pが小さい場合、例えば、5より小さい場合には、ノイズとして除去し、画素値Pを0とする。
【0064】
次に、ノイズ除去処理された画像1とノイズ除去処理された画像2とから差分画像1を生成し(ステップS31)、ノイズ除去処理された画像3とノイズ除去処理された画像4とから差分画像2を生成する(ステップS32)。
【0065】
ステップS31では、画像1の各画素の画素値P1と画像2の各画素の画素値P2とから、次式の通り、画素値P1と画素値P2の差の絶対値である差分画像1の画素値DP1を生成する。
【0066】
DP1=|P2−P1|
同様に、ステップS32では、画像3の各画素の画素値P3と画像4の各画素の画素値P4とから、次式の通り、画素値P3と画素値P4の差の絶対値である差分画像2の各画素の画素値DP2を生成する。
【0067】
DP2=|P4−P3|
次に、差分画像1と差分画像2とから所定の演算画像を生成する(ステップS41)。ステップS41以降の処理については、異常検知方法の第1の具体例と同様であるので、説明を省略する。
【0068】
[第2実施形態]
本発明の第2実施形態による異常検知装置について図5乃至図7を用いて説明する。図5、7は本実施形態による異常検知装置による異常検知方法のフローチャートであり、図6は本実施形態の異常検知装置による異常検知方法の検知結果を示すグラフである。
【0069】
(異常検知方法の第1の具体例)
本実施形態の異常検知装置による異常検知方法の第1の具体例について、図5のフローチャートを用いて説明する。
【0070】
まず、カメラ12は監視対象10を連続的に撮像し、所定の時間毎に、監視対象10の画像を順次取得する。例えば、1/6秒毎に、監視対象10の画像1、画像2、画像3、画像4、画像5…を順次取得する(ステップS11〜S15)。例えば、画像1はある時刻の監視対象10の画像であり、画像2は画像1の1/6秒後の監視対象10の画像であり、画像3は画像2の1/6秒後の監視対象10の画像であり、画像4は画像3の1/6秒後の監視対象10の画像であり、画像5は画像2の1/6秒後の監視対象10の画像である。取得された画像1、画像2、画像3、画像4、画像5…は、画像メモリ22に記憶される。
【0071】
本実施形態では、画像1、画像2、画像3、画像4、画像5…はモノクロ画像である。なお、カラー画像であってもよい。各画像は、例えば、縦640ピクセル、横480ピクセルの640×480個の画素から構成されている。各画素の値である画素値Pは、濃淡に応じて、例えば、0〜255の間の値となる。
【0072】
次に、取得された画像1、画像2、画像3、画像4、画像5に対して、それぞれ、所定のノイズ除去処理を実行する(ステップS21〜S25)。ノイズ除去処理としては、例えば、画像1、画像2、画像3、画素4、画素5を構成する画素の画素値Pから、例えば、輝度10を一律に減算して、ノイズを除去する。
【0073】
次に、ノイズ除去処理された画像1とノイズ除去処理された画像2とから差分画像1を生成し(ステップS31)、ノイズ除去処理された画像2とノイズ除去処理された画像3とから差分画像2を生成し(ステップS32)、ノイズ除去処理された画像3とノイズ除去処理された画像4とから差分画像3を生成し(ステップS33)、ノイズ除去処理された画像4とノイズ除去処理された画像5とから差分画像4を生成する(ステップS33)。
【0074】
ステップS31では、画像1の各画素の画素値P1と画像2の各画素の画素値P2とから、次式の通り、画素値P1と画素値P2の差の絶対値である差分画像1の画素値DP1を生成する。
【0075】
DP1=|P2−P1|
同様に、ステップS32では、画像2の各画素の画素値P2と画像3の各画素の画素値P3とから、次式の通り、画素値P2と画素値P3の差の絶対値である差分画像2の各画素の画素値DP2を生成する。
【0076】
DP2=|P3−P2|
同様に、ステップS33では、画像3の各画素の画素値P3画像4各画素の画素値P4から、次式の通り、画素値P3と画素値P4の差の絶対値である差分画像3の各画素の画素値DP3を生成する。
【0077】
DP3=|P4−P3|
同様に、ステップS34では、画像4の各画素の画素値P4と画像5の各画素の画素値P5とから、次式の通り、画素値P4と画素値P5の差の絶対値である差分画像2の各画素の画素値DP4を生成する。
【0078】
DP4=|P5−P4|
次に、差分画像1と差分画像2とから所定の演算画像1を生成し(ステップS41)、差分画像3と差分画像4とから所定の演算画像2を生成する(ステップS42)。
【0079】
ステップS41では、差分画像1の各画素の画素値DP1と差分画像2の各画素の画素値DP2とから、所定の演算式により演算して、演算画像1の各画素の演算値CP1を生成する。
【0080】
ステップS42では、差分画像3の各画素の画素値DP3と差分画像4の各画素の画素値DP4とから、所定の演算式により演算して、演算画像2の各画素の演算値CP2を生成する。
【0081】
所定の演算式としては、例えば、次式の通り、画素値DP1と画素値DP2の平均値である演算画像1の各画素の画素値CP1を生成する。
【0082】
CP1=(DP1+DP2)/2
また、次式の通り、画素値DP3と画素値DP4の平均値である演算画像2の各画素の画素値CP2を生成する。
【0083】
CP2=(DP3+DP4)/2
なお、差分画像1、差分画像2、差分画像3、差分画像4に所定のノイズ除去処理を行った後に、所定の演算を行ってもよい。
【0084】
例えば、次式に示すように、ある画素の画素値DP1及び画素値DP2のいずれかが、例えば、5より小さい場合には、その画素の画素値CP1を0とする。
【0085】
CP1=(DP1+DP2)/2
ただし、DP1<5、又は、DP2<5である場合には、CP1=0
また、次式に示すように、ある画素の画素値DP3及び画素値DP4のいずれかが、例えば、5より小さい場合には、その画素の画素値CP2を0とする。
【0086】
CP2=(DP3+DP4)/2
ただし、DP3<5、又は、DP4<5である場合には、CP2=0
また、他の所定の演算式としては、次式の通り、画素値DP1と画素値DP2のいずれか大きい方を、演算画像の各画素の画素値CPとするようにしてもよい。ただし、ある画素の画素値DP1及び画素値DP2のいずれかが、例えば、5より小さい場合には、その画素の画素値CPを0とする。
【0087】
CP=DP1又はDP2の大きい方
ただし、DP1<5、又は、DP2<5である場合には、CP=0
また、次式に示すように、画素値DP3と画素値DP4のいずれか大きい方を、演算画像の各画素の画素値CPとするようにしてもよい。ただし、ある画素の画素値DP3及び画素値DP4のいずれかが、例えば、5より小さい場合には、その画素の画素値CPを0とする。
【0088】
CP=DP3又はDP4の大きい方
ただし、DP3<5、又は、DP4<5である場合には、CP=0
また、他の所定の演算式としては、次のような式であってもよい。
【0089】
CP1=(DP1×DP2)1/2
CP2=(DP3×DP4)1/2
なお、差分画像1、差分画像2、差分画像3、差分画像4に所定のノイズ除去処理を行った後に、所定の演算を行ってもよい。
【0090】
例えば、次式に示すように、ある画素の画素値DP1及び画素値DP2のいずれかが、例えば、5より小さい場合には、その画素の画素値CP1を0とする。
【0091】
CP1=(DP1×DP2)1/2
ただし、DP1<5、又は、DP2<5である場合には、CP1=0
また、次式に示すように、ある画素の画素値DP3及び画素値DP4のいずれかが、例えば、5より小さい場合には、その画素の画素値CP2を0とする。
【0092】
CP2=(DP3×DP4)1/2
ただし、DP3<5、又は、DP4<5である場合には、CP2=0
次に、演算画像1にヒストグラム均一化処理を実行し(ステップS51)、演算画像2にヒストグラム均一化処理を実行する(ステップS52)。
【0093】
次に、ヒストグラム均一化処理を行った演算画像1に対して所定のしきい値により2値化して2値化画像1を生成し(ステップS61)、ヒストグラム均一化処理を行った演算画像2に対して所定のしきい値により2値化して2値化画像2を生成する(ステップS62)。
【0094】
例えば、演算画像1の各画素の画素値CP1が所定のしきい値、例えば、128以上であれば、2値化画像1の画素値BP1を「1」とし、128より小さければ、2値化画像1の画素値BP1を「0」とする。
【0095】
また、演算画像2の各画素の画素値CP2が所定のしきい値、例えば、128以上であれば、2値化画像2の画素値BP2を「1」とし、128より小さければ、2値化画像2の画素値BP2を「0」とする。
【0096】
次に、2値化画像1の白画素、すなわち、画素値BP1が1である画素の数を積算して、積算値S1を求め(ステップS71)、2値化画像2の白画素、すなわち、画素値BP2が1である画素の数を積算して、積算値S2を求め(ステップS72)、
次に、ステップS71において求めた積算値S1が所定のしきい値Sth、例えば、100より大きいか否か判断する(ステップS81)。
【0097】
また、ステップS72において求めた積算値S2が所定のしきい値Sth、例えば、100より大きいか否か判断する(ステップS82)。
【0098】
ステップS81において積算値S1が所定のしきい値Sth以下である場合には、正常、すなわち、異常なしと判断する。同様に、ステップS82において積算値S2が所定のしきい値Sth以下である場合には、正常、すなわち、異常なしと判断する。
【0099】
ステップS81において積算値S1が所定のしきい値Sthより大きく、かつ、ステップS82において積算値S2が所定のしきい値Sthより大きい場合には、次のようにして、正常・異常を判断する。
【0100】
まず、次式に示すように、積算値S2と積算値S1の比Rを求める(ステップS101)。
【0101】
R=S2/S1
次に、比Rが1より大きいか否かを判断する(ステップS102)。
【0102】
比Rが1以下の場合にはステップS104に進む。比Rが1より大きい場合は、次式に示すように、積算値S2と積算値S1の比の逆数を比Rとする(ステップS103)。
【0103】
R=1/(S2/S1)
次に、比Rが所定のしきい値Rthより大きいか否かを判断する(ステップS104)。比Rは、連続する演算画像1と演算画像2における白画素の積算値S1、S2の変動を示している。例えば、比Rが1であれば、白画素の積算値S1と積算値S2に全く変動がなかったことを意味する。比Rが0.5であれば、白画素の積算値S1と積算値S2に50%もの変動があったことを意味する。比Rが0.2であれば、白画素の積算値S1と積算値S2に80%もの変動があったことを意味する。
【0104】
比Rの所定のしきい値Rthとしては、0.3(30%)であればよく、0.5(50%)であればなお望ましい。
【0105】
監視対象10の異常により白煙又は黒鉛が発生すると、演算画像における白画像の積算値は大きくなる。また、監視対象10の前を自動車等の物体が通過した場合も、演算画像における白画像の積算値は大きくなる。
【0106】
これらを識別するために、本実施形態では、連続する演算画像1と演算画像2における白画素の積算値S1、S2の変動を検出している。積算値S1と積算値S2に大きな変動があった場合には、監視対象10は正常であると判定して、誤検出を防止する。
【0107】
次に、所定の時間間隔、例えば、1/6秒後における、監視対象10の画像1、画像2、画像3、画像4、画像5を取得して、監視対象10の新たな画像1、画像2、画像3、画像4、画像5に対して、上述したステップS11〜S104の処理を実行する。
【0108】
そして、ステップS104において比Rが所定のしきい値Rth以下であると判断された場合には、正常、すなわち、異常なしと判断する。
【0109】
しかし、ステップS104において比Rが所定のしきい値Rthより大きいと連続して2回以上判断された場合には、監視対象10の異常と判断する(ステップS105)。
【0110】
なお、ステップS105における監視対象10の異常の判断は他の条件により判断してもよい。
【0111】
例えば、連続して3回以上、比Rが所定のしきい値Rthより大きい場合に監視対象10が異常と判断してもよい。
【0112】
また、ステップS11〜S104の処理を所定回数、例えば、10回実行し、ステップS104における10回の異常・正常の判断結果のパターンに基づいて、ステップS105において監視対象10の正常・異常を判断するようにしてもよい。
【0113】
また、所定回数の積算値Sに対する平均値を取り、しきい値Sthより大きい場合に監視対象10が異常と判断してもよい。
【0114】
図6は本実施形態の異常検知装置による異常検知方法の検知結果を示すグラフである。
【0115】
本実施形態において、希薄白煙とは、カメラ撮影画像の輝度が0〜255階調の場合、おおよそ100以下程度の煙画像である。また、濃い白煙とはおおよそ200以上程度の煙画像である。
【0116】
従来の技術では、輪郭が不明瞭な希薄な白煙を検出することができなかったが、図6に示すように、本実施形態によれば、輪郭が不明瞭な希薄な白煙に対しても、演算画像の白の画素数の積算値Sが所定のしきい値Sthより大きくなり、連続する積算値Sの比Rが所定のしきい値Rth(=0.5(50%))よりも大きくなり、濃い白煙が発生する前に異常を検知することができた。
【0117】
(異常検知方法の第2の具体例)
本実施形態の異常検知装置による異常検知方法の第2の具体例について、図7のフローチャートを用いて説明する。
【0118】
この異常検知方法の第2の具体例は、図5に示す異常検知方法の第1の具体例とは、演算画像1、演算画像2の生成方法が異なる。
【0119】
監視対象10の画像1、画像2、画像3、画像4、画像5…を順次取得し(ステップS11〜S15)、取得した画像1、画像2、画像3、画像4、画像5に対して、それぞれ、所定のノイズ除去処理を実行し(ステップS21〜S25)、ノイズ除去処理された画像1、画像2、画像3、画像4、画像5から差分画像1、差分画像2、差分画像3、差分画像4を生成する(ステップS31〜S34)ステップまでは、図5に示す異常検知方法の第1の具体例と同じである。
【0120】
次に、本具体例では、差分画像1と差分画像3とから所定の演算画像1を生成し(ステップS41)、差分画像2と差分画像4とから所定の演算画像2を生成する(ステップS42)。
【0121】
ステップS41では、差分画像1の各画素の画素値DP1と差分画像3の各画素の画素値DP3とから、所定の演算式により演算して、演算画像1の各画素の演算値CP1を生成する。
【0122】
ステップS42では、差分画像2の各画素の画素値DP2と差分画像4の各画素の画素値DP4とから、所定の演算式により演算して、演算画像2の各画素の演算値CP2を生成する。
【0123】
所定の演算式としては、例えば、次式の通り、画素値DP1と画素値DP3の平均値である演算画像1の各画素の画素値CP1を生成する。
【0124】
CP1=(DP1+DP3)/2
また、次式の通り、画素値DP2と画素値DP4の平均値である演算画像2の各画素の画素値CP2を生成する。
【0125】
CP2=(DP2+DP4)/2
なお、差分画像1、差分画像2、差分画像3、差分画像4に所定のノイズ除去処理を行った後に、所定の演算を行ってもよい。
【0126】
例えば、次式に示すように、ある画素の画素値DP1及び画素値DP3のいずれかが、例えば、5より小さい場合には、その画素の画素値CP1を0とする。
【0127】
CP1=(DP1+DP3)/2
ただし、DP1<5、又は、DP3<5である場合には、CP1=0
また、次式に示すように、ある画素の画素値DP2及び画素値DP4のいずれかが、例えば、5より小さい場合には、その画素の画素値CP2を0とする。
【0128】
CP2=(DP2+DP4)/2
ただし、DP2<5、又は、DP4<5である場合には、CP2=0
また、他の所定の演算式としては、次式の通り、画素値DP1と画素値DP3のいずれか大きい方を、演算画像の各画素の画素値CPとするようにしてもよい。ただし、ある画素の画素値DP1及び画素値DP3のいずれかが、例えば、5より小さい場合には、その画素の画素値CPを0とする。
【0129】
CP=DP1又はDP3の大きい方
ただし、DP1<5、又は、DP3<5である場合には、CP=0
また、次式に示すように、画素値DP2と画素値DP4のいずれか大きい方を、演算画像の各画素の画素値CPとするようにしてもよい。ただし、ある画素の画素値DP2及び画素値DP4のいずれかが、例えば、5より小さい場合には、その画素の画素値CPを0とする。
【0130】
CP=DP2又はDP4の大きい方
ただし、DP2<5、又は、DP4<5である場合には、CP=0
また、他の所定の演算式としては、次のような式であってもよい。
【0131】
CP1=(DP1×DP3)1/2
CP2=(DP2×DP4)1/2
なお、差分画像1、差分画像2、差分画像3、差分画像4に所定のノイズ除去処理を行った後に、所定の演算を行ってもよい。
【0132】
例えば、次式に示すように、ある画素の画素値DP1及び画素値DP3のいずれかが、例えば、5より小さい場合には、その画素の画素値CP1を0とする。
【0133】
CP1=(DP1×DP3)1/2
ただし、DP1<5、又は、DP3<5である場合には、CP1=0
また、次式に示すように、ある画素の画素値DP2及び画素値DP4のいずれかが、例えば、5より小さい場合には、その画素の画素値CP2を0とする。
【0134】
CP2=(DP2×DP4)1/2
ただし、DP2<5、又は、DP4<5である場合には、CP2=0
次に、演算画像1にヒストグラム均一化処理を実行し(ステップS51)、演算画像2にヒストグラム均一化処理を実行する(ステップS52)。ステップS51、S52以降の処理については、異常検知方法の第1の具体例と同様であるので、説明を省略する。
【0135】
[変形実施形態]
本発明は上記実施形態に限らず種々の変形が可能である。
【0136】
例えば、上記実施形態では、カメラ12は監視対象10を連続的に撮像し、所定の時間間隔である(1/30)×5=1/6秒毎に、監視対象10の画像を順次取得したが、所定の時間間隔は、これより長くてもよい。白煙のような輪郭の薄い像を確実に検出するためには、1/6秒よりも長い時間間隔、例えば、(1/30)×20=2/3秒毎に、監視対象10の画像を取得するようにしてもよい。
【0137】
また、差分画像を生成するために用いる画像としては、上記実施形態の記載した態様に限らない。撮像手段により連続的に取得した複数の画像から任意の2つの画像を選択し、選択した2つの画像から差分画像を生成してもよい。
【0138】
また、演算画像を生成するために用いる差分画像としては、上記実施形態の記載した態様に限らない。撮像手段により連続的に取得した画像から生成された複数の差分画像から任意の2つの差分画像を選択し、選択した2つの差分画像から演算画像を生成してもよい。
【符号の説明】
【0139】
10…監視対象
12…カメラ
14、16…無線中継局
18…PC
20…画像処理装置
22…画像メモリ
24…ディスプレイ
26…アラーム表示装置
図1
図2
図3
図4
図5
図6
図7