特許 6044522 緩徐変化検出システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6044522

(24)【登録日】2016年11月25日

(45)【発行日】2016年12月14日

(54)【発明の名称】緩徐変化検出システム

(51)【国際特許分類】

   H04N 7/18 20060101AFI20161206BHJP

   G08B 25/00 20060101ALI20161206BHJP

【ＦＩ】

   H04N7/18 D

   G08B25/00 510M

【請求項の数】5

【全頁数】11

(21)【出願番号】特願2013-238890(P2013-238890)

(22)【出願日】2013年11月19日

(65)【公開番号】特開2015-100019(P2015-100019A)

(43)【公開日】2015年5月28日

【審査請求日】2015年4月21日

(73)【特許権者】

【識別番号】000006507

【氏名又は名称】横河電機株式会社

(72)【発明者】

【氏名】石川 徹也

(72)【発明者】

【氏名】岡部 宣夫

(72)【発明者】

【氏名】石井 庸介

(72)【発明者】

【氏名】鎌田 健一

【審査官】 秦野 孝一郎

(56)【参考文献】

【文献】 特開平１１−３２６２２６（ＪＰ，Ａ）

【文献】 特開２００８−２９２２６３（ＪＰ，Ａ）

【文献】 特開平１１−１８３３１３（ＪＰ，Ａ）

【文献】 特開２００６−３１９８７９（ＪＰ，Ａ）

【文献】 特開２００１−８１８９（ＪＰ，Ａ）

【文献】 特開２００８−２２４６１０（ＪＰ，Ａ）

【文献】 特開平６−３３７９２２（ＪＰ，Ａ）

【文献】 国際公開第０３／００１４６７（ＷＯ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ７／１８

Ｇ０８Ｂ ２５／００

(57)【特許請求の範囲】

【請求項1】

監視対象物の緩徐変化を検出する緩徐変化検出システムであって、
連続画像を構成する撮像画像を取得する画像取得部と、
前記撮像画像に対応する参照画像を取得する参照画像取得部と、
前記参照画像から前記撮像画像の被写体に対応する参照画像領域を抽出する参照画像領域抽出部と、
前記撮像画像と前記参照画像領域とで相違する領域を抽出し、抽出された領域から、前記抽出された領域の履歴から求められる急激変化領域を除外した領域を緩徐変化領域として検出する変化検出部と
前記緩徐変化領域を示す情報を前記撮像画像に重畳させる表示制御部と、
を備え、
前記変化検出部は、前記抽出された領域について、それより前の時刻の当該領域との比較を行ない、所定の変化量評価値が基準値以上であれば急激変化領域と判定することを特徴とする緩徐変化検出システム。

【請求項2】

前記撮像画像は、撮像位置に関する情報が対応付けられており、
前記参照画像取得部は、撮像位置に関する情報に基づいて対応する参照画像を取得することを特徴とする請求項１に記載の緩徐変化検出システム。

【請求項3】

前記変化検出部は、前記撮像画像と前記参照画像領域とを小領域に分割し、小領域単位で相違するか否かを、所定の手順で算出される類似評価値を用いて判断することを特徴とする請求項１または２に記載の緩徐変化検出システム。

【請求項4】

前記変化検出部は、前記撮像画像の小領域を上下左右に所定量シフトした状態でも類似評価値を算出し、最も評価の高い値を用いてその小領域が相違するか否かを判断することを特徴とする請求項３に記載の緩徐変化検出システム。

【請求項5】

前記参照画像領域抽出部は、抽出した参照画像領域を前記撮像画像と同一の形状、同一の大きさに整形することを特徴とする請求項１〜４のいずれか１項に記載の緩徐変化検出システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、監視対象物の時間的に穏やかに進行する変化を検出する緩徐変化検出システムに関する。

【背景技術】

【0002】

監視カメラを用いて監視対象物の異常を検出することが広く行なわれている。一般に、監視対象物の異常は、監視対象物の画像の何らかの変化によって検出することができる。この変化は監視員が目視で検出することも多いが、情報処理装置を用いた画像認識処理により、画像の変化部分を自動的に検出することも実用化されている。

【0003】

画像の変化部分の検出は、例えば、時間的に連続する複数枚の画像を比較して、差が生じている領域を抽出すること等で行なっている。このような検出方法は、侵入者や異常動作等の監視対象物の急激な変化の検出に適している。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２００５−５７８２号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、監視対象物によっては、人物の動作等の急激な変化ではなく、錆や霜、シミ等の時間的に穏やかに進行する変化を検出したい場合もある。このような緩徐変化は、連続する画像の比較では検出することが難しい。さらに、緩徐変化の検出を目的とする場合には、監視対象物の急激な変化を検出対象から除くことが望ましい。このため、緩徐変化のみを検出する技術の開発が望まれている。

【0006】

そこで、本発明は、穏やかに進行する緩徐変化を検出対象とした緩徐変化検出システムを提供することを目的とする。

【課題を解決するための手段】

【0007】

上記課題を解決するため、本発明の監視対象物の緩徐変化を検出する緩徐変化検出システムは、連続画像を構成する撮像画像を取得する画像取得部と、前記撮像画像に対応する参照画像を取得する参照画像取得部と、前記参照画像から前記撮像画像の被写体に対応する参照画像領域を抽出する参照画像領域抽出部と、前記撮像画像と前記参照画像領域とで相違する領域を抽出し、抽出された領域から、前記抽出された領域の履歴から求められる急激変化領域を除外した領域を緩徐変化領域として検出する変化検出部と前記緩徐変化領域を示す情報を前記撮像画像に重畳させる表示制御部と、を備え、前記変化検出部は、前記抽出された領域について、それより前の時刻の当該領域との比較を行ない、所定の変化量評価値が基準値以上であれば急激変化領域と判定することを特徴とする。
ここで、前記撮像画像は、撮像位置に関する情報が対応付けられており、前記参照画像取得部は、撮像位置に関する情報に基づいて対応する参照画像を取得することができる。
また、前記変化検出部は、前記撮像画像と前記参照画像領域とを小領域に分割し、小領域単位で相違するか否かを、所定の手順で算出される類似評価値を用いて判断することができる。
このとき、前記変化検出部は、前記撮像画像の小領域を上下左右に所定量シフトした状態でも類似評価値を算出し、最も評価の高い値を用いてその小領域が相違するか否かを判断することができる。
また、前記参照画像領域抽出部は、抽出した参照画像領域を前記撮像画像と同一の形状、同一の大きさに整形することができる。

【発明の効果】

【0008】

本発明によれば、穏やかに進行する緩徐変化を検出対象とした緩徐変化検出システムが提供される。

【図面の簡単な説明】

【0009】

【図1】本実施形態に係る緩徐変化検出システムの構成を示すブロック図である。

【図2】本実施形態における監視対象物について説明する図である。

【図3】参照画像の例を説明する図である。

【図4】緩徐変化検出システムの動作について説明するフローチャートである。

【図5】緩徐変化検出システムの動作について説明するフローチャートである。

【図6】参照画像領域抽出部の動作を説明する図である。

【図7】抽出した参照画像領域の整形を説明する図である。

【図8】セルに分割した撮像画像と参照画像領域の例を示す図である。

【図9】セルの類似評価について説明する図である。

【図10】セルの類似評価について説明する図である。

【図11】図８に示した撮像画像の例と参照画像領域の例において相違すると判定されるセルを示す図である。

【図12】急激な変化の検出を説明する図である。

【図13】図８に示した撮像画像の例と参照画像領域の例において緩徐変化であると判定されたセルを示す図である。

【発明を実施するための形態】

【0010】

本発明の実施の形態について図面を参照して説明する。図１は、本実施形態に係る緩徐変化検出システム１００の構成を示すブロック図である。本実施形態では、緩徐変化検出システム１００をプラントにおける監視対象物の緩徐変化検出に適用する場合について説明する。プラントにおける監視対象物の緩徐変化としては、錆や霜、シミ等が挙げられる。一方で、バルブが開閉する動作や操作員の監視対象物に対する操作等は緩徐変化ではないため、検出対象から除外するものとする。

【0011】

本図に示すように、緩徐変化検出システム１００は、ハードウェア部として、連続画像撮像装置１１０、表示装置１２０、位置情報取得装置１３０を備え、ソフトウェア処理部として画像取得部１４０、参照画像取得部１５０、参照画像領域抽出部１６０、変化検出部１７０、表示制御部１８０を備えている。また、緩徐変化検出システム１００は、参照画像データベース（ＤＢ）１９０を備えている。

【0012】

緩徐変化検出システム１００は、１台の可搬型情報処理装置、例えば、タブレット型ＰＣで構成することができる。ただし、複数台の情報処理装置で緩徐変化検出システム１００を構成するようにしてもよい。例えば、ハードウェア部をタブレット型ＰＣ等の可搬型の情報処理装置で構成し、ソフトウェア処理部と参照画像ＤＢ１９０とを別の情報処理装置で構成してもよい。この場合、ハードウェア部とソフトウェア部とが無線あるいは有線で通信可能となるように構成する。

【0013】

連続画像撮像装置１１０は、連続画像（動画）を撮像するカメラである。画像のビットレート、解像度、フォーマット等は任意とすることができる。表示装置１２０は、液晶表示装置等の一般的なディスプレイ装置を用いることができる。

【0014】

位置情報取得装置１３０は、現在位置を測定する装置であり、例えば、ＧＰＳを利用することができる。基地局やアクセスポイントからの信号等を利用して位置情報を取得してもよい。位置情報取得装置１３０が取得する位置情報は、連続画像撮像装置１１０が撮像した画像と対応付けるようにする。これにより、画像を撮像した場所を特定することができるようになる。

【0015】

これらのハードウェア部は、タブレット型ＰＣ等の可搬型の情報処理装置が一般的に備えている機能をそのまま利用することができる。

【0016】

参照画像ＤＢ１９０は、監視対象物の参照画像を格納するデータベースである。参照画像は、基準となる状態の監視対象物をあらかじめ撮影しておいたものである。基準となる状態は、錆や霜、シミ等のない正常な状態であることが望ましい。また、作業員等の短期的に変化する被写体が写り込まないようにしておく。

【0017】

ここで、本実施形態におけるプラントの監視対象物について図２を参照して説明する。本図に示すように、プラントは、複数の監視対象領域（監視対象領域Ａ〜監視対象領域Ｄ）に区分されており、それぞれの監視対象領域に複数個の監視対象物が存在しているものとする。例えば、監視対象領域Ａには監視対象物としてＡ１〜Ａ５が存在し、監視対象領域Ｃには監視対象物としてＣ１〜Ｃ６が存在している。

【0018】

参照画像は、これらの監視対象物を撮影した画像であり、監視対象領域毎にグルーピングしておく。参照画像は、監視対象物を網羅しておれば足り、例えば、図３（ａ）に示すように、監視対象領域内の監視対象物全体を１枚の画像に収めるようにしてもよいし、図３（ｂ）に示すように、複数枚に分けるようにしてもよい。また、同一の対象物が複数の参照画像に写っていてもよい。

【0019】

また、監視対象領域毎にグルーピングされた参照画像には、位置情報を付加しておくようにする。例えば、監視対象領域Ａの参照画像には、監視対象領域Ａの位置情報を付加しておき、監視対象領域Ｂの参照画像には、監視対象領域Ｂの位置情報を付加しておく。位置情報を参照画像のタグ等に記録してもよいし、位置情報と参照画像あるいは監視対象領域とを対応付けた管理用データを用いるようにしてもよい。

【0020】

図１の説明に戻って、画像取得部１４０は、連続画像を撮像する連続画像撮像装置１１０から撮像画像を取得する。画像取得部１４０が取得する撮像画像は、連続画像のすべてのフレームあってもよいし、連続するフレームから一部を抽出して取得してもよい。ただし、同一の対象物が複数フレームに写っている程度の抽出頻度とする。

【0021】

参照画像取得部１５０は、画像取得部１４０が取得した撮像画像に対応する参照画像を参照画像ＤＢ１９０から取得する。上述のように撮像画像には撮影場所の位置情報が対応付けられており、参照画像にはグルーピングされている監視対象領域の位置情報が対応付けられている。このため、これらの位置情報を照合することで撮像画像に対応する参照画像を参照画像ＤＢ１９０から取得することができる。

【0022】

図３（ａ）に示したように、監視対象領域内の監視対象物全体を１枚の画像に収めている場合には、１枚の画像を参照画像として取得し、図３（ｂ）に示したように、監視対象領域内の監視対象物が複数枚の画像に分けられている場合には、複数枚の画像を参照画像として取得する。

【0023】

参照画像領域抽出部１６０は、取得した参照画像から、撮像画像の被写体に対応する領域を抽出する。撮像画像に対応する領域の抽出は、種々の方法を用いることができる。例えば、複数次元の特徴量で表わされた特徴点を設定することで画像の対応関係を評価するＳＩＦＴアルゴリズム、ＳＵＲＦアルゴリズム、統計的学習手法を用いたＨＯＧアルゴリズム等を用いることができる。参照画像から抽出した参照画像領域は、撮像画像に対応させるために整形する。

【0024】

変化検出部１７０は、撮像画像と参照画像領域とを複数のセルに分割して、セル毎に比較し、相違度の大きいセルを変化領域として検出する。このとき、撮像画像の相違セル領域の履歴を用いて急激に変化した領域を識別し、この領域を変化領域から除外することで緩徐変化領域のみを検出対象とする。

【0025】

表示制御部１８０は、変化検出部１７０により検出された緩徐変化領域を、連続画像撮像装置１１０が撮像した連続画像に重畳して表示装置１２０に表示させる。これにより、緩徐変化が検出された領域を視覚的に認識できるようになる。この表示は、リアルタイムに行なうことが望ましいが、リアルタイムでなくてもよい。例えば、連続画像撮像装置１１０が撮像した連続画像を事後的に一括取得して、検出処理および検出結果表示処理を行なうようにしてもよい。

【0026】

次に、緩徐変化検出システム１００の動作について図４、図５のフローチャートを参照して説明する。参照画像ＤＢ１９０には、監視対象領域毎にグルーピングされた参照画像が既に格納されているものとする。

【0027】

動作の際には、作業者が監視対象領域を移動しながら緩徐変化検出システム１００の連続画像撮像装置１１０を利用して監視対象物の連続画像を撮影する。

【0028】

動作を開始すると、画像取得部１４０が連続画像撮像装置１１０から撮像画像を取得する（図４：Ｓ１０１）。そして、参照画像取得部１５０が、取得した撮像画像に付加されている位置情報に基づいて撮影位置を特定する（Ｓ１０２）。撮影位置を特定することにより、どの監視対象領域の撮像画像であるかが判明するため、その監視対象領域にグルーピングされている参照画像を参照画像ＤＢ１９０から取得する（Ｓ１０３）。

【0029】

次に、参照画像領域抽出部１６０が、参照画像から撮像画像の被写体に対応する領域を抽出する（Ｓ１０４）。ここでは、複数次元の特徴量で表わされた特徴点を用いる手法により抽出するものとする。例えば、図６（ａ）は、撮像画像についての所定のアルゴリズムにより設定された特徴点を示している。分かりやすくするため、特徴量を一次元に単純化し、円の大きさで特徴量を示しているものとする。

【0030】

図６（ｂ）は、同じアルゴリズムを用いて参照画像に対して設定した特徴点を示している。参照画像領域抽出部１６０は、特徴点の相互の位置関係等を用いて参照画像と撮像画像との照合を行ない、図６（ｂ）の破線矩形領域に示すように、撮像画像に対応する領域を参照画像から抽出する。抽出した画像を参照画像領域と称する。

【0031】

参照画像領域抽出部１６０は、抽出した参照画像領域を撮像画像と同一の形状、同一の大きさになるように整形する（Ｓ１０５）。例えば、抽出した参照画像領域が図６（ｃ）に示すような形状であった場合、図６（ｄ）に示すように撮像画像と同一の形状、同一の大きさになるように整形する。

【0032】

このとき、撮影角度等の関係から、図７（ａ）に示すような歪んだ形状が抽出された場合にも、図７（ｂ）に示すように撮像画像と同一の形状、同一の大きさになるように整形する。

【0033】

次に、変化検出部１７０が、撮像画像と整形した参照画像領域をそれぞれ複数のセルに分割する（Ｓ１０６）。セルのサイズは任意であるが、例えば、一辺が１０ピクセル程度の矩形とすることができ、撮像画像と参照画像領域とで同じように分割するものとする。

【0034】

図８（ａ）は、セルに分割した撮像画像の例を示し、図８（ｂ）は、セルに分割した参照画像領域の例を示している。参照画像領域は撮像画像と同一の形状、同一の大きさになるように整形されているため、参照画像領域の各セルと撮像画像の各セルとが対応することになる。

【0035】

撮像画像と参照画像領域をそれぞれ複数のセルに分割すると、処理対象のセルを設定する（Ｓ１０７：図５）。処理対象のセルは、各セルの中から所定の順序で設定することができる。

【0036】

そして、処理対象のセルについて撮像画像と参照画像領域とが相違するかどうかを判定する（Ｓ１０８）。撮像画像と参照画像領域とが相違していれば、撮像画像が参照画像の状態から変化していることを示すことになる。相違するかどうかの判定は、例えば、位置が対応する画素同士の画素値の差を算出し、差の絶対値の累計が小さいほど値が高くなる類似評価値を用いて行なうことができる。

【0037】

このとき、撮像画像と参照画像領域とのずれを考慮して、図９に示すように、参照画像領域のセルにマージンを設け、撮像画像セルを上下左右に数ドットシフトさせた状態でも類似評価値を算出し、最も値の大きい類似評価値を採用することが望ましい。

【0038】

そして、類似評価値が基準値以上であれば、撮像画像と参照画像領域とは類似する、すなわち、相違しないものと判定する。一方、類似評価値が基準値未満であれば、撮像画像と参照画像領域とは類似しない、すなわち、相違するものと判定する。

【0039】

図１０（ａ）に示した例では、撮像画像セルをシフトさせたときに最も高い値となった類似評価値が基準値以上であるため、撮像画像と参照画像領域とは類似する、すなわち、相違しないものと判定する。一方、図１０（ｂ）に示した例では、撮像画像セルをシフトさせたときに最も高い値となった類似評価値が基準値未満であるため、撮像画像と参照画像領域とは類似しない、すなわち、相違するものと判定する。

【0040】

このようなセル毎の相違判定を、処理対象セルを順次変化させて、すべてのセルに対して繰り返す（Ｓ１０９）。これにより、撮像画像において参照画像領域と異なる領域が抽出される。図１１は、図８に示した撮像画像の例と参照画像領域の例において相違すると判定されたセルを示している。

【0041】

撮像画像に相違すると判定されたセルが含まれている場合（Ｓ１１０：Ｙｅｓ）は、その相違が緩徐変化であるか急激に変化したものであるかの判定を行なう（Ｓ１１１）。これは、急激な変化を検出対象から除外するためである。

【0042】

急激に変化したものであるかどうかの判定は、処理対象の撮像画像よりも時間的に少し前の相違セル領域と処理対象の撮像画像の相違セル領域とを比較することにより行なうことができる。このため、撮像画像の相違セル領域は一時的に保存しておくようにする。

【0043】

例えば、処理対象画像の相違セル領域が、図１２（ａ）に示す時刻Ｔ（ｔ）の画像であるとすると、図１２（ｂ）に示す時刻Ｔ（ｔ）より前の時刻Ｔ（ｔ−１）の画像の相違セル領域と比較を行なう。画像そのものを用いずに、相違セル領域の情報があれば足りる。そして、相違セル領域の連結部分を１つのオブジェクトとして、オブジェクト毎に重心と面積とを計算する。本図の例では、２つのオブジェクトが存在している。

【0044】

時刻Ｔ（ｔ−１）の画像のオブジェクトと時刻Ｔ（ｔ）の画像のオブジェクトとは容易に対応付けられるため、各オブジェクトに対して時刻Ｔ（ｔ−１）から時刻Ｔ（ｔ）までの重心と面積の変化を計算する。そして、その変化量が所定の基準値以上であれば、そのオブジェクトは急激な変化をしたものと見なして、そのオブジェクトを構成するセルは急激に変化したセルと判定する。

【0045】

この結果、急激に変化した判定されたセルを、処理（Ｓ１０８）で相違すると判定されたセルから除外することで、撮像画像の緩徐変化セルを決定する（Ｓ１１２）。図１３は、図８に示した撮像画像の例と参照画像領域の例において緩徐変化であると判定されたセルを示している。

【0046】

そして、表示制御部１８０が、緩徐変化の検出結果を表示装置１２０に出力する（Ｓ１１３）。検出結果は、緩徐変化であると判定されたセルを示す領域を撮像画像に重畳させて出力するものとする。また、以降の急激変化判定のために、撮像画像の相違セル領域を一時的に保存する（Ｓ１１４）

【0047】

以上の処理を、連続画像撮像装置１１０による撮像を終了するまで繰り返す（Ｓ１１５）ことで、撮像画像に写っている監視対象物の緩徐変化を検出することができる。

【0048】

本実施形態の緩徐変化検出システム１００によれば、撮像画像に基づいてシステムが緩徐変化を検出するため、簡易で手間がかからないのに加え、見落としや判断ミス等を防ぐことができるようになる。また、検出結果が撮像画像に重畳して表示されるため、熟練者でなくても容易に緩徐変化を検出することができるようになる。

【0049】

なお、本発明は、上記の実施形態に限られず、種々の変形が可能である。例えば、通常の連続画像に加え、あるいは通常の連続画像に代えて赤外線連続画像を用いるようにしてもよい。これにより、監視対象物の温度の緩徐変化を検出対象としたり、暗所でも検出処理を行なうことができるようになる。この場合、参照画像も赤外線撮像しておくようにする。

【0050】

また、連続画像撮像装置１１０による監視対象領域の撮像を自動化したり、遠隔操作するようにしてもよい。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】