特開 2024-20992 異常検知システム及び異常検知プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024020992

(43)【公開日】2024-02-15

(54)【発明の名称】異常検知システム及び異常検知プログラム

(51)【国際特許分類】

   G05B 23/02 20060101AFI20240207BHJP

   G06T 7/00 20170101ALI20240207BHJP

   G06V 10/70 20220101ALI20240207BHJP

【ＦＩ】

G05B23/02 302Z

G05B23/02 302R

G06T7/00 300E

G06V10/70

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2022123593

(22)【出願日】2022-08-02

(71)【出願人】

【識別番号】000220262

【氏名又は名称】東京瓦斯株式会社

(74)【代理人】

【識別番号】110001519

【氏名又は名称】弁理士法人太陽国際特許事務所

(72)【発明者】

【氏名】山田 隆誠

【テーマコード（参考）】

3C223

5L096

【Ｆターム（参考）】

3C223AA02

3C223AA18

3C223AA23

3C223BA03

3C223BB08

3C223CC02

3C223DD03

3C223EB05

3C223FF02

3C223FF12

3C223FF13

3C223FF14

3C223FF15

3C223FF35

3C223FF42

3C223GG01

3C223HH06

3C223HH07

3C223HH29

5L096AA02

5L096AA06

5L096BA02

5L096CA02

5L096CA27

5L096DA02

5L096DA03

5L096EA12

5L096FA02

5L096FA59

5L096FA64

5L096FA69

5L096GA08

5L096GA51

5L096HA09

5L096JA11

(57)【要約】

【課題】環境的な条件による影響を低減させ、より高精度に対象物の異常の発生を検知することができる異常検知システム及びプログラムを得る。
【解決手段】異常検知システム１は、対象物が設けられた環境における環境条件を示す環境情報を取得する取得部１１Ａと、対象物が正常である場合に、取得した環境情報が示す環境条件が異なる場合において各々撮影装置８０Ａによって得られた複数の画像情報を、対応する環境情報に関連付けて情報蓄積装置３０に登録する登録部１１Ｂと、対象物の異常発生の検知対象期間において、取得した環境情報が示す環境条件に最も近い環境条件を示す環境情報に関連付けられた画像情報を基準画像情報として情報蓄積装置３０から読み出し、読み出した基準画像情報が示す基準画像と、撮影装置８０Ａによって得られた検知対象画像情報が示す検知対象画像との比較によって対象物の異常の発生状況を検知する検知部１１Ｄと、を備える。
【選択図】図３

【特許請求の範囲】

【請求項1】

対象物の少なくとも一部を含む領域か、又は前記対象物の周囲の予め定められた範囲内を含む領域を撮影する撮影部と、
前記対象物が設けられている環境における予め定められた種類の環境条件を示す環境情報を取得する取得部と、
前記対象物が正常である場合に、前記取得部によって取得された環境情報が示す環境条件が異なる場合において各々前記撮影部による撮影によって得られると想定される複数の画像情報を、対応する環境情報に関連付けて記憶部に登録する登録部と、
前記対象物の異常発生の検知対象期間において、前記取得部によって取得された環境情報が示す環境条件に最も近い環境条件を示す環境情報に関連付けられて登録された画像情報を基準画像情報として前記記憶部から読み出し、読み出した基準画像情報が示す基準画像と、前記撮影部による撮影によって得られた検知対象画像情報が示す検知対象画像との比較によって前記対象物の異常の発生状況を検知する検知部と、
を備えた異常検知システム。

【請求項2】

前記比較を行うに先立ち、前記基準画像情報及び前記検知対象画像情報の少なくとも一方に対して、前記基準画像と前記検知対象画像との間の輝度の差を小さくする画像処理を行う画像処理部、
を更に備えた請求項１に記載の異常検知システム。

【請求項3】

前記環境情報は、照度を示す照度情報を含み、
前記画像処理部は、前記基準画像の環境の照度と前記検知対象画像の環境の照度との差に応じて前記画像処理を行う、
請求項２に記載の異常検知システム。

【請求項4】

前記撮影部は、カラー画像を撮影するものである、
請求項１～請求項３の何れか１項に記載の異常検知システム。

【請求項5】

前記環境情報は、天候に関する天候情報、時期に関する時期情報、及び環境値に関する環境値情報の少なくとも１つを含む、
請求項１～請求項３の何れか１項に記載の異常検知システム。

【請求項6】

前記天候情報は、天気を示す天気情報及び雲量を示す雲量情報の少なくとも一方を含み、前記時期情報は、日時を示す日時情報及び季節を示す季節情報の少なくとも一方を含み、前記環境値情報は、照度を示す照度情報を含む、
請求項５に記載の異常検知システム。

【請求項7】

前記検知部は、前記基準画像情報と前記検知対象画像情報との差分情報から、前記対象物の異常箇所及び異常の原因の少なくとも一方を更に検知する、
請求項１～請求項３の何れか１項に記載の異常検知システム。

【請求項8】

対象物の少なくとも一部を含む領域か、又は前記対象物の周囲の予め定められた範囲内を含む領域を撮影する撮影部を備えた異常検知システムにおいて実行されるプログラムであって、
前記対象物が設けられている環境における予め定められた種類の環境条件を示す環境情報を取得し、
前記対象物が正常である場合に、取得した環境情報が示す環境条件が異なる場合において各々前記撮影部による撮影によって得られると想定される複数の画像情報を、対応する環境情報に関連付けて記憶部に登録し、
前記対象物の異常発生の検知対象期間において、取得した環境情報が示す環境条件に最も近い環境条件を示す環境情報に関連付けられて登録された画像情報を基準画像情報として前記記憶部から読み出し、読み出した基準画像情報が示す基準画像と、前記撮影部による撮影によって得られた検知対象画像情報が示す検知対象画像との比較によって前記対象物の異常の発生状況を検知する、
処理をコンピュータに実行させるための異常検知プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、異常検知システム及び異常検知プログラムに関する。

【背景技術】

【0002】

ガスエンジン、ガスタービン等のエネルギー設備は、生成されるエネルギーを常時使用できることが求められるため、その点検は欠かせないものとなっている。

【0003】

従来、以上のようなエネルギー設備等の対象物に対する点検を、現場へ赴くことなく点検するための技術として、撮影装置による撮影によって得られた画像情報を用いる技術があった。この技術によれば、対象物が遠隔地にある場合であっても、いつでも点検を行うことができ、更には、コンピュータによって異常の検知も自動的に行うことができるため、その利便性は著しく高い。

【0004】

このように、撮影画像を用いて対象物の点検、更には異常を検知するために適用することのできる従来の技術として、以下に示す技術があった。

【0005】

特許文献１には、簡単な構成により検出精度を高めることができる低コストの画像処理装置を提供することを目的とした発明が開示されている。

【0006】

この画像処理装置は、検出対象を撮像する撮像部と、前記検出対象を検出するセンサと、前記検出対象を特定する際、前記センサからの情報を用いて前記撮像部からの撮像信号を処理するパラメータを設定し、前記パラメータを用いて前記撮像信号を処理するパラメータ処理部とを備えている。

【0007】

また、特許文献２には、異常の有無の判定や異常の内容の診断に有用な種類の観測データを適切に選択して効率よく取得し、異常の有無の判定や異常の内容の診断の精度を確保することが可能な監視システムを提供することを目的とした発明が開示されている。

【0008】

この監視システムは、情報処理装置を用いて構成される監視システムであって、１以上の第１センサにより取得される１以上の第１観測データ、及び１以上の第２センサにより取得される１以上の第２観測データを提供する観測装置と通信ネットワークを介して通信する通信部、前記第１観測データに基づき監視対象の異常の有無を判定する異常判定部、及び、前記異常判定部が前記監視対象に異常があると判定した場合に、前記通信ネットワークを介した通信におけるコストに基づき１以上の前記第２センサを選択し、選択した１以上の前記第２センサにより取得される１以上の前記第２観測データに基づき前記監視対象の異常の内容を診断する異常診断部、を備える。

【0009】

更に、特許文献３には、異常検知に適した画像変換のためのパラメータと、画像変換が施された画像の異常又は正常を識別するためのパラメータとを、同時に最適化することで、高精度な異常検知を可能にし得る異常検知装置を提供することを目的とした発明が開示されている。

【0010】

この異常検知装置は、検査対象が写っている検査画像と、前記検査対象が正常な状態を示す基準画像とを用いて、前記検査対象の異常を検知するための装置であって、前記検査画像、前記基準画像、及び画像変換パラメータ算出用パラメータに基づいて、画像変換パラメータを算出し、算出した前記画像変換パラメータを用いて、前記検査画像中の前記検査対象が、前記基準画像中の前記検査対象に重なるように、前記検査画像を画像変換する、画像変換部と、前記基準画像と画像変換された前記検査画像とを、変化検出パラメータを用いて照合して、前記検査画像の特定の領域における変化の有無を示す異常確信度を算出する、画像変化検出部と、を備える。

【0011】

また、この異常検知装置は、前記特定の領域における変化の正解値を示す教師画像と、前記画像変化検出部が算出した前記異常確信度との差分に基づいて、前記変化検出パラメータを学習する、変化検出パラメータ学習部と、前記教師画像と前記画像変化検出部が算出した前記異常確信度との差分から求められた、画像変換された前記検査画像に与えるべき修正量に基づいて、前記画像変換パラメータ算出用パラメータを学習する、画像変換パラメータ学習部と、を備える。

【先行技術文献】

【特許文献】

【0012】

【特許文献1】特開２００３－２９９０６６号公報

【特許文献2】特開２０２１－８９６４２号公報

【特許文献3】特許第６８６００７９号公報

【発明の概要】

【発明が解決しようとする課題】

【0013】

通常、屋外及び屋内の別に関わらず、撮影画像は、明るさや天候等といった環境的な条件に応じて変化が生じることが一般的であり、設備等の対象物の異常を撮影画像から検知する場合には、当該環境的な条件も考慮する必要がある。

【0014】

これに対し、特許文献１～特許文献３に記載される従来の技術は、何れも環境的な条件については考慮されておらず、必ずしも精度よく、対象物の異常を検知することができるとは限らない、という問題点があった。

【0015】

本発明は、以上の事情に鑑みて成されたものであり、環境的な条件による影響を低減させ、より高精度に対象物の異常の発生を検知することができる異常検知システム及び異常検知プログラムを提供することを目的とする。

【課題を解決するための手段】

【0016】

請求項１に記載の異常検知システムは、対象物の少なくとも一部を含む領域か、又は前記対象物の周囲の予め定められた範囲内を含む領域を撮影する撮影部と、前記対象物が設けられている環境における予め定められた種類の環境条件を示す環境情報を取得する取得部と、前記対象物が正常である場合に、前記取得部によって取得された環境情報が示す環境条件が異なる場合において各々前記撮影部による撮影によって得られると想定される複数の画像情報を、対応する環境情報に関連付けて記憶部に登録する登録部と、前記対象物の異常発生の検知対象期間において、前記取得部によって取得された環境情報が示す環境条件に最も近い環境条件を示す環境情報に関連付けられて登録された画像情報を基準画像情報として前記記憶部から読み出し、読み出した基準画像情報が示す基準画像と、前記撮影部による撮影によって得られた検知対象画像情報が示す検知対象画像との比較によって前記対象物の異常の発生状況を検知する検知部と、を備える。

【0017】

請求項１に記載の異常検知システムによれば、対象物が正常である場合に、取得された環境情報が示す環境条件が異なる場合において各々撮影によって得られると想定される複数の画像情報を、対応する環境情報に関連付けて登録し、対象物の異常発生の検知対象期間において、取得された環境情報が示す環境条件に最も近い環境条件を示す環境情報に関連付けられて登録された画像情報を基準画像情報として読み出し、読み出した基準画像情報が示す基準画像と、撮影によって得られた検知対象画像情報が示す検知対象画像との比較によって対象物の異常の発生状況を検知することで、環境的な条件による影響を低減させ、より高精度に対象物の異常の発生を検知することができる。

【0018】

請求項２に記載の異常検知システムは、請求項１に記載の異常検知システムであって、前記比較を行うに先立ち、前記基準画像情報及び前記検知対象画像情報の少なくとも一方に対して、前記基準画像と前記検知対象画像との間の輝度の差を小さくする画像処理を行う画像処理部、を更に備える。

【0019】

請求項２に記載の異常検知システムによれば、上記比較を行うに先立ち、基準画像情報及び検知対象画像情報の少なくとも一方に対して、基準画像と検知対象画像との間の輝度の差を小さくする画像処理を行うことで、より高精度に対象物の異常の発生を検知することができる。

【0020】

請求項３に記載の異常検知システムは、請求項２に記載の異常検知システムであって、前記環境情報が、照度を示す照度情報を含み、前記画像処理部が、前記基準画像の環境の照度と前記検知対象画像の環境の照度との差に応じて前記画像処理を行う。

【0021】

請求項３に記載の異常検知システムによれば、環境情報が照度を示す照度情報を含み、基準画像の環境の照度と検知対象画像の環境の照度との差に応じて画像処理を行うことで、他の物理量に応じて画像処理を行う場合に比較して、より簡易に対象物の異常の発生を検知することができる。

【0022】

請求項４に記載の異常検知システムは、請求項１～請求項３の何れか１項に記載の異常検知システムであって、前記撮影部が、カラー画像を撮影するものとされている。

【0023】

請求項４に記載の異常検知システムによれば、撮影部を、カラー画像を撮影するものとすることで、より多様な異常を検知することができる。

【0024】

請求項５に記載の異常検知システムは、請求項１～請求項３の何れか１項に記載の異常検知システムであって、前記環境情報が、天候に関する天候情報、時期に関する時期情報、及び環境値に関する環境値情報の少なくとも１つを含む。

【0025】

請求項５に記載の異常検知システムによれば、環境情報を、天候に関する天候情報、時期に関する時期情報、及び環境値に関する環境値情報の少なくとも１つを含むものとすることで、含めた情報に対応する基準画像を適用することができる。

【0026】

請求項６に記載の異常検知システムは、請求項５に記載の異常検知システムであって、前記天候情報が、天気を示す天気情報及び雲量を示す雲量情報の少なくとも一方を含み、前記時期情報が、日時を示す日時情報及び季節を示す季節情報の少なくとも一方を含み、前記環境値情報が、照度を示す照度情報を含む。

【0027】

請求項６に記載の異常検知システムによれば、天候情報を、天気を示す天気情報及び雲量を示す雲量情報の少なくとも一方を含むものとし、時期情報を、日時を示す日時情報及び季節を示す季節情報の少なくとも一方を含むものとし、環境値情報を、照度を示す照度情報を含むものとすることで、含めた情報に対応する基準画像を適用することができる。

【0028】

請求項７に記載の異常検知システムは、請求項１～請求項３の何れか１項に記載の異常検知システムであって、前記検知部が、前記基準画像情報と前記検知対象画像情報との差分情報から、前記対象物の異常箇所及び異常の原因の少なくとも一方を更に検知する。

【0029】

請求項７に記載の異常検知システムによれば、基準画像情報と検知対象画像情報との差分情報から、対象物の異常箇所及び異常の原因の少なくとも一方を更に検知することで、ユーザにとっての利便性を、より向上させることができる。

【0030】

請求項８に記載の異常検知プログラムは、対象物の少なくとも一部を含む領域か、又は前記対象物の周囲の予め定められた範囲内を含む領域を撮影する撮影部を備えた異常検知システムにおいて実行されるプログラムであって、前記対象物が設けられている環境における予め定められた種類の環境条件を示す環境情報を取得し、前記対象物が正常である場合に、取得した環境情報が示す環境条件が異なる場合において各々前記撮影部による撮影によって得られると想定される複数の画像情報を、対応する環境情報に関連付けて記憶部に登録し、前記対象物の異常発生の検知対象期間において、取得した環境情報が示す環境条件に最も近い環境条件を示す環境情報に関連付けられて登録された画像情報を基準画像情報として前記記憶部から読み出し、読み出した基準画像情報が示す基準画像と、前記撮影部による撮影によって得られた検知対象画像情報が示す検知対象画像との比較によって前記対象物の異常の発生状況を検知する、処理をコンピュータに実行させる。

【0031】

請求項８に記載の異常検知プログラムによれば、対象物が正常である場合に、取得された環境情報が示す環境条件が異なる場合において各々撮影によって得られると想定される複数の画像情報を、対応する環境情報に関連付けて登録し、対象物の異常発生の検知対象期間において、取得された環境情報が示す環境条件に最も近い環境条件を示す環境情報に関連付けられて登録された画像情報を基準画像情報として読み出し、読み出した基準画像情報が示す基準画像と、撮影によって得られた検知対象画像情報が示す検知対象画像との比較によって対象物の異常の発生状況を検知することで、環境的な条件による影響を低減させ、より高精度に対象物の異常の発生を検知することができる。

【発明の効果】

【0032】

以上説明したように、本発明によれば、環境的な条件による影響を低減させ、より高精度に対象物の異常の発生を検知することができる。

【図面の簡単な説明】

【0033】

【図1】実施形態に係る異常検知システムの全体的な構成の一例を示すブロック図である。

【図2】実施形態に係る異常検知装置のハードウェア構成の一例を示すブロック図である。

【図3】実施形態に係る異常検知装置の機能的な構成の一例を示すブロック図である。

【図4】実施形態に係る基準画像情報データベースの構成の一例を示す模式図である。

【図5】実施形態に係る原因情報データベースの構成の一例を示す模式図である。

【図6】実施形態に係る登録処理の流れの一例を示すフローチャートである。

【図7】実施形態に係る異常検知処理の流れの一例を示すフローチャートである。

【図8】実施形態に係る異常提示画面の構成の一例を示す正面図である。

【発明を実施するための形態】

【0034】

以下、図面を参照して、本発明を実施するための形態例を詳細に説明する。なお、本実施形態では、本発明の対象物として、エネルギー供給会社が保有する、ガスエンジン、ガスタービン等といったエネルギー設備を適用した場合について説明するが、これに限るものではない。例えば、空調設備、水道設備等の他の設備や、スーパーコンピュータ等の情報処理装置等、異常の発生の検知対象となる物であれば、如何なる物も本発明の対象物として適用し得る。

【0035】

まず、図１を参照して、本実施形態に係る異常検知システム１の構成を説明する。図１は、本実施形態に係る異常検知システム１の全体的な構成の一例を示すブロック図である。

【0036】

図１に示すように、本実施形態に係る異常検知システム１は、本システムの中心的な役割を担う異常検知装置１０を含む。また、本実施形態に係る異常検知システム１は、各種データベースを蓄積する情報蓄積装置３０と、各種気象情報を蓄積する気象情報サーバ９０と、を含む。

【0037】

また、本実施形態に係る異常検知システム１は、異常検知システム１が管理対象としている複数のエネルギー供給会社７０が各々保有するエネルギー設備８０に各々対応して設けられた撮影装置８０Ａ及び環境センサ８０Ｂを含む。

【0038】

本実施形態に係る撮影装置８０Ａは、対応するエネルギー設備８０における、異常が発生し得る領域を含む予め定められた対象領域（以下、単に「対象領域」という。）が撮影画角内に収まるように予め位置決めされている。なお、本実施形態では、撮影装置８０Ａとして、カラーの動画像を撮影するものを適用しているが、これに限るものではない。例えば、モノクロ又はグレイスケールの動画像を撮影するものを撮影装置８０Ａとして適用する形態としてもよいし、動画像を撮影する撮影装置のみならず、静止画像を撮影する撮影装置を撮影装置８０Ａとして適用する形態としてもよい。

【0039】

本実施形態では、単一の撮影装置８０Ａによって対象領域の全体を一方向から撮影するものとされているが、これに限るものではない。例えば、撮影装置８０Ａを複数用意することで、当該複数の撮影装置８０Ａにより、対応するエネルギー設備８０に対して死角がないように撮影する形態としてもよい。

【0040】

また、本実施形態に係る環境センサ８０Ｂは、環境値に関する環境値情報を取得するためのものであり、対応するエネルギー供給会社７０の敷地内における、撮影装置８０Ａによる撮影画角内に設けられている。本実施形態に係る環境センサ８０Ｂは、環境値情報として照度を計測するものとされているが、これに限るものではない。例えば、照度に代えて輝度や、グローブ温度を計測するものを環境センサ８０Ｂとして適用する形態としてもよい。

【0041】

一方、本実施形態に係る気象情報サーバ９０は、異常検知システム１が取得対象としている環境情報のうち、環境センサ８０Ｂでは計測できない、天候に関する天候情報（本実施形態では、天気を示す天気情報及び雲量を示す雲量情報）を逐次蓄積するサーバである。なお、気象情報サーバ９０によって記憶される天候情報は、気象庁、ウェザーニュース等によって公開されている情報から得ることができる。

【0042】

また、本実施形態に係る情報蓄積装置３０は不揮発性の記憶部３２を備えている。記憶部３２はＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、フラッシュメモリ等によって実現される。記憶媒体としての記憶部３２には、基準画像情報データベース３２Ａ及び原因情報データベース３２Ｂが記憶されている。基準画像情報データベース３２Ａ及び原因情報データベース３２Ｂについては、詳細を後述する。

【0043】

異常検知装置１０と、情報蓄積装置３０と、各エネルギー供給会社７０に設けられた撮影装置８０Ａ及び環境センサ８０Ｂと、気象情報サーバ９０とは、ネットワークＮを介して接続されている。異常検知装置１０は、情報蓄積装置３０、撮影装置８０Ａ、環境センサ８０Ｂ、及び気象情報サーバ９０とネットワークＮを介して相互に通信可能とされている。なお、本実施形態では、ネットワークＮとしてインターネット、電話回線等の公共の通信回線を適用しているが、この形態に限定されるものではない。ネットワークＮとして、例えば、ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）等の企業内の通信回線を適用してもよく、これらの企業内の通信回線及び公共の通信回線を組み合わせて適用してもよい。また、本実施形態では、ネットワークＮとして有線の通信回線を適用しているが、この形態に限定されるものではなく、無線の通信回線を適用してもよく、有線及び無線の各通信回線を組み合わせて適用してもよい。

【0044】

なお、本実施形態に係る異常検知装置１０、情報蓄積装置３０、及び気象情報サーバ９０の例としては、パーソナル・コンピュータ及びサーバコンピュータ等の各種情報処理装置が挙げられる。

【0045】

次に、図２を参照して、本実施形態に係る異常検知装置１０のハードウェア構成を説明する。図２は、本実施形態に係る異常検知装置１０のハードウェア構成の一例を示すブロック図である。

【0046】

本実施形態に係る異常検知装置１０は、ＣＰＵ（Central Processing Unit）１１、一時記憶領域としてのメモリ１２、不揮発性の記憶部１３、キーボードとマウス等の入力部１４、液晶ディスプレイ等の表示部１５、媒体読み書き装置（Ｒ／Ｗ）１６及び通信インタフェース（Ｉ／Ｆ）部１８を備えている。ＣＰＵ１１、メモリ１２、記憶部１３、入力部１４、表示部１５、媒体読み書き装置１６及び通信Ｉ／Ｆ部１８はバスＢを介して互いに接続されている。媒体読み書き装置１６は、記録媒体１７に書き込まれている情報の読み出し及び記録媒体１７への情報の書き込みを行う。

【0047】

記憶部１３はＨＤＤ、ＳＳＤ、フラッシュメモリ等によって実現される。記憶媒体としての記憶部１３には、登録プログラム１３Ａ及び異常検知プログラム１３Ｂが記憶されている。これらの各プログラムは、当該各プログラムが書き込まれた記録媒体１７が媒体読み書き装置１６にセットされ、媒体読み書き装置１６が記録媒体１７からの上記各プログラムの読み出しを行うことで、記憶部１３へ記憶（インストール）される。ＣＰＵ１１は、登録プログラム１３Ａ及び異常検知プログラム１３Ｂの各プログラムを記憶部１３から順次読み出してメモリ１２に展開し、当該各プログラムが有するプロセスを順次実行する。

【0048】

次に、図３を参照して、本実施形態に係る異常検知装置１０の機能的な構成について説明する。図３は、本実施形態に係る異常検知装置１０の機能的な構成の一例を示すブロック図である。

【0049】

図３に示すように、本実施形態に係る異常検知装置１０は、取得部１１Ａ、登録部１１Ｂ、画像処理部１１Ｃ、及び検知部１１Ｄを含む。異常検知装置１０のＣＰＵ１１が登録プログラム１３Ａ及び異常検知プログラム１３Ｂを実行することで、取得部１１Ａ、登録部１１Ｂ、画像処理部１１Ｃ、及び検知部１１Ｄとして機能する。

【0050】

本実施形態に係る取得部１１Ａは、対象物（本実施形態では、エネルギー設備８０）が設けられている環境における予め定められた種類の環境条件を示す環境情報を取得する。本実施形態に係る取得部１１Ａでは、環境情報として、上述した環境センサ８０Ｂにより得られる環境値情報及び気象情報サーバ９０から得られる天候情報を取得することに加え、時期に関する情報（以下、「時期情報」という。）として、季節を示す情報（以下、「季節情報」という。）、及び日時を示す情報（以下、「日時情報」という。）を取得する。この季節情報及び日時情報は、異常検知装置１０に搭載された時計機能によって得ることができる。

【0051】

また、本実施形態に係る登録部１１Ｂは、対象物が正常である場合に、取得部１１Ａによって取得された環境情報が示す環境条件が異なる場合において各々撮影装置８０Ａによる撮影によって得られると想定される複数の画像情報を、対応する環境情報に関連付けて情報蓄積装置３０の記憶部３２に登録する。

【0052】

なお、本実施形態では、上記画像情報として、撮影装置８０Ａによる撮影によって得られた画像情報そのものを適用しているが、これに限るものではない。例えば、画像編集等によって作成された画像情報を、上記画像情報として適用する形態としてもよい。また、撮影装置８０Ａによって撮影を行う際に、ライティングを行うこと等によって、後述する異常発生の検知対象期間に環境条件を合わせるようにする形態としてもよい。

【0053】

また、本実施形態に係る検知部１１Ｄは、対象物の異常発生の検知対象期間において、取得部１１Ａによって取得された環境情報が示す環境条件に最も近い環境条件を示す環境情報に関連付けられて登録された画像情報を基準画像情報として記憶部３２から読み出す。そして、検知部１１Ｄは、読み出した基準画像情報が示す基準画像と、撮影装置８０Ａによる撮影によって得られた検知対象画像情報が示す検知対象画像との比較によって対象物の異常の発生状況を検知する。

【0054】

一方、本実施形態に係る画像処理部１１Ｃは、上記比較を行うに先立ち、基準画像情報及び検知対象画像情報の少なくとも一方に対して、基準画像と検知対象画像との間の輝度の差を小さくする画像処理を行う。ここで、本実施形態に係る画像処理部１１Ｃは、基準画像の環境の照度と検知対象画像の環境の照度との差に応じて上記画像処理を行う。

【0055】

本実施形態では、画像処理部１１Ｃによる画像処理の対象として検知対象画像情報を適用しているが、これに限るものではない。例えば、基準画像情報を上記画像処理の対象とする形態としてもよいし、検知対象画像情報及び基準画像情報の双方を上記画像処理の対象とする形態としてもよい。

【0056】

また、本実施形態に係る検知部１１Ｄは、基準画像情報と検知対象画像情報との差分情報から、対象物の異常箇所及び異常の原因の少なくとも一方（本実施形態では、両方）を更に検知する。

【0057】

なお、本実施形態では、検知部１１Ｄによる検知結果を、表示部１５による表示によって提示しているが、これに限るものではない。例えば、画像形成装置による印刷による提示や、音声再生装置による音声による提示を、検知部１１Ｄによる検知結果の提示として適用する形態としてもよい。

【0058】

次に、図４を参照して、本実施形態に係る基準画像情報データベース３２Ａについて説明する。図４は、本実施形態に係る基準画像情報データベース３２Ａの構成の一例を示す模式図である。

【0059】

図４に示すように、本実施形態に係る基準画像情報データベース３２Ａは、設備ＩＤ（Identification）、環境情報、及び画像情報の各情報が関連付けられて記憶される。

【0060】

上記設備ＩＤは、異常検知システム１が管理対象としているエネルギー設備８０の各々を識別するために、エネルギー設備８０の各々毎に異なるものとして予め付与された情報である。また、上記環境情報は、上述した環境情報そのものを示す情報であり、上記画像情報は、対応するエネルギー設備８０において、対応する環境情報が示す環境条件において撮影装置８０Ａによる撮影によって得られた画像情報である。

【0061】

なお、上述したように、本実施形態に係る環境情報には、時期情報（季節情報及び日時情報）、環境値情報（照度）、及び天候情報（天気情報及び雲量情報）が含まれている。

【0062】

次に、図５を参照して、本実施形態に係る原因情報データベース３２Ｂについて説明する。図５は、本実施形態に係る原因情報データベース３２Ｂの構成の一例を示す模式図である。

【0063】

図５に示すように、本実施形態に係る原因情報データベース３２Ｂは、差分画像の特徴、異常箇所、及び原因の各情報が関連付けられて記憶される。

【0064】

上記差分画像の特徴は、上記差分情報が示す差分画像の特徴を示す情報であり、上記異常箇所及び上記原因は、当該差分画像が、対応する差分画像の特徴に合致する場合における異常の箇所及びその原因を示す情報である。

【0065】

図５に示す例では、差分画像に緑色で所定長さ以上の縦長画像がある場合の異常の箇所は正面視右上部であり、その異常の原因はＡ液の液漏れによるものであるとの情報が登録されている。

【0066】

次に、図６～図８を参照して、本実施形態に係る異常検知装置１０の作用を説明する。まず、図６を参照して、登録処理を実行する場合の異常検知装置１０の作用を説明する。図６は、本実施形態に係る登録処理の流れの一例を示すフローチャートである。なお、ここでは、基準画像情報データベース３２Ａにおける設備ＩＤ及び日時の各情報が予め登録されている場合について説明する。

【0067】

基準画像情報データベース３２Ａの環境情報における日時情報が示す日時となった場合に、異常検知装置１０のＣＰＵ１１が登録プログラム１３Ａを実行することにより、図６に示す登録処理が実行される。

【0068】

図６のステップ１００で、ＣＰＵ１１は、異常検知システム１が管理対象としている何れかのエネルギー設備８０（以下、「処理対象設備」という。）について、撮影装置８０Ａによる撮影によって得られた画像情報を取得する。また、ステップ１００で、ＣＰＵ１１は、処理対象設備に設けられた環境センサ８０Ｂ及び気象情報サーバ９０から上述した環境値情報及び天候情報を取得する。更に、ステップ１００で、ＣＰＵ１１は、異常検知装置１０に搭載されている時計機能によって、日時情報を除く、上述した時期情報を取得する。

【0069】

ステップ１０２で、ＣＰＵ１１は、取得した画像情報、環境値情報、天候情報、及び時期情報を関連付けて、基準画像情報データベース３２Ａの対応する記憶領域に記憶する。

【0070】

ステップ１０４で、ＣＰＵ１１は、全てのエネルギー設備８０についてステップ１０２による各種情報の記憶が終了したか否かを判定し、否定判定となった場合はステップ１００に戻る一方、肯定判定となった場合は本登録処理を終了する。なお、ステップ１００～ステップ１０４の処理を繰り返し実行する際に、ＣＰＵ１１は、それまでに処理対象としなかったエネルギー設備８０を処理対象設備とする。

【0071】

本登録処理により、一例として図４に示した基準画像情報データベース３２Ａが構築されることになる。なお、本実施形態では、日時情報が示す日時に、各エネルギー設備８０の各々毎に一組のみの情報を取得して基準画像情報データベース３２Ａに登録しているが、これに限るものでないことは言うまでもない。

【0072】

次に、図７～図８を参照して、異常検知処理を実行する場合の異常検知装置１０の作用を説明する。図７は、本実施形態に係る異常検知処理の流れの一例を示すフローチャートである。

【0073】

予め定められたタイミング（本実施形態では、毎日の１時間刻みのタイミング）で、異常検知装置１０のＣＰＵ１１が異常検知プログラム１３Ｂを実行することにより、図７に示す異常検知処理が実行される。なお、ここでは、基準画像情報データベース３２Ａに複数年分の情報が登録されている場合について説明する。

【0074】

図７のステップ２００で、ＣＰＵ１１は、登録処理のステップ１００の処理と同様に、処理対象設備について、画像情報と、環境値情報、天候情報、及び日時情報の各環境情報とを取得する。ここで取得された画像情報を、以下では「検知対象画像情報」といい、各環境情報を、以下では「取得環境情報」という。

【0075】

ステップ２０２で、ＣＰＵ１１は、取得環境情報が示す環境条件に最も類似する環境条件を示す環境情報に関連付けられて登録されている画像情報を基準画像情報として基準画像情報データベース３２Ａから読み出す。また、ステップ２０２で、ＣＰＵ１１は、基準画像情報に関連付けられている各環境情報も基準画像情報データベース３２Ａから読み出す。ここで取得された各環境情報を、以下では「登録環境情報」という。なお、本実施形態では、上記最も類似する環境条件を示す環境情報として、取得環境情報における日時情報を除いた時期情報に合致する情報のうち、環境値情報及び天候情報が最も類似する情報を適用しているが、これに限るものではない。例えば、全ての時期情報に合致する情報のうち、環境値情報及び天候情報が最も類似する情報を、上記最も類似する環境条件を示す環境情報として適用する形態としてもよい。

【0076】

ステップ２０４で、ＣＰＵ１１は、検知対象画像情報に対して上述した画像処理を行い、ステップ２０６で、ＣＰＵ１１は、基準画像情報と、画像処理後の検知対象画像情報との差分を示す画像情報（上述した差分情報に相当し、以下、「差分画像情報」という。）を導出する。

【0077】

本実施形態では、上記差分画像情報を、基準画像情報と、検知対象画像情報との間で、対応する画素毎の画素値の差の絶対値を算出することで導出するものとしているが、これに限るものではない。例えば、単に上記対応する画素毎の画素値の差を算出することで上記差分画像情報を導出する形態としてもよい。

【0078】

このように、本実施形態では、単純に基準画像情報と検知対象画像情報との画素毎の画素値の差分を演算する形態としているが、これに限るものではない。例えば、基準画像情報と検知対象画像情報との間で撮影画角がずれる可能性がある場合には、従来既知のパターンマッチング技術等を用いて、各画像情報の位置合わせを行った後に、上記差分を演算する形態としてもよい。また、撮影装置８０Ａによる撮影画像にノイズが生じる場合には、当該ノイズを除去する処理を行った後に、上記差分を演算する形態としてもよい。

【0079】

ステップ２０８で、ＣＰＵ１１は、導出した差分画像情報が示す差分画像が異常状態であるか否かを判定し、否定判定となった場合はステップ２１６に移行する一方、肯定判定となった場合はステップ２１０に移行する。

【0080】

なお、本実施形態では、上記異常状態であるか否かの判定を、差分画像情報の各画素値に、予め定められた閾値以上となるものが予め定められた上限数以上存在するか否かを判定することで行っている。本実施形態では、上記閾値及び上記上限数として、対応する値が、これらの値以上である場合に、異常が生じている可能性があるものとして、実際の設備や、当該設備の設計仕様を用いたコンピュータ・シミュレーション等によって予め得られた値を適用している。但し、この形態に限るものではなく、例えば、上記閾値及び上記上限値ともに、異常検知装置１０に要求される異常の検出の精度等に応じて、ユーザに入力させる形態としてもよい。

【0081】

ステップ２１０で、ＣＰＵ１１は、差分画像情報が示す差分画像の特徴に合致する異常箇所及び原因の各情報を原因情報データベース３２Ｂから読み出す。

【0082】

ステップ２１２で、ＣＰＵ１１は、読み出した異常箇所及び原因の各情報を用いて、予め定められた構成とされた異常提示画面を表示するように表示部１５を制御し、ステップ２１４で、ＣＰＵ１１は、所定情報が入力されるまで待機する。

【0083】

図８には、本実施形態に係る異常提示画面の一例が示されている。図８に示すように、本実施形態に係る異常提示画面では、対象とする設備に異常が生じている可能性がある旨を示すメッセージが表示されると共に、対象とする設備、異常箇所、及び原因の各情報が表示される。従って、ユーザは、異常提示画面を参照することで、これらの情報を把握することができる。

【0084】

一例として図８に示す異常提示画面が表示部１５に表示されると、ユーザは、表示内容を確認した後、入力部１４を介して終了ボタン１５Ａを指定する。これに応じて、ステップ２１４が肯定判定となって、ステップ２１６に移行する。なお、ステップ２１０の処理において、差分画像情報が示す差分画像の特徴に合致する情報が原因情報データベース３２Ｂに登録されていない場合も有り得るが、この場合には、図８に示す異常提示画面において、異常箇所及び原因を除く情報を表示する。

【0085】

ステップ２１６で、ＣＰＵ１１は、全てのエネルギー設備８０についてステップ２００～ステップ２１４の処理が終了したか否かを判定し、否定判定となった場合はステップ２００に戻る一方、肯定判定となった場合は本異常検知処理を終了する。なお、ステップ２００～ステップ２１６の処理を繰り返し実行する際に、ＣＰＵ１１は、それまでに処理対象としなかったエネルギー設備８０を処理対象設備とする。

【0086】

本異常検知処理により、異常検知システム１が管理対象としているエネルギー設備８０について、上記予め定められたタイミングで異常の発生を検知することができ、かつ、異常が発生している場合における異常箇所及び原因を把握することができる。

【0087】

以上説明したように、本実施形態によれば、対象物（本実施形態では、エネルギー設備８０）が正常である場合に、取得された環境情報が示す環境条件が異なる場合において各々撮影によって得られると想定される複数の画像情報を、対応する環境情報に関連付けて登録する。また、本実施形態によれば、対象物の異常発生の検知対象期間において、取得された環境情報が示す環境条件に最も近い環境条件を示す環境情報に関連付けられて登録された画像情報を基準画像情報として読み出す。そして、本実施形態によれば、読み出した基準画像情報が示す基準画像と、撮影によって得られた検知対象画像情報が示す検知対象画像との比較によって対象物の異常の発生状況を検知している。従って、環境的な条件による影響を低減させ、より高精度に対象物の異常の発生を検知することができる。

【0088】

また、本実施形態によれば、上記比較を行うに先立ち、基準画像情報及び検知対象画像情報の少なくとも一方に対して、基準画像と検知対象画像との間の輝度の差を小さくする画像処理を行っている。従って、より高精度に対象物の異常の発生を検知することができる。

【0089】

また、本実施形態によれば、環境情報が照度を示す照度情報を含み、基準画像の環境の照度と検知対象画像の環境の照度との差に応じて画像処理を行っている。従って、他の物理量に応じて画像処理を行う場合に比較して、より簡易に対象物の異常の発生を検知することができる。

【0090】

また、本実施形態によれば、撮影部を、カラー画像を撮影するものとしている。従って、より多様な異常を検知することができる。

【0091】

また、本実施形態によれば、環境情報を、天候に関する天候情報、時期に関する時期情報、及び環境値に関する環境値情報の少なくとも１つを含むものとしている。従って、含めた情報に対応する基準画像を適用することができる。

【0092】

また、本実施形態によれば、天候情報を、天気を示す天気情報及び雲量を示す雲量情報の少なくとも一方を含むものとし、時期情報を、日時を示す日時情報及び季節を示す季節情報の少なくとも一方を含むものとし、環境値情報を、照度を示す照度情報を含むものとしている。従って、含めた情報に対応する基準画像を適用することができる。

【0093】

さらに、本実施形態によれば、基準画像情報と検知対象画像情報との差分情報から、対象物の異常箇所及び異常の原因の少なくとも一方を更に検知している。従って、ユーザにとっての利便性を、より向上させることができる。

【0094】

なお、上記実施形態では、環境情報における天候情報及び環境値情報を、気象情報サーバ９０及び環境センサ８０Ｂから取得する場合について説明したが、これに限るものではない。例えば、インターネット等において公開されている情報から天候情報及び環境値情報を取得する形態としてもよい。

【0095】

また、上記実施形態において、例えば、取得部１１Ａ、登録部１１Ｂ、画像処理部１１Ｃ、及び検知部１１Ｄの各処理を実行する処理部（processing unit）のハードウェア的な構造としては、次に示す各種のプロセッサ（processor）を用いることができる。上記各種のプロセッサには、前述したように、ソフトウェア（プログラム）を実行して処理部として機能する汎用的なプロセッサであるＣＰＵに加えて、ＦＰＧＡ（Field-Programmable Gate Array）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：PLD）、ＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。

【0096】

処理部は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種又は異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせや、ＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、処理部を１つのプロセッサで構成してもよい。

【0097】

処理部を１つのプロセッサで構成する例としては、第１に、クライアント及びサーバ等のコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが処理部として機能する形態がある。第２に、システムオンチップ（System On Chip：SoC）等に代表されるように、処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、処理部は、ハードウェア的な構造として、上記各種のプロセッサの１つ以上を用いて構成される。

【0098】

更に、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（circuitry）を用いることができる。

【符号の説明】

【0099】

１ 異常検知システム
１０ 異常検知装置
１１ ＣＰＵ
１１Ａ 取得部
１１Ｂ 登録部
１１Ｃ 画像処理部
１１Ｄ 検知部
１２ メモリ
１３ 記憶部
１３Ａ 登録プログラム
１３Ｂ 異常検知プログラム
１４ 入力部
１５ 表示部
１６ 媒体読み書き装置
１７ 記録媒体
１８ 通信Ｉ／Ｆ部
３０ 情報蓄積装置
３２ 記憶部
３２Ａ 基準画像情報データベース
３２Ｂ 原因情報データベース
７０ エネルギー供給会社
８０ エネルギー設備
８０Ａ 撮影装置
８０Ｂ 環境センサ
９０ 気象情報サーバ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】