特許 7494926 設備診断システム、設備診断方法、及び、設備診断プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-05-27

(45)【発行日】2024-06-04

(54)【発明の名称】設備診断システム、設備診断方法、及び、設備診断プログラム

(51)【国際特許分類】

   G01M 3/38 20060101AFI20240528BHJP

   G01M 3/02 20060101ALI20240528BHJP

【ＦＩ】

G01M3/38 L

G01M3/02 M

【請求項の数】 8

(21)【出願番号】P 2022553237

(86)(22)【出願日】2020-09-29

(86)【国際出願番号】 JP2020036754

(87)【国際公開番号】W WO2022070227

(87)【国際公開日】2022-04-07

【審査請求日】2023-03-16

(73)【特許権者】

【識別番号】000004237

【氏名又は名称】日本電気株式会社

(74)【代理人】

【識別番号】100109313

【弁理士】

【氏名又は名称】机 昌彦

(74)【代理人】

【識別番号】100149618

【弁理士】

【氏名又は名称】北嶋 啓至

(72)【発明者】

【氏名】櫟原 英士

(72)【発明者】

【氏名】遠藤 勉

(72)【発明者】

【氏名】森田 浩一郎

【審査官】岡村 典子

(56)【参考文献】

【文献】特開平０８－１２８９１６（ＪＰ，Ａ）

【文献】特開平１１－１１０５６０（ＪＰ，Ａ）

【文献】特開２０１３－１０１０２８（ＪＰ，Ａ）

【文献】特開昭６２－０８８９３２（ＪＰ，Ａ）

【文献】国際公開第２０１８／１７０４３８（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｍ ３／００－３／４０

(57)【特許請求の範囲】

【請求項1】

近赤外線帯域における複数の波長の個々において、設備を撮像するように撮像手段を制御する制御手段と、
前記複数の波長に関する近赤外線の吸収特性が互いに異なる第１及び第２の液体のいずれかが前記設備に付着しているか否かを、前記撮像手段によって得られた撮像画像に基づいて判定する判定手段と、
を備え、
前記第１の液体は油であり、前記第２の液体は水であり、
前記複数の波長は、
前記撮像手段が人工光に含まれる近赤外線により撮像する場合、１２００ナノメートルの近傍及び１４００ナノメートルの近傍を含み、
前記撮像手段が地表における太陽光に含まれる近赤外線により撮像する場合、１２００ナノメートルの近傍及び１６００ナノメートルの近傍を含む、
設備診断システム。

【請求項2】

前記判定手段は、前記撮像画像に含まれる画素に関して、前記複数の波長の間における輝度の違いを表す指標の値を算出し、算出した前記指標の値と判定基準とに基づいて、前記第１の液体あるいは前記第２の液体が前記設備に付着しているか否かを判定する、
請求項１に記載の設備診断システム。

【請求項3】

前記判定手段は、前記複数の波長に含まれる第１及び第２の波長における前記画素の輝度の差を前記画素の輝度の和で除算した前記指標の値を算出する、
請求項２に記載の設備診断システム。

【請求項4】

前記判定手段は、前記指標の値と前記第１の液体あるいは前記第２の液体が前記設備に付着していることとの関係を表す学習済みモデルを生成し、前記学習済みモデルを用いて、前記第１の液体あるいは前記第２の液体が前記設備に付着しているか否かを判定する、
請求項２または請求項３に記載の設備診断システム。

【請求項5】

前記複数の波長は、
前記撮像手段が人工光に含まれる近赤外線により撮像する場合、１２００ナノメートルの近傍及び１４００ナノメートルの近傍を除く波長の帯域をさらに含み、
前記撮像手段が地表における太陽光に含まれる近赤外線により撮像する場合、１２００ナノメートルの近傍及び１６００ナノメートルの近傍を除く波長の帯域をさらに含む、
請求項１乃至請求項４のいずれか一項に記載の設備診断システム。

【請求項6】

前記撮像手段は、近赤外線カメラと、前記複数の波長の個々を中心波長とする複数の干渉フィルタとを備え、
前記制御手段は、前記干渉フィルタを切り替えながら、同等のタイミングで、前記複数の波長の個々において、前記設備を撮像するように前記撮像手段を制御する、
請求項１乃至請求項５のいずれか一項に記載の設備診断システム。

【請求項7】

情報処理装置によって、
近赤外線帯域における複数の波長の個々において、設備を撮像するように撮像手段を制御し、
前記複数の波長に関する近赤外線の吸収特性が互いに異なる第１及び第２の液体のいずれかが前記設備に付着しているか否かを、前記撮像手段によって得られた撮像画像に基づいて判定する、
方法であって、
前記第１の液体は油であり、前記第２の液体は水であり、
前記複数の波長は、
前記撮像手段が人工光に含まれる近赤外線により撮像する場合、１２００ナノメートルの近傍及び１４００ナノメートルの近傍を含み、
前記撮像手段が地表における太陽光に含まれる近赤外線により撮像する場合、１２００ナノメートルの近傍及び１６００ナノメートルの近傍を含む、
設備診断方法。

【請求項8】

近赤外線帯域における複数の波長の個々において、設備を撮像するように撮像手段を制御する制御処理と、
前記複数の波長に関する近赤外線の吸収特性が互いに異なる第１及び第２の液体のいずれかが前記設備に付着しているか否かを、前記撮像手段によって得られた撮像画像に基づいて判定する判定処理と、
をコンピュータに実行させるためのプログラムであって
前記第１の液体は油であり、前記第２の液体は水であり、
前記複数の波長は、
前記撮像手段が人工光に含まれる近赤外線により撮像する場合、１２００ナノメートルの近傍及び１４００ナノメートルの近傍を含み、
前記撮像手段が地表における太陽光に含まれる近赤外線により撮像する場合、１２００ナノメートルの近傍及び１６００ナノメートルの近傍を含む、
設備診断プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、設備診断システム、設備診断方法、及び、設備診断プログラムが格納された記録媒体に関する。

【背景技術】

【0002】

電力設備等の社会インフラにおいて、例えば油漏れなどの障害が発生した場合、人々の生活に多大な影響を及ぼすおそれがある。したがって、このような障害が発生しないように、社会インフラの点検及び診断を着実に行うことが重要である。しかしながら、点検の対象となる膨大な数の設備の点検は、通常、人が巡回することによって行われていることから、このような設備の点検及び診断を、高い精度でかつ効率的に行うことを実現する技術に対する期待が高まってきている。

【0003】

このような技術に関連する技術として、特許文献１には、漏れ検出の対象となる箇所を、漏れ検出の対象となる液体の吸光スペクトルを含む帯域の発光成分をもつ赤外光で照明して撮影した漏れのない状態（正常時）の画像と実際の画像とを比較して漏れを検出する漏れ検出方法が開示されている。この方法では、照明を消して撮影した漏れのない状態（正常時）の画像と実際の画像とを比較して漏れを検出し、両方の検出結果から漏れの判定を行う。

【0004】

また、特許文献２には、水に対する減衰が油に対する減衰よりも大きな波長を有する光を油漏れの検出対象領域へ投光する光源を備える油漏れ検出装置が開示されている。この装置は、当該光源から投光され検出対象領域で反射された反射光に基づき、油漏れの有無を判定する。

【0005】

また、特許文献３には、特定の物体による所定の吸収率を持つ第１波長の光と、当該特定の物体による吸収率が 当該第１波長よりも小さい第２波長の光とを、ターゲットに照射する分光装置が開示されている。この装置は、第１波長の光がターゲットを透過又は反射した第１の散乱光、及び第２波長の光がターゲットを透過又は反射した第２の散乱光を、それぞれ受光する。そしてこの装置は、受光した第１の散乱光と第２の散乱光との差異に基づいて、 ターゲットにおける特定の物体の検出に利用される情報を生成する。

【先行技術文献】

【特許文献】

【0006】

【文献】特開平１０－２３９２０２号公報

【文献】特開２０１３－１０１０２８号公報

【文献】国際公開第２０１５／００８４３５号

【非特許文献】

【0007】

【文献】"世界初、可視光を利用して水を分解する酸硫化物光触媒を開発 図３太陽光の波長とスペクトル強度 （国立研究開発法人新エネルギー・産業技術総合開発機構 人工光合成化学プロセス技術研究組合 ２０１９年７月３日）"、［Online］、［２０２０年９月２３日検索］、インターネット<URL: https://www.nedo.go.jp/news/press/AA5_101149.html>

【発明の概要】

【発明が解決しようとする課題】

【0008】

例えば上述した特許文献１乃至３が示す技術等を用いることによって、例えば油漏れの発生の有無の確認のために、人が各設備を巡回して点検することをしなくとも、設備を撮像した画像から、設備に付着した液体の種別をある程度は判定することは可能であると考えられる。しかしながら、特許文献１では、蛍光した光を見る必要があり、日中では見ることが難しく判定精度が高くない。特許文献２は、用いる波長が１つのみであり、閾値による判別方法であるが、輝度は膜厚により変化するので膜厚の影響で検知できない可能性があり、同様に判定精度が高くない。特許文献３では、油の判定には３．６μｍ（マイクロメートル）以上の中赤外線を利用しており、水の判定には、例えば１．４５μｍの波長を利用している。したがって、３．６μｍの波長だけでは水と油を判定することが出来ないため判定精度が高くない。このように特許文献１乃至３における判定精度は、社会インフラを構成する設備の障害が人々の生活に与える影響の大きさをふまえて、十分に高いとは言えず、当該判定精度をさらに高めることが課題である。

【0009】

本発明の主たる目的は、設備に付着した液体の種別を判定する精度を向上させることができる設備診断システム等を提供することにある。

【課題を解決するための手段】

【0010】

本発明の一態様に係る設備診断システムは、近赤外線帯域における複数の波長の個々において、設備を撮像するように撮像手段を制御する制御手段と、前記複数の波長に関する近赤外線の吸収特性が互いに異なる第１及び第２の液体のいずれかが前記設備に付着しているか否かを、前記撮像手段によって得られた撮像画像に基づいて判定する判定手段と、を備える。

【0011】

上記目的を達成する他の見地において、本発明の一態様に係る設備診断方法は、情報処理装置によって、近赤外線帯域における複数の波長の個々において、設備を撮像するように撮像手段を制御し、前記複数の波長に関する近赤外線の吸収特性が互いに異なる第１及び第２の液体のいずれかが前記設備に付着しているか否かを、前記撮像手段によって得られた撮像画像に基づいて判定する。

【0012】

また、上記目的を達成する更なる見地において、本発明の一態様に係る設備診断プログラムは、近赤外線帯域における複数の波長の個々において、設備を撮像するように撮像手段を制御する制御処理と、前記複数の波長に関する近赤外線の吸収特性が互いに異なる第１及び第２の液体のいずれかが前記設備に付着しているか否かを、前記撮像手段によって得られた撮像画像に基づいて判定する判定処理と、をコンピュータに実行させるためのプログラムである。

【0013】

更に、本発明は、係る設備診断プログラム（コンピュータプログラム）が格納された、コンピュータ読み取り可能な、不揮発性の記録媒体によっても実現可能である。

【発明の効果】

【0014】

本発明によれば、設備に付着した液体の種別を判定する精度を向上させることができる設備診断システム等が得られる。

【図面の簡単な説明】

【0015】

【図1】本発明の第１の実施形態に係る設備診断システム１の構成を示すブロック図である。

【図2】本発明の第１の実施形態に係る補正部１４によるシェーディング補正を行う前後の近赤外線撮像画像１６１の態様を例示する図である。

【図3】本発明の第１の実施形態に係る設定部１２が設定するリファレンスエリア及び検知エリアを例示する図である。

【図4】太陽光の波長とスペクトル強度との関係を表すグラフである。

【図5】近赤外線の波長と近赤外線撮像画像１６１における油が付着した部分の輝度との関係と、人工光による撮像環境において、油または水の付着の判定に好適な近赤外線撮像画像１６１を撮像する近赤外線の波長を示すグラフである。

【図6】近赤外線の波長と近赤外線撮像画像１６１における水が付着した部分の輝度との関係と、人工光による撮像環境において、油または水の付着の判定に好適な近赤外線撮像画像１６１を撮像する近赤外線の波長を示すグラフである。

【図7】近赤外線の波長と近赤外線撮像画像１６１における油が付着した部分の輝度との関係と、地表における太陽光による撮像環境において、油または水の付着の判定に好適な近赤外線撮像画像１６１を撮像する近赤外線の波長を示すグラフである。

【図8】近赤外線の波長と近赤外線撮像画像１６１における水が付着した部分の輝度との関係と、地表における太陽光による撮像環境において、油または水の付着の判定に好適な近赤外線撮像画像１６１を撮像する近赤外線の波長を示すグラフである。

【図9】本発明の第１の実施形態に係る設備診断システム１が、シェーディング補正用画像１６４を生成する動作を示すフローチャートである。

【図10】本発明の第１の実施形態に係る設備診断システム１が、設備４０に油または水が付着しているか否かを判定する動作を示すフローチャートである。

【図11】本発明の第１の実施形態に係る設備診断システム１が、人工光による撮像環境において用いる、設備４０に油または水が付着している場合と何も付着していない状態とにおけるＮＤＯIの値の関係を示す図である。

【図12】本発明の第１の実施形態に係る設備診断システム１が、地表における太陽光による撮像環境において、設備４０に油または水が付着している場合と何も付着していない状態とにおけるＮＤＯIの値の関係を示す図である。

【図13】本発明の第２の実施形態に係る設備診断システム５０の構成を示すブロック図である。

【図14】本発明の第１の実施形態に係る設備診断装置１０あるいは第２の実施形態に係る設備診断システム５０を実行可能な情報処理装置９００の構成を示すブロック図である。

【発明を実施するための形態】

【0016】

以下、本発明の実施の形態について図面を参照して詳細に説明する。

【0017】

＜第１の実施形態＞
図１は、本発明の第１の実施の形態に係る設備診断システム１の構成を示すブロック図である。本実施形態に係る設備診断システム１は、設備４０の状態を表す情報（撮像画像）を収集し、収集した撮像画像に基づいて、設備４０に油または水が付着しているか否かを診断するシステムである。設備４０は、例えば、社会インフラを構成する、例えば電力設備あるいは通信設備等である。尚、図１には説明の便宜上１つの設備４０を示しているが、設備診断システム１が診断の対象とする設備４０の数は複数でもよい。

【0018】

設備診断システム１は、大別して、設備診断装置１０、撮像装置２０、及び、管理端末装置３０を含んでいる。撮像装置２０は撮像手段の一例である。

【0019】

撮像装置２０は、設備診断装置１０と、例えばインターネット等の通信ネットワークを介して通信可能に接続されている。撮像装置２０は、近赤外線カメラ２１、及び、ｎ個（ｎは２以上の任意の整数）の干渉フィルタ２２－１乃至２２－ｎを備えている。但し、本実施形態では以降の説明において、干渉フィルタ２２－１乃至２２－ｎをまとめて、あるいは任意のいずれかを、干渉フィルタ２２と称する場合がある。

【0020】

近赤外線カメラ２１は、近赤外線により撮像するカメラである。近赤外線は、その波長が０．７－２．５μｍ（マイクロメートル）程度の電磁波であり、赤色の可視光線に近い波長を持つ。近赤外線は、後述する通り、油と水の個々に関して、特有の吸収特性及び反射特性を有する。

【0021】

干渉フィルタ２２－１乃至２２－ｎは、ある特定の波長（中心波長）の付近の波長の近赤外線を透過させるフィルタであり、その中心波長は互いに異なることとする。撮像装置２０は、近赤外線カメラ２１のレンズの前に設置する干渉フィルタ２２を切り替えることによって、近赤外線帯域における複数の波長の個々において、設備４０を撮像することができる。

【0022】

設備診断装置１０は、例えばサーバ等の情報処理装置であり、具体的には、後述する図１２に例示する情報処理装置９００のような装置である。設備診断装置１０は、制御部１１、設定部１２、生成部１３、補正部１４、判定部１５、及び、記憶部１６を備える。制御部１１、設定部１２、生成部１３、補正部１４、及び、判定部１５は、順に、制御手段、設定手段、生成手段、補正手段、及び、判定手段の一例である。

【0023】

管理端末装置３０は、例えばパーソナルコンピュータ等の情報処理装置であり、設備診断装置１０と通信可能に接続されている。管理端末装置３０は、例えば、作業員が設備診断装置１０に対して情報を入力する場合、あるいは、作業員が設備診断装置１０から出力された情報の内容を確認する場合に、ユーザインタフェースとして使用される装置である。

【0024】

記憶部１６は、例えば、図１２に例示するＲＡＭ（Random Access Memory）９０３あるいはハードディスク９０４のような不揮発性の記憶デバイスである。記憶部１６は、後述する近赤外線撮像画像１６１、黒レベル画像１６２、一様面撮像画像１６３、シェーディング補正用画像１６４、特性情報１６５、及び、判定用学習済モデル１６６を記憶している。

【0025】

制御部１１は、近赤外線カメラ２１のレンズの前に設置する干渉フィルタ２２を切り替えながら設備４０を撮像するように撮像装置２０を制御する。したがって、設備診断装置１０は、ほぼ同等のタイミングで近赤外線帯域における複数の波長の個々において設備４０を撮像した近赤外線撮像画像１６１を、撮像装置２０から取得することができる。

【0026】

本実施形態に係る設備診断装置１０は、近赤外線撮像画像１６１を分析する精度を高めるために、近赤外線撮像画像１６１に対してシェーディング補正を行う。シェーディングとは、撮像画像において、ある部分（例えば中心部分）の画素から遠い画素ほど、その輝度が低く撮像される（即ち、例えば撮像画像の中心部分と比較して周辺部分が暗く撮像される）現象である。設備診断装置１０は、近赤外線撮像画像１６１に対するシュエーディング補正を行うための前処理として、シェーディング補正用画像１６４を生成する。

【0027】

まず、設備診断装置１０がシェーディング補正用画像１６４を生成する動作について説明する。

【0028】

制御部１１は、近赤外線カメラ２１のレンズの前に設置する干渉フィルタ２２を切り替えながら、例えば作業員等によって準備された光の反射特性が一様な面を撮像するように、撮像装置２０を制御する。光の反射特性が一様な面とは、例えば同じ色で一様に塗られた面であり、光の反射特性が一様な面を撮像することによって、シェーディングの特性をそのまま表す一様面撮像画像１６３が得られる。設備診断装置１０は、一様面撮像画像１６３を記憶部１６に格納する。

【0029】

設備診断装置１０は、また、シェーディング補正用画像１６４を生成する際に、黒レベルをふまえて画像を補正する（以降、黒レベル補正と称する場合がある）処理を行う。黒レベルとは、遮光環境において撮像したときの、デジタルカメラの出力値の最低値のことである。

【0030】

遮光環境においてデジタルカメラによる撮像を行ったとしても、デジタルカメラの出力値の最低値が０にならない場合がある。これはデジタルカメラのセンサ出力の下限値と、デジタルカメラのＡＤ（Analog Digital）コンバータの入力レンジの下限値とが一致しておらず、オフセットが行われていることに起因する。尚、近赤外線カメラ２１の出力値に関して、上述した黒レベルに関する特性が無視できる（即ち、遮光環境における近赤外線カメラ２１の出力値がほぼ０である）場合、設備診断装置１０は、黒レベル補正を行わなくてもよい。

【0031】

制御部１１は、黒レベルをふまえた画像の補正処理を行うために、近赤外線カメラ２１のレンズの前に設置する干渉フィルタ２２を切り替えながら、例えば作業員等によって準備された遮光環境における撮像を行うように、撮像装置２０を制御する。設備診断装置１０は、これにより得られた黒レベルを表す黒レベル画像１６２を記憶部１６に格納する。

【0032】

補正部１４は、各波長に関して、画素ごとに、一様面撮像画像１６３の輝度から黒レベル画像１６２の輝度を減算した（即ち、一様面撮像画像１６３を黒レベル補正した）シェーディング補正用画像１６４を生成する。設備診断装置１０は、生成したシェーディング補正用画像１６４を記憶部１６に格納する。

【0033】

尚、設備診断装置１０は、上述したシェーディング補正用画像１６４を生成する動作を、各干渉フィルタ２２に関して事前に１度行えばよい。即ち、設備診断装置１０は、後述する近赤外線撮像画像１６１に対するシェーディング補正を行うたびに、シェーディング補正用画像１６４を生成しなくてもよい。

【0034】

次に、設備診断装置１０が、生成したシェーディング補正用画像１６４を用いて、設備４０を撮像した近赤外線撮像画像１６１をシェーディング補正する動作について説明する。

【0035】

図２は、本実施形態に係る補正部１４によるシェーディング補正を行う前後の、近赤外線撮像画像１６１の態様を例示する図である。図２に例示する近赤外線撮像画像１６１は、設備４０が設置された地面の砂利が撮像された画像である。即ち、図２に示す例では、設備診断装置１０は、例えば設備４０から油あるいは水が流れ落ちることによって、設備４０が設置された地面の砂利に、油あるいは水が付着しているか否かを判定する。

【0036】

図２に示す例では、シェーディング補正前の近赤外線撮像画像１６１は、上述したシェーディングにより、画像の中心部分と比較して周辺部分が暗く撮像されている。また、シェーディング補正用画像１６４は、例えば、中心部分の画素の輝度が最も高く、中心部分の画素から遠い画素ほど、その輝度が低く撮像されている。

【0037】

補正部１４は、近赤外線撮像画像１６１に対するシェーディング補正を行う前に、近赤外線撮像画像１６１に対して、上述した黒レベル補正を行う。即ち、補正部１４は、画素ごとに、近赤外線撮像画像１６１の輝度から黒レベル画像１６２の輝度を減算する。

【0038】

補正部１４は、黒レベル補正を行った近赤外線撮像画像１６１に対して、シェーディング補正用画像１６４を使用して、シェーディング補正を行う。補正部１４は、より具体的には、シェーディング補正用画像１６４の各画素の輝度をシェーディング補正用画像１６４において輝度が最も高い画素（例えば中心部分の画素）の輝度で除算した、画素ごとのシェーディング補正の係数を算出する。即ち、シェーディング補正の係数は、シェーディング補正用画像１６４において輝度が最も高い画素に関しては１であり、輝度が低い画素ほどその値が小さくなる、０から１の間の値をとる係数である。

【0039】

補正部１４は、近赤外線撮像画像１６１の各画素の輝度を、上述の通りに算出したシェーディング補正の係数により除算することによってシェーディング補正を行う。補正部１４は、このシェーディング補正により、近赤外線撮像画像１６１において、輝度が低い画素ほど(例えば図２の例では、中心部分の画素から遠い画素ほど)、その輝度を高める度合いを大きくする。設備診断装置１０は、図２に例示するシェーディング補正後の近赤外線撮像画像１６１を記憶部１６に格納する。

【0040】

次に、設備診断装置１０が、シェーディング補正後の近赤外線撮像画像１６１に基づいて、設備４０に付着した液体の種別を判定する動作について説明する。尚、以降の説明における近赤外線撮像画像１６１は、シェーディング補正後の近赤外線撮像画像１６１を示すこととする。

【0041】

設定部１２は、所定の基準に基づいて、検知エリア（第１の領域）とリファレンスエリア（第２の領域）とを設定する。但し検知エリアは、近赤外線撮像画像１６１において、油あるいは水が設備４０に付着しているか否かを判定する際の判定対象となる領域である。リファレンスエリアは、近赤外線撮像画像１６１における検知エリアとは異なる領域である。

【0042】

図３は、本実施形態に係る設定部１２が設定するリファレンスエリア及び検知エリアを例示する図である。図３に例示する設定例１乃至設定例４において、設定部１２は、近赤外線撮像画像１６１における楕円形の内部の領域を検知エリアとして設定し、矩形の内部の領域をリファレンスエリアとして設定する。尚、図３に例示するリファレンスエリア及び検知エリアは一例であり、設定部１２は、図３とは異なるリファレンスエリア及び検知エリアを設定してもよい。

【0043】

設定部１２は、例えば、管理端末装置３０を介して作業員により入力された検知エリアを指定する情報に基づいて、検知エリアを設定してもよい。この際、例えば、作業員による管理端末装置３０に対する入力操作によって、近赤外線カメラ２１は、設備４０をズームインあるいはズームアウトして撮像する、あるいは、設備４０における撮像対象の場所を移動する。そして、作業員の目視確認に基づく当該入力操作によって、近赤外線カメラ２１は、油あるいは水の付着が疑われる領域が画面上に表示された検知エリアの中に含まれ、かつ、油あるいは水の付着が疑われない領域が画面上に表示されたリファレンスエリアの中に含まれるように設備４０を撮像するよう調整される。

【0044】

設定部１２は、あるいは、近赤外線撮像画像１６１に対する簡易的な画像解析処理を行った結果、油あるいは水の付着が疑われる領域を検知エリアとして設定し、それ以外の領域をリファレンスエリアとして設定してもよい。

【0045】

生成部１３は、干渉フィルタ２２の近赤外線の透過特性、及び、近赤外線のスペクトル強度特性を表す特性情報１６５を生成する。

【0046】

ここで、生成部１３が特性情報１６５を生成する背景について説明する。個々の干渉フィルタ２２の近赤外線の透過特性は一律ではなく、例えば、近赤外線の透過率は、通常、個々の干渉フィルタ２２の間で互いに異なる。また、撮像装置２０が撮像する際に用いる近赤外線の強度は、近赤外線の波長ごとに異なる。

【0047】

図４は、太陽光の波長とスペクトル強度との関係を表すグラフである。図４に示すグラフの出典を、非特許文献１に示す。図４に示す通り、例えば、地表における太陽光のスペクトル強度は、波長ごとに大きく異なる。これは、太陽光が地表に到達するまでに大気によって吸収される波長の成分があるからである。また人工光の場合でも、光源の特性により、スペクトル強度は波長ごとに異なる。

【0048】

即ち、複数の干渉フィルタ２２を切り替えながら撮像された、複数の波長に関する近赤外線撮像画像１６１は、波長ごとの強度が一様でない近赤外線により撮像された画像であると言える。設備診断装置１０が、油あるいは水が設備４０に付着しているか否かを判定する際に、このような複数の波長に関する近赤外線撮像画像１６１を用いることは、判定精度が低下する要因となる。従って、設備診断装置１０は、生成部１３によって生成された特性情報１６５に基づいて、複数の波長の間における近赤外線の強度の差分を解消するように、近赤外線撮像画像１６１を補正（正規化）する必要がある。

【0049】

尚、生成部１３は、干渉フィルタ２２の近赤外線の透過特性、及び、近赤外線のスペクトル強度特性のうちのいずれか一方を表す特性情報１６５を生成してもよい。

【0050】

生成部１３は、複数の波長に関する近赤外線撮像画像１６１の全てに関して、リファレンスエリア内の画素の輝度の第１の平均値を算出する。生成部１３は、また、複数の波長に関する近赤外線撮像画像１６１の個々に関して、リファレンスエリア内の画素の輝度の第２の平均値を算出する。そして生成部１３は、複数の波長の個々に関して、第１の平均値と第２の平均値との比率を表す正規化係数を、特性情報１６５として生成する。生成部１３は、より具体的には、当該第１の平均値を当該第２の平均値で除算した値を、当該正規化係数として算出する。

【0051】

例えば、撮像装置２０が３つの干渉フィルタ２２－１乃至２２－３を備え、干渉フィルタ２２－１乃至２２－３を用いて撮像された３つの近赤外線撮像画像１６１におけるリファレンスエリア内の画素の輝度の平均値の比が、１対１．２対０．８であるとする。この場合、生成部１３は、干渉フィルタ２２－１乃至２２－３を用いて撮像された３つの近赤外線撮像画像１６１に関する正規化係数を、順に、１、０．８３、１．２５と計算する。

【0052】

補正部１４は、個々の近赤外線撮像画像１６１の画素の輝度に、個々の近赤外線撮像画像１６１に関して算出された正規化係数を乗算することによって、画素の輝度を補正（正規化）する。上述した３つの近赤外線撮像画像１６１に関する正規化係数が、順に、１、０．８３、１．２５である例の場合、補正部１４は、干渉フィルタ２２－１に関する近赤外線撮像画像１６１に対しては、画素の輝度を１倍にする（即ち補正しない）。そして補正部１４は、干渉フィルタ２２－２に関する近赤外線撮像画像１６１に対しては、画素の輝度を０．８３倍に低くする補正を行い、干渉フィルタ２２－３に関する近赤外線撮像画像１６１に対しては、画素の輝度を１．２５倍に高くする補正を行う。

【0053】

補正部１４は、上述の通りに画素の輝度を正規化した近赤外線撮像画像１６１を、記憶部１６に格納する。設備診断装置１０は、画素の輝度を正規化した近赤外線撮像画像１６１を用いて、後述する処理を行うことによって、設備４０に油または水が付着しているか否かを判定する。

【0054】

次に図５乃至図８を参照して、本実施形態に係る設備診断装置１０が、設備４０に油または水が付着しているか否かを判定するのに好適な、近赤外線撮像画像１６１の撮像に用いる近赤外線の波長について説明する。

【0055】

図５は、近赤外線の波長と近赤外線撮像画像１６１における油が付着した部分の輝度との関係を示すグラフである。図５に示される曲線の形は、油が有する近赤外線の吸収特性を表していると言える。

【0056】

図６は、近赤外線の波長と近赤外線撮像画像１６１における水が付着した部分の輝度との関係を示すグラフである。図６に示される曲線の形は、水が有する近赤外線の吸収特性を表していると言える。

【0057】

近赤外線の吸収による輝度の低下率は、油あるいは水の膜厚に依存し、油あるいは水の膜厚が厚くなるほど、その輝度は低下する。

【0058】

図５及び図６は、また、例えば設備４０が屋内にあるような人工光による撮像環境において、設備４０に油または水が付着しているか否かを判定するのに好適な、近赤外線撮像画像１６１を撮像する近赤外線の波長を、円により示している。

【0059】

図５に例示する近赤外線の波長と輝度との関係を示す曲線において、波長が１２００ｎｍ（ナノメートル）、及び、１４００ｎｍの付近で、輝度が最小（即ち、曲線における谷の部分）となっている。これは、波長が１２００ｎｍ、及び、１４００ｎｍの付近の近赤外線の吸収率が最大となるという油の特性に起因する。即ち、１２００ｎｍ、１４００ｎｍという波長は、油の近赤外線の吸収特性において、特徴的な波長であると言える。また、波長が１２００ｎｍと１４００ｎｍ付近との間では、油の特性により、輝度を表す曲線は、山なりの曲線を描いている。

【0060】

図５及び図６に示す、近赤外線の波長と近赤外線撮像画像１６１における油または水が付着した部分の輝度との関係を示す曲線を比較すると、波長が１２００ｎｍから１４００ｎｍまでの帯域において、その特徴は大きく異なっている。

【0061】

図５及び図６によれば、設備診断システム１は、近赤外線撮像画像１６１を撮像する近赤外線の波長として、上述した油の近赤外線の吸収特性において特徴的な波長である、１２００ｎｍ、及び、１４００ｎｍを用いている。即ちこの場合、撮像装置２０は、１２００ｎｍ及び１４００ｎｍを中心波長とする２つの干渉フィルタ２２－１及び２２－２を備えている。

【0062】

本実施形態では、設備４０に油または水が付着しているか否かを判定するのにあたり、ＮＤＯＩ（Normalized Difference Oil Index：正規化油指標）という指標を新たに定義する。

【0063】

ＮＤＯＩは、近赤外線撮像画像１６１を撮像する近赤外線の２つの波長の間における、近赤外線撮像画像１６１の画素の輝度の相関関係（輝度の違い）を表す、－１から１の間の値をとる指標である。即ち、近赤外線の２つの波長Ｘｎｍ、Ｙｎｍに関するＮＤＯＩ_ｘ－ｙは、式１の通りに表される。

【0064】

但し、式１において、Ｉ_ｘ、Ｉ_ｙは、近赤外線の波長がＸｎｍ、Ｙｎｍにおける近赤外線撮像画像１６１の画素の輝度を表す。また、式１において、「－」、「＋」は、順に、減算、加算を表す演算子である。

【0065】

図５に示すグラフによれば、設備４０に油が付着している場合、ＮＤＯＩ_{１４００－１２００}は、０付近の値となる。一方、図６に示すグラフによれば、設備４０に水が付着している場合、ＮＤＯＩ_{１４００－１２００}は、絶対値が大きな負の値となる。

【0066】

以上のことから、図１に示す判定部１５は、人工光により設備４０を撮像する撮像環境において、近赤外線撮像画像１６１の検知エリアに含まれる個々の画素に関して、ＮＤＯＩ_{１４００－１２００}を、式１を用いて算出する。そして、判定部１５は、当該画素に関して、ＮＤＯＩ_{１４００－１２００}が０付近の値となる場合、設備４０に油が付着していると判定する。そして判定部１５は、当該画素に関して、ＮＤＯＩ_{１４００－１２００}が絶対値が大きな負の値となる場合、設備４０に水が付着していると判定する。

【0067】

上述した例の場合、設備診断システム１は、近赤外線の２つの波長を用いているが、設備診断システム１は、その判定精度をより高めるために、近赤外線の３番目の波長を用いてもよい。図５及び図６に示す例では、設備診断システム１は、この３番目の波長の一例として１３００ｎｍを使用する。尚、３番目の波長は、１３００ｎｍに限定されない。設備診断システム１は、１２００ｎｍ、１４００ｎｍ以外の、近赤外線帯域における任意の波長を３番目の波長として使用してもよい。設備診断システム１は、例えば、１２００ｎｍと３番目の波長に関するＮＤＯＩ、及び、１４００ｎｍと３番目の波長に関するＮＤＯＩについて、油と水との間で明確に値が異なることを満たす任意の波長を、近赤外線の３番目の波長として用いればよい。尚、設備診断システム１が３番目の波長として１３００ｎｍを使用する場合、撮像装置２０は、中心波長が１３００ｎｍである干渉フィルタ２２－３を備えることとする。

【0068】

図５に示すグラフによれば、設備４０に油が付着している場合、ＮＤＯＩ_{１３００－１２００}は、正の値となり、ＮＤＯＩ_{１４００－１３００}は、負の値となる。一方、図６に示すグラフによれば、設備４０に水が付着している場合、ＮＤＯＩ_{１３００－１２００}は、０付近の値となり、ＮＤＯＩ_{１４００－１３００}は、絶対値が大きな負の値となる。

【0069】

以上のことから、図１に示す判定部１５は、人工光により設備４０を撮像する撮像環境において、近赤外線撮像画像１６１の検知エリアに含まれる個々の画素に関して、ＮＤＯＩ_{１３００－１２００}、及び、ＮＤＯＩ_{１４００－１３００}を、式１を用いて算出する。そして、判定部１５は、当該画素に関して、ＮＤＯＩ_{１３００－１２００}が正の値となり、ＮＤＯＩ_{１４００－１３００}が負の値となる場合、設備４０に油が付着していると判定する。そして判定部１５は、当該画素に関して、ＮＤＯＩ_{１３００－１２００}が０付近の値となり、ＮＤＯＩ_{１４００－１３００}が絶対値が大きな負の値となる場合、設備４０に水が付着していると判定する。

【0070】

判定部１５は、例えば、近赤外線撮像画像１６１の検知エリアに含まれる画素のＮＤＯＩの平均値が、上述した内容を表す所定の判定基準を満たす場合に、設備４０に油または水が付着していると判定してもよい。所定の判定基準は、例えば、ＮＤＯＩの値の範囲などによって表される。判定部１５は、あるいは例えば、近赤外線撮像画像１６１の検知エリアに含まれる画素のうち、ＮＤＯＩが上述した内容を表す所定の判定基準を満たす画素が占める割合が所定の閾値以上である場合に、設備４０に油または水が付着していると判定してもよい。

【0071】

判定部１５は、上述した判定において、判定用学習済モデル１６６が示す基準を用いてもよい。判定用学習済モデル１６６は、ＮＤＯＩと油または水が設備４０に付着していることとの関係を表す、機械学習の結果として構築されるモデルである。判定部１５は、撮像に関する環境が異なる様々な場所に設置された様々な設備４０に関する、ＮＤＯＩと油または水が設備４０に付着していることとの関係を表す実績データを教師データとして、判定用学習済モデル１６６を生成あるいは更新する。

【0072】

図７は、図５と同様に、近赤外線の波長と近赤外線撮像画像１６１における油が付着した部分の輝度との関係を示すグラフである。図８は、図６と同様に、近赤外線の波長と近赤外線撮像画像１６１における水あるいは氷が付着した部分の輝度との関係を示すグラフである。そして、図７及び図８は、例えば設備４０が屋外にあるような地上における太陽光による撮像環境において、設備４０に油または水が付着しているか否かを判定するのに好適な、近赤外線撮像画像１６１を撮像する近赤外線の波長を、円により示している。

【0073】

本実施形態に係る設備診断システム１では、図５及び図６を参照して上述した通り、人工光による撮像環境において、設備４０に油または水が付着しているか否かを判定する場合に、波長が１２００ｎｍ及び１４００ｎｍの近赤外線を使用する。しかしながら、図４に示す通り、地上における太陽光には、その成分として、波長が１２００ｎｍの近赤外線は十分に含まれるものの、波長が１４００ｎｍの近赤外線はほとんど含まれていない。したがって、設備診断システム１は、地上における太陽光による撮像環境においては、波長が１４００ｎｍの近赤外線を使用することができない。

【0074】

したがって、本実施形態に係る設備診断システム１では、図７及び図８に示す通り、波長が１４００ｎｍの近赤外線の代わりに、波長が１６００ｎｍの近赤外線を使用する。図４に示す通り、１６００ｎｍという波長は、地上における太陽光に含まれる近赤外線の強度が基準（例えば閾値以上であること）を満たす波長である。即ち、波長が１６００ｎｍの近赤外線は、地上における太陽光に、その成分として十分に含まれている。

【0075】

設備診断システム１が、波長が１２００ｎｍ及び１６００ｎｍの近赤外線を使用する場合、撮像装置２０は、１２００ｎｍ及び１６００ｎｍを中心波長とする２つの干渉フィルタ２２－１及び２２－２を備えている。

【0076】

図７に示すグラフによれば、設備４０に油が付着している場合、ＮＤＯＩ_{１６００－１２００}は、正の値となる。一方、図８に示すグラフによれば、設備４０に水が付着している場合、ＮＤＯＩ_{１６００－１２００}は、負の値となる。

【0077】

以上のことから、図１に示す判定部１５は、地上における太陽光により設備４０を撮像する撮像環境において、近赤外線撮像画像１６１の検知エリアに含まれる個々の画素に関して、ＮＤＯＩ_{１６００－１２００}を、式１を用いて算出する。そして、判定部１５は、当該画素に関して、ＮＤＯＩ_{１６００－１２００}が正の値となる場合、設備４０に油が付着していると判定する。そして判定部１５は、当該画素に関して、ＮＤＯＩ_{１６００－１２００}が負の値となる場合、設備４０に水が付着していると判定する。

【0078】

上述した例の場合、設備診断システム１は、近赤外線の２つの波長を用いているが、設備診断システム１は、その判定精度をより高めるために、人工光により設備４０を撮像する撮像環境の場合と同様に、近赤外線の３番目の波長を用いてもよい。図７及び図８に示すグラフによれば、設備診断システム１は。この３番目の波長の一例として、１０５０ｎｍを用いる。図４に示す通り、波長が１０５０ｎｍの近赤外線は、地上における太陽光に、その成分として十分に含まれている。尚、３番目の波長は、１０５０ｎｍに限定されない。設備診断システムは、１２００ｎｍ、１６００ｎｍ以外の、地上における太陽光にその成分として十分に含まれ、近赤外線帯域における１２００ｎｍよりも小さい任意の波長を３番目の波長として使用してもよい。設備診断システム１は、例えば、１２００ｎｍと３番目の波長に関するＮＤＯＩについて、油と水との間で明確に値が異なることを満たす任意の波長を、近赤外線の３番目の波長として用いればよい。尚、設備診断システム１が３番目の波長として１０５０ｎｍを使用する場合、撮像装置２０は、中心波長が１０５０ｎｍである干渉フィルタ２２－３を備えることとする。

【0079】

図７に示すグラフによれば、設備４０に油が付着している場合、ＮＤＯＩ_{１２００－１０５０}は、負の値となり、ＮＤＯＩ_{１６００－１２００}は、正の値となる。一方、図８に示すグラフによれば、設備４０に水が付着している場合、ＮＤＯＩ_{１２００－１０５０}は、０付近の値となり、ＮＤＯＩ_{１６００－１２００}は、負の値となる。

【0080】

以上のことから、図１に示す判定部１５は、地上における太陽光により設備４０を撮像する撮像環境において、近赤外線撮像画像１６１の検知エリアに含まれる個々の画素に関して、ＮＤＯＩ_{１２００－１０５０}、及び、ＮＤＯＩ_{１６００－１２００}を、式１を用いて算出する。そして、判定部１５は、当該画素に関して、ＮＤＯＩ_{１２００－１０５０}が負の値となり、ＮＤＯＩ_{１６００－１２００}が正の値となる場合、設備４０に油が付着していると判定する。そして判定部１５は、当該画素に関して、ＮＤＯＩ_{１２００－１０５０}が０付近の値となり、ＮＤＯＩ_{１６００－１２００}が負の値となる場合、設備４０に水が付着していると判定する。

【0081】

判定部１５は、人工光により設備４０を撮像する撮像環境のときと同様に、例えば、近赤外線撮像画像１６１の検知エリアに含まれる画素のＮＤＯＩの平均値が、所定の判定基準を満たす場合に、設備４０に油または水が付着していると判定してもよい。判定部１５は、あるいは例えば、近赤外線撮像画像１６１の検知エリアに含まれる画素のうち、ＮＤＯＩが所定の判定基準を満たす画素が占める割合が所定の閾値以上である場合に、設備４０に油または水が付着していると判定してもよい。判定部１５は、また、上述した判定において、判定用学習済モデル１６６が示す基準を用いてもよい。

【0082】

判定部１５は、設備４０に油または水が付着していることに関する判定結果を、管理端末装置３０の表示画面に表示する。

【0083】

次に図９及び図１０のフローチャートを参照して、本実施形態に係る設備診断システム１の動作（処理）について詳細に説明する。

【0084】

図９は、本実施形態に係る設備診断システム１が、シェーディング補正用画像１６４を生成する動作を示すフローチャートである。

【0085】

制御部１１は、干渉フィルタ２２を切り替えながら、作業員等によって準備された光の反射特性が一様な面を撮像するように撮像装置２０を制御する。制御部１１は、撮像装置２０によって撮像された一様面撮像画像１６３を取得し、取得した一様面撮像画像１６３を記憶部１６に格納する（ステップＳ１０１）。

【0086】

制御部１１は、干渉フィルタ２２を切り替えながら、作業員等によって準備された遮光環境における撮像を行うように撮像装置２０を制御する。制御部１１は、撮像装置２０によって撮像された黒レベル画像１６２を取得し、取得した黒レベル画像１６２を記憶部１６に格納する（ステップＳ１０２）。

【0087】

補正部１４は、各干渉フィルタ２２に関して、画素ごとに、一様面撮像画像１６３の輝度から黒レベル画像１６２の輝度を減算したシェーディング補正用画像１６４を生成する。補正部１４は、生成したシェーディング補正用画像１６４を記憶部１６に格納し（ステップＳ１０３）、全体の処理は終了する。

【0088】

図１０は、本実施形態に係る設備診断システム１が、設備４０に油または水が付着しているか否かを判定する動作を示すフローチャートである。

【0089】

制御部１１は、干渉フィルタ２２を切り替えながら設備４０を撮像するように撮像装置２０を制御する。制御部１１は、撮像装置２０によって撮像された近赤外線撮像画像１６１を取得し、取得した近赤外線撮像画像１６１を記憶部１６に格納する（ステップＳ２０１）。

【0090】

補正部１４は、画素ごとに、近赤外線撮像画像１６１の輝度から黒レベル画像１６２の輝度を減算したのち、シェーディング補正用画像１６４を用いて、近赤外線撮像画像１６１をシェーディング補正する。補正部１４は、シェーディング補正された近赤外線撮像画像１６１を、記憶部１６に格納する（ステップＳ２０２）。

【0091】

設定部１２は、所定の基準に基づいて、近赤外線撮像画像１６１における検知エリア及びリファレンスエリアを設定する（ステップＳ２０３）。補正部１４は、近赤外線撮像画像１６１のリファレンスエリア内の画素の輝度の平均値を算出する（ステップＳ２０４）。

【0092】

補正部１４は、各波長の近赤外線撮像画像１６１に関して、リファレンスエリア内の画素の輝度の平均値に基づいて、正規化係数を算出する（ステップＳ２０５）。補正部１４は、算出した正規化係数を用いて、各波長の近赤外線撮像画像１６１の画素の輝度を正規化する（ステップＳ２０６）。

【0093】

判定部１５は、各波長の近赤外線撮像画像１６１の検知エリア内の画素の輝度に基づいて、ＮＤＯＩを算出する（ステップＳ２０７）。判定部１５は、算出したＮＤＯＩと判定用学習済モデル１６６とに基づいて、設備４０における油あるいは水の付着を判定し（ステップＳ２０８）、全体の処理は終了する。

【0094】

本実施形態に係る設備診断システム１は、設備に付着した液体の種別を判定する精度を向上させることができる。その理由は、設備診断システム１は、近赤外線帯域における複数の波長の個々において、設備４０を撮像し、複数の波長に関する近赤外線の吸収特性が互いに異なる第１及び第２の液体のいずれかが設備４０に付着しているか否かを、撮像画像に基づいて判定するからである。

【0095】

以下に、本実施形態に係る設備診断システム１によって実現される効果について、詳細に説明する。

【0096】

例えば既存の技術等を用いることによって、油漏れの発生の有無の確認のために、人が各設備を巡回して点検することをしなくとも、設備を撮像した画像から、設備に付着した液体の種別をある程度は判定することは可能であると考えられる。しかしながらその判定精度は、社会インフラを構成する設備の障害が人々の生活に与える影響の大きさをふまえて、十分に高いとは言えず、当該判定精度をさらに高めることが課題である。

【0097】

このような課題に対して、本実施形態に係る設備診断システム１は、制御部１１と判定部１５とを備え、例えば、図１乃至図１０を参照して上述した通り動作する。即ち、制御部１１は、近赤外線帯域における複数の波長の個々において、設備４０を撮像するように撮像装置２０を制御する。そして、判定部１５は、当該複数の波長に関する近赤外線の吸収特性が互いに異なる第１及び第２の液体のいずれかが設備４０に付着しているか否かを、撮像装置２０によって得られた近赤外線撮像画像１６１に基づいて判定する。

【0098】

即ち、本実施形態に係る設備診断システム１は、油（第１の液体）及び水（第２の液体）の近赤外線の吸収特性が、近赤外線の複数の波長に関して互いに異なることを利用する。そして、設備診断システム１は、設備４０を複数の波長の近赤外線で撮像した近赤外線撮像画像１６１において、当該吸収特性の違いが輝度の違いとして現れることに基づいて、油及び水のいずれかが設備４０に付着しているか否かを判定する。これにより、本実施形態に係る設備診断システム１は、設備４０に付着した液体の種別を近赤外線撮像画像１６１から判定する精度を向上させることができる。

【0099】

また、本実施形態に係る設備診断システム１は、近赤外線撮像画像１６１に含まれる画素に関して、複数の波長の間における輝度の違いを表す、例えばＮＤＯＩのような指標の値を算出する。そして設備診断システム１は、算出した指標の値と判定基準とに基づいて、油あるいは水が設備４０に付着しているか否かを判定する。このように、設備診断システム１は、ＮＤＯＩのような、油と水との間における近赤外線の吸収特性の違いを明確に表す指標の値に基づいて判定するので、判定精度を向上させることができる。尚、設備診断システム１が用いる指標はＮＤＯＩに限定されず、設備診断システム１は、ＮＤＯＩとは異なる指標を用いてもよい。

【0100】

また、本実施形態に係る設備診断システム１は、当該指標の値と油あるいは水が設備４０に付着していることとの関係を表す判定用学習済モデル１６６を生成する。そして設備診断システム１は、判定用学習済モデル１６６を用いて、油あるいは水が設備４０に付着しているか否かを判定する。即ち、設備診断システム１は、判定に関する機械学習を通して、判定精度を次第に向上させることができる。

【0101】

また、本実施形態に係る設備診断システム１は、設備４０を撮像する近赤外線の波長として、油あるいは水の少なくともいずれかの近赤外線の吸収率が最も高くなる波長、あるいは地上における太陽光に含まれる近赤外線の強度が基準を満たす波長を使用する。このように設備診断システム１は、油あるいは水が設備４０に付着しているか否かを判定するのに好適な波長の近赤外線を使用するので、確実に判定精度を向上させることができる。

【0102】

また、例えば、人工光による撮像環境において、設備４０に油が付着している場合、ＮＤＯＩ_{１４００－１２００}は０付近の値となる。そして、設備４０に水も油も付着していない場合、液体による近赤外線の吸収が発生しないので、ＮＤＯＩ_{１４００－１２００}は同様に０付近の値となる。即ち、ＮＤＯＩ_{１４００－１２００}という１つのＮＯＤＩを判定に用いた場合、設備４０に油が付着していることと、設備４０に油も水も付着していないこととの区別が困難になる。

【0103】

これに対して、本実施形態に係る設備診断システム１は、図５、図６、図１１に示す通り、３つの波長の近赤外線で設備４０を撮像することにより、２つのＮＤＯＩ（例えば、ＮＤＯＩ_{１３００－１２００}、ＮＤＯＩ_{１４００－１３００}）の値に基づいて判定する。設備４０に油が付着している場合、ＮＤＯＩ_{１３００－１２００}は正の値、ＮＤＯＩ_{１４００－１３００}は負の値となる。一方、設備４０に油も水も付着していない場合、ＮＤＯＩ_{１３００－１２００}、及び、ＮＤＯＩ_{１４００－１３００}とも、０付近の値となる。したがって、設備診断システム１は、設備４０に油が付着していることと、設備４０に油も水も付着していないこととを区別して判定できるので、判定精度をさらに向上させることができる。

【0104】

また、油あるいは水による近赤外線の吸収による輝度の低下率は、油あるいは水の膜厚により依存するので、例えば、油の膜厚が厚く水の膜厚が薄い場合などではＮＤＯＩの値が同等な値となり、図１１に示す通り判別が困難となる。これに対して、本実施形態に係る設備診断システム１は、図５、図６、図１１に示す通り２つのＮＤＯＩを組み合わせることによって、このような問題を回避し、判定精度をさらに向上させることができる。

【0105】

また、例えば、地表における太陽光による撮像環境において、設備４０に油が付着している場合、ＮＤＯＩ_{１６００－１２００}は正の値となるが、付着した油の厚さが薄い場合では絶対値０に近い値となる。そして、設備４０に水も油も付着していない場合、液体による近赤外線の吸収が発生しないので、ＮＤＯＩ_{１６００－１２００}は同様に０付近の値となる。即ち、ＮＤＯＩ_{１６００－１２００}という１つのＮＯＤＩを判定に用いた場合、設備４０に厚さが薄い油が付着していることと、設備４０に油も水も付着していないこととの区別が困難になる。

【0106】

これに対して、本実施形態に係る設備診断システム１は、図７、図８、図１２に示す通り、上述した通り３つの波長の近赤外線で設備４０を撮像することにより、２つのＮＤＯＩ（例えば、ＮＤＯＩ_{１２００－１０５０}、ＮＤＯＩ_{１６００－１２００}）の値に基づいて判定する。設備４０に油が付着している場合、ＮＤＯＩ_{１２００－１０５０}は、ＮＤＯＩ_{１６００－１２００}よりも絶対値が大きい負の値となる。一方、設備４０に油も水も付着していない場合、ＮＤＯＩ_{１２００－１０５０}、及び、ＮＤＯＩ_{１６００－１２００}とも、０付近の値となる。したがって、設備診断システム１は、設備４０に厚さが薄い油が付着していることと、設備４０に油も水も付着していないこととを区別して判定できるので、判定精度をさらに向上させることができる。

【0107】

また、油あるいは水による近赤外線の吸収による輝度の低下率は、油あるいは水の膜厚により依存するので、例えば、油の膜厚が薄い場合などでは、設備４０に何も付着していない場合との間において、ＮＤＯＩの値が同等な値となり、図１２に示す通り判別が困難となる。これに対して、本実施形態に係る設備診断システム１は、図７、図８、図１２に示す通り２つのＮＤＯＩを組み合わせることによって、このような問題を回避し、判定精度をさらに向上させることができる。

【0108】

また、設備診断システム１は、判定精度をさらに向上させるために、４つ以上の波長の近赤外線で設備４０を撮像することにより、３つ以上のＮＤＯＩの値に基づいて、油あるいは水が設備４０に付着しているか否かを判定してもよい。

【0109】

また、本実施形態に係る設備診断システム１は、生成部１３及び補正部１４をさらに備える。生成部１３は、複数の干渉フィルタ２２の近赤外線の透過特性、及び、近赤外線のスペクトル強度特性の少なくともいずれかを表す特性情報１６５を生成する。補正部１４は、近赤外線撮像画像１６１に対して、特性情報１６５に基づく正規化、シュエーディング補正、及び、黒レベル補正を行う。これにより、設備診断システム１は、判定精度をさらに向上させることができる。

【0110】

また、本実施形態に係る設備診断システム１は、設定部１２をさらに備える。設定部１２は、水あるいは油が付着していると推定される検知エリア（第１の領域）と、水あるいは油が付着していないと推定されるリファレンスエリア（第２の領域）とを、所定の基準に基づいて設定する。そして生成部１３は、リファレンスエリアに含まれる画素の輝度に基づいて特性情報１６５を生成する。これにより、設備診断システム１は、判定精度をさらに向上させることができる。
また、本実施形態に係る設備診断システム１は、例えば上述した特許文献１乃至３が備える照明手段（光源）を必要としない。照明手段を備えた場合、装置が大型化するとともに、照明と撮像装置との間で同期をとる必要があることにより装置の機能が煩雑になるという問題がある。また、照明手段を備えた場合、照明が当たる場所でなければ使えないという問題もある。設備診断システム１は、照明手段を備えないことによって、上述した問題を回避することができる。

【0111】

なお、設備診断システム１が設備４０に付着したことを判定する対象は、油及び水に限定されない。設備診断システムは、近赤外線の波長による近赤外線の吸収特性が互いに異なる、油及び水以外の液体の種別を判定してもよい。

【0112】

＜第２の実施形態＞
図１３は、本発明の第２の実施形態に係る設備診断システム５０の構成を示すブロック図である。設備診断システム５０は、制御部５１、及び、判定部５２を備えている。但し、制御部５１、及び、判定部５２は、順に、制御手段、及び、判定手段の一例である。

【0113】

制御部５１は、近赤外線帯域における複数の波長の個々において、設備７０を撮像するように撮像部６０を制御する。但し、撮像部６０は、撮像手段の一例であり、例えば、第１の実施形態に係る撮像装置２０と同様に、近赤外線カメラ２１及び干渉フィルタ２２のような構成を備えてもよい。そして、制御部５１は、例えば、第１の実施形態に係る制御部１１と同様に、撮像部６０を制御する。

【0114】

判定部５２は、複数の波長に関する近赤外線の吸収特性が互いに異なる第１及び第２の液体のいずれかが設備７０に付着しているか否かを、撮像部６０によって得られた撮像画像６００に基づいて判定する。第１及び第２の液体は、例えば、第１の実施形態と同様に、油及び水である。判定部５２は、例えば、第１の実施形態に係る判定部１５と同様に、ＮＤＯＩのような指標を用いることによって、第１及び第２の液体のいずれかが設備７０に付着しているか否かを、判定してもよい。

【0115】

本実施形態に係る設備診断システム５０は、設備に付着した液体の種別を判定する精度を向上させることができる。その理由は、設備診断システム５０は、近赤外線帯域における複数の波長の個々において、設備７０を撮像し、複数の波長に関する近赤外線の吸収特性が互いに異なる第１及び第２の液体のいずれかが設備７０に付着しているか否かを、撮像画像６００に基づいて判定するからである。

【0116】

＜ハードウェア構成例＞
上述した各実施形態において、図１に示した設備診断システム１、及び、図１３に示した設備診断システム５０における各部は、専用のＨＷ（ＨａｒｄＷａｒｅ）（電子回路）によって実現することができる。また、図１及び図１３において、少なくとも、下記構成は、ソフトウェアプログラムの機能（処理）単位（ソフトウェアモジュール）と捉えることができる。
・制御部１１及び５１、
・設定部１２、
・生成部１３、
・補正部１４、
・判定部１５及び５２、
・記憶部１６における記憶制御機能。

【0117】

但し、これらの図面に示した各部の区分けは、説明の便宜上の構成であり、実装に際しては、様々な構成が想定され得る。この場合のハードウェア環境の一例を、図１４を参照して説明する。

【0118】

図１４は、本発明の第１の実施形態に係る設備診断装置１０あるいは第２の実施形態に係る設備診断システム５０を実行可能な情報処理装置９００（コンピュータ）の構成を例示的に説明する図である。即ち、図１４は、図１に示した設備診断装置１０及び図１３に示した設備診断システム５０を実現可能なコンピュータ（情報処理装置）の構成であって、上述した実施形態における各機能を実現可能なハードウェア環境を表す。

【0119】

図１４に示した情報処理装置９００は、構成要素として下記を備えているが、下記のうちの一部の構成要素を備えない場合もある。
・ＣＰＵ（Ｃｅｎｔｒａｌ＿Ｐｒｏｃｅｓｓｉｎｇ＿Ｕｎｉｔ）９０１、
・ＲＯＭ（Ｒｅａｄ＿Ｏｎｌｙ＿Ｍｅｍｏｒｙ）９０２、
・ＲＡＭ（Ｒａｎｄｏｍ＿Ａｃｃｅｓｓ＿Ｍｅｍｏｒｙ）９０３、
・ハードディスク（記憶装置）９０４、
・外部装置との通信インタフェース９０５、
・バス９０６（通信線）、
・ＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ＿Ｄｉｓｃ＿Ｒｅａｄ＿Ｏｎｌｙ＿Ｍｅｍｏｒｙ）等の記録媒体９０７に格納されたデータを読み書き可能なリーダライタ９０８、
・モニターやスピーカ、キーボード等の入出力インタフェース９０９。

【0120】

即ち、上記構成要素を備える情報処理装置９００は、これらの構成がバス９０６を介して接続された一般的なコンピュータである。情報処理装置９００は、ＣＰＵ９０１を複数備える場合もあれば、マルチコアにより構成されたＣＰＵ９０１を備える場合もある。情報処理装置９００は、ＣＰＵ９０１に加えてＧＰＵ（Ｇｒａｐｈｉｃａｌ＿Ｐｒｏｃｅｓｓｉｎｇ＿Ｕｎｉｔ）（不図示）を備えてもよい。

【0121】

そして、上述した実施形態を例に説明した本発明は、図１４に示した情報処理装置９００に対して、次の機能を実現可能なコンピュータプログラムを供給する。その機能とは、その実施形態の説明において参照したブロック構成図（図１及び図１３）における上述した構成、或いはフローチャート（図９及び図１０）の機能である。本発明は、その後、そのコンピュータプログラムを、当該ハードウェアのＣＰＵ９０１に読み出して解釈し実行することによって達成される。また、当該装置内に供給されたコンピュータプログラムは、読み書き可能な揮発性のメモリ（ＲＡＭ９０３）、または、ＲＯＭ９０２やハードディスク９０４等の不揮発性の記憶デバイスに格納すれば良い。

【0122】

また、前記の場合において、当該ハードウェア内へのコンピュータプログラムの供給方法は、現在では一般的な手順を採用することができる。その手順としては、例えば、ＣＤ－ＲＯＭ等の各種記録媒体９０７を介して当該装置内にインストールする方法や、インターネット等の通信回線を介して外部よりダウンロードする方法等がある。そして、このような場合において、本発明は、係るコンピュータプログラムを構成するコード或いは、そのコードが格納された記録媒体９０７によって構成されると捉えることができる。

【0123】

以上、上述した実施形態を模範的な例として本発明を説明した。しかしながら、本発明は、上述した実施形態には限定されない。即ち、本発明は、本発明のスコープ内において、当業者が理解し得る様々な態様を適用することができる。

【0124】

尚、上述した各実施形態の一部又は全部は、以下の付記のようにも記載されうる。しかしながら、上述した各実施形態により例示的に説明した本発明は、以下には限られない。

【0125】

（付記１）
近赤外線帯域における複数の波長の個々において、設備を撮像するように撮像手段を制御する制御手段と、
前記複数の波長に関する近赤外線の吸収特性が互いに異なる第１及び第２の液体のいずれかが前記設備に付着しているか否かを、前記撮像手段によって得られた撮像画像に基づいて判定する判定手段と、
を備える設備診断システム。

【0126】

（付記２）
前記判定手段は、前記撮像画像に含まれる画素に関して、前記複数の波長の間における輝度の違いを表す指標の値を算出し、算出した前記指標の値と判定基準とに基づいて、前記第１の液体あるいは前記第２の液体が前記設備に付着しているか否かを判定する、
付記１に記載の設備診断システム。

【0127】

（付記３）
前記判定手段は、前記複数の波長に含まれる第１及び第２の波長における前記画素の輝度の差を前記画素の輝度の和で除算した前記指標の値を算出する、
付記２に記載の設備診断システム。

【0128】

（付記４）
前記判定手段は、前記指標の値と前記第１の液体あるいは前記第２の液体が前記設備に付着していることとの関係を表す学習済みモデルを生成し、前記学習済みモデルを用いて、前記第１の液体あるいは前記第２の液体が前記設備に付着しているか否かを判定する、
付記２または付記３に記載の設備診断システム。

【0129】

（付記５）
前記複数の波長の少なくともいずれかは、前記第１及び第２の液体の少なくともいずれかの近赤外線の吸収率が最も高くなる波長、あるいは地上における太陽光に含まれる近赤外線の強度が基準を満たす波長である、
付記１乃至付記４のいずれか一項に記載の設備診断システム。

【0130】

（付記６）
前記第１の液体は油であり、前記第２の液体は水であり、
前記複数の波長は、
前記撮像手段が人工光に含まれる近赤外線により撮像する場合、１２００ナノメートルの近傍及び１４００ナノメートルの近傍を含み、
前記撮像手段が地表における太陽光に含まれる近赤外線により撮像する場合、１２００ナノメートルの近傍及び１６００ナノメートルの近傍を含む、
付記５に記載の設備診断システム。

【0131】

（付記７）
前記複数の波長は、
前記撮像手段が人工光に含まれる近赤外線により撮像する場合、１２００ナノメートルの近傍及び１４００ナノメートルの近傍を除く波長の帯域をさらに含み、
前記撮像手段が地表における太陽光に含まれる近赤外線により撮像する場合、１２００ナノメートルの近傍及び１６００ナノメートルの近傍を除く波長の帯域をさらに含む、
付記６に記載の設備診断システム。

【0132】

（付記８）
前記撮像手段は、近赤外線カメラと、前記複数の波長の個々を中心波長とする複数の干渉フィルタとを備え、
前記制御手段は、前記干渉フィルタを切り替えながら、同等のタイミングで、前記複数の波長の個々において、前記設備を撮像するように前記撮像手段を制御する、
付記１乃至付記７のいずれか一項に記載の設備診断システム。

【0133】

（付記９）
前記複数の干渉フィルタの近赤外線の透過特性、及び、近赤外線のスペクトル強度特性の少なくともいずれかを表す特性情報を生成する生成手段と、
前記特性情報に基づいて、前記撮像画像を補正する補正手段と、
をさらに備える付記８に記載の設備診断システム。

【0134】

（付記１０）
前記生成手段は、前記複数の干渉フィルタにより撮像された複数の前記撮像画像に関する輝度の平均値と、個々の前記撮像画像に関する輝度の平均値との比率を表す、個々の前記撮像画像に関する正規化係数を、前記特性情報として算出し、
前記補正手段は、個々の前記撮像画像の輝度を前記正規化係数によって重み付けすることによって、前記撮像画像を補正する、
付記９に記載の設備診断システム。

【0135】

（付記１１）
前記補正手段は、前記撮像画像において輝度が一番高い画素を基準として、輝度が前記基準より低い画素ほど、輝度を高める度合いを大きくするシェーディング補正を行う、
付記９または付記１０に記載の設備診断システム。

【0136】

（付記１２）
前記補正手段は、光の反射特性が一様な面が撮像されたシェーディング補正用画像を用いて、シェーディング補正を行う、
付記１１に記載の設備診断システム。

【0137】

（付記１３）
前記補正手段は、遮光環境において撮像された画像の輝度を、前記撮像画像及び前記シェーディング補正用画像の輝度から減算する、
付記１２に記載の設備診断システム。

【0138】

（付記１４）
前記第１及び第２の液体のいずれかが前記設備に付着しているか否かを判定する際の分析対象となる、前記撮像画像における前記第１及び第２の液体の付着の判定対象とする第１の領域と、前記撮像画像における前記第１の領域とは異なる第２の領域を、所定の基準に基づいて設定する設定手段をさらに備え、
前記生成手段は、前記第２の領域に含まれる画素の輝度に基づく前記特性情報を生成する、
付記９乃至付記１３のいずれか一項に記載の設備診断システム。

【0139】

（付記１５）
前記撮像手段をさらに備える、
付記１乃至付記１４のいずれか一項に記載の設備診断システム。

【0140】

（付記１６）
情報処理装置によって、
近赤外線帯域における複数の波長の個々において、設備を撮像するように撮像手段を制御し、
前記複数の波長に関する近赤外線の吸収特性が互いに異なる第１及び第２の液体のいずれかが前記設備に付着しているか否かを、前記撮像手段によって得られた撮像画像に基づいて判定する、
設備診断方法。

【0141】

（付記１７）
近赤外線帯域における複数の波長の個々において、設備を撮像するように撮像手段を制御する制御処理と、
前記複数の波長に関する近赤外線の吸収特性が互いに異なる第１及び第２の液体のいずれかが前記設備に付着しているか否かを、前記撮像手段によって得られた撮像画像に基づいて判定する判定処理と、
をコンピュータに実行させるための設備診断プログラムが格納された記録媒体。

【符号の説明】

【0142】

１ 設備診断システム
１０ 設備診断装置
１１ 制御部
１２ 設定部
１３ 生成部
１４ 補正部
１５ 判定部
１６ 記憶部
１６１ 近赤外線撮像画像
１６２ 黒レベル画像
１６３ 一様面撮像画像
１６４ シェーディング補正用画像
１６５ 特性情報
１６６ 判定用学習済モデル
２０ 撮像装置
２１ 近赤外線カメラ
２２－１乃至２２－ｎ 干渉フィルタ
３０ 管理端末装置
４０ 設備
５０ 設備診断システム
５１ 制御部
５２ 判定部
６０ 撮像部
６００ 撮像画像
７０ 設備
９００ 情報処理装置
９０１ ＣＰＵ
９０２ ＲＯＭ
９０３ ＲＡＭ
９０４ ハードディスク（記憶装置）
９０５ 通信インタフェース
９０６ バス
９０７ 記録媒体
９０８ リーダライタ
９０９ 入出力インタフェース

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】