(58)【調査した分野】(Int.Cl.,DB名)
赤外線画像からガス領域を抽出し、前記ガス領域から形状特徴を抽出し、前記形状特徴の時系列変化量から、前記ガス領域を構成するガスが同一位置から出ているガスであるか否かを決定するガス状態判別方法であって、
前記形状特徴の時系列変化量が、所定の閾値に対し前記形状特徴の変化が小さいことを示す値である場合、前記ガス領域を構成するガスが同一位置から出ているガスであると決定するガス状態判別方法。
前記赤外線画像が時系列に複数のフレームが並べられた構造を有する動画データからなり、前記時系列変化量が、現フレームの形状特徴と、一定時間累計したガス領域の形状特徴と、の変化量である請求項1〜5のいずれか1項に記載のガス状態判別方法。
【発明を実施するための形態】
【0012】
以下、本発明を実施したガス状態判別方法,ガス状態判別用画像処理装置,ガス状態判別用画像処理プログラム等を、図面を参照しつつ説明する。なお、各実施例等の相互で同一の部分や相当する部分には同一の符号を付して重複説明を適宜省略する。
【0013】
図1に、ガス状態判別方法の一実施の形態における全体処理の概略フローを示す。このガス状態判別方法は、ガス領域抽出処理(#10)とガス状態判定処理(#20)とからなっている。最初に赤外線画像からガス領域を抽出し(#10)、次にそのガス領域を構成するガスが、漏洩源から定常的に出ているガス(定常的噴出ガス)か、流されてきた蒸気等のガス状物質か、を判定する(#20)。
【0014】
図2に、上記ガス状態判別(
図1)が可能なガス検知を行うガス検知システム1の概略構成例を示す。ガス検知システム1は、赤外線カメラ2,画像処理部3,出力部4等で構成されている。赤外線カメラ2は、ガス漏れの監視対象(例えば、ガス輸送管同士が接続されている箇所)と背景の赤外線画像を撮影し、その動画データを生成する。動画データは、赤外線画像の画像データの一例である。なお、赤外線画像は動画に限らず、赤外線カメラ2でガス漏れの監視対象及び背景を複数の時刻で撮影することにより得られたものでもよい。
【0015】
赤外線カメラ2は、撮像光学系5,フィルター6,撮像素子7,信号処理部8等を備えている。撮像光学系5は、被写体(監視対象及び背景)の赤外線画像を撮像素子7上で結像させる。フィルター6は、撮像光学系5と撮像素子7との間に配置され、撮像光学系5を通過した光のうち、特定波長の赤外線のみを通過させる。赤外の波長帯のうち、フィルター6を通過させる波長帯は、検知するガスの種類に依存する。例えばメタンの場合、3.2〜3.4μmの波長帯を通過させるフィルター6が用いられる。撮像素子7は、例えば、冷却型インジウムアンチモン(InSb)イメージセンサーであり、フィルター6を通過した赤外線を受光する。信号処理部7は、撮像素子7から出力されたアナログ信号をデジタル信号に変換し、所定の画像処理を施して動画データとする。
【0016】
赤外線画像の動画データは、時系列に複数のフレームが並べられた構造を有するものである。複数のフレームの同じ位置にある画素の画素データ(画素の輝度又は温度)が時系列に並べられたデータを時系列画素データとし、赤外線画像の動画のフレーム数をKとし、1つのフレームがM個の画素(すなわち、1番目の画素、2番目の画素、…、M−1番目の画素、M番目の画素で構成されている)とする。複数(K個)のフレームの同じ位置にある画素は、同じ順番の画素を意味する。例えば、1番目の画素で説明すると、1番目のフレームに含まれる1番目の画素の画素データ、2番目のフレームに含まれる1番目の画素の画素データ、…、K−1番目のフレームに含まれる1番目の画素の画素データ、K番目のフレームに含まれる1番目の画素の画素データを、時系列に並べたデータが、1番目の画素の時系列画素データとなる。時系列画素データの数は、1つのフレームを構成する画素の数と同じであり、これら複数(M個)の時系列画素データにより動画データが構成される。
【0017】
画像処理部3は、パーソナルコンピュータ,携帯機器(スマートフォン,タブレット端末等)等に相当する。また画像処理部3は、ガス状態判別用画像処理装置の主要部であって、CPU(Central Processing Unit),RAM(Random Access Memory),ROM(Read Only Memory),HDD(Hard Dusk Drive)等によって構成されており、機能ブロックとして、ガス信号生成部9,ガス状態判定部10等を備えている。HDDに格納されているガス状態判別用画像処理プログラムをCPUが読み出し、RAMに展開して実行することによって、上記機能ブロックが実現される。ガス信号生成部9では、赤外線画像データからのガス領域の抽出によりガス信号の生成が行われる(
図1の#10,
図5)。ガス状態判定部10では、ガス領域から抽出された形状特徴の時系列変化量を用いてガス状態の判定(
図1の#20;
図16,
図25)が行われる。出力部4は、モニター,警報器等に相当し、ガス漏れが発生した場合に漏洩ガスの表示,ガス漏れ報知等を行う。
【0018】
図3に、ガス検知対象のデータ例として、ガス漏れと背景の温度変化とが発生している屋外試験場を時系列の赤外線画像で示す。これらは、赤外線カメラ2で動画撮影して得られた赤外線画像G1〜G4であり、雲で陰ったために、全体的に温度が急激に下がった場合の実際の撮影データである。屋外試験場にはガスを噴出させることができる地点SP1が設定されており、その地点SP1と比較するために、ガスが噴出しない地点SP2も設定されている。
【0019】
赤外線画像G1は、太陽光が雲で遮られる直前の時刻T1に撮影された屋外試験場の赤外線画像である。赤外線画像G2は、時刻T1から5秒後の時刻T2に撮影された屋外試験場の赤外線画像(ガスあり)である。時刻T2は、太陽光が雲で遮られているので、時刻T1と比べて背景の温度が下がっている。画像G3は、時刻T1から10秒後の時刻T3に撮影された屋外試験場の赤外線画像(ガスあり)である。時刻T2から時刻T3まで、太陽光が雲で遮られた状態が継続されているので、時刻T3は、時刻T2と比べて背景の温度が下がっている。画像G4は、時刻T1から15秒後の時刻T4に撮影された屋外試験場の赤外線画像(ガスあり)である。時刻T3から時刻T4まで、太陽光が雲で遮られた状態が継続されているので、時刻T4は、時刻T3と比べて背景の温度が下がっている。
【0020】
図4(A),(B)のグラフに、屋外試験場の2つの地点SP1,SP2での温度変化をそれぞれ示す。各グラフにおいて、縦軸は温度を示しており、横軸はフレーム数を示している。フレームレートは30fpsである。よって、第45フレームから第495フレームまでの時間は15秒となる。
【0021】
図4(A)に示すように、時刻T1から時刻T2までの間の時刻に、地点SP1でガスの噴出を開始させている。そのため、例えば破線領域で示す範囲から分かるように、地点SP1の温度変化を示すグラフ(A)と地点SP2の温度変化を示すグラフ(B)とは異なっている。地点SP2ではガスが噴出していないので、地点SP2の温度変化は背景の温度変化のみを示している。これに対して、地点SP1では、ガスが噴出しているので、地点SP1にはガスが漂っている。このため、地点SP1の温度変化は、背景の温度変化と漏れたガスによる温度変化とを加算した温度変化を示している。
【0022】
図4(B)に示すように、時刻T1から時刻T4までの15秒間で背景の温度は約4℃下がっている。このため、
図3に示すように、画像G4は画像G1と比べて全体的に暗くなっており、背景の温度が低下していることが分かる。しかし、地点SP1で噴出したガスによる温度変化はわずかであり、0.5℃もないことが分かる。このため、時刻T2,時刻T3,時刻T4では、地点SP1でガスが噴出しているが、噴出したガスによる温度変化よりも、背景の温度変化の方がはるかに大きいので、画像G2,画像G3,画像G4を見ても地点SP1からガスが出ている様子は分からない。
【0023】
図4(A),(B)に示すグラフからは、地点SP1でガスが噴出していることが分かる(すなわち、地点SP1でガス漏れが発生していることが分かる)。しかし、上述したように、
図3に示す赤外線画像からは、地点SP1でガスが噴出していることは分からない(すなわち、地点SP1でガス漏れが発生していることが分からない)。そこで、背景の温度変化を考慮して赤外線画像を画像処理することにより、ガスが漏れている様子を画像で示すことができるようにする。つまり、ガスの存在に伴うわずかな温度変化成分(周波数成分)を、以下に説明する手法で取り出す。
【0024】
図5に、ガス領域抽出(
図1の#10)の処理フローの一例を示す。ただし、ここで説明するガス領域の抽出方法は一例にすぎず、例えば、特許文献1に記載されているような別の手法であっても構わない。背景温度変化に相当するデータ作成のための低周波抽出用時間平均化処理(
図5の#11)として前後21フレームでの平均化を行い、高周波抽出用時間平均化処理として前後3フレームでの平均化を行う(
図5の#14)。
図6のグラフに、時間平均化処理(
図5の#11,#14)が施されたデータを示す。
図6中、元データ(
図4(A))を一点鎖線で示し、前後3フレームで時間平均化処理(
図5の#14)されたデータ(Ave3)を実線で示し、前後21フレームで時間平均化処理(
図5の#11)されたデータ(Ave21)を破線で示す。
【0025】
さらに、それぞれ元データとの差分を取ると(
図5の#12,#15)、
図7(A),(B)のグラフに示すような波形データが得られる。
図7(A)のグラフは、前後21フレームで低周波抽出用時間平均化処理(
図5の#11)されたデータ(Ave21)と元データ(
図4(A))とで差分処理(
図5の#12)が施されたデータ(元−Ave21)を示しており、
図7(B)のグラフは、前後3フレームで高周波抽出用時間平均化処理(
図5の#14)されたデータ(Ave3)と元データ(
図4(A))とで差分処理(
図5の#15)が施されたデータ(元−Ave3)を示している。
【0026】
図7(A)から分かるように、90フレーム目を超えたあたりからガスが出ている。しかし、
図7(B)の波形データは非常に高周波の成分のみを取りだした波形であるため、ガスのゆらゆらする揺らぎ成分に相当する周波数の情報は含まれておらず、ガス噴出前後であまり変化なく見えることが分かる。すなわち、高周波抽出用時間平均化処理データと元データとの差分では、センサーノイズ等の高周波だけが抽出され、ガスは抽出されない。言い換えると、
図7(A)の波形データはガスとセンサーノイズ等の高周波ノイズ成分の加算された波形であり、
図7(B)の波形データはセンサーノイズ等の高周波ノイズのみの波形である。しかし、両波形のノイズ成分同士は完全な相関があるわけではないので、
図7(A),(B)の波形のまま差分を取っても、ノイズ成分を除去することはできない(ノイズの波形レベルでの減算は、加算するのと実質同じように働き、ノイズ波形は残る。)。
【0027】
そこで、
図7(A),(B)に示す2種類の波形に対して(元−Ave21,元−Ave3)、
図8に示すように前後21フレームで標準偏差を算出し(
図5の#13,#16;実線:stdev21,破線:stdev3)、それから減算することで、
図9に示すように高周波ノイズ成分を除去することができる(
図5の#17,stdev21−3)。
図9から、ガスの出ていない90フレーム目までは、ほぼ0に近い値に補正できていることが分かる。つまり、標準偏差を取ることにより途中で絶対値を取るような効果をもつ処理を挟み、それによって実際にノイズ成分を減算できるようにしている。この処理を画像全体に対して行った例を、
図10〜
図12に示す。
【0028】
図10は21フレーム平均との差分の標準偏差(
図5の#13)を5000倍した表示画像を示す標準偏差画像図であり、
図11は3フレーム平均との差分の標準偏差(
図5の#16)を5000倍した表示画像を示す標準偏差画像図である。
図12は標準偏差の差分(
図5の#17)を5000倍した表示画像を示す標準偏差の差分画像図である。
図12に示す画像に対して2値化やラベリング処理等を行うことにより、定常的噴出ガスPGを含むガス領域AGを抽出する。
図13に、
図12に示す画像から抽出したガス領域AGの表示画像の経時変化(t秒経過時のガス領域AG)を示す。抽出されたガス領域AGは、漏洩源から定常的に出ているガス(定常的噴出ガス)PGのガス領域である。
【0029】
ここで、決まった位置から排出されている蒸気と流されてきた蒸気とが、同時に存在する撮影データの例を説明する。その撮影データに対して、
図12と同じ処理(
図5の#17)を施した結果(つまり、標準偏差の差分画像)を
図14に示す。
図14において、画面左上には熱交換用の配管P1が位置しており、配管P1の上には決まった位置から排出されている排出蒸気P2が画像表示されている。そして、配管P1の右下には、風で流されてきた流出蒸気P3が画像表示されている。
図14に示す標準偏差の差分画像に対して2値化やラベリング処理等を行うことによりガス領域AGの抽出を行うと、決まった位置から排出されている蒸気P2と流されてきた蒸気P3とは同様に処理される。その結果、2つのガスらしい領域が抽出される。
図15に、
図14に示す画像から抽出したガス領域AGの蒸気表示画像の経時変化(t秒経過時のガス領域AG)を示す。抽出されたガス領域AGは、流されてきた蒸気P3のガス領域である。
【0030】
決まった位置から排出されている蒸気P2は、蒸気であることが既知であるため(人間の目視や設備の設計情報から判断可能である。)、ガスと間違えることはない。したがって、蒸気P2に関しては、その位置を無視することで誤検知を防止することが可能である。しかし、流されてきた蒸気P3は、出現場所が不定であるため蒸気とは判断できず、ガスとして誤検知されてしまう。したがって、その誤検知を防止するにはガス状態を判定する必要がある。
【0031】
図16に、実施例1〜4におけるガス状態判定(
図1の#20)の処理フローを示す。
図16のフローチャートは、本発明のガス状態判別用画像処理プログラムのフローチャートである。ガス状態の判定(
図16)は画像処理部3(
図2)内のガス状態判定部10で行われ、そのガス状態の判定(
図16)では、まず形状特徴抽出(#100)がガス領域AGに対して行われる。ガス領域AGの形状特徴抽出は、各実施例で異なっている。つまり、
実施例1における形状特徴抽出とは、ガス領域AGの重心位置を計算することであり、
実施例2における形状特徴抽出とは、ガス領域AGの面積を計算することであり、
実施例3における形状特徴抽出とは、ガス領域AGの周囲長を計算することであり、
実施例4における形状特徴抽出とは、ガス領域AGにおいて異なる時刻間で共通する割合を計算することである。
【0032】
実施例1では、形状特徴抽出(#100)でガス領域AGの重心位置を計算し、その時系列変化量を算出する(#110)。
図17に、実施例1における定常的噴出ガスPGの時系列変化量算出処理(#110)をガス領域画像で示し、
図18に、実施例1における流されてきた蒸気P3の時系列変化量算出処理(#110)をガス領域画像で示す。時系列変化量の算出処理では、ガス領域AGから求めた重心位置に関して、異なる時刻のガス領域AGから求めた重心位置との距離を計算するが、この実施例1では1秒ごとにガス領域AGから重心位置を抽出し、1秒前の重心位置と現在の重心位置との間の距離(1秒間の重心位置の変化量)を計算している。つまり、
図17及び
図18はガス領域AG(ガスPGがある部分:白画素)から求めた重心位置を現在と1秒前とで示しており、時系列変化量として、t秒経過時の重心位置とその1秒前の重心位置との間の距離dtを計算している(t=1,2,…)。
【0033】
実施例1では、時系列変化量算出(#110)の際には、撮影対象までの距離から重心位置間距離dtを実寸で計算する。この画像のサイズを320画素×256画素とし、ガス漏れの可能性のある被写体距離を例えばカメラから100mと仮定すると、撮影範囲は水平50m,垂直36mになる。水平を基準に考えると、1画素あたり50÷320≒0.15mとなり、画像上で求めた画素単位の距離に掛けることで、画像上の距離を実際の距離に変換することができる。この計算を10秒分行い、重心間の距離dtの総和を計算する。
【0034】
例えば、
図17に示す定常的噴出ガスの時系列変化量算出処理では、重心位置間距離d1=0.45m,d2=0.83m…として10秒分合計すると、総変化量d1+d2+…+d10=8.31mとなる。
図18に示す流されてきた蒸気の時系列変化量算出処理では、重心位置間距離d1=8.21m,d2=5.53m,…として10秒分合計すると、総変化量d1+d2+…+d10=49.02mとなる。なお、この実施例1では1秒前と現在の重心位置間距離dtを計算したが、0.5秒や2秒等に時間間隔を変更して計算してもよい。また、10秒分の総和を計算したが、計算量を減らするために、総和を計算せずに後述する状態判定(
図16の#120)を行ってもよい。
【0035】
次に、状態判定(
図16の#120)を行う。ここで、状態判定のために時系列変化量の平均を計算する。平均の計算方法は、時系列変化量を累積回数(時系列変化量を求めるために、形状特徴の変化量を累積した回数)で割って計算する。ただし、ガス領域AGが存在しないタイミングが含まれていた場合、その数だけ累積回数を減らして計算を行う。
図17に示す定常的噴出ガスの場合、重心位置の10秒分総変化量が8.31mであるため、その平均値は0.831mになる。また、
図18に示す流されてきた蒸気の場合、重心位置の10秒分総変化量が49.02mであるため、その平均値は4.902mになる。
【0036】
流されてきた蒸気等のガス状物質は、配管等の同じ位置(漏洩源)から定常的に出ているガス(定常的噴出ガス)に比べて形状の経時的変化が大きいので(例えば、赤外線画像の画面内を大きく動く)、ガス領域AGの形状特徴の時系列変化量から、ガス領域AGを構成するガスが同一位置から定常的に出ているガスであるか否かを決定することにより、漏洩源から定常的に出ているガスと、流されてきた蒸気等のガス状物質と、を判別することが可能である。そこで実施例1では、ガス漏れの可能性のある被写体距離等の条件に基づいて、状態判定の判定基準値(閾値)を2mとしている。したがって、時系列変化量の平均値が2m以下ならば定常的噴出ガスと判定し、時系列変化量の平均値が2mを上回れば流されてきた蒸気と判定することができる。つまり、0.831m≦2m<4.902mの関係は、
図17に示すガス領域AGを構成するガスが定常的噴出ガスPGであり、
図18に示すガス領域AGを構成するガスが流されてきた蒸気であることを示している。
【0037】
前述した総和を計算せずに状態判定を行う方法としては、例えば、以下の方法(M1)〜(M3)が挙げられる。
(M1):任意のタイミングでの値を使う方法。
閾値を2mとして設定し、
図17の1秒経過した時の変化量d1=0.45mと、
図18の1秒経過した時の変化量d1=8.21mとに対して、閾値以下ならば漏洩源から定常的に出ているガスと判定し、閾値より大きいならば流れてきたガス状のものと判定する。
(M2):10秒内での最大値を使う方法。
閾値を2mとして設定し、
図17の10秒間のうちの最大値(2秒経過時)0.83mと、
図18の10秒間のうちの最大値(1秒経過時)8.21mとに対して、閾値以下ならば漏洩源から定常的に出ているガスと判定し、閾値より大きいならば流れてきたガス状のものと判定する。
(M3):10秒内の部分的な和を使う方法。
閾値を2mとして設定し、
図17の10秒間のうちの最初の2秒分の平均(0.45m+0.83m)/2と、
図18の10秒間のうちの最初の2秒分の平均(8.21m+5.53m)/2とに対して、閾値以下ならば漏洩源から定常的に出ているガスと判定し、閾値より大きいならば流れてきたガス状のものと判定する。ここで、2秒分を計算したが、秒数は任意に決定してよい。
【0038】
実施例2では、形状特徴抽出(#100)でガス領域AGの面積を計算し、その時系列変化量を算出する(#110)。
図19に、実施例2における定常的噴出ガスPGの時系列変化量算出処理(#110)をガス領域画像で示し、
図20に、実施例2における流されてきた蒸気P3の時系列変化量算出処理(#110)をガス領域画像で示す。ここで面積の計算方法として、ガス領域AG(ガスPGがある部分:白画素)の数をカウントする。あるいは、モルフォロジーを用いてノイズの除去,穴埋めを行い、その後、ガス領域(白画素)の数をカウントしてもよい。
【0039】
時系列変化量の算出処理では、ガス領域AGの面積に関して、異なる時刻のガス領域AGから求めた面積との変化量を計算するが、この実施例2では1秒ごとにガス領域AGから面積を算出し、1秒前の面積と現在の面積との間の差(1秒間の面積の変化量)を計算している。つまり、
図19及び
図20はガス領域AGの面積を現在と1秒前とで示しており、時系列変化量として、t秒経過時の面積Stとその1秒前の面積St−1との間の変化量δStを計算している(t=1,2,…)。この計算を10秒分行い、面積変化量δStの総和を計算する。
【0040】
例えば、
図19に示す定常的噴出ガスの時系列変化量算出処理では、面積S0=54.92m
2,S1=50.01m
2,S2=46.56m
2,…から、0−1秒間の面積変化量δS1=4.91m
2,δS2=3.45m
2,…として10秒分合計すると、総変化量δS1+δS2+…+δS10=42.53m
2となる。
図20に示す流されてきた蒸気の時系列変化量算出処理では、面積S0=65.01m
2,S1=80.78m
2,S2=77.33m
2,…から、0−1秒間の面積変化量δS1=15.77m
2,δS2=13.45m
2,…として10秒分合計すると、総変化量δS1+δS2+…+δS10=170.41m
2となる。なお、この実施例2では1秒前と現在の面積変化量δStを計算したが、0.5秒や2秒等に時間間隔を変更して計算してもよい。また、10秒分の総和を計算したが、計算量を減らするために、実施例1について説明したように、総和を計算せずに後述する状態判定(
図16の#120)を行ってもよい。
【0041】
次に、状態判定(
図16の#120)を行う。ここで、状態判定のために時系列変化量の平均を計算する。平均の計算方法は、時系列変化量を累積回数(時系列変化量を求めるために、形状特徴の変化量を累積した回数)で割って計算する。ただし、ガス領域AGが存在しないタイミングが含まれていた場合、その数だけ累積回数を減らして計算を行う。
図19に示す定常的噴出ガスの場合、面積の10秒分総変化量が42.53m
2であるため、その平均値は4.253m
2になる。また、
図20に示す流されてきた蒸気の場合、面積の10秒分総変化量が170.41m
2であるため、その平均値は17.041m
2になる。
【0042】
流されてきた蒸気等のガス状物質は、配管等の同じ位置(漏洩源)から定常的に出ているガス(定常的噴出ガス)に比べて形状の経時的変化が大きいので(例えば、赤外線画像の画面内を大きく動く)、ガス領域AGの形状特徴の時系列変化量から、ガス領域AGを構成するガスが同一位置から定常的に出ているガスであるか否かを決定することにより、漏洩源から定常的に出ているガスと、流されてきた蒸気等のガス状物質と、を判別することが可能である。そこで実施例2では、ガス漏れの可能性のある被写体距離等の条件に基づいて、状態判定の判定基準値(閾値)を6m
2としている。したがって、時系列変化量の平均値が6m
2以下ならば定常的噴出ガスと判定し、時系列変化量の平均値が6m
2を上回れば流されてきた蒸気と判定することができる。つまり、4.253m
2≦6m
2<17.041m
2の関係は、
図19に示すガス領域AGを構成するガスが定常的噴出ガスPGであり、
図20に示すガス領域AGを構成するガスが流されてきた蒸気であることを示している。
【0043】
実施例3では、形状特徴抽出(#100)でガス領域AGの周囲長を計算し、その時系列変化量を算出する(#110)。
図21に、実施例3における定常的噴出ガスPGの時系列変化量算出処理(#110)をガス領域画像で示し、
図22に、実施例3における流されてきた蒸気P3の時系列変化量算出処理(#110)をガス領域画像で示す。ここで周囲長の計算方法として、ガス領域AG(ガスPGがある部分:白画素)に対して、モルフォロジー等を用いてノイズの除去,穴埋めを行い、
図21の枠で示した輪郭線を求め、この輪郭線の長さを周囲長として計算する。
【0044】
時系列変化量の算出処理では、ガス領域AGの周囲長に関して、異なる時刻のガス領域AGから求めた周囲長との変化量を計算するが、この実施例3では1秒ごとにガス領域AGから周囲長を算出し、1秒前の周囲長と現在の周囲長との間の差(1秒間の周囲長の変化量)を計算している。つまり、
図21及び
図22はガス領域AGの周囲長を現在と1秒前とで示しており、時系列変化量として、t秒経過時の周囲長Ltとその1秒前の周囲長Lt−1との間の変化量δLtを計算している(t=1,2,…)。この計算を10秒分行い、周囲長変化量δLtの総和を計算する。
【0045】
例えば、
図21に示す定常的噴出ガスの時系列変化量算出処理では、周囲長L0=41.36m,L1=39.34m,L2=36.73m,…から、0−1秒間の周囲長変化量δL1=2.02m,δL2=2.61m,…として10秒分合計すると、総変化量δL1+δL2+…+δL10=19.23mとなる。
図22に示す流されてきた蒸気の時系列変化量算出処理では、周囲長L0=36.55m,L1=50.16m,L2=56.63m,…から、0−1秒間の周囲長変化量δL1=13.61m,δL2=6.47m,…として10秒分合計すると、総変化量δL1+δL2+…+δL10=72.98mとなる。なお、この実施例3では1秒前と現在の周囲長変化量δLtを計算したが、0.5秒や2秒等に時間間隔を変更して計算してもよい。また、10秒分の総和を計算したが、計算量を減らするために、実施例1について説明したように、総和を計算せずに後述する状態判定(
図16の#120)を行ってもよい。
【0046】
次に、状態判定(
図16の#120)を行う。ここで、状態判定のために時系列変化量の平均を計算する。平均の計算方法は、時系列変化量を累積回数(時系列変化量を求めるために、形状特徴の変化量を累積した回数)で割って計算する。ただし、ガス領域AGが存在しないタイミングが含まれていた場合、その数だけ累積回数を減らして計算を行う。
図21に示す定常的噴出ガスの場合、周囲長の10秒分総変化量が19.23mであるため、その平均値は1.923mになる。また、
図22に示す流されてきた蒸気の場合、周囲長の10秒分総変化量が72.98mであるため、その平均値は7.298mになる。
【0047】
流されてきた蒸気等のガス状物質は、配管等の同じ位置(漏洩源)から定常的に出ているガス(定常的噴出ガス)に比べて形状の経時的変化が大きいので(例えば、赤外線画像の画面内を大きく動く)、ガス領域AGの形状特徴の時系列変化量から、ガス領域AGを構成するガスが同一位置から定常的に出ているガスであるか否かを決定することにより、漏洩源から定常的に出ているガスと、流されてきた蒸気等のガス状物質と、を判別することが可能である。そこで実施例3では、ガス漏れの可能性のある被写体距離等の条件に基づいて、状態判定の判定基準値(閾値)を3mとしている。したがって、時系列変化量の平均値が3m以下ならば定常的噴出ガスと判定し、時系列変化量の平均値が3mを上回れば流されてきた蒸気と判定することができる。つまり、1.923m≦3m<7.298mの関係は、
図21に示すガス領域AGを構成するガスが定常的噴出ガスPGであり、
図22に示すガス領域AGを構成するガスが流されてきた蒸気であることを示している。
【0048】
実施例4では、形状特徴抽出(#100)でガス領域AGにおいて異なる時刻間で共通する割合を計算し、その時系列変化量を算出する(#110)。
図23に、実施例4における定常的噴出ガスの形状特徴抽出(#100)をガス領域画像で示し、
図24に、実施例4における流されてきた蒸気の形状特徴抽出(#100)をガス領域画像で示す。ここで異なる時刻間でのガス領域共通割合の計算方法として、ガス領域AG(ガスPGがある部分:白画素)の数をカウントする。あるいは、モルフォロジー等を用いてノイズの除去,穴埋めを行い、その後、ガス領域(白画素)の数をカウントしてもよい。
【0049】
現在のガス領域をαとし、1秒前のガス領域をβとすると、その共通部分はα∩βとなり、その結びはα∪βとなるので、ガス領域AGにおいて異なる時刻間で共通する割合は、(α∩β)/(α∪β)となる。特徴量の段階で既に変化率になっているので、時系列の変化量は単純加算で計算する。したがって、実施例4の時系列変化量の算出処理では、(α1∩β1)/(α1∪β1)+(α2∩β2)/(α2∪β2)+…を計算している。
図23及び
図24では1フレーム分(1秒分)のガス領域共通割合を示しているが、時系列変化量として、t秒経過時でのガス領域共通割合の和を計算している(t=1,2,…)。
【0050】
例えば、
図23に示す定常的噴出ガスの時系列変化量算出処理では、ガス領域共通割合(α∩β)/(α∪β)=0.73,…として10秒分合計すると、総変化量7.12となる。
図24に示す流されてきた蒸気の時系列変化量算出処理では、ガス領域共通割合(α∩β)/(α∪β)=0.29,…として10秒分合計すると、総変化量3.25となる。なお、この実施例4では1秒前と現在のガス領域共通割合(α∩β)/(α∪β)を計算したが、0.5秒や2秒等に時間間隔を変更して計算してもよい。また、10秒分の総和を計算したが、計算量を減らするために、実施例1について説明したように、総和を計算せずに後述する状態判定(
図16の#120)を行ってもよい。
【0051】
次に、状態判定(
図16の#120)を行う。ここで、状態判定のために時系列変化量の平均を計算する。平均の計算方法は、時系列変化量を累積回数(時系列変化量を求めるために、形状特徴の変化量を累積した回数)で割って計算する。ただし、ガス領域AGが存在しないタイミングが含まれていた場合、その数だけ累積回数を減らして計算を行う。
図23に示す定常的噴出ガスの場合、ガス領域共通割合(α∩β)/(α∪β)の10秒分総変化量が7.12であるため、その平均値は0.712になる。また、
図24に示す流されてきた蒸気の場合、ガス領域共通割合(α∩β)/(α∪β)の10秒分総変化量が3.25であるため、その平均値は0.325になる。
【0052】
流されてきた蒸気等のガス状物質は、配管等の同じ位置(漏洩源)から定常的に出ているガス(定常的噴出ガス)に比べて形状の経時的変化が大きいので(例えば、赤外線画像の画面内を大きく動く)、ガス領域AGの形状特徴の時系列変化量から、ガス領域AGを構成するガスが同一位置から定常的に出ているガスであるか否かを決定することにより、漏洩源から定常的に出ているガスと、流されてきた蒸気等のガス状物質と、を判別することが可能である。そこで実施例4では、ガス漏れの可能性のある被写体距離等の条件に基づいて、状態判定の判定基準値(閾値)を0.4としている。したがって、時系列変化量の平均値が0.4以上ならば定常的噴出ガスと判定し、時系列変化量の平均値が0.4を下回れば流されてきた蒸気と判定することができる。つまり、0.325<0.4≦0.712の関係は、
図23に示すガス領域AGを構成するガスが定常的噴出ガスPGであり、
図24に示すガス領域AGを構成するガスが流されてきた蒸気であることを示している。
【0053】
図25に、実施例5−1,5−2,5−3,5−4におけるガス状態判定(
図1の#20)の処理フローを示す。
図25のフローチャートは、本発明のガス状態判別用画像処理プログラムのフローチャートである。ガス状態の判定(
図25)は画像処理部3(
図2)内のガス状態判定部10で行われ、そのガス状態の判定では、まず形状特徴抽出(#100)がガス領域AGに対して行われる。ガス領域AGの形状特徴抽出は、実施例5−1,5−2,5−3,5−4で異なっており、それぞれ実施例1〜4と同様に計算が行われる。つまり、
実施例5−1における形状特徴抽出とは、ガス領域AGの重心位置を計算することであり、
実施例5−2における形状特徴抽出とは、ガス領域AGの面積を計算することであり、
実施例5−3における形状特徴抽出とは、ガス領域AGの周囲長を計算することであり、
実施例5−4における形状特徴抽出とは、ガス領域AGにおいて異なる時刻間で共通する割合を計算することである。
【0054】
次に、流されてきた蒸気P3のガス領域加算処理(
図25の#105)を行う。
図26に、実施例5−1,5−2,5−3,5−4における流されてきた蒸気P3のガス領域加算処理(
図25の#105)をガス領域画像で示す。ガス領域加算処理では、
図26に示すように、10秒分のガス領域を全て加算して累積ガス領域AR10を作成する。ここではガス領域を10秒分加算して累積ガス領域AR10を作成するが、累積する秒数は10秒でなくてもよい。
【0055】
ついで、流されてきた蒸気P3の時系列変化量算出処理(#110)を行う。時系列変化量の算出処理では、累積ガス領域AR10に対して各時刻tのガス領域と同様に形状特徴抽出を行い、そして累積ガス領域AR10の形状特徴と、各時刻tのガス領域の形状特徴と、から時系列変化量を計算する。前述した実施例1〜4では1秒前との比較で時系列変化量を算出するのに対し、実施例5−1〜4では10秒間累積したガス領域との比較で時系列変化量を算出する。これにより、安定したデータを得ることが可能となる。
【0056】
実施例5−1では、形状特徴抽出(#100)でガス領域AGの重心位置を計算し、その時系列変化量を算出する(#110)。
図27に、実施例5−1における流されてきた蒸気P3の時系列変化量算出処理(#110)をガス領域画像で示す。時系列変化量の算出処理では、累積ガス領域AR10の重心位置と1秒ごとのガス領域の重心位置との間の距離を計算する。つまり、
図27はガス領域AG(ガスPGがある部分:白画素)から求めた重心位置を累積ガス領域AR10を基準として示しており、時系列変化量として、t秒経過時の重心位置と累積ガス領域AR10の重心位置との間の距離dtを計算している(t=0,1,2,…)。この計算を10秒分行い、重心間の距離dtの総和を計算する。
【0057】
例えば、
図27に示す流されてきた蒸気の時系列変化量算出処理では、重心位置間距離d0=7.21m,d1=4.01m,d2=7.64m,…として10秒分合計すると、総変化量d0+d1+d2+…+d10=50.78mとなる。なお、この実施例5−1では1秒ごとに重心位置間の距離を計算したが、1秒ごとでなくてもよい。また、10秒分の総和を計算したが、10秒でなくてもよく、計算量を減らすために総和を計算しなくてもよい。時間間隔は任意に決めてよい。
【0058】
次に、状態判定(
図25の#120)を行う。ここで、状態判定のために時系列変化量の平均を計算する。平均の計算方法は、時系列変化量を累積回数(時系列変化量を求めるために、形状特徴の変化量を累積した回数):11で割って計算する。ただし、ガス領域AGが存在しないタイミングが含まれていた場合、その数だけ累積回数を減らして計算を行う。
図27に示す流されてきた蒸気の場合、重心位置の10秒分総変化量が50.78mであるため、その平均値は4.616mになる。
【0059】
流されてきた蒸気等のガス状物質は、配管等の同じ位置(漏洩源)から定常的に出ているガス(定常的噴出ガス)に比べて形状の経時的変化が大きいので(例えば、赤外線画像の画面内を大きく動く)、ガス領域AGの形状特徴の時系列変化量から、ガス領域AGを構成するガスが同一位置から定常的に出ているガスであるか否かを決定することにより、漏洩源から定常的に出ているガスと、流されてきた蒸気等のガス状物質と、を判別することが可能である。そこで実施例5−1では、ガス漏れの可能性のある被写体距離等の条件に基づいて、状態判定の判定基準値(閾値)を2mとしている。したがって、時系列変化量の平均値が2m以下ならば定常的噴出ガスと判定し、時系列変化量の平均値が2mを上回れば流されてきた蒸気と判定することができる。つまり、2m<4.616mの関係は、
図27に示すガス領域AGを構成するガスが流されてきた蒸気であることを示している。
【0060】
実施例5−2では、形状特徴抽出(#100)でガス領域AGの面積を計算し、その時系列変化量を算出する(#110)。
図28に、実施例5−2における流されてきた蒸気P3の時系列変化量算出処理(#110)をガス領域画像で示す。ここで面積の計算方法として、ガス領域AG(ガスPGがある部分:白画素)の数をカウントする。あるいは、モルフォロジーを用いてノイズの除去,穴埋めを行い、その後、ガス領域(白画素)の数をカウントしてもよい。
【0061】
時系列変化量の算出処理では、累積ガス領域AR10の面積と1秒ごとのガス領域AGの面積との間の差を計算している。つまり、
図28はガス領域AGの面積を累積ガス領域AR10を基準として示しており、時系列変化量として、t秒経過時の面積Stと累積ガス領域AR10の面積STとの差ΔStを計算している(t=0,1,2,…)。この計算を10秒分行い、面積差ΔStの総和を計算する。
【0062】
例えば、
図28に示す流されてきた蒸気の時系列変化量算出処理では、面積S0=65.01m
2,S1=80.78m
2,S2=77.33m
2,…から、累積ガス領域AR10の面積ST=203.98m
2との差分ΔS0=138.97m
2,ΔS1=123.20m
2,ΔS2=126.65m
2,…として10秒分合計すると、総変化量ΔS0+ΔS1+ΔS2+…+ΔS10=1140.60m
2となる。なお、この実施例5−2では1秒ごとに面積を計算したが、1秒ごとでなくてもよい。また、10秒分の総和を計算したが、10秒でなくてもよく、計算量を減らすために総和を計算しなくてもよい。時間間隔は任意に決めてよい。
【0063】
次に、状態判定(
図25の#120)を行う。ここで、状態判定のために時系列変化量の平均を計算する。平均の計算方法は、時系列変化量を累積回数(時系列変化量を求めるために、形状特徴の変化量を累積した回数):11で割って計算する。ただし、ガス領域AGが存在しないタイミングが含まれていた場合、その数だけ累積回数を減らして計算を行う。
図28に示す流されてきた蒸気の場合、面積の10秒分総変化量が1140.60m
2であるため、その平均値は103.69m
2になる。
【0064】
流されてきた蒸気等のガス状物質は、配管等の同じ位置(漏洩源)から定常的に出ているガス(定常的噴出ガス)に比べて形状の経時的変化が大きいので(例えば、赤外線画像の画面内を大きく動く)、ガス領域AGの形状特徴の時系列変化量から、ガス領域AGを構成するガスが同一位置から定常的に出ているガスであるか否かを決定することにより、漏洩源から定常的に出ているガスと、流されてきた蒸気等のガス状物質と、を判別することが可能である。そこで実施例5−2では、ガス漏れの可能性のある被写体距離等の条件に基づいて、状態判定の判定基準値(閾値)を40m
2としている。したがって、時系列変化量の平均値が40m
2以下ならば定常的噴出ガスと判定し、時系列変化量の平均値が40m
2を上回れば流されてきた蒸気と判定することができる。つまり、40m
2<103.69m
2の関係は、
図28に示すガス領域AGを構成するガスが流されてきた蒸気であることを示している。
【0065】
実施例5−3では、形状特徴抽出(#100)でガス領域AGの周囲長を計算し、その時系列変化量を算出する(#110)。
図29に、実施例5−3における流されてきた蒸気P3の時系列変化量算出処理(#110)をガス領域画像で示す。ここで周囲長の計算方法として、ガス領域AG(ガスPGがある部分:白画素)に対して、モルフォロジー等を用いてノイズの除去,穴埋めを行い、
図29の枠で示した輪郭線を求め、この輪郭線の長さを周囲長として計算する。
【0066】
時系列変化量の算出処理では、累積ガス領域AR10の周囲長と1秒ごとのガス領域AGの周囲長との間の差を計算している。つまり、
図29はガス領域AGの周囲長を累積ガス領域AR10を基準として示しており、時系列変化量として、t秒経過時の周囲長Ltと累積ガス領域AR10の周囲長LTとの差ΔLtを計算している(t=0,1,2,…)。この計算を10秒分行い、周囲長差ΔLtの総和を計算する。
【0067】
例えば、
図29に示す流されてきた蒸気の時系列変化量算出処理では、周囲長L0=36.55m,L1=50.16m,L2=56.63m,…から、累積ガス領域AR10の周囲長LT=70.86mとの差分ΔL0=34.31m,ΔL1=20.70m,ΔL2=14.23m,…として10秒分合計すると、総変化量ΔL0+ΔL1+ΔL2+…+ΔL10=210.87mとなる。なお、この実施例5−3では1秒ごとに周囲長を計算したが、1秒ごとでなくてもよい。また、10秒分の総和を計算したが、10秒でなくてもよく、計算量を減らすために総和を計算しなくてもよい。時間間隔は任意に決めてよい。
【0068】
次に、状態判定(
図25の#120)を行う。ここで、状態判定のために時系列変化量の平均を計算する。平均の計算方法は、時系列変化量を累積回数(時系列変化量を求めるために、形状特徴の変化量を累積した回数):11で割って計算する。ただし、ガス領域AGが存在しないタイミングが含まれていた場合、その数だけ累積回数を減らして計算を行う。
図29に示す流されてきた蒸気の場合、周囲長の10秒分総変化量が210.87mであるため、その平均値は19.17mになる。
【0069】
流されてきた蒸気等のガス状物質は、配管等の同じ位置(漏洩源)から定常的に出ているガス(定常的噴出ガス)に比べて形状の経時的変化が大きいので(例えば、赤外線画像の画面内を大きく動く)、ガス領域AGの形状特徴の時系列変化量から、ガス領域AGを構成するガスが同一位置から定常的に出ているガスであるか否かを決定することにより、漏洩源から定常的に出ているガスと、流されてきた蒸気等のガス状物質と、を判別することが可能である。そこで実施例5−3では、ガス漏れの可能性のある被写体距離等の条件に基づいて、状態判定の判定基準値(閾値)を7mとしている。したがって、時系列変化量の平均値が7m以下ならば定常的噴出ガスと判定し、時系列変化量の平均値が7mを上回れば流されてきた蒸気と判定することができる。つまり、7m<19.17mの関係は、
図29に示すガス領域AGを構成するガスが流されてきた蒸気であることを示している。
【0070】
実施例5−4では、形状特徴抽出(#100)でガス領域AGにおいて累積ガス領域と共通する割合を計算し、その時系列変化量を算出する(#110)。
図30に、実施例5−4における流されてきた蒸気P3の形状特徴抽出(#100)をガス領域画像で示す。ここで累積ガス領域との共通割合の計算方法として、ガス領域AG(ガスPGがある部分:白画素)の数をカウントする。あるいは、モルフォロジー等を用いてノイズの除去,穴埋めを行い、その後、ガス領域(白画素)の数をカウントしてもよい。
【0071】
ある時刻のガス領域をαXとし、累積ガス領域AR10をαTとすると、その共通部分はαX∩αTとなり、その結びはαX∪αTとなるので、任意のガス領域AGと累積ガス領域との共通する割合は、(αX∩αT)/(αX∪αT)となる。特徴量の段階で既に変化率になっているので、時系列の変化量は単純加算で計算する。したがって、実施例5−4の時系列変化量の算出処理では、(αX1∩αT)/(αX1∪αT)+(αX2∩αT)/(αX2∪αT)+…を計算している。
図30では1フレーム分(1秒分)のガス領域共通割合を示しているが、時系列変化量として、t秒経過時でのガス領域共通割合の和を計算している(t=1,2,…)。
【0072】
例えば、
図30に示す流されてきた蒸気の時系列変化量算出処理では、ガス領域共通割合(αX∩αT)/(αX∪αT)=0.31,…として10秒分合計すると、総変化量3.68となる。なお、この実施例5−4では1秒ごとにガス領域AGにおいて累積ガス領域と共通する割合を計算したが、1秒ごとでなくてもよい。また、10秒分の総和を計算したが、10秒でなくてもよく、計算量を減らすために総和を計算しなくてもよい。時間間隔は任意に決めてよい。
【0073】
次に、状態判定(
図25の#120)を行う。ここで、状態判定のために時系列変化量の平均を計算する。平均の計算方法は、時系列変化量を累積回数(時系列変化量を求めるために、形状特徴の変化量を累積した回数):11で割って計算する。ただし、ガス領域AGが存在しないタイミングが含まれていた場合、その数だけ累積回数を減らして計算を行う。
図30に示す流されてきた蒸気の場合、ガス領域共通割合(αX∩αT)/(αX∪αT)の10秒分総変化量が3.68であるため、その平均値は0.335になる。
【0074】
流されてきた蒸気等のガス状物質は、配管等の同じ位置(漏洩源)から定常的に出ているガス(定常的噴出ガス)に比べて形状の経時的変化が大きいので(例えば、赤外線画像の画面内を大きく動く)、ガス領域AGの形状特徴の時系列変化量から、ガス領域AGを構成するガスが同一位置から定常的に出ているガスであるか否かを決定することにより、漏洩源から定常的に出ているガスと、流されてきた蒸気等のガス状物質と、を判別することが可能である。そこで実施例5−4では、ガス漏れの可能性のある被写体距離等の条件に基づいて、状態判定の判定基準値(閾値)を0.5としている。したがって、時系列変化量の平均値が0.5以上ならば定常的噴出ガスと判定し、時系列変化量の平均値が0.5を下回れば流されてきた蒸気と判定することができる。つまり、0.335<0.5の関係は、
図30に示すガス領域AGを構成するガスが流されてきた蒸気であることを示している。
【0075】
上述した実施例1〜4,実施例5−1〜4から分かるように、ガス状態判別方法の実施の形態によれば、赤外線画像からガス領域を抽出し、そのガス領域から形状特徴を抽出し、その形状特徴の時系列変化量から、ガス領域を構成するガスが同一位置から定常的に出ているガスであるか否かを決定する構成になっているため、漏洩源から定常的に出ているガスと、流されてきた蒸気等のガス状物質と、を判別することが可能である。したがって、ガス漏れを速やかに検知して対処することにより、ガス漏れ事故の発生を未然に防止することができる。ガス状態判別用の画像処理装置や画像処理プログラムについても同様である。
【0076】
実施例1〜4,実施例5−1〜4に示されているように、ガス領域の形状特徴としては、ガス領域の重心位置,面積,周囲長等が挙げられ、また、ガス領域において異なる時刻間で共通している割合が挙げられる。また、赤外線画像が時系列に複数のフレームが並べられた構造を有する動画データからなる場合、形状特徴の時系列変化量は、現フレームの形状特徴と、その前フレーム又は後フレームの形状特徴と、の変化量でもよく、現フレームの形状特徴と、一定時間累計したガス領域の形状特徴と、の変化量でもよい。
【0077】
以上の説明から分かるように、上述した実施の形態や実施例には以下の特徴的な構成($1)〜($9)等が含まれている。
【0078】
($1):赤外線画像からガス領域を抽出し、前記ガス領域から形状特徴を抽出し、前記形状特徴の時系列変化量から、前記ガス領域を構成するガスが同一位置から定常的に出ているガスであるか否かを決定することを特徴とするガス状態判別方法。
【0079】
($2):前記形状特徴が前記ガス領域の重心位置であることを特徴とする($1)記載のガス状態判別方法。
【0080】
($3):前記形状特徴が前記ガス領域の面積であることを特徴とする($1)記載のガス状態判別方法。
【0081】
($4):前記形状特徴が前記ガス領域の周囲長であることを特徴とする($1)記載のガス状態判別方法。
【0082】
($5):前記形状特徴が前記ガス領域において異なる時刻間で共通している割合であることを特徴とする($1)記載のガス状態判別方法。
【0083】
($6):前記赤外線画像が時系列に複数のフレームが並べられた構造を有する動画データからなり、前記時系列変化量が、現フレームの形状特徴と、その前フレーム又は後フレームの形状特徴と、の変化量であることを特徴とする($1)〜($5)のいずれか1項に記載のガス状態判別方法。
【0084】
($7):前記赤外線画像が時系列に複数のフレームが並べられた構造を有する動画データからなり、前記時系列変化量が、現フレームの形状特徴と、一定時間累計したガス領域の形状特徴と、の変化量であることを特徴とする($1)〜($5)のいずれか1項に記載のガス状態判別方法。
【0085】
($8):赤外線画像からガス領域を抽出し、前記ガス領域から形状特徴を抽出する画像処理装置であって、
前記形状特徴の時系列変化量から、前記ガス領域を構成するガスが同一位置から定常的に出ているガスであるか否かを決定する画像処理部を有することを特徴とするガス状態判別用画像処理装置。
【0086】
($9):赤外線画像からガス領域を抽出する処理と、前記ガス領域から形状特徴を抽出する処理と、前記形状特徴の時系列変化量から、前記ガス領域を構成するガスが同一位置から定常的に出ているガスであるか否かを決定する処理と、をコンピュータに実行させることを特徴とするガス状態判別用画像処理プログラム。