(58)【調査した分野】(Int.Cl.,DB名)
前記画像処理部は、前記第1の周波数成分データよりも周波数が高く、高周波ノイズを示す第3の周波数成分データを、前記画像データから除く処理をする請求項1に記載のガス検知用画像処理装置。
前記第1の所定処理は、前記時系列画素データに対して、複数の前記フレームより少ない第1の所定数の前記フレームを単位とする移動平均を算出することにより前記時系列画素データから前記第2の周波数成分データを抽出する処理である請求項4に記載のガス検知用画像処理装置。
前記画像処理部は、前記時系列画素データに対して、前記第2の周波数成分データを抽出できる重み付け係数を用いて、複数の前記フレームより少ない第1の所定数の前記フレームを単位とする加重移動平均を算出して得られたデータを、第1の差分データとし、前記第1の差分データは、前記時系列画素データと前記第2の周波数成分データとの差分であり、複数の前記時系列画素データのそれぞれに対応する複数の前記第1の差分データを算出する第1の算出部を備える請求項3に記載のガス検知用画像処理装置。
前記第1の変動データは、第1のばらつきデータであり、前記第2の算出部は、前記第1の差分データに対して、複数の前記フレームより少ない前記第2の所定数の前記フレームを単位とする移動標準偏差又は移動分散を算出することにより前記第1のばらつきデータを求める請求項7に記載のガス検知用画像処理装置。
前記第1の変動データは、第1の絶対値加算データであり、前記第2の算出部は、前記第1の差分データを基にして求められた、前記第1の差分データの絶対値を示すデータを、第1の絶対値データとし、前記第1の絶対値データに対して、複数の前記フレームより少ない前記第2の所定数の前記フレームを単位とする移動加算をすることにより前記第1の絶対値加算データを求める請求項7に記載のガス検知用画像処理装置。
前記第2の所定処理は、前記時系列画素データに対して、第3の所定数のフレームを単位とする移動平均を算出することにより前記時系列画素データから前記第3の周波数成分データを抽出する処理である請求項10に記載のガス検知用画像処理装置。
前記第2の変動データは、第2のばらつきデータであり、前記第4の算出部は、前記第2の差分データに対して、複数の前記フレームより少ない前記第4の所定数の前記フレームを単位とする移動標準偏差又は移動分散を算出することにより前記第2のばらつきデータを求める請求項10〜12のいずれか一項に記載のガス検知用画像処理装置。
前記第2の変動データは、第2の絶対値加算データであり、前記第4の算出部は、前記第2の差分データを基にして求められた、前記第2の差分データの絶対値を示すデータを、第2の絶対値データとし、前記第2の絶対値データに対して、複数の前記フレームより少ない前記第4の所定数の前記フレームを単位とする移動加算をすることにより前記第2の絶対値加算データを求める請求項10〜12のいずれか一項に記載のガス検知用画像処理装置。
前記第2の算出部は、前記第1の周波数成分データよりも周波数が高く、高周波ノイズを示す第3の周波数成分データ、及び、前記第2の周波数成分データを、前記フーリエ変換データから取り除かれたデータを、前記特定周波数成分カットデータとし、複数の前記時系列画素データのそれぞれに対応する複数の前記特定周波数成分カットデータを算出する請求項16に記載のガス検知用画像処理装置。
【発明を実施するための形態】
【0011】
以下、図面に基づいて本発明の実施形態を詳細に説明する。各図において、同一符号を付した構成は、同一の構成であることを示し、その構成について、既に説明している内容については、その説明を省略する。
【0012】
本発明者は、赤外画像を利用したガス検知において、ガス漏れと背景の温度変化とが並行して発生し、背景の温度変化が、漏れたガスによる温度変化よりも大きい場合、背景の温度変化を考慮しなければ、ガスが漏れている様子を赤外画像で表示できないことを見出した。これについて詳しく説明する。
【0013】
図1は、ガス漏れと背景の温度変化とが並行して発生している状態で、屋外の試験場所を撮影した赤外画像を時系列で示す画像図である。これらは、赤外線カメラで動画を撮影して得られた赤外画像である。試験場所には、ガスを噴出させることができる地点SP1がある。地点SP1と比較するために、ガスが噴出しない地点SP2を示している。
【0014】
赤外画像I1は、太陽光が雲で遮られる直前の時刻T1に撮影された試験場所の赤外画像である。赤外画像I2は、時刻T1から5秒後の時刻T2に撮影された試験場所の赤外画像である。時刻T2は、太陽光が雲で遮られているので、時刻T1と比べて背景の温度が下がっている。
【0015】
画像I3は、時刻T1から10秒後の時刻T3に撮影された試験場所の赤外画像である。時刻T2から時刻T3まで、太陽光が雲で遮られた状態が継続されているので、時刻T3は、時刻T2と比べて背景の温度が下がっている。
【0016】
画像I4は、時刻T1から15秒後の時刻T4に撮影された試験場所の赤外画像である。時刻T3から時刻T4まで、太陽光が雲で遮られた状態が継続されているので、時刻T4は、時刻T3と比べて背景の温度が下がっている。
【0017】
時刻T1から時刻T4までの15秒間で、背景の温度が約4℃下がっている。このため、画像I4は、画像I1と比べて全体的に暗くなっており、背景の温度が低下していることが分かる。
【0018】
時刻T1後かつ時刻T2前の時刻に、地点SP1において、ガスの噴出を開始させている。噴出されたガスによる温度変化は、わずかである(約0.5℃)。このため、時刻T2、時刻T3、時刻T4では、地点SP1でガスが噴出しているが、噴出されたガスによる温度変化よりも、背景の温度変化の方がはるかに大きいので、画像I2、画像I3、画像I4を見ても地点SP1からガスが出ている様子が分からない。
【0019】
図2Aは、試験場所の地点SP1の温度変化を示すグラフであり、
図2Bは、試験場所の地点SP2の温度変化を示すグラフである。これらのグラフの縦軸は、温度を示している。これらのグラフの横軸は、フレームの順番を示している。例えば、45とは、45番目のフレームを意味する。フレームレートは、30fpsである。よって、1番目のフレームから450番目のフレームまでの時間は、15秒となる。
【0020】
地点SP1の温度変化を示すグラフと地点SP2の温度変化を示すグラフとは異なる。地点SP2ではガスが噴出していないので、地点SP2の温度変化は、背景の温度変化を示している。これに対して、地点SP1では、ガスが噴出しているので、地点SP1には、ガスが漂っている。このため、地点SP1の温度変化は、背景の温度変化と漏れたガスによる温度変化とを加算した温度変化を示している。
【0021】
図2Aに示すグラフからは、地点SP1でガスが噴出していることが分かる(すなわち、地点SP1でガス漏れが発生していることが分かる)。しかし、上述したように、
図1に示す赤外画像からは、地点SP1でガスが噴出していることが分からない(すなわち、地点SP1でガス漏れが発生していることが分からない)。本実施形態では、背景の温度変化を考慮して赤外画像を画像処理することにより、ガスが漏れている様子を画像で示すことができるようにする。
【0022】
図3Aは、本実施形態に係るガス検知システム1の構成を示すブロック図である。ガス検知システム1は、赤外線カメラ2とガス検知用画像処理装置3とを備える。
【0023】
赤外線カメラ2は、ガス漏れの監視対象(例えば、ガス輸送管どうしが接続されている箇所)、及び、背景の赤外画像の動画を撮影し、動画を示す動画データD1を生成する。動画データD1は、赤外画像の画像データの一例である。動画に限らず、赤外線カメラ2によって、ガス漏れの監視対象及び背景の赤外画像を複数の時刻で撮影してもよい。赤外線カメラ2は、光学系4、フィルター5、二次元イメージセンサー6及び信号処理部7を備える。
【0024】
光学系4は、被写体(監視対象及び背景)の赤外画像を二次元イメージセンサー6上で結像させる。フィルター5は、光学系4と二次元イメージセンサー6との間に配置され、光学系4を通過した光のうち、特定波長の赤外線のみを通過させる。赤外の波長帯のうち、フィルター5を通過させる波長帯は、検知するガスの種類に依存する。例えばメタンの場合、3.2〜3.4μmの波長帯を通過させるフィルター5が用いられる。二次元イメージセンサー6は、例えば、冷却型インジウムアンチモン(InSb)イメージセンサーであり、フィルター5を通過した赤外線を受光する。信号処理部7は、二次元イメージセンサー6から出力されたアナログ信号を、デジタル信号に変換し、公知の画像処理をする。このデジタル信号が、動画データD1となる。
【0025】
動画データD1(画像データ)で示される動画は、フレームが時系列に複数並べられた構造を有する。複数のフレームの同じ位置にある画素の画素データを時系列に並べたデータを、時系列画素データとする。時系列画素データを具体的に説明する。
図4は、時系列画素データを説明する説明図である。赤外画像の動画のフレーム数をKとする。一つのフレームがM個の画素、すなわち、1番目の画素、2番目の画素、・・・、M−1番目の画素、M番目の画素で構成されているとする。画素データは、画素の輝度又は温度を示す。
【0026】
複数(K個)のフレームの同じ位置にある画素とは、同じ順番の画素を意味する。例えば、1番目の画素で説明すると、1番目のフレームに含まれる1番目の画素の画素データ、2番目のフレームに含まれる1番目の画素の画素データ、・・・、K−1番目のフレームに含まれる1番目の画素の画素データ、K番目のフレームに含まれる1番目の画素の画素データを、時系列に並べたデータが、1番目の画素の時系列画素データとなる。また、M番目の画素で説明すると、1番目のフレームに含まれるM番目の画素の画素データ、2番目のフレームに含まれるM番目の画素の画素データ、・・・、K−1番目のフレームに含まれるM番目の画素の画素データ、K番目のフレームに含まれるM番目の画素の画素データを、時系列に並べたデータが、M番目の画素の時系列画素データとなる。時系列画素データの数は、一つのフレームを構成する画素の数と同じであり、これら複数(M個)の時系列画素データにより動画データD1が構成される。
【0027】
図3Aの説明に戻る。ガス検知用画像処理装置3は、パーソナルコンピューター、スマートフォン、タブレット端末等であり、機能ブロックとして、画像処理部8、表示制御部9及び表示部10を備える。画像処理部8及び表示制御部9は、CPU(Central Processing Unit)、RAM(Random Access Memory)、ROM(Read Only Memory)、及び、HDD(Hard Disk Drive)等によって実現される。表示部10は、例えば、液晶ディスプレイにより実現される。
【0028】
画像処理部8は、動画データD1(画像データ)に所定の処理をする。所定の処理には、動画データD1から第2の周波数成分データを除く処理が含まれる。この処理について説明する。ガス漏れの監視対象及び背景の動画を赤外線カメラ2で撮影している状態で、ガス漏れが発生したとき、動画データD1には、漏れたガスによる温度変化を示す第1の周波数成分データが含まれる。赤外画像の動画のうち、第1の周波数成分データで示される像が、ガス漏れの様子(言い換えれば、漏れたガスが漂っている領域)を示している。
【0029】
本発明者は、以下の現象を見出した。ガス漏れの監視対象及び背景の動画を赤外線カメラ2で撮影している状態で、ガス漏れと背景の温度変化とが並行して発生し、背景の温度変化が、漏れたガスによる温度変化よりも大きいとき、赤外画像の動画からガス漏れの様子が分からない。これは、動画データD1には、第1の周波数成分データに加えて、第1の周波数成分データよりも周波数が低く、背景の温度変化を示す第2の周波数成分データが含まれるからである。第2の周波数成分データで示される像(背景の明暗の変化)により、第1の周波数成分データで示される像が見えなくなるのである。
図2Aを参照して、地点SP1の温度変化を示すグラフに含まれる細かい変化が、第1の周波数成分データに対応する。地点SP2の温度変化を示すグラフが第2の周波数成分データに対応する。
【0030】
そこで、画像処理部8は、画素の位置がそれぞれ異なる複数の時系列画素データ(すなわち、動画データD1を構成する複数の時系列画素データ)のそれぞれに対して、第2の周波数成分データを除く処理をする。画素の位置がそれぞれ異なる複数の時系列画素データとは、
図4を参照して、1番目の画素の時系列画素データ、2番目の画素の時系列画素データ、・・・、M−1番目の画素の時系列画素データ、M番目の画素の時系列画素データを意味する。画像処理部8は、フレームの単位で第2の周波数成分データを除く処理をするのではなく、時系列画素データの単位で第2の周波数成分データを除く処理をする。画像処理部8での処理については、後でさらに詳しく説明する。
【0031】
表示制御部9は、画像処理部8で所定の処理された動画データD1で示される動画を、表示部10に表示させる。
【0032】
図3Bは、
図3Aに示すガス検知用画像処理装置3のハードウェア構成を示すブロック図である。ガス検知用画像処理装置3は、CPU3a、RAM3b、ROM3c、HDD3d、液晶ディスプレイ3e、及び、これらを接続するバス3fを備える。液晶ディスプレイ3eは、表示部10を実現するハードウェアである。液晶ディスプレイ3eの替わりに、有機ELディスプレイ(Organic Light Emitting Diode display)、プラズマディスプレイ等でもよい。
【0033】
HDD3d(HDD3dの替わりにROM3cでもよい)には、
図3Aに示す画像処理部8、及び、表示制御部9について、これらの機能ブロックをそれぞれ実現するためのプログラムが格納されている。画像処理部8を実現するプログラムは、動画データD1(画像データ)を取得し、動画データD1に上記所定の処理をする処理プログラムである。表示制御部9を実現するプログラムは、画像(例えば、上記所定の処理がされた動画データD1で示される動画)を表示部10に表示させる表示制御プログラムである。これらのプログラムは、HDD3dの替わりにROM3cに格納しても良い。
【0034】
CPU3aは、処理プログラム及び表示制御プログラムを、HDD3dから読み出してRAM3bに展開させ、展開されたプログラムを実行することによって、これらの機能ブロックが実現される。処理プログラム及び表示制御プログラムは、HDD3dに予め記憶されていてもよいし、これらのプログラムを記憶している記憶媒体(例えば、磁気ディスク、光学ディスクのような外部記憶媒体)が用意されており、この記憶媒体に記憶されているプログラムがHDD3dに記憶されてもよい。
【0035】
なお、画像処理部8は、次に説明するように、第1態様から第7態様がある。これらの態様は、それぞれ、複数の要素によって構成される。従って、HDD3dには、これらの要素を実現するためのプログラムが格納されている。例えば、画像処理部8の第1態様は、要素として、第1の抽出部、第1の算出部、及び、第2の算出部を備える。HDD3dには、第1の抽出部、第1の算出部、第2の算出部のそれぞれを実現するためのプログラムが格納されている。これらのプログラムは、第1の抽出プログラム、第1の算出プログラム、第2の算出プログラムと表現される。
【0036】
これらのプログラムは、要素の定義を用いて表現される。第1の抽出部及び第1の抽出プログラムを例にして説明する。第1の抽出部は、時系列画素データに対して、
図4に示すK個のフレームより少ない第1の所定数のフレームを単位とする単純移動平均を算出することにより時系列画素データから抽出されたデータを、第2の周波数成分データとし、
図4に示すM個の時系列画素データのそれぞれに対応するM個の第2の周波数成分データを抽出する。第1の抽出プログラムは、時系列画素データに対して、
図4に示すK個のフレームより少ない第1の所定数のフレームを単位とする単純移動平均を算出することにより時系列画素データから抽出されたデータを、第2の周波数成分データとし、
図4に示すM個の時系列画素データのそれぞれに対応するM個の第2の周波数成分データを抽出するプログラムである。
【0037】
CPU3aによって実行されるこれらのプログラム(第1の抽出プログラム、第1の算出プログラム、第2の算出プログラム)のフローチャートが、後で説明する
図5である。
【0038】
画像処理部8の第1態様を説明する。
図5は、画像処理部8の第1態様で実行される処理のフローチャートである。画像処理部8の第1態様は、第1の抽出部として機能する。第1の抽出部は、時系列画素データに対して、
図4に示すK個のフレームより少ない第1の所定数のフレームを単位とする単純移動平均を算出することにより時系列画素データから抽出されたデータを、第2の周波数成分データとし、
図4に示すM個の時系列画素データのそれぞれに対応するM個の第2の周波数成分データを抽出する(ステップS1)。
【0039】
図6は、
図2Aの地点SP1に対応する画素の時系列画素データD2、及び、この時系列画素データD2から抽出された第2の周波数成分データD3を示すグラフである。時系列画素データD2で示される温度は、比較的急に変化し(変化の周期が比較的短く)、第2の周波数成分データD3で示される温度は、比較的緩やかに変化している(変化の周期が比較的長い)。グラフの縦軸及び横軸は、
図2Aのグラフの縦軸及び横軸と同じである。すなわち、グラフの縦軸は、温度を示している。グラフの横軸は、フレームの順番を示している。
【0040】
第1の所定数のフレームは、例えば、21フレームである。内訳は、ターゲットとなるフレーム、これより前の連続する10フレーム、これより後の連続する10フレームである。第1の所定数は、時系列画素データから第2の周波数成分データを抽出できる数であればよく、21に限らず、21より多くてもよいし、21より少なくてもよい。
【0041】
画像処理部8の第1態様は、第1の算出部として機能する。第1の算出部は、時系列画素データとこの時系列画素データから抽出された第2の周波数成分データとの差分を算出して得られるデータを、第1の差分データとし、M個の時系列画素データのそれぞれに対応するM個の第1の差分データを算出する(ステップS2)。
【0042】
図7は、第1の差分データD4を示すグラフである。グラフの縦軸及び横軸は、
図2Aのグラフの縦軸及び横軸と同じである。第1の差分データD4は、
図6に示す時系列画素データD2と第2の周波数成分データD3との差分を算出して得られたデータである。地点SP1でガスの噴出を開始する前において(90番目くらいまでのフレーム)、第1の差分データD4で示される微小な振幅の繰り返しは、主に、二次元イメージセンサー6のセンサーノイズを示している。地点SP1でガスの噴出を開始した後において(90番目以降のフレーム)、第1の差分データD4の振幅及び波形のばらつきが大きくなっている。
【0043】
画像処理部8は、第2の算出部として機能する。第2の算出部は、第1の差分データに対して、第2の所定数のフレームを単位とする所定の演算をすることにより算出された、第1の差分データの変動を示すデータを、第1の変動データとし、
図4に示す複数(M個)の時系列画素データのそれぞれに対応する複数(M個)の第1の変動データを算出する。第1の変動データは、二種類あり、一つは、第1のばらつきデータであり、もう一つは、第1の絶対値加算データである。画像処理部8の第1態様では、第1のばらつきデータが第1の変動データとして用いられる。第1のばらつきデータは、第1の差分データの波形のばらつきを示すデータである。
【0044】
画像処理部8の第1態様において、第2の算出部は、第1の差分データに対して、K個のフレームより少ない第2の所定数のフレームを単位とする移動標準偏差を算出して得られるデータを、第1のばらつきデータとし、M個の時系列画素データのそれぞれに対応するM個の第1のばらつきデータを算出する(ステップS3)。なお、移動標準偏差の替わりに、移動分散を算出してもよい。
【0045】
図8は、第1のばらつきデータD5を示すグラフである。グラフの横軸は、
図2Aのグラフの横軸と同じである。グラフの縦軸は、標準偏差を示している。第1のばらつきデータD5は、
図7に示す第1の差分データD4の移動標準偏差を示すデータである。第2の所定数のフレームは、例えば、21フレームである。第2の所定数は、統計的に意義がある標準偏差が求められる数であればよいので、第1の所定数と同じでもよいし、異なっていてもよい。
【0046】
図8に示すように、ガス漏れを示す標準偏差のしきい値(例えば、0.03)を設定することにより、画像処理部8の第1態様は、ガス漏れを検知することができる。画像処理部8の第1態様が、ガス漏れを検知したとき、
図3Aに示す表示制御部9は、ガス漏れが検知されたことを表示部10に表示させてもよいし、ガス検知用画像処理装置3は、不図示の警報器(スピーカー)を作動させて、ガス漏れが検知されたこと報知してもよい。このガス漏れ検知の表示及び報知は、後で説明する画像処理部8の第2態様〜第7態様でも適用できる。
【0047】
表示制御部9は、ステップS3で得られたM個の第1のばらつきデータを、第2の周波数成分データを除く処理がされた動画データD1とし、この動画データD1で示される動画を表示部10に表示させる。この動画において、時刻T1、時刻T2、時刻T3、時刻T4のフレームの画像を、
図9、
図10に示す。
図9及び
図10は、画像処理部8の第1態様で処理された画像の一例を時系列で示す画像図である。これらの画像の生成において、移動標準偏差の倍率を決める係数が異なり、これにより、これらの画像は、コントラストが異なっている。
【0048】
図9は、ステップS3で得られた標準偏差を1000倍にした画像I5、画像I6、画像I7、画像I8を示し、
図10は、ステップS3で得られた標準偏差を5000倍にした画像I9、画像I10、画像I11、画像I12を示している。画像I5及び画像I9は、
図1に示す赤外画像I1を、画像処理部8の第1態様で処理した画像である。画像I6及び画像I10は、
図1に示す赤外画像I2を、画像処理部8の第1態様で処理した画像である。画像I7及び画像I11は、
図1に示す赤外画像I3を、画像処理部8の第1態様で処理した画像である。画像I8及び画像I12は、
図1に示す赤外画像I4を、画像処理部8の第1態様で処理した画像である。
図9及び
図10のいずれでも、地点SP1でガスが噴出している様子が分かる。
【0049】
以上説明したように、画像処理部8の第1態様によれば、画像処理部8が、動画データD1に含まれる第2の周波数成分データを除く処理をし、表示制御部9が、この処理がされた動画データD1で示される動画を表示部10に表示させる。従って、画像処理部8の第1態様によれば、ガス漏れと背景の温度変化とが並行して発生し、背景の温度変化が、漏れたガスによる温度変化よりも大きい場合でも、ガスが漏れている様子を動画で表示できる。
【0050】
画像処理部8の第2態様を説明する。画像処理部8の第2態様は、背景の温度変化を示す第2の周波数成分データに加えて、高周波ノイズを示す第3の周波数成分データを動画データD1から除く処理をする。高周波ノイズは、主に、二次元イメージセンサー6のセンサーノイズである。第3の周波数成分データは、漏れたガスによる温度変化を示す第1の周波数成分データより、周波数が高い。画像処理部8の第2態様は、漏れたガスによる温度変化を示す第1の周波数成分データを通過させ、第1の周波数成分データより周波数が低い第2の周波数成分データ、及び、第1の周波数成分データより周波数が高い第3の周波数成分データをカットする。よって、画像処理部8の第2態様は、バンドパスフィルターとして機能する。
図11は、画像処理部8の第2態様で実行される処理のフローチャートである。
【0051】
画像処理部8の第2態様は、ステップS1を実行する、すなわち、第2の周波数成分データを抽出する第1の抽出部として機能する。この機能は、画像処理部8の第1態様で説明した。画像処理部8の第2態様は、第2の抽出部として機能する。第2の抽出部は、時系列画素データに対して、第1の所定数(例えば、21)より少ない第3の所定数(例えば、3)のフレームを単位とする単純移動平均を算出することにより時系列画素データから抽出されたデータを、第3の周波数成分データとし、
図4に示すM個の時系列画素データのそれぞれに対応するM個の第3の周波数成分データを抽出する(ステップS4)。
【0052】
図12は、地点SP1に対応する画素の時系列画素データD2、時系列画素データD2から抽出された第2の周波数成分データD3、時系列画素データD2から抽出された第3の周波数成分データD6を示すグラフである。グラフの縦軸及び横軸は、
図2Aのグラフの縦軸及び横軸と同じである。
図12は、
図6に示すグラフに、第3の周波数成分データD6を加えたグラフである。時系列画素データD2で示される温度は、比較的急に変化し(変化の周期が比較的短く)、第2の周波数成分データD3で示される温度は、比較的緩やかに変化している(変化の周期が比較的長い)。第3の周波数成分データD6は、時系列画素データD2とほぼ重なっている。
【0053】
第3の所定数のフレームは、例えば、3フレームである。内訳は、ターゲットとなるフレーム、この直前の1フレーム、この直後の1フレームである。第3の所定数は、時系列画素データから第3の周波数成分を抽出できる数であればよく、3に限定されず、3より多くてもよい。
【0054】
画像処理部8の第2態様は、ステップS2を実行する、すなわち、第1の差分データを算出する第1の算出部として機能する。この機能は、画像処理部8の第1態様で説明した。画像処理部8の第2態様は、第3の算出部として機能する。第3の算出部は、時系列画素データとこの時系列画素データから抽出された第3の周波数成分データとの差分を算出して得られるデータを、第2の差分データとし、M個の時系列画素データのそれぞれに対応するM個の第2の差分データを算出する(ステップS5)。
【0055】
図13Aは、第1の差分データD4を示すグラフであり、
図13Bは、第2の差分データD7を示すグラフである。これらのグラフの縦軸及び横軸は、
図2Aのグラフの縦軸及び横軸と同じである。第1の差分データD4は、
図7に示す第1の差分データD4と同じであり、
図12に示す時系列画素データD2と第2の周波数成分データD3との差分を算出して得られたデータである。第2の差分データD7は、
図12に示す時系列画素データD2と第3の周波数成分データD6との差分を算出して得られたデータである。
【0056】
第1の差分データD4は、第1の周波数成分データ(漏れたガスによる温度変化を示すデータ)及び第3の周波数成分データD6(高周波ノイズを示すデータ)を含む。第2の差分データD7は、第1の周波数成分データを含まず、第3の周波数成分データD6を含む。
【0057】
第1の差分データD4は、第1の周波数成分データを含むので、地点SP1でガスの噴出を開始した後において(90番目以降のフレーム)、第1の差分データD4の振幅及び波形のばらつきが大きくなっている。これに対して、第2の差分データD7は、第1の周波数成分データを含まないので、そのようなことはない。第2の差分データD7は、微小な振幅を繰り返している。これが高周波ノイズである。
【0058】
第1の差分データD4と第2の差分データD7とは、相関しているが、完全に相関していない。すなわち、あるフレームにおいて、第1の差分データD4の値がプラス、第2の差分データD7の値がマイナスとなり、又は、その逆となる場合がある。このため、第1の差分データD4と第2の差分データD7との差分を算出しても、第3の高周波成分データD6を除去できない。第3の高周波成分データD6を除去するには、第1の差分データD4及び第2の差分データD7を絶対値に変換する必要がある。
【0059】
そこで、画像処理部8の第2態様は、ステップS3を実行する、すなわち、第1のばらつきデータを算出する第2の算出部として機能する。この機能は、画像処理部8の第1態様で説明した。
【0060】
画像処理部8は、第4の算出部として機能する。第4の算出部は、第2の差分データに対して、第4の所定数のフレームを単位とする所定の演算をすることにより算出された、第2の差分データの変動を示すデータを、第2の変動データとし、
図4に示す複数(M個)の時系列画素データのそれぞれに対応する複数(M個)の第2の変動データを算出する。第2の変動データは、二種類あり、一つは、第2のばらつきデータであり、もう一つは、第2の絶対値加算データである。画像処理部8の第2態様では、第2のばらつきデータが第2の変動データとして用いられる。第2のばらつきデータは、第2の差分データの波形のばらつきを示すデータである。
【0061】
画像処理部8の第2態様において、第4の算出部は、第2の差分データに対して、K個のフレームより少ない第4の所定数(例えば、21)のフレームを単位とする移動標準偏差を算出して得られるデータを、第2のばらつきデータとし、M個の時系列画素データのそれぞれに対応するM個の第2のばらつきデータを算出する(ステップS6)。移動標準偏差の替わりに、移動分散を用いてもよい。
【0062】
図14は、第1のばらつきデータD5及び第2のばらつきデータD8を示すグラフである。グラフの横軸は、
図2Aのグラフの横軸と同じである。グラフの縦軸は、標準偏差を示している。
図14は、
図8に示すグラフに、第2のばらつきデータD8を加えたグラフである。第1のばらつきデータD5は、
図13Aに示す第1の差分データD4の移動標準偏差を示すデータである。第2のばらつきデータD8は、
図13Bに示す第2の差分データD7の移動標準偏差を示すデータである。移動標準偏差の算出に用いるフレーム数は、第1のばらつきデータD5及び第2のばらつきデータD8のいずれの場合も、21であるが、統計的に意義がある標準偏差が求められる数であればよく、21に限定されない。
【0063】
第1のばらつきデータD5及び第2のばらつきデータD8は、標準偏差なので、マイナスの値を含まない。このため、第1のばらつきデータD5及び第2のばらつきデータD8は、第1の差分データD4及び第2の差分データD7を絶対値に変換したデータと見なすことができる。
【0064】
画像処理部8の第2態様は、第5の算出部として機能する。第5の算出部は、同じ時系列画素データから得られた第1のばらつきデータ(第1の変動データの一例)と第2のばらつきデータ(第2の変動データの一例)との差分を算出して得られるデータを、第3の差分データとし、M個の時系列画素データのそれぞれに対応するM個の第3の差分データを算出する(ステップS7)。
【0065】
図15は、第3の差分データD9を示すグラフである。グラフの横軸は、
図2Aのグラフの横軸と同じである。グラフの縦軸は、標準偏差である。第3の差分データD9は、
図14に示す第1のばらつきデータD5と第2のばらつきデータD8との差分を示すデータである。
【0066】
表示制御部9は、ステップS7で得られたM個の第3の差分データを、第2の周波数成分データ及び第3の周波数成分データを除く処理がされた動画データD1とし、この動画データD1で示される動画を表示部10に表示させる。この動画において、時刻T1のフレームの画像I15、並びに、これに関係する画像I13及び画像I14を、
図16に示し、時刻T2のフレームの画像I18、並びに、これに関係する画像I16及び画像I17を、
図17に示す。いずれも標準偏差を5000倍にした画像である。
【0067】
図16は、画像処理部8の第2態様で処理された、時刻T1のフレームの画像I15、並びに、これに関係する画像I13及び画像I14を示す画像図である。画像I13は、
図11のステップS3で得られたM個の第1のばらつきデータ(動画データD1)で示される動画において、時刻T1のフレームの画像である。画像I14は、
図11のステップS6で得られたM個の第2のばらつきデータ(動画データD1)で示される動画において、時刻T1のフレームの画像である。画像I13と画像I14との差分が、画像I15となる。
【0068】
図17は、画像処理部8の第2態様で処理された、時刻T2のフレームの画像I18、並びに、これに関係する画像I16及び画像I17を示す画像図である。画像I16は、ステップS3で得られたM個の第1のばらつきデータ(動画データD1)で示される動画において、時刻T2のフレームの画像である。画像I17は、ステップS6で得られたM個の第2のばらつきデータ(動画データD1)で示される動画において、時刻T2のフレームの画像である。画像I16と画像I17との差分が、画像I18となる。
【0069】
センサーノイズは、温度が高くになるに従って小さくなるので、温度に応じて異なる。二次元イメージセンサー6において、画素が感知している温度に応じたノイズが、各画素で発生する。すなわち、全ての画素のノイズが同じではない。画像処理部8の第2態様によれば、動画から高周波ノイズを除くことができるので、僅かなガス漏れでも表示部10に表示させることができる。
【0070】
また、画像処理部8の第2態様によれば、
図11のステップS4において、第3の周波数成分データの周波数を予め特定して(例えば、5Hz以上)、時系列画素データから第3の周波数成分データを抽出できる。このため、第1の周波数成分データと第3の周波数成分データとの周波数が近くても、ステップS4において、第3の周波数成分データのみを抽出できる。これについて詳しく説明する。
【0071】
図18は、地点SP3でガスを噴出している状態の赤外画像I19を示す画像図である。画像処理部8の第2態様による画像処理がされていない。
図19は、地点SP3に対応する画素の時系列画素データD10を示すグラフである。グラフの縦軸及び横軸は、
図2Aのグラフの縦軸及び横軸と同じである。時刻T5において、地点SP3でガスの噴出を開始する。背景の温度変化は、生じていない。赤外画像I19が撮影された時刻T6は、時刻T5より後である。
【0072】
時刻T5より前の時系列画素データD10は、第3の周波数成分データを示している。時刻T5以降の時系列画素データD10は、第1の周波数成分データと第3の周波数成分データとが合成されたデータを示している。第1の周波数成分データの周波数と第3の周波数成分データの周波数とが近いので、時刻T5の前後で、時系列画素データの波形に大きな差が生じていない。このため、画像処理部8の第2態様による画像処理がされていない、
図18に示す赤外画像I19では、地点SP3でガスが噴出していることが分からない。
【0073】
図20は、画像処理部8の第2態様で画像処理された、時刻T6のフレームの画像I22、並びに、これに関係する画像I20及び画像I21を示す画像図である。画像I20は、
図11のステップS3で得られたM個の第1のばらつきデータ(動画データD1)で示される動画を構成する画像である。画像I21は、
図11のステップS6で得られたM個の第2のばらつきデータ(動画データD1)で示される動画を構成する画像である。画像I20と画像I21との差分が、画像I22となる。画像I22の中央部の白い箇所がガスの噴出を示している。
【0074】
画像処理部8の第3態様を説明する。
図21は、画像処理部8の第3態様で実行される処理のフローチャートである。画像処理部8の第3態様が、
図11に示す画像処理部8の第2態様と異なる点は、第1のばらつきデータを算出する処理(ステップS3)の替わりに、第1の絶対値データを算出する処理をし(ステップS8)、第2のばらつきデータを算出する処理(ステップS6)の替わりに、第2の絶対値データを算出する処理をする(ステップS9)。
【0075】
画像処理部8の第3態様は、第2の算出部として機能する。第2の算出部は、
図21に示すステップS2で得られたM個の第1の差分データの絶対値を示すデータを、第1の絶対値データとし、
図4に示すM個の時系列画素データのそれぞれに対応するM個の第1の絶対値データを算出する(ステップS8)。画像処理部8の第3態様は、第4の算出部として機能する。第4の算出部は、
図21に示すステップS5で得られたM個の第2の差分データの絶対値を示すデータを、第2の絶対値データとし、M個の時系列画素データのそれぞれに対応するM個の第2の絶対値データを算出する(ステップS9)。
【0076】
図22は、第1の絶対値データD11及び第2の絶対値データD12を示すグラフである。グラフの縦軸及び横軸は、
図2Aのグラフの縦軸及び横軸と同じである。第1の絶対値データD11は、
図13Aに示す第1の差分データD4の絶対値を示すデータである。第2の絶対値データD12は、
図13Bに示す第2の差分データD7の絶対値を示すデータである。
【0077】
画像処理部8の第3態様は、第2の算出部及び第4の算出部として機能する。第2の算出部は、第1の絶対値データに対して、複数のフレームより少ない第2の所定数のフレームを単位とする移動加算をすることにより第1の絶対値加算データ(第1の変動データの一例)を求める。第4の算出部は、第2の絶対値データに対して、複数のフレームより少ない第2の所定数のフレームを単位とする移動加算をすることにより第2の絶対値加算データ(第2の変動データの一例)を求める。
【0078】
図23は、第1の絶対値加算データD14及び第2の絶対値加算データD15を示すグラフである。グラフの縦軸及び横軸は、
図2Aに示すグラフの縦軸及び横軸と同じである。第1の絶対値加算データD14は、
図22に示す第1の絶対値データD11に対して、
図4に示すK個のフレームより少ない所定数(例えば、21)のフレームを単位とする加算をして得られたデータである。第2の算出部は、M個の時系列画素データのそれぞれに対応するM個の第1の絶対値加算データを算出する。第2の絶対値加算データD15は、
図22に示す第2の絶対値データD12に対して、K個のフレームより少ない所定数(例えば、21)のフレームを単位とする加算をして得られたデータである。第4の算出部は、M個の時系列画素データのそれぞれに対応するM個の第2の絶対値加算データを算出する。21フレームを単位とする単純移動平均では、加算した値を21で割っているが、21フレームを単位とする加算では、この割り算をする処理をしない。
【0079】
画像処理部8の第3態様は、第5の算出部として機能する。第5の算出部は、同じ時系列画素データから得られた第1の絶対値加算データ(第1の変動データの一例)と第2の絶対値加算データ(第2の変動データの一例)との差分を算出して得られるデータを、第3の差分データとし、M個の時系列画素データのそれぞれに対応するM個の第3の差分データを算出する(ステップS10)。
【0080】
表示制御部9は、ステップS10で得られたM個の第3の差分データを、第2の周波数成分データ及び第3の周波数成分データを除く処理がされた動画データD1とし、この動画データD1で示される動画を表示部10に表示させる。画像処理部8の第3態様によれば、動画から高周波ノイズを除くことができるので、僅かなガス漏れでも表示部10に表示させることができる。
【0081】
画像処理部8の第4態様を説明する。
図25は、画像処理部8の第4態様で実行される処理のフローチャートである。画像処理部8の第4態様が、
図21に示す画像処理部8の第3態様と異なる点は、ステップS4、ステップS5、ステップS9及びステップS10の処理をしないことである。従って、画像処理部8の第4態様は、
図5に示す画像処理部8の第1態様と同様に、第3の周波数成分データを除く処理をせずに、第2の周波数成分データを除く処理をする。画像処理部8の第4態様は、動画データD1から第2の周波数成分データを除く処理をする画像処理部8の一つの態様である。
【0082】
画像処理部8の第5態様を説明する。これは、動画データD1から第2の周波数成分データを除く処理をする画像処理部8の一つの態様である。また、画像処理部8の第5態様によれば、動画から高周波ノイズを除くことができるので、僅かなガス漏れでも表示部10に表示させることができる。
【0083】
図26は、画像処理部8の第5態様で実行される処理のフローチャートである。画像処理部8の第5態様は、時系列画素データから第1の周波数成分データを抽出する。第1の周波数成分データとは、漏れたガスによる温度変化を示す周波数成分データである。
【0084】
画像処理部8の第5態様は、抽出部として機能する。抽出部は、時系列画素データに対して、第1の周波数成分データを抽出できる重み付け係数を用いて、
図4に示すK個のフレーム数より少ない所定数(第1の所定数)のフレームを単位とする加重移動平均を算出することにより時系列画素データから抽出されたデータを、第1の周波数成分データとし、
図4に示すM個の時系列画素データのそれぞれに対応するM個の第1の周波数成分データを抽出する(ステップS11)。
【0085】
第1の周波数成分データの周波数を、0.3〜3Hzとする。
図27は、第1の周波数成分データを抽出できるバンドパスフィルターを説明する説明図である。横軸は、フレームを示し、縦軸は、重み付け係数を示している。第1の所定数のフレームは、例えば、99フレームである。内訳は、ターゲットとなるフレーム、これより前の連続する49フレーム、これより後の連続する49フレームである。第1の所定数は、時系列画素データから第1の周波数成分を抽出できる数であればよく、99より多くてもよいし、少なくてもよい。
【0086】
図28は、抽出された第1の周波数成分データD16を示すグラフである。グラフの縦軸及び横軸は、
図2Aのグラフの縦軸及び横軸と同じである。第1の周波数成分データD16は、
図2Aに示す地点SP1に対応する画素の時系列画素データから抽出されたデータである。
【0087】
画像処理部8の第5態様は、算出部として機能する。算出部は、第1の周波数成分データを基にして求められた、第1の周波数成分の変動を示すデータを、変動データとし、複数(M個)の時系列画素データのそれぞれに対応する複数(M個)の変動データを算出する。第5態様では、変動データとして、ばらつきデータを用いる。すなわち、算出部は、第1の周波数成分データに対して、K個のフレームより少ない第2の所定数のフレームを単位とする移動標準偏差を算出して得られるデータを、ばらつきデータとし、M個の時系列画素データのそれぞれに対応するM個のばらつきデータを算出する(ステップS12)。なお、移動標準偏差の替わりに、移動分散を算出してもよい。
【0088】
図29は、ばらつきデータD17を示すグラフである。グラフの横軸は、
図2Aのグラフの横軸と同じである。グラフの縦軸は、標準偏差を示している。ばらつきデータD17は、
図28に示す第1の周波数成分データD16の移動標準偏差を示すデータである。第2の所定数のフレームは、例えば、21フレームである。第2の所定数は、21であるが、統計的に意義がある標準偏差が求められる数であればよく、21に限定されない。
【0089】
表示制御部9は、ステップS12で得られたM個のばらつきデータを、第2の周波数成分データ及び第3の周波数成分データを除く処理がされた動画データD1とし、この動画データD1で示される動画を表示部10に表示させる。
【0090】
画像処理部8の第6態様を説明する。これは、動画データD1から第2の周波数成分データを除く処理をする画像処理部8の一つの態様である。また、画像処理部8の第6態様によれば、動画から高周波ノイズを除くことができるので、僅かなガス漏れでも表示部10に表示させることができる。
【0091】
画像処理部8の第6態様で実行される処理のフローチャートは、
図11に示す画像処理部8の第2態様で実行される処理のフローチャートを応用することもできるし、
図21に示す画像処理部8の第3態様で実行される処理のフローチャートを応用することもできる。画像処理部8の第6態様は、ステップS1の処理とステップS2の処理とをまとめて処理をし、ステップS4の処理とステップS5の処理とをまとめて処理をする。
【0092】
画像処理部8の第6態様は、第1の算出部として機能する。第1の算出部は、時系列画素データに対して、第2の周波数成分データを抽出できる重み付け係数を用いて、
図4に示すK個のフレームより少ない第1の所定数のフレームを単位とする加重移動平均を算出して得られたデータを、第1の差分データとし、第1の差分データは、時系列画素データと第2の周波数成分データとの差分であり、M個の時系列画素データのそれぞれに対応するM個の第1の差分データを算出する(ステップS1の処理とステップS2の処理とがまとめられた処理)。
【0093】
画像処理部8の第6態様は、第3の算出部として機能する。第3の算出部は、第1の周波数成分データよりも周波数が高く、高周波ノイズを示すデータを第3の周波数成分データとし、時系列画素データに対して、第3の周波数成分データを抽出できる重み付け係数を用いて、K個のフレームより少ない第3の所定数のフレームを単位とする加重移動平均を算出して得られたデータを、第2の差分データとし、第2の差分データは、時系列画素データと第3の周波数成分データとの差分であり、M個の時系列画素データのそれぞれに対応するM個の第2の差分データを算出する(ステップS4の処理とステップS5の処理とがまとめられた処理)。
【0094】
第2の周波数成分データの周波数を、0.5Hz以下とし、第3の周波数成分データの周波数を5Hz以上とする。
図30は、第1の差分データを抽出できるフィルターを説明する説明図である。
図31は、第2の差分データを抽出できるフィルターを説明する説明図である。
図30及び
図31の横軸は、フレームを示し、縦軸は、重み付け係数を示している。第1の所定数及び第3の所定数のフレームは、例えば、99フレームである。内訳は、ターゲットとなるフレーム、これより前の連続する49フレーム、これより後の連続する49フレームである。
【0095】
画像処理部8の第6態様で実行される後の処理は、
図11に示すフローチャートを応用する場合、ステップS3、ステップS6、ステップS7と同じであり、
図21に示すフローチャートを応用する場合、ステップS8、ステップS9、ステップS10と同じである。
【0096】
画像処理部8の第6態様には、変形例がある。変形例は、上述した第1の算出部を備えるが、第3の算出部を備えない。変形例で実行される処理のフローチャートは、
図5に示す画像処理部8の第1態様で実行される処理のフローチャートを応用することもできるし、
図25に示す画像処理部8の第4態様で実行される処理のフローチャートを応用することもできる。変形例は、ステップS1の処理とステップS2の処理とをまとめて処理をする。後の処理は、
図5に示すフローチャートを応用する場合、ステップS3と同じであり、
図25に示すフローチャートを応用する場合、ステップS8と同じである。
【0097】
画像処理部8の第7態様を説明する。これは、動画データD1から第2の周波数成分データを除く処理をする画像処理部8の一つの態様である。また、画像処理部8の第7態様によれば、動画から高周波ノイズを除くことができるので、僅かなガス漏れでも表示部10に表示させることができる。
【0098】
図32は、画像処理部8の第7態様で実行される処理のフローチャートである。画像処理部8の第7態様は、フーリエ変換及びフーリエ逆変換を利用して、時系列画素データから第2の周波数成分データ及び第3の周波数成分データを除く。
【0099】
画像処理部8の第7態様は、第1の算出部として機能する。第1の算出部は、時系列画素データに対して、フーリエ変換して得られたデータを、フーリエ変換データとし、
図4に示すM個の時系列画素データのそれぞれに対応するM個のフーリエ変換データを算出する(ステップS21)。
【0100】
画像処理部8の第7態様は、第2の算出部として機能する。第2の算出部は、フーリエ変換データから第2の周波数成分データ及び第3の周波数成分データが取り除かれたデータを、特定周波数成分カットデータとし、M個の時系列画素データのそれぞれに対応するM個の特定周波数成分カットデータを算出する(ステップS22)。ここでは、第2の周波数成分データの周波数を、例えば、0.5Hz以下とし、第3の周波数成分データの周波数を、例えば、5Hz以上とする。
【0101】
画像処理部8の第7態様は、第3の算出部として機能する。第3の算出部は、特定周波数成分カットデータに対して、フーリエ逆変換して得られたデータを、フーリエ逆変換データとし、M個の時系列画素データのそれぞれに対応するM個のフーリエ逆変換データを算出する(ステップS23)。
図33は、フーリエ逆変換データD18を示すグラフである。グラフの縦軸及び横軸は、
図2Aのグラフの縦軸及び横軸と同じである。フーリエ逆変換データD18は、
図2Aに示す地点SP1に対応する画素の時系列画素データから算出されたデータである。
図33は、フレーム数Kを、512として、ステップS21、ステップS22及びステップS23の処理をした結果を示している。
【0102】
画像処理部8の第7態様は、第4の算出部として機能する。第4の算出部は、フーリエ逆変換データを基にして求められた、フーリエ逆変換データの変動を示すデータを、変動データとし、複数のフーリエ逆変換データのそれぞれに対応する複数の変動データを算出する。第7態様では、変動データとして、ばらつきデータを用いる。すなわち、第4の算出部は、フーリエ逆変換データに対して、K個のフレームより少ない所定数のフレームを単位とする移動標準偏差を算出して得られるデータを、ばらつきデータとし、M個のフーリエ逆変換データのそれぞれに対応するM個のばらつきデータを算出する(ステップS24)。なお、移動標準偏差の替わりに、移動分散を算出してもよい。
【0103】
図34は、ばらつきデータD19を示すグラフである。グラフの横軸は、
図2Aのグラフの横軸と同じである。グラフの縦軸は、標準偏差を示している。ばらつきデータD19は、
図33に示すフーリエ逆変換データD18の移動標準偏差を示すデータである。所定数のフレームは、例えば、21フレームである。所定数は、21であるが、統計的に意義がある標準偏差が求められる数であればよく、21に限定されない。
【0104】
表示制御部9は、ステップS24で得られたM個のばらつきデータを、第2の周波数成分データ及び第3の周波数成分データを除く処理がされた動画データD1とし、動画データD1で示される動画を表示部10に表示させる。
【0105】
図3Aに示す本実施形態に係るガス検知用画像処理装置3は、画像処理部8が、ガスが漏れている様子を画像で示すことができる画像処理をし、表示制御部9が、その画像処理がされた画像を表示部10に表示させている。本発明は、この構成に限定されず、画像処理部8を備えるが、表示制御部8及び表示部10を備えない構成でもよいし、画像処理部8及び表示制御部9を備えるが、表示部10を備えない構成でもよい。
【0106】
(実施形態の纏め)
上記目的を達成する本実施形態の第1の局面に係るガス検知用画像処理装置は、ガス漏れの監視対象を複数の時刻で撮影した赤外画像に対して画像処理をするガス検知用画像処理装置であって、漏れたガスによる温度変化を示す第1の周波数成分データよりも周波数が低く、前記監視対象の背景の温度変化を示す第2の周波数成分データを、前記赤外画像を示す画像データから除く処理をする画像処理部を備える。
【0107】
ガス漏れの監視対象の赤外画像を複数の時刻で撮影している状態で、ガス漏れが発生したとき、画像データには、漏れたガスによる温度変化を示す第1の周波数成分データが含まれる。赤外画像のうち、第1の周波数成分データで示される像が、ガス漏れの様子(言い換えれば、漏れたガスが漂っている領域)を示している。
【0108】
本発明者は、以下の現象を見出した。ガス漏れの監視対象の赤外画像を複数の時刻で撮影している状態で、ガス漏れと監視対象の背景の温度変化とが並行して発生し、背景の温度変化が、漏れたガスによる温度変化よりも大きいとき、赤外画像からガス漏れの様子が分からない。これは、画像データには、第1の周波数成分データに加えて、第1の周波数成分データよりも周波数が低く、背景の温度変化を示す第2の周波数成分データが含まれるからである。第2の周波数成分データで示される像(背景の明暗の変化)により、第1の周波数成分データで示される像が見えなくなるのである。
【0109】
本実施形態の第1の局面に係るガス検知用画像処理装置によれば、画像処理部が、画像データに含まれる第2の周波数成分データを除く処理をする。従って、本発明の第1の局面に係るガス検知用画像処理装置によれば、ガス漏れと背景の温度変化とが並行して発生し、背景の温度変化が、漏れたガスによる温度変化よりも大きい場合でも、ガスが漏れている様子を画像で示すことができる画像処理をできる。
【0110】
上記構成において、前記画像処理部は、前記第1の周波数成分データよりも周波数が高く、高周波ノイズを示す第3の周波数成分データを、前記画像データから除く処理をする。
【0111】
この構成によれば、画像データから高周波ノイズを除くことができるので、ガスが僅かに漏れている様子を画像で示すことができる画像処理をできる。
【0112】
上記構成において、前記画像データは、フレームが時系列に複数並べられた構造を有する動画データであり、前記画像処理部は、複数の前記フレームの同じ位置にある画素の画素データを時系列に並べたデータを時系列画素データとし、前記動画データを構成する複数の前記時系列画素データのそれぞれに対して、前記第2の周波数成分データを除く処理をする。
【0113】
この構成によれば、フレームの単位で第2の周波数成分データを除く処理をするのではなく、時系列画素データの単位で第2の周波数成分データを除く処理をする。時系列画素データは、複数のフレームの同じ位置にある画素の画素データを時系列に並べたデータである。時系列画素データの数は、一つのフレームを構成する画素の数と同じであり、これら複数の時系列画素データにより動画データが構成される。
【0114】
本実施形態の第1の局面に係るガス検知用画像処理装置は、以下の三つの技術思想に分けることができる。第1は、画像データから、第2の周波数成分データ、又は、第2の周波数成分データ及び第3の周波数成分データを除く技術思想である。第2は、画像データから第1の周波数成分データを抽出する技術思想である。第3は、フーリエ変換を利用する技術思想である。
【0115】
第1の技術思想は、以下の通りである。
【0116】
前記画像処理部は、前記時系列画素データに対して、第1の所定処理をすることにより抽出されたデータを、前記第2の周波数成分データとし、複数の前記時系列画素データのそれぞれに対応する複数の前記第2の周波数成分データを抽出する第1の抽出部と、前記時系列画素データと前記時系列画素データから抽出された前記第2の周波数成分データとの差分を算出して得られるデータを、第1の差分データとし、複数の前記時系列画素データのそれぞれに対応する複数の前記第1の差分データを算出する第1の算出部と、を備える。これは、画像処理部の第1態様〜第4態様に対応する。
【0117】
前記第1の所定処理は、前記時系列画素データに対して、複数の前記フレームより少ない第1の所定数の前記フレームを単位とする移動平均を算出することにより前記時系列画素データから前記第2の周波数成分データを抽出する処理である。これは、画像処理部の第1態様〜第4態様に対応する。
【0118】
前記画像処理部は、前記時系列画素データに対して、前記第2の周波数成分データを抽出できる重み付け係数を用いて、複数の前記フレームより少ない第1の所定数の前記フレームを単位とする加重移動平均を算出して得られたデータを、第1の差分データとし、前記第1の差分データは、前記時系列画素データと前記第2の周波数成分データとの差分であり、複数の前記時系列画素データのそれぞれに対応する複数の前記第1の差分データを算出する第1の算出部を備える。これは、画像処理部の第6態様に対応する。
【0119】
前記画像処理部は、前記第1の差分データに対して、第2の所定数の前記フレームを単位とする所定の演算をすることにより算出された、前記第1の差分データの変動を示すデータを、第1の変動データとし、複数の前記時系列画素データのそれぞれに対応する複数の前記第1の変動データを算出する第2の算出部をさらに備える。これは、画像処理部の第1態様〜第4態様、第6態様に対応する。
【0120】
前記第1の変動データは、第1のばらつきデータであり、前記第2の算出部は、前記第1の差分データに対して、複数の前記フレームより少ない前記第2の所定数の前記フレームを単位とする移動標準偏差又は移動分散を算出することにより前記第1のばらつきデータを求める。これは、画像処理部の第1態様、第2態様、第6態様に対応する。
【0121】
前記第1の変動データは、第1の絶対値加算データであり、前記第2の算出部は、前記第1の差分データを基にして求められた、前記第1の差分データの絶対値を示すデータを、第1の絶対値データとし、前記第1の絶対値データに対して、複数の前記フレームより少ない前記第2の所定数の前記フレームを単位とする移動加算をすることにより前記第1の絶対値加算データを求める。これは、画像処理部の第3態様、第4態様、第6態様に対応する。
【0122】
前記画像処理部は、前記時系列画素データに対して、第2の所定処理をすることにより抽出されたデータを、第3の周波数成分データとし、前記第3の周波数成分データは、前記第1の周波数成分データよりも周波数が高く、高周波ノイズを示すデータであり、複数の前記時系列画素データのそれぞれに対応する複数の前記第3の周波数成分データを抽出する第2の抽出部と、前記時系列画素データと前記時系列画素データから抽出された前記第3の周波数成分データとの差分を算出して得られるデータを、第2の差分データとし、複数の前記時系列画素データのそれぞれに対応する複数の前記第2の差分データを算出する第3の算出部と、前記第2の差分データに対して、第4の所定数の前記フレームを単位とする所定の演算をすることにより算出された、前記第2の差分データの変動を示すデータを、第2の変動データとし、複数の前記時系列画素データのそれぞれに対応する複数の前記第2の変動データを算出する第4の算出部と、同じ前記時系列画素データから得られた前記第1の変動データと前記第2の変動データとの差分を算出して得られるデータを、第3の差分データとし、複数の前記時系列画素データのそれぞれに対応する複数の前記第3の差分データを算出する第5の算出部と、をさらに備える。これは、画像処理部の第2態様、第3態様に対応する。
【0123】
前記第2の所定処理は、前記時系列画素データに対して、第3の所定数のフレームを単位とする移動平均を算出することにより前記時系列画素データから前記第3の周波数成分データを抽出する処理である。これは、画像処理部の第2態様、第3態様に対応する。第3の所定数は、例えば、前記第1の所定数より少ない。
【0124】
前記画像処理部は、前記第1の周波数成分データよりも周波数が高く、高周波ノイズを示すデータを第3の周波数成分データとし、前記時系列画素データに対して、前記第3の周波数成分データを抽出できる重み付け係数を用いて、複数の前記フレームより少ない第3の所定数の前記フレームを単位とする加重移動平均を算出して得られたデータを、第2の差分データとし、前記第2の差分データは、前記時系列画素データと前記第3の周波数成分データとの差分であり、複数の前記時系列画素データのそれぞれに対応する複数の前記第2の差分データを算出する第3の算出部と、前記第2の差分データに対して、第4の所定数の前記フレームを単位とする所定の演算をすることにより算出された、前記第2の差分データの変動を示すデータを、第2の変動データとし、複数の前記時系列画素データのそれぞれに対応する複数の前記第2の変動データを算出する第4の算出部と、同じ前記時系列画素データから得られた前記第1の変動データと前記第2の変動データとの差分を算出して得られるデータを、第3の差分データとし、複数の前記時系列画素データのそれぞれに対応する複数の前記第3の差分データを算出する第5の算出部と、をさらに備える。これは、画像処理部の第6態様に対応する。
【0125】
前記第2の変動データは、第2のばらつきデータであり、前記第4の算出部は、前記第2の差分データに対して、複数の前記フレームより少ない前記第4の所定数の前記フレームを単位とする移動標準偏差又は移動分散を算出することにより前記第2のばらつきデータを求める。これは、画像処理部の第2態様、第6態様に対応する。
【0126】
前記第2の変動データは、第2の絶対値加算データであり、前記第4の算出部は、前記第2の差分データを基にして求められた、前記第2の差分データの絶対値を示すデータを、第2の絶対値データとし、前記第2の絶対値データに対して、複数の前記フレームより少ない前記第4の所定数の前記フレームを単位とする移動加算をすることにより前記第2の絶対値加算データを求める。これは、画像処理部の第3態様、第6態様に対応する。
【0127】
第2の技術思想は、以下の通りである。
【0128】
前記画像処理部は、前記時系列画素データに対して、前記第1の周波数成分データを抽出できる重み付け係数を用いて、複数の前記フレーム数より少ない所定数の前記フレームを単位とする加重移動平均を算出することにより前記時系列画素データから抽出されたデータを、前記第1の周波数成分データとし、複数の前記時系列画素データのそれぞれに対応する複数の前記第1の周波数成分データを抽出する抽出部と、前記第1の周波数成分データを基にして求められた、前記第1の周波数成分の変動を示すデータを、変動データとし、複数の前記時系列画素データのそれぞれに対応する複数の前記変動データを算出する算出部と、を備える。これは、画像処理部の第5態様に対応する。
【0129】
第3の技術思想は、以下の通りである。
【0130】
前記画像処理部は、前記時系列画素データに対して、フーリエ変換して得られたデータを、フーリエ変換データとし、複数の前記時系列画素データのそれぞれに対応する複数の前記フーリエ変換データを算出する第1の算出部と、前記フーリエ変換データから前記第2の周波数成分データが取り除かれたデータを、特定周波数成分カットデータとし、複数の前記時系列画素データのそれぞれに対応する複数の前記特定周波数成分カットデータを算出する第2の算出部と、前記特定周波数成分カットデータに対して、フーリエ逆変換して得られたデータを、フーリエ逆変換データとし、複数の前記時系列画素データのそれぞれに対応する複数の前記フーリエ逆変換データを算出する第3の算出部と、前記フーリエ逆変換データを基にして求められた、前記フーリエ逆変換データの変動を示すデータを、変動データとし、複数の前記フーリエ逆変換データのそれぞれに対応する複数の前記変動データを算出する第4の算出部と、を備える。これは、画像処理部の第7態様に対応する。
【0131】
前記第2の算出部は、前記第1の周波数成分データよりも周波数が高く、高周波ノイズを示す第3の周波数成分データ、及び、前記第2の周波数成分データを、前記フーリエ変換データから取り除かれたデータを、前記特定周波数成分カットデータとし、複数の前記時系列画素データのそれぞれに対応する複数の前記特定周波数成分カットデータを算出する。これは、画像処理部の第7態様に対応する。
【0132】
本実施形態の第2の局面に係るガス検知用画像処理方法は、ガス漏れの監視対象を複数の時刻で撮影した赤外画像を示す画像データを取得する第1のステップと、漏れたガスによる温度変化を示す第1の周波数成分データよりも周波数が低く、前記監視対象の背景の温度変化を示す第2の周波数成分データを、前記画像データから除く処理をする第2のステップと、を備える。
【0133】
本実施形態の第2の局面に係るガス検知用画像処理方法によれば、本実施形態の第1の局面に係るガス検知用画像処理装置と同様の作用効果を有する。
【0134】
本実施形態の第3の局面に係るガス検知用画像処理プログラムは、ガス漏れの監視対象を複数の時刻で撮影した赤外画像を示す画像データを取得する第1のステップと、漏れたガスによる温度変化を示す第1の周波数成分データよりも周波数が低く、前記監視対象の背景の温度変化を示す第2の周波数成分データを、前記画像データから除く処理をする第2のステップと、をコンピューターに実行させる。
【0135】
本実施形態の第3の局面に係るガス検知用画像処理プログラムによれば、本実施形態の第1の局面に係るガス検知用画像処理装置と同様の作用効果を有する。
【0136】
この出願は、2015年10月29日に出願された日本国特許出願特願2015−212518を基礎とするものであり、その内容は、本願に含まれるものである。
【0137】
本発明を表現するために、上述において図面を参照しながら実施形態を通して本発明を適切且つ十分に説明したが、当業者であれば上述の実施形態を変更および/または改良することは容易に為し得ることであると認識すべきである。したがって、当業者が実施する変更形態または改良形態が、請求の範囲に記載された請求項の権利範囲を離脱するレベルのものでない限り、当該変更形態または当該改良形態は、当該請求項の権利範囲に包括されると解釈される。