(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-12-18
(45)【発行日】2023-12-26
(54)【発明の名称】コンクリート構造物診断システム、コンクリート構造物診断方法及びプログラム
(51)【国際特許分類】
G01N 25/72 20060101AFI20231219BHJP
【FI】
G01N25/72 K
(21)【出願番号】P 2019218869
(22)【出願日】2019-12-03
【審査請求日】2022-10-28
(73)【特許権者】
【識別番号】301031392
【氏名又は名称】国立研究開発法人土木研究所
(73)【特許権者】
【識別番号】000002299
【氏名又は名称】清水建設株式会社
(73)【特許権者】
【識別番号】510291574
【氏名又は名称】株式会社保全工学研究所
(74)【代理人】
【識別番号】100149548
【氏名又は名称】松沼 泰史
(74)【代理人】
【識別番号】100161506
【氏名又は名称】川渕 健一
(74)【代理人】
【識別番号】100161207
【氏名又は名称】西澤 和純
(72)【発明者】
【氏名】砂金 伸治
(72)【発明者】
【氏名】日下 敦
(72)【発明者】
【氏名】石村 利明
(72)【発明者】
【氏名】久保 昌史
(72)【発明者】
【氏名】丹 博美
(72)【発明者】
【氏名】天野 勲
(72)【発明者】
【氏名】武石 洋平
【審査官】鴨志田 健太
(56)【参考文献】
【文献】国際公開第2010/046967(WO,A1)
【文献】特開2013-224849(JP,A)
【文献】特開2011-179897(JP,A)
【文献】特開2010-117259(JP,A)
【文献】特開2017-203761(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G01N 25/72
(57)【特許請求の範囲】
【請求項1】
コンクリート構造物の変状部分を診断するコンクリート構造物診断システムであって、
コンクリートの表面の検査対象の所定面積の温度分布を示す熱画像を撮像する撮像部と、
前記熱画像からノイズを除去した第1熱画像を生成し、
前記所定面積の平均温度TA及び着目画素を含み前記所定面積より小さい矩形領域の平均温度TBを用いて、式TC=T+TA-TBに基づいて着目画素の温度値Tを補正した温度補正値TCを算出することで、前記第1熱画像において生じている温度勾配が不均質な範囲を平均化した第2熱画像を生成し、前記第2熱画像において局所的に急激に温度変化が生じている箇所をエッジとして強調した温度変化画像を生成し、前記温度変化画像における温度変化量を絶対値化しエッジ画像を生成し、前記第2熱画像のデータに対して前記エッジ画像のデータに予め定められた所定の係数を乗じたデータを加算し第3熱画像を生成し、前記第3熱画像において予め定められた閾値に基づいて変温領域を抽出する診断装置と、を備えることを特徴とする、
コンクリート構造物診断システム。
【請求項2】
前記診断装置は、前記変温領域が抽出された診断画像を生成する、
請求項1に記載のコンクリート構造物診断システム。
【請求項3】
前記診断装置は、前記コンクリートの外部環境が温度上昇している場合、前記第3熱画像において予め定められた閾値以上である領域を変温領域として抽出する、
請求項1または2に記載のコンクリート構造物診断システム。
【請求項4】
前記診断装置は、前記コンクリートの外部環境が温度低下している場合、前記第3熱画像において予め定められた閾値以下である領域を変温領域として抽出する、
請求項1または2に記載のコンクリート構造物診断システム。
【請求項5】
前記診断装置は、前記第3熱画像において温度パラメータ値に基づいて変温領域を抽出し、前記所定面積と前記変温領域の抽出面積との比である面積率を算出し、前記面積率と前記温度パラメータ値との関係において前記面積率の変曲点における温度値を閾値として設定し、前記第3熱画像から前記閾値に基づいて抽出した前記変温領域を前記変状部分として決定する、
請求項1から4のうちいずれか1項に記載のコンクリート構造物診断システム。
【請求項6】
前記診断装置は、前記第3熱画像において前記変状部分のサンプルとなる複数の前記第3熱画像に基づいて前記変状部分が所定割合以上に検出されることにより決定された温度の閾値以上である領域を前記変状部分として抽出する、
請求項1から4のうちいずれか1項に記載のコンクリート構造物診断システム。
【請求項7】
前記診断装置は、前記コンクリート構造物において診断対象の位置及び時間を変更して決定された複数の前記閾値と前記閾値により決定された健全領域の平均温度値との差分との分散を算出し、前記分散と前記差分とに基づく散布図に現れる関係に基づいて前記閾値を校正する校正曲線を算出し、他の診断対象の前記第3熱画像を生成し、前記第3熱画像から特異な温度を有する領域を除いた暫定領域の温度の分散を算出し、前記校正曲線を用いて前記他の診断対象における温度の閾値を設定する、
請求項5または6に記載のコンクリート構造物診断システム。
【請求項8】
前記撮像部は、コンクリートの表面の検査対象の所定面積の可視画像を撮像し、
前記診断装置は、前記第3熱画像に基づいて決定した前記変状部分と前記第3熱画像に対応する前記変状部分がマーキングされた前記可視画像とを比較する機械学習を行い、前記機械学習の結果に基づいて前記閾値を算出し、前記撮像部により撮像された新たな熱画像に基づいて新たな第3熱画像を生成し、算出した前記閾値に基づいて前記新たな第3熱画像から前記変状部分を抽出する、
請求項1から4のうちいずれか1項に記載のコンクリート構造物診断システム。
【請求項9】
コンクリート構造物の変状部分を診断するコンクリート構造物診断方法であって、コンピュータが、
コンクリートの表面の検査対象の所定面積の温度分布を示す熱画像からノイズを除去した第1熱画像を生成する工程と、
前記所定面積の平均温度TA及び着目画素を含み前記所定面積より小さい矩形領域の平均温度TBを用いて、式TC=T+TA-TBに基づいて着目画素の温度値Tを補正した温度補正値TCを算出することで、前記第1熱画像において生じている温度勾配が不均質な範囲を平均化した第2熱画像を生成する工程と、
前記第2熱画像において局所的に急激に温度変化が生じている箇所をエッジとして強調した温度変化画像を生成する工程と、
前記温度変化画像における温度変化量を絶対値化しエッジ画像を生成する工程と、
前記第2熱画像のデータに対して前記エッジ画像のデータに予め定められた所定の係数を乗じたデータを加算し第3熱画像を生成する工程と、
前記第3熱画像において予め定められた閾値に基づいて変温領域を抽出する工程と、を備えることを特徴とする、
コンクリート構造物診断方法。
【請求項10】
コンクリート構造物の変状部分を診断するコンクリート構造物診断システムに適用されるプログラムであって、コンピュータに、
コンクリートの表面の検査対象の所定面積の温度分布を示す熱画像からノイズを除去した第1熱画像を生成させ、
前記所定面積の平均温度TA及び着目画素を含み前記所定面積より小さい矩形領域の平均温度TBを用いて、式TC=T+TA-TBに基づいて着目画素の温度値Tを補正した温度補正値TCを算出することで、前記第1熱画像において生じている温度勾配が不均質な範囲を平均化した第2熱画像を生成させ、
前記第2熱画像において局所的に急激に温度変化が生じている箇所をエッジとして強調した温度変化画像を生成させ、
前記温度変化画像における温度変化量を絶対値化しエッジ画像を生成させ、
前記第2熱画像のデータに対して前記エッジ画像のデータに予め定められた所定の係数を乗じたデータを加算し第3熱画像を生成させ、
前記第3熱画像において予め定められた閾値に基づいて変温領域を抽出させることを特徴とする、
プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、コンクリートの状態を診断するコンクリート構造物診断システム、コンクリート構造物診断方法及びプログラムに関する。
【背景技術】
【0002】
コンクリート構造物は、経年変化により内部の鉄筋が腐食して膨張する等の原因により、コンクリートの表層においてコンクリートの塊の一部が分離するといった、いわゆる浮きや剥離等の変状部分が生じる虞がある。従ってコンクリート構造物の表面を検査して、変状部分を早期発見し補修する等の対策が重要である。
【0003】
コンクリート構造物を診断するために、コンクリート構造物の表面をハンマー等で叩き、音の違いによりコンクリート表層に生じた変状部分を検出する打音検査が一般的に行われている。打音検査では、検査のために構造物の表面に足場を組み、高所で作業する必要が生じることが多く、手間がかかると共に、構造物の大きさに従って検査範囲が広くなり長い期間を要する。また、打音検査では、作業者が打音の違いを診断するため診断結果にばらつきが生じる可能性がある。
【0004】
特許文献1には、撮像した熱画像に基づいてコンクリート構造物の状態を診断する方法が記載されている。特許文献1に記載された情報処理装置によれば、赤外線カメラで撮影された熱画像データのデータ処理を行い、変温部分を抽出する。
【先行技術文献】
【特許文献】
【0005】
【発明の概要】
【発明が解決しようとする課題】
【0006】
トンネル等のコンクリート構造物は、内部の温度が安定しており、熱画像の撮像によりコンクリートの表面に生じた温度変化を捉えにくく、コンクリートの変状部分を抽出しにくいという課題がある。
【0007】
本発明は、コンクリートの温度変化が少なくてもコンクリート構造物の状態を簡便に診断できるコンクリート構造物の診断方法及びコンクリート構造物診断システムを提供することを目的とする。
【課題を解決するための手段】
【0008】
上記の目的を達するために、本発明は、コンクリート構造物の変状部分を診断するコンクリート構造物診断システムであって、コンクリートの表面の検査対象の所定面積の温度分布を示す熱画像を撮像する撮像部と、前記熱画像からノイズを除去した第1熱画像を生成し、前記所定面積の平均温度TA及び着目画素を含み前記所定面積より小さい矩形領域の平均温度TBを用いて、式TC=T+TA-TBに基づいて着目画素の温度値Tを補正した温度補正値TCを算出することで、前記第1熱画像において生じている温度勾配が不均質な範囲を平均化した第2熱画像を生成し、前記第2熱画像において局所的に急激に温度変化が生じている箇所をエッジとして強調した温度変化画像を生成し、前記温度変化画像における温度変化量を絶対値化しエッジ画像を生成し、前記第2熱画像のデータに対して前記エッジ画像のデータに予め定められた所定の係数を乗じたデータを加算し第3熱画像を生成し、前記第3熱画像において予め定められた閾値に基づいて変温領域を抽出する診断装置と、を備えることを特徴とする、コンクリート構造物診断システムである。
【0009】
本発明によれば、熱画像における変状部分に所定の係数を乗じて強調する処理を行うことでコンクリートの温度変化が少なくてもコンクリート構造物の変状部分を抽出した画像を表示できる。
【0010】
また、本発明は、前記診断装置は、前記変温領域が抽出された診断画像を生成するように構成されていてもよい。
【0011】
本発明によれば、変状部分を強調表示する処理を行うことにより、可視画像では判別できない変状部分を可視化することができる。
【0012】
また、本発明は、前記診断装置は、前記コンクリートの外部環境が温度上昇している場合、前記第3熱画像において予め定められた閾値以上である領域を変温領域として抽出する、ように構成されていてもよい。
【0013】
本発明によれば、外気温が温度上昇する環境条件において第3熱画像において変状部分であると予測される領域を第3熱画像から抽出し、表示できる。
【0014】
また、本発明は、前記診断装置が前記コンクリートの外部環境が温度低下している場合、前記第3熱画像において予め定められた閾値以下である領域を変温領域として抽出する、ように構成されていてもよい。
【0015】
本発明によれば、外気温が温度低下する環境条件において第3熱画像において変状部分であると予測される領域を第3熱画像から抽出し、表示できる。
【0016】
また、本発明は、前記診断装置が前記第3熱画像において温度パラメータ値に基づいて変温領域を抽出し、前記所定面積と前記変温領域の抽出面積との比である面積率を算出し、前記面積率と前記温度パラメータ値との関係において前記面積率の変曲点における温度値を閾値として設定し、前記第3熱画像から前記閾値に基づいて抽出した前記変温領域を前記変状部分として決定するように構成されていてもよい。
【0017】
本発明によれば、熱画像における変温領域を精度よく抽出するための閾値を設定することでコンクリートの温度変化が少なくてもコンクリート構造物の変状部分を抽出した画像を表示できる。
【0018】
また、本発明は、前記診断装置が前記第3熱画像において前記変状部分のサンプルとなる複数の前記第3熱画像に基づいて前記変状部分が所定割合以上に検出されることにより決定された温度の閾値以上である領域を前記変状部分として抽出するように構成されていてもよい。
【0019】
本発明によれば、熱画像における変温領域を精度よく抽出するための閾値を可視画像と熱画像とを用いて変状部分が所定割合以上に検出されるように設定することでコンクリートの温度変化が少なくてもコンクリート構造物の変状部分を抽出した画像を表示できる。
【0020】
本発明はまた、前記診断装置が前記コンクリート構造物において診断対象の位置及び時間を変更して決定された複数の前記閾値と前記閾値により決定された健全領域の平均温度値との差分との分散を算出し、前記分散と前記差分とに基づく散布図に現れる関係に基づいて前記閾値を校正する校正曲線を算出し、他の診断対象の前記第3熱画像を生成し、前記第3熱画像から特異な温度を有する領域を除いた暫定領域の温度の分散を算出し、前記校正曲線を用いて前記他の診断対象における温度の閾値を設定するように構成されていてもよい。
【0021】
本発明によれば、閾値に基づいて抽出した過去のサンプルデータを用いて閾値を校正する校正曲線を算出することで、トンネルの立地条件や坑口からの距離等の条件によらず、より精度の高い閾値を算出できる。
【0022】
本発明はまた、前記撮像部がコンクリートの表面の検査対象の所定面積の可視画像を撮像し、前記診断装置は、前記第3熱画像に基づいて決定した前記変状部分と前記第3熱画像に対応する前記変状部分がマーキングされた前記可視画像とを比較する機械学習を行い、前記機械学習の結果に基づいて前記閾値を算出し、前記撮像部により撮像された新たな熱画像に基づいて新たな第3熱画像を生成し、算出した前記閾値に基づいて前記新たな第3熱画像から前記変状部分を抽出するように構成されていてもよい。
【0023】
本発明によれば、機械学習結果に基づく閾値を撮像環境に応じて決定でき、第3熱画像から変状部分を精度よく抽出できる。
【0024】
上記の目的を達するために、本発明は、コンクリート構造物の変状部分を診断するコンクリート構造物診断方法であって、コンピュータが、コンクリートの表面の検査対象の所定面積の温度分布を示す熱画像からノイズを除去した第1熱画像を生成する工程と、前記所定面積の平均温度TA及び着目画素を含み前記所定面積より小さい矩形領域の平均温度TBを用いて、式TC=T+TA-TBに基づいて着目画素の温度値Tを補正した温度補正値TCを算出することで、前記第1熱画像において生じている温度勾配が不均質な範囲を平均化した第2熱画像を生成する工程と、前記第2熱画像において局所的に急激に温度変化が生じている箇所をエッジとして強調した温度変化画像を生成する工程と、前記温度変化画像における温度変化量を絶対値化しエッジ画像を生成する工程と、前記第2熱画像のデータに対して前記エッジ画像のデータに予め定められた所定の係数を乗じたデータを加算し第3熱画像を生成する工程と、前記第3熱画像において予め定められた閾値に基づいて変温領域を抽出する工程と、を備えることを特徴とする、コンクリート構造物診断方法である。
【0025】
上記の目的を達するために、本発明は、コンクリート構造物の変状部分を診断するコンクリート構造物診断システムに適用されるプログラムであって、コンピュータに、コンクリートの表面の検査対象の所定面積の温度分布を示す熱画像からノイズを除去した第1熱画像を生成させ、前記所定面積の平均温度TA及び着目画素を含み前記所定面積より小さい矩形領域の平均温度TBを用いて、式TC=T+TA-TBに基づいて着目画素の温度値Tを補正した温度補正値TCを算出することで、前記第1熱画像において生じている温度勾配が不均質な範囲を平均化した第2熱画像を生成させ、前記第2熱画像において局所的に急激に温度変化が生じている箇所をエッジとして強調した温度変化画像を生成させ、前記温度変化画像における温度変化量を絶対値化しエッジ画像を生成させ、前記第2熱画像のデータに対して前記エッジ画像のデータに予め定められた所定の係数を乗じたデータを加算し第3熱画像を生成させ、前記第3熱画像において予め定められた閾値に基づいて変温領域を抽出させることを特徴とする、プログラムである。
【発明の効果】
【0026】
本発明によれば、コンクリートの温度変化が少なくてもコンクリート構造物の状態を簡便に診断できるコンクリート構造物の診断方法及びコンクリート構造物診断システムを提供できる。
【図面の簡単な説明】
【0027】
【
図1】本発明の実施形態に係るコンクリート構造物診断システムの構成を示す図である。
【
図2】変状部分が生じたコンクリート構造物の表面の可視画像を示す図である。
【
図3】変状部分の熱画像及び2値化画像を示す図である。
【
図4】ノイズ成分を除去した第1熱画像及び2値化画像を示す図である。
【
図5】温度勾配が不均質な範囲を平均化した第2熱画像及び2値化画像を示す図である。
【
図6】変状部分を強調した第3熱画像及び2値化画像を示す図である。
【
図7】可視画像に変温領域が抽出された画像を合成した診断画像を示す図である。
【
図8】コンクリート構造物診断システムにおいて実行される処理の流れを示すフローチャートである。
【
図11】累積データに基づいて生成される閾値の校正曲線を示す図である。
【発明を実施するための形態】
【0028】
以下、図面を参照しつつ、本発明に係るコンクリート構造物診断方法及びコンクリート構造物診断システムの実施形態について説明する。
【0029】
図1に示されるように、コンクリート構造物診断システム1は、撮像領域の画像を撮像する撮像部10と、撮像部10が撮像した画像を処理する診断装置20と、撮像部10を運搬する移動架台30とを備える。撮像部10と診断装置20とは、例えば、有線又は無線により接続されている。
【0030】
撮像部10は、例えば、赤外線カメラ11と可視画像カメラ12を備える。赤外線カメラ11は、構造物のコンクリートの表面の温度分布を示す熱画像を撮像する。赤外線カメラ11は、一般的な赤外線サーモグラフィ装置を用いることができる。可視画像カメラ12は、コンクリートの表面の可視画像を撮像する。可視画像カメラ12は、一般的なデジタルカメラを用いることができる。
【0031】
撮像部10は、例えば、移動架台30に設置される。移動架台30は、撮像対象のコンクリート構造物の表面から所定距離離間しながら移動する。移動架台30により撮像部10は、撮像対象の連続画像を撮像できる。撮像部10は、この他、移動架台30の移動距離を計測する距離計16を備える。距離計16は、例えば、エンコーダ、レーザ距離計等が用いられる。
【0032】
移動架台30は、自走可能な移動台車である。移動架台30は、撮像部10をトンネルの進行方向において所定距離移動させる。この際、撮像部10は、トンネルの内壁面(コンクリートの表面)の撮影画像データを連続的に撮像する。移動架台30は、自動走行するものであってもよいし、作業者が移動させるものであってもよい。
【0033】
移動架台30において、赤外線カメラ11と可視画像カメラ12とは、トンネルの内壁面における略同一の重複する領域を撮像するよう同方向に向くように設置されている。移動架台30において、赤外線カメラ11と可視画像カメラ12とは、アーチ状のトンネルの内壁に沿って帯状に連続した画像を撮像できるように可動する。
【0034】
一つの帯状領域を撮像した後、移動架台30をトンネル進行方向に所定距離移動することで、撮像部10は、トンネルの内壁の画像を撮像できる。撮像部10により撮像された複数の画像は、診断装置20において画像処理され、オーバーラップ部分が除去されてトンネルの内壁全体の連続画像として生成される。
【0035】
撮像部10は、撮像した画像データや距離計16の距離データを診断装置20に出力する。撮像部10が撮像した画像データは、メモリカード、ハードディスクドライブ、CD-ROM,DVD-ROM等のデータの記録を可能とする記憶媒体を介して診断装置20に提供してもよい。
【0036】
診断装置20は、例えば、パーソナルコンピュータ(PC)、タブレット型端末装置、スマートフォン等の端末装置により実現される。診断装置20は、有線または無線により撮像部10と通信可能に接続されている。診断装置20は、移動架台30に搭載されていてもよいし、移動架台30と別の場所に設置されるものであってもよい。診断装置20は、撮像部10とネットワークにより接続されるサーバ装置であってもよい。診断装置20は、撮像部10から画像を取得する取得部22と、画像に基づいて診断結果を算出する演算部24と、診断結果を表示する表示部26と、各種情報を記憶する記憶部28とを備える。
【0037】
取得部22は、撮像部10から出力された撮像画像データや距離データが入力されるインタフェースである。取得部22は、有線又は無線デバイスである。取得部22は、USB,カードリーダ、CDドライブ、DVDドライブ等の記憶媒体からデータを読み出すインタフェースであってもよい。取得部22は、取得した画像データを記憶部28に記憶する。
【0038】
演算部24は、例えば、CPU(Central Processing Unit)などのハードウェアプロセッサがプログラム(ソフトウェア)を実行することにより実現される。これらの構成要素のうち一部または全部は、LSI(Large Scale Integration)やASIC(Application Specific Integrated Circuit)、FPGA(Field-Programmable Gate Array)、GPU(Graphics Processing Unit)などのハードウェア(回路部;circuitryを含む)によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。プログラムは、予めHDD(Hard Disk Drive)やフラッシュメモリなどの記憶装置に格納されていてもよいし、DVDやCD-ROMなどの着脱可能な記憶媒体に格納されており、記憶媒体がドライブ装置に装着されることでインストールされてもよい。また、このプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしても良い。
【0039】
演算部24は、記憶部28から画像データを読み出す。演算部24は、距離データと画像データとに基づいて、熱画像の画像処理を行う。演算部24は、画像処理した熱画像と可視画像とを合成しコンクリートの表面に生じた浮きや剥離の領域を抽出した診断画像を生成する。演算部24の処理の詳しい内容については後述する。演算部24は、表示部26を制御して生成した診断画像等の表示内容を表示させる。
【0040】
表示部26は、演算部24により生成された画像を表示する。表示部26は、例えば、液晶ディスプレイ、有機ELディスプレイ、LEDディスプレイ等の表示装置により実現される。
【0041】
記憶部28は、画像データ、演算部24の演算に必要なデータを記憶する。記憶部28は、HDDやフラッシュメモリ、RAM(Random Access Memory)、ROM(Read Only Memory)等の記憶装置である。
【0042】
次に、診断装置20において実行される処理について説明する。
【0043】
診断対象となるコンクリートの表層に浮きや剥離が生じると、浮きや剥離部分のコンクリート塊がコンクリート構造物と分離する。このコンクリート塊は、他の部分に比して熱しやすく、冷めやすいという性質がある。従って、コンクリート構造物に接する大気に温度変化が生じた場合、上記コンクリート塊は、他の部分に比して高い勾配で温度変化が生じる。従って、外気に温度変化が生じている環境においてコンクリートの表面の赤外線画像を撮像すると、浮きや剥離が生じたコンクリート塊の領域が周囲のコンクリートに対して異なる温度の変温領域となって現れる。
【0044】
図2に示されるように、既知の浮き等の変状部分が生じたコンクリートの表面の一部が撮像された可視画像Pにおいては、変状部分が視認できない。
【0045】
図3に示されるように、熱画像Hには、撮像対象となるコンクリートの表面の温度分布が現れている。熱画像Hは、温度に応じて画素の色(輝度)が変化するように生成されている。図において熱画像Hの参照のために後述の閾値よりも高い部分を表示する2値化画像Qが並置して示されている。
【0046】
熱画像Hそのものに基づいて直接的に浮きや剥離等の変状部分を抽出することは難しい。上述のように温度変化が生じている環境下では、熱画像Hの画像処理により変状部分を抽出できる。しかしながら、上述したようにトンネル構造物の内部では、外部環境に比して温度が安定しており、熱画像Hの画像処理による変状部分の抽出が困難となる。
【0047】
診断装置20において実行される処理は、温度の変化が安定している環境化における熱画像に基づいて変状部分を強調表示して抽出するものである。以下の説明では、熱画像Hにおいて浮きや剥離部分の変温領域の温度が周囲よりも高くなっている状態を例示する。
【0048】
熱画像Hには、変温領域の他にノイズ成分や浮きや剥離部分でないにもかかわらず温度が高い領域が含まれる。演算部24は、熱画像Hのデータに基づいてフィルタリング処理により熱画像Hにおける局所的なノイズを除去する。演算部24は、例えば、メディアンフィルター処理を用いた画像処理により熱画像Hのノイズを除去する。メディアンフィルターは、3×3の9個の画素の領域のうち、中心の画素を注目画素と設定し、各注目画素の周辺の8個の画素の中央値(メディアン)を算出し、各注目画素の値を周辺の8個の画素の中央値に置き換える処理を行う。
【0049】
図4に示されるように、演算部24は、上記処理を全ての画素に対して行い、熱画像Hから局所的なノイズ成分を除去し、第1熱画像H1を生成する。演算部24は、メディアンフィルター処理の他に移動平均フィルタ処理、ガウシアンフィルタ処理等を用いて熱画像Hのノイズを除去してもよい。
【0050】
コンクリートの表面には、トンネルの上部と下部とで、表面形状の凹凸の手前と奥とで、また、付属物で隠れている箇所とそうでない箇所とで温度差が生じるなど場所に応じた温度勾配(ムラ)が生じる。このような温度勾配がノイズ処理後の第1熱画像H1に存在する場合、浮きや剥離部分が抽出しにくくなる。
【0051】
演算部24は、第1熱画像H1における温度勾配が不均質な範囲を平均化するフィルタ処理を行う。演算部24は、例えば、第1熱画像H1の画素全体の温度値の平均である平均温度TAを算出する。演算部24は、第1熱画像H1の全体の平均温度TAに対し、ある着目画素の周辺領域の平均温度TBを算出する。周辺領域は、一辺が所定の寸法で設定された矩形の画像範囲である。演算部24は、例えば、以下に示す数式(1)に基づいて第1熱画像H1の着目画素の温度値Tを補正した温度補正値TCを算出する。
TC=T+TA-TB (1)
上記処理を第1熱画像H1の全画素に対して行う事で、マクロ的に生じている温度勾配を軽減できる。
【0052】
図5に示されるように、演算部24は、上記フィルタ処理を全ての画素に対して行い、第2熱画像H2を生成する。第2熱画像H2においてコンクリートの表面に広域的に生じている温度勾配の不均一性を抑えることができる。
【0053】
演算部24は、第2熱画像H2において、ある着目画素に対し、隣接する8個の画素との温度差に対して上下、左右、斜め方向の4方向微分を行って温度傾斜を算出する。演算部24は、算出した各方向の温度傾斜に対してそれぞれ重ね合わせを行う。演算部24は、上記処理を全画素に対して行い、温度変化が強調された温度変化画像を生成する。上記処理により、局所的に急激に温度変化が生じている箇所(エッジ)が強調された温度変化画像が得られる。エッジが強調された温度変化画像は、温度変化を表示する画像であるため、例えば、左から右にかけて温度が上昇する場合は正の値を示し、下降する場合は負の値を示す。
【0054】
温度変化画像においてエッジを強調するために、温度変化の正負に関係なく絶対値の高低のみに着目して温度変化量の符号を外し、絶対値化する処理が行われる。演算部24は、温度変化画像のデータを絶対値化してエッジ画像を生成する。演算部24は、エッジ画像において全ての画素(温度変化量)に対して所定の係数αを乗じた強調データを生成する。ここで、αの値は、エッジ強調の強度を表しており、所望の画像が得られるように予め適切な値が選択されている。
【0055】
演算部24は、第2熱画像H2の着目画素(温度データ)と着目画素と同じ位置の強調データにおける画素との合成値を算出する。即ち、第2熱画像H2における着目画素に対し、着目画素と同じ位置のα倍の温度変化量が足し合わされ「温度値+α倍の温度変化量」という演算処理が行われ、合成値が算出される。
【0056】
図6に示されるように、演算部24は、上記処理を全画素に対して行い、元の温度値をベースとしつつ、局所的な温度変化が生じている箇所が強調されるような補正が行われた第3熱画像H3を生成する。
【0057】
演算部24は、第3熱画像H3の後述の条件に応じた閾値を用いて、画素の値と閾値とを比較し、閾値以上の画素を変温領域と判定する。閾値は、第3熱画像H3において最も変温領域が抽出され易い条件に応じて事前に決定され、記憶部28に記憶されている。本実施形態では、変温領域が高温である高温側の閾値は、例えば、26.16度に設定されている。
【0058】
図7に示されるように、演算部24は、第3熱画像H3に基づいて閾値以上であり、且つ閉じた領域を変温領域であると判定し、変温領域を抽出した診断画像Sを生成する。
【0059】
一般に昼間等の温度上昇が生じる環境下において熱画像Hを処理する場合、健全領域に比して浮き部の温度が高くなるため、高温側の閾値以上の画素が変温領域として抽出される。逆に夜間等の温度低下が生じる環境下において熱画像Hを処理する場合、健全領域に比して浮き部の温度が低くなるため、低温側の閾値以下の画素が変温領域として抽出される。
【0060】
次に、コンクリート構造物診断システム1において実行される処理の流れについて説明する。
【0061】
図8に示されるように、赤外線カメラ11により、熱画像Hを撮像する(ステップS10)。可視画像カメラ12により可視画像を撮像する(ステップS12)。演算部24は、熱画像Hからノイズを除去した第1熱画像を生成する(ステップS14)。演算部24は、第1熱画像において生じている温度勾配が不均質な範囲を平均化した第2熱画像を生成する(ステップS16)。演算部24は、第2熱画像において局所的に急激に温度変化が生じている箇所をエッジとして強調した温度変化画像を生成する(ステップS18)。
【0062】
演算部24は、温度変化画像における温度変化量を絶対値化しエッジ画像を生成する(ステップS20)。演算部24は、第2熱画像のデータに対してエッジ画像のデータに予め定められた所定の係数を乗じたデータを加算し第3熱画像を生成する(ステップS22)。演算部24は、第3熱画像において予め定められた閾値に基づいて変温領域を抽出する(ステップS24)。演算部24は、可視画像に変温領域が抽出された画像を合成して診断画像を生成する(ステップS26)。上記各工程は、必ずしも上記順に処理されなくてもよく、前後してもよい。
【0063】
次に、演算部24において実行される画像処理に用いられる閾値の決定方法について説明する。
【0064】
演算部24は、閾値を決定するために閾値を変数とする温度パラメータ値を設定し、温度パラメータ値に基づいて、コンクリートの表面の検査対象の所定面積の温度分布を示す第3熱画像から変温領域を抽出する。演算部24は、所定面積と変温領域の抽出面積との比である面積率を算出する。
【0065】
図9に示されるように、温度パラメータと面積率との関係を示す図において、演算部24は、面積率の温度パラメータによる二階微分を算出する。演算部24は、二階微分値の最大値(変曲点)を算出し、変曲点における温度パラメータ値を閾値として設定する。演算部24は、第3熱画像から設定した閾値に基づいて抽出した変温領域を変状部分として決定する。
【0066】
閾値は、他の方法によっても設定される。撮像部10は、予め分かっているコンクリート表面の浮き部にマーキングされた変状部分の複数の可視画像と複数の熱画像とのサンプル画像を撮像する。演算部24は、サンプルの複数の第3熱画像を生成する。演算部24は、第3熱画像に基づいて閾値以上の領域を抽出する。
【0067】
図10に示されるように、演算部24は、閾値を温度パラメータ値として変化させながら第3熱画像に基づいて、コンクリート表面の変状部分が所定割合(例えば、80%)以上となる温度を閾値として決定する。上記の閾値の設定方法に基づいて現場の環境における閾値を決定できる。
【0068】
トンネルの立地条件や坑口からの距離等の条件により、健全領域の温度が変化するので、これらの影響を考慮した閾値を設定する必要がある。そこで、上記の閾値の設定方法に基づいて現場の環境における閾値を設定する。
【0069】
図11に示されるように、上記の2つの方法を用いて健全領域の温度値の分散と設定した閾値との関係を示す散布図が作成される。診断対象の位置及び時間を変更した複数のサンプルに基づいて複数の閾値が求められる。散布図には、例えば、分散と、対応する閾値と平均温度との差分との関係が示される。散布図には、トンネルAにおけるデータ群Aと、トンネルBにおけるデータ群Bとが示されている。
【0070】
演算部24は、コンクリート構造物において診断対象の位置及び時間を変更して決定した複数の閾値と健全領域の平均温度値との差分との分散を算出する。演算部24は、分散と差分との関係として散布図に現れる関係に基づいて閾値を校正する校正曲線Zを算出する。校正曲線Zによれば、トンネルの立地条件や坑口からの距離等の条件の違いに応じて閾値を設定できる。
【0071】
演算部24は、新たに診断する他の診断対象となるコンクリートの表面の第3熱画像を生成する。演算部24は、診断対象となるコンクリートの表面の第3熱画像に基づいて、特異な温度領域を除いた暫定的な健全領域である暫定領域を抽出する。演算部24は、暫定領域の温度の分散を算出し、算出した分散を校正曲線Zに適用して閾値を算出する。演算部24は、算出結果を他の診断対象の閾値に設定する。上記処理により、演算部24は、校正曲線Zを用いて新たに撮像された熱画像に基づく第3熱画像に適用される閾値を補正して第3熱画像から精度よく変状部分を抽出できる。
【0072】
変状部分の抽出には、機械学習が用いられてもよい。例えば、変状部分をマーキングしたサンプルの大量の可視画像と、サンプルの可視画像に対応する大量の第3熱画像とが蓄積された場合、演算部24は、サンプル画像及び第3熱画像に基づいて、ニューラルネットワークを用いたディープラーニング等を適用した深層の機械学習を行い、第3熱画像における変状部分を決定してもよい。
【0073】
演算部24は、第3熱画像を読み込み、予め設定された閾値に基づいて第3熱画像における変状部分を抽出する。演算部24は、抽出した変状部分とサンプルの可視画像におけるマーキング部分とを比較して、その誤差に基づいて閾値に適用される撮像環境に応じた温度パラメータのための重み付けを修正する。演算部24は、大量の第3熱画像と対応するサンプルの可視画像とに対して同様の処理を繰り返し、閾値に適用される撮像環境に応じた温度パラメータを含むモデルを生成する。
【0074】
演算部24は、新たに撮像された熱画像から第3熱画像を生成し、生成した閾値のモデルに基づいて、温度パラメータを決定して閾値を算出し、閾値に基づいて第3熱画像から変状部分を決定する。演算部24は、学習により第3熱画像から変状部分を決定するたけでなく、機械学習により熱画像から変状部分を直接的に決定するようにしてもよい。上記処理により、演算部24は、機械学習の学習結果に基づいて閾値を撮像環境に応じて決定でき、生成された第3熱画像から変状部分を精度よく抽出できる。
【0075】
上述したようにコンクリート構造物診断システムによれば、コンクリート構造物の表面に生じた浮きや剥離等の変状部分を簡便に抽出できる。コンクリート構造物診断システムによれば、トンネル内のように温度変化が少ない環境においても変状部分を強調した画像処理により変状部分を容易に判別できる。コンクリート構造物診断システムによれば、作業者の目視や打音検査によらず、設定した閾値に基づいて熱画像上の変温領域の境界を検出することにより、浮きや剥離領域を高精度に判定できる。コンクリート構造物診断システムによれば、検査を省力化できると共に、トンネルの立地条件や坑口からの距離等の条件によらず浮きや剥離領域を判定できる。
【0076】
以上、本発明の一実施形態について説明したが、本発明は上記の一実施形態に限定されるものではなく、その趣旨を逸脱しない範囲で適宜変更可能である。例えば、上記実施形態では、トンネル内におけるコンクリートの表面に生じた浮きや剥離領域を抽出することを例示したが、本発明は、トンネル構造物だけでなく、他のコンクリート構造物に適用してもよい。
【符号の説明】
【0077】
1 コンクリート構造物診断システム
10 撮像部
11 赤外線カメラ
12 可視画像カメラ
16 距離計
20 診断装置
22 取得部
24 演算部
26 表示部
28 記憶部
30 移動架台
A、B データ群
H 熱画像
H1 第1熱画像
H2 第2熱画像
H3 第3熱画像
P 可視画像
Q 2値化画像
S 診断画像
Z 校正曲線