(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-06-05
(45)【発行日】2024-06-13
(54)【発明の名称】ひび割れ検出方法とひび割れ検出装置、及びプログラム
(51)【国際特許分類】
G01N 21/88 20060101AFI20240606BHJP
G06T 7/00 20170101ALI20240606BHJP
G06T 7/12 20170101ALI20240606BHJP
【FI】
G01N21/88 J
G06T7/00 350B
G06T7/00 610B
G06T7/12
(21)【出願番号】P 2021073888
(22)【出願日】2021-04-26
【審査請求日】2023-06-13
(73)【特許権者】
【識別番号】000206211
【氏名又は名称】大成建設株式会社
(74)【代理人】
【識別番号】100107766
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【氏名又は名称】伊東 忠彦
(72)【発明者】
【氏名】本澤 昌美
(72)【発明者】
【氏名】堀口 賢一
(72)【発明者】
【氏名】野村 価生
【審査官】嶋田 行志
(56)【参考文献】
【文献】特開2012-002531(JP,A)
【文献】特開2021-018676(JP,A)
【文献】特開2000-028541(JP,A)
【文献】特開2017-072517(JP,A)
【文献】特開2021-051597(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G01N 21/84-G01N 21/958
G01B 11/00-G01B 11/30
G06T 1/00-G06T 7/90
JSTPlus/JST7580/JSTChina(JDreamIII)
KAKEN
(57)【特許請求の範囲】
【請求項1】
ひび割れを内包するコンクリート表面の撮影画像をコンピュータに入力して入力画像を作成する、入力画像作成工程と、
前記入力画像に対してウェーブレット変換処理を実行する、もしくは、コンクリート表面におけるひび割れの特徴をコンピュータに学習させた学習情報に基づいて、前記入力画像からひび割れと想定される想定ひび割れを抽出し、該想定ひび割れに沿って描画して想定ひび割れ描画ラインを作成し、該想定ひび割れ描画ラインを含む描画含有画像に対してウェーブレット変換処理を実行する、もしくは、前記入力画像に対してひび割れと想定されるひび割れ想定線に沿って付されたパスを含むパス画像に対してウェーブレット変換処理を実行し、各画素がウェーブレット係数を有するウェーブレット画像を作成する、ウェーブレット画像作成工程と、
ウェーブレット係数の閾値となるウェーブレット係数テーブルを用いて、前記ウェーブレット画像の各画素を二値化して二値化画像を作成する、二値化画像作成工程と、
前記二値化画像に対して、幾何学的な連結性を備えた塊状の図形を個々のひび割れにラベリングし、ラベリングされた複数の該ひび割れを備えるひび割れ画像を作成する、ひび割れ画像作成工程と、
前記ひび割れ画像において、分離している複数のひび割れのうち、本来的には連続したひび割れであると判定されるひび割れの端点同士を繋いでセグメンテーション画像を作成する、セグメンテーション画像作成工程と、を有し、
前記セグメンテーション画像作成工程は、
相互に分離している前記ひび割れの端点間の端点間距離を特定する、端点間距離特定工程と、
前記端点間距離に関する閾値と、前記端点間距離とを比較し、該端点間距離が該閾値以下の場合に、該端点間距離が特定された二つの前記ひび割れが、本来的には連続したひび割れであるとして、同一ラベルのひび割れと判定する、判定工程と、
同一ラベルのひび割れであると判定された二つの前記ひび割れの端点同士を繋いで前記セグメンテーション画像を作成する、描画工程と、を有
し、
前記判定工程において、
前記端点間距離が前記閾値以下の場合に、さらに、一方の前記ひび割れの端点を起点として無端状の輪郭範囲を設定し、他方の前記ひび割れの前記端点が該無端状の輪郭範囲に入る場合に、前記端点間距離が特定された二つの前記ひび割れが同一ラベルのひび割れであると判定することを特徴とする、ひび割れ検出方法。
【請求項2】
前記無端状の輪郭範囲は、一方の前記ひび割れの端点を起点として、該ひび割れの延長方向に、所定長さの一辺を備える正多角形もしくは所定長さの径を備える円形を設定し、該正多角形もしくは該円形の輪郭範囲であることを特徴とする、請求項
1に記載のひび割れ検出方法。
【請求項3】
出力工程をさらに有し、
前記セグメンテーション画像が作成された際に、前記ひび割れ画像と該セグメンテーション画像のいずれか一方もしくは双方を選択的に出力することを特徴とする、請求項1
又は2に記載のひび割れ検出方法。
【請求項4】
コンピュータに入力された、ひび割れを内包するコンクリート表面の撮影画像に基づいて入力画像を作成する入力画像作成部と、
前記入力画像に対してウェーブレット変換処理を実行する、もしくは、コンクリート表面におけるひび割れの特徴をコンピュータに学習させた学習情報に基づいて、前記入力画像からひび割れと想定される想定ひび割れを抽出し、該想定ひび割れに沿って描画して想定ひび割れ描画ラインを作成し、該想定ひび割れ描画ラインを含む描画含有画像に対してウェーブレット変換処理を実行する、もしくは、前記入力画像に対してひび割れと想定されるひび割れ想定線に沿って付されたパスを含むパス画像に対してウェーブレット変換処理を実行し、各画素がウェーブレット係数を有するウェーブレット画像を作成するウェーブレット画像作成部と、
ウェーブレット係数の閾値となるウェーブレット係数テーブルを用いて、前記ウェーブレット画像の各画素を二値化して二値化画像を作成する二値化画像作成部と、
前記二値化画像に対して、幾何学的な連結性を備えた塊状の図形を個々のひび割れにラベリングし、ラベリングされた複数の該ひび割れを備えるひび割れ画像を作成する、ひび割れ画像作成部と、
前記ひび割れ画像において、分離している複数のひび割れのうち、本来的には連続したひび割れであると判定されるひび割れの端点同士を繋いでセグメンテーション画像を作成する、セグメンテーション画像作成部と、を有し、
前記セグメンテーション画像作成部は、
相互に分離している前記ひび割れの端点間の端点間距離を特定する、端点間距離特定部と、
前記端点間距離に関する閾値と、前記端点間距離とを比較し、該端点間距離が該閾値以下の場合に、該端点間距離が特定された二つの前記ひび割れが、本来的には連続したひび割れであるとして、同一ラベルのひび割れであると判定する、判定部とを有
し、
前記判定部において、
前記端点間距離が前記閾値以下の場合に、さらに、一方の前記ひび割れの端点を起点として無端状の輪郭範囲を設定し、他方の前記ひび割れの前記端点が該無端状の輪郭範囲に入る場合に、前記端点間距離が特定された二つの前記ひび割れが同一ラベルのひび割れであると判定することを特徴とする、ひび割れ検出装置。
【請求項5】
出力部をさらに有し、
前記セグメンテーション画像が作成された際に、前記ひび割れ画像と該セグメンテーション画像のいずれか一方もしくは双方を選択的に出力することを特徴とする、請求項
4に記載のひび割れ検出装置。
【請求項6】
コンクリート表面上のひび割れを検出するコンピュータに以下の処理を実行させるプログラムであって、
ひび割れを内包するコンクリート表面の撮影画像をコンピュータに入力して入力画像を作成する、入力画像作成工程と、
前記入力画像に対してウェーブレット変換処理を実行する、もしくは、コンクリート表面におけるひび割れの特徴をコンピュータに学習させた学習情報に基づいて、前記入力画像からひび割れと想定される想定ひび割れを抽出し、該想定ひび割れに沿って描画して想定ひび割れ描画ラインを作成し、該想定ひび割れ描画ラインを含む描画含有画像に対してウェーブレット変換処理を実行する、もしくは、前記入力画像に対してひび割れと想定されるひび割れ想定線に沿って付されたパスを含むパス画像に対してウェーブレット変換処理を実行し、各画素がウェーブレット係数を有するウェーブレット画像を作成する、ウェーブレット画像作成工程と、
ウェーブレット係数の閾値となるウェーブレット係数テーブルを用いて、前記ウェーブレット画像の各画素を二値化して二値化画像を作成する、二値化画像作成工程と、
前記二値化画像に対して、幾何学的な連結性を備えた塊状の図形を個々のひび割れにラベリングし、ラベリングされた複数の該ひび割れを備えるひび割れ画像を作成する、ひび割れ画像作成工程と、
前記ひび割れ画像において、分離している複数のひび割れのうち、本来的には連続したひび割れであると判定されるひび割れの端点同士を繋いでセグメンテーション画像を作成する、セグメンテーション画像作成工程と、を有し、
前記セグメンテーション画像作成工程は、
相互に分離している前記ひび割れの端点間の端点間距離を特定する、端点間距離特定工程と、
前記端点間距離に関する閾値と、前記端点間距離とを比較し、該端点間距離が該閾値以下の場合に、該端点間距離が特定された二つの前記ひび割れが、本来的には連続したひび割れであるとして、同一ラベルのひび割れであると判定する、判定工程と、を有
し、
前記判定工程において、
前記端点間距離が前記閾値以下の場合に、さらに、一方の前記ひび割れの端点を起点として無端状の輪郭範囲を設定し、他方の前記ひび割れの前記端点が該無端状の輪郭範囲に入る場合に、前記端点間距離が特定された二つの前記ひび割れが同一ラベルのひび割れであると判定することを特徴とする、プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ひび割れ検出方法とひび割れ検出装置、及びプログラムに関する。
【背景技術】
【0002】
現在、道路や橋梁、トンネルといった様々なインフラ施設の老朽化が進んでおり、改修工事が各地で行われ、また改修計画が進められている。インフラ施設の多くは鉄筋コンクリート構造物(RC(Reinforced Concrete)構造物)や鋼構造物であるが、例えば竣工から40年以上が経過したRC構造物等の表面上には、様々な損傷部が存在している。この損傷部の具体例として、コンクリート表面上においては、ひび割れや白華、遊離石灰、錆汁等が挙げられる。
RC構造物等の改修工事や改修計画に際しては、まず、インフラ施設の技術担当者や業務委託された調査会社もしくは建設会社の技術担当者により、RC構造物等の表面の点検が実施される。この点検では、ひび割れの幅や長さ、遊離石灰等の形状や面積などが定量的に評価され、この定量評価に基づいて、構造物の改修施工の有無やメンテナンスの有無等が判断されることになる。
【0003】
ところで、RC構造物のコンクリート表面におけるひび割れを定量的に検出する方法が種々提案されている。これらのひび割れ検出方法はいずれも、ウェーブレット変換処理と二値化処理を実行する方法を共通の工程とした上で、必要に応じてノイズ除去処理を実行してひび割れを検出する方法である。
【先行技術文献】
【特許文献】
【0004】
【文献】特開2006-162583号公報
【文献】特開2008-267943号公報
【文献】特開2008-185510号公報
【文献】特開2010-121992号公報
【文献】特開2012-002531号公報
【文献】特開2013-117409号公報
【文献】特開2013-002839号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
特許文献1乃至7に記載のひび割れ検出方法によれば、コンクリート表面の汚れや照明条件などによりひび割れの検出が困難な場合においても、高精度にひび割れの検出を行うことができる。
【0006】
ところで、上記ひび割れの検出に用いられるひび割れ画像解析においては、ピクセル単位(画素単位)でひび割れ幅が検出されるのが一般的である。そのため、物理的に端点同士が離れているひび割れは、画像解析上は連続したひび割れであるとは判定されず、出力の際にも異なるひび割れとして出力されるのが一般的である。
しかしながら、このように端点同士が完全に離れているひび割れであっても、双方のひび割れの線形(ベクトル)や幅等に基づいて、点検者が実際に点検した際には、本来的には連続したひび割れであると判定できる関係のひび割れである場合も往々にしてある。点検者が実際に点検する場合、このように本来的には連続したひび割れであると判定できる関係のひび割れは、同一ラベルのひび割れとしてひび割れ分布図が作成され、そのひび割れ幅(例えば最大ひび割れ幅)が特定される。
このように、画像解析により、ひび割れ検出の精度が向上し、ひび割れ検出までの時間が大幅に短縮した一方で、物理的に端点同士が離れているひび割れであっても、本来的には連続したひび割れであると判定できる関係のひび割れは同一ラベルのひび割れとし、出力できるひび割れ検出方法が望まれている。
【0007】
本発明は、ピクセル単位での高精度なひび割れの検出及び出力に加えて、物理的に端点同士が離れているひび割れであっても、本来的には連続したひび割れであると判定できる関係のひび割れを同一ラベルのひび割れとして検出及び出力することのできる、ひび割れ検出方法とひび割れ検出装置、及びプログラムを提供することを目的としている。
【課題を解決するための手段】
【0008】
前記目的を達成すべく、本発明によるひび割れ検出方法の一態様は、
ひび割れを内包するコンクリート表面の撮影画像をコンピュータに入力して入力画像を作成する、入力画像作成工程と、
前記入力画像に対してウェーブレット変換処理を実行する、もしくは、コンクリート表面におけるひび割れの特徴をコンピュータに学習させた学習情報に基づいて、前記入力画像からひび割れと想定される想定ひび割れを抽出し、該想定ひび割れに沿って描画して想定ひび割れ描画ラインを作成し、該想定ひび割れ描画ラインを含む描画含有画像に対してウェーブレット変換処理を実行する、もしくは、前記入力画像に対してひび割れと想定されるひび割れ想定線に沿って付されたパスを含むパス画像に対してウェーブレット変換処理を実行し、各画素がウェーブレット係数を有するウェーブレット画像を作成する、ウェーブレット画像作成工程と、
ウェーブレット係数の閾値となるウェーブレット係数テーブルを用いて、前記ウェーブレット画像の各画素を二値化して二値化画像を作成する、二値化画像作成工程と、
前記二値化画像に対して、幾何学的な連結性を備えた塊状の図形を個々のひび割れにラベリングし、ラベリングされた複数の該ひび割れを備えるひび割れ画像を作成する、ひび割れ画像作成工程と、
前記ひび割れ画像において、分離している複数のひび割れのうち、本来的には連続したひび割れであると判定されるひび割れの端点同士を繋いでセグメンテーション画像を作成する、セグメンテーション画像作成工程と、を有し、
前記セグメンテーション画像作成工程は、
相互に分離している前記ひび割れの端点間の端点間距離を特定する、端点間距離特定工程と、
前記端点間距離に関する閾値と、前記端点間距離とを比較し、該端点間距離が該閾値以下の場合に、該端点間距離が特定された二つの前記ひび割れが、本来的には連続したひび割れであるとして、同一ラベルのひび割れと判定する、判定工程と、
同一ラベルのひび割れであると判定された二つの前記ひび割れの端点同士を繋いで前記セグメンテーション画像を作成する、描画工程と、を有することを特徴とする。
【0009】
本態様によれば、入力画像からウェーブレット画像を作成し、ウェーブレット画像から二値化画像を作成し、二値化画像からひび割れ画像を作成した後、ひび割れ画像において、分離(離間)している複数のひび割れのうち、本来的には連続したひび割れであると判定されるひび割れの端点同士を繋いでセグメンテーション画像を作成することにより、ピクセル単位でのひび割れの検出及び出力に加えて、物理的に端点同士が離れているひび割れであっても、本来的には連続したひび割れであると判定できる関係のひび割れを同一ラベルのひび割れとして検出及び出力することが可能になる。
セグメンテーション画像を作成するセグメンテーション画像作成工程においては、端点間距離特定工程においてひび割れの端点間の距離を特定し、判定工程において端点間距離に関する閾値と端点間距離とを比較し、端点間距離が特定された二つのひび割れが同一ラベルのひび割れであるか否かを判定する。
上記画像解析により、端点同士が離間しているひび割れを、別々のひび割れとしてピクセル単位で精度よく特定し、出力できることに加えて、セグメンテーション画像では、点検者による点検結果と同様に、条件を満たすひび割れ同士を、ピクセル単位ではなくて同一ラベルのひび割れとして特定し、出力することができる。
出力に際しては、ピクセル単位の出力方法と、セグメンテーション画像としての出力方法のいずれか一方もしくは双方を選択的に出力できるようにしておくのが好ましい。
【0010】
また、ウェーブレット画像作成工程において、入力画像からひび割れと想定される想定ひび割れを抽出し、想定ひび割れに沿って描画して想定ひび割れ描画ラインを作成し、この想定ひび割れ描画ラインを含む描画含有画像に対してウェーブレット変換処理を実行することにより、ひび割れ画像解析範囲(もしくは解析対象)を可及的に絞ることができる。そのため、従来の方法に比して解析時間を大幅に短縮することが可能になる。また、想定ひび割れに沿って描画して想定ひび割れ描画ラインを作成するに当たり、解析者による描画に代わり、コンクリート表面におけるひび割れの特徴を学習したコンピュータがこの学習情報に基づいて描画することにより、解析者による描画を解消することができ、解析者による描画に比べて格段に短時間にて想定ひび割れ描画ラインを作成することが可能になる。さらに、このようにして作成された描画含有画像に対してウェーブレット変換処理を実行して二値化画像を作成することにより、高い精度でひび割れの検出を行うことができる。
【0011】
また、ウェーブレット画像作成工程において、入力画像に対してパス画像を作成する場合は、ひび割れ想定線に沿ってパスを作成し、パスに付したひび割れを覆う面を作成することにより、入力画像においてひび割れ位置を指定することができる。具体的には、市販の画像編集ソフトを使用して、たとえば1ピクセルの線や面からなるパスを作成する。そして、パス画像は、たとえば1ピクセル幅の線からなるパスに対し、その左右両側1ピクセル幅もしくは2ピクセル幅を加えた3ピクセル幅もしくは5ピクセル幅からなる面である。このように、入力画像においてひび割れ位置を指定した後にウェーブレット変換処理を実行してウェーブレット画像を作成することにより、ひび割れ画像解析範囲を可及的に縮小できることから、解析領域を大幅に縮小することができ、このことによって解析時間を大幅に短縮することが可能になり、さらには、連続解析が可能となり、データの読み込み時間や書き出し時間の短縮も可能になる。
【0012】
また、本発明によるひび割れ検出方法の他の態様は、
前記判定工程において、
前記端点間距離が前記閾値以下の場合に、さらに、一方の前記ひび割れの端点を起点として無端状の輪郭範囲を設定し、他方の前記ひび割れの前記端点が該無端状の輪郭範囲に入る場合に、前記端点間距離が特定された二つの前記ひび割れが同一ラベルのひび割れであると判定することを特徴とする。
【0013】
本態様によれば、相互に分離しているひび割れが同一ラベルのひび割れか否か(ひび割れの連続性の有無)を判定することに関し、端点間距離と閾値との比較に加えて、さらに、一方のひび割れの端点を起点として無端状の輪郭範囲を設定し、他方のひび割れの端点がこの輪郭範囲に入る場合に双方を同一ラベルのひび割れと判定することにより、より一層高い精度で複数のひび割れのセグメンテーション化を図ることが可能になる。
この方法は、双方のひび割れの端点近傍におけるひび割れの延設方向(ベクトル)を勘案して、離間しているひび割れとの連続性の有無を検証するものである。端点間距離が閾値以下の場合であっても、双方のひび割れの端点近傍のベクトルが全く相違する方向(完全に交わらない方向等)である場合に、ひび割れが連続している可能性は極めて低く、点検者が点検する際にも、このようなひび割れ同士を同一ラベルのひび割れとは判定しないことから、ひび割れの端点近傍におけるベクトルを勘案してセグメンテーション化の精度を高めることにしている。
ここで、各ひび割れの端部近傍におけるベクトルの設定方法としては、ひび割れの端点と、当該端点から数ピクセルひび割れの内部に入った点とを繋いでベクトルを求める方法等が挙げられる。
【0014】
また、本発明によるひび割れ検出方法の他の態様において、
前記無端状の輪郭範囲は、一方の前記ひび割れの端点を起点として、該ひび割れの延長方向に、所定長さの一辺を備える正多角形もしくは所定長さの径を備える円形を設定し、該正多角形もしくは該円形の輪郭範囲であることを特徴とする。
【0015】
本態様によれば、無端状の輪郭範囲として、一定の輪郭範囲を規定できる、所定長さの一辺を備える正多角形や所定長さの径を備える円形を設定することにより、無端状の輪郭範囲を容易に作成でき、かつ、ひび割れの端点近傍のベクトルにある程度の幅(角度)を持たせて他方のひび割れとの連続性の有無を判定することができる。ここで、正多角形としては、さらに作成が容易な正三角形や正方形を適用するのがよい。正三角形を適用する場合は、例えば、ひび割れの端点に正三角形の頂点を位置決めし、端点近傍から延ばした仮想のベクトル上に正三角形の底辺の中心が位置決めされるようにして正三角形を設定できる。また、正方形を適用する場合は、例えば、ひび割れの端点に正方形の一つの頂点を位置決めし、端点近傍から延ばした仮想のベクトル上にこの頂点の対角位置にある別途の頂点がくるようにして正方形を設定できる。さらに、円形を適用する場合は、ひび割れの端点に円周上の一つの点を位置決めし、端点近傍から延ばした仮想のベクトル上に、この一点を通る直径を位置決めして円形を設定できる。
【0016】
また、本発明によるひび割れ検出方法の他の態様は、
出力工程をさらに有し、
前記セグメンテーション画像が作成された際に、前記ひび割れ画像と該セグメンテーション画像のいずれか一方もしくは双方を選択的に出力することを特徴とする。
【0017】
本態様によれば、ピクセル単位でのひび割れ画像の出力に加えて、物理的に端点同士が離れているひび割れであっても、本来的には連続したひび割れであると判定できる関係のひび割れを同一ラベルのひび割れとして含むセグメンテーション画像を出力することができる。この際、解析者の選択により、コンピュータ画面に対して、ひび割れ画像とセグメンテーション画像のいずれか一方の出力と、双方の出力を実行できる。また、出力の一例であるひび割れ分布図において、ひび割れ一本ごとのひび割れ幅(最大ひび割れ幅)を付記することにより、コンクリート表面における各ひび割れの分布状況と各ひび割れの損傷状況を一画面で確認することができる。
【0018】
また、本発明によるひび割れ検出装置の一態様は、
コンピュータに入力された、ひび割れを内包するコンクリート表面の撮影画像に基づいて入力画像を作成する入力画像作成部と、
前記入力画像に対してウェーブレット変換処理を実行する、もしくは、コンクリート表面におけるひび割れの特徴をコンピュータに学習させた学習情報に基づいて、前記入力画像からひび割れと想定される想定ひび割れを抽出し、該想定ひび割れに沿って描画して想定ひび割れ描画ラインを作成し、該想定ひび割れ描画ラインを含む描画含有画像に対してウェーブレット変換処理を実行する、もしくは、前記入力画像に対してひび割れと想定されるひび割れ想定線に沿って付されたパスを含むパス画像に対してウェーブレット変換処理を実行し、各画素がウェーブレット係数を有するウェーブレット画像を作成するウェーブレット画像作成部と、
ウェーブレット係数の閾値となるウェーブレット係数テーブルを用いて、前記ウェーブレット画像の各画素を二値化して二値化画像を作成する二値化画像作成部と、
前記二値化画像に対して、幾何学的な連結性を備えた塊状の図形を個々のひび割れにラベリングし、ラベリングされた複数の該ひび割れを備えるひび割れ画像を作成する、ひび割れ画像作成部と、
前記ひび割れ画像において、分離している複数のひび割れのうち、本来的には連続したひび割れであると判定されるひび割れの端点同士を繋いでセグメンテーション画像を作成する、セグメンテーション画像作成部と、を有し、
前記セグメンテーション画像作成部は、
相互に分離している前記ひび割れの端点間の端点間距離を特定する、端点間距離特定部と、
前記端点間距離に関する閾値と、前記端点間距離とを比較し、該端点間距離が該閾値以下の場合に、該端点間距離が特定された二つの前記ひび割れが、本来的には連続したひび割れであるとして、同一ラベルのひび割れであると判定する、判定部とを有することを特徴とする。
【0019】
本態様によれば、入力画像からウェーブレット画像を作成し、ウェーブレット画像から二値化画像を作成し、二値化画像からひび割れ画像を作成した後、ひび割れ画像において、分離している複数のひび割れのうち、本来的には連続したひび割れであると判定されるひび割れの端点同士を繋いでセグメンテーション画像を作成することにより、ピクセル単位でのひび割れの検出及び出力に加えて、物理的に端点同士が離れているひび割れであっても、本来的には連続したひび割れであると判定できる関係のひび割れを同一ラベルのひび割れとして検出及び出力することが可能になる。ここで、セグメンテーション画像作成部では、判定部において、相互に離間する二つのひび割れが同一ラベルのひび割れであると判定した際に、解析担当者が画像編集ソフトを用いて二つのひび割れを画面上で繋いでもよいし、セグメンテーション画像作成部が描画部をさらに備えていて、描画部にて自動的に二つのひび割れを繋ぐ処理が実行されてもよい。
【0020】
また、本発明によるひび割れ検出装置の他の態様は、
前記判定部において、
前記端点間距離が前記閾値以下の場合に、さらに、一方の前記ひび割れの端点を起点として無端状の輪郭範囲を設定し、他方の前記ひび割れの前記端点が該無端状の輪郭範囲に入る場合に、前記端点間距離が特定された二つの前記ひび割れが同一ラベルのひび割れであると判定することを特徴とする。
【0021】
本態様によれば、相互に分離しているひび割れが同一ラベルのひび割れか否かを判定することに関し、端点間距離と閾値との比較に加えて、さらに、一方のひび割れの端点を起点として無端状の輪郭範囲を設定し、他方のひび割れの端点がこの輪郭範囲に入る場合に双方を同一ラベルのひび割れと判定することにより、より一層高い精度で複数のひび割れのセグメンテーション化を図ることが可能になる。
【0022】
また、本発明によるひび割れ検出装置の他の態様は、
出力部をさらに有し、
前記セグメンテーション画像が作成された際に、前記ひび割れ画像と該セグメンテーション画像のいずれか一方もしくは双方を選択的に出力することを特徴とする。
【0023】
本態様によれば、ピクセル単位でのひび割れ画像の出力に加えて、物理的に端点同士が離れているひび割れであっても、本来的には連続したひび割れであると判定できる関係のひび割れを同一ラベルのひび割れとして含むセグメンテーション画像を出力することができる。この際、解析者の選択により、コンピュータ画面に対して、ひび割れ画像とセグメンテーション画像のいずれか一方の出力と、双方の出力を実行できる。
【0024】
また、本発明によるプログラムの一態様は、
コンクリート表面上のひび割れを検出するコンピュータに以下の処理を実行させるプログラムであって、
ひび割れを内包するコンクリート表面の撮影画像をコンピュータに入力して入力画像を作成する、入力画像作成工程と、
前記入力画像に対してウェーブレット変換処理を実行する、もしくは、コンクリート表面におけるひび割れの特徴をコンピュータに学習させた学習情報に基づいて、前記入力画像からひび割れと想定される想定ひび割れを抽出し、該想定ひび割れに沿って描画して想定ひび割れ描画ラインを作成し、該想定ひび割れ描画ラインを含む描画含有画像に対してウェーブレット変換処理を実行する、もしくは、前記入力画像に対してひび割れと想定されるひび割れ想定線に沿って付されたパスを含むパス画像に対してウェーブレット変換処理を実行し、各画素がウェーブレット係数を有するウェーブレット画像を作成する、ウェーブレット画像作成工程と、
ウェーブレット係数の閾値となるウェーブレット係数テーブルを用いて、前記ウェーブレット画像の各画素を二値化して二値化画像を作成する、二値化画像作成工程と、
前記二値化画像に対して、幾何学的な連結性を備えた塊状の図形を個々のひび割れにラベリングし、ラベリングされた複数の該ひび割れを備えるひび割れ画像を作成する、ひび割れ画像作成工程と、
前記ひび割れ画像において、分離している複数のひび割れのうち、本来的には連続したひび割れであると判定されるひび割れの端点同士を繋いでセグメンテーション画像を作成する、セグメンテーション画像作成工程と、を有し、
前記セグメンテーション画像作成工程は、
相互に分離している前記ひび割れの端点間の端点間距離を特定する、端点間距離特定工程と、
前記端点間距離に関する閾値と、前記端点間距離とを比較し、該端点間距離が該閾値以下の場合に、該端点間距離が特定された二つの前記ひび割れが、本来的には連続したひび割れであるとして、同一ラベルのひび割れであると判定する、判定工程と、を有することを特徴とする。
【0025】
本態様によれば、プログラムの各工程をコンピュータに実行させることにより、端点同士が離間しているひび割れを、別々のひび割れとしてピクセル単位で精度よく特定し、出力できることに加えて、セグメンテーション画像では、点検者による点検結果と同様に、条件を満たすひび割れ同士を、ピクセル単位ではなくて同一ラベルのひび割れとして特定し、出力することができる。
【0026】
また、本発明によるプログラムの他の態様は、
前記判定工程において、
前記端点間距離が前記閾値以下の場合に、さらに、一方の前記ひび割れの端点を起点として無端状の輪郭範囲を設定し、他方の前記ひび割れの前記端点が該無端状の輪郭範囲に入る場合に、前記端点間距離が特定された二つの前記ひび割れが同一ラベルのひび割れであると判定することを特徴とする。
【0027】
本態様によれば、相互に分離しているひび割れが同一ラベルのひび割れか否かを判定することに関し、端点間距離と閾値との比較に加えて、さらに、一方のひび割れの端点を起点として無端状の輪郭範囲を設定し、他方のひび割れの端点がこの輪郭範囲に入る場合に双方を同一ラベルのひび割れと判定することにより、より一層高精度に複数のひび割れのセグメンテーション化を図ることが可能になる。
【発明の効果】
【0028】
以上の説明から理解できるように、本発明のひび割れ検出方法とひび割れ検出装置、及びプログラムによれば、ピクセル単位での高精度なひび割れの検出及び出力に加えて、物理的に端点同士が離れているひび割れであっても、本来的には連続したひび割れであると判定できる関係のひび割れを同一ラベルのひび割れとして検出及び出力することができる。
【図面の簡単な説明】
【0029】
【
図1】実施形態に係るひび割れ検出装置を含むひび割れ検出システムの全体構成の一例を示す図である。
【
図2】ひび割れ検出装置のハードウェア構成の一例を示す図である。
【
図3】ひび割れ検出装置の機能構成の一例を示す図である。
【
図4】実施形態に係るひび割れ検出方法の一例を示すフローチャートである。
【
図5A】ウェーブレット変換処理における、入力画像と局所領域の関係の一例を示す図である。
【
図5B】ウェーブレット変換処理における、局所領域と注目画素の関係の一例を示す図である。
【
図7】
図6の擬似画像のウェーブレット係数の鳥瞰図の一例を示す図である。
【
図8】ウェーブレット係数テーブルの一例を示す図である。
【
図9】(a)は、相互に分離しているひび割れが、本来的には連続したひび割れであると判定される例を示す模式図であり、(b)と(c)はいずれも、相互に分離しているひび割れが、本来的には連続したひび割れではないと判定される例を示す模式図である。
【
図10】(a)、(b)、(c)はいずれも、
図9(a)を用いて、判定部において、端点間距離が閾値以下の場合にさらに実施される判定例を示す模式図である。
【
図11】(a)と(b)はそれぞれ、
図9(b)、(c)を用いて、判定部において、端点間距離が閾値以下の場合にさらに実施される判定例を示す模式図である。
【
図12】出力部により出力された、ピクセル単位でのひび割れ画像を示す写真図である。
【
図13】出力部により出力された、セグメンテーション画像を示す写真図である。
【
図14】セグメンテーション画像により特定されたひび割れ幅の精度を検証する検証実験に用いた、試験体1のコンクリート表面を示す写真図である。
【
図15】セグメンテーション画像により特定されたひび割れ幅の精度を検証する検証実験に用いた、試験体2のコンクリート表面を示す写真図である。
【
図16】試験体1のセグメンテーション画像において、ひび割れ幅の大きい上位10%のひび割れを削除した後の最大ひび割れ幅を付記した出力例を示す写真図である。
【
図17】試験体2のセグメンテーション画像において、ひび割れ幅の大きい上位10%のひび割れを削除した後の最大ひび割れ幅を付記した出力例を示す写真図である。
【発明を実施するための形態】
【0030】
以下、実施形態に係るひび割れ検出方法とひび割れ検出装置、及びプログラムについて添付の図面を参照しながら説明する。尚、本明細書及び図面において、実質的に同一の構成要素については、同一の符号を付することにより重複した説明を省く場合がある。
【0031】
[実施形態]
<ひび割れ検出システム>
はじめに、実施形態に係るひび割れ検出装置を含む、ひび割れ検出システムについて説明する。
図1は、実施形態に係るひび割れ検出装置を含むひび割れ検出システムの全体構成の一例を示す図である。
図1に示すように、ひび割れ検出システム1000は、撮像装置100と、ひび割れ検出装置300とを有する。ひび割れ検出装置300は例えばサーバ装置であり、撮像装置100とひび割れ検出装置300は、インターネット等の公衆ネットワーク、携帯電話網等の無線ネットワーク、VPN(Virtual Private Network)等の専用ネットワーク、LAN(Local Area Network)等のネットワーク200を介して接続されている。
【0032】
撮像装置100は、CCDカメラやデジタルカメラ、デジタルビデオカメラ等の撮像部と、撮像部で取り込まれた画像データを送信する通信部とを有している。尚、撮像装置100が撮影部のみを有し、撮像装置100を携帯端末等に接続し、携帯端末等から画像データを送信する形態であってもよい。撮像装置100で撮影した画像データは、ネットワーク200を介してひび割れ検出装置300に送信される。この画像データには、コンクリート表面の画像情報が含まれる。例えば、建設から数十年が経過した鉄筋コンクリート製の道路橋やトンネル等のインフラ施設に関し、その改修施工の必要性の有無を判断するべく、撮像装置100にてコンクリート表面が撮像される。
【0033】
ひび割れ検出装置300には、データ収集プログラム、データ解析プログラムがインストールされており、ひび割れ検出装置300はこれらのプログラムを実行することにより、データ収集部301及びデータ処理部302として機能する。
【0034】
データ収集部301は、撮像装置100で撮像され、撮像装置100もしくは撮像装置100に接続された携帯端末等から送信された画像データを受信し、データ格納部303に格納する。また、データ処理部302は、データ格納部303に格納された画像データに基づいて、各種の画像をシーケンシャルに作成し、作成された各種の画像を出力する処理を実行する。
【0035】
<ひび割れ検出装置>
次に、
図2及び
図3を参照して、実施形態に係るひび割れ検出装置の一例について説明する。
【0036】
(ひび割れ検出装置のハードウェア構成)
まず、
図2を参照して、ひび割れ検出装置のハードウェア構成の一例について説明する。
図2に示すように、ひび割れ検出装置300は、CPU(Central Processing Unit)401、ROM(Read Only Memory)402、RAM(Random Access Memory)403、補助記憶部404、表示部405、及び通信部406を有し、各部はバス407を介して相互に接続されている。
【0037】
CPU401は、補助記憶部404にインストールされた各種プログラムを実行する。ROM402は不揮発性メモリであり、補助記憶部404に格納された各種プログラムをCPU401が実行するために必要な各種プログラムやデータ等を格納する主記憶部として機能する。RAM403は揮発性メモリであり、主記憶部として機能する。RAM403は、補助記憶部404に格納された各種プログラムがCPU401に実行される際の作業領域として機能する。補助記憶部404は、ひび割れ検出装置300にインストールされた各種プログラムや、各種プログラムを実行する際に用いるデータ等を格納する。
【0038】
表示部405は、各種画面を表示する。例えば、撮像装置100から送信されてきた画像データを撮影画像として表示し、その他、入力画像やウェーブレット画像、二値化画像、ひび割れ画像、及びセグメンテーション画像等を表示する。
【0039】
通信部406は、撮像装置100もしくは撮像装置100と接続される携帯端末等と接続し、撮像装置100等から画像データを受信したり、ひび割れ検出装置300にて特定され、作成されたひび割れ幅ごとの長さやひび割れ総延長等を撮像装置100に接続された携帯端末等に送信する。
【0040】
(ひび割れ検出装置の機能構成)
次に、
図3を参照して、ひび割れ検出装置の機能構成の一例について説明する。
図3に示すように、撮像装置100から送信された画像データは、データ収集部301にて受信され、データ収集部301からデータ格納部303に一時的に格納される。データ処理部302による解析の実行に当たり、データ格納部303に格納されている画像データは、データ処理部302における入力部502に取り込まれる。
【0041】
データ処理部302は、入力部502、入力画像作成部504、ウェーブレット画像作成部506、ウェーブレット係数テーブル作成部508、二値化画像作成部510、ひび割れ画像作成部512、セグメンテーション画像作成部514、出力部516、機械学習部530,及び描画部532を有する。セグメンテーション画像作成部514は、端点間距離特定部520,判定部522,及び描画部524を有する。
【0042】
入力部502は、データ格納部303に格納されている画像データに基づく撮影画像を取り込む。データ格納部303には、様々なコンクリート表面の画像データが格納されているが、解析者による指定により、解析対象となる画像データに基づく撮影画像が選択され、入力部502に取り込まれて入力される。
【0043】
入力画像作成部504は、入力部502に入力された撮影画像に対し、必要に応じて撮影画像の輝度を補正して入力画像を作成する。例えば、輝度は輝度値0乃至255の256階調を有しているが、入力画像作成部504には、予め、解析者によって所定の輝度補正値が入力されている。例えば、入力画像作成部504に輝度補正値として150が入力されている場合、入力画像作成部504は、入力部502から取り込んだ撮影画像の輝度を特定し、撮影画像の輝度が輝度補正値である150になるように輝度補正処理をおこない、入力画像を作成する。尚、このような輝度補正の実行の有無は任意である。
【0044】
ここで、機械学習部530における学習情報に基づいて、入力画像においてひび割れと想定される想定ひび割れを抽出し、想定ひび割れに沿って描画して想定ひび割れ描画ラインを作成し、この想定ひび割れ描画ラインを含む描画含有画像を描画部532にて作成してもよい。
【0045】
描画部532は、コンクリート表面におけるひび割れの特徴をコンピュータに学習させた学習情報に基づいて、入力画像からひび割れと想定される想定ひび割れを抽出し、この想定ひび割れに沿って描画して想定ひび割れ描画ラインを作成し、この想定ひび割れ描画ラインを含む描画含有画像を作成する。
【0046】
ここで、機械学習部530における学習情報について概説する。まず、データ格納部303には、多様なコンクリート表面画像に関する特徴データベースが格納されている。このコンクリート表面画像の上には、解析者がひび割れであると判断するひび割れラインが描画されている。従って、格納されているコンクリート表面画像には、撮影画像と、描画されたひび割れラインが内包されている。機械学習部530では、データ格納部303に入力されているコンクリート表面画像と、コンクリート表面画像中に描画されているひび割れラインとに基づき、各々のコンクリート表面画像においてひび割れの特徴を機械学習させた関数やひび割れの特徴を示すモデルを作成する。
【0047】
ひび割れの特徴を機械学習させた関数やひび割れの特徴を示すモデルは、例えばニューラルネットワークを用いた教師付きの学習等、既存の技術を用いて作成することができるが、その作成手法は特に限定されない。機械学習部530において機械学習を繰り返すことにより、多様なコンクリート表面画像における多様なひび割れパターンが学習される。コンクリート表面画像に対して学習されたひび割れパターンに関する学習データは、再度データ格納部303に格納される。
【0048】
コンクリート表面におけるひび割れの特徴を学習したコンピュータがこの学習情報に基づいて描画した描画含有画像に対してウェーブレット変換処理を実行して二値化画像及びひび割れ画像を作成することにより、高い精度でひび割れの検出を行うことが可能になる。
【0049】
また、その他、入力画像に対して、ひび割れと想定されるひび割れ想定線に沿って付されたパスを含むパス画像を作成してもよい。ひび割れ想定線に沿ってパスを作成し、パスに付したひび割れを覆う面を作成することにより、入力画像においてひび割れ位置を指定することができる。具体的には、市販の画像編集ソフトを使用し、たとえば1ピクセルの線や面からなるパスを作成する。そして、パス画像は、たとえば1ピクセル幅の線からなるパスに対し、その左右両側1ピクセル幅もしくは2ピクセル幅を加えた3ピクセル幅もしくは5ピクセル幅からなる面をパスに付したひび割れを覆う面とする。
【0050】
ひび割れ想定線に沿ってラフなパス(ひび割れ想定線の幅よりも数ピクセル幅の大きなパス)を作成してひび割れ位置を指定していることにより、パスからひび割れ想定線がはみ出してひび割れと判定されないといった不具合が生じることも解消され、パスがラフゆえにパスの作成も効率的におこなうことができ、パスの作成(ひび割れ位置の特定)に長い時間を必要としない。さらに、ひび割れ想定線にラフなパスを作成し、ウェーブレット変換した後に細線化処理をおこなうことで、ひび割れをより一層精度よく特定することが可能になる。
【0051】
ウェーブレット画像作成部506は、入力画像作成部504において作成された入力画像に対してウェーブレット変換処理を実行することにより、ウェーブレット画像を作成する。ウェーブレット(wavelet)とは、小さな波という意味であり、局在性を持つ波の基本単位を、ウェーブレット関数を用いた式で表現することができる。このウェーブレット関数を拡大または縮小することにより、時間情報や空間情報と周波数情報を同時に解析することが可能になる。このウェーブレット係数を、ひび割れを有するコンクリート表面に適用する場合のこの係数の特徴としては、コンクリート表面の濃度と、ひび割れの濃度と、ひび割れの幅(もしくは広さ)に依存するということである。例えば、ひび割れの幅が大きくなるにつれてウェーブレット係数の値は大きくなる傾向があり、また、ひび割れの濃度が濃くなるにつれて(黒色に近づくにつれて)ウェーブレット係数の値は大きくなる傾向がある。ウェーブレット変換処理によって算定されるウェーブレット係数を用いて、二値化画像を作成するアルゴリズムについては以下で詳説する。
【0052】
ウェーブレット係数テーブル作成部508は、ウェーブレット画像から二値化画像を作成する際の閾値となるウェーブレット係数を作成する。ウェーブレット係数は、上記するようにひび割れの幅やひび割れの濃度、コンクリート表面の濃度によって変化することから、擬似的に作成されたデータを用いてひび割れの濃度とコンクリート表面の濃度に関するウェーブレット係数を各階調毎に算定しておき、ウェーブレット係数テーブルを作成する。例えば、対比される2つの濃度(一方の濃度をコンクリート表面の濃度、他方の濃度をひび割れの濃度と仮定することができる)に対応するウェーブレット係数(閾値)が、ウェーブレット係数テーブルを参照すれば一義的に決定される。
【0053】
二値化画像作成部510は、ウェーブレット画像作成部506で作成されたウェーブレット画像の各画素と、ウェーブレット係数テーブル作成部508で作成された閾値となるウェーブレット係数とを比較演算する二値化処理を実行する。例えば、ウェーブレット画像を構成する各画素のウェーブレット係数値が、ウェーブレット係数テーブルの閾値よりも大きい場合は当該画素がひび割れであると判断して1を割り当て、閾値よりも小さい場合は当該画素がひび割れでないと判断して0を割り当てる二値化処理を実行する。したがって、二値化画像は、各画素が0と1のいずれかで表現された画像となる。
【0054】
ひび割れ画像作成部512は、二値化画像に対して輪郭線追跡処理を行い、さらに細線化処理を行うことにより、ひび割れ画像を作成する。
【0055】
輪郭線追跡処理は、ある任意の画素(ひび割れと判断されている画素)から出発して、隣接する画素がひび割れ箇所の場合には出発画素と接続し、さらに隣接する画素がひび割れ箇所の場合にはさらに双方を接続し、最終的に出発画素に閉合した場合(例えば、第1画素、第2画素、…、第n-1画素、第n画素、第1画素の順に接続される場合)や、次に繋がるひび割れ箇所が存在しなくなった場合に終了する。この輪郭線追跡処理では、ループ状に閉合するようなひび割れラインや、複数の屈曲部を備えて線状に伸びるひび割れラインなど、適宜のひび割れラインが作成される。この際、繋げられる画素数の最小数を所定の値に設定しておくことで、この設定数以下の画素はすべてひび割れでないとして、画面のひび割れ表示から削除することができる。
【0056】
この輪郭線追跡処理により、幾何学的な連結性を備えた塊状の図形を個々のひび割れにラベリングし、このラベリングの過程で大きなノイズの除去が実行される。
【0057】
輪郭線追跡処理に続いて、細線化処理を行う。細線化処理は、その中心線で構成され、ひび割れ全体がたとえば1ピクセル幅を有するひび割れとする処理であり、この処理により小さなノイズの除去を実行できる。
【0058】
このように、二値化画像に対して輪郭線追跡処理を行い、さらに細線化処理を行うことにより、ラベリングされた複数のひび割れを備えるひび割れ画像が作成される。
【0059】
作成されたひび割れ画像は、ピクセル単位での高精度なひび割れ画像となる。ところで、物理的に端点同士が離れているひび割れであっても、本来的には連続したひび割れであると判定できる関係のひび割れは、同一ラベルのひび割れとして出力することにより、点検者が実際に点検してひび割れを判定する場合と同様のひび割れ検出と出力が可能になることから望ましい。そこで、セグメンテーション画像作成部514では、ひび割れ画像において、分離している複数のひび割れのうち、本来的には連続したひび割れであると判定されるひび割れの端点同士を繋いでセグメンテーション画像を作成する。
【0060】
より詳細には、セグメンテーション画像作成部514は、端点間距離特定部520,判定部522,及び描画部524を有する。
【0061】
端点間距離特定部520は、ひび割れ画像において、分離している複数のひび割れのうち、相互に近接している端点間の距離を特定する。例えば、一方のひび割れの端点が隣接する他方のひび割れの途中と交差している場合であっても、双方の近接する端点同士は分離していることから、このような分離形態においても端点間距離を特定する。
【0062】
判定部522は、端点間距離に関する閾値と、端点間距離とを比較し、端点間距離が閾値以下の場合に、端点間距離が特定された二つのひび割れが、本来的には連続したひび割れであるとして双方を同一ラベルのひび割れであると判定する。
【0063】
ここで、端点間距離に関する閾値の設定方法は、集積された過去のコンクリート表面上におけるひび割れ検出結果に基づいて、相互に離間していても同一ラベルのひび割れである可能性が高い(例えば70%以上の可能性)の離間(例えば3cm)を特定し、閾値に設定できる。また、相互に離間しているひび割れの端点における幅もさらに考慮し、端点の幅と離間の双方に基づいて閾値を設定してもよい。
【0064】
さらに、閾値の設定は、機械学習部530により行うこともできる。機械学習部530では、相互に離間しているひび割れ同士が、本来的には連続したひび割れであると判断できる場合のひび割れの組み合わせ(双方のひび割れの線形、端点のひび割れ幅等も含まれる)と、その際の端点間距離に関する過去の多数のデータを利用して、機械学習させた関数等に基づいて設定してもよい。
【0065】
機械学習させた関数は、例えばニューラルネットワークを用いた教師付きの学習等、既存の技術を用いて作成することができるが、その作成手法は特に限定されない。機械学習部530において機械学習を繰り返すことにより、多様なコンクリート表面画像における多様なひび割れパターンに基づいて、離間したひび割れパターンに応じた最適な閾値が学習され、設定される。
【0066】
判定部522では、上記するように、相互に分離したひび割れの端点間距離と閾値を比較してセグメンテーション画像を作成する。
【0067】
ここで、セグメンテーション画像は、描画部524において自動的にひび割れ同士を繋ぐことにより作成される。尚、解析者が画像編集ソフト(手書きソフト)を使用してひび割れ同士を繋ぐことにより作成してもよい。後者の場合は、判定部522による判定の結果、相互に繋がれるべきひび割れの端点同士が画面上に表示されることにより、解析者は表示された端点同士を繋ぐことができる。
【0068】
上記するように、判定部522において、端点間距離と閾値の比較のみを行う判定方法の他に、端点間距離と閾値の比較によって端点間距離が閾値以下と判定された際に、続いて、双方のひび割れの端点近傍における方向性(ベクトル)を検証し、双方のベクトルが連続性を有すると判断できる場合に、同一ラベルのひび割れであると判定する判定方法を実行することもできる。すなわち、判定部522では、これらのいずれか一方の方法で判定することができ、解析者は、選択的に判定部522における判定アルゴリズムを選択することができる。例えば、端点間距離と閾値の比較のみによる判定を簡易判定とすることができ、端点間距離と閾値の比較に加えて、双方のひび割れの端点近傍のベクトルに基づいて連続性を特定する判定を詳細判定とすることができる。
【0069】
仮に端点間距離が閾値以下であっても、双方のひび割れの端点近傍のベクトルに基づけば明らかに同一ラベルのひび割れであると判定できない場合には、点検者が実際に点検する際に双方を同一ラベルのひび割れであるとは判定しないのが一般的である。従って、この詳細判定により、より高い精度でセグメンテーション画像を作成することが可能になる。尚、詳細判定における、双方のひび割れの端点近傍のベクトルに基づく連続性の判定方法については、以下で詳説する。
【0070】
出力部516は、ひび割れ画像とセグメンテーション画像のいずれか一方もしくは双方を選択的に出力する。この出力方法は、解析者が所望に選択することができる。
【0071】
また、出力の一例であるひび割れ分布図において、ひび割れ一本ごとのひび割れ幅(最大ひび割れ幅)をひび割れの側方に付記することにより、コンクリート表面における各ひび割れの分布状況と各ひび割れの損傷状況を一画面で確認することができる。
【0072】
セグメンテーション画像における最大ひび割れ幅の特定に関しては、以下の検証実験に関する項で説明するように、セグメンテーション画像においてひび割れ幅の大きい上位10%のひび割れを削除して最大ひび割れ幅とすることにより、点検者による実測値に近い最大ひび割れ幅を特定できることが実証されている。
【0073】
出力部516では、ひび割れ画像やセグメンテーション画像等のひび割れ分布図の他、ひび割れ幅ごとのひび割れ長さ、平均ひび割れ幅、ひび割れ密度、ひび割れ総延長などに関するひび割れ情報が出力される。
【0074】
<ひび割れ検出方法>
次に、
図4乃至
図13を参照して、実施形態に係るひび割れ検出方法の一例について説明する。ここで、
図4は、実施形態に係るひび割れ検出方法の一例を示すフローチャートであり、ひび割れ検出装置300における処理の流れを示している。
【0075】
ステップS700において、入力部502に取り込まれた画像データに基づき、入力画像作成部504において入力画像を作成する(入力画像作成工程)。
【0076】
入力画像に関し、例えば輝度の補正処理を要する場合は輝度補正処理を実行して入力画像を作成し、輝度の補正処理が不要な場合は撮影画像をそのまま入力画像とする。256階調の輝度のうち、その中央値である128を含む120乃至160程度の範囲内で解析者が最適と判断する輝度を設定しておく。撮影画像の輝度が設定されている輝度と符合しない場合、撮影画像に対して輝度の補正処理を実行し、設定されている輝度を有する入力画像を作成する。
【0077】
ステップS702において、ウェーブレット画像作成部506に入力画像を取り込み、入力画像に対してウェーブレット変換処理を実行することにより、ウェーブレット画像を作成する。この際、コンクリート表面におけるひび割れの特徴をコンピュータに学習させた学習情報に基づいて、入力画像からひび割れと想定される想定ひび割れを抽出し、想定ひび割れに沿って描画して想定ひび割れ描画ラインを作成し、想定ひび割れ描画ラインを含む描画含有画像に対してウェーブレット変換処理を実行することにより、ウェーブレット画像を作成してもよい。また、入力画像に対して、ひび割れと想定されるひび割れ想定線に沿って付されたパスを含むパス画像を作成し、パス画像に対してウェーブレット変換処理を実行することにより、ウェーブレット画像を作成してもよい(ウェーブレット画像作成工程)。
【0078】
ここで、ウェーブレット変換処理について説明する。
図5Aは、ウェーブレット変換処理における、入力画像と局所領域の関係の一例を示す図である。また、
図5Bは、ウェーブレット変換処理における、局所領域と注目画素の関係の一例を示す図である。入力画像1における広域領域2の中心である局所領域3においてウェーブレット変換をおこない、当該局所領域3の中心でひび割れの検出を行うものである。入力画像1内をくまなく広域領域2を上下左右に平行移動して、入力画像1内におけるひび割れの検出を行う。
【0079】
図5Bは局所領域3を拡大した図である。図示する実施形態では、例えば3×3の9つの画素(8つの近傍画素31,31,…と、中央に位置する注目画素32)の中心でひび割れの判定を行う。尚、ウェーブレット係数の算定は、
図5Aにおける局所領域3を対象として行う。以下に、ウェーブレット関数(マザーウェーブレット関数)を用いたウェーブレット変換を行うことによりウェーブレット係数を算定する算定式を示す。
【0080】
【0081】
【0082】
【0083】
ここで、f(x、y)は、入力画像(ここで、x、yは2次元入力画像中の任意の座標である)を、Ψは、マザーウェーブレット関数(ガボール関数)を、(x0、y0)はΨの平行移動量を、それぞれ示している。また、akは、Ψの拡大や縮小を(ここで、akは周波数の逆数であって、幾つかの周波数領域について計算するための周波数幅を整数kで示した値)、f0は、中心周波数を、σは、ガウス関数の標準偏差を、それぞれ示している。さらに、θは、波の進行方向を表す回転角を、(x'、y')は、(x、y)を角度θだけ回転させた座標を、それぞれ示している。
【0084】
数式1を用いて計算した複数のθ、kに対して、ウェーブレット係数Ψの累計値C(x0、y0)を求める式が以下の数式4となる。
【0085】
【0086】
上記のパラメータは任意に設定できるが、例えば、σを0.5乃至2に、akは0乃至5に、f0は0.1に、回転角は0乃至180度に、それぞれ設定できる。数式4における平行移動量(x0、y0)は、注目画素の位置に対応するものであり、注目画素の位置を順次移動させることにより、ウェーブレット係数の連続量(C(x0、y0))が算定できる。
【0087】
局所領域3を構成する全画素に対して、ウェーブレット係数を上算定式に基づいて算定した後、注目画素を一つ左右または上下に移動させてできる広域領域2の全画素において同様にウェーブレット係数を算定する。
【0088】
ウェーブレット画像の作成に当たり、ウェーブレット係数テーブル作成部508にてウェーブレット係数テーブルの作成を実行する。ウェーブレット係数テーブルの作成では、入力画像とは何らの関係もない、対比する2つの濃度からなる擬似画像に対して、ウェーブレット係数の算定を行う。例えば、
図6に示すように、コンクリート表面と仮定される背景色a(例えば、背景色のR、G、Bが、255,255,255とする)と、ひび割れと仮定される線分b1~b5からなる擬似画像のウェーブレット係数を求める。ここで、線分b1~b5は、線幅が順に1ピクセル~5ピクセルまで変化しており、さらに、各線分は、3種類の濃度を備えている(例えば、線分b1では、濃度の濃い順に、b11(黒色)、b12(薄い黒色)、b13(灰色)と変化している)。この擬似画像に対してウェーブレット変換を行うことにより算定されるウェーブレット係数の鳥瞰図を
図7に示す。
図7において、X軸は線分の幅を、Y軸は線分の色の濃度を、Z軸はウェーブレット係数をそれぞれ示している。同時に、対比する2つの濃度の組み合わせをそれぞれ0乃至255の256階調で行うことにより、
図8に示すようなウェーブレット係数テーブルの作成が行われる。尚、ウェーブレット係数テーブルの作成のタイミングは、後述する二値化画像の作成までのいずれのタイミングでもよい。例えば、撮影画像の入力後に行ってもよいし、ウェーブレット画像の作成と並行して行ってもよいし、ウェーブレット画像を作成した後でかつ二値化画像の作成前に行ってもよい。
【0089】
ステップS704において、二値化画像作成部510にて二値化画像の作成を実行する(二値化画像作成工程)。
【0090】
ウェーブレット係数テーブル内において、局所領域内の近傍画素の平均濃度と注目画素の濃度に対応するウェーブレット係数をウェーブレット係数に関する閾値とする。そして、注目画素のウェーブレット係数が閾値よりも大きな場合は注目画素をひび割れと判定し(画面上では例えば白色)、小さな場合は注目画素をひび割れでないと判定する(画面上では例えば黒色)。局所領域および注目画素を変化させながら、注目画素のウェーブレット係数と閾値との比較演算を実行することにより、二値化画像が作成される。
【0091】
ステップS706において、ひび割れ画像作成部512に二値化画像を取り込み、幾何学的な連結性を備えた塊状の図形を個々のひび割れにラベリングし、ラベリングされた複数のひび割れを備えるひび割れ画像を作成する(ひび割れ画像作成工程)。
【0092】
上記するように、ひび割れ画像作成工程では、二値化画像に対して輪郭線追跡処理を行い、さらに細線化処理を行うことにより、大小のノイズを除去しながらひび割れ画像を作成する。
【0093】
ステップS708において、セグメンテーション画像作成部514にひび割れ画像を取り込み、ひび割れ画像において、相互に分離している複数のひび割れのうち、本来的には連続したひび割れであると判定されるひび割れの端点同士を繋いでセグメンテーション画像を作成する(セグメンテーション画像作成工程)。
【0094】
セグメンテーション画像作成工程は、端点間距離特定工程と、判定工程と、描画工程とを有する。
【0095】
端点間距離特定工程は、端点間距離特定部520において、相互に分離しているひび割れの端点間の端点間距離を特定する。ひび割れ画像には、多数の相互に分離しているひび割れ(の組み合わせ)が存在することから、全ての相互に分離しているひび割れの端点間の距離を特定する。
【0096】
判定工程は、判定部522において、端点間距離に関する閾値と、端点間距離とを比較し、端点間距離が閾値以下の場合に、端点間距離が特定された二つのひび割れが、本来的には連続したひび割れであるとして、同一ラベルのひび割れと判定する。この閾値の設定方法には、上記するように、過去の実績に基づいて設定する方法や、機械学習部530において過去の実績を機械学習させることにより設定する方法等がある。
【0097】
描画工程は、同一ラベルのひび割れであると判定された二つのひび割れに関して、双方の端点同士を繋いでセグメンテーション画像を作成する。描画工程における描画方法は、上記するように、描画部524にて自動的にひび割れ同士を繋ぐことにより作成される。尚、解析者が手書きソフトを使用してひび割れ同士を繋ぐことにより作成してもよい。
【0098】
ここで、判定工程における上記判定方法は、端点間距離と閾値の比較のみを行う簡易判定であるが、端点間距離と閾値の比較によって端点間距離が閾値以下と判定された際に、続いて、双方のひび割れの端点近傍における方向性(ベクトル)を検証し、双方のベクトルが連続性を有すると判断できる場合に、同一ラベルのひび割れであると判定する詳細判定を行うこともできる。解析者は、選択的に判定部522における判定アルゴリズムを選択することができる。
【0099】
ここで、
図9乃至
図11を参照して、詳細判定の内容を説明する。
図9(a)は、相互に分離しているひび割れが、本来的には連続したひび割れであると判定される例を示す模式図であり、
図9(b)と
図9(c)はいずれも、相互に分離しているひび割れが、本来的には連続したひび割れではないと判定される例を示す模式図である。また、
図10(a)、(b)、(c)はいずれも、
図9(a)を用いて、判定部において、端点間距離が閾値以下の場合にさらに実施される判定例を示す模式図である。さらに、
図11(a)と
図11(b)はそれぞれ、
図9(b)と
図9(c)を用いて、判定部において、端点間距離が閾値以下の場合にさらに実施される判定例を示す模式図である。
【0100】
図9(a)乃至
図9(c)において、相互に分離するひび割れC1、C2の端点P1,P2の端点間距離t1、ひび割れC3、C4の端点P3,P4の端点間距離t2、ひび割れC5、C6の端点P5,P6の端点間距離t3はいずれも、設定されている閾値以下であるものとする。
【0101】
図9(a)において、ひび割れC1、C2のそれぞれの端点近傍(例えば、端点P1,P2から5ピクセル程度ひび割れの内側から端点P1,P2の範囲)のベクトルV1,V2は、相互に平行もしくは略平行(平行から30度乃至45度程度ずれている)であって、端点P1,P2同士が相互に交わる可能性のある方向に延設していると外見上は判断できる。そこで、同一ラベルのひび割れであるか否かの判定方法として、一方のひび割れの端点に無端状の輪郭範囲を設定し、この設定された無端状の輪郭範囲に他方のひび割れの端点が入る場合に双方のひび割れを同一ラベルのひび割れであると判定し、無端状の輪郭範囲に入らない場合は同一ラベルのひび割れではないと判定する方法を適用する。
【0102】
無端状の輪郭形状を様々に変化させた例を
図10(a)乃至
図10(c)に示す。
図10(a)に示す例は、無端状の輪郭範囲として、所定長さr1の一辺を備える正三角形(正多角形の一例)を適用した例であり、
図10(b)は、無端状の輪郭範囲として、所定長さr1の一辺を備える正方形(正多角形の一例)を適用した例であり、
図10(c)は、無端状の輪郭範囲として、所定長さr1の直径を備える円形を適用した例である。
【0103】
無端状の輪郭範囲を規定する所定長さr1の設定は、過去のひび割れ検出方法における実績に基づき、相互に分離していても同一ラベルのひび割れであると判定できるひび割れの端点間距離から設定でき、例えば閾値と同値に設定することもできる。
【0104】
図10(a)においては、正三角形の頂点を一方のひび割れC1の端点P1に位置決めし、一方のひび割れC1の端点P1から端点近傍のベクトルV1を延ばした仮想延長線と正三角形の底辺の中点が交差するように正三角形を設定することにより、この正三角形はベクトルV1の延長線を中心に左右30度範囲を輪郭範囲A1とする。
図10(a)では、正三角形の輪郭範囲A1に他方のひび割れC2の端点P2が入ることから、ひび割れC1、C2を同一ラベルのひび割れであると判定できる。
【0105】
一方、
図10(b)においては、正方形の一つの隅角部を一方のひび割れC1の端点P1に位置決めし、一方のひび割れC1の端点P1から端点近傍のベクトルV1を延ばした仮想延長線上に正方形の上記一つの隅角部と対角位置にある他の隅角部を位置決めして正方形を設定することにより、この正三角形はベクトルV1の延長線を中心に左右45度範囲を輪郭範囲A2とする。
図10(b)では、正方形の輪郭範囲A2に他方のひび割れC2の端点P2が入ることから、ひび割れC1、C2を同一ラベルのひび割れであると判定できる。
【0106】
さらに、
図10(c)においては、円形の円周上の一点を一方のひび割れC1の端点P1に位置決めし、一方のひび割れC1の端点P1から端点近傍のベクトルV1を延ばした仮想延長線上に円形の上記一点と直径の両端位置関係にある他点を位置決めして円形を設定することにより、輪郭範囲A3の円形をベクトルV1の延長線方向に設定できる。
図10(c)では、円形の輪郭範囲A3に他方のひび割れC2の端点P2が入ることから、ひび割れC1、C2を同一ラベルのひび割れであると判定できる。
【0107】
尚、無端状の輪郭範囲は、正方形や正三角形以外の多角形でもよく、円形の他に、楕円形等であってもよいが、正方形や正三角形が多角形の中でも輪郭範囲を明確に規定し易いこと、円形も図示例のようにベクトル方向に配設できてその半径や直径の設定によって輪郭範囲を明確に規定し易いことから、図示例の図形が好ましい。
【0108】
また、一方のひび割れの端点に無端状の輪郭範囲を設定した際に他方のひび割れの端点が入らない場合には、逆のケースとして、他方のひび割れの端点に無端状の輪郭範囲を設定し、一方のひび割れの端点が入るか否かを照査し、入る場合は、双方のひび割れを同一ラベルのひび割れであると判定し、入らない場合(いずれのケースともに無端状の輪郭範囲に隣接するひび割れの端点が入らない場合)は、双方のひび割れを同一ラベルのひび割れでないと判定することができる。
【0109】
一方、
図11(a)は、
図9(b)のモデルに対して正三角形の輪郭範囲を規定した場合を示しており、
図11(b)は、
図9(c)のモデルに対して円形の輪郭範囲を規定した場合を示している。
【0110】
図11(a)、
図11(b)はそれぞれ、一方のひび割れC3,C5の端点P3,P5に設定された正三角形と円形の輪郭範囲A1,A3に、他方のひび割れC4,C6の端点P4,P6が入らないこと、その逆のケースである、他方のひび割れC4,C6の端点P4,P6に設定された正三角形と円形の輪郭範囲A1,A3に、一方のひび割れC3,C5の端点P3,P5が入らないことから、ひび割れC3,C4、ひび割れC5,C6ともに、同一ラベルのひび割れではないと判定する。
【0111】
このように、判定工程において、詳細判定にて同一ラベルのひび割れか否かを判定することにより、より一層高い精度でセグメンテーション画像を作成することが可能になる。
【0112】
図4に戻り、ステップS710において、出力部516にて各種画像の出力を行う(出力工程)。ここで、
図12は、出力部516により出力された、ピクセル単位でのひび割れ画像を示す写真図であり、
図13は、出力部516により出力された、セグメンテーション画像を示す写真図である。
【0113】
図12のひび割れ画像に対して、セグメンテーション画像作成工程を経て、一部の相互に分離しているひび割れが同一ラベルのひび割れと判定され、セグメンテーション化されることにより、
図13に示すように、ひび割れ幅(最大ひび割れ幅)が0.1mmと0.2mmの二本の同一ラベルのひび割れがセグメンテーション画像において形成されている。
【0114】
図13に示すように、セグメンテーション画像では、セグメンテーション化されたひび割れを含めて、例えば全てのひび割れの近傍にひび割れ幅(最大ひび割れ幅)を付記しておくことにより、コンクリート表面における各ひび割れの分布状況と各ひび割れの損傷状況を一画面で確認することができる。
【0115】
出力工程では、解析者の選択により、コンピュータ画面に対して、ひび割れ画像とセグメンテーション画像のいずれか一方の出力と、双方の出力を実行できる。
【0116】
図示するひび割れ検出方法によれば、ピクセル単位での高精度なひび割れの検出及び出力に加えて、物理的に端点同士が離れているひび割れであっても、本来的には連続したひび割れであると判定できる関係のひび割れを同一ラベルのひび割れとして検出及び出力することができる。
図4に示すひび割れ検出方法は、ひび割れ検出装置300において実行される一連の処理フローでもあるが、この一連の処理フローを含むプログラムがコンピュータにインストールされることにより、ひび割れ検出装置300が形成されてもよい。
【0117】
[検証実験とその結果]
本発明者等は、セグメンテーション画像により特定された、ひび割れ幅の精度を検証する検証実験を行った。この検証実験では、
図14に示すコンクリート表面(試験体1)、
図15に示すコンクリート表面(試験体2)のそれぞれ番号1~3のひび割れに関してセグメンテーション化を図り、番号1~3に対応するひび割れの最大ひび割れ幅に関し、ひび割れ幅の大きい上位20%のひび割れを削除した後の最大ひび割れ幅、ひび割れ幅の大きい上位10%のひび割れを削除した後の最大ひび割れ幅、及び削除なしの最大ひび割れ幅を特定するとともに、それらとの比較として、観測者により各ひび割れのひび割れ幅を実測した。
【0118】
検証実験結果を表1に示すとともに、
図16と
図17にはそれぞれ、試験体1,2のそれぞれのセグメンテーション画像において、ひび割れ幅の大きい上位10%のひび割れを削除した後の最大ひび割れ幅を付記した出力例を示している。尚、
図16と
図17では、ひび割れの横に、ひび割れ番号とひび割れ幅(最大ひび割れ幅)をセットとして付記している(例えば、52:0.44なる付記は、ひび割れ番号52のひび割れのひび割れ幅が0.44mmであることを示す)。
【0119】
【0120】
表1より、観測者によるひび割れ幅の実測値に対して、削除なしの場合のひび割れ幅は最も誤差が大きく、大きめのひび割れ幅となること、上位10%削除の場合に、実測値に最も近接したひび割れ幅が得られることが実証されている。
【0121】
この検証実験結果に基づき、セグメンテーション画像に付記する各ひび割れのひび割れ幅は、上位10%削除後の最大ひび割れ幅とするのが好ましいことが実証されている。
【0122】
以上、本発明の実施の形態を、図面を用いて詳述してきたが、具体的な構成はこの実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲における設計変更等があっても、それらは本発明に含まれるものである。
【符号の説明】
【0123】
100:撮像装置
200:ネットワーク
300:ひび割れ検出装置
301:データ収集部
302:データ処理部
303:データ格納部
504:入力画像作成部
506:ウェーブレット画像作成部
508:ウェーブレット係数テーブル作成部
510:二値化画像作成部
512:ひび割れ画像作成部
514:セグメンテーション画像作成部
516:出力部
520:端点間距離特定部
522:判定部
530:機械学習部
532:描画部
1000:ひび割れ検出システム
C1~C6:ひび割れ
P1~P6:端点
t1~t3:端点間距離
V1~V6:端点近傍のベクトル
A1~A3:輪郭範囲(無端状の輪郭範囲)
r1:所定長さ