【文献】
永見 武司、外11名,“道路構造物ひび割れモニタリングシステムの研究開発”,第22回 画像センシングシンポジウム SSII2016,日本,画像センシング技術研究会,2016年 6月 8日,pp.1-6
【文献】
長浦 一哉、市橋 秀友,“カメラ画像を用いたFCM識別器による駐輪場の空き判定”,第53回 システム制御情報学会 研究発表講演会講演論文集,日本,システム制御情報学会,2009年 5月20日,pp.589-590
(58)【調査した分野】(Int.Cl.,DB名)
上記ブロック画像において所定の下限値未満の画素値を有する画素群について、コントラストが大きくなるように画素値を調整する画像調整部を備えていることを特徴とする請求項1に記載のひび割れ検出処理装置。
上記ひび割れ検出部は、上記ひび有無判定部がひび割れありと判定したブロック画像が所定数以上隣接した領域をひび割れ箇所として検出することを特徴とする請求項1から3の何れか1項に記載のひび割れ検出処理装置。
請求項1に記載のひび割れ検出処理装置としてコンピュータを機能させるためのひび割れ検出処理プログラムであって、上記ひび有無判定部および上記ひび割れ検出部としてコンピュータを機能させるためのひび割れ検出処理プログラム。
【発明を実施するための形態】
【0013】
〔実施形態1〕
本発明の一実施形態について
図1から
図16に基づいて説明する。
【0014】
〔装置構成〕
本実施形態に係る情報処理装置の構成を
図1に基づいて説明する。
図1は、情報処理装置1の要部構成の一例を示すブロック図である。情報処理装置1は、走行中の路面性状測定車から路面を撮影した路面画像を解析して当該路面のひび割れを検出する機能を備えたひび割れ検出処理装置である。情報処理装置1は、例えばパーソナルコンピュータ等であってもよい。
【0015】
情報処理装置1は、情報処理装置1の各部を統括して制御する制御部2、情報処理装置1が使用する各種データを格納する記憶部3、情報処理装置1に対するユーザの入力操作を受け付ける入力部4、およびデータを出力する出力部5を備えている。また、制御部2には、画像取得部21、画像調整部22、伸縮装置判定部23、レーンマーク有無判定部24、レーンマークパターン判定部25、寄与度決定部26、ひび割れ強調部27、ひび有無判定部28、およびひび割れ検出部29が含まれている。そして、記憶部3には、走行中の路面性状測定車から撮影した路面の画像である路面画像31が格納されている。
【0016】
画像取得部21は、ひび割れの有無の検出対象である路面画像31を取得する。より詳細には、画像取得部21は、ひび割れの検出対象となる所定区間の路面を撮影した路面画像31を取得する。
【0017】
画像調整部22は、路面画像31に対して画像処理を施し、ひび割れの有無の識別を容易にする。詳細は後述するが、画像調整部22は、路面画像31を分割したブロック画像において所定の下限値未満の画素値を有する画素群について、コントラストが大きくなるように画素値を調整する処理を行う。また、画像調整部22は、画素値の平均が所定値付近になるように、ブロック画像全体の輝度を調整する処理も行う。
【0018】
伸縮装置判定部23は、路面画像31を分割したメッシュ画像(所定数の隣接するブロック画像からなる画像)に伸縮装置が写り込んでいるか否かを判定する。また、レーンマーク有無判定部24は、メッシュ画像にレーンマークが写り込んでいるか否かを判定する。そして、レーンマークパターン判定部25は、レーンマークが写り込んでいるメッシュ画像について、そのレーンマークの写り込み方のパターンが、所定の複数のパターンの何れに該当するかを判定する。
【0019】
寄与度決定部26は、各メッシュ画像について、ひび割れ検出部29によるひび割れ検出結果に乗じる寄与度を決定する。具体的には、寄与度決定部26は、全面が路面であるメッシュ画像の寄与度は100(%)とし、伸縮装置が写り込む等により路面が写っていないメッシュ画像の寄与度は0とする。さらに、路面性状測定車等の車両の走行レーンと、その走行レーン外の路面(隣接する走行レーンの路面または路肩の路面)とを区切るレーンマークが写り込んでいるメッシュ画像については、レーンマークの位置および写り込みの程度に応じて、当該メッシュ画像の走行レーンに対する寄与度を決定する。
【0020】
ひび割れ強調部27は、各メッシュ画像に対し、画素値を部分的に拡大する画像処理を施す。これにより、画像内のひび割れ部分(黒く見える部分)が強調される。
【0021】
ひび有無判定部28は、ブロック画像のそれぞれについてひび割れが写っているか否かを判定する。この判定は、ひび割れの箇所が既知の路面画像を所定単位で分割したブロック画像を用いて、ブロック画像におけるひび割れの有無を識別するように機械学習された識別器により行う。
【0022】
ひび割れ検出部29は、ひび有無判定部28が、ひび割れが写っていると判定したブロック画像からなる画像領域をひび割れ箇所として検出する。また、ひび割れ検出部29は、走行レーンごとのひび割れの程度を示す指標値を、任意の規定調査区間に対して算出する。算出する指標値は、ひび割れの程度を示すものであれば特に限定されず、例えばひび割れの本数やひび割れ率であってもよい。ひび割れ率の算出例は
図13に基づいて後述する。
【0023】
〔路面画像について〕
路面画像31の詳細を
図2に基づいて説明する。
図2は、路面画像31の撮影方法と、路面画像31の例を示す図である。
図2の(a)に示すように、路面性状測定車の走行方向(同図の右方向)の後方側端部には撮影装置が、その撮影方向が路面と垂直となるように取り付けられている。この撮影装置は、例えばラインスキャンカメラであってもよい。ラインスキャンカメラは、例えば1ピクセルが1mmに相当する画質で路面をモノクロ撮影できるものであってもよく、これによりひび割れの検出に十分な画質の路面画像を得ることができる。
【0024】
ラインスキャンカメラによって走行中の路面性状測定車から撮影することにより、例えば
図2の(b)〜(d)のような路面画像が得られる。(b)〜(d)に示すように、路面画像には少なくとも1つの車線が含まれていることが好ましい。路面画像には、ひび割れの検出対象となる路面の他にも様々なものが写り込む。例えば、
図2の(b)の路面画像には、路面に描かれた文字A1、A2、および車線の境界を示すレーンマークA3、A4が写り込んでいる。図示のように、上記のようにして撮影した路面画像31には、路面性状測定車の進行方向と平行にレーンマークA3、A4が写り込む。このため、路面画像31を複数の矩形のメッシュに分割した場合、あるメッシュにレーンマークA3またはA4が写り込んでいたとすると、そのメッシュに対し、路面性状測定車の進行方向に隣接するメッシュにもレーンマークA3またはA4が写り込むことになる。
【0025】
また、
図2の(c)の路面画像には、橋梁の端部に設けられた伸縮装置A5が写り込んでいる。図示のように、上記のようにして撮影した路面画像31には、路面性状測定車の進行方向と垂直に伸縮装置A5が写り込む。このため、路面画像31を複数の矩形のメッシュに分割した場合、あるメッシュに伸縮装置A5が写り込んでいたとすると、そのメッシュに対し、路面性状測定車の進行方向と垂直な方向に隣接するメッシュにも伸縮装置A5が写り込むことになる。そして、
図2の(d)の路面画像には、道路標識などの影A6、A7が写り込んでいる。これらは何れもひび割れの自動検出の障害となるものである。
【0026】
〔処理の流れ(全体)〕
ひび割れを検出する処理の流れを
図3に基づいて説明する。
図3は、路面画像31を取得してひび割れを検出する処理(情報処理方法)の一例を示すフローチャートである。なお、本処理の前に、上述のようにして撮影された路面画像が入力部4を介して情報処理装置1に入力され、記憶部3に路面画像31として格納されている。
【0027】
まず、画像取得部21は、記憶部3から路面画像31を取得する(S1)。次に、画像調整部22は、S1で取得された路面画像に対して画像調整処理を行う(S2)。詳細は
図4から
図6に基づいて後述するが、画像調整処理によって路面画像31の明るさとコントラストが調整され、路面画像31に写り込んだ影(
図2の(d)のA6、A7参照)がひび割れ検出に与える影響を軽減または除外することができる。
【0028】
次に、寄与度決定部26等により、寄与度決定処理が行われる(S3)。詳細は
図7および
図8に基づいて後述するが、寄与度決定処理によって、レーンマーク(
図2の(b)のA3、A4参照)や伸縮装置(
図2の(c)のA5参照)を含む画像部分については、路面のみを含む画像部分よりも低い寄与度が決定される。そして、この寄与度に基づいてひび割れ検出を行うことにより、レーンマークや伸縮装置がひび割れ検出に与える影響を軽減または除外することができる。
【0029】
最後に、ひび有無判定部28、ひび割れ検出部29等により、ひび割れ検出処理が行われる(S4)。詳細は
図9以降で説明するが、ひび割れ検出処理により、路面画像31におけるひび割れ箇所が検出される。
【0030】
〔画像調整処理の流れ〕
図3のS2で行われる画像調整処理の詳細を
図4から
図6に基づいて説明する。
図4は、画像調整処理の一例を示すフローチャートである。
図5は、
図4の各ステップで使用または出力される画像の例を示す図である。
図6は、コントラストの調整方法を示す図である。
【0031】
図4のS11では、画像調整部22は、路面画像31から所定のブロック単位で画像を切り出す。切り出した画像をブロック画像と呼ぶ。なお、ブロックのサイズは、画像調整に求められる精度に応じて適宜設定すればよく、例えば、1ブロックを50×50ピクセルのサイズとしてもよい。S11の処理により、
図5の(a)に示すような路面画像31から、同図の(b)に示すようなブロック画像が切り出される。なお、
図5の(b)には、311A〜311Dの4つのブロック画像を示しているが、これらは全ブロック画像の一部である。また、同図の(b)は、各ブロック画像を見やすくするために、同図の(a)よりも縮尺を大きくしている。
【0032】
S12では、画像調整部22については、S11で切り出したブロック画像における画素値の平均を計算する。なお、S12の処理では、白色のレーンマークに対応する画素のように高輝度の画素は平均の算出対象から除くことが好ましい。
【0033】
S13では、画像調整部22は、S12で計算した平均値が閾値未満であるか否かを判定する。そして、閾値未満であれば(S13でYES)、この後S14〜S17の処理が行われ、コントラスト調整がなされる。一方、閾値以上であれば(S13でNO)S14〜S17の処理は行わずにS18の処理に進む。
【0034】
影の部分はそれ以外の部分よりも画素値が小さいため、影の部分を含むブロック画像では、影の部分を含まないブロック画像よりも平均の画素値が低くなる。このため、S13でYESと判定されたブロック画像は影の部分を含む可能性が高く、それゆえこのようなブロック画像についてはS14〜S16でコントラスト調整がなされる。つまり、S13は、ブロック画像についてコントラストの調整の要否を判定する処理であると言える。S13の閾値は、コントラストの調整の要否を区分できるような値とすればよく、例えば50としてもよい。
【0035】
S14では、画像調整部22は、ブロック画像の画素値のヒストグラムを計算(作成)する。続くS15では、画像調整部22は、S14で作成したヒストグラムを用いてコントラスト調整を行う画素値の範囲を決定し、またS16では、S15で決定した範囲についてコントラスト調整を行う。そして、S17では、画像調整部22は、コントラスト調整後のブロック画像について画素値の平均を再計算し、この後処理はS13に戻る。
【0036】
上記S15では、例えば調整範囲の下限を0としてもよい。また、調整範囲の上限ENは、ヒストグラムの値が所定値(例えば30)以下となる画素値を0から順番に探索することにより決定してもよい。
【0037】
そして、S16では、
図6に示す方法によりコントラストを調整してもよい。
図6の例では、ブロック画像を構成するピクセルの画素値のうち、S15で決定した調整範囲(0からEN)の画素値を、0から255の範囲に拡大(引き伸ばし)している。また、調整範囲外(ENより大きい)の画素値については、一律で255に調整している。これにより、調整範囲内の画素値を有するピクセルにおけるコントラストを強調することができる。
【0038】
S18では、画像調整部22は、画素値の平均が所定値付近になるように、ブロック画像全体の輝度を調整する。つまり、S18では明るさが調整される。なお、上記所定値は、ひび割れの識別性に影響がないか、影響が少ない値であればよく、例えば100としてもよい。
【0039】
S19では、画像調整部22は、明るさ・コントラスト調整後のブロック画像、すなわちS18の処理が終了した後のブロック画像を保存する。例えば、
図5の例では、同図の(b)において、コントラストが不鮮明で暗いブロック画像311Aが、S18の処理が終了した後には、同図の(c)に示すように、明るく、かつコントラストが鮮明な画像312Aとなっている。
【0040】
S20では、画像調整部22は、全てのブロックについて処理が終了したか否かを判定する。終了していないブロックがあれば(S20でNO)、処理はS11に戻る。つまり、S11からS19の処理は、ブロックの数と同じ回数ループする。全てのブロックについて処理が終了すると(S20でYES)、処理はS21に進む。
【0041】
S21では、画像調整部22は、明るさ・コントラスト調整後のブロック画像、すなわちS19で保存したブロック画像を読み出し、連結して保存する。
図5の例では、同図の(d)に示すような明るさ・コントラスト調整後のブロック画像312A〜312Dが連結されて、同図の(e)の路面画像が生成されている。この路面画像では、同図の(a)の路面画像31に写り込んでいた影の部分が消えており、これにより影で覆われた部分についてもひび割れを検出しやすくなっている。
【0042】
〔寄与度決定処理の流れ〕
図3のS3で行われる寄与度決定処理の詳細を
図7および
図8に基づいて説明する。
図7は、寄与度決定処理の一例を示すフローチャートである。
図8は、レーンマークの写り込みのパターンに応じた寄与度の設定例を示す図である。
【0043】
図7のS31では、寄与度決定部26は、画像調整部22が明るさ・コントラスト調整した路面画像(
図5の(e)参照)からメッシュ画像を切り出す。ひび割れの有無の判定は、このメッシュ画像単位で行われる。メッシュ画像のサイズは適宜設定すればよく、例えば、1つのメッシュ画像を500×500ピクセルのサイズとしてもよい。この場合、1mmが1ピクセルの路面画像31を用いていれば、1つのメッシュ画像は50cm四方の路面に対応する画像となる。
【0044】
また、寄与度決定部26は、各メッシュ画像について、そのメッシュ画像が路面画像の何れの部分から切り出されたものであるかを示す位置情報を記録しておく。例えば、路面画像を格子状に分割してメッシュ画像を切り出した場合、位置情報は格子における行と列との組み合わせとしてもよく、この組み合わせを当該メッシュ画像のファイル名とすることにより位置情報を記録してもよい。この他、画像番号や、走行路線、撮影車線等を示す情報についても併せて記録してもよい。
【0045】
S32では、伸縮装置判定部23が、当該メッシュ画像に伸縮装置が写り込んでいるか否かを判定する。写り込んでいると判定した場合(S32でYES)、処理はS33に進み、写り込んでいないと判定した場合(S32でNO)、処理はS35に進む。
【0046】
S33では、寄与度決定部26は、メッシュ画像(S32で伸縮装置が写り込んでいると判定されたもの)の寄与度を0に決定し、続くS34で当該決定した寄与度をひび割れ検出部29に出力して寄与度決定処理を終了する。なお、
図7では切り出したメッシュ画像の1つについて寄与度を決定する処理を示しているが、各メッシュ画像について寄与度の決定は行われ、全てのメッシュ画像の寄与度が決定された時点で寄与度決定処理は終了する。
【0047】
S35では、寄与度決定部26は、メッシュ画像の切り出し位置が画像中央部であるか否かを判定する。例えば、路面画像の上端から2列、および下端から2列の範囲から切り出されたメッシュ画像であれば、切り出し位置は画像中央部ではないと判定し、それ以外の範囲から切り出されたメッシュ画像であれば、切り出し位置は画像中央部であると判定してもよい。なお、画像中央部は、レーンの中央部を撮影したものであるから、画像中央部にレーンマークが写り込むことはない。一方、画像の端部(より詳細には上端部または下端部)は、レーンの端部付近を撮影したものであるから、画像の端部にはレーンマークが写り込む可能性がある。それゆえS35では、メッシュ画像にレーンマークが写り込んでいる可能性がないかあるかを判定していると言える。
【0048】
S35で画像中央部であると判定した場合(S35でYES)、処理はS36に進み、寄与度決定部26は、当該メッシュ画像の寄与度を100(%)に決定する。画像中央部から切り出されたメッシュ画像には、路面のみが写っている可能性が高いためである。この後、処理はS34に進む。
【0049】
一方、S35で画像中央部ではないと判定した場合(S35でNO)、処理はS37に進む。S37では、レーンマーク有無判定部24が、当該メッシュ画像にレーンマークが写り込んでいるか否かを判定する。ここで写り込んでいると判定した場合(S37でYES)、S38の処理に進み、写り込んでいないと判定した場合(S37でNO)、S41の処理に進む。S41では、寄与度決定部26が当該メッシュ画像の寄与度を100(%)に仮決定し、S40の処理に進む。
【0050】
S38では、レーンマークパターン判定部25が、写り込んでいるレーンマークのパターンが、所定のパターンの何れに該当するかを判定する。所定のパターンは、レーンマークの写り込み位置(および写り込みの程度)に応じて複数設定しておけばよい。例えば、
図8の例では、パターンNo.1〜5の5つのパターンを予め設定している。これらのパターンのうち、No.1と2はメッシュ画像の上側にレーンマークが写り込んだパターンであり、No.3は中央部に、No.4と5は下側にレーンマークが写り込んだパターンである。なお、パターンNo.0は、レーンマークが写り込んでいないパターンであり、このパターンに該当するメッシュ画像はS37でNOと判定される。
【0051】
S39では、寄与度決定部26は、当該メッシュ画像の寄与度を、S38で判定されたパターンに応じた値に仮決定する。つまり、レーンマークの写り込みのパターンに応じて寄与度を予め設定しておく。
【0052】
例えば、
図8の例におけるNo.1のパターンでは、メッシュ画像の上部の領域がレーンマークで占められており、このメッシュ画像における路面部分はレーンマークの下側の領域であり、この領域の面積はメッシュ画像全体の75%程度である。このため、No.1のパターンに該当するメッシュ画像が、検査対象の車線の左側(路面性状測定車の進行方向に向かって左側)に検出された場合における、そのメッシュ画像の検査対象の車線への寄与度を75(%)に設定している。また、
図8の例では、No.1のパターンに該当するメッシュ画像が、検査対象の車線の右側(路面性状測定車の進行方向に向かって右側)に検出された場合の寄与度を0に設定している。
【0053】
No.2のパターンでは、メッシュ画像の上部の領域がレーンマークで占められており、このメッシュ画像における路面部分はレーンマークの下側の領域であり、この領域の面積はメッシュ画像全体の50%程度である。このため、No.2のパターンに該当するメッシュ画像が、検査対象の車線の左側に検出された場合の寄与度を50(%)に設定し、No.2のパターンに該当するメッシュ画像が、検査対象の車線の右側に検出された場合の寄与度を0に設定している。
【0054】
No.3のパターンでは、メッシュ画像の中央部の領域がレーンマークで占められており、このメッシュ画像における路面部分はレーンマークの上側および下側の領域であり、これらの領域の面積はそれぞれメッシュ画像全体の25%程度である。このため、No.3のパターンに該当するメッシュ画像については、検査対象の車線の左右何れの側に検出された場合についても寄与度を25(%)に設定している。
【0055】
No.4のパターンでは、メッシュ画像の下部の領域がレーンマークで占められており、このメッシュ画像における路面部分はレーンマークの上側の領域であり、この領域の面積はメッシュ画像全体の50%程度である。このため、No.4のパターンに該当するメッシュ画像が、検査対象の車線の左側に検出された場合の寄与度を0に設定し、No.4のパターンに該当するメッシュ画像が、検査対象の車線の右側に検出された場合の寄与度を50(%)に設定している。
【0056】
No.5のパターンでは、メッシュ画像の下部の領域がレーンマークで占められており、このメッシュ画像における路面部分はレーンマークの上側の領域であり、この領域の面積はメッシュ画像全体の75%程度である。このため、No.5のパターンに該当するメッシュ画像が、検査対象の車線の左側に検出された場合の寄与度を0に設定し、No.5のパターンに該当するメッシュ画像が、検査対象の車線の右側に検出された場合の寄与度を75(%)に設定している。
【0057】
S40では、寄与度決定部26は、当該メッシュ画像についてS39またはS41で仮決定した寄与度を修正し、この後処理はS34に進む。S40では、レーンマークパターンの判定結果、車線、およびメッシュ位置から寄与度を算出する。具体的には、寄与度決定部26は、破線レーンマーク列を検索して寄与度を修正してもよいし、直線レーンマーク列を検索して寄与度を修正してもよく、これらの両方を行ってもよい。
【0058】
ここで直線レーンマーク列を検索して寄与度を修正する方法について説明する。例えば、
図8のメッシュ画像M1に写り込んでいるレーンマークは、検査対象車線の端部に、基本的に途切れることなく描かれている直線レーンマークである。このような直線レーンマークが、あるメッシュ画像に写り込んでいた場合、これに左右に隣接する(路面性状測定車の走行方向に隣接する)メッシュ画像についても、同様のパターンで直線レーンマークが写り込んでいる可能性が高い。
【0059】
そこで、S40では、格子状に並ぶメッシュ画像のうち、直線レーンマークが写り込んでいるメッシュ画像の列を特定し、その列に含まれる各メッシュ画像の寄与度を統一してもよい。例えば、
図8のメッシュ画像M1は、寄与度が75(%)であるから、メッシュ画像M1と同じ列に位置する各メッシュ画像の寄与度を全て75(%)としてもよい。
【0060】
続いて、破線レーンマーク列を検索して寄与度を修正する方法について説明する。例えば、
図8のメッシュ画像M2に写り込んでいるレーンマークは、検査対象車線の端部に途切れ途切れの直線状に描かれている破線レーンマークである。破線レーンマークが、あるメッシュ画像に写り込んでいた場合、これに左右に隣接するメッシュ画像についても、破線レーンマークが写り込んでいるメッシュ画像と寄与度を同じに設定することが好ましい。
【0061】
そこで、S40では、格子状に並ぶメッシュ画像のうち、破線レーンマークが写り込んでいるメッシュ画像の列を特定し、その列に含まれる各メッシュ画像の寄与度を統一してもよい。ただし、寄与度は低い方に統一する。例えば、
図8のメッシュ画像M2には、破線レーンマークが写り込んでおり、寄与度が50(%)である。一方、メッシュ画像M3と同じ列に位置するメッシュ画像M3には、破線レーンマークは写り込んでいない。メッシュ画像M3は、破線レーンマークの空白部分に位置しているためである。このようなメッシュ画像M3は、
図7のS37でNOと判定されてS41で寄与度が100(%)に仮設定される。S40では、メッシュ画像M2を含む列が破線レーンマーク列であることを特定して、この破線レーンマーク列に含まれるメッシュ画像M3の寄与度を50(%)に修正してもよい。この列に位置する他のメッシュ画像についても同様である。これにより、破線レーンマークの空白部分に位置するメッシュ画像についても寄与度を適切に設定することができる。
【0062】
〔伸縮装置の有無の判定について〕
伸縮装置の有無の判定は、画像中の伸縮装置の有無を学習させたFCM(ファジイc−平均)識別器によって行ってもよい。この場合、伸縮装置判定部23は、画像中の伸縮装置の有無を学習させたFCM識別器ということになる。このFCM識別器は、伸縮装置が写っている画像と、伸縮装置が写っておらず、路面が写っている画像とを教師データとし、後述する、ひび割れの有無を判定するFCM識別器と同様の要領で構築することができる。
【0063】
〔レーンマークの有無の判定について〕
レーンマークの有無の判定は、画像中のレーンマークの有無を学習させたFCM識別器によって行ってもよい。この場合、レーンマーク有無判定部24は、画像中のレーンマークの有無を学習させたFCM識別器ということになる。このFCM識別器は、レーンマークが写っている画像と、レーンマークが写っておらず、路面が写っている画像とを教師データとし、後述する、ひび割れの有無を判定するFCM識別器と同様の要領で構築することができる。
【0064】
〔レーンマークのパターンの判定について〕
レーンマークのパターンの判定は、画像中のレーンマークのパターンが所定のパターンの何れに該当するかを学習させたFCM識別器によって行ってもよい。この場合、レーンマークパターン判定部25は、画像中のレーンマークのパターンを学習させたFCM識別器ということになる。このFCM識別器は、所定のパターンでレーンマークが写っている画像を教師データとし、後述する、ひび割れの有無を判定するFCM識別器と同様の要領で構築することができる。なお、ひび割れの有無を判定するFCM識別器は、判定結果がひび割れありとなしの2通りであるからクラス数2のFCM識別器となるが、レーンマークのパターンを判定するFCM識別器は、設定したパターンの数に応じたクラス数となる。例えば、
図8の例のように5つのパターンを設定した場合、クラス数は5となる。
【0065】
〔ひび割れ検出処理の流れ〕
図3のS4で行われるひび割れ検出処理の詳細を
図9等に基づいて説明する。
図9は、ひび割れ検出処理の一例を示すフローチャートである。ひび割れ検出処理は、
図3のS2で行われる画像調整処理で明るさ・コントラストが調整された路面画像(
図5の(e)参照)を用いて行われる。
【0066】
S51では、ひび割れ強調部27は、上記路面画像の画素値を調整する。また、S52では、ひび割れ強調部27は、上記調整後の路面画像に対し、画素値を部分的に拡大して、画像内のひび割れ部分(黒く見える部分)を強調する処理を施す。S52では、
図10に示す方法により画素値を部分的に拡大してもよい。
図10は、画素値を部分的に拡大する方法の一例を示す図である。
【0067】
図10の例では、路面画像を構成するピクセルの画素値のうち、画素値が26以上、100未満のピクセルの画素値を、0から1の範囲の値に変換(正規化)している。また、画素値が26未満のピクセルの画素値については一律で0に変換し、画素値が100以上のピクセルの画素値については一律で255に変換している。これにより、画素値が26以上、100未満の画素値を有するピクセルにおけるコントラストを強調し、ひび割れ部分が強調された路面画像とすることができる。なお、0から1の範囲の値に変換するピクセルを決定するための閾値は、上記の例(26と100)に限られず、ひび割れ部分が強調される範囲内で適宜設定すればよい。
【0068】
S52の処理の効果を
図11に基づいて説明する。
図11は、画素値を部分的に拡大する処理前の路面画像の一部と、当該処理後の路面画像の一部とを示す図である。
図11の(a)(c)は、画素値を部分的に拡大する処理前の路面画像の一部を示し、同図の(b)(d)は当該処理後の路面画像の一部を示している。同図の(a)(b)の例では、画素値を部分的に拡大する処理により、ひび割れC1の存在および範囲がより明瞭に認識できるようになっている。同様に、同図の(c)(d)の例では、画素値を部分的に拡大する処理により、ひび割れC2の存在および範囲がより明瞭に認識できるようになっている。
【0069】
S53では、ひび有無判定部28が、上記路面画像をブロック画像に分割する。各ブロック画像のサイズは、メッシュ画像よりも小さく、かつ、ひび割れの検出に支障のない範囲であればよく、例えば50×50ピクセル、あるいは100×100ピクセルのサイズとしてもよい。
【0070】
S54(ひび有無判定ステップ)では、ひび有無判定部28は、各ブロック画像におけるひび割れの有無を判定する。ひび割れの有無の判定方法の詳細は後述する。
【0071】
S55では、ひび割れ検出部29は、S54の判定結果に基づいて各ブロック画像にラベリングする。ラベリングについて
図12に基づいて説明する。
図12は、ブロック画像に対するラベリングの例を示す図である。同図の(a)はラベリング前、同図の(b)はラベリング後のブロック画像を示している。また、同図では、ひび割れありと判定されたブロック画像を色付きで示している。本例におけるラベリングは、ひび割れありと判定されたブロック画像のうち、隣接するブロック画像を1つのグループとして、グループごとに番号を割り振る処理である。なお、本例では、上下左右斜めの8方向の何れかにおいて隣り合うブロック画像を隣接するブロック画像としている。
【0072】
図12の例では、9つのブロック画像からなるグループの各ブロック画像にはグループ番号1が割り振られている。また、3つのブロック画像からなるグループの各ブロック画像にはグループ番号2が割り振られ、2つのブロック画像からなるグループの各ブロック画像にはグループ番号3が割り振られている。
【0073】
S56では、ひび割れ検出部29は、S55のラベリングによって形成されたグループのうち、当該グループを構成するブロック画像の数が閾値未満のグループを削除する。削除されたグループに含まれるブロック画像は、S54でひび割れなしと判定されたブロック画像と同じ扱いとなる。
【0074】
例えば、
図12の例において、閾値を4とした場合、グループ番号2および3のグループを構成する各ブロック画像はひび割れなしのブロック画像として扱われる。そして、グループ番号1のグループを構成する各ブロック画像のみが、ひび割れありのブロック画像として扱われる。検出すべきひび割れは、一般にある程度の長さや幅を有しているので、S56の処理を行うことにより、誤検出の可能性を減らし、検出すべきひび割れを的確に検出することが可能になる。
【0075】
S57(ひび割れ検出ステップ)では、ひび割れ検出部29は、小グループ削除後における各ブロック画像のひび割れ有無の判定結果を用いて、メッシュ画像単位でひび割れの有無を判定する。つまり、ひび割れ検出部29は、S54でひび割れが写っていると判定されたブロック画像からなる画像領域をひび割れ箇所として検出し、各メッシュ画像について、ひび割れ箇所を含むか否かを判定する。そして、この判定結果を保存して、ひび割れ検出処理を終了する。
【0076】
なお、ひび割れ検出部29は、S57において、メッシュ画像単位でひび割れの本数を算出してもよい。また、ひび割れの有無の判定結果を用いてひび割れ率を算出してもよい。この場合、寄与度決定処理で決定した寄与度を乗じることにより、レーンマーク等の写り込んでいる部分が、ひび割れ率に影響を低減するか、または影響を与えないようにすることができる。
【0077】
〔ひび割れ率の算出例〕
ひび割れ率の算出例を
図13に基づいて説明する。
図13は、線状ひび割れと面状ひび割れの例を示す図である。なお、
図13では、500×500ピクセルサイズのメッシュ画像を、50×50ピクセルサイズのブロック画像に分割した例を示している。また、同図では、ひび割れありと判定されたブロックを色付きで示している。
【0078】
ひび割れ率を算出する場合、ひび割れ検出部29は、各メッシュ画像を「線状ひび割れ」、「面状ひび割れ」、および「ひび割れなし」の3グループに分類してもよい。この場合、ひび割れありと判定されたブロック画像を含むメッシュ画像は「線状ひび割れ」または「面状ひび割れ」に分類される。
【0079】
「線状ひび割れ」と「面状ひび割れ」は、例えばひび割れありと判定されたブロックの連結数や、メッシュ画像におけるひび割れありブロックの割合等に基づいて分類すればよい。
図13の(a)では、ひび割れありブロックの連結数が10であるメッシュ画像を線状ひび割れとしている。また、同図の(b)では、ひび割れありブロックの連結数が18(10+8)であるメッシュ画像を面状ひび割れとしている。
【0080】
「面状ひび割れ」のひび割れ率と、「線状ひび割れ」のひび割れ率は、例えば下記の式で算出してもよい。
【0081】
(面状ひび割れ率)=(面状ひび割れのあるメッシュ面積)/(調査面積)
(線状ひび割れ率)={(線状ひび割れのあるメッシュ面積)/(調査面積)}×0.6
なお、上記各式において、メッシュ面積は所定の調査区間における積算値であり、調査面積はその調査区間の総面積である。また、上記メッシュ面積は、寄与度を乗じて算出する。例えば、
図8のメッシュ画像M1は寄与度75(%)であるから、メッシュ画像M1に線状ひび割れが検出された場合、(メッシュ画像M1の面積)×75/100が、メッシュ画像M1における線状ひび割れのあるメッシュ面積となる。
【0082】
〔ひび割れの有無の判定について〕
ひび割れの有無の判定は、画像中のひび割れの有無を学習させたFCM識別器によって行ってもよい。この場合、ひび有無判定部28は、画像中のひび割れの有無を学習させたFCM識別器ということになる。
【0083】
画像中のひび割れの有無を学習させて、ひび割れの有無を判定するFCM識別器を構築する方法を
図14等に基づいて説明する。
図14は、ひび割れの有無を判定するFCM識別器の構築方法の一例を示すフローチャートである。
【0084】
S61では、ひび割れの有無の学習用の路面画像(ひび割れ部分を含む路面画像であればよい)について、画像調整部22が画像調整処理を行う。この処理は
図4に基づいて説明した通りである。
【0085】
S62では、ひび割れ強調部27が、画像調整処理後の路面画像に対して画素値の部分拡大処理を施し、ひび割れ部分を強調した路面画像とする。この処理は、
図9のS53で説明した通りである。
【0086】
S63では、ひび割れの有無をFCM識別器に学習させるための教師データ、すなわち画像と正解(ひび割れがある)か否かを示す情報とを対応付けたデータを作成する。なお、このような情報は例えば画像に対してタグ情報として対応付けてもよい。教師データの作成は、ユーザが情報処理装置1を操作して行う。これについて、
図15に基づいて説明する。
図15は、ひび割れありのブロック画像とひび割れなしのブロック画像とを路面画像から抽出した例を示す図である。
【0087】
図15の(a)は、S62の処理後の路面画像を分割したメッシュ画像を示している。図示のように、このメッシュ画像の中央部分にはひび割れC3が写っている。このメッシュ画像をさらに複数のブロックに分割した状態が同図の(b)である。このようにブロックに分割した場合、各ブロックは、同図の(c)に示すひび割れを含まないブロックA11と、同図の(d)に示すひび割れを含むブロックA12とに分類することができる。
【0088】
そして、ひび割れを含まないブロックA11の画像は、ひび割れを含まないことを示す情報を対応付けて教師データとする。また、ひび割れを含むブロックA12の画像は、ひび割れを含むことを示す情報を対応付けて教師データとする。
【0089】
このようにして作成した教師データについて、反転および回転処理の少なくとも何れかを施すことにより、教師データの数を増やしてもよい。これについて、
図16に基づいて説明する。
図16は、反転・回転処理によって教師データの数を増やした例を示す図である。
【0090】
図示の例では、ひび割れなしの画像(処理前画像)を、反転または回転させることにより、7つの画像を生成している。より詳細には、処理前画像を時計回りに90°、180°、270°回転させた画像と、処理前画像およびこれらの画像を反転させた画像とを生成している。これら7つの画像についても処理前画像と同様にひび割れなしの教師データとすることができる。これにより、教師データの数を8倍にすることができるので、教師データの作成の手間を大幅に軽減することができる。
【0091】
ひび割れありの画像(処理前画像)についても同様であり、反転または回転させることにより、7つの画像を生成している。処理前画像に写っているひび割れC4Aは、反転または回転させることにより、ひび割れC4B〜C4Hとなっている。これら7つの画像についても処理前画像と同様にひび割れありの教師データとすることができる。
【0092】
図14のS64では、FCM識別器に教師データを入力してFCM識別器を構築する。この教師データ(ブロック画像)は、主成分分析により次元圧縮した上で入力してもよい。
図17は、ひび割れなしの画像と、ひび割れありの画像のそれぞれについて、100次元に次元圧縮する前後の状態を示す図である。同図の左側が次元圧縮前、右側が次元圧縮後である。同図の(b)に示すように、次元圧縮前のひび割れあり画像におけるひび割れC5は、次元圧縮後も認識可能である。このように、次元圧縮後もひび割れの特徴が維持されるため、次元圧縮した教師データはひび割れの有無の学習に十分に利用できる。
【0093】
FCM識別器の構築においては、まず、ランダムに選択した教師データを訓練データとしてFCM識別器を構築し、そのFCM識別器を用いて他の教師データのそれぞれについてひび割れの有無を判定する。この判定において、判定結果が誤りであった教師データを訓練データに追加して、FCM識別器を再構築する。これらの判定および再構築の処理を繰り返し、教師データの正解率が100%となった時点で学習を終了する。なお、教師データの内容によっては、正解率が100%にならない場合もあるので、繰り返し回数に上限を設定して、100%に達することなく上限の回数まで繰り返したときに学習を終了してもよい。
【0094】
〔変形例〕
情報処理装置1は、舗装された路面のみならず、ひび割れが発生し得る任意の構造物におけるひび割れの有無の判定に利用することができる。例えば、コンクリート製の橋梁における床版におけるひび割れの有無についても、上記実施形態と同様にして判定することができる。
【0095】
また、情報処理装置1が用いる識別器は、路面のブロック画像にひび割れが写っているか否かを判定できるように、ひび割れの箇所が既知の路面画像から得たブロック画像を用いて機械学習された識別器であればよく、FCM識別器に限られない。例えば、ランダムフォレスト、ニューラルネットワーク、サポートベクターマシンなどのパターン認識手法や、深層学習等を行う識別器を用いることができる。
【0096】
〔ソフトウェアによる実現例〕
情報処理装置1の制御ブロック(特に制御部2に含まれる各部)は、集積回路(ICチップ)等に形成された論理回路(ハードウェア)によって実現してもよいし、CPU(Central Processing Unit)を用いてソフトウェアによって実現してもよい。
【0097】
後者の場合、情報処理装置1は、各機能を実現するソフトウェアであるプログラムの命令を実行するCPU、上記プログラムおよび各種データがコンピュータ(またはCPU)で読み取り可能に記録されたROM(Read Only Memory)または記憶装置(これらを「記録媒体」と称する)、上記プログラムを展開するRAM(Random Access Memory)などを備えている。そして、コンピュータ(またはCPU)が上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記記録媒体としては、「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体(通信ネットワークや放送波等)を介して上記コンピュータに供給されてもよい。なお、本発明の一態様は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
【0098】
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【0099】
〔まとめ〕
本発明の一態様に係るひび割れ検出処理装置(情報処理装置1)は、走行中の路面性状測定車から路面を撮影した路面画像を解析して当該路面のひび割れを検出するひび割れ検出処理装置であって、上記路面画像を所定単位で分割した、各々が複数画素からなるブロック画像のそれぞれについてひび割れが写っているか否かを、ひび割れの箇所が既知の路面画像を上記所定単位で分割したブロック画像を用いて、ブロック画像におけるひび割れの有無を識別するように機械学習された識別器により判定するひび有無判定部(28)と、上記ひび有無判定部が、ひび割れが写っていると判定したブロック画像からなる画像領域をひび割れ箇所として検出するひび割れ検出部(29)と、を備えている。
【0100】
上記の構成によれば、複数画素からなるブロック画像単位でひび割れの有無を検出するので、識別器の学習が、首記の非特許文献1における、1画素単位での学習と比較して簡易となる。よって、簡易な処理でひび割れを自動検出することができるという効果を奏する。
【0101】
上記ひび割れ検出処理装置は、上記ブロック画像において所定の下限値未満の画素値を有する画素群について、コントラストが大きくなるように画素値を調整する画像調整部を備えていてもよい。
【0102】
路面上における影で覆われた領域は画素値およびコントラストが低く、このような領域内のひび割れは一般に検出が困難であるが、上記の構成によれば、このような領域のコントラストを大きくすることができる。よって、上記の構成によれば、影で覆われた領域内のひび割れについても高精度に検出することが可能になる。
【0103】
上記ひび割れ検出処理装置は、隣接する所定数の上記ブロック画像からなるメッシュ画像のうち、車両の走行レーンを区切るレーンマークが写っているメッシュ画像について、当該メッシュ画像における上記レーンマークの位置および写り込みの程度に応じて、当該メッシュ画像の各走行レーンに対する寄与度を決定する寄与度決定部(26)を備え、上記ひび割れ検出部は、上記走行レーンごとのひび割れの程度を示す指標値を、上記メッシュ画像単位で上記寄与度に応じて算出してもよい。
【0104】
上記の構成によれば、レーンマーク付近の路面におけるひび割れの程度を、走行レーンごとに正確に評価することができる。
【0105】
上記識別器は、ファジイc−平均識別器であってもよい。この構成によれば、ひび割れの有無を高精度に判定することができる。
【0106】
上記ひび割れ検出部は、上記ひび有無判定部がひび割れありと判定したブロック画像が所定数以上隣接した領域をひび割れ箇所として検出してもよい。一般に、ひび割れはある程度の長さや幅を有しているので、上記の構成によれば、誤検出の可能性を減らし、検出すべきひび割れを的確に検出することが可能になる。
【0107】
本発明の一態様に係るひび割れ検出処理方法は、走行中の路面性状測定車から路面を撮影した路面画像を解析して当該路面のひび割れを検出するひび割れ検出処理装置によるひび割れ検出処理方法であって、上記路面画像を所定単位で分割した、各々が複数画素からなるブロック画像のそれぞれについてひび割れが写っているか否かを、ひび割れの箇所が既知の路面画像を上記所定単位で分割したブロック画像を用いて、ブロック画像におけるひび割れの有無を識別するように機械学習された識別器により判定するひび有無判定ステップと、上記ひび有無判定ステップでひび割れが写っていると判定したブロック画像からなる画像領域をひび割れ箇所として検出するひび割れ検出ステップと、を含む。この情報処理方法によれば、上記ひび割れ検出処理装置と同様の作用効果を奏する。
【0108】
上述のひび割れ検出処理装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記ひび割れ検出処理装置が備える各部(ソフトウェア要素)として動作させることにより上記情報処理装置をコンピュータにて実現させるひび割れ検出処理プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。
【解決手段】情報処理装置(1)は、路面画像(31)を所定単位で分割した、各々が複数画素からなるブロック画像のそれぞれについてひび割れが写っているか否かをFCM識別器により判定するひび有無判定部(28)と、ひび割れが写っていると判定されたブロック画像からなる画像領域をひび割れ箇所として検出するひび割れ検出部(29)と、を備えている。