【文献】
矢野 光一,道路損傷の認識率向上のための影除去処理に関する検討,電子情報通信学会技術研究報告,日本,一般社団法人電子情報通信学会,2017年 2月28日,Vol.116 No.502,p.7−p.12
(58)【調査した分野】(Int.Cl.,DB名)
前記画像特徴強調処理部は、全検出窓のうち検出窓内の代表輝度値が外れ値の検出窓がある場合、前記外れ値の検出窓を除いた残りの検出窓内の輝度値を用いて最高代表輝度値と最低代表輝度値とを算出する、
請求項4に記載の画像特徴強調装置。
【発明を実施するための形態】
【0007】
以下、実施形態の画像特徴強調装置、路面特徴解析装置、画像特徴強調方法及び路面特徴解析方法を、図面を参照して説明する。
図1は、道路維持管理システム100の概要を示す概略図である。
道路維持管理システム100は、道路管理者に対して、道路の補修や修繕等の工事等の維持管理業務を支援するシステムである。なお、ここでいう道路とは、国や地方公共団体等の公共機関、または道路事業者によって管理される公道(一般道の他、高速道路も含む)のことである。
【0008】
道路維持管理システム100は、管理対象の道路に関する、道路ID、道路名、点検区間(点検開始位置と点検終了位置で定義)、属性情報を外部システム200から予め登録しておく。そして、路面補修の順番の判断に当たり、「参照情報」となる点検情報、工事情報、住民提供情報を提供することで、道路の補修を行う上で、より効果的な順番の判断のサポートを行うシステムである。
【0009】
外部システム200から登録される属性情報は、幅員や延長、位置、舗設時期、供用年数、道路の利用用途、道路の利用頻度などの道路の属性を示す情報である。
点検情報は、管理対象の道路に対して、点検により得られた舗装の状態を示す情報である。住民通報情報は、住民等から日常的に発信される道路に関する様々な情報や要望である。工事情報は、管理対象の道路に対して、補修や修繕等の工事が行われた工事の状況やその履歴に関する情報である。
【0010】
また、道路維持管理システム100は、
図2に示す舗装ひび割れ解析装置1及び画像特徴強調装置10を備える。画像特徴強調装置10は、路面が撮像された路面画像の路面部分の領域の特徴を強調する処理を装置である。
舗装ひび割れ解析装置1は、路面の点検時に撮影された路面画像から画像処理によって自動的に舗装ひび割れを検出し、舗装の劣化を評価する指標の一つである「ひび割れ率」を算出する装置である。
【0011】
(第1の実施形態)
まず、第1の実施形態について、説明する。第1の実施形態は、撮像画像に対し、予め路面部分に対して強調処理を行ってから、ひび割れ解析を行う、実施の形態である。
図2は、第1の施形態における機能構成を表す概略ブロック図である。
まず画像特徴強調装置10の構成について説明する。画像特徴強調装置10は、撮像画像から路面部分に検出して、予め強調処理を行う装置である。
【0012】
画像特徴強調装置10は、バスで接続されたCPU(Central Processing Unit)やメモリや補助記憶装置などを備え、プログラムを実行する。プログラムの実行によって、画像特徴強調装置10は、画像入力部11、画像取得部12、画像データ記憶部13、領域取得部14及び画像特徴強調処理部15を備える装置として機能する。なお、画像特徴強調装置10の各機能の全て又は一部は、ASIC(Application Specific Integrated Circuit)やPLD(Programmable Logic Device)やFPGA(Field Programmable Gate Array)等のハードウェアを用いて実現されてもよい。また、プログラムは、コンピュータ読み取り可能な記録媒体に記録されてもよい。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置である。また、プログラムは、電気通信回線を介して送受信されてもよい。
【0013】
画像入力部11は、画像特徴強調装置10に路面画像を入力する入力部である。画像入力方法の一例としては、車載カメラ、市販のカメラ及びスマートフォン等に備えられたカメラによって撮像された路面画像を入力してもよいし、磁気ハードディスク装置や半導体記憶装置などの記憶装置に記憶されている路面画像を入力してもよいし、インターネット上から路面画像を入力してもよい。
【0014】
路面画像は、画像全体に路面が撮像されている画像であってもよいし、画像の一部に路面が撮像されていて、路面が撮像されていない領域に物体(例えば、移動体や樹木等)が撮像されている画像であってもよい。また、路面画像は、例えば、画像サイズがフルHD(High Definition)で白黒の画像である。
【0015】
画像取得部12は、画像入力部11が入力した路面画像を取得する画像取得部である。
画像データ記憶部13は、画像取得部12によって取得された路面画像を記憶する記憶部である。画像データ記憶部13は、磁気ハードディスク装置や半導体記憶装置などの記憶装置を用いて構成される。なお、画像データ記憶部13は、不揮発性メモリであってもよい。
【0016】
領域取得部14は、画像データ記憶部13に記憶されている路面画像から路面部分の領域を取得することによって部分領域画像を生成する領域取得部である。画像領域の取得方法については、後述する。
画像特徴強調処理部15は、領域取得部14で取得した部分領域画像内の路面部分の領域の特徴を強調する処理を行う処理部である。路面部分の領域の特徴を強調する処理は、路面領域の輝度の差異を強調する、コントラスト強調処理である。以下の説明では、路面部分の領域の特徴を強調する処理を単に強調処理と記載する。
【0017】
なお、画像特徴強調装置10は、少なくとも領域取得部14及び画像特徴強調処理部15を備えていればよい。
【0018】
次に、舗装ひび割れ解析装置1の構成について説明する。舗装ひび割れ解析装置1は、画像特徴強調装置10で生成された強調画像を用いて、舗装ひび割れを解析する装置である。
舗装ひび割れ解析装置1は、撮影画像入力部101、道路属性入力部102、解析作業者登録部103、入力情報記憶部105、舗装ひび割れ検出部106、ひび割れ率算出部107、点検結果データ記憶部108、点検結果出力部109、帳票作成・出力部110、表示制御部111、表示部112及び出力部113を備える。
【0019】
撮影画像入力部101は、撮影画像取得部1011を持つ。撮影画像取得部1011は、路面部分の領域の特徴が強調された部分領域画像(以下「強調画像」という。)を画像特徴強調装置10から取得する取得部である。撮影画像取得部1011と画像特徴強調装置10の接続は、有線による接続でも、無線による接続のどちらでもよい。また、撮影画像入力部101は、強調画像を記憶している記憶部から強調画像を取得してもよい。撮影画像入力部101は、入力された取得した強調画像を入力情報記憶部105に記憶する。
【0020】
道路属性入力部102は、区間属性情報入力部1021、及び位置データ取得部1022を持つ。
区間属性情報入力部1021は、路面を撮影する路線の区間属性情報を取得する入力部である。区間属性情報は、路面を撮影する路線の区間毎に定められた属性の情報である。属性の情報とは、例えば、「道路」、「橋梁」、「トンネル」等の情報である。区間属性情報には、路線名、区間番号、区間の起点、区間の終点等の情報が含まれていてもよい。
【0021】
各路線は、起点からの距離に対応した区間に区切られており、区間毎に区間の属性(区間属性)が定められる。路線の区間属性情報は、図示しないPC等において作成することができる。区間属性情報入力部1021は、作成された区間属性情報を、ネットワークを介して接続されたPC等から取得したり、又は記録媒体を介して取得したりするようにしてもよい。
【0022】
位置データ取得部1022は、撮影画像入力部101から取得される撮影画像を撮影したカメラの位置データを取得する取得部である。位置データ(位置情報)は、例えば、カメラと共に車載されるGPS(Global Positioning System)の利用者受信機(GPS受信機)から取得される経緯度情報である。位置データには、経緯度の情報に加えて、高度、速度、日時等の情報が含まれていてもよい。位置データは、GPS衛星からの電波が届きにくい山間部やトンネル内においては、カメラを搭載した車両の速度の情報や加速度の情報を用いて補正されてもよい。
【0023】
解析作業者登録部103は、カメラ向き入力部1031、カメラ高さ入力部1032、カメラ機種情報等入力部1033及び解析作業者情報入力部1034を持つ。
カメラ向き入力部1031は、カメラの向きの情報を取得する取得部である。カメラの向きは、例えば路面に対するカメラの俯角、車載カメラの場合にはカメラを積んだ車両の進行方向に対する撮影方向の偏角等である。
カメラ高さ入力部1032は、カメラの路面からの高さの情報を取得する入力部である。なお、俯角とは、カメラと同じ高さの水平面から下にある物を撮影するときのカメラから撮影物方向の視線と、水平面とが成す角度である。水平方向の俯角は0°である。カメラから真下の方向の俯角は90°である。
【0024】
カメラ機種情報等入力部1033は、カメラ機種情報等の情報を取得する入力部である。カメラ機種情報等の情報には、例えば、カメラの型式、カメラのレンズの焦点距離、撮影する画像サイズ等の情報が含まれていてもよい。
解析作業者情報入力部1034は、舗装ひび割れ解析装置1において解析作業を行なう解析作業者の情報を取得する。解析作業者の情報は、例えば解析作業者の氏名、ID(identification)等である。
【0025】
解析作業者登録部103は、カメラの向きの情報、カメラの高さの情報、カメラ機種情報及び解析作業者の情報を取得し、解析作業者登録情報として入力情報記憶部105に記憶する。
【0026】
なお、本実施形態では、入力部を、撮影画像入力部101、道路属性入力部102と解析作業者登録部103の3つに分けて、それぞれの情報を取得する場合を説明したが、一つの機能として実装するようにしてもよい。
【0027】
入力情報記憶部105は、路面領域が強調された撮像画像である強調画像と、道路属性情報と、解析作業者登録情報とを記憶する記憶部である。入力情報記憶部105は、例えば、磁気ハードディスク装置や半導体記憶装置などの記憶装置を用いて構成される。入力情報記憶部105は、撮像画像入力部101が取得した強調画像のデータを、位置データ取得部1022が取得した位置データに対応付けて記憶する。すなわち、入力情報記憶部105は、撮影画像取得部1011が取得した強調画像のデータを、撮影時の位置データに対応付けて記憶する。
【0028】
舗装ひび割れ検出部106は、入力情報記憶部105に記憶された路面部分の領域から、画像処理によって路面を検出する検出部である。
カメラが車載カメラである場合、路面に対して所定の俯角で配置されるため、撮影される画像が路面を斜めから撮像した画像となる。このため、舗装ひび割れ検出部106は、強調画像を正射影変換することで、強調画像は路面を真上から見たオルソ画像(Ortho Image)に変換される。舗装ひび割れ検出部106は、生成したひび割れ形状データと、オルソ画像と、検出したひび割れが路面のどの位置あったかを示す位置データとをひび割れ率算出部107に出力する。
【0029】
また、オルソ画像は、複数のフレーム画像において作成された画像を重ね合わせて作成されてもよい。例えば、舗装ひび割れ検出部106は、露出を変えて撮影された複数のフレーム画像に基づきオルソ画像を生成して合成することにより、ダイナミックレンジの広いオルソ画像を生成することができる。また、舗装ひび割れ検出部106は、撮影位置が異なる複数のフレーム画像に基づきオルソ画像を生成するようにしてもよい。撮影位置が異なる複数のフレーム画像に基づきオルソ画像を生成することにより、例えば車両に対する振動等によってフレーム画像にブレ等の撮影トラブルが発生した場合でも、撮影に成功したフレーム画像に基づきオルソ画像を生成することが可能となる。
【0030】
次に、生成されたオルソ画像から、ひび割れ形状データを算出する。ここで、ひび割れ形状データとは、ひび割れの形状を示すデータである。ひび割れ形状データのデータ形式は、ひび割れの形状を画像で表したラスタデータ、又はひび割れの形状を数値で表したベクタデータのいずれであってもよい。ひび割れの形状は、ひび割れの長さ、ひび割れの位置、ひび割れの幅、ひび割れの深さ等で表される。なお、舗装ひび割れ検出部106は、例えば、路面の輝度情報を基に舗装のひび割れを検出する。ここで、舗装のひび割れとは、舗装表面に発生したアスファルトのひび割れである。
【0031】
更に、舗装ひび割れ検出部106は、オルソ画像と検出したひび割れ形状データとを重畳したひび割れ重畳画像を、点検結果データ記憶部108に記憶する。点検結果データ記憶部108に記憶させるひび割れ重畳画像は、所定の圧縮方式によってデータ量を圧縮したものであってもよい。
【0032】
次に、ひび割れ率算出部107は、舗装ひび割れ検出部106から取得されたひび割れ形状データと、オルソ画像と、位置データとに基づいて、ひび割れ率を算出する算出部である。ひび割れ率算出部107は、算出したひび割れ率を点検結果データ記憶部108に記憶する。
【0033】
ひび割れ率とは、真上から見た路面上に1辺が0.5mのマス目(メッシュ)を想定し、マス目の中に存在するひびの本数に基づき、舗装ひび割れの面積を算出するものである。例えば、マス目の中にひびが2本以上ある場合は、0.25m
2(100%)であると算出する。同様に、マス目の中にひびが1本の場合は、0.15m
2(60%)、マス目の中にひびが0本の場合は、0m
2(0%)と算出する。すなわち、ひび割れ率は次式で表される。
ひび割れ率(%)=100×(ひび割れの面積)/(調査区間の面積)
【0034】
なお、本実施形態では、マス目は、ひび割れ率算出部107が位置データ取得部1022から取得された位置データに基づき設定するものとする。また、調査区間の面積は、例えば1つのマス目(0.25m
2)であってもよく、所定の道路の距離(例えば、13m、100m、路線全区間の距離等)における路面の面積であってもよい。本実施形態では、マス目毎、および路線の区間(12.5m、100m)毎の平均値としてひび割れ率を算出した場合を例示して後述する。
【0035】
ひび割れ率算出部107は、ひび割れ率と、ひび割れ本数と、ひび割れ率の算出に用いたマス目毎の位置データとをひび割れデータとして点検結果データ記憶部108に記憶する。
【0036】
点検結果出力部109は、点検結果データ記憶部108に記憶されたひび割れ重畳画像を舗装ひび割れ解析装置1の外部の装置に出力する出力部である。外部の装置とは、例えば図示しない他のコンピュータシステム、記録メディアにデータを記憶する記憶装置等である。点検結果出力部109は、ひび割れ重畳画像を、例えば、フレーム画像又はオルソ画像として舗装ひび割れ解析装置の外部の装置に出力する。フレーム画像とは、路面を斜めから見た撮影画像の1フレーム毎の画像である。本実施形態において路面の撮影画像は車載カメラによって車両の後方を撮影することにより取得される。
【0037】
また、点検結果出力部109は、点検結果データ記憶部108に記憶されたひび割れデータを、ひび割れデータとひび割れ重畳画像に対応付けて、舗装ひび割れ解析装置1の外部の装置に出力する。ひび割れ重畳画像とひび割れデータとを対応させて出力することにより、例えば他のコンピュータにシステムにおいて、ひび割れデータとひび割れ重畳画像とを対応付けて表示することが可能となる。なお、ひび割れ重畳画像とひび割れデータとを対応させる表示とは、例えば、ひび割れ重畳画像にひび割れデータを重畳した表示、ひび割れ重畳画像とひび割れデータを並列させた表示である。
【0038】
また、点検結果出力部109は、ひび割れ率算出部107において算出されて点検結果データ記憶部108に記憶されたひび割れ率を出力する。点検結果出力部109は、例えば、マス目毎のひび割れ率、及び路線の区間毎に算出されたひび割れ率(平均値)を出力する。なお、点検結果出力部109は、路線の区間毎のひび割れ率の平均値の代わりに、平均前のひび割れ率のデータ、所定の区間内におけるひび割れ率の最大値等を出力するようにしてもよい。また、点検結果出力部109は、ひび割れ重畳画像と併せて対応する区間のひび割れ率を出力するようにしてもよい。
【0039】
また、点検結果出力部109は、検証データを出力する。検証データとは、ひび割れ率を算出した路面が正しい点検対象であることを検証するためのデータである。例えば、路線の起点と終点が指定され、起点から終点までの路面が点検対象である場合、検証データは、起点から終点までの間の全ての路面について舗装ひび割れを点検したことを後日検証するためのデータである。検証データとして、例えば撮影された全ての画像(フレーム画像又はオルソ画像)を用いることができる。
【0040】
点検結果出力部109が出力する、ひび割れ重畳画像、ひび割れ率、又は検証データ等の出力情報の出力のタイミングは任意である、点検結果出力部109は、例えば、所定の区間のひび割れ重畳画像等のデータが点検結果データ記憶部108に記憶されたときに出力情報を出力するようにしてもよい。また、点検結果出力部109は、利用者の明示的な操作に基づき出力情報を出力するようにしてもよい。
【0041】
帳票作成・出力部110は、点検結果データ記憶部108に記憶されたひび割れデータに基づき、所定の帳票を作成して舗装ひび割れ解析装置1の外部又は表示制御部111に出力する出力部である。帳票作成・出力部110は、ひび割れデータとともにひび割れ重畳画像を含めて所定の帳票を作成してもよい。帳票作成・出力部110は、作成した帳票を、画像データとして出力するが、所定のファイル形式の文章ファイルとして出力してもよい。また、帳票作成・出力部110は、表示制御部111に対して作成した帳票を出力する。
【0042】
また、帳票作成・出力部110は、出力する帳票に上述した検証データを含めることができる。検証データを帳票として出力することにより、出力する帳票の点検結果について検証が可能となる。なお、検証データは、舗装ひび割れ解析装置1を用いて舗装ひび割れ検出のサービスを提供するときの課金データとして利用するようにしてもよい。例えば、フレーム間距離の累積値又はフレーム画像の枚数に対して所定の単価を掛けた料金を自動的に計算するようにして検証データを課金データとして利用する。
【0043】
表示制御部111は、ひび割れ重畳画像、ひび割れ率等の点検結果に基づき表示用の画面データを生成して表示部112に表示させる表示制御部である。表示制御部111は、表示用画像として、例えば、点検結果データ記憶部108に記憶されたひび割れ重畳画像を含む画面データを生成する。
【0044】
表示制御部111は、撮影日時の異なる複数のひび割れ重畳画像から撮影日時の異なる複数のひび割れ重畳画像同士を比較可能な画面データを生成する。比較の対象となる複数のひび割れ重畳画像は、位置データが略同一であって、同一の撮影位置(多少の誤差を含んでいてもよい)から撮影された撮影画像に基づき生成されたものである。画面データは、GIS(Geographic Information System:地理情報システム)を利用したデータ(GIS画面データ)を含むものであってもよい。
【0045】
表示部112は、表示制御部111から入力された画面データを画面表示する表示部である。表示部112は、例えば、液晶表示装置である。表示する画面データは、例えば、
図9を用いて後述するような地図情報を含んでいてもよい。
出力部113は、点検結果データ記憶部108に記憶されたデータを他の装置に出力する出力部である。
【0046】
出力部113は、例えば他の装置からのデータ取得要求に対して要求されたデータを出力するWebサーバであってもよい。出力部113から出力されるデータは、点検結果データ記憶部108に記憶されたデータであって、例えば、オルソ画像に変換された撮影画像、ひび割れ重畳画像、ひび割れ形状データ(ひび割れの形状を示すベクタデータ又はラスタデータ)、又はひび割れデータ(ひび割れ率、ひび割れ本数等)である。出力部113から出力されるデータの種類は、他の装置からの要求に応じて決定されるようにしてもよい。また、出力部113は、他の装置からデータを受信する機能を持っていてもよい。
【0047】
なお、出力部113から出力されるデータは、点検結果出力部109から記録メディアに出力するようにしてもよい。例えば、ネットワーク3を介して出力部113からデータを取得出来ない他の装置に対しては、出力部113からデータを取得する代わりに記録メディアによって点検結果データ記憶部108に記憶されたデータを提供するようにすることができる。記録メディアとは、例えば、ハードディスクドライブ、メモリーカード、光ディスク等である。出力部113は、図示しない記録メディアの記録部を持つ。
【0048】
次に、第1の実施形態の動作について説明する。
図3は、本実施の形態の画像特徴強調装置10の処理の流れを示すフローチャートである。
図3の処理開始時には、既に画像データ記憶部13に路面画像が記憶されているものとする。
まず、領域取得部14が、画像データ記憶部13に記憶されている路面画像を取得する(ステップS101)。ここで、取得する画像は、画像データ記憶部13から最新の路面画像でもよいし、時系列順に最も先に画像データ記憶部13に記憶された路面画像でもよいし、ユーザに選択された路面画像でもよい。
【0049】
図4は、路面画像の一例を示す図である。
図4に示す路面画像250には、路面201の他に、多くの物体202(例えば、バス、車両、人物、樹木等)が撮像されている。特に、
図4の路面画像250では、太陽光及びカメラの自動調整機能により、樹木やバス等の物体202が明瞭に映る。これに対し、路面201部分が、ぼやけて撮像されているため、ひび割れの検出精度が低くなってしまう場合がある。
【0050】
次に、領域取得部14が、取得した路面画像から路面画像に撮像されている物体202(例えば、車両やバス等の移動体、人物、建物、樹木)を、それぞれ判別していく(ステップS102)。物体202の判別手法については既存の技術が用いられてもよい。例えば、領域取得部14は、物体202として車両やバス等の移動体が判別できている場合には、移動体のタイヤの位置から上下方向を判別し、車両の下部で、かつ、画素値が、予め登録されている路面の画素値に類似する部分(グレーに近い色が広がっている部分)を路面として検出する。
【0051】
次に、領域取得部14は、検出した路面部分の画素を基準として、路面画像内から検出した路面部分の画素の画素値に類似する部分を探索し、探索した結果から得られる領域を路面部分の領域として検出する。そして、領域取得部14は、路面画像から、検出した路面部分の領域を取得することによって部分領域画像を生成する。また、領域取得部14は、カメラの種類、路面撮影時の高さ及び路面撮影時の方向の組み合わせ毎に予め作成されたマスク領域(マスク画像)を、路面画像に適用(重ね合わせる)して路面部分の領域を取得することによって部分領域画像を生成してもよい。なお、マスク画像は、路面画像と同様の大きさを有する画像である。
【0052】
また、マスク画像は、例えば、路面部分の領域内の画素が“1”、路面部分以外の領域内の画素が“0”の画素値を有する画像である。領域取得部14は、路面画像にマスク画像を重ね合わせて、マスク画像の画素が“1”である領域を、路面部分の領域として路面画像から取得する。
【0053】
図5は、部分領域画像の一例を示す図である。
図5に示すように、部分領域画像300では、路面部分の領域以外の領域がマスク画像により描画されておらず、路面部分の領域が抽出されている。領域取得部14は、生成した部分領域画像を画像特徴強調処理部15に出力する。
【0054】
次に、画像特徴強調処理部15は、取得した部分領域画像内の路面部分の領域に複数の検出窓を設定する(ステップS103)。検出窓の位置及び大きさは、マスク画像毎に予め設定されていてもよいし、ユーザが設定してもよい。
【0055】
画像特徴強調装置10に入力される路面画像は、画像サイズがフルHD(High Definition)で白黒の画像であるため、水平画素数が1920ピクセル、垂直画素数が1080ピクセルで、それぞれの画素が0〜255の8ビットの諧調をもつ。ここで、それぞれの画素をP(v,h)とする。vは画像の垂直位置0〜1079を表し、hは画像の水平位置0〜1919を表す。また、それぞれの画素の輝度値をY(v,h)とする。
【0056】
図6は、検出窓の一例を示す図である。
図6では、路面画像の中で特に主要な路面部分が現れる範囲に、検出窓1、検出窓2、検出窓3の複数の検出窓が設定された場合を示している。それぞれの検出窓の位置は、検出窓1がP(100,510)〜P(499,809)、検出窓2がP(100,810)〜P(499,1109)、検出窓3がP(100,1110)〜P(499,1409)の位置である。なお、検出窓の形状は、
図6のような長方形に限らず、正方形や台形、多角形のいずれであっても。また、検出窓の大きさや配置は路面画像によって変更可能である。
【0057】
検出窓内の輝度値Y(v,h)の分布は、一般に
図7のように0〜255に拡がっておらず一定の値に固まっている。これは路面が特定の輝度を持っているためである。それに比べて、路面部分の領域以外の領域を含む路面画像全体では
図8のように検出窓内だけよりも幅広い輝度値を有する。
【0058】
次に、画像特徴強調処理部15は、設定した検出窓内の輝度値を算出する(ステップS104)。具体的には、画像特徴強調処理部15は、検出窓内の画素のvとhの空間方向について、以下の演算でLPF(Low-Pass Filter:ローパスフィルタ)を掛けた輝度値を算出する。LPF前の輝度値をY(v,h)、LPF後の輝度値をY9(v,h)とすると、LPF後の輝度値Y9(v,h)は以下の式1のように表される。
【0060】
LPFで扱う画素の位置関係の様子を
図9に示す。
図9は、本実施形態で用いるLPFの一例を示す図である。本実施形態では、
図9に示すように、輝度値を算出する対象となる画素と、対象となる画素に隣接する8画素とを加えた9画素の輝度値を平均することでLPFとしている。これにより、1画素単位の突発的な不良値の影響を緩和する。なお、画像特徴強調処理部15は、9画素LPFの代わりに9画素メジアンフィルターなどを用いてもよい。画像特徴強調処理部15は、この処理を検出窓内の各画素に対して行うことによって、検出窓内の輝度値を算出する。
【0061】
図10は、LPF後の輝度分布を示す図である。
図10に示すように、LPFを適用する前の
図7及び
図8よりもノイズが落ちて輝度分布が狭くなっていることが分かる。
【0062】
次に、
図3に戻り、画像特徴強調処理部15が、検出窓毎に、最高輝度値と最低輝度値とを算出する(ステップS105)。ここで、検出窓1の最高輝度値をW1Ymax、最低輝度値をW1Yminすると、検出窓1の最高輝度値W1Ymax及び最低輝度値W1Yminは以下の式2のように表される。
【0064】
検出窓1と同様に、検出窓2の最高輝度値をW2Ymax、最低輝度値をW2Ymin、検出窓3の最高輝度値をW3Ymax、最低輝度値をW3Yminとすると、検出窓2の最高輝度値W2Ymax及び最低輝度値W2Yminと、検出窓3の最高輝度値W3Ymax及び最低輝度値W3Yminとはそれぞれ以下の式3及び4のように表される。
【0066】
画像特徴強調処理部15は、上記式2から式4により、各検出窓の最高輝度値及び最低輝度値を算出する。これにより、個々の検出窓内の輝度値の範囲の情報が得られる。次に、画像特徴強調処理部15は、算出した各検出窓内の最高輝度値及び最低輝度値を用いて、全検出窓の代表輝度値を算出する(ステップS106)。ここで、最高代表輝度値をYmax、最低代表輝度値をYminとすると、最高代表輝度値Ymax及び最低代表輝度値Yminは以下の式5のように表される。
【0068】
上記式5により、路面部分の領域の輝度値の範囲の情報が得られる。画像特徴強調処理部15は、式5により求めた最高代表輝度値Ymaxと最低代表輝度値Yminとを用いて、部分領域画像全体にコントラスト調整を行う(ステップS107)。具体的には、画像特徴強調処理部15は、輝度値の範囲を最低代表輝度値Yminから最高代表輝度値Ymaxまでの範囲に変更することによってコントラスト調整を行う。これにより、強調画像が生成される。
図11は、コントラスト調整の詳細の位置ずれを示す図である。
図11に示すように、コントラスト調整前では輝度値の範囲が幅広い範囲であったが、コントラスト調整後では輝度値の範囲が最低代表輝度値Yminから最高代表輝度値Ymaxまでの範囲に調整されている。
【0069】
そして、画像特徴強調処理部15は、部分領域画像に対して最低代表輝度値Yminから最高代表輝度値Ymaxまでの輝度変化を0〜255に拡大することによってコントラスト強調する。これにより、路面画像における路面部分の領域が特徴認識しやすくなる。
図12は、コントラスト強調後の路面部分の領域の状態を示す図である。
図12に示すように、
図4の路面画像に比べて路面部分の領域のひび割れが強調されている。
【0070】
以上のように構成された画像特徴強調装置10によれば、路面画像から路面部分の領域を取得し、取得した路面部分の領域に対して強調処理を行う。路面部分の領域以外の領域(例えば、物体等が撮像されている領域)が撮像されている路面画像では、画像内において使用されている輝度値の幅が広い。そのため、強調処理を行ったとしても路面部分の領域の特徴が強調されづらい。それに比べ、路面部分の領域では路面画像全体よりも輝度値の幅が狭い。そのため、路面部分の領域に対して強調処理を行うことによって路面部分の領域の特徴が強調される。これにより、路面画像における路面の特徴検出の精度を向上させることが可能になる。その結果、精度よく画像の特徴を検出することができる。
【0071】
また、画像特徴強調装置10は、路面部分の領域内の最高輝度値と最低輝度値とに基づいて得られる最高代表輝度値と最低代表輝度値を用いてコントラスト調整を行う。そして、画像特徴強調装置10は、最高代表輝度値と最低代表輝度値の輝度変化を拡大することによって路面部分の領域内の輝度値を変更して特徴を強調する。このように、画像特徴強調装置10は、路面部分の領域以外の領域の輝度値の影響を受けずに強調処理を行うことができる。そのため、路面画像における路面部分の特徴の検出精度を向上させることが可能になる。
【0072】
画像特徴強調装置10は、路面部分の領域に対して複数の検出窓を設定し、検出窓内の最高輝度値と最低輝度値とをそれぞれ算出し、算出した最高輝度値と最低輝度値とを用いて最高代表輝度値と最低代表輝度値とを算出し、算出した最高代表輝度値と、最低代表輝度値とに基づいて、路面部分の領域内の輝度値を変更することによって画像の特徴を強調する。画像特徴強調装置10は、最高代表輝度値及び最低代表輝度値の算出において、各検出窓の最高輝度値及び最低輝度値それぞれの中央値を最高代表輝度値及び最低代表輝度値としている。このように、複数の検出窓の中央値を取ることにより、いずれかの検出窓でイレギュラーな状態(物体)の部分が含まれていても回避することができる。
【0073】
<第1の実施形態の変形例>
以下、第1の実施の形態の変形例について説明する。
図3のステップS101における路面部分の領域の取得方法は、検出した物体の位置関係他から示度的な自動的に取得していたが、
図2の領域取得部14は、ユーザによって選択された領域を路面部分の領域として取得してもよい。このように構成される場合、例えば画像特徴強調装置10は、不図示の表示部に路面部分の設定画面を表示し、ユーザが、マウス等の入力装置を用いて路面画像内の特定の領域を選択する。領域取得部14は、選択された特定の領域を路面部分の領域として取得する。
【0074】
また、別の変形例としては、
図3のステップS105において、画像特徴強調処理部15は、最高輝度値(W1Ymax、W2Ymax、W3Ymax)及び最低輝度値(W1Ymin、W2Ymin、W3Ymin)として、単に検出窓内の全ての輝度値の中でmax、minを取るのではなく、検出窓内の画素輝度順位で上位から10000位目、下位から10000位目を不良値として排除し、排除後の残りの中で最高輝度値及び最低輝度値を算出してもよい。
【0075】
更に、別の変形例として、
図3のステップS104の処理において、検出窓内の輝度値を算出する際にLPFを適用する構成を示したが、この処理は必ずしも実行されなくてもよい。LPFを適用しない場合、画像特徴強調処理部15は、各検出窓内の各画素の画素値の値をそのまま検出窓内の画素値として使用する。
【0076】
画像特徴強調処理部15は、全検出窓のうち検出窓内の代表輝度値が外れ値の検出窓がある場合、外れ値の検出窓を除いた残りの検出窓内の輝度値を用いて最高代表輝度値と最低代表輝度値とを算出するように構成されてもよい。検出窓内の代表輝度値は、1つの検出窓における輝度値の代表値である。画像特徴強調処理部15は、1つの検出窓内の全ての画素値を用いて、全ての画素値の中央値を代表輝度値として算出する。また、外れ値とは、代表輝度値が他の検出窓における代表輝度値と比べて大きくずれている値である。例えば、外れ値は、検定等の手法によって求められてもよい。
このように構成されることによって、建物や車両や影等による影響で輝度値に変化が生じてしまった路面部分の領域を除外することができる。そのため、強調処理の精度低下を抑制することができる。
【0077】
更に、別の変形例としては、画像特徴強調処理部15は、動画のように路面画像が時系列順に連続して入力された場合、検出窓内の代表輝度値の変化が閾値以上の検出窓を除いた残りの検出窓内の輝度値を用いて最高代表輝度値と最低代表輝度値とを算出するように構成されてもよい。
このように構成されることによって、建物や車両や影等による影響で輝度値に変化が生じてしまった路面部分の領域を除外することができる。そのため、強調処理の精度低下を抑制することができる。
【0078】
(第2の実施形態)
第2の実施形態は、路面画像に対して予め強調処理を施すのではなく、舗装ひび割れ解析装置内で、路面領域を抽出して強調処理を行ってから、ひび割れ解析を行う実施形態である。
第2の実施形態では、道路維持管理システム100が、
図13に示す舗装ひび割れ解析装置1aを備える。
図13は、第2の施形態における舗装ひび割れ解析装置1aを表す概略ブロック図である。なお、
図13において
図2に示す舗装ひび割れ解析装置1と同様の構成については同様の符号を付して説明を省略する。
【0079】
舗装ひび割れ解析装置1aの構成について説明する。舗装ひび割れ解析装置1aは、撮影画像入力部101及び舗装ひび割れ検出部106に代えて、撮影画像入力部101a及び舗装ひび割れ検出部106aを備え、領域取得部114及び画像特徴強調処理部115を新たに備える点で舗装ひび割れ解析装置1と構成が異なる。以下、相違点についてのみ説明する。
【0080】
撮影画像入力部101は、車載カメラにより得られる路面画像を取得する入力部である。撮影画像取得部1011と車載カメラの接続は、有線による接続でも、無線による接続のどちらでもよい。また、撮影画像入力部101に入力される路面画像のデータは、現在車載カメラで撮影されているデータであってもよい。また、撮影画像入力部101に入力される路面画像のデータは、過去に車載カメラで撮影されて録画された撮影画像のデータであってもよい。
【0081】
領域取得部114は、入力情報記憶部105に記憶されている路面画像から、路面部分の領域を取得することによって部分領域画像を生成する領域取得部である。なお、領域取得部114の具体的な処理は、領域取得部14と同様である。
画像特徴強調処理部115は、領域取得部114で取得した部分領域画像内の路面部分の領域の特徴を強調する処理を行う処理部である。なお、画像特徴強調処理部115の具体的な処理は、画像特徴強調処理部15と同様である。
【0082】
ここで、撮影画像入力部101a、道路属性入力部102、入力情報記憶部105、領域取得部114及び画像特徴強調処理部115は、画像特徴強調装置として構成される。なお、画像特徴強調装置は、少なくとも領域取得部114及び画像特徴強調処理部115を備えていればよい。
【0083】
舗装ひび割れ検出部106aは、画像特徴強調処理部115によって生成された強調画像内の路面部分の領域から画像処理によって路面の特徴を検出する特徴検出部である。舗装ひび割れ検出部106aの具体的な処理は、舗装ひび割れ検出部106と同様である。
【0084】
以上のように構成された舗装ひび割れ解析装置1aによれば、第1の実施形態における画像特徴強調装置10と同様の効果を得ることができる。
また、舗装ひび割れ解析装置1aは、1つの装置で画像に対する強調処理と、ひび割れの解析とが可能になる。そのため、利便性を向上させることができる。
【0085】
<第2の実施形態の変形例>
以下、本実施の形態の変形例について説明する。
本実施の形態における舗装ひび割れ解析装置1aは、第1の実施形態における画像特徴強調装置10と同様に変形されてもよい。
【0086】
<各実施の形態に共通の変形例>
以下、上記の各実施の形態に共通の変形例について説明する。
上記の各実施の形態において、ひび割れの形状には、ひび割れの方向を示すものを含んでもよい。ひび割れの方向とは、例えば、車両の進行方向に対する角度である。車両の進行方向に対する角度は、車両の進行方向を0°として−90°〜90°の範囲で表すようにしてもよい。ひび割れの方向は、所定の長さのひび割れを直線近似したものであってもよい。また、ひび割れの形状は、直線状、曲線状、複数の直線又は曲線が分岐する枝状、ひび割れによって多角形状等を構成する形状(本実施形態では、「亀甲状」という。但し、6角形には限定されない。)を表すものであってもよい。
【0087】
上記各実施の形態の形態では、舗装ひび割れ解析装置1及び舗装ひび割れ解析装置1aが、強調画像を用いて画像処理によって、強調画像内の特徴として路面の舗装ひび割れを検出する構成を示したが、舗装ひび割れ解析装置1及び舗装ひび割れ解析装置1aは強調画像内の特徴としてポットホール、くぼみ、白線や道路標示のかすれ、落下物、動物の死骸、漏水等の道路の不具合、補修跡、人物、車両を検出するように構成されてもよい。
【0088】
以上説明した少なくともひとつの実施形態によれば、路面画像から路面部分の領域を取得する領域取得部14と、取得された路面部分の領域に対して、画像の特徴を強調する処理を行う画像特徴強調処理部15とを持つことにより、路面画像における路面の特徴検出の精度を向上させることができる。
【0089】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。