特許 6790210 道路損傷判定装置、道路損傷判定方法及び道路損傷判定プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】6790210

(24)【登録日】2020年11月6日

(45)【発行日】2020年11月25日

(54)【発明の名称】道路損傷判定装置、道路損傷判定方法及び道路損傷判定プログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20201116BHJP

   E01C 23/01 20060101ALI20201116BHJP

【ＦＩ】

   G06T7/00 650A

   G06T7/00 350B

   E01C23/01

【請求項の数】8

【全頁数】24

(21)【出願番号】特願2019-182892(P2019-182892)

(22)【出願日】2019年10月3日

【審査請求日】2019年10月3日

(73)【特許権者】

【識別番号】397065480

【氏名又は名称】エヌ・ティ・ティ・コムウェア株式会社

(74)【代理人】

【識別番号】100083806

【弁理士】

【氏名又は名称】三好 秀和

(74)【代理人】

【識別番号】100101247

【弁理士】

【氏名又は名称】高橋 俊一

(74)【代理人】

【識別番号】100095500

【弁理士】

【氏名又は名称】伊藤 正和

(72)【発明者】

【氏名】中村 隆幸

(72)【発明者】

【氏名】原田 俊彦

(72)【発明者】

【氏名】赤井 和幸

(72)【発明者】

【氏名】神田 輝

(72)【発明者】

【氏名】藤澤 理央

【審査官】 合田 幸裕

(56)【参考文献】

【文献】 特開２０１８−１５６３１７（ＪＰ，Ａ）

【文献】 特開２０１９−１３９３１６（ＪＰ，Ａ）

【文献】 特開２０１５−７３４１（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ７／００

Ｅ０１Ｃ ２３／０１

ＩＥＥＥ Ｘｐｌｏｒｅ

ＪＳＴＰｌｕｓ（ＪＤｒｅａｍＩＩＩ）

(57)【特許請求の範囲】

【請求項1】

道路損傷判定装置であって、
道路を撮影した道路画像を複数の部分画像に分割する分割部と、
各部分画像の道路の損傷レベルを、学習済みモデルを用いて判定する判定部と、を有し、
前記損傷レベルは、ひび割れの交点を示す結節点の数に基づいて設定され、
前記学習済みモデルは、損傷レベルと、当該損傷レベルに設定された範囲の結節点の数を有する画像とを含む教師データを用いて学習されること
を特徴とする道路損傷判定装置。

【請求項2】

請求項１に記載の道路損傷判定装置であって、
前記道路画像から、道路のひび割れまたは穴を含む画素領域を検出する検出部と、
前記画素領域の面積の合計を用いて、区間ごとの道路のひび割れ率を算出する集計部と、を有すること
を特徴とする道路損傷判定装置。

【請求項3】

請求項２に記載の道路損傷判定装置であって、
前記画素領域の中から、走行車線領域に存在する画素領域を選択する選別部を有し、
前記集計部は、選択した前記画素領域の面積の合計を用いて、前記ひび割れ率を算出すること
を特徴とする道路損傷判定装置。

【請求項4】

請求項１ないし３のいずれかに記載の道路損傷判定装置であって、
前記道路画像の明るさおよびコントラストの少なくとも１つを調整する画質調整部を有し、
前記画質調整部は、日陰により、前記道路画像の中で進行方向に連続する暗い領域を検出し、前記暗い領域の明るさおよびコントラストの少なくとも１つを、他の領域の明るさまたはコントラストと同じになるように調整すること、
を特徴とする道路損傷判定装置。

【請求項5】

請求項２または３に記載の道路損傷判定装置であって、
前記損傷レベルが所定のレベル以上の部分画像もしくは前記画素領域を示す枠、または、前記損傷レベルが所定のレベル以上の部分画像および前記画素領域を示す枠を、前記道路画像に描画する描画部を有すること
を特徴とする道路損傷判定装置。

【請求項6】

請求項２ないし４のいずれかに記載の道路損傷判定装置であって、
前記損傷レベルおよび前記ひび割れ率の少なくとも１つを用いて、前記道路の補修方法および補修時期を選定する選定部を有すること
を特徴とする道路損傷判定装置。

【請求項7】

道路損傷判定装置が行う道路損傷判定方法であって、
道路を撮影した道路画像を複数の部分画像に分割する分割ステップと、
各部分画像の道路の損傷レベルを、学習済みモデルを用いて判定する判定ステップと、を行い、
前記損傷レベルは、ひび割れの交点を示す結節点の数に基づいて設定され、
前記学習済みモデルは、損傷レベルと、当該損傷レベルに設定された範囲の結節点の数を有する画像とを含む教師データを用いて学習されること
を特徴とする道路損傷判定方法。

【請求項8】

請求項１ないし６のいずれかに記載の道路損傷判定装置として、コンピュータを機能させること、を特徴とする道路損傷判定プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、道路を撮影した画像を処理して、道路の損傷レベルを判定する技術に関する。

【背景技術】

【0002】

従来、道路舗装のひび割れや穴（ポットホール）の点検には、路面性状測定車と呼ばれる専用車両を用いてセンシングし、メッシュ法と呼ばれる計数方法に基づいて人手にて計数することで、ひび割れ率と呼ばれる指標を算出していた。

【0003】

路面性状測定車でセンシングした舗装状況のデータは通常、道路の一つの車線を真上から見た細長い写真のような画像の形に加工される。これを50cm×50cmのメッシュに区切り、それぞれのメッシュに対して、例えばひびがある場合には1.0、ない場合には0.0として、この数値を道幅（例えば3.5mなど、道路による）×進行方向（20mもしくは100m）の全体で平均値を求めることで、0〜1までの値を得る。これを百分率で表したものが、ひび割れ率である。なお以上の説明は簡略化したものであり、実際にはより詳細なルールが定められている。

【0004】

昨今、国土交通省からは「舗装点検要領」などの文書が出されており、より安価で簡易な方法を用いて、従来の点検ではコスト的に対象となり得なかった広汎な道路についても点検を行うことが社会的要請となっている。その代わり、ひび割れ率は０％〜１００％といった精緻な数値でなくてよく、レベル１〜３の３段階程度の精度でもよいとされている。

【0005】

これに呼応し、前記高価な専用車両と人手による計数とによる方法を、より安価かつ自動で行えるようにする装置が提案されている。

【0006】

例えば特許文献１では、前方等を撮影したカメラの画像を、真上から見た画像に変換し、ひびを判定し、判定結果をメッシュに区切り、各メッシュにひびがあるかないかを判定して、ひび割れ率を得る装置が開示されている。

【0007】

また特許文献２では、前方等を撮影したカメラの画像を、真上から見た画像には変換せず、大きさの異なるメッシュに区切り、それぞれのメッシュについてニューラルネットワークを適用することで各メッシュにひびがあるかないかを判定する装置が開示されている。

【0008】

特許文献３では、亀甲状ひび割れを識別する装置が開示されている。また、非特許文献１では、局部的な損傷の補修に対応した点検・診断・措置一貫システムについて検討されている。

【先行技術文献】

【特許文献】

【0009】

【特許文献1】国際公開第2017/014288号

【特許文献2】特開2018-17101号公報

【特許文献3】特開2018-154986号公報

【非特許文献】

【0010】

【非特許文献1】那珂通大、鈴木康二、今泉勝生、「舗装の点検・診断・措置一貫システムの検討」、平成30年度土木学会全国大会 第73回年次学術講演会、V-652、2018年8月

【発明の概要】

【発明が解決しようとする課題】

【0011】

従来、点検によって算出したひび割れ率に基づいて舗装の修繕を行う場合、修繕の工事費が高いという問題があった。修繕では舗装面全体に対して工事を実施することから、道路管理者の予算がかなり必要となる。しかし、地方自治体などでは予算規模に比して道路総延長が長く、さらに、昨今の舗装点検要領などで要請される広汎な道路に対する道路維持管理を行うには、予算が不足するという問題があった。

【0012】

舗装の穴（ポットホール）や、亀甲状ひび割れが進行した箇所については、アスファルト乳剤の常温塗布などの工法を用いれば、局部的な補修が可能となり、工事費を安価に抑えることができる。しかし、これらの大きな損傷が起きた後で個別に対処するのでは、舗装全体の寿命を伸ばすことは難しく、また、個別の補修を実施するまでの間に転倒等の交通事故が発生する危険もあるという問題があった。

【0013】

舗装の局部損傷を、舗装全体の寿命が大幅に劣化するほどの損傷となる以前の段階、かつ、転倒等の交通事故の要因になる以前の段階で発見することができれば、安価な工法で部分的な補修が可能になる。

【0014】

本発明は以上の課題を鑑みたものであり、本発明は、道路を撮影した画像から道路の損傷レベルを判定することで、安価な費用で舗装全体の寿命を延ばすことを目的とする。

【課題を解決するための手段】

【0015】

本発明の一態様は、道路損傷判定装置であって、道路を撮影した道路画像を複数の部分画像に分割する分割部と、各部分画像の道路の損傷レベルを、学習済みモデルを用いて判定する判定部と、を有し、前記損傷レベルは、ひび割れの交点を示す結節点の数に基づいて設定され、前記学習済みモデルは、損傷レベルと、当該損傷レベルに設定された範囲の結節点の数を有する画像とを含む教師データを用いて学習される。

【0016】

本発明の一態様は、道路損傷判定装置が行う道路損傷判定方法であって、道路を撮影した道路画像を複数の部分画像に分割する分割ステップと、各部分画像の道路の損傷レベルを、学習済みモデルを用いて判定する判定ステップと、を行い、前記損傷レベルは、ひび割れの交点を示す結節点の数に基づいて設定され、前記学習済みモデルは、損傷レベルと、当該損傷レベルに設定された範囲の結節点の数を有する画像とを含む教師データを用いて学習される。

【0017】

本発明の一態様は、上記道路損傷判定装置として、コンピュータを機能させる道路損傷判定プログラムである。

【発明の効果】

【0018】

本発明によれば、道路を撮影した画像から道路の損傷レベルを判定することで、安価な費用で舗装全体の寿命を延ばすことができる。

【図面の簡単な説明】

【0019】

【図1】道路損傷判定装置の構成を示す構成図である。

【図2】道路損傷判定装置の動作を示すフローチャートである。

【図3】処理対象となる画像を示す図である。

【図4】処理対象となる画像に補助線を示した図である。

【図5】画質調整前の画像の例を示す図である。

【図6】画質調整前の別の画像の例を示す図である。

【図7】ひび割れ検出処理の結果を示す図である。

【図8】画素領域の融合のようすを示す図である。

【図9】ひび割れに関する枠描画処理の結果の画像を示す図である。

【図10】局部損傷の検出処理の結果を示す図である。

【図11】局部損傷に関する枠描画処理の結果の画像を示す図である。

【図12】地図上の道路にひび割れ率に応じた線を設定した画面の例である。

【図13】変形例の道路損傷判定装置の構成を示す構成図である。

【図14】変形例の道路損傷判定装置の動作を示すフローチャートである。

【図15】前方を撮影した画像を示す図である。

【図16】前方を撮影した画像の部分画像を示す図である。

【発明を実施するための形態】

【0020】

本発明の実施の形態の一つを以下に示す。

【0021】

＜道路損傷判定装置の構成＞
図１は、本実施の形態における道路損傷判定装置の構成を示す。道路損傷判定装置100 は、画質調整部152、検出部113、結果選別部114、検出枠融合部115、集計部116、分割部151、判定部153、枠描画部117、および、表示部118を備える。

【0022】

道路損傷判定装置100 に、SDメモリカードなどの記憶媒体101 を装着し、記憶媒体101に格納されたデータを入力する。本実施の形態の記憶媒体101に格納されたデータは、路面性状測定車に搭載したラインカメラで道路の舗装面を上から撮影した横幅4mの連続的な画像を、道路の進行方向に対して5mごとに分割した、複数の画像（静止画）である。すなわち、横4m×縦5mの領域ごとに撮影された複数の画像が道路損傷判定装置100 入力される。また、画像の解像度（ドット数）は任意でよく、例えば、横4000ドット×縦5000ドットであってもよい。

【0023】

ラインカメラでは、道路の進行方向に対して、連続的に画像が撮影される。この連続的な画像のうち、例えば100mの区間の損傷を検出する場合、縦5mごとに区切られた画像20枚を道路損傷判定装置 100への入力とする。

【0024】

なお、本発明の範囲はこれに限るものではなく、道路損傷判定装置 100 への入力は、異なる横幅の画像であってもよいし、進行方向に対して5m以外の固定あるいは可変の長さで分割した画像であってもよいし、画像を90度あるいは180度回転させた画像であってもよい。また、道路損傷判定装置 100 への入力は、自然光ではなく可視光照明あるいは赤外線照明などの人工照明で撮影した画像であってもよいし、レーザー照射による計測結果を画素に変換して得られた画像であってもよい。

【0025】

また、道路損傷判定装置 100 への入力は、路面性状測定車ではない車両で撮影して得られた画像でもよい。例えば、走行する車から道路の前方を撮影した静止画ないし動画もしくは走行する車から道路の後方を撮影した静止画ないし動画であってもよいし、走行する車から道路の前方ないし後方を撮影した画像に視点変換処理を施して得られた鳥観画像すなわち真上からの視点における画像であってもよいし、動画と時刻ごとの緯度経度の情報を記録したGPSログとを突合することによって動画から抽出して得られた静止画であってもよい。

【0026】

また、道路損傷判定装置 100 への入出力は、記憶媒体ではなくネットワークを介して行ってもよい。

【0027】

画質調整部152は、入力された画像（道路画像）の明るさおよびコントラストの少なくとも１つ調整して、画像の画質を調整する。具体的には、画質調整部152は、日陰により、画像の中で進行方向に連続する暗い領域を検出し、前記暗い領域の明るさおよびコントラストの少なくとも１つを、他の領域の明るさまたはコントラストと同じになるように調整する。

【0028】

検出部113は、画質調整部152から出力された画像から、道路のひび割れを含む画素領域を検出する。ひび割れには、穴（ポットホール）も含む。本実施形態の検出部 113は、学習済みモデルを用いて道路のひび割れを含む画素領域を検出する。学習済みモデルは、物体検出ニューラルネットワーク 121 に、パラメータ 122 を与えて構成される。物体検出ニューラルネットワークとは、深層学習（ディープラーニング）の技術を用いて、与えられた入力画像の中から、予め学習させた物体の１つ以上の存在を検出して、その存在を取り囲む矩形の位置座標を得ることができる手法である。このような手法として、R-CNN、Faster R-CNN、Single Shot MultiBox Detectorなどが公表されており、実装もオープンソース等で利用可能である。

【0029】

物体検出ニューラルネットワーク121を用いれば、大小さまざまな大きさの候補領域について、予め学習させた物体に似た画像かどうかを自動的かつ高速に判断させることができる。このため、本実施の形態では、事前に固定サイズに分割した部分画像に対して個々にニューラルネットワークを適用してひび割れを判断させるよりも、判断精度を高めることが可能である。

【0030】

本実施の形態では、道路損傷判定装置 100 の製造段階において、物体検出ニューラルネットワーク 121 の学習機能に対して道路のひび割れに関する様々な画像を入力して学習を行わせ、学習の結果として得られる学習結果データをパラメータ 122 として道路損傷判定装置 100に組み込み、利用する。

【0031】

なお、学習の際には、道路損傷判定装置 100 に入力として与える画像と同様な見た目の画像を準備し、前記画像内のひび割れの部分にマーキングを行って、当該情報を学習入力（教師データ）として与える。これにより、まったく別の見た目であるようなひび等の写真を学習入力として与えるのに比べて、より高い精度で判定可能な学習済み物体検出ニューラルネットワークを実現できる。同様な見た目の画像には、道路損傷判定装置 100 に入力される画像と同様に、路面性状測定車に搭載したラインカメラで道路の舗装面を上から撮影した画像を用いることが好ましい。

【0032】

なお、上記ではひび割れには穴も含めることとしたが、本発明の範囲はこれに限るものではない。学習の際には、ひび割れと穴とを同じクラス（分類クラス）として学習させてもよいし、ひび割れと穴とを別のクラスとして学習させてもよい。また、ひび割れの様態ごとに異なる別のクラスとして学習させてもよい。

【0033】

更に、ひび割れや穴以外の、道路の不具合ではない物体を示す画像については、正常な物体を表す別のクラスとして学習させてもよい。例えば、マンホールやシミや水濡れや影や施工ジョイントやパッチングやシール補修跡に対しては、これらは必ずしも道路の不具合とは言えないから、それぞれを表す別のクラスとして学習させてもよい。

【0034】

結果選別部114は、検出部113が検出した画素領域の中から、走行車線領域に存在する画素領域を選択する。検出枠融合部115は、重なりがある画素領域を融合する。集計部116は、検出部113が検出した画素領域の面積の合計を用いて、区間毎の道路のひび割れ率（不具合率）を算出する。また、集計部116は、例えば検出枠融合部115が融合した後の画素領域の面積を用いるなど、重なりがある画素領域については、重なり部分を除いた画素領域の面積を用いてひび割れ率を算出してもよい。また、集計部116は、結果選別部114が選択した画素領域の面積の合計を用いて、ひび割れ率を算出してもよい。区間は、ひび割れ率の算出単位であって、以下で説明する本実施の形態では5ｍを１区間とする。

【0035】

分割部151は、画質調整部152から出力された画像を、複数の部分画像に分割する。判定部153は、各部分画像の道路の損傷レベルを、学習済みモデルを用いて判定し、道路の局部損傷を含む部分画像（画素領域）を検出する。学習済みモデルは、画像判定ニューラルネットワーク161 に、パラメータ162 を与えて構成される。画像判定ニューラルネットワークとは、深層学習（ディープラーニング）の技術を用いて、与えられた入力画像が、予め学習させた複数のクラスのうちいずれのクラスに最も近いかを判定できる手法である。このような手法として、resnet、vgg16などが公表されており、実装もオープンソース等で利用可能である。

【0036】

画像判定ニューラルネットワーク161を用いれば、予め学習させた複数のクラスがそれぞれ特徴的な外観を有する場合において、入力画像が、前記クラスのいずれに似た画像であるかを自動的かつ高速に判断させることができる。ここでは、損傷レベル毎にクラスを設ける。このため、本実施の形態では、固定サイズに分割した部分画像を画像判定ニューラルネットワーク161に入力することで、部分画像の損傷レベル（局部損傷の様態）を高い精度で判定することが可能である。

【0037】

本実施の形態では、道路損傷判定装置100 の製造段階において、画像判定ニューラルネットワーク161 の学習機能に対して道路の局部損傷に関する様々な画像を入力して学習を行わせ、学習の結果として得られる学習結果データをパラメータ162 として道路損傷判定装置100に組み込み、利用する。

【0038】

なお、学習の際には、道路損傷判定装置100 に入力として与える画像と同様な見た目の画像を準備し、これを固定サイズの部分画像に分割して、それぞれの部分画像がいずれの損傷レベル（クラス）に属するかを分類し、当該部分画像と損傷レベルとを学習入力（教師データ）として与える。これにより、まったく別の見た目であるような局部損傷の写真を学習入力として与えるのに比べて、より高い精度で判定可能な学習済み画像判定ニューラルネットワークを実現できる。同様な見た目の画像には、道路損傷判定装置 100 に入力される画像と同様に、路面性状測定車に搭載したラインカメラで道路の舗装面を上から撮影した画像を、固定サイズに分割した分割画像を用いることが好ましい。部分画像の固定サイズとしては、道路の舗装面を50cm×50cmの大きさに区分するサイズであってよく、また、画像の解像度としては、例えば500×500ドットであってもよい。

【0039】

損傷レベルは、ひび割れの交点を示す結節点の数に基づいて設定される。画像判定ニューラルネットワーク161は、損傷レベルと、当該損傷レベルに設定された範囲の結節点の数を有する画像とを含む教師データを用いて学習される。ここでは、損傷レベル1の教師データの画像として、部分画像と同じ大きさの画像内に0個ないし4個の結節点を有する画像を用いる。損傷レベル2の教師データの画像として、部分画像と同じ大きさの画像内に5個ないし9個の結節点を有する画像を用いる。損傷レベル3の教師データの画像として、部分画像と同じ大きさの画像内に結節点が10個以上の結節点を有する画像を用いる。なお、3以外の損傷レベル（クラス）に分類してもよいし、あるいは、それぞれの損傷レベル（クラス）の中をさらに、局部損傷の様態ごとに異なる別の分類のクラスに細分して学習させてもよい。

【0040】

本実施形態では、損傷レベル2および3の部分画像を局部損傷（典型的な外見上の状態として亀甲状ひび割れの様態を呈する）として検出する。損傷レベル3の場合は、結節点の個数が10個以上であるから、舗装全体の支持力が低下する傾向があることを表し、損傷レベル2の場合は、その前段階の損傷度合いであることを表している。損傷レベル1の場合は、当該箇所が概ね健全であることを表している。

【0041】

道路の損傷ではない物体を示す画像については、正常な物体を表す別のクラスとして学習させてもよい。例えば、マンホールやシミや水濡れや影や施工ジョイントやパッチングやシール補修跡に対しては、これらは必ずしも道路の損傷とは言えないから、それぞれを表す別のクラスとして学習させてもよい。

【0042】

枠描画部 117は、損傷レベルが所定のレベル以上の部分画像もしくは画素領域を示す枠、または、損傷レベルが所定のレベル以上の部分画像および画素領域を示す枠を、画像に描画する。例えば、枠描画部 117は、ひび割れの検出結果について、画素領域を示す枠を画像に描画し、重なりがある画素領域の重なり部分の枠を除いて描画する。また、枠描画部 117は、損傷レベル2または3の局部損傷の判定単位となる部分画像の画素領域を示す枠を画像に描画する。

【0043】

表示部 118は、枠描画部 117により枠が描画された画像を表示する。表示部 118は、区間に対応する地図上の道路に、ひび割れ率に応じた図形（例えば線）を設定し、表示する。表示部118は、画素領域が検出された画像が撮影された位置に、所定の図形（例えばピン）を設定した地図を表示し、前記図形が指定されると枠描画部 117により枠が描画された画像を表示してもよい。

【0044】

＜道路損傷判定装置の動作＞
道路損傷判定装置 100 は、記憶媒体 101 に記憶された画像を入力として、以下に述べる動作を行う。

【0045】

図２は、道路損傷判定装置 100の動作を示すフローチャートである。道路損傷判定装置 100の画質調整部152は、記憶媒体101 に記憶された画像を取得する（ステップS11）。

【0046】

図３は、道路損傷判定装置 100 に入力された、以降の処理対象となる画像の一例を示す。画像201は、路面性状測定車に搭載したラインカメラで撮影し、横4m×縦5mの舗装面の領域を示す画像である。図示する画像は、ラインカメラによる撮影なので、道路の舗装面を上から見た映像となっている。画像の上が道路の進行方向である。

【0047】

図４は、図３に対してさらに、説明のための補助線を加筆した図である。縦方向の補助線251と、横方向の補助線252は、いずれも、道路の舗装面の50cm間隔を示している。画像201は、これらの補助線によって、50cm×50cmの正方形において横8個×縦10個に相当する領域に区分される。

【0048】

車道の左端 202 と中央線 203 に挟まれた領域 204 が、舗装のひび割れなどの損傷を検出する対象であり、走行車線1車線分に相当する。本実施の形態では、前記区分領域の左端1列の区分と右端1列の区分を処理対象外とし、中央の6列の区分のみを処理対象とする。

【0049】

なお、中央の6列の区分のみを処理対象とすることは、実際の車線幅より狭く、かつ、左右のわだち部（すなわちタイヤの通過部）よりは広い幅を処理対象として設定したことに相当する。このことは、道路の破損がもっとも急激に進行するわだち部を中心として道路の破損を検出する必要があるという要請に基づいた処理となっている。すなわち、左端1列の区分および右端1列の区分は、車線のぎりぎり端の部分であって、解析対象外としても実用上は問題がない。このため、本実施の形態では、簡易な処理で適切な処理結果を得られるという利点がある。

【0050】

本発明の範囲はこれに限るものではなく、区分する領域は左右あるいは上下に端数サイズを含んでもよいし、あるいは、車線自動認識の技術を用いて、それぞれの画像における車線幅を画像認識し、認識結果を用いて処理対象を自動的に変更してもよい。

【0051】

画像には、符号211から符号221までの計11個のひび割れ損傷が映っている。このうち、符号215と符号218は、50cm×50cmの領域の中に結節点すなわちひび割れの交点が10個以上存在する。 また、符号217は、50cm×50cmの領域の中に結節点が6個、すなわち、結節点が5個ないし9個存在する。

【0052】

道路損傷判定装置 100 の画質調整部 152は、入力された画像の画質を調整する（ステップS12）。例えば、画質調整部 152は、明るさ、コントラスト、エッジ強調、ノイズ除去、等の画像処理フィルタを、所定のパラメータで画像に適用する。パラメータは、撮影に用いたラインカメラの特性に応じて、予め定めた値を用いることができる。

【0053】

なお、本発明の範囲はこれに限るものではなく、画質調整部 152は、画像のうちの一部のみに、他の部分とは別のパラメータを用いて画像処理フィルタを適用してもよい。あるいは、画質調整部 152は、画像ごとに自動的にパラメータを調整してもよい。例えば、道路の舗装面または中央線などの道路標示（ペイント）が一定の明るさとなるように、明るさおよびコントラストの値を自動調整して、画像処理フィルタを適用してもよい。なお、元の画像において十分な鮮明さが得られているのであれば、特段の画質調整を行わなくてもよい。

【0054】

画質調整部152は、日陰により、画像の中で進行方向に連続する暗い領域を検出し、暗い領域の明るさおよびコントラストの少なくとも１つを、他の領域の明るさまたはコントラストと同じになるように調整することで、画質を調整してもよい。例えば、画像のおよそ左半分が日陰のため暗い画像となっており、かつ、右半分が日差しのため明るい画像となっている場合がある。この場合、画質調整部 152は、暗い部分と明るい部分の境目となる垂直線分を自動検出して、それより左側と右側とでそれぞれ画像処理フィルタのパラメータを個別に自動調整したうえで、垂直線分の左側と右側とでそれぞれ個別に画像処理フィルタを適用してもよい。あるいは、画質調整部 152は、左側が明るく右側が暗い画像であっても、同様に処理してもよいし、中央部のみが明るいあるいは暗い画像であっても、同様に処理してもよい。

【0055】

このようなケースは、自然光を用いて撮影するラインカメラの映像において、撮影に用いた車両自身の影によって左右で大きく明るさ等が異なる画像が進行方向に連続的に取得されるという、通常の写真とは異なる特徴的な様態として頻出する。このため、本実施の形態では、そのような入力画像の場合でも高い処理精度を得るための手法として有用である。

【0056】

図５は、画質調整前の画像の例を示す。画像の左側261は明るく、画像の右側262は影になっており暗い。この例では、画質調整部 152は、垂直線分として線分265を自動検出して、画像の左側261は道路の路面が十分に明るいから特段の明るさ調整は不要であると自動で判定する。一方、画質調整部 152は、画像の右側262は道路の路面が暗いから、画像の左側261の路面の明るさと同程度の明るさになるように、明るさおよびコントラストを調整してもよい。この際、画質調整部 152は、さらに、路面標示（道路の白線ペイント）202および203が同程度の白さになるように、明るさおよびコントラストを調整してもよい。

【0057】

図６は、画質調整前の画像の別の例を示す。この例においては、画像の中央部272が暗く、画面の左側271および画面の右側273が明るい。この例では、画質調整部 152は、暗い部分と明るい部分の境目となる垂直線分として２つの線分275、276を自動検出し、画面全体271を3つの領域に分けて明るさを自動調整する。例えば、画質調整部 152は、画像の左側271および右側273は、道路の路面が十分に明るいから特段の明るさ調整は不要であると自動で判定し、画像の中央部272は道路の路面が暗いから、画像の左側271および右側273における路面の明るさと同程度の明るさになるように、明るさおよびコントラストを調整してもよい。

【0058】

次に、道路損傷判定装置 100 の検出部 113 は、画質調整後の画像に対して、物体検出ニューラルネットワーク121に基づく検出処理を行い、あらかじめ学習させた物体を検出し、１つ以上の物体が検出された場合には、それぞれの物体を囲む矩形の画素領域の位置座標を得る（ステップS13）。本実施の形態では、あらかじめ学習させた物体は、道路の舗装の損傷を示すひび割れ（穴を含む）などである。

【0059】

図７は、ひび割れ検出処理の結果を示す。符号 211のひび割れに対しては矩形 411が、符号 212のひび割れに対しては矩形 412が、符号 213のひび割れに対しては矩形 413が、符号 214のひび割れに対しては矩形 414が、符号 215のひび割れに対しては矩形 415が、符号 216のひび割れに対しては矩形 416が、符号 217のひび割れに対しては矩形 417が、符号 218のひび割れに対しては矩形 418が、符号 219のひび割れに対しては矩形 419が、符号 220のひび割れに対しては矩形 420が、符号 221のひび割れに対しては矩形 421が、それぞれ検出され、各矩形の画素領域の位置座標が得られる。なお、矩形415の画素領域と矩形416の画素領域は、重なりあっている。

【0060】

次に、道路損傷判定装置 100 の結果選別部 114 は、前記得られた矩形の画素領域のうち、検出対象の領域 204 に含まれる矩形の画素領域のみを選別する（ステップS14）。図７に示す例では、全ての矩形の画素領域は領域 204 の範囲に含まれるため、すべての矩形の画素領域が選別される。

【0061】

次に、道路損傷判定装置 100 の検出枠融合部 115 は、前記選別された矩形の画素領域に対し、互いに重なりのある矩形を検出し、それらの矩形を重ね合わせた図形へと融合する（ステップS15）。

【0062】

図８は、矩形の画素領域の融合のようすを示す。図示する例では、矩形415の画素領域と矩形416の画素領域は重なりあっているから、検出枠融合部 115 が当該重なりを検出し、図形 515 へと融合する。例えば、検出枠融合部 115は、１つの画像内で、重なりがある複数の矩形415、416の画素領域を、当該画素領域の枠線を結合（接合）して、１つの図形515の画素領域に融合（統合）する。この結果、融合処理を行わなかった元の矩形も含めて、矩形411、矩形412、矩形413、矩形414、図形515、矩形417、矩形418、矩形419、矩形420、矩形421 の計10の図形の画素領域が得られる。

【0063】

以上示したように、道路損傷判定装置 100 に入力されたそれぞれの画像に対して、ステップS12からステップS15の処理を行うことにより、各画像に対応する道路のひび割れ箇所を示す図形（矩形、融合した図形）の画素領域の集合が処理結果として得られる。

【0064】

次に、道路損傷判定装置 100 の集計部 116 は、前記得られた処理結果に対して、以下に示す手順（式１）によって図形（画素領域）の面積の合計を用いて、区間ごとのひび割れ率（不具合率）を算出する（ステップS16）。

【0065】

【数1】

【0066】

なお、式１の結果は、ひび割れ率を百分率として表すのであれば、得られた数値を１００倍する。

【0067】

本実施の形態では１区間を5mとしたときの、各区間ごとのひび割れ率を求めるので、それぞれの入力画像ごとに集計を行えばよい。ひび割れ率は、道路（走行車線の領域）全体の面積に占める、ひび割れ等の不具合を含む画素領域の面積の比率として定義される。式１の分子は、ステップS15の結果として得られた10個の図形の画素領域の面積の和である。また、式１の分母は、検出領域の面積であり、横3m×縦5m、ドット数で表せば横3000ドット×縦5000ドットの面積である。

【0068】

なお、本実施の形態では、１区間を5mとした。本発明の範囲はこれに限るものではなく、例えば1区間を20mとして、4つの入力画像に対して式1の計算を行ったのち、得られた4つのひび割れ率の平均値を求めてもよい。あるいは、1区間を1mとして、1つの入力画像をさらに横方向（横長画像）に5分割して、分割後の横3m×縦1mに相当する5枚の画像それぞれに対して式1の計算を行ってもよい。

【0069】

本実施の形態では、式１を用いてひび割れ率を算出した。本発明の範囲はこれに限るものではなく、メッシュ法を適用してひび割れ率を算出してもよい。具体的には、例えば、入力画像を50cm×50cmのメッシュに区切り、式１の分子を「Σ（損傷を含むメッシュの面積）」とし、ステップS13で得られたひび割れを囲む画素領域が全部もしくは一部を覆うメッシュを「損傷を含むメッシュ」と見なし、当該メッシュの面積を足しこむことによって分子を計算して、ひび割れ率を算出してもよい。

【0070】

次に、道路損傷判定装置 100 の枠描画部 117 は、画質調整部 152の処理結果として得られた画像に対して、物体検出ニューラルネットワーク121が検出した結果を上書き描画した画像を生成する（ステップS17）。

【0071】

図９は、ひび割れに関する枠描画処理の結果の画像を示す。本実施の形態では、枠描画部 117 は、ひび割れの検出結果に関して、検出された図形の画素領域を取り囲む枠線を描画する。枠描画部 117 は、重なりがある画素領域については、重なり部分の枠を除いて描画する。例えば、枠描画部 117は、重なりが存在する複数の画素領域を1つの枠で描画する。

【0072】

この例では、枠描画部 117 は、ステップS14で選別された矩形411、矩形412、矩形413、矩形414、図形515、矩形417、矩形418、矩形419、矩形420、矩形421 の10の図形にそれぞれ対応する、符号611、符号612、符号613、符号614、符号615、符号617、符号618、符号619、符号620、符号621の枠線を上書き描画した画像601を生成する。

【0073】

次に、道路損傷判定装置 100 の分割部151は、画質調整部 152による画質調整後の画像を複数の部分画像に分割する（ステップS18）。すなわち、分割部151は、画像のうち、検出対象の領域 204 について、固定サイズの部分画像に分割する（ステップS18）。固定サイズは、例えば50cm×50cmの大きさであってよく、また、画像の解像度としては、例えば500×500ドットであってもよい。この場合、図４に示される補助線に沿って画像を分割すれば、横6個×縦10個の部分画像が得られる。

【0074】

次に、道路損傷判定装置 100 の判定部153は、それぞれの部分画像に対して、画像判定ニューラルネットワーク 161 を用いて、損傷レベル（損傷度合い）を判定する（ステップS19）。

【0075】

図１０は、損傷レベルの判定結果の画像を示す。本実施の形態では、判定部153は、各部分画像が損傷レベル1〜3のいずれに属するかを判定する。具体的には、判定部153は、レベル1（結節点が0個ないし4個）のクラスの教師データの画像に最も類似する部分画像はレベル1と判定し、レベル2（結節点が5個ないし9個）のクラスの教師データの画像に最も類似する部分画像はレベル2と判定し、レベル3（結節点が10個以上）のクラスの教師データの画像に最も類似する部分画像はレベル3と判定する。図示する例では、判定部153は、2つの部分画像701を損傷レベル3と判定し、1つの部分画像702を損傷レベル2と判定し、それ以外の部分画像を損傷レベル1と判定する。

【0076】

判定部153は、損傷レベル2および3の部分画像701、702を、局部損傷を含む部分画像として検出する。なお、レベル1と判定された部分画像については、局部損傷と判定しない。

【0077】

次に、道路損傷判定装置 100 の枠描画部 117 は、画質調整部 152による画質調整後の画像に対して、判定部153 が検出した結果を上書き描画した画像を生成する（ステップS20）。

【0078】

図１１は、局部損傷に関する枠描画処理の結果の画像を示す。本実施の形態では、枠描画部 117 は、損傷レベル2以上の部分画像の画素領域を取り囲む枠線を、レベルに応じた外観にて描画する。この例では、枠描画部 117 は、ステップS19で検出された損傷レベル3の2つの部分画像701には太い枠801を目立つ色で、また、損傷レベル2の1つの部分画像702には細い枠802を地味な色で、それぞれ上書き描画した画像801を生成する。

【0079】

道路損傷判定装置 100 の表示部118 は、ステップS17およびS20で枠を描画した画像を、当該道路損傷判定装置 100が備えるディスプレイの画面に表示する（ステップS21）。表示部118は、例えば図９の画像601および図１１の画像801を並べてディスプレイに表示する。

【0080】

本実施の形態では、道路損傷判定装置 100 が表示部 118 を具備する。本発明の範囲はこれに限るものではなく、表示部118を別装置としてもよい。また、道路損傷判定装置100が処理した結果のデータを、ネットワークまたは記録媒体を通じて表示装置に入力してもよい。また、道路損傷判定装置100は、表示部118を持たず、処理結果の画像ないし検出結果のデータを出力してもよい。特に、道路損傷判定装置100は、ひび割れ率あるいは局部損傷の検出結果を、CSVあるいはJSONあるいは表として出力してもよい。

【0081】

あるいは、表示部 118 は、損傷地点を地図上に表示してもよい。例えば、表示部 118は、区間に対応する地図上の道路に、ひび割れ率に応じた図形（例えば線）を設定し、表示する。表示部118は、画素領域が検出された画像が撮影された位置に、所定の図形（例えばピン）を設定した地図を表示し、前記図形が指定されると枠描画部 117により枠が描画された画像を表示してもよい。

【0082】

図１２は、地図上の道路にひび割れ率に応じた線81を設定した画面の一例を示す。これにより、区間ごとのひび割れ率を可視化することができる。表示部118は、例えば地理情報システムGIS：Geographic Information System）などを用いて、地図上の道路に、ひび割れ率を可視化した線81を設定する。記録媒体101にGPSロガー装置により取得した緯度経度の位置情報が記録され、道路損傷判定装置 100が各画像の緯度経度の情報を取得することで、表示部118は、緯度経度の情報を用いて各画像の撮影地点および区間を特定し、道路損傷判定装置100の記憶部（不図示）に保持された地図データ上に設定する。

【0083】

図１２の道路には、進行方向を示す矢印とともに、区間ごとに算出したひび割れ率に応じた線81が設定されている。表示部118は、ひび割れ率に応じて、それぞれ異なる色、線種、太さなどの態様で、地図上の線81を区間ごと設定する。例えば、符号811の線分が２０％〜４０％未満のひび割れ率の区間で、符号812の線分が４０％〜１００％未満のひび割れ率の区間であり、それ以外の線81は０％〜２０％未満のひび割れ率の区間である。これにより、利用者は、ひび割れの程度が一目で容易に理解できる。

【0084】

また、表示部118は、地図上で、ひび割れを含む画素領域、および、局所損傷（損傷レベル2、3）を含む部分画像が検出された画像が撮影された位置に、異常地点を示す図形（例えばピン82）を設定してもよい。表示部118は、不具合の種類（ひび割れ、穴、損傷レベル）に応じて、ピン82の形、色、模様などを変えて表示してもよい。道路損傷判定装置 100 は、マウスやタッチパネルなどのユーザインタフェースを有し、ピン82がクリックされた場合には、当該地点に対応する検出枠を描画した画像（図９、図１１）を表示してもよい。

【0085】

以上説明した本実施の形態では、道路損傷判定装置であって、道路を撮影した道路画像を複数の部分画像に分割する分割部と、各部分画像の道路の損傷レベルを、学習済みモデルを用いて判定する判定部と、を有し、前記損傷レベルは、ひび割れの交点を示す結節点の数に基づいて設定され、前記学習済みモデルは、損傷レベルと、当該損傷レベルに設定された範囲の結節点の数を有する画像とを含む教師データを用いて学習される。

【0086】

このように、本実施の形態では、結節点の数に基づいて損傷レベルを判定することで、損傷レベル3（結節点の数が10個以上）のように舗装全体の支持力が低下する重大な局部損傷だけでなく、その前段階の損傷レベル2の局部損傷も検出することができる。すなわち、本実施の形態では、舗装の局部損傷を、舗装全体の寿命が大幅に劣化するほどの損傷となる前段階、かつ、転倒等の交通事故の要因になる前段階で発見することができ、安価な工法で部分的な補修を行うことができる。

【0087】

すなわち、ひび割れ率に基づいて舗装の修繕を行う場合、修繕では舗装面全体に対して工事を実施することから、修繕の工事費が高く、広汎な道路に対する道路維持管理を行うには膨大な工事費が必要となる。一方、舗装の穴や、損傷レベル３の亀甲状ひび割れが進行した箇所については、アスファルト乳剤の常温塗布などの工法を用いれば、局部的な補修が可能となり、工事費を安価に抑えることができるが、これらの大きな損傷が起きた後で個別に対処するのでは、舗装全体の寿命を伸ばすことは難しく、また、個別の補修を実施するまでの間に転倒等の交通事故が発生する危険もある。本実施の形態では、道路を撮影した画像から道路の損傷レベルを判定することで、舗装の局部損傷を、舗装全体の寿命が大幅に劣化するほどの損傷となる前段階、かつ、転倒等の交通事故の要因になる前段階で検出し、安価な工法で部分的な補修し、安価な費用で舗装全体の寿命を延ばすことができる。

【0088】

また、本実施の形態では、損傷レベルに応じた数の結節点の画像（教師データ）を用いて学習された学習済みモデル（画像判定ニューラルネットワーク161）を用いることで、容易に損傷レベルを判定することができる。

【0089】

本実施の形態では、ひび割れ率および局部損傷の検出結果の両方を併用して活用することによって、舗装の補修と修繕を組み合わせた舗装の維持管理を実現できる。このため、単一の道路損傷判定装置 100 が単一の入力データを処理してひび割れ率および局部損傷の検出結果の両方を処理結果として得ることには実用上の利点がある。具体的には、局部損傷についてはアスファルト乳剤の常温塗布などの安価な工法で補修を行いながら舗装の延命を図るとともに、ひび割れ率に基づいて長期的な修繕計画を策定して計画的に工事を行うことで、道路舗装の維持管理に必要な総予算を抑えながら安全な舗装を長期間に渡って供用することができる。

【0090】

本実施の形態では、画質調整部 152が画質を調整した画像を、ひび割れ率の算出および局部損傷の検出の両方に用いることができる。このため、画質調整の処理を一度のみ行うことで済むため、ひび割れ率および局部損傷を別々の装置で処理するよりも少ない計算コストでこれらの処理が可能となる利点がある。

【0091】

本実施の形態では、ひび割れの検出を行う検出部 113には物体検出ニューラルネットワーク 121 を用いて画像そのものを処理し、局部損傷の検出を行う判定部153には画像判定ニューラルネットワーク 161 を用いて画像を事前に固定サイズに分割した部分画像を対象として処理するという使い分けを行う。これは、ひび割れ率を求めるために検出すべきひび割れの様態には、細く長い単一の線分である場合であっても漏れなく検出対象に含める必要があり、反面、ひび割れの密度はあまり問題にならないという前提がある。一方、局部損傷の進行したレベル3等の様態においては、50cm×50cmのサイズ内だけを見ても多くの結節点を含む多数のひび割れが存在して特徴的な外観を呈しており、反面、50cm×50cmのサイズ内に何個の結節点があるかといった密度そのものが指標値となるという前提がある。このため、単一の道路損傷判定装置 100 内で、ひび割れ率および局部損傷に対して、それぞれ異なる処理方法を使い分けることで、好適な結果を得ることができる。

【0092】

（変形例１）
本実施の形態では、枠描画部 117 は、ひび割れの検出結果に関して枠を描画した画像601と、局部損傷の検出結果に関して枠を描画した画像801とを別々の2枚の画像として生成したが、単一の画像にこれら2種類の枠を重ねて描画した1枚の画像を生成してもよい。あるいは、道路損傷判定装置100は、ひび割れ率および局部損傷の検出結果の両方を、単一の表に出力してもよい。また、表示部 118 は、ひび割れ率および局部損傷の検出結果の両方について、損傷地点を単一の地図上に表示してもよい。これらの工夫によって、ひび割れ率および局部損傷の検出結果の両方を併用して活用することが容易となり、さらなる効果が得られる。

【0093】

（変形例２）
本実施の形態では、道路損傷判定装置100の表示部 118 は、ひび割れ率および局部損傷の検出結果を画面に表示した。これに加えて、道路損傷判定装置100は、検出したひび割れおよび局部損傷の補修方法を選定し、前記選定結果を補修方法提案として画面に表示してもよい。すなわち、道路損傷判定装置100は、損傷レベルおよびひび割れ率の少なくとも１つを用いて、道路の補修方法および補修時期を選定する選定部を備えていてもよい。また、選定部は、損傷レベルおよびひび割れ率の少なくとも１つを用いて、道路の補修方法または補修時期を選定してもよい。

【0094】

例えば、選定部は、ひび割れ率が所定の割合（例えば40%）を超える区間については、当該区間の補修方法として「オーバーレイ工法による修繕」を選定する。また、選定部は、ひび割れ率が所定の割合を超える区間が所定数以上連続する場合、「オーバーレイ工法による修繕」を選定してもよい。

【0095】

また、選定部は、損傷レベルが所定のレベル以上（例えば、レベル2以上）の領域については、「常温表面処理工法」の補修方法を選定してもよい。また、損傷レベルが所定のレベル以上の領域が一定の区間内に多数存在する場合、「常温表面処理工法」を選定してもよい。

【0096】

あるいは、選定部は、「オーバーレイ工法による修繕」および「常温表面処理工法」以外の別の補修方法を選定してもよい。あるいは、選定部は、補修対象の道路の過去の工事履歴情報を予め準備したデータベースから取得し、ひび割れ率、損傷レベル、および、工事履歴情報を組み合わせて、補修方法を選定してもよい。その際、選定部は、特定の地点または区間で工事が繰り返し行われている工事履歴情報がある場合には、「追加詳細調査に基づく抜本的な修繕」を選定してもよい。

【0097】

あるいは、選定部は、「オーバーレイ工法による修繕」を選定した際に、補修時期として比較的遅い時期（例えば「1年以内」）を選定してもよい。また、選定部は、「常温表面処理工法」を選定した際に、さらに補修時期として比較的早い時期（例えば「7日以内」）を選定してもよい。あるいは、選定部は、ひび割れ率が所定の割合（例えば40%）を超える区間であって、かつ、損傷レベルが所定のレベル以上の局部損傷が一定数存在する場合には、補修時期として、より早い時期（例えば「半年以内」）を選定してもよい。

【0098】

あるいは、物体検出ニューラルネットワーク121の学習として、ひび割れと穴（ポットホール）とを別のクラスとして学習させた場合であって、検出部113が穴（ポットホール）を検出した場合には、選定部は、穴の補修時期としてより迅速な時期（例えば「24時間以内」）を選定してもよい。

【0099】

（変形例３）
本実施の形態では、判定部153は、画像判定ニューラルネットワーク 161とそれに与えるパラメータとの組み合わせによって構成した。本発明の範囲はこれに限るものではなく、同様の判定機能を提供する別の手法の画像ニューラルネットワークであってもよい。例えば、一般的に、物体検出ニューラルネットワークはその内部に機能部として画像判定ニューラルネットワークを組み込んでおり、従って物体検出ニューラルネットワークの機能を縮退して動作させれば画像判定ニューラルネットワークと同等の機能を提供することもできると考えられるから、判定部153を、物体検出ニューラルネットワークとそれに与えるパラメータとの組み合わせによって構成してもよい。

【0100】

例えば、損傷レベル2と、損傷レベル3の２つクラスに分類する。すなわち、損傷レベル2のクラスでは、結節点が5個ないし9個の外観的特徴を有する画像を物体検出ニューラルネットワークに学習させ、損傷レベル3のクラスでは、結節点が10個以上の外観的特徴を有する画像を物体検出ニューラルネットワークに学習させることでパラメータを作成しておく。判定部153は、前記パラメータを与えた物体検出ニューラルネットワークを用いて、結節点が5個ないし9個の外観的特徴を有する画素領域を入力画像から検出し、当該画素領域の損傷レベルをレベル2と判定してもよい。また、判定部153は、前記パラメータを与えた物体検出ニューラルネットワークを用いて、結節点が10個以上の外観的特徴を持つ領域を入力画像の中から検出し、当該画素領域の損傷レベルをレベル3と判定してもよい。

【0101】

（変形例４）
本実施の形態では、入力画像として、路面性状測定車に搭載したラインカメラで道路の舗装面を上から撮影した画像を扱うこととした。すでに述べたように、本発明の範囲はこれに限るものではなく、入力画像は、走行する車から道路の前方を撮影した静止画ないし動画、もしくは走行する車から道路の後方を撮影した静止画ないし動画であってもよい。この場合、入力画像は上から見た画像ではなく、遠近法に基づく画像となり遠方になるほど小さく見えるという特性を持つ。

【0102】

このため、損傷レベルの判定対象となる部分画像は、固定サイズではなく、異なるサイズに分割されてもよい。また、分割する部分画像は、互いに一部の領域が重なっていてもよい。

【0103】

図１３は、本変形例の道路損傷判定装置の構成を示す。図示する道路損傷判定装置100Aは、図１の道路損傷判定装置100の画質調整部152の変わりに、静止画取得部111および画像前処理部112を備える。本変形例の記憶媒体 101には、車にビデオカメラを取り付けて、道路の前方撮影した動画と、前記車にGPSロガー装置を取り付けて、時刻ごとの緯度経度の情報を記録したGPSログとが記憶される。記録媒体101の動画は、例えば1秒あたり30枚の静止画の集まりであってもよい。

【0104】

静止画取得部111は、記憶媒体101から読み込んだ動画（一連の画像）から一定距離間隔（例えば、3ｍ間隔）ごとに画像（静止画）を取得する。画像前処理部112は、静止画取得部111が取得した画像の一部の領域の画素を、マスクする。

【0105】

図１４は、本変形例の道路損傷判定装置100Aの動作を示すフローチャートである。 静止画取得部111は、GPSログに基づいて動画を一定間隔ごとの静止画に切り出す（ステップS31）。静止画取得部111は、取得したそれぞれの静止画に対して、GPSログに基づいて、その地点の緯度経度の情報も併せて対応づけて取得する。

【0106】

図１５は、道路の前方を撮影した画像（静止画）の一例を示す。図示する画像は、前方を撮影しているので、遠くのものほど小さく見える、いわゆる遠近法に基づく画像である。遠方は、地平線906 までの地面が画角内に見えている。距離としては画角の下端907 から10m以上の遠方まで、地面が見えている。車道の左端 902 と中央線 903 に挟まれた領域 904 が、舗装のひび割れ等を検出する対象となる走行車線である。中央線 903 の右側の領域 905 は、対向車線である。走行車線904の左側には、路肩 920、建物 921、信号 922 などの物体が映りこんでいる。

【0107】

走行車線904および対向車線905を含む道路の舗装には、符号911から符号916までのひび割れが映りこんでいる。このうち、符号911、符号912、符号913、符号914、符号916は、距離としては画角の下端907 から3m以内に存在するひび割れである。このうち符号914 のひび割れは、走行車線904と対向車線905に跨って存在している。また、符号913は、面的にひび割れが進行している局部損傷のひび割れ（亀甲状ひび割れ）である。符号 908 は、画角の下端207 から3m進んだ地点を図示する。符号915は、距離としては画角の下端207 から3m以上遠く、かつ、6m以内に存在するひび割れである。遠くにあるひび割れほど、画像上は小さい領域に見えている。

【0108】

画像前処理部112は、図１５に示す画像に対して、明らかに処理対象としなくてもよい一部の領域をマスクする（ステップS32）。ここでは、画像前処理部112は、地平線 906 より上の部分を黒塗りに加工する処理を行い、マスク画像を生成する。動画撮影するカメラの取り付け角度が一定であれば、道路を撮影する画角は固定だから、画像上の所定の与えられたY座標より上の画素を黒で置き換えればよい。マスク画像においては、建物 921、信号 922 などの物体がマスクされることで、無駄な検出処理を省略でき、物体検出ニューラルネットワーク121による検出精度を向上できるなどの利点が期待できる。

【0109】

検出部 113 は、マスク画像に対して、図２のステップS13と同様に物体検出ニューラルネットワーク121に基づく検出処理を行い、検出された物体を囲む矩形の画素領域の位置座標を得る（ステップS33）。物体検出ニューラルネットワーク121の学習も、上記実施の形態と同様である。

【0110】

結果選別部 114 は、走行車線の領域であって、撮影地点から所定の距離以内の領域に存在する画素領域を選択する（ステップS34）。具体的には、結果選別部 114 は、得られた矩形の画素領域のうち、走行車線の領域でかつ画角の下端から3m以内に存在するひび割れを含む矩形の画素領域のみを選別する。

【0111】

図１５に示す例では、結果選別部 114 は、画角の下端から3mより遠い位置にあるひび割れ915、および、中央線 903 より右側の対向車線のひび割れ916を除外し、残りのひび割れ911 、912、913 、914に対応する矩形の（不図示）画素領域のみを選別する。ここでは、中央線903に一部でも重なっているひび割れ914の矩形の画素領域を、選別対象に含めるものとする。また、画像前処理部 112 が十分にマスク処理を行う場合は、結果選別部 114 の処理は割愛してもよい。

【0112】

検出枠融合部 115 は、図２のステップS15と同様に、選別された矩形の画素領域に対し、互いに重なりのある矩形を検出し、それらの矩形を重ね合わせた図形へと融合する（ステップS35）。

【0113】

集計部 116 は、以下に示す手順（式２）によって、検出したひび割れの画素領域の面積の合計を用いて、区間ごとのひび割れ率を算出する（ステップS36）。なお、図１の実施の形態で区間は画像１枚の5mとしたが、本変形例では１区間を20mとしたときの、区間ごとのひび割れ率を求めるので、例えば、最初の画像から数えて７枚分の集計を行う。路線長に換算すると21mに相当する。これを踏まえ、集計部 116 は、７枚の画像のそれぞれに対して、以下の処理を行う。

【0114】

【数2】

【0115】

各画像に対して、前述の式２の分母は台形の面積である。具体的には、図１５の場合、下底は画角の下端907、上底は画角の下端907 から3m進んだ地点908、左辺は走行車線の左端 902、右辺は中央線 903の4辺で規定される台形である。なお、この台形の面積は、カメラの画角が固定されていれば、定数である。式２の分子は、ひび割れ箇所を示す図形（画素領域）の集合に関して、それぞれの図形の面積の和を用いる。集計部116は、重なりがある画素領域については、重なり部分を除いた画素領域の面積を用いる。

【0116】

集計部 116 は、前記分子を前記分母で割ることで、当該画像１枚に対するひび割れ率を求める。集計部 116 は、この処理を７枚の画像のそれぞれに対して行い、得られた７つのひび割れ率の平均を求めることで、当該区間に対するひび割れ率を算出する。

【0117】

集計部 116 は、同様にして、次々に区間ごとのひび割れ率を求める。この際、最初の区間は７枚分の集計を行ったのであるから、次の区間は７枚分、その次の区間は６枚分、の集計をそれぞれ行えば、区間長は最初から数えて２１ｍ、２１ｍ、１８ｍとなるから、合計60mとなり、これを繰り返せば距離の誤差を累積することなく、約20m区間ごとのひび割れ率を次々と算出することができる。なお、本来求めようとする1区間の長さ20mに対して、前記の例では２１ｍもしくは１８ｍの区間長となっており、差異があるが、この差異は区間長にして１割程度と大きくなく、かつ、前記差異が存在する区間に含まれるひび割れが前後いずれの区間に含まれるものとして集計されるかが変わるだけの影響であるため、前記差異が算出結果に与える影響は小さく、このため路面の点検を行う安価で簡易な方法を提供するという本発明の目的に適合する。

【0118】

枠描画部 117 は、図２のステップS17と同様に、静止画取得部111が取得した画像に、物体検出ニューラルネットワーク121が検出した結果を上書き描画した画像を生成する（ステップS37）。分割部151は、検出対象の領域（走行車線の領域でかつ画角の下から3ｍ以内の領域）を部分画像に分割する（ステップS38）。

【0119】

図１６は、図１５の画像に、補助線951、952を付加し、検出対象の領域を部分画像に分割した画像である。補助線951、952に沿って画像を分割すれば、横6個×縦6個の部分画像が得られる。本変形例では、遠近法に基づく画像のため、分割画像は、固定サイズではなく、遠方になるほど小さくなる異なるサイズに分割される。

【0120】

判定部153は、図２のステップS19と同様に、画像判定ニューラルネットワーク 161 を用いて、各部分画像の損傷レベルを判定する（ステップS39）。また、判定部153は、損傷レベルが所定のレベル以上（レベル2以上）の部分画像を、局部損傷を含む部分画像として検出する。画像判定ニューラルネットワーク 161の学習も、上記実施の形態と同様である。

【0121】

枠描画部 117 は、図２のステップS20と同様に、静止画取得部111が取得した画像に、所定のレベル以上の部分画像の枠を上書き描画した画像を生成する（ステップS40）。表示部118 は、図２のステップS21と同様に、ステップS37およびS40で枠を描画した画像を、ディスプレイの画面に表示する（ステップS41）。

【0122】

（変形例５）
本実施の形態では、単一の道路損傷判定装置 100 によって構成するものとしたが、本発明の範囲はこれに限るものではなく、複数の装置から構成してもよい。特に、検出部113によるひび割れの検出と、判定部153による局部損傷の検出とを、複数の装置あるいはプログラムの組み合わせによって行ってもよく、また、画質調整部 152の処理結果を記憶媒体またはネットワークを通じて授受してもよい。検出部113によるひび割れの検出と、判定部153による局部損傷の検出とは、いずれを先に実行してもよく、また、両方を同時に実行してもよい。検出部113によるひび割れの検出と、判定部153による局部損傷の検出とには、単一の画質調整部 152の処理結果を入力するのではなく、異なる処理ロジックないし処理パラメータによる画質調整の結果を入力してもよい。

【0123】

（変形例６）
本実施の形態では、道路損傷判定装置 100は画質調整部152によって画質を調整した後、ひび割れ率をステップS13からステップS16によって算出し、さらに、それとは独立して、損傷レベルをステップS18からステップS19で判定した。本発明の範囲はこれに限るものではなく、道路損傷判定装置 100は、ひび割れの検出結果を用いて損傷レベルの判定結果を補正してもよいし、また、損傷レベルの判定結果を用いてひび割れの検出結果を補正し、あるいは、ひび割れ率の算出結果を補正してもよい。

【0124】

例えば、ひび割れ率が所定の値（例えば60%）を上回る区間については、路面全体に渡って大幅に舗装の破損が進行した状態だと考えられるから、判定部153は、当該区間で局部損傷がレベル2として検出された部分画像を、レベル3に補正してもよい。

【0125】

また、例えば図１０において局部損傷がレベル3として検出された2つの部分画像701の間の1つの部分画像は、ひび割れの結節点が存在せずレベル1と判定されている。しかし、この部分は細かい破損が進行していると推定できるから、集計部116は、損傷レベル3の部分画像に挟まれた1つの部分画像の面積をひび割れ率の算出式（式1）の分子に加算することで、ひび割れ率の値を補正してもよい。

【0126】

あるいは、検出部113のひび割れの見落とし（誤判定）を、判定部153の判定結果を用いて補正してもよい。例えば、検出部113が、図７のひび割れ215を誤判定により検出しない場合、矩形の画素領域415はひび割れ率の算出式の分子に加味されず、実際より低いひび割れ率が算出されてしまう。ひび割れ率の精度を高くするために、集計部116は、検出部113の検出結果と、判定部153の判定結果とをマッチングし、損傷レベルが2および3の部分画像であって、対応する領域でひび割れを含む画素領域が検出されていない場合、当該部分画像の面積をひび割れ率の算出式の分子に加算して、ひび割れ率の値を補正してもよい。すなわち、検出部113が図７のひび割れ215を見落とした場合、集計部116は、図１０のひび割れ215の部分画像701の面積をひび割れ率の算出式の分子に加算する。

【0127】

本発明の装置はコンピュータとプログラムによっても実現でき、プログラムを記録媒体に記録することも、ネットワークを通して提供することも可能である。具体的には、上記説明した道路損傷判定装置 100には、例えば、CPU（Central Processing Unit、プロセッサ）と、メモリと、ストレージ（HDD：Hard Disk Drive、SSD：Solid State Drive）と、通信装置と、入力装置と、出力装置とを備える汎用的なコンピュータシステムを用いることができる。このコンピュータシステムにおいて、CPUがメモリ上にロードされた道路損傷判定装置 100用のプログラムを実行することにより、道路損傷判定装置 100の各機能が実現される。また、道路損傷判定装置100用のプログラムは、HDD、SSD、USBメモリ、CD-ROM、DVD-ROM、MOなどのコンピュータ読取り可能な記録媒体に記憶することも、ネットワークを介して配信することもできる。

【0128】

また、本発明は上記実施形態および変形例に限定されるものではなく、その要旨の範囲内で数々の変形が可能である。

【符号の説明】

【0129】

100 ：道路損傷判定装置
111 ：静止画取得部
112 ：画像前処理部
113 ：検出部
114 ：結果選別部
115 ：検出枠融合部
116 ：集計部
117 ：枠描画部
118 ：表示部
151 ：分割部
152 ：画質調整部
153 ：判定部

【要約】

【課題】道路を撮影した画像から道路の損傷レベルを判定することで、安価な費用で舗装全体の寿命を延ばす。
【解決手段】道路損傷判定装置100であって、道路を撮影した道路画像を複数の部分画像に分割する分割部151と、各部分画像の道路の損傷レベルを、学習済みモデルを用いて判定する判定部153とを有し、前記損傷レベルは、ひび割れの交点を示す結節点の数に基づいて設定され、前記学習済みモデルは、損傷レベルと、当該損傷レベルに設定された範囲の結節点の数を有する画像とを含む教師データを用いて学習される。
【選択図】図１

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】