特開 2022-133870 舗装健全度評価方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022133870

(43)【公開日】2022-09-14

(54)【発明の名称】舗装健全度評価方法

(51)【国際特許分類】

   G06T 7/00 20170101AFI20220907BHJP

【ＦＩ】

G06T7/00 650A

G06T7/00 350B

【審査請求】有

【請求項の数】2

【出願形態】ＯＬ

(21)【出願番号】P 2021032798

(22)【出願日】2021-03-02

(11)【特許番号】

(45)【特許公報発行日】2022-05-30

(71)【出願人】

【識別番号】505398952

【氏名又は名称】中日本高速道路株式会社

(74)【代理人】

【識別番号】100134647

【弁理士】

【氏名又は名称】宮部 岳志

(72)【発明者】

【氏名】大西 篤志

(72)【発明者】

【氏名】森 俊之

(72)【発明者】

【氏名】岡 利幸

(72)【発明者】

【氏名】榊原 稔基

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096BA04

5L096DA02

5L096GA17

5L096HA11

5L096KA04

5L096KA15

(57)【要約】      （修正有）

【課題】道路の路面を撮影しながら走行し取得した動画から抽出される、遠近法に基づく路面画像を利用し、路面画像に含まれる路面の映像領域の全部を損傷の検出に用いることを可能とし、更に、損傷誤検出の影響を受けにくい舗装健全度評価システム及び方法を提供する。
【解決手段】方法は、遠近法に基づく静止画像に含まれる損傷の映像と損傷の定義が組み合わされた画像データの複数を損傷学習データ１とし使用し物体検知モデルを構築する。そして、解析結果として出力された損傷を囲む矩形の表示された解析結果画像４における矩形の数５と解析結果画像４の目視検査により得られた舗装健全度評価結果６が組み合わされたデータの複数を評価学習データ７として使用し構築された健全度推計モデルを使用して、舗装健全度を評価する。
【選択図】図１

【特許請求の範囲】

【請求項1】

遠近法に基づく路面静止画像に含まれる損傷の映像と前記損傷の定義が組み合わされた画像データの複数を損傷学習データとし、解析対象画像において検出された対象物が矩形で囲まれた画像を解析結果として出力する画像解析を実行するための物体検知モデルを、前記損傷学習データを使用して構築し、遠近法に基づく路面静止画像に含まれる損傷を、前記物体検知モデルを使用して検出し、解析結果として出力された損傷を囲む矩形の表示された解析結果画像における前記矩形の数と前記解析結果画像の目視検査により得られた舗装健全度評価結果が組み合わされたデータの複数を評価学習データとして使用し健全度推計モデルを構築し、前記健全度推計モデルを使用して舗装健全度を評価することを特徴とする舗装健全度評価方法。

【請求項2】

前記損傷学習データは前記損傷の複数種類を含むものとされ、前記評価学習データを構成する前記舗装健全度評価結果と前記矩形の数の取得に用いられる前記解析結果画像の複数は、前記解析結果画像の各々における前記損傷の種別毎の前記矩形の数の前記種別毎の総和の標準偏差が２０を超えるものとされる請求項１に記載の舗装健全度評価方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、道路の舗装に生じている損傷に基づき舗装の状態を健全度として評価する舗装健全度評価方法に関するものである。

【背景技術】

【0002】

近年、演算処理装置による画像解析を利用し、路面画像に基づき道路の舗装に生じている損傷を検出する様々な手法が提案されている。例えば、特許第６６７８２６７号公報には、前方もしくは後方の道路を撮影した遠近法に基づく一連の画像から道路の不具合を含む画素領域を検出し、検出した画素領域の面積の合計を用いて、区間ごとの道路の不具合率を算出する道路不具合検出装置が提案されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特許第６６７８２６７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

損傷を検出する対象となる道路の路面画像は、道路の路面を撮影しながら走行し取得した動画から抽出することにより得られるが、その路面画像は遠近法に基づくものとなり、撮影点から離れた場所と近い場所とでは、実地の撮影領域に対する画素領域が、離れた場所程小さくなってしまい、損傷を検出する精度が低下する問題があった。また、撮影点との距離に応じて撮影領域に対する画素領域が異なるため、損傷を検知した画素領域が同じであっても、実際の損傷領域は撮影点との位置関係によって異なり、画素領域の数値データだけをもって路面の健全度判定を行うことを難しくしていた。

【0005】

これに対し、上記道路不具合検出装置のように、路面画像における撮影点から近い場所のみを損傷の検出対象とすることも考えられるが、この場合、損傷の検出に用いることができる映像領域は、路面画像の遠近と実地での距離の整合を取ることのできる、平坦な直線区間等の限られた領域となり、適用の難しい場所（例えば、道路のカーブ地点）もあった。しかも、各路面画像に含まれる路面の映像領域において損傷の検出に用いることができるのは一部のみとなるため、多くの路面画像の画像解析が必要となり、損傷の検出に時間を要する問題もあった。

【0006】

更に、遠近法に基づく路面画像から損傷を検出する場合、利用する画像の画角を決められた値に固定することで損傷誤検出の低減を図ることができるが、そのためには、車両に撮影機材を取り付ける際、厳密なキャリブレーションを必要とし、手間や時間を要する問題があった。また、キャリブレーションが行われたとしても、道路の縦断及び横断勾配は一様でなく走行中に絶え間なく変化することから、撮影中に画角が絶えず変化することで損傷誤検出につながるおそれがあった。また、損傷検出結果から路面の健全度を判定しようとする場合、画角の変化によって撮影領域と画素領域の関係も絶えず変化することから、画像領域の数値データをもって路面の健全度を判定することを難しくしていた。

【0007】

そこで、本発明は、道路の路面を撮影しながら走行し取得した動画から抽出される、遠近法に基づく路面画像を利用し、路面画像に含まれる路面の映像領域の全部を損傷の検出に用いることを可能とし、更に、損傷誤検出の影響を受けにくい舗装健全度評価システムを提供することを目的とする。

【課題を解決するための手段】

【0008】

本発明に係る舗装健全度評価方法では、遠近法に基づく静止画像に含まれる損傷の映像と前記損傷の定義が組み合わされた画像データの複数を損傷学習データとし、解析対象画像において検出された対象物が矩形で囲まれた画像を解析結果として出力する画像解析を実行するための物体検知モデルを、前記損傷学習データを使用して構築する。そして、遠近法に基づく路面静止画像に含まれる損傷を、前記物体検知モデルを使用して検出し、解析結果として出力された損傷を囲む矩形の表示された解析結果画像における前記矩形の数と前記解析結果画像の目視検査により得られた舗装健全度評価結果が組み合わされたデータの複数を評価学習データとして使用し健全度推計モデルを構築し、前記健全度推計モデルを使用して舗装健全度を評価することを特徴とする。

【0009】

前記損傷学習データは前記損傷の複数種類を含むものとされ、前記評価学習データを構成する前記舗装健全度評価結果と前記矩形の数の取得に用いられる前記解析結果画像の複数は、前記解析結果画像の各々における前記損傷の種別毎の前記矩形の数の前記種別毎の総和の標準偏差が２０を超えるものとされてもよい。

【0010】

損傷の種類分けに制限はないが、例えば、以下の種類分けを採用することができる。
「オープンクラック」ひび割れ幅がやや大きいもの。
「クラックシール」ひび割れが補修により閉鎖された痕。
「タイトクラック」ひび割れ幅が狭小のもの。
「パッチング」損傷部分が面的に補修された痕。
「スポーリング」舗装表面が剥離したもの。
「亀甲クラック」亀甲形を形成する複数の小さなひび割れの群。
「ブロッククラック」ひび割れが接続し比較的大きな多角形を形成するもの。

【発明の効果】

【0011】

本発明に係る舗装健全度評価方法では、解析対象画像において検出された対象物が矩形で囲まれた画像を解析結果として出力する画像解析を実行し、解析結果として出力された損傷を囲む矩形の表示された解析結果画像における矩形の数と解析結果画像の目視検査により得られた舗装健全度評価結果が組み合わせである評価学習データにより健全度推計モデルを構築し、その健全度推計モデルを使用して舗装健全度を評価するため、損傷の存在の有無が確認できればよく、損傷の形状を特定する必要がない。そのため、遠近法に基づく路面画像の撮影地点から離れた場所の映像領域も、損傷の検出に用いることができる。

【0012】

また、評価学習データの作成に用いられる解析結果映像において検知されている矩形の数が多いほど、評価学習データの全体に占める矩形１つ当たりの有意性が低下するため、ある損傷区分で突発的な損傷誤検出が生じた場合でも、その損傷誤検出は推計上有意な影響を持たなくなる。すなわち、損傷誤検出の影響を受けにくいものとなる。

【0013】

そして、損傷学習データを損傷の複数種類を含むものとし、評価学習データを構成する舗装健全度評価結果と矩形の数の取得に用いられる解析結果画像の複数を、解析結果画像の各々における損傷の種別毎の矩形の数の種別毎の総和の標準偏差が２０を超えるものとすることにより、解析結果映像において検知されている矩形の数を、損傷誤検出が推計上有意な影響を持たなくなる範囲とすることができる。

【図面の簡単な説明】

【0014】

【図1】本発明に係る舗装健全度評価方法の実施形態の概要を示すブロック図である。

【図2】解析結果画像の一例を示す図面代用写真である。

【図3】矩形数データの一例を示す図である。

【発明を実施するための形態】

【0015】

図を参照しながら、本発明に係る舗装健全度評価方法の実施形態を説明する。
この実施形態では、解析対象画像において検知された対象物が矩形で囲まれた画像を解析結果として出力する画像解析を実行するための物体検知モデルと、その解析結果画像に基づいた舗装健全度評価を実行するための健全度推計モデルが使用されている。

【0016】

画像解析には、オープンソースであるＹＯＬＯｖ４の使用が想定されているが、その他の公知の機械学習モデルを使用してもよい。

【0017】

物体検知モデルは、遠近法に基づく路面静止画像に含まれる損傷の映像と損傷の定義が組み合わされた画像データの複数を損傷学習データ１とした、機械学習により構築されている。

【0018】

損傷学習データ１は、遠近法に基づく路面静止画像に含まれる損傷の画像と損傷の定義が組み合わされたものである。この実施形態では、損傷を、オープンクラック、クラックシール、タイトクラック、パッチング、スポーリング、亀甲クラック、及び、ブロッククラックの７つに区分し、これらの損傷の画像に対応する名称をタグ付けすることにより、損傷の画像と損傷の定義が組み合わされたデータの複数が作成されている。そして、画像解析を行うための演算処理装置（以下、「第一の演算処理装置２」とする）の損傷学習データ記憶部１１に保存蓄積されている。

【0019】

演算処理手段２は、必要なデータを入出力するためのキーボード、スクリーン、通信ケーブル等を備えているが、これらの装備はいずれも公知であるため図示は省略する。

【0020】

物体検知モデルは、第一の演算処理装置２において、損傷学習データ記憶部１１に保存蓄積された損傷学習データ１に基づき、物体検知モデル算出部１２により構築される。そして、構築されたモデルは、物体検知モデル記憶部１３に保存されている。なお、損傷学習データ１を構成する、損傷の映像と損傷の定義が組み合わされたデータの追加や更新があった場合は、その都度モデルの再構築が行われ、再構築されたモデルはバージョンが更新され、物体検知モデル記憶部１３に保存される。

【0021】

物体検知モデル記憶部１３に保存されている物体検知モデルは、解析対象となる路面画像データ３の解析処理を実行する損傷検出部１４において使用され、損傷検出部１４は、解析結果として、検出された損傷が矩形で囲まれた解析結果画像４を出力する。図２に、解析結果画像の一例を示す。

【0022】

損傷検出部１４は、また、解析結果画像４と併せて、解析結果画像４における矩形の数のデータ（矩形数データ５）を出力する。図３に、矩形数データの一例を示す。図３において、破線で囲まれた部分が、損傷の７つの区分毎の矩形数である。また、図３に示すテーブルでは、これらの矩形数が算出された解析結果画像４のファイル名も併せて表示されている。（図３に示すテーブルの最左欄）なお、図３において、「Ｃｒａｃｋ＿Ｏｐｅｎ」はオープンクラックを、「Ｃｒａｃｋ＿Ｓｅａｌ」はクラックシールを、「Ｃｒａｃｋ＿Ｔｉｇｈｔ」はタイトクラックを、「Ｐａｔｃｈｉｎｇ」はパッチングを、「Ｓｐａｌｌｉｎｇ」はスポーリングを、「Ａｌｉｇａｔｏｒ＿Ｃｒａｃｋ」は亀甲クラックを、「Ｂｌｏｃｋ＿Ｃｒａｃｋ」はブロッククラックを意味している。

【0023】

これら複数の矩形数データ５は、解析結果画像４の目視検査により得られた舗装健全度評価結果６と組み合わされ、評価学習データ７とされる。

【0024】

解析結果画像４の目視検査による舗装健全度評価を行う手法としては、例えば、米国ウィスコンシン大学が制定しているＰＡＳＥＲ Ｍａｎｕａｌの手法を採用することができる。その場合、舗装健全度評価結果６は１０段階の判定とされる。ただし、健全度判定手法や健全度判定の段階数に制限はなく、評価対象となる路面の状況や性状等を考慮し、適切な手法を採用すればよい。

【0025】

作成された評価学習データ７は、舗装健全度評価を行うための演算処理装置（以下、「第二の演算処理装置８」とする）の評価学習データ記憶部１６に保存蓄積されている。

【0026】

なお、この実施形態では、画像解析と健全度評価は異なる演算処理装置で行われるものとなっているが、これらを一つの演算処理装置で行うこととしても良い。

【0027】

健全度推計モデルは、第二の演算処理装置８において、評価学習データ記憶部１６に保存蓄積された評価学習データ７を使用し、健全度推計モデル算出部１７で実行される機械学習により構築される。そして、構築されたモデルは、健全度推計モデル記憶部１８に保存されている。なお、評価学習データ７を構成するデータの追加や更新があった場合は、その都度モデルの再構築が行われ、再構築されたモデルはバージョンが更新され、健全度推計モデル記憶部１８に保存される。

【0028】

健全度推計モデル記憶部１８に保存されている健全度推計モデルは、解析結果画像４における矩形の数（矩形数データ５）に基づく評価解析処理を実行する健全度算出部１９において使用され、健全度算出部１９は、解析結果として、予め定義された舗装健全度の段階評価における段階を含む健全度評価結果データ９を出力する。なお、この実施形態において、健全度評価結果データ９は、健全度評価データ記憶部２０への蓄積保存処理を経て第二の演算処理装置８から出力されるものとなっているが、蓄積保存処理と出力は同時に実行されてもよく、或いは出力された健全度評価結果データ８を別の記憶装置に蓄積保存することとしてもよい。

【実施例0029】

「物体検知モデルの構築」
路上点検作業の結果として得られた、損傷の画像の複数を、その画像に含まれる損傷によりオープンクラック、クラックシール、タイトクラック、パッチング、スポーリング、亀甲クラック、及び、ブロッククラックの７つに区分し、各画像に対応する損傷区分をタグ付けすることにより損傷学習データを作成した。そして、その損傷学習データを使用し、ＹＯＬＯｖ４を用いて物体検知モデルを構築した。

【0030】

「矩形数データの取得」
撮像装置を搭載した車両を走行させ取得した動画から、遠近法に基づく路面静止画像を複数抽出し、それら路面静止画像の一部について、上記物体検知モデルによる損傷解析を実行し、矩形数データを得た。なお、矩形の検知数が異なる場合において健全度推計モデルの性能がどのように変化するかを確認するため、損傷解析時に用いる信頼水準（Ｃｏｎｆｉｄｅｎｃｅ Ｌｅｖｅｌ）の閾値（以下「ＣＬ閾値」とする）を変えることで、解析を実行した画像の各々について検知された矩形の数が異なる３種類の矩形数データを取得した。

【0031】

「評価学習データの作成」
上記矩形数データの取得に際し得られた解析結果画像の各々について、技術者が視認により健全度評価を行い、矩形の数と舗装健全度評価結果が組み合わされた評価学習データを作成した。なお、舗装健全度評価結果は検知された矩形の数が異なる３種類のデータセットに対して同一のものを用いた。

【0032】

健全度評価は、ＰＡＳＥＲ Ｍａｎｕａｌの１０段階評価を、補修方法が大きく変わる損傷段階に着目して変換した４段階評価に基づき行った。ＰＡＳＥＲ Ｍａｎｕａｌの１０段階評価と本実施例の４段階評価の関係を表１に示す。

【表1】

【0033】

「健全度推計モデルの構築」
上記３種類の評価学習データを使用し、３種類の異なる機械学習モデルから成るアンサンブルモデルを用い、健全度推計モデル（実施例１、２、３）を構築した。

【0034】

「健全度推計モデルを利用した健全度評価」
評価学習データの作成に用いられなかった矩形数データの一部について、上記健全度推計モデルによる健全度評価を行った。また、健全度評価を行った矩形数データに対応する解析結果画像の各々について、技術者が視認により健全度評価を行った。そして、健全度推計モデルによる健全度評価と技術者の視認による健全度評価の比較検証を行った。評価学習データを構成する矩形数データにおける矩形の総数、及び、それら矩形の数の損傷区分の各々に対する標準偏差と併せて、比較検証の結果を表２に示す。

【0035】

【表2】

【0036】

表２において、決定係数は、健全度推計モデルによる健全度評価と技術者の視認による健全度評価の差異であり、完全に一致する場合に１となる。また、絶対値誤差は、健全度推計モデルによる健全度評価の技術者の視認による健全度評価に対する誤差である。ＣＬ閾値を調整し、評価に反映される矩形数を増やすことにより、決定係数及び絶対値誤差の向上を図れることが確認された。なお、ＣＬ閾値の調整に際しては、評価対象路面損傷検出データにより表示される画像の損傷を囲う矩形の損傷区分の各々に対する数の総和の標準偏差（全損傷区分の平均）が２０を超えるものとすることが好ましい。

【符号の説明】

【0037】

１ 損傷学習データ
２ 第一の演算処理装置
３ 路面画像データ
４ 解析結果画像
５ 矩形数データ
６ 舗装健全度評価結果
７ 評価学習データ
８ 第二の演算処理装置
９ 健全度評価結果データ
１１ 損傷学習データ記憶部
１２ 物体検知モデル算出部
１３ 物体検知モデル記憶部
１４ 損傷検出部
１６ 評価学習データ記憶部
１７ 健全度推計モデル算出部
１８ 健全度推計モデル記憶部
１９ 健全度算出部
２０ 健全度評価データ記憶部

【図1】

【図2】

【図3】