特開 2023-112536 路面損傷位置の算定方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023112536

(43)【公開日】2023-08-14

(54)【発明の名称】路面損傷位置の算定方法

(51)【国際特許分類】

   G08G 1/00 20060101AFI20230804BHJP

   G07C 5/00 20060101ALI20230804BHJP

   G06T 7/00 20170101ALI20230804BHJP

【ＦＩ】

G08G1/00 J

G08G1/00 D

G07C5/00 Z

G06T7/00 650A

【審査請求】有

【請求項の数】12

【出願形態】ＯＬ

(21)【出願番号】P 2022014387

(22)【出願日】2022-02-01

(11)【特許番号】

(45)【特許公報発行日】2022-05-16

(71)【出願人】

【識別番号】512226273

【氏名又は名称】株式会社ファンクリエイト

(74)【代理人】

【識別番号】100138896

【弁理士】

【氏名又は名称】森川 淳

(72)【発明者】

【氏名】杉井 謙一

(72)【発明者】

【氏名】土佐林 憲

【テーマコード（参考）】

3E138

5H181

5L096

【Ｆターム（参考）】

3E138AA07

3E138MA10

3E138MB02

3E138MB08

3E138MB10

3E138MD03

3E138MF05

5H181AA01

5H181CC04

5H181CC24

5H181EE11

5H181FF05

5H181FF10

5H181FF27

5L096AA09

5L096BA04

5L096CA04

5L096FA64

5L096FA66

5L096HA08

(57)【要約】

【課題】道路の路面の損傷を安価かつ良好な精度で測定できる路面損傷位置の算定方法を提供する。
【解決手段】
道路標示を選定する工程Ｓ１と、車両の撮像装置で道路標示を撮影する工程Ｓ２と、撮影画像から画像定規を分離して定規レイヤーに格納する工程Ｓ３と、車両で道路を走行しながら撮像装置で路面を撮影して動画を得ると共に、動画のフレームに対応する車両の速度を記録する工程Ｓ４と、路面の損傷が映っている複数のフレームを特定する工程Ｓ５と、抽出したフレームに画像定規を重ねる工程Ｓ６と、画像定規に最も近い損傷を映した損傷フレームを抽出する工程Ｓ７と、位置標識の映っている複数のフレームを抽出する工程Ｓ８と、抽出したフレームに画像定規を重ねる工程Ｓ９と、画像定規に最も近い位置標識を映した標識フレームを抽出する工程Ｓ１０と、損傷フレームの撮影位置と標識フレームの撮影位置との間の距離を算出する工程Ｓ１１を有する。
【選択図】図１

【特許請求の範囲】

【請求項1】

道路上に設置されて道路の幅方向に延在する基準線状体を、車両に設置された撮像装置により撮影する基準撮影工程と、
上記基準撮影工程で撮影された画像から、上記基準線状体を示す画像定規を分離して定規レイヤーに格納する画像定規格納工程と、
点検対象の道路を走行しながら路面を上記撮像装置で撮影して動画を得ると共に、上記動画の各フレームに対応する車両の速度を記録する動画取得工程と、
上記動画取得工程で撮影された動画から、路面の損傷を含んだフレームを特定する損傷候補フレーム特定工程と、
上記損傷候補フレーム特定工程で特定されたフレームに、上記定規レイヤーの画像定規を重ねる損傷定規重畳工程と、
上記損傷定規重畳工程で画像定規が重ねられたフレームのうち、上記画像定規が損傷と重複又は最も近接しているフレームである損傷フレームを特定する損傷フレーム特定工程と、
上記動画取得工程で撮影された動画から、上記道路上の位置を特定する位置標識を含んだフレームを特定する標識候補フレーム特定工程と、
上記標識候補フレーム特定工程で特定されたフレームに、上記定規レイヤーの画像定規を重ねる標識定規重畳工程と、
上記標識定規重畳工程で画像定規が重畳されたフレームのうち、上記画像定規が位置標識と重複又は最も近接しているフレームである標識フレームを特定する標識フレーム特定工程と、
上記損傷フレーム特定工程で特定された損傷フレームの撮影位置と、上記標識フレーム特定工程で特定された標識フレームの撮影位置との間の距離を、上記動画取得工程で記録された車両の速度とフレームレートに基づいて算出する距離算出工程と
を備えることを特徴とする路面損傷位置の算定方法。

【請求項2】

請求項１に記載の路面損傷位置の算定方法において、
上記標識候補フレーム特定工程は、上記損傷フレーム特定工程で特定された損傷フレームから最も近い位置で撮影されて上記位置標識を含んだフレームを特定することを特徴とする路面損傷位置の算定方法。

【請求項3】

請求項１に記載の路面損傷位置の算定方法において、
上記標識候補フレーム特定工程は、上記損傷フレーム特定工程で特定された損傷フレームから最も少ないフレームを隔てて上記位置標識を含んだフレームを特定することを特徴とする路面損傷位置の算定方法。

【請求項4】

請求項１に記載の路面損傷位置の算定方法において、
上記基準撮影工程は、上記道路に描かれた道路標示を上記基準線状体として撮影することを特徴とする路面損傷位置の算定方法。

【請求項5】

請求項１に記載の路面損傷位置の算定方法において、
上記基準撮影工程は、上記道路上に設置された定規を上記基準線状体として撮影することを特徴とする路面損傷位置の算定方法。

【請求項6】

請求項５に記載の路面損傷位置の算定方法において、
上記定規は、平面視において等間隔をおいて設けられた複数の平行線を含むことを特徴とする路面損傷位置の算定方法。

【請求項7】

請求項１に記載の路面損傷位置の算定方法において、
上記損傷候補フレーム特定工程は、上記路面の損傷を含んだフレームを画像認識により特定することを特徴とする路面損傷位置の算定方法。

【請求項8】

請求項１に記載の路面損傷位置の算定方法において、
上記標識候補フレーム特定工程は、上記位置標識を含んだフレームを画像認識により特定することを特徴とする路面損傷位置の算定方法。

【請求項9】

請求項１に記載の路面損傷位置の算定方法において、
上記動画取得工程は、路面の損傷を知覚した係員による入力に応じて損傷インデックス情報が上記動画のフレームに対応付けられ、
上記損傷候補フレーム特定工程は、上記動画の上記損傷インデックス情報が対応付けられたフレームの周辺のフレームを対象に探索を行い、上記路面の損傷を含んだフレームを特定することを特徴とする路面損傷位置の算定方法。

【請求項10】

請求項９に記載の路面損傷位置の算定方法において、
上記動画取得工程は、位置標識を知覚した係員による入力に応じて標識インデックス情報が上記動画のフレームに対応付けられ、
上記標識候補フレーム特定工程は、上記動画の上記標識インデックス情報が対応付けられたフレームの周辺のフレームを対象に探索を行い、上記位置標識を含んだフレームを特定することを特徴とする路面損傷位置の算定方法。

【請求項11】

請求項１０に記載の路面損傷位置の算定方法において、
上記動画取得工程で取得された動画と速度情報のうち、上記損傷インデックス情報が対応付けられたフレームの周辺のフレームと、上記標識インデックス情報が対応付けられたフレームの周辺のフレームとの間のフレーム及び速度情報を送信する送信工程と、
上記送信工程で送信されたフレーム及び速度情報を受信する受信工程とを備え、
上記受信工程で受信したフレーム及び速度情報に基づいて、上記損傷候補フレーム特定工程、上記損傷定規重畳工程、上記損傷フレーム特定工程、上記標識候補フレーム特定工程、上記標識定規重畳工程、上記標識フレーム特定工程及び上記距離算出工程を行うことを特徴とする路面損傷位置の算定方法。

【請求項12】

請求項１に記載の路面損傷位置の算定方法において、
上記撮像装置は、ドライブレコーダであることを特徴とする路面損傷位置の算定方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、車両から撮影した映像に基づいて道路の点検を行う際に、路面の損傷の位置を算定する方法に関する。

【背景技術】

【0002】

高速道路では、道路の維持管理の一環として、点検車両で走行しながら道路の点検を行う路上点検を行っている。路上点検では、点検車両に乗車した点検員が、目視や車両の振動に基づいて、路面の損傷の有無を確認している。路面の損傷としては、ポットホールや、ポットホールの前段階である二方向ひび割れ等が挙げられ、これらの損傷を早期に発見することは、道路を走行する車両の安全性を確保するために重要である。

【0003】

点検員は、路上点検で路面の損傷を発見すると、損傷の大きさと位置を特定し、特定した損傷の大きさと位置に関する損傷情報を、補修を担当する補修員に通知する。補修員は、損傷情報に基づき、補修に必要な機材と材料を伴って損傷の位置に赴き、損傷の補修を行う。補修の迅速な実行のためには、路上点検で正確な損傷情報を収集する必要がある。

【0004】

従来、路上点検に使用される道路点検補助システムとして、車両の走行方向の前方を撮影するカメラと、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）受信機と、点検員に操作される押しボタンと、上記カメラとＧＰＳ受信機と押しボタンに接続されたパーソナルコンピュータを備えたものが提案されている（特許文献１参照）。この道路点検補助システムを用いて実行される路上点検では、点検員により路面の損傷が確認されると、点検員が押しボタンを押下してインデックス情報が生成される。このインデックス情報は、押しボタンの押下時にカメラで撮影された画像情報に対応付けられると共に、ＧＰＳ受信機で取得された位置情報に対応付けられ、これらの情報がパーソナルコンピュータの記憶装置に記憶される。路上点検が終了すると、記憶装置の情報が解析され、インデックス情報に対応付けられた画像情報と位置情報に基づいて、損傷の大きさと位置が特定される。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】実用新案登録第３１９５７１６号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかしながら、ＧＰＳ受信機は、トンネル内や、高架下や、高層ビルの間等ではＧＰＳ衛星の信号の受信が困難になり、位置情報を取得できないおそれがある。このため、路面の損傷の位置を特定できないおそれがある。

【0007】

そこで、本発明の課題は、道路の路上点検を行う際に、路面の損傷の位置を確実に特定できる方法を提供することにある。

【課題を解決するための手段】

【0008】

上記課題を解決するため、本発明の路面損傷位置の算定方法は、道路上に設置されて道路の幅方向に延在する基準線状体を、車両に設置された撮像装置により撮影する基準撮影工程と、
上記基準撮影工程で撮影された画像から、上記基準線状体を示す画像定規を分離して定規レイヤーに格納する画像定規格納工程と、
点検対象の道路を走行しながら路面を上記撮像装置で撮影して動画を得ると共に、上記動画の各フレームに対応する車両の速度を記録する動画取得工程と、
上記動画取得工程で撮影された動画から、路面の損傷を含んだフレームを特定する損傷候補フレーム特定工程と、
上記損傷候補フレーム特定工程で特定されたフレームに、上記定規レイヤーの画像定規を重ねる損傷定規重畳工程と、
上記損傷定規重畳工程で画像定規が重ねられたフレームのうち、上記画像定規が損傷と重複又は最も近接しているフレームである損傷フレームを特定する損傷フレーム特定工程と、
上記動画取得工程で撮影された動画から、上記道路上の位置を特定する位置標識を含んだフレームを特定する標識候補フレーム特定工程と、
上記標識候補フレーム特定工程で特定されたフレームに、上記定規レイヤーの画像定規を重ねる標識定規重畳工程と、
上記標識定規重畳工程で画像定規が重畳されたフレームのうち、上記画像定規が位置標識と重複又は最も近接しているフレームである標識フレームを特定する標識フレーム特定工程と、
上記損傷フレーム特定工程で特定された損傷フレームの撮影位置と、上記標識フレーム特定工程で特定された標識フレームの撮影位置との間の距離を、上記動画取得工程で記録された車両の速度とフレームレートに基づいて算出する距離算出工程と
を備えることを特徴としている。

【0009】

上記構成によれば、基準撮影工程で、車両に設置された撮像装置により、道路上の基準線状体を撮影する。この基準線状体は、道路上に設置されて道路の幅方向に延在するものであり、例えば停止線等の道路標示を利用することができる。また、撮影のために道路上に設置した定規等を利用してもよい。画像定規格納工程で、上記基準撮影工程で撮影された画像から、上記基準線状体を示す画像定規を分離して定規レイヤーに格納する。動画取得工程で、点検対象の道路を走行しながら路面を上記撮像装置で撮影して動画を得ると共に、上記動画の各フレームに対応する車両の速度を記録する。車両の速度は、車両に搭載された速度計の測定値を用いるのが好ましい。損傷候補フレーム特定工程で、上記動画取得工程で撮影された動画から、路面の損傷を含んだフレームを特定する。損傷定規重畳工程で、上記損傷候補フレーム特定工程で特定されたフレームに、上記定規レイヤーの画像定規を重ねる。損傷フレーム特定工程で、上記損傷定規重畳工程で画像定規が重ねられたフレームのうち、上記画像定規が損傷と重複又は最も近接しているフレームである損傷フレームを特定する。標識候補フレーム特定工程で、上記動画取得工程で撮影された動画から、上記道路上の位置を特定する位置標識を含んだフレームを特定する。標識定規重畳工程で、上記標識候補フレーム特定工程で特定されたフレームに、上記定規レイヤーの画像定規を重ねる。標識フレーム特定工程で、上記標識定規重畳工程で画像定規が重畳されたフレームのうち、上記画像定規が位置標識と重複又は最も近接しているフレームである標識フレームを特定する。距離算出工程で、上記損傷フレーム特定工程で特定された損傷フレームの撮影位置と、上記標識フレーム特定工程で特定された標識フレームの撮影位置との間の距離を、上記動画取得工程で記録された車両の速度とフレームレートに基づいて算出する。こうして、路面の損傷の位置を、車両に設置された撮像装置で撮影された情報と車両の速度に基づいて、位置標識からの距離により特定することができる。したがって、ＧＰＳ受信機で取得した位置情報で損傷を特定する従来の道路点検補助システムのように、ＧＰＳ受信機の受信状況の影響を受けることが無い。その結果、路面の損傷の位置を、安定して正確に特定することができ、道路の補修員に正確に損傷位置を伝達できて、路面の損傷を迅速に補修することができる。また、位置標識として、道路管理で道路上の位置を特定するために一般的に使用されているキロポストを採用することにより、補修員に迅速かつ正確に損傷の位置を把握させることができて、迅速に損傷の補修を行うことができる。また、上記基準撮影工程で取得される画像と、上記動画取得工程で取得される動画は、いずれも車両に設置された撮像装置で撮像したものであるので、上記損傷定規重畳工程と上記標識定規重畳工程で動画に画像定規を重ね合わせることにより、路面の損傷と位置標識との間の関係を、レンズの歪み等の影響を排除して正確に把握することができる。

【0010】

一実施形態の路面損傷位置の算定方法は、上記標識候補フレーム特定工程は、上記損傷フレーム特定工程で特定された損傷フレームから最も近い位置で撮影されて上記位置標識を含んだフレームを特定する。

【0011】

上記実施形態によれば、標識候補フレーム特定工程で、動画を損傷フレームからコマ送り又はコマ戻しをしながら確認することにより、比較的容易に標識を含んだフレームを特定することができる。

【0012】

一実施形態の路面損傷位置の算定方法は、上記標識候補フレーム特定工程は、上記損傷フレーム特定工程で特定された損傷フレームから最も少ないフレームを隔てて上記位置標識を含んだフレームを特定する。

【0013】

上記実施形態によれば、標識候補フレーム特定工程で、動画を損傷フレームからコマ送り又はコマ戻しをしながら確認することにより、比較的容易に標識を含んだフレームを特定することができる。

【0014】

一実施形態の路面損傷位置の算定方法は、上記基準撮影工程は、上記道路に描かれた道路標示を上記基準線状体として撮影する。

【0015】

上記実施形態によれば、道路に描かれた道路標示を基準線状体として撮影することにより、少ない手間で画像定規を得ることができる。ここで、道路標示としては、停止線等のような路面に描かれた図形が広く該当する。

【0016】

一実施形態の路面損傷位置の算定方法は、上記基準撮影工程は、上記道路上に設置された定規を上記基準線状体として撮影する。

【0017】

上記実施形態によれば、予め準備された定規を道路上に設置し、この定規を基準線状体として撮影することにより、迅速に画像定規を得ることができる。

【0018】

一実施形態の路面損傷位置の算定方法は、上記定規は、平面視において等間隔をおいて設けられた複数の平行線を含む。

【0019】

上記実施形態によれば、等間隔の複数の平行線を含んだ定規を道路上に設置し、この定規を基準撮影工程で基準線状体として撮影することにより、この基準線状体を撮影して得られた画像定規で、動画の路面上における車両の走行方向の距離を容易かつ正確に測定することができる。

【0020】

一実施形態の路面損傷位置の算定方法は、上記損傷候補フレーム特定工程は、上記路面の損傷を含んだフレームを画像認識により特定する。

【0021】

上記実施形態によれば、動画に対して画像認識を行うことにより、路面の損傷を含んだフレームを容易に特定することができる。

【0022】

一実施形態の路面損傷位置の算定方法は、上記標識候補フレーム特定工程は、上記位置標識を含んだフレームを画像認識により特定する。

【0023】

上記実施形態によれば、動画に対して画像認識を行うことにより、位置標識を含んだフレームを容易に特定することができる。

【0024】

一実施形態の路面損傷位置の算定方法は、上記動画取得工程は、路面の損傷を知覚した係員による入力に応じて損傷インデックス情報が上記動画のフレームに対応付けられ、
上記損傷候補フレーム特定工程は、上記動画の上記損傷インデックス情報が対応付けられたフレームの周辺のフレームを対象に探索を行い、上記路面の損傷を含んだフレームを特定する。

【0025】

上記実施形態によれば、動画取得工程において、係員が路面の損傷を知覚して入力を行い、この入力に応じて損傷インデックス情報が動画のフレームに対応付けられる。この後、損傷候補フレーム特定工程において、動画に対して、上記損傷インデックス情報が対応付けられたフレームの周辺のフレームを対象に探索を行うことにより、路面の損傷を含んだフレームを容易かつ迅速に特定することができる。

【0026】

一実施形態の路面損傷位置の算定方法は、上記動画取得工程は、位置標識を知覚した係員による入力に応じて標識インデックス情報が上記動画のフレームに対応付けられ、
上記標識候補フレーム特定工程は、上記動画の上記標識インデックス情報が対応付けられたフレームの周辺のフレームを対象に探索を行い、上記位置標識を含んだフレームを特定する。

【0027】

上記実施形態によれば、動画取得工程において、係員が位置標識を知覚して入力を行い、この入力に応じて標識インデックス情報が動画のフレームに対応付けられる。この後、標識候補フレーム特定工程において、動画に対して、上記標識インデックス情報が対応付けられたフレームの周辺のフレームを対象に探索を行うことにより、位置標識を含んだフレームを容易かつ迅速に特定することができる。

【0028】

一実施形態の路面損傷位置の算定方法は、上記動画取得工程で取得された動画と速度情報のうち、上記損傷インデックス情報が対応付けられたフレームの周辺のフレームと、上記標識インデックス情報が対応付けられたフレームの周辺のフレームとの間のフレーム及び速度情報を送信する送信工程と、
上記送信工程で送信されたフレーム及び速度情報を受信する受信工程とを備え、
上記受信工程で受信したフレーム及び速度情報に基づいて、上記損傷候補フレーム特定工程、上記損傷定規重畳工程、上記損傷フレーム特定工程、上記標識候補フレーム特定工程、上記標識定規重畳工程、上記標識フレーム特定工程及び上記距離算出工程を行う。

【0029】

上記実施形態によれば、送信工程で、動画取得工程で取得された動画と速度情報のうち、損傷インデックス情報が対応付けられたフレームの周辺のフレームと、標識インデックス情報が対応付けられたフレームの周辺のフレームとの間のフレーム及び速度情報が送信される。この送信工程で送信されたフレーム及び速度情報を、受信工程で受信する。送信工程と受信工程は、無線通信により行うのが好ましい。上記受信工程で受信したフレーム及び速度情報に基づいて、損傷候補フレーム特定工程、損傷定規重畳工程、損傷フレーム特定工程、標識候補フレーム特定工程、標識定規重畳工程、標識フレーム特定工程及び距離算出工程を行うことにより、送信位置から離れた受信位置で、路面の損傷位置を特定することができる。

【0030】

一実施形態の路面損傷位置の算定方法は、上記撮像装置は、ドライブレコーダである。

【0031】

上記実施形態によれば、ドライブレコーダを利用することにより、安価な装備で路面の損傷位置を正確に特定することができる。したがって、道路の日常点検により、路面の損傷を良好な精度で特定でき、迅速に損傷の補修を行うことができる。

【図面の簡単な説明】

【0032】

【図1】本発明の実施形態の路面損傷位置の算定方法を示すフロー図である。

【図2】車両に搭載した撮像装置で基準線状体を撮影する様子を示す模式図である。

【図3】撮像装置を示すブロック図である。

【図4】基準線状体を撮影した画像を示す模式図である。

【図5】動画中の路面損傷位置に画像定規を重ねた様子を示す模式図である。

【図6】動画中の位置標識に画像定規を重ねた様子を示す模式図である。

【図7】動画のフレームの取得時における速度と、フレームの撮影位置との関係を示す模式図である。

【図8】動画の複数のフレームにおける位置標識と画像定規との関係を示す模式図である。

【図9】基準線状体としての定規を示す平面図である。

【図10】他の実施形態の定規を示す平面図である。

【発明を実施するための形態】

【0033】

以下、本発明を図示の実施の形態により詳細に説明する。

【0034】

図１は、本発明の実施形態の路面損傷位置の算定方法を示すフロー図である。本実施形態の路面損傷位置の算定方法は、道路の舗装の表面に発生したひび割れ、ポットホール、剥離及びわだち掘れ等の損傷を発見し、これらの損傷の位置を特定することを目的としている。本実施形態の路面損傷位置の算定方法は、車両に撮像装置を搭載し、点検対象の道路を上記車両で走行しながら路面を撮像装置で撮影し、これにより得られた画像に基づいて、路面の損傷を発見すると共に損傷の位置を算定するものである。

【0035】

本実施形態の路面損傷位置の算定方法では、まず、基準線状体として使用する道路標示を選定する（ステップＳ１）。道路標示は、道路の路面に描かれた停止線等のように、撮像装置が搭載された車両が直進するときの走行方向に対して直角の方向、すなわち、車両の幅方向に延在する要素を含むものを選定する。また、道路標示が設置された道路は、駐車場や作業場など、基準線状体の撮影が可能な場所を広く含む。また、基準線状体は、道路標示に限らず、道路の路面に設置した定規を用いてもよい、すなわち、ステップＳ１の工程は、基準線状体として使用する定規を、道路の路面に車両の走行方向と直角に設置する定規設置工程であってもよい。

【0036】

次に、基準撮影工程を行う。すなわち、車両に設置された撮像装置により、ステップＳ１で選定した基準線状体としての道路標示を、上記車両の走行方向の前方に位置する状態で撮影する（ステップＳ２）。撮像装置は、レンズを通して入力された可視光の画像を生成して出力するものであり、静止画像と動画像のいずれも出力できるものが好ましい。また、ステップＳ１で路面に基準線状体として定規を設置した場合は、この定規が車両の走行方向の前方に位置する状態で撮影する。

【0037】

次に、上記基準撮影工程で得た画像から、道路標示の部分を示す画素で形成された画像定規を分離し、定規レイヤーに格納する画像定規格納工程を行う（ステップＳ３）。画像定規格納工程は、撮像装置に設けられた画像処理部により実行する。また、撮像装置に、パーソナルコンピュータやスマートフォン等の情報処理装置を接続し、撮像装置から情報処理装置へ基準線状体を含む画像を転送し、情報処理装置に設けられた画像処理部により実行してもよい。ここで、定規レイヤーに格納される画像は、道路標示を示す画素以外の画素は、非表示に設定してもよく、あるいは、削除してもよい。また、上記道路標示の撮影画像は単一のレイヤーを有し、このレイヤーを定規レイヤーとして、画像定規のみを格納してもよい。また、ステップＳ２で道路の表面に設置された定規を撮影した場合は、撮影画像から、定規の部分を示す画素で形成された画像定規を分離する。

【0038】

続いて、上記車両で点検対象の道路を走行しながら、上記撮像装置で路面を含む前方の景色を撮影して動画を得ると共に、この動画を構成する各フレームに対応する車両の速度を記録する動画取得工程を行う（ステップＳ４）。この動画取得工程を行うとき、ステップＳ２の基準撮影工程で基準線状体を撮影したときの撮像装置の位置及び角度は、変更させないで同一にしておく。動画の各フレームに対応する車両の速度は、車両に装備されている速度測定装置から出力される信号に基づいて特定する。例えば、車両の変速装置や速度計から出力される車速パルスを撮像装置に入力し、動画のフレームが生成された時の速度を車速パルスから特定し、特定した速度を示す速度情報を上記フレームに対応付けて記憶装置に記憶する。

【0039】

上記ステップＳ２の基準撮影工程と、上記ステップＳ４の動画取得工程は、いずれを先に行ってもよい。また、上記基準撮影工程で基準線状体を撮影するときと、上記動画取得で動画を取得するときは、車両の積載量を同一にして、撮像装置の撮影条件を同一にする必要がある。車両の積載量を同一にするためには、基準撮影工程と動画取得工程で同一人が搭乗し、また、車内の積載物を同一にする必要がある。

【0040】

また、上記ステップＳ３の画像定規格納工程は、上記ステップＳ４の動画取得工程の後に行ってもよい。

【0041】

上記ステップＳ４の動画取得工程の後、この動画取得工程で得た動画から、路面の損傷が映っている複数のフレームを特定する損傷候補フレーム特定工程を行う（ステップＳ５）。なお、フレームとは、動画を構成する静止画像を意味する。損傷候補フレーム特定工程は、撮像装置が有する表示装置に動画を再生し、再生された動画を操作者が視認して行うことができる。また、撮像装置に、パーソナルコンピュータやスマートフォン等の情報処理装置を接続し、撮像装置から情報処理装置へ動画を転送し、情報処理装置が有する表示装置に動画を再生して損傷を含んだフレームを特定してもよい。また、動画中の損傷を含んだフレームは、画像認識の手法により、動画から抽出して特定してもよい。

【0042】

続いて、上記ステップＳ５で特定した損傷を含む複数のフレームに、上記定規レイヤーの画像定規を重ね合わせて複数の損傷複合フレームを作成する損傷定規重畳工程を行う（ステップＳ６）。この損傷複合フレームは、公知の画像処理技術により動画と画像定規を重ね合わせて形成できる。

【0043】

この後、上記損傷定規重畳工程で形成された複数の損傷複合フレームのうち、上記画像定規が損傷と重複しているフレーム、又は、上記画像定規が損傷に最も近接しているフレームである損傷フレームを特定する損傷フレーム特定工程を行う（ステップＳ７）。

【0044】

また、上記ステップＳ４の動画取得工程で撮影された動画から、道路上の位置を特定する位置標識を含んだフレームを特定する標識候補フレーム特定工程を行う（ステップＳ８）。ここで、位置標識とは、例えばキロポストのように、道路の周囲に設置され、その設置位置が既知である標識等をいう。位置標識としては、キロポストの他に、道路を支持する橋梁の橋脚番号や、各種の道路標識等が該当する。位置標識を含んだフレームは、上記ステップＳ７の損傷フレーム特定工程で特定されたフレームに移った損傷から、最も近い位置に設置された位置標識を映したフレームを選択することが好ましい。また、上記ステップＳ７の損傷フレーム特定工程で特定された損傷を含むフレームから、最も少ないフレーム数を隔てて位置標識が映っているフレームを選択してもよい。また、上記位置標識を含んだフレームは、上記ステップＳ７の損傷フレーム特定工程で特定された損傷を含むフレームよりも前に撮影されたフレームから抽出する。すなわち、ステップＳ７で特定されたフレームの損傷よりも車両の走行方向の後方に位置する位置標識が映ったフレームを特定する。ここで、上記ステップＳ７で特定された損傷を含むフレームよりも後のフレームから位置標識を含んだフレームを抽出してもよく、すなわち、ステップＳ７で特定されたフレームの損傷よりも車両の前方に位置する位置標識が映ったフレームを特定してもよい。この標識候補フレーム特定工程は、撮像装置が有する表示装置に動画を再生し、再生された動画を操作者が視認して行うことができる。また、撮像装置にパーソナルコンピュータやスマートフォン等の情報処理装置を接続し、撮像装置から情報処理装置へ動画を転送し、情報処理装置が有する表示装置に動画を再生して位置標識を含んだフレームを特定してもよい。また、動画中の位置標識を含んだフレームは、画像認識により動画から抽出して特定してもよい。

【0045】

続いて、上記ステップＳ８で特定した位置標識を含む複数のフレームに、上記定規レイヤーの画像定規を重ね合わせて複数の標識複合フレームを作成する標識定規重畳工程を行う（ステップＳ９）。この標識複合フレームは、公知の画像処理技術により動画と画像定規を重ね合わせて形成できる。

【0046】

この後、上記標識定規重畳工程で形成された複数の標識複合フレームのうち、上記画像定規が位置標識と重複しているフレーム、又は、上記画像定規が位置標識に最も近接しているフレームである標識フレームを特定する標識フレーム特定工程を行う（ステップＳ１０）。

【0047】

そして、上記損傷フレーム特定工程で特定された損傷フレームの撮影位置と、上記標識フレーム特定工程で特定された標識フレームの撮影位置との間の距離を算出する距離算出工程を行う（ステップＳ１１）。この距離算出工程では、動画取得工程で動画のフレームに対応付けて記憶された速度を利用する。すなわち、標識フレームから損傷フレームまでの全てのフレームについて、各フレームに対応付けられた速度を読み出し、各々の速度の値に、フレームの撮影時間間隔を乗じる。フレームの撮影時間の間隔は、フレームレートがｒ（ｆｐｓ）である場合、１／ｒ（ｓ）である。これにより得た各フレーム間における車両の走行距離につき、標識フレームから損傷フレームまでの総和を得て、標識フレームから損傷フレームまでの距離を算出する。こうして、位置標識から、路面の損傷までの距離が算出される。上記位置標識の内容と、この位置標識から損傷までの距離とを組み合わせることにより、損傷の位置を高い精度で表すことができる。例えば、本実施形態の路面損傷位置の算定方法で特定された損傷の位置を、位置標識の位置と、この位置標識から損傷までの距離とで補修員に知らせることにより、補修員は迅速かつ正確に路面の損傷の位置を把握できる。したがって、補修員を迅速に損傷位置に到達させて、損傷の補修を迅速に実行させることができる。

【0048】

このように、本実施形態の路面損傷位置の算定方法によれば、同一の車両に設置された同一の撮像装置を用いて、基準撮影工程と動画取得工程を行っている。したがって、基準撮影工程で得た画像から形成された画像定規を、動画取得工程で得られた動画のフレームに重ね合わせる際に、画像の補正や変換を行う必要が無い。例えば、レンズに起因する歪みの補正や、撮影角度に応じた遠近の歪みの補正等を行う必要が無い。したがって、損傷定規重畳工程及び標識定規重畳工程を容易に行うことができる。また、損傷フレーム特定工程で特定される損傷フレームと、標識フレーム特定工程で特定される標識フレームについて、フレームに対する画像定規の位置に、画像の補正や変換による誤差が生じない。したがって、損傷フレーム中の損傷と、標識フレーム中の位置標識との間の距離を、少ない誤差で特定することができる。また、本実施形態の路面損傷位置の算定方法は、車両の例えばフロントウィンドウを通して撮影するように設置された撮像装置により、基準撮影工程と動画取得工程を実行できる。したがって、例えばラインスキャンカメラ等の特殊な撮像装置を用いることなく、また、ラインスキャンカメラを路面の垂直方向に向けて設置された特殊な構造の車両を用いることなく、簡易な装備の車両で実施できる。このため、本実施形態の路面損傷位置の算定方法は、多くの車両に比較的安価な装備を搭載して実施できる。その結果、路面の損傷に関する点検を、頻度の比較的高い日常点検として、比較的低いコストで行うことができる。

【0049】

また、本実施形態の路面損傷位置の算定方法は、ＧＰＳ受信機を用いないで路面の損傷位置を特定できるので、ＧＰＳ信号の受信状況に起因して位置の特定精度が低下する不都合を防止できる。なお、本実施形態の路面損傷位置の算定方法において、補助的にＧＰＳ信号を利用してもよい。

【0050】

図２は、上記ステップＳ２の基準撮影工程において、車両に搭載された撮像装置で基準線状体を撮影する様子を示す模式図である。図２において、１は道路の表面である路面であり、２は車両であり、３は撮像装置であり、１６は基準線状体としての道路標示である。図２に示すように、基準撮影工程では、車両２が走行する路面１上で、この車両２の走行方向の前方に、線状の道路標示１６が車両の幅方向に延在するように車両２を配置した状態で、撮像装置３で道路標示１６を撮影する。

【0051】

図３は、撮像装置３を示すブロック図である。図３に示すように、撮像装置３は、レンズ６と、レンズ６からの光を電気信号に変換する撮像素子を含んで画像データを出力する撮像部７と、撮像装置３の動作を制御する制御部８と、撮像部７で作成された画像データを記憶する記憶装置としての記憶部９を有する。この撮像装置３は、図示しない蓄電池や、車両の電源装置に接続された電源線によって電力が供給される。また、撮像装置３は、動作の指令入力や各種の設定入力を行うための入力部１１と、撮影した画像や設定及び動作に関する情報を表示する表示部１２を有する。この撮像装置３は、デジタルカメラやドライブレコーダ等で構成できる。デジタルカメラやドライブレコーダ等で構成された撮像装置３は、走行方向の前方の路面と道路の周辺の様子を撮影するように、車両２の室内に設置することができる。撮像装置３は、例えば車両２の天井面や、後方確認用のルームミラーや、フロントウィンドウの上部や、ダッシュボードの上等に配置することができる。したがって、従来の点検車両のように、車両の外側に特殊な部材を固定して、路面の垂直方向に向けてカメラを支持する必要が無い。

【0052】

図４は、上記ステップＳ２の基準撮影工程において、撮像装置３で基準線状体としての道路標示１６を撮影して得た画像１５を示す模式図である。図４に示すように、道路標示１６が車両２の走行方向の前方に位置して走行方向と直角に延在する様子を映した画像１５を取得する。道路標示１６として、例えば停止線を利用するのが好ましい。この画像１５から、上記ステップＳ３の画像定規格納工程で、道路標示１６の幅方向に延在する部分を切り取って画像定規１８を作成し、定規レイヤーに格納する。

【0053】

図５は、ステップＳ７の損傷フレーム特定工程において、画像定規１８が路面の損傷１９と重複している損傷フレーム１７を示す模式図である。この損傷フレーム１７は、ステップＳ６の損傷定規重畳工程において、損傷１９を含む複数のフレームに、定規レイヤーの画像定規１８を重ね合わせて作成された複数の損傷複合フレームから特定されたものである。

【0054】

図６は、ステップＳ１０の標識フレーム特定工程において、画像定規１８が位置標識２０と重複している標識フレーム２１を示す模式図である。この標識フレーム２１は、ステップＳ９の標識定規重畳工程において、位置標識２０を含む複数のフレームに、定規レイヤーの画像定規１８を重ね合わせて作成された複数の標識複合フレームから特定されたものである。

【0055】

図７は、ステップＳ１１の距離算出工程で行う処理を模式的に示した図であり、動画のフレームの取得時における速度と、フレームの撮影位置との関係を示したものである。図７に示すように、損傷フレーム１７が、動画の標識フレーム２１からｎ番目のフレームであるとし、標識フレーム２１から損傷フレーム１７までの各々のフレームに、車両２の速度がＶ_１からＶ_ｎまで順次対応付けられているとする。また、各フレームの撮影時間の間隔はΔｔであるとする。この場合、例えば標識フレーム２１と、この標識フレーム２１の次のフレームとの間の距離ｌ_１は、（Ｖ_１＋Ｖ_２）Δｔ／２と表される。また、損傷フレーム１７の前のフレームと、損傷フレーム１７との間の距離ｌ_ｎ－１は、（Ｖ_ｎ－１＋Ｖ_ｎ）Δｔ／２と表される。すなわち、標識フレーム２１からｉ番目のフレームと、ｉ＋１番目のフレームとの間の距離ｌ_ｉは、（Ｖ_i＋Ｖ_ｉ＋１）Δｔ／２と表される。すなわち、隣り合うフレームが撮影されたときの各々の速度Ｖ_i，Ｖ_ｉ＋１の平均に、フレームの撮影時間間隔Δｔを乗じることにより、フレーム間の距離ｌ_ｉが求められる。ここで、フレームの撮影時間間隔Δｔは、フレームレートｒの逆数である。上記フレーム間の距離ｌ_ｉのｉが１からｎまでの総和を算出することにより、標識フレーム２１から損傷フレーム１７までの距離Ｌを求めることができる。こうして、距離算出工程では、標識フレーム２１の撮影位置から損傷フレーム１７の撮影位置までの距離を、動画取得工程で得た動画及び速度の情報に基づいて算出することができる。

【0056】

図８は、ステップＳ１０の標識フレーム特定工程において、連続する複数のフレームにおける画像定規１８と位置標識２０との関係を１つのフレーム２２にまとめて表した模式図である。図８には、位置標識２０が位置Ｐ_１に存在するフレーム２２に、このフレーム２２に続く３つのフレームにおける位置標識２０の位置Ｐ_２，Ｐ_３，Ｐ_４を示している。いずれのフレームも、撮影時の速度は同一であるとする。位置標識２０が位置Ｐ_１，Ｐ_２，Ｐ_３，Ｐ_４に存在するフレーム２２は、いずれも標識複合フレームであり、これらのフレームから、標識フレームを特定する。位置標識２０が位置Ｐ_１，Ｐ_２，Ｐ_３，Ｐ_４に存在するフレーム２２のうち、画像定規１８が最も位置標識２０に近接しているフレームは、位置標識２０が位置Ｐ_２又はＰ_３にあるフレームである。これらのフレームのいずれかを標識フレームとして選択することにより、位置標識２０の位置に関する誤差をｌ／２以下に抑えることができる。ここで、撮像装置３が撮影した動画のフレームレートが３０（ｆｐｓ）である場合、隣り合うフレームの撮影位置の相互距離ｌは、車両の速度に応じて表１のように変化する。

【表1】

表１から分かるように、車両２が時速１００ｋｍで走行していた場合であっても、フレーム間の距離は９３ｃｍであるため、図８の位置標識２０が位置Ｐ_２又はＰ_３，のいずれに位置するフレームを選択しても、画像定規１８からのずれは、５０ｃｍ以下である。すなわち、位置標識２０の実際の位置に対する誤差は、９３ｃｍの半分である４６．５ｃｍに抑えられる。したがって、位置標識２０が画像定規１８と一致しなくても、実用的に許容可能な誤差の範囲で、路面の損傷位置を特定できる。なお、ステップＳ７の損傷フレーム特定工程において、画像定規１８が損傷１９に最も近接しているフレームである損傷フレームを特定する場合についても同様である。すなわち、損傷１９を含む複数の損傷複合フレームのうち、画像定規１８が損傷１９に最も近いフレームを選択することにより、フレームの撮影位置間の距離の半分の誤差で、損傷１９の位置を特定できる。

【0057】

図８において、位置標識２０が位置Ｐ_１，Ｐ_２，Ｐ_３，Ｐ_４にあるときのフレームを撮影した時の間で速度に変化が無い場合、位置標識２０の位置Ｐ_２，Ｐ_３，Ｐ_４は、互いに同一の距離ｌで隔てられている。しかしながら、撮像装置３が路面に対して傾斜して撮影を行うことに起因して、位置標識２０の位置Ｐ_１，Ｐ_２，Ｐ_３，Ｐ_４の相互の距離は、フレーム上では異なる距離に表れる。すなわち、フレーム中の車両２の走行方向の距離は、画像の上方向かうにつれて縮小して表示される。そこで、画像定規を形成するための基準線状体に、基準線と補助線を記載した定規を用いることにより、標識フレーム及び損傷フレーム上で標識２０及び損傷１９の位置を高い精度で特定することができる。

【0058】

図９は、基準線状体としての定規２３を示す模式平面図である。この定規２３は、矩形状の板状体に、直線で形成された基準線２４と、この基準線２４の図９において上下方向に等間隔をおいて配置された３本の補助線２５，２５，２５が記載されている。上記基準線２４と補助線２５は互いに同じ幅を有し、かつ、幅と同一の間隔をおいて配置されている。また、基準線２４と補助線２５は、互いに異なる色に着色されている。なお、補助線２５の本数は、３本に限られない。

【0059】

この定規２３を、ステップＳ２の基準撮影工程で路面に配置して撮像装置３で撮影する。この後、ステップＳ３の画像定規格納工程で撮影画像から基準線２４と補助線２５の部分を分離して画像定規として使用する。この基準線２４と補助線２５を有する画像定規を、ステップＳ６の損傷定規重畳工程で損傷１９を含む複数のフレームに重ね合わせて、損傷複合フレームを作成する。また、上記基準線２４と補助線２５を有する画像定規を、ステップＳ９の標識定規重畳工程で位置標識２０を含む複数のフレームに重ね合わせて、標識複合フレームを作成する。

【0060】

例えば、定規２３の基準線２４と補助線２５が、５ｃｍの幅と配置間隔をおいて記載されている場合、車両２の速度が時速１００ｋｍのときに撮影された動画の標識複合フレーム及び損傷複合フレームのいずれにおいても、損傷１９と位置標識２０の位置を、基準線２４と補助線２５に基づいて特定することができる。例えば、上記定規２３を用いて形成された画像定規を用いて、図８のフレーム２２と同様の標識複合フレームを作成した場合、位置標識２０が位置Ｐ_２及びＰ_３のいずれにある場合でも、位置標識２０が補助線２５，２５，２５の記載範囲に収まる。したがって、位置標識２０の基準線２４からの距離を、５ｃｍ以下の誤差で特定することができる。このように、基準線２４と補助線２５を含んだ定規２３を基準線状体として使用することにより、動画中の損傷１９及び位置標識２０の位置を正確に特定することができる。

【0061】

図１０は、他の実施形態の基準線状体としての定規２６を示す模式平面図である。この定規２６は、図９の定規２３と同様の基準線２４と補助線２５，２５，２５を有し、上記補助線２５，２５，２５に、基準線２４から近い順序を示す数字２７，２７，２７が付されている。本実施形態の定規２６で形成された画像定規を含む標識複合フレーム及び損傷複合フレームは、損傷１９又は位置標識２０と重複又は隣接する補助線２５を、数字２７に基づいて容易に特定することができる。したがって、損傷１９又は位置標識２０の位置を高い精度で容易に特定することができる。

【0062】

上記実施形態において、撮像装置３は、係員から入力を受ける入力部として押しボタンが接続され、この押しボタンが押下されたときにインデックス情報を生成するインデックス情報生成部と、上記インデックス情報を上記ボタンが押下されたときに取得された動画のフレームに対応付けて記憶部９に記録するインデックス情報記録部と、記憶部９に記憶された動画からインデックス情報に対応付けられたフレームを検索するフレーム検索部とを備えてもよい。この場合、動画取得工程において、車両２に乗車する係員が、路面の視認や車両２の振動等によって損傷１９を知覚したとき、押しボタンを押下する。また、係員が、道路の周辺に位置標識２０を視認したとき、押しボタンを押下する。これにより、インデックス情報生成部がインデックス情報を生成し、インデックス情報記録部が、押しボタンの押下時に撮影された動画のフレームに上記インデックス情報を対応付けて記憶部９に記録する。これにより、上記動画が上記インデックス情報に対応付けられて記憶部９に保存される。この後、損傷候補フレーム特定工程において、撮像装置３の記憶部９に記憶された動画から、インデックス情報に基づいて、路面の損傷が映っているフレームを、フレーム検索部によって容易かつ迅速に抽出して特定することができる。また、標識候補フレーム特定工程において、撮像装置３の記憶部９に記憶された動画から、インデックス情報に基づいて、位置標識２０が映っているフレームを、フレーム検索部によって容易かつ迅速に抽出して特定することができる。ここで、上記押しボタンは、路面の損傷１９を発見した場合と、位置標識２０を発見した場合とで、異なるボタン又は押下パターンを受け付けるように形成されてもよい。これに対応し、インデックス情報生成部は、損傷１９に対応する損傷インデックス情報と、位置標識２０に対応する標識インデックス情報とを生成するように形成されてもよい。動画のフレームに損傷インデックス情報と標識インデックス情報とを対応付けることにより、更に迅速に損傷候補フレームと標識候補フレームを特定することができる。

【0063】

また、上記実施形態において、撮像装置３は、撮影した動画及び静止画像と、速度情報と、インデックス情報を無線通信により送信する送信部を備えてもよい。この場合、撮像装置３の送信部で送信された情報を受信する受信部を備えた情報処理装置を、車両２と異なる場所に配置する。この情報処理装置により、画像定規格納工程と、損傷候補フレーム特定工程と、損傷定規重畳工程と、損傷フレーム特定工程と、標識候補フレーム特定工程と、標識定規重畳工程と、標識フレーム特定工程及び距離算出工程を実行する。これにより、車両２から離れた位置で、車両２の撮像装置３で道路を撮影するのと実質的にリアルタイムで路面の損傷を検出し、この損傷の位置を特定することができる。したがって、車両２の撮像装置３で道路を撮影してから、短時間のうちに路面の補修を実行することができる。

【0064】

また、撮像装置３と、車両２と異なる場所に配置された情報処理装置とが無線通信で接続される場合、撮像装置３に上記入力部としての押しボタンを接続し、上記インデックス情報生成部と、上記インデックス情報記録部を備える一方、上記情報処理装置に、上記フレーム検索部を備えるのが好ましい。この場合、車両２に乗車する係員が、路面の損傷１９を知覚して押しボタンを押下し、これに応じてンデックス情報生成部がインデックス情報を生成して動画のフレームに対応付けると、このフレームの周辺のフレームとして、上記インデックス情報が対応付けられたフレームよりも数個前のフレームから、その後に取得されるフレームを送信部によって送信する。このフレームの送信は、係員が位置標識２０を視認して押しボタンを押下し、これに応じてンデックス情報生成部がインデックス情報を生成して動画のフレームに対応付けるまで継続され、このインデックス情報が対応付けられたフレームよりも数個後のフレームまで送信される。このように、損傷１９を示すインデックス情報に対応付けられたフレームの周辺のフレームから、位置標識２０を示すインデックス情報に対応付けられたフレームの周辺のフレームまでを送信することにより、これらのフレームを受信した情報処理装置で、損傷１９が映った損傷候補フレームと、位置標識２０が映った標識候補フレームを確実に特定して、損傷フレームと標識フレームを精度良く特定することができる。

【0065】

本発明は、以上説明した実施の形態に限定されるものではなく、多くの変形が、本発明の技術的思想内で当分野において通常の知識を有する者により可能である。

【符号の説明】

【0066】

１ 路面
２ 車両
３ 撮像装置
６ レンズ
７ 撮像部
８ 制御部
９ 記憶部
１１ 入力部
１２ 表示部
１６ 道路標示
１７ 損傷フレーム
１８ 画像定規
１９ 損傷
２０ 位置標識
２１ 標識フレーム
２２ フレーム
２３，２６ 定規
２４ 基準線
２５ 補助線
２７ 数字

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】