(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-10-07
(45)【発行日】2022-10-18
(54)【発明の名称】路面点検作業支援システム
(51)【国際特許分類】
H04N 7/18 20060101AFI20221011BHJP
E01C 23/01 20060101ALI20221011BHJP
G06T 7/00 20170101ALI20221011BHJP
【FI】
H04N7/18 U
E01C23/01
G06T7/00 650A
(21)【出願番号】P 2020189113
(22)【出願日】2020-11-13
【審査請求日】2021-03-22
(73)【特許権者】
【識別番号】505398952
【氏名又は名称】中日本高速道路株式会社
(74)【代理人】
【識別番号】100134647
【氏名又は名称】宮部 岳志
(72)【発明者】
【氏名】大西 篤志
【審査官】秦野 孝一郎
(56)【参考文献】
【文献】特開2018-147314(JP,A)
【文献】特開2008-99076(JP,A)
【文献】特開2015-176540(JP,A)
【文献】特開2006-112127(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 7/18
E01C 21/00-23/24
G06T 7/00-7/90
(57)【特許請求の範囲】
【請求項1】
点検対象となる道路の路面を撮影しながら走行し取得した路面走行動画から路面静止画像の複数を抽出する画像抽出手段と、
前記路面静止画像の複数を画像データ形式で蓄積する画像記憶手段を有し、
前記画像抽出手段は、前記道路における所定の基点から前記道路に沿って進んだ距離である道路沿線距離を示すキロポスト地点の位置データと前記路面走行動画に含まれるGPSログに基づき、前記路面静止画像を
前記道路沿線距離により設定された画像抽出地点について抽出
し、前記キロポスト地点毎の撮影時間を算出し、前記キロポスト地点における前記道路沿線距離を独立変数と前記キロポスト地点毎の撮影時間を目的変数とする第一の補間関数と、前記キロポスト地点における前記道路沿線距離を独立変数と前記キロポスト地点毎の緯度及び経度を目的変数とする第二の補間関数を生成し、前記画像抽出地点の撮影時間を前記第一の補間関数に基づき算出し、前記路面静止画像を前記画像抽出地点の撮影時間に基づき抽出し、前記第二の補間関数に基づき算出された緯度と経度の情報を前記路面静止画像に紐付けすることを特徴とする路面点検作業支援システム。
【請求項2】
前記画像抽出地点は前記道路に沿って等間隔で設定される請求項1に記載の路面点検作業支援システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、道路の路面状態を点検する作業を支援するための、路面点検作業支援システムに関するものである。
【背景技術】
【0002】
道路の路面状態を点検する作業においては、その点検対象となる路面面積が極めて大きく、限られた時間内で全体を網羅するためには特定部位の状態判断に費やすことのできる時間が制限されていた。そして、人による作業では点検の範囲、頻度、精度等に限界があった。そこで、近年では、演算処理装置による画像解析を利用し、路面画像に基づき路面状態を点検する様々な手法が提案されている。
【0003】
例えば、特開2019-45922号には、点検対象となる道路の路面を撮影しながら走行し取得した動画(以下、路面走行動画とする)から道路画像データ(以下、路面静止画像とする)を抽出し、その路面静止画像に含まれる道路上の変状箇所を検出する変状箇所検出装置が提案されている。
【先行技術文献】
【特許文献】
【0004】
【発明の概要】
【発明が解決しようとする課題】
【0005】
上記変状箇所検出装置を含め、路面走行動画から路面静止画像を抽出する従来の手法では、変状の有無の判断処理を実行する毎に、点検対象となる路線の路面走行動画を選択するものであった。そして、判断処理に用いるデータは動画データ形式で蓄積されるものとなっていた。
【0006】
一方、路面状態の点検作業は、点検対象となる路線の変状の有無を把握するためのみならず、特定地点における路面の経時変化を観察するために行われる場合もある。しかしながら、動画データ形式で蓄積されているデータを経時変化の観察に用いる場合、取得日時の異なる同じ路線の路面走行動画の複数から、特定地点の路面静止画像を、観察を実行する度に抽出しなければならず、作業に手間と時間を要する問題があった。
【0007】
そこで、本発明は、路面走行動画に基づき、時間や手間をかけることなく特定地点における路面の経時変化を観察することを可能とする路面点検作業支援システムを提供することを目的とする。
【課題を解決するための手段】
【0008】
本発明に係る路面点検作業支援システムは、点検対象となる道路の路面を撮影しながら走行し取得した路面走行動画から静止画像の複数を抽出する画像抽出手段と、前記静止画像の複数を画像データ形式で蓄積する画像記憶手段を有する。そして、前記画像抽出手段は、前記道路における所定の基点から前記道路に沿って進んだ距離である道路沿線距離を示すキロポスト地点の位置データと前記動画に含まれるGPSログに基づき、前記路面静止画像を任意の画像抽出地点について抽出する。
【0009】
前記画像抽出地点は前記道路沿線距離により設定され、前記画像抽出手段は、前記キロポスト地点毎の撮影時間を算出し、前記キロポスト地点における前記道路沿線距離を独立変数と前記キロポスト地点毎の撮影時間を目的変数する第一の補間関数と、前記キロポスト地点における前記道路沿線距離を独立変数と前記キロポスト地点毎の緯度及び経度を目的変数とする第二の補間関数を生成し、前記画像抽出地点の撮影時間を前記第一の補間関数に基づき算出し、前記路面静止画像を前記画像抽出地点の撮影時間に基づき抽出し、前記第二の補間関数に基づき算出された緯度と経度の情報を前記路面静止画像に紐付けするものであってもよい。
【0010】
前記画像抽出地点は前記道路に沿って等間隔で設定されてもよい。
【発明の効果】
【0011】
本発明に係る路面点検作業支援システムでは、道路における所定の基点から当該道路に沿って進んだ距離である道路沿線距離を示すキロポスト地点の位置データと路面走行動画に含まれるGPSログに基づいて、路面走行動画から路面静止画像を任意の画像抽出地点について抽出するため、撮影時刻の異なる路面走行動画から抽出された路面静止画像を用いることにより、特定地点における路面の経時変化を観察することができる。しかも、路面走行動画から抽出された路面静止画像は、画像データ形式で蓄積されているため、観察を実行する毎の抽出作業が不要となる。従って、本発明によれば、路面走行動画に基づき、時間や手間をかけることなく特定地点における路面の経時変化を観察することが可能となる。
【0012】
また、路面走行動画から抽出された路面静止画像を画像データ形式で蓄積することにより、継時変化の観察に必要となるデータの記憶容量を削減し、システムの操作性向上を図ることにより、路面の経時変化の観察に要する手間や時間を削減することが可能となる。
【0013】
例えば、フレームレートがFPS60の路面走行動画では1秒間に60フレームの撮影がなされていることになるが、時速80kmで走行し取得した路面走行動画から道路沿線距離10mの間隔で路面静止画像を抽出した場合には、車両の移動速度は秒速22mであることから1秒間に抽出されるフレーム数は2となる。すなわち、路面静止画像の蓄積に要する記憶容量は、路面走行動画の蓄積に要する記憶容量の約3%で足りることになる。そして、この記憶容量の削減により、システムの操作性向上を図ることが可能となる。
【0014】
更に、画像抽出地点は道路沿線距離により設定し、キロポスト地点毎の撮影時間が算出され、キロポスト地点における道路沿線距離を独立変数とキロポスト地点毎の撮影時間を目的変数する第一の補間関数と、キロポスト地点における道路沿線距離を独立変数とキロポスト地点毎の緯度及び経度を目的変数とする第二の補間関数を生成し、画像抽出地点の撮影時間が第一の補間関数に基づき算出し、路面静止画像を画像抽出地点の撮影時間に基づき抽出し、第二の補間関数に基づき算出された緯度と経度の情報が路面静止画像に紐付けすることで、経時変化の観察対象となる地点を正確に特定することが可能となる。
【0015】
GPSログは動画の撮影毎に取得誤差が生じるため、そのデータを用いた路面静止画像のGIS(Geographic Information System)上の表示には位置のずれが生じる。そこで、第二の補間関数に基づき算出された緯度と経度の情報を路面静止画像に紐付けすることにより、GIS上に正確に表示することができる。そして、これにより、時変化の観察対象となる地点を正確に特定することが可能となる。
【0016】
更にまた、画像抽出地点は道路に沿って等間隔で設定することにより、経時変化の観察を行える地点の数を増やし、特定地点における路面の経時変化の観察を、より簡単に行うことができる。
【図面の簡単な説明】
【0017】
【
図1】本発明に係る路面点検作業支援システムの概要を示すシステム構成図である。
【
図2】画像抽出手段の処理手順を示すフローチャート図である。
【
図3】データクレンジングの概要を説明する図である。
【
図4】キロポスト地点の最近傍点の説明する図である。
【
図5】キロポスト地点の撮影時間を算出する原理を示す図である。
【発明を実施するための形態】
【0018】
図1~7を参照しながら、本発明に係る路面点検作業支援システムの実施形態を説明する。
この実施形態は、高速道路の路面点検作業の支援を想定したもので、点検対象となる道路の路面を撮影しながら走行し取得した路面走行動画を動画データ形式で蓄積する動画記憶手段1と、動画から路面静止画像の複数を抽出する画像抽出手段2と、路面静止画像の複数を画像データ形式で蓄積する画像記憶手段を有する。
【0019】
動画記憶手段1及び画像記憶手段3には、公知の記憶装置が使用されている。ただし、使用する記憶装置に制限はなく、使用状況に応じて必要な機能を備えたものを使用すればよい。
【0020】
また、この実施形態では、動画記憶手段1は、これまでに取得した路面走行動画が蓄積されている既存の装置が利用されている。そして、動画記憶手段1に蓄積される路面走行動画はMP4形式で保存されている。ただし、これら路面走行動画は、GPSログを含むものであればよく、システムを構成する装置機器の仕様に応じて適切な形式を利用することができる。
【0021】
更に、この実施形態では、画像記憶手段3に蓄積される路面静止画像は、複数の画像抽出地点について、位置情報と撮影日時を特定するデータを含むJPG形式で保存されている。ただし、これら路面静止画像は、撮影地点の緯度経度と撮影日時を特定するデータを含むものであればよく、システムを構成する装置機器の仕様に応じて適切な形式を利用することができる。
【0022】
画像抽出手段2には、第一の記憶手段1及び第二の記憶手段3とデータを授受し後述する処理手順を実行するために必要な、キーボード、スクリーン、通信ケーブル等の図示しない入出力手段が接続されている。そして、点検対象となる道路における所定の基点から当該道路に沿って進んだ距離である道路沿線距離を示すキロポスト地点の位置データと、路面走行動画に含まれるGPSログに基づき、画像抽出地点の路面静止画像を抽出するものとなっている。
【0023】
キロポスト地点は、道路沿線距離の100m間隔で設定され、各キロポスト地点の位置データは緯度と経度の情報として、画像抽出手段2に接続された図示しない別の記憶手段に記憶されている。そして、画像抽出手段2が必要に応じて当該記憶手段から取得するものなっている。
【0024】
画像抽出地点は、点検対象となる道路に沿って等間隔で設定されている。この実施形態では、道路沿線距離の10m間隔で設定されているが、その間隔に制限はなく、経時変化の観察目的等を考慮し、適宜決めればよい。
【0025】
画像抽出手段2における路面静止画像の抽出は、以下の手順で行われる。
<データクレンジング>
抽出の手順において、まず、路面走行動画のGPSログにおける、時系列に対し逆行しているデータを削除する(
図2のS1)。例えば、
図3に示す例においては、撮影時の進行方向にGPS情報(位置情報)に基づき並べられた任意の撮影時間間隔の複数の撮影地点Pr1からPr8のうち、撮影開始から3秒後の撮影地点Pr3は、撮影開始から2秒後の撮影地点Pr2から逆行して撮影されたことになる。従って、Pr3のGPSログデータは削除される。なお、撮影地点Prの撮影時間間隔は、本実施形態において1秒とされているが制限はなく、路面走行動画の撮影状態等に応じて適切に設定すればよい。
【0026】
<最近傍点特定>
次に、路面走行動画のGPSログから、道路沿線距離の100m間隔で設定されたキロポスト地点Pkについて、複数の撮影地点Prから最近傍点2点特定する(
図2のS2)。例えば、
図4に示す例においては、道路沿線距離37キロのキロポスト地点(37.0KP)Pk1に関し、撮影開始から1秒後の撮影地点Pr1と撮影開始から2秒後の撮影地点Pr2が特定される。また、道路沿線距離37.1キロのキロポスト地点(37.1KP)Pk2に関し、撮影開始から2秒後の撮影地点Pr2と撮影開始から4秒後の撮影地点Pr4が特定される。
【0027】
<キロポスト地点マッチング>
続いて、各キロポスト地点Pkに関し特定された最近傍の撮影地点Prに基づき、各キロポスト地点Pkに対応する撮影地点Prkのマッチングを行う(
図2のS3)。例えば、
図5に示す例においては、キロポスト地点Pk1、撮影地点Pr1、及び、撮影地点Pr2を頂点とする三角形において、キロポスト地点Pk1から対辺に下した垂線と対辺の交点Prk1をキロポスト地点Pk1に対応する撮影地点としてマッチングする。
【0028】
<キロポスト地点撮影時間算出>
続いて、各キロポスト地点Pkにおける撮影時間を算出する(
図2のS4)。例えば、
図5に示す例においては、キロポスト地点Pk1、撮影地点Pr1、及び、撮影地点Pr2を頂点とする三角形において、キロポスト地点Pk1と撮影地点Pr1の長さ(2点間の距離)A、キロポスト地点Pk1と撮影地点P2rの長さ(2点間の距離)B、撮影地点P1と撮影地点P2の長さ(2点間の距離)Cから、撮影地点Pr1の頂角Θ1と撮影地点Pr2の頂角Θ2を算出し、余弦定理により撮影地点Pr1と撮影地点Prk1の長さ(2点間の距離)aと撮影地点Pr2と撮影地点Prk1の長さ(2点間の距離)bを算出し、これらの長さの比に基づき、撮影地点Prk1の撮影時間を、すなわち、キロポスト地点における撮影時間(
図5に示す例においては撮影開始から0.012秒後)を算出する。
【0029】
<第一の補間関数生成>
続いて、キロポスト地点における道路沿線距離kpを独立変数と、キロポスト地点毎の撮影時間を目的変数として、第一の補間関数f_sec(kp)を生成する。第一の補間関数f_sec(kp)の生成にあたっては、まず、各キロポスト地点Pkに対応する撮影地点Prk毎の撮影時間をリスト化し(
図2のS5)、そのリストに基づき生成する(
図2のS6)。
図6に、生成された第一の補間関数f_sec(kp)の例をグラフ化して示す。
【0030】
<画像抽出地点の撮影時間算出>
続いて、抽出を行う距離間隔(
図2のS7においては「間隔」とする)すなわち、画像抽出地点の間隔を差とする等差数列で生成したキロポスト地点における道路沿線距離kpを第一の補間関数f_sec(kp)に代入し、画像抽出地点の道路沿線距離kp毎の撮影時間を算出する(
図2のS7)。
【0031】
<画像抽出地点の路面静止画像抽出>
続いて、第一の補間関数f_sec(kp)に基づき算出・特定された撮影時間から、目的とする画像抽出地点に対応する、路面走行動画におけるフレームナンバーを計算し、そのフレームナンバーの画像を路面走行動画から抽出する。(
図2のS8)すなわち、画像抽出地点の路面静止画像を抽出する。
【0032】
<第二の補間関数生成>
続いて、キロポスト地点における道路沿線距離kpを独立変数と、キロポスト地点毎の緯度及び経度を目的変数として、第二の補間関数f_lat(kp)・f_lon(kp)を生成する。(
図2のS9)第二の補間関数f_lat(kp)・f_lon(kp)の生成にあたっては、まず、各キロポスト地点Pkの緯度と経度の各々をリスト化し、そのリストに基づき生成する。
図7に、生成された第二の補間関数f_lat(kp)・f_lon(kp)の例をグラフ化して示す。
【0033】
<路面静止画像への緯度・経度情報紐付け>
最後に、算出された緯度・経度情報を、画像抽出地点毎に抽出された路面静止画像に紐付けし、路面静止画像の抽出が完了となる。(
図2のS11)。
【符号の説明】
【0034】
1 動画記憶手段
2 画像抽出手段
3 画像記憶手段
kp 道路沿線距離
Pk キロポスト地点
Pr 撮影地点
Prk キロポスト地点に対応する撮影地点