特開 2022-78434 路面点検作業支援システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022078434

(43)【公開日】2022-05-25

(54)【発明の名称】路面点検作業支援システム

(51)【国際特許分類】

   H04N 7/18 20060101AFI20220518BHJP

   E01C 23/01 20060101ALI20220518BHJP

   G06T 7/00 20170101ALI20220518BHJP

【ＦＩ】

H04N7/18 U

E01C23/01

G06T7/00 650A

【審査請求】有

【請求項の数】3

【出願形態】ＯＬ

(21)【出願番号】P 2020189113

(22)【出願日】2020-11-13

(71)【出願人】

【識別番号】505398952

【氏名又は名称】中日本高速道路株式会社

(74)【代理人】

【識別番号】100134647

【弁理士】

【氏名又は名称】宮部 岳志

(72)【発明者】

【氏名】大西 篤志

【テーマコード（参考）】

2D053

5C054

5L096

【Ｆターム（参考）】

2D053AA32

2D053FA02

5C054EA01

5C054EA07

5C054FC12

5C054GB01

5C054GB05

5C054HA26

5L096BA03

5L096BA18

5L096CA04

5L096CA24

5L096DA01

(57)【要約】      （修正有）

【課題】路面走行動画に基づき、時間や手間をかけることなく特定地点における路面の経時変化を観察することを可能とする路面点検作業支援システムを提供する。
【解決手段】路面点検作業支援システムにおいて、点検対象となる道路の路面を撮影しながら走行し、取得した路面走行動画から静止画像の複数を抽出する画像抽出手段２と、静止画像の複数を、画像データ形式で蓄積する画像記憶手段３と、を有する。画像抽出手段は、道路における所定の基点から道路に沿って進んだ距離である道路沿線距離を示すキロポスト地点の位置データと前記動画に含まれるＧＰＳログに基づき、路面静止画像を任意の画像抽出地点について抽出する。
【選択図】図１

【特許請求の範囲】

【請求項1】

点検対象となる道路の路面を撮影しながら走行し取得した路面走行動画から路面静止画像の複数を抽出する画像抽出手段と、
前記路面静止画像の複数を画像データ形式で蓄積する画像記憶手段を有し、
前記画像抽出手段は、前記道路における所定の基点から前記道路に沿って進んだ距離である道路沿線距離を示すキロポスト地点の位置データと前記路面走行動画に含まれるＧＰＳログに基づき、前記路面静止画像を任意の画像抽出地点について抽出することを特徴とする路面点検作業支援システム。

【請求項2】

前記画像抽出地点は前記道路沿線距離により設定され、前記画像抽出手段は、前記キロポスト地点毎の撮影時間を算出し、前記キロポスト地点における前記道路沿線距離を独立変数と前記キロポスト地点毎の撮影時間を目的変数とする第一の補間関数と、前記キロポスト地点における前記道路沿線距離を独立変数と前記キロポスト地点毎の緯度及び経度を目的変数とする第二の補間関数を生成し、前記画像抽出地点の撮影時間を前記第一の補間関数に基づき算出し、前記路面静止画像を前記画像抽出地点の撮影時間に基づき抽出し、前記第二の補間関数に基づき算出された緯度と経度の情報を前記路面静止画像に紐付けする請求項１に記載の路面点検作業支援システム。

【請求項3】

前記画像抽出地点は前記道路に沿って等間隔で設定される請求項１又は２に記載の路面点検作業支援システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、道路の路面状態を点検する作業を支援するための、路面点検作業支援システムに関するものである。

【背景技術】

【0002】

道路の路面状態を点検する作業においては、その点検対象となる路面面積が極めて大きく、限られた時間内で全体を網羅するためには特定部位の状態判断に費やすことのできる時間が制限されていた。そして、人による作業では点検の範囲、頻度、精度等に限界があった。そこで、近年では、演算処理装置による画像解析を利用し、路面画像に基づき路面状態を点検する様々な手法が提案されている。

【0003】

例えば、特開２０１９－４５９２２号には、点検対象となる道路の路面を撮影しながら走行し取得した動画（以下、路面走行動画とする）から道路画像データ（以下、路面静止画像とする）を抽出し、その路面静止画像に含まれる道路上の変状箇所を検出する変状箇所検出装置が提案されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１９－４５９２２

【発明の概要】

【発明が解決しようとする課題】

【0005】

上記変状箇所検出装置を含め、路面走行動画から路面静止画像を抽出する従来の手法では、変状の有無の判断処理を実行する毎に、点検対象となる路線の路面走行動画を選択するものであった。そして、判断処理に用いるデータは動画データ形式で蓄積されるものとなっていた。

【0006】

一方、路面状態の点検作業は、点検対象となる路線の変状の有無を把握するためのみならず、特定地点における路面の経時変化を観察するために行われる場合もある。しかしながら、動画データ形式で蓄積されているデータを経時変化の観察に用いる場合、取得日時の異なる同じ路線の路面走行動画の複数から、特定地点の路面静止画像を、観察を実行する度に抽出しなければならず、作業に手間と時間を要する問題があった。

【0007】

そこで、本発明は、路面走行動画に基づき、時間や手間をかけることなく特定地点における路面の経時変化を観察することを可能とする路面点検作業支援システムを提供することを目的とする。

【課題を解決するための手段】

【0008】

本発明に係る路面点検作業支援システムは、点検対象となる道路の路面を撮影しながら走行し取得した路面走行動画から静止画像の複数を抽出する画像抽出手段と、前記静止画像の複数を画像データ形式で蓄積する画像記憶手段を有する。そして、前記画像抽出手段は、前記道路における所定の基点から前記道路に沿って進んだ距離である道路沿線距離を示すキロポスト地点の位置データと前記動画に含まれるＧＰＳログに基づき、前記路面静止画像を任意の画像抽出地点について抽出する。

【0009】

前記画像抽出地点は前記道路沿線距離により設定され、前記画像抽出手段は、前記キロポスト地点毎の撮影時間を算出し、前記キロポスト地点における前記道路沿線距離を独立変数と前記キロポスト地点毎の撮影時間を目的変数する第一の補間関数と、前記キロポスト地点における前記道路沿線距離を独立変数と前記キロポスト地点毎の緯度及び経度を目的変数とする第二の補間関数を生成し、前記画像抽出地点の撮影時間を前記第一の補間関数に基づき算出し、前記路面静止画像を前記画像抽出地点の撮影時間に基づき抽出し、前記第二の補間関数に基づき算出された緯度と経度の情報を前記路面静止画像に紐付けするものであってもよい。

【0010】

前記画像抽出地点は前記道路に沿って等間隔で設定されてもよい。

【発明の効果】

【0011】

本発明に係る路面点検作業支援システムでは、道路における所定の基点から当該道路に沿って進んだ距離である道路沿線距離を示すキロポスト地点の位置データと路面走行動画に含まれるＧＰＳログに基づいて、路面走行動画から路面静止画像を任意の画像抽出地点について抽出するため、撮影時刻の異なる路面走行動画から抽出された路面静止画像を用いることにより、特定地点における路面の経時変化を観察することができる。しかも、路面走行動画から抽出された路面静止画像は、画像データ形式で蓄積されているため、観察を実行する毎の抽出作業が不要となる。従って、本発明によれば、路面走行動画に基づき、時間や手間をかけることなく特定地点における路面の経時変化を観察することが可能となる。

【0012】

また、路面走行動画から抽出された路面静止画像を画像データ形式で蓄積することにより、継時変化の観察に必要となるデータの記憶容量を削減し、システムの操作性向上を図ることにより、路面の経時変化の観察に要する手間や時間を削減することが可能となる。

【0013】

例えば、フレームレートがＦＰＳ６０の路面走行動画では１秒間に６０フレームの撮影がなされていることになるが、時速８０ｋｍで走行し取得した路面走行動画から道路沿線距離１０ｍの間隔で路面静止画像を抽出した場合には、車両の移動速度は秒速２２ｍであることから１秒間に抽出されるフレーム数は２となる。すなわち、路面静止画像の蓄積に要する記憶容量は、路面走行動画の蓄積に要する記憶容量の約３％で足りることになる。そして、この記憶容量の削減により、システムの操作性向上を図ることが可能となる。

【0014】

更に、画像抽出地点は道路沿線距離により設定し、キロポスト地点毎の撮影時間が算出され、キロポスト地点における道路沿線距離を独立変数とキロポスト地点毎の撮影時間を目的変数する第一の補間関数と、キロポスト地点における道路沿線距離を独立変数とキロポスト地点毎の緯度及び経度を目的変数とする第二の補間関数を生成し、画像抽出地点の撮影時間が第一の補間関数に基づき算出し、路面静止画像を画像抽出地点の撮影時間に基づき抽出し、第二の補間関数に基づき算出された緯度と経度の情報が路面静止画像に紐付けすることで、経時変化の観察対象となる地点を正確に特定することが可能となる。

【0015】

ＧＰＳログは動画の撮影毎に取得誤差が生じるため、そのデータを用いた路面静止画像のＧＩＳ（Ｇｅｏｇｒａｐｈｉｃ Ｉｎｆｏｒｍａｔｉｏｎ Ｓｙｓｔｅｍ）上の表示には位置のずれが生じる。そこで、第二の補間関数に基づき算出された緯度と経度の情報を路面静止画像に紐付けすることにより、ＧＩＳ上に正確に表示することができる。そして、これにより、時変化の観察対象となる地点を正確に特定することが可能となる。

【0016】

更にまた、画像抽出地点は道路に沿って等間隔で設定することにより、経時変化の観察を行える地点の数を増やし、特定地点における路面の経時変化の観察を、より簡単に行うことができる。

【図面の簡単な説明】

【0017】

【図1】本発明に係る路面点検作業支援システムの概要を示すシステム構成図である。

【図2】画像抽出手段の処理手順を示すフローチャート図である。

【図3】データクレンジングの概要を説明する図である。

【図4】キロポスト地点の最近傍点の説明する図である。

【図5】キロポスト地点の撮影時間を算出する原理を示す図である。

【図6】第一の補間関数を示す図である。

【図7】第二の補間関数を示す図である。

【発明を実施するための形態】

【0018】

図１～７を参照しながら、本発明に係る路面点検作業支援システムの実施形態を説明する。
この実施形態は、高速道路の路面点検作業の支援を想定したもので、点検対象となる道路の路面を撮影しながら走行し取得した路面走行動画を動画データ形式で蓄積する動画記憶手段１と、動画から路面静止画像の複数を抽出する画像抽出手段２と、路面静止画像の複数を画像データ形式で蓄積する画像記憶手段を有する。

【0019】

動画記憶手段１及び画像記憶手段３には、公知の記憶装置が使用されている。ただし、使用する記憶装置に制限はなく、使用状況に応じて必要な機能を備えたものを使用すればよい。

【0020】

また、この実施形態では、動画記憶手段１は、これまでに取得した路面走行動画が蓄積されている既存の装置が利用されている。そして、動画記憶手段１に蓄積される路面走行動画はＭＰ４形式で保存されている。ただし、これら路面走行動画は、ＧＰＳログを含むものであればよく、システムを構成する装置機器の仕様に応じて適切な形式を利用することができる。

【0021】

更に、この実施形態では、画像記憶手段３に蓄積される路面静止画像は、複数の画像抽出地点について、位置情報と撮影日時を特定するデータを含むＪＰＧ形式で保存されている。ただし、これら路面静止画像は、撮影地点の緯度経度と撮影日時を特定するデータを含むものであればよく、システムを構成する装置機器の仕様に応じて適切な形式を利用することができる。

【0022】

画像抽出手段２には、第一の記憶手段１及び第二の記憶手段３とデータを授受し後述する処理手順を実行するために必要な、キーボード、スクリーン、通信ケーブル等の図示しない入出力手段が接続されている。そして、点検対象となる道路における所定の基点から当該道路に沿って進んだ距離である道路沿線距離を示すキロポスト地点の位置データと、路面走行動画に含まれるＧＰＳログに基づき、画像抽出地点の路面静止画像を抽出するものとなっている。

【0023】

キロポスト地点は、道路沿線距離の１００ｍ間隔で設定され、各キロポスト地点の位置データは緯度と経度の情報として、画像抽出手段２に接続された図示しない別の記憶手段に記憶されている。そして、画像抽出手段２が必要に応じて当該記憶手段から取得するものなっている。

【0024】

画像抽出地点は、点検対象となる道路に沿って等間隔で設定されている。この実施形態では、道路沿線距離の１０ｍ間隔で設定されているが、その間隔に制限はなく、経時変化の観察目的等を考慮し、適宜決めればよい。

【0025】

画像抽出手段２における路面静止画像の抽出は、以下の手順で行われる。
＜データクレンジング＞
抽出の手順において、まず、路面走行動画のＧＰＳログにおける、時系列に対し逆行しているデータを削除する（図２のＳ１）。例えば、図３に示す例においては、撮影時の進行方向にＧＰＳ情報（位置情報）に基づき並べられた任意の撮影時間間隔の複数の撮影地点Ｐｒ１からＰｒ８のうち、撮影開始から３秒後の撮影地点Ｐｒ３は、撮影開始から２秒後の撮影地点Ｐｒ２から逆行して撮影されたことになる。従って、Ｐｒ３のＧＰＳログデータは削除される。なお、撮影地点Ｐｒの撮影時間間隔は、本実施形態において１秒とされているが制限はなく、路面走行動画の撮影状態等に応じて適切に設定すればよい。

【0026】

＜最近傍点特定＞
次に、路面走行動画のＧＰＳログから、道路沿線距離の１００ｍ間隔で設定されたキロポスト地点Ｐｋについて、複数の撮影地点Ｐｒから最近傍点２点特定する（図２のＳ２）。例えば、図４に示す例においては、道路沿線距離３７キロのキロポスト地点（３７．０ＫＰ）Ｐｋ１に関し、撮影開始から１秒後の撮影地点Ｐｒ１と撮影開始から２秒後の撮影地点Ｐｒ２が特定される。また、道路沿線距離３７．１キロのキロポスト地点（３７．１ＫＰ）Ｐｋ２に関し、撮影開始から２秒後の撮影地点Ｐｒ２と撮影開始から４秒後の撮影地点Ｐｒ４が特定される。

【0027】

＜キロポスト地点マッチング＞
続いて、各キロポスト地点Ｐｋに関し特定された最近傍の撮影地点Ｐｒに基づき、各キロポスト地点Ｐｋに対応する撮影地点Ｐｒｋのマッチングを行う（図２のＳ３）。例えば、図５に示す例においては、キロポスト地点Ｐｋ１、撮影地点Ｐｒ１、及び、撮影地点Ｐｒ２を頂点とする三角形において、キロポスト地点Ｐｋ１から対辺に下した垂線と対辺の交点Ｐｒｋ１をキロポスト地点Ｐｋ１に対応する撮影地点としてマッチングする。

【0028】

＜キロポスト地点撮影時間算出＞
続いて、各キロポスト地点Ｐｋにおける撮影時間を算出する（図２のＳ４）。例えば、図５に示す例においては、キロポスト地点Ｐｋ１、撮影地点Ｐｒ１、及び、撮影地点Ｐｒ２を頂点とする三角形において、キロポスト地点Ｐｋ１と撮影地点Ｐｒ１の長さ（２点間の距離）Ａ、キロポスト地点Ｐｋ１と撮影地点Ｐ２ｒの長さ（２点間の距離）Ｂ、撮影地点Ｐ１と撮影地点Ｐ２の長さ（２点間の距離）Ｃから、撮影地点Ｐｒ１の頂角Θ１と撮影地点Ｐｒ２の頂角Θ２を算出し、余弦定理により撮影地点Ｐｒ１と撮影地点Ｐｒｋ１の長さ（２点間の距離）ａと撮影地点Ｐｒ２と撮影地点Ｐｒｋ１の長さ（２点間の距離）ｂを算出し、これらの長さの比に基づき、撮影地点Ｐｒｋ１の撮影時間を、すなわち、キロポスト地点における撮影時間（図５に示す例においては撮影開始から０．０１２秒後）を算出する。

【0029】

＜第一の補間関数生成＞
続いて、キロポスト地点における道路沿線距離ｋｐを独立変数と、キロポスト地点毎の撮影時間を目的変数として、第一の補間関数ｆ＿ｓｅｃ（ｋｐ）を生成する。第一の補間関数ｆ＿ｓｅｃ（ｋｐ）の生成にあたっては、まず、各キロポスト地点Ｐｋに対応する撮影地点Ｐｒｋ毎の撮影時間をリスト化し（図２のＳ５）、そのリストに基づき生成する（図２のＳ６）。図６に、生成された第一の補間関数ｆ＿ｓｅｃ（ｋｐ）の例をグラフ化して示す。

【0030】

＜画像抽出地点の撮影時間算出＞
続いて、抽出を行う距離間隔（図２のＳ７においては「間隔」とする）すなわち、画像抽出地点の間隔を差とする等差数列で生成したキロポスト地点における道路沿線距離ｋｐを第一の補間関数ｆ＿ｓｅｃ（ｋｐ）に代入し、画像抽出地点の道路沿線距離ｋｐ毎の撮影時間を算出する（図２のＳ７）。

【0031】

＜画像抽出地点の路面静止画像抽出＞
続いて、第一の補間関数ｆ＿ｓｅｃ（ｋｐ）に基づき算出・特定された撮影時間から、目的とする画像抽出地点に対応する、路面走行動画におけるフレームナンバーを計算し、そのフレームナンバーの画像を路面走行動画から抽出する。（図２のＳ８）すなわち、画像抽出地点の路面静止画像を抽出する。

【0032】

＜第二の補間関数生成＞
続いて、キロポスト地点における道路沿線距離ｋｐを独立変数と、キロポスト地点毎の緯度及び経度を目的変数として、第二の補間関数ｆ＿ｌａｔ（ｋｐ）・ｆ＿ｌｏｎ（ｋｐ）を生成する。（図２のＳ９）第二の補間関数ｆ＿ｌａｔ（ｋｐ）・ｆ＿ｌｏｎ（ｋｐ）の生成にあたっては、まず、各キロポスト地点Ｐｋの緯度と経度の各々をリスト化し、そのリストに基づき生成する。図７に、生成された第二の補間関数ｆ＿ｌａｔ（ｋｐ）・ｆ＿ｌｏｎ（ｋｐ）の例をグラフ化して示す。

【0033】

＜路面静止画像への緯度・経度情報紐付け＞
最後に、算出された緯度・経度情報を、画像抽出地点毎に抽出された路面静止画像に紐付けし、路面静止画像の抽出が完了となる。（図２のＳ１１）。

【符号の説明】

【0034】

１ 動画記憶手段
２ 画像抽出手段
３ 画像記憶手段
ｋｐ 道路沿線距離
Ｐｋ キロポスト地点
Ｐｒ 撮影地点
Ｐｒｋ キロポスト地点に対応する撮影地点

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】