特許 7272546 路面評価システム、路面評価方法、および路面評価プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-05-01

(45)【発行日】2023-05-12

(54)【発明の名称】路面評価システム、路面評価方法、および路面評価プログラム

(51)【国際特許分類】

   E01C 23/01 20060101AFI20230502BHJP

   G08G 1/00 20060101ALI20230502BHJP

【ＦＩ】

E01C23/01

G08G1/00 J

【請求項の数】 6

(21)【出願番号】P 2019082313

(22)【出願日】2019-04-23

(65)【公開番号】P2020180437

(43)【公開日】2020-11-05

【審査請求日】2022-01-28

(73)【特許権者】

【識別番号】598123334

【氏名又は名称】ダットジャパン株式会社

(74)【代理人】

【識別番号】110002516

【氏名又は名称】弁理士法人白坂

(72)【発明者】

【氏名】洞口 克彦

【審査官】大塚 裕一

(56)【参考文献】

【文献】特開２０１１－２４２２９３（ＪＰ，Ａ）

【文献】特開２０１１－１１３３３９（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１８／０１８８０４６（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｅ０１Ｃ ２１／００－２３／２４

Ｇ０８Ｇ １／００－９９／００

Ｇ０９Ｂ ２９／００－２９／１４

(57)【特許請求の範囲】

【請求項1】

検査対象路面を走行する検査車両に搭載され、かつ前記検査車両の周辺における路面の状態を撮像する撮像部から取得した撮像データを、前記検査車両の位置を示す位置データを特定する測位システムから取得した位置データと関連付けて記憶する記憶部と、
前記撮像データおよび前記位置データを、前記記憶部から読み込むデータ処理部と、を備え、
前記データ処理部は、前記位置データの所定時間毎の変化量から、前記撮像データが撮像された時点での前記検査車両の進行方向を示す進行ベクトルを算出するパラメータ算出部と、
前記記憶部に記憶された複数の前記撮像データと関連付けられた位置データ、および前記進行ベクトルを参照し、それぞれの類似性を判断し、同一箇所の路面が撮像された比較元撮像データおよび比較先撮像データを、前記記憶部から読み込むデータ検索部と、を備えている路面評価システム。

【請求項2】

前記パラメータ算出部は、
前記比較元撮像データと関連付けられた位置データに対して、所定の位置の範囲を付加した位置閾値を設定し、
前記進行ベクトルに対して、所定の角度の範囲を付加した角度閾値を設定し、
前記データ検索部は、前記撮像データのうち、前記位置閾値内の位置データ、および前記角度閾値内の前記進行ベクトルを有する撮像データを、前記比較元撮像データと類似性の高い前記比較先撮像データとして、前記記憶部から読み込むことを特徴とする請求項１に記載の路面評価システム。

【請求項3】

前記撮像部は、検査車両の前方における左右方向の中央部に、前記検査車両の前方を向くように配置されていることを特徴とする請求項１又は２に記載の路面評価システム。

【請求項4】

前記データ処理部は、前記データ検索部が読み込んだ前記撮像データを補正するデータ補正部を備え、
前記データ補正部は、前記撮像データに、前記撮像部の位置から前方に所定距離まで、かつ、道路の左右方向の両端部までの領域であって、前記撮像部の位置と前記撮像データの画素座標との関係により画定される３次元仮想領域を設定し、
前記３次元仮想領域を区画する各頂点の座標を用いて、前記撮像データを撮像した撮像部の位置である視点位置と、当該撮像部からの撮像方向である視線方向とを示す視点情報を算出し、
前記視点情報を用いて、前記比較先撮像データに対して、前記比較元撮像データの視点になるように幾何補正を行うことで、前記比較元撮像データと比較する比較先補正データを生成することを特徴とする請求項３に記載の路面評価システム。

【請求項5】

コンピュータが、
検査対象路面を走行する検査車両に搭載され、かつ前記検査車両の周辺における路面の状態を撮像する撮像部から取得した撮像データを、前記検査車両の位置を示す位置データを特定する測位システムから取得した位置データと関連付けて記憶部に記憶する記憶ステップと、
前記撮像データおよび前記位置データを、前記記憶部から読み込むデータ処理ステップと、を実行し、
前記データ処理ステップは、前記位置データの所定時間毎の変化量から、前記撮像データが撮像された時点での前記検査車両の進行方向を示す進行ベクトルを算出するパラメータ算出ステップと、
前記記憶部に記憶された複数の前記撮像データと関連付けられた位置データ、および前記進行ベクトルを参照し、それぞれの類似性を判断し、同一箇所の路面が撮像された比較元撮像データおよび比較先撮像データを、前記記憶部から読み込むデータ検索ステップと、を備えている路面評価方法。

【請求項6】

コンピュータに、
検査対象路面を走行する検査車両に搭載され、かつ前記検査車両の周辺における路面の状態を撮像する撮像部から取得した撮像データを、前記検査車両の位置を示す位置データを特定する測位システムから取得した位置データと関連付けて記憶部に記憶する記憶機能と、
前記撮像データおよび前記位置データを、前記記憶部から読み込むデータ処理機能と、
を実現させ、
前記データ処理機能は、前記位置データの所定時間毎の変化量から、前記撮像データが撮像された時点での前記検査車両の進行方向を示す進行ベクトルを算出するパラメータ算出機能と、
前記記憶部に記憶された複数の前記撮像データと関連付けられた位置データ、および前記進行ベクトルを参照し、それぞれの類似性を判断し、同一箇所の路面が撮像された比較元撮像データおよび比較先撮像データを、前記記憶部から読み込むデータ検索機能と、を備えている路面評価プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、路面評価システム、路面評価方法、および路面評価プログラムに関する。

【背景技術】

【0002】

従来、車両が走行する路面の状態を撮像し、路面に生じた窪み、段差、ひび割れ等を検出し、その程度に基づいて路面状態を評価（判定）する路面評価システムが知られている。
このような路面評価システムとして、下記特許文献１には、車両の走行時の振動を加速度センサで検出し、路面の状態を判定する構成が開示されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１３－７９８８９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、このような路面評価システムでは、検査時における路面の状態を評価することはできるが、定期的に行われる検査において、時間の経過とともに路面が経年変化する様子を把握することができなかった。

【0005】

そこで本発明は、時間の経過とともに路面が経年変化する様子を把握することができる路面評価システムを提供することを目的とする。

【課題を解決するための手段】

【0006】

上記課題を解決するために、本発明の路面評価システムは、検査対象路面を走行する検査車両に搭載され、かつ車両の周辺における路面の状態を撮像する撮像部から取得した撮像データを、検査車両の位置を示す位置データを特定する測位システムから取得した位置データと関連付けて記憶する記憶部と、撮像データおよび位置データを、記憶部から読み込むデータ処理部と、を備え、データ処理部は、位置データの所定時間毎の変化量から、撮像データが撮像された時点での検査車両の進行方向を示す進行ベクトルを算出するパラメータ算出部と、記憶部に記憶された複数の撮像データと関連付けられた位置データ、および進行ベクトルを参照し、それぞれの類似性を判断し、同一箇所の路面が撮像された比較元撮像データおよび比較先撮像データを、記憶部から読み込むデータ検索部と、を備えている路面評価システム。

【0007】

また、パラメータ算出部は、比較元撮像データと関連付けられた位置データに対して、所定の位置の範囲を付加した位置閾値を設定し、進行ベクトルに対して、所定の角度の範囲を付加した角度閾値を設定し、データ検索部は、撮像データのうち、位置閾値内の位置データ、および角度閾値内の進行ベクトルを有する撮像データを、比較元撮像データと類似性の高い比較先撮像データとして、記憶部から読み込んでもよい。

【0008】

また、撮像部は、検査車両の前方における左右方向の中央部に、検査車両の前方を向くように配置されてもよい。

【0009】

また、データ処理部は、データ検索部が読み込んだ撮像データを補正するデータ補正部を備え、データ補正部は、撮像データに３次元仮想領域を設定し、３次元仮想領域を区画する各頂点の座標を用いて、撮像データの視点の位置を示す視点情報を算出し、視点情報を用いて、比較先撮像データに対して、比較元撮像データの視点になるように幾何補正を行うことで、比較元撮像データと比較する比較先補正撮像データを生成してもよい。

【0010】

また、本発明の路面評価方法は、コンピュータが、検査対象路面を走行する検査車両に搭載され、かつ前記車両の周辺における路面の状態を撮像する撮像部から取得した撮像データを、前記検査車両の位置を示す位置データを特定する測位システムから取得した位置データと関連付けて記憶部に記憶する記憶ステップと、前記撮像データおよび前記位置データを、前記記憶部から読み込むデータ処理ステップと、を実行し、前記データ処理ステップは、前記位置データの所定時間毎の変化量から、前記撮像データが撮像された時点での前記検査車両の進行方向を示す進行ベクトルを算出するパラメータ算出ステップと、前記記憶部に記憶された複数の前記撮像データと関連付けられた位置データ、および前記進行ベクトルを参照し、それぞれの類似性を判断し、同一箇所の路面が撮像された比較元撮像データおよび比較先撮像データを、前記記憶部から読み込むデータ検索ステップと、を備えている。

【0011】

また、本発明の路面評価プログラムは、コンピュータに、検査対象路面を走行する検査車両に搭載され、かつ前記車両の周辺における路面の状態を撮像する撮像部から取得した撮像データを、前記検査車両の位置を示す位置データを特定する測位システムから取得した位置データと関連付けて記憶部に記憶する記憶機能と、前記撮像データおよび前記位置データを、前記記憶部から読み込むデータ処理機能と、を実現させ、前記データ処理機能は、前記位置データの所定時間毎の変化量から、前記撮像データが撮像された時点での前記検査車両の進行方向を示す進行ベクトルを算出するパラメータ算出機能と、前記記憶部に記憶された複数の前記撮像データと関連付けられた位置データ、および前記進行ベクトルを参照し、それぞれの類似性を判断し、同一箇所の路面が撮像された比較元撮像データおよび比較先撮像データを、前記記憶部から読み込むデータ検索機能と、を備えている。

【発明の効果】

【0012】

本発明の路面評価システムでは、データ検索部が、撮像データと関連付けられた位置データ、および検査車両の進行ベクトルを参照して、記憶部に記憶された複数の撮像データを比較する。これにより、データ検索部は、同一箇所の路面が撮像された比較元撮像データおよび比較先撮像データを、記憶部から読み込むことができる。このため、比較元撮像データと比較先撮像データとを確認して比較することで、例えば、比較先撮像データを比較元撮像データよりも後で撮像したデータとした場合には、時間の経過とともに路面が経年変化する様子を把握することができる。

【図面の簡単な説明】

【0013】

【図1】本発明の路面評価システムの概略を説明する図である。

【図2】図１に示す路面評価システムの構成を示すブロック図である。

【図3】図１に示す撮像部による撮像範囲を説明する図である。

【図4】位置データを含む属性データの構造を示す図である。

【図5】図２に示す表示部による表示内容の一例を示す図である。

【図6】図２に示す表示部による表示内容の他の例を示す図である。

【図7】（ａ）撮像部の仰俯角を説明する図、（ｂ）３次元仮想領域を説明する図である。

【図8】撮像部のキャリブレーションを説明する図である。

【図9】記憶部に記憶されたデータを、データ検索部が読み込む処理を示すフロー図である。

【図10】データ補正部が幾何補正を行う処理を示すフロー図である。

【発明を実施するための形態】

【0014】

（システム構成）
本発明の一実施形態に係る路面評価システム１について、図面を参照して説明する。
図１に示すように、本実施形態に係る路面評価システム１は、検査車両１００が走行する路面において、検査車両１００の前方に位置する部分の状態を撮像し、路面に生じた窪み、段差、ひび割れ等を検出し、その程度に基づいて路面状態を評価（判定）するシステムである。
図１は、本発明の路面評価システム１の概略を説明する図である。

【0015】

路面評価システム１は、検査車両１００の前方の路面の状態を、アクションカメラ１０で撮像しながら走行し、時々刻々と変化するアクションカメラ１０の位置情報を測位システム１２により取得する。取得された撮像データおよび位置情報は、通信手段、又はフラッシュメモリなど各種の記憶媒体を介して操作端末２０に入力される。これにより、地図上に設定された検査対象路面の状態を、操作端末２０に表示することで確認することができる。

【0016】

操作端末２０は、表示装置（表示部２６）と入力装置（キーボード等）とを備えたパソコンである。操作端末２０は、固定端末に限られず、スマートフォンやタブレットのような携帯端末であってもよい。

【0017】

操作端末２０の内部では、記憶部２１に複数の撮像データが記憶される。これらの撮像データのうち、比較元撮像データと比較先撮像データとを、データ検索部２３が検索する。
そして、データ補正部２５が、比較先撮像データに対して幾何補正を行うことで、比較元撮像データと比較先撮像データとを比較しやすい状態にし、表示部２６に表示する。これらの各処理については別途詳述する。

【0018】

通信手段は、路面評価システム１と、操作端末２０との間を相互に接続させるための技術的手段であり、図示の例では無線通信手段であるが、有線通信手段であっても構わない。
具体的には、通信手段は、ワイヤレスＬＡＮ（ｗｉｒｅｌｅｓｓ ＬＡＮ：ＷＬＡＮ）や広域ネットワーク（ｗｉｄｅ ａｒｅａ ｎｅｔｗｏｒｋ：ＷＡＮ）、ＩＳＤＮｓ（ｉｎｔｅｇｒａｔｅｄ ｓｅｒｖｉｃｅ ｄｉｇｉｔａｌ ｎｅｔｗｏｒｋｓ）、無線ＬＡＮｓ、ＬＴＥ（ｌｏｎｇ ｔｅｒｍ ｅｖｏｌｕｔｉｏｎ）、ＬＴＥ－Ａｄｖａｎｃｅｄ、第４世代（４Ｇ）、第５世代（５Ｇ）、ＣＤＭＡ（ｃｏｄｅ ｄｉｖｉｓｉｏｎ ｍｕｌｔｉｐｌｅ ａｃｃｅｓｓ）、ＷＣＤＭＡ（登録商標）、イーサネット（登録商標）などである。

【0019】

また、通信手段は、これらの例に限られず、例えば、公衆交換電話網（Ｐｕｂｌｉｃ Ｓｗｉｔｃｈｅｄ Ｔｅｌｅｐｈｏｎｅ Ｎｅｔｗｏｒｋ：ＰＳＴＮ）やブルートゥース（Ｂｌｕｅｔｏｏｔｈ（登録商標））、ブルートゥースローエナジー（Ｂｌｕｅｔｏｏｔｈ Ｌｏｗ Ｅｎｅｒｇｙ）、光回線、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ Ｄｉｇｉｔａｌ Ｓｕｂｓｃｒｉｂｅｒ Ｌｉｎｅ）回線、衛星通信網などであってもよく、どのような通信手段であってもよい。

【0020】

また、通信手段は、例えば、ＮＢ－ＩｏＴ（Ｎａｒｒｏｗ Ｂａｎｄ ＩｏＴ）や、ｅＭＴＣ（ｅｎｈａｎｃｅｄ Ｍａｃｈｉｎｅ Ｔｙｐｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎ）であってもよい。なお、ＮＢ－ＩｏＴやｅＭＴＣは、ＩｏＴ向けの無線通信方式であり、低コスト、低消費電力で長距離通信が可能な通信手段である。

【0021】

また、通信手段は、これらの組み合わせであってもよい。また、通信手段は、これらの例を組み合わせた複数の異なる通信手段を含むものであってもよい。
例えば、通信手段は、ＬＴＥによる無線ネットワークと、閉域網であるイントラネットなどの有線ネットワークとを含むものであってもよい。

【0022】

次に、図２を用いて路面評価システム１の構成について説明する。図２は、路面評価システム１の構成を示すブロック図である。
図２に示すように、路面評価システム１は、アクションカメラ１０と操作端末２０とを備えている。アクションカメラ１０は、撮像部１１と、測位システム１２と、送信部１３と、を備えている。

【0023】

アクションカメラ１０は、検査車両１００に搭載され、車両の周辺における路面の状態を撮像部１１により撮像する。アクションカメラ１００とは、測位システム１２を備え、撮像しながら移動した際の位置の変化を検出することができるカメラを指す。
アクションカメラ１０は、検査車両１００の前方における左右方向の中央部に、検査車両１００の前方を向くように配置されている。

【0024】

撮像部１１の仰俯角は、撮像範囲の上下方向の中央部に、撮像部１１の前方の所定の地点が位置する角度となっている。
具体的には、撮像部１１の前方において、撮像範囲の上下方向の中央部に撮像される地点と、撮像部１１の直下と、の間の水平距離が所定距離となるように、撮像部１１の仰俯角が設定されている。

【0025】

道路点検は一般に１０ｍの点検範囲で行うことが慣例であり、本実施形態では、その半分の５mを点検範囲とした。この点検範囲の路面を、過不足なく撮影するため、５mを所定距離とした。なお、所定距離の大きさは、任意に変更することができる。
本実施形態では、前述のとおり、所定距離は５ｍとなっている。この場合には、図３に示すように、撮像部１１から５ｍの地点が、撮像範囲の上下方向の中央部に位置している。ここで、図３は、図１に示す撮像部１１による撮像範囲を説明する図である。

【0026】

図２に示すように、測位システム１２は、アクションカメラ１０の位置を示す位置データを取得する。測位システム１２としては、ＧＰＳシステムを採用することができる。
測位システム１２が取得する位置データは、少なくとも、経度情報および緯度情報を含んでいる。なお、位置データは、標高情報を含んでいてもよい。

【0027】

送信部１３は、撮像部１１が取得した撮像データ、および測位システム１２が取得した位置情報を、先述したネットワークを使用して操作端末２０に対して送信するインターフェースである。

【0028】

操作端末２０は、記憶部２１と、データ処理部２２と、表示部２６と、受信部２７と、を備えている。
記憶部２１は、路面評価システム１が動作するうえで必要とする各種の制御プログラムを記憶する機能を有する。記憶部２１は、例えば、ＨＤＤ、ＳＳＤ、フラッシュメモリなど各種の記憶媒体により実現される。

【0029】

記憶部２１に記憶された制御プログラムを実行することで、データ処理部２２が、路面評価システム１として実現すべき各機能を実現する。ここでいう各機能とは、データ処理部２２が実現する機能として、記憶機能、表示機能、パラメータ算出機能、データ検索機能、およびデータ補正機能、を含んでいる。

【0030】

記憶部２１は、撮像部１１が取得した撮像データを、位置データと関連付けて記憶する。記憶部２１は、撮像データの各フレームに対して位置データを含む属性データを記憶する。属性データの構造について、図４を用いて説明する。図４は、位置データを含む属性データを示す図である。

【0031】

図４に示すように、属性データは、撮像データのフレーム番号を示す撮影時間と対応付けて、位置情報、移動距離、走行速度、および進行ベクトルが記憶されている。
撮影時間は、動画を構成する各フレームを撮像した時間を指している。本実施形態では、１秒あたりに６０フレームの撮像を行っている。このため、撮影時間は０．１６秒毎になっている。なお、１秒あたりのフレーム数については、任意に変更することができる。

【0032】

位置情報は、測位システム１２が取得した緯度情報および経度情報である。属性データには、時々刻々と変化する車両の位置の変化に合わせて、撮影時間毎の位置情報が記憶されている。
移動距離は、対応する撮影時間において、撮影開始地点からの移動距離を指しており、位置情報を基に算出される値である。

【0033】

走行速度は、対応する撮影時間における検査車両１００の走行速度を示している。走行速度は、撮影時間と移動距離とにより算出される値である。
進行ベクトルは、対応する撮影時間における検査車両１００の走行する向きを示している。進行ベクトルは、基準となる撮影時間（例えばss.032）における位置情報と、この撮影時間（例えばss.032）から所定時間後（例えば０．６４秒後）における撮影時間（ss.096）における位置情報と、を比較することで求められる。なお、所定時間については、０．６４秒でなくてもよく、任意に設定することができる。

【0034】

表示部２６は、記憶部２１に記憶された撮像データおよび位置データを表示するモニタ装置である。表示部２６に表示される内容について、図５および図６を用いて説明する。
図５は、図２に示す表示部２６による表示内容の一例を示す図である。図６は、図２に示す表示部２６による表示内容の他の例を示す図である。

【0035】

図５に示すように、表示部２６の左側には撮像データが再生される動画表示部２６Ａが設けられている。動画表示部２６Ａには、撮像部１１からの距離の基準として、基準線が表示されている。撮像部１１から基準線までの距離は任意に変更することができる。
撮像データは、検査者が任意に操作して、順送りや逆送りをしたり、所定の撮影時間における撮像データを選択したりすることができる。

【0036】

動画表示部２６Ａの右側には、地図表示部２６Ｂが設けられている。地図表示部２６Ｂには、動画表示部２６Ａに表示されている撮像データが撮像された位置を示す地図が表示されている。地図上にはアイコンにより、測位システム１２により取得された検査車両１００の位置が示されている。
検査車両１００の位置を示すアイコンは、動画表示部２６Ａに表示されている撮像データが進むに従って地図上を移動する。このときの位置情報である緯度、経度が地図表示部２６Ｂの下側に表示されている。

【0037】

図６に示すように、撮像データにおいて路面の損傷個所を確認した場合には、撮像データに対して加工を行い、当該損傷個所をマーキングすることができる。
この際、マーキングを施した部分は、地図上で確認することができる。これにより、地図全体を見ることで、損傷個所を容易に確認することができる。

【0038】

データ処理部２２は、路面評価システム１の各部を制御するコンピュータであり、例えば、中央処理装置（ＣＰＵ）やマイクロプロセッサ、ＡＳＩＣ、ＦＰＧＡなどであってもよい。なお、データ処理部２２は、これらの例に限られず、路面評価システム１の各部を制御するコンピュータであれば、どのようなものであってもよい。

【0039】

図２に示すように、データ処理部２２は、データ検索部２３、パラメータ算出部２４、およびデータ補正部２５を備えている。
データ検索部２３は、撮像データおよび位置データを、記憶部２１から読み込んで、表示部２６に表示させる。データ検索部２３は、例えばユーザが操作端末２０に入力した検査路線の識別番号や撮影日時等を入力することで、記憶部２１に記憶された撮像データを検索することができる。

【0040】

また本実施形態では、データ検索部２３は、記憶部２１に記憶された複数の撮像データと対応して記憶された位置データ、および進行ベクトルの類似性を判断する。そしてデータ処理部２２は、同一箇所の路面が撮像された比較元撮像データおよび比較先撮像データを、記憶部２１から読み込む機能を有している。この機能について以下に詳述する。

【0041】

パラメータ算出部２４は、位置データの所定時間毎の変化量から、撮像データが撮像された時点での検査車両１００の進行方向を示す進行ベクトルを算出する。
進行ベクトルは、検査車両１００が向く方向を示している。そして、アクションカメラ１０が検査車両１００の前方を向いているので、進行ベクトルが特定されることで、撮像部１１が撮像している方向が特定されることとなる。

【0042】

パラメータ算出部２４は、基準時の位置情報と、所定時間後の位置情報と、を比較することで、基準時における進行ベクトルを算出する。算出された進行ベクトルは、属性データの一部として、記憶部２１に記憶される。
そしてデータ検索部２３は、撮像データと関連付けられた位置データ、および進行ベクトルを参照して、比較元撮像データおよび比較先撮像データを、記憶部２１から読み込む。

【0043】

ここで、比較元撮像データおよび比較先撮像データはそれぞれ、撮像部１１が取得した動画データを構成する単位フレーム毎の静止画データを指している。
比較元撮像データとは、基準となる時期における撮像データを指す。基準となる時期とは、現在であってもよいし、過去の所定の日時であってもよい。
比較先撮像データとは、比較元撮像と比較される撮像であって、比較元撮像データにおいて特に観察したい部分が写っているデータを指す。比較先撮像データは、比較元撮像データよりも過去のデータであってもよいし、将来のデータであってもよい。

【0044】

パラメータ算出部２４は、比較元撮像データと関連付けられた位置データに対して、所定の位置範囲を付加した位置閾値を設定する。所定の位置範囲としては、例えば±０．５ｍの範囲を設定することができる。なお、所定の位置範囲の値は任意に変更することができる。

【0045】

また、パラメータ算出部２４は、進行ベクトルに対して、所定の角度範囲を付加した角度閾値を設定する。所定の角度範囲としては、例えば±１５°の範囲を設定することができる。なお、所定の角度範囲の値は任意に変更することができる。
そして、データ検索部２３は、記憶部２１に記憶された撮像データのうち、位置閾値内の位置データ、および角度閾値内の進行ベクトルを有する撮像データを、比較元撮像データと類似性の高い比較先撮像データとして、記憶部２１から読み込む。

【0046】

データ補正部２５は、データ検索部２３が読み込んだ撮像データを幾何補正する。データ処理部２２が撮像データを幾何補正することにより、走行車両が走行しながら撮像して取得した複数の撮像データの視点を一致させることができる。
これにより、比較元撮像データと同じ観察点から定点観察したように、損傷個所の識別性の高い補正比較先撮像データを取得することができる。データ補正部２５による幾何補正処理について、図７および図８を用いて詳述する。図７（ａ）は、撮像部１１の仰俯角を説明する図、図７（ｂ）は、３次元仮想領域を説明する図である。図８は、撮像部１１のキャリブレーションを説明する図である。

【0047】

図７（ａ）に示すように、撮像部１１は前方５ｍの地点が画角の中央になるように設定されている。この際、図７（ｂ）に三角形を呈する領域を撮像部１１が撮像できる。
そして、データ補正部２５は、撮像データに３次元仮想領域を設定する。３次元仮想領域とは、検査車両１００の前方に画定される領域であって、図７（ｂ）において白抜きにされている領域を指す。

【0048】

具体的には、撮像部１１の位置を原点として、原点から前方に所定距離までの領域、かつ道路の左右方向の両端部までの領域を３次元仮想領域とする。すなわち、３次元仮想領域は、撮像部１１により撮像されていない範囲を含んでいる。
３次元仮想領域は、第１頂点、第２頂点、第３頂点、および第４頂点により画定されている。第１頂点と第２頂点との間の距離は５ｍ（所定距離）になっている。第１頂点と第４頂点との間の距離は４ｍであり、第１頂点と原点との間の距離は２ｍとなっている。なお、第１頂点と第２頂点との間の所定距離は、５ｍでなくてもよいし、第１頂点と原点との間の距離は２ｍでなくてもよい。すなわち、３次元仮想領域の大きさは、任意に変更することができる。

【0049】

データ補正部２５は、３次元仮想領域を区画する各頂点の座標を用いて、撮像データの視点の位置を示す視点情報を算出する。この際、データ補正部２５は、撮影時に測位システム１２から取得した位置情報を用いて、この3次元仮想領域の各頂点の座標情報を記録し、撮像データに３次元仮想領域を画定する座標を付加した状態で記憶している。

【0050】

図８に示すように、キャリブレーションとして、撮像データにおいて、どの位置に３次元仮想領域を画定する各頂点が位置するのかを確認する。
具体的には、撮像データにおける画素座標と、実際の撮像部１１を原点として求められる空間座標と、の関係を確認する。この際、後方に位置する第１頂点および第４頂点は、撮像されていなくてもよい。

【0051】

次に、データ補正部２５は、視点情報(視点座標と視線方向)を用いて、比較先撮像データに対して、比較元撮像データの視点になるように幾何補正を行うことで、比較元撮像データと比較する比較先補正撮像データを生成する。
この処理では、データ補正部２５は、比較元撮像データに対して、３次元仮想領域の各頂点の座標情報を用いて視点情報(視点座標と視線方向)を算出する。次に、データ補正部２５は、比較先撮像データに対して、３次元仮想領域の各頂点の座標情報を用いて、視点情報(視点座標と視線方向)を算出する。
次に、データ補正部２５は、比較先撮像データの視点情報と、比較元撮像データの視点情報と、を用いて、比較先撮像データの視点を比較元撮像データの視点と一致させるための射影変換行列を算出する。

【0052】

そして、データ補正部２５は、比較先撮像データに対して、比較元撮像データの視点になるように幾何補正を行う。この際、予め算出した射影変換行列を用いて、比較先撮像データを構成する全ての画素に対して幾何補正を行う。これにより、比較元撮像データと視点が一致し、比較しやすくなった比較先補正撮像データが生成される。
このように補正された比較先補正撮像データは、比較元データと視点情報が一致しているので、例えば重ね合わせ処理をすることで、経年変化の様子を正確に把握することができる。

【0053】

（処理フロー）
次に、図９および図１０を用いて路面評価システム１の処理フローについて説明する。図９は、記憶部２１に記憶されたデータを、データ検索部２３が読み込む処理を示すフロー図であり、図１０は、データ補正部２５が幾何補正を行う処理を示すフロー図である。まず、記憶部２１に記憶されたデータを、データ検索部２３が読み込む処理について説明する。

【0054】

図９に示すように、まず、撮像部１１が撮像データを取得する（Ｓ１０１）。この際、検査車両１００は定められた路線区域としての評価路線を走行する。
評価路線を走行しながら撮像部１１により前方の路面の状態を撮像することで、撮像データを取得することができる。なお、アクションカメラ１０は、走行前に予めカメラ位置や仰俯角が前述した構成に設定されている。

【0055】

次に、測位システム１２が位置情報を取得する（Ｓ１０２）。測位システム１２は、ＧＰＳ衛星３０から少なくとも緯度、経度を含む位置情報を取得する。そして、送信部１３が撮像データと位置情報とを送信し（Ｓ１０３）、受信部２７が撮像データと位置情報とを受信する（Ｓ１０４）。
データ処理部２２は、撮像データと位置情報とを記憶部２１に記憶させる（Ｓ１０５：記憶ステップ）。この際、位置情報は属性情報として、撮影時間毎に記憶される。

【0056】

次に、パラメータ算出部２４が、進行ベクトルを含む各パラメータを算出する（Ｓ１０６：パラメータ算出ステップ）。進行ベクトルは、撮像時間毎の各撮像データそれぞれに対して算出される。各パラメータとは、移動距離、走行速度、進行ベクトル、および３次元仮想領域における各頂点座標である。これらの各パラメータは、図４に示すように属性データとして、記憶部２１に記憶される。

【0057】

次に、パラメータ算出部２４が、位置閾値を算出する（Ｓ１０７）。位置閾値は撮像時間毎の各撮像データそれぞれに対して算出される。位置閾値を算出するために用いる所定の位置範囲については、任意に設定することができる。パラメータ算出部２４は、算出した位置閾値を記憶部２１に記憶させる。

【0058】

次に、パラメータ算出部２４が、角度閾値を算出する（Ｓ１０８）。角度閾値は、撮像時間毎の各撮像データそれぞれに対して算出される。角度閾値を算出するために用いる所定の角度範囲については、任意に設定することができる。パラメータ算出部２４は、算出した角度閾値を記憶部２１に記憶させる。

【0059】

次に、データ検索部２３が比較元撮像データを読み込む（Ｓ１０９：データ検索ステップ）。比較元撮像データは、ユーザが入力した撮影時期や評価路線等の情報により特定されて検索される。
比較元撮像データは、例えば最新の撮像データであってもよいし、過去の撮像データであってもよい。比較元撮像データとしては、例えば、路面に形成されたポットホールと呼ばれる窪み等の路面の機能に対して悪影響がある箇所を含む撮像データである。そして、比較元撮像データと、比較先撮像データと、を比較することで、このポットホールの経年変化の様子を確認することができる。

【0060】

次に、データ検索部２３が、比較先撮像データを読み込む（Ｓ１１０：データ検索ステップ）。比較先撮像データは、比較元撮像データと類似性の高い撮像データである。
データ検索部２３は、位置閾値内の位置データ、および角度閾値内の進行ベクトルを有する撮像データを、比較元撮像データと類似性の高い比較先撮像データとして、記憶部２１から読み込む。これにより、比較元撮像データと位置が近く、かつ撮影する方向の近い撮像データが取得できる。

【0061】

次に、データ補正部２５が行う幾何補正の処理について説明する。
図１０に示すように、まず、データ補正部２５が比較元撮像データに３次元仮想領域を設定する（Ｓ２０１）。３次元仮想領域は、予め撮像データにおける画素座標と、実際の撮像部１１を原点として求められる空間座標と、の関係により、画定される。
次に、データ補正部２５が視点情報を算出する（Ｓ２０２）。視点情報の算出に際しては、３次元仮想領域の各頂点の座標を用いて計算を行う。計算された各座標は、属性データの一部として記憶部２１に記憶される（図４参照）。

【0062】

次に、図１０に示すように、データ補正部２５が、比較先撮像データに３次元仮想領域を設定する（Ｓ２０３）。３次元仮想領域は、予め撮像データにおける画素座標と、実際の撮像部１１を原点として求められる空間座標と、の関係により、画定される。
次に、データ補正部２５が視点情報を算出する（Ｓ２０４）。視点情報の算出に際しては、３次元仮想領域の各頂点の座標を用いて計算を行う。
そして、データ補正部２５が、射影変換行列を算出する（Ｓ２０５）。射影変換行列は、比較先撮像データおよび比較元撮像データそれぞれから算出した２つの視点情報を用いて算出する。

【0063】

次に、データ補正部２５が、比較先撮像データに幾何補正を行う（Ｓ２０６）。データ補正部２５は、射影変換行列を用いて行われる。これにより、比較先撮像データの視点情報が、比較元撮像データの視点情報と一致し、同じ視点から観察したような比較先補正撮像データが生成される。次に、データ補正部２５は、生成された比較先補正撮像データを記憶部２１に記憶させる（Ｓ２０７）。

【0064】

そして最後に、表示部２６が、比較元撮像データと比較先補正撮像データとを表示させる（Ｓ２０８）。この際、比較元撮像データと比較先補正撮像データとを重ね合わせた状態で表示してもよいし、並べて配置した状態で表示してもよい。これにより、比較元撮像データと、比較先補正撮像データとを同時に確認することで、路面の機能に対して悪影響を与える箇所の経年変化を確認することができる。

【0065】

以上説明したように、本実施形態に係る路面評価システム１によれば、データ検索部２３が、撮像データと関連付けられた位置データ、および検査車両１００の進行ベクトルを参照して、記憶部２１に記憶された複数の撮像データを比較する。
これにより、データ検索部２３は、同一箇所の路面が撮像された比較元撮像データおよび比較先撮像データを、記憶部２１から読み込むことができる。このため、比較元撮像データと比較先撮像データとを確認して比較することで、例えば、比較先撮像データを比較元撮像データよりも後で撮像したデータとした場合には、時間の経過とともに路面が経年変化する様子を把握することができる。

【0066】

また、データ処理部２２が、位置データに対して位置閾値を設定し、データ検索部２３が、位置閾値内の位置データを、比較元撮像データと類似性の高い比較先撮像データとして記憶部２１から読み込む。これにより、大量に記憶された撮像データのうち、比較元撮像データと撮影地点が近い撮像データを容易に特定することができる。

【0067】

また、データ処理部２２が、進行ベクトルに対して角度閾値を設定し、データ検索部２３が、角度閾値内の進行ベクトルを有する撮像データを、比較元撮像データと類似性の高い比較先撮像データとして記憶部２１から読み込む。
これにより、比較元撮像データと仮に撮影地点が近い撮像データであっても、撮像部１１が撮像している方向が大きく異なる撮像データを除外することで、データ検索部２３の検索処理からノイズを除去することができる。

【0068】

また、撮像部１１が、検査車両１００の前方における左右方向の中央部に、検査車両１００の前方を向くように配置されているので、検査車両１００の左右両側を均等に撮像することができる。

【0069】

また、データ補正部２５が、撮像データに設定した３次元仮想領域を区画する各頂点の座標を用いて、撮像データの視点の位置を示す視点情報を算出し、視点情報を用いて、比較先撮像データに対して、比較元撮像データの視点になるように幾何補正を行う。
これにより、視点情報を予め算出し、全ての画素データに対して適用することで、例えば、比較先撮像データを構成する各画素に対して視点情報を算出して幾何補正を行うような手法と比較して、幾何補正に係る計算負荷を大幅に低減することができる。これにより、路面評価システム１を汎用のパソコン等の計算機により安価に実現することができるとともに、処理速度を確保することができる。

【0070】

なお、上述の実施形態は、本発明の代表的な実施形態を単に例示したものにすぎない。したがって、本発明の趣旨を逸脱しない範囲において、上述の実施形態に対して種々の変形を行ってもよい。

【0071】

例えば、上記実施形態で示した属性データの構造はあくまで例示である。これらのデータ構造は任意に変更することができる。
また、上記実施形態で示した操作端末２０における表示部２６での表示内容は、あくまで例示である。表示部２６での表示内容は任意に変更することができる。

【0072】

また、上記実施形態では、３次元仮想領域として、矩形の領域を画定する構成を説明したが、このような態様に限られない。３次元仮想領域は、矩形以外の平面図形であってもよい。
また、上記実施形態では、データ補正部２５が、射影変換行列を算出し、この行列を用いて幾何補正を行う態様について説明したが、このような態様に限られない。データ補正部２５は、射影変換行列を算出することなく、単純に基準となる座標を一致させる補正を行ってもよい。

【0073】

また、路面評価システム１に用いられる制御プログラムは、コンピュータに読み取り可能な記憶媒体に記憶された状態で提供されてもよい。記憶媒体は、「一時的でない有形の媒体」に、制御プログラムを記憶可能である。
記憶媒体は、ＨＤＤやＳＤＤなどの任意の適切な記憶媒体、またはこれらの２つ以上の適切な組合せを含むことができる。記憶媒体は、揮発性、不揮発性、または揮発性と不揮発性の組合せでよい。なお、記憶媒体はこれらの例に限られず、制御プログラムを記憶可能であれば、どのようなデバイスまたは媒体であってもよい。

【0074】

また、路面評価システム１は、記憶媒体に記憶された制御プログラムを読み出し、読み出した制御プログラムを実行することによって、実施形態に示す各機能を実現する構成であってもよい。また、制御プログラムは、任意の伝送媒体（通信ネットワークや放送波等）を介して、路面評価システム１に提供されてもよい。路面評価システム１は、例えば、インターネット等を介してダウンロードした制御プログラムを実行することにより、前述した各種の機能を実現する構成であってもよい。

【0075】

また、制御プログラムは、例えば、ＡｃｔｉｏｎＳｃｒｉｐｔ、ＪａｖａＳｃｒｉｐｔ(登録商標)などのスクリプト言語、Ｏｂｊｅｃｔｉｖｅ―Ｃ、Ｊａｖａ(登録商標)などのオブジェクト指向プログラミング言語、ＨＴＭＬ５などのマークアップ言語などを用いて実装してもよい。

【0076】

また、上記実施形態では、路面評価システム１が、アクションカメラ１０と操作端末２０とにより実現されている構成を示したが、このような態様に限られない。路面評価システム１は、アクションカメラ１０を備えておらず、取得された撮像データ、および位置情報を解析する操作端末２０のみの構成であってもよい。

【0077】

また、路面評価システム１における処理の少なくとも一部は、１以上のコンピュータにより構成されるクラウドコンピューティングにより実現されていてもよい。また、路面評価システム１の各機能部は、上記実施形態に示した機能を実現する１または複数の回路によって実現されてもよく、１の回路により複数の機能部の機能が実現されることとしてもよい。

【0078】

また、本開示の実施形態を諸図面や実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易である。従って、これらの変形や修正は本開示の範囲に含まれることになる。例えば、各手段、各ステップ等に含まれる機能等は論理的に矛盾しないように再配置可能であり、複数の手段やステップ等を１つに組み合わせたり、或いは分割したりすることが可能である。また、各実施形態に示す構成を適宜組み合わせることとしてもよい。

【符号の説明】

【0079】

１ 路面評価システム
１０ アクションカメラ
１１ 撮像部
１２ 測位システム
２０ 操作端末
２１ 記憶部
２２ データ処理部
２３ データ検索部
２４ パラメータ算出部
２５ データ補正部
１００ 検査車両

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】