特許 5938327 路面撮影システム及びトンネル壁面撮影システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5938327

(24)【登録日】2016年5月20日

(45)【発行日】2016年6月22日

(54)【発明の名称】路面撮影システム及びトンネル壁面撮影システム

(51)【国際特許分類】

   H04N 7/18 20060101AFI20160609BHJP

   H04N 5/225 20060101ALI20160609BHJP

   H04N 5/232 20060101ALI20160609BHJP

   E01C 23/01 20060101ALI20160609BHJP

【ＦＩ】

   H04N7/18 U

   H04N5/225 Z

   H04N5/232 Z

   H04N7/18 B

   E01C23/01

【請求項の数】5

【全頁数】17

(21)【出願番号】特願2012-233389(P2012-233389)

(22)【出願日】2012年10月23日

(65)【公開番号】特開2014-86826(P2014-86826A)

(43)【公開日】2014年5月12日

【審査請求日】2015年7月16日

(73)【特許権者】

【識別番号】593093858

【氏名又は名称】西日本高速道路エンジニアリング関西株式会社

(73)【特許権者】

【識別番号】507008747

【氏名又は名称】株式会社エルゴビジョン

(74)【代理人】

【識別番号】100107847

【弁理士】

【氏名又は名称】大槻 聡

(72)【発明者】

【氏名】樅山 好幸

(72)【発明者】

【氏名】三木 健一

(72)【発明者】

【氏名】松本 剛也

(72)【発明者】

【氏名】村林 正和

(72)【発明者】

【氏名】森 直幸

(72)【発明者】

【氏名】藤井 英郎

【審査官】 高野 美帆子

(56)【参考文献】

【文献】 特開２０１１−０９０３６７（ＪＰ，Ａ）

【文献】 特開平１１−２２９８００（ＪＰ，Ａ）

【文献】 特開２００２−０５７９２９（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ７／１８

Ｅ０１Ｃ ２３／０１

Ｈ０４Ｎ ５／２２５

Ｈ０４Ｎ ５／２３２

(57)【特許請求の範囲】

【請求項1】

路面上の撮影領域が車両の走行方向と交差するラインセンサからなり、当該撮影領域の一部を互いに重複させて、所定の走行距離ごとに撮影を行う第１及び第２の車載カメラと、
第１及び第２の車載カメラの撮影画像に基づいて、合成画像を生成する画像合成装置とを備えた路面撮影システムにおいて、
上記画像合成装置が、第１の車載カメラの撮影画像を１又は２以上のラインからなる多数の第１画像ブロックに区分する第１画像分割手段と、
第１画像ブロックに対応するように、第２の車載カメラの撮影画像を１又は２以上のラインからなる多数の第２画像ブロックに区分する第２画像分割手段と、
一部の第１画像ブロックについて、対応する第２画像ブロックとの比較を行って、第２画像ブロックとの重複幅を求める重複幅検出手段と、
残りの第１画像ブロックについて、上記重複幅検出手段により求められた上記重複幅に基づく補間演算を行って、対応する第２画像ブロックとの重複幅を求める重複幅補間手段と、
上記重複幅検出手段及び上記重複幅補間手段により求められた上記重複幅に基づいて、上記合成画像を生成する合成画像生成手段とを備えたことを特徴とする路面撮影システム。

【請求項2】

上記重複幅検出手段は、所定のブロック数をインターバル周期として、上記一部の第１画像ブロックを選択し、
上記画像合成装置は、上記重複幅に基づいて、上記インターバル周期を決定するインターバル制御手段を有することを特徴とする請求項１に記載の路面撮影システム。

【請求項3】

上記重複幅補間手段は、上記一部の第１画像ブロックの重複幅を用いて線形補間することにより、上記残りの第１画像ブロックの重複幅を求めることを特徴とする請求項１又は２に記載の路面撮影システム。

【請求項4】

上記車両の振動を検出する振動検出装置を備え、
上記重複幅検出手段は、所定のブロック数をインターバル周期として、上記一部の第１画像ブロックを選択し、
上記画像合成装置は、上記振動検出装置の検出結果に基づいて、上記インターバル周期を決定するインターバル制御手段を有することを特徴とする請求項１に記載の路面撮影システム。

【請求項5】

トンネル壁面上の撮影領域が車両の走行方向と交差するラインセンサからなり、当該撮影領域の一部を互いに重複させて、所定の走行距離ごとに撮影を行う第１及び第２の車載カメラと、
第１及び第２の車載カメラの撮影画像に基づいて、合成画像を生成する画像合成装置とを備えたトンネル壁面撮影システムにおいて、
上記画像合成装置が、第１の車載カメラの撮影画像を１又は２以上のラインからなる多数の第１画像ブロックに区分する第１画像分割手段と、
第１画像ブロックに対応するように、第２の車載カメラの撮影画像を１又は２以上のラインからなる多数の第２画像ブロックに区分する第２画像分割手段と、
一部の第１画像ブロックについて、対応する第２画像ブロックとの比較を行って、第２画像ブロックとの重複幅を求める重複幅検出手段と、
残りの第１画像ブロックについて、上記重複幅検出手段により求められた上記重複幅に基づく補間演算を行って、対応する第２画像ブロックとの重複幅を求める重複幅補間手段と、
上記重複幅検出手段及び上記重複幅補間手段により求められた上記重複幅に基づいて、上記合成画像を生成する合成画像生成手段とを備えたことを特徴とするトンネル壁面撮影システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、路面撮影システム及びトンネル壁面撮影システムに係り、更に詳しくは、撮影領域の一部を互いに重複させて撮影を行う第１及び第２の車載カメラを備えた路面撮影システムの改良に関する。

【背景技術】

【0002】

路面検査システムは、舗装道路を走行しながら車載カメラにより路面を撮影し、その撮影画像を解析することによって、路面に生じたひび割れ等を検出する。通常、画角の大きいカメラは、画角の小さいカメラに比べ、撮影画像の周辺部が歪み易い。このため、車両の走行方向と交差する車幅方向に関して路面を広範囲に撮影するようなケースでは、複数の車載カメラが用いられる。この場合、各車載カメラは、路面上の撮影領域の一部が互いに重複するように配設され、撮影画像を連結することにより、元の撮影画像に比べて車幅方向に視野の広い合成画像が生成される。路面検査には、車載カメラの撮影画像を車幅方向に連結した多数の車幅連結画像を車両の走行方向に関して連結することにより、走行方向に視野が拡大された帯状の合成画像からなる路面画像が用いられる。

【0003】

この様な路面検査システムでは、路面撮影用の車両が路面の段差を通過すれば、車両全体が上下方向に大きく揺れ、車載カメラと路面との距離が大きく変化する。車載カメラ及び路面間の距離が変化すれば、路面上の撮影領域が車幅方向に拡大又は縮小し、隣接するカメラ間で撮影領域の重複部分の大きさも変化する。従来の路面検査システムでは、車両が路面の段差を通過したことに起因して路面上の撮影領域や重複部分が変化するという現象が考慮されておらず、隣接するカメラ間で撮影画像を連結する際に、一定サイズの画像領域を重複させて各撮影画像が合成される。このため、合成画像に画素の欠落や重複が生じてしまうという問題があった。

【0004】

そこで、隣接するカメラの撮影画像を比較し、撮影画像上の重複領域を求めて撮影画像を連結することにより、合成画像を生成する路面検査システムが提案されている（例えば、特許文献１）。この特許文献１に記載された路面検査システムでは、撮影画像を比較して重複領域を求めることにより、車両の振動に起因して撮影画像間で重複領域の長さが一定値ではないことによる誤差を除去している。

【0005】

しかしながら、特許文献１の路面検査システムでは、車両が一定距離を走行することによって撮影画像が車載カメラから取得されるごとに、撮影画像を隣接するカメラ間で比較して重複領域を求める処理を行わなければならなかった。このため、多数の車幅連結画像から車両の走行方向に視野が拡大された路面画像を生成する際の処理負荷が大きいという問題があった。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】特開２０１１−９０３６７号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

本発明は、上記事情に鑑みてなされたものであり、車載カメラの撮影画像を合成して路面の合成画像を生成する際の処理負荷を低減させることができる路面撮影システムを提供することを目的とする。特に、車両の揺れ等に起因して合成画像に画素の欠落や重複が生じるのを抑制しつつ、多数の車幅連結画像から車両の走行方向に視野が拡大された合成画像を生成する際の処理負荷を低減させることができる路面撮影システムを提供することを目的とする。

【0008】

また、本発明は、撮影領域の重複部分の長さに応じて、合成画像を生成する際の処理負荷をより低減させ、或いは、合成画像における走行方向の解像度を向上させることができる路面撮影システムを提供することを目的とする。また、本発明は、車両の振動の周期や振幅に応じて、合成画像を生成する際の処理負荷をより低減させ、或いは、合成画像における走行方向の解像度を向上させることができる路面撮影システムを提供することを目的とする。

【0009】

また、本発明は、車載カメラの撮影画像を合成してトンネル壁面の合成画像を生成する際の処理負荷を低減させることができるトンネル壁面撮影システムを提供することを目的とする。特に、車両の揺れ等に起因して合成画像に画素の欠落や重複が生じるのを抑制しつつ、多数の車幅連結画像から車両の走行方向に視野が拡大された合成画像を生成する際の処理負荷を低減させることができるトンネル壁面撮影システムを提供することを目的とする。

【課題を解決するための手段】

【0010】

第１の本発明による路面撮影システムは、路面上の撮影領域が車両の走行方向と交差するラインセンサからなり、当該撮影領域の一部を互いに重複させて、所定の走行距離ごとに撮影を行う第１及び第２の車載カメラと、第１及び第２の車載カメラの撮影画像に基づいて、合成画像を生成する画像合成装置とを備えた路面撮影システムであって、上記画像合成装置が、第１の車載カメラの撮影画像を１又は２以上のラインからなる多数の第１画像ブロックに区分する第１画像分割手段と、第１画像ブロックに対応するように、第２の車載カメラの撮影画像を１又は２以上のラインからなる多数の第２画像ブロックに区分する第２画像分割手段と、一部の第１画像ブロックについて、対応する第２画像ブロックとの比較を行って、第２画像ブロックとの重複幅を求める重複幅検出手段と、残りの第１画像ブロックについて、上記重複幅検出手段により求められた上記重複幅に基づく補間演算を行って、対応する第２画像ブロックとの重複幅を求める重複幅補間手段と、上記重複幅検出手段及び上記重複幅補間手段により求められた上記重複幅に基づいて、上記合成画像を生成する合成画像生成手段とを備えて構成される。

【0011】

この路面撮影システムの画像合成装置では、一部の第１画像ブロックについてだけ、対応する第２画像ブロックとの比較を行って第２画像ブロックとの重複幅を求め、残りの第１画像ブロックについては、補間演算により、対応する第２画像ブロックとの重複幅が求められる。合成画像は、この様にして求められた重複幅を用いて第１及び第２画像ブロックを連結することによって、車両の走行方向と交差する車幅方向に視野の広い多数の車幅連結画像を取得し、これらの車幅連結画像を車両の走行方向に関して連結することによって得られる。このため、全ての画像ブロックについて、第１及び第２車載カメラ間で画像ブロックを比較して重複幅を求める場合に比べ、多数の車幅連結画像から車両の走行方向に視野が拡大された合成画像を生成する際の処理負荷を低減させることができる。また、画像ブロックの比較により重複幅を求めて撮影画像を合成するので、車両の揺れ等に起因して合成画像に画素の欠落や重複が生じるのを抑制することができる。

【0012】

第２の本発明による路面撮影システムは、上記構成に加え、上記重複幅検出手段が、所定のブロック数をインターバル周期として、上記一部の第１画像ブロックを選択し、上記画像合成装置が、上記重複幅に基づいて、上記インターバル周期を決定するインターバル制御手段を有するように構成される。

【0013】

この様な構成によれば、重複幅検出手段又は重複幅補間手段により求められた重複幅に基づいてインターバル周期が定められるので、撮影領域の重複部分の長さに応じて、合成画像を生成する際の処理負荷をより低減させ、或いは、合成画像における走行方向の解像度を向上させることができる。

【0014】

第３の本発明による路面撮影システムは、上記構成に加え、上記重複幅補間手段が、上記一部の第１画像ブロックの重複幅を用いて線形補間することにより、上記残りの第１画像ブロックの重複幅を求めるように構成される。

【0015】

この様な構成によれば、一部の第１及び第２画像ブロックから求められた重複幅を用いて、残りの第１及び第２画像ブロックの重複幅を補間演算により求める際の処理負荷を低減させることができる。

【0016】

第４の本発明による路面撮影システムは、上記構成に加え、上記車両の振動を検出する振動検出装置を備え、上記重複幅検出手段が、所定のブロック数をインターバル周期として、上記一部の第１画像ブロックを選択し、上記画像合成装置が、上記振動検出装置の検出結果に基づいて、上記インターバル周期を決定するインターバル制御手段を有するように構成される。

【0017】

この様な構成によれば、車両の振動の検出結果に基づいてインターバル周期が定められるので、車両の振動の周期や振幅に応じて、合成画像を生成する際の処理負荷をより低減させ、或いは、合成画像における走行方向の解像度を向上させることができる。

【0018】

第５の本発明によるトンネル壁面撮影システムは、トンネル壁面上の撮影領域が車両の走行方向と交差するラインセンサからなり、当該撮影領域の一部を互いに重複させて、所定の走行距離ごとに撮影を行う第１及び第２の車載カメラと、第１及び第２の車載カメラの撮影画像に基づいて、合成画像を生成する画像合成装置とを備えたトンネル壁面撮影システムであって、上記画像合成装置が、第１の車載カメラの撮影画像を１又は２以上のラインからなる多数の第１画像ブロックに区分する第１画像分割手段と、第１画像ブロックに対応するように、第２の車載カメラの撮影画像を１又は２以上のラインからなる多数の第２画像ブロックに区分する第２画像分割手段と、一部の第１画像ブロックについて、対応する第２画像ブロックとの比較を行って、第２画像ブロックとの重複幅を求める重複幅検出手段と、残りの第１画像ブロックについて、上記重複幅検出手段により求められた上記重複幅に基づく補間演算を行って、対応する第２画像ブロックとの重複幅を求める重複幅補間手段と、上記重複幅検出手段及び上記重複幅補間手段により求められた上記重複幅に基づいて、上記合成画像を生成する合成画像生成手段とを備えて構成される。

【0019】

このトンネル壁面撮影システムの画像合成装置では、一部の第１画像ブロックについてだけ、対応する第２画像ブロックとの比較を行って第２画像ブロックとの重複幅を求め、残りの第１画像ブロックについては、補間演算により、対応する第２画像ブロックとの重複幅が求められる。合成画像は、この様にして求められた重複幅を用いて第１及び第２画像ブロックを連結することによって、車両の走行方向と交差する車幅方向に視野の広い多数の車幅連結画像を取得し、これらの車幅連結画像を車両の走行方向に関して連結することによって得られる。このため、全ての画像ブロックについて、第１及び第２車載カメラ間で画像ブロックを比較して重複幅を求める場合に比べ、多数の車幅連結画像から車両の走行方向に視野が拡大された合成画像を生成する際の処理負荷を低減させることができる。また、画像ブロックの重複幅を求めて撮影画像の合成画像を生成するので、車両の揺れ等に起因して合成画像に画素の欠落や重複が生じるのを抑制することができる。

【発明の効果】

【0020】

本発明による路面撮影システムでは、車載カメラの撮影画像を合成して路面の合成画像を生成する際の処理負荷を低減させることができる。特に、車両の揺れ等に起因して合成画像に画素の欠落や重複が生じるのを抑制しつつ、多数の車幅連結画像から車両の走行方向に視野が拡大された合成画像を生成する際の処理負荷を低減させることができる。

【0021】

また、撮影領域の重複部分の長さに応じて、合成画像を生成する際の処理負荷をより低減させ、或いは、合成画像における走行方向の解像度を向上させることができる。さらに、車両の振動の周期や振幅に応じて、合成画像を生成する際の処理負荷をより低減させ、或いは、合成画像における走行方向の解像度を向上させることができる。

【0022】

また、本発明によるトンネル壁面撮影システムでは、車載カメラの撮影画像を合成してトンネル壁面の合成画像を生成する際の処理負荷を低減させることができる。特に、車両の揺れ等に起因して合成画像に画素の欠落や重複が生じるのを抑制しつつ、多数の車幅連結画像から車両の走行方向に視野が拡大された合成画像を生成する際の処理負荷を低減させることができる。

【図面の簡単な説明】

【0023】

【図1】本発明の実施の形態による路面撮影システム１１０を含む路面検査システム１００の一構成例を示したシステム図である。

【図2】図１の車両１１１の構成例を示した外観図であり、車幅方向から車両１１１の左側面を見た様子が示されている。

【図3】図１の車両１１１の構成例を示した斜視図であり、車両１１１のリア面に取り付けられたカメラユニット１、路面照明ユニット３１，３２及び４が示されている。

【図4】図１の車両１１１の構成例を示した外観図であり、走行方向から車両１１１のリア面を見た様子が示されている。

【図5】図１の車両１１１の内部構成の一例を示したブロック図である。

【図6】図１の画像合成装置１１２の構成例を示したブロック図である。

【図7】図４の車載カメラ１ａ〜１ｃを用いた路面撮影の様子を模式的に示した説明図である。

【図8】図７の状態から車両１１１が段差を通過した直後の様子を示した説明図である。

【図9】従来の路面撮影システムにより生成された路面画像の一例を示した図である。

【図10】図１の路面撮影システム１１０により生成された路面画像の一例を示した図である。

【図11】図６の画像合成装置１１２によりチェックブロックＣＢ_１及びＣＢ_２間の重複幅Ｗ_１，Ｗ_２を求める処理の一例を模式的に示した説明図である。

【図12】図１の路面検査システム１００の動作の一例を示したフローチャートである。

【図13】図１２の撮影画像合成処理の処理手順を示したフローチャートである。

【図14】図１３の重複幅判別処理の処理手順を示したフローチャートである。

【発明を実施するための形態】

【0024】

＜路面検査システム１００＞
図１は、本発明の実施の形態による路面撮影システム１１０を含む路面検査システム１００の一構成例を示したシステム図である。この路面検査システム１００は、路面撮影システム１１０及びひび割れ検出装置１２０からなり、舗装道路を走行する車両１１１の車載カメラ１ａ〜１ｃにより路面を撮影し、その撮影画像を解析することによって路面に生じたひび割れを検出する。

【0025】

路面撮影システム１１０は、車載カメラ１ａ〜１ｃ及び振動検出装置２が設けられた車両１１１と、車載カメラ１ａ〜１ｃの撮影画像を合成して路面画像を生成する画像合成装置１１２により構成される。路面撮影は、路面上を所定の速度で走行しながら行われる。例えば、８０ｋｍ／ｈ〜１２０ｋｍ／ｈ程度の車両速度で走行中に路面撮影が行われる。

【0026】

車載カメラ１ａ〜１ｃは、いずれも路面上の撮影領域が車両１１１の走行方向と交差するラインセンサからなる撮像装置であり、所定の走行距離ごとに撮影を行う。振動検出装置２は、車両１１１の走行方向に関する路面画像の解像度を調整するために、路面走行に伴って生じる車両１１１の振動を検出する揺れ検出センサであり、振動の周期及び振幅が検出される。例えば、振動検出装置２は、加速度センサからなる。

【0027】

画像合成装置１１２は、各車載カメラ１ａ〜１ｃにより取得された撮影画像の一部を互いに重複させて連結することにより、車両１１１の走行方向と交差する車幅方向に関して元の撮影画像に比べ視野の広い多数の車幅連結画像を生成する。路面画像は、この多数の車幅連結画像を連結することにより、車両１１１の走行方向に関して視野が拡大された合成画像として生成される。ひび割れ検出装置１２０は、この様な路面画像を解析することにより、路面のどこにどの様なひび割れが存在するのかを検出する。

【0028】

＜路面撮影用の車両１１１＞
図２は、図１の車両１１１の構成例を示した外観図であり、車幅方向から車両１１１の左側面を見た様子が示されている。この車両１１１には、車載カメラ１ａ〜１ｃからなるカメラユニット１と、路面照明ユニット３及び４が設けられ、路面５上を概ね一定の速度で走行しながら路面撮影が行われる。

【0029】

路面照明ユニット３，４は、いずれも路面撮影のために路面５を照明する投光装置であり、路面５上の投光エリアが車両１１１の走行方向と交差する線状の光源装置からなる。路面照明ユニット３は、車両１１１の走行ラインに対し、左側エリア及び右側エリアを投光エリアとして照明する照明ユニットであり、路面照明ユニット４は、中央エリアを投光エリアとして照明する照明ユニットである。

【0030】

カメラユニット１は、路面照明ユニット３，４の照射光の路面５による反射光を受光して撮影画像を生成する。カメラユニット１、路面照明ユニット３及び４は、車両１１１のリア面に取り付けられている。カメラユニット１は、車両リア面の上部に配置され、路面照明ユニット３及び４は、路面５近くに配置されている。

【0031】

図３は、図１の車両１１１の構成例を示した斜視図であり、車両１１１のリア面に取り付けられたカメラユニット１、路面照明ユニット３１，３２及び４が示されている。図４は、図１の車両１１１の構成例を示した外観図であり、走行方向から車両１１１のリア面を見た様子が示されている。図４では、カメラユニット１の遮光カバーを取り外した状態が示されている。

【0032】

カメラユニット１には、外光を遮断するための遮光カバーが設けられ、遮光カバーを取り外せば、図４に示すように、３つの車載カメラ１ａ〜１ｃが露出する。各車載カメラ１ａ〜１ｃは、多数の受光素子が直線状に配列された撮像素子からなるラインセンサにより構成され、路面上の撮影領域の一部を互いに重複させて撮影を行う。

【0033】

車載カメラ１ａ〜１ｃとしてラインセンサからなるカメラを用いることにより、路面照明装置を小型化することができる。また、２次元のイメージセンサを用いる場合に比べ、開口率を大きくすることができる。

【0034】

車載カメラ１ｂは、車両１１１の走行方向に対し、中央エリアを撮影領域として撮影を行う中央カメラであり、車両リア面の中央に配置されている。この車載カメラ１ｂは、撮影軸を直下に向けて配置されている。一方、車載カメラ１ａは、車両１１１の走行方向に対し、左側エリアを撮影領域として撮影を行う左カメラであり、車両リア面の左側に配置されている。また、車載カメラ１ｃは、車両１１１の走行方向に対し、右側エリアを撮影領域として撮影を行う右カメラであり、車両リア面の右側に配置されている。車載カメラ１ａ，１ｃは、撮影軸がサイド側を向くように傾斜させて配置されている。

【0035】

路面照明ユニット３は、車両１１１の走行ラインに対し、左側エリアを照明するための路面照明ユニット３１と、右側エリアを照明するための路面照明ユニット３２により構成される。路面照明ユニット３１，３２，４には、それぞれ線状の光源装置３１ａ，３２ａ，４ａと、照射光の光漏れを防ぐための遮光カバーが設けられている。

【0036】

各光源装置３１ａ，３２ａ，４ａは、路面５上の投光エリアの一部が互いに重複するように配置されている。例えば、光源装置３１ａ，３２ａ，４ａは、いずれも多数の白色ＬＥＤ（発光ダイオード）により構成される。

【0037】

図５は、図１の車両１１１の内部構成の一例を示したブロック図である。この車両１１１は、車載カメラ１ａ〜１ｃ、振動検出装置２、車速計１０、車速パルス変換器１１、撮影制御部１２、撮影画像記憶部１３、補正テーブル記憶部１４及び検出データ記憶部１５により構成される。

【0038】

車速計１０は、車両１１１の走行速度を計測するための速度計測部であり、走行速度を示す車速パルスを生成する。車速パルス変換器１１は、車速パルスを変換することにより、撮影タイミングを規定するための撮影制御パルスを生成し、撮影制御部１２へ出力する。

【0039】

撮影制御部１２は、撮影制御パルスに基づいて車載カメラ１ａ〜１ｃを制御し、所定の走行距離ごとに撮影画像を取得する。例えば、車両１１１が距離１ｍｍを走行するごとに撮影画像が取得される。各車載カメラ１ａ〜１ｃの撮影は、撮影制御パルスに同期して行われ、取得された撮影画像は、撮影画像記憶部１３内に順次に格納される。

【0040】

また、撮影制御部１２は、撮影画像の幾何補正やシェーディング補正のためのキャリブレーション撮影を行い、取得した撮影画像から補正テーブルを生成し、補正テーブル記憶部１４内に格納する。

【0041】

幾何補正は、車載カメラ１ａ〜１ｃのレンズの歪みや、車載カメラ１ａ〜１ｃを車両１１１に取り付ける際の取付誤差による歪みを除去するための歪み補正である。シェーディング補正は、照明の不均一さによる輝度むらを除去するための明るさ補正である。キャリブレーション撮影は、キャリブレーション用のチャートを路面上に配置し、このチャートを撮影することにより行われる。

【0042】

検出データ記憶部１５には、振動検出装置２により検出された振動の周期及び振幅が検出データとして格納される。例えば、撮影画像記憶部１３、補正テーブル記憶部１４及び検出データ記憶部１５は、ＳＳＤ（Solid State Drive）により構成され、着脱可能な不揮発性記録媒体に撮影画像や補正テーブルが保持される。

【0043】

＜画像合成装置１１２＞
図６は、図１の画像合成装置１１２の構成例を示したブロック図である。この画像合成装置１１２は、第１画像分割部２０、第２画像分割部２１、チェックブロック選択部２２、補正処理部２３、重複幅算出部２４、重複幅補間部２５、合成画像生成部２６、路面画像記憶部２７及びインターバル制御部２８により構成される。

【0044】

第１画像分割部２０は、中央カメラ、すなわち、車載カメラ１ｂの撮影画像を車両１１１から取得し、多数の第１画像ブロックに区分する。各第１画像ブロックは、１又は２以上のライン、すなわち、１又は２以上の撮影画像からなる。例えば、各第１画像ブロックは、数百ライン程度の撮影画像を積算した２次元画像からなる。

【0045】

第２画像分割部２１は、左カメラ（車載カメラ１ａ）及び右カメラ（車載カメラ１ｃ）の撮影画像を車両１１１から取得し、それぞれ多数の第２画像ブロックに区分する。第２画像ブロックは、第１画像ブロックに対応するように定められる。各第２画像ブロックは、１又は２以上のラインからなる。

【0046】

チェックブロック選択部２２は、所定のブロック数をインターバル周期Ｔとして、一部の第１画像ブロックを、画像比較によって重複幅Ｗを求めるためのチェックブロックＣＢとして選択する。

【0047】

補正処理部２３は、車両１１１から補正テーブルを取得し、補正テーブルに基づいて撮影画像の補正処理を行う。この補正処理は、幾何補正、画像幅の補正及びシェーディング補正からなる。画像幅の補正は、撮影領域の長さの不均一さによる歪みを補正するための画像サイズ補正である。

【0048】

車載カメラ１ｂは、撮影軸を下に向けて配置されるのに対し、車載カメラ１ａ，１ｃは、撮影軸がサイド側を向くように傾斜させて配置される。このため、撮影領域の車幅方向の長さを比較すれば、車載カメラ１ａ，１ｃの撮影領域は、車載カメラ１ｂの撮影領域に比べて長い。画像幅の補正では、撮影画像のサイズを調整することにより、この様な撮影領域の不均一さが補正される。

【0049】

重複幅算出部２４は、チェックブロックＣＢについて、対応する第２画像ブロックとの比較を行って、第２画像ブロックとの重複幅Ｗを求める。この重複幅算出部２４は、補正処理部２３による補正後の画像ブロックに基づいて、重複幅Ｗを求める。例えば、重複幅Ｗは、チェックブロックＣＢから小領域を抽出し、この小領域に対し、第２画像ブロック内で輝度の分布が最も近い画像領域を検出することにより、求められる。チェックブロック選択部２２及び重複幅算出部２４は、重複幅検出部を構成している。

【0050】

重複幅補間部２５は、残りの第１画像ブロックについて、重複幅算出部２４により求められた重複幅Ｗに基づく補間演算を行って、対応する第２画像ブロックとの重複幅Ｗを求める。この重複幅補間部２５は、チェックブロックＣＢの重複幅Ｗを用いて線形補間することにより、残りの第１画像ブロックの重複幅Ｗを求める。

【0051】

合成画像生成部２６は、重複幅算出部２４及び重複幅補間部２５により求められた重複幅Ｗに基づいて、合成画像を生成する。合成画像は、重複幅Ｗだけ重複するように第１画像ブロックと第２画像ブロックとを連結することによって多数の車幅連結画像を作成し、これらの車幅連結画像を車両１１１の走行方向に関して連結することにより、生成される。この合成画像は、補正処理部２３による補正後の画像ブロックに基づいて、作成される。路面画像記憶部２７には、合成画像生成部２６により生成された合成画像が路面画像として保持される。

【0052】

インターバル制御部２８は、振動検出装置２の検出データを車両１１１から取得し、検出データに基づいて、インターバル周期Ｔを決定する。例えば、振動の周期が一定値を下回れば、インターバル周期Ｔを短くする制御が行われる。一方、振動の周期が一定値を上回れば、インターバル周期Ｔを長くする制御が行われる。

【0053】

この様に構成することにより、車両１１１の振動の検出結果に基づいてインターバル周期Ｔが定められるので、車両１１１の振動の周期に応じて、路面画像を生成する際の処理負荷をより低減させ、或いは、路面画像における走行方向の解像度を向上させることができる。

【0054】

図７は、図４の車載カメラ１ａ〜１ｃを用いた路面撮影の様子を模式的に示した説明図である。車両１１１上の車載カメラ１ａ〜１ｃは、路面５からの高さがＨ_１であり、撮影領域Ａ_１，Ｂ_１の一部を互いに重複させて撮影を行う。

【0055】

例えば、左カメラ（車載カメラ１ａ）は、車両１１１の走行ラインよりも左側のエリアを撮影領域Ａ_１として撮影を行う。また、中央カメラ（車載カメラ１ｂ）は、車両１１１の走行ラインの中央エリアを撮影領域Ｂ_１として撮影を行う。撮影領域Ａ_１及び撮影領域Ｂ_１には、重複部分Ｄ１が生じている。

【0056】

各車載カメラ１ａ〜１ｃの撮影領域は、車幅方向に長い線状エリアからなり、５ｍ程度の幅員の路面５をカバーすることができる。車両１１１が路面５の段差を通過すれば、車両１１１全体が上下方向に大きく揺れ、車載カメラ１ａ〜１ｃと路面５との距離が大きく変化する。

【0057】

図８は、図７の状態から車両１１１が段差を通過した直後の様子を示した説明図である。図７の状態から車両１１１が段差を通過することにより、車載カメラ１ａ〜１ｃの路面５からの高さがＨ_１からＨ_２に変化し、ΔＨだけ低くなっている。このとき、車載カメラ１ａの撮影領域Ａ_２と、車載カメラ１ｂの撮影領域Ｂ_２とは、いずれも段差の通過前に比べて車幅方向の長さが短くなっている。

【0058】

このため、撮影領域Ａ_２及びＢ_２間の重複部分Ｄ_２は、段差通過前の重複部分Ｄ_１に比べて短い。この様に、車載カメラ１ａ〜１ｃ及び路面５間の距離が変化すれば、路面５上の撮影領域が車幅方向に拡大又は縮小し、隣接するカメラ間で撮影領域の重複部分の大きさも変化する。

【0059】

従来の路面撮影システムでは、車両１１１が路面５の段差を通過したことに起因して路面５上の撮影領域や重複部分が変化することが考慮されておらず、隣接するカメラ間で撮影画像を連結する際に、一定サイズの画像領域を重複させて各撮影画像が合成される。このため、路面画像に画素の欠落や重複が生じてしまう。

【0060】

図９は、従来の路面撮影システムにより生成された路面画像の一例を示した図である。この図には、路面５に設けられたマンホールの蓋付近を撮影した路面画像が示されている。この路面画像では、画素の欠落部分が車両１１１の走行方向に沿って生じている。

【0061】

これに対し、本実施の形態による路面撮影システム１１０では、画像ブロックの比較により重複幅Ｗを求めて撮影画像を合成するので、車両１１１の揺れ等に起因して路面画像に画素の欠落や重複が生じるのを抑制することができる。

【0062】

図１０は、図１の路面撮影システム１１０により生成された路面画像の一例を示した図である。この路面画像では、図９に示したような画素の欠落部分が見られず、高品質の路面画像が得られている。

【0063】

図１１は、図６の画像合成装置１１２によりチェックブロックＣＢ_１及びＣＢ_２間の重複幅Ｗ_１，Ｗ_２を求める処理の一例を模式的に示した説明図である。この図では、中央カメラの撮影画像が多数の第１画像ブロックに区分して時系列に配列され、左カメラ及び右カメラの撮影画像が多数の第２画像ブロックに区分して時系列に配列されている。

【0064】

チェックブロックＣＢ_１は、多数の第１画像ブロックの中からインターバル周期Ｔで自動的に選択される。チェックブロックＣＢ_２は、チェックブロックＣＢ_１に合わせて、多数の第２画像ブロックの中から選択される。

【0065】

チェックブロックＣＢ_１及びＣＢ_２間の重複幅Ｗ_１，Ｗ_２は、これらの画像ブロックを照合して求められる。具体的には、チェックブロックＣＢ_１内の小領域Ｐ_１に対し、輝度分布が最も近い画像領域をチェックブロックＣＢ_２内から検出することにより、求められる。例えば、チェックブロックＣＢ_１の右端に小領域Ｐ_１を定め、小領域Ｐ_１と走行方向の位置が同一であり、かつ、車幅方向の長さが小領域Ｐ_１よりも大きいマッチング領域Ｆ_１をサーチして小領域Ｐ_１に最も近い画像領域を検出することにより、重複幅Ｗ_１が求められる。

【0066】

インターバル周期Ｔだけ撮影時刻が異なるチェックブロックＣＢ_１，ＣＢ_２についても同様に、マッチング領域Ｆ_２内から小領域Ｐ_１に最も近い画像領域を検出することにより、重複幅Ｗ_２が求められる。チェックブロックＣＢ_１，ＣＢ_２以外の第１及び第２画像ブロックの重複幅Ｗは、Ｗ_１，Ｗ_２を用いた線形補間により求められる。

【0067】

図１２のステップＳ１０１〜Ｓ１０５は、図１の路面検査システム１００の動作の一例を示したフローチャートである。まず、車両１１１の撮影制御部１２は、キャリブレーション用のチャート上を走行しながら当該チャートを撮影することにより、キャリブレーション撮影を行い、車載カメラ１ａ〜１ｃから取得した撮影画像に基づいて補正テーブルを作成し、補正テーブル記憶部１４内に格納する（ステップＳ１０１，Ｓ１０２）。

【0068】

次に、撮影制御部１２は、走行中の路面５を撮影し、車載カメラ１ａ〜１ｃから多数の撮影画像を取得して撮影画像記憶部１３内に格納する（ステップＳ１０３）。次に、画像合成装置１１２は、車両１１１から車載カメラ１ａ〜１ｃの撮影画像及び補正テーブルを取得して撮影画像合成処理を行い、路面画像を生成する（ステップＳ１０４）。次に、ひび割れ検出装置１２０は、路面画像を解析し、路面５のひび割れ検出を行う（ステップＳ１０５）。

【0069】

図１３のステップＳ２０１〜Ｓ２０６は、図１２の撮影画像合成処理（ステップＳ１０４）の処理手順を示したフローチャートである。まず、画像分割部２０，２１は、車載カメラ１ａ〜１ｃの撮影画像を多数の画像ブロックに区分する（ステップＳ２０１）。次に、補正処理部２３は、補正テーブルに基づいて、撮影画像の歪み補正、画像幅の補正及びシェーディング補正を行う（ステップＳ２０２〜Ｓ２０４）。

【0070】

次に、重複幅算出部２４及び重複幅補間部２５は、画像ブロック間の重複幅Ｗを求める重複幅判別処理を行う（ステップＳ２０５）。次に、合成画像生成部２６は、重複幅算出部２４及び重複幅補間部２５により求められた重複幅Ｗに基づいて、画像ブロックを合成し、路面画像を生成して路面画像記憶部２７内に格納する（ステップＳ２０６）。

【0071】

図１４のステップＳ３０１〜Ｓ３０７は、図１３の重複幅判別処理（ステップＳ２０５）の処理手順を示したフローチャートである。まず、チェックブロック選択部２２は、多数の第１及び第２画像ブロックの中から、インターバル周期ＴでチェックブロックＣＢ１，ＣＢ_２を選択する（ステップＳ３０１）。

【0072】

次に、重複幅算出部２４は、チェックブロックＣＢ１，ＣＢ_２を比較し、重複幅Ｗを算出する（ステップＳ３０２，Ｓ３０３）。重複幅補間部２５は、線形補間により、残りの第１及び第２画像ブロックの重複幅Ｗを求める（ステップＳ３０４）。

【0073】

インターバル制御部２８は、一定時間分の第１及び第２画像ブロックについて、重複幅Ｗが得られれば、車両１１１の振動周期を参照し、振動周期に応じてインターバル周期Ｔを調整する（ステップＳ３０５〜Ｓ３０７）。ステップＳ３０１からステップＳ３０７の処理手順は、一定時間分の第１及び第２画像ブロックについて重複幅Ｗが得られるごとに繰り返される。

【0074】

本実施の形態によれば、全ての画像ブロックについて、車載カメラ１ａ〜１ｃ間で画像ブロックを比較して重複幅Ｗを求める場合に比べ、多数の車幅連結画像から車両１１１の走行方向に視野が拡大された路面画像を生成する際の処理負荷を低減させることができる。また、画像ブロックの比較により重複幅Ｗを求めて撮影画像を合成するので、車両１１１の揺れ等に起因して路面画像に画素の欠落や重複が生じるのを抑制することができる。

【0075】

なお、本実施の形態では、インターバル制御部２８が、車両振動の検出結果に基づいて、インターバル周期Ｔを決定する場合の例について説明したが、本発明はインターバル周期Ｔの決定方法をこれに限定するものではない。例えば、重複幅算出部２４又は重複幅補間部２５により求められた重複幅Ｗに基づいて、インターバル周期Ｔを決定するような構成であっても良い。

【0076】

この様に構成することにより、撮影領域の重複部分の長さに応じて、路面画像を生成する際の処理負荷をより低減させ、或いは、路面画像における走行方向の解像度を向上させることができる。

【0077】

また、本実施の形態では、舗装道路の路面５に生じたひび割れ等を検出するために、路面５を撮影して路面画像が生成される場合の例について説明した。しかしながら、本発明は、トンネル内の壁面に生じたひび割れ等を検出するために、トンネル壁面を撮影し、撮影画像を合成して壁面画像を生成するトンネル壁面撮影システムにも適用することができる。この様なトンネル壁面撮影システムでは、車幅方向に関して車両１１１がトンネル内のどこを走行しているのかによって、車載カメラとトンネル壁面との距離が大きく異なる。そこで、トンネル壁面までの距離を計測する壁面距離計測装置を車両１１１に設け、インターバル周期Ｔよりも十分に長い時間間隔で撮影画像を補正することが考えられる。

【0078】

また、本実施の形態では、画像合成装置１１２が車両１１１の外部に設けられる場合の例について説明したが、車両１内に画像合成装置１１２を設置するような構成であっても良い。

【0079】

また、本実施の形態では、チェックブロックＣＢ以外の画像ブロックの重複幅Ｗを求める際の補間演算の例として線形補間を行う場合の例について説明したが、本発明は、補間演算をこれに限定するものではない。例えば、チェックブロックＣＢについて求められた３以上の重複幅Ｗを用いた多項式補間を行うような構成であっても良い。

【符号の説明】

【0080】

１００ 路面検査システム
１１０ 路面撮影システム
１１１ 路面撮影用の車両
１ａ〜１ｃ 車載カメラ
２ 振動検出装置
３，３１，３２，４ 路面照明ユニット
５ 路面
１０ 車速計
１１ 車速パルス変換器
１２ 撮影制御部
１３ 撮影画像記憶部
１４ 補正テーブル記憶部
１５ 検出データ記憶部
１１２ 画像合成装置
２０ 第１画像分割部
２１ 第２画像分割部
２２ チェックブロック選択部
２３ 補正処理部
２４ 重複幅算出部
２５ 重複幅補間部
２６ 合成画像生成部
２７ 路面画像記憶部
２８ インターバル制御部
１２０ ひび割れ検出装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】