特許 7317299 画像処理システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-07-21

(45)【発行日】2023-07-31

(54)【発明の名称】画像処理システム

(51)【国際特許分類】

   G06T 3/00 20060101AFI20230724BHJP

   G08G 1/00 20060101ALI20230724BHJP

【ＦＩ】

G06T3/00 750

G08G1/00 J

【請求項の数】 15

(21)【出願番号】P 2019138832

(22)【出願日】2019-07-29

(65)【公開番号】P2021022210

(43)【公開日】2021-02-18

【審査請求日】2022-04-12

【国等の委託研究の成果に係る記載事項】（出願人による申告）平成３０年度、国立研究開発法人新エネルギー・産業技術総合開発機構、「ＳＩＰインフラ維持管理・更新・マネジメント技術／モニタリングシステムの現場実証／空港管理車両を活用した簡易舗装路面点検システムの研究開発」事業、産業技術力強化法第１９条の適用を受けるもの

(73)【特許権者】

【識別番号】514229661

【氏名又は名称】株式会社ソーシャル・キャピタル・デザイン

(73)【特許権者】

【識別番号】592090555

【氏名又は名称】パシフィックコンサルタンツ株式会社

(73)【特許権者】

【識別番号】504137912

【氏名又は名称】国立大学法人 東京大学

(74)【代理人】

【識別番号】100205084

【弁理士】

【氏名又は名称】吉浦 洋一

(72)【発明者】

【氏名】武藤 信義

(72)【発明者】

【氏名】村田 利文

(72)【発明者】

【氏名】上野 功

(72)【発明者】

【氏名】小沼 恵太郎

(72)【発明者】

【氏名】二又 尚人

(72)【発明者】

【氏名】水上 敬介

(72)【発明者】

【氏名】松澤 晴季

(72)【発明者】

【氏名】澤田 茜

(72)【発明者】

【氏名】安達 慎一

(72)【発明者】

【氏名】石川 雄章

(72)【発明者】

【氏名】熊田 和人

【審査官】松永 隆志

(56)【参考文献】

【文献】特開２０１２－１０５１４５（ＪＰ，Ａ）

【文献】特開２０１７－０９０１８９（ＪＰ，Ａ）

【文献】特開２００７－０４３４６６（ＪＰ，Ａ）

【文献】特開２０１７－１８１３９３（ＪＰ，Ａ）

【文献】特開２０１９－１０６０７５（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ３／００

Ｇ０８Ｇ １／００

Ｈ０４Ｎ １／３８７

Ｈ０４Ｎ ２３／００ － ２３／９５９

(57)【特許請求の範囲】

【請求項1】

湾曲箇所を含む隣り合う範囲の路面を撮影した第１の詳細画像情報と第２の詳細画像情報に対する画像処理システムであって，
前記画像処理システムは，
前記第１の詳細画像情報と前記第２の詳細画像情報とにおいて特定された，撮影しなければならない路面の領域であるレーン領域と，前記レーン領域の左右両方若しくはいずれか一方の外側に設けた一定の幅の領域であるマージン領域に基づいて，前記第１の詳細画像情報における前記マージン領域が，前記第２の詳細画像情報の隣に位置するように前記第１の詳細画像情報と前記第２の詳細画像情報とを表示する表示処理部，を有しており，
前記第１の詳細画像情報における前記マージン領域の撮影範囲の一部または全部は，前記第２の詳細画像情報における前記レーン領域の撮影範囲の一部または全部に含まれており，
前記表示処理部は，
前記第１の詳細画像情報と第２の詳細画像情報を伸縮処理を行わずに並べて表示する第１の表示形式と，単位距離間の画像情報の長さが一定となるように伸縮した第１の詳細画像情報と第２の詳細画像情報とを並べて表示する第２の表示形式の表示処理を行う，
ことを特徴とする画像処理システム。

【請求項2】

撮影対象物の隣り合う範囲を撮影した第１の詳細画像情報と第２の詳細画像情報に対する画像処理システムであって，
前記画像処理システムは，
前記第１の詳細画像情報と前記第２の詳細画像情報とにおいて特定された，撮影しなければならない路面の領域であるレーン領域と，前記レーン領域の左右両方若しくはいずれか一方の外側に設けた一定の幅の領域であるマージン領域に基づいて，前記第１の詳細画像情報における前記マージン領域が，前記第２の詳細画像情報の隣に位置するように前記第１の詳細画像情報と前記第２の詳細画像情報とを，位置情報を対応させて表示する表示処理部，を有しており，
前記第１の詳細画像情報における前記マージン領域の撮影範囲の一部または全部は，前記第２の詳細画像情報における前記レーン領域の撮影範囲の一部または全部に含まれる，
ことを特徴とする画像処理システム。

【請求項3】

前記表示処理部は，
前記第１の詳細画像情報における前記マージン領域が，前記第２の詳細画像情報の前記マージン領域の隣に位置するように，前記第１の詳細画像情報と前記第２の詳細画像情報とを表示する，
ことを特徴とする請求項１または請求項２に記載の画像処理システム。

【請求項4】

前記表示処理部は，さらに，
前記第１の詳細画像情報における前記レーン領域が，前記第２の詳細画像情報の前記レーン領域の隣に位置するように，前記第１の詳細画像情報と前記第２の詳細画像情報とを表示する，
ことを特徴とする請求項１から請求項３のいずれかに記載の画像処理システム。

【請求項5】

前記表示処理部は，さらに，
前記第１の詳細画像情報における前記マージン領域が，前記第２の詳細画像情報の前記マージン領域の隣に位置するように前記第１の詳細画像情報と前記第２の詳細画像情報とを表示する表示形式と，
前記第１の詳細画像情報における前記レーン領域が，前記第２の詳細画像情報の前記レーン領域に隣に位置するように，前記第１の詳細画像情報と前記第２の詳細画像情報とを表示する表示形式とが，切り替え可能である，
ことを特徴とする請求項４に記載の画像処理システム。

【請求項6】

前記表示処理部は，
前記レーン領域と前記マージン領域とを区別可能に表示をする，
ことを特徴とする請求項１から請求項５のいずれかに記載の画像処理システム。

【請求項7】

前記表示処理部は，
前記第１の詳細画像情報と前記第２の詳細画像情報とを区別可能に表示をする，
ことを特徴とする請求項１から請求項６のいずれかに記載の画像処理システム。

【請求項8】

撮影対象物の隣り合う範囲を撮影した第１の画像情報と第２の画像情報に対する画像処理システムであって，
前記画像処理システムは，
前記第１の画像情報と前記第２の画像情報について，撮影しなければならない路面の領域であるレーン領域と，前記レーン領域の左右両方若しくはいずれか一方の外側に設けた一定の幅の領域であるマージン領域とを特定し，前記マージン領域よりも外側の領域をトリミングして詳細画像情報を生成し，前記レーン領域よりも外側の領域をトリミングして広域画像情報を生成する画像情報処理部と，
前記第１の画像情報と前記第２の画像情報とを位置情報を用いて対応づけて表示処理を行う表示処理部と，を有しており，
前記表示処理部は，
前記第１の画像情報に基づく前記詳細画像情報と前記第２の画像情報に基づく前記詳細画像情報とが隣に位置するように表示し，
前記第１の画像情報に基づく前記広域画像情報と前記第２の画像情報に基づく前記広域画像情報とが隣に位置するように表示する，
ことを特徴とする画像処理システム。

【請求項9】

湾曲箇所を含む隣り合う範囲の路面を撮影した第１の詳細画像情報と第２の詳細画像情報に対する画像処理システムであって，
前記画像処理システムは，
前記第１の詳細画像情報と第２の詳細画像情報を伸縮処理を行わずに並べて表示する第１の表示形式と，単位距離間の画像情報の長さが一定となるように伸縮した第１の詳細画像情報と第２の詳細画像情報とを並べて表示する第２の表示形式の表示処理を行う表示処理部，
を有することを特徴とする画像処理システム。

【請求項10】

前記表示処理部は，
前記第１の表示形式において，対応する単位距離の位置関係が特定可能に表示する，
ことを特徴とする請求項１または請求項９に記載の画像処理システム。

【請求項11】

前記表示処理部は，
前記第１の表示形式と，前記第２の表示形式とが切り替え可能である，
ことを特徴とする請求項１，請求項９または請求項１０に記載の画像処理システム。

【請求項12】

湾曲箇所を含む隣り合う範囲の路面を撮影した第１の詳細画像情報と第２の詳細画像情報に対する画像処理プログラムであって，
前記画像処理プログラムは，コンピュータを，
前記第１の詳細画像情報と前記第２の詳細画像情報とにおいて特定された，撮影しなければならない路面の領域であるレーン領域と，前記レーン領域の左右両方若しくはいずれか一方の外側に設けた一定の幅の領域であるマージン領域に基づいて，前記第１の詳細画像情報における前記マージン領域が，前記第２の詳細画像情報の隣に位置するように前記第１の詳細画像情報と前記第２の詳細画像情報とを表示する表示処理部，として機能させ，
前記第１の詳細画像情報における前記マージン領域の撮影範囲の一部または全部は，前記第２の詳細画像情報における前記レーン領域の撮影範囲の一部または全部に含まれており，
前記表示処理部は，
前記第１の詳細画像情報と第２の詳細画像情報を伸縮処理を行わずに並べて表示する第１の表示形式と，単位距離間の画像情報の長さが一定となるように伸縮した第１の詳細画像情報と第２の詳細画像情報とを並べて表示する第２の表示形式の表示処理を行う，
ことを特徴とする画像処理プログラム。

【請求項13】

撮影対象物の隣り合う範囲を撮影した第１の詳細画像情報と第２の詳細画像情報に対する画像処理プログラムであって，
前記画像処理プログラムは，コンピュータを，
前記第１の詳細画像情報と前記第２の詳細画像情報とにおいて特定された，撮影しなければならない路面の領域であるレーン領域と，前記レーン領域の左右両方若しくはいずれか一方の外側に設けた一定の幅の領域であるマージン領域に基づいて，前記第１の詳細画像情報における前記マージン領域が，前記第２の詳細画像情報の隣に位置するように，前記第１の詳細画像情報と前記第２の詳細画像情報とを，位置情報を対応させて表示する表示処理部，として機能させ，
前記第１の詳細画像情報における前記マージン領域の撮影範囲の一部または全部は，前記第２の詳細画像情報における前記レーン領域の撮影範囲の一部または全部に含まれる，
ことを特徴とする画像処理プログラム。

【請求項14】

撮影対象物の隣り合う範囲を撮影した第１の画像情報と第２の画像情報に対する画像処理プログラムであって，
前記画像処理プログラムは，コンピュータを，
前記第１の画像情報と前記第２の画像情報について，撮影しなければならない路面の領域であるレーン領域と，前記レーン領域の左右両方若しくはいずれか一方の外側に設けた一定の幅の領域であるマージン領域とを特定し，前記マージン領域よりも外側の領域をトリミングして詳細画像情報を生成し，前記レーン領域よりも外側の領域をトリミングして広域画像情報を生成する画像情報処理部，
前記第１の画像情報と前記第２の画像情報とを位置情報を用いて対応づけて表示処理を行う表示処理部，として機能させ，
前記表示処理部は，
前記第１の画像情報に基づく前記詳細画像情報と前記第２の画像情報に基づく前記詳細画像情報とが隣に位置するように表示し，
前記第１の画像情報に基づく前記広域画像情報と前記第２の画像情報に基づく前記広域画像情報とが隣に位置するように表示する，
ことを特徴とする画像処理プログラム。

【請求項15】

湾曲箇所を含む隣り合う範囲の路面を撮影した第１の詳細画像情報と第２の詳細画像情報に対する画像処理プログラムであって，
前記画像処理プログラムは，コンピュータを，
前記第１の詳細画像情報と第２の詳細画像情報を伸縮処理を行わずに並べて表示する第１の表示形式と，単位距離間の画像情報の長さが一定となるように伸縮した第１の詳細画像情報と第２の詳細画像情報とを並べて表示する第２の表示形式の表示処理を行う表示処理部，
として機能させることを特徴とする画像処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

路面を撮影した画像情報に対する画像処理システムに関する。

【背景技術】

【0002】

空港の滑走路や道路などの路面に凹凸があると事故につながることがあるため，路面の異常，特に凹凸の異常の有無を検出することが路面の管理からは重要である。そこで，道路などを走行する車両に所定の装置を搭載し，路面を撮影することで，路面の凹凸の検出を行うことが従来より行われている。

【0003】

たとえば下記特許文献１，特許文献２に記載のようにスリット光を路面に照射し，それを撮影することで路面の凹凸を検出することが行われている。これらを用いることで，路面の凹凸を一定程度，検出することはできる。

【先行技術文献】

【特許文献】

【0004】

【文献】特開平４－２９１１９５号公報

【文献】特開昭５９－８０５０１号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

これらの発明のように，路面を撮影することで画像情報を得る方式の場合，対象とする路面の全範囲に亘って漏れなく撮影をすることが求められる。そこで，車両が走行する経路（コース）の両脇にガイドとなるＬＥＤを搭載したコーン（パイロン）を置き，それに沿って車両が走行することが考えられる。また，走行すべき経路をガイドするシステムとしてカーナビゲーションシステムがあり，カーナビゲーションシステムのガイドに沿って走行することも考えられる。

【0006】

しかし，コーンを置いた場合には，コーンの延長線上にある路面を撮影することはできないので，その延長線上の路面に凹凸の異常があった場合には検出することができない。そして，コーンの延長線上にある路面を撮影する場合には，コーンをずらした上で，撮影をしなければならないが，コーンの再設置，再撮影，撮影した画像情報の位置合わせなど著しい作業負担が発生する。

【0007】

カーナビゲーションシステムを用いた場合であっても，人が車両を運転した場合，自動運転のいずれの場合であっても，左右方向（横断方向）への多少の揺らぎが発生する。

【0008】

撮影対象となる路面が滑走路の場合，横断方向の幅が長いため，一度の走行では滑走路の左右全体に亘って撮影することができないことから，少しずつ左右に走行経路をずらしながら撮影を行うこととなる。これを模式的に示すのが図２６である。図２６では簡略化のため，滑走路を２つのコースに分割し，コース１とコース２とを一回ずつ走行する状態を模式的に示したものであるが，実際の滑走路の横断方向の幅はこれよりも広く，３以上のコースに分割されることが一般的である。また，図２６における斜線部分は，レーン間の関係をわかりやすくするために付しているものである。

【0009】

図２６のように車両がコースを走行してその滑走路の路面の撮影をした場合，滑走路全体を画像情報として表示する場合には，図２６で示すように，コース１を走行することで撮影しなければならない領域であるレーン１の画像情報と，コース２を走行することで撮影しなければならない領域であるレーン２の画像情報とを，横断方向で位置を合わせる必要がある。なお，コースとは車両が走行する予定の領域（または車両の中心が通過する予定の軌跡）であり，レーンとは，車両がコースを走行することで撮影しなければならない路面の領域である。車両が理想的にコースを走行した場合，コースの横断方向の中心位置とレーンの横断方向の中心位置は一致する。またコースの境界はレーンの境界となる。

【0010】

すなわちレーン１の画像情報における点Ａ，Ｂ，Ｃに対応するレーン２の画像情報における対応点Ａ’，Ｂ’，Ｃ’を特定し，特定した対応点に基づいて，画像情報の合成処理を行う。そしてこの対応点の特定は，オプティカルフローや局所特徴量などの技術を用いて行う。このように特定した対応点を図２７のＡ－Ａ’，Ｂ－Ｂ’，Ｃ－Ｃ’のように対とし，これらを含む三角形の領域を設定する。なお，Ｄ，Ｅ，Ｆ，Ｇなどの点はほかのレーンの画像との間での対応点から特定した点とする。各レーン画像情報を中心線同士がレーン間の距離となるような位置に配置し，同時に対応点がすべて一致する（対応点同士が中点で重なる）ように各三角形に含まれる領域の画像情報をアフィン変換させ，画像情報同士を合成する。このとき，図２８のＡ－Ｂ－Ｃの下側，Ａ’－Ｂ’－Ｃ’の上側の画像情報を捨てる。

【0011】

このように，一連の処理は２つのレーンの画像情報について多数の対応点を探索し，その結果に基づいて画像情報を小さい領域でそれぞれアフィン変換をする必要があるため，膨大な時間を要する。そのため，撮影した結果をすぐに目視したい利用場面には適さない。

【0012】

また撮影対象となる路面が，湾曲をしているなどの場合の表示形式については考慮がされていなかった。

【課題を解決するための手段】

【0013】

そこで本発明者は，上記課題に鑑み，撮影時に横断方向への揺らぎが生じても，画像情報の抜けが生じない画像処理システムを発明した。また，撮影した結果をすぐに目視したい場合には，すぐに確認することができる画像処理システムを発明した。さらに，湾曲部分を含む撮影対象物についてもそれに応じた表示形式を可能とする画像処理システムを発明した。

【0014】

第１の発明は，湾曲箇所を含む隣り合う範囲の路面を撮影した第１の詳細画像情報と第２の詳細画像情報に対する画像処理システムであって，前記画像処理システムは，前記第１の詳細画像情報と前記第２の詳細画像情報とにおいて特定された，撮影しなければならない路面の領域であるレーン領域と，前記レーン領域の左右両方若しくはいずれか一方の外側に設けた一定の幅の領域であるマージン領域に基づいて，前記第１の詳細画像情報における前記マージン領域が，前記第２の詳細画像情報の隣に位置するように前記第１の詳細画像情報と前記第２の詳細画像情報とを表示する表示処理部，を有しており，前記第１の詳細画像情報における前記マージン領域の撮影範囲の一部または全部は，前記第２の詳細画像情報における前記レーン領域の撮影範囲の一部または全部に含まれており，前記表示処理部は，前記第１の詳細画像情報と第２の詳細画像情報を伸縮処理を行わずに並べて表示する第１の表示形式と，単位距離間の画像情報の長さが一定となるように伸縮した第１の詳細画像情報と第２の詳細画像情報とを並べて表示する第２の表示形式の表示処理を行う，画像処理システムである。

【0015】

本発明のように構成することで，撮影時に横断方向への揺らぎが生じても，画像情報の抜けが生じない。また，従来のように画像情報同士の複雑な合成処理も不要なので，処理時間を要することなく，また簡便な処理で画像情報の表示を実現することができる。さらに，湾曲がある路面を撮影した場合であっても，第１の表示形式では凹凸などの異常を実際のサイズと同様の大きさで確認することができるとともに，第２の表示形式では，隣り合う画像情報同士の横断方向のずれが少なくなるので，画像情報を横断して存在する凹凸等の異常の全体像を容易に確認することができる。

【0016】

第２の発明は，撮影対象物の隣り合う範囲を撮影した第１の詳細画像情報と第２の詳細画像情報に対する画像処理システムであって，前記画像処理システムは，前記第１の詳細画像情報と前記第２の詳細画像情報とにおいて特定された，撮影しなければならない路面の領域であるレーン領域と，前記レーン領域の左右両方若しくはいずれか一方の外側に設けた一定の幅の領域であるマージン領域に基づいて，前記第１の詳細画像情報における前記マージン領域が，前記第２の詳細画像情報の隣に位置するように前記第１の詳細画像情報と前記第２の詳細画像情報とを，位置情報を対応させて表示する表示処理部，を有しており，前記第１の詳細画像情報における前記マージン領域の撮影範囲の一部または全部は，前記第２の詳細画像情報における前記レーン領域の撮影範囲の一部または全部に含まれる，画像処理システムである。

【0017】

本発明のように構成することで，撮影時に横断方向への揺らぎが生じても，画像情報の抜けが生じない。また，従来のように画像情報同士の複雑な合成処理も不要なので，処理時間を要することなく，また簡便な処理で画像情報の表示を実現することができる。

【0018】

上述の発明において，前記表示処理部は，前記第１の詳細画像情報における前記マージン領域が，前記第２の詳細画像情報の前記マージン領域の隣に位置するように，前記第１の詳細画像情報と前記第２の詳細画像情報とを表示する，画像処理システムのように構成することができる。

【0019】

このように第２の領域同士が隣に位置するように，第１の画像情報と第２の画像情報とを表示することで，それぞれの境界付近にある凹凸などの異常を見落とすことがなくなる。

【0020】

上述の発明において，前記表示処理部は，さらに，前記第１の詳細画像情報における前記レーン領域が，前記第２の詳細画像情報の前記レーン領域の隣に位置するように，前記第１の詳細画像情報と前記第２の詳細画像情報とを表示する，画像処理システムのように構成することができる。

【0021】

第２の領域同士が隣に位置するように第１の画像情報と第２の画像情報とを表示することで，境界付近にある凹凸などの異常の見落としを減らすことはできるものの，境界付近が重複して表示される，全体のプロポーションが崩れるなど，視認性に影響を与える場合がある。そして，撮影対象物の全体の中から詳細に見るべき位置を決めるなどの場面では，より広い範囲で画像情報の表示を行うことが作業効率上，好ましい。そこで本発明のように，第１の領域同士が隣に位置するように第１の画像情報と第２の画像情報とを表示させることで，利用者の利便性を向上することができる。

【0022】

上述の発明において，前記表示処理部は，さらに，前記第１の詳細画像情報における前記マージン領域が，前記第２の詳細画像情報の前記マージン領域の隣に位置するように前記第１の詳細画像情報と前記第２の詳細画像情報とを表示する表示形式と，前記第１の詳細画像情報における前記レーン領域が，前記第２の詳細画像情報の前記レーン領域に隣に位置するように，前記第１の詳細画像情報と前記第２の詳細画像情報とを表示する表示形式とが，切り替え可能である，画像処理システムのように構成することができる。

【0023】

本発明のように，２つの表示形式を切り替え可能とすることで，利用者は目的に沿って表示を切り替えることができるので，利用者の利便性を向上させることができる。

【0024】

上述の発明において，前記表示処理部は，前記レーン領域と前記マージン領域とを区別可能に表示をする，画像処理システムのように構成することができる。

【0025】

上述の発明において，前記表示処理部は，前記第１の詳細画像情報と前記第２の詳細画像情報とを区別可能に表示をする，画像処理システムのように構成することができる。

【0026】

撮影対象物がたとえば路面の場合には，アスファルト舗装されているなどの特徴があり，領域や画像情報の区別がつきにくいため，これらの発明のように，異なる領域，異なる画像情報が区別可能なように表示されていることがよい。

【0027】

第８の発明は，撮影対象物の隣り合う範囲を撮影した第１の画像情報と第２の画像情報に対する画像処理システムであって，前記画像処理システムは，前記第１の画像情報と前記第２の画像情報について，撮影しなければならない路面の領域であるレーン領域と，前記レーン領域の左右両方若しくはいずれか一方の外側に設けた一定の幅の領域であるマージン領域とを特定し，前記マージン領域よりも外側の領域をトリミングして詳細画像情報を生成し，前記レーン領域よりも外側の領域をトリミングして広域画像情報を生成する画像情報処理部と，前記第１の画像情報と前記第２の画像情報とを位置情報を用いて対応づけて表示処理を行う表示処理部と，を有しており，前記表示処理部は，前記第１の画像情報に基づく前記詳細画像情報と前記第２の画像情報に基づく前記詳細画像情報とが隣に位置するように表示し，前記第１の画像情報に基づく前記広域画像情報と前記第２の画像情報に基づく前記広域画像情報とが隣に位置するように表示する，画像処理システムである。

【0028】

本発明のように構成することで，撮影時に横断方向への揺らぎが生じても，画像情報の抜けが生じない。また，従来のように画像情報同士の複雑な合成処理も不要なので，処理時間を要することなく，また簡便な処理で画像情報の表示を実現することができる。

【0029】

第９の発明は，湾曲箇所を含む隣り合う範囲の路面を撮影した第１の詳細画像情報と第２の詳細画像情報に対する画像処理システムであって，前記画像処理システムは，前記第１の詳細画像情報と第２の詳細画像情報を伸縮処理を行わずに並べて表示する第１の表示形式と，単位距離間の画像情報の長さが一定となるように伸縮した第１の詳細画像情報と第２の詳細画像情報とを並べて表示する第２の表示形式の表示処理を行う表示処理部，を有する画像処理システムである。

【0030】

本発明のように構成することで，湾曲がある路面を撮影した場合であっても，第１の表示形式では凹凸などの異常を実際のサイズと同様の大きさで確認することができるとともに，第２の表示形式では，隣り合う画像情報同士の横断方向のずれが少なくなるので，画像情報を横断して存在する凹凸等の異常の全体像を容易に確認することができる。

【0031】

上述の発明において，前記表示処理部は，前記第１の表示形式において，対応する単位距離の位置関係が特定可能に表示する，画像処理システムのように構成することができる。

【0032】

第１の表示形式は，画像情報のサイズが伸縮されていないので，湾曲部分の内側と外側とでは画像情報の長さが相違する。そこで，本発明のように構成することで，単位距離の位置関係を容易に認識させることができる。

【0033】

上述の発明において，前記表示処理部は，前記第１の表示形式と，前記第２の表示形式とが切り替え可能である，画像処理システムのように構成することができる。

【0034】

第１の表示形式は，画像情報のサイズが伸縮されていないので，湾曲部分の内側と外側のいずれの画像情報であっても，実際のサイズに近い。そのため，凹凸などの異常があったとしても画像情報から計測して誤差が少ない利点がある。一方，第２の表示形式は，第１の画像情報と第２の画像情報の横断方向のずれが少なくなるので，境界付近に存在する凹凸等の異常の全体像を画像情報から確認する場合には有益である。そこで，これらを切り替え可能とすることで，利用者がその目的に応じて適切な表示形式を選択でき，利用者の利便性を向上させることができる。

【0035】

第１の発明の画像処理システムは，本発明のプログラムをコンピュータに読み込ませて実行することで実現できる。すなわち，湾曲箇所を含む隣り合う範囲の路面を撮影した第１の詳細画像情報と第２の詳細画像情報に対する画像処理プログラムであって，前記画像処理プログラムは，コンピュータを，前記第１の詳細画像情報と前記第２の詳細画像情報とにおいて特定された，撮影しなければならない路面の領域であるレーン領域と，前記レーン領域の左右両方若しくはいずれか一方の外側に設けた一定の幅の領域であるマージン領域に基づいて，前記第１の詳細画像情報における前記マージン領域が，前記第２の詳細画像情報の隣に位置するように前記第１の詳細画像情報と前記第２の詳細画像情報とを表示する表示処理部，として機能させ，前記第１の詳細画像情報における前記マージン領域の撮影範囲の一部または全部は，前記第２の詳細画像情報における前記レーン領域の撮影範囲の一部または全部に含まれており，前記表示処理部は，前記第１の詳細画像情報と第２の詳細画像情報を伸縮処理を行わずに並べて表示する第１の表示形式と，単位距離間の画像情報の長さが一定となるように伸縮した第１の詳細画像情報と第２の詳細画像情報とを並べて表示する第２の表示形式の表示処理を行う，画像処理プログラムである。

【0036】

第２の発明の画像処理システムは，本発明のプログラムをコンピュータに読み込ませて実行することで実現できる。すなわち，撮影対象物の隣り合う範囲を撮影した第１の詳細画像情報と第２の詳細画像情報に対する画像処理プログラムであって，前記画像処理プログラムは，コンピュータを，前記第１の詳細画像情報と前記第２の詳細画像情報とにおいて特定された，撮影しなければならない路面の領域であるレーン領域と，前記レーン領域の左右両方若しくはいずれか一方の外側に設けた一定の幅の領域であるマージン領域に基づいて，前記第１の詳細画像情報における前記マージン領域が，前記第２の詳細画像情報の隣に位置するように，前記第１の詳細画像情報と前記第２の詳細画像情報とを，位置情報を対応させて表示する表示処理部，として機能させ，前記第１の詳細画像情報における前記マージン領域の撮影範囲の一部または全部は，前記第２の詳細画像情報における前記レーン領域の撮影範囲の一部または全部に含まれる，画像処理プログラムである。

【0037】

第８の発明の画像処理システムは，本発明のプログラムをコンピュータに読み込ませて実行することで実現できる。すなわち，撮影対象物の隣り合う範囲を撮影した第１の画像情報と第２の画像情報に対する画像処理プログラムであって，前記画像処理プログラムは，コンピュータを，前記第１の画像情報と前記第２の画像情報について，撮影しなければならない路面の領域であるレーン領域と，前記レーン領域の左右両方若しくはいずれか一方の外側に設けた一定の幅の領域であるマージン領域とを特定し，前記マージン領域よりも外側の領域をトリミングして詳細画像情報を生成し，前記レーン領域よりも外側の領域をトリミングして広域画像情報を生成する画像情報処理部，前記第１の画像情報と前記第２の画像情報とを位置情報を用いて対応づけて表示処理を行う表示処理部，として機能させ，前記表示処理部は，前記第１の画像情報に基づく前記詳細画像情報と前記第２の画像情報に基づく前記詳細画像情報とが隣に位置するように表示し，前記第１の画像情報に基づく前記広域画像情報と前記第２の画像情報に基づく前記広域画像情報とが隣に位置するように表示する，画像処理プログラムである。

【0038】

第９の発明の画像処理システムは，本発明のプログラムをコンピュータに読み込ませて実行することで実現できる。すなわち，湾曲箇所を含む隣り合う範囲の路面を撮影した第１の詳細画像情報と第２の詳細画像情報に対する画像処理プログラムであって，前記画像処理プログラムは，コンピュータを，前記第１の詳細画像情報と第２の詳細画像情報を伸縮処理を行わずに並べて表示する第１の表示形式と，単位距離間の画像情報の長さが一定となるように伸縮した第１の詳細画像情報と第２の詳細画像情報とを並べて表示する第２の表示形式の表示処理を行う表示処理部，として機能させる画像処理プログラムである。

【発明の効果】

【0039】

本発明を用いることで，撮影時に横断方向への揺らぎが生じても，画像情報の抜けが生じない画像処理システムが可能となる。また，撮影した結果をすぐに目視したい場合には，すぐに確認することができる画像処理システムを発明した。

【図面の簡単な説明】

【0040】

【図1】本発明の画像処理システムの全体の構成の一例を模式的に示すブロック図である。

【図2】本発明の画像処理システムで用いるコンピュータのハードウェア構成の一例を模式的に示すブロック図である。

【図3】本発明の画像処理システムにおける画像情報処理の処理プロセスの一例を示すフローチャートである。

【図4】本発明の画像処理システムにおける詳細画像情報の処理プロセスの一例を示すフローチャートである。

【図5】本発明の画像処理システムにおける広域画像情報の処理プロセスの一例を示すフローチャートである。

【図6】本発明の画像処理システムで処理対象とする画像情報および位置情報を計測するための移動体搭載装置を車両に取り付けた場合の側面図である。

【図7】本発明の画像処理システムで処理対象とする画像情報および位置情報を計測するための移動体搭載装置を車両に取り付けた場合の後方図である。

【図8】移動体搭載装置の構成の一例を模式的に示すブロック図である。

【図9】撮影装置による撮影と照明装置による光の照射との関係を示す図である。

【図10】撮影画像情報の伸縮を調整する伸縮処理を模式的に示す図である。

【図11】撮影画像情報に対する剪断変形処理を模式的に示す図である。

【図12】滑走路の路面をコースに区切り，各コースを移動体が走行して移動体搭載装置による撮影を行う場合を模式的に示す図である。

【図13】移動体が書くコースを走行することにより撮影されたレーンの画像情報を，位置情報が対応するように時系列的に並べた状態を模式的に示す図である。

【図14】撮影画像情報においてレーン線と，マージン線とを特定し表示した状態の一例を示す。

【図15】詳細画像情報の一例を示す。

【図16】広域画像情報の一例を示す。

【図17】位置情報の補正を模式的に示す図である。

【図18】詳細表示処理をした場合の一例を示す図である。

【図19】広域表示処理をした場合の一例を示す図である。

【図20】表示画面の一例を示す図である。

【図21】表示画面の表示領域Ｂに広域画像情報として表示する一例を示す図である。

【図22】表示画面の表示領域Ｃに詳細画像情報として表示する一例を示す図である。

【図23】湾曲箇所がある場合のコースの一例を示す図である。

【図24】実距離表示モードによるレーンの撮影画像情報の表示の一例を模式的に示す図である。

【図25】キロポスト表示モードによるレーンの撮影画像情報の表示の一例を模式的に示す図である。

【図26】撮影対象とする路面をコースに区切り，各コースを移動体が走行して路面の撮影を行う場合を模式的に示す図である。

【図27】画像情報の合成処理において隣接する画像情報の対応点を特定する処理を模式的に示す図である。

【図28】画像情報の合成処理において対応点がすべて一致する各三角形に含まれる領域の画像情報をアフィン変換して画像情報同士を合成する処理を模式的に示す図である。

【発明を実施するための形態】

【0041】

本発明の画像処理システム１の全体の構成の一例のブロック図を図１に示す。また，本発明の画像処理システム１で用いるコンピュータのハードウェア構成の一例のブロック図を図２に示す。

【0042】

画像処理システム１は，後述する移動体搭載装置２で撮影した画像情報（撮影画像情報）と，計測した位置情報とを対応づけ，その表示処理を実行する。また，画像処理システム１は，移動体搭載装置２で撮影，計測した各情報が記録装置２３に記録され，そこに記録された情報に基づいて処理を実行する。画像処理システム１の処理は，サーバやパーソナルコンピュータのほか，スマートフォンやタブレット型コンピュータなどの可搬型通信端末などのコンピュータによって実現される。

【0043】

コンピュータは，プログラムの演算処理を実行するＣＰＵなどの演算装置７０と，情報を記憶するＲＡＭやハードディスクなどの記憶装置７１と，ディスプレイなどの表示装置７２と，情報の入力を行う入力装置７３と，演算装置７０の処理結果や記憶装置７１に記憶する情報の通信をする通信装置７４とを有している。なお，コンピュータがタッチパネルディスプレイを備えている場合には表示装置７２と入力装置７３とが一体的に構成されていてもよい。タッチパネルディスプレイは，たとえばタブレット型コンピュータやスマートフォンなどの可搬型通信端末などで利用されることが多いが，それに限定するものではない。

【0044】

タッチパネルディスプレイは，そのディスプレイ上で，直接，所定の入力デバイス（タッチパネル用のペンなど）や指などによって入力を行える点で，表示装置７２と入力装置７３の機能が一体化した装置である。

【0045】

画像処理システム１のコンピュータは，一台のコンピュータであってもよいし，その機能が複数のコンピュータによって実現されていてもよい。この場合のコンピュータとして，たとえばクラウドサーバであってもよい。

【0046】

本発明の画像処理システム１における各手段は，その機能が論理的に区別されているのみであって，物理上あるいは事実上は同一の領域を為していても良い。

【0047】

画像処理システム１は移動体搭載装置２で撮影した画像情報に基づいて処理を実行することが好ましいが，それに限定するものではない。

【0048】

移動体搭載装置２は，路面を走行する車両Ｃなどの移動体に搭載される装置であって，路面を撮影する少なくとも１台以上の撮影装置２０と，２台以上の撮影装置２０がある場合に各撮影装置２０を同期して撮影を行わせる同期装置２２と，位置情報を計測する位置情報計測装置２１と，撮影装置２０で撮影した撮影画像情報および撮影時刻と位置情報計測装置２１で計測した位置情報および時刻とを記録する記録装置２３とを有する。

【0049】

移動体搭載装置２を搭載した移動体としての車両Ｃの一例を図６および図７を示す。図６は，移動体搭載装置２を搭載した車両Ｃの側面図であり，図７は，移動体搭載装置２を搭載した車両Ｃの背面図である。また図８に移動体搭載装置２の構成の一例をブロック図で示す。

【0050】

撮影装置２０は移動体が移動する路面を撮影する装置であって，少なくとも１台以上を備えている。なお，図６および図７では２台の撮影装置２０を備えた場合を示している。撮影装置２０としては，好ましくはラインセンサを用いることができるがそれに限定するものではない。ラインセンサは，線単位で路面状況を撮影する。たとえば１ｍｍ移動するたびに１ｍｍ分の路面を撮影をする。移動距離の検出は距離計を用いればよい。すなわち１ｍｍ移動することを距離計で検出することで撮影装置２０により撮影を行う。ラインセンサはレンズとラインセンサ素子とを有する。ラインセンサのレンズは，路面を撮影可能なように，路面側に向けられている。ラインセンサは，路面の映像をレンズによってラインセンサ素子に結像させ，その光量をビデオ信号に変換して画像情報として出力する。ラインセンサが撮影した各画像情報は１ｍｍ分の画像情報である。そのため，ラインセンサは，所定の単位枚数分（たとえば１０００枚分）の画像情報を連結し，一つの画像情報として後述する記録装置２３に記録する。この単位枚数分の画像情報を撮影画像情報（またはフレーム）とする。

【0051】

撮影装置２０は路面の撮影を開始する際には，位置情報計測装置２１が所定のＰＰＳ信号を用いて，撮影装置２０に対して計測開始のコマンドを送る。このコマンドを受け付けた撮影装置２０は，撮影を開始するとともに，内蔵した計時手段を「０」にリセットして計時を開始する。そして，撮影装置２０で所定の単位枚数，たとえば１０００枚分を撮影したところで，計時手段で計時している時刻（相対時刻）を，撮影画像情報に対応づけて記録する。そして，計時手段はそのまま計時を継続し，次の単位枚数分の画像情報を撮影した時点における時刻を，撮影画像情報に対応づけて記録する。これを撮影が終了するまで反復する。すなわち，撮影装置２０で単位枚数の画像情報を撮影するごとに，計時手段で計時している時刻（相対時刻）を記録し，撮影画像情報に対応づけて記録しておく。それぞれの単位枚数の画像情報を撮影するのに要した時間は，撮影画像情報に対応づけて記録している相対時刻の差分を演算すれば算出できる。このように撮影装置２０での撮影を開始するタイミングと，位置情報計測装置２１で位置情報および時刻情報を取得したタイミングとが同期をしていることから，撮影画像情報ごとの時刻情報は，位置情報計測装置２１で取得した位置情報に，上記算出した時間を加算することで算出することができる。撮影画像情報ごとの時刻情報は，後述する画像情報処理部１０の処理の際に算出をしてもよいし，撮影装置２０が撮影画像情報を記録装置２３に記録する際に行うなど，任意のタイミングで行うことができる。

【0052】

上述の単位枚数の画像情報を撮影するのに要した時間の記録は，計時手段で単位枚数ごとの撮影に要した時間を計時するとともに，撮影画像情報の撮影順番を対応づけて記録しておくのでもよいし，ほかの方法であってもよい。

【0053】

なお，撮影装置２０としてラインセンサを用いず，通常の光学式カメラなどを用いる場合には，その撮影をした画像情報が撮影画像情報であり，また撮影画像情報ごとの時刻情報を記録しておけばよい。

【0054】

移動体搭載装置２は，２台以上の撮影装置２０がある場合には，同期装置２２を備える。同期装置２２は，移動体搭載装置２における少なくとも２台以上の撮影装置２０の撮影タイミングを同期させて路面を撮影する。

【0055】

位置情報計測装置２１は，たとえばＧＰＳ装置であり，その位置情報を計測し，時刻情報を取得する。位置情報としてはたとえば緯度，経度が好ましいが，それに限定するものではない。位置情報計測装置２１で計測した位置情報および時刻情報は，後述する記録装置２３に記録する。位置情報計測装置２１は，高精度のＧＰＳレシーバー，たとえば「ＨｅｍｉｓｈｅｒｅＡ１０１」などを用いることができる。

【0056】

位置情報計測装置２１は，一定のタイミングごとに位置情報および時刻情報を取得する。たとえば１秒間に１０回，１秒間に２０回などのタイミングで位置情報および時刻情報を取得する。

【0057】

記録装置２３は，撮影装置２０で撮影した撮影画像情報と，位置情報計測装置２１で計測した位置情報とを記録する。記録装置２３は，移動体搭載装置２の一部として，移動体に設けてもよいし，クラウドサーバなどを用い，移動体の外部に設けてもよい。

【0058】

移動体搭載装置２は，移動体にどのように取り付けられていてもよく，たとえば図６および図７に示すように，移動体の後方に取り付けられるとよいが，それに限定するものではない。たとえば移動体の前方に取り付けられていてもよい。撮影装置２０は，移動体の後端部よりも後方に位置しており，路面を上方から撮影する。撮影装置２０は，移動体のルーフキャリア４０などに取り付けた金属製の取付ビーム２６（支持体）の後端部付近に設置される。

【0059】

取付ビーム２６における撮影装置２０の取り付け箇所の近傍には，位置情報計測装置２１が取り付けられている。

【0060】

取付ビーム２６の撮影装置２０の付近から路面側に対して，支柱２５ａが下方に突出しており，照明装置２４の上端部付近で接合している。また，照明装置２４は，移動体の後端下部側に設けられた照明支持台２７から上方に突出している支柱２５ｂ，２５ｃとそれぞれ接合をしている。支柱２５ｂは照明装置２４の下方付近で接合しており，支柱２５ｃは照明装置２４の上方付近で接合している。なお，照明装置２４の支持方法はいかなる方法であってもよい。

【0061】

照明装置２４は，ＬＥＤなどの光源により，平行光または平行光に近い光を路面に対して照射する。照明装置２４は，路面の変状に対してくっきりした均質の陰影ができるように路面を照らすために，路面に平行光に近い光を当てる。そのため光源としては指向性の高いＬＥＤが好ましいが，それに限定されない。平行光を照射する角度は水平に近ければ陰影が大きくなりすぎ，垂直に近ければ陰影が生じないため，照明装置２４を路面に対して一定の角度で傾けて照射することが好ましい。傾斜の方向は，撮影対象とする路面の特性に合わせればよい。撮影装置２０による撮影と照明装置２４による光の照射との関係を図９に示す。図９（ａ）では移動体の後方から撮影装置２０による撮影と照明装置２４による光の照射との関係を示す図であり，図９（ｂ）は移動体の側方から撮影装置２０による撮影と照明装置２４による光の照射との関係を示す図である。撮影装置２０の間隔Ａは撮影対象とする幅方向の範囲，撮影装置２０を取り付ける高さの位置関係，撮影装置２０の画角にもよるが，たとえば２６０ｃｍ程度を撮影幅とし，撮影装置２０を路面から１４０ｃｍ程度，撮影装置２０の画角が約９０度とすると，撮影装置２０の間隔Ａは，路面までの距離の約１０％，たとえば１４ｃｍ程度の間隔とすることが好ましい。

【0062】

なお，上記の寸法と各角度の関係は一例であって，寸法と角度はそれぞれ好適な関係となるように調整すればよい。

【0063】

また移動体の前方には，移動体の走行方向を路面に投影する投影装置３０を備える。移動体には，図示しない管理コンピュータを備えておき，管理コンピュータによって特定されるガイド情報（移動体が走行すべき走行ルート（コース）を示すガイド情報）を投影装置３０から投影する。管理コンピュータにおける処理および投影装置３０からのガイド情報の投影の処理は，たとえば特開２０１７－０９０１８９号に記載の技術を用いることができるがそれに限定されない。

【0064】

管理コンピュータ（図示せず）は，たとえば以下のような処理によって実現できる。ＧＰＳ装置などの位置情報を取得する装置（移動体搭載装置２の位置情報計測装置２１を兼用してもよい）によって緯度，経度情報，進行方向の情報を取得する。また走行ガイドを行う実空間（撮影対象とする路面のある空間）の一部または全部を２次元または３次元モデル化した空間情報（仮想空間情報）を記憶しておく。この際に，仮想空間情報を所定間隔で長さ，幅方向に区切り，長さ方向を，撮影対象とする路面の撮影範囲の所定位置からの距離（たとえば，メートル単位で０から３０００）で表し，幅方向を，幅方向の基準位置からの撮影範囲を考慮した所定幅ごとのコース番号（たとえば，中央のコース番号０を基準として，その左右のコース番号を－１０から＋１０とする）で表す。そして取得した位置情報，進行方向の情報に基づいて，対応する仮想空間の情報の一部を投影装置３０から移動体の走行方向の前方の路面に投影させる。このコースのガイド情報に従って，移動体の運転者は移動体の走行を行う。

【0065】

なお，走行経路（コース）のガイドは，このような投影装置３０を用いた場合，あるいは管理コンピュータによる処理以外の方法，たとえばカーナビゲーションシステムなどであってもよい。

【0066】

画像処理システム１は，移動体搭載装置２で記録した撮影画像情報，位置情報，時刻情報を用いて，撮影した画像情報を，表示装置７２上で表示をする。画像処理システム１の処理を実行するコンピュータは，移動体搭載装置２を搭載した移動体に搭載されていてもよいし，移動体に搭載していなくてもよい。

【0067】

画像処理システム１は，画像情報処理部１０と位置情報処理部１１と画像情報記憶部１２と表示処理部１３とを有する。

【0068】

画像情報処理部１０は，移動体搭載装置２の記録装置２３に記録した撮影画像情報を取得し，後述の画像情報記憶部１２に記憶させる。画像情報処理部１０は，必要に応じて，撮影画像情報に対して補正処理を実行してもよい。

【0069】

画像情報処理部１０は，撮影装置２０が複数ある場合には，いずれか一つの撮影装置２０を選択し，選択した撮影装置２０で撮影した撮影画像情報を時系列的につなげることで，路面の表面を連続させた画像情報とすることができる。

【0070】

なお，画像情報処理部１０は，撮影装置２０が複数ある場合には，それぞれで撮影した撮影画像情報の共通の撮影範囲のみをトリミングしてもよい。

【0071】

画像情報処理部１０は，撮影画像情報の伸縮を調整し，その大きさを補正する伸縮処理を実行する。移動体における距離計には誤差があることから，この誤差を，撮影画像情報を伸縮することで補正する。たとえば１ｍｍの単位で計測する距離計に１％の誤差がある場合，３０００ｍの滑走路では始点と終点で３０ｍの誤差が生じる。そのため，撮影画像情報をそのまま連続的に並べたときに，後述する位置情報処理部１１で補正した位置情報を用いて，撮影画像情報の伸縮を調整し，その大きさを補正することで，そのずれが最小となるようにする。

【0072】

この処理を模式的に示すのが図１０である。図１０では撮影装置２０としてラインセンサを用いた場合を示している。まず画像情報処理部１０は，撮影画像情報を，それぞれ撮影した時刻の順番に整列する。撮影装置２０による撮影を開始するタイミング（ｒｔ０）と，位置情報計測装置２１による時刻情報（ａｔ０）とは同期をしていることから，位置情報計測装置２１で時刻情報を取得した時点から撮影装置２０による撮影が開始されている。そして，撮影画像情報ごとに相対時間（ｒｔ１，ｒｔ２，ｒｔ３，・・・）が対応づけて記録されている。一方，位置情報計測装置２１は，所定の間隔，たとえば１秒間に１０回または２０回などの間隔で，位置情報と時刻情報とを取得しているが，撮影画像情報の幅（たとえば所定単位の枚数が１０００枚のとき１ｍ）となったときに，必ずしも位置情報計測装置２１で位置情報を取得しているとは限らない。

【0073】

そこで，画像情報処理部１０は撮影画像情報の終端に対応する位置情報を算出する。具体的には，たとえば撮影画像情報２では，位置情報計測装置２１で取得した時刻情報ａｔ６とａｔ７の間で撮影画像情報２の終端に対応する位置がある。そこで，位置情報計測装置２１で取得した時刻情報ａｔ６のときの位置情報Ｐ６（図１０のＣ）と，位置情報計測装置２１で取得した時刻情報ａｔ７のときの位置情報Ｐ７（図１０のＢ）とから，比例配分によって，撮影画像情報２の終端に対応する位置（図１０のＡ）を算出することができる。

【0074】

比例配分の算出方法にはさまざまなものがあるが，撮影画像情報２の終端に対応する位置における相対時間ｒｔ２は分かっているので，位置情報計測装置２１で取得した時刻情報ａｔ０に，撮影画像情報ごとの相対時間ｒｔ１，ｒｔ２を加算することで，撮影画像情報２の終端に対応する位置Ａにおける時刻情報を特定できる。ここで特定した時刻情報と，位置情報計測装置２１で取得した時刻情報ａｔ６，ａｔ７とを比例配分することで比率が特定できるので，時刻情報ａｔ６のときの位置情報Ｐ６と，時刻情報ａｔ７のときの位置情報Ｐ７とを上記比率を用いて演算することで，撮影画像情報２の終端に対応する位置Ａの位置情報を特定できる。

【0075】

このように，撮影画像情報ごとの位置情報が特定できれば，撮影画像情報の始端位置（始端位置は隣接する一つ前の撮影画像情報の終端位置）と終端位置とを比較することで撮影画像情報の実際の距離が算出できる。一方，撮影装置２０は，所定単位の枚数，たとえば１ｍｍ分の１０００枚の画像情報で構成されているので，その幅は１ｍである。そうすると，上記で算出した実際の距離と，所定単位の枚数と撮影の幅に基づく幅１ｍとを比較して，そのずれが撮影画像情報の伸縮率となる。たとえば，実際の距離が１０１０ｍｍである場合，１％のずれがあるので，当該撮影画像情報を１％伸ばす処理を行う。この処理を撮影画像情報ごとに実行することで，撮影画像情報について，位置情報計測装置２１で計測した精度の高い位置情報に基づく距離と合致するように，撮影画像情報を伸縮し，その大きさを補正することができる。

【0076】

さらに画像情報処理部１０は，移動体の進行方向に対する横方向のずれを補正する剪断変形処理も実行する。これは，撮影画像情報の始端位置と終端位置との進行方向に対する横方向の位置情報の変化によって剪断変形処理を実行することで行える。この処理を図１１に模式的に示す。

【0077】

画像情報処理部１０は，上述のように撮影画像情報に対して，伸縮処理，剪断変形処理などのほか，台形補正処理，ノイズ除去処理などの適宜，必要な補正処理を実行してもよい。

【0078】

また，図１２に示すように，たとえば滑走路の路面をコース１，コース２として区切り，各コースを移動体が走行して移動体搭載装置２による撮影をそれぞれ行う場合，コース１を走行することにより撮影されたレーン１の撮影画像情報（補正後の撮影画像情報も含む。本明細書において同様），コース２を走行することにより撮影されたレーン２の撮影画像情報を，位置情報が対応するように時系列的に並べた状態は図１３に示すようになる。補正後の撮影画像情報においても揺らぎが生じるのは，剪断変形処理によっても補正できない横断方向への揺らぎが生じるからである。なお，図１２以降における斜線部分は，レーン間の関係をわかりやすくするために付しているものである。

【0079】

そこで，画像情報処理部１０は，撮影画像情報について，レーンの領域を示すレーン線Ｌと，マージン領域を示すマージン線Ｍとを設定する。レーンの領域とは，上述のように，移動体コースを走行することで撮影しなければならない路面の領域であって，撮影装置２０の撮影範囲から任意の幅で設定する。ここで理想的にはコースの横断方向の位置情報とレーンの領域の横断方向の中心の位置情報とは一致する。そこで，コースの横断方向の位置情報に対応する位置を撮影画像情報から特定し，そこから横断方向に所定の幅（たとえば横断方向の中心から左右に１００ｃｍずつ）の位置にレーン線Ｌを設定し，レーンの領域とする。マージン領域とは，移動体の走行に際してレーンの横断方向への揺らぎを考慮してレーン領域の左右両方またはいずれか一方の外側に設けた一定の幅（たとえばレーン線Ｌから２０ｃｍ外側）の領域である。したがってマージン領域は，隣接するレーンのレーン領域の内側となる。図１４に，撮影画像情報においてレーン線Ｌと，マージン線Ｍとを特定し表示した状態を示す。ここではレーン領域の外側にマージン領域を設ける構成としたが，レーン領域の内側にマージン領域を設けるようにしてもよい。その場合には，以下の処理において，レーン線Ｌとマージン線Ｍとはそれぞれ逆に読み替えることとなる。

【0080】

マージン領域の幅は，移動体の走行の精度で定める。たとえば移動体を自動走行している場合には，自動走行における左右方向へのずれに応じた精度，投影装置３０による走行ガイドを基準として人が移動体を運転する場合であれば，その人の技量に応じた精度などに基づいて，任意に設定する。撮影装置２０によって撮影する範囲の幅は，少なくとも，レーン領域とする幅に対して，左右のマージン幅を加算したものとなる。撮影装置２０によって撮影する範囲の幅が定まっている場合には，撮影範囲の幅からマージン幅として設定した幅を除いた幅がレーン領域の幅とすることができる。レーン領域の幅が２００ｃｍ，マージン幅として左右に２０ｃｍずつとする場合には，撮影装置２０によって撮影する幅は２４０ｃｍ以上とする。

【0081】

画像情報処理部１０は，マージン線Ｍよりも外側の画像情報の領域はトリミングをし，マージン線Ｍよりも内側であって，撮影ができていない領域に対しては，黒塗りするなどの所定の画像処理を加えて，詳細画像情報として画像情報記憶部１２に記憶させる。図１５に詳細画像情報の一例を示す。図１５（ａ）は移動体がコース１を走行することで撮影したレーン１の撮影画像情報に基づくレーン１の詳細画像情報であり，図１５（ｂ）は移動体がコース２を走行することで撮影したレーン２の撮影画像情報に基づくレーン２の詳細画像情報である。また，画像情報処理部１０は，レーン線Ｌよりも外側の画像情報の領域はトリミングをして，広域画像情報として画像情報記憶部１２に記憶させる。図１６に広域画像情報の一例を示す。図１６（ａ）は移動体がコース１を走行することで撮影したレーン１の撮影画像情報に基づくレーン１の広域画像情報であり，図１６（ｂ）は移動体がコース２を走行することで撮影したレーン２の撮影画像情報に基づくレーン２の広域画像情報である。

【0082】

位置情報処理部１１は，移動体搭載装置２の記録装置２３に記録した位置情報および時刻情報を取得し，位置情報計測装置２１で計測した位置情報を，撮影装置２０（撮影画像装置が複数ある場合には，撮影画像情報を撮影した撮影装置２０）の位置情報に補正する。位置情報の補正は，位置情報処理部１１で取得した位置情報について，補正対象とする撮影装置２０と位置情報計測装置２１との位置のずれ量（撮影装置２０と位置情報計測装置２１とが離れている距離を示す横方向のオフセット）から補正する。これを模式的に示すのが図１７である。

【0083】

なお，画像情報処理部１０において，撮影装置２０が複数ある場合に，撮影装置２０のそれぞれで撮影した撮影画像情報の共通の撮影範囲のみをトリミングしている場合，得られた画像情報の中央は，撮影装置２０ａ，２０ｂの中央線と一致することから，位置情報処理部１１の補正処理を実行しなくてもよい。

【0084】

画像情報記憶部１２は，撮影画像情報，広域画像情報，詳細画像情報などの画像情報を記憶する。これらの画像情報は，それぞれ位置情報と対応づけられている。

【0085】

表示処理部１３は，画像情報記憶部１２に記憶した画像情報に基づいて表示処理を実行する。表示処理部１３は，画像情報記憶部１２に記憶した画像情報に基づいて，撮影対象とした路面をコースごとに並べて表示を行う。この際の表示処理としては，撮影対象とした路面を詳細に表示する詳細表示処理と，詳細表示よりも広域の範囲を表示する広域表示処理とを行う。

【0086】

詳細表示処理は，撮影画像情報のうちマージン領域の外側をトリミングした画像情報である詳細画像情報をコースごとに並べて表示をする表示処理である。詳細表示処理をした場合の一例を図１８に示す。図１８に示すように，詳細画像情報をコースごとに並べて表示をする場合には，各コースを走行することで撮影した各レーンの撮影画像情報に基づく詳細画像情報は，マージン線Ｍを各コースの区切り線として並置して表示される。そのため，コースを区別する線がマージン線Ｍとなり，その内側にある線がレーン線Ｌとなる。なお，図１８では詳細画像情報をコースごとに隣接させて表示しているが，隣接させていなくてもよい。

【0087】

また広域表示処理は，撮影画像情報のうちレーン領域の外側をトリミングした画像情報である広域画像情報をコースごとに並べて表示をする表示処理である。広域表示処理をした場合の一例を図１９に示す。図１９に示すように，広域画像情報をコースごとに並べて表示をする場合には，各コースを走行することで撮影した各レーンの撮影画像情報に基づく広域画像情報は，レーン線Ｌを各コースの区切り線として並置して表示される。そのため，コースを区別する線がレーン線Ｌとなり，マージン領域およびマージン領域の画像情報は表示されない。図１９では広域画像情報をコースごとに隣接させて表示しているが，隣接させていなくてもよい。

【0088】

たとえば幅６０メートルの滑走路があり，それを幅２メートルのコースで分割した場合，６０個のコースに分割される。そしてマージン幅を２０ｃｍとした場合，レーン幅は２メートルとなるので，撮影装置２０では少なくとも２４０ｃｍ（＝２００ｃｍ＋２０ｃｍ＋２０ｃｍ）で撮影をすることとなる。そして詳細表示処理の際には，２４０ｃｍ幅の詳細画像情報をコース順に並べて表示をする。また広域表示処理の際には，２００ｃｍ幅の広域画像情報をコース順に並べて表示をする。

【0089】

表示処理部１３は，あらかじめ画像情報処理部１０において生成され，画像情報記憶部１２に記憶した詳細画像情報，広域画像情報に基づいて詳細表示処理，広域表示処理を行う場合を説明したが，あらかじめ画像情報処理部１０において詳細画像情報，広域画像情報を生成するのではなく，表示処理の際に，撮影画像情報に基づいて詳細画像情報，広域画像情報を生成して表示してもよい。また詳細画像情報のみをあらかじめ生成して画像情報記憶部１２に記憶させておき，広域画像情報は表示処理の際に生成して表示してもよい。

【0090】

表示処理部１３は，詳細表示と広域表示とを連動させて，あるいは切り替えて表示を行う表示画面を表示させる。図２０に詳細表示と広域表示とを連動させて表示を行う表示画面の一例を示す。

【0091】

図２０の表示画面は，撮影対象とした路面（滑走路）の全体を進行方向，横断方向にそれぞれブロック状に分割をして選択可能とした表示領域Ａ，広域表示処理を行う表示領域Ｂ，詳細表示処理を行う表示領域Ｃ，路面にある凹凸等の異常に関する情報を表示する表示領域Ｄの４つの表示領域を有する場合を示している。

【0092】

表示処理部１３は，表示領域Ａにおいて，画像情報を表示させたい位置のブロックＡ１が選択されたことを受け付けると，その位置情報に応じた広域画像情報を画像情報記憶部１２から抽出して表示領域Ｂに表示させる。また，表示領域Ｂにおいて，詳細に表示をしたい領域Ｂ１の選択を受け付けると，選択された領域の中心の位置情報に基づいて，対応する詳細画像情報を画像情報記憶部１２から抽出して表示領域Ｃに表示させる。

【0093】

表示領域Ｂに広域画像情報として表示する一例を図２１に示す。また表示領域Ｃに詳細画像情報として表示する一例を図２２に示す。なお，図２１および図２２は，広域表示処理と広域表示処理とで表示させる領域の相違をわかりやすくするため，ほぼ同じ領域の画像情報をほぼ同じ縮尺率で表示させている場合である。実際には，広域表示処理と詳細表示処理とで異なる縮尺率で表示されてもよい。

【0094】

表示領域Ｄに表示される路面の凹凸等の異常に関する情報としては，それぞれの異常に対して，異常の種類（ひび割れなど），大きさ，位置情報などが対応づけられているので，表示処理部１３は，選択された異常の位置情報に基づいて，対応する位置にある広域画像情報，詳細画像情報をそれぞれ画像情報記憶部１２から抽出し，広域画像情報は領域Ｂに，詳細画像情報は領域Ｃにそれぞれ表示させる。

【実施例1】

【0095】

つぎに本発明の画像処理システム１の処理プロセスの一例を図３乃至図５のフローチャートを用いて説明する。なお，以下の説明では移動体として車両Ｃの場合，撮影対象として滑走路の路面の場合を説明するが，それぞれ上記に限定するものではなく，移動体としては車両Ｃのほか，ドローンなどの飛翔体であってもよいし，撮影対象も滑走路の路面のほか，道路の路面など，ほかの対象物であってもよい。

【0096】

本発明の画像処理システム１で処理対象とする画像情報を撮影するため，車両Ｃの後方に移動体搭載装置２を取り付ける。そして撮影対象とする滑走路を車両Ｃで走行する。滑走路を車両Ｃで走行する際には，管理システム（図示せず）が車両Ｃの前方上方に設置した投影装置３０から走行ガイドを路面に投影し，そのコースに従って走行をし，移動体搭載装置２で路面の撮影を行う。

【0097】

滑走路を走行する際には，移動体搭載装置２における位置情報計測装置２１は，定期的に（たとえば１秒間に１０回，２０回），位置情報と時刻情報を取得する。取得した位置情報と時刻情報は，対応づけて記録装置２３に記録する。また，各撮影装置２０は，車両Ｃが所定の撮影単位，たとえば１ｍｍ移動することを距離計で計測すると，滑走路の路面を撮影する。各撮影装置２０で撮影した各撮影画像情報にはその相対時間，または位置情報計測装置２１で計時した時刻情報と相対時間を用いて算出される時刻情報とを対応づけて記録装置２３に記録する。なお，移動体搭載装置２には２台以上の撮影装置２０ａ，ｂがある場合，同期装置２２により各撮影装置２０ａ，ｂを同期して撮影を行うとともに，どの撮影装置２０による撮影画像情報であるのか，撮影装置２０ごとに識別可能とする。これは撮影した撮影画像情報に撮影装置２０の識別情報が付されていてもよいし，撮影画像情報を保存するフォルダが撮影装置２０ごとに分かれていてもよい。

【0098】

以上のように，車両Ｃが滑走路を走行することで撮影した滑走路の路面の撮影画像情報と相対時間または時刻情報，位置情報と時刻情報とが記録装置２３に記録される。

【0099】

そして記録装置２３に記録された撮影装置２０の撮影画像情報と相対時間または時刻情報，位置情報と時刻情報とに基づいて，画像処理システム１が各処理を実行する。画像処理システム１の処理は，バッチ処理でもリアルタイム処理でもよい。記録装置２３が車両Ｃに設けられる場合には，画像処理システム１を構成するコンピュータが記録装置２３から有線または無線で情報を取得してもよいし，車両Ｃの外，たとえばクラウドサーバに設けられる場合には，画像処理システム１を構成するコンピュータが当該クラウドサーバから情報を取得してもよい。

【0100】

まず画像情報処理部１０は，移動体搭載装置２の記録装置２３に記録した撮影画像情報を取得する（Ｓ１００）。そして取得した撮影画像情報とその相対時間または時刻情報とを対応づける。また画像情報処理部１０は，撮影装置２０で撮影した撮影画像情報を時系列的につなげる。これによって，滑走路を連続的に撮影した撮影画像情報が生成できる。

【0101】

位置情報処理部１１は，移動体搭載装置２の記録装置２３から位置情報および時刻情報を取得し（Ｓ１１０），位置情報処理部１１が，位置情報計測装置２１で計測した位置情報を，可視光画像情報に用いた撮影装置２０の位置情報に補正をする。以後の処理で用いる位置情報は，補正後の位置情報（撮影装置２０の位置情報）となる。

【0102】

そして画像情報処理部１０は，時系列的に並べた撮影画像情報に，位置情報処理部１１で補正した位置情報と時刻情報とを対応づけて，画像情報処理部１０による撮影画像情報の伸縮処理，剪断変形処理を行う各補正処理を実行する。なお，補正処理はその一部または全部を行わなくてもよい。

【0103】

まず，位置情報計測装置２１で取得した時刻情報と，撮影画像情報ごとの相対時間に基づいて時刻情報を算出する。そして，各撮影画像情報の終端位置を，位置情報計測装置２１で取得した時刻情報と位置情報とを用いて比例配分することで算出する。なお，撮影画像情報の終端位置は，隣接する撮影画像情報の始端位置として用いることができる。このように算出した撮影画像情報の始端位置と終端位置との進行方向の位置情報の差に基づく距離と，所定単位の枚数分と撮影幅とに基づく撮影画像情報の距離とを比較することで，撮影画像情報の伸縮比率を算出し，伸縮を行う。

【0104】

また，撮影画像情報の始端位置と終端位置との進行方向に対する横方向の位置情報の差に基づく距離に基づいて撮影画像情報の剪断変形処理を実行する。

【0105】

以上の処理を実行することで，滑走路の路面を撮影した撮影画像情報と位置情報とを対応づけることができる。

【0106】

このように補正処理を実行すると，画像情報処理部１０は，撮影画像情報において，レーン領域を示すレーン線Ｌと，マージン領域を示すマージン線Ｍとを設定する（Ｓ１２０）。そして，詳細画像情報と広域画像情報とを生成する（Ｓ１３０）。

【0107】

まず画像処理部は，マージン線Ｍよりも外側の画像情報の領域はトリミングをし（Ｓ２００），マージン線Ｍよりも内側であって，撮影ができていない領域に対しては，黒塗りするなどの所定の画像処理を加えて（Ｓ２１０），詳細画像情報として画像情報記憶部１２に記憶させる（Ｓ２２０）。また画像処理部は，レーン線Ｌよりも外側の領域をトリミングをして（Ｓ３００），広域画像情報として画像情報記憶部１２に記憶させる（Ｓ３１０）。なお，レーン領域はマージン領域よりも内側であるので，撮影ができていない領域がないことがほとんどとなるが，何らかの障害により撮影ができていない領域があった場合には，マージン領域と同様に，黒塗りをするなどの所定の画像処理を加えてもよい。

【0108】

このように広域画像情報，詳細画像情報を画像情報記憶部１２に記憶させたあと，撮影した滑走路の路面の画像情報を確認したい場合には，所定の操作が行われることで，表示処理部１３が，図２０に示すような表示画面を表示させる（Ｓ１４０）。

【0109】

そして表示画面の表示領域Ａにおいて，表示させる位置の選択を受け付けると，表示処理部１３は，その位置情報に対応する広域画像情報を画像情報記憶部１２から抽出して表示領域Ｂに表示する。また，広域画像情報から詳細な画像情報の領域Ｂ１の選択を受け付けると，その位置情報に対応する詳細画像情報を画像情報記憶部１２から抽出して表示領域Ｃに表示する。

【0110】

具体的には表示処理部１３は，位置情報に対応する広域画像情報を画像情報記憶部１２から抽出し，レーン線Ｌがコースの区切りを示す線となるように，隣り合うコースごとに，各コースに対応するレーンの広域画像情報を表示領域Ｂに表示させる。また表示処理部１３は，位置情報に対応する詳細画像情報を画像情報記憶部１２から抽出し，マージン線Ｍがコースの区切りを示す線となるように，隣り合うコースごとに各コースに対応するレーンの詳細画像情報を表示領域Ｃに表示させる。表示領域Ｃに詳細画像情報を表示する際には，マージン線Ｍとレーン線Ｌとが区別可能なように，異なる色，線種別（直線，破線，一点鎖線，二点鎖線など），異なる太さなどで表示をすることが好ましい。またマージン線Ｍとレーン線Ｌとを区別するほか，マージン領域とレーン領域とが区別可能になっているとよい。たとえばマージン領域とレーン領域を異なる色で表示する，マージン領域とレーン領域であることを表示させる，マークを付するなどがある。

【0111】

これによって，広い範囲を確認したい場合には広域画像情報を，詳細に確認をしたい場合には詳細画像情報を確認することができる。とくに詳細画像情報においてはマージン線Ｍがコースの区切りとなっているので，マージン領域が重畳して表示される。そのためコースの区切りにある凹凸などの異常を見落とすことがない。また隣り合うコースの画像情報同士の合成処理も不要なので，処理時間を要することなく，また簡便な処理で画像情報の表示を実現することができる。

【実施例2】

【0112】

路面には直線箇所のみならず，湾曲箇所もある。たとえば空港の場合，飛行機は駐機場から滑走路まで移動する際に，誘導路を移動する。そこで本実施例においては，湾曲箇所がある路面の場合における画面表示を行う場合を説明する。湾曲箇所がある場合のコースの一例を図２３に示す。

【0113】

誘導路などの路面にはセンターライン（中央線など，路面を一定の幅で区切る線）およびキロポスト（距離を示す標識）が設定されている。そこで，移動体が走行するコースを，センターラインに対して直角方向に一定距離だけ離れた曲線を描くように設定する。なお曲線は折れ線であってもよい。

【0114】

このように設定されたコースに沿って，実施例１と同様に移動体が移動し，移動体搭載装置２によって路面を撮影をする。この場合，移動体搭載装置２は移動体の横断方向に知って路面を撮影するので，各コースに対応するレーンの撮影画像情報は，長い長方形となる。なお，厳密には湾曲部を走行すると移動体の左右の間で距離の歪みが発生するが，誘導路や道路の回転半径は十分に大きいことが一般的であるので，撮影画像情報の局所的な歪みは問題とはならない。

【0115】

しかし，湾曲部分の内側のコースと，外側のコースを走行した場合では，撮影距離の差が生じるので，コースに対応するレーンの撮影画像情報の長さが変わる。そこで本実施例においては，表示処理部１３が実距離表示モードとキロポスト表示モードの２つの表示方法を切り替え可能として表示することで，対応する。

【0116】

実距離表示モードは，画像情報記憶部１２に記憶した画像情報を，キロポスト（単位距離）間の撮影画像情報の長さが一定となるような伸縮処理を行わずに，そのまま実施例１と同様に並べる方式である。実距離表示モードを模式的に示すのが図２４である。図２４では右側が始点，左側が終点となっているが，左右逆，あるいは上下方向の表示をしても良い。実距離表示モードは，実際の走行距離で表示されているので，撮影画像情報を表示画面で表示する場合，凹凸などの異常を実際のサイズと同様の大きさで確認することができる。

【0117】

実距離表示モードでは，画像情報のサイズが伸縮されていないので，湾曲部分の内側のコース，外側のコースのいずれの画像情報であっても，実際のサイズに近い。そのため，凹凸などの異常があったとしても画像情報から計測して誤差が少ない利点がある。

【0118】

表示処理部１３は，実距離表示モードにおいて，対応する位置関係を明らかにするため，各撮影画像情報に対応づけられた位置情報を用いて，同一キロポスト（単位距離）の位置に線を重畳表示するなどするとよい。これによって，同一キロポストの位置関係を，容易に認識することができる。

【0119】

キロポスト表示モードは，キロポスト（単位距離）間の撮影画像情報の長さが一定となるように，進行方向に伸縮しておき，その画像情報を表示する。この場合，各キロポスト間の拡縮率（たとえばコース１の２０～４０ｍキロポスト間は０．８７倍など）をあらかじめ設定しておき，画像処理部においてあらかじめその伸縮率に応じた撮影画像情報を生成しておき，それを画像情報記憶部１２に記憶させておく。そして表示処理部１３における表示処理の際に，伸縮した撮影画像情報を表示させる。なお，画像処理部において表示させるほか，表示処理部１３における表示の際に，撮影画像情報を伸縮してもよい。キロポスト表示モードを模式的に示すのが図２５である。

【0120】

キロポスト表示モードでは，コース間の横断方向のずれが少なくなるので，コースを横断して存在する凹凸等の異常の全体像を画像情報から確認する場合には有益である。

【0121】

このように，表示処理部１３は，実距離表示モードとキロポスト表示モードとをアイコンやボタン，プルダウンメニューなどによって，切り替え可能とすることが好ましい。

【0122】

実施例２の場合においても，それぞれの表示モード（実距離表示モード，キロポスト表示モード）で，実施例１と同様に詳細画像情報，広域画像情報を生成し，詳細表示処理，広域表示処理を表示処理部１３が実行してもよい。

【0123】

本発明は，本発明の趣旨を逸脱しない範囲において，適宜，設計変更が可能である。また処理は一例であり，その処理を異なる順番で実行することも可能である。さらに，画面の表示についても適宜，変更可能である。また，すべての機能を備えずとも，一部の機能のみを備えるのであってもよい。

【0124】

一つの撮影対象を複数の画像情報に分割して撮影して表示する場合における画像情報同士の合成処理の課題は路面の撮影の場合に限られるものではない。そのため，本発明の画像処理システム１における画像情報処理，表示処理は，路面を撮影した画像情報のみに適用できるのではなく，一つの撮影対象を複数の画像情報に分割して撮影し，表示する場合にも適用することができる。たとえば建築物やトンネル，橋脚などさまざまな撮影対象物の場合に適用可能である。

【産業上の利用可能性】

【0125】

本発明の画像処理システム１を用いることで，撮影時に横断方向への揺らぎが生じても，画像情報の抜けが生じない。また，撮影した結果をすぐに目視したい場合には，すぐに確認することができる。

【符号の説明】

【0126】

１：画像処理システム
２：移動体搭載装置
Ｃ：車両
１０：画像情報処理部
１１：位置情報処理部
１２：画像情報記憶部
１３：表示処理部
２０：撮影装置
２１：位置情報計測装置
２２：同期装置
２３：記録装置
２４：照明装置
２５：支柱
２６：取付ビーム
２７：照明支持台
３０：投影装置
４０：ルーフキャリア
７０：演算装置
７１：記憶装置
７２：表示装置
７３：入力装置
７４：通信装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】

【図27】

【図28】