特許 7304016 画像処理システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-06-28

(45)【発行日】2023-07-06

(54)【発明の名称】画像処理システム

(51)【国際特許分類】

   G06T 7/70 20170101AFI20230629BHJP

   G08G 1/00 20060101ALI20230629BHJP

   H04N 7/18 20060101ALI20230629BHJP

【ＦＩ】

G06T7/70 A

G08G1/00 J

H04N7/18 C

【請求項の数】 11

(21)【出願番号】P 2019138815

(22)【出願日】2019-07-29

(65)【公開番号】P2021022208

(43)【公開日】2021-02-18

【審査請求日】2022-04-12

【国等の委託研究の成果に係る記載事項】（出願人による申告）平成３０年度、国立研究開発法人新エネルギー・産業技術総合開発機構、「ＳＩＰインフラ維持管理・更新・マネジメント技術／モニタリングシステムの現場実証／空港管理車両を活用した簡易舗装路面点検システムの研究開発」事業、産業技術力強化法第１９条の適用を受けるもの

(73)【特許権者】

【識別番号】514229661

【氏名又は名称】株式会社ソーシャル・キャピタル・デザイン

(73)【特許権者】

【識別番号】504137912

【氏名又は名称】国立大学法人 東京大学

(74)【代理人】

【識別番号】100205084

【弁理士】

【氏名又は名称】吉浦 洋一

(72)【発明者】

【氏名】武藤 信義

(72)【発明者】

【氏名】村田 利文

(72)【発明者】

【氏名】石川 雄章

(72)【発明者】

【氏名】熊田 和人

【審査官】藤原 敬利

(56)【参考文献】

【文献】特開２０１５－０９０３４５（ＪＰ，Ａ）

【文献】特開２０１８－０５６９５３（ＪＰ，Ａ）

【文献】特開２０１７－０９０１８９（ＪＰ，Ａ）

【文献】特開２００６－２５０９１７（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １／００ － １／４０

Ｇ０６Ｔ ３／００ － ７／９０

Ｇ０６Ｖ １０／００ －２０／９０

Ｇ０６Ｖ ３０／４１８

Ｇ０６Ｖ ４０／１６ 、４０／２０

Ｇ０８Ｇ １／００ －９９／００

Ｈ０４Ｎ ５／２２２－ ５／２５７

Ｈ０４Ｎ ７／１８

(57)【特許請求の範囲】

【請求項1】

路面を撮影した画像情報に対する画像処理を行う画像処理システムであって，
前記画像処理システムは，
少なくとも２台以上の撮影装置で路面を撮影した撮影画像情報を用いて深度画像情報を生成する深度画像情報処理部と，
位置情報計測装置で計測した位置情報を，前記撮影装置の位置情報に補正する位置情報補正処理部と，
前記補正後の位置情報に基づく距離と，前記撮影画像情報に基づく可視光画像情報および／または深度画像情報に基づく距離とを用いて，前記可視光画像情報および／または深度画像情報の伸縮処理をすることで，前記可視光画像情報および／または深度画像情報に対する補正処理を実行する画像情報補正処理部と，を有しており，
前記可視光画像情報と，前記深度画像情報と，前記補正後の位置情報とを対応づける，
ことを特徴とする画像処理システム。

【請求項2】

路面を撮影した画像情報に対する画像処理を行う画像処理システムであって，
前記画像処理システムは，
少なくとも２台以上の撮影装置で路面を撮影した撮影画像情報を用いて深度画像情報を生成する深度画像情報処理部と，
位置情報計測装置で計測した位置情報を，前記撮影装置の位置情報に補正する位置情報補正処理部と，を有しており，
前記撮影画像情報に基づく可視光画像情報と，前記深度画像情報と，前記補正後の位置情報とを対応づけており，
前記深度画像情報処理部は，
前記深度画像情報に対して，急斜面区域の領域を特定することで変状候補の領域を特定し，
前記変状候補の領域の周辺の高さおよび／または深さを示す情報と所定値以上の差がある前記変状候補の領域内の画素を特定し，前記特定した画素を用いて変状領域を特定する，
ことを特徴とする画像処理システム。

【請求項3】

前記深度画像情報処理部は，
前記深度画像情報とその深度画像情報をずらした画像情報との差分が，前記急斜面区域として定めた値以上である画素を用いて前記変状候補の領域を特定する，
ことを特徴とする請求項２に記載の画像処理システム。

【請求項4】

前記深度画像情報処理部は，
前記深度画像情報とその深度画像情報を所定の方向にずらした画像情報との差分が前記急斜面区域として定めた値以上である画素をマーキングしたマーキング画像情報を生成し，
前記生成したマーキング画像情報を重畳表示して各マーキングした画素の領域を凸包する領域を変状候補の領域として特定する，
ことを特徴とする請求項２または請求項３に記載の画像処理システム。

【請求項5】

前記深度画像情報処理部は，
前記特定した変状候補の領域の外側の閉領域内の高さおよび／または深さを示す情報の平均と，前記変状候補の領域内の高さおよび／または深さを示す情報との差が所定値以上である画素をマーキングし，
前記マーキングした画素の領域の画素数に基づいて，前記変状候補の領域の面積を算出し，
前記算出した面積が所定の閾値の条件を充足する場合には，前記変状候補の領域を前記変状領域として特定する，
ことを特徴とする請求項２から請求項４のいずれかに記載の画像処理システム。

【請求項6】

前記深度画像情報処理部は，
前記特定した変状領域における高さおよび／または深さを示す情報の最大値と最小値と，前記変状候補の領域から一定距離外側の領域内の高さおよび／または深さを示す情報の平均との差により，前記変状領域の高さおよび／または深さを算出する，
ことを特徴とする請求項５に記載の画像処理システム。

【請求項7】

前記高さおよび／または深さを示す情報として，前記深度画像情報における画素の明度を用いる，
ことを特徴とする請求項２から請求項６のいずれかに記載の画像処理システム。

【請求項8】

コンピュータを，
少なくとも２台以上の撮影装置で路面を撮影した撮影画像情報を用いて深度画像情報を生成する深度画像情報処理部，
位置情報計測装置で計測した位置情報を，前記撮影装置の位置情報に補正する位置情報補正処理部，
前記補正後の位置情報に基づく距離と，前記撮影画像情報に基づく可視光画像情報および／または深度画像情報に基づく距離とを用いて，前記可視光画像情報および／または深度画像情報の伸縮処理をすることで，前記可視光画像情報および／または深度画像情報に対する補正処理を実行する画像情報補正処理部，として機能させる画像処理プログラムであって，
前記可視光画像情報と，前記深度画像情報と，前記補正後の位置情報とを対応づける，
ことを特徴とする画像処理プログラム。

【請求項9】

コンピュータを，
少なくとも２台以上の撮影装置で路面を撮影した撮影画像情報を用いて深度画像情報を生成する深度画像情報処理部，
位置情報計測装置で計測した位置情報を，前記撮影装置の位置情報に補正する位置情報補正処理部，として機能させる画像処理プログラムであって，
前記撮影画像情報に基づく可視光画像情報と，前記深度画像情報と，前記補正後の位置情報とを対応づけており，
前記深度画像情報処理部は，
前記深度画像情報に対して，急斜面区域の領域を特定することで変状候補の領域を特定し，
前記変状候補の領域の周辺の高さおよび／または深さを示す情報と所定値以上の差がある前記変状候補の領域内の画素を特定し，前記特定した画素を用いて変状領域を特定する，
ことを特徴とする画像処理プログラム。

【請求項10】

請求項１から請求項７のいずれかに記載の画像処理システムと，
路面を撮影するための少なくとも２台以上の撮影装置と，位置情報を計測するための位置情報計測装置と，前記撮影装置による撮影範囲を照らす光源を備えた照明装置と，を有する移動体搭載装置と，
を有することを特徴とする路面変状検出装置。

【請求項11】

前記路面が滑走路の場合，前記移動体は航空機と同じ方向に移動し，
前記照明装置は，前記移動体の横方向に傾けられている，
ことを特徴とする請求項１０に記載の路面変状検出装置。

【発明の詳細な説明】

【技術分野】

【0001】

路面を撮影した画像情報に対する画像処理システムに関する。

【背景技術】

【0002】

空港の滑走路や道路などの路面に凹凸があると事故につながることがあるため，路面の異常，特に凹凸の異常の有無を検出することが路面の管理からは重要である。そこで，道路などを走行する車両に所定の装置を搭載し，路面を撮影することで，路面の凹凸の検出を行うことが従来より行われている。

【0003】

たとえば下記特許文献１，特許文献２に記載のようにスリット光を路面に照射し，それを撮影することで路面の凹凸を検出することが行われている。これらを用いることで，路面の凹凸を一定程度，検出することはできる。

【0004】

しかしこれらの発明を用いた場合であっても，路面に加工や塗装等がされている場合には誤検出などの課題があった。そこで，下記特許文献３の路面計測装置があった。

【先行技術文献】

【特許文献】

【0005】

【文献】特開平４－２９１１９５号公報

【文献】特開昭５９－８０５０１号公報

【文献】特開平９－１０１１２９号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

路面の凹凸のおおよその範囲のみならず，凹凸の高さや深さを示す画像情報（深度画像情報）を高精度で得ることができれば，その凹凸の状況を視覚的に確認することができるので有益である。しかし，特許文献３の路面計測装置を用いることによって，路面に加工や塗装等がされている場合であっても，路面の凹凸の検出の精度を向上させることはできるが，深度画像情報を得ることまではできない。

【0007】

また，路面の凹凸の異常を検出する目的は，その凹凸を管理し，必要に応じて修繕するためであることから，どこにその凹凸があるかを的確に把握する必要もある。しかし引用文献１乃至引用文献３に示す従来技術では，それを得ることができないため，凹凸の管理，修繕の際には，再度，その位置を探さなければならない。

【課題を解決するための手段】

【0008】

本発明者は上記課題に鑑み，路面を撮影した画像情報に対する画像処理システムを発明した。

【0011】

第１の発明において，路面を撮影した画像情報に対する画像処理を行う画像処理システムであって，前記画像処理システムは，少なくとも２台以上の撮影装置で路面を撮影した撮影画像情報を用いて深度画像情報を生成する深度画像情報処理部と，位置情報計測装置で計測した位置情報を，前記撮影装置の位置情報に補正する位置情報補正処理部と，前記補正後の位置情報に基づく距離と，前記撮影画像情報に基づく可視光画像情報および／または深度画像情報に基づく距離とを用いて，前記可視光画像情報および／または深度画像情報の伸縮処理をすることで，前記可視光画像情報および／または深度画像情報に対する補正処理を実行する画像情報補正処理部と，を有しており，前記可視光画像情報と，前記深度画像情報と，前記補正後の位置情報とを対応づける，画像処理システムである。

【0012】

本発明により，路面が撮影された可視光画像情報と，凹凸を示す深度画像情報と，それらの位置情報とを対応づけることができる。
路面が撮影された可視光画像情報や深度画像情報と，実際の位置にはずれがある場合がある。たとえば３０００ｍの滑走路の場合，１％の誤差があった場合でも始点と終点とでは３０ｍの誤差となってしまう。そのため，これらを補正することが好ましい。

【0013】

第２の発明において，路面を撮影した画像情報に対する画像処理を行う画像処理システムであって，前記画像処理システムは，少なくとも２台以上の撮影装置で路面を撮影した撮影画像情報を用いて深度画像情報を生成する深度画像情報処理部と，位置情報計測装置で計測した位置情報を，前記撮影装置の位置情報に補正する位置情報補正処理部と，を有しており，前記撮影画像情報に基づく可視光画像情報と，前記深度画像情報と，前記補正後の位置情報とを対応づけており，前記深度画像情報処理部は，前記深度画像情報に対して，急斜面区域の領域を特定することで変状候補の領域を特定し，前記変状候補の領域の周辺の高さおよび／または深さを示す情報と所定値以上の差がある前記変状候補の領域内の画素を特定し，前記特定した画素を用いて変状領域を特定する，画像処理システムである。

【0014】

本発明により，路面が撮影された可視光画像情報と，凹凸を示す深度画像情報と，それらの位置情報とを対応づけることができる。
移動体の走行中に急発進や急ブレーキによって移動体にピッチング運動が生じたり，あるいは移動体の乗車中の人員の動きによって上下運動が生じると，撮影装置と路面の距離が変動する。この距離の変動が撮影画像情報に与える影響は小さいものの，深度画像情報に対しては大きな影響を与える。たとえば，路面の平均レベルを基準に上下１ｃｍの凹凸の差を変状として検出する場合には，移動体の上下動の振幅が２ｃｍ以上あると，路面の凹み（凹部）や出っ張り（突出部）の変動が小さくなり，凹凸による変状の未検出や過検出が生じることとなる。

【0015】

そして，２台以上の撮影装置で路面を撮影した画像情報を用いて深度画像情報を生成する方式を採用した場合，上記の課題を補正するためには，角度センサや加速度センサを移動体に追加して移動体や撮影装置の挙動を検出し，深度画像情報を補正する方法や，レーザ等による距離センサを移動体に追加して，撮影装置と路面の距離を検出して変位量を計測して，深度画像情報を補正する方法などがある。しかし，これらの場合，新たなハードウェアの追加が必要となる。

【0016】

そこで本発明の処理を用いることで，上述のような新たなハードウェアの追加を行うことなく，路面の凹凸による変状領域を特定することができる。

【0017】

上述の発明において，前記深度画像情報処理部は，前記深度画像情報とその深度画像情報をずらした画像情報との差分が，前記急斜面区域として定めた値以上である画素を用いて前記変状候補の領域を特定する，画像処理システムのように構成することができる。

【0018】

上述の発明において，前記深度画像情報処理部は，前記深度画像情報とその深度画像情報を所定の方向にずらした画像情報との差分が前記急斜面区域として定めた値以上である画素をマーキングしたマーキング画像情報を生成し，前記生成したマーキング画像情報を重畳表示して各マーキングした画素の領域を凸包する領域を変状候補の領域として特定する，画像処理システムのように構成することができる。

【0019】

凹凸がある場合，高さおよび／または深さを示す情報が急激に変化している箇所である。そのため，一定の量だけずらした画像情報とずらす前の画像情報とを比較し，その差分が所定値以上のときには，凹凸のような急斜面があることが推定できる。そこで，これらの発明の処理を用いることで，変状候補の領域を特定することができる。

【0020】

上述の発明において，前記深度画像情報処理部は，前記特定した変状候補の領域の外側の閉領域内の高さおよび／または深さを示す情報の平均と，前記変状候補の領域内の高さおよび／または深さを示す情報との差が所定値以上である画素をマーキングし，前記マーキングした画素の領域の画素数に基づいて，前記変状候補の領域の面積を算出し，前記算出した面積が所定の閾値の条件を充足する場合には，前記変状候補の領域を前記変状領域として特定する，画像処理システムのように構成することができる。

【0021】

変状候補の領域は，変状領域として推定される領域である。一方，そのように推定した領域であっても，ノイズを誤検出してしまう可能性は否定できない。そこで，変状候補の領域は，変状候補の領域の周辺の高さおよび／または深さとの差が所定値以上ある領域であるから，その領域を構成する画素による面積が所定値以上などの条件を充足すれば，ノイズではなく，実際の変状領域と精度高く推定できる。このような処理を実行することで，変状領域を精度高く特定することができる。また，このような処理をすることで，変状領域の大きさ（面積）も同時に特定することができる。

【0022】

上述の発明において，前記深度画像情報処理部は，前記特定した変状領域における高さおよび／または深さを示す情報の最大値と最小値と，前記変状候補の領域から一定距離外側の領域内の高さおよび／または深さを示す情報の平均との差により，前記変状領域の高さおよび／または深さを算出する，画像処理システムのように構成することができる。

【0023】

変状領域については凹凸の状況，すなわち高さおよび／または深さも重要である。そのため，本発明の処理を実行することで，変状領域の高さおよび／または深さを特定することができる。

【0024】

上述の発明において，前記高さおよび／または深さを示す情報として，前記深度画像情報における画素の明度を用いる，画像処理システムのように構成することができる。

【0025】

高さや深さの違いは明度に反映されやすい。そこで画素の明度の階調差と，高さおよび／または深さの差をあらかじめ対応づけておくことで，移動体の上下動などの外乱による影響を，ハードウェアの追加をすることなく，処理することができる。

【0026】

第１の発明の画像処理システムは，本発明のプログラムをコンピュータに読み込ませて実行することで実現できる。すなわち，コンピュータを，少なくとも２台以上の撮影装置で路面を撮影した撮影画像情報を用いて深度画像情報を生成する深度画像情報処理部，位置情報計測装置で計測した位置情報を，前記撮影装置の位置情報に補正する位置情報補正処理部，前記補正後の位置情報に基づく距離と，前記撮影画像情報に基づく可視光画像情報および／または深度画像情報に基づく距離とを用いて，前記可視光画像情報および／または深度画像情報の伸縮処理をすることで，前記可視光画像情報および／または深度画像情報に対する補正処理を実行する画像情報補正処理部，として機能させる画像処理プログラムであって，前記可視光画像情報と，前記深度画像情報と，前記補正後の位置情報とを対応づける，画像処理プログラムである。
また，第２の発明の画像処理システムは，本発明のプログラムをコンピュータに読み込ませて実行することで実現できる。すなわち，コンピュータを，少なくとも２台以上の撮影装置で路面を撮影した撮影画像情報を用いて深度画像情報を生成する深度画像情報処理部，位置情報計測装置で計測した位置情報を，前記撮影装置の位置情報に補正する位置情報補正処理部，として機能させる画像処理プログラムであって，前記撮影画像情報に基づく可視光画像情報と，前記深度画像情報と，前記補正後の位置情報とを対応づけており，前記深度画像情報処理部は，前記深度画像情報に対して，急斜面区域の領域を特定することで変状候補の領域を特定し，前記変状候補の領域の周辺の高さおよび／または深さを示す情報と所定値以上の差がある前記変状候補の領域内の画素を特定し，前記特定した画素を用いて変状領域を特定する，画像処理プログラムである。

【0027】

上述の各発明の画像処理システムを用いて，本発明の路面変状検出装置を構成することができる。すなわち，請求項１から請求項７のいずれかに記載の画像処理システムと，路面を撮影するための少なくとも２台以上の撮影装置と，位置情報を計測するための位置情報計測装置と，前記撮影装置による撮影範囲を照らす光源を備えた照明装置と，を有する移動体搭載装置と，を有する路面変状検出装置である。

【0028】

上述の発明において，前記路面が滑走路の場合，前記移動体は航空機と同じ方向に移動し，前記照明装置は，前記移動体の横方向に傾けられている，路面変状検出装置のように構成することができる。

【0029】

たとえば路面が滑走路の場合，航空機が滑走する方向に対して垂直方向にグルービング（滑走路面に掘られた排水性を高めるための凹型の溝）が形成されている。そのため，グルービングによる影が生じないように，移動体は航空機と同じ方向に走行し，かつ照明装置の光源は本発明のように移動体の横方向に傾けるとよい。

【発明の効果】

【0030】

本発明の画像処理システムを用いることで，路面を撮影した可視光画像情報と，路面の凹凸を示す深度画像情報を取得することができる。また，位置情報とも対応づけられているので，凹凸の変状があった位置を容易に特定可能となる。

【図面の簡単な説明】

【0031】

【図1】本発明の画像処理システムおよび画像処理システムを用いた路面変状検出装置の全体の構成の一例を模式的に示すブロック図である。

【図2】本発明の画像処理システムで用いるコンピュータのハードウェア構成の一例を模式的に示すブロック図である。

【図3】本発明の画像処理システムで処理対象とする画像情報および位置情報を計測するための移動体搭載装置を車両に取り付けた場合の側面図である。

【図4】本発明の画像処理システムで処理対象とする画像情報および位置情報を計測するための移動体搭載装置を車両に取り付けた場合の後方図である。

【図5】移動体搭載装置で路面を撮影する際のイメージを模式的に示す図である。

【図6】撮影装置による撮影と照明装置による光の照射との関係を示す図である。

【図7】位置情報の補正を模式的に示す図である。

【図8】可視光画像情報および深度画像情報の伸縮を調整する伸縮処理を模式的に示す図である。

【図9】可視光画像情報および深度画像情報に対する剪断変形処理を模式的に示す図である。

【図10】可視光画像情報および深度画像情報に対するトリミング処理を模式的に示す図である。

【図11】本発明の画像処理システムの処理プロセスの一例を示すフローチャートである。

【図12】実施例２における深度画像情報生成処理の処理プロセスの一例を示すフローチャートである。

【図13】実施例２における変状候補領域を特定する処理の処理プロセスの一例を示すフローチャートである。

【図14】実施例２における変状領域を特定する処理の処理プロセスの一例を示すフローチャートである。

【図15】路面にある凹凸の変状の一例を示す図である。

【図16】路面にある凹凸の変状が写っている可視光画像情報の一例を示す図である。

【図17】深度画像情報の一例を示す図である。

【図18】４方向にずらすことで変状候補の領域をマーキングした状態のマーキング画像情報の一例を模式的に示す図である。

【図19】各マーキング画像情報を重畳した重畳画像情報の一例を模式的に示す図である。

【図20】重畳画像情報においてマーキング領域を凸包して変状候補の領域とした場合の一例を模式的に示す図である。

【図21】変状領域を特定する処理を模式的に示す図である。

【図22】変状領域と照明とを矩形で囲んだ状態の可視光画像情報の一例を模式的に示す図である。

【発明を実施するための形態】

【0032】

本発明の画像処理システム１およびその画像処理システム１を用いた路面変状検出装置３の全体の構成の一例のブロック図を図１に示す。また，本発明の画像処理システム１で用いるコンピュータのハードウェア構成の一例のブロック図を図２に示す。

【0033】

画像処理システム１は，後述する移動体搭載装置２で撮影した画像情報（撮影画像情報）を用いて，路面の凹凸の状況を示す深度画像情報を生成し，またそれらと計測した位置情報とを対応づける。画像処理システム１は，移動体搭載装置２で撮影，計測した各情報が記録装置２３に記録され，そこに記録された情報に基づいて処理を実行する。画像処理システム１の処理は，サーバやパーソナルコンピュータのほか，スマートフォンやタブレット型コンピュータなどの可搬型通信端末などのコンピュータによって実現される。

【0034】

コンピュータは，プログラムの演算処理を実行するＣＰＵなどの演算装置７０と，情報を記憶するＲＡＭやハードディスクなどの記憶装置７１と，ディスプレイなどの表示装置７２と，情報の入力を行う入力装置７３と，演算装置７０の処理結果や記憶装置７１に記憶する情報の通信をする通信装置７４とを有している。なお，コンピュータがタッチパネルディスプレイを備えている場合には表示装置７２と入力装置７３とが一体的に構成されていてもよい。タッチパネルディスプレイは，たとえばタブレット型コンピュータやスマートフォンなどの可搬型通信端末などで利用されることが多いが，それに限定するものではない。

【0035】

タッチパネルディスプレイは，そのディスプレイ上で，直接，所定の入力デバイス（タッチパネル用のペンなど）や指などによって入力を行える点で，表示装置７２と入力装置７３の機能が一体化した装置である。

【0036】

画像処理システム１のコンピュータは，一台のコンピュータであってもよいし，その機能が複数のコンピュータによって実現されていてもよい。この場合のコンピュータとして，たとえばクラウドサーバであってもよい。

【0037】

本発明の画像処理システム１における各手段は，その機能が論理的に区別されているのみであって，物理上あるいは事実上は同一の領域を為していても良い。

【0038】

路面変状検出装置３は，画像処理システム１と移動体搭載装置２とを有する。

【0039】

移動体搭載装置２は，路面を走行する車両などの移動体に搭載される装置であって，路面を撮影する少なくとも２台以上の撮影装置２０と，各撮影装置２０を同期して撮影を行わせる同期装置２１と，位置情報を計測する位置情報計測装置２２と，撮影装置２０で撮影した撮影画像情報および撮影時刻と位置情報計測装置２２で計測した位置情報および時刻とを記録する記録装置２３とを有する。

【0040】

移動体搭載装置２を搭載した移動体としての車両の一例を図３および図４を示す。図３は，移動体搭載装置２を搭載した車両の側面図であり，図４は，移動体搭載装置２を搭載した車両の背面図である。

【0041】

撮影装置２０は移動体が移動する路面を撮影する装置であって，少なくとも２台以上を備えている。撮影装置２０としては，好ましくはラインセンサを用いることができるがそれに限定するものではない。ラインセンサは，線単位で路面状況を撮影する。たとえば１ｍｍ移動するたびに１ｍｍ分の路面を撮影をする。移動距離の検出は距離計を用いればよい。すなわち１ｍｍ移動することを距離計で検出することで各撮影装置２０により撮影を行う。ラインセンサはレンズ２０ａ１，２０ｂ１とラインセンサ素子２０ａ２，２０ｂ２とを有する。ラインセンサのレンズ２０ａ１，２０ｂ１は，路面を撮影可能なように，路面側に向けられている。ラインセンサは，路面の映像をレンズによってラインセンサ素子２０ａ２，２０ｂ２に結像させ，その光量をビデオ信号に変換して画像情報として出力する。各ラインセンサが撮影した各画像情報は１ｍｍ分の画像情報である。そのため，ラインセンサは，所定の単位枚数分（たとえば１０００枚分）の画像情報を連結し，一つの画像情報として後述する記録装置２３に記録する。この単位枚数分の画像情報を撮影画像情報（またはフレーム）とする。

【0042】

撮影装置２０は路面の撮影を開始する際には，位置情報計測装置２２が所定のＰＰＳ信号を用いて，撮影装置２０に対して計測開始のコマンドを送る。このコマンドを受け付けた撮影装置２０は，撮影を開始するとともに，内蔵した計時手段を「０」にリセットして計時を開始する。そして，撮影装置２０で所定の単位枚数，たとえば１０００枚分を撮影したところで，計時手段で計時している時刻（相対時刻）を，撮影画像情報に対応づけて記録する。そして，計時手段はそのまま計時を継続し，次の単位枚数分の画像情報を撮影した時点における時刻を，撮影画像情報に対応づけて記録する。これを撮影が終了するまで反復する。すなわち，撮影装置２０で単位枚数の画像情報を撮影するごとに，計時手段で計時している時刻（相対時刻）を記録し，撮影画像情報に対応づけて記録しておく。それぞれの単位枚数の画像情報を撮影するのに要した時間は，撮影画像情報に対応づけて記録している相対時刻の差分を演算すれば算出できる。このように撮影装置２０での撮影を開始するタイミングと，位置情報計測装置２２で位置情報および時刻情報を取得したタイミングとが同期をしていることから，撮影画像情報ごとの時刻情報は，位置情報計測装置２２で取得した位置情報に，上記算出した時間を加算することで算出することができる。撮影画像情報ごとの時刻情報は，後述する画像情報補正処理部１４の際に算出をしてもよいし，撮影装置２０が撮影画像情報を記録装置２３に記録する際に行うなど，任意のタイミングで行うことができる。

【0043】

上述の単位枚数の画像情報を撮影するのに要した時間の記録は，計時手段で単位枚数ごとの撮影に要した時間を計時するとともに，撮影画像情報の撮影順番を対応づけて記録しておくのでもよいし，ほかの方法であってもよい。

【0044】

なお，撮影装置２０としてラインセンサを用いず，通常の光学式カメラなどを用いる場合には，その撮影をした画像情報が撮影画像情報であり，また撮影画像情報ごとの時刻情報を記録しておけばよい。

【0045】

同期装置２１は，移動体搭載装置２における少なくとも２台以上の撮影装置２０を同期させる。すなわち，同期装置２１によって，２台以上の撮影装置２０の撮影タイミングを同期させて路面を撮影する。

【0046】

位置情報計測装置２２は，たとえばＧＰＳ装置であり，その位置情報を計測し，時刻情報を取得する。位置情報としてはたとえば緯度，経度が好ましいが，それに限定するものではない。位置情報計測装置２２で計測した位置情報および時刻情報は，後述する記録装置２３に記録する。位置情報計測装置２２は，高精度のＧＰＳレシーバー，たとえば「ＨｅｍｉｓｈｅｒｅＡ１０１」などを用いることができる。

【0047】

位置情報計測装置２２は，一定のタイミングごとに位置情報および時刻情報を取得する。たとえば１秒間に１０回，１秒間に２０回などのタイミングで位置情報および時刻情報を取得する。

【0048】

記録装置２３は，撮影装置２０で撮影した撮影画像情報と，位置情報計測装置２２で計測した位置情報とを記録する。記録装置２３は，移動体搭載装置２の一部として，移動体に設けてもよいし，クラウドサーバなどを用い，移動体の外部に設けてもよい。

【0049】

図５に移動体搭載装置２で路面を撮影する際のイメージを模式的に示す。

【0050】

移動体搭載装置２は，移動体にどのように取り付けられていてもよく，たとえば図３および図４に示すように，移動体の後方に取り付けられるとよいが，それに限定するものではない。たとえば移動体の前方に取り付けられていてもよい。撮影装置２０は，移動体の後端部よりも後方に位置しており，路面を上方から撮影する。撮影装置２０は，移動体のルーフキャリア４１などに取り付けた金属製の取付ビーム２６（支持体）の後端部付近に設置される。

【0051】

取付ビーム２６における撮影装置２０の取り付け箇所の近傍には，位置情報計測装置２２が取り付けられている。

【0052】

取付ビーム２６の撮影装置２０の付近から路面側に対して，支柱２５ａが下方に突出しており，照明装置２４の上端部付近で接合している。また，照明装置２４は，移動体の後端下部側に設けられた照明装置支持台２６から上方に突出している支柱２５ｂ，２５ｃとそれぞれ接合をしている。支柱２５ｂは照明装置２４の下方付近で接合しており，支柱２５ｃは照明装置２４の上方付近で接合している。なお，照明装置の支持方法はいかなる方法であってもよい。

【0053】

照明装置２４は，ＬＥＤなどの光源により，平行光または平行光に近い光を路面に対して照射する。照明装置２４は，路面の変状に対してくっきりした均質の陰影ができるように路面を照らすために，路面に平行光に近い光を当てる。そのため光源としては指向性の高いＬＥＤが好ましいが，それに限定されない。平行光を照射する角度は水平に近ければ陰影が大きくなりすぎ，垂直に近ければ陰影が生じないため，照明装置２４を路面に対して一定の角度で傾けて照射することが好ましい。傾斜の方向は，撮影対象とする路面の特性に合わせればよい。撮影装置２０による撮影と照明装置２４による光の照射との関係を図６に示す。図６（ａ）では移動体の後方から撮影装置２０による撮影と照明装置２４による光の照射との関係を示す図であり，図６（ｂ）は移動体の側方から撮影装置２０による撮影と照明装置２４による光の照射との関係を示す図である。撮影装置２０の間隔Ａは撮影対象とする幅方向の範囲，撮影装置２０を取り付ける高さの位置関係，撮影装置２０の画角にもよるが，たとえば２６０ｃｍ程度を撮影幅とし，撮影装置２０を路面から１４０ｃｍ程度，撮影装置２０の画角が約９０度とすると，撮影装置２０の間隔Ａは，路面までの距離の約１０％，たとえば１４ｃｍ程度の間隔とすることが好ましい。

【0054】

なお，上記の寸法と各角度の関係は一例であって，寸法と角度はそれぞれ好適な関係となるように調整すればよい。

【0055】

画像処理システム１は，移動体搭載装置２で記録した撮影画像情報，位置情報，時刻情報を用いて，路面の凹凸の異常（変状）を検出する。画像処理システム１の処理を実行するコンピュータは，移動体計測装置を搭載した移動体に搭載されていてもよいし，移動体に搭載していなくてもよい。変状とは，路面の凹凸の異常であり，たとえば路面にある凹部（ポットホールや剥離など）や凸部（突出部）などがある。

【0056】

画像処理システム１は，画像情報取得処理部１０と深度画像情報処理部１１と位置情報取得処理部１２と位置情報補正処理部１３と画像情報補正処理部１４とを有する。

【0057】

画像情報取得処理部１０は，移動体搭載装置２の記録装置２３に記録した撮影画像情報を取得する。画像情報取得処理部１０は，撮影装置２０のうち，いずれか一つの撮影装置２０を選択し，選択した撮影装置２０で撮影した撮影画像情報を，深度画像情報に対応づける画像情報（可視光画像情報）とする。可視光画像情報は，時系列的につなげることで，路面の表面を連続させた画像情報とすることができる。可視光画像情報は，後述する深度画像情報と対応づける。

【0058】

なお，画像情報取得処理部１０は，撮影装置２０のそれぞれで撮影した撮影画像情報の共通の撮影範囲のみをトリミングして可視光画像情報としてもよい。

【0059】

深度画像情報処理部１１は，画像情報取得処理部１０で取得した各撮影装置２０の各撮影画像情報に基づいて，深度画像情報を生成する。撮影装置２０が２台ある場合，それぞれの撮影装置２０で同一の路面の範囲を含むように，同期装置２１で同期させて撮影をしている。そのときの２台の撮影装置２０で撮影された２つの撮影画像情報に基づいて深度画像情報を生成する。深度画像情報とは，奥行き（高さおよび／または深さ）を示す情報を持つ画像情報である。深度画像情報を生成するには，各撮影装置２０の視差情報を用いて生成することができる。たとえば対象物となる路面までの距離，撮影装置２０の間隔（視差）などの情報をパラメータとし，ＯｐｅｎＣＶのＳｔｅｒｅｏＢＭなどで提供されるライブラリ（ブロックマッチングアルゴリズムを利用したステレオ対応点探索）を用いて深度画像情報を生成することができる。深度画像情報は，撮影画像情報における画素の明度によってその奥行き（高さおよび／または深さ）が表現される画像情報であるが，画素の明度以外の情報によって奥行きが表現されてもよい。生成した深度画像情報は，その元となった撮影画像情報や可視光画像情報，その撮影画像情報と対応づけておく。

【0060】

位置情報取得処理部１２は，移動体搭載装置２の記録装置２３に記録した位置情報および時刻情報を取得する。

【0061】

位置情報補正処理部１３は，位置情報計測装置２２で計測した位置情報を，撮影装置２０（とくに可視光画像情報とする撮影画像情報を撮影した撮影装置２０）の位置情報に補正する。位置情報の補正は，位置情報取得処理部１２で取得した位置情報について，補正対象とする撮影装置２０と位置情報計測装置２２との位置のずれ量（撮影装置２０と位置情報計測装置２２とが離れている距離を示す横方向のオフセット）から補正する。これを模式的に示すのが図７である。

【0062】

なお，画像情報取得処理部１０において，可視光画像情報として撮影装置２０のそれぞれで撮影した撮影画像情報の共通の撮影範囲のみをトリミングしている場合，得られた可視光画像情報の中央は，撮影装置２０ａ，２０ｂの中央線と一致することから，位置情報補正処理部１３の補正処理を実行しなくてもよい。

【0063】

画像情報補正処理部１４は，可視光画像情報および／または深度画像情報の伸縮を調整し，その大きさを補正する処理を実行する。移動体における距離計には誤差があることから，この誤差を，可視光画像情報および／または深度画像情報を伸縮することで補正する。たとえば１ｍｍの単位で計測する距離計に１％の誤差がある場合，３０００ｍの滑走路では始点と終点で３０ｍの誤差が生じる。そのため，可視光画像情報や深度画像情報をそのまま連続的に並べたときに，位置情報補正処理部１３で補正した位置情報を用いて，可視光画像情報および／または深度画像情報の伸縮を調整し，その大きさを補正することで，そのずれが最小となるようにする。

【0064】

この処理を模式的に示すのが図８である。図８では撮影装置２０としてラインセンサを用いた場合を示している。まず画像情報補正処理部１４は，可視光画像情報および深度画像情報を，それぞれ撮影した時刻の順番に整列する。撮影装置２０による撮影を開始するタイミング（ｒｔ０）と，位置情報計測装置２２による時刻情報（ａｔ０）とは同期をしていることから，位置情報計測装置２２で時刻情報を取得した時点から撮影装置２０による撮影が開始されている。そして，可視光画像情報ごとに相対時間（ｒｔ１，ｒｔ２，ｒｔ３，・・・）が対応づけて記録されている。一方，位置情報計測装置２２は，所定の間隔，たとえば１秒間に１０回または２０回などの間隔で，位置情報と時刻情報とを取得しているが，可視光画像情報の幅（たとえば所定単位の枚数が１０００枚のとき１ｍ）となったときに，必ずしも位置情報計測装置２２で位置情報を取得しているとは限らない。

【0065】

そこで，画像情報補正処理部１４は可視光画像情報の終端に対応する位置情報を算出する。具体的には，たとえば可視光画像情報２では，位置情報計測装置２２で取得した時刻情報ａｔ６とａｔ７の間で可視光画像情報２の終端に対応する位置がある。そこで，位置情報計測装置２２で取得した時刻情報ａｔ６のときの位置情報Ｐ６（図８のＣ）と，位置情報計測装置２２で取得した時刻情報ａｔ７のときの位置情報Ｐ７（図８のＢ）とから，比例配分によって，可視光画像情報２の終端に対応する位置（図８のＡ）を算出することができる。

【0066】

比例配分の算出方法にはさまざまなものがあるが，可視光画像情報２の終端に対応する位置における相対時間ｒｔ２は分かっているので，位置情報計測装置２２で取得した時刻情報ａｔ０に，可視光画像情報ごとの相対時間ｒｔ１，ｒｔ２を加算することで，可視光画像情報２の終端に対応する位置Ａにおける時刻情報を特定できる。ここで特定した時刻情報と，位置情報計測装置２２で取得した時刻情報ａｔ６，ａｔ７とを比例配分することで比率が特定できるので，時刻情報ａｔ６のときの位置情報Ｐ６と，時刻情報ａｔ７のときの位置情報Ｐ７とを上記比率を用いて演算することで，可視光画像情報２の終端に対応する位置Ａの位置情報を特定できる。

【0067】

このように，可視光画像情報ごとの位置情報が特定できれば，可視光画像情報の始端位置（始端位置は隣接する一つ前の可視光画像情報の終端位置）と終端位置とを比較することで可視光画像情報の実際の距離が算出できる。一方，撮影装置２０は，所定単位の枚数，たとえば１ｍｍ分の１０００枚の画像情報で構成されているので，その幅は１ｍである。そうすると，上記で算出した実際の距離と，所定単位の枚数と撮影の幅に基づく幅１ｍとを比較して，そのずれが可視光画像情報の伸縮率となる。たとえば，実際の距離が１０１０ｍｍである場合，１％のずれがあるので，当該可視光画像情報を１％伸ばす処理を行う。この処理を可視光画像情報ごとに実行することで，可視光画像情報について，位置情報計測装置２２で計測した精度の高い位置情報に基づく距離と合致するように，可視光画像情報を伸縮し，その大きさを補正することができる。

【0068】

画像情報補正処理部１４は，可視光画像情報のみならず，可視光画像情報に対応する深度画像情報についても，可視光画像情報の伸縮に用いた伸縮率に基づいて，同様に伸縮する処理を実行する。

【0069】

さらに画像情報補正処理部１４は，移動体の進行方向に対する横方向のずれを補正する剪断変形処理も実行する。これは，可視光画像情報の始端位置と終端位置との進行方向に対する横方向の位置情報の変化によって剪断変形処理を実行することで行える。この処理を図９に模式的に示す。

【0070】

そして，上述と同様に可視光画像情報のみならず，可視光画像情報に対応する深度画像情報についても，可視光画像情報に対する剪断変形処理を用いて剪断変形処理を実行する。

【0071】

加えて画像情報補正処理部１４は，上述の伸縮処理，剪断変形処理を実行した可視光画像情報，深度画像情報に対して，左右の一定の幅を切り捨てるトリミング処理を実行する。なお，剪断変形処理を実行していることから，移動体の進行方向に対して横方向のずれが大きい場合には，画像情報の抜けが発生する可能性がある。その発生した箇所については，黒塗りをするなど，抜けがあることが分かるような処理を行う。これを模式的に示すのが図１０である。

【0072】

以上のような処理によって，撮影した画像情報とそれに基づく深度画像情報の位置を，精度よく対応づけることができる。

【実施例1】

【0073】

次に本発明の画像処理システム１およびその画像処理システム１を用いた路面変状検出装置３の処理プロセスの一例を図１１のフローチャートを用いて説明する。なお，以下の説明では移動体として車両４の場合，計測対象とする路面として滑走路の場合を説明するが，それぞれ上記に限定するものではなく，移動体としては車両４のほか，ドローンなどの飛翔体であってもよいし，計測対象の路面も滑走路のほか，道路などであってもよい。

【0074】

本発明の画像処理システム１で処理対象とする画像情報を取得するため，車両４の後方に移動体搭載装置２を取り付ける。そして計測対象とする滑走路を車両４で走行する（Ｓ１００）。

【0075】

滑走路を走行する際には，移動体搭載装置２における位置情報計測装置２２は，定期的に（たとえば１秒間に１０回，２０回），位置情報と時刻情報を取得する（Ｓ１１０）。取得した位置情報と時刻情報は，対応づけて記録装置２３に記録する。また，各撮影装置２０は，車両４が所定の撮影単位，たとえば１ｍｍ移動することを距離計で計測すると，滑走路の路面を撮影する（Ｓ１２０）。各撮影装置２０で撮影した各撮影画像情報にはその相対時間，または位置情報計測装置２２で計時した時刻情報と相対時間を用いて算出される時刻情報とを対応づけて記録装置２３に記録する。なお，移動体搭載装置２には２台以上の撮影装置２０ａ，２０ｂがあり，同期装置２１により各撮影装置２０ａ，２０ｂが同期して撮影を行うので，どの撮影装置２０による撮影画像情報であるのか，撮影装置２０ごとに識別可能となっている。これは撮影した撮影画像情報に撮影装置２０の識別情報が付されていてもよいし，撮影画像情報を保存するフォルダが撮影装置２０ごとに分かれていてもよい。

【0076】

以上のように，車両４が滑走路を走行することで撮影した滑走路の路面の撮影画像情報と相対時間または時刻情報，位置情報と時刻情報とが記録装置２３に記録される。

【0077】

そして記録装置２３に記録された撮影装置２０の撮影画像情報と相対時間または時刻情報，位置情報と時刻情報とに基づいて，画像処理システム１が各処理を実行する。画像処理システム１の処理は，バッチ処理でもリアルタイム処理でもよい。記録装置２３が車両４に設けられる場合には，画像処理システム１を構成するコンピュータが記録装置２３から有線または無線で情報を取得してもよいし，車両４の外，たとえばクラウドサーバに設けられる場合には，画像処理システム１を構成するコンピュータが当該クラウドサーバから情報を取得してもよい。

【0078】

まず画像情報取得処理部１０は，移動体搭載装置２の記録装置２３に記録した撮影画像情報を取得する。この際には，各撮影装置２０で撮影した撮影画像情報をそれぞれ取得する。そして，各撮影装置２０で撮影した，対応する撮影画像情報に基づいて，深度画像情報を生成する（Ｓ１３０）。そして生成した深度画像情報と可視光画像情報と撮影画像情報とその相対時間または時刻情報とを対応づける。

【0079】

また画像情報取得処理部１０は，移動体搭載装置２の撮影装置２０のうち，一台の撮影装置２０で撮影した撮影画像情報（可視光画像情報），深度画像情報を時系列的につなげる。これによって，滑走路を連続的に撮影した可視光画像情報，深度画像情報が生成できる。

【0080】

位置情報取得処理部１２は，移動体搭載装置２の記録装置２３から位置情報および時刻情報を取得し，位置情報補正処理部１３が，位置情報計測装置２２で計測した位置情報を，可視光画像情報に用いた撮影装置２０の位置情報に補正をする（Ｓ１４０）。以後の処理で用いる位置情報は，補正後の位置情報（撮影装置２０の位置情報）となる。

【0081】

そして画像情報補正処理部１４は，時系列的に並べた可視光画像情報と深度画像情報とに，位置情報補正処理部１３で補正した位置情報と時刻情報とを対応づけて，画像補正処理部による可視光画像情報と深度画像情報の伸縮処理，剪断変形処理，トリミング処理を行う各補正処理を実行する。なお，補正処理はその一部または全部を行わなくてもよい。

【0082】

まず，位置情報計測装置２２で取得した時刻情報と，可視光画像情報ごとの相対時間に基づいて時刻情報を算出する。そして，各可視光画像情報の終端位置を，位置情報計測装置２２で取得した時刻情報と位置情報とを用いて比例配分することで算出する。なお，可視光画像情報の終端位置は，隣接する可視光画像情報の始端位置として用いることができる。このように算出した可視光画像情報の始端位置と終端位置との進行方向の位置情報の差に基づく距離と，所定単位の枚数分と撮影幅とに基づく可視光画像情報の距離とを比較することで，可視光画像情報の伸縮比率を算出し，伸縮を行う。

【0083】

また，可視光画像情報の始端位置と終端位置との進行方向に対する横方向の位置情報の差に基づく距離に基づいて可視光画像情報の剪断変形処理を実行する。また，左右の一定の幅をトリミングするトリミング処理を実行する。

【0084】

画像情報補正処理部１４は，同様の処理を深度画像情報にも実行する。

【0085】

以上の処理を実行することで，滑走路の路面を撮影した可視光画像情報と深度画像情報と位置情報とを対応づけることができる。そして深度画像情報から，路面の凹凸に異常（変状）があることを検出することができるとともに，その位置も精度高く特定することができる。

【実施例2】

【0086】

実施例１の応用例として，より精度よく深度画像情報を生成し，路面の凹凸による変状領域を特定し，その面積，高さおよび／または深さを算出する場合を説明する。

【0087】

本実施例においても，実施例１と同様に，各撮影装置２０で撮影した各撮影画像情報に基づいて，深度画像情報処理部１１が深度画像情報を生成する。そして生成した深度画像情報に対して，急斜面区域（凹凸区域）のある変状候補の領域を特定する処理を実行する。変状領域とは，路面において，一定の距離内で一定以上の落差（凹凸）がある穴や突出，クラックなどの箇所（たとえば５０ｍｍの範囲で１０ｍｍ以上の落差）である。そして特定した変状候補の領域について，それぞれ面積，高さおよび／または深さを算出する処理を実行する。

【0088】

つぎに本実施例における深度画像情報生成処理の処理プロセスの一例を図１２乃至図１４に示す。また，路面にある凹凸の変状の一例を図１５に模式的に示す。また，路面にある凹凸の変状が写っている可視光画像情報の一例を図１６に示す。図１６では，路面に照明が埋め込まれており，その周辺部の一部の路面が凹部（変状）を形成している。

【0089】

深度画像情報処理部１１における深度画像情報の生成処理までは，実施例１と同様の処理を実行する。

【0090】

そして深度画像情報処理部１１は，実施例１と同様に，各撮影装置２０で撮影した各撮影画像情報に基づいて，深度画像情報処理部１１が深度画像情報を生成する。生成した深度画像情報の一例を図１７に示す。そして生成した深度画像情報に対して，急斜面区域（凹凸区域）のある変状候補の領域を特定する処理を実行する（Ｓ２００）

【0091】

急斜面区域を，たとえば５０ｍｍの範囲で１０ｍｍ以上の落差がある領域として設定した場合，変状候補の領域を特定するために，深度画像情報Ａを５０画素分（一定の距離に相当する画素分），上下方向，左右方向，右上－左下方向，左上－右下方向などの４方向にずらした深度画像情報Ｂ１乃至Ｂ４を生成し（Ｓ３００），その深度画像情報Ｂ１乃至Ｂ４と，ずらす前の深度画像情報Ａの差分画像情報をそれぞれ求める。なお，深度画像情報Ａをずらした画像情報Ｂ１乃至Ｂ４は実際に画像情報を生成してもよいし，画像情報を生成せずに，ずれ量に基づいて，深度画像情報Ａの画素に対応する画素を特定し，処理を行うのでもよい。また差分画像情報についても同様に，上記特定した画素ごとの差分を記憶するだけであってもよい。

【0092】

そして，画素ごとに明度で所定の階調Ｔｈ以上のプラス方向の差，マイナス方向の差を判定し（階調差と落差の関係はあらかじめ設定しておく），所定の階調以上の差がある画素を特定することで，変状候補の領域をマーキングする（Ｓ３１０）。たとえば明度で１階調の差がある場合に１ｍｍの落差があるとした場合，１０階調（Ｔｈ＝１０）以上の差がある画素を特定し，特定した画素により構成される領域を変状候補の領域としてマーキング（特定）する。

【0093】

この処理を，４方向にずらした深度画像情報Ｂ１乃至Ｂ４と，もとの深度画像情報Ａに対してそれぞれ行う（Ｓ３２０）。もとの深度画像情報Ａと，それを４方向に一定の距離だけずらした深度画像情報Ｂ１乃至Ｂ４との階調Ｔｈの差を比較し，変状候補の領域をマーキングした状態のマーキング画像情報の一例を図１８に示す。図１８（ａ）は，もとの深度画像情報Ａを左上－右下方向にずらした深度画像情報Ｂ１との階調の差を比較し，所定値以上の階調差がある画素を変状候補の領域としてマーキングした状態を示す図であり，図１８（ｂ）は，もとの深度画像情報Ａを右上－左下方向にずらした深度画像情報Ｂ２との階調の差を比較し，所定値以上の階調差がある画素を変状候補の領域としてマーキングした状態を示す図であり，図１８（ｃ）は，もとの深度画像情報Ａを上下方向にずらした深度画像情報Ｂ３との階調の差を比較し，所定値以上の階調差がある画素を変状候補の領域としてマーキングした状態を示す図であり，図１８（ｄ）は，もとの深度画像情報Ａを左右方向にずらした深度画像情報Ｂ４との階調の差を比較し，所定値以上の階調差がある画素を変状候補の領域としてマーキングした状態を示す図である。なお上記では４方向にずらした場合を説明したが，高精度を求めない場合，あるいは大きな変状のみを検出したい場合などは，上下方向と左右方向の２方向のみにずらすことで処理時間を短縮してもよい。

【0094】

そして，変状候補の領域としてマーキングしたそれぞれの画像情報（マーキング画像情報）を重畳する重畳画像情報を生成する（Ｓ３３０）。図１９に，図１８（ａ）乃至図１８（ｄ）の各マーキング画像情報を重畳した重畳画像情報の一例を示す。重畳画像情報は，画像情報を実際に生成するのではなく，マーキングした画素の論理和を採ることで重畳した場合と同様のものとしてもよい。そして，重畳画像情報の各マーキング領域をラベリングして凸包を求め，変状候補の領域として特定をする（Ｓ３４０）。図１９の重畳画像情報においてマーキング領域を凸包して変状候補の領域とした場合を図２０に示す。

【0095】

なお，深度画像情報に複数の凹凸（変状）がある場合には，それぞれに対して変状候補の領域の処理を実行すればよい。

【0096】

変状候補の領域の特定後，撮影した可視光画像情報に，路面に埋設された照明が写り込んでいる場合の照明の領域，あるいは路面の塗装の領域など，路面の変状として認識すべきではない領域を，撮影装置２０で撮影した可視光画像情報から特定し，変状候補の領域の特定後に，マスキングをする。そしてマスキングをした領域は処理対象から除外をするように設定する（Ｓ２１０）。路面に埋設された照明の領域や路面の塗装の領域は，路面に埋設される照明や塗装の標本情報とのパターンマッチングなどにより行える。図１６の可視光画像情報では，中心付近の照明の領域を特定し，その箇所をマスキングすることで，処理対象から除外する。

【0097】

つぎに深度画像情報処理部１１は，変状領域を特定する処理を実行する（Ｓ２２０）。この処理を模式的に示すのが図２１である。

【0098】

まず，特定した変状候補の領域の周辺，たとえばＳ３４０で求めた凸包から一定距離外側，たとえば凸包の外側２ｃｍを適当な個数の点だけサンプリングし，その領域の高さおよび／または深さの平均値Ｃ（明度の平均値）Ｃを算出する（Ｓ４００）。なお，平均値Ｃを算出するには，凸包を内包する閉領域であって，凸包の外側の領域とその閉領域の間の高さおよび／または深さ（明度）の平均値を算出すればよい。

【0099】

そして，変状候補の領域内で，平均値Ｃとの差が所定値以上である画素をマーキング（特定）し（Ｓ４１０），マーキングした画素の領域Ｄを構成する画素数をカウントすることで面積を算出する（Ｓ４２０）。すなわち１画素あたりの面積はあらかじめ画像情報の縮尺などから特定できるので，画素数に１画素あたりの面積を乗算すれば，変状候補の領域の面積を算出できる。そして，面積が所定の条件を充足しない場合，たとえば面積が所定の閾値（たとえば１０ｃｍ^２）以下，あるいは面積が所定の閾値（たとえば１００ｃｍ^２）以上の場合，その変状候補の領域はノイズとして削除（処理対象から除外）する。ノイズではない変状候補の領域を変状領域として特定する。変状領域を特定した場合，変状領域を識別する識別情報を付して，変状領域があった可視光画像情報，深度画像情報に対応づけて記憶させるとよい。これによって，変状領域の識別情報と可視光画像情報，深度画像情報が対応づけられるので，変状領域の識別情報を画面上に表示させることで，その変状領域がある可視光画像情報をすぐに表示可能となる。

【0100】

変状領域として特定した場合，その領域に対応する可視光画像情報の領域を矩形などで囲むことで可視光画像情報における変状領域の箇所を容易に視認可能とすることができる。また，照明などの領域も可視光画像情報として矩形などで囲むことでマスキング箇所を視認可能としてもよい。図２２に変状領域と照明とを矩形で囲んだ状態の可視光画像情報の一例を模式的に示す。なお，図２２では，照明の矩形の領域内に変状領域があるが，この場合，マスキングされたのは照明の領域であって，矩形の領域そのものではない。矩形の領域は，照明があることを示すために表示するものである。

【0101】

また，変状領域に含まれる画素の明度の最大値と最小値とを特定し，それらと平均値Ｃとの差分（階調差）を算出する。この明度の階調差を，１画素あたりの高さおよび／または深さに乗算することで，変状領域の高さおよび／または深さを算出する（Ｓ４４０）。すなわち，凸包の内側の領域における最高点の高さ（凸包の内側の画素の明度の最大値Ｄ）と，凸包の内側の領域における最低点の深さ（凸包の内側の画素の明度の最小値Ｅ）とをそれぞれ求め，Ｄ－Ｃが十分大きければ（正の値）凸部（突出部）とし，Ｅ－Ｃが十分小さければ（負の値）凹部とする。そしてそれぞれの変状領域の高さおよび／または深さとする。

【0102】

以上の処理を実行することで，深度画像情報処理部１１は，変状領域の特定と，その面積と，高さおよび／または深さとを算出することができる。また算出した変状の面積や，高さおよび／または深さは，変状領域の識別情報に対応づけて記憶させておくとよい。これによって，変状領域の識別情報に，その変状の面積や，高さおよび／または深さを関連付けて表示可能とすることができる。

【0103】

本発明は，本発明の趣旨を逸脱しない範囲において，適宜，設計変更が可能である。また処理は一例であり，その処理を異なる順番で実行することも可能である。さらに，画面の表示についても適宜，変更可能である。また，すべての機能を備えずとも，一部の機能のみを備えるのであってもよい。

【産業上の利用可能性】

【0104】

本発明の画像処理システム１を用いることで，路面などの対象物の表面の変状を検出することができる。この際に，路面を撮影した可視光画像情報と，路面の凹凸を示す深度画像情報を取得することができる。また，位置情報とも対応づけられているので，凹凸の変状があった位置を容易に特定可能となる。

【符号の説明】

【0105】

１：画像処理システム
２：移動体搭載装置
３：路面変状検出装置
４：車両
１０：画像情報取得処理部
１１：深度画像情報処理部
１２：位置情報取得処理部
１３：位置情報補正処理部
１４：画像情報補正処理部
２０：撮影装置
２０ａ１，２０ｂ１：レンズ
２０ａ２，２０ｂ２：ラインセンサ素子
２１：同期装置
２２：位置情報計測装置
２３：記録装置
２４：照明装置
２５：支柱
２６：取付ビーム
２７：照明装置支持台
４１：ルーフキャリア
７０：演算装置
７１：記憶装置
７２：表示装置
７３：入力装置
７４：通信装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】