特開 2023-45787 判定プログラム、判定方法、および情報処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023045787

(43)【公開日】2023-04-03

(54)【発明の名称】判定プログラム、判定方法、および情報処理装置

(51)【国際特許分類】

   G01N 21/88 20060101AFI20230327BHJP

   G01N 21/17 20060101ALI20230327BHJP

   G06T 7/00 20170101ALI20230327BHJP

   E01C 23/01 20060101ALI20230327BHJP

【ＦＩ】

G01N21/88 J

G01N21/17 F

G06T7/00 650A

E01C23/01

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2021154357

(22)【出願日】2021-09-22

(71)【出願人】

【識別番号】000005223

【氏名又は名称】富士通株式会社

(71)【出願人】

【識別番号】506095696

【氏名又は名称】株式会社荒谷建設コンサルタント

(74)【代理人】

【識別番号】110002918

【氏名又は名称】弁理士法人扶桑国際特許事務所

(72)【発明者】

【氏名】野田 明

(72)【発明者】

【氏名】坂元 浩太

(72)【発明者】

【氏名】伊藤 順

(72)【発明者】

【氏名】住田 浩之

(72)【発明者】

【氏名】林 栄一

(72)【発明者】

【氏名】山田 透

(72)【発明者】

【氏名】稲村 啓志

(72)【発明者】

【氏名】渡部 宗広

(72)【発明者】

【氏名】浅沼 智之

【テーマコード（参考）】

2D053

2G051

2G059

5L096

【Ｆターム（参考）】

2D053AA31

2D053FA02

2D053FA03

2G051AA90

2G051AB01

2G051AB07

2G051AB08

2G051AC16

2G051AC21

2G051CA04

2G051CB05

2G051EA14

2G051EA21

2G051EC01

2G051ED04

2G051ED30

2G059AA05

2G059BB20

2G059EE02

2G059FF01

2G059FF08

2G059KK04

2G059MM05

2G059MM20

5L096AA09

5L096BA02

5L096BA18

5L096CA27

5L096DA01

5L096DA03

5L096FA06

5L096FA64

5L096FA66

5L096FA69

5L096GA08

5L096HA07

5L096HA13

(57)【要約】

【課題】画像を用いた異常検知の精度を向上させる。
【解決手段】情報処理装置１０は、所定の領域にある法面と路面との位置を計測した計測データ３ａ，３ｂ，・・・に基づいて、所定の位置から所定の領域を観察したときに法面が占める法面領域５ａと路面が占める路面領域５ｂとを特定する。次に情報処理装置１０は、所定の位置から所定の領域を撮影した画像を含む定点観測データ４に基づいて、異常の可能性がある対象物が写っている部分領域を検出する。そして情報処理装置１０は、部分領域が、法面領域５ａに含まれるのか路面領域５ｂに含まれるのかに基づいて、所定の領域における異常の発生の有無を判定する。
【選択図】図１

【特許請求の範囲】

【請求項1】

所定の領域にある法面と路面との位置を計測した計測データに基づいて、所定の位置から前記所定の領域を観察したときに前記法面が占める法面領域と前記路面が占める路面領域とを特定し、
前記所定の位置から前記所定の領域を撮影した画像を含む定点観測データに基づいて、異常の可能性がある対象物が写っている部分領域を検出し、
前記部分領域が、前記法面領域に含まれるのか前記路面領域に含まれるのかに基づいて、前記所定の領域における異常の発生の有無を判定する、
処理をコンピュータに実行させる判定プログラム。

【請求項2】

前記計測データは、前記所定の領域内の前記法面または前記路面上の計測対象の複数の点それぞれの位置を示す点群データであり、
前記法面領域と前記路面領域との特定では、前記点群データに対して、機械学習による学習済みのモデルを用いたセグメンテーションを行うことで、前記法面領域と前記路面領域とを特定する、
請求項１記載の判定プログラム。

【請求項3】

前記部分領域の検出では、前記定点観測データに示される前記画像に対して、機械学習による学習済みのモデルを用いたセグメンテーションを行うことで、前記画像に写る対象物のカテゴリを特定し、所定のカテゴリに属する物が写っている領域を前記部分領域として検出する、
請求項１または２に記載の判定プログラム。

【請求項4】

前記部分領域の検出では、石が写っている領域を前記部分領域として検出し、
前記所定の領域における異常の発生の有無の判定では、前記部分領域が前記路面領域内にある場合、前記部分領域に落石があると判定する、
請求項３記載の判定プログラム。

【請求項5】

前記部分領域の検出では、亀裂が写っている領域を前記部分領域として検出し、
前記所定の領域における異常の発生の有無の判定では、前記部分領域が前記法面領域内にある場合、前記法面に亀裂があると判定する、
請求項１から４までのいずれかに記載の判定プログラム。

【請求項6】

前記定点観測データには、前記所定の領域を異なる日時に撮影した複数の画像が示されており、
前記部分領域の検出では、前記複数の画像の間の差分がある領域を、前記部分領域として検出する、
請求項１から５までのいずれかに記載の判定プログラム。

【請求項7】

前記部分領域の検出では、前記複数の画像それぞれにおける亀裂が写る領域を前記部分領域として検出し、
前記所定の領域における異常の発生の有無の判定では、前記部分領域が前記法面領域内にある場合、前記法面に亀裂があると判定すると共に、前記亀裂の大きさの進行速度に応じて危険度を決定する、
請求項６記載の判定プログラム。

【請求項8】

前記所定の領域を定期的に通過する車両に搭載されたカメラで異なる日時に撮影された画像を示し、撮影日時を示す日時情報と撮影場所を示す位置情報とが付与された複数の第１の画像データを取得し、前記位置情報に基づいて前記所定の領域を異なる日時に撮影された時系列の複数の第２の画像データを前記複数の第１の画像データから抽出し、抽出した前記複数の第２の画像データを含む前記定点観測データを生成する、
処理を前記コンピュータにさらに実行させる請求項６または７に記載の判定プログラム。

【請求項9】

所定の領域にある法面と路面との位置を計測した計測データに基づいて、所定の位置から前記所定の領域を観察したときに前記法面が占める法面領域と前記路面が占める路面領域とを特定し、
前記所定の位置から前記所定の領域を撮影した画像を含む定点観測データに基づいて、異常の可能性がある対象物が写っている部分領域を検出し、
前記部分領域が、前記法面領域に含まれるのか前記路面領域に含まれるのかに基づいて、前記所定の領域における異常の発生の有無を判定する、
処理をコンピュータが実行する判定方法。

【請求項10】

所定の領域にある法面と路面との位置を計測した計測データに基づいて、所定の位置から前記所定の領域を観察したときに前記法面が占める法面領域と前記路面が占める路面領域とを特定し、前記所定の位置から前記所定の領域を撮影した画像を含む定点観測データに基づいて、異常の可能性がある対象物が写っている部分領域を検出し、前記部分領域が、前記法面領域に含まれるのか前記路面領域に含まれるのかに基づいて、前記所定の領域における異常の発生の有無を判定する処理部、
を有する情報処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、判定プログラム、判定方法、および情報処理装置に関する。

【背景技術】

【0002】

公共の道路は、安全に通行できるように定期的な異常の有無が点検される。道路の点検では、路面の状態たけではなく、例えば道路脇の法面の状態の点検も行われる。点検において異常もしくは予兆が発見された場合、該当箇所の補修工事が行われる。

【0003】

道路および道路周辺の点検は、例えば人による目視点検である。ただし、目視点検では膨大な量の道路それぞれについて高頻度で行うのは困難である。また目視点検では検査員ごとに判断のぶれが生じやすく、検査の品質が安定しない。

【0004】

そこで、カメラで撮影した画像を用いて点検することが考えられている。例えば、移動体の周囲を撮影するカメラで撮影された画像に基づいて、移動体の走行路または走行路の周囲の建造物に生じた変化の事象を検出する技術が提案されている。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】国際公開第２０１８／１５５１４９号

【発明の概要】

【発明が解決しようとする課題】

【0006】

カメラで撮影した画像に対しては、例えば機械学習技術の１つであるセグメンテーションを行い、画像に写り込んだものの種別を分類することができる。道路周辺を撮影した画像であれば、その画像に写っているものが道路なのか、石なのかなどを、セグメンテーションによって判別することができる。セグメンテーションを行うことで、道路上の落石などを検出することができる。

【0007】

しかし、画像のセグメンテーションだけでは、異常か否かの判別が難しい場合がある。例えば道路脇の法面が石垣であった場合、画像のセグメンテーションでは、石垣として積まれた石それぞれが石であると分類される。すると道路と接する領域に石が存在しても、その石が落石なのか、石垣を構成する石なのかを判別できない。

【0008】

１つの側面では、本件は、画像を用いた異常検知の精度を向上させることを目的とする。

【課題を解決するための手段】

【0009】

１つの案では、以下の処理をコンピュータに実行させる判定プログラムが提供される。
コンピュータは、所定の領域にある法面と路面との位置を計測した計測データに基づいて、所定の位置から所定の領域を観察したときに法面が占める法面領域と路面が占める路面領域とを特定する。コンピュータは、所定の位置から所定の領域を撮影した画像を含む定点観測データに基づいて、異常の可能性がある対象物が写っている部分領域を検出する。そしてコンピュータは、部分領域が、法面領域に含まれるのか路面領域に含まれるのかに基づいて、所定の領域における異常の発生の有無を判定する。

【発明の効果】

【0010】

１態様によれば、画像を用いた異常検知の精度が向上する。

【図面の簡単な説明】

【0011】

【図1】第１の実施の形態に係る判定方法の一例を示す図である。

【図2】道路を点検するためのシステム構成の一例を示す図である。

【図3】道路検査サーバのハードウェアの一例を示す図である。

【図4】道路検査サーバの機能を示すブロック図である。

【図5】画像データ記憶部の一例を示す図である。

【図6】点群データ記憶部の一例を示す図である。

【図7】道路検査処理の手順の一例を示すフローチャートである。

【図8】画像データ取得方法の一例を示す図である。

【図9】定点観測データの生成方法の一例を示す図である。

【図10】カテゴリ分類結果の一例を示す図である。

【図11】カテゴリ分類処理の手順の一例を示す図である。

【図12】石垣が写る画像データのセグメンテーションの一例を示す図である。

【図13】石垣周辺の点群データのセグメンテーションの一例を示す図である。

【図14】セグメンテーションの結果を用いた落石検出の一例を示す図である。

【図15】画像データ内の落石部分の明示処理の一例を示す図である。

【図16】正対画像への補正処理の一例を示す図である。

【図17】深度マップ作成処理の一例を示す図である。

【図18】差分抽出による異常検出の一例を示す図である。

【図19】亀裂の進行の速さに基づく異常検出の一例を示す図である。

【図20】異常表示画面の一例を示す図である。

【発明を実施するための形態】

【0012】

以下、本実施の形態について図面を参照して説明する。なお各実施の形態は、矛盾のない範囲で複数の実施の形態を組み合わせて実施することができる。
〔第１の実施の形態〕
まず第１の実施の形態について説明する。第１の実施の形態は、法面と路面とを撮影した画像とＬｉＤＡＲ（Light Detection and Ranging）センサで計測した法面と路面との位置に基づいて、道路周辺の異常を高精度に検出することが可能な異常の判定方法である。

【0013】

図１は、第１の実施の形態に係る判定方法の一例を示す図である。図１には、判定方法を実現する情報処理装置１０が示されている。情報処理装置１０は、例えば判定プログラムを実行することにより、以下に示す判定方法を実施することができる。

【0014】

情報処理装置１０は、記憶部１１と処理部１２とを有する。記憶部１１は、例えば情報処理装置１０が有するメモリまたはストレージ装置である。処理部１２は、例えば情報処理装置１０が有するプロセッサまたは演算回路である。

【0015】

情報処理装置１０は、例えば車両１に搭載されたカメラ１ａおよびＬｉＤＡＲセンサ１ｂから、画像データ２ａ，２ｂ，・・・と計測データ３ａ，３ｂ，・・・とを取得する。車両１は、例えば調査対象となる所定の領域を含む道路を定期的に通過する路線バスである。カメラ１ａは、車両１が走行中に車外を撮影し、画像データ２ａ，２ｂ，・・・を生成する。画像データ２ａ，２ｂ，・・・には、撮影日時を示す日時情報と撮影場所を示す位置情報とが付与される。位置情報は、例えばＧＰＳ（Global Positioning System）によって測定された緯度・経度の情報である。なおＧＰＳと準天頂衛星システムとを併用することで、撮影場所を高精度に計測可能である。

【0016】

計測データ３ａ，３ｂ，・・・は、所定の領域にある法面と路面との位置を計測したデータである。例えばＬｉＤＡＲセンサ１ｂは、計測対象物にレーザ光を照射し、反射した光に基づいてその計測対象物までの距離と方向を計測する。計測した距離と方向に基づいて、レーザ光が照射された点の３次元の座標が得られる。この座標はＬｉＤＡＲセンサ１ｂからの相対座標である。ＬｉＤＡＲセンサ１ｂは、周囲の異なる方向にレーザ光を照射することで、計測対象の複数の点の座標を得る。そしてＬｉＤＡＲセンサ１ｂは、計測した点それぞれの座標を示す点群データを、計測データ３ａ，３ｂ，・・・として生成する。計測データ３ａ，３ｂ，・・・には、計測した日時を示す日時情報と、計測場所を示す位置情報とが付与される。計測場所を示す位置情報と点群データに示される座標とに基づいて、計測した点の絶対位置（緯度・経度）を求めることができる。

【0017】

情報処理装置１０は、取得した画像データ２ａ，２ｂ，・・・と計測データ３ａ，３ｂ，・・・とを記憶部１１に格納する。処理部１２は、記憶部１１に格納された画像データ２ａ，２ｂ，・・・と計測データ３ａ，３ｂ，・・・とに基づいて、道路周辺の異常の有無を判定する。

【0018】

例えば処理部１２は、計測データ３ａ，３ｂ，・・・に基づいて、所定の位置から所定の領域を観察したときに法面が占める法面領域５ａと路面が占める路面領域５ｂとを特定する。所定の位置とは、例えば異常の有無の判定に用いる画像（定点観測データ４に含まれる画像）を撮影したときのカメラ１ａの位置である。所定の領域とは、例えば異常の有無の判定に用いる画像に写る範囲内の領域である。すなわち処理部１２は、異常の有無の判定に用いる画像の撮影時のカメラ１ａの位置から、カメラ１ａの光軸方向にカメラ１ａの画角で観察できる領域から、法面領域５ａと路面領域５ｂとを特定する。

【0019】

法面領域５ａと路面領域５ｂとの特定は、例えば点群データに対するセグメンテーションによって実現することができる。例えば処理部１２は、機械学習によって生成された、点群データに基づくセグメンテーション用の学習済みモデルを有する。処理部１２は、最新の点群データを学習済みモデルへの入力とすることで、法面領域５ａと路面領域５ｂとを特定する。

【0020】

また処理部１２は、所定の位置から所定の領域を撮影した画像を含む定点観測データ４に基づいて、異常の可能性がある対象物が写っている部分領域を検出する。定点観測データ４は、複数の画像データ２ａ，２ｂ，・・・に基づいて作成される。例えば処理部１２は、位置情報に基づいて、所定の領域を異なる日時に撮影した時系列の複数の画像データ（第２の画像データ）を、記憶部１１に格納された画像データ２ａ，２ｂ，・・・（第１の画像データ）から抽出する。そして処理部１２は、抽出した複数の第２の画像データを含む定点観測データ４を生成する。

【0021】

定点観測データ４に基づく部分領域の検出により、例えば石６ａ、土砂６ｂ、亀裂６ｃなどが写っている領域が、部分領域として検出される。部分領域の検出は、定点観測データ４に示される画像のセグメンテーションによって実現することができる。例えば処理部１２は、機械学習によって生成された、画像データに基づくセグメンテーション用の学習済みモデルを有する。処理部１２は、最新の画像データを学習済みモデルへの入力とすることで、画像内に写っている物のカテゴリを特定する。この場合、処理部１２は、所定のカテゴリ（石６ａ、土砂６ｂ、亀裂６ｃなど）に属する物が写っている領域を、部分領域として検出する。

【0022】

処理部１２は、定点観測データ４における所定の領域を異なる日時に撮影した複数の画像の間の差分がある領域を、部分領域として検出することもできる。例えば処理部１２は、所定の領域を撮影した直近の画像データと、１月前に撮影した画像データとの差分を抽出する。１月以内に落石があった場合、石６ａが写る領域が差分として抽出される。また１月以内に法面への土砂６ｂの堆積があった場合、土砂６ｂが写る領域が差分として抽出される。

【0023】

そして処理部１２は、部分領域が、法面領域５ａに含まれるのか路面領域５ｂに含まれるのかに基づいて、所定の領域における異常の発生の有無を判定する。例えば石６ａが写っている領域が部分領域として検出されたものとする。このとき処理部１２は、部分領域が路面領域５ｂ内にある場合、部分領域に異常（種別「落石」）があると判定する。また亀裂６ｃが写っている領域が部分領域として検出されたものとする。このとき処理部１２は、部分領域が法面領域５ａ内にある場合、部分領域に異常（種別「法面の亀裂」）があると判定する。

【0024】

なお処理部１２は、複数の画像それぞれにおける亀裂が写る領域を部分領域として検出し、法面に亀裂があると判定したとき、その判定と共に、亀裂の大きさの進行速度に応じて危険度を決定してもよい。例えば処理部１２は、亀裂の進行速度が速いほど危険度を高くする。

【0025】

このようにして、異常の可能性がある対象物が写っている部分領域が、法面領域５ａ内か路面領域５ｂ内かに基づいて、異常の発生の有無を高精度に判定することができる。例えば画像に石が写っている場合であっても、その石が写っている部分領域が法面領域５ａ内であれば、その石は石垣の一部であると考えられ、異常ではない。他方、その石が写っている部分領域が路面領域５ｂ内であれば、落石の異常があると正しく判定できる。

【0026】

また計測データ３ａ，３ｂ，・・・として取得した点群データのセグメンテーションにより法面領域５ａと路面領域５ｂとを決定することで、法面領域５ａと路面領域５ｂとを高精度に決定することができる。法面領域５ａと路面領域５ｂとの決定精度が向上することで、異常の判定精度も向上する。

【0027】

さらに画像のセグメンテーションにより画像に写る物のカテゴリを特定し、所定のカテゴリに属する物が写っている領域を部分領域として検出することで、任意のカテゴリの対象物が写っている領域を抽出できる。これにより、落石・亀裂などの検出が容易となる。

【0028】

また異なる日時に撮影した複数の画像の間の差分がある領域を部分領域として検出することで、異常の検知漏れを抑止することができる。例えばガードレールの脱落のように、本来あるべきものが無くなった場合、最新の画像だけでは検知できない。過去の画像との差分を検出することで、ガードレールの脱落のような異常を検知することもできる。また複数の画像間の差分がある領域を部分領域とすることで、法面の亀裂のような、セグメンテーションでは区別しづらい領域についても、部分領域として抽出できる。その結果、異常の検出漏れを抑止できる。

【0029】

異なる日時に撮影した複数の画像の間の差分がある領域を部分領域として検出し、法面に亀裂があると判定した場合、亀裂の大きさの進行速度に応じて危険度を決定することで、法面の亀裂の危険度を正確に求めることができる。

【0030】

また路線バスのような車両１に搭載したカメラ１ａで撮影した画像に基づいて異常を検知することで、異常が発生した場合に迅速にそのことを検知することができる。例えばカメラ１ａで撮影した画像を示す画像データを、無線通信によってリアルタイムに情報処理装置１０に送信することで、路面または法面の異常を迅速に発見し、対処することが可能となる。その結果、道路周辺の安全性を向上させることができる。

【0031】

〔第２の実施の形態〕
次に第２の実施の形態について説明する。第２の実施の形態は、監視対象の道路を定期的に巡回する車両に搭載したカメラで道路の状況を撮影し、撮影した画像に基づいて道路の異常を早期に発見するシステムである。

【0032】

図２は、道路を点検するためのシステム構成の一例を示す図である。ネットワーク２０には、道路検査サーバ１００、ＧＩＳ（Geographic Information System）サーバ２００、および気象情報サーバ３００が接続されている。またネットワーク２０には無線通信の基地局２０ａが設けられている。

【0033】

道路検査サーバ１００は、道路の状態を示す画像などの情報に基づいて道路、法面などの異常を検知するコンピュータである。ＧＩＳサーバ２００は、地理的位置を手がかりに、その位置に関する情報を持ったデータを管理・加工などの処理を行うコンピュータである。気象情報サーバ３００は、気象情報を配信するコンピュータである。

【0034】

道路の状態を示す情報の収集には、車両３０，４０が用いられる。車両３０は、路線バス、スクールバス、郵便車両などの、監視対象の道路を高頻度で定期的に巡回する車両である。車両３０には、無線によって、基地局２０ａ経由でデータを道路検査サーバ１００に送信可能なカメラ３１が搭載されている。カメラ３１は、車両３０が走行中に、道路およびその周辺の画像を撮影し、撮影した画像を道路検査サーバ１００に送信する。主に道路の法面を検査する場合、カメラ３１は、車両３０の進行方向に対して横向き（例えば進行方向から９０度ずれた方向）に設置される。

【0035】

車両４０は、道路点検の作業者が点検のために使用する車両である。車両４０には、無線によって、基地局２０ａ経由でデータを道路検査サーバ１００に送信可能なＬｉＤＡＲセンサ４１が搭載されている。車両４０は、検査対象の道路を走行する。ＬｉＤＡＲセンサ４１は、車両４０が走行中に、道路およびその周辺の物体上の点までの車両４０からの距離およびその点の方向を計測する。ＬｉＤＡＲセンサ４１は、計測した物体上の点ごとに、その点の位置を示す座標を算出し、計測した複数の点それぞれの座標を示す点群データを生成する。ＬｉＤＡＲセンサ４１は、生成した点群データを、道路検査サーバ１００に送信する。主に道路の法面を検査する場合、ＬｉＤＡＲセンサ４１は、車両４０の進行方向に対して横向き（例えば進行方向から９０度ずれた方向）に設置される。

【0036】

図３は、道路検査サーバのハードウェアの一例を示す図である。道路検査サーバ１００は、プロセッサ１０１によって装置全体が制御されている。プロセッサ１０１には、バス１０９を介してメモリ１０２と複数の周辺機器が接続されている。プロセッサ１０１は、マルチプロセッサであってもよい。プロセッサ１０１は、例えばＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）、またはＤＳＰ（Digital Signal Processor）である。プロセッサ１０１がプログラムを実行することで実現する機能の少なくとも一部を、ＡＳＩＣ（Application Specific Integrated Circuit）、ＰＬＤ（Programmable Logic Device）などの電子回路で実現してもよい。

【0037】

メモリ１０２は、道路検査サーバ１００の主記憶装置として使用される。メモリ１０２には、プロセッサ１０１に実行させるＯＳ（Operating System）のプログラムやアプリケーションプログラムの少なくとも一部が一時的に格納される。また、メモリ１０２には、プロセッサ１０１による処理に利用する各種データが格納される。メモリ１０２としては、例えばＲＡＭ（Random Access Memory）などの揮発性の半導体記憶装置が使用される。

【0038】

バス１０９に接続されている周辺機器としては、ストレージ装置１０３、ＧＰＵ（Graphics Processing Unit）１０４、入力インタフェース１０５、光学ドライブ装置１０６、機器接続インタフェース１０７およびネットワークインタフェース１０８がある。

【0039】

ストレージ装置１０３は、内蔵した記録媒体に対して、電気的または磁気的にデータの書き込みおよび読み出しを行う。ストレージ装置１０３は、道路検査サーバ１００の補助記憶装置として使用される。ストレージ装置１０３には、ＯＳのプログラム、アプリケーションプログラム、および各種データが格納される。なお、ストレージ装置１０３としては、例えばＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）を使用することができる。

【0040】

ＧＰＵ１０４は画像処理を行う演算装置であり、グラフィックコントローラとも呼ばれる。ＧＰＵ１０４には、モニタ２１が接続されている。ＧＰＵ１０４は、プロセッサ１０１からの命令に従って、画像をモニタ２１の画面に表示させる。モニタ２１としては、有機ＥＬ（Electro Luminescence）を用いた表示装置や液晶表示装置などがある。

【0041】

入力インタフェース１０５には、キーボード２２とマウス２３とが接続されている。入力インタフェース１０５は、キーボード２２やマウス２３から送られてくる信号をプロセッサ１０１に送信する。なお、マウス２３は、ポインティングデバイスの一例であり、他のポインティングデバイスを使用することもできる。他のポインティングデバイスとしては、タッチパネル、タブレット、タッチパッド、トラックボールなどがある。

【0042】

光学ドライブ装置１０６は、レーザ光などを利用して、光ディスク２４に記録されたデータの読み取り、または光ディスク２４へのデータの書き込みを行う。光ディスク２４は、光の反射によって読み取り可能なようにデータが記録された可搬型の記録媒体である。光ディスク２４には、ＤＶＤ（Digital Versatile Disc）、ＤＶＤ－ＲＡＭ、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory）、ＣＤ－Ｒ（Recordable）／ＲＷ（ReWritable）などがある。

【0043】

機器接続インタフェース１０７は、道路検査サーバ１００に周辺機器を接続するための通信インタフェースである。例えば機器接続インタフェース１０７には、メモリ装置２５やメモリリーダライタ２６を接続することができる。メモリ装置２５は、機器接続インタフェース１０７との通信機能を搭載した記録媒体である。メモリリーダライタ２６は、メモリカード２７へのデータの書き込み、またはメモリカード２７からのデータの読み出しを行う装置である。メモリカード２７は、カード型の記録媒体である。

【0044】

ネットワークインタフェース１０８は、ネットワーク２０に接続されている。ネットワークインタフェース１０８は、ネットワーク２０を介して、他のコンピュータまたは通信機器との間でデータの送受信を行う。ネットワークインタフェース１０８は、例えばスイッチやルータなどの有線通信装置にケーブルで接続される有線通信インタフェースである。またネットワークインタフェース１０８は、基地局やアクセスポイントなどの無線通信装置に電波によって通信接続される無線通信インタフェースであってもよい。

【0045】

道路検査サーバ１００は、以上のようなハードウェアによって実現することができる。ＧＩＳサーバ２００および気象情報サーバ３００も、道路検査サーバ１００と同様のハードウェアによって実現できる。第１の実施の形態に示した情報処理装置１０も、図３に示した道路検査サーバ１００と同様のハードウェアにより実現できる。

【0046】

道路検査サーバ１００は、例えばコンピュータ読み取り可能な記録媒体に記録されたプログラムを実行することにより、第２の実施の形態の処理機能を実現する。道路検査サーバ１００に実行させる処理内容を記述したプログラムは、様々な記録媒体に記録しておくことができる。例えば、道路検査サーバ１００に実行させるプログラムをストレージ装置１０３に格納しておくことができる。プロセッサ１０１は、ストレージ装置１０３内のプログラムの少なくとも一部をメモリ１０２にロードし、プログラムを実行する。また道路検査サーバ１００に実行させるプログラムを、光ディスク２４、メモリ装置２５、メモリカード２７などの可搬型記録媒体に記録しておくこともできる。可搬型記録媒体に格納されたプログラムは、例えばプロセッサ１０１からの制御により、ストレージ装置１０３にインストールされた後、実行可能となる。またプロセッサ１０１が、可搬型記録媒体から直接プログラムを読み出して実行することもできる。

【0047】

図２に示すシステムでは、車両３０からは、道路の画像が高頻度（例えば１日数回）で道路検査サーバ１００に送られる。なお送信される画像には、ＧＰＳなどの測位システムによって取得された位置情報が付与されている。また車両４０からは、一定の期間ごとに点群データが道路検査サーバ１００に送られる。なお送信される点群データには、ＧＰＳなどの測位システムによって取得された位置情報が付与されている。道路検査サーバ１００は、同じ場所についての画像と点群データとを用いて、道路およびその周辺の異常の有無を判定する。

【0048】

図４は、道路検査サーバの機能を示すブロック図である。道路検査サーバ１００は、画像データ受信部１１０、画像データ記憶部１２０、点群データ受信部１３０、点群データ記憶部１４０、画像前処理部１５０、セグメンテーション部１６０、差分検出部１７０、および可視化部１８０を有する。

【0049】

画像データ受信部１１０は、車両３０から送られる画像を受信する。例えば車両３０は、カメラ３１で撮影した画像を示す画像データを送信する画像データ送信部３２を有する。例えば画像データ送信部３２は、撮影時点での車両３０の位置情報や撮影日時を示す日時情報を画像データに付与し、位置情報および日時情報を含む画像データを道路検査サーバ１００に送信する。画像データ受信部１１０は、画像データ送信部３２から、位置情報と日時情報を含む画像データを受信する。画像データ受信部１１０は、受信した画像データを画像データ記憶部１２０に格納する。

【0050】

画像データ記憶部１２０は、画像データを記憶する。例えば道路検査サーバ１００のメモリ１０２またはストレージ装置１０３の記憶領域の一部が、画像データ記憶部１２０として使用される。

【0051】

点群データ受信部１３０は、車両４０から送られる点群データを受信する。例えば車両４０は、ＬｉＤＡＲセンサ４１が計測した各点の位置を示す点群データを送信する点群データ送信部４２を有する。例えば点群データ送信部４２は、計測時点での車両４０の位置情報や撮影日時を示す日時情報を点群データに付与し、位置情報および日時情報を含む点群データを道路検査サーバ１００に送信する。点群データ受信部１３０は、点群データ送信部４２から、位置情報および日時報を含む点群データを受信する。点群データ受信部１３０は、受信した点群データを点群データ記憶部１４０に格納する。

【0052】

点群データ記憶部１４０は、点群データを記憶する。例えば道路検査サーバ１００のメモリ１０２またはストレージ装置１０３の記憶領域の一部が、点群データ記憶部１４０として使用される。

【0053】

画像前処理部１５０は、解析しやすいように画像の前処理を行う。例えば画像前処理部１５０は、画像の色情報の正規化、深度マップ作成などの処理を行う。また画像前処理部１５０は、画像の２値化、輪郭抽出などを行うこともできる。画像前処理部１５０は、前処理後の画像をセグメンテーション部１６０に送信する。

【0054】

セグメンテーション部１６０は、ＡＩ（Artificial Intelligence）技術によるセグメンテーションを行う。例えばセグメンテーション部１６０は、画像に写っているものの種別を判別するための学習済みのモデルを有する。モデルは、例えばニューラルネットワークによって表される。セグメンテーション部１６０は、そのモデルに画像を入力し、モデルに従った演算を行い、出力結果として、画像の領域ごとに、該当領域に写っているものが属するカテゴリを出力する。

【0055】

またセグメンテーション部１６０は、画像に写っている範囲の点群データに基づくセグメンテーションを行う。例えばセグメンテーション部１６０は、点群データで表されているものの種別を判別するための学習済みのモデルを有する。モデルは、例えばニューラルネットワークによって表される。セグメンテーション部１６０は、そのモデルに点群データを入力し、モデルに従った演算を行い、出力結果として、点群データで示される物が法面なのか路面なのかを出力する。

【0056】

セグメンテーション部１６０は、画像と点群データとのセグメンテーションの結果に基づいて、落石などの問題箇所を検出する。例えばセグメンテーション部１６０は、道路の上に所定以上のサイズの石が存在する場合、その石は落石であると判断する。

【0057】

差分検出部１７０は、同じ場所を異なる日時に撮影した複数の画像の差分を検出する。差分検出部１７０は、画像の差分を検出する際、例えば画像前処理部１５０によって前処理が行われた画像を用いる。差分検出部１７０は、異なる日時の画像の差分に基づいて、異常の有無を判定する。例えば差分検出部１７０は、法面の亀裂が急激に広がっている場合、異常であると判定する。

【0058】

可視化部１８０は、セグメンテーション部１６０または差分検出部１７０が異常を検出した場合に、異常箇所に関する情報を出力する。例えば可視化部１８０は、異常が検出された箇所の画像と共に、検出された異常の内容を出力する。また可視化部１８０は、異常が検知された箇所に関する危険度を判定し、危険度を示す情報も出力する。危険度は、例えば堆積している土砂の量、落石のサイズ、亀裂の大きさおよび進行速度などに基づいて決定される。

【0059】

可視化部１８０は、ＧＩＳサーバ２００から取得可能な情報を利用して危険度を判定することもできる。例えばＧＩＳサーバ２００は、法面情報ＤＢ２１０と危険度評価ＤＢ２２０とを有している。法面情報ＤＢ２１０には、道路の場所ごとの法面の種別などの情報が格納されている。危険度評価ＤＢ２２０には、道路の場所ごとに、道路または法面の危険度に関する情報が格納されている。ＧＩＳサーバ２００は、気象情報サーバ３００から気象情報を取得して、最近の気象情報に基づいて法面の危険度を求め、危険度評価ＤＢ２２０に格納することもできる。例えば気象情報サーバ３００は、過去の気象に関する情報（降雨量など）が格納された気象情報ＤＢ３１０を有する。ＧＩＳサーバ２００は、気象情報サーバ３００の気象情報ＤＢ３１０から検査対象の道路周辺の気象情報を取得し、該当箇所の危険度に反映する。例えばＧＩＳサーバ２００は、直近の数日間の総雨量が所定値以上の場所については、道路で異常が検知された場合の危険度を高く設定する。

【0060】

なお、図４に示した各要素間を接続する線は通信経路の一部を示すものであり、図示した通信経路以外の通信経路も設定可能である。また、図４に示した各要素の機能は、例えば、その要素に対応するプログラムモジュールをコンピュータに実行させることで実現することができる。

【0061】

道路検査サーバ１００は、例えば新たな画像データを受信するごとに、その画像データに写っている場所の道路、法面などに異常があるかないかの判定を行う。その際、道路検査サーバ１００は、判定対象の画像データに示される画像だけでなく、その画像の撮影場所周辺の点群データを利用して、異常の有無を判定する。また道路検査サーバ１００は、同じ場所の過去の画像を示す画像データとの比較も行い、異常の有無を判定する。撮影場所の点群データは点群データ記憶部１４０から取得することができ、過去の画像を示す画像データは画像データ記憶部１２０から取得することができる。

【0062】

図５は、画像データ記憶部の一例を示す図である。画像データ記憶部１２０には、複数の画像データ１２１，１２２，・・・が格納されている。各画像データ１２１，１２２，・・・には、画像を撮影した日時と撮影地点の位置座標（緯度、経度）が付与されている。

【0063】

図６は、点群データ記憶部の一例を示す図である。点群データ記憶部１４０には、複数の点群データ１４１，１４２，・・・が格納されている。各点群データ１４１，１４２，・・・には、点の位置を計測した日時と計測時のＬｉＤＡＲセンサ４１の位置座標（緯度、経度）が付与されている。点群データ１４１，１４２，・・・内には位置を計測した複数の点のＬｉＤＡＲセンサ４１からの３次元の相対座標が示されている。

【0064】

図５，６に示すように、画像データ１２１，１２２，・・・および点群データ１４１，１４２，・・・には、日時（日時情報）と位置座標（位置情報）とが含まれる。この位置座標に基づいて、異常の有無の判定対象の画像データの撮影場所周辺の点群データを特定することができる。また位置座標に基づいて、異常の有無の判定対象の画像データと同じ場所で撮影された過去の画像データを特定することができる。

【0065】

次に道路検査サーバ１００における道路検査処理の手順について、フローチャートを参照して説明する。
図７は、道路検査処理の手順の一例を示すフローチャートである。以下、図７に示す処理をステップ番号に沿って説明する。道路検査サーバ１００は、例えば道路検査処理を定期的（毎時、毎日など）に実行する。また道路検査サーバ１００は、新たな画像データを受信するごとにリアルタイムに道路検査処理を実行することもできる。

【0066】

［ステップＳ１０１］画像前処理部１５０は、未検査の最新の画像データを選択する。例えば画像前処理部１５０は、前回の道路検査処理以降に受信した画像データのうち、未検査の画像データの１つを選択する。また画像前処理部１５０は、リアルタイムに道路検査を行う場合、新たな画像データが画像データ記憶部１２０に格納されると、その画像データを検査対象として選択する。

【0067】

［ステップＳ１０２］画像前処理部１５０は、選択した画像データの同一地点の過去の画像データ、および同一地点の最新の点群データを取得する。例えば画像前処理部１５０は、選択した画像データの撮影地点位置座標と所定の誤差の範囲内で同じとみなすことができる撮影地点位置座標が付与された過去の画像データを、画像データ記憶部１２０から取得する。また画像前処理部１５０は、選択した画像データの撮影地点位置座標と所定の誤差の範囲内で同じとみなすことができる計測地点の位置座標が付与された最新の点群データを、点群データ記憶部１４０から取得する。

【0068】

［ステップＳ１０３］画像前処理部１５０は、選択した画像データの撮影地点における定点観測データを作成する。例えば画像前処理部１５０は、該当地点で撮影された画像データを時系列に並べ、定点観測データとする。

【0069】

［ステップＳ１０４］画像前処理部１５０とセグメンテーション部１６０とが連係し、選択した画像データに対するカテゴリ分類処理を行う。カテゴリ分類処理の詳細は後述する（図１１参照）。

【0070】

［ステップＳ１０５］セグメンテーション部１６０は、カテゴリ分類により異常が検知されたか否かを判断する。例えばセグメンテーション部１６０は、道路上に所定値以上のサイズの石が存在する場合、異常「落石」があると判断する。セグメンテーション部１６０は、異常がある場合、処理をステップＳ１０９に進める。またセグメンテーション部１６０は、異常がなければ処理をステップＳ１０６に進める。

【0071】

［ステップＳ１０６］画像前処理部１５０は、時系列の画像データに対して、特徴点を強調させる前処理を行う。例えば画像前処理部１５０は、時系列の画像データの特徴箇所を基準に位置合わせを行う。また画像前処理部１５０は、時系列の画像データそれぞれに対して、角度補正、深度マップの作成、画像の色情報正規化、２値化、輪郭抽出などの画像処理のうちの１または複数の処理を行い、１画像当たり１または複数の加工後の画像データを生成する。このような前処理により、日照条件、日陰、植物等の影響が低減され、変化分が強調される。

【0072】

［ステップＳ１０７］差分検出部１７０は、定点観測データに基づいて時系列での画像の差分を検知する。例えば差分検出部１７０は、１月間隔の画像データを抽出し、法面の亀裂（クラック）の１月ごとの進行度合いを検知する。

【0073】

［ステップＳ１０８］差分検出部１７０は、画像の差分に基づいて異常の有無を判断する。差分検出部１７０は、異常がある場合、処理をステップＳ１０９に進める。また差分検出部１７０は、異常がなければ処理をステップＳ１１０に進める。

【0074】

［ステップＳ１０９］可視化部１８０は、検知された異常の内容を示す異常情報を出力する。例えば可視化部１８０は、亀裂の時系列の変化量、該当地点の降水量、該当地点の警戒区域レベルなどの情報をモニタ２１に表示する。

【0075】

［ステップＳ１１０］画像前処理部１５０は、道路検査処理を終了するか否かを判断する。例えば画像前処理部１５０は、道路検査処理終了を指示する操作が行われた場合、道路検査処理を終了すると判断する。また画像前処理部１５０は、定期的な道路検査処理において、未検査の画像データがなくなった場合、道路検査処理を終了すると判断する。画像前処理部１５０は、道路検査処理終了と判断すると、処理を終了する。また画像前処理部１５０は、道路検査処理を継続すると判断した場合、処理をステップＳ１０１に進める。

【0076】

このようにして取得した画像データに基づいて、道路およびその周辺の異常を自動で検知することができる。例えば車両３０が路線バスであれば、車両３０は毎日同じ道路をほぼ同じ時刻に走行する。車両３０に搭載したカメラ３１で撮影した画像の画像データをリアルタイムに道路検査サーバ１００に送信して道路検査処理を行えば、道路の異常を早期に見つけ出すことができる。

【0077】

図８は、画像データ取得方法の一例を示す図である。図８では、地図５１上に、路線バスである車両３０が巡回する路線バス経路５１ａが示されている。路線バスである車両３０は、路線バス経路５１ａに沿って、毎日定時に走行する。車両３０に搭載されたカメラ３１は、走行中に車外を撮影する。そして、撮影した画像を示す画像データが、画像データ送信部３２によって道路検査サーバ１００に送信される。

【0078】

例えば調査地点５１ｂで撮影された画像の画像データ５２には、調査地点５１ｂの位置情報と撮影日時が付与される。その画像データを受信した道路検査サーバ１００では、位置情報に基づいて、その画像データ５２に調査地点５１ｂの周囲の画像が写っていると認識できる。

【0079】

このような画像データが画像データ記憶部１２０に蓄積される。画像前処理部１５０は、画像データ記憶部１２０に蓄積された画像データに基づいて、特定の調査地点における定点観測データを生成することができる。

【0080】

図９は、定点観測データの生成方法の一例を示す図である。例えば道路検査サーバ１００は、７月に、ある地点の画像を示す画像データ５３を車両３０から受信したものとする。この場合、画像前処理部１５０は、例えば画像データ５３と同じ地点における１ヶ月単位の過去の画像データ５４，５５・・・を画像データ記憶部１２０から取得する。例えば、画像データ５４は、画像データ５３の撮影日の１月前（６月）に撮影された画像の画像データのうち、位置情報が画像データ５３に最も近い画像データである。また画像データ５５は、画像データ５３の撮影日の２月前（５月）に撮影された画像の画像データのうち、位置情報が画像データ５３に最も近い画像データである。

【0081】

なお同じ路線を通るバスで撮影された画像であっても、異なる日に撮影された画像は、画面に写る範囲がずれる。そこで画像前処理部１５０は、例えば画像データ５３を基準として、撮影地点位置座標に基づいて他の画像データ５４，５５，・・・のおおまかな位置合わせを行う。さらに画像前処理部１５０は、例えば画像データ５３と他の画像データ５４，５５，・・・それぞれとの間で特徴量マッチングを行う。さらに画像前処理部１５０は、画像内の特徴部分が重なるように、画像データ５４，５５，・・・それぞれの拡大・縮小、上下左右への位置の移動、回転などの処理を行う。そして画像前処理部１５０は、加工後の複数の画像６１，６２，６３，・・・を時系列につなぎ合わせることで定点観測データ６０を作成する。

【0082】

このように特徴量マッチングによる画像の修正を行うことで、走行時の経路のずれ、天候条件の違い、画角の違いなどを吸収することができる。
検査対象となった画像データに対しては、機械学習により学習済みのセグメンテーション用のモデルを用いて、画像の領域のカテゴリ分類が行われる。カテゴリ分類では、画像領域ごとに、その領域に移っているものが属するカテゴリが判定される。

【0083】

図１０は、カテゴリ分類結果の一例を示す図である。例えばセグメンテーション部１６０は、画像データ５２をセグメンテーション用の学習済みモデルへの入力として、画像データ５２のセグメンテーションを実行する。セグメンテーション部１６０は、セグメンテーションの結果として画像の領域ごとのカテゴリを示すカテゴリ情報７１を出力する。

【0084】

カテゴリ情報７１には、カテゴリとして法面７１ａ，７１ｂ、植物７１ｃ、路面７１ｄ、石７１ｅが示されている。各カテゴリは、カテゴリ情報７１を画像データ５２に重ねたときに、そのカテゴリの領域と重なる画像データ５２内の領域に写っているものの属するカテゴリを示している。

【0085】

セグメンテーション部１６０は、カテゴリ情報７１を解析して、異常の有無を判断する。例えばセグメンテーション部１６０は、路面７１ｄの上に大きな石７１ｅがある場合、落石が発生していると判断することができる。

【0086】

なお図１０に示したように、画像データ５２から生成したカテゴリ情報からだけでも、明らかに路面７１ｄの中程に大きな石７１ｅがある場合には、落石と判断することは可能である。しかし路面７１ｄの端に石があるとき、その石が落石なのか、石垣を構成する石なのかを区別しづらい。そこでセグメンテーション部１６０は、点群データに基づくセグメンテーションを併用することで、カテゴリ分類による異常検出の精度を向上させる。

【0087】

図１１は、カテゴリ分類処理の手順の一例を示す図である。以下、図１１に示す処理をステップ番号に沿って説明する。
［ステップＳ２０１］セグメンテーション部１６０は、画像データのセグメンテーション用の学習済みモデルを用いて、画像データに基づくセグメンテーションを実行する。

【0088】

［ステップＳ２０２］セグメンテーション部１６０は、点群データのセグメンテーション用の学習済みモデルを用いて、ＬｉＤＡＲセンサ４１から得られた点群データに基づくセグメンテーションを実行する。点群データに基づくセグメンテーションでは、例えば路面と法面とを明確に区別することができる。例えばセグメンテーション部１６０は、点群データに示される複数の点を包含する平面を生成し、生成した平面が水平に近い（傾斜角度が所定値以下）場合には、その平面のカテゴリを「路面」とする。またセグメンテーション部１６０は、点群データに示される複数の点を包含する平面を生成し、生成した平面が垂直に近い（傾斜角度が所定値以上）場合には、その平面のカテゴリを「法面」とする。

【0089】

［ステップＳ２０３］セグメンテーション部１６０は、画像データに基づくセグメンテーションで得られたカテゴリ情報と、点群データに基づくセグメンテーションで得られたカテゴリ情報とを合成する。例えばセグメンテーション部１６０は、画像データに基づくセグメンテーションで得られたカテゴリ情報におけるカテゴリ「石」の領域と、点群データに基づくセグメンテーションで得られたカテゴリ情報におけるカテゴリ「路面」の領域との論理積を計算する。これにより落石の画像が写った領域が抽出される。

【0090】

このように画像データのセグメンテーションだけではなく、点群データに基づくセグメンテーションも行うことで、カテゴリ分類の精度を向上させることができる。例えば法面が石垣であっても、石垣を構成する石と落石とを明確に区別できる。

【0091】

図１２は、石垣が写る画像データのセグメンテーションの一例を示す図である。石垣が写る画像データ７２に対して、ＡＩにより学習済みのモデルを用いてセグメンテーションを行うと、画像データ７２に写る物のカテゴリがカテゴリ情報７３に示される。図１２の例では、植物７３ａ、石垣を構成する多数の石７３ｂ、路面７３ｃ、および路面７３ｃ上の石７３ｄ，７３ｅが写っていることがカテゴリ情報７３に示されている。

【0092】

このときセグメンテーション部１６０は、明らかに路面７３ｃ上にある石７３ｄ，７３ｅについては、落石であると判断可能である。しかしセグメンテーション部１６０は、画像データ７２に基づくカテゴリ情報７３だけでは、石垣を構成している多数の石７３ｂについて、路面上の落石なのか、あるいは石垣なのかを判別することができない。

【0093】

そこでセグメンテーション部１６０は、ＬｉＤＡＲセンサ４１によって取得した点群データに基づいてセグメンテーションを実施する。
図１３は、石垣周辺の点群データのセグメンテーションの一例を示す図である。点群データ７４に示される点群は、画像データ７２と同じ光軸および同じ画角としたときにビューボリューム（表示対象の範囲を示す空間）内に存在する点群である。すなわち画像データ７２に写った物の表面の多数の点が点群である。点群データ７４には、その点群の各点の位置が示される。点群データ７４において、石垣上の点群は、垂直からやや傾いた平面上に存在する。また路面上の点群は、ほぼ水平な平面上に存在する。この点群データ７４に対してＡＩにより学習済みのモデルを用いてセグメンテーションを実施すると、カテゴリ情報７５が生成される。カテゴリ情報７５には、法面７５ａと路面７５ｂとが含まれる。

【0094】

セグメンテーション部１６０は、画像データ７２から得られたカテゴリ情報７３と点群データ７４から得られたカテゴリ情報７５とに基づいて、落石を検出する。
図１４は、セグメンテーションの結果を用いた落石検出の一例を示す図である。例えばセグメンテーション部１６０は、画像データ７２から得られたカテゴリ情報７３を石とそれ以外とで２値化する。図１４の例では、石を「１（白）」、石以外を「０（黒）」とした２値データ７６が生成されている。またセグメンテーション部１６０は、ＬｉＤＡＲセンサ４１によって取得した点群データ７４から得られたカテゴリ情報７５を、路面とそれ以外とで２値化する。図１４の例では、路面を「１（白）」、それ以外を「０（黒）」とした２値データ７７が生成されている。

【0095】

セグメンテーション部１６０は、２つの２値データ７６，７７の画素単位の論理積を採る。すなわちセグメンテーション部１６０は、２値データ７６，７７上の同じ位置の画素を比較し、両方とも「１（白）」である場合にのみ「１（白）」のままとし、それ以外を「０（黒）」とした２値データ７８を生成する。２値データ７８では、落石の部分のみ白で表される。

【0096】

セグメンテーション部１６０は、論理積によって生成した２値データ７８を画像データ７２に重ね合わせることで、画像データ７２内の落石を明示することができる。
図１５は、画像データ内の落石部分の明示処理の一例を示す図である。例えばセグメンテーション部１６０は、２値データ７８の「１（白）」の部分を半透明の強調色（例えば赤）に変換し、画像データ７２に合成する。合成後の画像データ７９では、落石７９ａ，７９ｂが強調表示される。なお画像データ７２と点群データ７４とは、光軸と画角とが同じとなっている。これにより図１５に示す合成を容易に行うことができる。

【0097】

カテゴリ分類処理によって異常がないと判断された場合、差分検出部１７０が、画像前処理部１５０が画像データを加工することで特徴点が強調された画像を用いて、特徴点の時間変化に基づいて異常の有無を判断する。例えば画像前処理部１５０は、ＬｉＤＡＲセンサ４１から取得した点群データに基づいて、法面の傾きを計算し、光軸に正対するように画像データを補正する。

【0098】

図１６は、正対画像への補正処理の一例を示す図である。例えば画像データ８１に傾斜する法面が写っている場合、補正前の法面は上の方ほど遠方となる。そのため画像データ８１に写っている法面の矩形の形状は、上の方が狭くなっている。画像前処理部１５０は、例えばＬｉＤＡＲセンサ４１によって取得された点群データに基づいて、法面の光軸に対する傾斜角度を算出する。そして画像前処理部１５０は、画像データ８２に対して正対画像となるように画像角度補正を行う。これにより法面がカメラの視点に向かって正対した画像データ８２が生成される。正対画像に補正することで、画像に写っているものの遠近の違いに基づく画像のゆがみがなくなり、差分検出部１７０による差分検出の精度を向上させることができる。

【0099】

また画像前処理部１５０は、画像データに基づいて深度マップを生成することもできる。深度マップは、画像に写っているものの奥行きの違いを表すデータである。
図１７は、深度マップ作成処理の一例を示す図である。例えば画像前処理部１５０は、同じ場所を撮影した時系列の複数の画像データ８３ａ，８３ｂ，・・・それぞれに基づいて、深度マップ８４ａ，８４ｂ，・・・を作成する。作成された深度マップ８４ａ，８４ｂ，・・・を比較することで、例えば深度の異なる部分が明確となる。深度が異なる部分には、落石、土砂などが存在する可能性がある。

【0100】

図１８は、差分抽出による異常検出の一例を示す図である。例えば差分検出部１７０は、６月に撮影された画像データ８５と、７月に撮影された同じ場所の画像データ８６との差分を抽出する。図１８の例では、画像データ８６の一部に堆積した土砂と石が写っている。差分抽出によって生成された差分データ８７には土砂８７ａ、石８７ｂ、および亀裂８７ｃが示されている。

【0101】

差分データ８７と図１３に示したカテゴリ情報７５とを比較すると、石８７ｂが路面７５ｂ上に存在することが分かる。従って、石８７ｂは落石であり、異常として検知される。他方、土砂８７ａは法面７５ａ内にある。法面７５ａの窪みなどに堆積した土砂８７ａは、その量が所定量を超えていれば異常として検知される。亀裂８７ｃは法面７５ａ内にある。法面７５ａの亀裂８７ｃは、その大きさが所定量を超えていれば異常として検知される。

【0102】

このように時系列の画像データ８５，８６の差分を抽出することで、土砂堆積、落石、法面の亀裂などの異常を容易に検出することができる。また差分検出部１７０は、時系列の画像データの比較により、例えば法面の亀裂の進行の速さを求めることができる。

【0103】

図１９は、亀裂の進行の速さに基づく異常検出の一例を示す図である。例えば５月の画像データ９１には小さな亀裂９１ａが写っている。６月の画像データ９２には成長した亀裂９２ａが写っている。７月の画像データ９３にはさらに成長した亀裂９３ａが写っている。

【0104】

差分検出部１７０は、時系列の画像データ９１～９３を比較することで、亀裂の進行度合いを認識する。そして差分検出部１７０は、例えば１月間での亀裂の長さの変化量が所定値を超えていれば、異常ありと判断する。また差分検出部１７０は、最新の画像データ９３における亀裂の長さが所定値を超えた場合にも、異常ありと判定する。

【0105】

可視化部１８０は、異常が検出されると、異常を検出した画像データに付与された位置情報、検知結果などの情報に基づいて、ＧＩＳと連動して危険度を求める。そして可視化部１８０は、ＧＩＳサーバ２００から取得した地図上に異常箇所を示すアイコンを追加する。可視化部１８０は、異常箇所がクリックされると、異常箇所の時系列データの確認、差分の変化、過去の工事記録などの様々な情報を表示する。

【0106】

図２０は、異常表示画面の一例を示す図である。可視化部１８０は、異常を検出すると、例えば異常検出画面９４をモニタ２１に表示する。異常検出画面９４には、地図表示部９４ａが設けられている。地図表示部９４ａには、ＧＩＳサーバ２００から取得した、検査対象の道路周辺の地図が表示される。また地図表示部９４ａに表された地図において、異常が検知された箇所には、異常の検知を示すアイコン９４ｂが表示されている。

【0107】

アイコン９４ｂが選択されると、可視化部１８０は、異常内容の詳細を示す詳細表示部９４ｃを表示する。詳細表示部９４ｃには、例えば異常箇所の危険度が表示される。危険度は、可視化部１８０が異常内容とＧＩＳサーバ２００から取得した情報とに基づいて決定する。

【0108】

例えば可視化部１８０は、ＧＩＳサーバ２００から、異常箇所周辺の直近の降水量・土壌雨量指数、地形的な要因による危険度の情報を取得する。降水量と土壌雨量指数は、気象情報サーバ３００から提供される情報である。地形的な要因による危険度は、例えばＧＩＳサーバ２００で管理されているハザードマップから取得できる。

【0109】

そして可視化部１８０は、画像データなどから取得した異常の度合い（例えば亀裂の深度・幅の進行速度）に、直近の降水量と該当地域の警戒区域レベルを加味して、危険度を決定する。例えば可視化部１８０は、亀裂の深さが深いほど危険度を高くする。また可視化部１８０は、亀裂の進行速度が速いほど危険度を高くする。また可視化部１８０は、降水量が多いほど、または土壌雨量指数が高いほど危険度を高くする。さらに可視化部１８０は、警戒区域レベルが高いほど危険度を高くする。

【0110】

また詳細表示部９４ｃには、異常を検知した箇所の画像が表示される。法面の亀裂であれば、亀裂の箇所の拡大画像が詳細表示部９４ｃに表示される。
なお亀裂深度は、ＬｉＤＡＲセンサ４１によって計測することができる。ＬｉＤＡＲセンサ４１を車両４０の進行方向に対して９０度横方向を向けることで、ＬｉＤＡＲセンサ４１は法面までの距離をほぼ正面から計測できる。法面の正面から計測することで、法面に亀裂があった場合、ＬｉＤＡＲセンサ４１が発したレーザ光が亀裂の奥まで届く。その結果、亀裂の奥までの距離を計測することができる。例えば差分検出部１７０は、画像データの解析によって亀裂と判断した部分の最も奥までの距離と、その周囲までの距離との差分を、亀裂の深さとする。

【0111】

なお可視化部１８０は、崩落の危険性が高い箇所、崩落範囲が広い箇所などの優先的に補修するべき箇所を、特徴的な色、サイズにより地図上で視覚的にわかり易く表示してもよい。例えば可視化部１８０は、危険度が「高」の異常検知箇所のアイコンは赤色で表示し、危険度が「中」の異常検知箇所のアイコンは黄色で表示することで、危険度の違いをアイコンの色で表すことができる。

【0112】

このようにして、路線バスなどの車両３０，４０に搭載したカメラ３１とＬｉＤＡＲセンサ４１とで取得した画像データおよび点群データに基づいて、道路周囲の異常を迅速に発見することが可能となる。すなわち路線バスなどの一定の経路を巡回する車両３０が異常箇所を通過すると、その異常箇所の画像データが道路検査サーバ１００に送られ、異常が即座に検知される。その結果、落石、豪雨による土砂の堆積などを迅速に発見し、障害の除去、または住民の避難などの対処を迅速に行うことができる。

【0113】

〔その他の実施の形態〕
第２の実施の形態では、カメラ３１とＬｉＤＡＲセンサ４１とを別の車両３０，４０に搭載しているが、１台の車両にカメラ３１とＬｉＤＡＲセンサ４１とを搭載してもよい。

【0114】

以上、実施の形態を例示したが、実施の形態で示した各部の構成は同様の機能を有する他のものに置換することができる。また、他の任意の構成物や工程が付加されてもよい。さらに、前述した実施の形態のうちの任意の２以上の構成（特徴）を組み合わせたものであってもよい。

【符号の説明】

【0115】

１ 車両
１ａ カメラ
１ｂ ＬｉＤＡＲセンサ
２ａ，２ｂ，・・・ 画像データ
３ａ，３ｂ，・・・ 計測データ
４ 定点観測データ
５ａ 法面領域
５ｂ 路面領域
６ａ 石
６ｂ 土砂
６ｃ 亀裂
１０ 情報処理装置
１１ 記憶部
１２ 処理部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】