知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023134305
(43)【公開日】2023-09-27
(54)【発明の名称】地下構造検出装置および地下構造検出方法
(51)【国際特許分類】
G06T 7/70 20170101AFI20230920BHJP
G01V 3/12 20060101ALI20230920BHJP
【ＦＩ】
G06T7/70
G01V3/12 B
【審査請求】未請求
【請求項の数】8
【出願形態】ＯＬ
(21)【出願番号】P 2022039763
(22)【出願日】2022-03-14
(71)【出願人】
【識別番号】000005108
【氏名又は名称】株式会社日立製作所
(74)【代理人】
【識別番号】110001689
【氏名又は名称】青稜弁理士法人
(72)【発明者】
【氏名】金丸 隆
(72)【発明者】
【氏名】喬 暁蕊
【テーマコード（参考）】
2G105
5L096
【Ｆターム（参考）】
2G105AA02
2G105BB11
2G105CC01
2G105DD02
2G105EE01
2G105LL02
5L096AA09
5L096BA08
5L096CA27
5L096DA04
5L096FA67
5L096FA69
5L096GA51
(57)【要約】
【課題】地下構造検出装置において、レーダにより検知した地下の埋設物を精度よく検出する。
【解決手段】地下構造検出装置は、地中の断面が示される複数の２次元データと地下構造が示される３次元データに基づいて、地下構造を構成する構成要素と構成要素の種類と位置・姿勢情報を含む情報を検出する。このとき、２次元データと３次元データを合成した合成データに対して、２次元データから把握される画像特徴に基づいて、合成データの表す構成要素の位置・姿勢情報を補正する。このとき、道路に対しての横断方向に判定するとき、閾値以上に連続の画像に含まれるときには、横断管と判定し、道路に対しての縦断方向に判定するとき、閾値以下の連続の画像に含まれるときには、縦断管と判定し、それぞれの方向に対する姿勢の補正を行う。
【選択図】 図７
【解決手段】地下構造検出装置は、地中の断面が示される複数の２次元データと地下構造が示される３次元データに基づいて、地下構造を構成する構成要素と構成要素の種類と位置・姿勢情報を含む情報を検出する。このとき、２次元データと３次元データを合成した合成データに対して、２次元データから把握される画像特徴に基づいて、合成データの表す構成要素の位置・姿勢情報を補正する。このとき、道路に対しての横断方向に判定するとき、閾値以上に連続の画像に含まれるときには、横断管と判定し、道路に対しての縦断方向に判定するとき、閾値以下の連続の画像に含まれるときには、縦断管と判定し、それぞれの方向に対する姿勢の補正を行う。
【選択図】 図７
【特許請求の範囲】
【請求項1】
地中の断面が示される複数の２次元データと地下構造が示される３次元データに基づいて、地下構造を構成する構成要素と前記構成要素の種類と位置・姿勢情報を含む情報を検出する地下構造検出装置であって、
前記２次元データと前記３次元データを合成した合成データに対して、前記２次元データから把握される画像特徴に基づいて、前記合成データの表す構成要素の位置・姿勢情報を補正することを特徴とする地下構造検出装置。
前記２次元データと前記３次元データを合成した合成データに対して、前記２次元データから把握される画像特徴に基づいて、前記合成データの表す構成要素の位置・姿勢情報を補正することを特徴とする地下構造検出装置。
【請求項2】
前記２次元データにおいて前記構成要素の示す画像特徴が、第一の方向に従って所定の第一の閾値以上に連続の画像に含まれることを第一の判定条件とし、前記第一の判定条件が成り立つときには、前記第一の方向につながった２次元データに基づいて、前記合成データの表す構成要素の位置・姿勢情報を補正し、
前記２次元データにおいて前記構成要素の示す画像特徴が、第二の方向に従って所定の第二の閾値以下の連続の画像に含まれることを第二の判定条件とし、前記第二の判定条件が成り立つときには、前記第二の方向につながった２次元データに基づいて、前記合成データの表す構成要素の位置・姿勢情報を補正することを特徴とする請求項１記載の地下構造検出装置。
前記２次元データにおいて前記構成要素の示す画像特徴が、第二の方向に従って所定の第二の閾値以下の連続の画像に含まれることを第二の判定条件とし、前記第二の判定条件が成り立つときには、前記第二の方向につながった２次元データに基づいて、前記合成データの表す構成要素の位置・姿勢情報を補正することを特徴とする請求項１記載の地下構造検出装置。
【請求項3】
前記構成要素が管であり、
前記第一の方向は、道路に対しての横断方向であり、
前記第二の方向は、道路に対しての縦断方向であることを特徴とする請求項２記載の地下構造検出装置。
前記第一の方向は、道路に対しての横断方向であり、
前記第二の方向は、道路に対しての縦断方向であることを特徴とする請求項２記載の地下構造検出装置。
【請求項4】
前記第一の判定条件と前記第二の判定条件の両者に対して、判定を行うことを特徴とする請求項１記載の地下構造検出装置。
【請求項5】
前記構成要素が管であり、
前記第一の判定条件と前記第二の判定条件の両者に対して、判定が成り立つときに、前記管の種類がＴ字管またはＬ字管であるという情報を含めて出力することを特徴とする地下構造検出装置。
前記第一の判定条件と前記第二の判定条件の両者に対して、判定が成り立つときに、前記管の種類がＴ字管またはＬ字管であるという情報を含めて出力することを特徴とする地下構造検出装置。
【請求項6】
さらに、道路の路面の状態を撮影して路面データを得る手段と、
地下構造に関する設計図から設計図データを得る手段とを有し、
前記２次元データと前記３次元データを合成した合成データから構成要素を検出した３次元検出データと、前記路面データから構成要素を検出した路面検出データと、前記設計図データから構成要素を検出した設計図検出データとに基づいて、前記構成要素の種類と位置を求めることを特徴とする請求項１記載の地下構造検出装置。
地下構造に関する設計図から設計図データを得る手段とを有し、
前記２次元データと前記３次元データを合成した合成データから構成要素を検出した３次元検出データと、前記路面データから構成要素を検出した路面検出データと、前記設計図データから構成要素を検出した設計図検出データとに基づいて、前記構成要素の種類と位置を求めることを特徴とする請求項１記載の地下構造検出装置。
【請求項7】
地中の断面が示される複数の２次元データと地下構造が示される３次元データに基づいて、地下構造を構成する構成要素と前記構成要素の種類と位置・姿勢情報を含む情報を検出する地下構造検出装置の地下構造検出方法であって、
前記２次元データと前記３次元データを合成して合成データを作成するステップと、
前記２次元データと前記３次元データを合成した合成データに対して、前記２次元データにおいて前記構成要素の示す画像特徴が、第一の方向に従って所定の第一の閾値以上に連続の画像に含まれることを第一の判定条件として判定するステップと、
前記第一の判定条件が成り立つときには、前記第一の方向につながった２次元データに基づいて、前記合成データの表す構成要素の位置・姿勢情報を補正するステップと、
前記２次元データと前記３次元データを合成した合成データに対して、前記２次元データにおいて前記構成要素の示す画像特徴が、第二の方向に従って所定の第二の閾値以下の連続の画像に含まれることを第二の判定条件として判定するステップと、
前記第二の判定条件が成り立つときには、前記第二の方向につながった２次元データに基づいて、前記合成データの表す構成要素の位置・姿勢情報を補正するステップとを有することを特徴とする地下構造検出方法。
前記２次元データと前記３次元データを合成して合成データを作成するステップと、
前記２次元データと前記３次元データを合成した合成データに対して、前記２次元データにおいて前記構成要素の示す画像特徴が、第一の方向に従って所定の第一の閾値以上に連続の画像に含まれることを第一の判定条件として判定するステップと、
前記第一の判定条件が成り立つときには、前記第一の方向につながった２次元データに基づいて、前記合成データの表す構成要素の位置・姿勢情報を補正するステップと、
前記２次元データと前記３次元データを合成した合成データに対して、前記２次元データにおいて前記構成要素の示す画像特徴が、第二の方向に従って所定の第二の閾値以下の連続の画像に含まれることを第二の判定条件として判定するステップと、
前記第二の判定条件が成り立つときには、前記第二の方向につながった２次元データに基づいて、前記合成データの表す構成要素の位置・姿勢情報を補正するステップとを有することを特徴とする地下構造検出方法。
【請求項8】
前記構成要素が管であり、
前記第一の方向は、道路に対しての横断方向であり、
前記第二の方向は、道路に対しての縦断方向であることを特徴とする請求項７記載の地下構造検出方法。
前記第一の方向は、道路に対しての横断方向であり、
前記第二の方向は、道路に対しての縦断方向であることを特徴とする請求項７記載の地下構造検出方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、地下構造検出装置および地下構造検出方法に係り、特に、レーダにより検知した地下の埋設物を精度よく検出するのに好適な地下構造検出装置および地下構造検出方法に関する。
【背景技術】
【0002】
近年、都市の再開発または無電柱化対策等が行われることによって、地下空間の利用が積極的に行われている。地下空間には、水道管、ガス管、通信線、電線等の埋設物が存在し、水道や電気工事などの工事着工前にそれら埋設物を調査することが求められる。地下空間の調査には、地面を掘削せずとも調査可能な地中レーダによる探査が行われる。
【0003】
地下の埋設物に関して、道路よりレーダにより計測する技術については、例えば、特許文献１に開示されている。特許文献１に記載された３次元路面下診断システムは、車両などの移動体からレーダを照射し、路面下を探査する。また、カメラやレーザスキャナにより路面状態を計測する。そして、移動体の３次元位置情報を高精度に取得し、３次元位置情報を路面状態計測データ、路面下探査データに付加することにより、それら情報を統合化し、一体データとしての活用することができるとしている。
【0004】
また、地中深くに位置する構成要素を検出するために、複数のレーダ画像に基づいて地下構造の３次元モデルを生成し、地中深くに位置する構成要素を明確化する方法が考えられる。
【0005】
３Ｄデータと２Ｄ画像により、物体の位置姿勢の推定を行う技術については、例えば、特許文献２に開示がある。特許文献２に記載された位置姿勢推定装置では、３Ｄセンサにより、物体の３次元座標を取得し、第１の位置姿勢推定部が３Ｄデータを用いて、６パラメータ（並進ｘ，ｙ，ｚおよび回転φ，γ，θ）を最適化し、第２の位置姿勢推定部１４６は、その結果を基に、２Ｄ画像で精度よく推定可能な３パラメータ（並進ｘ，ｙおよび回転θ）のみを最適化している。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特開２０１５－９０３４５号公報
【特許文献2】特開２０１９－１０９７４７号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
特許文献１に記載された３次元路面下診断システムによれば、路面状態カメラ画像および路面状態３次元点群データと、深度方向情報とを統合することによって、路面状態と路面下状態との位置関係を正確に把握することができるとしている。しかしながら、特許文献１に記載された３次元路面下診断システムには、地下構造の構成要素の位置・姿勢を判別する機能が備えられていない。
【0008】
地中レーダによる探査において、より地中深くに位置する構成要素がレーダ画像に鮮明に表示されない場合が考えられる。これによって、レーダ画像のみを使用する地下構造の検出では、路面付近の構成要素を検出することに留まる。
【0009】
特許文献２に記載された技術は、３次元モデルを２次元画像情報により最適化して、物体の姿勢を精度よく求める技術である。しかしながら、その測距方式のために例えば最前面の被写体しか計測できず、そのまま地中探査に応用することはできない。
【0010】
本発明の目的は、レーダにより検知した地下の埋設物を精度よく検出することのできる地下構造検出装置、地下構造検出方法を提供することにある。
【課題を解決するための手段】
【0011】
本発明の地下構造検出装置の特徴は、好ましくは、地中の断面が示される複数の２次元データと地下構造が示される３次元データに基づいて、地下構造を構成する構成要素と構成要素の種類と位置・姿勢情報を含む情報を検出する地下構造検出装置であって、２次元データと３次元データを合成した合成データに対して、２次元データから把握される画像特徴に基づいて、合成データの表す構成要素の位置・姿勢情報を補正するようにしたものである。
【発明の効果】
【0012】
本発明によれば、レーダにより検知した地下の埋設物を精度よく検出することのできる地下構造検出装置、地下構造検出方法を提供することができる。
【図面の簡単な説明】
【0013】
【図1】地下構造検出装置の概要構成と地下構造の検出する様子を示す図である。
【図2】地下構造検出装置のハードウェア・ソフトウェア構成を示す図である。
【図3】測定データ、設計図データを説明する図である。
【図4】地下構造検出装置が測定データ、設計図データの取得から構成要素の解析結果を出力するまでの一連の処理を示す概要フローチャートである。
【図5】３次元モデル生成・構成要素分類処理の詳細を示すフローチャートである。
【図6】構成要素の位置・姿勢推定処理を示すフローチャートである。
【図7】実施形態１の２次元データによる補正処理を示すフローチャートである。
【図8A】横断管における画像特徴を説明する図である。
【図8B】縦断管における画像特徴を説明する図である。
【図9】構成要素複合情報に対する構成要素特定処理の詳細を示すフローチャートである。
【図10】構成要素複合情報と構成要素種類・位置情報の具体的な流れを説明した図である。
【図11】構成要素の異種類ペアの判別処理を示すフローチャートである。
【図12】構成要素情報表示画面の一例を示す図である。
【図13】実施形態２に係る２次元データによる補正処理を示すフローチャートである。
【発明を実施するための形態】
【0014】
【0015】
〔実施形態１〕
以下、本発明の実施形態１を、図１ないし図１２を用いて説明する。
なお、本実施形態における地下構造とは、地下に埋設される水道管、ガス管、通信線または電線等の埋設物と、地下の空洞とを含む地下空間における構造（状態、位置）をいう。また、構成要素とは、地下構造を構成する要素をいう。すなわち、構成要素は、例えば、地下に埋設される水道管、ガス管、通信線または電線等の埋設物または地下の空洞等である。
以下、本発明の実施形態１を、図１ないし図１２を用いて説明する。
なお、本実施形態における地下構造とは、地下に埋設される水道管、ガス管、通信線または電線等の埋設物と、地下の空洞とを含む地下空間における構造（状態、位置）をいう。また、構成要素とは、地下構造を構成する要素をいう。すなわち、構成要素は、例えば、地下に埋設される水道管、ガス管、通信線または電線等の埋設物または地下の空洞等である。
【0016】
先ず、図１および図２を用いて地下構造検出装置の構成について説明する。
なお、以下の説明において、３次元座標系として、Ｘ軸方向として車両が移動する方向（道路方向）、Ｙ軸方向として車両の幅方向（道路の幅方向）、Ｚ軸方向として地中の深さ方向（鉛直下向き方向）をとって説明することとする。
なお、以下の説明において、３次元座標系として、Ｘ軸方向として車両が移動する方向（道路方向）、Ｙ軸方向として車両の幅方向（道路の幅方向）、Ｚ軸方向として地中の深さ方向（鉛直下向き方向）をとって説明することとする。
【0017】
図１に示される地下構造検出装置１は、地下構造を検出し、検出した地下構造の情報（位置、大きさ、その他の構成要素に関する付随的情報）をユーザに出力する装置である。すなわち、地下構造検出装置１は、例えば、地中探査レーダが備えられる車両２から取得した地下構造の測定データに基づいて、地下構造を検出する。地下構造検出装置１は、例えば、検出した地下構造の情報を表示装置（図２により後述）に表示させる。
【0018】
地下構造検出装置１は、図２に示されるように、ネットワーク５を介して車両２、データベースサーバ７０、ユーザ端末６と接続されている。
なお、地下構造検出装置１は、車両２から地下構造の測定データを取得することに限らず、人力で移動可能な手押し式地中探査レーダまたは携帯可能な携帯式地中探査レーダ等の装置から地下構造の測定データを取得してもよい。
なお、地下構造検出装置１は、車両２から地下構造の測定データを取得することに限らず、人力で移動可能な手押し式地中探査レーダまたは携帯可能な携帯式地中探査レーダ等の装置から地下構造の測定データを取得してもよい。
【0019】
車両２は、道路４０の方向に進行して、図１に示されるように測定装置２３によって、地下空間および路面４１を連続的に測定する。測定装置２３には、地中探査レーダ２３１およびカメラ２３２が備えられている。地中探査レーダ２３１は、車両２の幅方向に複数備えられ、レーダ２４をＺ軸方向に照射することによって地下空間を連続的に測定する。
【0020】
地中探査レーダ２３１は、例えば、車両２の移動に伴い、構成要素３、すなわち、マンホール３１、空洞３２、水道管３３（図１による図示では、水道管３３（１）、水道管３３（２））を測定する。水道管３３（１）、水道管３３（２）は、共に道路に対して横断管（後述）であり、水道管３３（２）は、水道管３３（１）よりもＺ座標が大きい位置（すなわち、地中のより深い位置）に位置している。地中探査レーダ２３１の地下空間の測定データは、レーダデータ処理部２２によって、無線により地下構造検出装置１に送られる。
【0021】
また、測定装置２３に備えられるカメラ２３２は、路面４１を連続的に撮影する。撮影画像には、例えば、路面４１に見えるマンホール３１が表示される。路面の撮影画像は、カメラデータ処理部２１によって、無線により地下構造検出装置１に送られる。
【0022】
地下構造検出装置１は、図１に示されるように、３次元モデル生成部１１、３次元モデル構成要素検出部１２、路面データ構成要素検出部１３、設計図データ構成要素検出部１４、構成要素情報処理部１５、表示部１６を備える。
【0023】
３次元モデル生成部１１は、地中探査レーダ２３１の測定データに基づいて、地下構造が示される３次元モデル（具体的なイメージは、後述）を生成する機能部である。
【0024】
３次元モデル構成要素検出部１２は、３次元モデル生成部１１によって生成された３次元モデルに基づいて、地下構造を構成する構成要素を検出する機能部である。３次元モデル構成要素検出部１２の検出結果の一例としての３次元検出データ２０１（図５により後述）には、例えば、構成要素の種類情報、位置情報または形状情報がある。３次元モデル構成要素検出部１２は、３次元検出データ２０１を構成要素情報処理部１５へ送る。
【0025】
【0026】
路面データ構成要素検出部１３は、路面４１を撮影してカメラデータ処理部２１から取得した路面データ１３１（図３により後述）に基づいて、路面上の構成要素を検出する機能部である。
【0027】
路面データ構成要素検出部１３は、例えば、路面データ１３１からマンホール３１を検出する。路面データ構成要素検出部１３の検出結果の一例としての路面検出データ２０２（図５により後述）には、例えば、路面上の構成要素の種類情報、位置情報または形状情報がある。路面データ構成要素検出部１３は、路面検出データ２０２を構成要素情報処理部１５へ送る。
【0028】
設計図データ構成要素検出部１４は、設計図データ１４１（図３により後述）に示される構成要素を検出する機能部である。
設計図データ構成要素検出部１４は、地下構造の設計図データ１４１（図３による図示では、１４１（１）、１４１（２））を取得する。
設計図データ構成要素検出部１４は、地下構造の設計図データ１４１（図３による図示では、１４１（１）、１４１（２））を取得する。
【0029】
設計図データ１４１は、紙媒体の設計図がデジタル化されたものでもよい。ユーザは、例えば、スキャナ等によって紙媒体の設計図をデジタル化し、設計図データ構成要素検出部１４にデジタル化された設計図データ１４１を入力してもよい。
【0030】
設計図データ構成要素検出部１４の検出結果（図５に示す設計図検出データ２０３）には、設計図に示される構成要素の種類、位置または形状が含まれる。設計図データ構成要素検出部１４は、設計図検出データ２０３を構成要素情報処理部１５へ送る。
【0031】
なお、設計図データ構成要素検出部１４には、光学文字認識（ＯＣＲ：Optical Character Recognition / Reader）機能を備え、設計図検出データ２０３を設計図に示される文字情報から検出してもよい。設計図データ構成要素検出部１４は、設計図データ１４１が文字によって構成される場合には、構成要素の種類と位置とを視覚的に認識可能な画像データとして生成してもよい。
【0032】
構成要素情報処理部１５は、検出した構成要素に関する情報を処理する機能部であり、３次元検出データ２０１、路面検出データ２０２、設計図検出データ２０３を解析して、最終的に、構成要素の種類と位置情報を出力する機能部である。
【0033】
構成要素情報処理部１５は、サブ機能部として、寸法調整部１５１、構成要素複合情報生成部１５２、構成要素種類・位置情報生成部１５３を備える。
【0034】
寸法調整部１５１は、必要に応じて３次元データ、路面データ、設計図データの寸法を変換する機能部である。なお、各データの詳細については後に説明する。
寸法調整部１５１は、例えば、３次元データ１２１の寸法を基準にして、路面データ１３１と設計図データ１４１との寸法を変換する。寸法調整部１５１は、寸法調整後の３次元データ１２１、路面データ１３１、設計図データ１４１を構成要素複合情報生成部１５２に送る。
寸法調整部１５１は、例えば、３次元データ１２１の寸法を基準にして、路面データ１３１と設計図データ１４１との寸法を変換する。寸法調整部１５１は、寸法調整後の３次元データ１２１、路面データ１３１、設計図データ１４１を構成要素複合情報生成部１５２に送る。
【0035】
構成要素複合情報生成部１５２は、構成要素に関する複合的な情報を生成する機能部である。構成要素複合情報とは、一つの構成要素に関して、３次元データ、路面データ、設計図データでそれぞれ別の表現がされているため、それらを統合して評価すための情報である。構成要素複合情報生成部１５２は、サブ機能部として、構成要素種類特定部１５４を含んでいる。構成要素種類特定部１５４は、構成要素複合情報に含まれる構成要素のペアから構成要素の種類を特定する機能部である。構成要素種類特定部１５４は、例えば、構成要素ペアの重複する領域の大きさに基づいて、評価指標を算出し、それに基づいて構成要素の種類を特定する。各評価指標による構成要素の種類を特定する処理の詳細については、後述する。
【0036】
構成要素複合情報生成部１５２は、構成要素種類特定部１５４によって評価指標と所定の閾値とを比較することによって、構成要素ペアが同じ構成要素を示しているかを判定し、その結果として構成要素に分類された構成要素複合情報（構成要素の種類とデータの関連情報）を構成要素種類・位置情報生成部１５３に送る。
【0037】
構成要素種類・位置情報生成部１５３は、構成要素複合情報から構成要素ごとに種類（マンホール、空洞、水道管、空洞などの別）と、それらの３次元座標系における位置情報を生成する機能部である。
【0038】
【0039】
表示部１６は、地下構造検出装置１の検出結果として、構成要素の種類と、構成要素の位置情報を表示する機能部である。表示部１６は、構成要素情報処理部１５の構成要素結果データ５２２をディスプレイモニタなどの表示装置に表示させる。
【0040】
次に、図２を用いて地下構造検出装置のハードウェア構成とソフトウェア構成について説明する。
地下構造検出装置１は、例えば、図２に示されるように、記憶装置５１、ＣＰＵ（Central Processing Unit）５２、主メモリ５３、通信装置５４を備え、それらがバスにより接続された形態である。
地下構造検出装置１は、例えば、図２に示されるように、記憶装置５１、ＣＰＵ（Central Processing Unit）５２、主メモリ５３、通信装置５４を備え、それらがバスにより接続された形態である。
【0041】
記憶装置５１は、磁気記憶媒体のＨＤＤ（Hard Disk Drive）、不揮発性の半導体装置記憶媒体のＳＤＤ（Solid State Drive）などの大容量でデータを記憶する装置である。記憶装置５１には、例えば、３次元モデル生成プログラム５１１、３次元モデル構成要素検出プログラム５１２、路面データ構成要素検出プログラム５１３、設計図データ構成要素検出プログラム５１４、構成要素情報処理プログラム５１５、表示プログラム５１６がインストールされている。
【0042】
３次元モデル生成プログラム５１１、３次元モデル構成要素検出プログラム５１２、路面データ構成要素検出プログラム５１３、設計図データ構成要素検出プログラム５１４、構成要素情報処理プログラム５１５、表示プログラム５１６は、それぞれ、３次元モデル生成部１１、３次元モデル構成要素検出部１２、路面データ構成要素検出部１３、設計図データ構成要素検出部１４、構成要素情報処理部１５、表示部１６の機能を実現させるプログラムである。
【0043】
また、地下構造検出装置１の記憶装置５１には、構成要素解析データ５２１、構成要素結果データ５２２が保持される。
【0044】
構成要素解析データ５２１は、測定データに基づいて構成要素を解析したときに算出される中間データである。構成要素結果データ５２２は、最終的にユーザに表示される構成要素の種類と３次元座標の座標位置を含むデータである。
【0045】
なお、プログラムは、ＵＳＢ（Universal Serial Bus）メモリ等の記憶媒体５３０に記録されてもよい。
【0046】
ＣＰＵ５２は、記憶装置５１にインストールされた各プログラムを主メモリ５３に読み込んで実行することにより各機能を実現する。主メモリ５３は、例えば、ＲＡＭ（Random Access Memory）等の揮発性記憶媒体である。
【0047】
通信装置４４は、ネットワーク５を介して、車両２、データベースサーバ７０、ユーザ端末６と双方向通信可能に接続されている。ネットワーク５は、接続形態として無線接続（Wireless）でもよいし、有線接続であってもよい。
【0048】
ユーザ端末６は、表示装置６１を備える情報処理端末であり、例えば、スマートフォン等の携帯型端末やパーソナルコンピュータ（ＰＣ）である。なお、表示装置６１は、ユーザ端末６１に備えられることに限らず、地下構造検出装置１に備えられ、表示用インタフェースを介して、接続されて画像を表示するようにしてもよい。
【0049】
データベースサーバ７０は、車両２が収集した測定データを測定データＤＢ７１に蓄え、外部からアクセスする機能を提供するサーバ装置である。車両２からデータベースサーバ７０へのデータ転送は、例えば、ネットワーク５を介して逐次処理されてもよいし、一定間隔ごとに転送されてバッチ処理されるようにしてもよい。
【0050】
また、測定データは、このように外付けの装置に保存される形態の外、地下構造検出装置１の記憶装置５１に格納されるようにしてもよい。
【0051】
【0052】
３次元モデル生成部１１は、車両２のレーダデータ処理部２２から取得した測定データを着色処理することによって、複数の２次元データ１１１を生成する。
【0053】
３次元モデル生成部１１は、例えば、各２次元データ１１１について、高さ方向（Ｚ軸方向）の長さＨ１と横方向（Ｘ軸方向）の長さＬ１とを設定する。例えば、各２次元データ１１１の設定値として、長さＨ１、長さＬ１、各２次元データ１１１の枚数ｎを記憶装置４１に構成要素解析データ５２１として保存する。
【0054】
また、３次元モデル生成部１１は、２次元データ１１１を生成する際に使用する２次元処理パラメータ１１２（図５により後述）を記憶する。２次元処理パラメータは、２次元データの性質を記述するパラメータであり、例えば、着色の強度値、受信機の感度の設定値または比誘電率等である。
【0055】
各２次元データ１１１は、地中の断面を表示するデータである。各２次元データ１１１は、地中探査レーダ２３１ごとに生成される。すなわち、各２次元データ１１１（１）～１１１（ｎ）は、ｎ個の地中探査レーダ２３１にそれぞれ対応して生成される。なお、各２次元データ１１１（ｉ）は、車両２の手前側（Ｙ軸方向のＹの値が大きい側）から見て、ｉ（ｉ＝１，…，ｎ）番目にあたる地中探査レーダ２３１に対応するものとして図示している。
【0056】
２次元データ１１１（１）には、例えば、水道管３３（１）と水道管３３（２）が画像として表示される。あるｉに対して、２次元データ１１１（ｉ）には、例えば、マンホール３１と空洞３２と水道管３３（１）、３３（２）とが表示される。２次元データ１１１（ｉ）には、例えば、水道管３３（１）、水道管３３（２）が表示される。なお、レーダ２４は、路面４１から照射されるので、２次元データ１１１（１）に表示される水道管３３（２）は、水道管３３（１）よりも不鮮明である。
【0057】
次に、図３（２）は、地中探査レーダ２３１から得られる測定データとして３次元データの一例を示したものである。
３次元モデル生成部１１は、合成開口処理を用いることによって、地中探査レーダ２３１の測定データから３次元データ１２１を生成する。
なお、合成開口処理とは、複数の受信機を利用して、高分解能な情報を取得するための技術である。
３次元モデル生成部１１は、合成開口処理を用いることによって、地中探査レーダ２３１の測定データから３次元データ１２１を生成する。
なお、合成開口処理とは、複数の受信機を利用して、高分解能な情報を取得するための技術である。
【0058】
３次元モデル生成部１１は、例えば、各３次元データ１２１について、高さ方向（Ｚ軸方向）の長さＨと横方向（Ｘ軸方向）の長さＬと奥行方向（Ｙ軸方向）の長さＷとを設定する。３次元モデル生成部１１は、例えば、３次元データ１２１の設定値として、長さＨ、長さＬ、長さＷを記憶装置４１に構成要素解析データ５２１として保存する。
【0059】
また、３次元モデル生成部１１は、３次元データ１２１を生成する際に使用する３次元処理パラメータ１２２（図５により後述）を記憶する。３次元処理パラメータ１２２は、３次元データの性質を記述するパラメータであり、例えば、着色の強度値、受信機の感度の設定値または比誘電率等の３次元データを生成する際に使用する値である。
【0060】
３次元データ１２１は、地下構造を３次元座標により表現するデータである。３次元データ１２１には、例えば、水道管３３（１）、水道管３３（２）が示される。なお、３次元データ１２１には、図示されていないが、本実施形態の例では、マンホール３１と空洞３２とが示されてもよい。
【0061】
次に、図３（３）は、カメラ２３２から得られる測定データとして路面データの一例を示したものである。
路面データ構成要素検出部１３は、路面データ１３１をカメラデータ処理部２１から取得する。路面データ１３１には、例えば、横方向の長さＬ２と奥行方向の長さＷ２とが設定される。路面データ構成要素検出部１３は、路面データ１３１の設定値として、長さＬ２と長さＷ２とを記憶装置４１に構成要素解析データ５２１として記憶させる。路面データ１３１は、路面の状態を示すデータであり、この路面データ１３１により、例えば、マンホール３１が表現される。
路面データ構成要素検出部１３は、路面データ１３１をカメラデータ処理部２１から取得する。路面データ１３１には、例えば、横方向の長さＬ２と奥行方向の長さＷ２とが設定される。路面データ構成要素検出部１３は、路面データ１３１の設定値として、長さＬ２と長さＷ２とを記憶装置４１に構成要素解析データ５２１として記憶させる。路面データ１３１は、路面の状態を示すデータであり、この路面データ１３１により、例えば、マンホール３１が表現される。
【0062】
次に、図３（４）、図３（５）は、設計図関連情報生成部が生成する設計図データの一例を示したものである。
設計図データ１４１（１）は、側面図にあたり、例えば、横方向の長さＬ３と高さ方向の長さＨ３とが設定される。設計図データ構成要素検出部１４は、設計図データ１４１（１）の設定値として長さＨ３、長さＬ３を記憶装置４１に構成要素解析データ５２１として保存する。
設計図データ１４１（１）は、側面図にあたり、例えば、横方向の長さＬ３と高さ方向の長さＨ３とが設定される。設計図データ構成要素検出部１４は、設計図データ１４１（１）の設定値として長さＨ３、長さＬ３を記憶装置４１に構成要素解析データ５２１として保存する。
【0063】
設計図データ１４１（２）は、上面図にあたり、例えば、横方向の長さＬ３と奥行方向の長さＷ３とが設定される。設計図データ構成要素検出部１４は、設計図データ１４１（２）の寸法として、長さＬ３、長さＷ３を記憶装置４１に構成要素解析データ５２１として記憶する。
【0064】
設計図データ１４１（１）は、地中空間を手前側から見た時の構成要素３の設計図を示すデータであり、この設計図データ１４１（１）には、例えば、マンホール３１、水道管３３（１）、水道管３３（２）が示されている。設計図データ１４１（２）は、地中空間を路面側（Ｚ軸方向）から見た時の構成要素３の設計図を示すデータであり、この設計図データ１４１（２）には、例えば、マンホール３１と水道管３３（１）とが示されている。
【0065】
【0066】
先ず、図４を用いて地下構造検出装置が測定データ、設計図データの取得から構成要素の解析結果を出力するまでの一連の処理について説明する。
先ず、地下構造検出装置１の３次元モデル生成部１１、路面データ構成要素検出部１３は、車両２から測定データを取得し、設計図データ構成要素検出部１４は、地下構造の設計図データ１４１を取得する（Ｓ１）。
（Ｓ１）のステップにおいて、３次元モデル生成部１１は、測定データとして、２次元データ１１１と３次元データ１２１を取得する。
先ず、地下構造検出装置１の３次元モデル生成部１１、路面データ構成要素検出部１３は、車両２から測定データを取得し、設計図データ構成要素検出部１４は、地下構造の設計図データ１４１を取得する（Ｓ１）。
（Ｓ１）のステップにおいて、３次元モデル生成部１１は、測定データとして、２次元データ１１１と３次元データ１２１を取得する。
【0067】
次に、地下構造検出装置１の３次元モデル生成部１１は、２次元データと３次元データから３次元モデルを生成し、３次元モデル構成要素検出部１２、路面データ構成要素検出部１３、設計図データ構成要素検出部１４は、それぞれ３次元モデルによる構成要素、路面データによる構成要素、設計図データによる構成要素を検出し、３次元検出データ２０１、路面検出データ２０２、設計図検出データ２０３として、構成要素情報処理部１５に送る（Ｓ２）。
なお、（Ｓ２）のステップの詳細は、図５を用いて後述する。
なお、（Ｓ２）のステップの詳細は、図５を用いて後述する。
【0068】
次に、構成要素情報処理部１５の寸法調整部１５１は、３次元検出データ２０１、路面検出データ２０２、設計図検出データ２０３の寸法を互いに対応させる（Ｓ３）。
なお、寸法調整部の詳細は、後に説明する。
なお、寸法調整部の詳細は、後に説明する。
【0069】
次に、構成要素情報処理部１５の構成要素複合情報生成部１５２は、３次元検出データ２０１と路面検出データ２０２と設計図検出データ２０３との構成要素複合情報を生成する（Ｓ４）。
【0070】
次に、構成要素情報処理部１５の構成要素複合情報生成部１５２は、３次元検出データ２０１と路面検出データ２０２と設計図検出データ２０３との構成要素複合情報に対する構成要素の種類の特定を行う（Ｓ５）。
【0071】
【0072】
次に、構成要素種類・位置情報生成部１５３は、構成要素複合情報から構成要素の解析結果として、構成要素の種類と位置情報を生成する（Ｓ６）。
なお、構成要素種類・位置情報生成部１５３は、構成要素複合情報の構成要素特定処理（Ｓ５）によって異なる構成要素であると判定された複数の構成要素を同一の構成要素であると判定し直してもよい。
なお、構成要素種類・位置情報生成部１５３は、構成要素複合情報の構成要素特定処理（Ｓ５）によって異なる構成要素であると判定された複数の構成要素を同一の構成要素であると判定し直してもよい。
【0073】
すなわち、構成要素種類・位置情報生成部１５３は、例えば、異なる構成要素であると判定された複数の構成要素が一連に連なる場合には、同一の構成要素であると判定する。例えば、Ｘ軸方向に対して斜めの水道管とＹ軸方向に沿う水道管とが構成要素複合情報生成１５３によって検出される場合には、構成要素種類・位置情報生成部１５３は、例えば、Ｘ軸方向に対して斜めの水道管とＹ軸方向に沿う水道管とが連なる箇所を検出し、一つの水道管であると判定してもよい。
【0074】
次に、表示部１６は、構成要素３の種類と位置情報を含む画面を表示出力する（Ｓ７）。
表示部１６が表示する画面については、図１２を用いて後に詳述する。
表示部１６が表示する画面については、図１２を用いて後に詳述する。
【0075】
次に、図５を用いて３次元モデル生成・構成要素分類処理、路面分類処理、設計図分類処理の詳細を説明する。
この処理は、図４のＳ２に該当する処理である。
先ず、３次元モデル生成部１１は、レーダ２４の地中探査レーダ２３１の反射波の振幅に応じて地中の断面をグレースケールで表示させることによって２次元データ１１１を生成する（Ｓ１０１）。
この処理は、図４のＳ２に該当する処理である。
先ず、３次元モデル生成部１１は、レーダ２４の地中探査レーダ２３１の反射波の振幅に応じて地中の断面をグレースケールで表示させることによって２次元データ１１１を生成する（Ｓ１０１）。
【0076】
図３に示したような２次元データ１１１（１）、…、２次元データ１１１（ｉ）、…、２次元データ１１１（ｎ）（ｎは、所定の整数、ｉは、１≦ｉ≦ｎなる整数）は、例えば、レーダ２４の反射波の振幅に応じて着色処理された地中の断面を示す画像データである。着色処理としては、例えば、レーダの反射波における振幅が大きくなるにつれて白色側の色を着色する。
【0077】
なお、２次元データの生成処理では、２次元データ１１１の鮮明な画像データを取得する処理が含まれてもよく、例えば、２次元データ１１１に対してフィルタをかけることによって、ノイズ除去またはエッジ強調等の画像処理を行ってもよい。
【0078】
また、３次元モデル生成部１１は、地中探査レーダ２３１ごとに測定される測定データに対して、合成開口処理を用いることによって３次元データ１２１を生成する（Ｓ１０２）。
【0079】
なお、３次元データの生成処理では、鮮明な画像データを取得する処理が含まれてもよい。例えば、３次元データ１２１に対してフィルタをかけることによって、ノイズ除去またはエッジ強調等の画像処理を行ってもよい。
【0080】
次に、３次元モデル生成部１１は、２次元データ１１１と３次元データ１２１のデータを合成する（Ｓ１０３）。データ合成処理Ｓ１０３では、３次元モデル生成部１１は、例えば、下記に示す（式１）および（式２）に基づいて、各２次元データ１１１の寸法を調整する。
Ｌ１＝ｓ１＊Ｌ … （式１）
Ｈ１＝ｓ２＊Ｈ … （式２）
ｓ１およびｓ２は、３次元データ１２１と２次元データ１１１との対応関係を示すスケールである。すなわち、ｓ１は、３次元データ１２１と２次元データ１１１との横方向における倍率であり、ｓ２は、３次元データ１２１と２次元データ１１１との縦方向における倍率である。
Ｌ１＝ｓ１＊Ｌ … （式１）
Ｈ１＝ｓ２＊Ｈ … （式２）
ｓ１およびｓ２は、３次元データ１２１と２次元データ１１１との対応関係を示すスケールである。すなわち、ｓ１は、３次元データ１２１と２次元データ１１１との横方向における倍率であり、ｓ２は、３次元データ１２１と２次元データ１１１との縦方向における倍率である。
【0081】
３次元モデル生成部１１は、２次元検出データと３次元データの寸法調整を行った後、位置情報が一致する点の輝度値を両者の中間値としてもよい。あるいは、例えば所定の比率値ａを定め、両者の輝度値の合成結果が元の最大値を超えないよう、（ある座標の輝度値）＝ａ×３次元データの輝度値＋（１－ａ）×２次元データの輝度値といった計算式により合成してもよい。あるいは、グレースケール形式である両データをあらたにカラー画素のＲＧＢのいずれかのチャンネルに割り当てる（例えば、Ｒに３次元データの輝度値、Ｇに２次元データの輝度値、Ｂは０にする）ようにしてもよい。
【0082】
次に、３次元モデル生成部１１は、３次元モデルを生成する（Ｓ１０４）。例えば、教師データとしての学習用３次元データと学習用３次元データを生成する際に用いられる学習用２次元処理パラメータと学習用３次元処理パラメータとを事前に学習することによって３次元モデルを生成する。
【0083】
３次元モデルは、例えば、３次元データと３次元処理パラメータとに基づいて、３次元データ内の構成要素がどの種類に属するかを予測するための学習モデルである。
【0084】
３次元モデル構成要素検出部１２は、生成した３次元モデルに基づいた推論により、合成データが示す構成要素を分類する（Ｓ１０５）。すなわち、３次元モデルを用いてＡＩの推論機能により、３次元モデル内の構成要素が、マンホール３１、空洞３２または水道管３３（１）水道管３３（２）の中で、当てはまる可能性が比較的高い種類を予測する。
なお、３次元モデルは、予め学習して生成したものを用いてもよい。
なお、３次元モデルは、予め学習して生成したものを用いてもよい。
【0085】
次に、３次元モデル構成要素検出部１２は、分類された構成要素の位置情報や方向・姿勢を含む形状情報を推定する位置・姿勢推定処理を行う（Ｓ１０６）。すなわち、位置・姿勢推定処理として、２次元データ１１１と、分類された構成要素の情報を主メモリ４３から読み出し、位置・姿勢推定処理を繰り返し実施する。
なお、位置・姿勢推定処理の詳細は、図６により後述する。
なお、位置・姿勢推定処理の詳細は、図６により後述する。
【0086】
一方、路面データ構成要素検出部１３は、路面データ１３１内の構成要素３を分類する（Ｓ１１１）。路面分類処理Ｓ１１１としては、例えば、輪郭検出または色検出等の画像処理方法を用いることによって、路面データ１３１に示される構成要素をマンホール３１として分類する。
【0087】
そして、地下構造検出装置１は、路面データ１３１内の構成要素の分類結果と、路面データ１３１内の構成要素３の位置情報および形状情報とを路面検出データ２０２として構成要素情報処理部１５へ送る。
【0088】
次に、設計図データ構成要素検出部１４は、設計図データ１４１（１），１４１（２）内の構成要素を分類する（Ｓ１２１）。設計図分類処理Ｓ１２１としては、例えば、設計図データ１４１（１）内の構成要素３は、マンホール３１と水道管３３（１）とに分類し、設計図データ１４１（２）内の構成要素は、マンホール３１と水道管３３（１）水道管３３（２）とに分類する。
【0089】
そして、地下構造検出装置１は、設計図データ１４１（１），１４１（２）内の構成要素の分類結果と、設計図データ１４１（１），１４１（２）内の構成要素の位置情報および形状情報とを設計図検出データ２０３として構成要素情報処理部１５へ送る。
【0090】
設計図分類処理Ｓ１２１としては、例えば、地下構成要素のラベルと位置とのデータを算出するために、物体検出用のフレームワークを用いてもよい。その物体検出用のフレームワークとして、例えば、Ｆａｓｔｅｒ Ｒ－ＣＮＮ（Region-based Convolutional Neural Network）またはＳＳＤ（Single Short Multibox Detector）の少なくともいずれか一方を使用してもよい。なお、設計図分類処理Ｓ１２１としては、Ｆａｓｔｅｒ Ｒ－ＣＮＮおよびＳＳＤのような手法を使用して、構成要素の種類情報、位置情報および形状情報を算出することに限らず、ＯＣＲを用いて構成要素の種類情報、位置情報および形状情報を検出してもよい。
【0091】
次に、図６ないし図８Ｂを用いて構成要素の位置・姿勢推定処理について説明する。
これは、図５のＳ１０６に該当する処理である。
先ず、位置・姿勢推定処理では、構成要素が「管」であるか否かを判定する（Ｓ７０１）。ここで、「管」というのは、水道管、ガス管などの外、例えば、電線など管状物体により保護されている埋設物を含んだ概念であり、所定の場所をつなぐように設置される長く延伸する形状のものを対象とする。
これは、図５のＳ１０６に該当する処理である。
先ず、位置・姿勢推定処理では、構成要素が「管」であるか否かを判定する（Ｓ７０１）。ここで、「管」というのは、水道管、ガス管などの外、例えば、電線など管状物体により保護されている埋設物を含んだ概念であり、所定の場所をつなぐように設置される長く延伸する形状のものを対象とする。
【0092】
次に、Ｓ１０５の構成要素を分類処理の結果により、管の方向を確認し、延伸方向が、車両が移動する方向（Ｘ軸方向）から所定のＸ軸方向の閾値の角度以上ずれている、または、車両の幅方向（Ｙ軸方向）から所定のＹ軸方向の閾値の角度以上ずれているか否かを判定し（Ｓ７０２）、ずれている場合には（Ｓ７０２：Ｙｅｓ）、Ｓ７０３に進み、そうでない場合には（Ｓ７０２：Ｎｏ）、Ｓ７０４に進む。この判定の前提条件として、これらの埋設物の大半は車両２が進行する方向、すなわち道路の下を道路の延伸方向と並行に施設、あるいは車両の幅方向、すなわち道路の延伸方向と垂直に施設されていることが特徴として挙げられる。そのため、この条件に合わないものは、Ｓ１０５の構成要素を分類の結果として、管の姿勢検知が正しくない可能性が高いと考える。
【0093】
なお、Ｓ７０２における判定は、このように構成要素の角度により判定する例に限らずともよい。例えば、路面データ１３１を参照して路面が水分を有している(色が濃くなっている)場合に、Ｓ７０３に進むようにしてよい。また例えば、設計図データ１４１を参照し、当該箇所の埋設物の姿勢と異なる場合にＳ７０３に進むようにしてよい。また例えば、検知データにＧＰＳ等の位置情報を示すデータが付属する場合には、過去の検査における同一箇所の情報を参照して、所定の閾値以上にずれがあった場合に、Ｓ７０３に進むようにしてよい。
【0094】
次に、３次元モデル構成要素検出部１２は、２次元データにより位置・姿勢補正処理を行う（Ｓ７０３）。
なお、この処理の詳細は、後に図７を用いて説明する。
なお、この処理の詳細は、後に図７を用いて説明する。
【0095】
次に、３次元モデル構成要素検出部１２は、位置・姿勢推定結果を構成要素解析データ５２１として保存する（Ｓ７０４）。
【0096】
次に、図７、図８Ａ、図８Ｂを用いて２次元データによる位置・姿勢補正処理の詳細を説明する。
これは、図６のＳ７０３に該当する処理である。
先ず、３次元モデル構成要素検出部１２は、構成要素を分類結果に示された対象の範囲内の２次元画像に構成要素となる物体が横断方向（ｘ方向）にある場合に現れる画像特徴（横断管の画像特徴）が含まれるか否かを判定し（Ｓ８０１）、特徴がある場合には（Ｓ８０１：Ｙｅｓ）、Ｓ８０２に進み、特徴がない場合には（Ｓ８０１：Ｎｏ）、Ｓ８０５に進む。
これは、図６のＳ７０３に該当する処理である。
先ず、３次元モデル構成要素検出部１２は、構成要素を分類結果に示された対象の範囲内の２次元画像に構成要素となる物体が横断方向（ｘ方向）にある場合に現れる画像特徴（横断管の画像特徴）が含まれるか否かを判定し（Ｓ８０１）、特徴がある場合には（Ｓ８０１：Ｙｅｓ）、Ｓ８０２に進み、特徴がない場合には（Ｓ８０１：Ｎｏ）、Ｓ８０５に進む。
【0097】
例えば、図８Ａに示されるように、２次元データ１１１（１）から２次元データ１１１（４）までが３次元分類処理で推定された埋設物の領域に含まれている場合に、２次元データ１１１（１）の対象領域から順次横断管の特徴を２次元データ１１１（４）まで確認し、一つでも検知した時点で、Ｓ８０１でＹｅｓと判定する。横断管の画像特徴とは、図８Ａに示したような輝度の濃淡が上に凸となる二次曲線形状を示すパターンを含み、その検知方法は例えば予め用意しておいたパターンとの一致度を比較することで検知する。埋設物の材質や大きさによっても当該パターンの大きさや幅等は変化するため予め用意するパターンは複数用意するなどしてよい。なお、検知した際にそのＸ、Ｚ座標を構成要素解析データ５２１に記録してもよく、あるいは、対象の範囲内の２次元画像中に含まれる全ての横断管の特徴を検知してよい。
【0098】
次に、３次元モデル構成要素検出部１２は、複数枚の２次元データに対して、横断管の特徴が同一位置に領域が重複してまたがっている枚数をカウントする（Ｓ８０２）。
【0099】
例えば、２次元データ１１１（１）から開始し、続いて２次元データ１１１（２）～に対して、２次元データ１１１（１）で見られる横断管の画像特徴が見出されるか判定し、その数をカウントする。２次元データ１１１（１）で特徴を検知した座標と、ほぼ同じ位置（所定の閾値の範囲内）に横断管の特徴があれば、連続数を１増やして次の隣接する画像の確認を行い、カウントをインクリメントし、同じ座標位置に横断管の特徴が無ければ連続数のカウントを停止して本処理を終了する。横断管が斜め方向に設置される場合も考慮して、所定の閾値や割合以上に横断管領域が共通していれば連続していると判断してよい。
【0100】
次に、３次元モデル構成要素検出部１２は、同一位置にあると判定した連続枚数が所定の閾値以上であるか否かを判定し（Ｓ８０３）、所定の閾値以上であるときには（Ｓ８０３：Ｙｅｓ）、Ｓ８０４に進み、所定の閾値未満であるときには（Ｓ８０３：Ｎｏ）、処理を終了する。所定の閾値は、例えば、３などの具体的数値で指定してもよく、あるいは確認対象の２次元画像の枚数の８割といった割合で指定するのでもよい。このように連続枚数で判定する理由は、横断管の場合には、図８Ａに見られるとおり、道幅いっぱいに広がっていることが考えられ、この画像特徴が散発的にしか見られていないときには、ブロック状の埋設物であることが考えられるためである。
【0101】
次に、３次元モデル構成要素検出部１２は、３次元分類処理による検知結果を、横断方向の画像特徴を有する２次元データの情報に基づき、構成要素の位置・姿勢情報を補正して（Ｓ８０４）、処理を終了する。
【0102】
例えば、２次元データ１１１（１）から２次元データ１１１（４）まで連続して横断管の画像特徴を検出した場合に、２次元データ１１１（１）から２次元データ１１１（４）までの横断管の特徴のうちのそれぞれの最も輝度の高い点のＸ、Ｚ座標値の軌跡を直線近似して横断管の姿勢としてよい。また、例えば該当する横断管が複数検知される場合には複数の横断管情報で置換するなどでもよい。
【0103】
Ｓ８０１でＮｏの場合には、３次元モデル構成要素検出部１２は、範囲内の２次元データに縦断管の画像特徴があるか否かを判定し（Ｓ８０５）、画像特徴がある場合には（Ｓ８０５：Ｙｅｓ）、Ｓ８０６に進み、画像特徴がない場合には（Ｓ８０５：Ｎｏ）、処理を終了する。縦断管の画像特徴は、例えば、図８Ｂに示すような輝度の低い点を輝度の高い点がはさむ形状のパターンを含み、その検知方法は、例えば予め用意しておいたパターンとの一致度を比較することで検知する。なお、検知した際にそのＸ、Ｚ座標を構成要素解析データ５２１に記録してもよく、あるいは、対象の範囲内の２次元データ中に含まれる全ての縦断管の特徴を検知してよい。
【0104】
次に、３次元モデル構成要素検出部１２は、複数枚の２次元データに対して、縦断管の特徴が同一位置に領域が重複してまたがっている枚数をカウントする（Ｓ８０６）。
【0105】
例えば、２次元データ１１１（１）から開始し、続いて２次元データ１１１（２）～に対して、２次元データ１１１（１）で見られる縦断管の画像特徴が見出されるか判定し、その数をカウントする。２次元データ１１１（１）で特徴を検知した座標と、ほぼ同じ位置（所定の閾値の範囲内）に縦断管の特徴があれば、連続数を１増やして次の隣接する画像の確認を行い、カウントをインクリメントし、同じ座標位置に縦断管の特徴が無ければ連続数のカウントを停止して本処理を終了する。縦断管が斜め方向に設置される場合も考慮して、所定の閾値や割合以上に縦断管領域が共通していれば連続していると判断してもよい。
【0106】
次に、３次元モデル構成要素検出部１２は、同一位置にあると判定した連続枚数が所定の閾値以上であるか否かを判定し（Ｓ８０７）、所定の閾値以上であるときには（Ｓ８０７：Ｙｅｓ）、Ｓ８０８に進み、所定の閾値未満であるときには（Ｓ８０７：Ｎｏ）、処理を終了する。
【0107】
このように連続枚数で判定する理由は、図８Ｂに見られるとおり、縦断管は、車両２の進行方向に延伸するため、その垂直方向に連続数が多いのは管形状ではなく、板状の形態の埋設物と判断されるためである。そのため、例えば所定の閾値は２といった固定値を設定すればよい。また、斜め方向の延伸を考慮すると、探索範囲を所定のＸ座標数で領域を分割し、全ての分割された領域に対して連続枚数が所定の閾値以下であることを確認してもよい。
【0108】
次に、３次元モデル構成要素検出部１２は、３次元分類処理による検知結果を、縦断方向の画像特徴を有する２次元データの情報に基づき、構成要素の位置・姿勢情報を補正して（Ｓ８０８）、処理を終了する。
【0109】
例えば２次元データ１１１（２）、２次元データ１１１（３）で連続して縦断管の画像特徴を検出した場合に、２次元データ１１１（２）および２次元データ１１１（３）の縦断管の特徴のうち、所定の値以上に輝度の高い画素が延伸方向に連続している領域の端点を結んで埋設物の姿勢とする。また、例えば該当する領域内で縦断管が複数検知される場合には複数の横断管情報で置換するなどしてもよい。
【0110】
次に、寸法調整処理の詳細について説明する。
これは、図４のＳ３に該当する処理である。
これは、図４のＳ３に該当する処理である。
【0111】
寸法調整部１５１は、寸法調整処理として、各３次元データ１２１、路面データ１３１、設計図データ１４１の寸法を調整する前に、各データ間の座標系を相互に対応させる。すなわち、寸法調整部１５１は、３次元データ１２１のＸ，Ｙ，Ｚ軸方向に、路面データ１３１および設計図データ１４１を対応させる。
【0112】
寸法調整部１５１は、例えば、下記に示す（式３）および（式４）に基づいて、路面データ１３１の寸法を調整する。
Ｌ２＝ｒ１＊Ｌ … （式３）
Ｈ２＝ｒ２＊Ｈ … （式４）
ｒ１およびｒ２は、３次元データ１２１と路面データ１３１との対応関係を示すスケールである。すなわち、ｒ１は、３次元データ１２１と路面データ１３１との横方向における倍率であり、ｒ２は、３次元データ１２１と路面データ１３１との縦方向における倍率である。
Ｌ２＝ｒ１＊Ｌ … （式３）
Ｈ２＝ｒ２＊Ｈ … （式４）
ｒ１およびｒ２は、３次元データ１２１と路面データ１３１との対応関係を示すスケールである。すなわち、ｒ１は、３次元データ１２１と路面データ１３１との横方向における倍率であり、ｒ２は、３次元データ１２１と路面データ１３１との縦方向における倍率である。
【0113】
また、寸法調整部１５１は、例えば、下記に示す（式５）および（式６）に基づいて、設計図データ１４１（１）の寸法を調整する。
Ｌ３＝ｍ１＊Ｌ … （式５）
Ｈ３＝ｍ２＊Ｈ … （式６）
ｍ１およびｍ２は、３次元データ１２１と設計図データ１４１（１）との対応関係を示すスケールである。すなわち、ｍ１は、３次元データ１２１と設計図データ１４１（１）との横方向における倍率であり、ｍ２は、３次元データ１２１と設計図データ１４１（１）との縦方向における倍率である。
Ｌ３＝ｍ１＊Ｌ … （式５）
Ｈ３＝ｍ２＊Ｈ … （式６）
ｍ１およびｍ２は、３次元データ１２１と設計図データ１４１（１）との対応関係を示すスケールである。すなわち、ｍ１は、３次元データ１２１と設計図データ１４１（１）との横方向における倍率であり、ｍ２は、３次元データ１２１と設計図データ１４１（１）との縦方向における倍率である。
【0114】
また、寸法調整部１５１は、例えば、上記に示す（式５）および下記に示す（式７）に基づいて、設計図データ１４１（２）の寸法を調整する。なお、設計図データ１４１（２）の横方向の寸法が長さＬ３と異なる他の長さに設定される場合には、寸法調整部１５１は、（式５）とは異なる他の式を用いて設計図データ１４１（２）の寸法を調整してもよい。
Ｗ３＝ｍ３＊Ｗ…（式７）
ｍ３は、３次元データ１２１と設計図データ１４１（２）との対応関係を示すスケールである。すなわち、ｍ３は、３次元データ１２１と設計図データ１４１（２）との奥行方向における倍率である。
Ｗ３＝ｍ３＊Ｗ…（式７）
ｍ３は、３次元データ１２１と設計図データ１４１（２）との対応関係を示すスケールである。すなわち、ｍ３は、３次元データ１２１と設計図データ１４１（２）との奥行方向における倍率である。
【0115】
寸法調整部１５１の座標統合処理に関して、路面データ１３１の図３に示したマンホール３１の座標（ｘ１，ｙ１）を一例に挙げて説明する。寸法調整部１５１は、路面データ１３１のマンホール３１の座標（ｘ１，ｙ１）から、３次元データ１２１に対応する他の座標に調整する。寸法調整部１６１は、例えば、上記の（式３）、（式４）に基づいて、マンホール３１の座標を（ｘ１，ｙ１）から（ｘ１／ｒ１，ｙ１／ｒ２）に調整する。
【0116】
【0117】
構成要素複合情報生成部１５２は、構成要素の間で同種類ペアを選択する（Ｓ５１）。例えば、２次元データ１１１内の構成要素と３次元データ１２１内の構成要素との間で同じ種類に分類される構成要素３のペアの同種類ペアを選択する。具体的には、図１０に示されるように、構成要素複合情報生成部１５２は、例えば、２次元データ１１１（ｉ）と３次元データ１２１とに共通する水道管３３（１）を構成要素のペアとして選択する。
【0118】
次に、構成要素複合情報生成部１５２の構成要素種類特定部１５４は、構成要素の同種類ペア選択処理Ｓ５１によって選択される構成要素の同種類ペア間における評価指標である同種類評価指標を算出する（Ｓ５２）。構成要素種類特定部１５４は、例えば、図１０に示される２次元データ１１１（ｉ）内の水道管３３（１）と３次元データ１２１内の水道管３３（１）との同種類評価指標を「０．８」と算出する。
【0119】
なお、構成要素種類特定部１５４は、評価指標を算出する際に、例えば、選択される構成要素ペア間の重複度（３Ｄ ＩｏＵ：3Dimension Intersection over Union）を用いてもよい。また、評価指標算出部１６４は、選択される構成要素ペア間の重複度に基づいて評価指標を算出することに限られず、それぞれの構成要素の対応する寸法の数値が近似の度合いが高いときに、同種類評価指標を大きく評価するなどの手法をとってもよい。
【0120】
構成要素複合情報生成部１５２の構成要素種類特定部１５４は、同種類評価指標に基づいて、同種類ペアがそれぞれ同じ構成要素を示しているか否かを判定する（Ｓ５３）。構成要素複合情報生成部１５２は、例えば、同種類評価指標が所定の閾値よりも大きい場合には（Ｓ５３：Ｙｅｓ）、同種類ペアがそれぞれ同じ構成要素を示していると判定する（Ｓ５４）。
【0121】
所定の閾値は、構成要素のペアが互いに同じ構成要素を示しているか否かの判定値である。所定の閾値は、例えば、ユーザによって地下構造検出装置１の構成要素情報表示画面（後述）に入力されてもよい。構成要素種類特定部１５４は、例えば、所定の閾値が「０．７」である場合には、図１０に示される２次元データ１１１（ｉ）内の水道管３３（１）と３次元データ１２１内の水道管３３（１）とが同じ構成要素を示していると判定する。
【0122】
所定の閾値は、構成要素ごとに設定されてもよい。表示装置６１に示される構成要素情報表示画面（後述）には、所定の閾値の入力欄が表示されてもよい。ユーザは、地下構造の検出処理ごとに、所定の閾値を変更し、構成要素の種類の判定精度を調整してもよい。
【0123】
構成要素種類特定部１５４は、同種類評価指標が所定の閾値以下の場合（Ｓ５３：Ｎｏ）には、同種類構成要素ペアがそれぞれ異なる構成要素を示していると判定し、異種類ペア判別処理を行う（Ｓ５５）。この場合において、構成要素複合情報生成部１５２は、異なる種類に分類される構成要素のペア（以下、「異種類ペア」という）間で同じ構成要素を示しているかを判定する。異種類ペア判別処理の詳細は、図１１を用いて後述する。
【0124】
なお、構成要素種類特定部１５４は、同種類評価指標が所定の閾値以下の場合（Ｓ５３：Ｎｏ）には、同種類ペア選択処理Ｓ５１を再度実行することによって、同種類ペアを選択してもよい。すなわち、この場合、構成要素種類特定部１５４は、同種類評価指標が所定の閾値以下の場合には（Ｓ５３：Ｎｏ）、Ｓ５３の判定をした同種類ペアのうち一方を選択する。
【0125】
そして、構成要素種類特定部１５４は、同種類ペアのうちの選択した一方と同じ種類に分類される構成要素を新たに選択することによって、新たな同種類ペアを選択する。構成要素複合情報生成部１５２は、新たな同種類ペアに選択可能な構成要素がない場合には、異種類ペア判別処理Ｓ５５を実行してもよい。
【0126】
最後に、構成要素種類特定部１５４は、構成要素の種類に関する解析結果を構成要素解析データに記録する（Ｓ５６）。
【0127】
【0128】
構成要素複合情報生成部１５２の構成要素種類特定部１５４は、異種類ペアを選択する（Ｓ５５１）。
この処理では、構成要素種類特定部１５４は、例えば、同種類ペア選択処理Ｓ５１にて選択される同種類ペアの一方を所定の構成要素３とし、他の一方を対応する異種類の構成要素とする。
この処理では、構成要素種類特定部１５４は、例えば、同種類ペア選択処理Ｓ５１にて選択される同種類ペアの一方を所定の構成要素３とし、他の一方を対応する異種類の構成要素とする。
【0129】
構成要素種類特定部１５４は、異種類ペアの評価指標である異種類評価指標を算出する（Ｓ５５２）。評価指標が所定の閾値よりも大きい場合には（Ｓ５５３：Ｙｅｓ）、構成要素複合情報生成部１５２は、異種類ペアのどちらを構成要素複合情報の構成要素として属させるかを判定する（Ｓ５５４～Ｓ５５６）。
異種類評価指標は、同種類評価指標と反対の性質を持つものを評価する指標である。
異種類評価指標は、同種類評価指標と反対の性質を持つものを評価する指標である。
【0130】
構成要素種類特定部１５４は、異種類ペアを検出した３次元モデル構成要素検出部１２、路面データ構成要素検出部１３、設計図データ構成要素検出部１４から、正確性指標を取得する（Ｓ５５４）。正確性指標は、例えば、３次元モデル構成要素検出部１２の出力する３次元モデル検出データ２０１、路面データ構成要素検出部１３の出力する路面検出データ２０２、設計図データ構成要素検出部１４の出力する設計図データごとに、構成要素の分類結果がどの程度正確かを示す指標である。正確性指標は、例えば、図５に示した３次元モデルによる構成要素分類処理Ｓ１０５、路面データよる構成要素分類処理Ｓ１１１、設計図データによる構成要素分類処理Ｓ１２１内で生成され、構成要素情報処理部１５へ送られる。正確性指標は、過去の測定データからの学習モデルに従って、成績のよかったものに対して高く評価するような数値を得ることより算出することができる。
【0131】
次に、構成要素種類特定部１５４は、取得した正確性指標に基づいて、優先順位を決定する（Ｓ５５５）。構成要素種類特定部１５４は、例えば、正確性指標が高い方の構成要素の分類を正しいものとする（Ｓ５５６）。すなわち、構成要素複合情報生成部１５２は、例えば、異種類ペアのうち分類の正確性が低い構成要素を誤分類であると判定し、異種類ペアのうち分類の正確性が高い構成要素の分類を正しいものと判定し、解析結果とする。
【0132】
異種類評価指標が所定の閾値より小さい場合（Ｓ５５３：Ｎｏ）には、構成要素種類特定部１５４は、異なる構成要素であると判定する（Ｓ５５７）。なお、構成要素種類特定部１５４は、異種類評価指標が所定の閾値より小さい場合（Ｓ５５３：Ｎｏ）には、新たに異種類ペアを選択することによって、再度、異種類評価指標の判定Ｓ５５３をしてもよい。
【0133】
すなわち、構成要素種類特定部１５４は、所定の構成要素と、他の構成要素との異種類ペアから、所定の構成要素とは異なる種類に分類される構成要素を新たに選択し、新たに選択した異種類ペアによって再度異種類評価指標の判定Ｓ５５３を行う。
【0134】
【0135】
表示部１６は、例えば、３次元モデル状態表示マップ３５と、構成要素３（マンホール３１、空洞３２、水道管３３）の説明欄３６とを表示装置６１に構成要素情報表示画面５１として表示させる。
構成要素情報表示画面５１では、３次元状態表示マップ３５、構成要素情報表示欄３６からなる。
構成要素情報表示画面５１では、３次元状態表示マップ３５、構成要素情報表示欄３６からなる。
【0136】
３次元状態表示マップ３５は、地下構造検出装置１が解析した結果である構成要素結果データ５２２に基づき、３次元のバウンディングボックス内に３次元空間の構成要素での形状、位置関係を表示するエリアである。
【0137】
構成要素情報表示欄３６は、各構成要素の種類と座標データを表示するエリアである。構成要素情報表示欄３６には、例えば、埋設物の種類：［中心Ｘ座標、中心Ｙ座標、中心Ｚ座標、長さ、幅、高さ］というフォーマットで表示される。また、構成要素情報表示欄３６は、構成要素の種類と座標以外に、例えば、埋設物の長さや幅、体積などの計算結果やその他の補足情報を表示してもよい。
【0138】
以上説明したように、地下構造検出装置１は、構成要素情報処理部１５を備えることによって、２次元データ１１１および３次元データ１２１、路面データ１３１、設計図データ１４１に基づいて、地下構造の構成要素を検出する。これにより、地下構造検出装置１は、地下構造の構成要素を網羅的に検出することができ、従来の手法と比較して、地下構造の検出精度を向上させることができる。
【0139】
特に、地下構造検出装置１は、２次元データ１１１、３次元データ１２１を合成した合成データに対して、２次元データ１１１から構成要素の画像特徴に基づき、構成要素の位置・姿勢を補正する処理を行うため、正確な位置・姿勢を得ることができる。
【0140】
また、地下構造検出装置１は、寸法調整処理を行うことによって、データ間の寸法ずれを抑制することができる。これにより、地下構造検出装置１は、３次元検出データ２０１、路面データ１３４、設計図データ１４４に基づいた構成要素の検出精度を向上させることができる。
【0141】
また、地下構造検出装置１は、構成要素の分類処理によって、埋設物の種類と３次元位置を自動的に判別することができる。これにより、人力で構成要素を分類することと比較して、手間を削減することができる。
【0142】
また、地下構造検出装置１は、正確性指標に基づいて異種類ペアのうちのどちらの情報を優先させるかを判定することによって、誤った分類結果の構成要素のデータが取り込まれることを抑制することができる。これにより、地下構造検出装置１は、構成要素の分類の精度を向上させることができる。
【0143】
また、地下構造検出装置１は、構成要素情報表示画面５１に、構成要素の種類と位置を表示する。これにより、ユーザは、３次元空間上のどの位置に何があるのかを理解しやすくなる。
【0144】
なお、地下構造検出装置１は、２次元レーダデータ、３次元レーダデータ、路面データ、設計図データに基づいて構成要素３の種類と位置の情報を生成することに限らず、例えば、３次元レーダデータと路面データのみを入力とした場合にも上記と同様の処理を行うことで地下構造の構成要素を検出してもよい。
【0145】
【0146】
本実施形態は、実施形態１と比較し、図６のＳ７０３の２次元データにより位置・姿勢推定処理のみ異なっており、実施形態１の図７の処理の代わりに、図１３の処理を行う。実施形態１の図７の処理との違いは、横断方向と進行方向の判定を両方実施する点にある。
【0147】
Ｓ８０１～Ｓ８０３については、実施形態１と同様である。
【0148】
本実施形態では、Ｓ８０３でＮｏを選択した場合に、Ｓ８０５に進み、Ｓ８０３でＹｅｓを選択した場合に、横断方向の情報を構成要素解析データ５２１に記録する（Ｓ８１０）。
【0149】
Ｓ８０５～Ｓ８０７については、実施形態１と同様である。
【0150】
同様の処理を実施するが、本実施形態では、Ｓ８０５でＮｏを選択した場合に、Ｓ８３０に進む。
【0151】
Ｓ８０７でＹｅｓの場合には、縦断方向の情報を構成要素解析データ５２１に記録する（Ｓ８２０）。
【0152】
そして、最後に、Ｓ８１０の横断方向の情報とＳ８２０の縦断方向の情報に基づいて、構成要素の位置・姿勢に関する情報に基づいて、補正結果を反映する。例えば、２次元データ１１１（２）から（４）に連続した横断管の画像特徴、２次元データ１１１（１）に縦断管の画像特徴がある場合に、両者の結果を採用して補正する。また、例えば、横断管の延伸を仮定したときに縦断管の検知結果の一部に交わる場合、途中で交差・分岐が生じている可能性が高いという情報を合わせて検知結果に含むようにしてもよい。
【0153】
実施形態１の２次元データによる補正処理では、横断方向と進行方向の補正の一方のみ実施したが、本実施形態の手順では、横断方向と縦断方向の画像特徴を捉えて、場合によっては、横断方向と縦断方向の補正の両方を行うことがある。これによって３次元モデル構成要素検出部１２が縦断管と横断が交差するＬ字やＴ字の形状の埋設管を誤らずに検出可能である。
【符号の説明】
【0154】
１…地下構造検出装置，１１…３次元モデル生成部，１２…３次元モデル構成要素検出部、１３…路面データ構成要素検出部、１４…設計図データ構成要素検出部、１５構成要素情報処理部、１６…表示部、２…車両、２１…カメラデータ処理部、２２…レーダデータ処理部、２３…測定装置、２４…レーダ、３…構成要素、３１…マンホール、３２…空洞、３３…水道管
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8A】
【図8B】
【図9】
【図10】
【図11】
【図12】
【図13】