IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ アジア航測株式会社の特許一覧 ▶ 学校法人 名城大学の特許一覧

特許6993644赤色立体地図画像を用いた点群種類推定装置及び赤色立体地図画像を用いた点群種類推定プログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2021-12-14
(45)【発行日】2022-01-13
(54)【発明の名称】赤色立体地図画像を用いた点群種類推定装置及び赤色立体地図画像を用いた点群種類推定プログラム
(51)【国際特許分類】
   G06T 17/05 20110101AFI20220105BHJP
   G01C 7/04 20060101ALI20220105BHJP
   G09B 29/00 20060101ALI20220105BHJP
   G06T 7/00 20170101ALI20220105BHJP
【FI】
G06T17/05
G01C7/04
G09B29/00 Z
G06T7/00 640
G06T7/00 350C
【請求項の数】 10
(21)【出願番号】P 2018023131
(22)【出願日】2018-02-13
(65)【公開番号】P2019091393
(43)【公開日】2019-06-13
【審査請求日】2021-01-06
(31)【優先権主張番号】P 2017216920
(32)【優先日】2017-11-10
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】591074161
【氏名又は名称】アジア航測株式会社
(73)【特許権者】
【識別番号】599002043
【氏名又は名称】学校法人 名城大学
(74)【代理人】
【識別番号】100083806
【弁理士】
【氏名又は名称】三好 秀和
(74)【代理人】
【識別番号】100101247
【弁理士】
【氏名又は名称】高橋 俊一
(74)【代理人】
【識別番号】100095500
【弁理士】
【氏名又は名称】伊藤 正和
(74)【代理人】
【識別番号】100098327
【弁理士】
【氏名又は名称】高松 俊雄
(72)【発明者】
【氏名】角田 里美
(72)【発明者】
【氏名】織田 和夫
(72)【発明者】
【氏名】千葉 達朗
(72)【発明者】
【氏名】野中 秀樹
(72)【発明者】
【氏名】佐野 実可子
(72)【発明者】
【氏名】堀田 一弘
(72)【発明者】
【氏名】小見山 知也
【審査官】板垣 有紀
(56)【参考文献】
【文献】特開2015-111248(JP,A)
【文献】特開2010-112889(JP,A)
【文献】特開2005-174354(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06T 17/05
G01C 7/04
G09B 29/00
G06T 7/00
(57)【特許請求の範囲】
【請求項1】
レーザスキャナを航空機に搭載して地上にレーザ光を発射して得た計測データをレーザ点群とし、このレーザ点群に基づいた地盤データを記憶した地盤データ記憶部と、
前記地盤データを読み込んで、地上開度画像と地下開度画像とを生成して尾根谷度画像を生成し、この尾根谷度画像の局所領域毎に、この局所領域の斜度に応じて赤色を濃くした色値を割り付けて赤色立体地図画像を生成する赤色立体地図生成部と、
前記地盤データの特徴を判定するための教師データに基づく特徴推定モデルを記憶した特徴推定モデル記憶部と、
(A)前記赤色立体地図画像のメッシュ毎に、このメッシュデータと前記特徴推定モデルとに基づいて、ディープラーニングにより、そのメッシュデータを「非地形的特徴又は地形的特徴を有するメッシュデータ」と推定する手段
を有することを特徴とする赤色立体地図画像を用いた点群種類推定装置。
【請求項2】
(A)の手段は、
(A1)前記「非地形的特徴とされたメッシュデータ」をラスタ化した非地形的特徴領域画像を生成する手段と、
(A2)前記地盤データ記憶部の前記地盤データ毎に、DEMと同一間隔のメッシュを設定し、このメッシュに含まれている点データの最小標高点でラスタ化した地盤DEM画像を生成する手段と、
(A3)前記赤色立体地図画像における「非地形的特徴とされたメッシュデータ」とこれに対応する「地盤DEM画像のメッシュデータ」とを重ね合わせて前記赤色立体地図画像の「非地形的特徴とされたメッシュデータ」の標高値を削除し、周囲のメッシュの標高値で補間した標高値をそのメッシュデータに割り付ける手段と、
(A4)前記非地形的特徴領域画像の、「補間した標高値が割り付けられたメッシュデータ」をラスタ化して非地形的特徴領域補間DEM画像を生成する手段と、
(A5)前記地盤データ毎の点データを指定する毎に、この点データが含まれる前記非地形的特徴領域画像のメッシュが非地形的特徴を示しているかどうかを判定する手段と、
(A6)前記非地形的特徴領域画像のメッシュが非地形的特徴を示すと判定された場合は、前記点データの標高値とこのメッシュに対応する前記非地形的特徴領域補間DEM画像の標高値との差が閾値距離以上かどうかを判定する手段と、
(A7)閾値距離以上と判定した場合は、その点データ「非地形的特徴の点データ」又は閾値以下と判定した場合は前記「地形的特徴の点データ」と判定する手段と、
(A8)前記「非地形的特徴の点データ」と判定された前記地盤データに存在する点データを削除した非地形的特徴除去後地盤データを生成する手段と
を有することを特徴とする請求項1記載の赤色立体地図画像を用いた点群種類推定装置。
【請求項3】
さらに、
(B1)前記計測データに自動フィルタリング処理をかけた自動フィルタリング後地盤データを生成する手段と、
前記自動フィルタリング後地盤データを使用して前記赤色立体地図画像を生成する手段と、
(B2)前記赤色立体地図画像に対して分散値フィルタをかけて非地形的特徴のメッシュを強調した非地形的特徴強調画像を生成する手段と、
(B3)前記自動フィルタリング後地盤データをラスタ化して第1の非地形的特徴除去後地盤DEM画像を生成する手段と、
(B4)前記自動フィルタリング後地盤データに対し、手動フィルタリング処理で非地形的特徴のメッシュを除去した手動フィルタリング後地盤データを生成する手段と、
(B5)前記手動フィルタリング後地盤データをラスタ化して第2の非地形的特徴除去後地盤DEM画像を生成する手段と、
(B6)前記非地形的特徴強調画像のメッシュ毎に、RGB値のいずれかが閾値より大であるかどうかを判定し、閾値以下の場合は、前記地形的特徴を有するメッシュと判定する手段と、
(B7)RGB値のいずれかが閾値より大と判定された場合は、第1の非地形的特徴除去後地盤DEM画像の標高値と第2の非地形的特徴除去後地盤DEM画像の標高値との差が閾値標高値より大であるかどうかを判定する手段と、
(B8)閾値標高より大と判定した場合は、非地形的特徴のメッシュ、以下の場合は地形的特徴のメッシュとする教師データを生成し、これらの教師データで前記特徴推定モデルを生成する手段と
を有することを特徴とする請求項2記載の赤色立体地図画像を用いた点群種類推定装置。
【請求項4】
前記地形的特徴は、正しい地盤を示すパラメータ又は地すべり地形を示すパラメータであることを特徴とする請求項1記載の赤色立体地図画像を用いた点群種類推定装置。
【請求項5】
非地形的とされたものは、ノイズを示すパラメータとすることを特徴とする請求項1記載の赤色立体地図画像を用いた点群種類推定装置。
【請求項6】
コンピュータを、
レーザスキャナを航空機に搭載して地上にレーザ光を発射して得た計測データをレーザ点群とし、このレーザ点群に基づいた地盤データを地盤データ記憶部に記憶する手段、
前記地盤データを読み込んで、地上開度画像と地下開度画像とを生成して尾根谷度画像を生成し、この尾根谷度画像の局所領域毎に、この局所領域の斜度に応じて赤色を濃くした色値を割り付けて赤色立体地図画像を生成する赤色立体地図生成手段、
前記地盤データの特徴を判定するための教師データに基づく特徴推定モデルを特徴推定モデル記憶部に記憶する手段、
(A)前記赤色立体地図画像のメッシュ毎に、このメッシュデータと前記特徴推定モデルとに基づいて、ディープラーニングにより、そのメッシュデータを「非地形的特徴又は地形的特徴を有するメッシュデータ」と推定する手段
としての機能を実行させるための赤色立体地図画像を用いた点群種類推定プログラム。
【請求項7】
コンピュータを、
(A1)前記「非地形的特徴とされたメッシュデータ」をラスタ化した非地形的特徴領域画像を生成する手段、
(A2)前記地盤データ記憶部の前記地盤データ毎に、DEMと同一間隔のメッシュを設定し、このメッシュに含まれている点データの最小標高点でラスタ化した地盤DEM画像を生成する手段、
(A3)前記赤色立体地図画像における「非地形的特徴とされたメッシュデータ」とこれに対応する「地盤DEM画像のメッシュデータ」とを重ね合わせて前記赤色立体地図画像の「非地形的特徴とされたメッシュデータ」の標高値を削除し、周囲のメッシュの標高値で補間した標高値をそのメッシュデータに割り付ける手段、
(A4)前記非地形的特徴領域画像の、「補間した標高値が割り付けられたメッシュデータ」をラスタ化して非地形的特徴領域補間DEM画像を生成する手段、
(A5)前記地盤データ毎の点データを指定する毎に、この点データが含まれる前記非地形的特徴領域画像のメッシュが非地形的特徴を示しているかどうかを判定する手段、
(A6)前記非地形的特徴領域画像のメッシュが非地形的特徴を示すと判定された場合は、前記点データの標高値とこのメッシュに対応する前記非地形的特徴領域補間DEM画像の標高値との差が閾値距離以上かどうかを判定する手段、
(A7)閾値距離以上と判定した場合は、その点データを前記「非地形的特徴の点データ」又は閾値以下と判定した場合は「地形的特徴の点データ」と判定する手段、
(A8)前記「非地形的特徴の点データ」と判定された前記地盤データに存在する点データを削除した非地形的特徴除去後地盤データを生成する手段
としての機能を実行させるための請求項6記載の赤色立体地図画像を用いた点群種類推定プログラム。
【請求項8】
コンピュータを、さらに、
(B1)前記計測データに自動フィルタリング処理をかけた自動フィルタリング後地盤データを生成する手段、
前記自動フィルタリング後地盤データを使用して前記赤色立体地図画像を生成する手段と、
(B2)前記赤色立体地図画像に対して分散値フィルタをかけて非地形的特徴のメッシュを強調した非地形的特徴強調画像を生成する手段、
(B3)前記自動フィルタリング後地盤データをラスタ化して第1の非地形的特徴除去後地盤DEM画像を生成する手段、
(B4)前記自動フィルタリング後地盤データに対し、手動フィルタリング処理で非地形的特徴のメッシュを除去した手動フィルタリング後地盤データを生成する手段、
(B5)前記手動フィルタリング後地盤データをラスタ化して第2の非地形的特徴除去後地盤DEM画像を生成する手段、
(B6)前記非地形的特徴強調画像のメッシュ毎に、RGB値のいずれかが閾値より大であるかどうかを判定し、閾値以下の場合は、前記地形的特徴を有するメッシュと判定する手段、
(B7)RGB値のいずれかが閾値より大と判定された場合は、第1の非地形的特徴除去後地盤DEM画像の標高値と第2の非地形的特徴除去後地盤DEM画像の標高値との差が閾値標高値より大であるかどうかを判定する手段、
(B8)閾値標高より大と判定した場合は、非地形的特徴のメッシュ、以下の場合は地形的特徴のメッシュとする教師データを生成し、これらの教師データで前記特徴推定モデルを生成する手段
としての機能を実行させるための請求項7記載の赤色立体地図画像を用いた点群種類推定プログラム。
【請求項9】
前記地形的特徴は、正しい地盤を示すパラメータ又は地すべり地形を示すパラメータであることを特徴とする請求項6記載の赤色立体地図画像を用いた点群種類推定プログラム。
【請求項10】
非地形的とされたものは、ノイズを示すパラメータとすることを特徴とする請求項6記載の赤色立体地図画像を用いた点群種類推定プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、赤色立体地図画像を用いた点群種類推定装置に関する。
【背景技術】
【0002】
一般に、航空機にレーザスキャナを搭載して地上にレーザ光を発射して、その反射光を受光した場合は、樹木の下の下草等による反射光を含んでいたり、或いは地表面に到達しない反射光を受光したりする。
【0003】
このため、レーザデータから地盤の標高値を得るためにはフィルタリングを行うことになる。例えば、特許文献1のレーザデータのフィルタリング方法は、レーザスキャナと重複してカメラ撮影し、ステレオマッチング処理により得られた数値表層モデルと各レーザデータの標高座標値を比較し、数値表層モデルの標高座標値に対して所定の範囲内にある標高座標値を有するレーザデータをレーザデータ群から除去して地表面候補データを抽出している。
【先行技術文献】
【特許文献】
【0004】
【文献】特開2011-158278号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、引用文献1のフィルタリング方法は、使用する数値表層モデルとレーザデータとの位置精度が異なる場合に計測誤差が生じるため、レーザデータと同等の高い位置精度を持つ数値表層モデルが必要となるが、こうしたデータを全てのフィルタリング処理過程において生成することは、生産コストの面から実用的ではない。また、地表面データの抽出精度が、レーザデータとは異なる計測データの空間解像度や位置精度に依存するため、これらの両データについて信頼性を担保する必要性がある点や、エラーが見つかった際の原因特定が困難になる点など、課題がある。
【0006】
一方、従来行われてきた経験豊かなオペレータが手作業で、レーザデータに残存した地盤以外の地物(以降、ノイズと称する)を除去する方法は、時間とコストがかかる。
【課題を解決するための手段】
【0007】
本発明の赤色立体地図画像を用いた点群種類推定装置は、レーザスキャナを航空機に搭載して地上にレーザ光を発射して得た計測データをレーザ点群とし、このレーザ点群に基づいた地盤データを記憶した地盤データ記憶部と、
前記地盤データを読み込んで、地上開度画像と地下開度画像とを生成して尾根谷度画像を生成し、この尾根谷度画像の局所領域毎に、この局所領域の斜度に応じて赤色を濃くした色値を割り付けて赤色立体地図画像を生成する赤色立体地図生成部と、
前記地盤データの特徴を判定するための教師データに基づく特徴推定モデルを記憶した特徴推定モデル記憶部と、
(A)前記赤色立体地図画像のメッシュ毎に、このメッシュデータと前記特徴推定モデルとに基づいて、ディープラーニングにより、そのメッシュデータを「非地形的特徴又は地形的特徴を有するメッシュデータ」と推定する手段
を備えたことを要旨とする。
【発明の効果】
【0008】
以上のように本発明によれば、特徴推定モデルに基づいて、ディープラーニングにより、そのメッシュデータを「非地形的特徴又は地形的特徴を有するメッシュデータ」と推定する。
【0009】
このため、自動的に赤色立体地図画像のメッシュが非地形的特徴又は地形的特徴を有するメッシュデータと推定され、非地形的特徴を有するメッシュデータは自動的に除去されていくので時間とコストを低減できる。
【図面の簡単な説明】
【0010】
図1】実施の形態の機械学習によるレーザ点群ノイズ除去装置の概略構成図である。
図2】自動フィルタリング後地盤データGAaのデータ構成の説明図である。
図3】教師データ作成部124の動作を説明するフローチャートである。
図4】ノイズ検出除去部132の動作を説明するフローチャートである。
図5】自動フィルタリング後赤色立体地図画像KAGaの説明図である。
図6】手動フィルタリング後赤色立体地図KGaの説明図である。
図7】ノイズ領域強調画像KEGaの説明図である。
図8】標高値に基づいて疑似カラー表示した自動フィルタリング後DEM画像AFGaの説明図である。
図9】標高値に基づいて疑似カラー表示した手動フィルタリング後DEM画像MFGaの説明図である。
図10】ノイズ領域教師画像TKGaの説明図である。
図11】ノイズ領域教師画像TKGaの背景に自動フィルタリング後赤色立体地図画像KAGaを示した画像THKGaの説明図である。
図12】ノイズ領域強調画像をしきい値処理することによって得られるノイズ候補領域画像TKGbの説明図である。
図13】ノイズ候補領域画像TKGbの背景に自動フィルタリング後赤色立体地図画像KAGaを示した画像THKGbの説明図である。
図14】自動フィルタリング後DEM画像AFGaと手動フィルタリング後DEM画像MFGaの差分およびしきい値処理によって得られるノイズ候補領域画像TKGbbの説明図である。
図15】ノイズ候補領域画像TKGbbの背景に自動フィルタリング後赤色立体地図画像KAGaを示した画像THKGbbの説明図である。
図16】標高値に基づいて疑似カラー表示した自動フィルタリング後地盤データ(ランダム点)GHbの説明図である。
図17】自動フィルタリング後地盤データ(ランダム点)GHbの拡大画像Gbの説明図である。
図18】自動フィルタリング後地盤データ(ランダム点)の拡大画像Gbの背景(に自動フィルタリング後赤色立体地図画像KAGaを示した画像KHGbbの説明図である。
図19】標高値に基づいて疑似カラー表示した正方格子内最小標高ラスタ画像GBbの説明図である。
図20】正方格子内最小標高ラスタ画像GBbの拡大画像GBbbの説明図である。
図21】標高値に基づいて疑似カラー表示したノイズ領域補間DEM画像GKbの説明図である。
図22】ノイズ領域補間DEM画像GKbの拡大画像GKbbの説明図である。
図23】標高値に基づいて疑似カラー表示したノイズ除去後地盤データ(ランダム点)Gbbの説明図である。
図24】ノイズ除去後地盤データ(ランダム点)の拡大画像KGbbの背景に自動フィルタリング後赤色立体地図画像KAGaを示した画像KHGbbの説明図である。
図25】ノイズ除去後地盤データ(ランダム点)Gbbの拡大画像KGbbの説明図である。
図26】実施の形態の効果を示す説明図である。
図27】実施の形態の効果を示す説明図である。
図28】地すべり地形の自動抽出に用いた場合の説明図(1/2)である。
図29】地すべり地形の自動抽出に用いた場合の説明図(2/2)である。
【発明を実施するための形態】
【0011】
以下に示す本実施の形態は、本発明の技術的思想を具体化するための装置や方法を例示するものであって、本発明の技術的思想(構造、配置)は、下記のものに特定するものではない。本発明の技術的思想は、特許請求の範囲に記載された技術的範囲内において、種々の変更を加えることができる。図面は模式的なものであり、装置やシステムの構成等は現実のものとは異なることに留意すべきである。
【0012】
本実施の形態の赤色立体地図画像を用いた点群種類推定装置は、航空機にレーザスキャナを搭載して地上にレーザを発射して得たレーザ点群の地盤データに基づいて、DEM(Digital Elevation Model:数値標高モデル)を生成し、さらに、DEMから赤色立体地図を生成したときに存在する地盤以外の地物である非地形的特徴(非地形的特徴を示すパラメータともいう)又は地形的特徴を有するメッシュデータをディープラーニング(Deep Learning:深層学習)によって学習させる。なお、以後、非地形的とは、正しく地盤と判定されるべきもの以外のメッシュデータであり、これをノイズと称して説明する。
【0013】
そして、これを用いて赤色立体地図のノイズ領域を検出する。さらに、このノイズ領域に含まれるレーザ点群のうち、周囲の標高値よりも一定以上高い標高値を持つ点データをノイズとして除去する。
【0014】
また、地形的特徴というのは、正に地盤とするメッシュデータである。以後は、地形的特徴を示すパラメータは地盤と称して説明する。また、赤色立体地図画像を用いた点群種類推定装置をディープラーニングによるレーザ点群ノイズ除去装置として説明する。
【0015】
図1は実施の形態のディープラーニングによるレーザ点群ノイズ除去装置の概略構成図である。ディープラーニングによるレーザ点群ノイズ除去装置300は、コンピュータ本体部100と、表示部200等より構成されている。
【0016】
コンピュータ本体部100は、飛行機にレーザスキャナ等を搭載して地上にレーザ光を発射して取得した山等の計測データLRを記憶した点群用データベース110と、自動フィルタリング部112と、赤色立体地図作成部118と、教師データ作成部124と、ノイズ領域推定モデル生成部128(特徴推定モデル生成部ともいう)と、ノイズ検出除去部132等を備えている。このノイズ領域推定モデル生成部128は例えば、条件付き敵対的生成ネットワーク (Generative adversarial networks:GANs)を用いている。
【0017】
自動フィルタリング部112は、対象範囲を一定のサイズに分割し、全計測点群データから各分割範囲内の標高値の低いデータを抽出し、概略地形モデル(概略特徴推定モデルともいう)を作成する。さらに、地形特性に応じた数種類のパラメータを与えながら、概略地形モデルに近い位置に存在するデータを繰り返し抽出することで、地盤データ(地形的特徴を有するメッシュデータともいう)を作成する。
【0018】
しかし、急勾配地形では、斜度が周りと比較して極端に違うため地物と誤認識をする場合もある。また、樹木が密生していて樹木下の地盤データが取得できないような場所では、樹上の点群を地表の点群と誤認識する場合がある。つまり、自動フィルタリング後の地盤データには地盤ではない樹木や地物が含まれる。また、一方で、地盤が過剰に除去される場合がある。この地盤データを自動フィルタリング後地盤データGAaとして自動フィルタリング後用記憶部114に記憶する(図2参照)。
【0019】
自動フィルタリング後地盤データGAaは、図2に示すように三次元座標で表されるランダム点のデータである。
【0020】
具体的には図2に示すように、レコード番号i(i=1,2,・・・,n)を付与したランダム点のX座標(経度Xi)、Y座標(緯度Yi)、Z座標(地盤標高値Zgi)を対応させて構成している。
【0021】
赤色立体地図作成部118は、自動フィルタリング後地盤データGAaを使用してTINモデルを生成し、このTINモデルに任意の格子間隔d(例えば、0.5mあるいは1mなど)のメッシュをかぶせ、各メッシュの中心点の高さをその点を囲む三角形の頂点の高さから補間して求めることにより、DEMを生成する。
【0022】
このDEMから生成した地上開度画像(浮上度、尾根度を表すグレイスケール画像)と地下開度画像(沈下度、谷度を表すグレイスケール画像)とを合成して尾根谷度画像(浮沈度画像ともいう)を得る。
【0023】
そして、前記尾根谷度画像と、斜度に応じて赤色を濃くした斜度図画像とを合成して、赤色立体画像(以下、赤色立体地図画像という)を得る。
【0024】
この赤色立体地図画像は、傾斜が大きいほど赤が濃く、尾根は高い程に明るく(白く)、谷は深い程暗く(黒く)表現される。従って、地形の高低及び勾配の度合い、凹凸を一目で立体的に把握できる(特許第3670274号公報)。
【0025】
そして、この赤色立体地図画像を自動フィルタリング後赤色立体地図画像KAGaとして赤色立体地図画像記憶部120に記憶する。
【0026】
教師データ作成部124は、自動フィルタリング後用記憶部114に記憶されている自動フィルタリング後地盤データGAaと、赤色立体地図画像記憶部120に記憶されている自動フィルタリング後赤色立体地図画像KAGaと、後述する手動フィルタリング後地盤データGMaとを読み込む。そして、自動フィルタリング後赤色立体地図画像KAGaに分散値フィルタを適用して、ノイズ領域強調画像KEGa(非地形的特徴領域強調画像ともいう)を生成する。
【0027】
このノイズ領域強調画像KEGaは、地上開度、地下開度、斜度を合成した赤色立体地図画像が元になっており、各画素(メッシュ)のR、G、B値にその周辺の局所領域における分散値がそれぞれ割り当てられている。
【0028】
そして、このノイズ領域強調画像KEGaをメッシュ毎に、R、G、B値のいずれかが閾値δ(色値)より大であるかどうかに対して「真」又は「偽」のいずれかであるかどうかを判定する。「偽」と判定した場合は地盤と判定し、この判定結果を教師データとして教師データ用記憶部126に記憶する。
【0029】
また、教師データ作成部124は、自動フィルタリング後地盤データGAaをラスタ化した自動フィルタリング後DEM画像AFGa(第1のノイズ除去後地盤DEM画像ともいう)の標高値と、手動フィルタリング後地盤データGMaをラスタ化した手動フィルタリング後DEM画像MFGa(第2のノイズ除去後地盤DEM画像ともいう)の標高値との差を求め、この差が閾値βより大であるかどうかに対して「真」又は「偽」のいずれかであるかどうかを判定する。
【0030】
ノイズ領域強調画像KEGaのR、G、B値のいずれかが閾値δ(色値)より大であるかどうかに対して「真」と判定された場合に、第1のノイズ除去後地盤DEM画像の標高値と第2のノイズ除去後地盤DEM画像の標高値の差が閾値βより大であるかどうかに対して「真」と判定された場合をノイズ、「偽」と判定された場合を地盤と判定し、この判定結果を教師データとして教師データ用記憶部126に記憶する。このような処理を教師データ用に予め用意した計測データLRに対して実施する。
【0031】
ノイズ領域推定モデル生成部128は、教師データ用記憶部126に記憶されている教師データに基づいてノイズ領域と判定するためのモデルをノイズ領域推定モデル用記憶部130に生成する。
【0032】
ノイズ検出除去部132は、点群用データベース110に計測データLRが記憶されるに伴って、生成された自動フィルタリング後赤色立体地図画像KAGaを読み込み、ノイズ領域推定モデル用記憶部130に記憶されているノイズ領域推定モデルに基づいて、ディープラーニングによるノイズ領域抽出を行って、ノイズ領域画像KAGNaを生成する。
【0033】
また、自動フィルタリング後地盤データGAaが生成される毎に、このデータに前記自動フィルタリング後赤色立体地図画像KAGaと同一間隔のメッシュを設定し、各メッシュ(正方格子)内に含まれる点群データの最小標高値を用いてラスタ化して画像(以下、正方格子内最小標高ラスタ画像GBという)を生成する。
【0034】
そして、ノイズ領域画像KAGNaと正方格子内最小標高ラスタ画像GBとを重ね合わせてノイズ領域の標高値を削除し、周囲の標高値を使用してノイズ領域の標高値を補間してノイズ領域補間DEM画像を生成する。
【0035】
そして、自動フィルタリング後地盤データGAaとノイズ領域画像KAGNaを重ね合わせ、自動フィルタリング後地盤データGAaの各点データについて、この点データが含まれる前記ノイズ領域画像KAGNaのメッシュがノイズ領域であるかどうかを判定する。つまり、「偽」又は「真」かどうかを判定する。
【0036】
そして、「偽」と判定した場合は、地盤と判定し、ノイズ除去後地盤データ記憶部134に記憶する。
【0037】
一方、「真」と判定した場合は、ノイズ領域補間DEM画像を重ね合わせ、前記点データの標高値と前記点データが含まれるノイズ領域補間DEM画像のメッシュの標高値(補間後の標高)との差>除去用標高閾値Δrかどうかを判定する。
【0038】
除去用標高閾値Δrは、例えば、1mなどである。「偽」と判定した場合は、前記点データを地盤データと判定する。また、「真」の場合はノイズと判定する。これらの判定結果は、ノイズ除去後地盤データ記憶部134に記憶する。
【0039】
起動判定部140は、自動フィルタリング部112、赤色立体地図作成部118、教師データ作成部124、手動フィルタリング部113、ノイズ領域推定モデル生成部128又はノイズ検出除去部132を監視して、これらを適宜、起動させる。
【0040】
上記のように構成されたレーザ点群ノイズ除去装置300の動作をフローチャートを用いて説明する。図3は教師データ作成部124の動作を説明するフローチャートである。図4は、ノイズ検出除去部132の動作を説明するフローチャートである。但し、図3及び図4は、自動フィルタリング部112の処理、赤色立体地図作成部118の処理、手動フィルタリング部113の処理を記載して説明する。
【0041】
図3に示すように、自動フィルタリング部112は、点群用データベース110の計測データLRを読み込み、地形特性に応じた数種類のパラメータを与えて、地物・地形データを自動判別して、それ以外を除去する自動フィルタリング処理を行う(S1)。
【0042】
この自動フィルタリング後地盤データGAaを自動フィルタリング後用記憶部114に記憶する(S3:図2参照)。
【0043】
そして、赤色立体地図作成部118は、自動フィルタリング後地盤データGAaを自動フィルタリング後用記憶部114から読み込んでDEMを生成し、このDEMから地上開度画像図と地下開度画像図を生成し、これらを合成して尾根谷度画像を生成し、さらに前記DEMから斜度図画像図を生成し、これらを合成して、赤色立体地図画像(ラスタ)を生成する(S5)。
【0044】
そして、この赤色立体地図画像を自動フィルタリング後赤色立体地図画像KAGa(ラスタ)として赤色立体地図画像記憶部120に記憶する(S7)。
【0045】
この自動フィルタリング後赤色立体地図画像KAGa(ラスタ)を図6に示す。しかし、依然としてノイズによって不要な凸が残っている。
【0046】
このため、手動フィルタリング部113が赤色立体地図画像記憶部120の自動フィルタリング後赤色立体地図画像KAGaを表示部200に表示して手動処理によりノイズによる凸と思われる個所を適宜、削除する(S9)。つまり、自動フィルタリング後赤色立体地図画像KAGaの地盤データからノイズが手動により除去される。なお、手動フィルタリングでは、残存地物の除去の他、地盤の過剰除去箇所の復元も行う。
【0047】
これを、手動フィルタリング後地盤データGMaとして、手動フィルタリング後用記憶部115に記憶する(S11)。
【0048】
赤色立体地図作成部118は、手動フィルタリング後地盤データGMaを手動フィルタリング後用記憶部115から読み込んでDEMを生成し、このDEMから地上開度画像図と地下開度画像図とを生成し、これらを合成して尾根谷度画像を生成し、さらに前記DEMから斜度図画像図を生成し、これらを合成して、赤色立体地図画像(ラスタ)を生成する(S13)。
【0049】
この赤色立体地図画像を手動フィルタリング後赤色立体地図画像KMGaとして赤色立体地図画像記憶部120に記憶する(S15)。
【0050】
すなわち、手動フィルタリング後赤色立体地図画像KGaは、図6に示すように凸が除かれた赤色立体地図画像となっている。
【0051】
一方、教師データ作成部124は、教師データを作成する。
【0052】
教師データは正解データとも呼ばれる。つまり、自動フィルタリング後赤色立体地図に含まれている地盤以外のノイズを検出するための教師データを作成する。
【0053】
以下に教師データ作成部124の処理を説明する。
【0054】
図3に示すように、赤色立体地図画像記憶部120に記憶されている自動フィルタリング後赤色立体地図画像KAGa(ラスタ)を読み込み、所定のウィンドウサイズ(例えば、11×11メッシュなど)の分散値フィルタを適用して(S21)、図7に示すノイズ領域強調画像KEGaを生成してメモリに記憶する(S23)。
【0055】
図7に示すように、背景が黒にされて凸領域(メッシュ)がRGBのいずれかの色でノイズ領域として強調されている。
【0056】
一方、教師データ作成部124は、ステップS3で生成された、自動フィルタリング後地盤データGAaを読み込み、この自動フィルタリング後地盤データGAaに対してTINを作成してラスタ化して(S31)、DEMを作成して自動フィルタリング後DEM画像用記憶部124aに記憶する(S33)。
【0057】
これを実施の形態では自動フィルタリング後DEM画像AFGa(第1のノイズ除去後地盤DEM画像とも称する)と称する。自動フィルタリング後DEM画像AFGaを図9に示す。
【0058】
一方、ステップS11で生成された手動フィルタリング後地盤データGMaを読み込み、この手動フィルタリング後地盤データGMaに対してTINを作成してラスタ化して(S35)、DEMを作成して手動フィルタリング後DEM画像用記憶部124bに記憶する(S37)。これを実施の形態では手動フィルタリング後DEM画像MFGa(第2のノイズ除去後地盤DEM画像とも称する)と称する。
【0059】
手動フィルタリング後DEM画像MFGaを図9に示す。
【0060】
そして、ステップS23で生成したノイズ領域強調画像KEGaに対してメッシュ毎に、その色値を読み込み、R、G、Bのいずれかが閾値δ(色値)より大であるかどうかに対して「真」又は「偽」かどうかを判断する(S41:ノイズ領域強調画像閾値処理)。
【0061】
前述の閾値δ(色値)は、例えば、1000などである。このステップS41の処理を、ノイズ領域強調画像閾値処理と称している。
【0062】
ステップS41で、「偽」と判定した場合は、このメッシュを地盤と判定して教師データ用記憶部126に記憶する(S43)。具体的には、ノイズ領域強調画像KEGa(図7)を生成した元の自動フィルタリング後赤色立体地図画像KAGa(図5)の各メッシュについて、そのメッシュが地盤である場合は白、ノイズである場合は黒の色を割り当てた画像を教師データとして教師データ用記憶部126に記憶するものとするが、ステップS41の段階では、「偽」と判定した場合のみ、このメッシュが地盤であること(白)が確定する。
【0063】
全メッシュに対してステップS41の判定を行って、「偽」と判定し地盤が確定したメッシュを白、「真」と判定し地盤かノイズかが確定していないノイズ候補領域のメッシュを黒で表したノイズ候補領域画像を図12及び図13に示す。図12はノイズ候補領域画像TKGbであり、図13は背景に自動フィルタリング後赤色立体地図画像KAGaを示したノイズ候補領域画像THKGbである。
【0064】
一方、ステップS33で生成した自動フィルタリング後DEM画像AFGaと、ステップS37で生成した手動フィルタリング後DEM画像MFGaと、ステップS23で生成したノイズ領域強調画像KEGa(図7)とを重ね合わせる。
【0065】
そして、各メッシュについて、ステップS41で「真」と判定している場合(S46)は、自動フィルタリング後DEMのメッシュに割り付けられている標高値(以下、自動フィルタ後標高値という)と手動フィルタリング後DEM画像AFGaのメッシュに割り付けられている標高値(以下、手動フィルタ後標高値という)との差を求め、この差が閾値β(距離)より大かどうかを判定する(S48:DEM差分閾値処理)。
【0066】
閾値β(距離)は、例えば、5mなどである。
【0067】
ステップS48で閾値β(距離)以下と判定した場合(「偽」)は地盤(S52)、閾値β(距離)より大と判定した場合(「真」)はノイズ(S50)と判定し、教師データ用記憶部126に記憶する。具体的には、ステップS41の段階で、地盤かノイズかが確定していないメッシュについて、ステップS48で「偽」と判定した場合は地盤(白)、「真」と判定した場合はノイズ(黒)であることが確定する。
【0068】
全メッシュに対してステップS48の判定を行って、「偽」と判定し地盤が確定したメッシュを白、「真」と判定しノイズが確定したメッシュを黒で表したノイズ領域教師画像を図10及び図11に示す。
【0069】
図10はノイズ領域教師画像TKGaであり、図11は背景に自動フィルタリング後赤色立体地図画像KAGaを示したノイズ領域教師画像THKGaである。また、仮にステップS41の判定を行わずに、ステップS48のみの判定を行った場合の判定結果を図14及び図15に示す。図14は自動フィルタリング後DEM画像AFGaと手動フィルタリング後DEM画像MFGaの差分およびしきい値処理によって得られるノイズ候補領域画像TKGbbであり、図15はノイズ候補領域画像TKGbbの背景に自動フィルタリング後赤色立体地図画像KAGaを示した画像THKGbbである。
【0070】
ノイズ領域推定モデル生成部128は、教師データ用記憶部126に記憶されている教師データに基づいてノイズ領域と判定するためのモデル(関数)を生成する。
【0071】
そして、ノイズ検出除去部132は、以下に説明する処理を行う。
【0072】
すなわち、図4に示すように、自動フィルタリング部112が点群用データベース110に新たに記憶された計測データLRを読み込み、地形特性に応じた数種類のパラメータを与えて、地物・地形データを自動判別して、それ以外を除去する自動フィルタリング処理を行う(S61)。
【0073】
この自動フィルタリング後地盤データGAa(ランダム点)を自動フィルタリング後用記憶部114に記憶する(S63)。
【0074】
図16には、属性である標高値に基づいて疑似カラー表示した自動フィルタリング後地盤データ(ランダム点)GHbを示す。また、図17には、図16の一部を拡大した画像Gbを示す。
【0075】
そして、赤色立体地図作成部118は、自動フィルタリング後地盤データGAaを自動フィルタリング後用記憶部114から読み込んでDEMを生成し、このDEMから地上開度画像図と地下開度画像図を生成し、これらを合成して尾根谷度画像(浮沈度画像ともいう)を生成し、さらに前記DEMから斜度図画像図を生成し、これらを合成して、赤色立体地図画像(ラスタ)を得て(S65)、赤色立体地図画像記憶部120に記憶する(S67)。
【0076】
しかし、依然としてノイズによって不要な凸が残っている場合がある(図18参照)。図18は、図19の背景に自動フィルタリング後赤色立体地図画像KAGaを示した画像KHGbbである。
【0077】
このため、ノイズ検出除去部132が、ステップS67で生成した自動フィルタリング後赤色立体地図画像KAGa(ラスタ)をノイズ領域推定モデル用記憶部130に記憶されているノイズ領域推定モデルに読み込み(S81)、ディープラーニング(Deep Learning、深層学習)によるノイズ領域抽出を行い(S83)、ノイズ領域画像を生成する(S85)。
【0078】
つまり、入力データを自動フィルタリング後赤色立体地図画像KAGaとし、この自動フィルタリング後赤色立体地図画像KAGaに存在するノイズ領域をノイズ領域推定モデルによって判定する。
【0079】
一方、ステップS63で自動フィルタリング後地盤データGAaが生成される毎に、このデータに前記自動フィルタリング後赤色立体地図画像KAGaと同一間隔のメッシュを設定し、各メッシュ(正方格子)内に含まれる点群データの最小標高値を用いてラスタ化して(S87)、DEMを生成する(S89)。
【0080】
このDEMを正方格子内最小標高ラスタ画像GBbと称する。この正方格子内最小標高ラスタ画像GBbを標高値に基づいて疑似カラー表示した画像を図20に示す。また、図20の所定領域の拡大図GBbbを図20に示す。なお、色がついていない画素(メッシュ)は、ランダム点(ノイズ)が存在しない画素(メッシュ)である。
【0081】
そして、ステップS85で生成したノイズ領域画像とステップS89で生成した正方格子内最小標高ラスタ画像とを重ね合わせてノイズ領域の標高値を削除し、周囲の標高値を使用してノイズ領域の標高値を補間し(S91)、DEM(以下、ノイズ領域補間DEMと称する)を作成する(S93)。つまり、線形補間によるノイズ領域の標高値の推定を行ってノイズ領域補間DEMを作成している。
【0082】
このノイズ領域補間DEMをノイズ領域補間DEM画像GKbと称し、標高値に基づいて疑似カラー表示した画像を図21に示す。また、図21の所定領域の拡大画像GKbbを図22に示す。
【0083】
そして、ステップS63の自動フィルタリング後地盤データGAa(ランダム点)と、ステップS85で生成したノイズ領域画像を重ね合わせ、自動フィルタリング後地盤データの各点データについて、この点データが含まれるノイズ領域画像のメッシュがノイズ領域であるかどうかを判定する(S95)。つまり、「偽」又は「真」かどうかを判定する。
【0084】
そして、ステップS95において「偽」と判定した場合は、地盤と判定する(S96)。
【0085】
一方、ステップS95で「真」と判定した場合は、ステップS63の自動フィルタリング後地盤データGAa(ランダム点)の標高値(ランダム点の標高)とステップS93で生成したノイズ領域補間DEMの標高(補間後の標高)との差>除去用標高閾値Δrかどうかを判定する(S97)。除去用標高閾値Δrは、1mなどである。ステップS97において「偽」と判定した場合は、地盤データと判定する(S98a)。また、「真」の場合はノイズと判定する(S98b)。
【0086】
そして、ステップS95及びステップS97の判定結果に基づいて、ノイズ除去後地盤データ(ランダム点)を得る(S99)。
【0087】
このデータをノイズ除去後地盤データ(ランダム点)Gbbと称し、標高値に基づいて疑似カラー表示した画像を図23に示す。また、図23の所定領域の拡大画像KGbbを図25に示す。さらに、図25の背景に自動フィルタリング後赤色立体地図画像KAGaを示した画像KHGbbを図24に示す。
【0088】
ステップ99で得られたノイズ除去後地盤データ(ランダム点)は、ノイズ領域推定モデルによって検出された領域のノイズが除去されているが、検出漏れや誤検出を防ぐ必要があるため、ステップS69において、手動フィルタリングを行い、ノイズ除去後の地盤データ(ランダム点)(S71)を得、ステップS73において、赤色立体地図を生成して(S75)最終的な点検を行う。
【0089】
なお、前記ノイズ領域推定モデルへの入力画像として、標高(DEM)や斜度等の地形表現画像を使用することも可能である。赤色立体地図を入力画像として使用する場合の効果を示すため、まず、ノイズ領域の教師データをモデル生成用と検証用の2つのグループに分け、入力画像に標高、斜度、赤色立体地図をそれぞれ使用し、一方、出力画像には共通のモデル生成用の教師データを使用してノイズ領域推定モデルを3種生成した。そして、ノイズ領域推定モデルによって検出されたノイズ領域と検証用の教師データのノイズ領域を比較して、各種ノイズ領域推定モデルの検出精度を比較した。
【0090】
図26に、入力画像として使用した標高、斜度、赤色立体地図の例を示す。また、図27に、Kappa係数と呼ばれる指標を用いて、入力画像に標高、斜度、赤色立体地図をそれぞれ用いて生成したノイズ領域推定モデルの検出精度を示す。Kappa係数の値は高いほど、高い精度で検出されたことを示す。
【0091】
図27に示されるように、赤色立体地図を入力画像として用いた場合の検出精度が最も高く、ノイズ検出に最適であることがわかる。
【0092】
<その他の実施の形態>
上記実施の形態では地形的特徴の抽出は、例えば、図29に示すように、地すべり地形の自動抽出に用いることができる。
【0093】
例えば、図28の(1)に示すような赤色画像と、(2)に示す地すべり地形判読データを正解データとするペアを複数用いてでディープラーニング(機械学習)を行い、得られた学習モデル(特徴推定モデル)を用いて、図29に示す(3)の入力画像から地すべり地形を抽出すると、図29(4)に示す自動抽出画像が得られる。(5)に示す正解データと比べ、ほぼ正しい位置を抽出することが可能である。
【0094】
すなわち、本実施の形態の構成の概要は、地形的特徴は、正しい地盤を示すパラメータ又は地すべり地形を示すパラメータとし、非地形的とされたものは、正しい地盤又は地すべり地形を示す地盤をノイズとすると、レーザスキャナを航空機に搭載して地上にレーザ光を発射して得た計測データをレーザ点群とし、このレーザ点群に基づいた地盤データを読み込む。
【0095】
そして、この地盤データを読み込んで地上開度画像と地下開度画像とを生成して尾根谷度画像を生成し、この尾根谷度画像の局所領域毎に、この局所領域の斜度に応じて赤色を濃くした色値を割り付けて赤色立体地図画像を生成する(赤色立体地図生成部)。
【0096】
そして、赤色立体地図画像のメッシュ毎に、このメッシュデータと特徴推定モデル(地盤データの特徴を判定するための教師データに基づく特徴推定モデル)とに基づいて、ディープラーニングにより、そのメッシュデータを「非地形的特徴又は地形的特徴を有するメッシュデータ」と推定している。
【0097】
この推定手段は、
(A1)「非地形的特徴とされたメッシュデータ」をラスタ化した非地形的特徴領域画像を生成する手段と、
(A2)地盤データ毎に、DEMと同一間隔のメッシュを設定し、このメッシュに含まれている点データの最小標高点でラスタ化した地盤DEM画像を生成する手段と、
(A3)赤色立体地図画像における「非地形的特徴とされたメッシュデータ」とこれに対応する「地盤DEM画像のメッシュデータ」とを重ね合わせて赤色立体地図画像の「非地形的特徴とされたメッシュデータ」の標高値を削除し、周囲のメッシュの標高値で補間した標高値をそのメッシュデータに割り付ける手段と、
(A4)非地形的特徴領域画像の、「補間した標高値が割り付けられたメッシュデータ」をラスタ化して非地形的特徴領域補間DEM画像を生成する手段と、
(A5)地盤データ毎の点データを指定する毎に、この点データが含まれる非地形的特徴領域画像のメッシュが非地形的特徴を示しているかどうかを判定する手段と、
(A6)非地形的特徴領域画像のメッシュが非地形的特徴を示すと判定された場合は、点データの標高値とこのメッシュに対応する非地形的特徴領域補間DEM画像の標高値との差が閾値距離以上かどうかを判定する手段と、
(A7)閾値距離以上と判定した場合は、その点データを「非地形的特徴の点データ」又は閾値以下と判定した場合は「地形的特徴の点データ」と判定する手段と、
(A8)「非地形的特徴の点データ」と判定された地盤データに存在する点データを削除した非地形的特徴除去後地盤データを生成する手段と
を有している。
【0098】
さらに、
(B1)計測データに自動フィルタリング処理をかけた自動フィルタリング後地盤データを生成する手段と、
自動フィルタリング後地盤データを使用して赤色立体地図画像を生成する手段と、
(B2)赤色立体地図画像に対して分散値フィルタをかけて非地形的特徴のメッシュを強調した非地形的特徴領域強調画像を生成する手段と、
(B3)自動フィルタリング後地盤データをラスタ化して第1の非地形的特徴除去後地盤DEM画像を生成する手段と、
(B4)自動フィルタリング後地盤データに対し、手動フィルタリング処理で非地形的特徴のメッシュを除去した手動フィルタリング後地盤データを生成する手段と、
(B5)手動フィルタリング後地盤データをラスタ化して第2の非地形的特徴除去後地盤DEM画像を生成する手段と、
(B6)非地形的特徴強調画像のメッシュ毎に、RGB値のいずれかが閾値より大であるかどうかを判定し、閾値以下の場合は、地形的特徴を有するメッシュと判定する手段と、
(B7)RGB値のいずれかが閾値より大と判定された場合は、第1の非地形的特徴除去後地盤DEM画像の標高値と第2の非地形的特徴除去後地盤DEM画像の標高値との差が閾値標高値より大であるかどうかを判定する手段と、
(B8)閾値標高より大と判定した場合は、非地形的特徴のメッシュ、以下の場合は地形的特徴のメッシュとする教師データを生成し、これらの教師データで特徴推定モデルを生成する手段とを有している。
【符号の説明】
【0099】
110 点群用データベース
112 自動フィルタリング部
118 赤色立体地図作成部
124 教師データ作成部
128 ノイズ領域推定モデル生成部
132 ノイズ検出除去部
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18
図19
図20
図21
図22
図23
図24
図25
図26
図27
図28
図29