(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-11-28
(45)【発行日】2023-12-06
(54)【発明の名称】異常検出システム、異常検出方法、及びプログラム
(51)【国際特許分類】
G01B 21/20 20060101AFI20231129BHJP
G01B 21/30 20060101ALI20231129BHJP
G01B 21/32 20060101ALI20231129BHJP
【FI】
G01B21/20 101
G01B21/30 102
G01B21/32
(21)【出願番号】P 2022548287
(86)(22)【出願日】2020-09-09
(86)【国際出願番号】 JP2020034058
(87)【国際公開番号】W WO2022054158
(87)【国際公開日】2022-03-17
【審査請求日】2023-02-22
(73)【特許権者】
【識別番号】000004237
【氏名又は名称】日本電気株式会社
(74)【代理人】
【識別番号】100103894
【氏名又は名称】家入 健
(72)【発明者】
【氏名】辻 聡
【審査官】續山 浩二
(56)【参考文献】
【文献】特開2019-117188(JP,A)
【文献】特開2017-162452(JP,A)
【文献】特開2015-031018(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G01B 21/20
G01B 21/30
G01B 21/32
(57)【特許請求の範囲】
【請求項1】
構造物の面の形状データを取得する形状データ取得手段と、
前記形状データ取得手段により取得された形状データに対して基準形状を算出する基準形状計算手段と、
前記基準形状計算手段により算出された基準形状と、該基準形状に対応する形状データとの差分に基づいて、前記面における異常候補領域を抽出する異常候補抽出手段と、
前記異常候補抽出手段により抽出された異常候補領域及び該異常候補領域近傍の領域の荒れ具合を算出する荒れ具合計算手段と、
前記異常候補抽出手段により抽出された異常候補領域のうち、前記荒れ具合計算手段により算出された荒れ具合が閾値を超えた領域を、異常として判定する異常判定手段と、
を備える、異常検出システム。
【請求項2】
請求項1記載の異常検出システムであって、
前記基準形状計算手段は、前記形状データ取得手段により取得された形状データに対する近似平面、近似曲面、近似直線、及び近似曲線のうちの少なくとも1つを、前記基準形状として算出する、異常検出システム。
【請求項3】
請求項1又は2記載の異常検出システムであって、
前記異常候補抽出手段は、前記形状データ取得手段により取得された形状データと、前記基準形状計算手段により算出された形状データに対応する基準形状と、の最小二乗誤差を算出し、該算出した最小二乗誤差が閾値を超える形状データの領域を前記異常候補領域として抽出する、異常検出システム。
【請求項4】
請求項1乃至3のうちのいずれか1項記載の異常検出システムであって、
前記荒れ具合計算手段は、 前記異常候補抽出手段により抽出された異常候補領域及び該異常候補領域近傍の領域における表面粗さ、法線ベクトルの変化率、又は曲率分布を、前記面の荒れ具合として算出する、異常検出システム。
【請求項5】
請求項1乃至4のうちのいずれか1項記載の異常検出システムであって、
前記異常判定手段は、前記異常として判定した異常候補領域の点群に対して主成分分析を行って、該点群の三次元空間上の広がりを算出することで、前記異常の大きさを算出する、異常検出システム。
【請求項6】
構造物の面の形状データを取得するステップと、
前記取得された形状データに対して基準形状を算出するステップと、
前記算出された基準形状と、該基準形状に対応する形状データとの差分に基づいて、前記面における異常候補領域を抽出するステップと、
前記抽出された異常候補領域及び該異常候補領域近傍の領域の荒れ具合を算出するステップと、
前記抽出された異常候補領域のうち、前記算出された荒れ具合が閾値を超えた領域を、異常として判定するステップと、
を含む、異常検出方法。
【請求項7】
構造物の面の形状データを取得する処理と、
前記取得された形状データに対して基準形状を算出する処理と、
前記算出された基準形状と、該基準形状に対応する形状データとの差分に基づいて、前記面における異常候補領域を抽出する処理と、
前記抽出された異常候補領域及び該異常候補領域近傍の領域の荒れ具合を算出する処理と、
前記抽出された異常候補領域のうち、前記算出された荒れ具合が閾値を超えた領域を、異常として判定する処理と、
をコンピュータに実行させる
プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、構造物の異常を検出する異常検出システム、異常検出方法、及びコンピュータ可読媒体に関する。
【背景技術】
【0002】
構造物の面の形状データを取得し、取得した形状データと、形状データに対応する基準形状と、を比較して、構造物の面における異常を検出する異常検出システムが知られている(特許文献1及び2参照)。
【先行技術文献】
【特許文献】
【0003】
【文献】特開2019-117188号公報
【文献】特許第6664569号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
ところで、例えば、トンネルのアーチ部などの構造物は、
図7に示す如く、様々な断面形状を有しており、必ずしも一定の曲率でカーブしているわけではない。このため、構造物の面の曲率変化によっては、形状データと基準形状との誤差が大きくなり、構造物の面における異常を誤検出する虞がある。
【0005】
本開示の目的は、上述した課題のいずれかを解決する異常検出システム、異常検出方法、及びコンピュータ可読媒体を提供することにある。
【課題を解決するための手段】
【0006】
上記目的を達成するための本発明の一態様は、
構造物の面の形状データを取得する形状データ取得手段と、
前記形状データ取得手段により取得された形状データに対して基準形状を算出する基準形状計算手段と、
前記基準形状計算手段により算出された基準形状と、該基準形状に対応する形状データとの差分に基づいて、前記面における異常候補領域を抽出する異常候補抽出手段と、
前記異常候補抽出手段により抽出された異常候補領域及び該異常候補領域近傍の領域の荒れ具合を算出する荒れ具合計算手段と、
前記異常候補抽出手段により抽出された異常候補領域のうち、前記荒れ具合計算手段により算出された荒れ具合が閾値を超えた領域を、異常として判定する異常判定手段と、
を備える、異常検出システム
である。
上記目的を達成するための本発明の一態様は、
構造物の面の形状データを取得するステップと、
前記取得された形状データに対して基準形状を算出するステップと、
前記算出された基準形状と、該基準形状に対応する形状データとの差分に基づいて、前記面における異常候補領域を抽出するステップと、
前記抽出された異常候補領域及び該異常候補領域近傍の領域の荒れ具合を算出するステップと、
前記抽出された異常候補領域のうち、前記算出された荒れ具合が閾値を超えた領域を、異常として判定するステップと、
を含む、異常検出方法
であってもよい。
上記目的を達成するための本発明の一態様は、
構造物の面の形状データを取得する処理と、
前記取得された形状データに対して基準形状を算出する処理と、
前記算出された基準形状と、該基準形状に対応する形状データとの差分に基づいて、前記面における異常候補領域を抽出する処理と、
前記抽出された異常候補領域及び該異常候補領域近傍の領域の荒れ具合を算出する処理と、
前記抽出された異常候補領域のうち、前記算出された荒れ具合が閾値を超えた領域を、異常として判定する処理と、
をコンピュータに実行させるプログラムが格納された非一時的なコンピュータ可読媒体
であってもよい。
【発明の効果】
【0007】
本開示によれば、上述した課題のいずれかを解決する異常検出システム、異常検出方法、及びコンピュータ可読媒体を提供するができる。
【図面の簡単な説明】
【0008】
【
図1】本実施形態に係る異常検出システムの概略的なシステム構成を示すブロック図である。
【
図2】本実施形態に係るデータ処理装置の概略的なシステム構成を示すブロック図である。
【
図3】各点の鉛直方向の座標と、算出した形状データ取得装置からの距離の平均値と、の関係を示すグラフの一例を示す図である。
【
図4】本実施形態に係る異常検出システムと従来の異常検出システムよってトンネルのアーチ部の異常検出を行った際の結果を比較した図である。
【
図5】本実施形態に係る異常検出方法のフローの一例を示すフローチャートである。
【
図6】トンネルの内壁面の崩落の3次元方向の大きさを検出した図である。
【
図7】トンネルのアーチ部の断面形状を示す図である。
【発明を実施するための形態】
【0009】
以下、図面を参照して本発明の実施形態について説明する。本実施形態に係る異常検出システムは、例えば、トンネル、道路、橋梁、建物などの構造物の面に生じる崩落、豆板、ひび、などの劣化の異常を検出するものである。
【0010】
図1は、本実施形態に係る異常検出システムの概略的なシステム構成を示すブロック図である。本実施形態に係る異常検出システム1は、形状データ取得装置2と、データ処理装置3と、を備えている。形状データ取得装置2とデータ処理装置3とは、WAN(Wide Area Netwrk)、LAN(Local Area Network)などの通信ネットワーク4を介して、通信接続されていてもよい。形状データ取得装置2とデータ処理装置3とは、一体的に構成されていてもよい。
【0011】
形状データ取得装置2は、形状データ取得手段の一具体例である。形状データ取得装置2は、構造物の壁面の形状データを取得する。構造物の形状データは、例えば、トンネルの内壁面などの形状を示す3次元点群データである。
【0012】
形状データ取得装置2は、例えば、LiDAR(Light Detection and Ranging)や、レーザースキャナーなどの光センサとして構成されている。LiDARは、例えば、レーザー光を走査しながら構造物の壁面に照射してその散乱や反射光を観測することで、構造物の壁面までの距離を計測でき、あるいは構造物の壁面の性質を特定できる。形状データ取得装置2は、記憶装置などに予め記憶された構造物の形状データを取得してもよい。形状データ取得装置2は、取得した形状データをデータ処理装置3に送信する。
【0013】
データ処理装置3は、例えば、CPU(Central Processing Unit)やGPU(Graphics Processing Unit)などのプロセッサ3aと、RAM(Random Access Memory)やROM(Read Only Memory)などの内部メモリ3bと、HDD(Hard Disk Drive)やSDD(Solid State Drive)などのストレージデバイス3cと、ディスプレイなどの周辺機器を接続するための入出力I/F3dと、装置外部の機器と通信を行う通信I/F3eと、を備えた通常のコンピュータのハードウェア構成を有する。
【0014】
データ処理装置3は、例えば、プロセッサ3aが内部メモリ3bを利用しながら、ストレージデバイス3cや内部メモリ3bなどに格納されたプログラムを実行することで、後述の各部の機能を実現することができる。
【0015】
図2は、本実施形態に係るデータ処理装置の概略的なシステム構成を示すブロック図である。本実施形態に係るデータ処理装置3は、基準形状を算出する基準形状計算部31と、異常候補を抽出する異常候補抽出部32と、異常候補の荒れ具合を算出する荒れ具合計算部33と、異常候補の異常を判定する異常判定部34と、を備えている。
【0016】
基準形状計算部31は、基準形状計算手段の一具体例である。基準形状計算部31は、形状データ取得装置2により取得された形状データに対して基準形状を算出する。基準形状計算部31は、形状データ取得装置2により取得された形状データに対する近似平面や近似曲面を、基準形状として算出する。
【0017】
基準形状計算部31は、形状データ取得装置2により取得された形状データに対する近似直線や近似曲線を、基準形状として算出してもよい。例えば、基準形状計算部31は、形状データの3次元点群を平面に投影し、その投影した点群の近似直線や近似曲線を算出する。
【0018】
より具体的には、基準形状計算部31は、形状データに含まれる3次元点群のうち、トンネル軸方向に直交する面である直交面から設定された距離内にある3次元点群を直交面に投影し、投影した点群を曲線近似あるいは直線近似する。
【0019】
さらに、基準形状計算部31は、次のように、基準形状を近似式として算出してもよい。例えば、形状データがトンネルの内壁面の点群データであるとする。まず、基準形状計算部31は、トンネルの点群データから底面部の点群データを除いた、トンネルのアーチ部の点群データを生成するのが好ましい。これは、トンネルのアーチ部と底面部とが連続していなため、アーチ部と底面部との接続部分に誤差が生じ易いからである。
【0020】
基準形状計算部31は、法線ベクトルの向きや点群の座標値に基づいて、上記トンネルのアーチ部の点群データを生成することができる。基準形状計算部31は、上記生成した形状データの点群データに含まれる各点について、形状データ取得装置2からの距離を算出する。
【0021】
基準形状計算部31は、点群データを、トンネルの軸方向へ、例えば、鉛直方向に1cmや5cmなどの所定間隔で、細く分割する。基準形状計算部31は、分割した各領域の点群に含まれる各点の鉛直方向の座標が略同一のものについて、形状データ取得装置2からの距離の平均値を算出する。
【0022】
これは、点群データを鉛直方向(Y軸方向)に分割した際に、略同一のY座標値を持つ点が複数存在することからである。なお、基準形状計算部31は、形状データ取得装置2からの距離の平均値の代わりに、距離の中間値などを代表値として算出してもよい。
【0023】
基準形状計算部31は、各点の鉛直方向の座標と、算出した形状データ取得装置2からの距離の平均値と、の関係を示すグラフを生成する。
図3は、各点の鉛直方向の座標と、算出した形状データ取得装置2からの距離の平均値と、の関係を示すグラフの一例を示す図である。
【0024】
このグラフにおいて、横軸を鉛直方向の座標(Y座標値)とし、縦軸を形状データ取得装置2からの距離の平均値とする。基準形状計算部31は、生成したグラフにおいて、形状データ取得装置2からの距離の平均値の変化を示す実データ線に対する近似式を、基準形状として算出する。
図3において、実データ線を実線で示し、近似式の線を点線で示す。
【0025】
異常候補抽出部32は、異常候補抽出手段の一具体例である。異常候補抽出部32は、形状データ取得装置により取得された形状データと、基準形状計算部31により算出された形状データに対応する基準形状と、の差分に基づいて、形状データの異常候補領域を抽出する。
【0026】
異常候補抽出部32は、例えば、最小二乗法などを用いて上記差分を算出し、形状データの異常候補領域を抽出する。異常候補抽出部32は、形状データ取得装置により取得された形状データと、基準形状計算部31により算出された形状データに対応する基準形状と、の最小二乗誤差を算出する。異常候補抽出部32は、算出した最小二乗誤差が閾値を超える形状データの領域を異常候補領域として抽出する。
【0027】
例えば、異常候補抽出部32は、
図3に示す如く、基準形状計算部31により算出されたグラフの近似式と、実データ線との差分を算出する。異常候補抽出部32は、算出した差分が正となり閾値を超えた形状データの領域を異常候補領域として抽出する。
【0028】
形状データ取得装置2からトンネルのアーチ部までの距離は、アーチ部に崩落等の異常が無ければ、
図3のAに示す如く、緩やかに変化する。一方で、アーチ部の壁面が崩落などにより剥離や剥落すると、
図3のBに示す如く、実データ線の値の方が近似式の値よりも大きくなる。
【0029】
なお、基準形状計算部31は、上述の如く、形状データ取得装置2からの距離を用いてグラフを生成し近似式を算出しているが、これに限定されない。基準形状計算部31は、形状データ取得装置2からの距離の代わりに、反射輝度値を用いてグラフを生成し近似式を算出してもよい。
【0030】
その後、上記同様に、異常候補抽出部32は、基準形状計算部31により算出されたグラフの近似式と、実データ線との差分を算出する。異常候補抽出部32は、算出した差分が正となり閾値を超えた形状データの領域を異常候補領域として抽出する。このように、近似形状を算出する際、距離の代わりに反射輝度値を用いることで、崩落のような形状変化する異常だけでなく、形状変化はあまりしないが輝度変化を起こすクラックのような異常を検出できる。
【0031】
反射輝度値は、LiDARなどの光センサによって取得される。反射輝度値は、形状データ取得装置2からの距離が大きくなるに従って小さくなる。このため、形状データ取得装置2のビーム照射方向と同方向に点群データを分割するのは望ましくなく、ビーム照射方向と直交する方向に点群データを分割するのが望ましい。
【0032】
荒れ具合計算部33は、荒れ具合計算手段の一具体例である。荒れ具合計算部33は、異常候補抽出部32により抽出された各異常候補領域及びその近傍領域に対して、面の荒れ具合を算出する。ここで、荒れ具合計算部33が、異常候補領域だけでなく、その近傍領域を含めて、面の荒れ具合を算出することで、異常候補領域の端部分についても正確に面の荒れ具合を算出することができる。
【0033】
荒れ具合計算部33は、例えば、異常候補領域及びその近傍領域を含む注目点から所定範囲内の領域の面の荒れ具合を算出する。所定範囲は、実験的に設定されてもよく、LiDARなどの点密度(点間隔)に基づいて設定されてもよい。
【0034】
荒れ具合計算部33は、例えば、各異常候補領域及びその近傍領域における表面粗さ(Ra、Rz、Rmsなど)、法線ベクトルの変化率、曲率分布などを、面の荒れ具合として算出する。
【0035】
異常判定部34は、異常判定手段の一具体例である。異常判定部34は、異常候補抽出部32により抽出された異常候補領域のうち、荒れ具合計算部33により算出された面の荒れ具合が閾値を超えた領域を異常として判定する。
【0036】
ところで、例えば、トンネルのアーチ部などの構造物は、
図7に示す如く、様々な断面形状を有しており、必ずしも一定の曲率でカーブしているわけではない。このため、構造物の面の曲率変化によっては、形状データと基準形状との誤差が大きくなり、構造物の面における異常を誤検出する虞がある。
【0037】
これに対し、本実施形態に係る異常検出システム1において、上述の如く、異常候補抽出部32は、形状データ取得装置により取得された形状データと、その形状データに対応する基準形状と、の差分に基づいて、形状データの異常候補領域を抽出する。さらに、異常判定部34は、異常候補抽出部32により抽出された異常候補領域のうち、その面の荒れ具合が閾値を超えた領域を異常として判定する。
【0038】
本実施形態によれば、上述の如く、第1段階として、形状データと基準形状との差分に基づき異常候補領域を抽出した後、さらに、第2段階として、抽出した異常候補領域に対する面の荒れ具合により異常を判定する。このような2段階の異常判定により、構造物の面における異常の誤検出を抑制できる。
【0039】
図4は、本実施形態に係る異常検出システムと従来の異常検出システムよってトンネルのアーチ部の異常検出を行った際の結果を比較した図である。
【0040】
図4の(a)に示す如く、従来の異常検出システムは、アーチ部天井面の崩落だけでなく、アーチ部天井面に生じるアーチ形状由来の差が生じる領域を異常として誤検出している。一方で、
図4の(b)に示す如く、本実施形態に係る異常検出システム1は、異常候補領域を抽出した後、その荒れ具合を判定することで、アーチ部天井面の崩落のみを検出している。
【0041】
次に、本実施形態に係る異常検出方法について説明する。
図5は、本実施形態に係る異常検出方法のフローの一例を示すフローチャートである。
【0042】
形状データ取得装置2は、構造物の壁面の形状データを取得する(ステップS101)。形状データ取得装置2は、取得した形状データをデータ処理装置3に送信する。
【0043】
データ処理装置3の基準形状計算部31は、形状データ取得装置2により取得された形状データに対して基準形状を算出する(ステップS102)。基準形状計算部31は、算出した形状データに対する基準形状を異常候補抽出部32に送信する。
【0044】
異常候補抽出部32は、形状データ取得装置2により取得された形状データと、基準形状計算部31により算出された形状データに対応する基準形状と、の差分を算出する(ステップS103)。異常候補抽出部32は、算出した差分が正となり閾値を超えた異常候補領域を抽出し、荒れ具合計算部33に送信する(ステップS104)。
【0045】
荒れ具合計算部33は、異常候補抽出部32により抽出された各異常候補領域及びその近傍領域に対して、面の荒れ具合を算出する(ステップS105)。荒れ具合計算部33は、算出した面の荒れ具合を異常判定部34に送信する。
【0046】
異常判定部34は、異常候補抽出部32により抽出された異常候補領域のうち、荒れ具合計算部33により算出された面の荒れ具合が閾値を超えた領域を異常として判定する(ステップS106)。
【0047】
なお、上記実施形態において、異常検出システム1がトンネルの内壁面に生じる崩落などの異常を検出する場合について説明されているが、異常検出システム1は、道路、橋梁、建物などの構造物の面に生じる劣化の異常を同様に検出できる。
【0048】
以上、本実施形態に係る異常検出システムは、構造物の面の形状データを取得する形状データ取得部と、形状データ取得部により取得された形状データに対して基準形状を算出する基準形状計算部31と、基準形状計算部31により算出された基準形状と、基準形状に対応する形状データとの差分に基づいて、構造物の面における異常候補領域を抽出する異常候補抽出部32と、異常候補抽出部32により抽出された異常候補領域及び該異常候補領域近傍の領域の面の荒れ具合を算出する荒れ具合計算部33と、異常候補抽出部32により抽出された異常候補領域のうち、荒れ具合計算部33により算出された面の荒れ具合が閾値を超えた領域を、異常として判定する異常判定部34と、を備えている。これにより、形状データと基準形状との差分に基づき異常候補領域を抽出した後、さらに、抽出した異常候補領域に対する面の荒れ具合により異常を判定する。これにより、構造物の面における異常の誤検出を抑制できる。
【0049】
実施形態2
本実施形態において、異常判定部34は、異常として判定した各異常領域の異常の大きさを検出する。異常判定部34は、異常として判定した各異常領域の点群に対して、主成分分析(Principal Component Analysis)を行って点群の三次元空間上の広がりを算出することで、その異常の大きさを算出できる。
【0050】
主成分分析では、主成分の固有ベクトルを軸の方向、及び主成分の固有値を分散とし、XYZ軸のうちのばらつきが大きい軸から順に第1主成分、第2主成分、及び第3主成分とする。
【0051】
例えば、異常判定部34は、異常として判定した異常領域をクラスタリングする。次に、異常判定部34は、クラスタリングして得た各クラスタに対して主成分分析を行うことで、点群の分布に沿ったXYZ座標軸の方向を算出する。
【0052】
異常判定部34は、算出した新たなXYZ座標軸上において、点群のそれぞれの方向の最大値及び最小値を算出することで、その異常の大きさを算出する。これにより、例えば、
図6に示す如く、トンネルの内壁面の崩落を検出するだけでなく、その崩落の3次元方向の大きさ(縦1.06m、横1.05m、高さ0.14mなど)を高精度に検出できる。
【0053】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他のさまざまな形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【0054】
本発明は、例えば、
図5に示す処理を、プロセッサにコンピュータプログラムを実行させることにより実現することも可能である。
【0055】
プログラムは、様々なタイプの非一時的なコンピュータ可読媒体(non-transitory computer readable medium)を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体(tangible storage medium)を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体(例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ)、光磁気記録媒体(例えば光磁気ディスク)、CD-ROM(Read Only Memory)、CD-R、CD-R/W、半導体メモリ(例えば、マスクROM、PROM(Programmable ROM)、EPROM(Erasable PROM)、フラッシュROM、RAM(random access memory))を含む。
【0056】
プログラムは、様々なタイプの一時的なコンピュータ可読媒体(transitory computer readable medium)によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
【0057】
上述した各実施形態に係るデータ処理装置3を構成する各部は、プログラムにより実現するだけでなく、その一部または全部を、ASIC(Application Specific Integrated Circuit)やFPGA(Field-Programmable Gate Array)などの専用のハードウェアにより実現することもできる。
【符号の説明】
【0058】
1 異常検出システム、
2 形状データ取得装置、
3 データ処理装置、
4 通信ネットワーク、
31 基準形状計算部、
32 異常候補抽出部、
33 荒れ具合計算部、
34 異常判定部