IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 日立GEニュークリア・エナジー株式会社の特許一覧

特許7491862点群データ統合装置、および、点群データ統合方法
<>
  • 特許-点群データ統合装置、および、点群データ統合方法 図1
  • 特許-点群データ統合装置、および、点群データ統合方法 図2
  • 特許-点群データ統合装置、および、点群データ統合方法 図3
  • 特許-点群データ統合装置、および、点群データ統合方法 図4
  • 特許-点群データ統合装置、および、点群データ統合方法 図5
  • 特許-点群データ統合装置、および、点群データ統合方法 図6
  • 特許-点群データ統合装置、および、点群データ統合方法 図7
  • 特許-点群データ統合装置、および、点群データ統合方法 図8
  • 特許-点群データ統合装置、および、点群データ統合方法 図9
  • 特許-点群データ統合装置、および、点群データ統合方法 図10
  • 特許-点群データ統合装置、および、点群データ統合方法 図11
  • 特許-点群データ統合装置、および、点群データ統合方法 図12
  • 特許-点群データ統合装置、および、点群データ統合方法 図13
  • 特許-点群データ統合装置、および、点群データ統合方法 図14
  • 特許-点群データ統合装置、および、点群データ統合方法 図15
  • 特許-点群データ統合装置、および、点群データ統合方法 図16
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-05-20
(45)【発行日】2024-05-28
(54)【発明の名称】点群データ統合装置、および、点群データ統合方法
(51)【国際特許分類】
   G01B 11/00 20060101AFI20240521BHJP
   G06T 7/521 20170101ALI20240521BHJP
【FI】
G01B11/00 B
G06T7/521
【請求項の数】 10
(21)【出願番号】P 2021050138
(22)【出願日】2021-03-24
(65)【公開番号】P2022148453
(43)【公開日】2022-10-06
【審査請求日】2023-06-01
(73)【特許権者】
【識別番号】507250427
【氏名又は名称】日立GEニュークリア・エナジー株式会社
(74)【代理人】
【識別番号】110001807
【氏名又は名称】弁理士法人磯野国際特許商標事務所
(72)【発明者】
【氏名】佐藤 義人
(72)【発明者】
【氏名】杉本 洋平
(72)【発明者】
【氏名】関 洋
(72)【発明者】
【氏名】照沼 博之
【審査官】眞岩 久恵
(56)【参考文献】
【文献】特開2016-217941(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G01B 11/00-11/30
G06T 7/521
(57)【特許請求の範囲】
【請求項1】
前時刻に取得した点群データである第1点群と、前記第1点群よりも後時刻に取得した点群データである第2点群とで、各点の位置間の距離と第1閾値とを比較することにより、前記第1点群には存在しておらず前記第2点群において出現した出現点群と、前記第1点群にも前記第2点群にも存在する不変点群とを含めて分類する比較分類処理を行う比較分類部と、
前記出現点群と前記不変点群とを含めて統合点群を作成する統合部とを有しており、
前記比較分類部は、
レーザスキャナの計測基点であるスキャナ原点からレーザを第1物体に照射するとき、その第1物体よりも奥側にありレーザが照射されない第2物体の点群データをオクルージョン計算により隠れ点群として取得することを、前記第1点群および前記第2点群のそれぞれについて行い、
前記比較分類処理において、さらに、前記第1点群には存在し前記第2点群において消滅した消滅点群の分類処理も行い、
前記統合部は、
前記隠れ点群について、前記比較分類処理の対象からは除外して前記統合点群に含め、
前記第1点群と前記第2点群とのうち片方だけ計測されない未計測範囲に存在する点群データについて、前記比較分類処理の対象からは除外して前記統合点群に含め、
分類された前記消滅点群について、前記統合点群から除外することを特徴とする
点群データ統合装置。
【請求項2】
前記点群データ統合装置は、前記統合点群の各点について計測精度を計算する精度推定部をさらに有しており、
前記統合部は、前記精度推定部が計算した前記計測精度が他の点よりも高い点を間引かずに残す基準点とし、その基準点を中心に所定の間引き間隔以内に位置する基準点以外の点を前記統合点群から間引くことを特徴とする
請求項1に記載の点群データ統合装置。
【請求項3】
前記統合部は、前記統合点群が示す形状の曲率が小さいほど、所定の間引き間隔を長くすることを特徴とする
請求項2に記載の点群データ統合装置。
【請求項4】
前記精度推定部は、スキャナ機種ごとのパラメータ、レーザスキャナの計測基点であるスキャナ原点から計測対象物までの距離、点群データの点の色、点の曲率、点の法線ベクトル、および、レーザの反射強度のうちの少なくとも1つの入力パラメータを受ける精度推定関数により、前記計測精度を計算することを特徴とする
請求項2に記載の点群データ統合装置。
【請求項5】
前記精度推定部は、点群データ中の平面部を検出して、その平面におけるばらつきを評価して、そのばらつきが大きいほど低い数値になるように、平面部に属する点群データの各点の前記計測精度を計算することを特徴とする
請求項2に記載の点群データ統合装置。
【請求項6】
前記精度推定部は、点群データ中の平面部に属さない点では、最も近い平面部に属する点群データの各点の前記計測精度をもとに、レーザスキャナの計測基点であるスキャナ原点からの距離が長くなるほど前記計測精度が劣化するように補正することを特徴とする
請求項2に記載の点群データ統合装置。
【請求項7】
前記比較分類部は、前記比較分類処理に加え、前記第1閾値よりも大きい第2閾値と各点の位置間の距離とを比較する処理を実行し、前記第2閾値よりも位置間の距離が短い点を不確定点群として前記統合点群に含めることを特徴とする
請求項2に記載の点群データ統合装置。
【請求項8】
前記精度推定部は、前記第1点群を計測したレーザスキャナと、前記第2点群を計測したレーザスキャナとのうちの精度の悪いレーザスキャナに合わせた前記第1閾値を計算することを特徴とする
請求項2に記載の点群データ統合装置。
【請求項9】
前記精度推定部は、前記第1点群から抽出された平面部である第1近似平面と、前記第2点群から抽出された平面部である第2近似平面とが互いに最も近い近似平面組であるときに、近似平面組に属する点の点間距離の平均と、近似平面組に属する点の標準偏差とをもとに、前記第2閾値を計算することを特徴とする
請求項7に記載の点群データ統合装置。
【請求項10】
点群データ統合装置は、比較分類部と、統合部とを有しており、
前記比較分類部は、前時刻に取得した点群データである第1点群と、前記第1点群よりも後時刻に取得した点群データである第2点群とで、各点の位置間の距離と第1閾値とを比較することにより、前記第1点群には存在しておらず前記第2点群において出現した出現点群と、前記第1点群にも前記第2点群にも存在する不変点群とを含めて分類する比較分類処理を行い
前記統合部は、前記出現点群と前記不変点群とを含めて統合点群を作成することとし、
前記比較分類部は、
レーザスキャナの計測基点であるスキャナ原点からレーザを第1物体に照射するとき、その第1物体よりも奥側にありレーザが照射されない第2物体の点群データをオクルージョン計算により隠れ点群として取得することを、前記第1点群および前記第2点群のそれぞれについて行い、
前記比較分類処理において、さらに、前記第1点群には存在し前記第2点群において消滅した消滅点群の分類処理も行い、
前記統合部は、
前記隠れ点群について、前記比較分類処理の対象からは除外して前記統合点群に含め、
前記第1点群と前記第2点群とのうち片方だけ計測されない未計測範囲に存在する点群データについて、前記比較分類処理の対象からは除外して前記統合点群に含め、
分類された前記消滅点群について、前記統合点群から除外することを特徴とする
点群データ統合方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、点群データ統合装置、および、点群データ統合方法に関する。
【背景技術】
【0002】
レーザスキャンにより建造物を現物計測し、三次元位置データの集合である点群データにより、この建造物の表面形状を認識する技術が知られている。さらにこの技術は、レーザスキャナを配置する基準点を複数とり、それぞれ取得した点群データを合成し、プラント、作業現場、街並、文化財建造物などといった大規模で複雑な形態を三次元情報化することに応用される。
このような三次元計測技術は発電プラントなどにも応用されつつあり、施工時における設計との相違確認や、運用開始後の改造、改修工事などにおける事前、事後の現況把握のためなどに利用される。
【0003】
特許文献1では、点群データをボクセルにより表現し、ボクセル同士の差分をとることにより、点群データを、空間分割手法を用いて比較回数を少なくする技術が開示されている。
【0004】
特許文献2では、災害前の対象範囲を計測した第1点群データから三角形網モデルを作成しておき、災害発生後に取得した第2点群データを適正配置に調整後、差分閾値から不動領域と変動領域を分類する技術が開示されている。
【0005】
特許文献3では、落石・崩壊の危険部を地形変化として解析する方法が開示されている。この方法では、異なる時期に撮影された撮影画像から三次元形状復元技術(SfM:Structure from Motion)を用いて得た点群データPとQとをICP(Iterative Closest Point)法により位置合わせする。そして、隣接点p同士の高さ変化を閾値と所定広さの閉領域から落石・崩壊の危険部として抽出する。
【先行技術文献】
【特許文献】
【0006】
【文献】特開2016-103263号公報
【文献】特開2019-143984号公報
【文献】特開2017-207438号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
プラント内は狭い空間に多数の配管・機器が存在するので、1回の計測ですべてのプラント内から抜けなく点群データを取得することは難しい。よって、異なる時刻で複数回に分けて、同じ施設内を三次元計測することとなる。複数回の計測では、計測業者や計測機器が異なっていたり、作業に必要な個所のみ計測したり、逆に重複して計測したりということが発生しうる。
例えば、計測時刻t1の点群データはプラント内の第1領域と第2領域とを計測し、計測時刻t2の点群データはプラント内の第2領域と第3領域とを計測するような場合もある。この場合、第2領域は重複して計測される。
【0008】
そのため、作業員はプラント内の領域を網羅して把握するために、手作業で時刻t1の点群データと、時刻t2の点群データとを見比べる手間が発生する。このように、異なる時刻t1,t2,t3…に計測された点群データが多数存在すると、最新の点群データを把握するために、どのデータを参照すればよいのか不明な場合があるなど、手作業での把握は困難である。
【0009】
例えば、時刻t2の点群データは、何らかの変化を計測する目的で取得されていれば、その変更箇所(第2,3領域)を中心に取得されており、今回の作業に必要な個所(第1領域)を網羅できていない可能性がある。一方、時刻t1の点群データでは、第1領域は最新データとして取得してもよいが、第2領域は時刻t2の点群データよりも古いデータなので、取得しないほうがよい。
また、時刻t1,t2の双方を個別に参照しても、点群データ容量が大きすぎ、ダウンロード、アプリ読込、ブラウジングなどに時間がかかり、作業が困難となってしまう。
【0010】
このため、多数の時系列(時刻t1,t2,t3…)で計測された点群データを計算機が自動で統合(相互補完)し、過剰な点群データを排除し、適切な範囲で、最新の現況を示す点群データを取り扱えるようにすることが望まれる。
しかし、特許文献1、2、3などの従来の点群データ処理システムでは、同じ計測場所を監視して物体の移動を検知するような空間差分の抽出を目的としていた。つまり、過去の点群データと現在の点群データで同じ場所どうしの比較を行い、点群データが異なる個所を空間の変化として抽出する従来の手法では、過去の点群データと現在の点群データとを統合して、現在の立体認識の範囲をなるべく広く拡大させようとする用途には不向きであった。
【0011】
そこで本発明は、時刻を変えて複数回に分けて計測された点群データから、広範囲の空間でなるべく新しい点群データを統合して提供することを主な課題とする。
【課題を解決するための手段】
【0012】
上記の課題を解決するため、本発明の点群データ統合装置は以下の特徴を有する。
本発明は、前時刻に取得した点群データである第1点群と、前記第1点群よりも後時刻に取得した点群データである第2点群とで、各点の位置間の距離と第1閾値とを比較することにより、前記第1点群には存在しておらず前記第2点群において出現した出現点群と、前記第1点群にも前記第2点群にも存在する不変点群とを含めて分類する比較分類処理を行う比較分類部と、
前記出現点群と前記不変点群とを含めて統合点群を作成する統合部とを有しており、
前記比較分類部は、
レーザスキャナの計測基点であるスキャナ原点からレーザを第1物体に照射するとき、その第1物体よりも奥側にありレーザが照射されない第2物体の点群データをオクルージョン計算により隠れ点群として取得することを、前記第1点群および前記第2点群のそれぞれについて行い、
前記比較分類処理において、さらに、前記第1点群には存在し前記第2点群において消滅した消滅点群の分類処理も行い、
前記統合部は、
前記隠れ点群について、前記比較分類処理の対象からは除外して前記統合点群に含め、
前記第1点群と前記第2点群とのうち片方だけ計測されない未計測範囲に存在する点群データについて、前記比較分類処理の対象からは除外して前記統合点群に含め、
分類された前記消滅点群について、前記統合点群から除外することを特徴とする。
その他の手段は、後記する。
【発明の効果】
【0013】
本発明によれば、時刻を変えて複数回に分けて計測された点群データから、広範囲の空間でなるべく新しい点群データを統合して提供することができる。
【図面の簡単な説明】
【0014】
図1】本実施形態に関する点群データ統合装置の構成図である。
図2】本実施形態に関する点群データ統合装置のハードウェア構成図である。
図3】本実施形態に関する点間距離の数直線グラフである。
図4】本実施形態に関する点群データの一例を示すテーブルである。
図5】本実施形態に関する計測精度を推定するメイン処理を示すフローチャートである。
図6】本実施形態に関する各点のスキャナ特性による計測精度算出の詳細を示すフローチャートである。
図7】本実施形態に関する平面部の分散算出処理の詳細を示すフローチャートである。
図8】本実施形態に関する平面部以外の分散値(標準偏差値)推定処理を示すフローである。
図9】本実施形態に関する比較分類部の処理を示すフローチャートである。
図10】本実施形態に関する統合部の処理を示すフローチャートである。
図11】本実施形態に関する点群データの計測対象の一例として、会議室の俯瞰図である。
図12】本実施形態に関する図11の会議室からの分類結果を示す俯瞰図である。
図13】本実施形態に関する図12の各領域の塗りパターン(表示色)ごとの分類結果を示すテーブルである。
図14】本実施形態に関する図1の点群データ統合装置について、順番に統合処理を行う旨の説明図である。
図15】本実施形態に関する平面と点群データとの関係を示す図である。
図16】本実施形態に関する精度推定部が位置合わせ誤差を計算する場合の概略図である。
【発明を実施するための形態】
【0015】
以下、本発明の一実施形態を、図面を用いて説明する。
【0016】
図1は、点群データ統合装置10の構成図である。
点群データ統合装置10は、閾値入力部11と、精度推定部12と、比較分類部13と、統合部14と、表示部15とを有する。
取得点群109は、点群データ統合装置10による統合処理の対象として、図示しないレーザスキャンから時系列で取得された点群データである。図1では、時刻t1に取得された取得点群109-1(以下「t1点群(第1点群)」)と、時刻t2に取得された取得点群109-2(以下「t2点群(第2点群)」)とを例示する。
閾値入力部11は、図3に示す第1閾値、第2閾値などの各処理に必要なパラメータの入力を受け付ける。
【0017】
比較分類部13は、各点のt1点群からt2点群への点間距離(図3参照)と、閾値入力部11から入力された閾値とを比較することで、以下の(分類1)、(分類2)のように各点を分類する。
(分類1)t1点群の各点は、消滅点群111、不変点群113、および、隠れ点群114のいずれかとして確定される確定点群として分類される。一方、t1点群の各点のうち確定点群に分類できなかった不確定点群は、ユーザに表示して、ユーザからいずれかのいずれかの確定点群の分類を直接入力させてもよい。
(分類2)t2点群の各点は、出現点群112、不変点群113、および、隠れ点群114のいずれかとして確定される確定点群として分類される。t2点群の不確定点群についても、t1点群の不確定点群と同様に、ユーザから確定点群の分類を直接入力させてもよい。
【0018】
消滅点群111は、t1点群には存在し、t2点群において消滅した点群データである。
出現点群112は、t1点群には存在しておらず、t2点群において出現した点群データである。
不変点群113は、t1点群に存在し(不変点群113-1)、t2点群にも存在する(不変点群113-2)点群データである。
【0019】
隠れ点群114は、レーザスキャナの計測基点であるスキャナ原点からレーザを物体A(第1物体)に照射するとき、その物体Aよりも奥側(レーザ計測基点から遠い側)にある隠れて見えない(レーザが照射されない)物体B(第2物体)の点群データである。隠れ点群114は、t1点群に存在することもあるし(隠れ点群114-1)、t2点群に存在することもある(隠れ点群114-2)。
隠れ点群114は、消滅点群111にも出現点群112にも分類されないようにするため、t1点群とt2点群との比較処理(点間距離を求める処理)の対象から除外する必要がある。
【0020】
統合部14は、比較分類部13の分類結果を用いてt1点群(取得点群109-1)とt2点群(取得点群109-2)とを統合点群115へと統合(相互補完)する。具体的には、統合部14は、t1点群に含まれる各点と、t2点群に含まれる各点との和集合から、消滅点群111を除外した点群データを、統合点群115に統合する。つまり、統合点群115には、不変点群113と、隠れ点群114と、t2点群の出現点群112とが含まれる。そのため、比較分類部13は、t1点群から消滅点群111への分類処理を省略してもよい。
このように、統合部14は、時刻t2(最新時刻)では不要となった消滅点群111を機械的に除外することで、作業員が目視でt1点群とt2点群とを見比べる手作業に比べて、効率的に最新の点群データを把握できる。
表示部15は、統合部14により統合された点群データである統合点群115を表示する。
【0021】
精度推定部12は、例えばスキャナ原点からの距離が近いほど精度が高い点とみなすことで、取得点群109の計測精度110を推定する。
計測精度110は、精度推定部12によって各点の計測精度を推定した情報である。精度推定部12は、t1点群の計測精度110-1と、t2点群の計測精度110-2とをそれぞれ推定する。
この計測精度110は、過剰に密集した点群データから、計測対象を高精度かつ立体把握に充分な密度で表した点は残しつつ、その他の点を統合点群115から間引くために統合部14に用いられる。
【0022】
図2は、点群データ統合装置10のハードウェア構成図である。
点群データ統合装置10は、CPU901と、RAM902と、ROM903と、HDD904などの記憶部と、通信I/F905と、入出力I/F906と、メディアI/F907とを有するコンピュータ900として構成される。
通信I/F905は、外部の通信装置915と接続される。入出力I/F906は、入出力装置916と接続される。メディアI/F907は、記録媒体917からデータを読み書きする。さらに、CPU901は、RAM902に読み込んだプログラム(アプリケーションや、その略のアプリとも呼ばれる)を実行することにより、各処理部を制御する。そして、このプログラムは、通信回線を介して配布したり、CD-ROM等の記録媒体917に記録して配布したりすることも可能である。
【0023】
図3は、点間距離の数直線グラフである。
t1点群に着目したグラフ201について、t1点群の点を基準点(ゼロ距離)として、基準点の位置に最も近いt2点群の点との間の距離を点間距離とする。
比較分類部13は、以下のようにt1点群の各点を分類する。
・点間距離がゼロ距離以上第1閾値未満である場合、そのt1点群の基準点を不変点群113に分類する。
・点間距離が第1閾値以上第2閾値未満である場合、そのt1点群の基準点を不確定点群に分類する。
・点間距離が第2閾値以上である場合、そのt1点群の基準点を消滅点群111に分類する。
なお、第1閾値は不変点群113か否かを判定する閾値であり、第2閾値は位置合わせ誤差の閾値である。
【0024】
同様に、t2点群に着目したグラフ202について、t2点群の点を基準点(ゼロ距離)として、基準点に最も近いt1点群の点との間の距離を点間距離とする。
比較分類部13は、以下のようにt2点群の各点を分類する。
・点間距離がゼロ距離以上第1閾値未満である場合、そのt1点群の基準点を不変点群113に分類する。
・点間距離が第1閾値以上第2閾値未満である場合、そのt1点群の基準点を不確定点群に分類する。
・点間距離が第2閾値以上である場合、そのt1点群の基準点を出現点群112に分類する。
【0025】
なお、点間距離と第2閾値とを比較しない構成も可能である。その場合、比較分類部13は、図3の不確定点群について、t1点群なら消滅点群111に分類し、t2点群なら出現点群112に分類すればよい。
【0026】
図4は、点群データ203の一例を示すテーブルである。点群データ203は、一般的なレーザスキャナから図1の取得点群109として取得される。
点群データ203の1行目(座標情報、色情報、反射強度)および2行目(x,y,z,R,G,B,I)は各列のデータの意味を示す(実際のデータには含まれない)。点群データ203の3行目以下の各行は、点群データのある1点におけるデータを示す。
座標情報の列(x、y、z)は、3次元空間内の1点の座標値を示す。色情報の列は、R、G、Bで色情報を示す値である。反射強度Iの列は、レーザの反射強度を示す値である。
【0027】
点群データ203のほか、スキャナ原点および、位置合わせにおける回転、平行移動行列は、点群データ統合装置10に与えられるものとする。一般的にレーザスキャナの場合、スキャナから発射されたレーザが対象物に当たり、反射したレーザがスキャナに到達する時間から距離を計測する。このため、スキャナから対象物までの距離が短いほど、また、レーザの反射強度が高いほど精度が高いと考えられる。このほか、対象物の素材や当たった面の角度や、曲率などによっても影響がある。
【0028】
このような計測精度110は、レーザスキャナの機種ごとに異なり、メーカごとに仕様として公開されているが、対象物の条件は比較的計測しやすい物体に限られていると考えられる。このため、実際の計測誤差を考慮するためには、予め様々な形状・材質の物体の計測精度110を計測するための精度推定関数として用意しておくとよい。
精度推定関数f(S,D,Cl,Cv,n,I)は、例えば、スキャナ機種ごとのパラメータ、計測対象物のレーザスキャナの計測基点であるスキャナ原点からの距離、点群データの点の色、点の曲率、点の法線ベクトル、および、レーザの反射強度を入力パラメータとする。
Sはスキャナ機種を表し、Dはスキャナ原点からの距離、Clは、点の色、Cvは点の曲率、nは法線ベクトル、Iは反射強度である。なお、精度推定関数への入力パラメータは、前記した6つのパラメータのうちの少なくとも1つのパラメータを用いてもよい。
【0029】
また、精度推定部12は、精度推定関数による計測精度110の推定方法の他にも、点群データの計測精度110を推定する別の方法を用いてもよい。例えば、精度推定部12は、計測された点群データから例えば、平面部と考えられる範囲を抽出し、これらの点に対して主成分分析を行うことにより得られる法線ベクトルと、重心位置を用いて、近似平面を算出する。
そして、精度推定部12は、算出した近似平面に対する距離分布を求め、その標準偏差値を求めることにより点群データの計測精度110を推定する。
【0030】
図5は、精度推定部12が計測精度110を推定するメイン処理を示すフローチャートである。
精度推定部12は、t1点群またはt2点群の取得点群109を点群データc(i)として読み込む(S101)。c(i)のi=1,2,3…のiは、点群データに含まれる各点を示す。
【0031】
精度推定部12は、各点のスキャナ特性による計測精度110を算出する(S102)。
そのため、計測精度110は、例えば、カタログベースで推定する場合、スキャナ機種Sに対して基本となる計測誤差を、スキャナからの距離10mに対して±1mm等の距離の次元の値として与える。基準の距離をdbase(S)とし、基準の計測誤差をpbase(S)とする。
次に、精度推定部12は、t1点群およびt2点群の各点について、スキャナ原点からの距離Dにより、各点の計測誤差を補正する。
各点c(i)(i=1,2,3,…)に対する計測誤差p(i)は、スキャナ原点からc(i)までの距離D(i)を用いて、「p(i)=D(i)/ dbase(S)×p(S)」として求める。実測値ベースで求める場合は、精度推定部12は、後記する図6のフローチャートの処理で求める。
【0032】
精度推定部12は、点群データから平面部を抽出し、平面近似することにより当該部分の点群データの分散を算出し、当該部分の計測精度110を推定する(S103)。
精度推定部12は、S103で抽出されなかった部分の点群データについて平面部に抽出された点群データの分散から当該部分の計測精度110を推定する(S104)。
【0033】
精度推定部12は、S102~S104で得られた計測精度110をまとめて、各点の計測精度110を算出する(S105)。
そのため、S102では、精度推定部12は、各点における計測精度p(i)を推定した。S103では、精度推定部12は、平面部にあると推定される点について、局所的な近似平面からの距離の平均値と、距離のばらつきとして標準偏差値を求め、対象となる各点の平均誤差m(i)、標準偏差σ(i)を求めた。
【0034】
さらに、t1点群における平面部と最も近いt2点群における平面部との平均距離を求め、これを位置合わせ誤差pL(i)とする(詳細は図16)。S104では、精度推定部12は、平面部ではないと推定される点について、最も近い平面部の点における平均誤差と、標準偏差をスキャナ原点からの距離で補正した値を平均誤差m(i),標準偏差σ(i)として求める。
S105では、精度推定部12は、p(i)とm(i)の大きい方を、推定計測精度pe(i)=計測精度110とする。
【0035】
図6は、各点のスキャナ特性による計測精度算出(S102)の詳細を示すフローチャートである。
精度推定部12は、S101で読み込んだ点群データの各点c(i)について、順に選択するループ処理を行う(S401~S406)。
【0036】
精度推定部12は、点c(i)の近傍に存在する点を抽出し、これらの近傍点が示す曲面の曲率および法線を算出する(S402)。
法線の計算として、一般的には、主成分分析により、対象点の周辺で示される曲面の法線が得られる。ただし、点群データには明確な表裏が無いため、法線の候補は180度反転した2つのスキャナ原点が既知であれば、それらのスキャナ原点から法線を一意に求めることができる。法線は必ずスキャナ原点に対して角度が90度以上となる(ベクトルの内積が負)ためである。
【0037】
精度推定部12は、スキャナ原点からの距離を算出する(S403)。スキャナ原点の座標が既知であるため、当該座標と、原点座標との差分ベクトルの長さを計算すればよい。
精度推定部12は、精度推定関数f(S,D,Cl,Cv,n,I)を用いて(法線、曲率、距離、反射強度から計測誤差を検索することで)、計測精度110の値pを得る(S404)。
精度推定部12は、得られたpを計測精度値p(i)として、対象点の登録情報として追加する。具体的には図4のテーブルに対して計測精度110の情報として1列追加し、当該点の行の当該列に計測精度値p(i)を書き込む(S405)。
【0038】
図7は、平面部の分散算出処理(S103)の詳細として、点群データから平面部を探索し、各平面について点のばらつきを評価する処理を示すフローチャートである。
精度推定部12は、入力点群データc(i)から部分平面を探索する(S501)。部分平面(平面部)とは、点群データ内で平面に近い形状である部分を示す。
【0039】
精度推定部12は、S501で抽出された各平面部Pl(j)について、順に選択するループ処理を行う(S502~S514)。Pl(j)は、j番目の平面部を示す。
精度推定部12は、S504はPl(j)に対応する点群データ{c_p(j,k)}の各点c(i)について、順に選択するループ処理を行う(S503~S505)。このループ内で、精度推定部12は、c_p(j,k)とPl(j)との距離d_p(j,k)を計算する(S504)。
【0040】
図15は、平面Pl(j)と、点群データ{c(j,k)}との関係を示す図である。点群データ1301は、黒丸として図示する点の集合である。点群データ1301の近似平面Pl(j)を近似平面1302とし、点群データ1301の中の1点1303と、近似平面1302との距離1304を距離d_p(j,k)とする。
【0041】
図7に戻り、精度推定部12は、算出された全距離から平均m_j、標準偏差σ_jを算出する(S506)。
精度推定部12は、Pl(j)に対応する点群{c_p(j,k)}の各点について、順に選択するループ処理を行う(S511~S513)。このループ内で、精度推定部12は、図4のテーブルに対してS405の計測精度値pに加えて、さらに2列(平均m_j、標準偏差σ_j)を計測精度110の情報として追加する(S512)。
このように、精度推定部12は、点群データ中の平面部を検出して、その平面におけるばらつき(平面部分を抽出し、当該平面からみた垂直方向のばらつき)を評価する。つまり、精度推定部12は、そのばらつきが大きいほど低い数値になるように、平面部に属する(平面部近傍に位置する)点群データの各点の計測精度110を計算する。
【0042】
図8は、平面部以外の分散値(標準偏差値)推定処理(S104)を示すフローである。
精度推定部12は、点群データ{c(i)}の各点c(i)について、順に選択するループ処理を行う(S601~S609)。
精度推定部12は、c(i)が平面部の分散算出処理(S103)で平面部として抽出された点であるか否かを判断する(S602)。S602でYesなら次の点(i+1)の処理へ移行するため、ループ終点のS609に進む。S602でNoならS603に進む。
【0043】
精度推定部12は、c(i)に対して最も近い平面部の点c_pminを探索し(S603)、c(i)とスキャナ原点との距離diを求める(S604)。
精度推定部12は、c_pminとスキャナ原点との距離dpを求め(S605)、c_pminの平均m_p、標準偏差σ_pを求める(S606)。
精度推定部12は、c(i)の平均m(i)=m_p・di/dpと、c(i)の標準偏差σ(i)=σ_p・di/dpとを補間して計算し(S607)、その計算結果(平均、標準偏差)を図4のテーブルに対して計測精度110の情報として追加する(S608)。
このように、精度推定部12は、点群データ中の平面部に属さない点では、最も近い平面部に属する点群データの各点の計測精度110をもとに、レーザスキャナの計測基点であるスキャナ原点からの距離が長くなるほど計測精度110が劣化するように補正する。
【0044】
図9は、比較分類部13の処理を示すフローチャートである。
比較分類部13は、t1点群をc1(i)として読み込み(S701)、t2点群をc2(i)として読み込む(S702)。
比較分類部13は、オクルージョン(遮蔽)計算により隠れ点群114を抽出する(S703)。比較分類部13は、隠れ点群114をt1点群とt2点群との比較対象から除外することで、統合点群115に含める。
【0045】
図11は、点群データの計測対象の一例として、会議室の俯瞰図である。
点群データ901はスキャナ原点s11~s14から計測されたt1点群を示し、点群データ902はスキャナ原点s21、s22から計測されたt2点群を示す。
消滅点群111の一例として、点群データ901内のソファ903,904は、点群データ902には存在しない。
出現点群112の一例として、点群データ902内のホワイトボード(WB)906,907は、点群データ901には存在しない。
不変点群113の一例として、領域905内のテーブルおよび4つのソファは、点群データ901内の位置から点群データ902内の位置へと若干右側に移動した。
【0046】
ここで、点群データ902では、スキャナ原点s21、s22から見て影となる領域(影領域)が多く存在している。影領域とは、例えば、ホワイトボードの近くの壁や、ソファの後ろの床、スキャナ自身の直下の床などである。これらの影領域には点群データが存在しないため、もし比較分類部13がt1点群とt2点群とを単純に比較すると、壁や床が消滅したと判断されてしまう。そこで、比較分類部13は、影領域に存在する点群データをオクルージョン計算により隠れ点群114として抽出する。
【0047】
なお、点群データの計測作業では、最初に部屋全体を計測し、その後部屋の中に変化があった時に再計測することがある。再計測では計測工数の観点から全体計測が行わないことも多いため、t1点群とt2点群とのうち、片方だけ計測されない範囲(未計測範囲)も存在することもある。
このような未計測範囲の点群データは、t1点群とt2点群との比較による差分検出の対象外として隠れ点群114と同じように統合点群115に含めることが望ましい。なお、未計測範囲の点群データの検出には、例えば特開2019-211264に開示された方法が利用可能である。
【0048】
図9に戻り、比較分類部13は、S703で検出した隠れ点群114は除外しつつ、除外されなかったt1点群とt2点群との間で各点の点間距離を計算する(S704)。
なお、t1点群のある点c_t1(i)に対して、t2点群の中で点c_t1(i)の位置から最も近い点c_t2(i)とする。各点に対する計測誤差pe_t1(i)、pe_t2(i)、標準偏差値σ_t1(i)およびσ_t2(i)とする。図3のグラフ201、202で説明した点間距離とは、点c_t1(i)と点c_t2(i)との距離である。
【0049】
比較分類部13は、図3のグラフ201、202で説明したように第1閾値、第2閾値をもとに、S701,S702で読み込まれた各点群データ(t1点群、t2点群)を分類する(S705)。この分類結果として、各点群データは、S704で事前に除外された隠れ点群114と、不変点群113と、t1点群の消滅点群111と、t2点群の出現点群112とのいずれかに分類される。
【0050】
ここで、比較分類部13は、精度推定部12で得られた計測精度110から、以下の(計算1)~(計算4)のいずれかの計算によりS705の分類に用いる第1閾値を計算してもよい。
(計算1)pe_t1(i)+σ_t1(i)およびpe_t2(i)+σ_t2(i)のうち大きい方を第1閾値とする(各点において閾値を変更する場合)。
(計算2)各点群データ(t1点群、t2点群)について、すべての点の計測精度110の平均値を、pe_m_t1、pe_m_t2、標準偏差の平均をσ_m_t1、σ_m_t2としたとき、pe_m_t1+γσ_m_t1と、pe_m_t2+γσ_m_t2の大きい方を第1閾値とする(すべての点で同じ閾値を使用する場合)。
(計算3)pe_m_t1+pe_m+t2+γ(σ_m_t1^2+σ_m_t2^2)^(1/2)を第1閾値として用いる(平均値とばらつきをt1とt2で合成する場合)。記号「^」はべき乗を示す。
(計算4)前記の(計算3)に位置合わせ誤差の平均pL_m_t1およびpL_m_t2を考慮して、(pe_m_t1+pe_m+t2)/2+(pL_m_t1およびpL_m_t2)/2+γ(σ_m_t1^2+σ_m_t2^2)^(1/2)を第1閾値とする。ただし、γは2~4程度の値である。
この(計算1)~(計算4)の計算により、精度推定部12は、t1点群を計測したレーザスキャナと、t2点群を計測したレーザスキャナとで、精度の悪いレーザスキャナに合わせた第1閾値を計算する。
【0051】
図12は、図11の会議室からS705の分類結果を示す俯瞰図である。
図13は、図12の各領域の塗りパターン(表示色)ごとの分類結果を示すテーブルである。このテーブルでは、領域の番号(No)ごとに、時刻t1→t2における現象と、t1点群とt2点群との差分と、分類結果と、その分類結果に対応した表示色とを対応付ける。なお、図13のテーブルには言及されていないが、黒で塗られた領域は、点群データが存在しない領域である。
以下、No.4の「移動前後ソファの一部」などの不確定点群について説明する。
【0052】
S705の処理で用いる第1閾値は、点群データの本来の意味での計測精度110(計測器の不確かさ)による分類閾値を意味している。
まず、複数のショット(t1点群、t2点群)を統合(合成)する際、同じものを計測した点群データが一致するように位置合わせをする必要がある。この位置合わせに誤差があると、点群データにずれが生じる可能性がある。
このようなずれは、計測器の本来の計測精度110に対して大きくなる場合がある。これらを考慮して、第1閾値よりも大きな第2閾値を用いることにより、比較分類部13は、消滅点群111や出現点群112とは別に、第2閾値よりも点間距離が小さい点群データを不確定点群に分類する。
【0053】
図16は、精度推定部12が位置合わせ誤差を計算する場合の概略図である。
点群データ1401の各黒丸は、t1点群から抽出された平面部の近似平面1403すなわちPl_t1(j)に対する点群データ{c_t1_p(j,k)}を構成する点である。近似平面1403は、点群データ1401に最も近い平面Pl_t1(j)である。
点群データ1402の各白丸は、t2点群から抽出された平面部の近似平面1404すなわちPl_t2(η)に対する点群データ{c_t2_p(η,l)}を構成する点である。近似平面1404は、点群データ1402に最も近い平面Pl_t2(η)である。
【0054】
近似平面1403,1405間の点間距離1405の平均をm_jηとする。つまり、精度推定部12は、t1点群から抽出された平面部である第1近似平面と、t2点群から抽出された平面部である第2近似平面とが互いに最も近い近似平面組であるときに、近似平面組に属する点の点間距離の平均と、近似平面組に属する点の標準偏差とをもとに、第2閾値を計算する。
【0055】
図10は、統合部14の処理を示すフローチャートである。
統合部14は、t1点群のうち、不変点群113と、隠れ点群114と、不確定点群とを読み込む(S801)。
統合部14は、t2点群のうち、出現点群112と、不変点群113と、隠れ点群114と、不確定点群とを読み込む(S802)。
そして、統合部14は、S801で読み込んだt1点群と、t2点群とを統合点群115に統合する。このとき、統合部14は、統合した統合点群115から、S803~S806で示す間引き処理を行ってもよい。
【0056】
統合部14は、統合点群115から、予め与えられた第3閾値以上の計測精度110の点を抽出する(S803)。この処理により、t1点群、t2点群とも同じ形状を計測した点群データでも、より計測誤差の小さい点群データを抽出できる。
統合部14は、S803で抽出した各点群データについて、精度推定部12で算出した曲率に基づき、間引き間隔dを決定する(S804)。
【0057】
なお、S804の間引き間隔dは、曲率κとしたとき、d=1/(α・κ)で与えるものとする。αはあらかじめパラメータとして与えられる定数である。ただし、統合部14は、間引き間隔d>dmax以上となる場合は、間引き間隔d=dmaxに置き換える(S805)。dmaxとはあらかじめ与える最大の間引き間隔である。これにより、曲率が小さい、すなわち平面に近い場合は、間引き間隔d=dmaxとなり、より多くの点が間引かれる。
一方、曲率が大きい、すなわち形状変化の大きい箇所は、間引き間隔が小さくなるため、間引かれずに残った点の密度が高くなり、残った点が示す立体形状が確認しやすい状態となる。
【0058】
統合部14は、S803で抽出した計測精度110が高い点を間引かずに残す基準点とし、その基準点を中心にS805で計算した半径=間引き間隔d以内の領域(間引き領域)に存在する基準点以外の点(間引き対象点)を対象に間引きを実行する(S806)。
なお、統合部14は、間引き領域に存在するすべての間引き対象点を間引いてもよいし、間引き領域に存在する間引き対象点が所定の密度になるように(例えば曲率が小さいほど密度が低くなるように)一部の間引き対象点だけを間引いてもよい。
【0059】
図14は、図1の点群データ統合装置10について、時系列の各段階(時刻t1,t2,…,tN)で点群データを、順番に(N-1)回の統合処理を行う旨の説明図である。
1回目の統合処理では、図1に示したように、点群データ統合装置10は、前時刻の取得点群109-1(t1点群)と、後時刻の取得点群109-2(t2点群)とを入力とし、統合点群115(図14の統合点群115-2)を出力した。
2回目の統合処理では、点群データ統合装置10は、前時刻の取得点群109(統合点群115-2)と、後時刻の取得点群109-3とを入力とし、統合点群115-3を出力する。このように、i回目の統合処理の結果が、(i+1)回目の統合処理の入力データとなる。
N回目の統合処理では、点群データ統合装置10は、(N-1)回目の統合処理の結果である統合点群115-(N-1)を前時刻として入力し、後時刻の取得点群109-Nを入力とし、統合点群115-Nを出力する。
【0060】
以上説明した本実施形態の点群データ統合装置10は、2つ以上の異なる時刻(前時刻t1、後時刻t2)においてレーザスキャナなどにより計測された3次元点群データ(t1点群、t2点群)を比較分類部13に分類させ、その分類結果をもとに統合点群115として統合部14に統合させる。
これにより、t1点群とt2点群とを個別に表示して作業員に比較させる方式に比べ、t1点群の消滅点群111が統合点群115には含まれないので、作業員は現場の現況とあっている点群データを効率的に把握できる。
【0061】
さらに、点群データ統合装置10は、統合点群115内に点が過密に存在する場合には、精度推定部12が推定した点ごとの計測精度110をもとに、間引きを実行する(S806)。
これにより、過剰に点群データを取得しても、計測対象を立体把握するために高精度かつ充分な密度となる点群データを統合点群115に残せる。よって、点群データの処理操作が遅い、データ保存容量を圧迫する、精度がばらついた点群データが混在するなどの弊害を抑制できる。
【0062】
なお、本発明は前記した実施例に限定されるものではなく、さまざまな変形例が含まれる。例えば、前記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。
また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。
また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。また、上記の各構成、機能、処理部、処理手段などは、それらの一部または全部を、例えば集積回路で設計するなどによりハードウェアで実現してもよい。
また、前記の各構成、機能などは、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。
【0063】
各機能を実現するプログラム、テーブル、ファイルなどの情報は、メモリや、ハードディスク、SSD(Solid State Drive)などの記録装置、または、IC(Integrated Circuit)カード、SDカード、DVD(Digital Versatile Disc)などの記録媒体におくことができる。また、クラウドを活用することもできる。
また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際にはほとんど全ての構成が相互に接続されていると考えてもよい。
さらに、各装置を繋ぐ通信手段は、無線LANに限定せず、有線LANやその他の通信手段に変更してもよい。
【符号の説明】
【0064】
10 点群データ統合装置
11 閾値入力部
12 精度推定部
13 比較分類部
14 統合部
15 表示部
109-1 取得点群(第1点群)
109-2 取得点群(第2点群)
110 計測精度
111 消滅点群
112 出現点群
113 不変点群
114 隠れ点群
115 統合点群
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16