特開 2024-105042 点群データ処理装置、点群データ処理方法および点群データ処理用プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024105042

(43)【公開日】2024-08-06

(54)【発明の名称】点群データ処理装置、点群データ処理方法および点群データ処理用プログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240730BHJP

   G01C 15/00 20060101ALI20240730BHJP

   G01C 11/02 20060101ALI20240730BHJP

【ＦＩ】

G06T7/00 300F

G01C15/00 103E

G01C11/02

【審査請求】未請求

【請求項の数】9

【出願形態】ＯＬ

(21)【出願番号】P 2023009564

(22)【出願日】2023-01-25

(71)【出願人】

【識別番号】000220343

【氏名又は名称】株式会社トプコン

(74)【代理人】

【識別番号】100096884

【弁理士】

【氏名又は名称】末成 幹生

(72)【発明者】

【氏名】佐々木 陽

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096AA09

5L096CA05

5L096EA39

5L096FA66

5L096FA67

5L096FA69

5L096JA11

(57)【要約】      （修正有）

【課題】２つの点群データの対応関係の特定を高い精度で行える点群データ処理装置、処理方法及びプログラムを提供する。
【解決手段】点群データ処理装置１００は、第１、第２のレーザースキャン装置によるレーザースキャンによって得た第１の点群データと第２の点群データを取得する点群データ取得部１０１と、第１、第２の点群データに含まれる点の法線を算出する点の法線の算出部１０４と、第１の点群データに含まれる第１の特定の点群と第１の点群データに含まれる第２の特定の点群との対応関係の特定を行う対応関係特定部１１０とを備える。第１の特定の点群は、当該点から見た第１のレーザースキャン装置の方向と当該点の法線の方向とのなす角度が特定の値以下である点の集まりであり、第２の特定の点群は、当該点から見た第２のレーザースキャン装置の方向と当該点の法線の方向とのなす角度が特定の値以下である点の集まりである。
【選択図】図４

【特許請求の範囲】

【請求項1】

第１のレーザースキャン装置によるレーザースキャンによって得た第１の点群データと第２のレーザースキャン装置によるレーザースキャンによって得た第２の点群データを取得する点群データ取得部と、
前記第１の点群データに含まれる点および前記第２の点群データに含まれる点の法線を算出する法線算出部と、
前記第１の点群データに含まれる第１の特定の点群と前記第２の点群データに含まれる第２の特定の点群との対応関係の特定を行う対応関係特定部と
を備え、
前記第１の特定の点群は、当該点から見た前記第１のレーザースキャン装置の方向と当該点の法線の方向とのなす角度が特定の値以下である点の集まりであり、
前記第２の特定の点群は、当該点から見た前記第２のレーザースキャン装置の方向と当該点の法線の方向とのなす角度が特定の値以下である点の集まりである点群データ処理装置。

【請求項2】

前記第１の特定の点群と前記第２の特定の点群は、前記第１の点群データと前記第２の点群データが重複している領域から抽出された点群である請求項１に記載の点群データ処理装置。

【請求項3】

前記第１のレーザースキャン装置は第１のカメラを備え、
前記第２のレーザースキャン装置は第２のカメラを備え、
前記第１の点群データと前記第２の点群データが重複している前記領域は、前記第１のカメラが撮影した画像と前記第２のカメラが撮影した画像の中で共通する部分として得られる請求項２に記載の点群データ処理装置。

【請求項4】

前記第１の特定の点群は、当該点の法線が前記第１のレーザースキャン装置と前記第２のレーザースキャン装置の間の空間に指向している点の集まりであり、
前記第２の特定の点群は、当該点の法線が前記第１のレーザースキャン装置と前記第２のレーザースキャン装置の間の空間に指向している点の集まりである請求項１に記載の点群データ処理装置。

【請求項5】

前記第１の特定の点群を構成する複数の点のそれぞれには、前記第１のレーザースキャン装置から当該点までの距離に基づく重みが設定され、
前記第２の特定の点群を構成する複数の点のそれぞれには、前記第２のレーザースキャン装置から当該点までの距離に基づく重みが設定され、
前記第１の特定の点群を構成する複数の点のそれぞれに設定された前記重み、および前記第２の特定の点群を構成する複数の点のそれぞれに設定された前記重みに基づいて、前記第１の特定の点群と前記第２の特定の点群の対応関係の特定が行われる請求項１に記載の点群データ処理装置。

【請求項6】

前記第１の特定の点群を構成する複数の点のそれぞれには、当該点から見た前記第１のレーザースキャン装置の方向と当該点の法線の方向とのなす角度に基づく重みが設定され、
前記第２の特定の点群を構成する複数の点のそれぞれには、当該点から見た前記第２のレーザースキャン装置の方向と当該点の法線の方向とのなす角度に基づく重みが設定され、
前記第１の特定の点群を構成する複数の点のそれぞれに設定された前記重み、および前記第２の特定の点群を構成する複数の点のそれぞれに設定された前記重みに基づいて、前記第１の特定の点群と前記第２の特定の点群の対応関係の特定が行われる請求項１に記載の点群データ処理装置。

【請求項7】

前記対応関係を求める前の段階において、前記第１の特定の点群と前記第２の特定の点群とは、前記特定の関係より精度の低い対応関係が予め得られており、
前記段階において、
前記第１の特定の点群を構成する複数の点のそれぞれには、当該点から見た前記第１のレーザースキャン装置の方向と当該点の法線の方向とのなす角度、および当該点の近くにある前記第２の特定の点群の点から見た前記第２のレーザースキャン装置の方向と前記第２の特定の点群の前記点の法線の方向とのなす角度に基づく重みが設定され、
前記第２の特定の点群を構成する複数の点のそれぞれには、当該点から見た前記第２のレーザースキャン装置の方向と当該点の法線の方向とのなす角度、および当該点の近くにある前記第１の特定の点群の点から見た前記第１のレーザースキャン装置の方向と前記第１の特定の点群の前記点の法線の方向とのなす角度に基づく重みが設定され、
前記第１の特定の点群を構成する複数の点のそれぞれに設定された前記重み、および前記第２の特定の点群を構成する複数の点のそれぞれに設定された前記重みに基づいて、前記第１の特定の点群と前記第２の特定の点群の対応関係の特定が行われる請求項１に記載の点群データ処理装置。

【請求項8】

第１のレーザースキャン装置によるレーザースキャンによって得た第１の点群データと第２のレーザースキャン装置によるレーザースキャンによって得た第２の点群データを取得し、
前記第１の点群データに含まれる点および前記第２の点群データに含まれる点の法線を算出し、
前記第１の点群データに含まれる第１の特定の点群と前記第２の点群データに含まれる第２の特定の点群との対応関係の特定を行い、
前記第１の特定の点群は、当該点から見た前記第１のレーザースキャン装置の方向と当該点の法線の方向とのなす角度が特定の値以下である点の集まりであり、
前記第２の特定の点群は、当該点から見た前記第２のレーザースキャン装置の方向と当該点の法線の方向とのなす角度が特定の値以下である点の集まりである点群データ処理方法。

【請求項9】

コンピュータに読み取らせて実行させるプログラムであって、
コンピュータに
第１のレーザースキャン装置によるレーザースキャンによって得た第１の点群データと第２のレーザースキャン装置によるレーザースキャンによって得た第２の点群データを取得させ、
前記第１の点群データに含まれる点および前記第２の点群データに含まれる点の法線を算出させ、
前記第１の点群データに含まれる第１の特定の点群と前記第２の点群データに含まれる第２の特定の点群との対応関係の特定を行わせ、
前記第１の特定の点群は、当該点から見た前記第１のレーザースキャン装置の方向と当該点の法線の方向とのなす角度が特定の値以下である点の集まりであり、
前記第２の特定の点群は、当該点から見た前記第２のレーザースキャン装置の方向と当該点の法線の方向とのなす角度が特定の値以下である点の集まりである点群データ処理用プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、点群データの処理に関する。

【背景技術】

【0002】

異なる視点から得た点群データの対応関係を求め、両点群データを統合する技術が公知である（例えば、特許文献１や特許文献２を参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１８－４１１９２号公報

【特許文献2】特開２０２１－４７０６８号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

２つの点群データをソフトウェア処理により、マッチング処理（対応関係を求めるための処理）を行った場合、精度、マッチングの速度、安定性の点で不満がある。

【0005】

このような背景において、本発明は、２つの点群データの対応関係の特定を高い精度で行える技術の提供を目的とする。

【課題を解決するための手段】

【0006】

本発明は、第１のレーザースキャン装置によるレーザースキャンによって得た第１の点群データと第２のレーザースキャン装置によるレーザースキャンによって得た第２の点群データを取得する点群データ取得部と、前記第１の点群データに含まれる点および前記第２の点群データに含まれる点の法線を算出する法線算出部と、前記第１の点群データに含まれる第１の特定の点群と前記第２の点群データに含まれる第２の特定の点群との対応関係の特定を行う対応関係特定部とを備え、前記第１の特定の点群は、当該点から見た前記第１のレーザースキャン装置の方向と当該点の法線の方向とのなす角度が特定の値以下である点の集まりであり、前記第２の特定の点群は、当該点から見た前記第２のレーザースキャン装置の方向と当該点の法線の方向とのなす角度が特定の値以下である点の集まりである点群データ処理装置である。

【0007】

本発明において、前記第１の特定の点群と前記第２の特定の点群は、前記第１の点群データと前記第２の点群データが重複している領域から抽出された点群である態様が挙げられる。本発明において、前記第１のレーザースキャン装置は第１のカメラを備え、前記第２のレーザースキャン装置は第２のカメラを備え、前記第１の点群データと前記第２の点群データが重複している前記領域は、前記第１のカメラが撮影した画像と前記第２のカメラが撮影した画像の中で共通する部分として得られる態様が挙げられる。本発明において、前記第１の特定の点群は、当該点の法線が前記第１のレーザースキャン装置と前記第２のレーザースキャン装置の間の空間に指向している点の集まりであり、前記第２の特定の点群は、当該点の法線が前記第１のレーザースキャン装置と前記第２のレーザースキャン装置の間の空間に指向している点の集まりである態様が挙げられる。

【0008】

本発明において、前記第１の特定の点群を構成する複数の点のそれぞれには、前記第１のレーザースキャン装置から当該点までの距離に基づく重みが設定され、前記第２の特定の点群を構成する複数の点のそれぞれには、前記第２のレーザースキャン装置から当該点までの距離に基づく重みが設定され、前記第１の特定の点群を構成する複数の点のそれぞれに設定された前記重み、および前記第２の特定の点群を構成する複数の点のそれぞれに設定された前記重みに基づいて、前記第１の特定の点群と前記第２の特定の点群の対応関係の特定が行われる態様が挙げられる。本発明において、前記第１の特定の点群を構成する複数の点のそれぞれには、当該点から見た前記第１のレーザースキャン装置の方向と当該点の法線の方向とのなす角度に基づく重みが設定され、前記第２の特定の点群を構成する複数の点のそれぞれには、当該点から見た前記第２のレーザースキャン装置の方向と当該点の法線の方向とのなす角度に基づく重みが設定され、前記第１の特定の点群を構成する複数の点のそれぞれに設定された前記重み、および前記第２の特定の点群を構成する複数の点のそれぞれに設定された前記重みに基づいて、前記第１の特定の点群と前記第２の特定の点群の対応関係の特定が行われる態様が挙げられる。

【0009】

本発明において、前記対応関係を求める前の段階において、前記第１の特定の点群と前記第２の特定の点群とは、前記特定の関係より精度の低い対応関係が予め得られており、前記段階において、前記第１の特定の点群を構成する複数の点のそれぞれには、当該点から見た前記第１のレーザースキャン装置の方向と当該点の法線の方向とのなす角度、および当該点の近くにある前記第２の特定の点群の点から見た前記第２のレーザースキャン装置の方向と前記第２の特定の点群の前記点の法線の方向とのなす角度に基づく重みが設定され、前記第２の特定の点群を構成する複数の点のそれぞれには、当該点から見た前記第２のレーザースキャン装置の方向と当該点の法線の方向とのなす角度、および当該点の近くにある前記第１の特定の点群の点から見た前記第１のレーザースキャン装置の方向と前記第１の特定の点群の前記点の法線の方向とのなす角度に基づく重みが設定され、前記第１の特定の点群を構成する複数の点のそれぞれに設定された前記重み、および前記第２の特定の点群を構成する複数の点のそれぞれに設定された前記重みに基づいて、前記第１の特定の点群と前記第２の特定の点群の対応関係の特定が行われる態様が挙げられる。

【0010】

本発明は、第１のレーザースキャン装置によるレーザースキャンによって得た第１の点群データと第２のレーザースキャン装置によるレーザースキャンによって得た第２の点群データを取得し、前記第１の点群データに含まれる点および前記第２の点群データに含まれる点の法線を算出し、前記第１の点群データに含まれる第１の特定の点群と前記第２の点群データに含まれる第２の特定の点群との対応関係の特定を行い、前記第１の特定の点群は、当該点から見た前記第１のレーザースキャン装置の方向と当該点の法線の方向とのなす角度が特定の値以下である点の集まりであり、前記第２の特定の点群は、当該点から見た前記第２のレーザースキャン装置の方向と当該点の法線の方向とのなす角度が特定の値以下である点の集まりである点群データ処理方法である。

【0011】

本発明は、コンピュータに読み取らせて実行させるプログラムであって、コンピュータに第１のレーザースキャン装置によるレーザースキャンによって得た第１の点群データと第２のレーザースキャン装置によるレーザースキャンによって得た第２の点群データを取得させ、前記第１の点群データに含まれる点および前記第２の点群データに含まれる点の法線を算出させ、前記第１の点群データに含まれる第１の特定の点群と前記第２の点群データに含まれる第２の特定の点群との対応関係の特定を行わせ、前記第１の特定の点群は、当該点から見た前記第１のレーザースキャン装置の方向と当該点の法線の方向とのなす角度が特定の値以下である点の集まりであり、前記第２の特定の点群は、当該点から見た前記第２のレーザースキャン装置の方向と当該点の法線の方向とのなす角度が特定の値以下である点の集まりである点群データ処理用プログラムである。

【発明の効果】

【0012】

本発明によれば、２つの点群データの対応関係の特定を高い精度で行うことができる。

【図面の簡単な説明】

【0013】

【図1】品質の高い点を選択する原理を示す図である。

【図2】実施形態の概要図である。

【図3】レーザースキャン装置の斜視図である。

【図4】点群データ処理装置のブロック図である。

【図5】点の法線を算出する原理を示す図である。

【図6】共通部分から点を抽出する様子を示す図である。

【図7】適切でない点を説明する概念図である。

【図8】処理の手順の一例を示すフローチャートである。

【発明を実施するための形態】

【0014】

１．第１の実施形態
（原理）
レーザースキャンにより得た点群データの点（スキャン点）の位置の精度は、点へのレーザースキャン光の入射角が関係する。ここで入射角は、点の法線と該点に入射するスキャン光の光軸のなす角度、あるいは点の法線と、当該点から見た当該点を得たレーザースキャン装置（機械点）の方向との間の角度として定義される。スキャン光が点に垂直に入射する場合（点の法線とスキャン光の光軸が一致する場合）、入射角は０°であり、この場合を正対入射という。

【0015】

一般に、反射点への入射角が大きくなる程、反射点のビーム断面が変形（正対入射で円形であれば楕円形に変形）し、反射点の位置精度（つまり、点の位置精度）が低下する。言い換えると、点への入射角が大きくなる程、点の品質や信頼性が低下する。よって、スキャン光の入射角の大きい点を利用した２つの点群データのマッチングは、マッチングの精度が低くなる。具体的には、誤マッチングや位置がずれた状態でのマッチングが生じる傾向が大きくなる。

【0016】

そこで、本実施形態では、上述した品質の低い点を極力用いずに２つの点群データのマッチング（対応関係の特定）を行う。図１は、原理図である。この場合、機械点１と機械点２にカメラ付きレーザースキャン装置を設置し、レーザースキャンを行う。また、画像撮影を行う。次に、画像認識技術を用いて両機械点から共通に見える共通部分を探索する。この共通部分では、機械点１から得た第１の点群と機械点２から得た第２の点群とが重複して存在する（点同士が完全に一致するとは限らない）。

【0017】

そして、上記共通部分の点の法線を算出し、角度αとβを求める。ここで、αは機械点１から得た点に基づき算出され、βは機械点２から得た点に基づき算出される。

【0018】

そして、αが閾値以下の複数の点からなる第１の部分点群と、βが閾値以下の複数の点からなる第２の部分点群のマッチングを行う。

【0019】

この方法では、αとβが閾値以下の点を用いることで、正対入射に極力近い点を用いた点群マッチングが可能となり、マッチングの精度を高めることができる。すなわち、異なる視点から得た２つの点群データのマッチングにおいて、入射角が大きい品質の悪い点を排除してマッチングを行うので、高いマッチング精度を得ることができる。

【0020】

共通部分の見つけ方としては、上述した撮影画像を用いる以外の方法もある。例えば、２つの点群データ同士の粗マッチング（凡そのマッチング）を行うことで、凡その共通部分を見つけ出し、そこを対象に上記の処理を行う形態がある。また例えば、基準ターゲットを用いて共通部分を見つける方法、オペレータの手作業により、共通部分を見つける方法もある。また、ＧＮＳＳと方位センサを用いて、２つのレーザースキャン装置の位置と姿勢を取得し、２つの点群データの共通部分を特定する方法もある。また、各点群データに基づく３Ｄモデルを作成し、この３Ｄモデル間で共通する部分を探索し、共通部分を見つける方法もある。

【0021】

以上の２つの点群データ間での共通部分を見つける方法は、誤差を含んでいても良い。誤差があっても、ある程度共通部分を絞り込むことができれば、より精密なマッチングは、図１に関連して説明した点の法線を利用した方法で実現できる。

【0022】

（概要）
図２には、レーザースキャン装置２００、レーザースキャン装置３００、スキャン対象４００、点群データ処理装置１００が示されている。レーザースキャン装置２００と３００は、カメラ付きレーザースキャン装置であり、スキャン対象のレーザースキャンと画像撮影を行う。スキャン対象は特に限定されない（ここでは、一例として建物の例が示されている）。点群データ処理装置１００は、レーザースキャン装置２００と３００が取得した点群データを処理し、両点群データの対応関係の特定および両点群データの統合を行う。

【0023】

（レーザースキャン装置）
図３には、レーザースキャン２００が示されている。レーザースキャン装置２００と３００は同じものである。ここでは、レーザースキャン装置２００の構成を説明する。なお、レーザースキャン装置２００と３００は、以下に示す構造に限定されず、レーザースキャンにより点群データが得られ、またカメラを備えた装置であれば利用できる。また、レーザースキャン装置２００と３００が同じ装置でなくてもよい。

【0024】

レーザースキャン装置２００は、三脚２０１、三脚２０１の上部に固定されたベース部２０２、ベース部２０２上で水平回転が可能な回転体である水平回転部２０３、水平回転部２０３に対して鉛直回転が可能な回転体である鉛直回転部２０４を備えている。

【0025】

鉛直回転部２０４は、レーザースキャン光の放射と受光を行う光学系である光学部２０５を備えている。鉛直回転部２０４が鉛直回転することで、光学部２０５は鉛直回転する。光学部２０５からレーザースキャン光がパルス発光される。このパルス発光は、鉛直回転部２０４が回転しながら、その回転軸（水平方向に延長する軸）に直交する方向（鉛直面）に沿って行われる。この場合、光学部２０５から鉛直角の方向（仰角および俯角の角度方向）に沿ってレーザースキャン光がパルス発光される。

【0026】

鉛直回転部２０４を鉛直回転させながら上記のレーザースキャン光のパルス発光が行われることで、鉛直スキャンが行われる。水平回転部２０３を水平回転させ、且つ、鉛直回転部２０４を鉛直回転させながら、光学部２０５からレーザースキャン光をパルス発光させ、対象物からのその反射光を光学部２０５で受光することで、周囲に対するレーザースキャンが行われる。

【0027】

上記の鉛直スキャンと同時に水平回転部２０３が水平回転することで、鉛直スキャンのラインが水平角方向（水平方向）に沿ってずれるようにして移動する。なお、鉛直回転時に水平回転も同時に行った場合、鉛直スキャンは完全に鉛直角の方向に沿っておらず、僅かであるが少し斜めの線となる。なお、水平回転部２０３が回転しなければ、鉛直スキャンは鉛直角の方向に沿ったものとなる。

【0028】

水平回転部２０３と鉛直回転部２０４の回転は、モータにより行われる。水平回転部１０３の水平回転角と、鉛直回転部２０４の鉛直回転角は、エンコーダにより精密に計測される。

【0029】

各レーザースキャン光は、１条のパルス測距光であり、一つのレーザースキャン光により、当該レーザースキャン光が当たった反射点である点（スキャン点）の測距が行われる。この測距値とレーザースキャン光の照射方向から、レーザースキャン装置２００に対する点の位置が算出される。

【0030】

多数の点の位置データにより点群データが構成される。点群データの形態としては、各点に係る距離と方向のデータを出力する形態が挙げられる。レーザースキャン装置２００の内部において、特定の座標系における各点の位置を計算し、各点の３次元座標位置を点群データとして出力する形態も可能である。また、レーザースキャンにより得られた点群のデータには、各点の輝度（反射光の強度）の情報も含まれている。

【0031】

水平回転部２０３には、カメラ２０６が配置されている。カメラ２０６により、レーザースキャンの対象の撮影が行われる。この例において、カメラ２０６は、水平方向を中心に撮影を行う。水平回転部２０３を回転させながらカメラ２０６による撮影を連続して繰り返し行うことで、レーザースキャンの対象の撮影が行われる。この際、時間軸上で隣接する撮影画像が一部で重複するように撮影のタイミングが設定される。

【0032】

レーザースキャン装置２００におけるカメラ２０６と光学部２０５の位置と向きの関係が既知であり、カメラ２０６が撮影した画像における任意の位置とレーザースキャンによる点の位置の関係は特定できる。また、カメラ２０６が撮影した画像中にレーザースキャンによって得た点を重ねて表示した重畳画像を得ることができる。

【0033】

カメラの数を更に増やし、より広角な範囲を撮影する構成も可能である。全周カメラの利用も可能である。撮影する画像は静止画であるが、動画を撮影し、動画を構成するフレーム画像を利用する形態も可能である。

【0034】

レーザースキャン装置２００と３００は、通信装置を備え、点群データ処理装置１００との間でデータのやり取りが可能である。通信は、無線ＬＡＮや携帯電話回線を用いて行われる。また、水平回転部２０３の背面には、図示しない操作パネルが配置されている。

【0035】

（ブロック図）
図４は、点群データ処理装置１００のブロック図である。点群データ処理装置１００は、ＣＰＵ、記憶装置、ユーザーインターフェース、通信インターフェースを備えたコンピュータであり、搭載するＣＰＵによりソフトウェアが実行されることで以下の機能部が実現される。以下の機能部の一部または全部を専用のハードウェア（専用回路）で実現することもできる。

【0036】

点群データ処理装置１００は、自身を構成するコンピュータが備えた通信インターフェースを用いて、レーザースキャン装置２００およびレーザースキャン装置３００と通信が可能である。

【0037】

点群データ処理装置１００は、点群データの取得部１０１、画像データ取得部１０２，重畳画像作成部１０３、点の法線の算出部１０４、共通部分の抽出部１０５、共通部分からの点の抽出部１０６、スキャン光の光軸と点の法線に特定の関係がある点の抽出部１０７、適切でない点の除去部１０９、対応関係特定部１１０、点群データ統合部１１１を備える。

【0038】

点群データの取得部１０１は、レーザースキャン装置２００を用いたレーザースキャンにより得た点群データと、レーザースキャン装置３００を用いたレーザースキャンにより得た点群データを取得する。

【0039】

画像データ取得部１０２は、レーザースキャン装置２００のカメラ２０６とレーザースキャン装置３００のカメラ（図示せず）が撮影した画像の画像データを取得する。この画像データには、撮影時刻および撮影時におけるカメラの向きのデータが含まれている。カメラの向きは、水平回転部の向きを計測することで得られる。カメラ２０６の向きに関するデータとレーザースキャン装置２００が得た点群データとは、関連付けがされている。これは、レーザースキャン装置３００のカメラが撮影した画像データに関しても同じである。

【0040】

重畳画像作成部１０３は、カメラ２０６が撮影した画像中にレーザースキャンによって得た点（スキャン点）を重ねて表示した重畳画像を作成する。レーザースキャン装置から見た各点の方向は、点群データから得られ、特定の画像の撮影時におけるカメラの向きは画像データから得られる。よって、撮影画像と点を重ねた重畳画像を得ることができる。

【0041】

点の法線の算出部１０４は、レーザースキャンによって得た点の法線を算出する。図５は、点の法線を求める原理を示す図である。法線は、着目する点を中心とした３×３点～７×７点といった複数の点×複数の点が格子状に分布した局所点群を選択し、この局所点群にフィッティングする平面の法線として算出される。局所点群を構成する点の数を多くすると、演算の負担を減らせるが、法線の向きの精度は低下する。平面や緩い曲面の場合は、点の数が多くても法線の向きの精度は確保できる。点の法線は、レーザースキャンによって得た点群データを記述する座標系上で記述される。

【0042】

共通部分の抽出部１０５は、レーザースキャン装置２００と３００が撮影した画像の中から共通な画像部分を抽出する。すなわち、共通部分の抽出部１０５は、レーザースキャン装置２００のカメラ２０６が撮影した画像とレーザースキャン装置３００のカメラが撮影した画像の中において、共通に写っている部分を共通部分として探し出す。この処理は、画像マッチング処理ソフトウェアを用いて行われる。

【0043】

共通部分からの点の抽出部１０６は、上記共通部分におけるレーザースキャン点を抽出する。図６には、共通部分６０１、共通部分６０１に対応する点が示されている。共通部分６０１に対応する点の抽出は、共通部分の重畳画像（撮影画像と点を重ねた画像）を用いて行われる。

【0044】

共通部分から抽出される点には、レーザースキャン装置２００が取得した点群データに属する点（●の点）と、レーザースキャン装置３００が取得した点群データに属する点（〇の点）の２種類がある。共通部分からの点の抽出部１０６は、上記２種類（２系統）の点を抽出する。

【0045】

スキャン光の光軸と点の法線に特定の関係がある点の抽出部１０７は、以下の処理を行う。上述のように、共通部分からは、レーザースキャン装置２００が取得した点群データに属する点の集合と、レーザースキャン装置３００が取得した点群データに属する点の集合の２種類の点の集合が抽出される。以下、前者の点の集合を第１系統の点群、後者の点の集合を第２系統の点群と称する。

【0046】

この処理では、まず第１系統の点群の全ての点について、その法線を算出し、その法線と、その点に入射するレーザースキャン装置２００からのスキャン光の光軸とのなす角度（第１のなす角度）を求める。このなす角度は、当該点の法線の方向と、当該点から見た当該点を計測したレーザースキャン装置の光学原点の方向とのなす角度となる。この第１のなす角度は、図１のαに対応する。

【0047】

他方において、第２系統の点群の全ての点について、その法線を算出し、その法線と、その点に入射するレーザースキャン装置３００からのスキャン光の光軸とのなす角度（第２のなす角度）を求める。この第２のなす角度は、図１のβに対応する。

【0048】

次に、第１系統の点群の全ての点について、第１のなす角度が予め定めた閾値以下であるか否かの判定を行う。また、第２系統の点群の全ての点について、第２のなす角度が予め定めた閾値以下であるか否かの判定を行う。この閾値は、２０°～４５°程度の範囲から設定される。この判定に合格した点が「スキャン光の光軸と点の法線に特定の関係がある点」として抽出される。

【0049】

この処理により、第１系統の点群の中から、上記判定がＹＥＳとなった点が部分点群候補１として抽出され、第２系統の点群の中から、上記判定がＹＥＳとなった点が部分点群候補２として抽出される。以上の処理がスキャン光の光軸と点の法線に特定の関係がある点の抽出部１０７において行われる。

【0050】

部分点群候補１は、本発明の第１の特定の点群の一例であり、当該点から見た第１のレーザースキャン装置の方向と当該点の法線の方向とのなす角度が特定の値以下である点の集まりである。部分点群候補２は、本発明の第２の特定の点群の一例であり、当該点から見た第２のレーザースキャン装置の方向と当該点の法線の方向とのなす角度が特定の値以下である点の集まりの一例である。

【0051】

なお、上記の判定に合格する点が予め定めた数（例えば５００点）以上でない場合、別の部分を対象に共通部分の探索を再度行い、同様の処理を再度行う。

【0052】

適切でない点の除去部１０９は、部分点群候補１および部分点群候補２の中から、マッチングには適切でない点を除去する。上記の判定は、一方のレーサースキャン装置を基準とした判定であり、合格した点の付近が他方のレーザースキャン装置から見て品質の良い点が得られる領域である保証はない。そこで、どちらか一方のレーザースキャン装置から見て品質が良くない点を不適切な点として除去する。

【0053】

この処理は、以下のようにして行われる。まず、レーザースキャン装置２００またはレーザースキャン装置３００から見た共通部分の画像上に上記部分点群候補１および部分点群候補２を重ねた重畳画像を作成する。この重畳画像において、近くに部分点群候補２の点がない部分点群候補１の点、および近くに部分点群候補１の点がない部分点群候補２の点を「適切でない点」として除去する。点の近さは、予め定めた閾値を用いて判定する。隣接する点の間の距離は、画面上における距離を利用する。

【0054】

図７に適切でない点の一例を示す。図７の●印は、レーザースキャン装置２００が得た上記部分点群候補１の点である。図７の〇印は、レーザースキャン装置３００が得た上記部分点群候補２の点である。ここで、点６１１の付近には、レーザースキャン装置３００が得た部分点群候補２の点がない。これはこの付近におけるレーザースキャン装置３００が得た点が上記の判定に合格できず、レーザースキャン装置３００から見て品質の良い点がないことを示している。

【0055】

これは、点６１１をマッチングに利用しても、マッチングの相手となるレーザースキャン装置３００が得た点の品質が良くないことを意味する。そこで、点６１１をマッチングに適切でない点として除去する。

【0056】

部分点群候補１から上記適切でない点を除去することで得られた点群を部分点群１、部分点群候補２から上記適切でない点を除去することで得られた点群を部分点群２とする。部分点群１を本発明の第１の特定の点群の一例と捉えることもできる。また、部分点群２を本発明の第２の特定の点群の一例と捉えることもできる。

【0057】

対応関係特定部１１０は、上述の部分点群１と部分点群の２の対応関係の特定（マッチング）を行う。

【0058】

部分点群１と部分点群２は、点の法線とレーザースキャン装置からのスキャン光の光軸とのなす角がある程度小さく、レーザースキャン装置からのスキャン光がより正対入射に近い点となる。このため、点の信頼性が高く、高いマッチング精度が得られる。また、マッチングの速度や安定性の改善効果も期待できる。

【0059】

部分点群１と部分点群２は、信頼性の高い点であるが、信頼性に段階を設け、重みを付けた上でマッチングを行っても良い。

【0060】

点群データ統合部１１１は、上記部分点群１と上記部分点群２のマッチングの結果を利用して、レーザースキャン装置２００が取得した点群データと、レーザースキャン装置３００が取得した点群データとを統合する。具体的には、レーザースキャン装置２００が取得した点群データと、レーザースキャン装置３００が取得した点群データとの対応関係を特定し、２つの点群データを共通の座標系で記述したデータを作成する。この際、信頼性の高い点を利用してマッチングが行われるので、高いマッチング精度が得られる。

【0061】

（処理の手順の一例）
図８は、処理の手順の一例を示すフローチャートである。図８の処理を実行するプログラムは、点群データ処理装置１００を構成するコンピュータの記憶領域や適当な記憶媒体に記憶され、当該コンピュータのＣＰＵにより実行される。図８の処理に先立ち、測量現場におけるレーザースキャン装置２００と３００の設置、レーザースキャン装置２００と３００によるレーザースキャンおよび撮影が行われる。なお、レーザースキャン装置２００と３００の位置と姿勢の情報は未知であるとする。

【0062】

まず、レーザースキャン装置２００と３００がレーザースキャンを行うことで取得した点群データを取得する（ステップＳ１０１）。この処理は、点群データ取得部１０１において行われる。次に、レーザースキャン装置２００と３００が撮影した撮影画像の画像データを取得する（ステップＳ１０２）。この処理は、画像データ取得部１０２において行われる。

【0063】

画像データを取得したら、レーザースキャン装置２００が撮影した画像とレーザースキャン装置３００が撮影した画像の中から、共通して写っている部分を共通部分として抽出する（ステップＳ１０３）。この処理は、共通部分の抽出部１０５において行われる。

【0064】

次に、共通部分にある点を抽出する（ステップＳ１０４）。ここでは、共通部分から、レーザースキャン装置２００が得た点とレーザースキャン装置３００が得た点を抽出する。この処理は、共通部分からの点の抽出部１０６において行われる。

【0065】

次に、ステップＳ１０４において抽出された点を対象に点の法線の算出を行う（ステップＳ１０５）。この処理は、点の法線の算出部１０４において行われる。次に、ステップＳ１０５で求めた点の法線に係り、当該法線と当該点に入射するスキャン光の光軸とのなす角が予め定めた値以下である点の抽出を行う（ステップＳ１０６）。この処理は、スキャン光の光軸と点の法線に特定の関係がある点の抽出部１０７において行われる。

【0066】

次に、ステップＳ１０６で抽出した点の数が予め定めた数以上あるか否かの判定が行われ（ステップＳ１０７）、当該点の数が予め定めた数以上であれば、ステップＳ１０８に進み、そうでなければステップＳ１０３を再度実行し、別の共通部分を対象にステップＳ１０３以下の処理を繰り返す。

【0067】

ステップＳ１０８では、ステップＳ１０６において抽出した点の中らマッチングに適切でない点が除去される。この処理は、適切でない点の除去部１０９において行われる。

【0068】

次に、ステップＳ１０６において抽出され、更にステップＳ１０９において適切でない点が除去された複数の点を用いたマッチング（共通部分におけるレーザースキャン装置２００が得た点とレーザースキャン装置３００が得た点との対応関係の特定）が行われる（ステップＳ１０９）。この処理は、対応関係特定部１１０において行われる。

【0069】

次に、ステップＳ１０９の結果を利用して、レーザースキャン装置２００が得た点群とレーザースキャン装置３００が得た点群との統合を行う（ステップＳ１１０）。この処理は、点群データ統合部１１１において行われる。

【0070】

２．第２の実施形態
撮影画像を用いずに共通部分の抽出を行う形態も可能である。この場合、通常の点群マッチングにより、レーザースキャン装置２００が得た第１の点群とレーザースキャン装置３００が得た第２の点群とのマッチングを行い、両点群の共通部分を抽出する。この方法は、誤差を含むが、後で点の法線を利用した精密なマッチングが行われる。

【0071】

３．第３の実施形態
レーザースキャン装置２００とレーザースキャン装置３００の位置と姿勢が既知であれば、レーザースキャン装置２００が得た第１の点群とレーザースキャン装置３００が得た第２の点群とのマッチングが可能となる。例えば、スマートフォンのＧＮＳＳ測位装置と方位センサを用いることで、誤差を含むがレーザースキャン装置２００と３００の位置と姿勢のデータが得られる。

【0072】

この場合、レーザースキャン装置２００と３００の位置と姿勢のデータに基づき、第１の点群と第２の点群の精密なマッチングは困難であるが、凡その共通部分の抽出は可能である。共通部分を得たら、第１の実施形態で説明した点の法線を用いて、レーザースキャン装置２００が得た第１の点群と、レーザースキャン装置３００が得た第２の点群のマッチングを行う。

【0073】

４．第４の実施形態
この例では、レーザースキャン装置２００が得た第１の点群の各点について点の法線を算出し、レーザースキャン装置３００が得た第２の点群の各点について点の法線を算出する。この処理は、点の法線の算出部１０４において行われる。

【0074】

そして、法線とスキャン光の光軸のなす角が閾値以下の点を第１の点群と第２の点群のそれぞれから抽出する。この処理は、スキャン光の光軸と点の法線に特定の関係がある点の抽出部１０７において行われる。ここで、第１の点群から抽出された点群を部分点群１とし、第２の点群から抽出された点群を部分点群２とする。

【0075】

次に、上記抽出された部分点群１と部分点群２のマッチングを行う。この方法は、比較する点の数を減らせるので、演算の負担を減らし、またマッチングの精度を高めることができる。

【0076】

５．第５の実施形態
第４の実施形態は簡便であるが、一方の機械点（一方のレーザースキャン装置）から見て品質の高い点であるが、他方の機械点（他方のレーザースキャン装置）から見ると品質は低い点がマッチングの対象となる。

【0077】

この問題を緩和する方法として、他の実施形態で説明した共通部分の点に限定して処理を行う手法が挙げられる。ここでは、他のアプローチにより、上記問題に対応する例を説明する。

【0078】

この例では、レーザースキャンの前において、図２におけるレーザースキャン装置２００と３００の凡その位置と姿勢を求める。これは、簡易なＧＮＳＳ測位装置と方位センサによる計測でよい。例えば、スマートフォン搭載のＧＮＳＳ測位装置と方位センサが利用できる。もちろん、高い精度で位置と姿勢の情報を得ても良い。

【0079】

この例では、レーザースキャン装置２００が得た第１の点群の全ての点について、その法線を算出し、レーザースキャン装置３００が得た第２の点群の全ての点について、その法線を算出する。そして、レーザースキャン装置２００と３００の間の空間に法線の方向が指向する点を第１の点群および第２の点群からそれぞれ抽出する。この処理はスキャン光の光軸と点の法線に特定の関係がある点の抽出部１０７において行われる。

【0080】

例えば、レーザースキャン装置２００の光学原点とレーザースキャン装置３００の光学原点とを結ぶ線を中心として上下に±１ｍの長方形の２次元空間を設定する。この２次元空間に法線が指向する点を第１の点群および第２の点群からそれぞれ抽出する。この抽出された２つの点群が本発明の第１の特定の点群の一例および第２の特定の点群の一例となる。

【0081】

本実施形態は、以下のように捉えることもできる。まず、図１における機械点１と機械点２の間の空間に法線が向く点を機械点１から得た点群データの中から抽出して第１の特定の点群を得る。また、同様に機械点１と機械点２の間の空間に法線が向く点を機械点２から得た点群データの中から抽出して第２の特定の点群を得る。そして、第１の特定の点群と第２の特定の点群との間でマッチング（対応関係の特定）を行う。この方法によれば、図１のαとβが小さい点を用いたマッチングが行われる。

【0082】

本実施形態では、点の法線とその点への各レーザースキャン装置からのスキャン光の光軸とのなす角度がある程度小さい点が得られる。すなわち、レーザースキャン装置２００と３００にとって相対的に品質の良い点が抽出される。このため、高いマッチング精度を得ることができる。

【0083】

６．第６の実施形態
機械点から点までの距離に着目して重みづけ係数を設定してもよい。機械点から点までの距離が遠くなると、スキャン光のビームの広がりが大きくなり、点の品質が低下する。そこで、機械点からの距離が遠い点程、点のマッチングの優先度を下げるための重みづけ係数を導入する。

【0084】

例えば、機械点から点までの距離をｄとする。ここで、ｄ＜２０ｍである場合に重みづけ係数５、２０ｍ≦ｄ＜４０ｍで重みづけ係数４、４０ｍ≦ｄ＜８０ｍで重みづけ係数３、８０ｍ≦ｄ＜１６０ｍで重みづけ係数２、１６０ｍ≦ｄで重みづけ係数１とする。マッチングは、重み付け係数が大きい点を優先して行われる。

【0085】

７．第７の実施形態
点へのレーザースキャン光の入射角が小さい程、点の品質は良い。また同時に、マッチングの対象とする点は、第１の機械点および第２の機械点から見て、共に入射角が小さい点であることが望まれる。

【0086】

第１の特定の点群と第２の特定の点群のマッチングにおいて、上記の条件を考慮することで、より品質の良い点同士のマッチングが行われる。その結果、マッチングの精度、マッチングの処理の速度、マッチング結果の安定性を更に高めることができる。

【0087】

本実施形態では、２つの機械点から見て、共に高い品質の点を採用するために、以下の処理を行う。ここでは、マッチングに適した点の品質を評価するために、２種類の評価値を用いて点の品質に応じた重みづけを行う。

【0088】

まず、第１の特定の点群は、第１の機械点から得られた点群であり、第２の特定の点群は、第２の機械点から得られた点群であるとする。また、第１の特定の点群と第２の特定の点群は、２つの機械点から見て、共通する部分から抽出された点群、あるいはある程度の対応関係の特定が行われている関係にあるとする。つまり、第１の特定の点群と第２の特定の点群は、最終的に得られる対応関係に比較して低精度の対応関係（ある程度の概略の対応関係）が特定されているとする。

【0089】

第１の評価値は、点へのスキャン光の入射角により決まる。第１の評価値は、スキャン光の点への入射角をθとして、θ＜５°である場合を評価５、５≦θ＜１０°である場合を評価４、１０≦θ＜２０°である場合を評価３、２０≦θ＜３０°である場合を評価２、３０≦θ＜４５°である場合を評価１、４５≦θである場合を評価０とする。

【0090】

第２の評価値は、着目点の近くにあり、他の機械点から得た点の第１の評価値に基づき得られる。具体的には、以下のようにして第２の評価値が得られる。

【0091】

まず、第１の機械点から得たある点に着目する。この点を着目点とする。この着目点に近く、第２の機械点から得た点を当該着目点に近い順に５点抽出する。そして、この５点のそれぞれにおいて、第１の評価値を算出する。すなわち、この５点のそれぞれにおいて、第２の機械点からのスキャン光の入射角を求め、この入射角の値に基づく第１の評価値を算出する。そして、この５点の第１の評価値の平均値を第２の評価値とする。

【0092】

第１の評価値と第２の評価値の和または積を算出し、この値を当該着目点の重みづけ係数とする。第１の特定の点群の全ての点について、上記重みづけ係数を算出する。

【0093】

同様の方法により、第２の特定の点群の全ての点について、上記重みづけ係数を算出する。そして、上記の重み付け係数を用いて、第１の特定の点群と第２の特定の点群のマッチングを行う。この際、重みづけ係数の大きい点同士のマッチングを優先して行う。これにより、異なる視点から得た２つの点群のマッチングを品質の高い点を用いて行うことができる。

【0094】

第１の評価値を得る条件と第２の評価値を得る条件は、上記の例に限定されない。例えば、第１の評価値に関して、５°刻みに評価値を設定する条件や、第２の評価値に関して、着目点の周囲から選択する他の機械点から得た点の数を３点や７点とする条件も採用可能である。本実施形態を第６の実施形態と組み合わせる場合、各点に関する重み付け係数の和または積を総合的な重み付け係数として採用する。

【0095】

８．第８の実施形態
機械点１から得た第１の点群の全て、および機械点２から得た点群の全てに対して、第６および／または第７の実施形態で説明した重みづけ係数を算出し、第１の点群と第２の点群のマッチングを行う。なお、第１の点群と第２の点群の凡そのマッチングは行われているものとする。

【符号の説明】

【0096】

１００…点群データ処理装置、２００…レーザースキャン装置、２０１…三脚、２０２…ベース部、２０３…水平回転部、２０４…鉛直回転部、２０５…光学部、２０６…カメラ、３００…レーザースキャン装置、４００…計測対象。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】