特許 7304785 カメラ付きレーザー点群取得装置の制御装置、カメラ付きレーザー点群取得装置の制御方法およびカメラ付きレーザー点群取得装置の制御用プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-06-29

(45)【発行日】2023-07-07

(54)【発明の名称】カメラ付きレーザー点群取得装置の制御装置、カメラ付きレーザー点群取得装置の制御方法およびカメラ付きレーザー点群取得装置の制御用プログラム

(51)【国際特許分類】

   G01C 15/00 20060101AFI20230630BHJP

【ＦＩ】

G01C15/00 103E

G01C15/00 103A

【請求項の数】 4

(21)【出願番号】P 2019181231

(22)【出願日】2019-10-01

(65)【公開番号】P2021056151

(43)【公開日】2021-04-08

【審査請求日】2022-07-29

(73)【特許権者】

【識別番号】000220343

【氏名又は名称】株式会社トプコン

(74)【代理人】

【識別番号】100096884

【弁理士】

【氏名又は名称】末成 幹生

(72)【発明者】

【氏名】佐々木 陽

【審査官】仲野 一秀

(56)【参考文献】

【文献】米国特許出願公開第２００８／００７４６４０（ＵＳ，Ａ１）

【文献】特開２０１８－６６５７１（ＪＰ，Ａ）

【文献】特開２００８－８２７８２（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｃ １／００－１／１４

５／００－１５／１４

Ｇ０１Ｂ １１／００－１１／３０

Ｇ０１Ｃ ３／００－３／３２

Ｇ０１Ｓ ７／４８－７／５１

１７／００－１７／９５

Ｇ０６Ｔ ７／００－７／９０

(57)【特許請求の範囲】

【請求項1】

外部標定要素の関係が既知のレーザー点群取得装置とカメラを複合化したカメラ付きレーザー点群取得装置の制御を行う装置であって、
前記カメラ付きレーザー点群取得装置の前記カメラが撮影した画像の画像データを取得する画像データ取得部と、
前記画像から特定の対象物を抽出する対象物抽出部と、
前記画像の一部の指定を受け付ける指定受付部と、
前記レーザー点群取得装置によるレーザー点群の取得範囲を、前記指定を受け付けた範囲に限定する設定を行うレーザー点群取得範囲設定部と
を備え、
前記画像の一部の指定では、前記抽出された特定の対象物の指定が行なわれるカメラ付きレーザー点群取得装置の制御を行う装置。

【請求項2】

前記抽出された特定の対象物に対応したレーザースキャン密度が選択される請求項１に記載のカメラ付きレーザー点群取得装置の制御を行う装置。

【請求項3】

外部標定要素の関係が既知のレーザー点群取得装置とカメラを複合化したカメラ付きレーザー点群取得装置の制御を行う方法であって、
前記カメラ付きレーザー点群取得装置の前記カメラが撮影した画像の画像データを取得する画像データ取得ステップと、
前記画像から特定の対象物を抽出する対象物抽出ステップと、
前記画像の一部の指定を受け付ける指定受付ステップと、
前記レーザー点群取得装置によるレーザー点群の取得範囲を、前記指定を受け付けた範囲に限定する設定を行うレーザー点群取得範囲設定ステップと
を備え、
前記画像の一部の指定では、前記抽出された特定の対象物の指定が行なわれるカメラ付きレーザー点群取得装置の制御方法。

【請求項4】

外部標定要素の関係が既知のレーザー点群取得装置とカメラを複合化したカメラ付きレーザー点群取得装置の制御を行うプログラムであって、
前記カメラ付きレーザー点群取得装置の前記カメラが撮影した画像の画像データを取得する画像データ取得ステップと、
前記画像から特定の対象物を抽出する対象物抽出ステップと、
前記画像の一部の指定を受け付ける指定受付ステップと、
前記レーザー点群取得装置によるレーザー点群の取得範囲を、前記指定を受け付けた範囲に限定する設定を行うレーザー点群取得範囲設定ステップと
を実行させ、
前記画像の一部の指定では、前記抽出された特定の対象物の指定が行なわれるカメラ付きレーザー点群取得装置の制御用プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、カメラ付きレーザースキャナの制御に関する。

【背景技術】

【0002】

レーザースキャナとカメラを複合化したカメラ付きレーザースキャナがある（例えば、特許文献１を参照）。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１９－１２８１９６号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

レーザースキャンデータの利用方法の一つとして、レーザースキャンによって得た点群データ（レーザースキャン点群）に基づき、計測対象物の三次元モデルを得る技術が挙げられる。点群データは、データ量が多く、大きなデータ記憶容量が必要で、また処理を行うに際してハードウェア（例えばＰＣ等）への負担が大きいという問題がある。

【0005】

このような背景において、本発明は、カメラ付きレーザー点群取得装置が得た計測データのデータ量を抑える技術を得ることを目的とする。

【課題を解決するための手段】

【0006】

本発明は、外部標定要素の関係が既知のレーザー点群取得装置とカメラを複合化したカメラ付きレーザー点群取得装置の制御を行う装置であって、前記カメラ付きレーザー点群取得装置の前記カメラが撮影した画像の画像データを取得する画像データ取得部と、前記画像から特定の対象物を抽出する対象物抽出部と、前記画像の一部の指定を受け付ける指定受付部と、前記レーザー点群取得装置によるレーザー点群の取得範囲を、前記指定を受け付けた範囲に限定する設定を行うレーザー点群取得範囲設定部とを備え、前記画像の一部の指定では、前記抽出された特定の対象物の指定が行なわれるカメラ付きレーザー点群取得装置の制御を行う装置である。

【0007】

本発明において、前記画像から特定の対象物を抽出する対象物抽出部を備え、前記画像の一部の指定では、前記抽出された特定の対象物の指定が行なわれる態様は好ましい。本発明において、前記抽出された特定の対象物に対応したレーザースキャン密度が選択される態様は好ましい。

【0008】

本発明は、方法の発明およびプログラムの発生として把握することも可能である。

【発明の効果】

【0009】

本発明によれば、カメラ付きレーザー点群取得装置が得た計測データのデータ量を抑える技術が得られる。

【図面の簡単な説明】

【0010】

【図1】実施形態におけるカメラ付きレーザースキャナの外観図である。

【図2】実施形態におけるレーザースキャナ制御装置およびカメラ付きレーザースキャナのブロック図である。

【図3】カメラ付きレーザースキャナのカメラが撮影した画像を示す図面代用写真である。

【図4】カメラ付きレーザースキャナのカメラが撮影した画像を示す図面代用写真である。

【図5】処理の手順の一例を示すフローチャートである。

【発明を実施するための形態】

【0011】

１．第１の実施形態
（カメラ付きレーザースキャナの構造）
図１には、カメラ付きレーザー点群取得装置の一例であるカメラ付きレーザースキャナ１００が示されている。カメラ付きレーザースキャナ１００は、水平回転部１０１、支持部１０２、三脚上部の基台部１０３、基台部１０３を下方から支持する三脚１０７を有している。

【0012】

水平回転部１０１は、支持部１０２に対して水平回転する。水平回転部１０１には、鉛直回転部１０４が配置されている。鉛直回転部１０４は、水平回転部１０１に対して鉛直回転する。鉛直回転部１０４には、レーザースキャン用の測距用パルス光を出力し、また検出する光学系１０５が配置されている。

【0013】

水平回転部１０１を水平回転させ、且つ、鉛直回転部１０４を鉛直回転させた状態で数ｋＨｚ～数十ｋＨｚの繰り返し周波数で、光学系１０５から測距光を繰り返し外に向かって照射し、その反射光が光学系１０５で検出されることで、レーザースキャンが行われる。

【0014】

上記のレーザースキャンが行われることで、レーザースキャンの視点となる光学系１０５の光学原点（光学中心）を原点するレーザースキャンデータが得られる。レーザースキャンデータは、上記の光学原点からの距離と方向のデータをスキャン点（スキャン光の反射点）それぞれにおいて取得したものとなる。そして、各スキャン点の位置を適当な座標系上で記述したデータがレーザースキャン点群（レーザースキャンによって得られた３Ｄ点群データ）となる。

【0015】

ここで、カメラ付きレーザースキャナの絶対座標系における外部標定要素（上記光学原点の位置と光学系１０５の姿勢）が既知であれば、絶対座標系におけるレーザースキャン点群が得られる。絶対座標系というのは、ＧＮＳＳや地図情報を記述する際に利用される座標系である。

【0016】

カメラ１０６の外部標定要素とレーザースキャナを構成する光学系１０５の外部標定要素の関係は既知とされている。よって、カメラ１０６の撮影画像とレーザースキャン範囲との対応関係を確定することができる。

【0017】

この例では、カメラ付きレーザースキャナ１００から、レーザースキャンデータとカメラ１０６が撮影した画像の画像データが出力される。レーザースキャナとカメラ１０６による撮影は、同時に行なうこともできるし、個別に行うこともできる。

【0018】

（カメラ付きレーザースキャナのブロック図）
図２には、カメラ付きレーザースキャナ１００のブロック図が示されている。図２には、カメラ１０６、測距部１１１、水平回転角検出部１１２、鉛直回転角検出部１１３、水平回転制御部１１４、鉛直回転制御部１１５、レーザースキャンデータ出力部１１６を備えている。

【0019】

カメラ１０６が撮影した画像のデータ（画像データ）は、後述するレーザースキャナ制御装置２００に送られる。この際、当該画像の方向（画像中心の方向、カメラ１０６の光軸の方向）、画角（撮影範囲）に関する情報もレーザースキャナ制御装置２００に送られる。

【0020】

測距部１１１は、光学系１０５から出射される測距光（スキャン光）に基づく対象物までの距離の算出を行う。距離を算出する方法は、通常のレーザー測距装置と同じである。距離を算出する方法としては、（１）測距光の伝搬時間から計算する方法、（２）測距光の検出タイミングとカメラ付きレーザースキャナ１００の内部に設けられた基準光路を伝搬した基準光の検出タイミングの差（位相差）から計算する方法が挙げられる。

【0021】

水平回転角検出部１１２は、水平回転部１０１の水平回転角を検出する。鉛直回転角検出部１１３は、鉛直回転部１０４の鉛直回転角を検出する。角度の検出は、ロータリーエンコーダによって行われる。

【0022】

水平回転制御部１１４は、水平回転部１０１の水平回転を制御する。実際の構造は、水平回転部１０１を水平回転させる駆動機構、この駆動機構に駆動力を与えるモータ、このモータの制御回路を備えている。そして、この制御回路への制御信号が水平回転制御部１１４から出力される。

【0023】

鉛直回転制御部１１５は、鉛直回転部１０４の鉛直回転を制御する。実際の構造は、鉛直回転部１０４を鉛直回転させる駆動機構、この駆動機構に駆動力を与えるモータ、このモータの制御回路を備えている。そして、この制御回路への制御信号が鉛直回転制御部１１５から出力される。

【0024】

レーザースキャンデータ作成部１１７は、レーザースキャンデータを作成する。レーザースキャンデータは、各スキャン点に関する光学系１０５の光学原点（光学中心）からの距離と、光学原点からの方向のデータである。各スキャン点までの距離は、測距部１１１で算出される。各スキャン点の方向は、水平回転角検出部１１２が検出した水平回転部１０１の水平回転角と、鉛直回転角検出部１１８が検出した鉛直回転部１０４の鉛直回転角に基づき算出される。

【0025】

レーザースキャンによって直接得られるレーザースキャンデータは、各スキャン点の光学原点（レーザースキャンの視点）からの距離と方向であり、これは各スキャン点が極座標系上で記述された形態となる。この極座標系を３次元直線直交座標系に座標変換したものをレーザースキャンデータ作成部１１７で作成してもよい。

【0026】

（レーザースキャナ制御装置）
図２には、レーザースキャナ制御装置２００のブロック図が示されている。レーザースキャナ制御装置２００は、図１のカメラ付きレーザースキャナ１００のカメラ１０６が撮影した画像に基づき、カメラ付きレーザースキャナ１００のレーザースキャンの範囲の制御を行う。レーザースキャナ制御装置２００は、市販のＰＣ（パーソナルコンピュータ）を利用して構成されている。

【0027】

レーザースキャナ制御装置２００は、コンピュータとして機能する。レーザースキャナ制御装置２００が備える各機能部の機能は、使用するＰＣに図２に示す各機能部を実現するためのアプリケーションソフトウェアをインストールし、当該アプリケーションソフトウェアを構成するプログラムが当該ＰＣのＣＰＵによって実行されることで実現される。各機能部の一部または全部を各種のプロセッサや電子回路で構成してもよい。また、外部のＰＣ（パーソナルコンピュータ）やサーバの演算部を利用して、上記機能部の少なくとも一部を実現してもよい。

【0028】

レーザースキャナ制御装置２００は、画像データ取得部２０１、対象物抽出部２０２、指定受付部２０３、レーザースキャン範囲設定部２０４、制御信号出力部２０５を備えている。その他、レーザースキャナ制御装置２００は、通常のＰＣが備えるＣＰＵ、記憶装置（半導体メモリやハードディスク装置等）、通信装置、画像表示装置、ユーザーインターフェース装置を有する。

【0029】

画像データ取得部２０１は、カメラ付きレーザースキャナ１００のカメラ１０６が撮影した画像の画像データを取得する。この画像データは、撮影時におけるカメラ１０６の向きに関するデータと関連付けされており、このカメラの向きに係るデータも画像データ取得部１０２で取得される。

【0030】

対象物抽出部２０２は、カメラ１０６が撮影した画像の中から特定の対象物を抽出する。特定の対象物は、予め決められている。例えば、パイプ、蛍光灯、配線、発電機、ポンプといった予め外観が判明している対象物がライブラリーとして登録されており、その外観に合致する画像が抽出される。これは、セキュリティー分野等で実用化されている画像認証技術や画像認識技術を利用して実現されている。図３，４は、画像およびそこから抽出された対象物が写った図面代用写真である。

【0031】

指定受付部２０３は、カメラ１０６が撮影した画像中の一部の指定を受け付ける。例えば、図３の画像を、レーザースキャナ制御装置２００を構成するＰＣの表示画面上に表示する。この状態において、ユーザは、当該ＰＣが備えるＧＵＩの機能を用いて、図３の画像上の特定の部分（例えば、蛍光灯の部分）を指定する。すると、この指定に係る指示が指定受付部２０３で受け付けられる。

【0032】

レーザースキャン範囲設定部２０４は、指定受付部２０３が受け付けた対象物を含む限定された領域をレーザースキャン範囲として設定する処理を行う。

【0033】

ここでは、以下のような処理が行なわれる。まず、カメラ１０６の光学原点を起点とする指定された対象物の方向と、この対象物の範囲を取得する。カメラ１０６の光学原点（投影原点）に対する対象物の方向は、当該対象物が写った画像を解析することで得られる。ここで、この画像の撮影時におけるカメラ１０６の光軸、つまり当該画像の中心の方向は、撮影時のカメラ１０６の向きから判る。また、当該対象物の画像内の２次元位置から、当該対象物の上記画像の中心の方向と当該対象物の方向との相対関係が判る。このことから、当該対象物のカメラ１０６の光学原点を起点する当該対象物の方向が判る。

【0034】

他方で、カメラ１０６と光学系１０５の外部標定要素の関係は既知だから、上記の解析から、当該対象物の光学系１０５の光学原点から見た方向とその範囲が判る。この結果を利用して、当該対象物の存在する範囲をレーザースキャン範囲として設定する。この処理がレーザースキャン範囲設定部２０４で行なわれる。

【0035】

例えば、図４のパイプの部分が対象物として指定されたとする。この場合、カメラ付きレーザースキャナ（光学系１０５の光学原点）から見たパイプの方向およびその範囲がレーザースキャン範囲として設定される。この処理がレーザースキャン範囲設定部２０４で行なわれる。

【0036】

制御信号出力部２０５は、レーザースキャン範囲設定部２０４で設定されたレーザースキャンの範囲に係る制御信号を生成し、それをカメラ付きレーザースキャナ１００に送る。例えば、レーザースキャンの範囲を水平角と鉛直角で規定した制御信号を生成し、それをカメラ付きレーザースキャナ１００に送る。

【0037】

この制御信号により、カメラ付きレーザースキャナ１００による指示された特定の範囲に対するレーザースキャンが行われる。

【0038】

（処理の一例）
図５は、レーザースキャナ制御装置２００で行なわれる処理の一例を示すフローチャートである。図５の処理を実行するプログラムは、レーザースキャナ制御装置２００が備える記憶部や適当な記憶媒体に記憶され、そこから読み出され、レーザースキャナ制御装置２００を構成するＰＣのＣＰＵによって実行される。このプログラムをサーバに記憶し、インターネット経由でそこからダウンロードする形態も可能である。

【0039】

図５の処理に先立ち、カメラ付きレーザースキャナ１００のカメラ１０６を用いて、カメラ付きレーザースキャナ１００の周囲の撮影を行う。ここでは、上方の含めた全周（半球面）の撮影を行う。撮影は、全周に対して行われる。この際、全周を複数に分割し、この分割した範囲毎に撮影が行われる。これは、通常のパノラマ画像の作成手法と同じである。そして、この複数の画像を用いてパノラマ画像が作成される。

【0040】

また、各画像に係るカメラ１０６の光軸の方向（撮影方向）のデータも対応する画像データに関連して取得される。

【0041】

処理が開始されると、まずカメラ１０６が撮影した画像データ（パノラマ画像のデータ）が画像データ取得部２０１で取得される（ステップＳ２０１）。ここで、取得される画像データは、その画像の対象となる領域の方向（カメラ付きレーザースキャナ２００から見た方向）と関連付けされており、そのデータも同時に取得される。

【0042】

次に、ステップＳ２０１で取得した画像データの中から予め登録しておいた対象物の画像を抽出する（ステップＳ２０２）。この処理は、対象物抽出部２０２で行なわれる。この処理では、例えば、図３の蛍光灯や図４のパイプといった対象物が画像認識技術を利用して抽出される。

【0043】

次に、ステップＳ２０２で抽出された対象物に対するユーザの指定を受け付ける（ステップＳ２０３）。この処理は、指定受付部２０３で行なわれる。この処理では、レーザースキャナ制御装置２００として利用されるＰＣの画面上に、ステップＳ２０２で抽出された対象物が把握（視認）できるように表示された画像を表示させ、ＧＵＩを用いたユーザによる対象物の指定を受け付ける。例えば、マウスを用いた左クリックによって、ユーザによる対象物の指定が行なわれる。

【0044】

次に、ステップＳ２０３で受け付けた対象物が含まれるレーザースキャン範囲の設定が行なわれる（ステップＳ２０４）。この処理は、レーザースキャン範囲設定部２０４で行なわれる。この処理では、指定された対象物の領域より僅かに広い領域がレーザースキャン領域として設定される。ここで、対象物がレーザースキャン範囲から漏れないように留意する必要がある。他方で、余裕を取りすぎると、無駄なレーザースキャンを行う部分が増大する。故に、例えば、レーザースキャン領域として、指定された対象物の領域よりも５～２０％広い領域を設定する。

【0045】

ステップＳ２０４におけるレーザースキャンの範囲の設定を行ったら、この設定の内容を反映した制御信号がカメラ付きレーザースキャナ１００に出力される（ステップＳ２０５）。この処理は、制御信号出力部２０５で行なわれる。

【0046】

（優位性）
画像を利用してレーザースキャンが必要な対象物が選択され、この対象物に限定したレーザースキャンの範囲が設定される。このため、無駄なレーザースキャンが行われる問題が抑制され、レーザースキャンデータのデータ量が抑制される。

【0047】

また、レーザースキャンの範囲を限定できるので、特定の対象に集中して高密度の点群データの取得を行うことができる。

【0048】

２．第２の実施形態
第１の実施形態において、画像から抽出した対象物（パイプやポンプ等）に対応させてスキャン密度（取得する点群の密度）を指定する、あるいは選択可能にする形態も可能である。

【0049】

例えば、画像中から対象物を指定した場合に、マウスの右クリックで点群密度（解像度）のメニューが表示される。このメニューとしては、１点／ｃｍ^２、２点／ｃｍ^２、４点／ｃｍ^２・・といったものが挙げられる。

【0050】

また、対象物に対応させて、予め取得するスキャン密度（点群密度）を決めておき、それを設定する形態も可能である。またこの設定を推奨取得密度としてユーザに提示する形態も可能である。例えば、対象部がパイプであればｎ点／ｃｍ^２、対象物が照明機器であればｍ点／ｃｍ^２といった具体に、予め定めた適切なスキャン密度が選択された対象物に応じて設定される。このスキャン密度の設定は、レーザースキャン範囲設定部２０４で行なわれる。

【0051】

対象物によって、例えば、配管のパイプであれば、Ｎ点／ｃｍ^２、照明機器であればＭ点／ｃｍ^２といった具合に適切な点群密度が判っている場合がある。このような場合に、上記の態様は有効である。

【0052】

３．第３の実施形態
第１の実施形態において、対象の形状に対応させてスキャン密度に違いを持たせる態様も可能である。例えば、測定対象のポンプの中でも平面部分は点密度を粗くし、湾曲部など変化がある部分は密にスキャンする。こうすることで、点群の取得に係る作業の効率化を追求しつつ、対象物の形状を忠実に再現できる点群データを得ることができる。また、画像認識技術により、測定対象物の平坦部、変曲部を認識し、それに応じてもスキャン密度を変える態様も可能である。

【0053】

４．第４の実施形態
カメラ付きレーザー点群取得装置として、カメラとレーザースキャナを複合化したものを例示したが、カメラ付きレーザー点群取得装置として、一般にLiDAR(Light Detection and Ranging、Laser Imaging Detection and Ranging)と称されるレーザー光を用いた点群データ取得装置を利用することができる。例えば、カメラ付きレーザー点群取得装置として、カメラとフラッシュライダーを複合化したものを利用することもできる。

【0054】

LiDARについては、例えば、東芝レビューVol. 73 No6(2018年11月)や自動運転ラボ(2018年10月12日)(https://jidounten-lab.com/y_6506)に記載されている。

【0055】

例えば、カメラ付きレーザー点群取得装置として、カメラとフラッシュライダーを複合化したものを利用する場合を説明する。フラッシュライダーでは、アレイ状（マトリクス状）に発光素子と受光素子が配置され、レーザー測距光をスキャンするのではなく、アレイ状（例えば、ｍ×ｎ）のレーザー測距光を同時に照射し、その反射光を受光することで、アレイ状の点群データを得る。

【0056】

この場合、フラッシュライダーの指向方向を調整することで、対象物に対する部分的なレーザー点群データの取得が行われる。あるいは、アレイの一部の発光および／または受光を行うことで、対象物に対する限定的なレーザー測距を行い、部分的なレーザー点群の取得が行われる。

【符号の説明】

【0057】

１００…カメラ付きレーザースキャナ
１０１…水平回転部
１０２…支持部
１０３…基台部
１０４…鉛直回転部
１０５…光学系
１０６…カメラ

【図1】

【図2】

【図3】

【図4】

【図5】