IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社トプコンの特許一覧

<>
  • 特開-演算装置、演算方法およびプログラム 図1
  • 特開-演算装置、演算方法およびプログラム 図2
  • 特開-演算装置、演算方法およびプログラム 図3
  • 特開-演算装置、演算方法およびプログラム 図4
  • 特開-演算装置、演算方法およびプログラム 図5
  • 特開-演算装置、演算方法およびプログラム 図6
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024046228
(43)【公開日】2024-04-03
(54)【発明の名称】演算装置、演算方法およびプログラム
(51)【国際特許分類】
   G01C 15/00 20060101AFI20240327BHJP
   E02F 9/20 20060101ALI20240327BHJP
   E02F 9/24 20060101ALI20240327BHJP
【FI】
G01C15/00 104D
G01C15/00 103A
G01C15/00 102C
E02F9/20 C
E02F9/20 M
E02F9/24 B
【審査請求】未請求
【請求項の数】7
【出願形態】OL
(21)【出願番号】P 2022151483
(22)【出願日】2022-09-22
(71)【出願人】
【識別番号】000220343
【氏名又は名称】株式会社トプコン
(74)【代理人】
【識別番号】100096884
【弁理士】
【氏名又は名称】末成 幹生
(72)【発明者】
【氏名】佐々木 剛
【テーマコード(参考)】
2D003
2D015
【Fターム(参考)】
2D003AA01
2D003BB04
2D003DB04
2D003DB05
2D003FA02
2D015HB04
2D015HB05
(57)【要約】
【課題】重機上の視点から得た三次元情報の取得を可能とする。
【解決手段】レーザースキャナ101と反射プリズム102を搭載した重機100の反射プリズム102の位置を特定の座標系上での位置と姿勢が既知のトータルステーション200により追尾しつつ測定した測定データを受け付け、レーザースキャナ101が得たレーザースキャン点群を取得し、前記測定データおよびレーザースキャナ200の姿勢に基づき、前記レーザースキャン点群を前記特定の座標系に座標変換し、前記座標変換により得た点群データの時間軸上における変化を検出し、前記点群データの前記時間軸上における前記変化に基づき、前記重機の作業の内容を特定する。
【選択図】図1

【特許請求の範囲】
【請求項1】
レーザースキャナと反射プリズムを搭載した重機の前記反射プリズムの位置を特定の座標系上での位置と姿勢が既知の測量装置により追尾しつつ測定した測定データを受け付ける測定データ受付部と、
前記レーザースキャナが得たレーザースキャン点群を取得するレーザースキャン点群取得部と、
前記測定データおよび前記レーザースキャナの姿勢に基づき、前記レーザースキャン点群を前記特定の座標系に座標変換する座標変換部と、
前記座標変換により得た点群データの時間軸上における変化を検出する変化検出部と、
前記点群データの前記時間軸上における前記変化に基づき、前記重機の作業の内容を特定する作業内容特定部と
を備える演算装置。
【請求項2】
前記点群データの前記時間軸上における前記変化に基づき、地上を前記重機に向かって移動する対象を監視対象として検出する監視対象検出部を備える請求項1に記載の演算装置。
【請求項3】
前記監視対象が前記重機に対して予め定めた距離以下に近づいた場合に報知処理を行う報知部を備える請求項2に記載の演算装置。
【請求項4】
前記レーザースキャン点群には、前記重機の一部を対象とした点群が含まれ、
前記重機の一部を対象とした前記点群を除去する除去部を備える請求項1に記載の演算装置。
【請求項5】
レーザースキャナと反射プリズムを搭載した重機の前記反射プリズムの位置を特定の座標系上での位置と姿勢が既知の測量装置により追尾しつつ測定した測定データを受け付け、
前記レーザースキャナが得たレーザースキャン点群を取得し、
前記測定データおよび前記レーザースキャナの姿勢に基づき、前記レーザースキャン点群を前記特定の座標系に座標変換し、
前記座標変換により得た点群データの時間軸上における変化を検出し、
前記点群データの前記時間軸上における前記変化に基づき、前記重機の作業の内容を特定する演算方法。
【請求項6】
コンピュータに読み取らせて実行させるプログラムであって、
コンピュータを
レーザースキャナと反射プリズムを搭載した重機の前記反射プリズムの位置を特定の座標系上での位置と姿勢が既知の測量装置により追尾しつつ測定した測定データを受け付ける測定データ受付部と、
前記レーザースキャナが得たレーザースキャン点群を取得するレーザースキャン点群取得部と、
前記測定データおよび前記レーザースキャナの姿勢に基づき、前記レーザースキャン点群を前記特定の座標系に座標変換する座標変換部と、
前記座標変換により得た点群データの時間軸上における変化を検出する変化検出部と、
前記点群データの前記時間軸上における前記変化に基づき、前記重機の作業の内容を特定する作業内容特定部と
して動作させるプログラム。
【請求項7】
重機に搭載したGNSS位置測定装置の測位データを受け付ける測位データ受付部と、
前記レーザースキャナが得たレーザースキャン点群を取得するレーザースキャン点群取得部と、
前記測位データおよび前記レーザースキャナの姿勢に基づき、前記レーザースキャン点群を絶対座標系に座標変換する座標変換部と、
前記座標変換により得た点群データの時間軸上における変化を検出する変化検出部と、
前記点群データの前記時間軸上における前記変化に基づき、前記重機の作業の内容を特定する作業内容特定部と
を備える演算装置。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、重機を利用して三次元データを得る技術に関する。
【背景技術】
【0002】
測量装置を用いて重機の位置を測定する技術が知られている(例えば、特許文献1を参照)。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開平8-43093号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
重機が1日や特定の期間に行った作業の結果をデータ化するために、従来は、重機による作業の終了後に、現場に設置したレーザースキャナ等の測量装置を用いて改めて作業対象の三次元情報の取得を行っていた。この方法は、重機による作業と、その作業結果のデータ化が別作業であり、効率が悪く、改善が望まれていた。また、上記の作業は専門的な知識を有する人による作業が必要であり、この点でも効率化が求められていた。このような背景において、本発明は、重機が行う作業の結果のデータ化に係る作業の効率化を目的とする。
【課題を解決するための手段】
【0005】
本発明は、レーザースキャナと反射プリズムを搭載した重機の前記反射プリズムの位置を特定の座標系上での位置と姿勢が既知の測量装置により追尾しつつ測定した測定データを受け付ける測定データ受付部と、前記レーザースキャナが得たレーザースキャン点群を取得するレーザースキャン点群取得部と、前記測定データおよび前記レーザースキャナの姿勢に基づき、前記レーザースキャン点群を前記特定の座標系に座標変換する座標変換部と、前記座標変換により得た点群データの時間軸上における変化を検出する変化検出部と、前記点群データの前記時間軸上における前記変化に基づき、前記重機の作業の内容を特定する作業内容特定部とを備える演算装置である。
【0006】
本発明において、前記点群データの前記時間軸上における前記変化に基づき、地上を前記重機に向かって移動する対象を監視対象として検出する監視対象検出部を備える態様が挙げられる。
【0007】
本発明において、前記監視対象が前記重機に対して予め定めた距離以下に近づいた場合に報知処理を行う報知部を備える態様が挙げられる。本発明において、前記レーザースキャン点群には、前記重機の一部を対象とした点群が含まれ、前記重機の一部を対象とした前記点群を除去する除去部を備える態様が挙げられる。
【0008】
本発明は、レーザースキャナと反射プリズムを搭載した重機の前記反射プリズムの位置を特定の座標系上での位置と姿勢が既知の測量装置により追尾しつつ測定した測定データを受け付け、前記レーザースキャナが得たレーザースキャン点群を取得し、前記測定データおよび前記レーザースキャナの姿勢に基づき、前記レーザースキャン点群を前記特定の座標系に座標変換し、前記座標変換により得た点群データの時間軸上における変化を検出し、前記点群データの前記時間軸上における前記変化に基づき、前記重機の作業の内容を特定する演算方法である。
【0009】
本発明は、コンピュータに読み取らせて実行させるプログラムであって、コンピュータをレーザースキャナと反射プリズムを搭載した重機の前記反射プリズムの位置を特定の座標系上での位置と姿勢が既知の測量装置により追尾しつつ測定した測定データを受け付ける測定データ受付部と、前記レーザースキャナが得たレーザースキャン点群を取得するレーザースキャン点群取得部と、前記測定データおよび前記レーザースキャナの姿勢に基づき、前記レーザースキャン点群を前記特定の座標系に座標変換する座標変換部と、前記座標変換により得た点群データの時間軸上における変化を検出する変化検出部と、前記点群データの前記時間軸上における前記変化に基づき、前記重機の作業の内容を特定する作業内容特定部として動作させるプログラムである。
【0010】
本発明は、重機に搭載したGNSS位置測定装置の測位データを受け付ける測位データ受付部と、前記レーザースキャナが得たレーザースキャン点群を取得するレーザースキャン点群取得部と、前記測位データおよび前記レーザースキャナの姿勢に基づき、前記レーザースキャン点群を絶対座標系に座標変換する座標変換部と、前記座標変換により得た点群データの時間軸上における変化を検出する変化検出部と、前記点群データの前記時間軸上における前記変化に基づき、前記重機の作業の内容を特定する作業内容特定部とを備える演算装置である。
【発明の効果】
【0011】
重機が行う作業の結果のデータ化に係る作業が効率化される。
【図面の簡単な説明】
【0012】
図1】実施形態の概念図である。
図2】重機による土木作業の過程を示す図である。
図3】重機による土木作業の結果生じる地形の変化を示す図である。
図4】演算装置のブロック図である。
図5】処理の手順の一例を示すフローチャートである。
図6】処理の手順の一例を示すフローチャートである。
【発明を実施するための形態】
【0013】
1.第1の実施形態
(概要)
図1には、土木作業を行う重機100、重機100の位置の測定を行うトータルステーション200が示されている。重機100は、作業を行うと共に搭載するレーザースキャナ(Lidar)101によるレーザースキャンを行い、重機100周囲のレーザースキャン点群を取得する。この際、トータルステーション200は、重機100に搭載した反射プリズム102を追尾しつつ繰り返し継続してその位置の測定を行う。この反射プリズム102の位置の測定値に基づいて、上記レーザースキャン点群を特定の座標系上に座標変換し、特定の座標系上で各点の位置が記述された点群データを得る。また、座標変換により得た点群データの時間軸上における変化を検出し、この変化に基づき、重機100の作業の内容を特定する。
【0014】
(重機)
重機100は、パワーシャベルである。パワーシャベルは一例であり、土木作業を行う重機であれば、重機の種類は特に限定されない。重機100は、無限軌道により地上を走行するベース部120と、ベース部120上で水平回転する回転部110を備えている。回転部110は、運転席とアーム151を備え、アーム151の先端にはバケット152が配置されている。これらの構造は、通常のパワーシャベルと同じである。
【0015】
回転部110の上部には、レーザースキャナ101、反射プリズム102およびカメラ103が配置されている。重機100(回転部110)におけるレーザースキャナ101の位置と姿勢、レーザースキャナ101と反射プリズム102の位置の関係は予め取得され既知な情報とされている。レーザースキャナ101は、点々とレーザースキャン光を走査し、各反射点の距離と方向を測定することで、レーザースキャン点群を得る。レーザースキャナ101は、回転部110の前方に向けられ、重機100が行う作業の対象をレーザースキャンするように配置されている。
【0016】
レーザースキャナ101には、GNSS装置111から時刻の情報が与えられ、レーザースキャナ101が計測したレーザースキャン点群の各点の位置データは、計測時の時刻の情報と関連付けされて得られる。
【0017】
レーザースキャナ101の形式は特に限定されない。レーザースキャナ101としては、回転軸が直交する2つの回転部を備え、一方の回転部がスキャン光の出射と入射を行う光学系を備え、両回転部を回転させながら、スキャン光をパルス発光させることでレーザースキャンを行う形態、光学系を左右に往復運動させ、更にそれを上下に振ることでレーザースキャンを行う形態、機械的ではなく電子式にスキャンを行う形態等がある。
【0018】
レーザースキャンの範囲は、重機100の作業の範囲が収まるようにする。この例では、バケット152の移動範囲がレーザースキャンの範囲に収まるようにレーザースキャナ101の機種およびスキャン範囲の設定を行う。
【0019】
複数のレーザースキャナを利用する形態も可能である。例えば、複数のレーザースキャナを用いてスキャンの範囲を拡大する形態等が可能である。
【0020】
反射プリズム102は、レーザー光を用いた測量に利用される光学反射ターゲットである。ここでは、反射プリズム102として全周反射プリズムが利用される。反射プリズム102は、入射光を180°向きを変えて反射する。光学反射ターゲットとしては、反射プリズム以外に再帰反射特性を有する反射ターゲットを利用することができる。
【0021】
カメラ103は、連続して繰り返し静止画像を撮影するデジタルスチールカメラあるいは動画を撮影するカメラである。カメラ103は、撮影範囲がレーザースキャナ101のスキャン範囲と重複するように配置されている。図1には、1台のカメラ101を重機100に配置する例を示すが、多方向に向けた複数台のカメラを配置することも可能である。また、ステレオカメラを用いることもできる。カメラとしてデプスカメラを用いることもできる。
【0022】
カメラ103の撮影画像とレーザースキャナ101が得た点群データとを関連付ける場合や撮影画像に基づく3Dデータを得ることもできる。この場合、SFM(Structure from Motion )の原理を用いて撮影画像から撮影対象の3Dデータを得る。重機100におけるカメラ103の位置と姿勢は既知であってもよいし、未知であってもよい。SFMを用いた場合、調整計算により、撮影時におけるカメラの位置と姿勢が計算されるので、重機100におけるカメラ103の位置と姿勢は未知であってよい。この技術については、例えば特願2022-147113に記載されている。もちろん、重機100におけるカメラ103の位置と姿勢が既知であってもよい。
【0023】
重機100は、GNSS装置111、IMU112、走行検出装置113、回転検出装置114および演算装置300を備えている。なお、説明は省略するが、その他パワーシャベルの稼働に必要な機能を重機100は備えている。
【0024】
GNSS装置111は、GNSS(Global Navigation Satellite System)を用いて位置の測定の行う装置である。GNSS装置111は、通常の精度のものでよく、相対測位を用いた高精度のものでなくてよい。重機100におけるレーザースキャナ101、反射プリズム102、GNSS装置111およびIMU112の位置関係は既知である。
【0025】
IMU112は、慣性計測装置であり、加速度を計測し、姿勢の変化を検出する。IMU112は、GNSS装置111の測位データにより校正され、絶対座標系における姿勢の計測値を出力する。絶対座標系は、GNSSや地図において用いられる座標系である。例えば、重機100が微小な距離を直進するとする。この際、絶対座標系におけるその移動方向がGNSS装置111の測位データから算出され、絶対座標系におけるIMU112の姿勢が求まる。この処理を随時行うことで、絶対座標系におけるIMU112の姿勢およびその変化が検出できる。
【0026】
IMU112には、GNSS装置111から時刻の情報が与えられ、姿勢の計測データは、計測時の時刻の情報と関連付けされて出力される。
【0027】
なお、反射プリズム102の位置をトータルステーション200により測定することで、IMU112の移動を検出し、それに基づいてIMU112の校正を行う方法もある。この場合、トータルステーション200の位置と姿勢を求めた座標系上でIMU112を校正でき、当該座標系におけるIMU112の姿勢およびその変化が検出できる。
【0028】
GNSS装置111は、高精度の時計を備え、そこから得られる時刻情報は、レーザースキャナ101、IMU112、カメラ103に与えられる。
【0029】
走行検出装置113は、ベース部120が無限軌道による走行を行っているか否かを検出する。走行検出装置113からは、重機100の移動中において、重機100が移動中(ベース部120が無限軌道により走行中)である旨を示す信号が出力される。この信号により、重機100の移動(走行)の有無を判定できる。回転検出部114からは、回転部110の回転時に回転部110が回転中である旨を示す信号が出力される。この信号により、回転部110の回転の有無を判定できる。演算部300については後述する。
【0030】
重機100の位置は、IMU112の位置で把握される。重機100の位置を反射プリズム102の位置、回転部110の回転中心軸上のどこかの点、その他重機100のどこかの位置で把握することも可能である。
【0031】
(トータルステーション)
トータルステーション200は、位置の測定が可能な測量装置の一例である。トータルステーション200は、レーザー光を用いた測位機能、カメラ、時計、測量したデータの記憶装置、通信インターフェース、ユーザーインターフェース、測量対象(反射プリズム102)を探索する機能および測量対象が移動してもそれを追尾する機能を備える。トータルステーション200は、一般的に入手できる機種を利用できる。
【0032】
処理に先立ち、特定の座標系におけるトータルステーション200の位置と姿勢(位置と姿勢)は取得され、既知のデータとされている。利用する特定の座標系は、絶対座標系またはローカル座標系である。IMU112の位置を特定する座標系として絶対座標系を用いる場合は、トータルステーション200の位置と姿勢を絶対座標系上で取得する。また、IMU112の位置を特定する座標系としてローカル座標系を用いる場合は、トータルステーション200の位置と姿勢をローカル座標系上で取得する。トータルステーション200の位置は、測距を行うための光学系の光学原点の位置で把握する。
【0033】
トータルステーション200が反射プリズム102を視準し、ロックした状態で重機100の作業が開始される。重機100の作業中において、トータルステーション200は、反射プリズム102を追尾しつつ、その位置の測定を繰り返し行う。繰り返し行われる反射プリズム102の位置の測定の間隔は、0.1秒~5秒程度とする。
【0034】
トータルステーション200は、時計を備え、測位時の時刻のデータを測位データと関連付けして取得する。
【0035】
(演算部)
演算部300は、レーザースキャナ101が取得したレーザースキャン点群に係る演算およびその他の演算を行う。演算部300は、コンピュータであり、CPU、記憶装置、各種のインターフェースを備えている。
【0036】
図4に演算部300のブロック図を示す。演算部300は、点群データ取得部301、不要データ除去部302、測位データ取得部303、稼動状態取得部304、姿勢データ取得部306、座標変換部307、座標変換された点群データの取得部308、変化検出部309、3Dモデル作成部310、データ記憶部311、作業内容特定部312、監視対象特定部313、報知部314を備える。
【0037】
これら機能部の一部または全部は、演算部300のCPUにより動作プログラムが実行されることで実現される。これら機能部の一部または全部を専用のハードウェア(電子回路)で構成してもよい。
【0038】
点群データ取得部301は、レーザースキャナ101によるレーザースキャンによって得たレーザースキャン点群を取得する。このレーザースキャン点群は、レーザースキャナ101の光学系の原点を起点とし、各スキャン点のそこからの距離と方向、および該当するスキャン光の発光時刻のデータを各スキャン点に関して集めたデータ群として得られる。
【0039】
重機100が作業を行う間、レーザースキャナ101はレーザースキャンを行い、作業によって変化する対象(例えば、削られる地形等)のレーザースキャン点群を得る。この際、重機100の移動や回転部110の回転により、レーザースキャナ101の位置と姿勢が動くと、レーザースキャンの原点(上記の起点)が動き、またレーザースキャナ101の座標軸の向きが変化し、レーザースキャン点群を一つの座標系上で記述できなくなる。そこで、レーザースキャナ101が得たレーザースキャン点群の各点を同じ座標系上で取り扱えるように後述する座標変換を行う。
【0040】
不要データ除去部302は、重機100のアーム151やバケット152といった作業対象の3Dデータの作成に不要な部位のレーザースキャン点群を除去する。レーザースキャナ101のレーザースキャンにより得るレーザースキャン点群には、重機100のアーム151やバケット152を対象としたものも含まれる。これらのレーザースキャン点群は、作業対象の3Dデータの生成には不要であるので、該当するレーザースキャン点群を除去する。
【0041】
例えば、アーム151やバケット152のレーザースキャン点群は、重機100の移動や回転部110の回転に際して、背景の地形のレーザースキャン点群に対して相対的に移動する。例えば、重機100が走行した際、背景のレーザースキャン点群は、走行の方向と逆の方向に流れるように移動するが、アーム151やバケット152のレーザースキャン点群は、背景の点群に対して重機100と同様の方向に移動する。この挙動を示す点群をアーム151やバケット152の点群として特定し、削除する。
【0042】
測位データ取得部303は、トータルステーション200が測定した反射プリズム102の位置のデータを取得する。トータルステーション200は、時計を備え、反射プリズム102の位置の測定時にその時刻も取得している。上記反射プリズム102の位置のデータは、その計測時刻と関連付けされた状態でトータルステーション200から出力され、それが測位データ取得部303で取得される。
【0043】
トータルステーション200の測位データは、トータルステーション200の位置と姿勢を取得した座標系により記述される。例えば、トータルステーション200の位置と姿勢を絶対座標系上で取得した場合、得られる測位データは絶対座標系を用いて記述される。また例えば、トータルステーション200の位置と姿勢をローカル座標系上で取得した場合、得られる測位データは当該ローカル座標系を用いて記述される。
【0044】
レーザースキャナ101、反射プリズム102およびIMU112の位置関係は既知である。また、レーザースキャナ101とIMU112の姿勢の関係は既知である。よって、トータルステーション200による反射プリズム102の測位データとIMU112が計測する姿勢のデータにより、レーザースキャナ101の位置を計算できる。つまり、トータルステーション200により、レーザースキャナ101の位置を計測できる。例えば、トータルステーション200の位置と姿勢が絶対座標系上で得られている場合、トータルステーション200により絶対座標系におけるレーザースキャナ101の位置が測定できる。
【0045】
稼動状態取得部304は、重機100の走行の有無、回転部110の回転の有無に関する情報を取得する。ここで、重機100の走行の有無は、走行検出装置111からの信号により判定され、回転部110の回転の有無は、回転検出部112からの信号により判定される。
【0046】
姿勢データ取得部306は、IMU112が計測した姿勢のデータを取得する。IMU112とレーザースキャナ101の位置と姿勢の関係は既知である。よって、IMU112により、レーザースキャナ101の姿勢を計測できる。
【0047】
座標変換部207は、レーザースキャナ101が取得したレーザースキャン点群を特定の座標系に座標変換する。
【0048】
レーザースキャナ101が計測したレーザースキャン点のデータは、レーザースキャナ101からの距離と方向である。このデータは、レーザースキャナ101固有のローカル座標系上で記述される。
【0049】
重機100が移動、あるいは回転部110が回転している状態において、レーザースキャナ101によるレーザースキャンが行われた場合、レーザースキャン中にレーザースキャナ101が移動するので、上記レーザースキャナ101固有のローカル座標系の原点も移動する。また当該ローカル座標系が回転(姿勢が変化)する場合もある。こうなると、得られるレーザースキャン点群は一つの座標系上で記述できない。極端な場合、多数のスキャン点毎に固有の座標系が必要となる(勿論、移動がない場合や、移動がゆっくりである場合は、その限りでない)。
【0050】
そこでレーザースキャナ101が得たレーザースキャン点群を特定の座標系に座標変換し、一つの座標系上で点群データが記述できるようにする。ここでは、レーザースキャナ101が取得したレーザースキャン点群を絶対座標系に座標変換する場合を説明する。
【0051】
まず前提として、トータルステーション200は、絶対座標系上において予め位置と姿勢を取得しておく。重機100の作業中(稼働中)において、トータルステーション200は、反射プリズム102の位置の測定を継続して行う。この際の測位データは、絶対座標系上における位置と測位時刻のデータを関連付けしたものとして得られる。
【0052】
他方において、IMU112によってレーザースキャナ101の絶対座標系における姿勢が計測される。また、この姿勢の計測時の時刻が取得される。
【0053】
こうして、ある時刻tにおけるレーザースキャナ101の絶対座標系における位置と姿勢が得られる。
【0054】
そこで、レーザースキャナ101が得た各スキャン点を絶対座標系に座標変換する。例えば、ある時刻tにおいてレーザースキャナ101が得たスキャン点を考える。ここで、時刻tにおけるレーザースキャナ101の絶対座標系における位置は、トータルステーション200により測定され、その絶対座標系における姿勢はIMU112により計測されている。よって、上記スキャン点の絶対座標系上における位置を求めることができる。この操作を各スキャン点について行うことで、レーザースキャナ101が得た各スキャン点を絶対座標系に座標変換することができる。
【0055】
上記の原理により、移動および回転するレーザースキャナ101固有のローカル座標系上で記述されたレーザースキャン点群の絶対座標系上への座標変換が可能となる。
【0056】
一般に、第1の座標系の第2の座標系への座標変換は、平行移動と回転により行われる。絶対座標系におけるレーザースキャナ101の位置が与えられることで、上記の平行移動に関する情報が得られ、その位置におけるレーザースキャナ101の絶対座標系における姿勢が与えられることで、上記回転に関する情報が得られる。こうして、時刻tに計測されたスキャン点に関するレーザースキャナ101固有のローカル座標系から絶対座標系への座標変換が行われる。この座標変換をスキャン点毎に行うことで、レーザースキャナ101が移動しながらレーザースキャンを行うことで得たレーザースキャン点群を絶対座標系に座標変換することができる。こうして、レーザースキャナ101が得たレーザースキャン点群を絶対座標系上で記述した点群データが得られる。
【0057】
レーザースキャナ101が得たレーザースキャン点群を特定のローカル座標系に座標変換する場合は、レーザースキャナ101の位置と姿勢として、利用するローカル座標系におけるものを利用する。また、IMU112は、当該ローカル座標系において姿勢のデータを計測する。
【0058】
この場合、トータルステーション200の位置と姿勢を利用するローカル座標系上で予め取得する。また、IMU112の校正および当該ローカル座標系における姿勢の算出は、トータルステーション200による反射プリズム102の測位データを用いて行い、姿勢のデータを当該ローカル座標系におけるものとして得る。そして、当該ローカル座標系におけるレーザースキャナ101の位置と姿勢を取得し、上記の座標変換を各点について行う。
【0059】
この場合、IMU112が得た姿勢のデータと、トータルステーション200が得た反射プリズム102の測位データは演算装置300に送られ、演算装置300においてIMU112の校正および当該ローカル座標系における姿勢の算出が行われる。この演算は、例えば姿勢データ取得部306において行われる。この演算をIMU112において行っても良い。
【0060】
各レーザースキャン点と時刻の情報を関連付けすることが理想であるが、ある程度の時間幅で時刻をとらえても良い。例えば、スキャン点P1,P2,P3,P4,P5の計測時刻は時刻t1,スキャン点P6,P7,P8,P9,P10の計測時刻は時刻t2といった扱いも可能である。
【0061】
レーザースキャンは、点々と行われるので、時間軸上に並ぶ複数の点を考えた場合、これらの点の集合は、ある程度の時間幅において得られている。そこである範囲の点群データを考えた場合における最後の点が計測された時刻を当該点群データの取得時間とする。つまり当該時間幅の最後の時刻を当該点群データの取得時刻とする。当該点群データの取得時間として、当該時間幅の最初の時刻や中間時刻を利用する形態も可能である。
【0062】
座標変換された点群データの取得部308は、上述した特定の座標系に座標変換した点群データを取得する。この点群データには、重機100が作業を行う対象の地形の点群データが含まれる。
【0063】
変化検出部310は、時間軸上で前後する3Dデータを比較し、その差分を検出することで、3Dデータの変化を検出する。3Dデータは、上記特定の座標系に座標変換された点群データ、または該点群データに基づき作成された後述する3Dモデルである。
【0064】
3Dモデル作成部310は、座標変換された点群データの取得部308が取得した点群データに基づく3Dモデルの作成を行う。3Dモデルは、点群データに基づいて作成された輪郭線モデルやTINモデルである。例えば、CADで利用される3Dモデルはその一例である。
【0065】
データ記憶部311は、演算部300で利用する各種のデータや動作プログラム、演算部300で得られる各種のデータ(例えば、点群データ等の3Dデータ)を記憶する。
【0066】
作業内容特定部312は、座標変換された点群データの取得部308が取得した点群データまたは該点群データに基づく3Dモデルに基づき、重機100が行った作業の内容を特定する。この際、後述する人等の監視対象の3Dデータ(点群データまたは3Dモデル)は、作業の内容でないので除外される。
【0067】
具体的には、特定の作業前の段階で得た撮影画像に基づく3Dデータと特定の作業後の段階で得た撮影画像に基づく3Dデータとを比較し、その差分データを検出する。この処理は、変化検出部309において行われる。次に、上記差分データの中から地上を移動し、且つ、重機100に対して相対的に動く物体の3Dデータを人等の監視対象の3Dデータとして除去する。この処理は、後述する監視対象特定部312において行われる。こうして、重機100の作業によって生じた3Dデータの変化分を検出し、作業の内容(地面の切削等)が特定される。
【0068】
以下、具体的な例を説明する。重機100が土木作業を行うことで地形が変化する。図2(A)には、時刻t1における土木工事現場の様子が示され、図2(B)には、時刻t2における土木工事現場の様子が示されている。ここで、t2は、t1より後の時刻である。
【0069】
図2(A)(時刻t1)は、地形の盛り上がり401および402が存在している状態である。図2(B)(時刻t2)は、図2(A)の時刻t1の状態の後に、地形の盛り上がり401が重機100により取り除かれて平坦とされ、地形の盛り上がり402が残った状態である。
【0070】
地形に着目した場合、図3(B)に示すように、重機100の作業により、図3(A)に示す地形の盛り上がり401が消失する。
【0071】
ここで、図2(A)または図3(A)の状態における地形の3Dデータと、図2(B)または図3(B)の状態における地形の3Dデータに着目すると、両者には、地形の盛り上がり401に対応する3Dデータの差がある。
【0072】
なお、ここでいう3Dデータは、点群データまたは該点群データに基づく3Dモデル(三次元モデル)のこという。
【0073】
上記の例でいうと、図3(B)の状況の地形の3Dデータと図3(A)の状況の地形の3Dデータの差を求めることで、除去の対象となった地形の盛り上がり401の3Dデータを抽出できる。
【0074】
なお、レーザースキャナ101によるレーザースキャンは、時間軸上の1点ではなく、ある程度の時間幅をもって行われる。よって、得られる3Dデータに紐づいた時刻は、ある程度の時間幅を持ち、例えばその中間値や代表値でもって把握される。
【0075】
例えば、3Dデータは、10秒毎や30秒毎に更新される。この更新の際、新たに増えた3Dデータおよび失われた3Dデータ(例えば、上記の地形の盛り上がり401の3Dデータがその一例)を抽出し、それを別に保存することができる。なお、更新の間隔は、利用するハードウェアの能力、必要とされる時間軸上の分解能等によって適宜設定できる。
【0076】
例えば、30秒間隔で点群データの更新が行われるとする。この場合、ある時刻における点群データに着目すると、その30秒前の点群データとの差分の点群データを抽出することで、新たに増えた点群データおよび無くなった点群データが得られる。例えば、無くなった点群データの一例が、図4に示す最終的に削り取られる「地形の盛り上がり401」の点群データである。
【0077】
例えば、時刻T1、時刻T2、時刻T3・・・のそれぞれにおける3Dデータを生成する。この場合、各時刻における3Dデータが当該時刻と紐づけされて記憶される。このデータがデータ記憶部311に記憶される。
【0078】
上記の各時刻における3Dデータの時間軸上における推移を追うことで、3Dデータの変化を把握できる。例えば、重機100の土木作業に起因する地形の変化を3Dデータの推移として把握できる。例えば、重機100の土木作業に起因する地形の変化を3Dモデルの時間変化としてディスプレイ上に画像表示することができる。また、削られた土砂や盛られた土砂を3Dデータとして把握できる。
【0079】
変化の対象は、地形に限定されず、建物や工作物であってもよい。例えば、重機によって建物や工作物を取り壊す場合に本実施形態を適用することで、その推移を3Dデータとして取得できる。
【0080】
監視対象特定部312は、地上を重機100に対して相対的に移動する対象、特に地上を重機100に対して相対的に近づく対象を監視対象としてとして特定する。この処理を定期的に行うことで、重機100と人との近接や接触、重機100と他の重機との近接や接触を回避する処理が可能である。
【0081】
また、上記の監視の対象となる3Dデータは、重機100の作業の対象の3Dデータではないので、それを特定することで、図3に示すような作業の対象(例えば地形)の3Dデータを抽出でき、作業の内容の特定を効率よく行える。例えば、人と作業の対象を3Dデータ上で区別して扱うことが可能となる。
【0082】
例えば、重機100に人が近づく場合を想定する。ここで、5秒毎に3Dデータの更新を行うとする。この場合、5秒毎における3Dデータの変化の推移を監視することで、重機100に近づく存在を監視対象として検出する。
【0083】
ここでは、取得した3Dデータの変化を監視し、背景の3Dデータ(地形の3Dデータ)に対して相対的に移動し、且つ、重機100に対して相対的に移動する3Dデータを監視対象として検出する。すなわち、地上を移動する3Dデータを検出する。また、監視対象が人であるかどうかを画像認識処理により検出することで、人が重機100に近づいてくる状況が把握できる。なお、後述する報知を行い場合、監視対象の特定に係る処理は、リアルタイムあるいは極力遅延なく行う必要がある。
【0084】
報知部314は、監視対象特定部313が特定した監視対象に係る報知を行う。例えば、重機100と人等の監視対象との間の距離が予め定めた距離以下となった場合に報知処理を行う。報知は、重機100の運転者や周囲に対する警報音等の音による方法、重機100の運転席に配置したディスプレイを利用した報知表示、スマートフォン等の外部機器への報知信号の出力とった形態で行われる。
【0085】
(処理の手順の一例:その1)
図5に処理の手順の一例を示す。図5の処理を実行するプログラムは、データ記憶部311や適当な記憶媒体に記憶され、そこから読み出されて演算装置300を構成するコンピュータのCPUにより実行される。当該プログラムをインターネットに接続されたサーバに記憶させ、そこからダウンロードする形態も可能である。これは、図6に係る処理も同じである。
【0086】
図5の処理は、重機100の稼働と同時に平行して行っても良いし、重機100による作業の終了後に後処理で行っても良い。
【0087】
まず、レーザースキャナ101が得たレーザースキャン点群のデータを取得する(ステップS101)。次に、取得したレーザースキャン点群のデータの中から不要な部分の点群データを除去する(ステップS102)。ここで、不要な部分の点群データは、重機100のアーム151やバケット152といった作業対象の3Dデータの作成に不要な部位のスキャンデータである。この処理は、不要データ除去部302において行われる。
【0088】
次に、トータルステーション200が測定した反射プリズム102の位置のデータを取得する(ステップS103)。次に、IMU112が計測した姿勢のデータを取得する(ステップS104)。
【0089】
次に、ステップS101において得たレーザースキャン点群を特定の座標系に座標変換する(ステップS105)。この処理は、座標変換部307において行われる。次に、座標変換された点群データを「特定の座標系における点群データ」として取得する(ステップS106)。
【0090】
次に、時間軸上で前後する2つの点群データを比較し、その差分を取り、時間経過に従って変化した点群データを検出する(ステップS107)。この処理は、変化検出部309において行われる。
【0091】
次に、変化が検出された点群データから、地上を移動する物体に係る点群データを除去し、重機100の作業により変化した点群データを作業内容に係る点群データとして特定する(ステップS108)。ここで、変化が検出された点群データにおける地上を移動する物体に係る点群データの特定は、監視対象特定部313において行われる。また、変化が検出された点群データの中から、地上を移動する物体に係る点群データを除去し、作業内容に係る点群データを特定する処理は作業内容特定部312において行われる。
【0092】
(処理の手順の一例:その2)
図6は、重機100と人等との干渉を防止するための処理の手順の一例を示すフローチャートである。この処理は、レーザースキャン点群の取得から極力遅延なく行う必要がある。まず、図5のステップS101~ステップS106の処理を行い、レーザースキャナ101が得たレーザースキャン点群のデータを得る(ステップS201)。
【0093】
次に、重機101および背景の地形に対して相対的に動く対象を監視対象として特定する(ステップS202)。この処理は、監視対象特定部313において行われる。次に、重機100と監視対象の間の距離を算出し、該距離が予め定めた距離以下であるか否かの判定を行う(ステップS203)。
【0094】
上記距離が予め定めた距離以下である場合、報知処理を行い(ステップS204)、そうでない場合、ステップS201以下の処理を繰り返す。
【0095】
(優位性)
本実施形態では、レーザースキャナ101と反射プリズム102を搭載した重機100の反射プリズム102の位置を特定の座標系上での位置と姿勢が既知のトータルステーション200により追尾しつつ測定した測定データを受け付け、レーザースキャナ101が得たレーザースキャン点群を取得し、前記測定データおよびレーザースキャナ200の姿勢に基づき、前記レーザースキャン点群を前記特定の座標系に座標変換し、前記座標変換により得た点群データの時間軸上における変化を検出し、前記点群データの前記時間軸上における前記変化に基づき、前記重機の作業の内容を特定する。
【0096】
本実施形態によれば、重機の作業と同時に作業対象の3Dデータが得られる。そのため、重機が行う作業の結果のデータ化に係る作業が効率化される。また、重機と作業員等との干渉が生じる危険性を検出し、事故につながる可能性のある危険な状況の回避、更には事故の予防が可能となる。
【0097】
2.第2の実施形態
レーザースキャナ101の位置をGNSS装置111の測定値から得ても良い。この場合、トータルステーション200による反射プリズム102の測位データに基づき、GNSS装置111の測位データを校正し、校正後の測定値を利用する。GNSS装置111単独の測位データは誤差を含むが、トータルステーション200を利用した上記の校正を行うことで、GNSS装置111による位置の測定の精度を高めることができる。
【0098】
また、RTK法等の相対測位を利用したGNSS装置111による測位を行うことで、トータルステーション200による反射プリズム102の測位を不要する態様も可能である(勿論、併用も可能である)。この場合、測位データ取得部303は、GNSS装置111が測定した位置情報を取得する。
【0099】
3.第3の実施形態
データ処理サーバを利用して演算部300の機能を実行する形態も可能である。この場合、重機100およびトータルステーション200から各種計測データが、当該データ処理サーバにインターネット回線等の適当なデータ通信回線を介して送信され、そこで演算部300で行わる処理が実行される。
【0100】
4.第4の実施形態
地面(絶対座標系)に対してレーザースキャナ101が静止している(動いていない)状態で得たレーザースキャン点群を選択して取得し、この取得したレーザースキャン点群を用いて重機100の作業の対象の点群データを得る方法もある。
【0101】
稼働状態取得部304は、重機100の走行(移動)の有無、回転部110の回転の有無の判定に必要なデータを取得している。例えば、時刻t1~t2の間に重機100が走行せず、また回転部110の回転が停止しているとする。この場合、時刻t1~t2の間に得たレーザースキャナ101が得たレーザースキャン点群を作業内容の特定や監視対象の特定に係る演算に利用する。
【0102】
例えば、第1の位置で静止し、第1の姿勢にあるレーザースキャナ101が得た第1のレーザースキャン点群、第2の位置で静止し、第2の姿勢にあるレーザースキャナ101が得た第2のレーザースキャン点群、第3の位置で静止し、第3の姿勢にあるレーザースキャナ101が得た第3のレーザースキャン点群、・・・・が得られているとする。
【0103】
ここで、各静止状態において得たレーザースキャンデータの原点の位置(レーザースキャナ101の光学原点の位置)をトータルステーション200が測位した反射プリズム01の位置から求める。レーザースキャナ101と反射プリズム102の位置関係は既知であるので、反射プリズム102の位置とIMU112から得られる姿勢のデータに基づき、レーザースキャナ101の位置を求めることができる。また、IMU112から得られる姿勢のデータに基づき、レーザースキャナ101の姿勢を求めることができる。
【0104】
ここで利用する特定の座標系は、第1の実施形態で述べたように、トータルステーション200の位置と姿勢を求めた座標系である。
【0105】
こうして、特定の座標系における上記第1のレーザースキャン点群の位置と姿勢(向き)、上記第2のレーザースキャン点群の位置と姿勢、上記第3のレーザースキャン点群の位置と姿勢、・・・が得られる。そして、各レーザースキャン点群を特定の座標系に座標変換することができ、同じ座標系上で記述された複数のレーザースキャン点群が得られる。
【0106】
重機100の走行(移動)の有無、回転部110の回転の有無を、トータルステーション200による反射プリズム102の測位データから判定してもよい。例えば、トータルステーションの測位を0.5秒間隔で行うとする。この0.5秒間隔で行われる反射プリズム102の位置の測定において、時間軸上で隣接する測位時刻t1,t2における反射プリズム102の測定位置に変化がない場合、その期間(時刻t1とt2の間)は、重機100の走行はなく、且つ、回転部110が回転していないと判定する。
【0107】
5.その他
本発明は、重機を用いた建物や工作物の設置や組み立て、重機を用いた建物や工作物の解体に適用することもできる。
【符号の説明】
【0108】
100…重機、101…レーザースキャナ、102…反射プリズム、103…カメラ、120…ベース部、110…回転部、111…GNSS装置、112…IMU、113…走行検出装置、114…回転検出装置、300…演算装置。
図1
図2
図3
図4
図5
図6