知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024042417
(43)【公開日】2024-03-28
(54)【発明の名称】演算装置、演算方法およびプログラム
(51)【国際特許分類】
G01C 15/00 20060101AFI20240321BHJP
E02F 9/20 20060101ALI20240321BHJP
【ＦＩ】
G01C15/00 104D
G01C15/00 103A
E02F9/20 N
【審査請求】未請求
【請求項の数】13
【出願形態】ＯＬ
(21)【出願番号】P 2022147113
(22)【出願日】2022-09-15
(71)【出願人】
【識別番号】000220343
【氏名又は名称】株式会社トプコン
(74)【代理人】
【識別番号】100096884
【弁理士】
【氏名又は名称】末成 幹生
(72)【発明者】
【氏名】佐々木 剛
(72)【発明者】
【氏名】深谷 暢之
(72)【発明者】
【氏名】三島 雅人
【テーマコード（参考）】
2D003
【Ｆターム（参考）】
2D003AA01
2D003AB01
2D003BA02
2D003BB09
2D003BB10
2D003DB04
2D003DB05
2D003FA02
(57)【要約】
【課題】重機上の視点から得た三次元情報の取得を可能とする。
【解決手段】カメラ１０１と反射プリズム１０２を搭載した重機１００の反射プリズム１０２の位置を特定の座標系上での外部標定要素が既知のトータルステーション２００により追尾しつつ測位して測位データを得、カメラ１０１により異なる複数の位置から重複する範囲が撮影された複数の撮影画像の画像データを取得し、前記複数の撮影画像から抽出された複数の特徴点ｐ１，ｐ２，ｐ３とカメラ１０１の前記異なる複数の位置との相対的な位置の関係を算出し、該相対的な位置の関係の変化に基づく前記複数の特徴点ｐ１，ｐ２，ｐ３に対するカメラ１０１の移動の軌跡の算出を行い、該算出されたカメラ１０１の移動の軌跡と前記測位データの比較に基づく前記複数の特徴点ｐ１，ｐ２，ｐ３の前記特定の座標系における位置を求める。
【選択図】図２
【解決手段】カメラ１０１と反射プリズム１０２を搭載した重機１００の反射プリズム１０２の位置を特定の座標系上での外部標定要素が既知のトータルステーション２００により追尾しつつ測位して測位データを得、カメラ１０１により異なる複数の位置から重複する範囲が撮影された複数の撮影画像の画像データを取得し、前記複数の撮影画像から抽出された複数の特徴点ｐ１，ｐ２，ｐ３とカメラ１０１の前記異なる複数の位置との相対的な位置の関係を算出し、該相対的な位置の関係の変化に基づく前記複数の特徴点ｐ１，ｐ２，ｐ３に対するカメラ１０１の移動の軌跡の算出を行い、該算出されたカメラ１０１の移動の軌跡と前記測位データの比較に基づく前記複数の特徴点ｐ１，ｐ２，ｐ３の前記特定の座標系における位置を求める。
【選択図】図２
【特許請求の範囲】
【請求項1】
カメラと反射プリズムを搭載した重機の前記反射プリズムの位置を特定の座標系上での位置と姿勢が既知の測量装置により追尾しつつ測定した測定データを受け付ける測定データ受付部と、
前記重機の移動中に異なる複数の位置から前記カメラにより撮影された複数の撮影画像の画像データを取得する画像データ取得部と、
前記複数の撮影画像において共通する複数の特徴点と前記カメラの前記異なる複数の位置との相対的な位置の関係の算出と、前記カメラの前記異なる複数の位置と前記測定データとの比較に基づく前記複数の特徴点の前記特定の座標系における位置の特定とを行う演算部と
を有する演算装置。
前記重機の移動中に異なる複数の位置から前記カメラにより撮影された複数の撮影画像の画像データを取得する画像データ取得部と、
前記複数の撮影画像において共通する複数の特徴点と前記カメラの前記異なる複数の位置との相対的な位置の関係の算出と、前記カメラの前記異なる複数の位置と前記測定データとの比較に基づく前記複数の特徴点の前記特定の座標系における位置の特定とを行う演算部と
を有する演算装置。
【請求項2】
前記カメラと前記反射プリズムの位置の関係を用いて、前記特定の座標系における前記複数の特徴点の位置の調整計算が行われる請求項１に記載の演算装置。
【請求項3】
前記演算部は、
前記複数の特徴点に基づく、時間軸上の前の段階における第１の３Ｄデータの作成および時間軸上の後の段階における第２の３Ｄデータの作成と、
前記第２の３Ｄデータと前記第１の３Ｄデータの差分を求める処理と
を行う請求項１に記載の演算装置。
前記複数の特徴点に基づく、時間軸上の前の段階における第１の３Ｄデータの作成および時間軸上の後の段階における第２の３Ｄデータの作成と、
前記第２の３Ｄデータと前記第１の３Ｄデータの差分を求める処理と
を行う請求項１に記載の演算装置。
【請求項4】
前記第２の３Ｄデータと前記第１の３Ｄデータの差分に基づき、前記重機が行った作業の内容を特定する作業内容特定部を備える請求項３に記載の演算装置。
【請求項5】
前記第２の３Ｄデータと前記第１の３Ｄデータの差分に基づき、地上を前記重機に向かって移動する対象を監視対象として検出する監視対象検出部を備える請求項３に記載の演算装置。
【請求項6】
前記監視対象が前記重機に対して予め定めた距離以下に近づいた場合に報知処理を行う報知部を備える請求項５に記載の演算装置。
【請求項7】
前記複数の撮影画像には、前記重機の一部が写っており、
前記複数の撮影画像に写った前記重機の一部の画像または該画像に対応する３Ｄデータを除去する除去部を備える請求項１に記載の演算装置。
前記複数の撮影画像に写った前記重機の一部の画像または該画像に対応する３Ｄデータを除去する除去部を備える請求項１に記載の演算装置。
【請求項8】
前記重機は、レーザースキャナを搭載しており、
前記レーザースキャナと前記カメラの位置と姿勢の関係は既知であり、
前記重機の稼働中に前記レーザースキャナは、レーザースキャン点群を取得し、
前記調整計算により、前記カメラの前記特定の座標系における位置と姿勢が算出され、
前記カメラの前記特定の座標系における前記位置と前記姿勢に基づく前記レーザースキャナの前記特定の座標系における位置と姿勢の算出と、前記レーザースキャナの前記特定の座標系における前記位置と前記姿勢に基づく前記レーザースキャン点群の前記特定の座標系への座標変換とを実行する演算部を備える請求項２に記載の演算装置。
前記レーザースキャナと前記カメラの位置と姿勢の関係は既知であり、
前記重機の稼働中に前記レーザースキャナは、レーザースキャン点群を取得し、
前記調整計算により、前記カメラの前記特定の座標系における位置と姿勢が算出され、
前記カメラの前記特定の座標系における前記位置と前記姿勢に基づく前記レーザースキャナの前記特定の座標系における位置と姿勢の算出と、前記レーザースキャナの前記特定の座標系における前記位置と前記姿勢に基づく前記レーザースキャン点群の前記特定の座標系への座標変換とを実行する演算部を備える請求項２に記載の演算装置。
【請求項9】
カメラと反射プリズムを搭載した重機の前記反射プリズムの位置を特定の座標系上での外部標定要素が既知の測量装置により追尾しつつ測定した測定データの受け付けと、
前記重機の移動中に異なる複数の位置から前記カメラにより撮影された複数の撮影画像の画像データの取得と、
前記複数の撮影画像において共通する複数の特徴点と前記カメラの前記異なる複数の位置との相対的な位置の関係の算出と、
前記カメラの前記異なる複数の位置と前記測定データとの比較に基づく前記複数の特徴点の前記特定の座標系における位置の特定と
を行う演算方法。
前記重機の移動中に異なる複数の位置から前記カメラにより撮影された複数の撮影画像の画像データの取得と、
前記複数の撮影画像において共通する複数の特徴点と前記カメラの前記異なる複数の位置との相対的な位置の関係の算出と、
前記カメラの前記異なる複数の位置と前記測定データとの比較に基づく前記複数の特徴点の前記特定の座標系における位置の特定と
を行う演算方法。
【請求項10】
コンピュータに読み取らせて実行させるプログラムであって、
コンピュータに
カメラと反射プリズムを搭載した重機の前記反射プリズムの位置を特定の座標系上での位置と姿勢が既知の測量装置により追尾しつつ測定した測定データの受け付けと、
前記重機の移動中に異なる複数の位置から前記カメラにより撮影された複数の撮影画像の画像データの取得と、
前記複数の撮影画像において共通する複数の特徴点と前記カメラの前記異なる複数の位置との相対的な位置の関係の算出と、
前記カメラの前記異なる複数の位置と前記測定データとの比較に基づく前記複数の特徴点の前記特定の座標系における位置の特定と
を実行させるプログラム。
コンピュータに
カメラと反射プリズムを搭載した重機の前記反射プリズムの位置を特定の座標系上での位置と姿勢が既知の測量装置により追尾しつつ測定した測定データの受け付けと、
前記重機の移動中に異なる複数の位置から前記カメラにより撮影された複数の撮影画像の画像データの取得と、
前記複数の撮影画像において共通する複数の特徴点と前記カメラの前記異なる複数の位置との相対的な位置の関係の算出と、
前記カメラの前記異なる複数の位置と前記測定データとの比較に基づく前記複数の特徴点の前記特定の座標系における位置の特定と
を実行させるプログラム。
【請求項11】
カメラとＧＮＳＳ位置測定装置を搭載した重機の位置を前記ＧＮＳＳ装置により測定した測定データを受け付ける測定データ受付部と、
前記重機の移動中に異なる複数の位置から前記カメラにより撮影された複数の撮影画像の画像データを取得する画像データ取得部と、
前記複数の撮影画像において共通する複数の特徴点と前記カメラの前記異なる複数の位置との相対的な位置の関係の算出と、前記カメラの前記異なる複数の位置と前記測定データとの比較に基づく前記複数の特徴点の位置の特定とを行う演算部と
を有する演算装置。
前記重機の移動中に異なる複数の位置から前記カメラにより撮影された複数の撮影画像の画像データを取得する画像データ取得部と、
前記複数の撮影画像において共通する複数の特徴点と前記カメラの前記異なる複数の位置との相対的な位置の関係の算出と、前記カメラの前記異なる複数の位置と前記測定データとの比較に基づく前記複数の特徴点の位置の特定とを行う演算部と
を有する演算装置。
【請求項12】
前記演算部は、
前記複数の特徴点に基づく、時間軸上の前の段階における第１の３Ｄデータの作成および時間軸上の後の段階における第２の３Ｄデータの作成と、
前記第２の３Ｄデータと前記第１の３Ｄデータの差分を求める処理と
を行う請求項１１に記載の演算装置。
前記複数の特徴点に基づく、時間軸上の前の段階における第１の３Ｄデータの作成および時間軸上の後の段階における第２の３Ｄデータの作成と、
前記第２の３Ｄデータと前記第１の３Ｄデータの差分を求める処理と
を行う請求項１１に記載の演算装置。
【請求項13】
前記第２の３Ｄデータと前記第１の３Ｄデータの差分に基づき、前記重機が行った作業の内容を特定する作業内容特定部を備える請求項１２に記載の演算装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、重機を利用して三次元データを得る技術に関する。
【背景技術】
【0002】
測量装置を用いて重機の位置を測定する技術が知られている（例えば、特許文献１を参照）。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開平８－４３０９３号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
重機が１日や特定の期間に行った作業の結果をデータ化するために、従来は、重機による作業の終了後に、現場に設置したレーザースキャナ等の測量装置を用いて改めて作業対象の三次元情報の取得を行っていた。この方法は、重機による作業と、その作業結果のデータ化が別作業であり、効率が悪く、改善が望まれていた。また、上記の作業は専門的な知識を有する人による作業が必要であり、この点でも効率化が求められていた。このような背景において、本発明は、重機が行う作業の結果のデータ化に係る作業の効率化を目的とする。
【課題を解決するための手段】
【0005】
本発明は、カメラと反射プリズムを搭載した重機の前記反射プリズムの位置を特定の座標系上での位置と姿勢が既知の測量装置により追尾しつつ測定した測定データを受け付ける測定データ受付部と、前記重機の移動中に異なる複数の位置から前記カメラにより撮影された複数の撮影画像の画像データを取得する画像データ取得部と、前記複数の撮影画像において共通する複数の特徴点と前記カメラの前記異なる複数の位置との相対的な位置の関係の算出と、前記カメラの前記異なる複数の位置と前記測定データとの比較に基づく前記複数の特徴点の前記特定の座標系における位置の特定とを行う演算部とを有する演算装置である。本発明において、前記カメラと前記反射プリズムの位置の関係を用いて、前記特定の座標系における前記複数の特徴点の位置の調整計算が行われる態様が挙げられる。
【0006】
本発明において、前記演算部は、前記複数の特徴点に基づく、時間軸上の前の段階における第１の３Ｄデータの作成および時間軸上の後の段階における第２の３Ｄデータの作成と、前記第２の３Ｄデータと前記第１の３Ｄデータの差分を求める処理とを行う態様が挙げられる。
【0007】
本発明において、前記第２の３Ｄデータと前記第１の３Ｄデータの差分に基づき、前記重機が行った作業の内容を特定する作業内容特定部を備える態様が挙げられる。本発明において、前記第２の３Ｄデータと前記第１の３Ｄデータの差分に基づき、地上を前記重機に向かって移動する対象を監視対象として検出する監視対象検出部を備える態様が挙げられる。
【0008】
本発明において、前記監視対象が前記重機に対して予め定めた距離以下に近づいた場合に報知処理を行う報知部を備える態様が挙げられる。本発明において、前記複数の撮影画像には、前記重機の一部が写っており、前記複数の撮影画像に写った前記重機の一部の画像または該画像に対応する３Ｄデータを除去する除去部を備える態様が挙げられる。
【0009】
本発明において、前記重機は、レーザースキャナを搭載しており、前記レーザースキャナと前記カメラの位置と姿勢の関係は既知であり、前記重機の稼働中に前記レーザースキャナは、レーザースキャン点群を取得し、前記調整計算により、前記カメラの前記特定の座標系における位置と姿勢が算出され、前記カメラの前記特定の座標系における前記位置と前記姿勢に基づく前記レーザースキャナの前記特定の座標系における位置と姿勢の算出と、前記レーザースキャナの前記特定の座標系における前記位置と前記姿勢に基づく前記レーザースキャン点群の前記特定の座標系への座標変換とを実行する演算部を備える態様が挙げられる。
【0010】
本発明は、カメラと反射プリズムを搭載した重機の前記反射プリズムの位置を特定の座標系上での位置と姿勢が既知の測量装置により追尾しつつ測定した測定データの受け付けと、前記重機の移動中に異なる複数の位置から前記カメラにより撮影された複数の撮影画像の画像データの取得と、前記複数の撮影画像において共通する複数の特徴点と前記カメラの前記異なる複数の位置との相対的な位置の関係の算出と、前記カメラの前記異なる複数の位置と前記測定データとの比較に基づく前記複数の特徴点の前記特定の座標系における位置の特定とを行う演算方法である。
【0011】
本発明は、コンピュータに読み取らせて実行させるプログラムであって、コンピュータにカメラと反射プリズムを搭載した重機の前記反射プリズムの位置を特定の座標系上での外部標定要素が既知の測量装置により追尾しつつ測定した測定データの受け付けと、前記重機の移動中に異なる複数の位置から前記カメラにより撮影された複数の撮影画像の画像データの取得と、前記複数の撮影画像において共通する複数の特徴点と前記カメラの前記異なる複数の位置との相対的な位置の関係の算出と、前記カメラの前記異なる複数の位置と前記測定データとの比較に基づく前記複数の特徴点の前記特定の座標系における位置の特定とを実行させるプログラムである。
【0012】
本発明は、カメラとＧＮＳＳ位置測定装置を搭載した重機の位置を前記ＧＮＳＳ装置により測定した測定データを受け付ける測定データ受付部と、前記重機の移動中に異なる複数の位置から前記カメラにより撮影された複数の撮影画像の画像データを取得する画像データ取得部と、前記複数の撮影画像において共通する複数の特徴点と前記カメラの前記異なる複数の位置との相対的な位置の関係の算出と、前記カメラの前記異なる複数の位置と前記測定データとの比較に基づく前記複数の特徴点の位置の特定とを行う演算部とを有する演算装置である。
【発明の効果】
【0013】
本発明によれば、重機が行う作業の結果のデータ化に係る作業が効率化される。
【図面の簡単な説明】
【0014】
【図1】実施形態の概念図である。
【図2】三次元情報を得る原理を示す図である。
【図3】重機による土木作業の過程を示す図である。
【図4】重機による土木作業の結果生じる地形の変化を示す図である。
【図5】演算装置のブロック図である。
【図6】処理の手順の一例を示すフローチャートである。
【図7】処理の手順の一例を示すフローチャートである。
【図8】特徴点の位置、特徴点の画面位置およびカメラ位置の関係を示す図である。
【発明を実施するための形態】
【0015】
１．第１の実施形態
（概要）
図１には、土木作業を行う重機１００、重機１００の位置の測定を行うトータルステーション２００が示されている。重機１００は、作業を行うと共に搭載するカメラ１０１による撮影を行いｓｆｍ(Structure from Motion)の原理により、重機１００周囲の３Ｄデータを取得する。この際、トータルステーション２００は、重機１００に搭載した反射プリズム１０２を追尾しつつ繰り返し継続してその位置の測定を行う。この反射プリズム１０２の位置の測定値に基づいて、上記３Ｄデータを特定の座標系におけるデータとして得る。ｓｆｍの原理については、例えば特開２０１３－１８６８１６号公報に記載されている。
（概要）
図１には、土木作業を行う重機１００、重機１００の位置の測定を行うトータルステーション２００が示されている。重機１００は、作業を行うと共に搭載するカメラ１０１による撮影を行いｓｆｍ(Structure from Motion)の原理により、重機１００周囲の３Ｄデータを取得する。この際、トータルステーション２００は、重機１００に搭載した反射プリズム１０２を追尾しつつ繰り返し継続してその位置の測定を行う。この反射プリズム１０２の位置の測定値に基づいて、上記３Ｄデータを特定の座標系におけるデータとして得る。ｓｆｍの原理については、例えば特開２０１３－１８６８１６号公報に記載されている。
【0016】
（重機）
重機１００は、パワーシャベルである。パワーシャベルは一例であり、土木作業を行う重機であれば、重機の種類は特に限定されない。重機１００は、無限軌道により地上を走行するベース部１２０と、ベース部１２０上で水平回転する回転部１１０を備えている。回転部１１０は、運転席とアーム１５１を備え、アーム１５１の先端にはバケット１５２が配置されている。これらの構造は、通常のパワーシャベルと同じである。
重機１００は、パワーシャベルである。パワーシャベルは一例であり、土木作業を行う重機であれば、重機の種類は特に限定されない。重機１００は、無限軌道により地上を走行するベース部１２０と、ベース部１２０上で水平回転する回転部１１０を備えている。回転部１１０は、運転席とアーム１５１を備え、アーム１５１の先端にはバケット１５２が配置されている。これらの構造は、通常のパワーシャベルと同じである。
【0017】
回転部１１０の上部には、カメラ１０１、反射プリズム１０２およびレーザースキャナ１０３が配置されている。カメラ１０１の位置と反射プリズム１０２の位置関係は、未知であってよい。調整計算時にカメラ１０１の位置と反射プリズム１０２の位置関係は、未治量として計算される。なお、カメラ１０１の位置と反射プリズム１０２の位置関係は既知な情報として予め取得されていてもよい。
【0018】
カメラ１０１は、連続して繰り返し静止画像を撮影するデジタルスチールカメラである。カメラ１０１により、重機１００の周囲の撮影が行われる。カメラ１０１としてデプスカメラを採用することもできる。カメラ１０１として動画撮影用のカメラを利用し、動画を構成するフレーム画像を静止画像として利用する形態も可能である。図１には、１台のカメラ１０１を重機１００に配置する例を示すが、多方向に向けた複数台のカメラを配置することも可能である。また、ステレオカメラを用いることもできる。
【0019】
反射プリズム１０２は、レーザー光を用いた測量に利用される光学反射ターゲットである。ここでは、反射プリズム１０２として全周反射プリズムが利用される。反射プリズム１０２は、入射光を１８０°向きを変えて反射する。光学反射ターゲットとしては、反射プリズム以外に再帰反射特性を有する反射ターゲットを利用することができる。
【0020】
反射プリズム１０２の位置は、任意の場所でよい。なお、回転部１１０の回転中心または回転中止に近い位置に反射プリズム１０２を設置すると、トータルステーション２００による反射プリズム１０２の位置を測定した際における回転部１１０の回転の影響を軽減できる。
【0021】
重機１００は、走行検出装置１１１、回転検出装置１１２および演算装置３００を備えている。なお、説明は省略するが、その他パワーシャベルの稼働に必要な機能を重機１００は備えている。
【0022】
走行検出装置１１１は、ベース部１２０が無限軌道による走行を行っているか否かを検出する。走行検出装置１１１からは、重機１００の移動中において、重機１００が移動中（ベース部１２０が無限軌道により走行中）である旨を示す信号が出力される。この信号により、重機１００の移動（走行）の有無を判定できる。回転検出部１１２からは、回転部１１０の回転時に回転部１１０が回転中である旨を示す信号が出力される。この信号により、回転部１１０の回転の有無を判定できる。演算部３００については後述する。
【0023】
重機１００の位置は、重機の重心の位置で把握される。重機１００の位置をカメラ１０１や反射プリズム１０２の位置、回転部１１０の回転中心軸上のどこかの点、その他重機１００のどこかの位置で把握することも可能である。
【0024】
（トータルステーション）
トータルステーション２００は、位置の測定が可能な測量装置の一例である。トータルステーション２００は、レーザー光を用いた測位機能、カメラ、時計、測量したデータの記憶装置、通信インターフェース、ユーザーインターフェース、測量対象（反射プリズム１０２）を探索する機能および測量対象が移動してもそれを追尾する機能を備える。トータルステーション２００は、一般的に入手できる機種を利用できる。
トータルステーション２００は、位置の測定が可能な測量装置の一例である。トータルステーション２００は、レーザー光を用いた測位機能、カメラ、時計、測量したデータの記憶装置、通信インターフェース、ユーザーインターフェース、測量対象（反射プリズム１０２）を探索する機能および測量対象が移動してもそれを追尾する機能を備える。トータルステーション２００は、一般的に入手できる機種を利用できる。
【0025】
処理に先立ち、特定の座標系におけるトータルステーション２００の位置と姿勢は取得され、既知のデータとされている。利用する座標系は、絶対座標系またはローカル座標系である。絶対座標系は、地図やＧＮＳＳで用いられる座標系である。ここで選択された座標系が得られる３Ｄデータを記述する座標系となる。なお、トータルステーション２００の位置は、測距を行うための光学系の光学原点の位置で把握する。
【0026】
トータルステーション２００が反射プリズム１０２を視準し、ロックした状態で重機１００の作業が開始される。重機１００の作業中において、トータルステーション２００は、反射プリズム１０２を追尾しつつ、その位置の測定を繰り返し行う。繰り返し行われる反射プリズム１０２の位置の測定の間隔は、０．５秒～５秒程度とする。
【0027】
（原理）
以下の原理により、重機１００に搭載したカメラ１０１が撮影した画像に基づく、撮影対象の３Ｄデータの作成が行われる。
以下の原理により、重機１００に搭載したカメラ１０１が撮影した画像に基づく、撮影対象の３Ｄデータの作成が行われる。
【0028】
（１）相互標定
カメラ１０１が撮影した撮影画像に基づく任意スケールの相対三次元モデルの作成を行い、複数の画像間で特定された特徴点と各画像の撮影時におけるカメラ１０１の位置および姿勢の相対関係を特定する。
カメラ１０１が撮影した撮影画像に基づく任意スケールの相対三次元モデルの作成を行い、複数の画像間で特定された特徴点と各画像の撮影時におけるカメラ１０１の位置および姿勢の相対関係を特定する。
【0029】
（２）絶対標定
トータルステーション２００が測定した反射プリズム１０２の特定の座標系上での位置データを用いて、上記（１）の相互標定で作成された相対三次元モデルにスケール（実際の値）を与え、カメラ１０１の当該座標系における外部標定要素（位置と姿勢）および標定に利用した各特徴点の当該座標系における位置を求める。
トータルステーション２００が測定した反射プリズム１０２の特定の座標系上での位置データを用いて、上記（１）の相互標定で作成された相対三次元モデルにスケール（実際の値）を与え、カメラ１０１の当該座標系における外部標定要素（位置と姿勢）および標定に利用した各特徴点の当該座標系における位置を求める。
【0030】
（３）調整計算
バンドル調整計算および反射プリズム１０２とカメラ１０１の位置関係を考慮した調整計算を同時に行い、利用する特定の座標系におけるカメラ１０１の外部標定要素および特徴点の位置の最適化を行う。これにより、当該座標系上での特徴点の位置が記述された点群データが得られる。
バンドル調整計算および反射プリズム１０２とカメラ１０１の位置関係を考慮した調整計算を同時に行い、利用する特定の座標系におけるカメラ１０１の外部標定要素および特徴点の位置の最適化を行う。これにより、当該座標系上での特徴点の位置が記述された点群データが得られる。
【0031】
（４）３Ｄモデルの作成
上記調整計算により最適化された点群データに基づき、対象の３Ｄモデルを作成する。３Ｄモデルとしては、対象の輪郭線をデータ化したもの、ＤＥＭ(Digital Elevation Model)、ＴＩＮ(Triangulated Irregular Network)等が挙げられる。点群データに基づく３Ｄモデルの作成については、例えば、ＷＯ２０１１／０７０９２７号公報、特開２０１２－２３０５９４号公報、特開２０１４－３５７０２号公報に記載されている。
上記調整計算により最適化された点群データに基づき、対象の３Ｄモデルを作成する。３Ｄモデルとしては、対象の輪郭線をデータ化したもの、ＤＥＭ(Digital Elevation Model)、ＴＩＮ(Triangulated Irregular Network)等が挙げられる。点群データに基づく３Ｄモデルの作成については、例えば、ＷＯ２０１１／０７０９２７号公報、特開２０１２－２３０５９４号公報、特開２０１４－３５７０２号公報に記載されている。
【0032】
（各処理の詳細）
（相互標定の詳細）
以下、説明を簡素にするために重複した対象を異なる位置から撮影した２枚の画像（以下ステレオ画像）を用いた相互標定について説明する。重機１００は、移動しながらカメラ１０１により回転部１１０の前方を連続して撮影し、多数の撮影画像を得る。ここで、時間軸上で近接し、撮影範囲が重複した異なる位置から撮影した２枚の撮影画像をステレオ画像として選択する。重機１００は移動しながら撮影を繰り返し行うので、上記のステレオ画像は、視点の位置が異なり、且つ、重複した対象が写った２枚の撮影画像となる。
（相互標定の詳細）
以下、説明を簡素にするために重複した対象を異なる位置から撮影した２枚の画像（以下ステレオ画像）を用いた相互標定について説明する。重機１００は、移動しながらカメラ１０１により回転部１１０の前方を連続して撮影し、多数の撮影画像を得る。ここで、時間軸上で近接し、撮影範囲が重複した異なる位置から撮影した２枚の撮影画像をステレオ画像として選択する。重機１００は移動しながら撮影を繰り返し行うので、上記のステレオ画像は、視点の位置が異なり、且つ、重複した対象が写った２枚の撮影画像となる。
【0033】
なお、重機１００が停止中にカメラ１０１が撮影した撮影画像および回転部１１０が回転中にカメラ１０１が撮影した撮影画像も画像データに含まれる。回転部１１０が回転中にカメラ１０１が撮影した撮影画像を用いた標定は、誤差が大きくなる場合があるが、最終的に調整計算により、その誤差は低減される。
【0034】
図２には、重機１００が位置１から位置２に移動し、位置１と位置２において重複する範囲をカメラ１０１により撮影した場合が示されている。
【0035】
図２には、重機１００が位置１に位置しているタイミングでカメラ１０１が撮影した撮影画像１と、重機１００が位置２に位置しているタイミングでカメラ１０１が撮影した撮影画像２とをステレオ画像とし、両画像中から特徴点ｐ１、ｐ２、ｐ３が抽出された場合が示されている。なお、特徴点は無数に得られるが、ここでは簡単な例として３点の場合を示す。
【0036】
この場合、撮影画像１と撮影画像２のそれぞれから特徴点の抽出を行い、更に撮影画像１と撮影画像２における特徴点の対応関係の特定を行う。この技術については、例えば特開２０１３－１８６８１６号公報に記載されている。なお、特開２０１３－１８６８１６号公報には、特徴点の抽出、２つの画像間における特徴点のマッチング、交会法、各種の標定、特徴点の三次元位置の算出、バンドル調整等について詳細に記載されている。
【0037】
撮影画像１と撮影画像２の間で対応関係の特定を行うことで、両画像で共通な特徴点ｐ１、ｐ２、ｐ３が特定される。
【0038】
相互標定では、位置１におけるカメラ１０１の撮影画像１と、位置２におけるカメラ１０１の撮影画像２の間における特徴点ｐ１、ｐ２、ｐ３のずれが解消されるように両位置におけるカメラ１０１の位置と姿勢を探索（調整）し、両位置におけるカメラ１０１の相対的な外部標定要素（位置と姿勢）および特徴点ｐ１．ｐ２，ｐ３の相対位置関係が求められる。なおカメラ１０１の位置は、光学系の投影中心（撮影画像の視点）の位置である。
【0039】
この段階では、特定の座標系における座標値や姿勢の値が与えられておらず、求められる外部標定要素は、位置１と位置２におけるカメラ１０１の相対位置関係と相対的な姿勢（向き）の関係となる。また、特徴点ｐ１、ｐ２、ｐ３の位置も位置１と位置２におけるカメラ１０１の位置に対する相対的な位置（スケールが与えられていない相対的な位置関係）となる。
【0040】
図２の場合でいうと、相互標定により、位置１におけるカメラ１０１の位置―特徴点ｐｊ（ｊ＝１，２，３）の位置―位置２におけるカメラ１０１の位置の３点を頂点とする三角形の形状（３つの角の角度）が求まる。また、位置１または位置２におけるカメラ１０１の位置―特徴点ｐｊ（ｊ＝１，２，３）―特徴点ｐｋ（ｋ＝１，２，３、ｋ≠ｊ）の３点を頂点とする三角形の形状（３つの角の角度）が求まる。ただし、実スケールが与えられていないので、上記の三角形の大きさは定まらず、相対的な図形（相対三次元モデル）となる。また、三角形を記述する座標系も特定されていない。
【0041】
相互標定は、カメラ１０１が撮影した利用可能な全ての画像を対象に行われ、各画像に対応した各視点位置におけるカメラ１０１の相対的な外部標定要素と各特徴点の相対位置の関係を得る。上記の説明では、２枚の画像をステレオ画像として用いた相互標定の例を説明したが、実際には重複した対象が写った３枚以上の画像を用いて相互標定が行われる。
【0042】
（絶対標定の詳細）
仮に、図２における複数の特徴点の特定の座標系における位置が判れば、図２に係る相互標定により求められた相対三次元モデルに実スケールと座標値が与えられ、位置１と位置２におけるカメラ１０１の当該座標系における座標位置と姿勢（向き）が特定される。また、当該座標系における各特徴点の位置も特定される。これは、従来から行われている標定用ターゲットを用いた絶対標定の原理である。
仮に、図２における複数の特徴点の特定の座標系における位置が判れば、図２に係る相互標定により求められた相対三次元モデルに実スケールと座標値が与えられ、位置１と位置２におけるカメラ１０１の当該座標系における座標位置と姿勢（向き）が特定される。また、当該座標系における各特徴点の位置も特定される。これは、従来から行われている標定用ターゲットを用いた絶対標定の原理である。
【0043】
本実施形態では、標定用ターゲットを用いずに相互標定によって得られた相対三次元モデルに実スケールと座標値を与えることで絶対標定を行う。以下、詳細を説明する。
【0044】
ここでは、相互標定により得た上述した相対三次元モデル（位置１におけるカメラ１０１の位置―特徴点ｐｊ（ｊ＝１，２，３）―位置２におけるカメラ１０１の位置の３点を頂点とする三角形）におけるカメラ１０１の位置に着目する。
【0045】
重機１００の位置１および位置２における反射プリズム１０２の位置は、トータルステーション２００により測定されている。ここで、カメラ１０１と反射プリズム１０２は近接して配置され、回転部１１０におけるその位置関係は既知である。
【0046】
そこで、反射プリズム１０２の位置をカメラ１０１の位置と見なして、相互標定により得た上記相対三次元モデル上のカメラ１０１の移動軌跡がトータルステーション２００により測位した特定の座標系上における反射プリズム１０２の移動軌跡にフィッティングするように、相対三次元モデルの縮尺の調整、平行移動（位置の調整）、回転移動（向きの調整）を行う。
【0047】
相対三次元モデルにおけるカメラ２０２の移動軌跡をトータルステーション２００が測定した反射プリズム１０２の位置データにフィッティングさせることで、相対三次元モデルの複数の点におけるカメラ１０１の位置が定まり、また特徴点ｐｊが特定の座標系上で記述可能となる。
【0048】
図８には、カメラ１０１が撮影した撮影画面中における点ｐ１の位置（２次元座標位置）ｐ１、点ｐ２の位置ｐ２、点ｐ３の位置ｐ３が示されている。この場合、ｐ１とｐ１を結ぶ方向線、ｐ２とｐ２を結ぶ方向線、ｐ３とｐ３を結ぶ方向線を設定すると、撮影画面中における点ｐ１，ｐ２，ｐ３の位置が決まり、カメラ位置（カメラ１０１の投影中心）から見た画面中心の方向がカメラ１０１の光軸の方向となる。これにより、カメラ１０１の姿勢が求まる。
【0049】
例えば、絶対座標系におけるトータルステーション２００の位置と姿勢を予め決めてある場合、絶対座標系を利用して上記の絶対標定が行われ、絶対座標系上で各点の位置が記述される。そして、特定の座標系上で位置が記述された点の集合が点群データとなる。
【0050】
（調整計算の詳細）
上述した絶対標定において得た各特徴点の位置、およびカメラ１０１の位置と姿勢は、誤差を含んでいる。この誤差は色々な要因に起因する。また、重機１０１の振動等に起因する誤差もある。
上述した絶対標定において得た各特徴点の位置、およびカメラ１０１の位置と姿勢は、誤差を含んでいる。この誤差は色々な要因に起因する。また、重機１０１の振動等に起因する誤差もある。
【0051】
そこで、カメラ１０１の位置を反射プリズム１０２の位置と見なすことに起因する誤差、その他の要因の誤差を低減する調整計算を行う。この調整計算では、数１と数２の観測方程式を立て、最小二乗法による各パラメータ（特徴点（Ｘj,Ｙj,Ｚj)および外部標定要素（Ｘoi，Ｙoi，Ｚoi，ａ11i～ａ33i(回転行列)））の最適化が行われる。
【0052】
【数1】
【0053】
ｃ：画面距離（焦点距離）
（Ｘj,Ｙj,Ｚj)：着目した特徴点の三次元座標
（ｘij,ｙij）：画像i上における点ｊの画像上（画面上）の座標
（Ｘoi，Ｙoi，Ｚoi）：写真iの撮影時におけるカメラ１０１の位置
（ａ11i～ａ33i）：写真iの撮影時におけるカメラ１０１の姿勢を示す回転行列
（Ｘj,Ｙj,Ｚj)：着目した特徴点の三次元座標
（ｘij,ｙij）：画像i上における点ｊの画像上（画面上）の座標
（Ｘoi，Ｙoi，Ｚoi）：写真iの撮影時におけるカメラ１０１の位置
（ａ11i～ａ33i）：写真iの撮影時におけるカメラ１０１の姿勢を示す回転行列
【0054】
【数2】
【0055】
（Ｘpi,Ｙpi,Ｚpi）：画像iを撮影した時刻における反射プリズム１０２の位置
（ＬＸ,ＬＹ,ＬＺ) ：カメラ１０１の位置（投影中心）と反射プリズム１０２の反射点との離間距離
（ＬＸ,ＬＹ,ＬＺ) ：カメラ１０１の位置（投影中心）と反射プリズム１０２の反射点との離間距離
【0056】
上記の数１において、（Ｘj,Ｙj,Ｚj)の初期値は、上述した絶対標定で得られた三次元モデルにおける特徴点の三次元座標を用いる。（Ｘoi，Ｙoi，Ｚoi）の初期値は、絶対標定で得られた三次元モデルにおけるカメラ１０１の位置を用いる。（ａ11i～ａ33i）の初期値は、絶対標定で得られた三次元モデルにおけるカメラ１０１の姿勢を示す回転行列の値を用いる。（Ｘpi,Ｙpi,Ｚpi）は、トータルステーション２００が測定した反射プリズム１０２の位置を用いる。
【0057】
数１は、バンドル調整計算を行うための観測方程式である。バンドル調整計算では、測定対象物の特徴点、画像上の点、投影中心の３点を結ぶ光束（バンドル）が同一直線上になければならないという共線条件に基づき、各画像の光束１本毎に数１の観測方程式を立て、最小二乗法により特徴点の座標（Ｘj,Ｙj,Ｚj)と外部標定要素のパラメータ（Ｘoi，Ｙoi，Ｚoi，ａ11i～ａ33i）の同時調整が行われる。
【0058】
数２は、カメラ１０１と反射プリズム１０２の位置のズレを考慮にいれた調整計算を行うための観測方程式である。（ＬＸ,ＬＹ,ＬＺ)は、カメラ１０１と反射プリズム１０２の位置関係を決めるパラメータである。
【0059】
（ＬＸ,ＬＹ,ＬＺ)の初期値は、利用する座標系における回転部１１０の向きが特定の向きである場合における値を用いる。
【0060】
例えば、回転部１１０の前方向をＸ軸正の方向とした場合に、水平方向におけるカメラ１０１と反射プリズム１０２の離間距離をＬＨ＝として、ＬＸ＝ＬＨ、ＬＹ＝０、ＬＺは既知の鉛直方向における離間距離を初期値として採用する。
【0061】
数１と数２を用いた調整計算では、特徴点（Ｘj,Ｙj,Ｚj)、外部標定要素（Ｘoi，Ｙoi，Ｚoi，ａ11i～ａ33i(姿勢を示す回転行列)）および（ＬＸ,ＬＹ,ＬＺ)をパラメータとして、数１および数２の残差を算出する。この際、最小二乗法により上記の残差が収束するような（Ｘj,Ｙj,Ｚj)，（Ｘoi，Ｙoi，Ｚoi，ａ11i～ａ33i），（ＬＸ,ＬＹ,ＬＺ)の組み合わせを探索する。
【0062】
具体的には、数１および数２で示される残差が小さくなるように、各パラメータ（Ｘj,Ｙj,Ｚj)，（Ｘoi，Ｙoi，Ｚoi，ａ11i～ａ33i），（ＬＸ,ＬＹ,ＬＺ)に補正量を加えて数１および数２の同時計算を行うことを繰り返す。そして、数１および数２が収束条件を満たす未知パラメータ（Ｘj,Ｙj,Ｚj)，（Ｘoi，Ｙoi，Ｚoi，ａ11i～ａ33i），（ＬＸ,ＬＹ,ＬＺ)の組み合わせを求める。収束条件としては、残差が十分に小さい、前回の計算からの残差の変動が十分に小さい（計算結果の変動が収束した状態）を用いる。
【0063】
なお、重機１００の移動時の振動の影響による誤差の発生を抑えるために、センサにより振動を検出し、許容値を超える振動がある場合は、そのタイミングで得た画像を利用しない、あるいは該当する画像に関して、その影響を下げて演算を行う事も有効である。
【0064】
例えば、ある特徴点、カメラ位置、カメラの姿勢に関して、振動が許容値を超えない状況において得られたデータを優先して上記の調整計算を行い、振動が許容値を超える状況において得られたデータの調整計算の結果の優先度（重み付け）を下げる。例えば、振動時に得たデータに係る調整計算時の残差や残差の変動の幅が許容できない値であっても、非振動時に得たデータに係る調整計算の結果が許容値であればそれを優先する。同様のことを回転部１１０の回転時に得られたる特徴点、カメラ位置、カメラの姿勢に対して行ってもよい。
【0065】
（演算部）
演算部３００は、カメラ１０１が撮影した画像に基づく３Ｄデータの作成に係る演算およびその他の演算を行う。演算部３００は、コンピュータであり、ＣＰＵ、記憶装置、各種のインターフェースを備えている。
演算部３００は、カメラ１０１が撮影した画像に基づく３Ｄデータの作成に係る演算およびその他の演算を行う。演算部３００は、コンピュータであり、ＣＰＵ、記憶装置、各種のインターフェースを備えている。
【0066】
図５に演算部３００のブロック図を示す。演算部３００は、画像データ取得部３０１、不要データ除去部３０２、測位データ取得部３０３、稼動状態取得部３０４、特徴点抽出部３０５、対応点特定部３０６、標定計算部３０７、調整計算部３０８、点群データ取得部３０９、変化検出部３１０、３Ｄモデル作成部３１１、データ記憶部３１２、作業内容特定部３１３、監視対象特定部３１４、報知部３１５、カメラ制御部３１６、点群データ処理部３１７を備える。
【0067】
これら機能部の一部または全部は、演算部３００のＣＰＵにより動作プログラムが実行されることで実現される。これら機能部の一部または全部を専用のハードウェア（電子回路）で構成してもよい。
【0068】
画像データ取得部３０１は、カメラ１０１が撮影を行うことで得た画像データを取得する。不要データ除去部３０２は、重機１００のアーム１５１やバケット１５２といった作業対象の３Ｄデータの作成に不要な部位の画像または３Ｄデータを除去する。カメラ１０１の撮影画像には、重機１００のアーム１５１やバケット１５２が写り込む。これらの画像は、作業対象の３Ｄデータの生成には不要であるので、該当する画像データあるいは３Ｄデータを除去する。
【0069】
まず、該当する画像データを除去する場合を説明する。この場合、時間軸上で近接する撮影画像間で対応関係の特定を行い、背景に対して特定の方向に移動し、また画面中の特定の領域に存在する対象に係る画像データを削除する。
【0070】
例えば、アームは、撮影画面中の特定の範囲に写り、背景が移動しても画面中の位置は変化しない。このことを利用し、アームの画像を除去する。
【0071】
該当する３Ｄデータを除去する場合は、時間軸上で近接する３Ｄデータ間で対応関係の特定を行い、背景に対して特定の方向移動し、また特定の３次元領域に存在する対象にかかる画像データを削除する。
【0072】
例えば、アームは、カメラ１０１に対して特定の３次元範囲に存在し、また背景（例えば、地形）に対して移動する。この挙動を示す点群をアームの点群として特定し、削除する。
【0073】
測位データ取得部３０３は、トータルステーション２００が測定した反射プリズム１０２の位置のデータを取得する。トータルステーション２００は、時計を備え、反射プリズム１０２の位置の測定時にその時刻も取得している。上記反射プリズム１０２の位置のデータは、その計測時刻と関連付けされた状態でトータルステーション２００から出力され、それが測位データ取得部３０３で取得される。
【0074】
稼動状態取得部３０４は、重機１００の走行の有無、回転部１１０の回転の有無に関する情報を取得する。ここで、重機１００の走行の有無は、走行検出装置１１１からの信号により判定され、回転部１１０の回転の有無は、回転検出部１１２からの信号により判定する。
【0075】
特徴点抽出部３０５は、カメラ１０１が撮影した撮影画像の中から特徴点の抽出を行う。対応点特定部３０６は、カメラ１０１が撮影した複数の撮影画像の間における対応関係の特定を行う。ここで対象となる複数の撮影画像は、撮影範囲が重複している撮影画像であり、この重複している範囲において対応関係の特定が行なわれる。対応関係を特定する手法としては、例えばテンプレートマッチングが挙げられる。
【0076】
標定計算部３０７は、原理の欄で説明した標定に係る計算を行う。調整計算部３０８は、原理の欄で説明した調整計算に係る処理を行う。点群データ取得部３０９は、調整計算によって最適化された座標が確定した特徴点のデータを点群データとして取得する。
【0077】
変化検出部３１０は、時間軸上で前後する３Ｄデータを比較し、その差分を検出することで、３Ｄデータの変化を検出する。
【0078】
３Ｄモデル作成部３１１は、点群データに基づく３Ｄモデルの作成を行う。データ記憶部３１２は、演算部３００で利用する各種のデータや動作プログラム、演算部３００で得られる各種のデータ（例えば、点群データ等の３Ｄデータ）を記憶する。
【0079】
作業内容特定部３１３は、点群データ取得部３０９が取得した点群データまたは該点群データに基づく３Ｄモデルに基づき、重機１００が行った作業の内容を特定する。この際、後述する人等の監視対象の３Ｄデータ（点群データまたは３Ｄモデル）は、作業の内容でないので除外される。
【0080】
具体的には、特定の作業前の段階で得た撮影画像に基づく３Ｄデータと特定の作業後の段階で得た撮影画像に基づく３Ｄデータとを比較し、その差分データを検出する。この処理は、変化検出部３１０において行われる。次に、上記差分データの中から地上を移動し、且つ、重機１００に対して相対的に動く物体の３Ｄデータを除去する。こうして、重機１００の作業によって生じた３Ｄデータの変化分を検出し、作業の内容（地面の切削等）が特定される。
【0081】
以下、具体的な例を説明する。重機１００が土木作業を行うことで地形が変化する。図３（Ａ）には、時刻をｔ１における土木工事現場の様子が示され、図３（Ｂ）には、時刻をｔ２における土木工事現場の様子が示されている。ここで、ｔ２は、ｔ１より後の時刻である。
【0082】
図３（Ａ）（時刻ｔ１）は、地形の盛り上がり４０１および４０２が存在している状態である。図３（Ｂ）（時刻ｔ２）は、図３（Ａ）の時刻ｔ１の状態の後に、地形の盛り上がり４０１が重機１００により取り除かれて平坦とされ、地形の盛り上がり４０２が残った状態である。
【0083】
地形に着目した場合、図４（Ｂ）に示すように、重機１００の作業により、図４（Ａ）に示す地形の盛り上がり４０１が消失する。ここで、図３（Ａ）または図４（Ａ）の状態における地形の３Ｄデータと、図３（Ｂ）または図４（Ｂ）の状態における地形の３Ｄデータに着目すると、両者には、地形の盛り上がり４０１に対応する３Ｄデータの差がある。なお、ここでいう３Ｄデータは、点群データまたは該点群データに基づく３Ｄモデル（三次元モデル）のこという。
【0084】
【0085】
トータルステーション２００は時計を内蔵しており、絶対標定時に利用する反射プリズム１０２の即位時刻のデータは取得している。よって、絶対標定時の基なる基礎データの取得時刻は判り、得られる３Ｄデータに紐づいた時刻は判る。
【0086】
なお、カメラ１０１による撮影は連続して行われるので、得られる点群データの取得時刻は時間軸上の１点ではなく、ある程度の時間幅を有している。よって、得られる３Ｄデータに紐づいた時刻は、ある程度の時間幅を持ち、例えばその中間値や代表値でもって把握される。
【0087】
例えば、３Ｄデータは、１０秒毎や３０秒毎に更新される。この更新の際、新たに増えた３Ｄデータおよび失われた３Ｄデータ（例えば、上記の地形の盛り上がり４０１の３Ｄデータがその一例）を抽出し、それを別に保存することができる。なお、更新の間隔は、利用するハードウェアの能力、必要とされる時間軸上の分解能等によって適宜設定できる。
【0088】
例えば、３０秒間隔で点群データの更新が行われるとする。この場合、ある時刻における点群データに着目すると、その３０秒前の点群データとの差分の点群データを抽出することで、新たに増えた点群データおよび無くなった点群データが得られる。例えば、無くなった点群データの一例が、図４に示す最終的に削り取られる「地形の盛り上がり４０１」の点群データである。
【0089】
例えば、時刻Ｔ１、時刻Ｔ２、時刻Ｔ３・・・のそれぞれにおける３Ｄデータを生成する。この場合、各時刻における３Ｄデータが当該時刻と紐づけされて記憶される。このデータがデータ記憶部３１２に記憶される。
【0090】
上記の各時刻における３Ｄデータの時間軸上における推移を追うことで、３Ｄデータの変化を把握できる。例えば、重機１００の土木作業に起因する地形の変化を３Ｄデータの推移として把握できる。例えば、重機１００の土木作業に起因する地形の変化を３Ｄモデルの時間変化としてディスプレイ上に画像表示することができる。また、削られた土砂や盛られた土砂を３Ｄデータとして把握できる。
【0091】
変化の対象は、地形に限定されず、建物や工作物であってもよい。例えば、重機によって建物や工作物を取り壊す場合に本実施形態を適用することで、その推移を３Ｄデータとして取得できる。
【0092】
監視対象特定部３１４は、地上を重機１００に対して相対的に移動する対象、特に地上を重機１００に対して相対的に近づく対象を監視対象としてとして特定する。
【0093】
３Ｄデータの更新を定期的に行うことで、重機１００と人との近接や接触、重機１００と他の重機との近接や接触を回避する処理が可能である。
【0094】
例えば、重機１００に人が近づく場合を想定する。ここで、５秒毎に３Ｄデータの更新を行うとする。この場合、５秒毎における３Ｄデータの変化の推移を監視することで、重機１００に近づく存在を監視対象として検出する。
【0095】
ここでは、取得した３Ｄデータの変化を監視し、背景の３Ｄデータ（地形の３Ｄデータ）に対して相対的に移動し、且つ、重機１００に対して相対的に移動する３Ｄデータを監視対象として検出する。また、監視対象が人であるかどうかを画像認識処理により検出することで、人が重機１００に近づいてくる状況が把握できる。なお、監視対象の特定に係る処理は、リアルタイムあるいは極力遅延なく行う必要がある。
【0096】
報知部３１５は、監視対象特定部３１４が特定した監視対象に係る報知を行う。例えば、重機１００と人等の監視対象との間の距離が予め定めた距離以下となった場合に報知処理を行う。報知は、重機１００の運転者や周囲に対する警報音等の音による方法、重機１００の運転席に配置したディスプレイを利用した報知表示、スマートフォン等の外部機器への報知信号の出力とった形態で行われる。
【0097】
カメラ制御部３１６は、カメラ１０１の撮影動作の制御を行う。カメラ制御部３１６が時計機能を有し、カメラ１０１の撮影画像の画像データを時刻と紐づけて管理する形態も可能である。カメラ１０１が時計機能を有し、撮影時刻のデータを画像データと関連付ける形態も可能である。
【0098】
点群データ処理部は、レーザースキャナ１０３が取得したレーザースキャン点群のデータに係る処理を行う。処理の詳細は、後述の第５の実施形態において説明する。
【0099】
（処理の手順の一例：その１）
図６に処理の手順の一例を示す。図６の処理を実行するプログラムは、データ記憶部３１２や適当な記憶媒体に記憶され、そこから読み出されて演算装置３００を構成するコンピュータのＣＰＵにより実行される。当該プログラムをインターネットに接続されたサーバに記憶させ、そこからダウンロードする形態も可能である。これは、図７に係る処理も同じである。
図６に処理の手順の一例を示す。図６の処理を実行するプログラムは、データ記憶部３１２や適当な記憶媒体に記憶され、そこから読み出されて演算装置３００を構成するコンピュータのＣＰＵにより実行される。当該プログラムをインターネットに接続されたサーバに記憶させ、そこからダウンロードする形態も可能である。これは、図７に係る処理も同じである。
【0100】
図６の処理は、重機１００の稼働と同時に平行して行っても良いし、重機１００による作業の終了後に後処理で行っても良い。
【0101】
まず、カメラ１０１が撮影した撮影画像の画像データの取得を行う（ステップＳ１０１）。重機１００の稼働と同時（カメラ１０１の撮影と同時）に処理を行う場合は、後段の標定計算および調整計算が行える範囲で画像データを取得する。後処理で標定計算および調整計算を行う場合は、取得した画像データの全ての取得を行っても良い。もちろん、取得した画像データを複数に分割して、逐次処理を行うこともできる。
【0102】
次に、取得した画像データの画像中から不要な部分の画像データを除去する（ステップＳ１０２）。ここで、不要な部分の画像データは、重機１００のアーム１５１やバケット１５２といった作業対象の３Ｄデータの作成に不要な部位の画像データである。この処理は、不要データ除去部３０２において行われる。
【0103】
次に、トータルステーション２００が測定した反射プリズム１０２の位置のデータを取得する（ステップＳ１０３）。次に、撮影画像に基づく標定計算を行う（ステップＳ１０４）。標定計算は、原理の欄で説明した相対標定と絶対標定により行われる。絶対標定では、ステップＳ１０３において得た反射プリズム１０２の測位データが利用される。この処理は、標定計算部３０７において行われる。
【0104】
次に、数１および数２に示す調整計算が行われる（ステップＳ１０５）。この処理は、調整計算部３０８において行われる。
【0105】
次に、調整計算によって最適化された各特徴点の集合が点群データとして取得される（ステップＳ１０６）。なお、ステップＳ１０６の処理は、必ずしも必要ではない。この場合、ステップＳ１０７以下の処理は、他のタイミングで行われる。
【0106】
次に、時間軸上で前後する２つの点群データを比較し、その差分を取り、時間経過に従って変化した点群データを検出する（ステップＳ１０７）。この処理は、変化検出部３１０において行われる。
【0107】
次に、変化が検出された点群データから、地上を移動する物体に係る点群データを除去し、重機１００の作業により変化した点群データを作業内容に係る点群データとして検出する（ステップＳ１０８）。この処理は、作業内容特定部３１３において行われる。
【0108】
（処理の手順の一例：その２）
図７は、重機１００と人等との干渉を防止するための処理の手順の一例を示すフローチャートである。この処理は、カメラ１０１の撮影から極力遅延なく行う必要がある。まず、図６のステップＳ１０１～ステップＳ１０６の処理を行い、カメラ１０１が撮影した対象の点群データを得る（ステップＳ２０１）。
図７は、重機１００と人等との干渉を防止するための処理の手順の一例を示すフローチャートである。この処理は、カメラ１０１の撮影から極力遅延なく行う必要がある。まず、図６のステップＳ１０１～ステップＳ１０６の処理を行い、カメラ１０１が撮影した対象の点群データを得る（ステップＳ２０１）。
【0109】
次に、重機１０１および背景の地形に対して相対的に動く対象を監視対象として特定する（ステップＳ２０２）。この処理は、監視対象特定部３１４において行われる。次に、重機１００と監視対象の間の距離を算出し、該距離が予め定めた距離以下であるか否かの判定を行う（ステップＳ２０３）。
【0110】
上記距離が予め定めた距離以下である場合、報知処理を行い（ステップＳ２０４）、そうでない場合、ステップＳ２０１以下の処理を繰り返す。
【0111】
（優位性）
本実施形態では、カメラ１０１と反射プリズム１０２を搭載した重機１００の反射プリズム１０２の位置を特定の座標系上での外部標定要素が既知のトータルステーション２００により追尾しつつ測位して測位データを得、カメラ１０１により異なる複数の位置から重複する範囲が撮影された複数の撮影画像の画像データを取得し、前記複数の撮影画像から抽出された複数の特徴点ｐ１，ｐ２，ｐ３とカメラ１０１の前記異なる複数の位置との相対的な位置の関係を算出し、該相対的な位置の関係の変化に基づく前記複数の特徴点ｐ１，ｐ２，ｐ３に対するカメラ１０１の移動の軌跡の算出を行い、該算出されたカメラ１０１の移動の軌跡と前記測位データの比較に基づく前記複数の特徴点ｐ１，ｐ２，ｐ３の前記特定の座標系における位置を求める。
本実施形態では、カメラ１０１と反射プリズム１０２を搭載した重機１００の反射プリズム１０２の位置を特定の座標系上での外部標定要素が既知のトータルステーション２００により追尾しつつ測位して測位データを得、カメラ１０１により異なる複数の位置から重複する範囲が撮影された複数の撮影画像の画像データを取得し、前記複数の撮影画像から抽出された複数の特徴点ｐ１，ｐ２，ｐ３とカメラ１０１の前記異なる複数の位置との相対的な位置の関係を算出し、該相対的な位置の関係の変化に基づく前記複数の特徴点ｐ１，ｐ２，ｐ３に対するカメラ１０１の移動の軌跡の算出を行い、該算出されたカメラ１０１の移動の軌跡と前記測位データの比較に基づく前記複数の特徴点ｐ１，ｐ２，ｐ３の前記特定の座標系における位置を求める。
【0112】
本実施形態によれば、重機１００が作業を行いつつ、当該作業の結果のデータを得ることはできる。このため、重機が行った作業に関する三次元情報を効率よく得ることができる。また、重機と作業員等との干渉が生じる危険性を検出できる。
【0113】
２．第２の実施形態
第１の実施形態では、カメラ１０１は時間情報を必ずしも必要としないが、撮影時刻の情報があってもよい。この場合、撮影画像は、撮影時刻と紐づいて管理される。
第１の実施形態では、カメラ１０１は時間情報を必ずしも必要としないが、撮影時刻の情報があってもよい。この場合、撮影画像は、撮影時刻と紐づいて管理される。
【0114】
３．第３の実施形態
データ処理サーバを利用して演算部３００の機能を実行する形態も可能である。この場合、重機１００およびトータルステーション２００から各種計測データが、当該データ処理サーバにインターネット回線等の適当なデータ通信回線を介して送信され、そこで演算部３００で行わる処理が実行される。
データ処理サーバを利用して演算部３００の機能を実行する形態も可能である。この場合、重機１００およびトータルステーション２００から各種計測データが、当該データ処理サーバにインターネット回線等の適当なデータ通信回線を介して送信され、そこで演算部３００で行わる処理が実行される。
【0115】
４．第５の実施形態
レーザースキャナ（LiDAR）１０３が取得するレーザースキャン点群（以下、第２の点群データ）を第１の実施形態で説明したカメラ１０１の撮影画像に基づく点群データ（以下、第１の点群データ）と統合してもよい。
レーザースキャナ（LiDAR）１０３が取得するレーザースキャン点群（以下、第２の点群データ）を第１の実施形態で説明したカメラ１０１の撮影画像に基づく点群データ（以下、第１の点群データ）と統合してもよい。
【0116】
レーザースキャナ１０３が取得するレーザースキャン点群（１次点群データ）は、レーザースキャナ１０３の位置（厳密には、レーザースキャナ１０３の光学系の光学原点）を原点としたローカル座標系上において、方向と距離のデータとして記述される。この１次点群データを特定の座標系に座標変換するには、当該特定の座標系におけるレーザースキャナ１０３の位置と姿勢（つまり外部評定要素）が判ればよい。
【0117】
移動しながらレーザースキャナ１０３によるレーザースキャンが行われた場合、厳密には１点毎の原点（視点）の位置が異なるものとなる（勿論、同一原点と見なせる場合もある）。ここで、各点に係り、利用する座標系におけるレーザースキャナ１０３の位置と姿勢が判明すれば、各点の当該座標系における位置が得られる。これにより、第２の点群データを第１の点群データと同じ座標系上で記述でき、両者の統合が可能となる。
【0118】
以下、レーザースキャナ１０３が取得する点に係るレーザースキャナ１０３の位置と姿勢を求める方法を説明する。
【0119】
ここでは、前提としてカメラ１０１とレーザースキャナ１０３の位置と姿勢の関係は既知であるとする。また、レーザースキャン点群の各点の計測時刻が取得されているとする。
【0120】
第１の実施形態で説明したように、トータルステーション２００は時計を備え、トータルステーション２００による反射プリズム１０２の位置の計測に基づき、標定処理と調整計算により、特定の時刻におけるカメラ１０１の位置と姿勢を求めることができる。
【0121】
カメラ１０１とレーザースキャナ１０３の位置と姿勢の関係は既知であるので、特定の時刻における利用する座標系でのカメラ１０１の位置と姿勢が判明することで、その時刻におけるレーザースキャナス１０３の当該座標系における位置と姿勢を求めることができる。
【0122】
これにより、レーザースキャナ１０３が取得するレーザースキャン点群（第２の点群データ）の各点の座標を、レーザースキャナ１０３を原点としたローカル座標系からトータルステーション２００が利用する座標系に座標変換することができ、第２の点群データをトータルステーション２００が利用する座標系で記述できるようになる。
【0123】
こうして、第１の点群データと第２の点群データとを同じ座標系上で扱うことが可能となり、第１の点群データと第２の点群データを統合することができる。以上説明した第２の点群データに係る処理が点群データ処理部３１７において行われる。
【0124】
レーザースキャナ１０３が取得する点に係るレーザースキャナ１０３の姿勢を求める方法として、ＩＭＵ（慣性計測装置）を用いる（あるいは併用する）方法もある。
【0125】
第１の点群データに基づく３Ｄモデルと第２の点群データに基づく３Ｄモデルとを統合する形態も可能である。
【0126】
本実施形態で示す統合された３Ｄデータ（点群ベースまたは３次元モデルベース）を利用して、重機１００による作業内容の特定を行うことも可能である。
【0127】
５．第５の実施形態
例えば、撮影画像１と撮影画像２で特徴点を出し、対応がついた点を用いて相互標定を行う。また、その前か後で同じエリアを撮影しているにもかかわらず一定のエリア内で対応が取れなかったエリアを地形が変化したエリアとして認識し特徴点をアップデートする。つまり、変化があった対象の特徴点の抽出を行う。この処理を時間軸上で並ぶ撮影画像の間で行う。
例えば、撮影画像１と撮影画像２で特徴点を出し、対応がついた点を用いて相互標定を行う。また、その前か後で同じエリアを撮影しているにもかかわらず一定のエリア内で対応が取れなかったエリアを地形が変化したエリアとして認識し特徴点をアップデートする。つまり、変化があった対象の特徴点の抽出を行う。この処理を時間軸上で並ぶ撮影画像の間で行う。
【0128】
６．第６の実施形態
特徴点は画像が撮影された時刻と同期され、特徴点に時刻情報を持たせることができる。そこで、時刻情報と絡めて特徴点をデータベース化し、時間や何かトリガーとなる時刻における最新の特徴点を収集し、標定計算を行うことで、その時刻の地形を取得できる。
特徴点は画像が撮影された時刻と同期され、特徴点に時刻情報を持たせることができる。そこで、時刻情報と絡めて特徴点をデータベース化し、時間や何かトリガーとなる時刻における最新の特徴点を収集し、標定計算を行うことで、その時刻の地形を取得できる。
【0129】
必要な時刻での画像と特徴点があれば、後処理で必要最低限な画像を使ってその時刻の３Ｄの地形を再現できる。それを３０分などの細かいスパンでモデル作成すれば地形の変化を時系列に観察できる。
【0130】
例えば、時刻ｔ１＝１３時００分００秒の撮影画像と特徴点、時刻ｔ２＝１３時１５分００秒の撮影画像と特徴点を得る。ここで、各時刻の特徴点の座標は、前後の画像を用いて計算により求めることができる。
【0131】
こうして、時刻ｔ１における撮影対象の３Ｄデータを特徴点により把握し、時刻ｔ２における撮影対象の３Ｄデータを特徴点により把握できる。そして、２つの３Ｄデータを比較することで、時刻ｔ１とｔ２の間で生じた地形の変化を知ることができる。この場合、必ずしも３Ｄのモデルを作成する必要はなく、処理を効率化できる。
【0132】
７．第７の実施形態
重機にＧＮＳＳ位置測定装置を搭載し、このＧＮＳＳ位置測定装置を用いて重機上のカメラの位置を特定することもできる。この場合、反射プリズムとトータルステーションは不要となる（勿論、併用も可能である）。ＧＮＳＳを用いた位置の測定は誤差を含むが、調整計算によりＧＮＳＳの誤差を抑えることができる。調整計算では、前述した場合の反射プリズムの位置に、ＧＮＳＳ位置測定装置のアンテナが設置されているとして、計算が行われる。また、ＲＴＫ法等の相対測位を用いることで、測定誤差を抑えることができる。特徴点の取り扱い、各種の標定、その他データの処理に関しては、他の実施形態の内容と同じである。
重機にＧＮＳＳ位置測定装置を搭載し、このＧＮＳＳ位置測定装置を用いて重機上のカメラの位置を特定することもできる。この場合、反射プリズムとトータルステーションは不要となる（勿論、併用も可能である）。ＧＮＳＳを用いた位置の測定は誤差を含むが、調整計算によりＧＮＳＳの誤差を抑えることができる。調整計算では、前述した場合の反射プリズムの位置に、ＧＮＳＳ位置測定装置のアンテナが設置されているとして、計算が行われる。また、ＲＴＫ法等の相対測位を用いることで、測定誤差を抑えることができる。特徴点の取り扱い、各種の標定、その他データの処理に関しては、他の実施形態の内容と同じである。
【0133】
８．その他
本発明は、重機を用いた建物や工作物の設置や組み立て、重機を用いた建物や工作物の解体に適用することもできる。
本発明は、重機を用いた建物や工作物の設置や組み立て、重機を用いた建物や工作物の解体に適用することもできる。
【符号の説明】
【0134】
１００…重機、１０１…カメラ、１０２…反射プリズム、１０３…レーザースキャナ、１２０…ベース部、１５１…アーム、１５２…バケット、２００…トータルステーション、４０１…地形の盛り上がり、４０２…地形の盛り上がり。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】