知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024145771
(43)【公開日】2024-10-15
(54)【発明の名称】重機の情報の取得方法、システムおよびプログラム
(51)【国際特許分類】
G01C 15/00 20060101AFI20241004BHJP
【ＦＩ】
G01C15/00 103B
G01C15/00 103C
G01C15/00 103E
【審査請求】未請求
【請求項の数】6
【出願形態】ＯＬ
(21)【出願番号】P 2023058258
(22)【出願日】2023-03-31
(71)【出願人】
【識別番号】000220343
【氏名又は名称】株式会社トプコン
(74)【代理人】
【識別番号】100096884
【弁理士】
【氏名又は名称】末成 幹生
(72)【発明者】
【氏名】佐々木 剛
(72)【発明者】
【氏名】深谷 暢之
(57)【要約】
【課題】重機の可動部分の位置を効率よく求める。
【解決手段】水平回転する回転部１１０を備えた重機１００の回転部１１０の回転中心の位置と回転部１１０の姿勢を求める方法であって、回転部１１０に固定された反射プリズム１０２の位置をトータルステーション２００により測定し、回転部１１０に固定されたカメラ１０１が撮影した撮影画像の画像データを得、トータルステーション２００が測定した反射プリズム１０２の位置とカメラ１０１が撮影した撮影画像の画像データに基づき、カメラ１０１の位置を算出し、算出した反射プリズム１０２の位置とカメラ１０１の位置に基づき、回転部１１０の回転中心の位置と回転部１１０の姿勢を算出する。
【選択図】図１
【解決手段】水平回転する回転部１１０を備えた重機１００の回転部１１０の回転中心の位置と回転部１１０の姿勢を求める方法であって、回転部１１０に固定された反射プリズム１０２の位置をトータルステーション２００により測定し、回転部１１０に固定されたカメラ１０１が撮影した撮影画像の画像データを得、トータルステーション２００が測定した反射プリズム１０２の位置とカメラ１０１が撮影した撮影画像の画像データに基づき、カメラ１０１の位置を算出し、算出した反射プリズム１０２の位置とカメラ１０１の位置に基づき、回転部１１０の回転中心の位置と回転部１１０の姿勢を算出する。
【選択図】図１
【特許請求の範囲】
【請求項1】
水平回転する回転部を備えた重機の前記回転部の回転中心の位置と前記回転部の姿勢を求める方法であって、
前記回転部の特定の部分の位置を測定し、
前記回転部に固定されたカメラが撮影した撮影画像の画像データを得、
前記特定の部分の位置と前記画像データに基づき、前記カメラの位置を算出し、
前記特定の部分の位置と前記カメラの位置に基づき、前記回転部の回転中心の位置と前記回転部の姿勢を算出する重機の情報の取得方法。
前記回転部の特定の部分の位置を測定し、
前記回転部に固定されたカメラが撮影した撮影画像の画像データを得、
前記特定の部分の位置と前記画像データに基づき、前記カメラの位置を算出し、
前記特定の部分の位置と前記カメラの位置に基づき、前記回転部の回転中心の位置と前記回転部の姿勢を算出する重機の情報の取得方法。
【請求項2】
前記特定の部分の位置は、前記回転部に固定された反射プリズムの位置である請求項１に記載の重機の情報の取得方法。
【請求項3】
前記カメラの位置は、
前記特定の部分の位置を前記カメラの位置としたバンドル調整計算により算出される請求項１に記載の重機の情報の取得方法。
前記特定の部分の位置を前記カメラの位置としたバンドル調整計算により算出される請求項１に記載の重機の情報の取得方法。
【請求項4】
前記回転部における前記特定の部分、前記カメラおよび前記回転部の回転中心の位置の関係は既知であり、
特定の座標系における前記特定の部分と前記カメラの位置が特定されることで、当該座標系における前記回転部の回転中心の位置と前記回転部の姿勢が求められる請求項１～３のいずれか一項に記載の重機の情報の取得方法。
特定の座標系における前記特定の部分と前記カメラの位置が特定されることで、当該座標系における前記回転部の回転中心の位置と前記回転部の姿勢が求められる請求項１～３のいずれか一項に記載の重機の情報の取得方法。
【請求項5】
水平回転する回転部を備えた重機の前記回転部の回転中心の位置と前記回転部の姿勢を求めるシステムであって、
前記回転部の特定の部分の位置を測定する手段と、
前記回転部に固定されたカメラが撮影した撮影画像の画像データを得る手段と、
前記特定の部分の位置と前記画像データに基づき、前記カメラの位置を算出する手段と、
前記特定の部分の位置と前記カメラの位置に基づき、前記回転部の回転中心の位置と前記回転部の姿勢を算出する手段と
を備えるシステム。
前記回転部の特定の部分の位置を測定する手段と、
前記回転部に固定されたカメラが撮影した撮影画像の画像データを得る手段と、
前記特定の部分の位置と前記画像データに基づき、前記カメラの位置を算出する手段と、
前記特定の部分の位置と前記カメラの位置に基づき、前記回転部の回転中心の位置と前記回転部の姿勢を算出する手段と
を備えるシステム。
【請求項6】
水平回転する回転部を備えた重機の前記回転部の回転中心の位置と前記回転部の姿勢をコンピュータに求めさせるプログラムであって、
コンピュータに
前記回転部の特定の部分の位置の測定値の取得と、
前記回転部に固定されたカメラが撮影した撮影画像の画像データの取得と、
前記特定の部分の位置と前記画像データに基づく、前記カメラの位置の算出と、
前記特定の部分の位置と前記カメラの位置に基づき、前記回転部の回転中心の位置と前記回転部の姿勢の算出と
を実行させるプログラム。
コンピュータに
前記回転部の特定の部分の位置の測定値の取得と、
前記回転部に固定されたカメラが撮影した撮影画像の画像データの取得と、
前記特定の部分の位置と前記画像データに基づく、前記カメラの位置の算出と、
前記特定の部分の位置と前記カメラの位置に基づき、前記回転部の回転中心の位置と前記回転部の姿勢の算出と
を実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、重機に係る測量や制御に必要な情報を取得する技術に関する。
【背景技術】
【0002】
測量装置を用いて重機の位置を測定する技術が知られている（例えば、特許文献１を参照）。また、測量装置を用いて重機の可動部分の位置を計測する技術が知られている（例えば、特許文献２を参照）。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開平８－４３０９３号公報
【特許文献2】特開２０１８－１４６４０７号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
重機（建設作業機械）の刃先（例えば、パワーシャベルのバケットの部分）の位置を検出する場合、まず重機の回転部の回転中心を検出し、そこを基準として刃先の位置が検出される。この回転中心を求める作業が煩雑であり、改善が求められている。このような背景において、本発明は、重機の情報を効率よく求める技術を得ることを目的とする。
【課題を解決するための手段】
【0005】
本発明は、水平回転する回転部を備えた重機の前記回転部の回転中心の位置と前記回転部の姿勢を求める方法であって、前記回転部の特定の部分の位置を測定し、前記回転部に固定されたカメラが撮影した撮影画像の画像データを得、前記特定の部分の位置と前記画像データに基づき、前記カメラの位置を算出し、前記特定の部分の位置と前記カメラの位置に基づき、前記回転部の回転中心の位置と前記回転部の姿勢を算出する重機の情報の取得方法である。
【0006】
本発明において、前記特定の部分の位置は、前記回転部に固定された反射プリズムの位置である態様が挙げられる。本発明において、前記カメラの位置は、前記特定の部分の位置を前記カメラの位置としたバンドル調整計算により算出される態様が挙げられる。本発明において、前記回転部における前記特定の部分、前記カメラおよび前記回転部の回転中心の位置の関係は既知であり、特定の座標系における前記特定の部分と前記カメラの位置が特定されることで、当該座標系における前記回転部の回転中心の位置と前記回転部の姿勢が求められる態様が挙げられる。
【0007】
本発明は、水平回転する回転部を備えた重機の前記回転部の回転中心の位置と前記回転部の姿勢を求めるシステムであって、前記回転部の特定の部分の位置を測定する手段と、前記回転部に固定されたカメラが撮影した撮影画像の画像データを得る手段と、前記特定の部分の位置と前記画像データに基づき、前記カメラの位置を算出する手段と、前記特定の部分の位置と前記カメラの位置に基づき、前記回転部の回転中心の位置と前記回転部の姿勢を算出する手段とを備えるシステムである。
【0008】
本発明は、水平回転する回転部を備えた重機の前記回転部の回転中心の位置と前記回転部の姿勢をコンピュータに求めさせるプログラムであって、コンピュータに前記回転部の特定の部分の位置の測定値の取得と、前記回転部に固定されたカメラが撮影した撮影画像の画像データの取得と、前記特定の部分の位置と前記画像データに基づく、前記カメラの位置の算出と、前記特定の部分の位置と前記カメラの位置に基づき、前記回転部の回転中心の位置と前記回転部の姿勢の算出とを実行させるプログラムである。
【発明の効果】
【0009】
本発明によれば、重機の情報を効率よく求めることができる。
【図面の簡単な説明】
【0010】
【発明を実施するための形態】
【0011】
１．第１の実施形態
（概要）
図１には、土木作業を行う重機１００、重機１００の位置の測定を行う測量装置であるトータルステーション２００が示されている。重機１００の稼働中に、搭載するカメラ１０１による撮影を行い、ｓｆｍ(Structure from Motion)の原理により、重機１００周囲の３Ｄデータを取得する。トータルステーション２００は、重機１００に搭載した反射プリズム１０２を追尾しつつ繰り返し継続してその位置の測定を行う。
（概要）
図１には、土木作業を行う重機１００、重機１００の位置の測定を行う測量装置であるトータルステーション２００が示されている。重機１００の稼働中に、搭載するカメラ１０１による撮影を行い、ｓｆｍ(Structure from Motion)の原理により、重機１００周囲の３Ｄデータを取得する。トータルステーション２００は、重機１００に搭載した反射プリズム１０２を追尾しつつ繰り返し継続してその位置の測定を行う。
【0012】
重機１００の稼働時にカメラ１０１が撮影した撮影画像を利用して、重機１００の回転部１１０の回転中心の位置を求める。この情報と反射プリズム１０２の位置に基づき、刃先であるバケット１５２の位置を求める。この処理を継続して行うことで、バケット１０２の位置の記録や位置制御が可能となる。
【0013】
（重機）
重機１００は、パワーシャベルである。パワーシャベルは一例であり、土木作業を行う重機であれば、重機の種類は特に限定されない。重機１００は、無限軌道により地上を走行するベース部１２０と、ベース部１２０上で水平回転する回転部１１０を備えている。回転部１１０は、運転席とアーム１５１を備え、アーム１５１の先端にはバケット１５２（刃先の一例）が配置されている。回転部１１０の上部には、カメラ１０１と反射プリズム１０２が固定配置されている。回転部１１０におけるカメラ１０１の位置および反射プリズム１０２の位置は、既知である。よって、回転部１１０の回転中心の位置、回転部１１０におけるカメラ１０１の位置および反射プリズム１０２の位置の関係は既知である。
重機１００は、パワーシャベルである。パワーシャベルは一例であり、土木作業を行う重機であれば、重機の種類は特に限定されない。重機１００は、無限軌道により地上を走行するベース部１２０と、ベース部１２０上で水平回転する回転部１１０を備えている。回転部１１０は、運転席とアーム１５１を備え、アーム１５１の先端にはバケット１５２（刃先の一例）が配置されている。回転部１１０の上部には、カメラ１０１と反射プリズム１０２が固定配置されている。回転部１１０におけるカメラ１０１の位置および反射プリズム１０２の位置は、既知である。よって、回転部１１０の回転中心の位置、回転部１１０におけるカメラ１０１の位置および反射プリズム１０２の位置の関係は既知である。
【0014】
カメラ１０１は、連続して繰り返し静止画像を撮影するデジタルスチールカメラである。重機１００の稼働中において、重機１００は走行し、また回転部１１０が回転するので、カメラ１０１はいろいろな方向を向く。そのため、重機１００の稼働中にカメラ１０１により、重機１００の周囲の撮影が繰り返し行われる。撮影の間隔は、１Ｈｚ～３０Ｈｚ（毎秒１回～毎秒３０回）程度とする。
【0015】
カメラ１０１としてデプスカメラを採用することもできる。カメラ１０１として動画撮影用のカメラを利用し、動画を構成するフレーム画像を静止画像として利用する形態も可能である。図１には、１台のカメラ１０１を重機１００に配置する例を示すが、多方向に向けた複数台のカメラを配置することも可能である。また、ステレオカメラを用いることもできる。
【0016】
反射プリズム１０２は、レーザー光を用いた測量に利用される光学反射ターゲットである。ここでは、反射プリズム１０２として全周反射プリズムが利用される。反射プリズム１０２は、入射光を１８０°向きを変えて反射する。光学反射ターゲットとしては、反射プリズム以外に再帰反射特性を有する反射ターゲットを利用することができる。
【0017】
重機１００の位置は、回転部１１０の回転中心軸の位置で把握される。重機１００は、演算部３００を備える。演算部３００はコンピュータである。演算部３００を重機１００の外部に用意することもできる。演算部３００は、回転部１１０の回転中心の位置を求める処理およびその他の処理を行う。演算部３００の構成および処理の詳細は後述する。
【0018】
アーム１５１の各関節部分には、角度センサが配置され、関節の曲がり具合が定量的に測定される。この角度センサの測定値に基づき、回転部１１０の回転中心に対するバケット１５２の位置が算出される。よって、回転部１１０の回転中心の位置と回転部１１０の姿勢が判れば、刃先であるバケット１５２の位置（座標）を求めることができる。
【0019】
（トータルステーション）
トータルステーション２００は、位置の測定が可能な測量装置の一例である。トータルステーション２００は、レーザー光を用いた位置の測定機能、カメラ、時計、測量したデータの記憶装置、通信インターフェース、ユーザーインターフェース、測量対象（反射プリズム１０２）を探索する機能および測量対象が移動してもそれを追尾する機能を備える。トータルステーション２００は、一般的に入手できる機種を利用できる。
トータルステーション２００は、位置の測定が可能な測量装置の一例である。トータルステーション２００は、レーザー光を用いた位置の測定機能、カメラ、時計、測量したデータの記憶装置、通信インターフェース、ユーザーインターフェース、測量対象（反射プリズム１０２）を探索する機能および測量対象が移動してもそれを追尾する機能を備える。トータルステーション２００は、一般的に入手できる機種を利用できる。
【0020】
処理に先立ち、グローバル座標系におけるトータルステーション２００の位置と姿勢は取得され、既知のデータとされている。なお、トータルステーション２００の位置は、測距を行うための光学系の光学原点の位置で把握される。グローバル座標系は、地図やＧＮＳＳで用いられる座標系である。
【0021】
トータルステーション２００が反射プリズム１０２を視準し、ロックした状態で重機１００の稼働が開始される。重機１００の稼働中において、トータルステーション２００は、反射プリズム１０２を追尾しつつ、その位置の測定を繰り返し行う。測定の間隔は、０．０５秒（２０Ｈｚ）～５秒（０．２Ｈｚ）程度とする。
【0022】
（原理）
回転部１１０の回転中心の位置、回転部１１０におけるカメラ１０１の位置および反射プリズム１０２の位置の関係は既知である。よって、グローバル座標系におけるカメラ１０１の位置と反射プリズム１０２の位置が判れば、グローバル座標系における回転部１１０の回転中心の位置が求まり、更に回転部１１０の姿勢が求まる。これにより、バケット１５２のグローバル座標系における位置を求めることができる。
回転部１１０の回転中心の位置、回転部１１０におけるカメラ１０１の位置および反射プリズム１０２の位置の関係は既知である。よって、グローバル座標系におけるカメラ１０１の位置と反射プリズム１０２の位置が判れば、グローバル座標系における回転部１１０の回転中心の位置が求まり、更に回転部１１０の姿勢が求まる。これにより、バケット１５２のグローバル座標系における位置を求めることができる。
【0023】
重機１００が移動あるいは回転部１１０が回転すると、カメラ１０１の位置と姿勢が変化する。よって、重機１００が稼働中にカメラ１０１が連続して撮影を行うと、視点が少しずつズレ、撮影範囲が重複する多数の撮影画像が得られる。この多数の撮影画像の時間軸上で隣接する２枚は、ステレオ画像となり、ｓｆｍ(Structure from Motion)による撮影対象の三次元モデルの作成が可能となる。このｓｆｍの際、各撮影画像を撮影したカメラ位置が算出される。
【0024】
このカメラ位置は、撮影対象の三次元モデルを記述するローカル座標系におけるものとして得られる。ここで、グローバル座標系における反射プリズム１０２の位置は、トータルステーション２００により測定されている。反射プリズム１０２とカメラ１０１の位置関係は既知であるので、バンドル調整計算時においてカメラ１０１の位置として、反射プリズム１０２の位置を初期値として与えると、各撮影画像の撮影時におけるカメラ１０１のグローバル座標系における位置が求まる。
【0025】
これにより、グローバル座標系におけるカメラ１０１と反射プリズム１０２の位置が求まり、回転部１１０の回転中心の位置が求まる。また、回転部１１０におけるカメラ１０１と反射プリズム１０２の位置は既知であるので、グローバル座標系におけるカメラ１０１、反射プリズム１０２および回転部１１０の回転中心の位置が求まれば、グローバル座標系における回転部１１０の姿勢も求まる。そして、回転部１１０の姿勢と回転中心の位置が判れば、刃先であるバケット１５２のグローバル座標系における位置を求めることができる。
【0026】
（演算部の構成）
図２は、演算部３００のブロック図である。演算部３００は、コンピュータであり、ＣＰＵ、記憶装置、各種のインターフェースを備えている。演算部３００は、画像データ取得部３０１、反射プリズムの位置取得部３０２、画像に基づくカメラ位置の算出部３０３、バンドル調整計算部３０４、回転中心位置の算出部３０５、回転部の姿勢算出部３０６、刃先位置の算出部３０７を備える。
図２は、演算部３００のブロック図である。演算部３００は、コンピュータであり、ＣＰＵ、記憶装置、各種のインターフェースを備えている。演算部３００は、画像データ取得部３０１、反射プリズムの位置取得部３０２、画像に基づくカメラ位置の算出部３０３、バンドル調整計算部３０４、回転中心位置の算出部３０５、回転部の姿勢算出部３０６、刃先位置の算出部３０７を備える。
【0027】
これら機能部は、演算部３００を構成するコンピュータによりソフトウェア的に実現される。上記機能部の一部または全部を専用のハードウェアにより構成することもできる。演算部３００を重機１００の外部に用意する形態も可能である。例えば、インターネット接続された処理サーバ上で演算部３００を用意し、そこで演算を行う形態等も可能である。
【0028】
画像データ取得部３０１は、カメラ１０１が撮影した撮影画像の画像データを受け付ける。画像データは、撮影時刻と関連付けされている。反射プリズムの位置取得部３０２は、トータルステーション２００が測定した反射プリズム１０２の位置のデータを受け付ける。反射プリズム１０２の位置は測定時刻と関連付けされた形で得られる。トータルステーション２００は、グローバル座標系における位置と姿勢が既知であり、反射プリズム１０２の位置データは、グローバル座標系上で得られる。
【0029】
画像に基づくカメラ位置算出部３０３は、ｓｆｍの原理により、カメラ１０１が撮影した画像に基づき、カメラ１０１の位置（撮影位置）を算出する。ｓｆｍの原理については、例えば特開２０１３－１８６８１６号公報に記載されている。カメラ１０１は、特定の間隔で繰り返し撮影を行う、またこの撮影中に重機１００の走行に伴うカメラ１０１の移動、および回転部１１０の回転に伴うカメラ１０１の移動が生じ、この移動中にも撮影が行われる。したがって、カメラが移動中に得た撮影画像毎に異なるカメラ位置が存在する。また、重機１００の稼働に従いカメラ１０１の姿勢も変化する。
【0030】
ｓｆｍにおけるカメラ１０１の位置および姿勢と、撮影対象から抽出した特徴点の位置とを記述する座標系がローカル座標系となる。
【0031】
カメラ１０１の位置（撮影位置）を算出する原理を簡単に説明する。いま、カメラ１０１が第１の位置で撮影した撮影画像１と、第１の位置から少しずれた第２の位置から撮影した撮影画像２があるとする。また、撮影画像１と撮影画像２は、撮影範囲が重複しているとする。この重複した範囲から抽出した多数の特徴点、第１の位置および第２の位置の位置関係、さらに第１の位置と第２の位置におけるカメラの姿勢の関係を定める相対三次元モデルが三次元写真測量（ステレオ写真計測）の原理から求まる。これが、相互標定の処理となる。
【0032】
次に、絶対標定を行いグローバル座標系におけるカメラ１０１の位置を求める。この処理では、カメラ１０１の移動軌跡に着目する。本実施形態では、反射プリズム１０２の移動軌跡は、トータルステーション２００により追跡および測位され、その軌跡はグローバル座標系上で判明している。
【0033】
そこで、反射プリズム１０２の位置をカメラ１０１の位置と見なして、反射プリズム１０２の移動軌跡がカメラ１０１の移動軌跡にフィッティングするように、上記相互標定において求めた相対三次元モデルの縮尺調整、平行移動、回転移動を行う。
【0034】
相対三次元モデルにおけるカメラ１０１の移動軌跡（各時刻における位置を追った軌跡）を反射プリズム１０１の移動軌跡にフィッティングさせることで、相対三次元モデルにおけるカメラ１０１の移動軌跡がグローバル座標系上で記述可能となる。こうして、相対三次元モデルにおけるカメラ１０１の位置に実スケール（実際の値）が与えられる。相対三次元モデルにおける各カメラ位置が与えられることで、相対三次元モデルにおける各カメラの姿勢もグローバル座標系における値が得られる。また、当該相対三次元モデルにおける各特徴点の実位置も与えられる。こうして相互標定で得られた相対三次元モデルにおける各パラメータのグローバル座標系上における実際の値（絶対値）が与えられる。これが絶対標定である。
【0035】
なお、相互標定において得られた相対三次元モデルは、誤差を含んでおり、また上記の絶対標定において、カメラ１０１の位置を反射プリズム１０２の位置と見なすことに起因する誤差もある。よって、上記の絶対標定におけるカメラ１０１の位置の軌跡のフィッティングは完全ではなく誤差を含んでいる。よって、絶対標定で得られる特徴点とカメラ１０１の外部標定要素（位置と姿勢）の値も誤差を含んでいる。
【0036】
以上述べたように、カメラ１０１と反射プリズム１０２の移動軌跡を足掛かりとして、相互標定において用いた相対三次元モデルにおけるカメラ１０１の移動軌跡に絶対座標系における値を付与し、当該相対三次元モデルに絶対値と実スケールを与える。
【0037】
上記の絶対標定により、誤差を含むが、グローバル座標系での各画像における特徴点の三次元位置、各画像に対応するカメラ１０１の外部標定要素（位置と姿勢）が求まる。上記の誤差は、次に説明するバンドル調整計算より是正される。
【0038】
バンドル調整計算部３０４は、撮影対象の撮影画像から得た特徴点、撮影画像上の点、投影中心の３点を結ぶ光束（バンドル）が同一直線上になければならないという共線条件に基づき、各画像の光束１本毎に下記数１の観測方程式を立て、最小二乗法により特徴点の座標（Ｘj,Ｙj,Ｚj)とカメラ１０１の位置と姿勢のパラメータ（Ｘoi，Ｙoi，Ｚoi，ａ11i～ａ33i）の同時調整を行う。
【0039】
この調整計算では、数１と数２の観測方程式を立て、最小二乗法による各パラメータ（特徴点（Ｘj,Ｙj,Ｚj)およびカメラ１０１の位置（Ｘoi，Ｙoi，Ｚoi）と姿勢（ａ11i～ａ33i(回転行列)））の最適化が行われる。
【0040】
【数1】
【0041】
ｃ：画面距離（焦点距離）
（Ｘj,Ｙj,Ｚj)：着目した特徴点の三次元座標
（ｘij,ｙij）：画像i上における点ｊの画像上（画面上）の座標
（Ｘoi，Ｙoi，Ｚoi）：写真iの撮影時におけるカメラ１０１の位置
（ａ11i～ａ33i）：写真iの撮影時におけるカメラ１０１の姿勢を示す回転行列
（Ｘj,Ｙj,Ｚj)：着目した特徴点の三次元座標
（ｘij,ｙij）：画像i上における点ｊの画像上（画面上）の座標
（Ｘoi，Ｙoi，Ｚoi）：写真iの撮影時におけるカメラ１０１の位置
（ａ11i～ａ33i）：写真iの撮影時におけるカメラ１０１の姿勢を示す回転行列
【0042】
【数2】
【0043】
（Ｘpi,Ｙpi,Ｚpi）：画像iを撮影した時刻における反射プリズム１０２の位置
（ＬＸ,ＬＹ,ＬＺ) ：カメラ１０１の位置（投影中心）と反射プリズム１０２の反射点との離間距離
（ＬＸ,ＬＹ,ＬＺ) ：カメラ１０１の位置（投影中心）と反射プリズム１０２の反射点との離間距離
【0044】
上記の数１において、（Ｘj,Ｙj,Ｚj)の初期値は、上述の絶対標定の結果に基づくグローバル座標系における特徴点の三次元座標を用いる。（Ｘoi，Ｙoi，Ｚoi）の初期値は、上述の絶対標定の結果に基づくグローバル座標系におけるカメラ１０１の位置を用いる。（ａ11i～ａ33i）の初期値は、上述の絶対標定の結果に基づくグローバル座標系におけるカメラ１０１の姿勢を示す回転行列の値を用いる。（Ｘpi,Ｙpi,Ｚpi）は、トータルステーション２００が測定した反射プリズム１０２の位置を用いる。
【0045】
数２は、カメラ１０１と反射プリズム１０２の位置のズレを考慮にいれた調整計算を行うための観測方程式である。（ＬＸ,ＬＹ,ＬＺ)は、カメラ１０１と反射プリズム１０２の位置関係を決めるパラメータである。
【0046】
数１と数２を用いた調整計算では、特徴点（Ｘj,Ｙj,Ｚj)、外部標定要素（Ｘoi，Ｙoi，Ｚoi，ａ11i～ａ33i(姿勢を示す回転行列)）および（ＬＸ,ＬＹ,ＬＺ)をパラメータとして、数１および数２の残差を算出する。この際、最小二乗法により上記の残差が収束するような（Ｘj,Ｙj,Ｚj)，（Ｘoi，Ｙoi，Ｚoi，ａ11i～ａ33i），（ＬＸ,ＬＹ,ＬＺ)の組み合わせを探索する。
【0047】
具体的には、数１および数２で示される残差が小さくなるように、各パラメータ（Ｘj,Ｙj,Ｚj)，（Ｘoi，Ｙoi，Ｚoi，ａ11i～ａ33i），（ＬＸ,ＬＹ,ＬＺ)に補正量を加えて数１および数２の同時計算を行うことを繰り返す。そして、数１および数２が収束条件を満たす未知パラメータ（Ｘj,Ｙj,Ｚj)，（Ｘoi，Ｙoi，Ｚoi，ａ11i～ａ33i），（ＬＸ,ＬＹ,ＬＺ)の組み合わせを求める。収束条件としては、残差が十分に小さい、前回の計算からの残差の変動が十分に小さい（計算結果の変動が収束した状態）を用いる。
【0048】
回転中心位置の算出部３０５は、バンドル調整計算の結果得られたカメラ１０１のグローバル座標系における位置、トータルステーション２００が測定した反射プリズム１０２のグローバル座標系における位置、および既知な情報であるカメラ１０１、反射プリズム１０２および回転部１１０の回転中心の位置関係に基づき、回転部１１０の回転中心の位置を算出する（３点の位置関係が既知である場合、そのうちの２点の位置を与えれば、残りの１点の位置が特定される）。
【0049】
回転部の姿勢算出部３０６は、バンドル調整計算の結果得られたカメラ１０１のグローバル座標系における位置、トータルステーション２００が測定した反射プリズム１０２のグローバル座標系における位置、および既知な情報であるカメラ１０１、反射プリズム１０２および回転部１１０の回転中心の位置関係に基づき、グローバル座標系における回転部１１０の姿勢を算出する（３点の位置関係が既知である場合、そのうちの２点の位置を与えれば、この３点により構成される図形の向きは特定される）。刃先位置の算出部３０７は、回転部１１０の回転中心の位置およびアームの関節部分に配置された角度センサの出力に基づき、重機の刃先（この場合はバケット１５２）のグローバル座標系における位置を算出する。
【0050】
（処理の一例）
図３は、図２の演算装置３００において行われる処理の手順の一例を示すフローチャートである。図３の処理を実行するプログラムは、演算装置３００を構成するコンピュータの記憶装置や適当な記憶媒体に記憶され、当該コンピュータにより実行される。
図３は、図２の演算装置３００において行われる処理の手順の一例を示すフローチャートである。図３の処理を実行するプログラムは、演算装置３００を構成するコンピュータの記憶装置や適当な記憶媒体に記憶され、当該コンピュータにより実行される。
【0051】
まず、処理の前提を説明する。ここでは、重機１００の回転部１１０にカメラ１０１と反射プリズム１０２は固定され、回転部１１０の回転中心、カメラ１０１および反射プリズム１０２の位置関係は既知であるとする。当然、カメラ１０１と反射プリズム１０２の離間距離Ｌは既知である。
【0052】
重機１００の稼働中において、カメラ１０１は繰り返し撮影を行う。トータルステーション２００は、反射プリズム１０２の位置を継続して繰り返し測定する。トータルステーション２００のグローバル座標系における位置と姿勢は既知である。また、カメラの撮影時刻とトータルステーションによる反射プリズム１０１の測位の時刻は同期しており、両者の関係は既知である。
【0053】
（第１の例）
この処理では、回転部１１０の回転中心の位置を重機の稼働中に継続して算出する。第１の処理は、１秒毎といった間隔で繰り返し行われる。この間隔は、例えば０．１秒～５秒程度から選択される。
この処理では、回転部１１０の回転中心の位置を重機の稼働中に継続して算出する。第１の処理は、１秒毎といった間隔で繰り返し行われる。この間隔は、例えば０．１秒～５秒程度から選択される。
【0054】
まず、重機１００による作業を開始するタイミングでカメラ１０１にいる撮影を開始し、撮影画像の画像データを取得する（ステップＳ１０１）、またトータルステーション２００による反射プリズム１０２の位置の測定を開始し、その測定結果のデータを取得する（ステップＳ１０２）。
【0055】
カメラ１０１による撮影画像の画像データを得たら、ｓｆｍの処理を行い各撮影画像のカメラ位置（撮影視点の位置）と撮影対象の三次元データを得る（ステップＳ１０３）。この処理は、画像に基づくカメラ位置の算出部３０３において行われる。次にバンドル調整計算を行い（ステップＳ１０４）、絶対座標系におけるカメラ１０１の位置を得る。この処理は、バンドル調整計算部３０４において行われる。
【0056】
カメラ１０１の位置を得たら、カメラ１０１の位置と反射プリズム１０２の位置に基づき、グローバル座標系における回転部１１０の回転中心の位置を算出する（ステップＳ１０５）。この処理は、回転中心位置の算出部３０６において行われる。また、カメラ１０１の位置と反射プリズム１０２の位置に基づき、グローバル座標系における回転部１１０の姿勢（向き）を算出する（ステップＳ１０６）。この処理は、回転部の姿勢算出部３０６において行われる。
【0057】
回転部１１０の回転中心の位置と回転部１１０の姿勢を算出したら、当該回転中心の位置と回転部１１０の姿勢に基づき、バケット１５２の位置（刃先位置）の算出が行われる（ステップＳ１０７）。この処理は、刃先位置の算出部３０７において行われる。
【0058】
（第２の例）
第２の例では、回転中心の位置を特定のタイミングで算出する。重機１００の走行、重機１００における衝撃の検知、傾きの変化の検知、回転部１１０の回転中心の位置の変化が検出された場合、あるいは回転部１１０の回転中心の位置の算出精度の低下が予想される場合、前回の処理から特定の時間が経過した場合、回転部１１０の回転中心を求める処理を要求する信号を受け付けた場合等に以下の処理が行われる。
第２の例では、回転中心の位置を特定のタイミングで算出する。重機１００の走行、重機１００における衝撃の検知、傾きの変化の検知、回転部１１０の回転中心の位置の変化が検出された場合、あるいは回転部１１０の回転中心の位置の算出精度の低下が予想される場合、前回の処理から特定の時間が経過した場合、回転部１１０の回転中心を求める処理を要求する信号を受け付けた場合等に以下の処理が行われる。
【0059】
この場合、処理の指示が行われると、その時点から特定の期間の過去または未来における反射プリズム１０２の位置の測定データとカメラ１０１の撮影画像のデータが取得される。特定の期間は、１０秒～３０秒とする。そして第１の例において説明した手順が行われ、回転部１１０の姿勢と回転中心の位置が算出され、更に当該回転中心の位置に基づくバケット１５２の位置（刃先位置）の算出が行われる。以後、算出された回転部１１０の回転中心の位置に基づくバケット１５２の位置（刃先位置）の算出が繰り返し継続して行われる。そして、次のタイミングで回転部１１０の回転中心の位置の算出が必要となった場合、回転部１１０の回転中心の位置の算出を再度行い、その情報を更新する。
【0060】
（摘要）
水平回転する回転部１１０を備えた重機１００の回転部１１０の回転中心の位置と回転部１１０の姿勢を求める方法であって、回転部１１０に固定された反射プリズム１０２の位置をトータルステーション２００により測定し、回転部１１０に固定されたカメラ１０１が撮影した撮影画像の画像データを得、トータルステーション２００が測定した反射プリズム１０２の位置とカメラ１０１が撮影した撮影画像の画像データに基づき、カメラ１０１の位置を算出し、算出した反射プリズム１０２の位置とカメラ１０１の位置に基づき、回転部１１０の回転中心の位置と回転部１１０の姿勢を算出する。
水平回転する回転部１１０を備えた重機１００の回転部１１０の回転中心の位置と回転部１１０の姿勢を求める方法であって、回転部１１０に固定された反射プリズム１０２の位置をトータルステーション２００により測定し、回転部１１０に固定されたカメラ１０１が撮影した撮影画像の画像データを得、トータルステーション２００が測定した反射プリズム１０２の位置とカメラ１０１が撮影した撮影画像の画像データに基づき、カメラ１０１の位置を算出し、算出した反射プリズム１０２の位置とカメラ１０１の位置に基づき、回転部１１０の回転中心の位置と回転部１１０の姿勢を算出する。
【0061】
（優位性）
本実施形態によれば、重機１００の回転部１１０の回転中心の位置と回転部１１０の姿勢を効率よく求めることができる。例えば、回転部１１０の回転中心を検出する方法として、回転部１１０を回転させ、その際に反射プリズム１０２の測位を行い、反射プリズム１０２の円弧状の移動経路を計測し、その曲率中心から回転中心を求める方法がある。この方法は、土木作業とは別に回転部１１０を回転させる校正の作業が必要であり、煩雑であり、効率的でない。特に、土木作業の途中でこの作業を行うことは、土木作業を中断しなくてはならず、効率的でない。また周囲に作業員がいる場合は、その安全確保が必要であり、その点でも効率的でない。
本実施形態によれば、重機１００の回転部１１０の回転中心の位置と回転部１１０の姿勢を効率よく求めることができる。例えば、回転部１１０の回転中心を検出する方法として、回転部１１０を回転させ、その際に反射プリズム１０２の測位を行い、反射プリズム１０２の円弧状の移動経路を計測し、その曲率中心から回転中心を求める方法がある。この方法は、土木作業とは別に回転部１１０を回転させる校正の作業が必要であり、煩雑であり、効率的でない。特に、土木作業の途中でこの作業を行うことは、土木作業を中断しなくてはならず、効率的でない。また周囲に作業員がいる場合は、その安全確保が必要であり、その点でも効率的でない。
【0062】
本実施形態によれば、回転部１１０の回転中心を求めるための回転部１１０の回転は必用ではなく、土木作業を中断させる必要もない。このため、バケット１５２の位置を求める処理を効率よく行うことができる。
【0063】
２．第２の実施形態
重機にＧＮＳＳ位置測定装置を搭載し、このＧＮＳＳ位置測定装置を用いて重機上のカメラ１０１の位置を特定することもできる。この場合、反射プリズムとトータルステーションを不要とすることができる（勿論、併用も可能である）。ＧＮＳＳを用いた位置の測定は誤差を含むが、調整計算によりＧＮＳＳの誤差を抑えることができる。調整計算では、図１の反射プリズム１０２の代わりに、ＧＮＳＳ位置測定装置のアンテナが設置されているとして計算が行われる。また、ＲＴＫ法等の相対測位を用いることで、測定誤差を抑えることができる。特徴点の取り扱い、各種の標定、その他データの処理に関しては、第１の実施形態の内容と同じである。
重機にＧＮＳＳ位置測定装置を搭載し、このＧＮＳＳ位置測定装置を用いて重機上のカメラ１０１の位置を特定することもできる。この場合、反射プリズムとトータルステーションを不要とすることができる（勿論、併用も可能である）。ＧＮＳＳを用いた位置の測定は誤差を含むが、調整計算によりＧＮＳＳの誤差を抑えることができる。調整計算では、図１の反射プリズム１０２の代わりに、ＧＮＳＳ位置測定装置のアンテナが設置されているとして計算が行われる。また、ＲＴＫ法等の相対測位を用いることで、測定誤差を抑えることができる。特徴点の取り扱い、各種の標定、その他データの処理に関しては、第１の実施形態の内容と同じである。
【0064】
３．第３の実施形態
グローバル座標系の代わりに作業現場に設定されたローカル座標系を用いることもできる。この場合、当該ローカル座標系上において、トータルステーション２００の位置と姿勢を求めておく。
グローバル座標系の代わりに作業現場に設定されたローカル座標系を用いることもできる。この場合、当該ローカル座標系上において、トータルステーション２００の位置と姿勢を求めておく。
【0065】
４．第４の実施形態
カメラ１０１、反射プリズム１０２および回転部１１０の回転中心の位置関係を取得する方法の一例を説明する。この例では、カメラ１０１と反射プリズム１０２の位置は、回転部１１０の回転中心を外した位置とする。重機１００にカメラ１０１と反射プリズム１０２を設置した時に以下の作業を行う。
カメラ１０１、反射プリズム１０２および回転部１１０の回転中心の位置関係を取得する方法の一例を説明する。この例では、カメラ１０１と反射プリズム１０２の位置は、回転部１１０の回転中心を外した位置とする。重機１００にカメラ１０１と反射プリズム１０２を設置した時に以下の作業を行う。
【0066】
まず、回転部１１０を回転させ、その際にカメラ１０１による撮影を行う。また、上記の回転中に反射プリズム１０２の位置をトータルステーション２００により測定する。
【0067】
撮影画像を用いたｓｆｍにより、カメラ１０１の移動軌跡の曲率中心Оを算出する。また、トータルステーション２００が測定した反射プリズム１０２の移動軌跡の曲率中心О´を算出する。点Оと点О´と回転部１１０の回転中心とが一致するとして、カメラ１０１、反射プリズム１０２および回転部１１０の回転中心の位置関係を取得する。
【0068】
５．第５の実施形態
カメラ１０１、反射プリズム１０２および回転部１１０の回転中心の位置関係を取得する方法の他の一例を説明する。この例では、カメラ１０１と反射プリズム１０２の位置は、回転部１１０の回転中心を外した位置とする。重機１００にカメラ１０１と反射プリズム１０２を設置した時に以下の作業を行う。
カメラ１０１、反射プリズム１０２および回転部１１０の回転中心の位置関係を取得する方法の他の一例を説明する。この例では、カメラ１０１と反射プリズム１０２の位置は、回転部１１０の回転中心を外した位置とする。重機１００にカメラ１０１と反射プリズム１０２を設置した時に以下の作業を行う。
【0069】
まず、回転部１１０を回転させ、その際にカメラ１０１による撮影を行う。また、上記の回転中に反射プリズム１０２の位置をトータルステーション２００により測定する。
【0070】
撮影画像を用いたｓｆｍにより、カメラ１０１の位置を算出する。第１の実施形態において説明したバンドル調整計算を行い、カメラ１０１の位置の最適化を行う。
【0071】
そして、最適化されたカメラ１０１の位置の上記回転時の軌跡の曲率中心を求め、そこを回転部１１０の回転中心とする。これにより、カメラ１０１、反射プリズム１０２および回転部１１０の回転中心の位置の関係を得る。
【0072】
６．第６の実施形態
トータルステーション２００が反射プリズム１０２を見失い、追跡が出来なくなる場合がある。この場合、トータルステーション２００のターゲットの探索機能を利用し、反射プリズム１０２の探索⇒反射プリズム１０２の補足⇒反射プリズム１０２の位置の測定を行い、その後に図３の処理を実行する。
トータルステーション２００が反射プリズム１０２を見失い、追跡が出来なくなる場合がある。この場合、トータルステーション２００のターゲットの探索機能を利用し、反射プリズム１０２の探索⇒反射プリズム１０２の補足⇒反射プリズム１０２の位置の測定を行い、その後に図３の処理を実行する。
【符号の説明】
【0073】
１００…重機、１０１…カメラ、１０２…反射プリズム、１１０…回転部、１２０…ベース部、１５１…アーム部、１５２…バケット、２００…トータルステーション、３００…演算装置。
【図1】
【図2】
【図3】