IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社ミツトヨの特許一覧

<>
  • 特許-測定装置 図1
  • 特許-測定装置 図2
  • 特許-測定装置 図3
  • 特許-測定装置 図4
  • 特許-測定装置 図5
  • 特許-測定装置 図6
  • 特許-測定装置 図7
  • 特許-測定装置 図8
  • 特許-測定装置 図9
  • 特許-測定装置 図10
  • 特許-測定装置 図11
  • 特許-測定装置 図12
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-12-22
(45)【発行日】2024-01-05
(54)【発明の名称】測定装置
(51)【国際特許分類】
   G01C 15/00 20060101AFI20231225BHJP
【FI】
G01C15/00 103Z
【請求項の数】 3
(21)【出願番号】P 2019112643
(22)【出願日】2019-06-18
(65)【公開番号】P2020204552
(43)【公開日】2020-12-24
【審査請求日】2022-05-19
(73)【特許権者】
【識別番号】000137694
【氏名又は名称】株式会社ミツトヨ
(74)【代理人】
【識別番号】100166545
【弁理士】
【氏名又は名称】折坂 茂樹
(72)【発明者】
【氏名】額 邦行
(72)【発明者】
【氏名】荻原 元徳
(72)【発明者】
【氏名】川端 武史
【審査官】眞岩 久恵
(56)【参考文献】
【文献】特開2002-340555(JP,A)
【文献】特開2017-133981(JP,A)
【文献】特開2014-107867(JP,A)
【文献】特開2018-009836(JP,A)
【文献】特開2018-109552(JP,A)
【文献】特開2015-031628(JP,A)
【文献】特開2007-064684(JP,A)
【文献】特開2018-146384(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G01C 1/00/-1/14
G01C 5/00/-15/14
(57)【特許請求の範囲】
【請求項1】
ターゲットに向けて光線を出射して捕捉追尾し、前記ターゲットの三次元座標を測定する測定装置であって、
光線を出射する光源と、
移動する前記ターゲットを追尾するように前記光源から出射する前記光線の出射角度を制御する角度制御部と、
測定者に装着可能なデバイスに設けられ、現実空間の映像が表示される表示部と、
前記光線の出射角度と前記ターゲットから戻る光とに基づき前記ターゲットの三次元座標を演算する演算部と、
前記演算部で演算した前記三次元座標に基づき前記表示部に表示する情報を制御する表示制御部と、を備え、
前記表示制御部は、前記現実空間の映像に、前記ターゲットを追尾している状態では、前記光源の位置と前記ターゲットの位置とを結ぶ線に沿って光軸グラフィック画像を重畳表示し、前記ターゲットの追尾が解除された状態では、追尾が解除された際の光軸グラフィック画像の重畳表示を維持する制御を行う、ことを特徴とする測定装置。
【請求項2】
前記デバイスは、前記ターゲットの前記デバイスに対する相対位置を算出するためのセンシング情報と、前記デバイスの三次元座標および方向とに基づき前記ターゲットの第2の三次元座標を演算する座標演算部を備え、
前記角度制御部は、前記ターゲットの追尾が解除された場合に、前記ターゲットの第2の三次元座標の位置に向けて前記光線が出射されるように前記光線の出射角度を制御する、ことを特徴とする請求項1に記載の測定装置。
【請求項3】
前記デバイスは、前記ターゲットの前記デバイスに対する相対位置を算出するためのセンシング情報と、前記デバイスの三次元座標および方向とに基づき前記ターゲットの第2の三次元座標を演算する座標演算部を備え、
前記デバイスは、前記ターゲットの三次元座標として、第1の三次元座標、第2の三次元座標、および前記ターゲットの第1の三次元座標と前記第2の三次元座標に基づく第3の三次元座標のいずれかを用いる、ことを特徴とする請求項1に記載の測定装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ターゲットを光線で捕捉追尾して、ターゲットの三次元座標を測定する測定装置に関するものである。
【背景技術】
【0002】
対象物の三次元座標を測定する測定装置として、レーザ光などの光線をターゲットに向けて照射し、移動するターゲットを捕捉追尾して測定点の三次元座標を測定する三次元測定装置がある。この測定装置では、大型構造物のような対象物について、追尾状態にあるターゲットを対象物の表面に当てることで容易かつ正確に測定を行うことができる。
【0003】
特許文献1には、追尾式レーザ干渉計が開示される。この追尾式レーザ干渉計では、被測定体であるレトロリフレクタに向けて照射し、レトロリフレクタによって戻り方向に反射されたレーザビームの干渉を利用してレトロリフレクタの変位を検出すると共に、レーザビームの光軸の角度変化を用いてトラッキングを行っている。
【0004】
特許文献2には、簡単な構成で要求される性能を維持しつつ、測定が中断しても高精度な測定を行うことができ、使い勝手の良いレーザトラッカが開示される。このレーザトラッカでは、ターゲットに入射するレーザ光の光軸と直角方向にターゲットが移動すると、この移動量と移動する方向に応じた信号を出力する光位置検出手段を備えており、光位置検出手段から出力された信号を用いて、ターゲットを追尾するように2軸の回転機構を制御している。
【先行技術文献】
【特許文献】
【0005】
【文献】特開2007-057522号公報
【文献】特開2010-054429号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
光線を照射してターゲットを追尾しながら測定を行う測定装置では、追尾している状態であるかどうかを容易に把握することができない。また、何らかの原因でターゲットを追尾できなくなる、いわゆるロストの状態に陥ることがあり、この場合、ターゲットを把持する測定者は、光線の受光範囲までターゲットを移動して追尾状態への復帰を行う必要がある。しかし、光線の軌跡が見えにくいため受光できる範囲を探すのは容易ではなく、勘を頼りにターゲットを移動させることになる。特に、この種の測定装置では、測定装置本体から対象物までの距離が数十メートルにおよぶこともあり、距離が離れるほど光線を受けられる位置を探すために多くの時間を要することになる。
【0007】
本発明は、ターゲットの追尾状態を容易に把握できるようにして、効率の良い測定を行うことができる測定装置を提供することを目的とする。
【課題を解決するための手段】
【0008】
本発明の一態様は、ターゲットに向けて光線を出射して捕捉追尾し、ターゲットの三次元座標を測定する測定装置であって、光線を出射する光源と、移動するターゲットを追尾するように光源から出射する光線の出射角度を制御する角度制御部と、測定者に装着可能なデバイスに設けられた表示部と、光線の出射角度とターゲットから戻る光とに基づきターゲットの三次元座標を演算する演算部と、演算部で演算した三次元座標に基づき表示部に表示する情報を制御する表示制御部と、を備え、表示制御部は、表示部に光源の位置とターゲットの位置とを結ぶ線に沿って光軸グラフィック画像を重畳表示する制御を行う測定装置である。
【0009】
このような構成によれば、ターゲットに向けて光線を出射して捕捉追尾する測定装置において、測定者が装着するデバイスの表示部に光源の位置とターゲットの位置とを結ぶ線に沿って光軸グラフィック画像が重畳表示される。すなわち、表示部の表示領域には、実際の光軸に対応した表示位置に光軸グラフィック画像が重畳表示される。これにより、見えにくい光線の軸を、光軸グラフィックを参照することで容易に把握できる。
【0010】
上記測定装置において、角度制御部は、ターゲットの追尾が解除された段階で、光線の出射角度の変更を停止し、表示制御部は、ターゲットの追尾が解除された段階での光軸グラフィック画像の重畳表示を維持するようにしてもよい。これにより、ターゲットの追尾が解除された段階での光軸の位置を、光軸グラフィック画像を参照することで容易に把握できる。
【0011】
上記測定装置において、表示制御部は、ターゲットを追尾している状態では光軸グラフィック画像を第1態様で表示し、ターゲットの追尾が解除された状態では光軸グラフィック画像を第1態様とは異なる第2態様で表示する制御を行うようにしてもよい。これにより、ターゲットの追尾状態と追尾解除状態とを光軸グラフィック画像の表示態様によって容易に判別することができる。
【0012】
上記測定装置において、デバイスは、ターゲットのデバイスに対する相対位置を算出するためのセンシング情報を取得するセンサ部を備えるとよい。そして、表示制御部は、ターゲットの追尾が解除された状態において、センシング情報と、デバイスの三次元座標および方向から演算したターゲットの第2の三次元座標を用いて、ターゲットに対してターゲットが光線を受光可能な領域を示す仮想オブジェクトを重畳表示する制御を行うようにしてもよい。これにより、ターゲットの追尾が解除された際、前記仮想オブジェクトを参照して、この仮想オブジェクトの位置にターゲットを移動することで追尾状態へ容易に復帰できるようになる。なお、ターゲットのデバイスに対する相対位置を算出するための情報は、例えば撮像部で撮ったターゲットの画像、Time of Flight方式やStructured Light方式等の3Dセンサで取得した深度情報、磁気センサにてセンシングした情報等とするとよい。
【0013】
上記測定装置において、角度制御部は、仮想オブジェクトまたは、前記ターゲットの位置に向けて光線が出射されるように光線の出射角度を制御するようにしてもよい。これにより、ターゲットの追尾が解除された際、仮想オブジェクトの位置にターゲットを移動させることで、光線の位置に適確にターゲットを移動させることができ、追尾状態へ容易に復帰できるようになる。
【0014】
上記測定装置において、表示制御部は、予め設定された対象物に対して一定の相対位置関係にある仮想オブジェクトを表示部に表示する制御を行い、角度制御部は、ターゲットの追尾が解除された状態から、ターゲットの追尾を再開する際に、仮想オブジェクトの三次元座標に向けて光線を出射するように光線の出射角度を制御するようにしてもよい。これにより、ターゲットの追尾が解除された際、仮想オブジェクトに向けて光線が出射され、仮想オブジェクトの位置にターゲットを移動させることで、追尾状態へ容易に復帰できるようになる。
【0015】
上記測定装置において、表示制御部は、ターゲットの近傍に、ターゲットの三次元座標を重畳表示する制御を行うようにしてもよい。すなわち、ビデオシースルー方式では、ターゲットは、撮像部によって撮像されて表示部に表示される。また、光学シースルー方式では、ターゲットは表示部を透過して作業者の視野に入る。一方、ターゲットの三次元座標は演算部によって演算され、この三次元座標が、ターゲットに重畳表示される。これにより、測定者はデバイスを装着して測定を行うことで、測定点の近傍に測定結果が表示され、測定を行いつつ測定結果を容易に確認することができる。
【0016】
上記測定装置において、表示制御部は、ターゲットの近傍に、ターゲットを光線の位置に移動させるためのガイド画像を重畳表示する制御を行うようにしてもよい。これにより、測定者が装着している表示部にガイド画像が重畳表示されるため、ターゲットの追尾が解除された際、ガイド画像に沿ってターゲットを移動させることで追尾状態へ復帰できるようになる。
【0017】
上記測定装置において、表示制御部は、ガイド画像としてターゲットの受光方向および受光領域を示すオブジェクト画像をターゲットに重畳表示する制御を行うようにしてもよい。これにより、ターゲットの追尾が解除された際、ターゲットに受光方向および受光領域が重畳表示され、これをガイドとしてターゲットを移動させることで追尾状態へ復帰できるようになる。
【0018】
上記測定装置において、光線の出射角度とターゲットから戻る光とに基づくターゲットの第1の三次元座標の他に、デバイスは、ターゲットのデバイスに対する相対位置を算出するためのセンシング情報と、デバイスの三次元座標および方向とに基づきターゲットの第2の三次元座標を演算する座標演算部を備えていてもよい。また、この座標演算部は、前記第1の三次元座標と前記第2の三次元座標から第3の三次元座標を演算してもよい。これにより、ターゲットの追尾が解除された状態でも、デバイス側でターゲットの三次元座標を把握することができ、適確にガイド画像を表示できるようになる。
【0019】
上記測定装置において、第1の三次元座標と第2の三次元座標との差に基づいて、前記デバイスの三次元座標を補正してもよい。
【図面の簡単な説明】
【0020】
図1】本実施形態に係る測定装置の構成を例示する模式図である。
図2】本実施形態に係る測定装置の構成を例示するブロック図である。
図3】本実施形態に係る測定装置の動作を例示するフローチャートである。
図4】測定装置の動作を例示する模式図である。
図5】光軸グラフィック画像の重畳表示の動作を例示するフローチャートである。
図6】光軸グラフィック画像の重畳表示の例を示す模式図である。
図7】他の動作を例示するフローチャートである。
図8】他の重畳表示の一例を示す模式図である。
図9】他の追尾復帰処理の動作を例示するフローチャートである。
図10】(a)および(b)は、仮想オブジェクトの表示例を示す模式図である。
図11】ガイド動作の他の例を示すフローチャートである。
図12】(a)および(b)は、ガイド動作を例示する模式図である。
【発明を実施するための形態】
【0021】
以下、本発明の実施形態を図面に基づいて説明する。なお、以下の説明では、同一の部材には同一の符号を付し、一度説明した部材については適宜その説明を省略する。
【0022】
〔測定装置の構成〕
図1は、本実施形態に係る測定装置の構成を例示する模式図である。
本実施形態に係る測定装置1は、測定者Uが把持するターゲット20に向けて光線を出射して捕捉追尾し、ターゲット20の三次元座標を測定する装置である。ターゲット20が追尾状態にあると、測定装置1はターゲット20の三次元座標を測定することができる。したがって、追尾状態にあるターゲット20を対象物Wの測定点に当てることで、ターゲット20の三次元座標から対象物Wの測定点の三次元座標を求めることができる。なお、以下ではターゲット20に照射した光線を利用して算出した三次元座標を他の方式で算出した三次元座標と区別して「第1の三次元画像」と呼ぶ場合がある。
【0023】
測定装置1は、光干渉計を構成する装置本体10を備える。装置本体10には、光線を出射する光源11と、光源11から出射されターゲット20で反射した光線を受光する受光部12と、光源11および受光部12の角度を変更する駆動部13と、が設けられる。ターゲット20を追尾する際には、光源11から出射される光線が常にターゲット20に照射されるよう、駆動部13によって光源11および受光部12の角度が変更される。
【0024】
装置本体10には測定制御部15が接続される。測定制御部15によって装置本体10の各部が制御される。測定制御部15はパーソナルコンピュータで構成されていてもよい。測定制御部15の構成は後述する。
【0025】
装置本体10の光源11から出射される光線としては、例えばレーザ光Lが用いられる。説明の便宜上、光源11から出射されるレーザ光Lをレーザ光L1、ターゲット20で反射したレーザ光Lをレーザ光L2ということにする。
【0026】
ターゲット20は、例えばレトロリフレクタである。光源11から出射されたレーザ光L1がターゲット20で反射すると、レーザ光L2はレーザ光L1と同一の光路で装置本体10へ戻る。装置本体10の受光部12は、レーザ光L1とL2との干渉を利用して、装置本体10とターゲット20の距離を計測しながら、移動するターゲット20を追尾するように駆動部13を制御する。
【0027】
駆動部13は、第1軸を中心として光源11および受光部12の角度を変更する第1駆動部131と、第1軸と直交する第2軸を中心として光源11および受光部12の角度を変更する第2駆動部132とを有する。例えば、第1駆動部131は方位角を変更する方位角用エンコーダであり、第2駆動部132は仰角を変更する仰角用エンコーダである。ターゲット20を追尾する際、第1駆動部131と第2駆動部132とを連動させて光源11の出射角度(方位角および仰角)を調整し、レーザ光L1が常にターゲット20に照射されるように光源11の角度が調整される。
【0028】
対象物Wの三次元座標を測定する場合、測定者Uはターゲット20を把持して対象物Wの測定点に当てる。装置本体10によってターゲット20を追尾している状態で、所定のタイミングでターゲット20の三次元座標を測定する。測定者Uは1つの測定点の測定が完了した後、次の測定点にターゲット20を移動する。この移動の間、装置本体10はターゲット20を追尾しており、ターゲット20が次の測定点に移動した状態で、ターゲット20の三次元座標を測定する。これを繰り返すことで対象物Wの三次元座標を測定することができる。
【0029】
さらに、本実施形態に係る測定装置1は、撮像部30および表示部51を備える。撮像部30および表示部51は、測定者Uに装着可能なデバイスの一例であるヘッドマウントディスプレイ50に設けられる。ヘッドマウントディスプレイ50の表示部51には、撮像部30で撮像して得た画像が表示される。測定者Uは、ヘッドマウントディスプレイ50を装着した状態で、表示部51に表示される画像を参照しながら測定を行う。
【0030】
〔測定装置のブロック構成〕
次に、測定装置1のブロック構成について説明する。
図2は、本実施形態に係る測定装置の構成を例示するブロック図である。
測定装置1の測定制御部15は、演算部151、通信部152、角度制御部153および光量制御部155を有する。演算部151は、レーザ光L2を受光した受光部12から出力される信号に基づき三次元座標を演算する。また、演算部151は、レーザ光L1の出射角度とターゲット20から戻るレーザ光L2とに基づきターゲット20の三次元座標を演算する。通信部152は、外部機器との間で無線または有線によって情報通信を行う。通信部152は、例えばヘッドマウントディスプレイ50との間で情報通信を行う。
【0031】
角度制御部153は、駆動部13を制御して光源11の角度を制御する。角度制御部153は、演算部151から送られる信号に基づきターゲット20を追尾するための光源11の角度(レーザ光L1の出射角度)を調整するため、駆動部13の第1駆動部131および第2駆動部132のそれぞれに角度設定の信号を与える。
【0032】
光量制御部155は、光源11から出射されるレーザ光L1の光量を制御する。すなわち、光量制御部155は、所定の条件に基づいて光量制御のための信号を光源11へ送り、レーザ光L1の出射光量を制御する。
【0033】
ヘッドマウントディスプレイ50は、撮像部30、表示部51、表示制御部52および通信部53を備える。撮像部30はヘッドマウントディスプレイ50の前方に設けられ、測定者Uの頭の向いている方向の画像を取得する。表示部51は、撮像部30で撮像した画像や、測定制御部15から送られる情報、その他の各種の情報を表示する。表示制御部52は、表示部51を制御する。すなわち、表示制御部52は、表示部51へ情報を送り、表示する内容を制御する。通信部53は、外部機器との間で無線または有線によって情報通信を行う。通信部53は、例えば測定制御部15との間で情報通信を行う。
【0034】
ヘッドマウントディスプレイ50は、位置・姿勢取得部54および座標演算部55をさらに備える。位置・姿勢取得部54は、ヘッドマウントディスプレイ50の三次元座標および姿勢(方向)を取得する。位置・姿勢取得部54は、いかなる方法でヘッドマウントディスプレイ50の三次元座標や姿勢を取得してもよいが、例えば撮像部30が撮像した画像やその他の情報(測距情報など)に基づきヘッドマウントディスプレイ50の三次元座標を取得するとよい。また、位置・姿勢取得部54は、例えば不図示の加速度センサ、ジャイロセンサ等によりヘッドマウントディスプレイ50の姿勢を取得するとよい。
【0035】
座標演算部55は、撮像部30が撮像して得たターゲット20の画像とヘッドマウントディスプレイ50の三次元座標および姿勢(方向)とに基づきターゲット20の三次元座標を演算する。以下では、撮像部30が撮像して得たターゲット20の画像とヘッドマウントディスプレイ50の三次元座標および姿勢(方向)とに基づき演算されたターゲット20の三次元座標を、他の方式で得られた三次元座標と区別して「第2の三次元座標」と呼ぶ場合がある。第2の三次元座標は、レーザ光L2を受光した受光部12から出力される信号に基づき演算部151が算出する第1の三次元座標と比較して精度が劣るものの、レーザ光L2がターゲットを追尾できていない場合であっても座標を算出することができる。座標演算部55は、第1の三次元座標と第2の三次元座標を用いて第3の三次元座標を演算してもよい。例えば、追尾が途切れる直前の第1の三次元座標に、追尾が途切れた後も更新される第2の三次元座標を組み合わせることで、追尾が途切れた後に得られる三次元座標の精度を高めることができる。
【0036】
測定装置1は、レーザ光L2がターゲットを追尾できている場合には精度の高い第1の三次元座標を用いて種々の処理(例えば、後述する追尾復帰制御、表示部51に表示させる画像の表示位置制御等)を行い、レーザ光L2がターゲットを追尾できていない場合には第2の三次元座標または第3の三次元座標を用いて処理を行うとよい。なお、本例ではヘッドマウントディスプレイ50が備える座標演算部55により第2の三次元座標を演算したが、演算に必要な情報をヘッドマウントディスプレイ50から測定制御部15に送信し、測定制御部15が備える演算部151で第2の三次元座標を演算してもよい。
【0037】
第1の三次元座標と第2の三次元座標とは完全に一致すること理想的であるが、現実には両者の間にずれが生じる。上述のとおり第1の三次元座標は第2の三次元座標よりも高い精度でターゲットの三次元座標を求めることができる。第2の三次元座標の主な誤差要因は、第2の三次元座標の演算に用いるヘッドマウントディスプレイ50の三次元座標に含まれる誤差である。このことを利用して、第2の三次元座標が第1の三次元座標に一致するよう、ヘッドマウントディスプレイ50の三次元座標を補正する処理を行うとよい。
【0038】
〔測定装置の動作〕
次に、本実施形態に係る測定装置1の動作について説明する。
図3は、本実施形態に係る測定装置の動作を例示するフローチャートである。
図4は、測定装置の動作を例示する模式図である。
先ず、図3のステップS101に示すように、追尾を開始する。すなわち、測定装置1の光源11からレーザ光L1を出射し、ターゲット20で反射するレーザ光L2を受光部12で受光する。演算部151によって受光信号を処理し、演算部151から角度制御部153に指示を与え、ターゲット20を追尾するよう光源11および受光部12の角度を連続的に制御する。
【0039】
追尾状態では、測定者Uが把持しているターゲット20を移動させても、その移動に追随して光源11および受光部12の角度が制御され、ターゲット20に向けてレーザ光L1が照射され続ける。ターゲット20を追尾できている状態では、ターゲット20の三次元座標が常に演算されている。すなわち、ターゲット20で反射したレーザ光L2を受光部12で受けて、装置本体10からターゲット20までの距離と、光源11および受光部12の角度とに基づいてターゲット20の三次元座標が演算される。この演算は演算部151によって行われる。
【0040】
次に、図3のステップS102に示すように、追尾できているか否かを判断する。追尾を維持している場合、ステップS103に示すように、ターゲット20が対象物Wの測定点にあるか否かを判断する。例えば、ターゲット20の位置が所定時間停止したタイミングで測定点にあると判断する。また、所定のトリガー信号が出されたタイミングで測定にあると判断してもよい。
【0041】
ターゲット20が測定点にあると判断した場合、ステップS104に示すように、座標の決定を行う。すなわち、ターゲット20を追尾している状態ではターゲット20の三次元座標が常に演算されており、測定点にあると判断した場合、そのタイミングでの三次元座標が測定点の座標として決定される。
【0042】
測定後、ステップS105に示すように、次の測定点があるか否かを判断する。次の測定点がある場合にはステップS102へ戻り、以降の処理を繰り返す。
【0043】
ここで、このような測定を行っている間で、何らかの原因によってターゲット20の追尾が解除された場合、ステップS102の判断でNoとなる。図4には、追尾が解除された状態が示される。この場合、レーザ光L1の出射方向はターゲット20を追えず、光源11および受光部12の角度はその位置で止まったままとなる。これが、いわゆるロスト状態である。
【0044】
追尾が解除された場合、ステップS106に示すように、追尾復帰処理を行う。追尾復帰処理は、レーザ光L1の照射位置とターゲット20の位置とを合わせ、ターゲット20で反射したレーザ光L2を受光部12で受けられるようにする処理である。例えば、測定者Uが把持するターゲット20を移動して、レーザ光L1の照射位置に合わせる。また、測定者Uやターゲット20の位置を演算部151で認識し、その位置へレーザ光L1が照射されるように角度制御部153に指示を与え、駆動部13によって光源11および受光部12の角度を調整してもよい。
【0045】
次に、図3のステップS102に戻り、追尾できているか否かを判断する。追尾できている場合にはステップS103からステップS105の測定を行う。追尾できていない場合には、追尾状態が回復するまでステップS106の追尾復帰処理を繰り返す。このような動作によって、ターゲット20をレーザ光Lで捕捉追尾しながらターゲット20の三次元座標を測定する。
【0046】
〔光軸グラフィック画像の表示動作〕
次に、光軸グラフィック画像の表示動作について説明する。
図5は、光軸グラフィック画像の重畳表示の動作を例示するフローチャートである。
図6は、光軸グラフィック画像の重畳表示の例を示す模式図である。
図5および図6に示す光軸グラフィック画像の重畳表示は、測定装置1による測定の間(図3のステップS101~S105の間)、ターゲット20を追尾している状態および追尾解除の状態にかかわらず表示してもよいし、追尾解除になった段階で表示するようにしてもよい。
【0047】
先ず、図5のステップS201に示すように、画像の取得を行う。画像の取得はヘッドマウントディスプレイ50に設けられた撮像部30によって行われる。撮像部30によってヘッドマウントディスプレイ50の前方(測定者Uが見ている方向)の映像が画像として取り込まれる。
【0048】
次に、ステップS202に示すように、座標の取得を行う。ここでは、ターゲット20の三次元座標を取得する。ターゲット20の追尾状態では、演算部151によってターゲット20の三次元座標が演算されているため、ヘッドマウントディスプレイ50は測定制御部15の通信部152から送信される三次元座標のデータを通信部53で受信する。一方、ターゲット20の追尾が解除されている場合には、撮像部30で取得した画像に基づく座標演算(すなわち、座標演算部55による第2の三次元座標の演算)を行う。座標演算部55は、撮像部30で取得した画像や、その他の情報(測距情報など)に基づき、撮像部30で撮像されたターゲット20の第2の三次元座標を演算する。
【0049】
次に、ステップS203に示すように、光軸グラフィック画像CG1を表示する。ヘッドマウントディスプレイ50の表示制御部52は、測定制御部15の演算部151で演算され、通信部152および53を介して送られたターゲット20の第1の三次元座標または座標演算部55で演算された第2の三次元座標の情報を用いて、表示部51の表示領域におけるレーザ光Lの光軸と対応した位置に、光軸グラフィック画像CG1を重畳表示する制御を行う。
【0050】
図6に示すように、光軸グラフィック画像CG1の重畳表示は、例えば拡張現実(AR:Augmented Reality)によって行われる。すなわち、ヘッドマウントディスプレイ50の撮像部30で撮像した現実空間の映像は表示部51に表示される。また、演算部151は、角度制御部153による制御情報に基づいてレーザ光L1の出射方向の情報を把握しているとともに、ヘッドマウントディスプレイ50の表示部51に映し出される映像の座標情報および表示部51に映し出されるターゲット20の座標情報を得ている。これらの情報はヘッドマウントディスプレイ50の表示制御部52へ送られ、拡張現実による光軸グラフィック画像CG1の表示が行われる。
【0051】
図6に示す例では、レーザ光L1の光軸に対応した光軸グラフィック画像CG1を、現実に映し出した映像に重ねて表示(重畳表示)する。測定者Uは、ヘッドマウントディスプレイ50の表示部51に表示される現実空間の映像に、レーザ光L1の光軸を示す光軸グラフィック画像CG1が重なった状態を参照することができる。波長や使用環境などによってレーザ光L1の軌跡が見えにくいこともある。しかし、測定者Uは表示部51に表示される拡張現実によってレーザ光L1の光軸を光軸グラフィック画像CG1として参照することができる。光軸グラフィック画像CG1は、実際のレーザ光L1の光軸の位置と対応する表示部51上の位置に表示される。
【0052】
拡張現実による表示では、測定者Uがヘッドマウントディスプレイ50の位置を移動(頭の向く方向を移動)させると、実際の映像の移動とともに、光軸グラフィック画像CG1の位置も連動する。ターゲット20を追尾している状態で光軸グラフィック画像CG1を表示すると、光源11とターゲット20とを結ぶ線上に光軸グラフィック画像CG1が重畳表示され、ターゲット20の移動とともに光軸グラフィック画像CG1がターゲット20に追随するように表示される。
【0053】
一方、ターゲット20の追尾が解除された状態で光軸グラフィック画像CG1を表示すると、追尾が解除された際の光軸の位置に光軸グラフィック画像CG1が表示される。測定者Uは、実際には見えにくいレーザ光L1の光軸(軌跡)を、その位置に重畳表示される光軸グラフィック画像CG1を参照することで容易に把握できる。したがって、光軸グラフィック画像CG1に合わせるようターゲット20を移動すれば、容易に追尾状態へ復帰できるようになる。
【0054】
なお、上記では、測定制御部15の演算部151によってターゲット20の三次元座標を演算する例を説明したが、ヘッドマウントディスプレイ50に座標演算部を設けておき、座標演算部でターゲット20の三次元座標を演算するようにしてもよい。この場合、ヘッドマウントディスプレイ50の撮像部30で撮像して得たターゲット20の画像と、ヘッドマウントディスプレイ50の三次元座標および方向とに基づき、座標演算部によってターゲット20の三次元座標を演算する。これにより、ターゲットの追尾が解除された状態でも、ヘッドマウントディスプレイ50側でターゲット20の三次元座標を把握することができ、適確にガイドを表示できるようになる。
【0055】
〔他の動作の例〕
次に、本実施形態に係る測定装置1での他の動作の例について説明する。
図7は、他の動作を例示するフローチャートである。
先ず、ステップS301に示すように、追尾を開始する。すなわち、測定装置1の光源11からレーザ光L1を出射し、ターゲット20で反射するレーザ光L2を受光部12で受光する。演算部151によって受光信号を処理し、演算部151から角度制御部153に指示を与え、ターゲット20を追尾するよう光源11および受光部12の角度を連続的に制御する。ターゲット20を追尾できている状態では、ターゲット20の三次元座標が演算部151によって常に演算されている。
【0056】
次に、ステップS302に示すように、追尾できているか否かを判断する。追尾を維持している場合、ステップS303に示すように、光軸グラフィック画像CG1を第1態様で表示する。光軸グラフィック画像CG1は、測定者Uが装着するヘッドマウントディスプレイ50の表示部51に拡張現実によって現実空間の映像に重畳表示される。追尾できている状態においては、光源11とターゲット20とを結ぶ線上に光軸グラフィック画像CG1が重畳表示される。すなわち、測定者Uは、ヘッドマウントディスプレイ50の表示部51に拡張現実で重畳表示される光軸グラフィック画像CG1を参照して、光軸の位置を把握することができる。
【0057】
また、追尾状態での光軸グラフィック画像CG1は、第1態様で表示される。第1態様としては、例えば緑色での表示である。測定者Uは、光軸グラフィック画像CG1が第1態様で表示されていることで、追尾状態であることを把握することができる。
【0058】
次に、ステップS304に示すように、ターゲット20が対象物Wの測定点にあるか否かを判断する。例えば、ターゲット20の位置が所定時間停止したタイミングで測定点にあると判断する。また、所定のトリガー信号が出されたタイミングで測定にあると判断してもよい。
【0059】
ターゲット20が測定点にあると判断した場合、ステップS305に示すように、座標の決定を行う。すなわち、ターゲット20を追尾している状態ではターゲット20の三次元座標が常に演算されており、測定点にあると判断した場合、そのタイミングでの三次元座標が測定点の座標として決定される。
【0060】
測定後、ステップS306に示すように、次の測定点があるか否かを判断する。次の測定点がある場合にはステップS302へ戻り、以降の処理を繰り返す。
【0061】
ここで、このような測定を行っている間で、何らかの原因によってターゲット20の追尾が解除された場合、ステップS302の判断でNoとなる。追尾が解除されると、ステップS307に示すように、角度変更を停止する。これにより、光源11および受光部12の角度は、追尾が解除された際の角度のままとなる。
【0062】
次に、ステップS308に示すように、光軸グラフィック画像CG1を第2態様で表示する。第2態様は、第1態様とは異なる表示形式である。第2態様としては、例えば赤色での表示である。測定者Uは、ヘッドマウントディスプレイ50の表示部51に表示される光軸グラフィック画像CG1が第2態様で表示されていることで、追尾が解除された状態であることを把握できる。
【0063】
次に、ステップS309に示すように、追尾復帰処理を行う。追尾復帰処理は、図3のステップS106に示す追尾復帰処理と同じである。次に、ステップS302に戻り、追尾できているか否かを判断する。追尾できている場合には光軸グラフィック画像CG1を第1態様での表示に変更し(ステップS303)、ステップS304からステップS306の測定を行う。追尾できていない場合には、追尾状態が回復するまで追尾復帰処理を繰り返す。
【0064】
このような動作では、ターゲット20を追尾できている状態と、追尾できていない状態とで、光軸グラフィック画像CG1の表示態様が変化(例えば、色が変化)することになる。したがって、測定者Uは、光軸グラフィック画像CG1の表示態様によって追尾状態であるか、追尾解除状態であるかを容易に判別することができるようになる。
【0065】
〔他の重畳表示の例〕
次に、本実施形態に係る測定装置1での他の重畳表示の例について説明する。
図8は、他の重畳表示の一例を示す模式図である。
図8には、対象物Wの測定結果を重畳表示する例が示される。例えば、ターゲット20を対象物Wの測定点に接触させて三次元座標の演算を行った際、演算結果である三次元座標が示されたグラフィック画像CG2を、ターゲット20の現実映像の近傍に拡張現実で重畳表示する。これにより、測定者Uは、ターゲット20の近傍に表示される測定結果のグラフィック画像CG2を参照することで、ターゲット20から目を離すことなく測定結果を確認することができる。
【0066】
〔他の追尾復帰処理の例〕
次に、本実施形態に係る測定装置1での他の追尾復帰処理について説明する。
図9は、他の追尾復帰処理の動作を例示するフローチャートである。
図10(a)および(b)は、予め設定された対象物に対して一定の相対位置関係にある仮想オブジェクトの表示例を示す模式図である。なお、一般的に対象物は、被測定対象物に設定すると便利であるが、被測定対象物に限らず、空間内の任意の対象物に設定することも可能である。
図9に示す処理は、図3のステップS106または図7のステップS309に示す追尾復帰処理に含まれる。
先ず、ターゲット20の追尾が解除された段階で、ステップS401に示すように対象物に対して一定の相対位置関係にある仮想オブジェクトの表示を行う。図10(a)には仮想オブジェクトのグラフィック画像CG3の表示例が示される。仮想オブジェクトのグラフィック画像CG3はどのような態様でもよいが、追尾復帰を行う際にターゲット20を位置合わせしやすい形状であるとよい。本実施形態では、一例として球体の仮想オブジェクトが用いられる。
【0067】
仮想オブジェクトのグラフィック画像CG3は、ターゲット20の追尾が解除された段階でのレーザ光L1の光軸上に表示される。すなわち、ヘッドマウントディスプレイ50の表示部51に仮想オブジェクトのグラフィック画像CG3が拡張現実で重畳表示される。
【0068】
次に、図9のステップS402に示すように、仮想オブジェクトに向けて光線を出射する。図10(b)には仮想オブジェクトのグラフィック画像CG3に向けてレーザ光Lが出射された例が示される。角度制御部153は、演算部151から送られた仮想オブジェクトのグラフィック画像CG3の三次元座標の情報に基づき、仮想オブジェクトのグラフィック画像CG3の例えば中心に向けてレーザ光Lが照射されるよう、駆動部13に指示を与える。これにより、光源11の角度が調整され、光源11から仮想オブジェクトのグラフィック画像CG3の位置に向けてレーザ光Lが照射される。
【0069】
レーザ光Lを照射した際、光軸グラフィック画像CG1を重畳表示してもよい。この際、光軸グラフィック画像CG1は、追尾解除状態を示す表示態様(第2態様)で表示するとよい。
【0070】
次に、図9のステップS403に示すように、ターゲット20の位置合わせを行う。測定者Uは、表示部51に拡張現実で重畳表示された仮想オブジェクトのグラフィック画像CG3をガイドとして、ターゲット20を仮想オブジェクトのグラフィック画像CG3の位置に合わせるよう移動させる。仮想オブジェクトのグラフィック画像CG3に向けてレーザ光Lが出射されているため、ターゲット20を仮想オブジェクトのグラフィック画像CG3の位置に合わせることで、レーザ光L1がターゲット20に確実に照射され、ターゲット20で反射するレーザ光L2を受光部12に戻すことができる。これにより、ターゲット20の追尾状態へ復帰できるようになる。
【0071】
このように、ターゲット20の追尾が解除された際、追尾復帰のためのガイドとなる仮想オブジェクトのグラフィック画像CG3を仮想現実で重畳表示することにより、追尾復帰のためにどの位置にターゲット20を位置合わせすればよいかを容易に把握できるようになる。
【0072】
〔他の追尾復帰処理の例〕
次に、本実施形態に係る測定装置1での他の追尾復帰処理について説明する。
他の追尾復帰処理は、ターゲット20の追尾が解除された場合(図3に示すステップS102でNo)に行われる。この場合、先ず、撮像部30による撮像を行う。すなわち、測定者Uに装着されたヘッドマウントディスプレイ50の撮像部30によって、測定者Uは自らターゲット20やターゲット20の近傍の画像を撮像する。
【0073】
次に、座標演算を行う。座標演算部55は、撮像部30で撮像して得た画像やその他の情報(測距情報など)と、位置・姿勢取得部54が取得したヘッドマウントディスプレイ50の三次元座標および姿勢(方向)とに基づき、ターゲット20の三次元座標を演算する。
【0074】
次に、光源11の出射角度を調整する。すなわち、追尾が解除された状態で、所定の方向に光源11の出射角度を調整し、レーザ光L1を出射する。ここで、先に演算したターゲット20の三次元座標にレーザ光L1を出射するよう光源11の角度を調整する。これにより、追尾が解除された場合でも、座標演算部55がヘッドマウントディスプレイ50の三次元座標と撮像部30で撮像した画像等によってターゲット20の三次元座標(第2の三次元座標)を求め、その三次元座標で示される位置に向けてレーザ光L1の出射角度が自動的に調整され、ターゲット20の追尾を速やかに復帰できるようになる。
【0075】
〔ガイド動作の他の例〕
次に、本実施形態に係る測定装置1でのガイド動作の他の例について説明する。
図11は、ガイド動作の他の例を示すフローチャートである。
図12(a)および(b)は、ガイド動作を例示する模式図である。
図11に示すステップS501からステップS505までの処理は、図3に示すステップS101からステップS105までの処理と同じのため、説明は省略する。
【0076】
ターゲット20の追尾が解除されると(ステップS502の判断でNo)、ステップS506に示すように撮像部30による撮像を行う。すなわち、測定者Uに装着されたヘッドマウントディスプレイ50の撮像部30によって、測定者Uは自らターゲット20やターゲット20の近傍の画像を撮像する。
【0077】
次に、ステップS507に示すように、座標演算を行う。座標演算部55は、撮像部30で撮像して得た画像やその他の情報(測距情報など)に基づき、撮像部30で撮像される物体の三次元座標を演算する。
【0078】
次に、ステップS508に示すように、光源11の出射角度を調整する。すなわち、追尾が解除された状態で、所定の方向に光源11の出射角度を調整し、レーザ光L1を出射する。例えば、先のステップS507で演算した所定の物体の三次元座標にレーザ光L1を出射するよう光源11の角度を調整する。レーザ光L1の照射対象とする物体は、撮像部30で撮像して得た画像に基づき認識を行い、予め設定された認識の対象物であってもよい。例えば、ターゲット20の画像を認識して、認識したターゲット20またはその近傍に向けてレーザ光L1を出射する。なお、ステップS506からS508は省略されてもよい。
【0079】
次に、ステップS509に示すガイド表示を行う。すなわち、表示制御部52は、表示部51に表示する画像に、レーザ光L1をターゲット20に照射するためのガイド画像を重畳表示する制御を行う。ガイド画像の重畳表示の例は後述する。
【0080】
次に、ステップS510に示すように、ターゲット20の位置合わせを行う。測定者Uは、表示部51に表示されたガイド画像を参考にしてターゲット20をレーザ光L1の照射位置に合わせるよう移動させる。これにより、ターゲット20の追尾状態へ復帰できることになる。
【0081】
ここで、ステップS509に示すガイド画像の重畳表示の例について説明する。ガイド画像の重畳表示は、拡張現実によって行われる。ヘッドマウントディスプレイ50には撮像部30が設けられており、撮像部30で撮像した現実空間の映像が表示部51に表示される。また、測定制御部15の演算部151は、レーザ光L1の出射方向の情報を得ており、この情報はヘッドマウントディスプレイ50の表示制御部52へ送られる。また、表示制御部52は、ヘッドマウントディスプレイ50の表示部51に映し出される映像の座標情報および座標演算部55が算出するターゲット20の座標情報(すなわち、第2の三次元座標)を得ている。表示制御部52は、これらの情報に基づいて、拡張現実によるガイド画像の表示を表示部51に行わせる。
【0082】
図12(a)に示す例では、ターゲット20の現実の映像にターゲット20を移動させる方向、角度、距離のいずれか一つ以上をガイドするグラフィック画像CG4を重畳表示している。グラフィック画像CG4は、例えば矢印のような画像であり、ターゲット20の現実の映像の近傍に重ねて表示される。測定者Uは、矢印による方向と距離の表示により、光軸グラフィック画像CG1が、表示部51の表示範囲外にある場合でも、ターゲット20を移動させる方向や、距離を知ることができる。
【0083】
すなわち、ヘッドマウントディスプレイ50の表示部51にターゲット20の映像が映し出されると、その映像の近傍にグラフィック画像CG4が重畳表示される。撮像部30でターゲット20の画像を撮像することで、演算部151はターゲット20の向き(リフレクターの方向)を認識しており、どの方向にターゲット20を向けるとレーザ光L1を受光できるかを把握している。
【0084】
グラフィック画像CG4は、レーザ光L1を受光するために必要なターゲット20の移動方向を示すように表示される。したがって、測定者Uは、グラフィック画像CG4に従ってターゲット20を移動すれば、容易に追尾状態へ復帰できるようになる。
【0085】
図12(b)に示す例では、ターゲット20の現実の映像にターゲット20の受光範囲を示すグラフィック画像CG5を重畳表示している。グラフィック画像CG5は、ターゲット20の追尾を行うことが可能な受光範囲に対応した例えば円錐形の画像であり、ターゲット20の現実の受光範囲に重ねて表示される。
【0086】
図12(a)に示す例と同様に、ヘッドマウントディスプレイ50の表示部51にターゲット20の映像が映し出されると、その映像の近傍にグラフィック画像CG5が表示される。撮像部30でターゲット20の画像を撮像することで、演算部151はターゲット20の向き(リフレクターの方向)を認識しており、認識したターゲット20の向きに基づいて受光範囲を把握している。
【0087】
グラフィック画像CG5は、レーザ光L1を受光するために必要なターゲット20の受光範囲を示すように表示される。したがって、測定者Uは、グラフィック画像CG5に従ってターゲット20を移動すれば、容易に追尾状態へ復帰できるようになる。
【0088】
以上説明したように、実施形態によれば、ターゲット20の追尾状態を容易に把握することができ、追尾が逸脱した際には測定者Uは簡単に追尾状態へ復帰させることが可能となる。これにより、対象物Wの三次元座標の測定の作業効率を向上させることが可能となる。
【0089】
〔実施形態の変形〕
なお、上記に本実施形態を説明したが、本発明はこれらの例に限定されるものではない。例えば、本実施形態ではターゲット20を測定者Uが把持して測定を行う例を説明したが、ターゲット20を多軸アームを持つ移動機構等の自走式ロボットに取り付けて測定を行う場合であっても適用可能である。また、ガイド表示におけるグラフィック画像の形状(図案)は上記説明の例に限定されない。
【0090】
また、上記の実施形態では、撮像部30が撮像した現実空間の画像に仮想オブジェクト等を重畳した画像を表示部51に表示する、いわゆるビデオシースルー方式のヘッドマウントディスプレイ50で拡張現実を実現したが、光学シースルー方式のヘッドマウントディスプレイを用いてもよい。
【0091】
また、前述の各実施形態に対して、当業者が適宜、構成要素の追加、削除、設計変更を行ったものや、各実施形態の特徴を適宜組み合わせたものも、本発明の要旨を備えている限り、本発明の範囲に含有される。
【符号の説明】
【0092】
1…測定装置
10…装置本体
11…光源
12…受光部
13…駆動部
15…測定制御部
20…ターゲット
30…撮像部
50…ヘッドマウントディスプレイ
51…表示部
52…表示制御部
53…通信部
131…第1駆動部
132…第2駆動部
151…演算部
152…通信部
153…角度制御部
155…光量制御部
CG1…光軸グラフィック画像
CG2~CG5…グラフィック画像
L,L1,L2…レーザ光
U…測定者
W…対象物
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12