(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-02-06
(45)【発行日】2023-02-14
(54)【発明の名称】測定プログラム選択補助装置および測定制御装置
(51)【国際特許分類】
G01B 21/00 20060101AFI20230207BHJP
G05B 19/418 20060101ALI20230207BHJP
G06F 3/01 20060101ALI20230207BHJP
【FI】
G01B21/00 Z
G05B19/418 Z
G06F3/01 510
(21)【出願番号】P 2019098436
(22)【出願日】2019-05-27
【審査請求日】2020-08-04
(31)【優先権主張番号】P 2018198296
(32)【優先日】2018-10-22
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】000137694
【氏名又は名称】株式会社ミツトヨ
(74)【代理人】
【識別番号】100166545
【氏名又は名称】折坂 茂樹
(72)【発明者】
【氏名】阿部 信策
(72)【発明者】
【氏名】額 邦行
【審査官】信田 昌男
(56)【参考文献】
【文献】特開2016-205974(JP,A)
【文献】特開2002-156222(JP,A)
【文献】特開2006-329903(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G01B 21/00
G05B 19/418
G06F 3/01
(57)【特許請求の範囲】
【請求項1】
対象物の測定に関する測定プログラムと、当該対象物の三次元形状に対応した重畳表示情報とを対応付けて記憶する測定プログラムデータベースと、
現実空間の座標と仮想空間の座標とを合致させて、現実空間に置かれた物の実像に重畳して仮想空間に定義された情報を表示する複合現実表示が可能な表示手段と、
選択された前記測定プログラムに対応する前記重畳表示情報を前記測定プログラムデータベースから取得し、取得した前記重畳表示情報を前記表示手段に複合現実表示させる表示制御手段と、
を備える測定プログラム選択補助装置。
【請求項2】
前記測定プログラムデータベースは、前記対象物の前記測定プログラムに対応付けて前記対象物の三次元形状を記憶しており、
前記対象物の形状を認識する検知手段と、
前記検知手段で認識した前記対象物の形状を、前記測定プログラムデータベースに照会して前記対象物に対応する前記測定プログラムを特定する測定プログラム特定手段と、
をさらに備え、
前記表示制御手段は、前記測定プログラム特定手段が特定した前記測定プログラムを、前記選択された前記測定プログラムとする、ことを特徴とする請求項1に記載の測定プログラム選択補助装置。
【請求項3】
前記検知手段は、前記対象物の位置および向きを取得し、
前記測定プログラムデータベースは、前記対象物の前記測定プログラムに対応付けて前記対象物を当該測定プログラムにて測定するのに適切な前記対象物の位置および向きを示す測定時配置情報を記憶し、
前記検知手段で取得した前記対象物の位置および向きの、前記測定プログラム特定手段で特定した前記測定プログラムに対応する前記測定時配置情報からの誤差を算出し、当該誤差の分だけ前記測定プログラム中に規定された座標をずらすよう補正する測定プログラム補正手段をさらに備える、ことを特徴とする請求項2に記載の測定プログラム選択補助装置。
【請求項4】
前記対象物における測定対象箇所を指定する操作を受け付ける操作入力手段をさらに備え、
前記測定プログラムデータベースは、前記対象物の測定対象箇所を測定するための前記測定プログラムと、当該測定対象箇所の三次元形状に対応した前記重畳表示情報とを対応付けて記憶していることを特徴とする、請求項1に記載の測定プログラム選択補助装置。
【請求項5】
前記表示制御手段は、前記対象物に重畳して、前記対象物の過去の測定結果を示す情報を表示する、ことを特徴とする請求項1から4のいずれかに記載の測定プログラム選択補助装置。
【請求項6】
選択された測定プログラムを実行することにより測定機による対象物の測定を実行する制御部と、
現実空間の座標と仮想空間の座標とを合致させて、現実空間に置かれた物の実像に重畳して仮想空間に定義された情報を表示する複合現実表示が可能な表示手段と
選択された前記測定プログラムを実行したときの前記測定機の動作を示す、前記測定プログラムに対応して予め用意された動作予測表示を、重畳表示情報として前記表示手段に複合現実表示させる表示制御手段と、
前記対象物の形状、位置および向きを取得する検知手段と、
を備え
、
前記制御部は、前記検知手段が取得した前記対象物の形状と選択された前記測定プログラムとに基づき、当該測定プログラムを実行したときに、前記対象物と前記測定機とが干渉する可能性を評価し、前記表示制御手段は、干渉が生じる可能性が所定値以上である箇所を前記重畳表示情報として複合現実表示させる測定制御装置。
【請求項7】
選択された測定プログラムを実行することにより測定機による対象物の測定を実行する制御部と、
現実空間の座標と仮想空間の座標とを合致させて、現実空間に置かれた物の実像に重畳して仮想空間に定義された情報を表示する複合現実表示が可能な表示手段と
選択された前記測定プログラムを実行したときの前記測定機の動作を示す、前記測定プログラムに対応して予め用意された動作予測表示を、重畳表示情報として前記表示手段に複合現実表示させる表示制御手段と、
作業者の視野を特定する視野特定手段と、
を備え
、
前記制御部は、前記視野特定手段が特定した作業者の視野内に、前記重畳表示情報が入らない限り、前記測定プログラムに基づく前記測定機の移動を開始させないよう制御する測定制御装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は測定プログラム選択補助装置に関し、より詳しくは、測定機で測定を行う対象物に適した測定プログラムを選択できるようにする測定プログラム選択補助装置に関するものである。
【背景技術】
【0002】
三次元測定機等の測定機においては、測定手順を記憶した測定プログラム(パートプログラム)を用いて自動的な測定を行う機能が設けられている。特許文献1には、測定プログラムを用いて複数のワークを簡単な操作で効率的に測定できる画像測定装置が開示される。
【0003】
また、特許文献2には、オペレータにとって使いやすく、複雑な操作をすることなく、効率的にCNC画像測定機用パートプログラムを生成することのできるパートプログラム生成装置が開示される。
【0004】
また、三次元測定機等の測定機でパートプログラムを用いてワークの測定を行うときに、ワークに合ったパートプログラムを選択することが必要である。特許文献3には、簡素な構成で、かつ、ワークに対して最適なパートプログラムを選択可能なパートプログラム選択装置が開示される。
【先行技術文献】
【特許文献】
【0005】
【文献】特開2001-059708号公報
【文献】特開2001-319219号公報
【文献】特開2018-004362号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、現状では選択した測定プログラムが本当にその対象物に適したものであるかを確認することは容易でない。例えば、似たような形状の対象物が複数ある場合には、その確認は特に難しい。また、測定のために対象物に冶具を取り付けて測定することがしばしば行われる。この際、対象物に対する冶具の取り付け方を誤ると、対象物に対する適切な測定プログラムを選択したにもかかわらず、測定パスや測定箇所が想定と異なってしまい、衝突等の事故が起こる可能性がある。
【0007】
本発明は、選択した測定プログラムが測定しようとしている対象物に適したものなのかを、視覚的に確認できる測定プログラム選択補助装置を提供することを目的とする。
【課題を解決するための手段】
【0008】
本発明の一態様は、対象物の測定に関する測定プログラムと、当該対象物の三次元形状に対応した重畳表示情報とを対応付けて記憶する測定プログラムデータベースと、現実空間に重畳して仮想空間に定義された情報を表示する複合現実表示が可能な表示手段と、選択された測定プログラムに対応する重畳表示情報を測定プログラムデータベースから取得し、取得した重畳表示情報を表示手段に複合現実表示させる表示制御手段と、を備える測定プログラム選択補助装置である。
【0009】
このような構成によれば、測定の対象物の三次元形状に対応した重畳表示情報(例えば、三次元モデルや測定パス)が測定プログラムデータベースに記憶されており、選択された測定プログラムに対応する重畳表示情報が現実空間に重畳して複合現実表示される。作業者は、表示手段に表示される複合現実表示を参照することで、選択された測定プログラムが対象物の測定に適合しているかどうかの判断を目視で行うことができる。
【0010】
上記測定プログラム選択補助装置において、測定プログラムデータベースは、対象物の測定プログラムに対応付けて対象物の三次元形状を記憶しており、対象物の形状を認識する検知手段と、検知手段で認識した対象物の形状を、測定プログラムデータベースに照会して対象物に対応する測定プログラムを特定する測定プログラム特定手段と、をさらに備え、表示制御手段は、測定プログラム特定手段が特定した測定プログラムを、選択された測定プログラムとするようにしてもよい。これにより、検知手段で認識した対象物の形状に基づき、その対象物に対応する測定プログラムを特定できるようになる。
【0011】
上記測定プログラム選択補助装置において、検知手段は、対象物の位置および向きを取得し、測定プログラムデータベースは、対象物の測定プログラムに対応付けて対象物を当該測定プログラムにて測定するのに適切な対象物の位置および向きを示す測定時配置情報を記憶し、検知手段で取得した対象物の位置および向きの、測定プログラム特定手段で特定した測定プログラムに対応する測定時配置情報からの誤差を算出し、当該誤差分だけ測定プログラム中に規定された座標をずらすよう補正する測定プログラム補正手段をさらに備えていてもよい。これにより、検知手段で対象物の位置および向きを取得し、この取得した対象物の位置および向きと、その対象物に対応して特定された測定プログラムに規定される対象物の位置ずれ(誤差)を補正することができる。
【0012】
上記測定プログラム選択補助装置において、対象物における測定対象箇所を指定する操作を受け付ける操作入力手段さらに備え、測定プログラムデータベースは、対象物の測定対象箇所を測定するための測定プログラムと、当該測定対象箇所の三次元形状に対応した重畳表示情報とを対応付けて記憶するようにしてもよい。これにより、操作入力手段で受け付けた測定対象箇所を測定プログラムおよび重畳表示情報に対応付けして記憶することができる。
【0013】
上記測定プログラム選択補助装置において、表示制御手段は、対象物に重畳して、対象物の過去の測定結果を示す情報を表示するようにしてもよい。これにより、作業者は表示手段に表示される対象物の過去の測定結果を参照しながら測定を行うことができる。
【0014】
また本発明に係る測定制御装置は、選択された測定プログラムを実行することにより測定機による対象物の測定を実行する制御部と、現実空間に重畳して仮想空間に定義された情報を表示する複合現実表示が可能な表示手段と、選択された測定プログラムを実行したときの測定機の動作を示す動作予測表示を、重畳表示情報として表示手段に複合現実表示させる表示制御手段と、を備える。
【0015】
測定制御装置において、動作予測表示は、三次元の動画像を含むとよい。また、動作予測表示は、測定機が備えるプローブの軌跡を示す図形を含むとよい。このような動作予測表示により、作業者は、測手プログラムを実行したときの干渉の可能性を視覚的に認識することができる。
【0016】
測定制御装置は、前記対象物の形状、位置および向きを取得する検知手段をさらに備えるとよい。そして、制御部は、前記検知手段が取得した前記対象物の形状と選択された前記測定プログラムとに基づき、当該測定プログラムを実行したときに、前記対象物と前記測定機とが干渉する可能性を評価し、前記表示制御部は、干渉が生じる可能性が所定値以上である箇所を前記重畳表示情報として複合現実表示させるとよい。
【0017】
また、測定制御装置は、作業者の視野を特定する視野特定手段をさらに備えるとよい。そして、前記制御部は、前記視野特定手段が特定した作業者の視野内に、前記重畳表示情報が入らない限り、前記測定プログラムに基づく前記測定機の移動を開始させないよう制御するとよい。このようにすれば、重畳表示情報を目視確認し忘れることを防ぐことが可能となる。
【図面の簡単な説明】
【0018】
【
図1】第1実施形態に係る測定プログラム選択補助装置の構成を例示する模式図である。
【
図2】第1実施形態に係る測定プログラム選択補助装置の構成を例示するブロック図である。
【
図3】第1実施形態に係る測定プログラム選択補助装置の動作を例示するフローチャートである。
【
図4】第1実施形態に係る測定プログラム選択補助装置における測定プログラムの表示例を示す模式図である。
【
図5】第1実施形態に係る測定プログラム選択補助装置における選択された測定プログラムの表示例を示す模式図である。
【
図6】第1実施形態に係る測定プログラム選択補助装置における三次元モデルの表示例を示す模式図である。
【
図7】第1実施形態に係る測定プログラム選択補助装置における測定パスの表示例を示す模式図である。
【
図8】第1実施形態に係る測定プログラム選択補助装置における測定結果の表示例を示す模式図である。
【
図9】第2実施形態に係る測定制御装置の構成を例示するブロック図である。
【
図10】第2実施形態に係る測定制御装置の動作を例示するフローチャートである。
【
図11】視野特定手段により作業者の視野を監視する様子を示す模式図である。
【発明を実施するための形態】
【0019】
〔第1実施形態〕
以下、本発明の第1実施形態を図面に基づいて説明する。なお、以下の説明では、同一の部材には同一の符号を付し、一度説明した部材については適宜その説明を省略する。
【0020】
〔測定プログラム選択補助装置の構成〕
図1は、本実施形態に係る測定プログラム選択補助装置の構成を例示する模式図である。
図2は、本実施形態に係る測定プログラム選択補助装置の構成を例示するブロック図である。
本実施形態に係る測定プログラム選択補助装置1は、対象物Wの測定を行う測定機100で用いられる測定プログラム(パートプログラム)を作業者Pが選択する際の補助を行う装置である。本実施形態では、測定機100として三次元測定装置を用いる場合を例とする。
【0021】
三次元測定装置は、対象物Wの位置の検出箇所を指定するプローブ111を備えた測定ヘッド110と、測定ヘッド110を移動するための移動機構120とを備える。三次元測定装置には図示しないコンピュータシステムが接続されていてもよい。コンピュータシステムによって必要なデータ処理を実行して対象物Wの三次元座標等が演算される。
【0022】
対象物Wはステージ112の上に載置される。このステージ112の上に測定ヘッド110を移動するための移動機構120が設けられる。移動機構120は、X軸ガイド121、Y軸ガイド122およびZ軸ガイド123を備える。本実施形態において、X軸方向(X軸に沿った方向)とは、ステージ112の面に沿った一方向である。Y軸方向(Y軸に沿った方向)とは、ステージ112の面に沿った方向でX軸方向と直交する方向である。Z軸方向(Z軸に沿った方向)とは、X軸方向およびY軸方向と直交する方向である。Z軸方向は上下方向とも言う。また、X軸方向およびY軸方向は水平方向とも言う。
【0023】
本実施形態では、測定ヘッド110をZ軸方向(上下方向)に移動させるZ軸ガイド123がX軸ガイド121によってX軸方向に移動可能に設けられる。また、X軸ガイド121がY軸ガイド122によってY軸方向に移動可能に設けられる。X軸ガイド121、Y軸ガイド122およびZ軸ガイド123の移動の組み合わせによって測定ヘッド110はXYZの3軸方向の所定位置に移動可能となっている。
【0024】
測定ヘッド110には対象物Wの位置の検出箇所を指定するためのプローブ111が設けられる。プローブ111は接触式でもよいし非接触式でもよい。接触式のプローブ111では、プローブ111の先端に設けられた測定子111aを対象物Wの検出箇所に接触させて座標検出を行う。非接触式のプローブ111では、対象物Wの検出箇所に例えばレーザ光を照射してその反射光を受けることでレーザ光が照射された位置の座標を検出する。
【0025】
本実施形態に係る測定プログラム選択補助装置1は、作業者Pがこのような測定機100を用いて対象物Wの測定を行う際、その対象物Wに適した測定プログラムを選択する際の補助を行う。
【0026】
測定プログラム選択補助装置1は、測定プログラムデータベース10と、表示手段20と、表示制御手段30とを備える。測定プログラムデータベース10は、対象物Wの測定に関する測定プログラム(パートプログラム)と、この対象物Wの三次元形状に対応した重畳表示情報とを対応付けて記憶する。重畳表示情報には、対象物Wの三次元モデルや測定プログラムでの測定パスなど、対象物Wの測定に関する各種の情報が挙げられる。
【0027】
表示手段20は、測定プログラムデータベース10と、現実空間に重畳して仮想空間に定義された情報を表示する複合現実(MR:Mixed Reality)表示が可能な手段である。表示手段20には、平面ディスプレイやヘッドアップディスプレイが用いられる。本実施形態では表示手段20としてヘッドマウントディスプレイを用いることが好ましい。これにより、作業者Pは現実空間に重畳して表示される仮想空間上のグラフィック、文字情報、動画などの各種の情報を、没入感を得ながら参照することができるようになる。
【0028】
表示制御手段30は、選択された測定プログラムに対応する重畳表示情報を測定プログラムデータベース10から取得し、取得した重畳表示情報を表示手段20に複合現実表示させる制御を行う。重畳表示情報は、対象物W、測定機100、測定機100が置かれている部屋の壁など現実空間の実像に重ねて表示される。
【0029】
また、本実施形態に係る測定プログラム選択補助装置1では、検知手段50、操作入力手段60、測定プログラム特定手段70、測定プログラム補正手段80および通信手段90をさらに備えている。
【0030】
検知手段50は、対象物Wの形状を認識する部分である。検知手段50はカメラ55を含む。カメラ55は対象物Wや測定機100などの画像を取得する。表示手段20としてヘッドマウントディスプレイを用いる場合、ヘッドマウントディスプレイにカメラ55が設けられる。これにより、作業者Pの頭の向きに応じて周辺の画像を取得することができる。
【0031】
また、検知手段50は、三次元センサを含んでいてもよい。三次元センサによって作業者Pの動作をトラッキングして解析したり、対象物Wまでの距離(深度)を検知して、対象物Wの表面の三次元点群データを取得したりすることができる。三次元センサはカメラ55とともに設けられていてもよいし、カメラ55に代えて設けられていてもよい。また、検知手段50は、作業者の動きを検知する加速度センサやジャイロセンサを含んでいてもよい。また、検知手段50は、ヘッドマウントディスプレイに設けられていてもよいし、測定機100の外部に固定的に設けられていてもよい。
【0032】
操作入力手段60は、対象物Wにおける測定対象箇所を指定する操作を受け付ける。すなわち、操作入力手段60は、例えば作業者Pが指示した対象物Wの測定対象箇所を受け付けて、測定プログラムデータベース10に送る。ここで、操作入力手段60は、作業者の手の特定の動作を読み取り、コントロールしてもよい(ハンドジェスチャコントロール)。
【0033】
測定プログラムデータベース10は、操作入力手段60で受け付けた測定対象箇所を測定するための測定プログラムと、この測定対象箇所の三次元形状に対応した重畳表示情報とを対応付けて記憶する。
【0034】
測定プログラム特定手段70は、検知手段50で認識した対象物Wの形状を、測定プログラムデータベース10に照会して対象物Wに対応する測定プログラムを特定する処理を行う。表示制御手段30は、測定プログラム特定手段70が特定した測定プログラムを、選択された測定プログラムとして、これに対応する重畳表示情報を複合現実表示する。
【0035】
測定プログラム補正手段80は、測定プログラム中に規定された座標をずらす補正処理を行う部分である。測定プログラムデータベース10は、予め対象物Wの測定プログラムに対応付けて対象物Wを当該測定プログラムにて測定するのに適切な対象物Wの位置および向きを示す測定時配置情報が記憶されている。
【0036】
そして、検知手段50によって対象物Wの位置および向きを取得した場合、測定プログラム補正手段80は、検知手段50で取得した対象物Wの位置および向きの、測定プログラム特定手段70で特定した測定プログラムに対応する測定時配置情報からの誤差を算出する。さらに、測定プログラム補正手段80は、この算出した誤差分だけ測定プログラム中に規定された座標をずらすよう補正(座標の回転や平行移動)を行う。
【0037】
通信手段90は、外部との情報入出力を行うインタフェースである。測定プログラムデータベース10がネットワークに接続されている場合、通信手段90は無線通信または有線通信によってネットワークを介して測定プログラムデータベース10との間で情報の入出力を行う。
【0038】
このような測定プログラム選択補助装置1では、測定の対象物Wの三次元形状に対応した重畳表示情報が測定プログラムデータベース10に記憶されている。また、表示手段20には、測定プログラムに対応する重畳表示情報が現実空間に重畳して複合現実表示される。したがって、作業者Pは、表示手段20に表示される複合現実表示によって、選択された測定プログラムが測定を行う対象物Wに適合しているかどうかの判断を目視によって行うことが可能となる。特に、実際の対象物Wや測定機100の像に、対象物Wの三次元モデルや測定に係る測定パスの画像が重畳されるため、作業者Pは現実空間の像と重畳表示情報とを対比しながら選択した測定プログラムの適否を確認でき、対象物Wに適した測定プログラムを選択しやすくなる。
【0039】
〔測定プログラム選択補助装置の動作〕
次に、本実施形態に係る測定プログラム選択補助装置1の動作について説明する。
図3は、本実施形態に係る測定プログラム選択補助装置の動作を例示するフローチャートである。
なお、動作の説明にあたり、
図3のフローチャートに示されない構成および符号は、
図1および
図2を参照するものとする。
【0040】
先ず、ステップS101に示すように、対象物Wの形状を取得する。作業者Pは、ステージ112の所定位置に対象物Wを載置する。対象物Wは必要に応じて治具によってステージ112に固定される。測定プログラム選択補助装置1は、ステージ112に載置された対象物Wの形状を検知手段50のカメラ55や三次元センサで取得する。
【0041】
次に、ステップS102に示すように、対象物Wの認識を行う。対象物Wの認識は、カメラ55で取得した画像や検知手段50の例えば三次元センサで検知した情報(点群データ等)に基づき行われる。
【0042】
次に、ステップS103に示すように、測定プログラムの選択を行う。測定プログラム特定手段70は、先のステップS102で認識した対象物Wの形状に基づき測定プログラムデータベース10に照会を行い、認識した対象物Wに対応する測定プログラムを特定する。また、選択候補となる測定プログラムが複数ある場合、作業者Pの指示によって測定プログラムを選択するようにしてもよい。
【0043】
次に、ステップS104に示すように、重畳表示情報を取得する。表示制御手段30は、先のステップS103で選択された測定プログラムに対応する重畳表示情報を測定プログラムデータベース10から取得する。測定プログラムデータベース10がネットワークに接続されている場合には、通信手段90を介して重畳表示情報を取得する。重畳表示情報には、対象物Wの三次元モデルや、選択された測定プログラムによる測定パスの情報が含まれる。
【0044】
次に、ステップS105に示すように、重畳表示情報を複合現実表示する。表示制御手段30は、先のステップS104で取得した重畳表示情報を表示手段20に対象物W等に重ねて複合現実表示させる。これにより、作業者Pは、表示手段20に表示された複合現実表示を参照して、選択された測定プログラムが対象物Wの測定に適合しているかどうかの判断を目視で行うことができる。
【0045】
次に、ステップS106に示すように、操作入力を受け付けたか否かの判断を行う。作業者Pは、表示手段20に表示された複合現実表示を参照して、選択された測定プログラムによって測定を実行するか、または別の測定プログラムを選択するか、測定をキャンセルするか、といった判断を行う。そして、作業者Pによる操作を操作入力手段60で受け付ける。操作を受け付けた場合、ステップS107に示すように、受け付けた操作を実行する。操作を受け付けなかった場合には、処理をステップS105に戻す。
【0046】
例えば、選択された測定プログラムで測定を実行する操作を作業者Pが行い、この操作を操作入力手段60で受け付けた場合、選択された測定プログラムによって対象物Wの測定を実行する。また、作業者Pによって対象物Wの測定対象箇所が指示された場合、操作入力手段60はこの測定対象箇所を受け付けて、測定対象箇所を測定するための測定プログラムと、この測定対象箇所の三次元形状に対応した重畳表示情報とを対応付けて記憶する処理を実行する。
【0047】
次に、ステップS108に示すように、処理を終了するか否かの判断を行う。処理を終了する場合には測定プログラム選択補助装置1の動作を終了し、処理を続行する場合にはステップS101へ戻り、以降の処理を繰り返す。
【0048】
〔測定プログラムの選択補助プログラム〕
図3に示す測定プログラム選択補助装置1の動作のフローチャートの各ステップのうち少なくとも一部は、コンピュータに実行させるプログラム(測定プログラムの選択補助プログラム)として構成してもよい。例えば、選択補助プログラムは、対象物Wを認識する認識工程(ステップS101~ステップS102)と、認識した対象物Wの形状に基づき測定プログラムを選択する選択工程(ステップS103)と、選択した測定プログラムに対応する重畳表示情報を取得する重畳表示情報取得工程(ステップS104)と、取得した重畳表示情報を複合現実表示する表示工程(ステップS105)と、を備える。
【0049】
〔具体的な適用例〕
次に、測定プログラム選択補助装置1の具体的な適用例について説明する。
図4~
図8は、本実施形態に係る測定プログラム選択補助装置の具体的な適用例を説明する模式図である。
【0050】
図4には、測定プログラムの表示例が示される。
作業者Pはヘッドマウントディスプレイを装着している。ヘッドマウントディスプレイに設けられた検知手段50のカメラ55等によって測定機100のステージ112に載置された対象物Wを認識すると、認識結果に基づき測定プログラムデータベース10からその対象物Wの測定に関する測定プログラムが読み出される。
【0051】
表示手段20には、測定プログラムデータベース10から読み出された測定プログラムのリストが複合現実表示される。例えば、画像G1には対象物Wの識別情報(ID)や、複数の測定プログラムのリスト(例えば、測定プログラムP1、P2、P3)が含まれる。この画像G1は、作業者Pがヘッドマウントディスプレイ越しに見ている現実空間の実像における所定の位置に浮き上がるように表示される。例えば、測定機100の実像の近傍に画像G1が表示される。
【0052】
画像G1には、各種処理のアイコンが表示されていてもよい。作業者Pが、例えば画像G1の所望のアイコンを指でタップするような操作を行うと、操作入力手段60によってその操作が受け付けられ、タップしたアイコンに対応した処理が実行される。
【0053】
図5には、選択された測定プログラムの表示例が示される。
画像G1のリスト表示から所定の測定プログラムが選択されると、表示手段20には画像G2が表示される。例えば、画像G2は画像G1の上に重ねられるように表示される。作業者Pは画像G2の表示を参照して選択された測定プログラムを確認することができる。
図5に示す例では、測定プログラムP1が選択されている。画像G2で「キャンセル」のアイコンを選択すると、画像G2の表示が消えて、画像G1の表示に戻る。これにより、別の測定プログラムを選択できるようになる。
【0054】
選択された測定プログラムP1でよい場合には、「確認」または「開始」のアイコンを選択する。「開始」のアイコンを選択した場合、測定プログラムP1による測定が開始される。一方、「確認」のアイコンを選択した場合には、測定プログラムP1に関する情報の確認を行うことができる。
【0055】
図6には、三次元モデルの表示例が示される。
すなわち、選択した測定プログラムに関する情報の一つとして、
図6に示す三次元モデルの画像G3の表示が挙げられる。三次元モデルの画像G3は、ステージ112に載置された対象物Wの重畳表示情報として取得されたものである。三次元モデルの画像G3は、対象物Wの実像に重畳して表示される。三次元モデルの画像G3は仮想空間に定義された情報である。
【0056】
表示手段20に表示される三次元モデルの画像G3は、検知手段50によって検知した現実空間の座標と、仮想空間の座標とを合致させて表示される。すなわち、三次元モデルの画像G3は、測定プログラムP1にて測定するのに適切な対象物Wの位置および向きを示す測定時配置情報から得た座標を現実空間の座標に合わせて表示される。
【0057】
このため、例えば、ステージ112に載置された対象物Wの位置および向きが、測定プログラムP1にて測定するのに適切な対象物Wの位置および向きと合致している場合、対象物Wの実像と、三次元モデルの画像G3とが位置ずれなく重なって表示されることになる。一方、ステージ112に載置された対象物Wの位置および向きと、測定プログラムP1にて測定するのに適切な対象物Wの位置および向きとがずれている場合、対象物Wの実像と、三次元モデルの画像G3とがずれて表示されることになる。対象物Wの位置および向きと、三次元モデルの画像G3の位置および向きとのずれを画像G4として複合現実表示してもよい。
【0058】
ここで、ステージ112に載置された対象物Wの位置および向きと、測定プログラムP1にて測定するのに適切な対象物Wの位置および向きとがずれている場合、測定プログラム補正手段80でこのずれ量(誤差)を算出し、算出した誤差分だけ測定プログラム中に規定された座標をずらすよう補正してもよい。例えば、画像G4の「補正」アイコンを作業者Pが選択することで補正が実行される。この補正が行われると、三次元モデルの画像G3の表示位置が対象物Wの実像の位置と合致することになる。
【0059】
また、ステージ112に載置された対象物Wの形状と、測定プログラムP1で規定された三次元モデルの画像G3の形状とが相違する場合もあり得る。作業者Pは、対象物Wの実像と三次元モデルの画像G3とが複合現実表示されることで、両者の形状の相違を視覚的に把握することができる。両者の形状の相違によって測定箇所を変更する必要がある場合には、作業者Pの指示によって変更可能となる。
【0060】
図7には、測定パスの表示例が示される。
選択した測定プログラムに関する情報の他の一つとして、
図7に示す測定パスの画像G5の表示が挙げられる。測定パスの画像G5は、選択した測定プログラムP1(パートプログラム)を実行したときの測定機100の動作を示す動作予測表示の一例である。測定パスの画像G5は、ステージ112に載置された対象物Wの重畳表示情報として取得されたものである。測定パスの画像G5は、対象物Wの実像に重畳するように、プローブ111を備えた測定ヘッド110の位置および向きを示す画像として表示される。
【0061】
測定パスの画像G5は、実際のプローブ111および測定ヘッド110に対応させたグラフィック画像である。測定パスの画像G5は、対象物Wの測定順に沿って移動するように動画像として表示されてもよいし、所望の測定箇所での測定の状態を示すような静止画像として表示されてもよい。静止画像として表示する場合、複数の静止画像を移動の軌跡に応じた位置に表示するようにしてもよい。また、測定パスの画像G5は、プローブの軌跡を示す線、点、矢印(全経路一括の線、スタート地点から順に伸びる線、移動する点)等として表示されてもよい。
【0062】
作業者Pは、表示手段20に複合現実表示される測定パスの画像G5を参照することで、実際にステージ112に載置された対象物Wについて測定を行う場合のプローブ111および測定ヘッド110の位置や動作を視覚的に把握することができる。この画像G5を参照することで、測定ヘッド110が対象物Wに干渉するか否かといった判断を行うことができる。
【0063】
また、測定パスにおける測定箇所の情報を示す画像G6を複合現実表示してもよい。この画像G6には測定パスの「再生」、「編集」のアイコンが表示される。「再生」アイコンを作業者Pが選択すると、測定パスを画像G5が測定順に再生表示される。また、必要に応じて「編集」アイコンを選択すると、測定箇所の追加、削除、測定順の変更などの編集を行うことができる。
【0064】
また、測定プログラム選択補助装置1は、検知手段50で検知した対象物Wの三次元形状(三次元座標)と、プローブ111および測定ヘッド110の移動軌跡(動作予測表示)とに基づき、測定パスにおいて干渉が発生するか否かを計算して表示手段20に注意情報を表示するようにしてもよい。すなわち、測定プログラム選択補助装置1は、測定プログラムを実行した場合に対象物Wと測定機100とに干渉が生じる危険性を評価し、干渉またはその危険性がある場合に警告を行うとよい。具体的には、動作予測表示を仮想的に移動させ、干渉する箇所でプローブ111や測定ヘッド110がどのくらい干渉しているかの状況を注意情報として表示し、警告を行なうとよい。例えば、干渉が発生する箇所を矢印等で指し示したり、文字やイラストを表示したりすることにより、警告をするとよい。その他、音声、振動、衝撃、電気的刺激などによって警告してもよい。また、これらの警告を組み合わせて用いてもよい。
【0065】
図8には、測定結果の表示例が示される。
対象物Wの測定を行った場合、表示手段20には各測定箇所における測定値の画像G7、G8が複合現実表示される。画像G7、G8は、対象物Wの測定箇所を示すマーカとともに表示させてもよい。また、対象物Wの過去(例えば、前回測定)の測定結果を示す画像を表示するようにしてもよい。これにより、作業者Pは表示手段20に表示される対象物Wの過去の測定結果を参照しながら測定を行うことができる。
【0066】
以上説明したように、第1実施形態によれば、作業者Pは、対象物W等の実像に重畳して複合現実表示された画像を参照することで測定プログラムが適切か否かを目視で確認することができ、対象物Wに適した測定プログラムの選択を正確かつ容易に行うことが可能となる。
【0067】
〔第2実施形態〕
図9は、第2実施形態に係る測定制御装置の構成を例示するブロック図である。本実施形態に係る測定制御装置1001は、測定プログラムを実行した場合に対象物Wと測定機100とに干渉が生じる危険性を低減するためのより強化された機能を提供する。測定制御装置1001は、測定機100の動作を制御する装置であり、測定機100の一部として提供されてもよい。なお、測定機100の構成については、上述した第1の実施形態と同様なので、ここでの説明を省略する。
【0068】
測定制御装置1001は、測定機制御手段1010と、表示手段1020と、表示制御手段1030と、視野特定手段1040と、を備える。測定機制御手段1010は、対象物Wの測定に関する測定プログラムすることにより、測定機100の測定ヘッド110や移動機構120を制御して、測定を実施する。
【0069】
表示手段1020は、現実空間に重畳して仮想空間に定義された情報を表示する複合現実(MR:Mixed Reality)表示が可能な手段である。表示手段1020には、平面ディスプレイやヘッドアップディスプレイが用いられる。本実施形態では表示手段1020としてヘッドマウントディスプレイを用いることが好ましい。これにより、作業者Pは現実空間に重畳して表示される仮想空間上のグラフィック、文字情報、動画などの各種の情報を、没入感を得ながら参照することができるようになる。
【0070】
表示制御手段1030は、実行しようとする測定プログラムに対応する重畳表示情報を表示手段1020に複合現実表示させる制御を行う。本実施形態における重畳表示情報は、少なくとも、測定プログラムを実行した場合の測定機100の移動経路を示す情報を含む。このような重畳表示情報の具体例としては、測定プログラムを実行した場合の、測定機100のプローブ111および測定ヘッド110の移動軌跡を時系列に沿って表示する、いわゆる動作予測表示とするとよい。動作予測表示は、対象物Wの測定順に沿って移動するように動画像として表示されてもよいし、所望の測定箇所での測定の状態を示すような静止画像として表示されてもよい。静止画像として表示する場合、複数の静止画像を移動の軌跡に応じた位置に表示するようにしてもよい。また、動作予測表示は、プローブの軌跡を示す線、点、矢印(全経路一括の線、スタート地点から順に伸びる線、移動する点)等として表示されてもよい。その他、重畳表示情報として、測定機100、測定機100が置かれている部屋の壁などを、現実空間の実像に重ねて表示してもよい。
【0071】
視野特定手段1040は、作業者Pの視野を特定する。視野特定手段1040が作業者Pの視野を特定する方法は任意である。視野特定手段1040は、例えばヘッドマウントディスプレイに設けられた位置・姿勢センサからの検知情報を利用して、作業者Pの視野を特定するとよい。あるいは、カメラ等により作業者Pの視線の向きをトラッキングして、作業者Pの視野を特定してもよい。
【0072】
また、本実施形態に係る測定制御装置1001では、検知手段1050、操作入力手段1060、測定プログラム補正手段1080および通信手段1090をさらに備えている。
【0073】
検知手段1050は、対象物Wの形状を認識する部分である。検知手段1050はカメラ1055を含む。カメラ1055は対象物Wや測定機100などの画像を取得する。表示手段20としてヘッドマウントディスプレイを用いる場合、ヘッドマウントディスプレイにカメラ1055が設けられる。これにより、作業者Pの頭の向きに応じて周辺の画像を取得することができる。
【0074】
また、検知手段1050は、三次元センサを含んでいてもよい。三次元センサによって作業者Pの動作をトラッキングして解析したり、対象物Wまでの距離(深度)を検知して、対象物Wの表面の三次元点群データを取得したりすることができる。三次元センサはカメラ1055とともに設けられていてもよいし、カメラ1055に代えて設けられていてもよい。また、検知手段1050は、作業者の動きを検知する加速度センサやジャイロセンサを含んでいてもよい。また、検知手段1050は、ヘッドマウントディスプレイに設けられていてもよいし、測定機100の外部に固定的に設けられていてもよい。
【0075】
操作入力手段1060は、対象物Wにおける測定対象箇所を指定する操作を受け付ける。すなわち、操作入力手段1060は、例えば作業者Pが指示した対象物Wの測定対象箇所を受け付けて、測定プログラムデータベース10に送る。ここで、操作入力手段60は、作業者の手の特定の動作を読み取り、コントロールしてもよい(ハンドジェスチャコントロール)。
【0076】
上述のように本実施形態に係る測定制御装置1001は、第1実施形態にて説明した測定プログラム選択補助装置1と共通の構成要素を多く含む。このため、測定制御装置1001を測定プログラム選択補助装置1と同じハードウェアを利用して実現してもよい。すなわち、一組のハードウェアで第1実施形態における測定プログラム選択補助装置1と第1実施形態における測定制御装置1001とを実現してもよい。
【0077】
〔測定制御装置の動作〕
次に、本実施形態に係る測定制御装置1001の動作について説明する。
図10は、本実施形態に係る測定制御装置1001の動作を例示するフローチャートである。
【0078】
先ず、ステップS1001に示すように、対象物Wの形状を取得する。作業者Pは、ステージ112の所定位置に対象物Wを載置する。対象物Wは必要に応じて治具によってステージ112に固定される。測定プログラム選択補助装置1は、ステージ112に載置された対象物Wの形状を検知手段50のカメラ55や三次元センサで取得する。このとき対象物Wの形状は、検知手段1050の例えば三次元センサで検知した情報(点群データ等)として取得される。
【0079】
次に、測定プログラムの選択を行う(ステップS1002)。測定プログラムは、第1実施形態にて説明した測定プログラム選択補助装置1にて選択されてもよいし、作業者Pの指示により選択されてもよい。
【0080】
続いて測定制御装置1001は、選択された測定プログラムと、検知手段1050が取得した対象物Wの形状とに基づき、当該測定プログラムを実行したときに、対象物Wと測定機100とが干渉する可能性を評価する(ステップS1003)。
【0081】
次に、表示制御手段1030は、先のステップS1002で選択された測定プログラムに対応する重畳表示情報を、表示手段20に複合現実表示する(ステップS1004)。上述したように、本実施形態における重畳表示情報には、少なくとも、測定プログラムを実行した場合の測定機100の移動経路を示す情報、およびステップS1003における評価の結果、干渉する可能性が高い(可能性が所定の閾値以上である)とされた箇所を示す警告情報等が含まれる。これにより、作業者Pは、表示手段20に表示された複合現実表示を参照して、選択された測定プログラムを実行した場合に測定機100と対象物Wとの干渉が生じる可能性について目視で確認することができる。干渉する可能性が高い箇所がある場合、重畳表示情報を表示する以外に、他の方法(例えば、音声、振動、衝撃、電気的刺激など)によって警告をしてもよい。
【0082】
続いて、視野特定手段1040は作業者Pの視野の特定を開始する。そして、
図11に示すように重畳表示情報の複合現実表示が作業者Pの視野内に入ったか否かを監視し、重畳表示情報の複合現実表示が作業者Pの視野内に入った場合、その旨を(例えばメモリ等の記憶手段に)記憶する(ステップS1005)。
図11において、(a)は重畳表示情報の複合現実表示が作業者Pの視野内に入った状態を示し、(b)は重畳表示情報の複合現実表示が作業者Pの視野内に入っていない状態を示している。
【0083】
作業者Pは、ステップS1004にて表示手段1020に表示された複合現実表示を参照して、選択された測定プログラムによって測定を実行するか、または別の測定プログラムを選択するか、測定をキャンセルするか、といった判断を行う。そして、測定制御装置1001は、作業者Pによる測定プログラムの実行を指示する操作入力を受け付けると(ステップS1006)、重畳表示情報の複合現実表示が、作業者Pの視野内に入ったか否かを判定する(ステップS1007)。
【0084】
重畳表示情報の複合現実表示が作業者Pの視野内に入った旨が記憶されていない場合(ステップS1007;No)、測定制御装置1001の測定機制御手段1010は、測定プログラムによる測定機100の移動を実行させず、処理をステップS1007に戻す。そして、その後、重畳表示情報の複合現実表示が作業者Pの視野内に入ったことを視野特定手段1040にて確認できるまで、測定プログラムによる測定機100の移動を実行させないようにする。なお、「測定プログラムによる測定機100の移動を実行させない」とは、測定プログラム全体の実行をさせないようにしてもよい。あるいは、測定プログラムにおける、測定機100における測定ヘッドやプローブ等の物理的な移動を伴う処理を実行させず、他の処理については実行を許容してもよい。
【0085】
一方、重畳表示情報の複合現実表示が作業者Pの視野内に入った旨が記憶されている場合(ステップS1007;Yes)、測定制御装置1001の測定機制御手段1010は、選択された測定プログラムによって対象物Wの測定を実行し(ステップS1008)、処理を終了する。
【0086】
以上のような構成及び動作により、本実施形態に係る測定制御装置は、作業者Pが測定プログラムを実行した場合の測定機100の移動経路を示す情報を視野に入れて目視確認しない限り測定機100における測定ヘッドやプローブ等の物理的な移動を許容しない。したがって、目視確認を怠ったことによるプローブ等と対象物Wとの衝突・干渉を防ぐことができる。
【0087】
〔測定制御プログラム〕
図10に示す測定制御装置1001の動作のフローチャートの各ステップのうち少なくとも一部は、コンピュータに実行させるプログラム(測定制御プログラム)として構成してもよい。例えば、測定制御プログラムは、対象物Wを認識する認識工程(ステップS1001~ステップS1002)と、測定プログラムを選択する選択工程(ステップS1003)と、選択した測定プログラムに対応する重畳表示情報を複合現実表示する表示工程(ステップS1004)と、を備えるとよい。
【0088】
〔実施形態の変形〕
なお、上記に各実施形態を説明したが、本発明はこれらの例に限定されるものではない。例えば、上記の第1実施形態では対象物Wの形状と対応した測定プログラムを選択する例を説明したが、作業者Pが対象物Wの測定箇所をジェスチャ等で指定することで、その測定箇所を含む測定プログラムを測定プログラムデータベース10から読み出すようにしてもよい。また、測定機100として三次元測定機を例として説明したが、測定機100は三次元測定機以外の測定機であってもよい。
【0089】
また、上記の各実施形態では、干渉またはその危険性がある場合に警告を行ったが、警告に加え、測定プログラムの実行に制限を加えてもよい。例えば、干渉またはその危険性がある場合に、測定プログラムによる測定機100の移動を実行させないようにしてもよい。あるいは、干渉する箇所より所定の移動距離だけ手前まで測定プログラムによる測定機100が移動されると、移動を停止するようにしてもよい。そして、移動を停止した後、測定プログラムを修正したり、対象物Wを置きなおしたりして、干渉の危険が除去された場合に、続きの測定を実行するようにするとよい。
【0090】
また、上記の第2実施形態では、重畳表示情報の複合現実表示が作業者Pの視野内に入らない限り、測定機の移動が始まらないようにしたが、重畳表示情報の複合現実表示が作業者Pの視野内に入ることに加え、他の条件(例えば、ボタンを押す、画面のタッチ、音声コマンド入力、ジェスチャ等)を移動開始の条件としてもよい。
【0091】
また、前述の各実施形態に対して、当業者が適宜、構成要素の追加、削除、設計変更を行ったものや、各実施形態の特徴を適宜組み合わせたものも、本発明の要旨を備えている限り、本発明の範囲に含有される。
【符号の説明】
【0092】
1…測定プログラム選択補助装置
10…測定プログラムデータベース
20…表示手段
30…表示制御手段
50…検知手段
55…カメラ
60…操作入力手段
70…測定プログラム特定手段
80…測定プログラム補正手段
90…通信手段
100…測定機
110…測定ヘッド
111…プローブ
111a…測定子
112…ステージ
120…移動機構
121…X軸ガイド
122…Y軸ガイド
123…Z軸ガイド
1001…測定制御装置
1020…表示手段
1030…表示制御手段
1040…視野特定手段
1050…検知手段
1055…カメラ
1060…操作入力手段
1080…測定プログラム補正手段
1090…通信手段
G1~G8…画像
P…作業者
P1~P3…測定プログラム
W…対象物