特許 7674502 位置姿勢計測システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-04-28

(45)【発行日】2025-05-09

(54)【発明の名称】位置姿勢計測システム

(51)【国際特許分類】

   B25J 9/10 20060101AFI20250430BHJP

   B25J 13/08 20060101ALI20250430BHJP

【ＦＩ】

B25J9/10 A

B25J13/08 A

【請求項の数】 14

(21)【出願番号】P 2023550954

(86)(22)【出願日】2021-09-30

(86)【国際出願番号】 JP2021036257

(87)【国際公開番号】W WO2023053395

(87)【国際公開日】2023-04-06

【審査請求日】2024-04-05

(73)【特許権者】

【識別番号】390008235

【氏名又は名称】ファナック株式会社

(74)【代理人】

【識別番号】100106002

【弁理士】

【氏名又は名称】正林 真之

(74)【代理人】

【識別番号】100165157

【弁理士】

【氏名又は名称】芝 哲央

(74)【代理人】

【識別番号】100160794

【弁理士】

【氏名又は名称】星野 寛明

(72)【発明者】

【氏名】小倉 翔太郎

(72)【発明者】

【氏名】並木 勇太

(72)【発明者】

【氏名】小窪 恭平

【審査官】臼井 卓巳

(56)【参考文献】

【文献】特開平０９－０７０７８６（ＪＰ，Ａ）

【文献】特開２００２－０９０１１３（ＪＰ，Ａ）

【文献】特開２０００－２６３４８２（ＪＰ，Ａ）

【文献】特開２０１７－０７１０３３（ＪＰ，Ａ）

【文献】特開２０１８－１２６８５７（ＪＰ，Ａ）

【文献】特開２０１８－１７６４０４（ＪＰ，Ａ）

【文献】米国特許出願公開第２０２１／０１１４２２３（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｂ２５Ｊ ９／１０－１９／０２

(57)【特許請求の範囲】

【請求項1】

ロボットの制御に使用する計測対象物の３次元位置姿勢を計測する位置姿勢計測システムであって、
キャリブレーション済みの視覚センサと、
前記計測対象物又は前記視覚センサの３次元位置姿勢を移動可能な位置姿勢移動部と、
前記視覚センサのキャリブレーションを実行した時に得られたキャリブレーションデータを予め記憶するキャリブレーションデータ記憶部と、
前記キャリブレーションデータに基づいて、前記視覚センサにより前記計測対象物を撮像して得られた撮像画像を処理する画像処理部と、
前記画像処理部による画像処理結果を用いて前記計測対象物の３次元位置姿勢を計測する位置姿勢計測部と、
前記位置姿勢計測部で計測された前記計測対象物の３次元位置姿勢を用いて、前記位置姿勢移動部により前記視覚センサ又は前記計測対象物を移動させた後、前記画像処理部による画像処理と前記位置姿勢計測部による計測を順次行う補正処理を少なくとも１回実行する撮像位置補正部と、
前記撮像位置補正部による前記補正処理を終了するか否かを判定し、終了しないと判定した場合には前記補正処理を再度実行し、終了すると判定した場合には前記ロボットの制御に使用する前記計測対象物の３次元位置姿勢として、前記位置姿勢計測部で最後又は途中で計測されたいずれかの前記計測対象物の３次元位置姿勢を採用する撮像位置補正終了部と、を備え、
前記計測対象物は、キャリブレーション治具又はマーカである、位置姿勢計測システム。

【請求項2】

前記撮像位置補正部は、補正を行うための基準となる位置の設定時における前記計測対象物から見た前記視覚センサの位置に、前記視覚センサが近付く前記ロボットの位置に前記ロボットを動作させた後、前記補正処理を実行する、請求項１に記載の位置姿勢計測システム。

【請求項3】

前記撮像位置補正終了部は、前記撮像位置補正部による前記補正処理が所定回数実行されたときに前記補正処理を終了すると判定する、請求項１又は２に記載の位置姿勢計測システム。

【請求項4】

前記撮像位置補正終了部は、前記撮像位置補正部による前記視覚センサ又は前記計測対象物の移動量が所定の閾値より小さいときに前記補正処理を終了すると判定する、請求項１又は２に記載の位置姿勢計測システム。

【請求項5】

前記画像処理部で処理された撮像画像中の前記計測対象物の輝度を測定し、前記ロボットの基準位置設定時における撮像画像中の前記計測対象物の輝度との差が、所定の第１閾値より大きいか否かを判定する計測対象輝度判定部と、
前記計測対象輝度判定部で前記輝度の差が前記所定の第１閾値より大きいと判定されたときに、前記計測対象物の輝度が前記ロボットの基準位置設定時に近付くように調整する計測対象輝度調整部と、をさらに備える、請求項１から４いずれかに記載の位置姿勢計測システム。

【請求項6】

前記画像処理部で処理された撮像画像中の前記計測対象物の輝度を測定し、前記ロボットの基準位置設定時における撮像画像中の前記計測対象物の輝度との差が、所定の第２閾値より大きいか否かを判定する計測対象輝度判定部と、
前記計測対象輝度判定部で前記輝度の差が前記所定の第２閾値より大きいと判定されたときに、前記計測対象物の輝度が前記ロボットの基準位置設定時と大きく異なることを使用者に提示する計測対象情報提示部と、をさらに備える、請求項１から５いずれかに記載の位置姿勢計測システム。

【請求項7】

前記画像処理部で処理された撮像画像中の前記計測対象物の検出不可能範囲を測定し、前記検出不可能範囲が所定の検出不可能閾値より大きいか否かを判定する計測対象検出不可能範囲判定部と、
前記計測対象検出不可能範囲判定部で前記検出不可能範囲が前記所定の検出不可能閾値より大きいと判定されたときに、前記計測対象物の検出不可能範囲が大きいことを使用者に提示する計測対象情報提示部と、をさらに備える、請求項１から６いずれかに記載の位置姿勢計測システム。

【請求項8】

キャリブレーション済みの視覚センサと、
前記視覚センサのキャリブレーションを実行した時に得られたキャリブレーションデータに基づいて、前記視覚センサにより計測対象物を撮像して得られた撮像画像を処理する画像処理部と、
前記画像処理部による画像処理結果を用いて前記計測対象物の位置姿勢を計測する位置姿勢計測部と、
前記計測対象物の基準姿勢を示す第１の位置姿勢に近づくように前記視覚センサ又は前記計測対象物を移動させた後、前記画像処理部による画像処理と前記位置姿勢計測部による計測に基づく補正処理を少なくとも１回実行する撮像位置補正部と、
前記撮像位置補正部による前記補正処理のうち前記位置姿勢計測部で計測された前記計測対象物の第２の位置姿勢に基づいて、前記補正処理を終了するかを判定する撮像位置補正終了部と、を備え、
前記計測対象物は、キャリブレーション治具又はマーカである、位置姿勢計測システム。

【請求項9】

ロボットの制御に使用する計測対象物の３次元位置姿勢を計測する位置姿勢計測システムであって、
キャリブレーション済みの視覚センサと、
前記計測対象物又は前記視覚センサの３次元位置姿勢を移動可能な位置姿勢移動部と、
前記視覚センサのキャリブレーションを実行した時に得られたキャリブレーションデータを予め記憶するキャリブレーションデータ記憶部と、
前記視覚センサにより前記計測対象物を撮像して得られた撮像画像を処理する画像処理部と、
前記画像処理部による画像処理結果を用いて前記計測対象物の３次元位置姿勢を計測する位置姿勢計測部と、
前記位置姿勢計測部で計測された前記計測対象物の３次元位置姿勢を用いて、前記位置姿勢移動部により前記視覚センサ又は前記計測対象物を移動させた後、前記画像処理部による画像処理と前記位置姿勢計測部による計測を順次行う補正処理を少なくとも１回実行する撮像位置補正部と、
前記撮像位置補正部による前記補正処理を終了するか否かを判定し、終了しないと判定した場合には前記補正処理を再度実行し、終了すると判定した場合には前記ロボットの制御に使用する前記計測対象物の３次元位置姿勢として、前記位置姿勢計測部で最後又は途中で計測されたいずれかの前記計測対象物の３次元位置姿勢を採用する撮像位置補正終了部と、を備え、
前記画像処理部で処理された撮像画像中の前記計測対象物の輝度を測定し、前記ロボットの基準位置設定時における撮像画像中の前記計測対象物の輝度との差が、所定の第１閾値より大きいか否かを判定する計測対象輝度判定部と、
前記計測対象輝度判定部で前記輝度の差が前記所定の第１閾値より大きいと判定されたときに、前記計測対象物の輝度が前記ロボットの基準位置設定時に近付くように調整する計測対象輝度調整部と、をさらに備える、位置姿勢計測システム。

【請求項10】

ロボットの制御に使用する計測対象物の３次元位置姿勢を計測する位置姿勢計測システムであって、
キャリブレーション済みの視覚センサと、
前記計測対象物又は前記視覚センサの３次元位置姿勢を移動可能な位置姿勢移動部と、
前記視覚センサのキャリブレーションを実行した時に得られたキャリブレーションデータを予め記憶するキャリブレーションデータ記憶部と、
前記視覚センサにより前記計測対象物を撮像して得られた撮像画像を処理する画像処理部と、
前記画像処理部による画像処理結果を用いて前記計測対象物の３次元位置姿勢を計測する位置姿勢計測部と、
前記位置姿勢計測部で計測された前記計測対象物の３次元位置姿勢を用いて、前記位置姿勢移動部により前記視覚センサ又は前記計測対象物を移動させた後、前記画像処理部による画像処理と前記位置姿勢計測部による計測を順次行う補正処理を少なくとも１回実行する撮像位置補正部と、
前記撮像位置補正部による前記補正処理を終了するか否かを判定し、終了しないと判定した場合には前記補正処理を再度実行し、終了すると判定した場合には前記ロボットの制御に使用する前記計測対象物の３次元位置姿勢として、前記位置姿勢計測部で最後又は途中で計測されたいずれかの前記計測対象物の３次元位置姿勢を採用する撮像位置補正終了部と、を備え、
前記画像処理部で処理された撮像画像中の前記計測対象物の輝度を測定し、前記ロボットの基準位置設定時における撮像画像中の前記計測対象物の輝度との差が、所定の第２閾値より大きいか否かを判定する計測対象輝度判定部と、
前記計測対象輝度判定部で前記輝度の差が前記所定の第２閾値より大きいと判定されたときに、前記計測対象物の輝度が前記ロボットの基準位置設定時と大きく異なることを使用者に提示する計測対象情報提示部と、をさらに備える、位置姿勢計測システム。

【請求項11】

ロボットの制御に使用する計測対象物の３次元位置姿勢を計測する位置姿勢計測システムであって、
キャリブレーション済みの視覚センサと、
前記計測対象物又は前記視覚センサの３次元位置姿勢を移動可能な位置姿勢移動部と、
前記視覚センサのキャリブレーションを実行した時に得られたキャリブレーションデータを予め記憶するキャリブレーションデータ記憶部と、
前記視覚センサにより前記計測対象物を撮像して得られた撮像画像を処理する画像処理部と、
前記画像処理部による画像処理結果を用いて前記計測対象物の３次元位置姿勢を計測する位置姿勢計測部と、
前記位置姿勢計測部で計測された前記計測対象物の３次元位置姿勢を用いて、前記位置姿勢移動部により前記視覚センサ又は前記計測対象物を移動させた後、前記画像処理部による画像処理と前記位置姿勢計測部による計測を順次行う補正処理を少なくとも１回実行する撮像位置補正部と、
前記撮像位置補正部による前記補正処理を終了するか否かを判定し、終了しないと判定した場合には前記補正処理を再度実行し、終了すると判定した場合には前記ロボットの制御に使用する前記計測対象物の３次元位置姿勢として、前記位置姿勢計測部で最後又は途中で計測されたいずれかの前記計測対象物の３次元位置姿勢を採用する撮像位置補正終了部と、を備え、
前記画像処理部で処理された撮像画像中の前記計測対象物の検出不可能範囲を測定し、前記検出不可能範囲が所定の検出不可能閾値より大きいか否かを判定する計測対象検出不可能範囲判定部と、
前記計測対象検出不可能範囲判定部で前記検出不可能範囲が前記所定の検出不可能閾値より大きいと判定されたときに、前記計測対象物の検出不可能範囲が大きいことを使用者に提示する計測対象情報提示部と、をさらに備える、位置姿勢計測システム。

【請求項12】

前記撮像位置補正部は、補正を行うための基準となる位置の設定時における前記計測対象物から見た前記視覚センサの位置に、前記視覚センサが近付く前記ロボットの位置に前記ロボットを動作させた後、前記補正処理を実行する、請求項９から１１いずれかに記載の位置姿勢計測システム。

【請求項13】

前記撮像位置補正終了部は、前記撮像位置補正部による前記補正処理が所定回数実行されたときに前記補正処理を終了すると判定する、請求項９から１２いずれかに記載の位置姿勢計測システム。

【請求項14】

前記撮像位置補正終了部は、前記撮像位置補正部による前記視覚センサ又は前記計測対象物の移動量が所定の閾値より小さいときに前記補正処理を終了すると判定する、請求項９から１３いずれかに記載の位置姿勢計測システム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、位置姿勢計測システムに関する。

【背景技術】

【0002】

従来、台車等の搬送装置上に載置されたロボットにより、ワークの加工が行われている。ロボットは、搬送装置によりワークの近傍まで移動した後、ワークのロード／アンロードやツールの交換、ワークの加工等の種々の作業を実行する。ところが、ロボットの停止位置や停止姿勢が変化すると、作業空間に対するロボットの位置や姿勢も変化するため、ロボットは毎回同じ動作をしているだけでは適切に作業できないことがある。そのため、作業空間に対するロボットの位置や姿勢のずれを計測し、ロボットの動作に補正をかける必要がある。

【0003】

例えば、ロボットの手先等に取り付けた視覚センサを用いて、作業空間に設置した複数の基準点の３次元位置を検出し、作業空間に対するロボットの基準位置や基準姿勢からのずれ量を補正量として算出してロボットの動作に補正をかける技術が提案されている（例えば、特許文献１及び２参照）。

【先行技術文献】

【特許文献】

【0004】

【文献】特開平１１－１５６７６４号公報

【文献】特開２０１９－０９３４８１号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、特許文献１及び２の技術では、撮像画像から求めた計測対象物の３次元位置姿勢のばらつきが大きい、又は、複数個所に配置された複数の計測対象物を撮像するため撮像位置の教示点の数が多くなり教示及び計測にかかる時間も長くなるという課題がある。そのため従来技術では、短い教示時間と計測時間でワークの取り付け等の精密な動作を要求される用途には使用できない。

【0006】

本開示は、従来よりも簡易な教示と短い計測時間で計測対象物の３次元位置姿勢を正確に計測できる位置姿勢計測システムを提供することを目的とする。

【課題を解決するための手段】

【0007】

本開示の一態様は、ロボットの制御に使用する計測対象物の３次元位置姿勢を計測する位置姿勢計測システムであって、キャリブレーション済みの視覚センサと、前記計測対象物又は前記視覚センサの３次元位置姿勢を移動可能な位置姿勢移動部と、前記視覚センサのキャリブレーションを実行した時に得られたキャリブレーションデータを予め記憶するキャリブレーションデータ記憶部と、前記視覚センサにより前記計測対象物を撮像して得られた撮像画像を処理する画像処理部と、前記画像処理部による画像処理結果を用いて前記計測対象物の３次元位置姿勢を計測する位置姿勢計測部と、前記位置姿勢計測部で計測された前記計測対象物の３次元位置姿勢を用いて、前記位置姿勢移動部により前記視覚センサ又は前記計測対象物を移動させた後、前記画像処理部による画像処理と前記位置姿勢計測部による計測を順次行う補正処理を少なくとも１回実行する撮像位置補正部と、前記撮像位置補正部による前記補正処理を終了するか否かを判定し、終了しないと判定した場合には前記補正処理を再度実行し、終了すると判定した場合には前記ロボットの制御に使用する前記計測対象物の３次元位置姿勢として、前記位置姿勢計測部で最後又は途中で計測されたいずれかの前記計測対象物の３次元位置姿勢を採用する撮像位置補正終了部と、を備える、位置姿勢計測システムである。

【発明の効果】

【0008】

本開示の一態様によれば、従来よりも簡易な教示と短い計測時間で計測対象物の３次元位置姿勢を正確に計測できる位置姿勢計測システムを提供することができる。

【図面の簡単な説明】

【0009】

【図1】第１実施形態に係るロボットシステムの構成を示す図である。

【図2】第１実施形態に係る位置姿勢計測システムの構成を示すブロック図である。

【図3】第１実施形態に係る位置姿勢計測システムの処理の手順を示すフローチャートである。

【図4】撮像位置を移動したときの入力画像の変化を示す図である。

【図5】撮像位置の移動前における計測対象物の位置と基準位置設定時における計測対象物の位置を示す図である。

【図6】撮像位置の移動後における計測対象物の位置と基準位置設定時における計測対象物の位置を示す図である。

【図7】第１実施形態の変形例に係る位置姿勢計測システムの処理の手順を示すフローチャートである。

【図8】第２実施形態に係る位置姿勢計測システムの構成を示すブロック図である。

【図9】撮像位置を移動するとともに輝度を調整したときの入力画像の変化を示す図である。

【図10】第３実施形態に係る位置姿勢計測システムの構成を示すブロック図である。

【図11】撮像位置の移動前後における計測対象物の輝度の差が第２閾値より大きいと判定されたときのインターフェース装置の表示画面を示す図である。

【図12】第４実施形態に係る位置姿勢計測システムの構成を示すブロック図である。

【図13】撮像位置の移動後における入力画像の検出不可能範囲が検出不可能閾値より大きいと判定されたときのインターフェース装置の表示画面を示す図である。

【発明を実施するための形態】

【0010】

以下、本開示の実施形態について図面を参照して説明する。なお、各実施形態の説明において、第１実施形態と共通する構成については同一の符号を付し、その説明を適宜省略する。

【0011】

［第１実施形態］
本開示の第１実施形態に係る位置姿勢計測システムは、キャリブレーション済みの視覚センサで計測対象物を撮像した撮像画像及びキャリブレーションデータを用いて、ロボットの動作の制御に用いる計測対象物の３次元位置姿勢（Ｘ，Ｙ，Ｚ，Ｗ，Ｐ，Ｒ）を計測するシステムである。より詳しくは、第１実施形態に係る位置姿勢計測システムは、現在の撮像位置と計測対象物の相対位置を、ロボットの基準位置設定時における撮像位置と計測対象物の相対位置に近付ける補正を行うことにより、補正を行わない時と比べて計測のばらつきを抑制でき、従来よりも計測対象物の３次元位置姿勢を正確に計測可能なシステムである。

【0012】

ここで、ロボットの基準位置とは、補正を行うための基準となる位置を意味する。この基準位置設定時における計測対象物の位置（基準位置）と、補正時における計測対象物の位置との差分を求め、その差分を、補正をかけたい動作にかけることにより、補正が行われる。差分は同次変換行列で表現され、それを３次元位置（ベクトル）にかけることで、補正後の位置が求められる。基準位置設定時における計測対象物の３次元位置を記憶しておき、その位置を基準の座標系としてロボットの動作を教示し、計測時の対象物の位置で座標系を書き換えることでも同様の補正が可能である。

【0013】

図１は、第１実施形態に係るロボットシステム１００の構成を示す図である。図１に示されるように、ロボットシステム１００は、第１実施形態に係る位置姿勢計測システム１を含んで構成される。ロボットシステム１００は、ロボット２と、視覚センサ４と、視覚センサ制御装置２０と、ロボット制御装置１０と、計測対象物７と、を備える。ロボットシステム１００は、例えば、視覚センサ４で撮像されたワークの撮像画像に基づいて、ワークの３次元位置姿勢を認識し、ワークのハンドリング又は加工等の所定の作業を実行する。

【0014】

ロボット２のロボットアーム３の先端部には、フランジ５を介して手先のツール６が取り付けられている。ロボット２は、ロボット制御装置１０の制御により、ワークのハンドリング又は加工等の所定の作業を実行する。また、ロボット２のロボットアーム３の先端部には、フランジ５を介して視覚センサ４が取り付けられている。これにより、視覚センサ４は３次元位置姿勢を移動可能となっている。

【0015】

視覚センサ４は、視覚センサ制御装置２０により制御され、ワーク、キャリブレーション治具やマーカ等の計測対象物７を撮像する。視覚センサ４は、キャリブレーション済みの視覚センサが用いられる。視覚センサ４としては、一般的な２次元カメラを用いてもよく、ステレオカメラ等の３次元カメラを用いてもよい。

【0016】

視覚センサ制御装置２０は、視覚センサ４を制御し、視覚センサ４による撮像画像を画像処理する。また、視覚センサ制御装置２０は、視覚センサ４で撮像された撮像画像から、計測対象物７の３次元位置姿勢を検出する。

【0017】

ロボット制御装置１０は、ロボット２の動作プログラムを実行し、ロボット２の動作を制御する。その際、ロボット制御装置１０は、視覚センサ制御装置２０により検出された計測対象物７の３次元位置姿勢に基づいて、ロボット２が所定の作業を実行するように、ロボット２の動作を補正する。

【0018】

また、ロボット制御装置１０は、視覚センサ４による撮像時、視覚センサ４の位置及び姿勢を制御するように、ロボット２の位置及び姿勢を制御する。このように、ロボット制御装置１０は、計測対象物７の位置及び姿勢を固定とし、視覚センサ４の位置及び姿勢を制御することにより、計測対象物７と視覚センサ４との相対位置を制御する。

【0019】

図２は、第１実施形態に係る位置姿勢計測システム１の構成を示すブロック図である。図２に示されるように、第１実施形態に係る位置姿勢計測システム１は、視覚センサ制御装置２０と、ロボット制御装置１０と、備える。視覚センサ制御装置２０は、画像処理部２１と、キャリブレーションデータ記憶部２２と、画像取得部２３と、を備える。ロボット制御装置１０は、位置姿勢計測部１１と、撮像位置補正部１２と、撮像位置補正終了部１３と、位置姿勢移動部１４と、を備える。

【0020】

画像取得部２３は、視覚センサ４を用いて撮像された撮像画像を入力画像として取得する。画像取得部２３は、取得した入力画像を画像処理部２１に送信する。

【0021】

画像処理部２１は、画像取得部２３から送信された入力画像を画像処理する。より具体的に画像処理部２１は、例えば予め記憶されたモデルパターンを用いて、該モデルパターンとの一致度に基づく検出スコアが所定の閾値以上であるときに、入力画像中から計測対象物７を検出する。また、画像処理部２１は、入力画像と、後述のキャリブレーションデータ記憶部２２に記憶されたキャリブレーションデータとから、視覚センサ４を基準とした計測対象物７の３次元位置姿勢を求める。

【0022】

なお、キャリブレーション済みの視覚センサ４を用いて撮像した入力画像中のキャリブレーション治具等の計測対象物７の位置情報から、視覚センサ４を基準とした計測対象物７の３次元位置姿勢を求める原理については、例えば松山隆司著の「コンピュータビジョン、技術評論と将来展望」等で周知である。即ち、視覚センサ４の内部の幾何学的変換特性及び物体が存在する３次元空間と２次元画像平面の幾何学的関係が既に求まっており、さらにキャリブレーション治具等に表示される複数のドット点等の特徴の２次元画像上での位置と、３次元空間上での位置とのペアの情報が複数個得られることで、視覚センサ４と計測対象物７の相対位置を一意に決定できる。そのため、キャリブレーション済みの視覚センサ４を用いて撮像した入力画像中の計測対象物７の位置情報から、視覚センサ４を基準とした計測対象物７の３次元位置姿勢を求めることが可能となっている。

【0023】

視覚センサ制御装置２０における画像処理部２１、及びロボット制御装置１０は、例えば、ＤＳＰ（Digital Signal Processor）、ＦＰＧＡ（Field-Programmable Gate Array）等の演算プロセッサで構成される。視覚センサ制御装置２０における画像処理部２１、及びロボット制御装置１０の各種機能は、例えば所定のソフトウェア（プログラム、アプリケーション）を実行することで実現される。視覚センサ制御装置２０における画像処理部２１、及びロボット制御装置１０の各種機能は、ハードウェアとソフトウェアとの協働で実現されてもよいし、ハードウェア（電子回路）のみで実現されてもよい。

【0024】

キャリブレーションデータ記憶部２２は、視覚センサ４のキャリブレーションを実行した時に得られたキャリブレーションデータを予め記憶する。視覚センサ制御装置２０におけるキャリブレーションデータ記憶部２２は、例えば、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）等の書き換え可能なメモリで構成される。

【0025】

視覚センサ４のキャリブレーションデータには、視覚センサ４の内部パラメータと外部パラメータが記憶されている。視覚センサ４の内部パラメータとしては、例えば、レンズひずみや焦点距離等のパラメータが挙げられる。視覚センサ４の外部パラメータとしては、例えば、ロボット２の基準位置設定時におけるロボット２の基準位置を基準とした視覚センサ４の３次元位置姿勢や、フランジ５の位置を基準とした視覚センサ４の３次元位置姿勢が挙げられる。

【0026】

位置姿勢計測部１１は、画像処理部２１による画像処理結果を用いて、計測対象物７の３次元位置姿勢を計測する。具体的に位置姿勢計測部１１は、撮像時におけるロボット２の基準位置を基準とした視覚センサ４の３次元位置姿勢（即ち、視覚センサ４の現在位置姿勢）と、画像処理部２１で求めた視覚センサ４を基準とした計測対象物７の３次元位置姿勢と、から、撮像時におけるロボット２の基準位置を基準とした計測対象物７の３次元位置姿勢を求める。

【0027】

撮像時におけるロボット２の基準位置を基準とした視覚センサ４の３次元位置姿勢については、次のようにして求められる。本実施形態の視覚センサ４は、ハンドカメラ等であるため、ロボット２が動作すると視覚センサ４の位置も連動して変化する。そのため、先ず、視覚センサ４を取り付けた後はロボット２の動作によっては変化しないフランジ５を基準とした視覚センサ４の３次元位置姿勢を、キャリブレーションデータ記憶部２２に記憶されたキャリブレーションデータから取得する。また、ロボット２に対する動作指令を生成するロボット制御装置１０から常に取得可能な、撮像時におけるロボット２の基準位置を基準としたフランジ５の３次元位置姿勢を取得する。そして、取得されたフランジ５を基準とした視覚センサ４の３次元位置姿勢と、取得された撮像時におけるロボット２の基準位置を基準としたフランジ５の３次元位置姿勢と、に基づいて、撮像時におけるロボット２の基準位置を基準とした視覚センサ４の３次元位置姿勢を計算して求める。

【0028】

撮像位置補正部１２は、位置姿勢計測部１１で計測された計測対象物７の３次元位置姿勢を用いて、後述の位置姿勢移動部１４により視覚センサ４を移動させた後、画像処理部２１による画像処理と位置姿勢計測部１１による計測を順次実行させる。撮像位置補正部１２は、このような視覚センサ４の移動、撮像画像処理、及び３次元位置姿勢計測からなる補正処理を、少なくとも１回実行する。

【0029】

また、撮像位置補正部１２は、基準位置設定時における測対象物７から見た視覚センサ４の位置に、視覚センサ４が近付くロボット位置にロボット２を動作させて、上記の補正処理を実行することが好ましい。

【0030】

この撮像位置補正部１２による補正処理により、現在における撮像位置と計測対象物７の相対位置が、ロボット２の基準位置設定時における撮像位置と計測対象物７の相対位置に近付く。これにより、位置姿勢計測部１１による計測対象物７の３次元位置姿勢の計測のばらつきが抑制される。即ち、従来では、撮像画像から求めた計測対象物の３次元位置姿勢のばらつきが大きく、計測対象物と補正をかける位置が大きく離れて変化すると、補正誤差が大きくなる課題があったところ、本実施形態ではこれを解決可能である。そのため、本実施形態はワークの取り付け等の精密な動作を要求される用途にも適応可能である。

【0031】

撮像位置補正終了部１３は、撮像位置補正部１２による補正処理を終了するか否かを判定する。本実施形態の撮像位置補正終了部１３は、撮像位置補正部１２による補正処理が所定回数、実行されたか否かに応じて、補正処理を終了するか否かを判定する。所定回数としては、例えば３回に設定される。

【0032】

具体的に撮像位置補正終了部１３は、撮像位置補正部１２による補正処理が所定回数、実行されておらず、補正処理を終了しないと判定した場合には、撮像位置補正部１２による補正処理を再度実行する。

【0033】

また撮像位置補正終了部１３は、撮像位置補正部１２による補正処理が所定回数、実行され、補正処理を終了すると判定した場合には、ロボット２の制御に使用する計測対象物７の３次元位置姿勢として、位置姿勢計測部１１で最後又は途中で計測されたいずれかの計測対象物７の３次元位置姿勢を採用する。

【0034】

補正処理において位置姿勢計測部１１で最後に計測された、ロボット２の基準位置を基準とした計測対象物７の３次元位置姿勢は、計測のばらつきが抑制された正確な３次元位置姿勢である。そのため、撮像位置補正終了部１３により採用されたロボット２の基準位置を基準とした計測対象物７の３次元位置姿勢を用いて、ロボット２の動作を制御することにより、ロボット２の正確な動作制御が可能となる。

【0035】

また、補正処理において視覚センサ４の移動量が非常に小さい場合（例えば、所定の移動量閾値より小さい場合）には、ロボット２自体の移動の精度の方が補正誤差への影響が大きくなる。そのためこの場合には、補正処理の途中で計測されたいずれかの計測対象物７の３次元位置姿勢のうち、例えば、最後の１つ前に計測された３次元位置姿勢を採用する方が補正誤差を抑えられることがある。

【0036】

例えば、撮像位置補正終了部１３により採用されたロボット２の基準位置を基準とした計測対象物７の３次元位置姿勢を用いて、計測対象物７が取り付けられた物体に対するロボット２の動作制御ができる他、ロボット２の制御に使用する座標系を設定することができる。この場合、設定した座標系が、基準位置にあるベース座標系と重なるように座標系自体を移動、回転することにより求められる座標系の移動量をずれ量、即ち補正量として、ロボット２の動作を補正することが可能である。その他、ロボット２の教示位置の設定に使用する座標系等にも使用可能である。図１に示す例では、計測対象物７は台Ｔ上に載置されており、この場合、ロボット２の制御に使用する座標系が台Ｔ上の計測対象物７に設定される。

【0037】

位置姿勢移動部１４は、視覚センサ４の３次元位置姿勢を移動させる。具体的に位置姿勢移動部１４は、ロボット２の動作を制御することにより、視覚センサ４の３次元位置姿勢を移動させる。上述の撮像位置補正部１２は、この位置姿勢移動部１４により視覚センサ４を移動させることで、補正処理を実行する。

【0038】

以上の構成を備える第１実施形態に係る位置姿勢計測システム１の処理について、図３を参照して詳しく説明する。図３は、第１実施形態に係る位置姿勢計測システム１の処理の手順を示すフローチャートである。

【0039】

先ず、ステップＳ１１では、入力画像を取得する。具体的には、視覚センサ４により計測対象物７を撮像することにより、画像取得部２３で入力画像を取得する。その後、ステップＳ１２に進む。

【0040】

次いで、ステップＳ１２では、計測対象物７の３次元位置姿勢を計測する。具体的には位置姿勢計測部１１において、画像処理部２１による入力画像の画像処理結果を用いて、計測対象物７の３次元位置姿勢を計測する。より詳しくは、位置姿勢計測部１１において、撮像時におけるロボット２の基準位置を基準とした視覚センサ４の３次元位置姿勢と、画像処理部２１で求めた視覚センサ４を基準とした計測対象物７の３次元位置姿勢と、から、撮像時におけるロボット２の基準位置を基準とした計測対象物７の３次元位置姿勢を求める。その後、ステップＳ１３に進む。

【0041】

次いで、ステップＳ１３では、視覚センサ４をロボット２の基準位置設定時の位置に移動させる。具体的には、撮像位置補正部１２において、位置姿勢計測部１１で計測された計測対象物７の３次元位置姿勢を用いてロボット２を動作させ、視覚センサ４をロボット２の基準位置設定時における視覚センサ４の位置に移動させる。その後、ステップＳ１４に進む。

【0042】

次いで、ステップＳ１４では、入力画像を取得する。具体的には、ステップＳ１３で移動した視覚センサ４により計測対象物７を再度撮像することにより、画像取得部２３で入力画像を取得する。その後、ステップＳ１５に進む。

【0043】

次いで、ステップＳ１５では、計測対象物７の３次元位置姿勢を計測する。具体的には、ステップＳ１３で移動した視覚センサ４を用いてステップＳ１４で撮像された計測対象物７の入力画像の画像処理部２１による画像処理結果を用いて、位置姿勢計測部１１で計測対象物７の３次元位置姿勢を計測する。なお、位置姿勢計測部１１における計測対象物７の３次元位置姿勢の計測の手順は、ステップＳ１２と同様である。その後、ステップＳ１６に進む。

【0044】

次いで、ステップＳ１６では、所定回数、例えば３回の撮像位置の補正を行ったか否かを判別する。この判別がＮＯであれば、ステップＳ１３に戻って、視覚センサ４の移動、撮像画像処理、及び３次元位置姿勢計測からなる撮像位置補正部１２による補正処理を再度実行する。この判別がＹＥＳであれば、ステップＳ１７に進む。

【0045】

次いで、ステップＳ１７では、計測対象物７が取り付けられた物体に対するロボット２の動作を制御するための計測対象物７の３次元位置姿勢として、位置姿勢計測部１１で最後に計測した計測対象物７の３次元位置姿勢を採用する。その後、本処理を終了する。

【0046】

なお図３のフローチャートの例では、ステップＳ１７において、最後に計測した計測対象物の位置姿勢を採用したが、上述したように、補正処理において視覚センサ４の移動量が非常に小さい場合には、ロボット２自体の移動の精度による補正誤差への影響の観点から、例えば最後の１つ前に計測された３次元位置姿勢を採用してもよい。

【0047】

図４は、撮像位置を移動したときの入力画像の変化を示す図である。図４では、撮像位置補正部１２による補正処理を３回繰り返し実行したときの入力画像の変化を示している。また、図４では、計測対象物７として、キャリブレーション治具を用いた例を示している。

【0048】

ここで、キャリブレーション治具について詳しく説明する。キャリブレーション治具としては、視覚センサ４のキャリブレーションに使用可能な従来公知のキャリブレーション治具を用いることができる。キャリブレーション治具は、平面上に配置されたドットパターンを視覚センサ４で撮像することで視覚センサ４のキャリブレーションに必要な情報を取得するための治具であり、ドットパターンとしての要件である、（１）ドットパターンの格子点間隔が既知であること、（２）一定数以上の格子点が存在すること、（３）各格子点がどの格子点にあたるか一意に特定可能であること、の３つの要件を満たすものである。キャリブレーション治具は、図４に示されるような２次元の平面に所定のドットパターン等の特徴が配置されたものに限られず、３次元の立体に特徴が配置されたものでもよく、２次元位置情報（Ｘ方向、Ｙ方向）に加えて高さ方向（Ｚ方向）の位置情報を含めた３次元位置情報が得られるものであればよい。また、このキャリブレーション治具は、視覚センサ４のキャリブレーション実行時に用いたものと同じものでもよく、異なるものであってもよい。なお、視覚センサ４により撮像したドットパターンから、視覚センサ４を基準としたドットパターンの３次元位置姿勢を計算するためには、上述のキャリブレーションデータの内部パラメータが使用される。

【0049】

図４に示されるように、撮像位置補正部１２による補正処理を実行すると、撮像位置と計測対象物７の相対位置が変化するため、入力画像中における計測対象物７の３次元位置姿勢が徐々に変化することが分かる。そして、補正処理の回数を重ねることにより、視覚センサ４の移動量が０に近付き、入力画像中における計測対象物７の位置が入力画像中の中央に収束することが分かる。

【0050】

また図５は、撮像位置の移動前における計測対象物７の位置と基準位置設定時における計測対象物７の位置Ｓを示す図である。図６は、撮像位置の移動後における計測対象物７の位置と基準位置設定時における計測対象物７の位置Ｓを示す図である。これら図５及び図６からも分かるように、撮像位置補正部１２による補正処理を実行することにより、入力画像中における計測対象物７の位置が、入力画像中の中央の基準位置設定時における計測対象物７の位置Ｓに収束する。即ち、現在における撮像位置と計測対象物７の相対位置が、ロボット２の基準位置設定時における撮像位置と計測対象物７の相対位置に近付くことが分かる。

【0051】

第１実施形態に係る位置姿勢計測システム１によれば、以下の効果が奏される。

【0052】

本実施形態に係る位置姿勢計測システム１では、位置姿勢計測部１１で計測された計測対象物７の３次元位置姿勢を用いて、位置姿勢移動部１４により、基準位置設定時における計測対象物７から見た視覚センサ４の位置に、視覚センサ４が近付くロボット２の位置にロボット２を動作させた後、画像処理部２１による画像処理と位置姿勢計測部１１による計測を順次行う補正処理を少なくとも１回実行する撮像位置補正部１２を設けた。また、本実施形態に係る位置姿勢計測システム１では、撮像位置補正部１２による補正処理が所定回数実行されておらず補正処理を終了しないと判定した場合には補正処理を再度実行し、補正処理が所定回数実行された補正処理を終了すると判定した場合にはロボット２の制御に使用する計測対象物７の３次元位置姿勢として、位置姿勢計測部１１で最後又は途中で計算されたいずれかの計測対象物７の３次元位置姿勢を採用する撮像位置補正終了部１３を設けた。

【0053】

これにより、撮像位置補正部１２による補正処理によって、現在における撮像位置と計測対象物７の相対位置が、ロボット２の基準位置設定時における撮像位置と計測対象物７の相対位置に近付く。従って本実施形態によれば、位置姿勢計測部１１による計測対象物７の３次元位置姿勢の計測のばらつきを抑制できるため、従来よりも簡易な教示と短い計測時間で計測対象物７の３次元位置姿勢を正確に計測することができる。ひいては本実施形態によれば、計測された計測対象物７の３次元位置姿勢を、ロボット２の精密な動作を必要とする作業に使用することができる。

【0054】

［第１実施形態の変形例］
第１実施形態の変形例に係る位置姿勢計測システムは、第１実施形態に係る位置姿勢計測システム１と比べて、撮像位置補正終了部１３の構成が異なる以外は、第１実施形態と同様の構成である。具体的に第１実施形態の変形例に係る撮像位置補正終了部は、撮像位置補正部１２による補正処理における視覚センサ４の移動量に応じて、補正処理を終了するか否かを判定する。即ち、第１実施形態の変形例に係る撮像位置補正終了部は、撮像位置補正部１２による視覚センサ４の移動量が所定の閾値より大きい場合には補正処理を終了しないと判定し、視覚センサ４の移動量が所定の閾値より小さい場合には補正処理を終了すると判定する。

【0055】

図７は、第１実施形態の変形例に係る位置姿勢計測システムの処理の手順を示すフローチャートである。図７におけるステップＳ２１～ステップＳ２５は、第１実施形態におけるステップＳ１１～ステップＳ１５と同様である。

【0056】

ステップＳ２６では、視覚センサ４の移動量が所定の閾値より小さいか否かを判別する。具体的には、ステップＳ２３における視覚センサ４の移動量が、所定の閾値より小さいか否かを判別する。視覚センサ４の移動量は、ロボット２の移動量から求められる。この判別がＮＯであれば、ステップＳ２３に戻って、視覚センサ４の移動、撮像画像処理、及び３次元位置姿勢計測からなる撮像位置補正部１２による補正処理を再度実行する。この判別がＹＥＳであれば、ステップＳ２７に進む。

【0057】

次いで、ステップＳ２７では、第１実施形態のステップＳ１７と同様に、ロボット２の制御に使用する計測対象物７の３次元位置姿勢として、位置姿勢計測部１１で最後に計測した計測対象物７の３次元位置姿勢を採用する。その後、本処理を終了する。

【0058】

なお図７のフローチャートの例では、ステップＳ２７において、最後に計測した計測対象物の位置姿勢を採用したが、第１実施形態と同様に、補正処理において視覚センサ４の移動量が非常に小さい場合には、ロボット２自体の移動の精度による補正誤差への影響の観点から、例えば最後の１つ前に計測された３次元位置姿勢を採用してもよい。

【0059】

また、視覚センサ４の移動量が所定の閾値より小さくならない場合には、アラームを発して使用者に通知する構成としてよい。この場合には、予め補正処理の回数の上限値を設定しておくとよい。

【0060】

第１実施形態の変形例に係る位置姿勢計測システムによれば、第１実施形態に係る位置姿勢計測システム１と同様の効果が奏される。加えて本変形例によれば、１回目の補正処理から視覚センサ４の移動量が小さい場合には、第１実施形態と比べてより短時間で補正処理を実行可能である。

【0061】

［第２実施形態］
図８は、第２実施形態に係る位置姿勢計測システム１Ａの構成を示すブロック図である。図８に示されるように、第２実施形態に係る位置姿勢計測システム１Ａは、第１実施形態に係る位置姿勢計測システム１と比べて、視覚センサ制御装置２０Ａの構成が異なる以外は、第１実施形態と同様の構成である。具体的に第２実施形態に係る位置姿勢計測システム１Ａでは、視覚センサ制御装置２０Ａが、計測対象輝度判定部２４及び計測対象輝度調整部２５をさらに備えている。

【0062】

計測対象輝度判定部２４は、画像処理部２１で処理された撮像画像中の計測対象物７の輝度を測定する。また計測対象輝度判定部２４は、測定された輝度と、ロボット２の基準位置設定時における撮像画像中の計測対象物７の輝度との差が、所定の第１閾値より大きいか否かを判定する。

【0063】

計測対象輝度調整部２５は、計測対象輝度判定部２４で輝度の差が所定の第１閾値より大きいと判定されたときに、計測対象物７の輝度がロボット２の基準位置設定時に近付くように調整する。具体的に計測対象輝度調整部２５は、計測対象物７の輝度がロボット２の基準位置設定時に近付くように、視覚センサ４の露光条件を変更するか、又は視覚センサ４の露光条件の異なる複数の撮像画像を合成する。

【0064】

なお、計測対象輝度判定部２４及び計測対象輝度調整部２５による処理は、撮像位置補正部１２による補正処理とともに実行される。即ち、視覚センサ４の移動後、撮像画像処理及び３次元位置姿勢計測と並行して、計測対象輝度判定部２４及び計測対象輝度調整部２５による処理が実行される。

【0065】

図９は、撮像位置を移動するとともに輝度を調整したときの入力画像の変化を示す図である。図９に示される例では、基準位置設定時における入力画像中の計測対象物７の輝度に対して、１回目の撮像位置移動後における入力画像中の計測対象物７の輝度が低く、これらの輝度の差分が第１閾値を超えている。そのため、計測対象輝度調整部２５により、２回目の撮像位置の移動とともに露光条件が変更されて輝度が調整されている。その結果、２回目の撮像位置移動後における入力画像中の計測対象物７の輝度が、基準位置設定時における入力画像中の計測対象物７の輝度と同等となっていることが分かる。

【0066】

第２実施形態に係る位置姿勢計測システム１Ａによれば、移動した撮像位置で撮像を行う際に、撮像画像内の計測対象物７の輝度、即ち明るさが基準位置設定時の明るさに近付くように、視覚センサ４の露光条件を自動調整する。あるいはこの場合に、撮像された複数枚の輝度の異なる撮像画像から画像を合成する。画像合成は、従来公知のＨＤＲ合成等により行われる。これにより、基準位置設定時と視覚センサ４移動後の撮像時とで、撮像画像内の計測対象物７の明るさを近付けることができ、計測対象物７の明るさが基準位置設定時と異なることによる計測対象物７の３次元位置姿勢の計測誤差の増大を抑制できる。

【0067】

［第３実施形態］
図１０は、第３実施形態に係る位置姿勢計測システム１Ｂの構成を示すブロック図である。図１０に示されるように、第３実施形態に係る位置姿勢計測システム１Ｂは、第１実施形態に係る位置姿勢計測システム１と比べて、視覚センサ制御装置２０Ｂの構成が異なる点と、インターフェース装置３０をさらに備える点が異なる以外は、第１実施形態と同様の構成である。

【0068】

具体的に第３実施形態に係る位置姿勢計測システム１Ｂでは、視覚センサ制御装置２０Ｂが計測対象輝度判定部２４をさらに備えている。この計測対象輝度判定部２４は、第３実施形態と基本的には同様の構成である。

【0069】

計測対象輝度判定部２４は、画像処理部２１で処理された撮像画像中の計測対象物７の輝度を測定する。また計測対象輝度判定部２４は、ロボット２の基準位置設定時における撮像画像中の計測対象物７の輝度との差が、所定の第２閾値より大きいか否かを判定する。ここで、所定の第２閾値としては、上述の第１閾値と同一の値を設定してもよく、第１閾値と異なる値を設定してもよい。

【0070】

インターフェース装置３０は、計測対象情報提示部３１を備える。計測対象情報提示部３１は、計測対象輝度判定部２４で輝度の差が所定の第２閾値より大きいと判定されたときに、計測対象物７の輝度がロボット２の基準位置設定時と大きく異なることを使用者に提示する。例えば、計測対象情報提示部３１は、インターフェース装置３０の表示画面に、「計測対象物（マーカ）の明るさが基準位置設定時と大きく異なります。照明環境を変更することをおすすめします。」とポップアップ形式で表示することができる。

【0071】

なお、計測対象情報提示部３１は、インターフェース装置３０に設ける構成に限定されない。例えば、インターフェース装置３０の代わりに、視覚センサ制御装置２０Ｂの表示部に計測対象情報提示部を設ける構成としてもよい。

【0072】

また、計測対象輝度判定部２４及び計測対象情報提示部３１による処理は、撮像位置補正部１２による補正処理とともに実行される。即ち、視覚センサ４の移動後、撮像画像処理及び３次元位置姿勢計測と並行して、計測対象輝度判定部２４及び計測対象情報提示部３１による処理が実行される。

【0073】

図１１は、撮像位置の移動前後における計測対象物の輝度の差が第２閾値より大きいと判定されたときのインターフェース装置３０の表示画面を示す図である。図１１に示される例では、基準位置設定時における入力画像中の計測対象物７の輝度に対して、撮像位置移動後における入力画像中の計測対象物７の輝度が低く、これらの輝度の差分が第２閾値を超えている。そのため、計測対象情報提示部３１により、インターフェース装置３０の表示画面に、「マーカの明るさが基準設定時と大きく異なります。照明環境を変更することをおすすめします。」とポップアップ形式で表示されていることが分かる。

【0074】

第３実施形態に係る位置姿勢計測システム１Ｂによれば、計測対象物７の明るさが基準位置設定時と大きく異なるときに、使用者にその情報を提示することができる。これにより、使用者に照明環境の変更を促す他、手動で視覚センサ４の露光条件を変更することを促すことができ、照明条件が外部要因で変更されることによる計測対象物７の３次元位置姿勢の計測誤差の増大を抑制することができる。

【0075】

［第４実施形態］
図１２は、第４実施形態に係る位置姿勢計測システム１Ｃの構成を示すブロック図である。図１２に示されるように、第４実施形態に係る位置姿勢計測システム１Ｃは、第１実施形態に係る位置姿勢計測システム１と比べて、視覚センサ制御装置２０Ｃの構成が異なる点と、インターフェース装置３０をさらに備える点が異なる以外は、第１実施形態と同様の構成である。

【0076】

具体的に第４実施形態に係る位置姿勢計測システム１Ｃでは、視覚センサ制御装置２０Ｃが計測対象検出不可能範囲判定部２６をさらに備えている。計測対象検出不可能範囲判定部２６は、画像処理部２１で処理された撮像画像中の計測対象物７の検出不可能範囲を測定し、該測定値が所定の検出不可能閾値より大きいか否かを判定する。

【0077】

ここで、撮像画像中の計測対象物７の検出不可能範囲とは、例えば、埃や何らかの遮蔽物、視覚センサ４に設けられた照明等による反射やハレーションによって計測対象物７を検出できない範囲を意味する。計測対象物７の検出不可能範囲の測定は、例えば、撮像画像全体の面積に対する、計測対象物７の検出不可能範囲の面積の割合から測定可能である。

【0078】

インターフェース装置３０は、計測対象情報提示部３１を備える。計測対象情報提示部３１は、計測対象検出不可能範囲判定部２６で検出不可能範囲の測定値が所定の検出不可能閾値より大きいと判定されたときに、検出不可能範囲が大きいことを使用者に提示する。例えば、計測対象情報提示部３１は、インターフェース装置３０の表示画面に、「計測対象物（マーカ）の検出できない範囲が大きいです。照明環境を変更するか計測対象物が遮蔽物に隠れていないかどうかを確認してください。」とポップアップ形式で表示することができる。

【0079】

なお、計測対象情報提示部３１は、インターフェース装置３０に設ける構成に限定されない。例えば、インターフェース装置３０の代わりに、視覚センサ制御装置２０Ｃの表示部に計測対象情報提示部を設ける構成としてもよい。

【0080】

また、計測対象検出不可能範囲判定部２６及び計測対象情報提示部３１による処理は、撮像位置補正部１２による補正処理とともに実行される。即ち、視覚センサ４の移動後、撮像画像処理及び３次元位置姿勢計測と並行して、計測対象検出不可能範囲判定部２６及び計測対象情報提示部３１による処理が実行される。

【0081】

図１３は、撮像位置の移動後における入力画像中の計測対象物７の検出不可能範囲が検出不可能閾値より大きいと判定されたときのインターフェース装置３０の表示画面を示す図である。図１３に示される例では、撮像位置移動後における入力画像中の計測対象物７に遮蔽物８、９が重なっており、検出不可能範囲が検出不可能閾値を超えている。そのため、計測対象情報提示部３１により、インターフェース装置３０の表示画面に、「マーカの検出できない範囲が大きいです。照明環境を変更するかマーカが遮蔽物に隠れていないかどうかを確認してください。」とポップアップ形式で表示されていることが分かる。

【0082】

第４実施形態に係る位置姿勢計測システム１Ｃによれば、計測対象物７の一部が埃や何らかの遮蔽物等の外部要因で隠れてしまう場合や、照明による反射やハレーション等により撮像画像内で検出できない状態の場合に、その検出不可能な範囲を測定し、所定の検出不可能閾値より大きいときに、使用者に注意を促す情報を提示することができる。これにより、使用者に対して、計測対象物７の検出不可能範囲を小さくするように照明環境の変更を促せる他、外部要因の除去を促すことができる。従って本実施形態によれば、計測対象物７の検出不可能範囲が大きくなることによる計測対象物７の３次元位置姿勢の計測誤差の増大をより抑制することができる。

【0083】

なお、本開示は上記の各態様に限定されるものではなく、本開示の目的を達成できる範囲での変形、改良は本開示に含まれる。

【0084】

例えば上記実施形態とは異なり、ロボット２が計測対象物７を把持し、視覚センサ４を工作機械に取り付けたシステムに対して、本開示の位置姿勢計測システムを適用することも可能である。この場合、撮像位置補正部１２は、位置姿勢移動部１４により計測対象物７を移動させることで、補正処理を実行する。また、撮像位置補正終了部１３は、計測対象物７の移動量に基づいて、補正処理の終了判定を実行する。

【0085】

また、例えば異なるロボットのハンドに視覚センサ４を取り付け、この視覚センサ４を用いてロボット２台で本開示の位置姿勢計測システムを実行することも可能である。

【0086】

また、上記実施形態における撮像位置補正部１２を、計測対象物７の基準姿勢を示す第１の位置姿勢（即ち、補正を行うための基準となる位置の設定時における位置姿勢）に近付くように視覚センサ４又は計測対象物７を移動させた後、画像処理部２１による画像処理と位置姿勢計測部１１による計測に基づく上記補正処理を少なくとも１回実行する構成としてもよい。この場合、上記実施形態における撮像位置補正終了部１３を、撮像位置補正部１２による補正処理のうち、位置姿勢計測部１１で計測された計測対象物７の第２の位置姿勢（即ち、補正処理により位置姿勢計測部１１で計測されたいずれかの位置姿勢）に基づいて、補正処理を終了するかを判定する構成としてもよい。

【符号の説明】

【0087】

１，１Ａ，１Ｂ，１Ｃ 位置姿勢計測システム
２ ロボット
３ ロボットアーム
４ 視覚センサ
５ フランジ
６ 手先のツール
７ 計測対象物
１０ ロボット制御装置
１１ 位置姿勢計測部
１２ 撮像位置補正部
１３ 撮像位置補正終了部
１４ 位置姿勢移動部
２０，２０Ａ，２０Ｂ，２０Ｃ 視覚センサ制御装置
２１ 画像処理部
２２ キャリブレーションデータ記憶部
２３ 画像取得部
２４ 計測対象輝度判定部
２５ 計測対象輝度調整部
２６ 計測対象検出不可能範囲判定部
３０ インターフェース装置
３１ 計測対象情報提示部
１００ ロボットシステム
Ｓ 基準位置設定時の位置
Ｔ 台

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】