特許 6126183 ターゲットマークを撮像するカメラを備えたロボットシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6126183

(24)【登録日】2017年4月14日

(45)【発行日】2017年5月10日

(54)【発明の名称】ターゲットマークを撮像するカメラを備えたロボットシステム

(51)【国際特許分類】

   B25J 13/08 20060101AFI20170424BHJP

【ＦＩ】

   B25J13/08 A

【請求項の数】4

【全頁数】19

(21)【出願番号】特願2015-197715(P2015-197715)

(22)【出願日】2015年10月5日

(65)【公開番号】特開2017-71001(P2017-71001A)

(43)【公開日】2017年4月13日

【審査請求日】2016年9月14日

【早期審査対象出願】

(73)【特許権者】

【識別番号】390008235

【氏名又は名称】ファナック株式会社

(74)【代理人】

【識別番号】100099759

【弁理士】

【氏名又は名称】青木 篤

(74)【代理人】

【識別番号】100102819

【弁理士】

【氏名又は名称】島田 哲郎

(74)【代理人】

【識別番号】100123582

【弁理士】

【氏名又は名称】三橋 真二

(74)【代理人】

【識別番号】100159684

【弁理士】

【氏名又は名称】田原 正宏

(74)【代理人】

【識別番号】100112357

【弁理士】

【氏名又は名称】廣瀬 繁樹

(74)【代理人】

【識別番号】100157211

【弁理士】

【氏名又は名称】前島 一夫

(72)【発明者】

【氏名】藁科 文和

(72)【発明者】

【氏名】渡邊 桂祐

(72)【発明者】

【氏名】大野 健司郎

【審査官】 佐々木 一浩

(56)【参考文献】

【文献】 特開２００５−３４２８８５（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｂ２５Ｊ １３／０８

(57)【特許請求の範囲】

【請求項1】

ロボットと、前記ロボットのアーム先端部に取付けられたカメラと、前記カメラによって撮像されるターゲットマークと、を備えたロボットシステムであって、
前記ターゲットマークが、前記ロボットの制御の基準となるロボット座標系において予め定められる第１のターゲットマーク位置に配置されており、かつ、前記アーム先端部が第１のロボット位置に位置決めされているときに、前記カメラの画像に含まれる前記ターゲットマークの像の位置および大きさを基準データとして記憶するとともに、前記アーム先端部に対する前記第１のターゲットマーク位置をツール先端点の位置として記憶する基準データ記憶部と、
前記ターゲットマークが第２のターゲットマーク位置に配置されているときに、前記カメラの画像に含まれる前記ターゲットマークの像の位置および大きさが、前記基準データとして記憶されている前記ターゲットマークの像の位置および大きさに一致するように前記アーム先端部を移動させるとともに、移動後の前記アーム先端部の位置に対応する第２のロボット位置、および前記ツール先端点の位置に基づいて、前記ロボット座標系における前記第２のターゲットマーク位置を算出するターゲットマーク位置算出部と、
を備える、ロボットシステム。

【請求項2】

前記ロボットシステムは工作機械を備えており、
前記工作機械の制御の基準となる機械座標系において予め定められていて、かつ同一直線上にはない少なくとも３つのターゲットマーク位置に前記ターゲットマークが配置されているときに、前記ターゲットマーク位置算出部が、前記ロボット座標系における前記少なくとも３つのターゲットマーク位置をそれぞれ算出するように構成されており、
前記ロボットシステムは、前記機械座標系における前記少なくとも３つのターゲットマーク位置、および前記ロボット座標系における前記少なくとも３つのターゲットマーク位置に基づいて、前記ロボット座標系に対する前記機械座標系の位置を算出する機械座標系算出部をさらに備える、請求項１に記載のロボットシステム。

【請求項3】

前記工作機械は、作動可能な可動部を備えており、
前記ターゲットマークは、前記可動部に設置されており、
前記工作機械は、前記可動部を作動させることにより、前記ターゲットマークを前記少なくとも３つのターゲットマーク位置に移動させるように構成される、請求項２に記載のロボットシステム。

【請求項4】

前記ロボット座標系における位置が未知であって、かつ同一直線上にはない少なくとも３つのターゲットマーク位置に前記ターゲットマークが配置されているときに、前記ターゲットマーク位置算出部が、前記ロボット座標系における前記少なくとも３つのターゲットマーク位置をそれぞれ算出するように構成されており、
前記ロボット座標系における前記少なくとも３つのターゲットマーク位置に基づいて、前記ロボットの作業用座標系を算出する作業用座標系算出部をさらに備え、
前記作業用座標系は前記ロボット座標系とは別に新しく設定され、前記ロボットにより実行される所定の作業において基準となる座標系であり、
前記作業用座標系を設定したい位置は前記少なくとも３つのターゲットマーク位置と対応しており、
前記作業用座標系は前記少なくとも３つのターゲットマーク位置が含まれる平面に対して算出される、請求項１に記載のロボットシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ターゲットマークを撮像するカメラを備えたロボットシステムに関する。

【背景技術】

【0002】

ワークのハンドリングを行うために、ロボットが工作機械とともに使用されることがある。ロボットの手動操作を容易にするために、また、工作機械の制御装置を用いてロボットを遠隔操作するために、工作機械の座標系とロボットの座標系との間の位置関係を特定することが重要である。

【0003】

工作機械の座標系とロボット座標系との間の位置関係を特定するには、工作機械における位置およびロボット座標系における位置がそれぞれ既知である少なくとも３つの点が必要である。ロボットのツール先端点（ＴＣＰ）を所定の点に物理的に接触させて、当該点の３次元位置を測定するタッチアップが公知である。また、ロボットのハンドに取付けられた３次元センサを用いて非接触で所定の点の３次元位置を計測する方法が公知である。

【0004】

特許文献１には、ロボット制御点と設定点との間の既知の位置関係を利用して、ロボット座標系と工作機械の座標系との間の位置関係を求めることが開示されている。特許文献２および特許文献３には、カメラを用いて対象物を複数の位置から撮像することによって、対象物の３次元位置を計測することが開示されている。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２０１１−０４８４６７号公報

【特許文献2】特開２００５−２０１８２４号公報

【特許文献3】特開２０１０−１１７２２３号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかしながら、前述した公知技術においては、専用の装置または高価な３次元センサを利用する必要がある。或いは、計測時にロボットの位置および姿勢の少なくとも一方を広範囲にわたって移動させる必要があり、制限された空間で計測を行うことが困難な場合がある。したがって、安価でありかつ容易に対象点の位置を測定できるようにしたロボットシステムが求められている。

【課題を解決するための手段】

【0007】

本願の１番目の発明によれば、ロボットと、前記ロボットのアーム先端部に取付けられたカメラと、前記カメラによって撮像されるターゲットマークと、を備えたロボットシステムであって、前記ターゲットマークが、前記ロボットの制御の基準となるロボット座標系において予め定められる第１のターゲットマーク位置に配置されており、かつ、前記アーム先端部が第１のロボット位置に位置決めされているときに、前記カメラの画像に含まれる前記ターゲットマークの像の位置および大きさを基準データとして記憶するとともに、前記アーム先端部に対する前記第１のターゲットマーク位置をツール先端点の位置として記憶する基準データ記憶部と、前記ターゲットマークが第２のターゲットマーク位置に配置されているときに、前記カメラの画像に含まれる前記ターゲットマークの像の位置および大きさが、前記基準データとして記憶されている前記ターゲットマークの像の位置および大きさに一致するように前記アーム先端部を移動させるとともに、移動後の前記アーム先端部の位置に対応する第２のロボット位置、および前記ツール先端点の位置に基づいて、前記ロボット座標系における前記第２のターゲットマーク位置を算出するターゲットマーク位置算出部と、を備える、ロボットシステムが提供される。
本願の２番目の発明によれば、１番目の発明に係るロボットシステムにおいて、前記ロボットシステムは工作機械を備えており、前記工作機械の制御の基準となる機械座標系において予め定められていて、かつ同一直線上にはない少なくとも３つのターゲットマーク位置に前記ターゲットマークが配置されているときに、前記ターゲットマーク位置算出部が、前記ロボット座標系における前記少なくとも３つのターゲットマーク位置をそれぞれ算出するように構成されており、前記ロボットシステムは、前記機械座標系における前記少なくとも３つのターゲットマーク位置、および前記ロボット座標系における前記少なくとも３つのターゲットマーク位置に基づいて、前記ロボット座標系に対する前記機械座標系の位置を算出する機械座標系算出部をさらに備える。
本願の３番目の発明によれば、２番目の発明に係るロボットシステムにおいて、前記工作機械は、作動可能な可動部を備えており、前記ターゲットマークは、前記可動部に設置されており、前記工作機械は、前記可動部を作動させることにより、前記ターゲットマークを前記少なくとも３つのターゲットマーク位置に移動させるように構成される。
本願の４番目の発明によれば、１番目の発明に係るロボットシステムにおいて、前記ロボット座標系における位置が未知であって、かつ同一直線上にはない少なくとも３つのターゲットマーク位置に前記ターゲットマークが配置されているときに、前記ターゲットマーク位置算出部が、前記ロボット座標系における前記少なくとも３つのターゲットマーク位置をそれぞれ算出するように構成されており、前記ロボット座標系における前記少なくとも３つのターゲットマーク位置に基づいて、前記ロボットの作業用座標系を算出する作業用座標系算出部をさらに備え、前記作業用座標系は前記ロボット座標系とは別に新しく設定され、前記ロボットにより実行される所定の作業において基準となる座標系であり、
前記作業用座標系を設定したい位置は前記少なくとも３つのターゲットマーク位置と対応しており、前記作業用座標系は前記少なくとも３つのターゲットマーク位置が含まれる平面に対して算出される。

【0008】

これら並びに他の本発明の目的、特徴および利点は、添付図面に示される本発明の例示的な実施形態に係る詳細な説明を参照することによって、より明らかになるであろう。

【発明の効果】

【0009】

本発明に係るロボットシステムによれば、カメラのキャリブレーションを予め行う必要がなく、また、安価な２次元カメラを用いてターゲットマークの３次元位置を計測できる。それにより、安価でかつ簡素な方法でありながら、ロボット座標系と工作機械の座標系との位置関係を特定できるようになる。

【図面の簡単な説明】

【0010】

【図1】一実施形態に係るロボットシステムを示す図である。

【図2】一実施形態に従って実行される処理の流れを示すフローチャートである。

【図3】画像に対して設定される座標系を示す図である。

【図4】ロボット座標系と手首座標系との間の位置関係を示す図である。

【図5】第１のターゲットマーク位置に配置されたターゲットマークを示す図である。

【図6】一実施形態に従って実行される処理の流れを示すフローチャートである。

【図7】第２のターゲットマーク位置に配置されたターゲットマークを示す図である。

【図8】画像の位置関係および特徴量の差を示す図である。

【図9】第２のターゲットマーク位置に配置されたターゲットマークを示す図である。

【図10】別の実施形態に係るロボットシステムを示す図である。

【図11】一実施形態に従って実行される処理の流れを示すフローチャートである。

【図12】一実施形態に従って実行される処理の流れを示すフローチャートである。

【図13】また別の実施形態に係るロボットシステムを示す図である。

【発明を実施するための形態】

【0011】

以下、添付図面を参照して本発明の実施形態を説明する。図示される実施形態の構成要素は、本発明の理解を助けるために縮尺が適宜変更されている。同一または対応する構成要素には、同一の参照符号が使用される。

【0012】

図１は、一実施形態に係るロボットシステム１を示している。ロボットシステム１は、ロボット２と、ロボット２を制御するロボット制御装置３と、ロボット２に取付けられたカメラ４と、画像処理装置５と、を備えている。ロボット２は、図１に示されるような６軸垂直多関節ロボットに限定されず、他の任意の公知の構成を有するロボットであってもよい。

【0013】

ロボット２は、ベース２１と、ベース２１から延びるアーム２２と、を備えている。ロボット２のアーム先端部２３には、治具２４を介してカメラ４が取付けられている。それにより、ロボット２のアーム先端部２３に連動して、カメラ４の位置および姿勢が変更されるようになっている。

【0014】

ロボット制御装置３は、ＣＰＵと、メモリと、外部装置に接続されるインタフェイスと、を備えたデジタルコンピュータである。ロボット制御装置３は、不揮発性メモリに記憶された動作プログラムに従って、ロボット２の各々の軸を駆動する駆動装置、例えばサーボモータに指令を付与することによって、ロボット２を制御する。ロボット制御装置３は、ロボット２の制御の基準となるロボット座標系におけるロボット２の手先の位置を取得できるように構成されている。

【0015】

ロボット２の動作領域またはその近傍には、ターゲットマーク６が設置されている。ターゲットマーク６は、ロボット２とともに移動するカメラ４によって撮像可能な位置に固定されている。

【0016】

ターゲットマーク６には、画像処理によってターゲットマーク６の像の位置および大きさを特定できるように特徴的な模様が付与されている。例えば、ターゲットマーク６には、三角形の模様が付与されている。

【0017】

カメラ４は、対象物の画像を取得する機能を有する受光デバイスである。カメラ４は、画像処理装置５に接続されており、カメラ４によって撮像された画像データは、画像処理装置５に送られる。

【0018】

画像処理装置５は、ＣＰＵと、メモリと、外部装置に接続されるインタフェイスと、を備えたデジタルコンピュータである。画像処理装置５は、カメラ４によって取得された画像からターゲットマーク６を検出するとともに、ターゲットマーク６の模様から画像上におけるターゲットマーク６の位置および大きさを算出するように構成される。

【0019】

画像処理装置５は、通信ケーブルまたは無線通信によりロボット制御装置３に接続されていて、ロボット制御装置３から指令を受信したり、またはロボット制御装置３に画像処理の結果を送信できるようになっている。別の実施形態において、画像処理装置５は、ロボット制御装置３に内蔵されていてもよい。

【0020】

図２は、ロボット制御装置３の機能ブロック図である。ロボット制御装置３は、基準データ記憶部３１と、ターゲットマーク位置算出部３２と、を備えている。

【0021】

基準データ記憶部３１は、ターゲットマーク６が、ロボット２の制御の基準となるロボット座標系Σｒにおいて予め定められる第１のターゲットマーク位置に配置されており、かつ、アーム先端部２３が第１のロボット位置に位置決めされているときに、カメラ４の画像に含まれるターゲットマーク６の像の位置および大きさを基準データとして記憶するとともに、アーム先端部２３に対する第１のターゲットマーク位置をツール先端点の位置として記憶する。

【0022】

ターゲットマーク位置算出部３２は、ターゲットマーク６が第２のターゲットマーク位置に配置されているときに、カメラ４の画像に含まれるターゲットマーク６の像の位置および大きさが、基準データとして記憶されているターゲットマーク６の像の位置および大きさに一致するようにアーム先端部２３を移動させるとともに、移動後のアーム先端部２３の位置に対応する第２のロボット位置、およびツール先端点の位置に基づいて、ロボット座標系Σｒにおける第２のターゲットマーク位置を算出する。

【0023】

図２を参照して、一実施形態に係るロボットシステム１において実行される初期設定について説明する。初期設定は、ロボット２のアーム先端部２３にカメラ４を取付ける際に一度だけ実行される。

【0024】

ステップＳ１０１において、ロボット２のアーム先端部２３にカメラ４を取付ける。アーム先端部２３に対するカメラ４の向きは特に限定されないものの、カメラ４とアーム先端部２３との間の位置関係が変化しないように、カメラ４は治具２４を介して固定される。

【0025】

ステップＳ１０２において、ターゲットマーク６を第１のターゲットマーク位置に配置する。第１のターゲットマーク位置は、アーム先端部２３に取付けられたカメラ４がターゲットマーク６を撮像可能であれば、任意の位置であってもよい。

【0026】

ステップＳ１０３において、第１のターゲットマーク位置に配置されたターゲットマーク６を撮像可能な位置（第１のロボット位置）までロボット２を移動させる。ロボット２の移動は、オペレータの手動操作によって行われてもよいし、または予め定められる第１のロボット位置までロボット２を自動的に移動させてもよい。第１のロボット位置は、カメラ４の光軸と、模様が形成されたターゲットマーク６の表面とが互いに垂直になるような位置であることが望ましいものの、それには限定されない。

【0027】

ステップＳ１０４において、ターゲットマーク６をカメラ４で撮像し、ターゲットマーク６の模様を検出対象のモデルとして登録する。ステップＳ１０４で登録されるモデル（以下、単に「登録モデル」と称することがある。）の内部データ形式は、画像処理装置５において使用される画像処理アルゴリズムに応じて定まる。例えば、正規化相関を利用したテンプレートマッチング、エッジ情報を利用した一般化ハフ変換などの画像処理アルゴリズムを使用できるものの、それらには限定されない。

【0028】

ステップＳ１０５において、登録モデルを利用して、カメラ４で撮像された画像からターゲットマーク６を検出し、画像上における特徴量を算出する。本実施形態において、特徴量は、画像上におけるターゲットマーク６の模様の位置および大きさである。

【0029】

例えば、正規化相関に基づくテンプレートマッチングを使用する場合、登録されたモデルとテンプレートとの一致度が最も大きいときのテンプレートの位置、およびテンプレートの拡大縮小の割合が、位置および大きさに関する特徴量として算出される。

【0030】

画像上における位置および大きさの特徴量は、画像座標系において表現される数値である。画像座標系は、カメラ４で撮像された画像に対して設定される。例えば、図３に示されるように、画像座標系は、画像の左上の端部を原点とし、画像下方向をｕ軸、画像右方向をｖ軸とする座標系である。その場合、画像上における位置の特徴量は、画像座標系における登録モデルの原点位置として表現される。位置の特徴量の単位は画素である。モデルの原点位置は任意に定められるものの、１つのモデルに固有のものである。

【0031】

大きさの特徴量ｓは、例えば登録モデルの大きさを１．０（１００％）として、それに対する割合として算出される。すなわち、検出されるモデルの大きさが登録モデルよりも大きい場合は、特徴量ｓは１．０よりも大きくなり、逆に登録モデルよりも小さい場合は、特徴量ｓは１．０よりも小さくなる。

【0032】

図２に戻り、ステップＳ１０６において、ロボット２のアーム先端部２３に対する第１のターゲットマーク位置の３次元位置をツール先端点（ＴＣＰ）として算出する。アーム先端部２３、ターゲットマーク６、およびツール先端点の位置を説明するために、ロボット座標系Σｒおよび手首座標系Σｆをそれぞれ定義する。

【0033】

ロボット座標系Σｒは、ロボット２のベース２１に固定されていてロボット２の制御の基準となる座標系である。手首座標系Σｆは、アーム先端部２３に固定されていて、アーム先端部２３に連動する座標系である（図４参照）。アーム先端部２３の位置は、ロボット座標系Σｒにおける手首座標系Σｆの位置として表現される。

【0034】

以下の説明において、「ツール先端点の位置」は、特に言及しない限り、手首座標系Σｆにおける位置を意味する。ツール先端点の位置Ｔは、次の式（１）によって求められる。なお、「Ｒ１」は、ロボット座標系Σｒにおける手首座標系Σｆの位置であり、「Ｐ１」は、ロボット座標系Σｒにおける第１のターゲットマーク位置である（図５参照）。

【0035】

【数1】

【0036】

なお、「Ｒ１」は、４×４の同次変換行列であり、「Ｔ」および「Ｐ１」は、（ｘ，ｙ，ｚ）^Tの３×１のベクトルである。

【0037】

図２に戻り、ステップＳ１０７において、ステップＳ１０５で算出された位置の特徴量（ｕ，ｖ）および大きさの特徴量ｓ、並びにステップＳ１０６で算出されたツール先端点の位置Ｔからなるデータセットを基準データとして記憶する。

【0038】

ステップＳ１０６において、ロボット座標系Σｒにおける第１のターゲットマーク位置の３次元位置Ｐ１を既知の情報として説明したものの、別の実施形態において、３次元位置Ｐ１を任意の方法で計測してもよい。例えば、特許文献２に記載された方法に従ってカメラを用いて３次元位置Ｐ１を計測してもよい。

【0039】

図６を参照して、任意の位置に配置されたターゲットマーク６の３次元位置を計測する方法について説明する。

【0040】

ステップＳ２０１において、計測対象の位置である第２のターゲットマーク位置にターゲットマーク６を配置する（図７参照）。

【0041】

ステップＳ２０２において、ターゲットマーク６がカメラ４の視野に含まれるような第２のロボット位置にアーム先端部２３を移動させる。ロボット２は、オペレータの手動操作によって移動させられてもよいし、または予め定められる第２のロボット位置までロボット２が自動的に移動するようにしてもよい。第２のロボット位置は、第２のターゲットマーク位置に配置されたターゲットマーク６をカメラ４で撮像できる限り、ターゲットマーク６とカメラ４との間の相対的位置関係は厳密でなくてもよい。

【0042】

ステップＳ２０３において、カメラ４で撮像した画像からターゲットマーク６を検出し、画像上における位置および大きさに関する特徴量を算出する。ステップＳ２０３において、前述したステップＳ１０５と同様の画像処理アルゴリズムを使用することができる。

【0043】

ステップＳ２０４において、算出された特徴量と、前述したステップＳ１０７において記憶された基準データに対応する特徴量が一致しているか否かを判定する。ステップＳ２０４において、２つの特徴量の差（Δｕ，Δｖ，Δｓ）は、次の式（２）で求められる。なお、「（ｕ₀，ｖ₀，ｓ₀）」は、基準データとして記憶された特徴量であり、「（ｕ₁，ｖ₁，ｓ₁）」は、ステップＳ２０３で算出された特徴量である。

【0044】

【数2】

【0045】

図８は、画像の位置関係および特徴量の差（Δｕ，Δｖ）を示している。第１のロボット位置から、第１のターゲットマーク位置に配置されたターゲットマーク６をカメラ４で撮像したときの、画像上におけるターゲットマーク６が点線で示されている。第２のロボット位置から、第２のターゲットマーク位置に配置されたターゲットマーク６をカメラ４で撮像したときの、画像上におけるターゲットマーク６が実線で示されている。

【0046】

ターゲットマーク６の大きさに関する特徴量ｓは、ターゲットマーク６とカメラ４との間の距離に反比例する。したがって、式（２）において、特徴量ｓの逆数が使用されている。

【0047】

位置の判定に使用される閾値が０．１画素である場合、（Δｕ，Δｖ）の長さが０．１画素未満である場合、２つのターゲットマーク６は、画像上においてそれぞれ同じ位置に配置されていると判定される。大きさの判定に使用される閾値が０．１画素である場合、Δｓが−０．１〜０．１の範囲内である場合、２つのターゲットマーク６は、画像上においてそれぞれ同じ大きさを有していると判定される。

【0048】

ステップＳ２０４における判定結果が否定である場合（位置および大きさの少なくともいずれ一方が一致しない場合）、ステップＳ２０５に進み、特徴量の差（Δｕ，Δｖ，Δｓ）が小さくなるようにロボット２を移動させる。特徴量の差（Δｕ，Δｖ，Δｓ）からロボット２の移動量を算出する方法は、特に限定されないものの、その一例について後述する。

【0049】

ステップＳ２０４における判定結果が肯定である場合、ステップＳ２０６に進み、ロボット座標系Σｒにおける第２のターゲットマーク位置の３次元位置を算出する。本実施形態によれば、ステップＳ２０４において、画像から検出された特徴量が、基準データにおける特徴量に一致していることを確認している。そのため、ロボット２のアーム先端部２３の位置と第２のターゲットマーク位置との間の位置関係は、アーム先端部２３が第１のロボット位置に位置決めされているときのアーム先端部２３の位置と第１のターゲットマーク位置との間の位置関係と同じである。

【0050】

したがって、ロボット座標系Σｒにおける第２のターゲットマーク位置の３次元位置Ｐ２は、次の式（３）で表される。「Ｒ２」は、アーム先端部２３が第２のロボット位置に位置決めされているときの、ロボット座標系Σｒにおける手首座標系Σｆの位置である。「Ｔ」は、基準データとして記憶されているツール先端点（ＴＣＰ）の値である（図９参照）。

【0051】

【数3】

【0052】

「Ｒ２」は、４×４の同次変換行列であり、「Ｔ」および「Ｐ２」は、（ｘ，ｙ，ｚ）^Tの３×１のベクトルである。

【0053】

図６に示される例では、精度を向上させるため、ステップＳ２０５の処理の後にステップＳ２０３およびステップＳ２０４の処理が再度実行される。しかしながら、別の実施形態において、特徴量の差（Δｕ，Δｖ，Δｓ）から算出されるロボット２の移動量だけロボット２を移動させた後、ステップＳ２０３に戻らずに、ステップＳ２０６に直接進んでもよい。

【0054】

ステップＳ２０５において、ロボット２の移動量を算出する方法の例として、ヤコビアン行列を用いた方法について説明する。

【0055】

まず、特徴量の差（Δｕ，Δｖ，Δｓ）と、ロボット２の移動量（Δｘ，Δｙ，Δｚ）との間の関係をヤコビアン行列Ｊを用いて次の式（４）で定義する。ヤコビアン行列Ｊは、３×３の正方行列である。

【0056】

【数4】

【0057】

したがって、ヤコビアン行列Ｊが分かっていれば、特徴量の差（Δｕ，Δｖ，Δｓ）からロボット２の移動量（Δｘ，Δｙ，Δｚ）を算出できる。

【0058】

次に、ヤコビアン行列Ｊを求める方法について説明する。ヤコビアン行列を求める工程は、カメラ４をロボット２のアーム先端部２３に取付けた後の初期設定の際に一度だけ実行すればよい。

【0059】

ターゲットマーク６を任意の位置に配置し、ターゲットマーク６が画像中心付近に位置するようなロボット２の位置を原位置とする。例えば、ターゲットマーク６が第１のターゲットマーク位置に配置されている場合、第１のロボット位置を原位置とすればよい。

【0060】

アーム先端部２３が原位置に位置決めされた状態において、カメラ４で撮像された画像からターゲットマーク６を検出し、特徴量（ｕ_i，ｖ_i，ｓ_i）を算出する。

【0061】

次に、アーム先端部２３を手首座標系ΣｆのＸ軸方向に距離ｍだけ移動させ、移動後の位置においてカメラ４で撮像された画像からターゲットマーク６を検出し、特徴量（ｕ_x，ｖ_x，ｓ_x）を算出する。

【0062】

同様に、アーム先端部２３を原位置から手首座標系ΣｆのＹ軸方向およびＺ軸方向にそれぞれ距離ｍだけ移動させた後に撮像される画像から特徴量（ｕ_y，ｖ_y，ｓ_y）、（ｕ_z，ｖ_z，ｓ_z）を算出する。

【0063】

Ｘ軸方向、Ｙ軸方向およびＺ軸方向にロボット２を移動させたときのターゲットマーク６の検出結果と、原位置におけるターゲットマーク６の検出結果と、に基づいて、特徴量の差を次の式（５）〜（７）に従って算出する。

【0064】

【数5】

【0065】

【数6】

【0066】

【数7】

【0067】

式（５）〜（７）を式（４）に代入すると、次の式（８）からヤコビアン行列Ｊを求めることができる。

【0068】

【数8】

【0069】

次に、前述した実施形態に係る測定方法を利用して、工作機械の座標系を設定する方法について説明する。本実施形態に係るロボットシステム１は、図１に示される構成に加えて、工作機械７および工作機械制御装置７１をさらに備えている（図１０参照）。また、図１０に示されるように、３つのターゲットマーク６が、工作機械７のテーブル７２に載置されている。

【0070】

前述した実施形態と同様に、ロボット座標系Σｒおよび手首座標系Σｆがそれぞれ定義される。さらに、本実施形態では、図１０に示されるように、工作機械７の制御の基準となる機械座標系Σｍが定義される。

【0071】

本実施形態において、ロボット制御装置３は、機械座標系算出部３３をさらに備えている。機械座標系算出部３３は、機械座標系Σｍにおける少なくとも３つのターゲットマーク位置、およびロボット座標系Σｒにおける少なくとも３つのターゲットマーク位置に基づいて、ロボット座標系Σｒに対する機械座標系Σｍの位置を算出する。

【0072】

工作機械７のテーブル７２は、３つのターゲットマーク６を機械座標系Σｍにおける３次元位置が既知である位置に配置できるように構成されている。例えば、ターゲットマーク６は、位置決めピンによって予め定められる位置に配置される。ターゲットマーク６の配置を再現可能にすれば、追加のロボットを使用したり、或いはロボットを交換したりするときに、再設定をより簡便に実行できる利点がある。なお、３つのターゲットマーク６は、一直線上に配列されないように位置決めされるのが好ましい。

【0073】

工作機械制御装置７１は、ロボット制御装置３に接続されており、機械座標系Σｍにおけるターゲットマーク６の位置が、必要に応じてロボット制御装置３に送信されるようになっている。

【0074】

図１１を参照して、機械座標系Σｍに一致する座標系をロボット２に設定する工程について説明する。なお、前述した初期設定は完了しているものとする。

【0075】

ステップＳ３０１において、３つのターゲットマークを第３、第４および第５のターゲットマーク位置にそれぞれ配置する。機械座標系Σｍにおける第３、第４および第５のターゲットマーク位置Ｑ３、Ｑ４、Ｑ５は、それぞれ既知である。

【0076】

ステップＳ３０２において、図６を参照して説明したステップＳ２０２〜Ｓ２０６の処理に従って、ロボット座標系Σｒにおける第３のターゲットマーク位置Ｐ３を計測する。

【0077】

ステップＳ３０３において、図６を参照して説明したステップＳ２０２〜Ｓ２０６の処理に従って、ロボット座標系Σｒにおける第４のターゲットマーク位置Ｐ４を計測する。

【0078】

ステップＳ３０４において、図６を参照して説明したステップＳ２０２〜Ｓ２０６の処理に従って、ロボット座標系Σｒにおける第５のターゲットマーク位置Ｐ５を計測する。

【0079】

ステップＳ３０５において、機械座標系Σｍにおける第３、第４および第５のターゲットマーク位置Ｑ３、Ｑ４、Ｑ５と、ロボット座標系Σｒにおける第３、第４および第５のターゲットマーク位置Ｐ３、Ｐ４、Ｐ５と、に基づいて、ロボット座標系Σｒにおける機械座標系Σｍの位置を算出する。

【0080】

ステップＳ３０５において実行される算出方法の一例を説明する。以下の説明において、ロボット座標系Σｒにおける機械座標系Σｍの位置をＭとする。「Ｍ」は、４×４の同次変換行列である。

【0081】

第３、第４および第５のターゲットマーク位置が含まれる平面に対してターゲットマーク座標系Σｔを定義する。ターゲットマーク座標系Σｔは、第３のターゲットマーク位置を原点とし、第３のターゲットマーク位置から第４のターゲットマーク位置に向けられた方向をＸ軸方向とし、かつ、第３、第４および第５のターゲットマーク位置が含まれる平面をＸＹ平面となるように定められる。

【0082】

ロボット座標系Σｒにおけるターゲットマーク座標系Σｔの位置を「Ｔｒ」とすれば、４×４の同次変換行列である「Ｔｒ」は、次の式（９）から計算される。

【0083】

Ｖｘ＝（Ｐ４−Ｐ３）／｜Ｐ４−Ｐ３｜
Ｖｔ＝（Ｐ５−Ｐ３）／｜Ｐ５−Ｐ３｜
Ｖｚ＝Ｖｘ×Ｖｔ
Ｖｙ＝Ｖｚ×Ｖｘ

【0084】

【数9】

【0085】

機械座標系Σｍにおけるターゲットマーク座標系Σｔの位置を「Ｔｍ」とすれば、４×４の同次変換行列である「Ｔｍ」は、次の式（１０）から計算される。

【0086】

Ｗｘ＝（Ｑ４−Ｑ３）／｜Ｑ４−Ｑ３｜
Ｗｔ＝（Ｑ５−Ｑ３）／｜Ｑ５−Ｑ３｜
Ｗｚ＝Ｗｘ×Ｗｔ
Ｗｙ＝Ｗｚ×Ｗｘ

【0087】

【数10】

【0088】

ここで、Ｔｒ＝Ｍ・Ｔｍが成立するから、Ｍ＝Ｔｒ・Ｔｍ^-1である。

【0089】

工作機械７のテーブル７２が、２つの軸方向において並進可能であるとともに、１つの軸の回りに回転可能である場合、テーブル７２を作動させて、１つのターゲットマーク６を互いに異なる３つの位置まで移動させることによって、前述した第３、第４および第５のターゲットマーク位置を取得してもよい。その場合、テーブル７２に対するターゲットマーク６の位置が、工作機械７の仕様によって一意に定まる位置である場合、機械座標系Σｍにおけるターゲットマーク６の位置は、テーブル７２の位置から算出できる。或いは、タッチプローブなどを用いて、機械座標系Σｍにおけるターゲットマーク６の位置が計測されてもよい。

【0090】

次に、図１２および図１３を参照して、ロボット２に新しい座標系を設定する方法について説明する。新しい座標系は、ロボット２によって実行される所定の作業において、作業用座標系Σｃとして使用される。この場合に使用されるロボットシステム１は、図１に示される構成と類似しているものの、３つのターゲットマーク６が使用されるとともに、ロボット制御装置３は、作業用座標系算出部３４をさらに備えている（図１３参照）。

【0091】

作業用座標系算出部３４は、ロボット座標系Σｒにおける少なくとも３つのターゲットマーク位置に基づいて、ロボット２の作業用座標系Σｃを算出する。

【0092】

図１２に示されるように、ステップＳ４０１において、作業用座標系Σｃを設定したい位置に対応する第６、第７および第８のターゲットマーク位置にターゲットマーク６を配置する。

【0093】

ステップＳ４０２において、図６を参照して説明したステップＳ２０２〜Ｓ２０６の処理に従って、ロボット座標系Σｒにおける第６のターゲットマーク位置Ｐ６を計測する。

【0094】

ステップＳ４０３において、図６を参照して説明したステップＳ２０２〜Ｓ２０６の処理に従って、ロボット座標系Σｒにおける第７のターゲットマーク位置Ｐ７を計測する。

【0095】

ステップＳ４０４において、図６を参照して説明したステップＳ２０２〜Ｓ２０６の処理に従って、ロボット座標系Σｒにおける第８のターゲットマーク位置Ｐ８を計測する。

【0096】

ステップＳ４０５において、ロボット座標系Σｒにおける第６、第７および第８のターゲットマーク位置Ｐ６、Ｐ７、Ｐ８に基づいて、新しく設定される作業用座標系Σｃの位置Ｃを算出する。

【0097】

ステップＳ４０５において、作業用座標系Σｃの位置Ｃを算出する方法の一例について説明する。

【0098】

作業用座標系Σｃは、第６、第７および第７のターゲットマーク位置が含まれる平面に対して設定される。作業用座標系Σｃは、第６のターゲットマーク位置を原点とし、第６のターゲットマーク位置から第７のターゲットマーク位置に向けられた方向をＸ軸方向とし、かつ、第６、第７および第８のターゲットマーク位置が含まれる平面をＸＹ平面となるように定められる。その場合、作業用座標系Σｃの位置Ｃは、次の式（１１）から計算できる。なお、位置Ｃは、４×４の同次変換行列である。

【0099】

Ｖｘ＝（Ｐ７−Ｐ６）／｜Ｐ７−Ｐ６｜
Ｖｔ＝（Ｐ８−Ｐ６）／｜Ｐ８−Ｐ６｜
Ｖｚ＝Ｖｘ×Ｖｔ
Ｖｙ＝Ｖｚ×Ｖｘ

【0100】

【数11】

【0101】

なお、カメラ４およびターゲットマーク６は、前述した実施形態の処理を実行する際に一時的に使用されればよく、処理終了後には必要に応じて取外されてもよい。

【0102】

本実施形態に係るロボットシステム１によれば、次のような効果を奏することができる。

【0103】

（１）カメラ４のキャリブレーションを予め行う必要がない。そのため、作業効率を向上できる。

【0104】

（２）本実施形態において使用されるカメラ４は、１台の２次元カメラであってもよい。すなわち、ステレオ計測する必要なくターゲットマーク６の３次元位置を計測できるので、安価なロボットシステム１を提供できる。

【0105】

（３）工作機械７とともに使用される場合のように、ロボット２の動作領域が制限される場合であっても、ターゲットマーク６の３次元位置を計測できる。

【0106】

（４）工作機械７に対して設定される機械座標系Σｍに対応する座標系がロボット２に設定されるので、工作機械７とロボット２との間で位置情報を共有することができる。

【0107】

以上、本発明の種々の実施形態について説明したが、当業者であれば、他の実施形態によっても本発明の意図する作用効果を実現できることを認識するであろう。特に、本発明の範囲を逸脱することなく、前述した実施形態の構成要素を削除または置換することができるし、或いは公知の手段をさらに付加することができる。また、本明細書において明示的または暗示的に開示される複数の実施形態の特徴を任意に組合せることによっても本発明を実施できることは当業者に自明である。

【符号の説明】

【0108】

１ ロボットシステム
２ ロボット
２１ ベース
２２ アーム
２３ アーム先端部
３ ロボット制御装置
３１ 基準データ記憶部
３２ ターゲットマーク位置算出部
３３ 機械座標系算出部
３４ 作業用座標系算出部
４ カメラ
５ 画像処理装置
６ ターゲットマーク
７ 工作機械
７１ 工作機械制御装置
７２ テーブル（可動部）
Σｆ 手首座標系
Σｍ 機械座標系
Σｒ ロボット座標系

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】