特許 7654785 教示装置、マーカ計測方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-03-24

(45)【発行日】2025-04-01

(54)【発明の名称】教示装置、マーカ計測方法及びプログラム

(51)【国際特許分類】

   B25J 9/22 20060101AFI20250325BHJP

   G05B 19/409 20060101ALI20250325BHJP

   G05B 19/42 20060101ALI20250325BHJP

   B25J 5/00 20060101ALN20250325BHJP

【ＦＩ】

B25J9/22 A

G05B19/409 C

G05B19/42 J

B25J5/00 A

【請求項の数】 14

(21)【出願番号】P 2023523935

(86)(22)【出願日】2021-05-28

(86)【国際出願番号】 JP2021020534

(87)【国際公開番号】W WO2022249481

(87)【国際公開日】2022-12-01

【審査請求日】2023-12-08

(73)【特許権者】

【識別番号】390008235

【氏名又は名称】ファナック株式会社

(74)【代理人】

【識別番号】100099759

【弁理士】

【氏名又は名称】青木 篤

(74)【代理人】

【識別番号】100123582

【弁理士】

【氏名又は名称】三橋 真二

(74)【代理人】

【識別番号】100112357

【弁理士】

【氏名又は名称】廣瀬 繁樹

(74)【代理人】

【識別番号】100169856

【弁理士】

【氏名又は名称】尾山 栄啓

(72)【発明者】

【氏名】並木 勇太

(72)【発明者】

【氏名】高橋 悠太郎

【審査官】松浦 陽

(56)【参考文献】

【文献】特開平０８－２４９０２６（ＪＰ，Ａ）

【文献】特開平０４－２１１８０７（ＪＰ，Ａ）

【文献】特開２００１－３１８７１５（ＪＰ，Ａ）

【文献】特開２００７－１６０４８６（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｂ２５Ｊ １／００－２１／０２

Ｇ０５Ｂ １９／１８－１９／４１６

Ｇ０５Ｂ １９／４２－１９／４２７

(57)【特許請求の範囲】

【請求項1】

作業空間に設置されたマーカを視覚センサにより計測するプログラムを作成するために用いられる教示装置であって、
前記マーカの計測に関する設定情報を入力するためのユーザインタフェースを作成するユーザインタフェース作成部を備え、
前記ユーザインタフェース作成部は、前記ユーザインタフェースにおいて、第１の前記マーカに関して入力された第１の前記設定情報を、第２の前記マーカに関する設定において利用可能とする、教示装置。

【請求項2】

前記ユーザインタフェースは、第１の前記マーカに関する設定のための第１のユーザインタフェース画面と、第２の前記マーカに関する設定のための第２のユーザインタフェース画面とを含み、
前記第２のユーザインタフェース画面において、第１の前記設定情報が少なくとも部分的にデフォルト値として設定されている、請求項１に記載の教示装置。

【請求項3】

前記第１のユーザインタフェース画面と前記第２のユーザインタフェース画面とは共通の設定項目を含む、請求項２に記載の教示装置。

【請求項4】

前記設定情報は、前記共通の設定項目として、前記視覚センサの露光時間、前記マーカの選択、前記マーカのドット間隔の一つ以上を含む、請求項３に記載の教示装置。

【請求項5】

前記プログラムを作成するためのプログラム作成画面を生成するプログラム作成部を更に備え、
前記プログラム作成画面には第１の前記マーカを計測するための第１の計測命令と、第２の前記マーカを計測するための第２の計測命令とが同一の命令として配置されている、請求項１から４のいずれか一項に記載の教示装置。

【請求項6】

前記第１の計測命令と前記第２の計測命令は同一のアイコンで表されている、請求項５に記載の教示装置。

【請求項7】

作業空間に設置されたマーカを視覚センサにより計測するための方法であって、
第１の前記マーカについて計測を行い、
第１の前記マーカの計測結果の精度を評価し、
第１の前記マーカの計測結果の精度が所定のレベル未満である場合に、追加の１以上の前記マーカについて計測を行うこと、を含み、
第１の前記マーカの計測に関して入力された設定情報を、追加の１以上の前記マーカの各々の計測に関する設定情報の設定として利用可能とされた、ユーザインタフェースが提供される、マーカ計測方法。

【請求項8】

第１の前記マーカ及び追加の１以上の前記マーカについての計測結果を合成して、前記作業空間と前記視覚センサとの相対位置関係を求めることを更に含む、請求項７に記載のマーカ計測方法。

【請求項9】

第１の前記マーカの計測に関する前記設定情報、及び、追加の１以上の前記マーカの各々の計測に関する前記設定情報は、共通の設定項目として、前記視覚センサの露光時間、前記マーカの選択、前記マーカのドット間隔の一つ以上を含む、請求項７又は８に記載のマーカ計測方法。

【請求項10】

前記マーカは、既知のドット間隔を有し且つ当該マーカの座標系を規定するドットを含むドットパターンを有し、
第１の前記マーカの計測結果の精度を評価することは、
前記マーカ中の各ドットの計測された位置を表す同次座標をＰｘｉ、前記マーカの原点に対する各ドットの設計位置を表す同次座標をＰｙｉ、計測された前記マーカの位置及び姿勢を表す同次変換行列をＰｍとするとき、
Σ（Ｐｘｉ－Ｐｍ×Ｐｙｉ）＾２
を指標値として用いて精度を評価することを含む、
請求項７から９のいずれか一項に記載のマーカ計測方法。

【請求項11】

視覚センサで第１のマーカを計測する場合の計測に関する第１の設定情報の入力を受け付け、
前記第１のマーカに関して入力された前記第１の設定情報を利用できるやり方で、前記視覚センサで第２のマーカを計測する場合の計測に関する第２の設定情報の入力を受け付ける、ユーザインタフェースを提供する動作を、コンピュータに実行させるプログラム。

【請求項12】

前記ユーザインタフェースは、前記第１のマーカに関する設定のための第１のユーザインタフェース画面と、前記第２のマーカに関する設定のための第２のユーザインタフェース画面とを含み、
前記第２のユーザインタフェース画面において、前記第１の設定情報が少なくとも部分的にデフォルト値として設定されている、請求項１１に記載のプログラム。

【請求項13】

前記第１のユーザインタフェース画面と前記第２のユーザインタフェース画面とは共通の設定項目を含む、請求項１２に記載のプログラム。

【請求項14】

前記第１の設定情報及び前記第２の設定情報の各々は、前記共通の設定項目として、前記視覚センサの露光時間、前記マーカの選択、前記マーカのドット間隔の一つ以上を含む、請求項１３に記載のプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、教示装置に関する。

【背景技術】

【0002】

台車やＡＧＶ（Automated Guided Vehicle：無人搬送車）にロボットを乗せて移動させ、工作機械などの作業スペースの前に停止させて作業を行う自動化システムが提案されている。

【0003】

このような自動化システムにおいて、ロボットが工作機械に対して加工対象物のロード／アンロードといった様々な作業を行う場合、ロボットを搭載した台車やＡＧＶの停止位置が移動のたびに変わってしまう。そのため、ロボットは毎回同じ動作をするだけでは不十分であり、工作機械に対する台車やＡＧＶの停止位置のずれを計測し、作業スペースに対して正しく作業を行うことができるように、ロボットの動作に補正をかけることが必要になる。その際には、ロボットの手先にカメラを取り付け、作業空間に取り付けたマーカを計測することで、ロボットと工作機械などの作業空間の位置関係を計測し、位置ずれ分を補正してロボットを動作させている。

【0004】

ロボットと作業空間の相対位置を求める手法の一つとして、特許文献１は、「ロボット末端の基準位置検出器（カメラ４）により作業座標に設けられた基準（６）を計測し、ロボット座標による基準の計測位置と予め計測された作業座標における基準の位置の差から設置誤差を推定し、これを補正することによりロボットを制御する」構成を記載する（要約書）。

【0005】

また、特許文献２は、「ロボット外科手術システム１００として、ロボットアーム１０４、エンドエフェクタ１１２、患者２１０、および／又は外科用器具６０８の三次元の動きを追跡するように構成される一つ又は複数のマーカ１１８を含むことのできる」構成を記載する（段落００５０）。

【先行技術文献】

【特許文献】

【0006】

【文献】特開平４－２１１８０７号公報

【文献】特開２０２０－７２７７３号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

作業空間に設置したマーカをロボットの手先に取り付けたカメラで計測する場合、サイクルタイムや教示工数の観点からは、１つのマーカを検出することでロボットの位置を補正できることが望ましい。しかしながら、１つのマーカの計測による位置補正では必要な精度が得られない場合がある。このような場合、複数のマーカを計測することで位置補正の精度を向上することができる。しかしながら、１つのマーカで計測を行う場合と、複数のマーカで計測を行う場合とで、計測方法や教示手順が異なると、マーカを増やして精度を向上させるのに手間がかかることとなる。

【課題を解決するための手段】

【0008】

本開示の一態様は、作業空間に設置されたマーカを視覚センサにより計測するプログラムを作成するために用いられる教示装置であって、前記マーカの計測に関する設定情報を入力するためのユーザインタフェースを作成するユーザインタフェース作成部を備え、前記ユーザインタフェース作成部は、前記ユーザインタフェースにおいて、第１の前記マーカに関して入力された第１の前記設定情報を、第２の前記マーカに関する設定において利用可能とする、教示装置である。

【0009】

本開示の別の態様は、作業空間に設置されたマーカを視覚センサにより計測するための方法であって、第１の前記マーカについて計測を行い、第１の前記マーカの計測結果の精度を評価し、前記第１のマーカの計測結果の精度が所定のレベル未満である場合に、追加の１以上の前記マーカについて計測を行うこと、を含み、第１の前記マーカの計測に関して入力された設定情報を、追加の１以上の前記マーカの各々の計測に関する設定情報の設定として利用可能とされた、ユーザインタフェースが提供される、マーカ計測方法である。

【0010】

本開示の更に別の態様は、視覚センサで１のマーカを計測する場合の計測に関する第１の設定情報の入力を受け付け、前記第１のマーカに関して入力された前記第１の設定情報を利用できるやり方で、前記視覚センサで第２のマーカを計測する場合の計測に関する第２の設定情報の入力を受け付ける、ユーザインタフェースを提供する動作を、コンピュータに実行させるプログラムである。

【発明の効果】

【0011】

上記構成によれば、複数のマーカの計測が必要になる状況においても、ユーザは、１つのマーカの計測についての設定を行う場合と同等のやり方で且つ容易に複数のマーカの計測について設定を行うことができる。

【0012】

添付図面に示される本発明の典型的な実施形態の詳細な説明から、本発明のこれらの目的、特徴および利点ならびに他の目的、特徴および利点がさらに明確になるであろう。

【図面の簡単な説明】

【0013】

【図1】一実施形態に係る教示装置を含むロボットシステムの機器構成を表す図である。

【図2】ロボット制御装置及び教示装置のハードウェア構成例を表す図である。

【図3】教示装置及びロボット制御装置の機能ブロック図である。

【図4】本実施形態で用いられるマーカの例を表す図である。

【図5】作業空間に設置された１つのマーカと、補正をかけるべき教示位置とを示す図である。

【図6】作業空間に設置された３つのマーカと、補正を掛けるべき教示位置とを示す図である。

【図7】プログラム作成画面の基本的な構成例を示す図である。

【図8】１つのマーカに対する計測を実行する命令のアイコンを表す図である。

【図9】マーカ１点計測アイコンの詳細設定を行うためのマーカＵＩ画面の構成例を示す図である。

【図10】３つのマーカに対する計測を実行する命令に対応するアイコンを表す図である。

【図11】１つ目のマーカで計測を行った後、計測結果を評価し、評価値が低い場合に２つ目及び３つ目のマーカを計測する計測プログラムを示す図である。

【図12】図１１に示した計測プログラムの動作を表すフローチャートである。

【図13】３つのマーカで計測を行う場合に、マーカ１点計測アイコンの間に経由点を追加したプログラムを示す図である。

【図14A】設定部により提供される、１つのマーカを計測するためのマーカ設定入力画面を示す図である。

【図14B】設定部により提供される、２つのマーカを計測するためのマーカ設定入力画面を示す図である。

【図15】マーカ計測設定を入力するためのインタフェースを提供して設定入力を受け付ける動作を表すフローチャートである。

【発明を実施するための形態】

【0014】

次に、本開示の実施形態について図面を参照して説明する。参照する図面において、同様の構成部分または機能部分には同様の参照符号が付けられている。理解を容易にするために、これらの図面は縮尺を適宜変更している。また、図面に示される形態は本発明を実施するための一つの例であり、本発明は図示された形態に限定されるものではない。

【0015】

図１は、一実施形態に係る教示装置５０を含むロボットシステム１００の機器構成を表す図である。ロボットシステム１００は、工作機械１０と、産業用ロボット（以下、ロボットと記載する）２０と、ロボット２０を制御するロボット制御装置３０と、ロボット２０及びロボット制御装置３０を搬送するための搬送装置８１とを含む。ロボット２０は、搬送装置８１に搭載された状態で工作機械１０の前の所定の位置に配置され、工作機械１０内への作業対象物（以下、ワークと記載する）のロード／アンロード等の所定の作業を実行する。すなわち、ロボットシステム１００は、工作機械１０へのワークのロード／アンロードをロボット２０により自動化する自動化システムとして構成されている。

【0016】

図１において、ロボット２０は垂直多関節ロボットとして記載されているが、他のタイプのロボットが用いられても良い。搬送装置８１は、例えば、台車又はＡＧＶ(Automated Guided Vehicle；無人搬送車）である。

【0017】

教示装置５０は、ロボット制御装置３０に無線或いは有線接続され、ロボット２０を教示するため（ロボット２０の制御プログラムを作成するため）に用いられる。なお、ロボットシステム１００の実運用時には、教示装置５０を用いて作成された制御プログラムはロボット制御装置３０内に登録されている状態となるため、教示装置５０はロボットシステム１００から省かれても良い。

【0018】

図１のようなロボットシステム１００において、ロボット２０がワークのロード／アンロード等の作業を実行すると、ロボット２０を搭載した搬送装置８１の位置が変わってしまう。したがって、ロボット２０は、工作機械１０に対するロボット２０の位置ずれを計測し、工作機械１０に対して正しく作業を行うことができるように構成される必要がある。そのため、ロボット２０のアーム先端部２１には視覚センサ７１が搭載され、ロボット２０（ロボット制御装置３０）は、視覚センサ７１を用いて作業空間（工作機械１０）に対するロボット２０の位置ずれを検出し、当該位置ずれを補正して作業を実行するように構成される。

【0019】

教示装置５０は、ロボット２０のアーム先端部２１に搭載した視覚センサ７１により、作業空間（工作機械１０）の所定の位置に設置されたマーカ４の３次元位置を計測し、ロボット２０の作業空間に対する所期の位置からの位置ずれを計測するプログラム（以下、このようなプログラムを計測プログラムとも称する）を作成する機能を提供する。教示装置５０を用いて作成された計測プログラムを含む制御プログラムは、ロボット制御装置３０に登録され、以後、ロボット２０（ロボット制御装置３０）は、ロボット２０の作業空間に対する所期の位置からの位置ずれを検出して位置補正を行い所定の作業を実行するよう動作することができる。

【0020】

視覚センサ７１は、２次元カメラであってもよく、或いは３次元位置検出器であっても良い。本実施形態では、視覚センサ７１は２次元カメラであるものとする。視覚センサ７１は、ロボット制御装置３０に接続されている。本実施形態では、ロボット制御装置３０は、視覚センサ７１を制御するための機能、視覚センサ７１が撮像した画像に対する各種画像処理を行う機能等を有しているものとする。また、ロボット２０を基準とする視覚センサ７１の位置を示すデータを含むキャリブレーションデータは、ロボット制御装置３０のメモリ３２に予め記憶されているものとする。

【0021】

図２は、ロボット制御装置３０及び教示装置５０のハードウェア構成例を表す図である。ロボット制御装置３０は、プロセッサ３１に対してメモリ３２（ＲＯＭ、ＲＡＭ、不揮発性メモリ等）、入出力インタフェース３３、各種操作スイッチを含む操作部３４等がバスを介して接続された、一般的なコンピュータとしての構成を有していても良い。教示装置５０は、プロセッサ５１に対して、メモリ５２（ＲＯＭ、ＲＡＭ、不揮発性メモリ等）、表示部５３、キーボード（或いはソフトウェアキー）等の入力装置により構成される操作部５４、入出力インタフェース５５等がバスを介して接続された、一般的なコンピュータとしての構成を有していても良い。なお、教示装置５０として、教示操作盤、タブレット端末、スマートフォン、パーソナルコンピュータその他の各種の情報処理装置を用いることができる。

【0022】

図３は、教示装置５０及びロボット制御装置３０の機能ブロック図である。教示装置５０は、ロボット２０を制御するための命令を用いて制御プログラムを作成するための装置である。本実施形態では、例示として、教示装置５０は、命令を表すアイコンを用いてプログラミングを行うことを可能とする装置であるものとする。教示装置５０は、制御プログラムを作成するためのプログラム作成部１５１と、ロボット２０の教示に関する各種設定を入力するための設定部１５４とを有する。プログラム作成部１５１は、マーカの計測に関する設定の入力を受け付けるためのＵＩ（ユーザインタフェース）を作成するマーカＵＩ作成部１５２と、このＵＩを介したマーカの設定入力操作を受け付けるマーカ設定入力受付部１５３とを有する。なお、マーカ設定のためのＵＩは、表示部５３及びと操作部５４の機能を用いて実現される。

【0023】

設定部１５４は、ロボット２０の教示に関する各種設定（例えば、ツール座標系の設定）に関する入力を行うためのＵＩ画面を提示し、設定の入力を受け付ける。入力され各種設定は、教示装置５０の記憶部（メモリ５２）に記憶される。

【0024】

図３に示すように、ロボット制御装置３０は、制御プログラムその他の各種情報を記憶する記憶部１３１と、制御プログラムにしたがってロボット２０の動作を制御する動作制御部１３２と、マーカ位置計測部１３３と、相対位置計算部１３４と、計測精度評価部１３５とを備える。

【0025】

マーカ位置計測部１３３は、視覚センサ７１を用いてマーカ４の３次元位置を計測する。本実施形態では、一例として、マーカ位置計測部１３３は、２次元カメラとしての視覚センサ７１を用いてステレオ計測法によりマーカ４の位置計測を行う。すなわち、マーカ位置計測部１３３は、２次元カメラからなる視覚センサ７１の位置を変えて２つの異なる位置から同一のマーカ４を撮像し、そのマーカ４の３次元位置を算出する。この手法は、比較的安価な２次元カメラを用いることで位置計測システムを低コストで実現できるという利点をもたらす。なお、マーカ（ターゲットマークや視覚マーカとも称される）の位置を計測するための当分野で知られた他の手法が用いられても良い。

【0026】

記憶部１３１には、ロボット２０のアーム先端部２１に設定した座標系（メカニカルインタフェース座標系）を基準とした２次元カメラ（視覚センサ７１）の位置を示すキャリブレーションデータが記憶されている。一方、ロボット制御装置３０（マーカ位置計測部１３３）は、ロボット２０の動作時におけるアーム先端部２１の位置及び姿勢を把握することができる。したがって、ロボット制御装置３０（マーカ位置計測部１３３）は、ロボット２０の動作に応じて、メカニカルインタフェース座標系をロボット座標系に変換することで、２次元カメラ（視覚センサ７１）の撮像時のセンサ座標系とロボット座標系とを対応付けることができる。これにより、マーカ位置計測部１３３において、対象（マーカ４）の位置をロボット座標系における３次元位置として求めることが可能となる。

【0027】

相対位置計算部１３４は、計測されたマーカ位置に基づいて、作業空間（工作機械１０）とロボット２０の相対位置（言い換えると、作業空間に対するロボット２０の所期の位置からのずれ量）を求める。

【0028】

動作制御部１３２は、計算された作業空間とロボットとの相対位置関係（作業空間に対するロボット２０の所期の位置からのずれ量））に基づいて、ロボット２０が規定の位置及び姿勢から補正された正しい位置及び姿勢で作業を実行するようにロボット２０を制御する。

【0029】

計測精度評価部１３５は、マーカ位置計測部１３３が一つのマーカ４の位置を計測した計測結果の精度を評価する機能を有する。

【0030】

なお、マーカ位置計測部１３３、相対位置計算部１３４、及び計測精度評価部１３５によるマーカ位置計測に関する機能は、教示装置５０を用いて作成されたマーカ位置計測に関する計測プログラムをロボット制御装置３０の記憶部１３１に登録し、当該計測プログラムをロボット制御装置３０のプロセッサ３１により実行することで実現することができる。

【0031】

図４は、本実施形態で用いられるマーカ４の例を表している。本例のマーカ４は、図４に図示のようなドットパターンを有している。図４に例示のマーカにおいて、大きいドット１４１－１４４はマーカ４に設定された座標系（マーカ座標系）を示す。ドット１４１がマーカ座標系の原点を示し、ドット１４１－１４２がマーカ座標系のＸ軸を表し、ドット１４１、１４３－１４４がマーカ座標系のＹ軸を表す。Ｚ軸は、マーカ形成面に対する法線方向となる。ロボット制御装置３０が、計測プログラムにしたがってマーカ４の計測を行う場合には、マーカ４のドット間隔の情報は既知の情報として用いることができる。したがって、ロボット制御装置３０（マーカ位置計測部１３３及び相対位置計算部１３４）は、マーカ４の各ドットを計測することで、マーカ４に設定されたマーカ座標系の位置及び姿勢を求めることができる。なお、このようなマーカ４の位置及び姿勢は、視覚センサ７１（２次元カメラ）による１回の計測で求めることもできるし、ステレオ計測法で求めることもできる。上述の通り、本実施形態では、ステレオ計測法で求める場合を記載することとする。また、本実施形態では、図４に示したような形状のマーカ４を用いる場合について記載するが、計測の対象としてのマーカとしては任意の形状のマーカを用いることができる。任意の形状のマーカを用いる場合には、マーカ計測に関する詳細設定を行うユーザインタフェース等（後述のマーカＵＩ画面２２０等）を介して、マーカの形状を教示する。

【0032】

視覚センサで１つのマーカ４を計測することで、視覚センサ７１に対するマーカ４の３次元位置を取得することは可能であるが、マーカ一つの計測では十分な精度が得られない場合がある。図５は、作業空間に設置された一つのマーカ４と、補正をかけるべき教示位置Ｍ１とを示している。マーカ４と補正をかけるべき教示位置Ｍ１との間隔ｄが大きくなると、教示位置Ｍ１の補正後の並進位置に悪い影響が与えられる傾向となる。教示位置Ｍ１をマーカ４を基準とする座標系内の位置として操作（補正）する場合、マーカ４の姿勢に誤差θが生じていると、教示位置Ｍ１の補正後の位置にｄ×ｓｉｎθの並進方向のずれが生じ得るためである。

【0033】

そこで本実施形態に係るロボット制御装置３０は、計測するマーカ４の数を増加させ、マーカの計測結果を合成する形で座標系や補正量の把握を行うようにすることで、教示点の補正の精度を向上させる。一例として、図６に示すように、３つのマーカ４（マーカ４１、マーカ４２、マーカ４３）を、補正をかけるべき教示位置Ｍ１の周囲に配置する。マーカ４１、マーカ４２、マーカ４３それぞれ単体として計測した位置をＰ１、Ｐ２、Ｐ３とする。マーカ位置計測部１３３は、マーカ４１の位置Ｐ１を原点位置、マーカ４２の位置Ｐ２をＸ軸方向の位置、マーカ４３の位置Ｐ３をＸＹ平面状にある位置として座標系を把握する。このように複数のマーカ４を用いて座標系の位置・姿勢を把握するようにする場合、マーカ一つの計測の場合よりも精度を向上させることができる。また、この場合、マーカ間の距離を大きくするほど姿勢の誤差を小さくすることが可能となる。

【0034】

なお、複数のマーカを計測した結果を合成して対象物全体（本実施形態では作業空間）の位置及び姿勢を把握する手法として、当分野で知られた他の手法が用いられても良い。例えば、２点（２つのマーカ）での計測を行う場合には、計測した２点を結ぶ線分を軸とする回転量を同定することはできないが、この回転量がシステム精度上変化しにくい場合には、十分に実用的な構成となる。

【0035】

計測精度評価部１３５は、マーカ位置計測部１３３によるマーカ４の位置計測の結果を評価する機能を有する。一例として、計測精度評価部１３５は、マーカ４の位置計測結果の評価を次のように行う。マーカ４中の各計測点（各ドット）の計測された位置をＰｘｉ、マーカ４の原点に対する各計測点の位置（設計値）をＰｙｉ、計測されたマーカの位置・姿勢をＰｍとするとき、
Σ（Ｐｘｉ－Ｐｍ×Ｐｙｉ）＾２ ・・・（１）
は、各計測点の計測誤差の２乗和を表す指標値となり、この指標値の大小により計測の精度を評価し得る。なお、上記において、Ｐｍは同次変換行列である。なお、マーカ４を複数視点から計測し、それらの計測結果を総合的に評価することによっても計測精度の評価が可能である。例えば、マーカ４の計測精度が低い状態の場合には、複数視点からの計測結果にばらつきが生じ得る。

【0036】

マーカ位置計測部１３３及び相対位置計算部１３４は、一つのマーカ４を計測して上記指標値を求め、マーカ一つによる位置計測の精度が低い場合に（例えば、数式（１）による誤差の指標値が所定の閾値より大きい場合に）、計測するマーカ４の数を増加させる（例えば、３つのマーカ４による計測を行う）ようにしても良い。また、マーカ位置計測部１３３及び相対位置計算部１３４は、一つのマーカ４を計測して上記指標値を求め、マーカ一つによる計測の精度が十分であると判断される場合には（例えば、数式（１）による誤差の指標値が所定の閾値以下である場合には）、一つのマーカ４の計測により、ロボット２０と作業空間との相対位置関係を求めるようにしても良い。

【0037】

教示装置５０は、ロボット制御装置３０における上述のようなマーカ計測機能を実現するためのプログラミング機能を提供する。以下では、教示装置５０におけるプログラム作成機能について説明する。

【0038】

図７は、プログラム作成部１５１により生成されるプログラム作成画面４００の基本的な構成例を示す図である。プログラム作成画面４００は、プログラム作成に用いることのできるアイコンのリストを表示するアイコン表示領域２００と、アイコン表示領域２００から選択した所望のアイコンを並べることでプログラム作成を行うためのプログラム作成領域３００とを含む。ユーザは、アイコン表示領域２００から所望のアイコンを、例えばドラッグアンドドロップ操作によりプログラム作成領域３００に順に並べてプログラミングを行う。また、ユーザは、プログラム作成領域３００に配置されたアイコンを選択し、詳細タブ２６２を選択することで、現在選択されているアイコンに対する詳細設定（教示）を行うことができる。

【0039】

図８は、一つのマーカに対する計測を実行する命令に対応するアイコン（以下、マーカ１点計測アイコン２１１と記す）を表す図である。マーカ１点計測アイコン２１１は、視覚センサ７１を用いた視覚検出機能によりマーカの３次元位置を計測し、ロボット２０とマーカ（すなわち、作業空間）との相対位置関係を算出する機能を提供する。マーカ１点計測アイコン２１１の上側に表示された２つの数字は、このマーカ１点計測アイコン２１１が２つの教示点の設定を含むことを表す。マーカ１点計測アイコン２１１が、他のアイコンと共にプログラム作成領域３００に配置されるとき、マーカ１点計測アイコン２１１の上側の２つの数字は、プログラム内での教示点の番号を表すこととなる。図８では、例示として、マーカ１点計測アイコン２１１の２つの教示点の番号が２番目と３番目であることを示している。

【0040】

図９は、マーカ１点計測アイコン２１１の詳細設定を行うためのマーカＵＩ（ユーザインタフェース）画面２２０の構成例を示す図である。マーカＵＩ画面２２０は、マーカＵＩ作成部１５２により生成される。マーカＵＩ画面２２０は、例えば、プログラム作成領域３００に配置したマーカ１点計測アイコン２１１を選択した状態で、詳細タブ２６２を選択することで起動され表示されても良い。図９に例示すように、マーカＵＩ画面２２０は、詳細設定項目として、
（１）ステレオ計測のための２箇所の計測位置（計測位置１、計測位置２）
（２）視覚センサの露光時間
（３）マーカの選択
（４）マーカのドット間隔
の設定入力欄２２１から２２５を有している。なお、設定入力欄２２１から２２５には、予めデフォルトの設定が成されていても良い。

【0041】

２つの計測位置の設定を行う場合、教示ボタン２２１ａ、２２２ａを選択してロボット２０を操作（ジョグ操作）して計測位置（視覚センサ７１の位置）を教示する。

【0042】

図１０は、マーカ３点に対する計測を行うためのアイコン（以下、マーカ３点計測アイコン２３０と記す）を表す。マーカ３点計測アイコン２３０は、図６を参照して上述したように、３点のマーカ４に対し計測を行って、ロボット２０と作業空間との相対位置関係を求める機能を提供する。マーカ３点計測アイコン２３０は、コの字型に形成されたマーカ３点合成アイコン２３１の中央部の窪み部分にマーカ１点計測アイコン２１１を３つ並べることで簡単に構成することができる。図６を参照して上述したように、マーカ３点合成アイコン２３１は、３つのマーカ１点計測アイコン２１１によりそれぞれ計測された３つのマーカの位置を合成するやり方で、ロボット（視覚センサ）と作業空間との相対位置関係を求める機能を提供する。

【0043】

マーカの３点計測を行う場合にも、オペレータは、同じマーカ１点計測アイコン２１１を３つ並べればよい。すなわち、オペレータは、３つのマーカの計測の設定に関して、図９に示す同じマーカＵＩ画面２２０を操作して設定をすることができる。すなわち、３つのマーカ４の各々に対する設定において、共通のＵＩ画面が用いられる。

【0044】

ここで、３つのマーカの設定において設定項目は共通しているので、一つのマーカについてのマーカ１点計測アイコン２１１に入力された設定情報が、他の２つのマーカ１点計測アイコン２１１の設定情報にデフォルト値として反映されるように構成されていても良い。例えば、図９に示す上記設定項目の例の場合には、ステレオ計測のための２つの位置以外の設定項目は共通の内容とすることができる。

【0045】

このように、本実施形態によれば、マーカ３点計測を行う場合にも、マーカ１点計測を行う場合と共通のＵＩ画面を介して設定を行うことができ、且つマーカ１点計測を行う場合に入力した設定情報を、マーカ３点計測を行う場合の設定値のデフォルト値として反映させることができる。したがって、マーカ３点計測を行う場合のユーザの負担を軽減することができる。すなわち、ユーザは、マーカ３点計測を行う場合にも、マーカ１点計測と同様の間隔で設定を行うことができ、マーカ３点計測を行うための複雑な知識を有することは要求されない。

【0046】

図１１は、１つ目のマーカで計測を行った後、計測結果を評価し、評価値が低い場合（すなわち、計測の精度が低いと判定される場合）にのみ２つ目及び３つ目のマーカの計測を行い、位置計測の精度を高める計測プログラム２４０を示している。計測プログラム２４０には、コの字上に延長された形状を有するマーカ３点合成アイコン２３１の中に、１つ目のマーカ１点計測アイコン２１１、条件分岐アイコン２４１、２つ目のマーカ１点計測アイコン２１１、及び３つ目のマーカ１点計測アイコン２１１が含まれている。条件分岐アイコン２４１は、上述の数式（１）による誤差の指標値が閾値より大きい場合に、２つ目及び３つ目のマーカの計測を行い、誤差の指標値が閾値以下であれば２つ目及び３つ目のマーカの計測を行わないという動作を提供するように設定される。このように、本実施形態によれば、マーカ１つで精度が出ない場合にマーカ複数による計測に移行する動作を容易に実現することができる。すなわち、マーカ１つで精度がでないときに、マーカ複数の計測にシームレスに切り替えることができる。

【0047】

図１２は、図１１に示した計測プログラム２４０の動作をフローチャートとして表したものである。はじめに、一つ目のマーカの計測を行う（ステップＳ１）。次に、一つ目のマーカの計測の精度を評価する（ステップＳ２）。ここでは、上述の数式（１）により制度の指標値を求める。数式（１）による指標値が所定の値以下で精度が良いと判定される場合（Ｓ３：ＯＫ）、本処理を抜ける。この場合、一つのマーカの計測結果を用いて、ロボット２０と作業空間との相対位置関係が得られる。

【0048】

数式（１）による指標値が所定の値より大きく精度が良くないと判定される場合（Ｓ３：ＮＧ）、２つ目のマーカの計測（ステップＳ４）及び３つ目のマーカの計測（ステップＳ５）を行う。そして、図６を参照して説明したように、３つのマーカの計測結果を合成した形で作業空間の座標系を求め、ロボット２０と作業空間との相対位置関係を得る（ステップＳ６）。

【0049】

なお、マーカ４は、作業空間（工作機械１０）に予め３つ配置しておいても良く、或いは、一つのマーカでの計測の精度が良くないと判定された場合に（Ｓ３：ＮＧ）、ユーザがマーカ４の数を増加させても良い。なお、ユーザがマーカ４を増加させる場合には、ユーザは、追加したマーカ４の配置情報を教示装置５０を操作して設定するようにする。

【0050】

上記フローチャートにおいて、ステップＳ１が計測プログラム２４０の１つ目のマーカ１点計測アイコン２１１に対応し、ステップＳ４が計測プログラム２４０の２つ目のマーカ１点計測アイコン２１１に対応し、ステップＳ５が計測プログラム２４０の３つ目のマーカ１点計測アイコン２１１に対応する。ステップＳ６において相対位置を求める動作が、マーカ３点合成アイコン２３１の機能に対応し、条件判断のステップＳ３による流れの制御が、条件分岐アイコン２４１の機能に対応している。

【0051】

図１３は、３つのマーカで計測を行う場合に、マーカ１点計測アイコン２１１の間に経由点を追加する場合のプログラム例である計測プログラム２５０を示す。本例では、マーカ３点合成アイコン２３１の中に３つのマーカ１点計測アイコン２１１が配置され、１つ目のマーカ１点計測アイコン２１１と２つ目のマーカ１点計測アイコン２１１の間に経由点を加えるための直線移動アイコン２５１が挿入されている。この場合、１つ目のマーカの計測位置から２つ目のマーカの計測位置の間に、ロボット２０は、直線移動アイコン２５１で指定された教示点を経由するように動作する。よって、１つ目のマーカの計測位置から２つ目のマーカの計測位置への経路に障害物や特異点がある場合にそれを回避することができる。このように、複数のマーカの計測を行う場合においても各計測のアイコンが分かれているので、経由点を追加する等の柔軟なプログラミングを行うことができる。

【0052】

以上では、プログラム作成部１５１により提供されるプログラミング機能を介してマーカ計測に関する詳細設定を行う場合の動作例について説明した。教示装置５０は、ロボットの教示に関する各種設定入力を受け付ける機能を提供する設定部１５４を有する。マーカ計測に関する設定は、教示装置５０のこのような設定入力機能（すなわち、設定部１５４の機能）を介して行うようにしても良い。

【0053】

図１４Ａは、設定部１５４の機能として提供される、マーカ計測のためのマーカ設定入力画面５００の例を示す。マーカ設定入力画面５００は、計測するマーカ数を指定するための入力欄５１１、計測方式を指定するための入力欄５１２、計測位置を入力するための入力欄５１３及び５１４を含む。図１４Ａの例では、一つのマーカに対してステレオ計測法による計測が指定されているため、２つの計測位置（計測位置１、計測位置２）についての入力欄５１３及び５１４が配置されている。ユーザは、教示ボタン５１３ａ、５１４ａを選択して計測位置の教示を行うことができる。

【0054】

図１４Ａに示したマーカ設定入力画面５００においてマーカ数を２と指定した場合には、図１４Ｂのマーカ設定入力画面５００Ｂに示すように、２つ目のマーカの計測位置を入力するための入力欄５１５及び５１６が追加で現れる。ユーザは、教示ボタン５１５ａ、５１６ａを選択して、２つ目のマーカの計測位置の教示を行うことができる。ユーザが、マーカ設定入力画面５００を介して一つのマーカに関して設定入力を既に行っている場合、マーカ設定入力画面５００Ｂでは、一つ目のマーカ（マーカ１）の設定情報として、マーカ設定入力画面５００を介して入力された情報が利用可能な状態で反映される。このように、設定部１５４によるマーカ計測のための設定機能によれば、マーカ設定入力画面においてマーカ数のドロップダウンメニューにおいてマーカ数を２に変更することで、２つのマーカの計測の設定に簡単に移行することができる。

【0055】

マーカ設定入力画面５００或いはマーカ設定入力画面５００Ｂを介して入力されたマーカ計測に関する設定情報は、プログラムから参照可能なグローバルなメモリ領域にコピーし格納される。制御プログラム中にマーカ計測命令が含まれていると、そのマーカ計測命令は、上記グローバルなメモリ領域にある設定情報を用いてマーカ計測のための動作を行うことができる。

【0056】

図１５は、教示装置５０のマーカＵＩ作成部１５２及びマーカ設定入力受付部１５３による、マーカ計測設定を入力するためのインタフェースを提供して設定入力を受け付ける動作をフローチャートとして表したものである。ここでは、図１０に例示したような３つのマーカを計測するためのプログラムに関する場合のマーカＵＩ作成部１５２及びマーカ設定入力受付部１５３の動作について説明する。

【0057】

はじめに、マーカＵＩ作成部１５２は、第１のマーカ計測の設定入力を行うためのマーカＵＩ画面２２０を提示し、マーカ設定入力受付部１５３は、マーカＵＩ画面２２０を介して第１のマーカ計測のための設定入力を受け付ける（ステップＳ１０１）。続いて、マーカＵＩ作成部１５２は、第２のマーカ計測の設定入力を行うためのマーカＵＩ画面２２０を提示する（ステップＳ１０２）。この場合、マーカＵＩ作成部１５２は、第２のマーカの計測のためのマーカＵＩ画面２２０中に、第１のマーカの計測の設定として既に入力されている値をデフォルト値として反映させる。そして、マーカ設定入力受付部１５３は、第２のマーカのためのマーカＵＩ画面２２０を介して第２のマーカ計測のための設定入力を受け付ける（ステップＳ１０２）。第２のマーカのためのマーカＵＩ画面２２０には、第１のマーカのために既に入力した値が反映され利用可能となっているので、ユーザは、第２マーカの計測の設定のために特に必要な項目（例えば、第２のマーカの計測位置）のみ設定すればよい。

【0058】

続いて、マーカＵＩ作成部１５２は、第３のマーカ計測の設定入力を行うためのマーカＵＩ画面２２０を提示し、マーカ設定入力受付部１５３は、第３のマーカのためのマーカＵＩ画面２２０を介して第２のマーカ計測のための設定入力を受け付ける（ステップＳ１０３）。この場合にも、第３のマーカのためのマーカＵＩ画面２２０には、第１のマーカ及び第２のマーカのために既に入力した値が反映され利用可能となっているので、ユーザは、第３マーカの計測の設定のために特に必要な項目（例えば、第３のマーカの計測位置）のみ設定すればよい。

【0059】

このように、マーカＵＩ作成部１５２及びマーカ設定入力受付部１５３の機能によれば、第１のマーカの計測に関する第１の設定情報の入力を受け付け、第１のマーカに関して入力された第１の設定情報を利用できるやり方で、第２のマーカの計測に関する第２の設定情報の入力を受け付ける、ユーザインタフェースを提供する動作が実現される。なお、設定部１５４によってもこれと同等の動作が実現される。

【0060】

上述した実施形態における、教示装置５０が提供する機能は、次のように表現することもできる。すなわち、作業空間に設置されたマーカを視覚センサにより計測するプログラムを作成するために用いられる教示装置であって、マーカの計測に関する設定情報を入力するためのユーザインタフェースを作成するユーザインタフェース作成部（マーカＵＩ作成部１５２或いは設定部１５４）を備え、ユーザインタフェース作成部は、ユーザインタフェースにおいて、第１のマーカに関して入力された第１の設定情報を、第２のマーカに関する設定において利用可能とする、教示装置である。

【0061】

上述した実施形態におけるマーカ計測方法（図１１、図１２等）は、次のように表現することができる。すなわち、作業空間に設置されたマーカを視覚センサにより計測するための方法であって、第１のマーカについて計測を行い、第１のマーカの計測結果の精度を評価し、第１のマーカの計測結果の精度が所定のレベル未満である場合に、追加の１以上の前記マーカについて計測を行うこと、を含み、第１のマーカの計測に関する設定情報が、追加の１以上の前記マーカの各々の計測に関する設定情報として利用可能となっている、マーカ計測方法である。

【0062】

本実施形態によれば、複数のマーカの計測が必要になる状況においても、ユーザは、１つのマーカの計測についての設定を行う場合と同等のやり方で且つ容易に複数のマーカの計測について設定を行うことができる。

【0063】

以上、典型的な実施形態を用いて本発明を説明したが、当業者であれば、本発明の範囲から逸脱することなしに、上述の各実施形態に変更及び種々の他の変更、省略、追加を行うことができるのを理解できるであろう。

【0064】

上述の実施形態では、教示装置５０は、アイコンを用いたプログラミングを可能とするプログラミング装置として構成されていたが、教示装置５０は、テキストベースでのプログラミングを可能とするプログラミング装置として構成されていても良い。図１０に示した三つのマーカを計測するための命令アイコンに対応するテキストベースでのプログラムを以下に示す。

（計測プログラムの例）
ＦＩＮＤ ＭＡＲＫＥＲ
ＦＩＮＤ ＭＡＲＫＥＲ
ＦＩＮＤ ＭＡＲＫＥＲ
ＣＡＬＣＵＬＡＴＥ ＭＡＲＫＥＲＳ

上記計測プログラムにおいて、命令‘ＦＩＮＤ ＭＡＲＫＥＲ’は、一つのマーカの計測を行うための計測命令であり、上述のマーカ１点計測アイコン２１１に相当する。また、命令’ＣＡＬＣＵＬＡＴＥ ＭＡＲＫＥＲＳ’は、３つのマーカについての計測結果を統合してロボットと作業空間との相対位置関係を求める命令であり、上述のマーカ３点合成アイコン２３１に相当する。これらの命令に対する詳細設定の入力は、上述の実施形態と同様のやり方で、マーカ計測の設定入力のためのユーザインタフェース画面を介して行うようにしても良い。或いは、これらの命令文が、グローバルなメモリ領域にコピーされた設定情報を参照して動作するようにしても良い。

【0065】

上述の実施形態において図３に示した教示装置或いはロボット制御装置の機能ブロックは、教示装置或いはロボット制御装置のＣＰＵが、記憶装置に格納された各種ソフトウェアを実行することで実現されても良く、或いは、ＡＳＩＣ（Application Specific Integrated Circuit）等のハードウェアを主体とした構成により実現されても良い。

【0066】

上述した実施形態において示した各種処理を実行するプログラム（図１２に示した計測プログラム、図１５に示したユーザインタフェースを提供する動作のプログラムを含む）は、コンピュータに読み取り可能な各種記録媒体（例えば、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリ等の半導体メモリ、磁気記録媒体、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ等の光ディスク）に記録することができる。

【符号の説明】

【0067】

４ マーカ
１０ 工作機械
２０ ロボット
３０ ロボット制御装置
３１ プロセッサ
３２ メモリ
３３ 入出力インタフェース
３４ 操作部
５０ 教示装置
５１ プロセッサ
５２ メモリ
５３ 表示部
５４ 操作部
５５ 入出力インタフェース
７１ 視覚センサ
１００ ロボットシステム
１３１ 記憶部
１３２ 動作制御部
１３３ マーカ位置計測部
１３４ 相対位置計算部
１３５ 計測精度評価部
２００ アイコン表示領域
２１１ マーカ１点計測アイコン
２２０ マーカＵＩ画面
２３０ マーカ３点計測アイコン
３００ プログラム作成領域
４００ プログラム作成画面
５００、５００Ｂ マーカ設定入力画面

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14A】

【図14B】

【図15】