特許 7190552 ロボット教示システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2022-12-07

(45)【発行日】2022-12-15

(54)【発明の名称】ロボット教示システム

(51)【国際特許分類】

   B25J 9/22 20060101AFI20221208BHJP

【ＦＩ】

B25J9/22 A

【請求項の数】 6

(21)【出願番号】P 2021181000

(22)【出願日】2021-11-05

【審査請求日】2022-10-17

【早期審査対象出願】

(73)【特許権者】

【識別番号】000000262

【氏名又は名称】株式会社ダイヘン

(74)【代理人】

【識別番号】100079108

【弁理士】

【氏名又は名称】稲葉 良幸

(74)【代理人】

【識別番号】100109346

【弁理士】

【氏名又は名称】大貫 敏史

(74)【代理人】

【識別番号】100117189

【弁理士】

【氏名又は名称】江口 昭彦

(74)【代理人】

【識別番号】100134120

【弁理士】

【氏名又は名称】内藤 和彦

(74)【代理人】

【識別番号】100108213

【弁理士】

【氏名又は名称】阿部 豊隆

(72)【発明者】

【氏名】池口 誠人

【審査官】杉山 悟史

(56)【参考文献】

【文献】特許第６２７９０６０（ＪＰ，Ｂ１）

【文献】特表２０２０－５３４０５１（ＪＰ，Ａ）

【文献】特許第５２４５２１４（ＪＰ，Ｂ２）

【文献】特開平０２－２３５１１２（ＪＰ，Ａ）

【文献】特開２０２１－６２４６３（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｂ２５Ｊ １／００ ～ ２１／０２

(57)【特許請求の範囲】

【請求項1】

溶接対象と産業用ロボットに設置されたマーカとを含む画像を撮影する撮影部と、
前記画像に含まれるマーカを基準とするカメラ座標系を設定するカメラ座標系設定部と、
前記カメラ座標系において、前記画像に含まれる溶接対象の溶接位置に基づいて前記産業用ロボットの動作経路を設定する動作経路設定部と、
前記産業用ロボットに設置されたマーカの設置位置に基づいて、前記動作経路設定部によって設定された前記産業用ロボットの動作経路を、前記カメラ座標系からロボット制御装置に設定されているロボット座標系に変換しつつ、前記産業用ロボットを動作させるための作業プログラムを生成するプログラム生成部と、
を備える、ロボット教示システム。

【請求項2】

前記マーカは、前記産業用ロボットのうち、マニピュレータの先端に取り付けられるエンドエフェクタと同様に動作する先端部に設置される、
請求項１に記載のロボット教示システム。

【請求項3】

前記動作経路設定部は、前記画像を画像処理することにより溶接位置候補が検出され、当該溶接位置候補から抽出された溶接位置に基づいて前記産業用ロボットの動作経路を設定する、
請求項１又は２に記載のロボット教示システム。

【請求項4】

前記動作経路設定部は、前記溶接位置に対して、さらに設定される溶接の順番に基づいて前記産業用ロボットの動作経路を設定する、
請求項３に記載のロボット教示システム。

【請求項5】

前記動作経路設定部は、前記溶接位置と溶接トーチとの距離に応じて、溶接の要否を選択して、及び／又は溶接の順番を設定して前記産業用ロボットの動作経路を設定する、
請求項４に記載のロボット教示システム。

【請求項6】

前記溶接の順番は、特定方向から順に選択する、
請求項５に記載のロボット教示システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ロボット教示システムに関する。

【背景技術】

【0002】

近年、産業界において、多くのロボットが普及している。当該ロボットは、例えば、電子部品及び機械部品の組み立て、溶接及び搬送等に用いられ、工場の生産ラインの効率化及び自動化が図られている。このようなロボットは、所望の動作をさせるためのプログラムを作成して、所謂教示データとして予め記憶させておく必要がある。当該教示データは、操作者がティーチングペンダントを用いて、ロボット制御装置と連携し、実際のロボットを操作することによって、その動作を記録させて生成される。

【0003】

操作者がティーチングペンダントを用いて実際にロボットを動作させながら教示データを作成するには、操作者のスキルへの依存度が大きく、長時間を要する場合がある。特に、ロボットの精密な動作を記録する際には、ロボットの動作を詳しく理解してティーチングペンダントの操作にも慣れている熟練者に依存しなければならない。

【0004】

そして、操作者への負担を軽減するために、ＡＲデバイス及びマーカを用いてロボットの位置を認識するロボットシステムが開示されている（例えば、特許文献１）。

【0005】

特許文献１に開示されているロボットシステムでは、複数の基準用マーカとロボット座標系特定用マーカとを用いて、当該複数の基準用マーカに対するロボット座標系特定用マーカ上に設定された座標系の位置や向きを認識するように構成され、これにより、ロボットの位置又は向きをＡＲデバイスで認識できるようにしている。

【先行技術文献】

【特許文献】

【0006】

【文献】特開２０２１－６２４６３号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

しかしながら、特許文献１されているロボットシステムでは、複数の基準用マーカとロボット座標系特定用マーカとを設定しなければならず、また、ロボット教示システムにおいては、ロボット及び溶接箇所の位置を把握しつつ適切なロボット動作を考慮して、適切に作業プログラムを生成しなければならないという課題がある。

【0008】

そこで、本発明は、カメラで撮影した画像を用いて、適切に溶接位置に溶接可能な作業プログラムを生成するロボット教示システムを提供することを目的とする。

【課題を解決するための手段】

【0009】

本発明の一態様に係るロボット教示システムは、溶接対象と産業用ロボットに設置されたマーカとを含む画像を撮影する撮影部と、画像に含まれるマーカに基づいてカメラ座標系を設定するカメラ座標系設定部と、カメラ座標系において、画像に含まれる溶接対象の溶接位置に基づいて産業用ロボットの動作経路を設定する動作経路設定部と、産業用ロボットに設置されたマーカの設置位置に基づいて、動作経路設定部によって設定された産業用ロボットの動作経路を、カメラ座標系からロボット制御装置に設定されているロボット座標系に変換しつつ、産業用ロボットを動作させるための作業プログラムを生成するプログラム生成部と、を備える。

【0010】

この態様によれば、撮影部は、溶接対象と産業用ロボットに設置されたマーカとを含む画像を撮影し、カメラ座標系設定部は、画像に含まれるマーカに基づいてカメラ座標系を設定する。そして、プログラム生成部は、産業用ロボットに設置されたマーカの設置位置に基づいて、カメラ座標系において設定された産業用ロボットの動作経路を、ロボット制御装置に設定されているロボット座標系に変換しつつ、産業用ロボットを動作させるための作業プログラムを生成する。これにより、適切に溶接位置に溶接可能な作業プログラムを生成することができる。また、溶接対象とマーカとを同時に撮影するため、カメラ座標系からロボット座標系へ変換するキャリブレーションを行いつつ、溶接対象の溶接位置の検出を同時にすることができる。さらに、産業用ロボットにマーカが設定されているため、溶接対象の近傍にマーカが設置できない状況であっても、産業用ロボットに設定されたマーカに基づいて、溶接対象の溶接位置を適切に検出することができる。

【0011】

上記態様において、マーカは、産業用ロボットのうち、マニピュレータの先端に取り付けられるエンドエフェクタと同様に動作する先端部に設置されてもよい。

【0012】

この態様によれば、マーカは、産業用ロボットのうち、マニピュレータの先端に取り付けられるエンドエフェクタと同様に動作する先端部に設置されるため、マニピュレータを動作させれば、撮影部は、マーカが溶接対象の溶接位置に近接した状態で画像を撮影することができる。これにより、マーカと溶接位置との相対位置が近くなり、当該相対位置が近ければ近い程、誤差が生じ難くなる。

【0013】

上記態様において、動作経路設定部は、画像を画像処理することにより溶接位置候補が検出され、当該溶接位置候補から抽出された溶接位置に基づいて産業用ロボットの動作経路を設定してもよい。

【0014】

この態様によれば、画像を画像処理することにより溶接位置候補が検出され、当該溶接位置候補から溶接位置が抽出される。これにより、動作経路設定部は、より適切に抽出された溶接位置に基づいて産業用ロボットの動作経路を設定することができる。

【0015】

上記態様において、動作経路設定部は、溶接位置に対して、さらに設定される溶接の順番に基づいて産業用ロボットの動作経路を設定してもよい。

【0016】

この態様によれば、動作経路設定部は、溶接位置に対して、さらに設定される溶接の順番に基づいて産業用ロボットの動作経路を設定するため、設定される溶接の順番も考慮して、より適切に産業用ロボットの動作経路を設定することができる。

【0017】

上記態様において、動作経路設定部は、溶接位置と溶接トーチとの距離に応じて、溶接の要否を選択して、及び／又は溶接の順番を設定して産業用ロボットの動作経路を設定しもよい。

【0018】

この態様によれば、動作経路設定部は、溶接位置と溶接トーチとの距離に応じて、適切に、溶接の要否及び／又は溶接の順番を設定するため、より適切に、産業用ロボットの動作経路を設定することができる。

【0019】

上記態様において、溶接の順番は、特定方向から順に選択してもよい。

【0020】

この態様によれば、溶接の順番は、特定方向として、画像に含まれる溶接位置のうち、画像の上、下、左又は右から順に設定されたり、重力方向に対して下から上に向かう方向に順に設定されたりする。これにより、ワークの組み付けに応じて溶接時のワークの熱ひずみ等による突合せの誤差等を軽減し、また、ビードのたれ等を軽減することができる。

【発明の効果】

【0021】

本発明によれば、カメラで撮影した画像を用いて、適切に溶接位置に溶接可能な作業プログラムを生成するロボット教示システムを提供することができる。

【図面の簡単な説明】

【0022】

【図1】本発明の一実施形態に係るロボット教示システムを含む溶接ロボットシステム１００の構成を例示する図である。

【図2】本発明の一実施形態に係るロボット教示システム２００の機能的な構成を例示する図である。

【図3】溶接対象であるワークＷ、及びマーカＭが設置されている溶接ロボットシステムの様子を示す図である。

【図4】マーカＭをワークＷに近付ける様子を示す図である。

【図5】ワークＷとマーカＭとが含まれるように撮影された画像を示す図である。

【図6】撮影された画像に含まれるマーカＭに基づいてカメラ座標系が設定される様子を示す図である。

【図7】カメラ座標系において、画像に含まれるワークＷの溶接位置に基づいて溶接ロボットの動作経路が設定される様子を示す図である。

【図8】本発明の一実施形態に係るロボット教示システム２００が実行するロボット教示方法Ｍ１００の処理の流れを示すフローチャートである。

【発明を実施するための形態】

【0023】

以下、本発明の実施形態について、図面を参照しながら具体的に説明する。なお、以下で説明する実施形態は、あくまで、本発明を実施するための具体的な一例を挙げるものであって、本発明を限定的に解釈させるものではない。また、説明の理解を容易にするため、各図面において同一の構成要素に対しては可能な限り同一の符号を付して、重複する説明は省略する場合がある。

【0024】

＜一実施形態＞
［溶接ロボットシステムの基本構成］

【0025】

図１は、本発明の一実施形態に係るロボット教示システムを含む溶接ロボットシステム１００の構成を例示する図である。図１に示されるように、溶接ロボットシステム１００は、例えば、撮影端末１と、ロボット制御装置２と、マニピュレータ３とを備える。撮影端末１とロボット制御装置２とは、例えばネットワークＮを介して接続され、ロボット制御装置２とマニピュレータ３とは、例えば通信ケーブルＣを介して接続される。ネットワークＮは、有線（通信ケーブルを含む）であっても無線であってもよい。なお、溶接ロボットシステム１００に、ティーチングペンダントを含めてもよい。ティーチングペンダントは、作業者がマニピュレータ３の動作を教示する操作装置である。

【0026】

マニピュレータ３は、ロボット制御装置２において設定される施工条件に従ってアーク溶接を行う溶接ロボット（産業用ロボット）である。マニピュレータ３は、例えば、工場の床面等に固定されるベース部材上に設けられる多関節アーム３１と、多関節アーム３１の先端に連結される溶接トーチ３２（エンドエフェクタ）とを有する。

【0027】

ロボット制御装置２は、マニピュレータ３の動作を制御する制御ユニットであり、例えば、制御部２１、記憶部２２、通信部２３及び溶接電源部２４を含む。

【0028】

制御部２１は、例えば、記憶部２２に記憶されている作業プログラムをプロセッサが実行することで、マニピュレータ３及び溶接電源部２４を制御する。

【0029】

通信部２３は、ネットワークＮを介して接続される撮影端末１との通信を制御することや、通信ケーブルＣを介して接続されるマニピュレータ３との通信を制御する。

【0030】

溶接電源部２４は、例えば、溶接ワイヤの先端とワークとの間にアークを発生させるために、予め定められた溶接の施工条件に従って、溶接電流及び溶接電圧等をマニピュレータ３に供給する。溶接の施工条件には、例えば、溶接条件、溶接開始位置、溶接終了位置、アーク放電の時間、溶接距離、溶接トーチの姿勢及び溶接トーチの移動速度等のデータ項目が含まれる。溶接電源部２４は、ロボット制御装置２と別個に備えることとしてもよい。

【0031】

撮影端末１は、例えば、デジタルカメラであるが、デジタルカメラ付きの可搬型端末であってもよい。可搬型端末には、例えば、タブレット端末、スマートフォン、携帯情報端末（ＰＤＡ）、ノートＰＣ（パーソナルコンピュータ）等の持ち運び可能な端末が含まれる。撮影端末１は、例えば、制御部１１、撮影部１２、通信部１３、表示部１４を含む。

【0032】

制御部１１は、メモリに格納された所定のプログラムをプロセッサが実行することにより、撮影端末１の各部を制御する。

【0033】

撮影部１２は、例えば、レンズ及び撮像素子（イメージセンサ）を含み、レンズで受光した被写体の光を電気信号（デジタル画像データ）に変換する。

【0034】

通信部１３は、ネットワークＮを介して接続されるロボット制御装置２との通信を制御する。

【0035】

表示部１４は、例えば、タッチパネルを有するディスプレイであり、撮影部１２による被写体の映像を表示するとともに、作業者による操作指示等の入力を受け付ける。表示部１４は、例えばタッチパネルを有するディスプレイ装置として、撮影端末１とは別個に備えることとしてもよい。

【0036】

［ロボット教示システムの構成］
図２は、本発明の一実施形態に係るロボット教示システム２００の機能的な構成を例示する図である。図２に示されるように、ロボット教示システム２００は、機能的な構成として、例えば、撮影部２１１と、カメラ座標系設定部２１２と、動作経路設定部２１３と、プログラム生成部２１４とを有する。これらの機能のうち、撮影部２１１は、撮影端末１が有する機能である。他方、カメラ座標系設定部２１２、動作経路設定部２１３及びプログラム生成部２１４は、撮影端末１及びロボット制御装置２のどちらかが全てを備えてもよいし、撮影端末１及びロボット制御装置２に各機能を分散して備えてもよい。また、撮影端末１及びロボット制御装置２以外の他の装置が、上記機能の一部又は全部を備えてもよい。

【0037】

撮影部２１１は、撮影端末１の撮影部１２と同じである。本実施形態に係る撮影部２１１は、ワークとマニピュレータ３に設置されたマーカとを含む画像を撮影する。例えば、撮影部２１１は、ワークとマニピュレータ３の先端に取り付けられる溶接トーチ３２に設定されたマーカとが同時に含まれる画像を撮影する。また、当該画像の撮影時における、ロボット制御装置２が制御するマニピュレータ３の位置姿勢に関する情報は、当該画像と関連付けられて記憶され、後述するカメラ座標系とロボット座標系とのキャリブレーションに用いられる。

【0038】

カメラ座標系設定部２１２は、撮影部２１１によって撮影された画像に含まれるマーカに基づいてカメラ座標系を設定する。例えば、カメラ座標系設定部２１２は、撮影部２１１によって撮影された画像において、マーカの位置を原点として、当該原点で互いに直交するＸ軸、Ｙ軸及びＺ軸による三次元の直交座標系をカメラ座標系として設定する。

【0039】

動作経路設定部２１３は、カメラ座標系設定部２１２によって設定されたカメラ座標系において、撮影部２１１によって撮影された画像に含まれるワークの溶接位置に基づいてマニピュレータ３の動作経路を設定する。例えば、動作経路設定部２１３は、撮影部２１１によって撮影された画像において、マニピュレータ３の先端に取り付けられた溶接トーチ３２がワークの溶接位置に沿って動作するように、マニピュレータ３（溶接トーチ３２）の動作経路をユーザが手動で選択したり、当該溶接位置と溶接トーチ３２との距離を算出して自動的に設定したりする。なお、溶接位置は、撮影部２１１によって撮影された画像を画像処理することにより溶接位置候補を検出し、当該溶接位置候補からユーザが選択することにより抽出されるようにしてもよい。また、溶接位置は、溶接位置候補からユーザが選択することにより抽出されることに限定されるものではなく、例えば、予め設定された条件に従って溶接位置候補から自動的に抽出されるようにしても構わない。

【0040】

プログラム生成部２１４は、マニピュレータ３に設置されたマーカの設置位置に基づいて、動作経路設定部２１３によって設定されたマニピュレータ３の動作経路を、カメラ座標系からロボット制御装置２に設定されているロボット座標系に変換しつつ、マニピュレータ３を動作させるための作業プログラムを生成する。

【0041】

具体的には、上述したように、動作経路設定部２１３は、撮影部２１１によって撮影された画像に基づいて、カメラ座標系設定部２１２によって設定されたカメラ座標系において、マニピュレータ３の動作経路を設定している。一方、ロボット制御装置２は、マニピュレータ３に設置されたマーカの設置位置を把握しており、当該マーカの設置位置に基づくロボット座標系を保持している。プログラム生成部２１４は、マーカの設置位置に基づいて、カメラ座標系におけるマニピュレータ３の動作経路をロボット座標系に変換して、マニピュレータ３が実際に動作する経路を設定し、適切に溶接位置に溶接するように作業プログラムを生成する。

【0042】

ここで、カメラ座標系からロボット座標系への変換について説明する。プログラム生成部２１４は、撮影部２１１によって撮影された画像に基づくマニピュレータ３の位置姿勢に関する情報を取得し、より具体的には、少なくともマーカに基づいて設定されたカメラ座標系における溶接トーチ３２の位置姿勢に関する情報を取得する。一方で、プログラム生成部２１４は、当該画像の撮影時における、ロボット制御装置２が制御するマニピュレータ３の位置姿勢に関する情報を取得する。ロボット制御装置２が制御するマニピュレータ３の位置姿勢に関する情報とは、ロボット制御装置２が制御するマニピュレータ３の各軸の角度に関する情報等であって、当該情報からマニピュレータ３の位置姿勢を把握することができる（ロボット座標系）。そして、撮影部２１１によって撮影された画像に含まれるマーカに基づいて設定されたカメラ座標系における溶接トーチ３２の位置姿勢に関する情報（カメラ座標系）と、当該画像の撮影時における、ロボット制御装置２が制御するマニピュレータ３の位置姿勢に関する情報（ロボット座標系）とに基づいて、カメラ座標系からロボット座標系へ変換することができる。

【0043】

すなわち、撮影部２１１によって撮影された画像に含まれるマーカを基準（原点）とするカメラ座標系と、当該画像の撮影時におけるロボット制御装置２が制御する各軸の角度を基準とするロボット座標系とを一致させるためのキャリブレーションを行なっている。なお、撮影端末１とロボット制御装置２とは、上述したようにネットワークＮで接続されているため、撮影端末１による画像の撮影時に、ロボット制御装置２が制御するマニピュレータ３の各軸の角度に関する情報等を記憶しておけばよい。

【0044】

プログラム生成部２１４は、上述したように、撮影部２１１によって撮影された画像に含まれるマニピュレータ３の位置姿勢に関する情報（カメラ座標系）と、当該画像の撮影時におけるロボット制御装置２によって把握されているマニピュレータ３の位置姿勢に関する情報（ロボット座標系）とを用いて、カメラ座標系におけるマニピュレータ３の動作経路をロボット座標系に変換して、マニピュレータ３が実際に動作する経路を設定すればよい。

【0045】

このように、ロボット教示システム２００では、撮影部２１１で撮影したワークとマーカとを含む画像を用いて、マニピュレータ３が適切に溶接位置に溶接する作業プログラムを生成している。そして、当該作業プログラムは、ロボット制御装置２における記憶部に記憶され、当該ロボット制御装置２は、作業プログラムに基づいてマニピュレータ３の動作を制御し、これにより、溶接ロボットシステムとして、ワークの溶接位置に適切に溶接することができる。

【0046】

［ロボット教示システムの各処理における具体的な様子］
次に、撮影端末１を用いて画像を撮影し、適切に溶接位置に溶接可能な作業プログラムを生成するまでの具体的な様子について、詳しく説明する。

【0047】

図３は、溶接対象であるワークＷ、及びマーカＭが設置されている溶接ロボットシステムの様子を示す図である。図３に示されるように、ワークＷは、底板となる１枚のワークＷａと、側板となる２枚のワークＷｂ，Ｗｃとで構成される構造物であり、マーカＭは、マニピュレータ３の先端に取り付けられる溶接トーチ３２（エンドエフェクタ）に設置されている。

【0048】

ここで、ロボット制御装置２は、予め設定されたロボット座標系において、多関節アーム３１及び溶接トーチ３２を有するマニピュレータ３を動作させる位置及び方向等を制御する。マーカＭは、当該ロボット座標系と後述するカメラ座標系とのキャリブレーションの基準となるものであって、ロボット制御装置２は、当該マーカＭが設定されている位置を正確に把握しておく必要がある。マーカＭは、ロボット制御装置２が把握する予め決められた位置に正確に設置されていることが好ましい。

【0049】

図４は、マーカＭをワークＷに近付ける様子を示す図である。図４に示されるように、例えば、マニピュレータ３を動作させることにより、溶接トーチ３２に設置されているマーカＭをワークＷに近付けている。マーカＭとワークＷとが近付けられた状態であれば、撮影部２１１によってマーカＭとワークＷとが同時に含まれる画像を撮影し易く、また、マーカＭとワークＷとの距離（相対位置）が小さくなることによって、測定誤差による影響を軽減させることができる。

【0050】

図５は、ワークＷとマーカＭとが含まれるように撮影された画像を示す図である。図５に示されるように、撮影部２１１によってワークＷとマーカＭとが同時に含まれる画像が撮影されている。例えば、撮影部２１１によって撮影される画像は、ワークＷのうち溶接位置の候補となる箇所やマーカＭの一部が欠けている、歪んでいる、周辺機器等と干渉している、ぼやけている等が発生しないように、撮影部２１１は、ワークＷのうち溶接位置の候補となる箇所、及びマーカＭを適切に撮影している。

【0051】

換言すると、マーカＭは、マニピュレータ３の溶接トーチ３２に、ズレたり、歪んだり、破損し難いように設定し、ワークＷのうち溶接位置の候補となる箇所、及びマーカＭが適切に同時に撮影できるように、マニピュレータ３を動作させて溶接トーチ３２に設置されているマーカＭをワークＷに近付ける必要がある。

【0052】

なお、ここでは、マーカＭは、溶接トーチ３２に設置しているが、これに限定されるものではなく、マニピュレータ３を動作させることにより、ワークＷのうち溶接位置の候補となる箇所と同時に適切に撮影されるのであれば、例えば、溶接トーチ３２の近傍や溶接ロボット（マニピュレータ３）のその他の位置に設置されても構わない。ここで、マーカＭは、マニピュレータ３の先端に取り付けられる溶接トーチ３２（エンドエフェクタ）と同様に動作する先端部に取り付けられる。

【0053】

例えば、マーカＭは、エンドエフェクタ（溶接トーチ３２）に設定されてもよいし、エンドエフェクタをマニピュレータ３に取り付けるためのブラケットに設定されてもよいし、マニピュレータ３の６軸駆動部分に設定されてもよい。

【0054】

このように、マーカＭは、マニピュレータ３の先端に取り付けられる溶接トーチ３２（エンドエフェクタ）と同様に動作する先端部に設定されることによって、当該マーカＭと溶接トーチ３２（例えば、ＴＣＰ：Ｔｏｏｌ Ｃｅｎｔｅｒ Ｐｏｓｉｔｉｏｎ）との位置関係が変化せずに維持される。これにより、溶接位置に対して適切に溶接するために溶接ロボットの動作経路を設定する際に、ＴＣＰを容易に特定することができ、演算量を軽減することができる。仮に、マーカＭとＴＣＰとの位置関係が、マニピュレータ３の位置姿勢に応じて変化してしまうと、ＴＣＰを特定する際に、当該マニピュレータ３の位置姿勢を考慮しなければならず、演算量が増加する可能性がある。

【0055】

図６は、撮影された画像に含まれるマーカＭに基づいてカメラ座標系が設定される様子を示す図である。図６に示されるように、撮影部２１１によって撮影された画像からマーカＭが検出され、マーカＭの位置を原点Ｏとし、その原点Ｏで互いに直交するＸ軸、Ｙ軸及びＺ軸による三次元の直交座標系が、カメラ座標系として設定されている。

【0056】

ここで、マーカＭは、空間内に置かれていることを撮影部２１１に認識させることができる識別子であればよい。マーカとして、例えばＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）マーカを用いることが好ましい。ＡＲマーカを用いることで、空間内に置かれたＡＲマーカを認識したときに、そのＡＲマーカを原点とするカメラ座標系を、実際の映像に重ね合わせて表示させることが簡易に実現できるようになる。

【0057】

さらに、図６に示されるように、ワークＷの溶接線Ｌ１，Ｌ２及びＬ３が抽出されている。具体的には、ワークＷは、底板となる１枚のワークＷａと、側板となる２枚のワークＷｂ，Ｗｃとで構成される構造物であって溶接対象として表示されており、それぞれワークＷａ，Ｗｂ及びＷｃの交線Ｌ１，Ｌ２及びＬ３が溶接線として抽出されている。

【0058】

溶接線Ｌ１，Ｌ２及びＬ３を抽出する方法としては、例えば、撮影部２１１によって撮影された画像を、タブレット端末等の表示画面（例えば、撮影端末１の表示部１４）に表示し、ユーザが選択することにより抽出してもよい。具体的には、表示画面に表示された画像において、ユーザが指でなぞることにより、溶接線Ｌ１，Ｌ２及びＬ３を抽出してもよい。

【0059】

ここで、実際の溶接位置にマーカを設置する場合、当該マーカに、例えば、溶接トーチ３２の先端が溶接位置に対する姿勢、溶接速度、溶接順序、及び詳細な狙い位置等の情報を含ませても構わない。具体的には、マーカに、溶接トーチ３２の先端が溶接位置に対して４５度で接触する指示情報が含まれていれば、当該マーカに基づいてマニピュレータ３の姿勢を設定することも可能になる。また、複数の溶接位置（溶接線）がある場合、各マーカに溶接順序が含まれていれば、マニピュレータ３の動作経路を設定することも可能になる。

【0060】

また、３Ｄカメラを用いて、溶接線Ｌ１，Ｌ２及びＬ３を自動的に抽出してもよい。具体的には、例えば、ＬｉＤＡＲ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ）センサ等の距離計測センサを用いて、撮影部２１１によって撮影された画像のワークＷに対応する点群データを取得する。そして、当該カメラ座標系に描画された点群データに基づいて、ワークＷの形状を認識し、直線として認識した部分を溶接線として抽出してもよい。

【0061】

なお、溶接線Ｌ１，Ｌ２及びＬ３を抽出する方法としては、これらに限定されるものではなく、撮影部２１１によって撮影された画像から、適切に溶接線Ｌ１，Ｌ２及びＬ３を抽出できるのであれば、例えば、その他の画像処理等を用いることによって溶接線Ｌ１，Ｌ２及びＬ３を抽出しても構わない。

【0062】

図７は、カメラ座標系において、画像に含まれるワークＷの溶接位置に基づいて溶接ロボットの動作経路が設定される様子を示す図である。図７に示されるように、溶接線Ｌ１，Ｌ２及びＬ３が順に溶接されるように、マニピュレータ３の動作経路が設定される。

【0063】

マニピュレータ３の動作経路は、例えば、タブレット端末等の表示画面上において、溶接線Ｌ１，Ｌ２及びＬ３をユーザが選択することにより設定してもよい。ユーザは、溶接線Ｌ１，Ｌ２及びＬ３に対して、溶接する順番を設定したり、溶接の方向を指でなぞったり、溶接の速度を設定したりしてもよい。

【0064】

また、マニピュレータ３の動作経路は、例えば、溶接線Ｌ１，Ｌ２及びＬ３と溶接トーチ３２との距離に応じて設定してもよい。具体的には、溶接トーチ３２との距離が近い溶接線から溶接を開始するように設定したり、溶接線Ｌ１，Ｌ２及びＬ３全てを溶接する場合において溶接トーチ３２の移動距離が短くなるように、溶接ロボットの動作経路を設定したりしてもよい。

【0065】

なお、溶接線Ｌ１，Ｌ２及びＬ３を溶接するためのマニピュレータ３の動作経路を設定する方法としては、これらに限定されるものではなく、適切に溶接線Ｌ１，Ｌ２及びＬ３を溶接できるのであれば、例えば、ＡＩ等を用いて、マニピュレータ３の動作経路を設定しても構わない。

【0066】

具体的には、マニピュレータ３の動作経路として、画像に含まれる溶接位置のうち、当該画像の上、下、左又は右から順に選択して溶接するように設定されても構わない。例えば、ワークを左右に繋げているのか、上下に重ねているのか等の組み付けに応じた方向を指定する。これにより、溶接時のワークの熱ひずみ等による突合せの誤差等を軽減することができる。

【0067】

また、マニピュレータ３の動作経路として、画像に含まれる溶接位置のうち、重力方向に対して下から上に向かう方向に順に選択して溶接するように設定されても構わない。例えば、撮影端末１に含まれるジャイロセンサ情報、又はロボット制御装置２に含まれるマニピュレータ３の設置情報を用いて、重力方向を定義した上で、溶接線を下から上に向かう方向に順に選択するようにする。これにより、溶接時のワークの熱ひずみ等の影響及びビードのたれ等を軽減することができる。

【0068】

このように、撮影部２１１によって撮影された画像にカメラ座標系を設定し、当該カメラ座標系において、マニピュレータ３の動作経路を設定している。

【0069】

そして、プログラム生成部２１４は、カメラ座標系において設定されたマニピュレータ３の動作経路を、マニピュレータ３に設置されたマーカＭの設置位置に基づいて、ロボット座標系に変換しつつ、当該ロボット座標系においてマニピュレータ３を動作させるための作業プログラムを生成する。すなわち、プログラム生成部２１４は、カメラ座標系とロボット座標系とを一致させるためのキャリブレーションを行いつつ、カメラ座標系で設定されたマニピュレータ３の動作経路をロボット座標系に変換した動作経路に基づいて作業プログラムを生成している。当該キャリブレーションにおいて、上述したように、撮影部２１１によって撮影された画像に含まれるマニピュレータ３の位置姿勢に関する情報（カメラ座標系）と、当該画像の撮影時におけるロボット制御装置２によって把握されているマニピュレータ３の位置姿勢に関する情報（ロボット座標系）とが用いられる。

【0070】

［ロボット教示方法］
次に、ロボット教示システム２００がカメラで撮影した画像を用いて、適切に溶接位置に溶接可能な作業プログラムを生成するロボット教示方法について、具体的に詳しく説明する。

【0071】

図８は、本発明の一実施形態に係るロボット教示システム２００が実行するロボット教示方法Ｍ１００の処理の流れを示すフローチャートである。図８に示されるように、ロボット教示方法Ｍ１００は、ステップＳ１０１～Ｓ１０４を含み、各ステップは、ロボット教示システム２００に含まれるプロセッサによって実行される。

【0072】

ステップＳ１０１では、ロボット教示システム２００は、溶接対象と溶接ロボットに設置されたマーカとを含む画像を撮影する。具体例としては、ロボット教示システム２００における撮影部２１１は、溶接対象となるワークＷとマニピュレータ３の先端に取り付けられる溶接トーチ３２に設置されているマーカＭとか同時に含まれる画像を撮影する。また、当該撮影時における、ロボット制御装置２が制御するマニピュレータ３の各軸の角度に関する情報等は、当該撮影された画像と関連して記憶される。

【0073】

ステップＳ１０２では、ロボット教示システム２００は、ステップＳ１０１で撮影された画像に含まれるマーカに基づいてカメラ座標系を設定する。具体例としては、ロボット教示システム２００におけるカメラ座標系設定部２１２は、画像に含まれるマーカＭの位置を原点Ｏとして、当該原点Ｏで互いに直交するＸ軸、Ｙ軸及びＺ軸による三次元の直交座標系をカメラ座標系として設定する。

【0074】

ステップＳ１０３では、ロボット教示システム２００は、ステップＳ１０２で設定されたカメラ座標系において、画像に含まれる溶接対象の溶接位置に基づいて溶接ロボットの動作経路を設定する。具体例としては、ロボット教示システム２００における動作経路設定部２１３は、カメラ座標系において、マニピュレータ３の先端に取り付けられた溶接トーチ３２がワークの溶接位置に沿って動作するように、マニピュレータ３の動作経路を設定する。

【0075】

ステップＳ１０４では、ロボット教示システム２００は、溶接ロボットに設置されたマーカの設置位置に基づいて、ステップＳ１０３で設定された溶接ロボットの動作経路を、カメラ座標系からロボット制御装置２に設定されているロボット座標系に変換しつつ、溶接ロボットを動作させるための作業プログラムを生成する。具体例としては、ステップＳ１０３で動作経路設定部２１３は、カメラ座標系におけるマニピュレータ３の動作経路を設定している。ロボット制御装置２は、マニピュレータ３に設置されたマーカＭの設置位置を基準にしてロボット座標系を保持しているため、プログラム生成部２１４は、カメラ座標系におけるマニピュレータ３の動作経路をロボット座標系に変換して、マニピュレータ３が実際に動作する経路を設定し、適切に溶接位置に溶接するように作業プログラムを生成する。

【0076】

以上のように、本発明の一実施形態に係るロボット教示システム２００及びロボット教示方法Ｍ１００によれば、撮影部２１１は、溶接対象となるワークＷとマニピュレータ３に設置されたマーカＭとを含む画像を撮影し、カメラ座標系設定部２１２は、画像に含まれるマーカＭに基づいてカメラ座標系を設定する。そして、プログラム生成部２１４は、マニピュレータ３に設置されたマーカＭの設置位置に基づいて、カメラ座標系において設定されたマニピュレータ３の動作経路を、ロボット制御装置２に設定されているロボット座標系に変換しつつ、マニピュレータ３を動作させるための作業プログラムを生成する。これにより、適切に溶接位置に溶接可能な作業プログラムを生成することができる。

【0077】

その結果、マニピュレータ３を精密に動作させながら作業プログラムを生成するという操作者のスキルへ依存したロボット教示方法を実施しなくても、カメラで撮影した画像を用いることによって、操作者のスキルへの依存を軽減して、効率よく作業プログラムを生成することができる。

【0078】

なお、本実施形態では、マーカＭは、マニピュレータ３の溶接トーチ３２に１個設定していたが、これに限定されるものではなく、例えば、複数個設定しても構わない。

【0079】

例えば、撮影部２１１によってワークＷとマーカＭとが含まれるように撮影しようとした場合、撮影端末１、ワークＷ及びマーカＭの位置関係によっては、ワークＷやマーカＭの一部が撮影されなかったり、影になったり、撮影角度が適切でなかったりする影響で、マーカＭとワークＷとが同時に含まれる画像が適切に撮影できない場合が考えられる。この場合、マニピュレータ３の溶接トーチ３２に設定したマーカＭと、反対（裏）側にもマーカＭを設定すれば、撮影部２１１によって、ワークＷと、当該２つのマーカＭのうち１つのマーカＭとが含まれように画像を撮影すればよい。すなわち、撮影端末１、ワークＷ及び複数のマーカＭの位置関係に応じて、ワークＷと、複数のマーカＭのいずれかとを同時に鮮明に撮影することができる。

【0080】

なお、複数のマーカＭは、２つに限定されるものではなく、例えば、溶接トーチ３２の周囲を囲うように３つ又は４つ以上のマーカＭを設定しても構わないし、溶接トーチ３２のうち上下方向に複数設定しても構わない。

【0081】

このように、マーカＭを複数設置することで、撮影部２１１によって鮮明にマーカＭが撮影されることにより精度が向上し、さらに、姿勢による制限が緩和される。

【0082】

また、撮影部２１１によって複数の画像を撮影しても構わない。例えば、ワークＷのうち溶接位置が広範囲に亘る場合には、マーカＭを近接させた後、当該マーカＭとワークＷのうちの溶接位置の一部とが同時に含まれる画像を、複数回に分割して撮影する。そして、複数回に分割して撮影した画像を、それぞれの画像に含まれるマーカＭに基づいて、重ね合わせることにより、溶接位置が広範囲に亘る場合であっても、適用することができる。

【0083】

さらに、ワークＷのうちの溶接位置とマーカＭとが同時に含まれる画像を、例えば、異なる角度から複数回撮影しても構わない。そして、複数回撮影した画像を、それぞれの画像に含まれるマーカＭに基づいて、重ね合わせることにより、カメラ座標系における溶接位置を平均化すれば、各撮影誤差及び測定誤差を軽減し、位置精度を向上させることができる。

【0084】

なお、本実施形態では、ＬｉＤＡＲセンサ等の距離計測センサを用いて、画像から溶接線Ｌ１，Ｌ２及びＬ３を抽出する例を示したが、当該ＬｉＤＡＲセンサから取得される点群データを利用して、周辺環境等を把握しても構わない。例えば、ワークＷの形状、載置台及びその他障害物等を把握すれば、これらとの干渉を回避しつつ、マニピュレータ３の動作経路を設定することが可能となる。

【0085】

以上説明した実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。実施形態が備える各要素並びにその配置、材料、条件、形状及びサイズ等は、例示したものに限定されるわけではなく適宜変更することができる。また、異なる実施形態で示した構成同士を部分的に置換し又は組み合わせることが可能である。

【符号の説明】

【0086】

１…撮影端末、２…ロボット制御装置、３…マニピュレータ、１１…制御部、１２…撮影部、１３…通信部、１４…表示部、２１…制御部、２２…記憶部、２３…通信部、２４…溶接電源部、３１…多関節アーム、３２…溶接トーチ、１００…溶接ロボットシステム、２００…ロボット教示システム、２１１…撮影部、２１２…カメラ座標系設定部、２１３…動作経路設定部、２１４…プログラム生成部、Ｃ…通信ケーブル、Ｍ…マーカ、Ｎ…ネットワーク、Ｗ，Ｗａ，Ｗｂ，Ｗｃ…ワーク、Ｌ１，Ｌ２，Ｌ３…溶接線、Ｍ１００…ロボット教示方法、Ｓ１０１～Ｓ１０４…ロボット教示方法Ｍ１００の各ステップ

【要約】

【課題】カメラで撮影した画像を用いて、適切に溶接位置に溶接可能な作業プログラムを生成するロボット教示システムを提供することである。
【解決手段】ロボット教示システム２００は、溶接対象と産業用ロボットに設置されたマーカとを含む画像を撮影する撮影部２１１と、画像に含まれるマーカに基づいてカメラ座標系を設定するカメラ座標系設定部２１２と、カメラ座標系において、画像に含まれる溶接対象の溶接位置に基づいて産業用ロボットの動作経路を設定する動作経路設定部２１３と、産業用ロボットに設置されたマーカの設置位置に基づいて、動作経路設定部２１３によって設定された産業用ロボットの動作経路を、カメラ座標系からロボット制御装置２に設定されているロボット座標系に変換しつつ、産業用ロボットを動作させるための作業プログラムを生成するプログラム生成部２１４と、を備える。
【選択図】図２

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】