特開 2023-125925 動作プログラムの補正方法、溶接システム、およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023125925

(43)【公開日】2023-09-07

(54)【発明の名称】動作プログラムの補正方法、溶接システム、およびプログラム

(51)【国際特許分類】

   G06T 7/32 20170101AFI20230831BHJP

   B23K 9/127 20060101ALI20230831BHJP

   B25J 9/22 20060101ALN20230831BHJP

【ＦＩ】

G06T7/32

B23K9/127 509E

B25J9/22 A

【審査請求】未請求

【請求項の数】9

【出願形態】ＯＬ

(21)【出願番号】P 2022030291

(22)【出願日】2022-02-28

(71)【出願人】

【識別番号】000001199

【氏名又は名称】株式会社神戸製鋼所

(74)【代理人】

【識別番号】110002000

【氏名又は名称】弁理士法人栄光事務所

(72)【発明者】

【氏名】木村 雄士

(72)【発明者】

【氏名】小池 武

【テーマコード（参考）】

3C707

5L096

【Ｆターム（参考）】

3C707AS11

3C707BS10

3C707BS26

3C707CS05

3C707KS03

3C707KT01

3C707KT02

3C707KT05

3C707LS05

3C707LS14

3C707LV04

5L096BA05

5L096DA02

5L096FA67

5L096FA69

5L096GA08

5L096JA09

(57)【要約】

【課題】人手による作業時間の短縮や作業の簡素化が可能な溶接ロボットの動作プログラムの補正方法を提供する。
【解決手段】溶接ロボットの動作プログラムの補正方法であって、所定の方向から撮像装置により撮影された、被溶接部材が設置されていない状態の第１の画像と、前記被溶接部材が設置されている状態の第２の画像を取得し、前記第１の画像と前記第２の画像とを比較することにより、前記第２の画像における前記被溶接部材に対応する領域を特定し、前記特定された領域と、前記被溶接部材に対応する３次元ＣＡＤデータの前記所定の方向に対応する向きの形状とを、少なくとも２点にて位置合わせすることにより、前記被溶接部材の位置を特定し、前記特定された位置に基づいて、前記溶接ロボットを動作させるための動作プログラムにて用いられる座標情報を補正する。
【選択図】図４

【特許請求の範囲】

【請求項1】

溶接ロボットの動作プログラムの補正方法であって、
所定の方向から撮像装置により撮影された、被溶接部材が設置されていない状態の第１の画像と、前記被溶接部材が設置されている状態の第２の画像を取得する取得工程と、
前記第１の画像と前記第２の画像とを比較することにより、前記第２の画像における前記被溶接部材に対応する領域を特定する第１の特定工程と、
前記第１の特定工程にて特定された領域と、前記被溶接部材に対応する３次元ＣＡＤデータの前記所定の方向に対応する向きの形状とを、少なくとも２点にて位置合わせすることにより、前記被溶接部材の位置を特定する第２の特定工程と、
前記第２の特定工程にて特定された位置に基づいて、前記溶接ロボットを動作させるための動作プログラムにて用いられる座標情報を補正する補正工程と、
を有することを特徴とする動作プログラムの補正方法。

【請求項2】

前記第２の特定工程において、前記第１の特定工程にて特定された領域の位置と、当該位置に対応する前記被溶接部材の位置との誤差が、前記溶接ロボットにて行われるセンシング動作にて許容可能な誤差の範囲内となるように、前記被溶接部材の位置を特定する、ことを特徴とする請求項１に記載の動作プログラムの補正方法。

【請求項3】

前記少なくとも２点は、３次元ＣＡＤデータに登録されている特徴点である、ことを特徴する請求項１または２に記載の動作プログラムの補正方法。

【請求項4】

少なくとも１つの被溶接部材が配置されており、
前記撮像装置は、撮影位置を切り替えながら複数回の撮影を行い、
前記取得工程において、前記複数回の撮影により得られた複数の画像を合成することにより、前記少なくとも１つの被溶接部材の全体が含まれる１の画像を生成する、
ことを特徴とする請求項１～３のいずれか一項に記載の動作プログラムの補正方法。

【請求項5】

前記複数回の撮影それぞれにおいて撮像した位置の位置情報が取得され、
前記取得工程において、前記位置情報に基づいて前記複数の画像が合成され、
前記第１の特定工程においては、前記位置情報に基づいて前記第１の画像と前記第２の画像との比較を行う、
ことを特徴とする請求項４に記載の動作プログラムの補正方法。

【請求項6】

前記第２の特定工程において、前記所定の方向における座標を、前記第１の特定工程にて特定された領域のサイズと、前記被溶接部材に対応する３次元ＣＡＤデータのサイズとの比率に基づいて特定する、
ことを特徴とする請求項１～５のいずれか一項に記載の動作プログラムの補正方法。

【請求項7】

前記所定の方向は、高さ方向である、ことを特徴とする請求項１～６のいずれか一項に記載の動作プログラムの補正方法。

【請求項8】

溶接ロボットと、
撮像装置と、
請求項１～７のいずれか一項に記載の動作プログラムの補正方法を用いて動作プログラムを補正し、前記溶接ロボットを制御する制御部と
を備える溶接システム。

【請求項9】

コンピュータに、
所定の方向から撮像装置により撮影された、被溶接部材が設置されていない状態の第１の画像と、前記被溶接部材が設置されている状態の第２の画像を取得する取得工程と、
前記第１の画像と前記第２の画像とを比較することにより、前記第２の画像における前記被溶接部材に対応する領域を特定する第１の特定工程と、
前記第１の特定工程にて特定された領域と、前記被溶接部材に対応する３次元ＣＡＤデータの前記所定の方向に対応する向きの形状とを、少なくとも２点にて位置合わせすることにより、前記被溶接部材の位置を特定する第２の特定工程と、
前記第２の特定工程にて特定された位置に基づいて、溶接ロボットを動作させるための動作プログラムにて用いられる座標情報を補正する補正工程と、
を実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、動作プログラムの補正方法、溶接システム、およびプログラムに関する。

【背景技術】

【0002】

現在、種々の産業分野でロボットが使用されている。産業用のロボットの代表的なものに溶接ロボットがある。溶接作業に至っては、各施工条件に合わせ最適な溶接条件を設定した動作プログラムを用いて、溶接ロボットを稼働させている。このような施工条件、溶接条件の設定においては多数の要素、パラメータ、これらの組み合わせが存在する。

【0003】

溶接ロボットの動作プログラムは、溶接対象である被溶接部材が所定の位置に位置決めされた前提で設定がなされている。しかしながら、実際の溶接作業では、被溶接部材の位置は、上記のような所定の位置に必ずしも配置されているわけではない。所定の位置から被溶接部材がずれて配置された場合、溶接作業に支障が生じたり、溶接物の品質の低下につながったりする。

【0004】

例えば、特許文献１では、実際の被溶接部材の配置位置に応じて、３次元ＣＡＤデータと、被溶接部材の画像データから得られ画像内頂点とを対応付けて差分を取得し、その差分に基づいて溶接ロボットの動作プログラムを補正する方法が記載されている。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２０１８－１５３９０５号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

特許文献１の手法では、対象とする被溶接部材をセンサが撮像できるよう位置決めしたうえで画像データを取得している。実際の溶接施工現場においては、施工現場が広いうえに、数多くの被溶接部材が配置されている。そのため、被溶接部材ごとの所望の画像が得られるように溶接ロボットが備えるカメラの位置決めを行い、撮像をする必要がある。このような、実際の被溶接部材の位置を特定するための作業には、人手と時間を要するため作業負荷が高いものとなっていた。その結果、実際に設置された被溶接部材の位置に対応して、動作プログラムを補正する場合の作業負荷の高いものとなっていた。そのため、溶接施工現場において、動作プログラムの補正等の人手による作業時間の短縮や作業の簡素化が求められている。

【0007】

本発明では、上記課題を鑑み、人手による作業時間の短縮や作業の簡素化が可能な溶接ロボットの動作プログラムの補正方法を提供することを目的とする

【課題を解決するための手段】

【0008】

上記課題を解決するために本発明の一形態は以下の構成を有する。すなわち、溶接ロボットの動作プログラムの補正方法は、
所定の方向から撮像装置により撮影された、被溶接部材が設置されていない状態の第１の画像と、前記被溶接部材が設置されている状態の第２の画像を取得する取得工程と、
前記第１の画像と前記第２の画像とを比較することにより、前記第２の画像における前記被溶接部材に対応する領域を特定する第１の特定工程と、
前記第１の特定工程にて特定された領域と、前記被溶接部材に対応する３次元ＣＡＤデータの前記所定の方向に対応する向きの形状とを、少なくとも２点にて位置合わせすることにより、前記被溶接部材の位置を特定する第２の特定工程と、
前記第２の特定工程にて特定された位置に基づいて、前記溶接ロボットを動作させるための動作プログラムにて用いられる座標情報を補正する補正工程と、
を有することを特徴とする動作プログラムの補正方法。

【0009】

また、本発明の別の形態として以下の構成を有する。すなわち、溶接システムは、
溶接ロボットと、
撮像装置と、
動作プログラムの補正方法を用いて動作プログラムを補正し、前記溶接ロボットを制御する制御部と
を備え、
前記補正方法は、
所定の方向から撮像装置により撮影された、被溶接部材が設置されていない状態の第１の画像と、前記被溶接部材が設置されている状態の第２の画像を取得する取得工程と、
前記第１の画像と前記第２の画像とを比較することにより、前記第２の画像における前記被溶接部材に対応する領域を特定する第１の特定工程と、
前記第１の特定工程にて特定された領域と、前記被溶接部材に対応する３次元ＣＡＤデータの前記所定の方向に対応する向きの形状とを、少なくとも２点にて位置合わせすることにより、前記被溶接部材の位置を特定する第２の特定工程と、
前記第２の特定工程にて特定された位置に基づいて、前記溶接ロボットを動作させるための動作プログラムにて用いられる座標情報を補正する補正工程と、
を有する。

【0010】

また、本発明の別の形態として以下の構成を有する。すなわち、プログラムは、
コンピュータに、
所定の方向から撮像装置により撮影された、被溶接部材が設置されていない状態の第１の画像と、前記被溶接部材が設置されている状態の第２の画像を取得する取得工程と、
前記第１の画像と前記第２の画像とを比較することにより、前記第２の画像における前記被溶接部材に対応する領域を特定する第１の特定工程と、
前記第１の特定工程にて特定された領域と、前記被溶接部材に対応する３次元ＣＡＤデータの前記所定の方向に対応する向きの形状とを、少なくとも２点にて位置合わせすることにより、前記被溶接部材の位置を特定する第２の特定工程と、
前記第２の特定工程にて特定された位置に基づいて、溶接ロボットを動作させるための動作プログラムにて用いられる座標情報を補正する補正工程と、
を実行させる

【発明の効果】

【0011】

本発明によれば、実際の溶接施工現場における、溶接ロボットの動作プログラムの設定に関する人手による作業時間の短縮や作業の簡素化が可能となる。

【図面の簡単な説明】

【0012】

【図1】本発明の一実施形態に係る溶接システムの構成例を示す概略図。

【図2】本発明の一実施形態に係る溶接システムの構成例を示す概略図。

【図3】本発明の一実施形態に係る制御装置の機能構成の例を示すブロック図。

【図4】本発明の一実施形態に係る処理のフローチャート。

【図5】本発明の一実施形態に係る領域抽出の流れを説明するための説明図。

【図6】本発明の一実施形態に係る特徴点の座標検出の流れを説明するための説明図。

【図7】本発明の一実施形態に係る特徴点の座標検出の流れを説明するための説明図。

【発明を実施するための形態】

【0013】

以下、本発明を実施するための形態について図面などを参照して説明する。なお、以下に説明する実施形態は、本発明を説明するための一実施形態であり、本発明を限定して解釈されることを意図するものではなく、また、各実施形態で説明されている全ての構成が本発明の課題を解決するために必須の構成であるとは限らない。

【0014】

［システム構成］
図１、図２は、本実施形態に係る溶接システム１００の構成例を示す概略図である。各図において、ＸＹＺの３軸により３次元空間における対応関係を示す。例えば図１では、Ｘ軸は奥行方向を示し、Ｙ軸は幅方向を示し、Ｚ軸は高さ方向を示すが、各軸の対応関係は一例であり、他の対応関係を用いてもよい。

【0015】

図１に示すように、溶接システム１００は、門型の支持フレーム１０と、台車部２０と、ガイドレール３０と、可動部４０と、溶接ロボット５０と、カメラ６０と、制御装置７０とを備える。

【0016】

支持フレーム１０は、Ｚ軸方向に沿って建てられた複数の支柱１１と、Ｙ軸方向に沿って設けられたガイド支持梁１２とを備える。複数の支柱１１は台車部２０上に設けられている。台車部２０は、Ｘ軸方向に沿って設けられたガイドレール３０上を、Ｘ軸方向に沿って往復移動が可能なように構成される。これにより、支持フレーム１０がガイドレール３０上を往復移動可能とされている。ガイドレール３０は、溶接対象である被溶接部材Ｗが配置される設置領域２００の外側に設置されている。

【0017】

可動部４０は、スライダ４１と、軸部４２と、旋回フレーム４３とを備える。スライダ４１は、ガイド支持梁１２にてＹ軸方向に沿って往復移動可能に支持されている。スライダ４１の下部には、回転軸となる軸部４２が取付けられており、軸部４２からの突出端には、軸部４２の中心を旋回中心として旋回する旋回フレーム４３が水平に取付けられている。

【0018】

カメラ６０は、被溶接部材Ｗを撮像するセンサであり、可動部４０の下部に設けられている。カメラ６０は実際に設置領域２００に配置された被溶接部材Ｗを撮像して被溶接部材Ｗの画像を取得する。カメラ６０は、例えば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）カメラにより構成される。なお、図１に示すカメラ６０の取り付け位置は一例であり、これに限定されるものではない。また、カメラ６０は、魚眼レンズやズームレンズなど各種レンズを備えてよい。また、カメラ６０は、複数であってもよい。カメラ６０が複数備えられる場合には、複数のカメラ６０は、異なる位置を撮影可能に構成されてもよいし、異なる撮影条件などにて撮影可能に構成されてもよい。また、溶接システム１００は、カメラ６０による撮影の際に用いられる照明部が更に備えられてもよい。

【0019】

旋回フレーム４３の先端部の下面には、溶接ロボット５０が垂直軸心回りに旋回可能に取付けられている。溶接ロボット５０は、先端に溶接トーチ５１が取付けられている。本実施形態では、溶接ロボット５０が２台取り付けられたツイン溶接ロボット装置の構成例を示す。本実施形態において、溶接ロボット５０は先端にトーチを有するアーク溶接ロボットであり、タッチセンシングが可能に構成されている。なお、溶接ロボット５０の種類や台数は特に限定されるものではなく、被溶接部材Ｗに応じた異なる溶接ロボットを用いてもよい。

【0020】

また、可動部４０には、溶接ワイヤを収納するワイヤパックが上方に搭載されてもよいし、他の場所に溶接ワイヤを供給するためのワイヤ送給装置が設けられてもよい。溶接ワイヤは、溶接トーチの先端から、被溶接部材Ｗの溶接個所に向けて送り出される。

【0021】

溶接ロボット５０の下方には、設置領域２００が位置し、溶接ロボット５０の溶接対象である被溶接部材Ｗが配置される。被溶接部材Ｗは、作業者等により適時、設置領域２００に配置される。複数の被溶接部材Ｗは、溶接ロボット５０によって溶接される。このとき、溶接ロボット５０は、台車部２０のＸ軸方向の移動、および、可動部４０のＹ軸方向の移動により、目的とする被溶接部材Ｗの直上や周辺の位置へ移動可能である。被溶接部材Ｗは種々の金属部材であり、溶接ロボット５０により所望の位置が溶接される。被溶接部材Ｗの材質等に応じて、溶接に用いられる溶接ワイヤの材質も異なっていてよい。

【0022】

制御装置７０は、溶接ロボット５０の動作を制御するためのコンピュータとして動作し、制御部７１と記憶部７２と、教示ペンダントとして用いるロボットペンダント７３とを有する。制御部７１は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）により構成される。記憶部７２は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）やＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の揮発性や不揮発性のメモリにより構成される。制御部７１が、記憶部７２に記憶された制御用のコンピュータプログラムを読み出して、実行することにより、溶接に係る各種動作を制御したり、後述する画像処理などの処理を実行したりする。

【0023】

制御装置７０は、溶接対象である二つの被溶接部材を溶接する溶接パスの施工条件に関する溶接パス情報を取得する。制御装置７０は、この溶接パス情報の取得を所定のプログラムに従って実行するとともに、溶接ロボット５０に対する動作指示、すなわち取得した溶接パスを予め教示されたプログラム（以下、教示プログラムとも称する）に従って出力する。特に制御装置７０は、被溶接部材Ｗの設計データである３次元ＣＡＤ（Ｃｏｍｐｕｔｅｒ－Ａｉｄｅｄ Ｄｅｓｉｇｎ）データのデータベースを記憶部７２にて記憶しており、溶接ロボット５０等の動作を制御する際に、この３次元ＣＡＤデータを参照する。３次元ＣＡＤデータのデータベースは、不図示のネットワークを介して制御装置７０に接続されたサーバーなどで構築してもよく、データベースの場所、形式、構成などは特に限定されない。

【0024】

また、図１には図示していないが、溶接システム１００には、更に、溶接ワイヤに電力を供給するための電源装置が備えられる。そのほか、電圧や電流を検出するためのセンサ類が備えられてよい。また、溶接システム１００を構成する各部位は、有線／無線の各種通信方式により、通信可能に接続されてよい。また、溶接システム１００は、ネットワークを介して外部装置と通信可能に接続されてもよい。ここでの通信方式は、１つに限定するものではなく、複数の通信方式を組み合わせて接続されてよい。

【0025】

図２は、本実施形態に係る溶接システム１００の構成例の外観斜視図である。図１を用いて説明したように、溶接システム１００は、１または複数の被溶接部材Ｗが設置された設置領域２００の上を移動可能に構成される。これにより、カメラ６０も、設置領域２００上を移動しながら、様々な位置で撮影が可能である。なお、図２中に作業者や被溶接部材Ｗを例として示しているが、各構成要素等の寸法は一例であり、これに限定するものではない。

【0026】

［機能構成］
図３は、本実施形態に係る制御装置７０の機能構成の例を示すブロック図である。例えば、制御装置７０の制御部７１が、記憶部７２に格納された各種プログラムを読み出して実行することにより、図３に示す各機能を提供する部位として実現される。なお、図３には、本実施形態に係る機能に着目した構成例であり、さらに多くの部位を備えてよい。また、各部位は、機能に応じて更に分割されてもよいし、まとめられて構成されてもよい。

【0027】

制御装置７０は、動作プログラム管理部３０１、画像取得部３０２、画像解析部３０３、３次元ＣＡＤデータ管理部３０４、動作プログラム補正部３０５、および溶接ロボット制御部３０６を含んで構成される。動作プログラム管理部３０１は、溶接ロボット５０を動作させるために用いる動作プログラムを保持、管理する。動作プログラムは外部装置から取得するような構成であってもよいし、ロボットペンダント７３を介して教示プログラムとして作業者により入力されてもよい。動作プログラムには、溶接ロボット５０の動作パターンに関する命令の他、被溶接部材Ｗに対する溶接パスの位置や施工条件などの溶接パス情報や、被溶接部材Ｗの設置領域２００における設置位置などの情報が含まれてよい。動作プログラムは、記憶部７２に記憶され、動作プログラム管理部３０１にて管理される。

【0028】

画像取得部３０２は、カメラ６０により撮影された設置領域２００の１または複数の画像を取得する。画像取得部３０２は、１または複数の画像を取得する場合、その撮影位置の情報や撮影パラメータの情報を併せて取得する。上述したように、溶接ロボット５０はその撮影位置を変化させながら、設置領域２００のうちの少なくとも溶接動作を行う範囲の撮影を行うことが可能である。画像解析部３０３は、画像取得部３０２にて取得した１または複数の画像を用いて、それら画像の解析を行う。本実施形態に係る画像解析処理の詳細は後述する。

【0029】

３次元ＣＡＤデータ管理部３０４は、被溶接部材Ｗの３次元形状を示す３次元ＣＡＤデータを保持、管理する。ここでの３次元ＣＡＤデータには、被溶接部材Ｗそれぞれの３次元形状に加え、溶接過程の途中の状態、すなわち、複数の被溶接部材が溶接により結合されて１の被溶接部材となった完成前の状態を示すＣＡＤデータを含んでよい。また、詳細については後述するが、３次元ＣＡＤデータには、被溶接部材に対応するオブジェクトの設置の向き、すなわち、カメラ６０にて撮影される方向の情報を含む。本実施形態では、カメラ６０による撮影は、上側、すなわち、高さ方向に沿って行われるものとして説明するが、これに限定されるものではない。後述する３次元ＣＡＤデータとの対応関係が予め規定されていれば、例えば、幅方向や奥行方向に沿って撮影が行われてもよい。

【0030】

動作プログラム補正部３０５は、画像解析部３０３による解析結果に基づいて、動作プログラムにて指定されているパラメータの補正を行う。溶接ロボット制御部３０６は、動作プログラム管理部３０１にて管理されている動作プログラム、または、動作プログラム補正部３０５にて補正された動作プログラムを用いて、溶接ロボット５０の動作を制御する。

【0031】

［処理フロー］
図４は、本実施形態に係る処理のフローチャートである。本処理は、例えば、制御装置７０が備える制御部７１が各部位を実現するためのプログラムを記憶部７２から読み出して実行することにより実現されてよい。ここでは、説明を簡単にするため、処理主体を制御装置７０としてまとめて記載する。また、本処理フローが開始される際には、すでに設置領域２００に１または複数の被溶接部材Ｗが設置されているものとする。また、被溶接部材Ｗに対応する３次元ＣＡＤデータや動作プログラムが登録されているものとする。

【0032】

Ｓ４０１にて、制御装置７０は、記憶部７２を参照し、被溶接部材Ｗが設置されていない状態の設置領域２００の画像データを取得する。本処理を実行するに先立って、被溶接部材Ｗが設置されていない状態の設置領域２００がカメラ６０にて撮影されることで生成された画像データが記憶部７２に保持されているものとする。この画像データを「設置無し画像データ」または「第１の画像」と称する。設置無し画像データは、後述する「設置有り画像データ」を取得するための動作（Ｓ４０２およびＳ４０３）と同様に行うことで取得されてよい。なお、設置領域２００への被溶接部材Ｗの設置に要する時間や手間が軽度なものであれば、設置無し画像データを記憶部７２に予め保持しておく必要はなく、本工程に代えて、設置無し画像データを撮影するための撮影工程を設けてもよい。また、設置領域２００の経時変化や経時劣化などを想定して、被溶接部材Ｗが設置されていない状態の設置領域２００を定期的に撮影することで、記憶部７２に保持されている設置無し画像データが定期的に更新されるような構成であってもよい。

【0033】

Ｓ４０２にて、制御装置７０は、台車部２０や可動部４０を駆動させて、カメラ６０の撮影位置を調整させながら、設置領域２００を撮影し、１または複数の画像データを取得する。ここでの撮影範囲は、設置領域２００のうちの予め設定された範囲に限定されてもよいし、設置領域２００全体を撮影するような構成であってもよい。このときの撮影範囲や撮影順などを含む撮影パラメータについては予め規定されていてもよいし、作業者が指定してもよい。このとき、カメラ６０の撮影の際の位置情報を画像データと対応付けて取得する。カメラ６０の位置情報は、台車部２０や可動部４０の位置情報に基づいて導出されてもよい。

【0034】

Ｓ４０３にて、制御装置７０は、Ｓ４０２にて取得した１または複数の画像データを、位置情報に基づいて合成し、設置領域２００の画像を示す１の画像データを生成する。以下、ここで生成した画像データを「設置有り画像データ」または「第２の画像」と称する。複数の画像データを１の画像データに合成する手法は特に限定するものではないが、例えば、各画像から所定の範囲を抽出し、位置情報に基づいて隣接する画像データを重ね合わせながら合成するような方法であってよい。ここでの所定の範囲は、例えば、画像データのうち、カメラ６０の撮影パラメータや機器特性に起因して生じる歪み等が少ない範囲であってよい。

【0035】

Ｓ４０４にて、制御装置７０は、Ｓ４０１にて記憶部７２から取得した設置無し画像データと、Ｓ４０３にて生成した設置有り画像データとを用いて、設置有り画像データに含まれる被溶接部材Ｗの領域を抽出する。

【0036】

本工程における処理について、図５を用いて説明する。図５では、設置有り画像データ５００と設置無し画像データ５１０を一例として示し、処理により画像の変遷を示す。

【0037】

まず、制御装置７０は、Ｓ４０１にて記憶部７２から取得した設置無し画像データと、Ｓ４０３にて生成した設置有り画像データとの位置合わせを行い、差分を抽出して差分画像を生成する。ここでの位置合わせは、例えば、各画像データ内に共通的に含まれる特徴点を抽出してこれに基づいて行われてもよいし、撮影の際に取得した位置情報に基づいて行われてもよい。図５の差分画像５２０は、設置有り画像データ５００と設置無し画像データ５１０の差分を示す。ここでは、差分画像５２０を二値画像にて示し、白色の画素が差分を示し、黒色の画素が共通する箇所を示す。

【0038】

更に、制御装置７０は、差分画像に含まれる被溶接部材Ｗを示す候補領域を１または複数抽出する。ここでの候補領域は、例えば、形状、位置、大きさ、画像中の画素数などに基づいて抽出されてよいが、特に限定するものではない。例えば、設置領域２００に設置されていると想定される１または複数の被溶接部材Ｗの３次元ＣＡＤデータを取得し、その情報に基づいて、１または複数の候補領域を抽出してよい。また、差分画像に対して、ノイズ除去や二値化処理などの画像処理を適用することで、抽出精度を向上させるような構成であってもよい。図５の画像５３０は、差分画像５２０に対して画像処理を行ったうえで、２つの候補領域５３１、５３２を抽出した例を示す。

【0039】

更に、制御装置７０は、１または複数の候補領域の中から、着目する１の領域（以下、着目領域とも称する）を特定する。ここでの特定方法は、例えば、形状、位置、大きさなどに基づいて特定されてよいが、特に限定するものではない。例えば、設置領域２００に設置されていると想定される被溶接部材Ｗの３次元ＣＡＤデータを取得し、その情報に基づいて、１または複数の候補領域の中から１の領域に絞り込んでよいし、作業者の指定を受け付けてもよい。図５の画像５４０は、画像５３０から着目領域として１の領域５４１を特定し、それ以外の領域を黒画素として塗りつぶした状態を示す。

【0040】

Ｓ４０５にて、制御装置７０は、Ｓ４０４にて特定した着目領域の位置および回転角度を導出する。ここでの位置は、設置領域２００に対して予め設定された絶対座標系における座標値であってよい。また、回転角度は、設置領域２００に対して予め設定された絶対座標系の所定の軸、および、所定の基準点に基づく回転角度であってよい。

【0041】

本工程における処理について、図６および図７を用いて説明する。図６において、画像６００を一例として示し、処理により画像の変遷を示す。なお、画像６００は、図５の画像５４０として示した例に対応する。画像６００において、まず回転の基準点６０１となる座標が特定される。例えば、基準点６０１は、着目領域のＸ軸方向およびＹ軸方向それぞれの中心座標を用いてもよいが、特に限定されるものではない。また、基準点６０１の座標は、予め設置領域２００に対して設定された絶対座標系にて特定されてもよいし、任意の位置からの相対座標系にて示されてもよい。そして、基準点６０１に対して、着目領域の回転角度を特定する。例えば、着目領域を構成する任意の辺に着目し、その辺のＸ軸方向またはＹ軸方向に対する傾きを着目領域の傾きを示す回転角度として特定してよい。ここでの任意の辺は、着目領域を構成する最も長い辺であってもよいし、作業者が指定してもよい。

【0042】

次に、制御装置７０は、着目領域に対応する被溶接部材Ｗの３次元ＣＡＤデータを取得する。これは作業者により指定されてもよいし、ここまでの処理の中で１の３次元ＣＡＤデータを特定してもよい。制御装置７０が着目領域に対応する１の３次元ＣＡＤデータを特定する場合には、例えば、着目領域のサイズや形状などに基づき、登録済みの３次元ＣＡＤデータの中から特定してよい。

【0043】

次に、制御装置７０は、導出した基準点および回転角度に基づいて、対応する被溶接部材Ｗの３次元ＣＡＤデータから着目領域に対応する画像を生成する。ここでの生成方法について、図７を更に用いて説明する。本例では、図６の３次元ＣＡＤデータ６１０は、画像６００にて特定した領域に対応する３次元ＣＡＤデータであるものとして説明する。本実施形態において、被溶接部材Ｗは、平面領域である設置領域２００に設置される面が特定されている。したがって、図７に示すように、カメラ６０にて撮影される向きは、一意に特定される。そこで、その向きに合わせて、３次元ＣＡＤデータを回転させる。言い換えると、設置領域２００に設置された被溶接部材Ｗを真上側から見るように、３次元ＣＡＤデータを回転させる。その結果、画像７００が得られる。更に、導出した基準点および回転角度に基づいて画像を回転させる。その結果、画像７１０が得られる。更に、画像６００のサイズや撮影パラメータなどに基づき、画像７１０のサイズを調整することで、図６や図７に示すような画像６２０が生成される。

【0044】

次に、制御装置７０は、画像６２０において任意の複数の特徴点を決定する。図６では、領域の対角線上の２つの頂点６２１、６２２を特徴点として決定した例を示す。なお、特徴点の決定方法は特に限定するものではなく、領域の角部や境界部、辺など、任意の箇所を特徴点として決定して用いてよい。または、特徴点は、３次元ＣＡＤデータにおいて予め登録されていてもよい。

【0045】

次に、制御装置７０は、図４のＳ４０３で生成した元の画像データである設置有り画像データ５００と、３次元ＣＡＤデータから生成した被溶接部材Ｗの画像との位置合わせを行って、合成画像を生成する。図６の合成画像６３０は、頂点６２１、６２２に基づいて位置合わせを行って生成された合成画像の例を示す。合成画像６３０において、頂点６３１、６３２は、位置合わせを行って画像合成を行ったことにより得られる被溶接部材Ｗの頂点である。これにより、３次元ＣＡＤデータと、撮影により得られた画像との対応関係、すなわち、座標の位置合わせを行うことができる。

【0046】

図４のフローチャートへ戻る。Ｓ４０６にて、制御装置７０は、着目する被溶接部材Ｗに対する動作プログラムを取得する。このとき、動作プログラムには、溶接パス情報が対応付けられている。そして、動作プログラムにて指定されている座標を、Ｓ４０５にて特定した座標に基づいて補正を行う。上述したように３次元ＣＡＤデータと、実空間の被溶接部材Ｗとが対応付けられているため、溶接を行うべき溶接パスの座標も特定できるため、それに応じてすでに設定済みの動作プログラムの制御パラメータを補正することが可能となる。

【0047】

ここでの補正は、例えば、溶接の際のセンシング可能な範囲内となるように補正が行われればよい。例えばタッチセンシングの際の距離は１００ｍｍ以下や５０ｍｍ以下などに設定できる。センシング動作は、例えば、溶接ロボット５０の先端に備えられた接触式センサにより被溶接部材Ｗへの接触を検知することで行われる。センシングが可能な範囲は予め規定され、記憶部７２などに保持されていてよい。接触式センサなどによるセンシングの方法は特に限定されるものでは無いが、例えば、接触プローブセンサや、ワイヤタッチセンサなどの方法が挙げられる。なお、被溶接部材Ｗが動作プログラムにて既に規定された位置やセンシング可能な範囲に設置されている場合には、動作プログラムの補正は行われなくてよい。また、補正においては、座標の補正に加えて、他の制御パラメータを併せて調整してもよい。

【0048】

つまり、現実空間の被溶接部材Wの位置と、画像から特定した被溶接部材Ｗの位置との誤差が、厳密には一致していない場合でも、この誤差がセンシング機能で検出可能な範囲に含まれることで、動作プログラムの制御パラメータを適切に補正することが可能となる。その結果、システム側で自動的にパラメータの調整を行って、より精度の高い溶接が可能となる。

【0049】

以上、本実施形態により、実際の溶接施工現場における、溶接ロボットの動作プログラムの設定に関する作業の作業時間の短縮や人手による作業の簡素化が可能となる。特に、実際に設置領域に設置された複数の被溶接部材それぞれの撮影条件を設定して、撮影動作を人手で繰り返す必要が無くなる。そして、その撮影された画像データを用いて、予め位置情報等が設定された動作プログラムに対して、実際の被溶接部材の設置座標に対応して補正することが可能となる。そのため、作業者が位置座標に係るパラメータを個別に調整する必要が無くなり、作業時間を削減することが可能となる。

【0050】

＜その他の実施形態＞
上記の実施形態では、被溶接部材Ｗが設置領域２００に直接設置される例を示した。一方、被溶接部材Ｗは、設置領域２００に設置される際に、被溶接部材Ｗの形状や溶接個所などによっては、別の部材の上に乗せて設置される場合がある。その場合、設置領域２００に被溶接部材Ｗが直接設置される場合と比べて、被溶接部材Ｗの高さが３次元ＣＡＤデータにて示される高さの値から変化し得る。その際には、撮影された画像から抽出された着目領域と３次元ＣＡＤデータとの拡大・縮小の比率に応じて、設置領域２００からの高さを特定してもよい。より具体的には、着目領域がより大きい場合にはカメラ６０に近い位置にあり、例えば、高さ方向において高い座標値となる。この比率に対応した高さ方向の座標の変換処理は、例えば、予め規定されたテーブルや変換式に基づいて行われてよい。

【0051】

本発明において、上述した１以上の実施形態の機能を実現するためのプログラムやアプリケーションを、ネットワーク又は記憶媒体等を用いてシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。

【0052】

また、１以上の機能を実現する回路によって実現してもよい。なお、１以上の機能を実現する回路としては、例えば、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）やＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）が挙げられる。

【0053】

以上の通り、本明細書には次の事項が開示されている。
（１） 溶接ロボットの動作プログラムの補正方法であって、
所定の方向から撮像装置により撮影された、被溶接部材が設置されていない状態の第１の画像と、前記被溶接部材が設置されている状態の第２の画像を取得する取得工程と、
前記第１の画像と前記第２の画像とを比較することにより、前記第２の画像における前記被溶接部材に対応する領域を特定する第１の特定工程と、
前記第１の特定工程にて特定された領域と、前記被溶接部材に対応する３次元ＣＡＤデータの前記所定の方向に対応する向きの形状とを、少なくとも２点にて位置合わせすることにより、前記被溶接部材の位置を特定する第２の特定工程と、
前記第２の特定工程にて特定された位置に基づいて、前記溶接ロボットを動作させるための動作プログラムにて用いられる座標情報を補正する補正工程と、
を有することを特徴とする動作プログラムの補正方法。
この構成によれば、実際の溶接施工現場における、溶接ロボットの動作プログラムの設定に関する作業の作業時間の短縮や人手による作業の簡素化が可能となる。特に、実際に設置領域に設置された複数の被溶接部材それぞれの撮影条件を設定して、撮影動作を人手で繰り返す必要が無くなる。そして、その撮影された画像データを用いて、予め位置情報等が設定された動作プログラムに対して、実際の被溶接部材の設置座標に対応して補正することが可能となる。そのため、作業者が位置座標や撮影条件に係るパラメータを個別に調整する必要が無くなり、作業時間を削減することが可能となる。

【0054】

前記第２の特定工程において、前記第１の特定工程にて特定された領域の位置と、当該位置に対応する前記被溶接部材の位置との誤差が、前記溶接ロボットにて行われるセンシング動作にて許容可能な誤差の範囲内となるように、前記被溶接部材の位置を特定する、ことを特徴とする（１）に記載の動作プログラムの補正方法。
この構成によれば、溶接ロボットが予め備えるセンシング動作の許容範囲内となるように位置合わせを行うことで、より溶接ロボットの機能に対応した補正の自動化が可能となる。また、溶接ロボットが予め備えるセンシング動作の許容範囲内となるように位置合わせを行うことで、必要以上に厳密に位置合わせを行う必要が無いため、補正処理の負荷を抑制することが可能となる。

【0055】

（３） 前記少なくとも２点は、３次元ＣＡＤデータに登録されている特徴点である、ことを特徴する（１）または（２）に記載の動作プログラムの補正方法。
この構成によれば、予め登録された特徴点を用いることで、簡単かつ正確に被溶接部材の位置を把握することが可能となる。

【0056】

（４） 少なくとも１つの被溶接部材が配置されており、
前記撮像装置は、撮影位置を切り替えながら複数回の撮影を行い、
前記取得工程において、前記複数回の撮影により得られた複数の画像を合成することにより、前記少なくとも１つの被溶接部材の全体が含まれる１の画像を生成する、
ことを特徴とする（１）～（３）のいずれかに記載の動作プログラムの補正方法。
この構成によれば、作業者が、広い設置場所の撮影を行う際に、個別に撮影制御を行う必要が無くなり、手間を省くことが可能となる。また、設置場所の大きさに限らず、被溶接部材の画像を取得して位置の特定が可能となる。

【0057】

（５） 前記複数回の撮影それぞれにおいて撮像した位置の位置情報が取得され、
前記取得工程において、前記位置情報に基づいて前記複数の画像が合成され、
前記第１の特定工程においては、前記位置情報に基づいて前記第１の画像と前記第２の画像との比較を行う、
ことを特徴とする（４）に記載の動作プログラムの補正方法。
この構成によれば、カメラにて撮影を行った際の位置情報に基づいて、容易に１の大きな合成画像を取得することが可能となる。

【0058】

（６） 前記第２の特定工程において、前記所定の方向における座標を、前記第１の特定工程にて特定された領域のサイズと、前記被溶接部材に対応する３次元ＣＡＤデータのサイズとの比率に基づいて特定する、
ことを特徴とする（１）～（５）のいずれかに記載の動作プログラムの補正方法。
この構成によれば、撮影方向における被溶接部材の位置についても、画像間の比率に応じて特定が可能となり、撮影方向の座標の補正が可能となる。

【0059】

（７） 前記所定の方向は、高さ方向である、ことを特徴とする（１）～（６）のいずれかに記載の動作プログラムの補正方法。
この構成によれば、撮影方向が高さ方向に沿っている場合を対象として、動作プログラムの座標の補正が可能となる。

【0060】

溶接ロボットと、
撮像装置と、
（１）～（７）のいずれかに記載の動作プログラムの補正方法を用いて動作プログラムを補正し、前記溶接ロボットを制御する制御部と
を備える溶接システム。
この構成によれば、実際の溶接施工現場における、溶接ロボットの動作プログラムの設定に関する作業の作業時間の短縮や人手による作業の簡素化が可能となる。特に、作業者が位置座標や撮影条件に係るパラメータを個別に調整する必要が無くなり、作業時間を削減することが可能となる。

【0061】

（９） コンピュータに、
所定の方向から撮像装置により撮影された、被溶接部材が設置されていない状態の第１の画像と、前記被溶接部材が設置されている状態の第２の画像を取得する取得工程と、
前記第１の画像と前記第２の画像とを比較することにより、前記第２の画像における前記被溶接部材に対応する領域を特定する第１の特定工程と、
前記第１の特定工程にて特定された領域と、前記被溶接部材に対応する３次元ＣＡＤデータの前記所定の方向に対応する向きの形状とを、少なくとも２点にて位置合わせすることにより、前記被溶接部材の位置を特定する第２の特定工程と、
前記第２の特定工程にて特定された位置に基づいて、溶接ロボットを動作させるための動作プログラムにて用いられる座標情報を補正する補正工程と、
を実行させるためのプログラム。
この構成によれば、実際の溶接施工現場における、溶接ロボットの動作プログラムの設定に関する作業の作業時間の短縮や人手による作業の簡素化が可能となる。特に、実際に設置領域に設置された複数の被溶接部材それぞれの撮影条件を設定して、撮影動作を人手で繰り返す必要が無くなる。そして、その撮影された画像データを用いて、予め位置情報等が設定された動作プログラムに対して、実際の被溶接部材の設置座標に対応して補正することが可能となる。そのため、作業者が位置座標や撮影条件に係るパラメータを個別に調整する必要が無くなり、作業時間を削減することが可能となる。

【符号の説明】

【0062】

１０…支持フレーム
１１…支柱
１２…ガイド支持梁
２０…台車部
３０…ガイドレール
４０…可動部
４１…スライダ
４２…軸部
４３…旋回フレーム
５０…溶接ロボット
５１…溶接トーチ
６０…カメラ
７０…制御装置
７１…制御部
７２…記憶部
１００…溶接システム
２００…設置領域
３０１…動作プログラム管理部
３０２…画像取得部
３０３…画像解析部
３０４…３次元ＣＡＤデータ管理部
３０５…動作プログラム補正部
３０６…溶接ロボット制御部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】