特許 6546413 画像処理装置、溶接ロボットシステムおよび画像処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6546413

(24)【登録日】2019年6月28日

(45)【発行日】2019年7月17日

(54)【発明の名称】画像処理装置、溶接ロボットシステムおよび画像処理方法

(51)【国際特許分類】

   B23K 9/095 20060101AFI20190705BHJP

   B23K 9/12 20060101ALI20190705BHJP

   H04N 7/18 20060101ALI20190705BHJP

【ＦＩ】

   B23K9/095 515A

   B23K9/12 C

   H04N7/18 D

【請求項の数】8

【全頁数】20

(21)【出願番号】特願2015-43125(P2015-43125)

(22)【出願日】2015年3月5日

(65)【公開番号】特開2016-159348(P2016-159348A)

(43)【公開日】2016年9月5日

【審査請求日】2017年11月24日

(73)【特許権者】

【識別番号】000000262

【氏名又は名称】株式会社ダイヘン

(74)【代理人】

【識別番号】110001357

【氏名又は名称】特許業務法人つばさ国際特許事務所

(72)【発明者】

【氏名】阪下 英知

【審査官】 金丸 治之

(56)【参考文献】

【文献】 特開平０８−１５０４７５（ＪＰ，Ａ）

【文献】 特開２０１４−０１４８５７（ＪＰ，Ａ）

【文献】 特開２００７−１９５０４５（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｂ２３Ｋ ９／０９５

Ｂ２３Ｋ ９／１２

Ｈ０４Ｎ ７／１８

(57)【特許請求の範囲】

【請求項1】

溶融池および前記溶融池の周囲を含む溶接領域が撮像領域として設定されたカメラ部のカメラ設定を固定して前記カメラ部の撮影制御を行う制御部と、
前記撮影制御の下での前記カメラ部によって得られた１枚の撮像画像、もしくは前記１枚の撮像画像と所定の関係を有する１枚の関連画像に対して、複数のＬＵＴ（Look-Up Table）を用いた輝度変換を行うことにより、使用された前記ＬＵＴの互いに異なる複数枚の輝度変換画像を生成し、前記複数枚の輝度変換画像を用いて、前記溶融池に関する情報と、前記溶融池の周囲に関する情報とを導出する導出部と
を備えた
画像処理装置。

【請求項2】

前記導出部は、前記１枚の撮像画像を用いて、ノイズの低減された１枚のノイズ低減画像を前記１枚の関連画像として生成する
請求項１に記載の画像処理装置。

【請求項3】

溶融池および前記溶融池の周囲を含む溶接領域が撮像領域として設定されたカメラ部のカメラ設定を固定して前記カメラ部の連続撮影制御を行う制御部と、
前記連続撮影制御の下での前記カメラ部によって得られた複数枚の撮像画像、もしくは前記複数枚の撮像画像と所定の関係を有する複数枚の関連画像に対して、複数のＬＵＴ（Look-Up Table）を用いた輝度変換を行うことにより、使用された前記ＬＵＴの互いに異なる複数枚の輝度変換画像を生成し、前記複数枚の輝度変換画像を用いて、前記溶融池に関する情報と、前記溶融池の周囲に関する情報とを導出する導出部と
を備えた
画像処理装置。

【請求項4】

前記導出部は、前記複数枚の撮像画像を用いて、ノイズの低減された複数枚のノイズ低減画像を前記複数枚の関連画像として生成する
請求項３に記載の画像処理装置。

【請求項5】

溶接電極を含む溶接トーチを有し、制御信号に基づいて前記溶接トーチを移動させる移動部と、
溶接時に前記溶接電極の先端位置に形成される溶融池および前記溶融池の周囲を含む溶接領域が撮像領域として設定されたカメラ部と、
前記カメラ部のカメラ設定を固定して前記カメラ部の撮影制御を行う制御部と、
前記撮影制御の下での前記カメラ部によって得られた１枚の撮像画像、もしくは前記１枚の撮像画像と所定の関係を有する１枚の関連画像に対して、複数のＬＵＴ（Look-Up Table）を用いた輝度変換を行うことにより、使用された前記ＬＵＴの互いに異なる複数枚の輝度変換画像を生成し、前記複数枚の輝度変換画像を用いて、前記溶融池に関する情報と、前記溶融池の周囲に関する情報とを導出する導出部と
を備えた
溶接ロボットシステム。

【請求項6】

溶接電極を含む溶接トーチを有し、制御信号に基づいて前記溶接トーチを移動させる移動部と、
溶接時に前記溶接電極の先端位置に形成される溶融池および前記溶融池の周囲を含む溶接領域が撮像領域として設定されたカメラ部と、
前記カメラ部のカメラ設定を固定して前記カメラ部の連続撮影制御を行う制御部と、
前記連続撮影制御の下での前記カメラ部によって得られた複数枚の撮像画像、もしくは前記複数枚の撮像画像と所定の関係を有する複数枚の関連画像に対して、複数のＬＵＴ（Look-Up Table）を用いた輝度変換を行うことにより、使用された前記ＬＵＴの互いに異なる複数枚の輝度変換画像を生成し、前記複数枚の輝度変換画像を用いて、前記溶融池に関する情報と、前記溶融池の周囲に関する情報とを導出する導出部と
を備えた
溶接ロボットシステム。

【請求項7】

カメラ設定を固定して、溶融池および前記溶融池の周囲を含む撮像領域を１枚、撮像することにより、１枚の撮像画像を取得することと、
得られた１枚の撮像画像、もしくは前記１枚の撮像画像と所定の関係を有する１枚の関連画像に対して、複数のＬＵＴ（Look-Up Table）を用いた輝度変換を行うことにより、使用された前記ＬＵＴの互いに異なる複数枚の輝度変換画像を生成することと、
前記輝度変換によって得られた前記複数枚の輝度変換画像を用いて、前記溶融池に関する情報と、前記溶融池の周囲に関する情報とを導出することと
を含む
画像処理方法。

【請求項8】

カメラ設定を固定して、溶融池および前記溶融池の周囲を含む撮像領域を複数枚、撮像することにより、複数枚の撮像画像を取得することと、
得られた複数枚の撮像画像、もしくは前記複数枚の撮像画像と所定の関係を有する複数枚の関連画像に対して、複数のＬＵＴ（Look-Up Table）を用いた輝度変換を行うことにより、使用された前記ＬＵＴの互いに異なる複数枚の輝度変換画像を生成することと、
前記輝度変換によって得られた前記複数枚の輝度変換画像を用いて、前記溶融池に関する情報と、前記溶融池の周囲に関する情報とを導出することと
を含む
画像処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置、溶接ロボットシステムおよび画像処理方法に関する。

【背景技術】

【0002】

アーク溶接において、近赤外領域に感度を持つＣＣＤカメラまたはＣＭＯＳカメラに対して、バンドバスフィルタが設けられたレンズを取り付け、溶融池を撮像する手法が知られている（例えば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特許第３１９０９８３号明細書

【発明の概要】

【発明が解決しようとする課題】

【0004】

ところで、溶融池を含む領域を撮像する際に、溶融池に撮像条件を合わせた場合には、撮像画像において、溶融池ははっきりと映るが、溶融池の周囲にある被溶接物は非常に暗く、ほとんど映らない。他方、溶融池を含む領域を撮像する際に、溶融池の周囲にある被溶接物に撮像条件を合わせた場合には、撮像画像において、溶融池はアーク光の影響で真っ白になり、見えなくなるが、被溶接物の一部ははっきりと見える。

【0005】

このように、最適な撮像条件の異なる２つの対象物が撮像領域内に存在する場合、一度の撮像で、両方の対象物を撮像画像に映すことは難しい。そこで、例えば、２台のカメラを用意し、一方のカメラを一方の対象物に撮像条件を合わせて撮像を行うと同時に、他方のカメラを他方の対象物に撮像条件を合わせて撮像を行うことが考えられる。しかし、そのようにした場合には、溶接トーチ付近に２台のカメラを設置することになるので、いずれか一方のカメラが被溶接物に干渉し、溶接が困難になってしまうという問題がある。

【0006】

本発明はかかる問題点に鑑みてなされたものであり、その目的は、最適な撮像条件の互いに異なる２つの対象物を含む領域を１台のカメラで撮像することの可能な画像処理装置、溶接ロボットシステムおよび画像処理方法を提供することにある。

【課題を解決するための手段】

【0007】

参考例に係る画像処理装置は、制御部および導出部を備えている。制御部は、溶融池および溶融池の周囲を含む溶接領域が撮像領域として設定されたカメラ部のカメラ設定を切り替え制御しながらカメラ部の連続撮像制御を行うようになっている。導出部は、カメラ部によって得られた、カメラ設定の互いに異なる複数の撮像画像を用いて、溶融池に関する情報と、溶融池の周囲に関する情報とを導出するようになっている。

【0008】

参考例に係る溶接ロボットシステムは、溶接電極を含む溶接トーチを有し、制御信号に基づいて溶接トーチを移動させる移動部と、溶接時に溶接電極の先端位置に形成される溶融池および溶融池の周囲を含む溶接領域が撮像領域として設定されたカメラ部とを備えている。この溶接ロボットシステムは、さらに、上記の参考例に係る画像処理装置を備えている。

【0009】

参考例に係る画像処理方法は、以下の２つのステップを含んでいる。
（１）第１カメラ設定で、溶融池および溶融池の周囲を含む撮像領域を１または複数枚、撮像することにより、１または複数の第１撮像画像を取得したのち、第１カメラ設定とは異なる第２カメラ設定で、撮像領域を１または複数枚、撮像することにより、１または複数の第２撮像画像を取得すること
（２）１または複数の第１撮像画像と、１または複数の第２撮像画像とを用いて、溶融池に関する情報と、溶融池の周囲に関する情報とを導出すること

【0010】

参考例に係る画像処理装置、参考例に係る溶接ロボットシステムおよび参考例に係る画像処理方法では、溶融池および溶融池の周囲を含む溶接領域が撮像領域として設定されたカメラ部のカメラ設定の切り替え制御が行われている間に、連続撮像制御が行われる。これにより、１台のカメラ部から、カメラ設定の互いに異なる複数の撮像画像が得られる。

【0011】

参考例に係る画像処理装置、参考例に係る溶接ロボットシステムおよび参考例に係る画像処理方法において、切り替えるカメラ設定としてシャッター速度が設定されてもよい。シャッター速度は、カメラ設定の中で、特に、高速に切り換え可能なものである。従って、カメラを移動させながら、溶接領域を撮像する際に、ほぼ同一の撮像領域に対して連続撮像が行われている間に、シャッター速度を、溶融池のコントラストが得られる値に設定したり、溶融池の周囲のコントラストが得られる値に設定したりすることができる。これにより、ほぼ同一の撮像領域において、シャッター速度の互いに異なる複数の撮像画像が得られる。

【0012】

本発明の第１の画像処理装置は、制御部および導出部を備えている。制御部は、溶融池および溶融池の周囲を含む溶接領域が撮像領域として設定されたカメラ部のカメラ設定を固定してカメラ部の撮像制御を行うようになっている。導出部は、撮影制御の下でのカメラ部によって得られた１枚の撮像画像、もしくは１枚の撮像画像と所定の関係を有する１枚の関連画像に対して、複数のＬＵＴ（Look-Up Table）を用いた輝度変換を行うことにより、使用されたＬＵＴの互いに異なる複数枚の輝度変換画像を生成し、複数枚の輝度変換画像を用いて、溶融池に関する情報と、溶融池の周囲に関する情報とを導出するようになっている。
本発明の第２の画像処理装置は、制御部および導出部を備えている。制御部は、溶融池および溶融池の周囲を含む溶接領域が撮像領域として設定されたカメラ部のカメラ設定を固定してカメラ部の連続撮像制御を行うようになっている。導出部は、連続撮影制御の下でのカメラ部によって得られた複数枚の撮像画像、もしくは複数枚の撮像画像と所定の関係を有する複数枚の関連画像に対して、複数のＬＵＴ（Look-Up Table）を用いた輝度変換を行うことにより、使用されたＬＵＴの互いに異なる複数枚の輝度変換画像を生成し、複数枚の輝度変換画像を用いて、溶融池に関する情報と、溶融池の周囲に関する情報とを導出するようになっている。

【0013】

本発明の第１の溶接ロボットシステムは、溶接電極を含む溶接トーチを有し、制御信号に基づいて溶接トーチを移動させる移動部と、溶接時に溶接電極の先端位置に形成される溶融池および溶融池の周囲を含む溶接領域が撮像領域として設定されたカメラ部とを備えている。この溶接ロボットシステムは、さらに、上記の第１の画像処理装置を備えている。
本発明の第２の溶接ロボットシステムは、溶接電極を含む溶接トーチを有し、制御信号に基づいて溶接トーチを移動させる移動部と、溶接時に溶接電極の先端位置に形成される溶融池および溶融池の周囲を含む溶接領域が撮像領域として設定されたカメラ部とを備えている。この溶接ロボットシステムは、さらに、上記の第２の画像処理装置を備えている。

【0014】

本発明の第１の画像処理方法は、以下の３つのステップを含んでいる。
（１）カメラ設定を固定して、溶融池および溶融池の周囲を含む撮像領域を１枚、撮像することにより、１枚の撮像画像を取得すること
（２）得られた１枚の撮像画像、もしくは１枚の撮像画像と所定の関係を有する１枚の関連画像に対して、複数のＬＵＴ（Look-Up Table）を用いた輝度変換を行うことにより、使用されたＬＵＴの互いに異なる複数枚の輝度変換画像を生成すること
（３）輝度変換によって得られた複数枚の輝度変換画像を用いて、溶融池に関する情報と、溶融池の周囲に関する情報とを導出すること
本発明の第２の画像処理方法は、以下の３つのステップを含んでいる。
（１）カメラ設定を固定して、溶融池および溶融池の周囲を含む撮像領域を複数枚、撮像することにより、複数枚の撮像画像を取得すること
（２）得られた複数枚の撮像画像、もしくは複数枚の撮像画像と所定の関係を有する複数枚の関連画像に対して、複数のＬＵＴ（Look-Up Table）を用いた輝度変換を行うことにより、使用されたＬＵＴの互いに異なる複数枚の輝度変換画像を生成すること
（３）輝度変換によって得られた複数枚の輝度変換画像を用いて、溶融池に関する情報と、溶融池の周囲に関する情報とを導出すること

【0015】

本発明の第１および第２の画像処理装置、本発明の第１および第２の溶接ロボットシステムおよび本発明の第１および第２の画像処理方法では、互いに異なる複数のＬＵＴに基づいて、カメラ部によって得られた１もしくは複数の撮像画像、または、１もしくは複数の撮像画像と所定の関係を有する１もしくは複数の関連画像の輝度変換が行われる。このように、本発明では、撮像後に、１または複数の撮像画像（もしくは関連画像）に対して、輝度変換という画像処理が行われる。従って、本発明では、カメラ設定の変更を行う必要がない。これにより、使用されたＬＵＴの互いに異なる複数の輝度変換画像が得られる。

【発明の効果】

【0016】

参考例に係る画像処理装置、参考例に係る溶接ロボットシステムおよび参考例に係る画像処理方法によれば、カメラ設定の互いに異なる複数の輝度変換画像が得られるようにしたので、最適な撮像条件の互いに異なる２つの対象物を含む領域を１台のカメラで撮像することができる。

【0017】

本発明の第１および第２の画像処理装置、本発明の第１および第２の溶接ロボットシステムおよび本発明の第１および第２の画像処理方法によれば、使用されたＬＵＴの互いに異なる複数の輝度変換画像が得られるようにしたので、最適な撮像条件の互いに異なる２つの対象物を含む領域を１台のカメラで撮像することができる。

【図面の簡単な説明】

【0018】

【図1】本発明の一実施の形態の溶接ロボットシステムの概略構成の一例を表す図である。

【図2】ワークの断面構成の一例を表す図である。

【図3】カメラ設定テーブルの一例を模式的に表す図である。

【図4】アーク溶接の様子の一例を斜視的に表す図である。

【図5】図１のロボット制御装置の概略構成の一例を表す図である。

【図6】図１の画像処理装置の概略構成の一例を表す図である。

【図7】撮像装置により得られる画像の一例を表す図である。

【図8】溶接ロボットシステムの動作手順の一例を表す図である。

【図9】溶接ロボットシステムの動作手順の一例を表す図である。

【図10】図１の画像処理装置の概略構成の一変形例を表す図である。

【図11A】ＬＵＴの一例を表す図である。

【図11B】ＬＵＴの一例を表す図である。

【図12】溶接ロボットシステムの動作手順の一変形例を表す図である。

【発明を実施するための形態】

【0019】

以下、本発明の一実施の形態について、図面を参照して詳細に説明する。なお、説明は以下の順序で行う。

１．実施の形態
カメラ設定を変更しながら連続撮影が行われる例
２．変形例
変形例Ａ：ＬＵＴを変更しながら複数の画像を取得する例
変形例Ｂ：スパッタの写り込みを除去する例

【0020】

＜１．実施の形態＞
最初に、本発明の一実施の形態に係る溶接ロボットシステム１の概要について説明する。図１は、溶接ロボットシステム１の概略構成の一例を表したものである。溶接ロボットシステム１は、プログラム制御された多関節ロボットによってワークＷにアーク溶接を行うものである。ワークＷは、例えば、教示データの取得に用いられる基準ワークの設計データ（例えば、寸法や材料など）と同一の設計データに従って製造されたワークであり、本来、溶接を行うべきワークである。ワークＷは、例えば、図２に示したように、同一面内に配置された２つの母材Ｂ１，Ｂ２からなる。母材Ｂ１の側面Ｓ１と母材Ｂ２の側面Ｓ２とが互いに近接して配置されている。側面Ｓ１および側面Ｓ２によって、Ｖ字型の開先形状が形成されている。Ｖ字型の開先において、母材Ｂ１の側面Ｓ１と母材Ｂ２の側面Ｓ２とが互いに近接する部分が、開先中心ＧＣである。なお、ワークＷは、Ｖ字型の開先形状を有するものに限定されるものではない。

【0021】

[構成]
次に、溶接ロボットシステム１の構成について説明する。溶接ロボットシステム１は、図１に示したように、マニピュレータ１０と、撮像装置２０と、ロボット制御装置３０と、ティーチペンダント４０と、溶接機５０と、画像処理装置６０とを備えている。マニピュレータ１０が本発明の「移動部」の一具体例に相当する。撮像装置２０が本発明の「カメラ部」の一具体例に相当する。ロボット制御装置３０が本発明の「制御部」の一具体例に相当する。画像処理装置６０が本発明の「画像処理装置」「導出部」の一具体例に相当する。ロボット制御装置３０および画像処理装置６０は、図１に示したように互いに別体で構成されていてもよいし、互いに一体に構成されていてもよい。また、ロボット制御装置３０およびティーチペンダント４０は、図１に示したように互いに別体で構成されていてもよいし、互いに一体に構成されていてもよい。

【0022】

溶接ロボットシステム１は、例えば、各種装置同士を互いに接続するケーブルＬ１〜Ｌ７を備えている。ケーブルＬ１は、ロボット制御装置３０とマニピュレータ１０との間で通信するための通信ケーブルであり、ロボット制御装置３０およびマニピュレータ１０に接続されている。ケーブルＬ２は、ロボット制御装置３０とティーチペンダント４０との間で通信するための通信ケーブルであり、ロボット制御装置３０およびティーチペンダント４０に接続されている。ケーブルＬ３は、ロボット制御装置３０と溶接機５０との間で通信するための通信ケーブルであり、ロボット制御装置３０および溶接機５０に接続されている。ケーブルＬ４は、ロボット制御装置３０と画像処理装置６０との間で通信するための通信ケーブルであり、ロボット制御装置３０および画像処理装置６０に接続されている。ケーブルＬ５，Ｌ６は、後述の溶接電極１４とワークＷとの間に高電圧の溶接電圧Ｖｓを供給するための電源ケーブルである。ケーブルＬ５は、溶接機５０および後述の作業台１５に接続されており、ケーブルＬ６は、溶接機５０および後述の溶接トーチ１３に接続されている。ケーブルＬ７は、画像処理装置６０と撮像装置２０との間で通信するための通信ケーブルであり、画像処理装置６０および撮像装置２０に接続されている。

【0023】

（マニピュレータ１０）
マニピュレータ１０は、ロボット制御装置３０からの制御信号に基づいて溶接トーチ１３を移動させることによって、ワークＷに対してアーク溶接を行うようになっている。マニピュレータ１０は、フロア等に固定されるベース部材１１と、ベース部材１１上に設けられた多関節アーム部１２と、多関節アーム部１２の先端に連結された溶接トーチ１３と、作業台１５とを有している。溶接トーチ１３は、溶接電極１４を含んで構成されている。溶接電極１４は、溶接トーチ１３の先端部分に固定されている。溶接トーチ１３が本発明の「溶接トーチ」の一具体例に相当する。溶接電極１４が本発明の「溶接電極」の一具体例に相当する。

【0024】

多関節アーム部１２は、例えば、複数のアーム１２Ａと、２つのアーム１２Ａ同士を回動可能に連結する関節軸（図示せず）とを有している。多関節アーム部１２は、さらに、例えば、アーム１２Ａごとに１つずつ設けられ、対応するアーム１２Ａを駆動する複数の駆動モータ（図示せず）と、各駆動モータに連結され、各アーム１２Ａの現在位置を検出するエンコーダ（図示せず）とを有している。各駆動モータは、ケーブルＬ１を介してロボット制御装置３０から入力される制御信号によって駆動される。このようにして各駆動モータが駆動されることにより、各アーム１２Ａが変位し、結果的に溶接トーチ１３が上下前後左右に移動する。エンコーダは、検出した各アーム１２Ａの現在位置（以下、「位置情報」と称する。）を、ケーブルＬ１を介してロボット制御装置３０に出力するようになっている。

【0025】

多関節アーム部１２の一端（先端）が溶接トーチ１３に連結されており、多関節アーム部１２の他端がベース部材１１に連結されている。溶接電極１４は、例えば、非溶極式の電極であり、例えば、タングステン等の高硬度の金属材料で構成されている。溶接トーチ１３は、例えば、溶接電極１４の先端とワークＷとの間にアークを発生させ、そのアークの熱でワークＷ（さらには、溶加棒）を溶融させることにより、ワークＷに対してアーク溶接を行うものである。なお、アーク溶接に溶加棒が使用される場合には、マニピュレータ１０は、溶加棒を溶接トーチ１３に供給するワイヤ送給装置をさらに有していてもよい。溶接トーチ１３は、ケーブルＬ６に電気的に接続されたコンタクトチップ（図示せず）を有している。コンタクトチップは、ケーブルＬ６から供給される溶接電圧Ｖｓを溶接電極１４に供給するように構成されている。

【0026】

作業台１５は、フロア等に固定されており、ワークＷを設置する台座として使用される。作業台１５は、ワークＷに対するトーチ姿勢を最適に維持するためのポジショナであってもよい。作業台１５が上述のポジショナである場合には、ロボット制御装置３０によってポジショナの軸が駆動制御される。作業台１５は、ケーブルＬ５を介して溶接機５０に接続されており、作業台１５に設置されるワークＷとケーブルＬ５とを互いに電気的に接続するように構成されている。

【0027】

（撮像装置２０）
撮像装置２０は、焦点位置の固定されたカメラであり、例えば、単焦点カメラである。撮像装置２０は、溶接トーチ１３との関係で不動位置に固定されている。撮像装置２０は、ケーブルＬ７を介して画像処理装置６０から入力される制御信号に基づいて撮像を行うことにより、画像Ｉを取得するようになっている。撮像装置２０は、可視光を選択的にカットするフィルタ２０Ａを撮像装置２０の光入射面に有している。フィルタ２０Ａは、例えば、撮像装置２０の光入射面に対して着脱可能な状態で固定されている。フィルタ２０Ａは、アーク溶接時に発生するアーク光に含まれる高強度の可視光線を減衰させるように構成されている。また、フィルタ２０Ａは、アーク溶接時に溶接電極１４の先端から放射された近赤外線を透過するように構成されている。従って、撮像装置２０では、フィルタ２０Ａが装着された状態では、画像Ｉとして、近赤外領域の画像が得られる。

【0028】

撮像装置２０は、画像処理装置６０から入力される制御信号に基づいて、カメラ設定ＳＴを切り替えながら連続撮像を行うようになっている。連続撮像とは、例えば、画像処理装置６０からの１回の制御信号の入力によって、撮像装置２０が自動で複数枚の画像の撮像を行うことを指している。制御信号は、複数のカメラ設定ＳＴを含んでいる。制御信号は、例えば、図３に模式的に示したように、カメラ設定テーブルＴａに含まれる２種類のカメラ設定ＳＴ（ＳＴ１，ＳＴ２）を含んでいる。カメラ設定ＳＴ１，ＳＴ２は、それぞれ、シャッター速度Ｖおよび撮像枚数Ｎを含んでいる。ここで、カメラ設定ＳＴ１には、シャッター速度Ｖとして、溶融池ＷＰのコントラストが得られる値が設定されている。カメラ設定ＳＴ２には、シャッター速度Ｖとして、溶融池ＷＰの周囲（例えば、開先中心ＧＣ）のコントラストが得られる値が設定されている。カメラ設定ＳＴ１におけるシャッター速度と、カメラ設定ＳＴ２におけるシャッター速度とが互いに異なっている。なお、カメラ設定テーブルＴａには、３つ以上のカメラ設定ＳＴが含まれていてもよい。

【0029】

撮像装置２０は、例えば、カメラ設定ＳＴ１に従って、所定の時に、シャッター速度Ｖ＝０．２ｍｓｅｃで、１枚、撮像を行い、所定の撮像周期（例えば、２０ｍｓｅｃ）後に、例えば、カメラ設定ＳＴ２に従って、シャッター速度Ｖ＝２ｍｓｅｃで、１枚、撮像を行うようになっている。カメラ設定ＳＴ１に従って撮像されることにより得られる画像Ｉでは、溶融池ＷＰがはっきりと映る。一方、カメラ設定ＳＴ２に従って撮像されることにより得られる画像Ｉでは、溶融池ＷＰの周囲（例えば、開先中心ＧＣ）がはっきりと映る。

【0030】

撮像装置２０は、撮像により得られた、カメラ設定ＳＴの互いに異なる複数の画像Ｉを、ケーブルＬ７を介して画像処理装置６０に出力するようになっている。撮像装置２０は、溶接領域ＷＲに向けられており、溶接領域ＷＲにピントの合う位置に配置されている。つまり、撮像装置２０において、溶接領域ＷＲが撮像領域として設定されている。溶接領域ＷＲが本発明の「溶接領域」の一具体例に対応する。

【0031】

溶接領域ＷＲは、溶融池ＷＰおよび溶融池ＷＰの周囲を含む領域であり、例えば、図４に示したように、溶融池ＷＰや、溶接電極１４の先端、開先中心ＧＣの一部を含む領域を指している。図４は、アーク溶接時の溶接領域ＷＲの一例を斜視的に表したものである。溶接時、溶接電極１４の先端から放射された近赤外光が溶融池ＷＰやワークＷで反射する。その結果、溶融池ＷＰやワークＷで反射された近赤外光が、撮像装置２０に入射する。

【0032】

（ロボット制御装置３０）
図５は、ロボット制御装置３０の概略構成の一例を表したものである。ロボット制御装置３０は、ティーチペンダント４０からの指示に従って多関節アーム部１２、溶接機５０および画像処理装置６０を制御するものである。ロボット制御装置３０は、制御部３１と、サーボ制御部３２と、通信部３３と、記憶部３４とを有している。以下では、記憶部３４、サーボ制御部３２、通信部３３、制御部３１の順に説明する。

【0033】

記憶部３４は、各種プログラムや各種データファイルを記憶可能に構成されている。記憶部３４は、多関節アーム１２の動作を制御する制御ソフトウェア３４Ａを記憶している。制御ソフトウェア３４Ａは、例えば、ＲＯＭ（read only memory）に格納されている。記憶部３４は、さらに、マニピュレータ１０の溶接作業の手順が教示された複数の作業プログラム３４Ｂを記憶している。複数の作業プログラム３４Ｂは、例えば、ハードディスクに格納されている。作業プログラム３４Ｂには、例えば、移動命令や溶接命令等が記述されている。移動命令には、例えば、移動開始命令、移動停止命令、作業経路（教示点）、およびトーチ姿勢などが含まれ得る。溶接命令には、例えば、アーク溶接の開始命令、アーク溶接の終了命令、溶接電流Ｉｓの設定値、および溶接電圧Ｖｓの設定値などが含まれ得る。

【0034】

サーボ制御部３２は、マニピュレータ１０の各駆動モータを制御するものである。サーボ制御部３２は、例えば、作業プログラム３４Ｂに記載の移動命令および座標データと、マニピュレータ１０のエンコーダからの位置情報とに基づいて制御信号を生成するようになっている。サーボ制御部３２は、生成した制御信号をマニピュレータ１０に出力することにより、マニピュレータ１０の各駆動モータを制御するようになっている。これにより、サーボ制御部３２は、溶接トーチ１３の制御を行うようになっている。

【0035】

通信部３３は、ケーブルＬ２を介してティーチペンダント４０と通信を行ったり、ケーブルＬ３を介して溶接機５０と通信を行ったり、ケーブルＬ４を介して画像処理装置６０と通信を行ったりするものである。通信部３３は、ティーチペンダント４０からの作業指令を受信し、受信した作業指令を制御部３１に出力するようになっている。ティーチペンダント４０からの作業指令には、例えば、再生する作業プログラム３４Ｂの番号等が含まれ得る。また、通信部３３は、制御部３１からの溶接命令を、溶接機５０に送信するようになっている。制御部３１からの溶接命令には、例えば、アーク溶接の開始命令、アーク溶接の終了命令、溶接電流Ｉｓの設定値、および溶接電圧Ｖｓの設定値などが含まれ得る。また、通信部３３は、制御部３１からの開始命令を、画像処理装置６０に送信するようになっている。

【0036】

制御部３１は、ティーチペンダント４０から入力された作業指令に基づいて、作業プログラム３４Ｂを読み出し、その内容を解析するようになっている。制御部３１は、作業プログラム３４Ｂの解析結果に基づいて、作業プログラム３４Ｂに記載の指示に応じて、命令通知を生成するようになっている。制御部３１は、生成した命令通知の内容に応じて、例えば、移動命令、溶接命令、試行開始命令、または倣い開始命令を出力するようになっている。制御部３１は、移動命令を、サーボ制御部３２に出力するようになっている。制御部３１は、溶接命令を、通信部３３を介して溶接機５０に出力するようになっている。制御部３１は、開始命令を、通信部３３を介して画像処理装置６０に出力するようになっている。

【0037】

（ティーチペンダント４０、溶接機５０）
ティーチペンダント４０は、作業者がマニピュレータ１０の動作を教示するものであり、例えば、再生する作業プログラムの番号や、モードの種類などを含む作業指令をロボット制御装置３０に送信するようになっている。溶接機５０は、ロボット制御装置３０による制御信号に基づいて、溶接電流Ｉｓおよび溶接電圧Ｖｓ等を緻密に制御することにより、溶接電極１４の先端とワークＷとの間にアークを発生させるものである。

【0038】

（画像処理装置６０）
図６は、画像処理装置６０の概略構成の一例を表したものである。画像処理装置６０は、撮像装置２０から得られた複数の画像Ｉ（図７参照）を処理するものである。図７は、溶接領域ＷＲの画像Ｉの一例を表したものである。画像処理装置６０は、制御部６１と、通信部６２と、記憶部６３とを有している。記憶部６３は、各種ソフトウェアを記憶可能に構成されている。記憶部６３は、画像処理ソフトウェア６３Ａおよびカメラ設定テーブルＴａを記憶している。画像処理ソフトウェア６３Ａは、例えば、ＲＯＭに格納されている。カメラ設定テーブルＴａは、ＲＡＭに格納されている。画像処理ソフトウェア６３Ａについては、後に詳述するものとする。記憶部６３は、さらに、画像処理ソフトウェア６３Ａが実行されることにより生成される各種データを記憶可能に構成されている。そのようなデータを含むファイルとしては、例えば、画像ファイル６３Ｂが挙げられる。画像ファイル６３Ｂには、例えば、撮像装置２０によって撮像された、カメラ設定ＳＴの互いに異なる複数の画像Ｉや、複数の画像Ｉに基づいて得られたもの（例えば、後述のグレイ画像Ｉｇなど）が格納され得る。画像ファイル６３Ｂは、例えば、ＲＡＭに格納される。

【0039】

通信部６２は、ケーブルＬ４を介してロボット制御装置３０と通信を行ったり、ケーブルＬ７を介して撮像装置２０と通信を行ったりするものである。通信部６２は、ロボット制御装置３０からの開始命令を受信して、受信した開始命令を制御部６１に出力するようになっている。通信部６２は、制御部６１からの撮像命令（制御信号）を、撮像装置２０に送信するようになっている。制御部６１からの撮像命令（制御信号）には、例えば、撮像開始命令、撮像タイミングの設定値などが含まれ得る。通信部６２は、撮像装置２０からの複数の画像Ｉを受信して、受信した複数の画像Ｉを制御部６１に出力するようになっている。

【0040】

制御部６１は、ロボット制御装置３０から入力された開始命令に基づいて、画像処理ソフトウェア６３Ａを読み出し、その内容を解析するようになっている。制御部６１は、その解析結果に基づいて、画像処理ソフトウェア６３Ａに記載の指示に応じて、撮像命令（制御信号）を生成したり、所定の演算処理を実行したりするようになっている。制御部６１は、生成した撮像命令（制御信号）を、通信部６２を介して、撮像装置２０に出力するようになっている。

【0041】

制御部６１は、読み出した画像処理ソフトウェア６３Ａおよびカメラ設定テーブルＴａに基づいて、例えば、以下のような動作を実行するようになっている。制御部６１は、撮像装置２０のカメラ設定ＳＴを切り替え制御しながら撮像装置２０の連続撮像制御を行うようになっている。制御部６１は、カメラ設定ＳＴの切り替え制御を行う際に、シャッター速度Ｖを、溶融池ＷＰのコントラストが得られる値（例えば、０．２ｍｓｅｃ）に設定したり、溶融池ＷＰの周囲（例えば開先中心ＧＣ）のコントラストが得られる値（例えば、２ｍｓｅｃ）に設定したりするようになっている。制御部６１は、撮像装置２０によって得られた、カメラ設定ＳＴの互いに異なる複数の画像Ｉを用いて、溶融池ＷＰに関する情報Ｉｘと、溶融池ＷＰの周囲（例えば開先中心ＧＣ）に関する情報Ｉｙとを導出するようになっている。制御部６１は、得られた情報Ｉｘおよび情報Ｉｙから、例えば、溶融池ＷＰの、開先中心ＧＣからのずれ量などを導出するようになっていてもよい。

【0042】

制御部６１は、カメラ設定ＳＴの互いに異なる複数の画像Ｉを、所定の方法で合成するようになっていてもよい。制御部６１は、例えば、カメラ設定ＳＴの互いに異なる複数の画像Ｉを、ＨＤＲ合成手法を用いて、合成するようになっていてもよい。ＨＤＲ合成手法については、後に詳述する。

【0043】

［動作］
次に、画像処理ソフトウェア６３Ａを実行したときの溶接ロボットシステム１の動作手順について説明する。

【0044】

図８は、ロボット制御装置３０、画像処理装置６０および撮像装置２０の動作手順の一例を表したものである。まず、ロボット制御装置３０が、ティーチペンダント４０から、作業プログラム３４Ｂの番号を示す情報を含む作業指令を受信したとする（ステップＳ１０１）。すると、ロボット制御装置３０は、該当する番号の作業プログラム３４Ｂを読み出し、作業プログラム３４Ｂに記載の指示に応じて命令通知を生成する。ロボット制御装置３０は、例えば、作業プログラム３４Ｂに記載の座標データを含む制御信号をマニピュレータ１０に送信し、溶接命令を溶接機５０に送信する。ロボット制御装置３０は、さらに、開始命令を画像処理装置６０に送信する（ステップＳ１０２）。マニピュレータ１０は、ロボット制御装置３０からの制御信号に応じて、溶接トーチ１３を制御する。溶接機５０は、ロボット制御装置３０から溶接命令を受信すると、その内容に従って、例えば、溶接電流Ｉｓおよび溶接電圧Ｖｓを制御する。その結果、アーク溶接が開始される。このとき、撮像装置２０は、溶接トーチ１３の移動に伴って移動する。

【0045】

画像処理装置６０は、ロボット制御装置３０から開始命令を受信すると（ステップＳ１０３）、例えば、内部状態を初期化する。その後、画像処理装置６０は、撮像命令（制御信号）を生成し、撮像装置２０に送信する（ステップＳ１０４）。画像処理装置６０は、撮像命令（制御信号）として、例えば、撮像開始命令、撮像タイミングの設定値、およびカメラ設定テーブルＴａに含まれる複数のカメラ設定ＳＴを撮像装置２０に送信する。撮像装置２０は、画像処理装置６０から撮像命令（制御信号）を受信すると（ステップＳ１０５）、撮像命令に含まれる撮像開始命令に従って、撮像準備を開始する。撮像装置２０は、続いて、撮像命令（制御信号）に含まれる撮像タイミングの設定値に従って、所定のタイミングごとに撮像を行う。このとき、撮像装置２０は、撮像命令（制御信号）に含まれる複数のカメラ設定ＳＴに従って、カメラ設定ＳＴの切り替えと、連続撮像を行い、これにより、カメラ設定ＳＴの互いに異なる複数の画像Ｉを取得する（ステップＳ１０６）。各カメラ設定ＳＴは、シャッター速度を含んでおり、各カメラ設定ＳＴにおいて、シャッター速度Ｖが互いに異なっている。

【0046】

複数のカメラ設定ＳＴがカメラ設定ＳＴ１，ＳＴ２であった場合、撮像装置２０は、カメラ設定ＳＴ１で、溶接領域ＷＲを撮像領域として１枚、撮像することにより、１枚の画像Ｉ（画像Ｉａ）を取得したのち、カメラ設定ＳＴ１とは異なるカメラ設定ＳＴ２で、溶接領域ＷＲを撮像領域として１枚、撮像することにより、１枚の画像Ｉ（画像Ｉｂ）を取得する。カメラ設定ＳＴ１が、本発明の「第１カメラ設定」の一具体例に対応する。カメラ設定ＳＴ２が、本発明の「第２カメラ設定」の一具体例に対応する。カメラ設定ＳＴ１，ＳＴ２は、シャッター速度Ｖを含んでいる。カメラ設定ＳＴ１におけるシャッター速度と、カメラ設定ＳＴ２におけるシャッター速度とが互いに異なっている。撮像装置２０は、例えば、カメラ設定ＳＴ１に従って、所定の時に、シャッター速度Ｖ＝０．２ｍｓｅｃで、１枚、撮像を行い、所定の撮像周期（例えば、２０ｍｓｅｃ）後に、例えば、カメラ設定ＳＴ２に従って、シャッター速度Ｖ＝２ｍｓｅｃで、１枚、撮像を行う。

【0047】

このとき、撮像装置２０の光入射面には、可視光を選択的にカットするフィルタ２０Ａが取り付けられている。しかし、上述したようにシャッター速度Ｖを２０ｍｓｅｃ程度に遅くすることで、アーク光で照らされた開先中心ＧＰの像が画像Ｉｂに映り込む。また、２枚目の画像Ｉｂは、所定の撮像周期を経た後に撮像されたものである。従って、２枚の画像Ｉａ，Ｉｂは、厳密には同時に撮像されたものではない。しかし、例えば、数１００ｍｓｅｃ程度の時間幅、またはそれを超えない程度の時間幅では、アーク溶接は状態遷移をするものの、溶融池ＷＰや開先中心ＧＣの形状や位置は、ほとんど変化しない。従って、２枚の画像Ｉａ，Ｉｂは、実質的に同時に撮像されたものとして扱うことが可能である。

【0048】

撮像装置２０は、撮像により得られた、カメラ設定ＳＴの互いに異なる複数の画像Ｉ（例えば、画像Ｉａ，Ｉｂ）を画像処理装置６０に送信する（ステップＳ１０７）。画像処理装置６０は、撮像装置２０から複数の画像Ｉ（例えば、画像Ｉａ，Ｉｂ）を受信する（ステップＳ１０８）。その後、画像処理装置６０は、取得した複数の画像Ｉ（例えば、画像Ｉａ，Ｉｂ）を用いて、溶融池ＷＰに関する情報Ｉｘと、溶融池ＷＰの周囲に関する情報Ｉｙとを導出する（ステップＳ１０９）。

【0049】

図９は、画像処理装置６０の動作手順の一例を表したものである。制御部６１は、カメラ設定ＳＴの互いに異なる複数の画像Ｉを、ＨＤＲ合成手法を用いて合成する。画像処理装置６０は、まず、勾配画像Ｉａｘ，Ｉａｙ，Ｉｂｘ，Ｉｂｙを導出する（ステップＳ２０１）。具体的には、画像処理装置６０は、画像Ｉａにおいて、Ｘ方向に互いに隣接する画素間の輝度の勾配を全画素で導出し、それにより画像Ｉａｘを得る。画像処理装置６０は、画像Ｉａにおいて、Ｙ方向に互いに隣接する画素間の輝度の勾配を全画素で導出し、それにより画像Ｉａｙを得る。画像処理装置６０は、画像Ｉｂにおいて、Ｘ方向に互いに隣接する画素間の輝度の勾配を全画素で導出し、それにより画像Ｉｂｘを得る。画像処理装置６０は、画像Ｉｂにおいて、Ｙ方向に互いに隣接する画素間の輝度の勾配を全画素で導出し、それにより画像Ｉｂｙを得る。

【0050】

次に、画像処理装置６０は、最大値画像Ｉｘ＿ｍａｘ，Ｉｙ＿ｍａｘを導出する（ステップＳ２０２）。具体的には、画像処理装置６０は、勾配画像Ｉａｘと、勾配画像Ｉｂｘとを、全ての画素において共通の画素ごとに対比して、輝度の絶対値の大きい方の値を抽出することにより、Ｉｘ＿ｍａｘを得る。画像処理装置６０は、勾配画像Ｉａｙと、勾配画像Ｉｂｙとを、全ての画素において共通の画素ごとに対比して、輝度の絶対値の大きい方の値を抽出することにより、Ｉｙ＿ｍａｘを得る。

【0051】

次に、画像処理装置６０は、ベクトル画像Ｉｖを導出する（ステップＳ２０３）。具体的には、画像処理装置６０は、最大値画像Ｉｘ＿ｍａｘの各画素の値をＸ方向成分とし、最大値画像Ｉｙ＿ｍａｘの各画素の値をＹ方向成分として、画素ごとにベクトル合成することにより、ベクトル画像Ｉｖを得る。次に、画像処理装置６０は、グレイ画像Ｉｇを導出する（ステップＳ２０４）。具体的には、画像処理装置６０は、ベクトル画像Ｉｖの各画素の勾配を用いて、グレイ画像Ｉｇを導出する。このようにして得られた１枚のグレイ画像Ｉｇには、溶融池ＷＰに関する情報Ｉｘと、溶融池ＷＰの周囲に関する情報Ｉｙとが含まれている。

【0052】

［効果］
次に、溶接ロボットシステム１の効果について説明する。

【0053】

溶融池ＷＰを含む領域を撮像する際に、溶融池ＷＰに撮像条件を合わせた場合には、撮像画像において、溶融池ＷＰははっきりと映るが、溶融池ＷＰの周囲は非常に暗く、ほとんど映らない。他方、溶融池ＷＰを含む領域を撮像する際に、溶融池ＷＰの周囲に撮像条件を合わせた場合には、撮像画像において、溶融池ＷＰはアーク光の影響で真っ白になり、見えなくなるが、溶融池ＷＰの周囲の一部ははっきりと見える。

【0054】

このように、最適な撮像条件の異なる２つの対象物が撮像領域内に存在する場合、一度の撮像で、両方の対象物を撮像画像に映すことは難しい。そこで、例えば、２台のカメラを用意し、一方のカメラを一方の対象物に撮像条件を合わせて撮像を行うと同時に、他方のカメラを他方の対象物に撮像条件を合わせて撮像を行うことが考えられる。しかし、そのようにした場合には、溶接トーチ１３付近に２台のカメラを設置することになるので、いずれか一方のカメラがワークＷに干渉し、溶接が困難になってしまうという問題がある。

【0055】

一方、本実施の形態では、溶融池ＷＰおよび溶融池ＷＰの周囲を含む溶接領域ＷＲが撮像領域として設定された撮像装置２０のカメラ設定ＳＴの切り替え制御が行われている間に、連続撮像制御が行われる。これにより、１台の撮像装置２０から、カメラ設定ＳＴの互いに異なる複数の画像Ｉが得られる。ここで、切り替えるカメラ設定ＳＴとしてシャッター速度が設定されている。シャッター速度は、カメラ設定ＳＴの中で、特に、高速に切り換え可能なものである。従って、撮像装置２０（溶接トーチ１３）を移動させながら、溶接領域ＷＲを撮像する際に、ほぼ同一の撮像領域に対して連続撮像が行われている間に、シャッター速度Ｖを、溶融池ＷＰのコントラストが得られる値に設定したり、溶融池ＷＰの周囲のコントラストが得られる値に設定したりすることができる。これにより、ほぼ同一の撮像領域において、シャッター速度Ｖの互いに異なる複数の画像Ｉが得られる。以上のことから、本実施の形態では、最適な撮像条件の互いに異なる２つの対象物を含む領域を１台の撮像装置２０で撮像することができる。

【0056】

＜２．変形例＞
以下に、上記実施の形態の溶接ロボットシステム１の変形例について説明する。なお、以下では、上記実施の形態と共通の構成要素に対しては、上記実施の形態で付されていた符号と同一の符号が付される。また、上記実施の形態と異なる構成要素の説明を主に行い、上記実施の形態と共通の構成要素の説明については、適宜、省略するものとする。

【0057】

［変形例Ａ］
上記実施の形態では、連続撮影に際して、カメラ設定ＳＴが切り替えられていた。しかし、上記実施の形態において、連続撮影に際して、カメラ設定ＳＴを固定にしてもよい。ただし、そのようにした場合には、カメラ設定ＳＴの切り替えの代わりに、撮像装置２０のＬＵＴ（Look-Up Table）の切り換えを行えばよい。

【0058】

本変形例では、撮像装置２０は、画像処理装置６０から入力される制御信号に基づいて、カメラ設定ＳＴを固定にして撮像を行うようになっている。制御信号は、単一のカメラ設定ＳＴを含んでいる。単一のカメラ設定ＳＴは、例えば、カメラ設定ＳＴ１またはカメラ設定ＳＴ２である。撮像装置２０は、例えば、カメラ設定ＳＴ１に従って、所定の時に、シャッター速度Ｖ＝０．２ｍｓｅｃで、１枚、撮像を行うようになっている。

【0059】

撮像装置２０は、撮像により得られた１枚の画像Ｉを、ケーブルＬ７を介して画像処理装置６０に出力するようになっている。撮像装置２０は、溶接領域ＷＲに向けられており、溶接領域ＷＲにピントの合う位置に配置されている。つまり、撮像装置２０において、溶接領域ＷＲが撮像領域として設定されている。

【0060】

図１０は、本変形例の画像処理装置６０の概略構成の一例を表したものである。画像処理装置６０において、記憶部６３は、カメラ設定テーブルＴａの代わりに、単一のカメラ設定ＳＴ（例えば、カメラ設定ＳＴ１またはカメラ設定ＳＴ２）を記憶している。記憶部６３は、さらに、互いに異なる複数のＬＵＴ６３Ｃを記憶している。各ＬＵＴ６３Ｃは、入力輝度に対する出力輝度の割り当てテーブルである。各ＬＵＴ６３Ｃのテーブル容量（格納数）は、階調分だけ存在する。画像Ｉが２５６階調となっている場合には、各ＬＵＴ６３Ｃは、２５６個のデータ格納数を持っている。

【0061】

図１１Ａは、記憶部６３に格納された、あるＬＵＴ６３Ｃの一例をグラフで表したものである。図１１Ｂは、記憶部６３に格納された、別のＬＵＴ６３Ｃの一例をグラフで表したものである。図１１Ａに記載のＬＵＴ６３Ｃは、線形となっており、入力輝度の大きさに比例して出力輝度が大きくなるように設定されている。図１１Ａに記載のＬＵＴ６３Ｃは、高輝度の対象物を画像Ｉに映し出すのに適している。一方、図１１Ｂに記載のＬＵＴ６３Ｃは、反比例に近い特性となっている。図１１Ｂに記載のＬＵＴ６３Ｃは、入力輝度が小さいときに出力輝度が大きくなり、入力輝度がある一定以上大きくなると、入力輝度が大きくなるにつれて出力輝度が小さくなるように設定されている。図１１Ｂに記載のＬＵＴ６３Ｃは、高輝度の対象物に隣接する低輝度の対象物を画像Ｉに映し出すのに適している。

【0062】

制御部６１は、読み出した画像処理ソフトウェア６３Ａおよび単一のカメラ設定ＳＴに基づいて、例えば、以下のような動作を実行するようになっている。制御部６１は、互いに異なる複数のＬＵＴ６３Ｃに基づいて、撮像装置２０によって得られた１枚の画像Ｉの輝度変換を行い、輝度変換によって得られた複数の輝度変換画像Ｉｔを用いて、溶融池ＷＰに関する情報Ｉｘと、溶融池ＷＰの周囲に関する情報Ｉｙとを導出するようになっている。

【0063】

制御部６１は、輝度変換によって得られた複数の輝度変換画像Ｉｔを、所定の方法で合成するようになっていてもよい。制御部６１は、例えば、輝度変換によって得られた複数の輝度変換画像Ｉｔを、上述したＨＤＲ合成手法を用いて、合成するようになっていてもよい。

【0064】

［動作］
次に、画像処理ソフトウェア６３Ａを実行したときの溶接ロボットシステム１の動作手順について説明する。

【0065】

図１２は、ロボット制御装置３０、画像処理装置６０および撮像装置２０の動作手順の一例を表したものである。まず、ロボット制御装置３０が、ティーチペンダント４０から、作業プログラム３４Ｂの番号を示す情報を含む作業指令を受信したとする（ステップＳ３０１）。すると、ロボット制御装置３０は、該当する番号の作業プログラム３４Ｂを読み出し、作業プログラム３４Ｂに記載の指示に応じて命令通知を生成する。ロボット制御装置３０は、例えば、作業プログラム３４Ｂに記載の座標データを含む制御信号をマニピュレータ１０に送信し、溶接命令を溶接機５０に送信する。ロボット制御装置３０は、さらに、開始命令を画像処理装置６０に送信する（ステップＳ３０２）。マニピュレータ１０は、ロボット制御装置３０からの制御信号に応じて、溶接トーチ１３を制御する。溶接機５０は、ロボット制御装置３０から溶接命令を受信すると、その内容に従って、例えば、溶接電流Ｉｓおよび溶接電圧Ｖｓを制御する。その結果、アーク溶接が開始される。このとき、撮像装置２０は、溶接トーチ１３の移動に伴って移動する。

【0066】

画像処理装置６０は、ロボット制御装置３０から開始命令を受信すると（ステップＳ３０３）、例えば、内部状態を初期化する。その後、画像処理装置６０は、撮像命令（制御信号）を生成し、撮像装置２０に送信する（ステップＳ３０４）。画像処理装置６０は、撮像命令（制御信号）として、例えば、撮像開始命令、撮像タイミングの設定値、および単一のカメラ設定ＳＴを撮像装置２０に送信する。撮像装置２０は、画像処理装置６０から撮像命令（制御信号）を受信すると（ステップＳ３０５）、撮像命令に含まれる撮像開始命令に従って、撮像準備を開始する。撮像装置２０は、続いて、撮像命令（制御信号）に含まれる撮像タイミングの設定値に従って、所定のタイミングで撮像を行う。このとき、撮像装置２０は、撮像命令（制御信号）に含まれる単一のカメラ設定ＳＴに従って、カメラ設定ＳＴを固定した状態で撮像を行い、これにより、１枚の画像Ｉを取得する（ステップＳ３０６）。

【0067】

撮像装置２０は、カメラ設定ＳＴを固定して、溶接領域ＷＲを撮像領域として１枚、撮像することにより、１枚の画像Ｉを取得する。撮像装置２０は、例えば、カメラ設定ＳＴに従って、所定の時に、シャッター速度Ｖ＝０．２ｍｓｅｃで、１枚、撮像を行う。撮像装置２０は、撮像により得られた１枚の画像Ｉを画像処理装置６０に送信する（ステップＳ３０７）。画像処理装置６０は、撮像装置２０から１枚の画像Ｉを受信する（ステップＳ３０８）。その後、画像処理装置６０は、互いに異なる複数のＬＵＴ６３Ｃに基づいて、撮像装置２０によって得られた１枚の画像Ｉの輝度変換を行い、輝度変換によって得られた複数の輝度変換画像Ｉｔを用いて、溶融池ＷＰに関する情報Ｉｘと、溶融池ＷＰの周囲に関する情報Ｉｙとを導出する（ステップＳ３０９）。

【0068】

［効果］
次に、本変形例の溶接ロボットシステム１の効果について説明する。

【0069】

本変形例では、溶融池ＷＰおよび溶融池ＷＰの周囲を含む溶接領域ＷＲが撮像領域として設定された撮像装置２０のカメラ設定ＳＴを固定して撮像制御が行われる。また、本変形例では、互いに異なる複数のＬＵＴ６３Ｃに基づいて、撮像装置２０によって得られた１枚の画像Ｉの輝度変換が行われる。このように、本変形例では、撮像後に、１枚の画像Ｉに対して、輝度変換という画像処理が行われる。これにより、完全に同一の撮像領域において、使用されたＬＵＴ６３Ｃの互いに異なる複数の画像（輝度変換画像Ｉｔ）が得られる。以上のことから、本変形例では、最適な撮像条件の互いに異なる２つの対象物を含む領域を１台の撮像装置２０で撮像することができる。

【0070】

ところで、上記変形例Ａにおいて、撮像装置２０は、画像処理装置６０から入力される制御信号に基づいて、カメラ設定ＳＴを固定にして連続撮像を行うようになっていてもよい。撮像装置２０は、例えば、カメラ設定ＳＴ１に従って、所定の時に、シャッター速度Ｖ＝０．２ｍｓｅｃで、連続撮像を行うようになっていてもよい。

【0071】

撮像装置２０は、撮像により得られた複数の画像Ｉを、ケーブルＬ７を介して画像処理装置６０に出力するようになっている。制御部６１は、読み出した画像処理ソフトウェア６３Ａおよび単一のカメラ設定ＳＴに基づいて、例えば、以下のような動作を実行するようになっている。制御部６１は、互いに異なる複数のＬＵＴ６３Ｃに基づいて、撮像装置２０によって得られた複数の画像Ｉの輝度変換を行い、輝度変換によって得られた複数の輝度変換画像Ｉｔを用いて、溶融池ＷＰに関する情報Ｉｘと、溶融池ＷＰの周囲に関する情報Ｉｙとを導出するようになっている。

【0072】

撮像装置２０は、画像処理装置６０から撮像命令（制御信号）を受信すると（ステップＳ１０５）、撮像命令に含まれる撮像開始命令に従って、撮像準備を開始する。撮像装置２０は、続いて、撮像命令（制御信号）に含まれる撮像タイミングの設定値に従って、所定のタイミングごとに撮像を行う。このとき、撮像装置２０は、撮像命令（制御信号）に含まれる単一のカメラ設定ＳＴに従って、カメラ設定ＳＴを固定した状態で連続撮像を行い、これにより、複数の画像Ｉを取得する。

【0073】

撮像装置２０は、カメラ設定ＳＴを固定して、溶接領域ＷＲを撮像領域として連続撮像することにより、複数の画像Ｉを取得する（ステップＳ１０６）。撮像装置２０は、例えば、カメラ設定ＳＴに従って、所定の時に、シャッター速度Ｖ＝０．２ｍｓｅｃで、連続撮像を行う。撮像装置２０は、連続撮像により得られた複数の画像Ｉを画像処理装置６０に送信する（ステップＳ１０７）。画像処理装置６０は、撮像装置２０から複数の画像Ｉを受信する（ステップＳ１０８）。その後、画像処理装置６０は、互いに異なる複数のＬＵＴ６３Ｃに基づいて、撮像装置２０によって得られた複数の画像Ｉの輝度変換を行い、輝度変換によって得られた複数の輝度変換画像Ｉｔを用いて、溶融池ＷＰに関する情報Ｉｘと、溶融池ＷＰの周囲に関する情報Ｉｙとを導出する（ステップＳ１０９）。

【0074】

本変形例では、溶接領域ＷＲが撮像領域として設定された撮像装置２０のカメラ設定ＳＴを固定して連続撮像制御が行われる。このように、本変形例では、連続撮像制御が行われる間、カメラ設定が固定されている。そのため、撮像装置２０を移動させながら、溶接領域ＷＲを撮像する際に、ほぼ同一の撮像領域に対して連続撮像を行うことができる。また、本変形例では、互いに異なる複数のＬＵＴ６３Ｃを用いて、撮像装置２０によって得られた１または複数の画像Ｉの輝度変換が行われる。このように、本変形例では、撮像後に、１または複数の画像Ｉに対して、輝度変換という画像処理が行われる。従って、撮像装置２０を移動させながら、溶接領域ＷＲを撮像する際に、ほぼ同一の撮像領域に対して連続撮像が行われている間に、カメラ設定ＳＴの変更を行う必要がない。これにより、完全に同一の撮像領域、または、ほぼ同一の撮像領域において、使用されたＬＵＴ６３Ｃの互いに異なる複数の画像（輝度変換画像Ｉｔ）が得られる。以上のことから、本変形例では、最適な撮像条件の互いに異なる２つの対象物を含む領域を１台の撮像装置２０で撮像することができる。

【0075】

［変形例Ｂ］
上記実施の形態および上記変形例Ａにおいて、撮像装置２０は、画像処理装置６０から入力される制御信号に基づいて、あるカメラ設定ＳＴにおいて、連続撮像を行うようになっていてもよい。画像処理装置６０の制御部６１は、読み出した画像処理ソフトウェア６３Ａおよびカメラ設定テーブルＴａに基づいて、例えば、以下のような動作を実行するようになっている。

【0076】

制御部６１は、撮像装置２０のカメラ設定ＳＴを切り替え制御しながら、カメラ設定ＳＴごとに、撮像装置２０の連続撮像制御を行うようになっている。制御部６１は、カメラ設定ＳＴごとに、複数の画像Ｉを用いて、ノイズの低減された１または複数のノイズ低減画像Ｉｄを１または複数の関連画像Ｉｅとして生成するようになっている。制御部６１は、カメラ設定ＳＴが固定されている間に得られた複数の画像Ｉを用いて、ノイズの低減されたノイズ低減画像Ｉｄを、カメラ設定ＳＴごとに生成するようになっている。制御部６１は、生成した１または複数のノイズ低減画像Ｉｄを用いて、溶融池ＷＰに関する情報Ｉｘと、溶融池ＷＰの周囲に関する情報Ｉｙとを導出するようになっている。制御部６１は、カメラ設定ＳＴごとに、複数の画像ＩのＡＮＤ演算を行うようになっている。ＡＮＤ演算とは、全ての画像Ｉの輝度データを画素ごとに加算し、所定の値で正規化することを指している。

【0077】

本変形例では、カメラ設定ＳＴごとに、複数の画像Ｉを用いて、ノイズの低減された１または複数のノイズ低減画像Ｉｄが１または複数の関連画像Ｉｅとして生成される。これにより、例えば、ＣＯ₂溶接のような、スパッタの発生する溶接において、スパッタの飛散の様子が画像Ｉに映り込んでしまった場合であっても、画像Ｉに映り込んだスパッタを、例えば、ＡＮＤ演算などによって除去することができる。

【符号の説明】

【0078】

１…溶接ロボットシステム、１０…マニピュレータ、１１…ベース部材、１２…多関節アーム部、１２Ａ…アーム、１３…溶接トーチ、１４…溶接電極、１５…作業台、２０…撮像装置、２０Ａ…フィルタ、３０…ロボット制御装置、３１…制御部、３２…サーボ制御部、３３…通信部、３４…記憶部、３４Ａ…制御ソフトウェア、３４Ｂ…作業プログラム、４０…ティーチペンダント、５０…溶接機、６０…画像処理装置、６１…制御部、６２…通信部、６３…記憶部、６３Ａ…画像処理ソフトウェア、６３Ｂ…画像ファイル、６３Ｃ…ＬＵＴ、Ｂ１，Ｂ２…母材、ＧＣ…開先中央、Ｉ，Ｉａ，Ｉｂ…画像、Ｉｄ…ノイズ低減画像、Ｉｅ…関連画像、Ｉｔ…輝度変換画像、Ｉｘ…溶融池に関する情報、Ｉｙ…溶融池の周囲に関する情報、Ｌ１〜Ｌ７…ケーブル、Ｎ…撮像枚数、Ｓ１，Ｓ２…側面、ＳＴ，ＳＴ１，ＳＴ２…カメラ設定、Ｔａ…カメラ設定テーブル、Ｖ…シャッター速度、Ｗ…ワーク、ＷＢ…溶接ビード、ＷＰ…溶融池、ＷＲ…溶接領域。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11A】

【図11B】

【図12】