ホーム > 特許ランキング > 住友重機械工業株式会社
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024022981
(43)【公開日】2024-02-21
(54)【発明の名称】溶接装置、溶接制御方法及び溶接制御プログラム
(51)【国際特許分類】
B23K 9/095 20060101AFI20240214BHJP
B23K 10/00 20060101ALI20240214BHJP
B23K 31/00 20060101ALI20240214BHJP
【ＦＩ】
B23K9/095 510A
B23K9/095 515A
B23K9/095 501F
B23K10/00 502B
B23K31/00 K
【審査請求】未請求
【請求項の数】10
【出願形態】ＯＬ
(21)【出願番号】P 2022126469
(22)【出願日】2022-08-08
(71)【出願人】
【識別番号】000002107
【氏名又は名称】住友重機械工業株式会社
(74)【代理人】
【識別番号】100090033
【弁理士】
【氏名又は名称】荒船 博司
(74)【代理人】
【識別番号】100093045
【弁理士】
【氏名又は名称】荒船 良男
(72)【発明者】
【氏名】衞藤 晴彦
(72)【発明者】
【氏名】坂井 郁也
(57)【要約】
【課題】溶接に関する制御を好適に行う。
【解決手段】溶接装置１は、溶接部を含む画像を取得する撮像部２７と、制御部４７とを備える。制御部４７は、撮像部２７が取得した溶接画像に基づいて、当該溶接画像に含まれる少なくとも１つの領域の情報を抽出し、抽出した領域の情報に基づいて、所定の特徴量を算出し、算出した特徴量に基づいて、溶接に関する制御を行う。
【選択図】図６
【解決手段】溶接装置１は、溶接部を含む画像を取得する撮像部２７と、制御部４７とを備える。制御部４７は、撮像部２７が取得した溶接画像に基づいて、当該溶接画像に含まれる少なくとも１つの領域の情報を抽出し、抽出した領域の情報に基づいて、所定の特徴量を算出し、算出した特徴量に基づいて、溶接に関する制御を行う。
【選択図】図６
【特許請求の範囲】
【請求項1】
溶接部を含む画像を取得する画像取得手段と、
前記画像取得手段が取得した画像に基づいて、当該画像に含まれる少なくとも１つの領域の情報を抽出する抽出手段と、
前記抽出手段が抽出した前記領域の情報に基づいて、所定の特徴量を算出する算出手段と、
前記算出手段が算出した前記特徴量に基づいて、溶接に関する制御を行う制御手段と、
を備える溶接装置。
前記画像取得手段が取得した画像に基づいて、当該画像に含まれる少なくとも１つの領域の情報を抽出する抽出手段と、
前記抽出手段が抽出した前記領域の情報に基づいて、所定の特徴量を算出する算出手段と、
前記算出手段が算出した前記特徴量に基づいて、溶接に関する制御を行う制御手段と、
を備える溶接装置。
【請求項2】
前記抽出手段は、セマンティックセグメンテーションにより、前記領域の情報を抽出する、
請求項１に記載の溶接装置。
請求項１に記載の溶接装置。
【請求項3】
前記制御手段は、前記溶接に関する制御として、ワークに対する溶接トーチの相対位置、相対姿勢及び相対速度、並びに溶接電流値、ウィービングの周期、波形及び幅のうち、いずれか少なくとも１つを制御する、
請求項１に記載の溶接装置。
請求項１に記載の溶接装置。
【請求項4】
前記制御手段は、前記特徴量に基づいて、制御則を切り替える、
請求項１に記載の溶接装置。
請求項１に記載の溶接装置。
【請求項5】
前記制御手段が用いる前記特徴量の種別及び制御内容の少なくとも１つを、ユーザ操作に基づいて設定する設定手段を備える、
請求項１に記載の溶接装置。
請求項１に記載の溶接装置。
【請求項6】
前記溶接部の画像、前記制御手段が制御に用いる制御量の少なくとも１つを表示する表示手段を備える、
請求項１に記載の溶接装置。
請求項１に記載の溶接装置。
【請求項7】
前記算出手段が算出した前記特徴量に基づいて、溶接状態が正常か否かを判定する判定手段を備える、
請求項１に記載の溶接装置。
請求項１に記載の溶接装置。
【請求項8】
前記判定手段が用いる前記特徴量及び判定条件の少なくとも１つを、ユーザ操作に基づいて設定する第２設定手段を備える、
請求項７に記載の溶接装置。
請求項７に記載の溶接装置。
【請求項9】
溶接部を含む画像を取得する画像取得手段を備える溶接装置の制御部が、
前記画像取得手段が取得した画像に基づいて、当該画像に含まれる少なくとも１つの領域の情報を抽出する抽出工程と、
前記抽出工程で抽出した前記領域の情報に基づいて、所定の特徴量を算出する算出工程と、
前記算出工程で算出した前記特徴量に基づいて、溶接に関する制御を行う制御工程と、
を実行する溶接制御方法。
前記画像取得手段が取得した画像に基づいて、当該画像に含まれる少なくとも１つの領域の情報を抽出する抽出工程と、
前記抽出工程で抽出した前記領域の情報に基づいて、所定の特徴量を算出する算出工程と、
前記算出工程で算出した前記特徴量に基づいて、溶接に関する制御を行う制御工程と、
を実行する溶接制御方法。
【請求項10】
溶接部を含む画像を取得する画像取得手段を備える溶接装置のコンピュータを、
前記画像取得手段が取得した画像に基づいて、当該画像に含まれる少なくとも１つの領域の情報を抽出する抽出手段、
前記抽出手段が抽出した前記領域の情報に基づいて、所定の特徴量を算出する算出手段、
前記算出手段が算出した前記特徴量に基づいて、溶接に関する制御を行う制御手段、
として機能させる溶接制御プログラム。
前記画像取得手段が取得した画像に基づいて、当該画像に含まれる少なくとも１つの領域の情報を抽出する抽出手段、
前記抽出手段が抽出した前記領域の情報に基づいて、所定の特徴量を算出する算出手段、
前記算出手段が算出した前記特徴量に基づいて、溶接に関する制御を行う制御手段、
として機能させる溶接制御プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、溶接装置、溶接制御方法及び溶接制御プログラムに関する。
【背景技術】
【0002】
アーク溶接では、ワーク板厚、開先形状、ルートギャップ幅、裏当材材質、溶接電流・電圧といった様々な条件の違いに合わせて最適なトーチの動作制御を行う必要がある。特に、ルートギャップ幅が一様でない場合や、セラミック製の裏当て材上の初層溶接は、自動化が困難とされてきた。ルートギャップ幅が変動する場合、ルートギャップ幅に合わせてトーチの進行速度を調整し、溶着量を適正に維持する必要がある。継手とトーチの進行方向とが常に平行とならない場合は、トーチを継手の中心に沿って動かす、いわゆる倣い制御が必要となる。トーチとワークとの高さ及び角度が一定の場合は、上述の進行速度と中心倣いが主な制御対象となる。ギャップ幅が過大となると、トーチを幅方向に揺動させるウィービング動作も必要となる。さらにセラミック製の裏当て材上での初層溶接では、トーチの進行速度が遅すぎる場合は十分な溶込みが得られず、逆に速すぎる場合は溶接ワイヤに溶融池が追従できずにアーク放電の維持が困難になる（図９参照）。
【0003】
溶融池の状態はルートギャップ幅等の溶接条件の影響を受けるため、ルートギャップ及び溶融部の状態を溶接中にセンシングしてトーチの進行速度を調整することが望ましい。そのためのセンシング方法として、レーザーセンサや視覚センサを用いた手法が用いられる。レーザーセンサは開先及びルートギャップの検出に用いられる。視覚センサは溶融池の位置・形状や溶接ワイヤの先端位置といった情報を得るために使用され、撮像画像を解析することで所望の特徴量が得られる。
【0004】
例えば特許文献１に記載の技術では、ルートギャップを有する開先突合せ溶接を対象に、溶融部及びその近傍を撮像した画像から、ルート端部の位置と溶融部の先端位置とを特徴量として検出し、これらの数値を用いて溶接条件を制御している。
また特許文献１には、特徴量を得るために撮像画像と特徴量との関係を学習した回帰型の深層学習モデルを用いることが記載されている。溶接画像から特徴量を得るための画像処理手法は従来様々なものが提案されているが、アークの変動に伴う輝度変化や、ヒューム（煙）やスパッタといった外乱に対してロバストに特徴量を得ることは一般に難しい。そのため、近年では、特許文献１のように深層学習等の機械学習を用いて撮像画像から特徴量を得る手法がよく用いられる。
また特許文献１には、特徴量を得るために撮像画像と特徴量との関係を学習した回帰型の深層学習モデルを用いることが記載されている。溶接画像から特徴量を得るための画像処理手法は従来様々なものが提案されているが、アークの変動に伴う輝度変化や、ヒューム（煙）やスパッタといった外乱に対してロバストに特徴量を得ることは一般に難しい。そのため、近年では、特許文献１のように深層学習等の機械学習を用いて撮像画像から特徴量を得る手法がよく用いられる。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特許第７０７５３１１号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、上記特許文献１では、回帰型の学習モデルを用いているため、画像中のどの点を特徴量とみなすのかを予め決定した上で学習を行う必要があり、学習後にこれを変更することができない。そのため、特徴量とみなすべき画像中の情報が溶接条件によって変化しうる場合には適用が難しい。
また、特徴量がフィードバック制御によって目標値近傍に維持されていたとしても、溶接の状態としては適正ではないということがあり得る。この対策として、特許文献１には、特徴量の検出とは別に溶接状態の分類を行う旨が記載されている。この点については、例えば単一の深層学習モデルで複数の異なる推論タスクを行う、いわゆるマルチタスク学習を用いる手法が考えられる。しかし、溶接状態の適正判定を深層学習モデルで行う場合、回帰により入力画像から特徴量を直接算出する場合と同様に、予め溶接状態について定めた上で学習を行う必要があり、拡張性に欠ける。
また、特徴量がフィードバック制御によって目標値近傍に維持されていたとしても、溶接の状態としては適正ではないということがあり得る。この対策として、特許文献１には、特徴量の検出とは別に溶接状態の分類を行う旨が記載されている。この点については、例えば単一の深層学習モデルで複数の異なる推論タスクを行う、いわゆるマルチタスク学習を用いる手法が考えられる。しかし、溶接状態の適正判定を深層学習モデルで行う場合、回帰により入力画像から特徴量を直接算出する場合と同様に、予め溶接状態について定めた上で学習を行う必要があり、拡張性に欠ける。
【0007】
本発明は、上記事情に鑑みてなされたもので、溶接に関する制御を好適に行うことを目的とする。
【課題を解決するための手段】
【0008】
本発明に係る溶接装置は、
溶接部を含む画像を取得する画像取得手段と、
前記画像取得手段が取得した画像に基づいて、当該画像に含まれる少なくとも１つの領域の情報を抽出する抽出手段と、
前記抽出手段が抽出した前記領域の情報に基づいて、所定の特徴量を算出する算出手段と、
前記算出手段が算出した前記特徴量に基づいて、溶接に関する制御を行う制御手段と、
を備える。
溶接部を含む画像を取得する画像取得手段と、
前記画像取得手段が取得した画像に基づいて、当該画像に含まれる少なくとも１つの領域の情報を抽出する抽出手段と、
前記抽出手段が抽出した前記領域の情報に基づいて、所定の特徴量を算出する算出手段と、
前記算出手段が算出した前記特徴量に基づいて、溶接に関する制御を行う制御手段と、
を備える。
【発明の効果】
【0009】
本発明によれば、溶接に関する制御を好適に行うことができる。
【図面の簡単な説明】
【0010】
【図1】実施形態に係る溶接装置を示す図である。
【図2】実施形態に係る溶接装置の概略の制御構成を示すブロック図である。
【図3】実施形態に係る溶接部周辺を示す斜視図である。
【図4】（ａ）溶接実施前の溶接部周辺の画像例を示す図であり、（ｂ）溶接画像例を示す図であり、（ｃ）（ｂ）の溶接画像にセマンティックセグメンテーションを行った結果を示す図である。
【図5】実施形態に係るモデル作成処理の手順を示すフローチャートである。
【図6】実施形態に係る溶接支援処理の手順を示すフローチャートである。
【図7】実施形態に係る溶接支援処理の手順を示すフローチャートである。
【図8】実施形態に係る溶接支援処理を説明するための図である。
【図9】溶接状態を説明するための図である。
【図10】実施形態に係る溶接支援処理を含む溶接制御全体のブロック線図の一例を示す図である。
【発明を実施するための形態】
【0011】
以下、本発明の実施形態について、図面を参照して詳細に説明する。
【0012】
［溶接装置の構成］
図１は、本実施形態に係る溶接装置１を示す図であり、図２は、溶接装置１の概略の制御構成を示すブロック図である。
これらの図に示すように、溶接装置１は、ワーク（溶接対象物）である板材（鋼板）２０に対して自動で溶接作業を行う装置である。具体的に、溶接装置１は、装置本体２と、ワイヤ送給機３と、制御装置４とを備える。
図１は、本実施形態に係る溶接装置１を示す図であり、図２は、溶接装置１の概略の制御構成を示すブロック図である。
これらの図に示すように、溶接装置１は、ワーク（溶接対象物）である板材（鋼板）２０に対して自動で溶接作業を行う装置である。具体的に、溶接装置１は、装置本体２と、ワイヤ送給機３と、制御装置４とを備える。
【0013】
装置本体２は、トーチ移動機構２５によりトーチ（溶接トーチ）２４を矢印α方向に移動させつつ、略水平に設置された鉄製の板材（鋼板）２０を溶接する。より詳しくは、本実施形態の装置本体２では、アーク溶接により２つの板材２０に対してＶ型開先突合せ溶接を行う。つまり、端部を斜めにカットして開先面２０ａとした２つの板材（鋼板）２０を突合せてＶ型溝２１の継手とし、この溝（開先）２１を埋めるように溶接を行う（図３参照）。溝２１の底部にはセラミックの裏当て材２２が配置され、裏当て材２２の表面が溝２１の底面（ルート）２２ａとなっている。溝２１は、板材２０の用途にもよるが、例えば、幅が５ｍｍ程度、深さが１０ｍｍ程度である。
なお、以下では、互いに直交するＸＹＺの各方向を、図３に示すとおり設定する。本実施形態では、ＸＹ平面が水平、Ｚ方向が鉛直方向となっている。また、溝２１の長手方向がＸ方向と平行であり、溝２１の幅方向がＹ方向と平行であり、溝２１の深さ方向がＺ方向と平行となっている。トーチ２４の移動方向（α方向）は－Ｘ方向となっている。また、以下では、ＸＹＺの各方向を小文字（ｘｙｚ）で表記する場合がある。
なお、以下では、互いに直交するＸＹＺの各方向を、図３に示すとおり設定する。本実施形態では、ＸＹ平面が水平、Ｚ方向が鉛直方向となっている。また、溝２１の長手方向がＸ方向と平行であり、溝２１の幅方向がＹ方向と平行であり、溝２１の深さ方向がＺ方向と平行となっている。トーチ２４の移動方向（α方向）は－Ｘ方向となっている。また、以下では、ＸＹＺの各方向を小文字（ｘｙｚ）で表記する場合がある。
【0014】
トーチ２４は、ワイヤ（溶加材）３０を溶融し、当該溶融された溶融物で溝２１を埋めることにより、板材２０同士を溶接する。本実施形態のトーチ２４は、アーク放電によりアーク溶接を行う。
トーチ移動機構２５は、トーチ２４を変位（移動）可能に支持する。より詳しくは、トーチ移動機構２５は、ワーク（板材２０）に対するトーチ２４の（相対）位置及び（相対）姿勢、（相対）速度を適宜変更することができる。なお、図１ではトーチ移動機構２５として電動スライダーを例示しているが、トーチ移動機構２５はこれに限定されず、例えば多関節ロボットや、車輪によって走行する台車型装置等であってもよい。
トーチ移動機構２５は、トーチ２４を変位（移動）可能に支持する。より詳しくは、トーチ移動機構２５は、ワーク（板材２０）に対するトーチ２４の（相対）位置及び（相対）姿勢、（相対）速度を適宜変更することができる。なお、図１ではトーチ移動機構２５として電動スライダーを例示しているが、トーチ移動機構２５はこれに限定されず、例えば多関節ロボットや、車輪によって走行する台車型装置等であってもよい。
【0015】
トーチ２４には、支持部材２７１を介して、撮像部２７が固定されている。撮像部２７は、例えばＣＭＯＳカメラやＣＣＤカメラ等で構成され、トーチ２４及び板材２０（溝２１）を含む撮影対象を撮像し、その画像情報を取得する。取得された画像情報は制御装置４に送信される。本実施形態の撮像部２７は、トーチ２４の進行方向（－Ｘ方向）側の斜め上方から、トーチ２４（ワイヤ３０）先端の溶接部（溶接中に発生するアーク５０を含む）及びその周辺を撮影する。撮像部２７による画像例を図４（ａ）、（ｂ）に示す。図４（ａ）は溶接実施前の画像であり、図４（ｂ）は溶接中の画像である。
溶接部が発するアーク光は強力であり、通常のカメラでは白飛びするため、撮像部２７には減光フィルタを取付けるか、ワイドダイナミックレンジカメラを用いる。モノクロカメラでもカラーカメラでもよいが、カラー画像を用いれば色情報も活用して学習モデルの学習等が行えるため、後述するセマンティックセグメンテーションの推論精度の向上が期待される。
減光フィルタとして、外光に反応してフィルタのオンオフを自動で切り替える液晶フィルタを用いれば、溶接を行っていない状態ではフィルタがオフとなり、撮像画像から溶接部を視認できる。このことはトーチ２４の位置合わせをオペレータが行う際に有用である。
また、視認性を向上させるために、撮像範囲を照明する光源を装置に搭載してもよい。この場合、特定の波長である光源を用いて、溶接中の溶接部に光を当ててもよい。撮像部２７にはバンドパスフィルタを取付けて、光源の波長の光を選択的に撮像するようにする。アーク光の波長と異なる波長を光源として選べば、アーク光の影響を受けずに光源の光が当たった領域を明瞭に撮像しやすい。
溶接部が発するアーク光は強力であり、通常のカメラでは白飛びするため、撮像部２７には減光フィルタを取付けるか、ワイドダイナミックレンジカメラを用いる。モノクロカメラでもカラーカメラでもよいが、カラー画像を用いれば色情報も活用して学習モデルの学習等が行えるため、後述するセマンティックセグメンテーションの推論精度の向上が期待される。
減光フィルタとして、外光に反応してフィルタのオンオフを自動で切り替える液晶フィルタを用いれば、溶接を行っていない状態ではフィルタがオフとなり、撮像画像から溶接部を視認できる。このことはトーチ２４の位置合わせをオペレータが行う際に有用である。
また、視認性を向上させるために、撮像範囲を照明する光源を装置に搭載してもよい。この場合、特定の波長である光源を用いて、溶接中の溶接部に光を当ててもよい。撮像部２７にはバンドパスフィルタを取付けて、光源の波長の光を選択的に撮像するようにする。アーク光の波長と異なる波長を光源として選べば、アーク光の影響を受けずに光源の光が当たった領域を明瞭に撮像しやすい。
【0016】
ワイヤ送給機３は、溶接用のワイヤ３０、電力及びシールドガスを装置本体２のトーチ２４に送給する。
ワイヤ送給機３には、ワイヤ３０が巻回された電動のワイヤリール３１が取り付けられている。ワイヤリール３１に巻回されたワイヤ３０は、ワイヤリール３１から繰り出されることにより、トーチ２４内部を通じて当該トーチ２４の先端に導かれる。
ワイヤ送給機３は、電力を供給可能な電源３８に接続されている。電源３８からワイヤ送給機３に供給された電力は、電力線を通じてトーチ２４に印可される。
ワイヤ送給機３は、シールドガスが充填されたガスボンベ３９に接続されている。シールドガスは、例えば二酸化炭素等や、二酸化炭素とアルゴンの混合ガス等である。ガスボンベ３９からワイヤ送給機３に供給されたシールドガスは、ワイヤ３０とともにトーチ２４に供給される。
なお、ワイヤ３０等はワイヤ送給機３から自動で供給されることとしてもよいし、制御装置４により供給が制御されることとしてもよい。また、溶融金属と空気との接触を断つシールド材はガスに限定されず、例えば粉末状のものであってもよい。
ワイヤ送給機３には、ワイヤ３０が巻回された電動のワイヤリール３１が取り付けられている。ワイヤリール３１に巻回されたワイヤ３０は、ワイヤリール３１から繰り出されることにより、トーチ２４内部を通じて当該トーチ２４の先端に導かれる。
ワイヤ送給機３は、電力を供給可能な電源３８に接続されている。電源３８からワイヤ送給機３に供給された電力は、電力線を通じてトーチ２４に印可される。
ワイヤ送給機３は、シールドガスが充填されたガスボンベ３９に接続されている。シールドガスは、例えば二酸化炭素等や、二酸化炭素とアルゴンの混合ガス等である。ガスボンベ３９からワイヤ送給機３に供給されたシールドガスは、ワイヤ３０とともにトーチ２４に供給される。
なお、ワイヤ３０等はワイヤ送給機３から自動で供給されることとしてもよいし、制御装置４により供給が制御されることとしてもよい。また、溶融金属と空気との接触を断つシールド材はガスに限定されず、例えば粉末状のものであってもよい。
【0017】
制御装置４は、溶接装置１を統合制御するものであり、例えばパーソナルコンピュータで構成される。具体的に、制御装置４は、入力部４１と、表示部４２と、通信部４４と、記憶部４６と、制御部４７とを備える。
【0018】
入力部４１は、オペレータが制御装置４を動作させるための各種操作を行う操作手段であり、例えばマウス等のポインティングデバイスやキーボードを含む。
表示部４２は、例えば液晶ディスプレイ、有機ＥＬディスプレイその他のディスプレイで構成され、制御部４７からの表示信号に基づいて各種情報を表示する。なお、表示部４２は、入力部４１の一部を兼ねるタッチパネルであってもよいし、音声出力を行ってもよい。
通信部４４は、装置本体２等との間で各種情報を送受信可能な通信デバイスである。
表示部４２は、例えば液晶ディスプレイ、有機ＥＬディスプレイその他のディスプレイで構成され、制御部４７からの表示信号に基づいて各種情報を表示する。なお、表示部４２は、入力部４１の一部を兼ねるタッチパネルであってもよいし、音声出力を行ってもよい。
通信部４４は、装置本体２等との間で各種情報を送受信可能な通信デバイスである。
【0019】
記憶部４６は、ＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）等により構成されるメモリであり、各種のプログラム及びデータを記憶するとともに、制御部４７の作業領域としても機能する。
本実施形態の記憶部４６には、学習モデル４６１と、溶接画像４６３とが記憶されている。
学習モデル４６１は、溶接部の撮像画像（溶接画像４６３）を複数の領域に分類してそのラベルを抽出するものであり、後述のモデル作成処理（図５参照）で機械学習により構築されて記憶部４６に格納される。学習モデル４６１は、深層学習されたニューラルネットワークを有するＡＩ（Artificial Intelligence：人工知能）であってもよい。
溶接画像４６３は、後述のモデル作成処理において学習用に用いる溶接部の画像である。本実施形態では、溶接画像４６３として、装置本体２での実際の溶接時に撮像部２７によって撮像された複数の画像が予め格納されている。
さらに、本実施形態の記憶部４６には、後述のモデル作成処理や溶接支援処理を実行するためのプログラムが予め記憶されている。
本実施形態の記憶部４６には、学習モデル４６１と、溶接画像４６３とが記憶されている。
学習モデル４６１は、溶接部の撮像画像（溶接画像４６３）を複数の領域に分類してそのラベルを抽出するものであり、後述のモデル作成処理（図５参照）で機械学習により構築されて記憶部４６に格納される。学習モデル４６１は、深層学習されたニューラルネットワークを有するＡＩ（Artificial Intelligence：人工知能）であってもよい。
溶接画像４６３は、後述のモデル作成処理において学習用に用いる溶接部の画像である。本実施形態では、溶接画像４６３として、装置本体２での実際の溶接時に撮像部２７によって撮像された複数の画像が予め格納されている。
さらに、本実施形態の記憶部４６には、後述のモデル作成処理や溶接支援処理を実行するためのプログラムが予め記憶されている。
【0020】
制御部４７は、例えばＣＰＵ（Central Processing Unit）等により構成され、制御装置４の各部の動作を制御する。具体的に、制御部４７は、入力部４１の操作内容等に基づいて溶接装置１の各部を動作させたり、記憶部４６に予め記憶されているプログラムを展開し、展開されたプログラムと協働して各種処理を実行したりする。
【0021】
［モデル作成処理］
続いて、学習モデル４６１を作成するモデル作成処理について説明する。
図５は、モデル作成処理の手順を示すフローチャートである。
モデル作成処理では、後述する溶接作業（溶接支援処理）において、溶接画像から領域の情報を抽出するための学習モデル４６１を作成する。このモデル作成処理は、制御部４７が、オペレータの操作に基づいて記憶部４６から該当するプログラムを読み出して展開することで実行される。
続いて、学習モデル４６１を作成するモデル作成処理について説明する。
図５は、モデル作成処理の手順を示すフローチャートである。
モデル作成処理では、後述する溶接作業（溶接支援処理）において、溶接画像から領域の情報を抽出するための学習モデル４６１を作成する。このモデル作成処理は、制御部４７が、オペレータの操作に基づいて記憶部４６から該当するプログラムを読み出して展開することで実行される。
【0022】
図５に示すように、モデル作成処理が実行されると、まず制御部４７は、溶接画像４６３を取得する（ステップＳ１）。
本実施形態では、オペレータの操作に基づいて、記憶部４６に格納されたものから複数の溶接画像４６３が選択される。
溶接画像４６３の一例を図４（ｂ）に示す。溶接画像４６３では、アーク５０、溶融池５１、ワイヤ３０、ルート２２ａ、開先面２０ａを視認できる。ただし、開先面２０ａやルート２２ａ等はアーク５０に照らされて見えているため、アーク５０の輝度が下がった場合には十分に視認できない状況も生じ得る。
本実施形態では、オペレータの操作に基づいて、記憶部４６に格納されたものから複数の溶接画像４６３が選択される。
溶接画像４６３の一例を図４（ｂ）に示す。溶接画像４６３では、アーク５０、溶融池５１、ワイヤ３０、ルート２２ａ、開先面２０ａを視認できる。ただし、開先面２０ａやルート２２ａ等はアーク５０に照らされて見えているため、アーク５０の輝度が下がった場合には十分に視認できない状況も生じ得る。
【0023】
次に、制御部４７は、オペレータの操作に基づいて、各溶接画像４６３に対し、複数の領域に分類（分割）してその属性ラベルを付与する、いわゆるアノテーション作業を行う（ステップＳ２）。属性ラベルは、例えば以下のものが設定される。
(ア) アーク
(イ) ワイヤ
(ウ) 溶融池
(エ) ルート
(オ) 右側開先面（進行方向右側）
(カ) 左側開先面（進行方向左側）
(キ) バックグラウンド（トーチノズルを含む上記ア～カ以外の部分）
(ア) アーク
(イ) ワイヤ
(ウ) 溶融池
(エ) ルート
(オ) 右側開先面（進行方向右側）
(カ) 左側開先面（進行方向左側）
(キ) バックグラウンド（トーチノズルを含む上記ア～カ以外の部分）
【0024】
次に、制御部４７は、アノテーション済みの複数の溶接画像４６３を、学習用、検証用及びテスト用に分け、データセットとする（ステップＳ３）。
このとき、学習用の溶接画像４６３に対し、回転、拡大縮小、平行移動、クロップ、ぼかし、色味変更といったランダムな変換を行い、擬似的にデータを水増しするデータ拡張を行ってもよい。一般にデータ拡張により、深層学習モデルの汎化性向上効果が得られる。
このとき、学習用の溶接画像４６３に対し、回転、拡大縮小、平行移動、クロップ、ぼかし、色味変更といったランダムな変換を行い、擬似的にデータを水増しするデータ拡張を行ってもよい。一般にデータ拡張により、深層学習モデルの汎化性向上効果が得られる。
【0025】
次に、制御部４７は、データセットのうち学習用及び検証用の溶接画像４６３を機械学習させて、学習モデル４６１を作成する（ステップＳ４）。
本実施形態では、例えばディープニューラルネットワークを用いた深層学習により、学習モデル４６１が生成される。検証用の溶接画像４６３は、例えば所定のパラメータを設定する際に用いる。
本実施形態では、例えばディープニューラルネットワークを用いた深層学習により、学習モデル４６１が生成される。検証用の溶接画像４６３は、例えば所定のパラメータを設定する際に用いる。
【0026】
次に、制御部４７は、テスト用の溶接画像４６３を用いて、学習後の学習モデル４６１の推論精度を評価する（ステップＳ５）。
制御部４７は、精度に問題がなければ、学習モデル４６１を記憶部４６に格納し、モデル作成処理を終了する。精度が不十分であれば、学習用の溶接画像４６３を追加するなどして、ステップＳ４の学習をさらに行ってもよい。
制御部４７は、精度に問題がなければ、学習モデル４６１を記憶部４６に格納し、モデル作成処理を終了する。精度が不十分であれば、学習用の溶接画像４６３を追加するなどして、ステップＳ４の学習をさらに行ってもよい。
【0027】
これにより、溶接画像４６３をセマンティックセグメンテーションによって複数の領域に分類する学習モデル４６１が得られる。
図４（ｂ）の画像に対して学習モデル４６１によりセマンティックセグメンテーションを行った結果を図４（ｃ）に示す。図４（ｃ）は、溶接画像４６３の各ピクセル（画素）が属する領域を学習モデル４６１により分類して色分けした画像である。
セマンティックセグメンテーションでは、溶接画像４６３中の領域の属性をピクセル単位で推論し、アーク５０、ワイヤ３０、溶融池５１といった各領域を識別できる。
なお、セマンティックセグメンテーションを行う手法は深層学習に限定されない。深層学習に依らない画像処理アルゴリズムを用いてもよいし、深層学習ではない機械学習の手法を用いてもよい。
図４（ｂ）の画像に対して学習モデル４６１によりセマンティックセグメンテーションを行った結果を図４（ｃ）に示す。図４（ｃ）は、溶接画像４６３の各ピクセル（画素）が属する領域を学習モデル４６１により分類して色分けした画像である。
セマンティックセグメンテーションでは、溶接画像４６３中の領域の属性をピクセル単位で推論し、アーク５０、ワイヤ３０、溶融池５１といった各領域を識別できる。
なお、セマンティックセグメンテーションを行う手法は深層学習に限定されない。深層学習に依らない画像処理アルゴリズムを用いてもよいし、深層学習ではない機械学習の手法を用いてもよい。
【0028】
［溶接支援処理］
続いて、溶接装置１による溶接作業時に実行される溶接支援処理について説明する。
図６及び図７は、溶接支援処理の手順を示すフローチャートであり、図８及び図９は、溶接支援処理を説明するための図であり、図１０は、溶接支援処理を含む溶接制御全体のブロック線図の一例である。
溶接支援処理は、本発明に係る溶接制御方法の一例であり、学習モデル４６１を用いて溶接画像から領域の情報を抽出し、好適に自動溶接が行われるように溶接に関する制御を行う処理である。この溶接支援処理は、制御部４７が、オペレータの操作に基づいて記憶部４６から該当するプログラムを読み出して展開することで実行される。
続いて、溶接装置１による溶接作業時に実行される溶接支援処理について説明する。
図６及び図７は、溶接支援処理の手順を示すフローチャートであり、図８及び図９は、溶接支援処理を説明するための図であり、図１０は、溶接支援処理を含む溶接制御全体のブロック線図の一例である。
溶接支援処理は、本発明に係る溶接制御方法の一例であり、学習モデル４６１を用いて溶接画像から領域の情報を抽出し、好適に自動溶接が行われるように溶接に関する制御を行う処理である。この溶接支援処理は、制御部４７が、オペレータの操作に基づいて記憶部４６から該当するプログラムを読み出して展開することで実行される。
【0029】
図６に示すように、溶接支援処理が実行されると、まず制御部４７は、装置本体２においてワークの開先溶接を行う作業を開始する（ステップＴ１）。
この溶接作業では、制御部４７は、溝（開先）２１に沿ってトーチ２４を移動させながら、トーチ２４の先端（下端）から下方にワイヤ３０を供給しつつ当該ワイヤ３０を溶融させて、板材２０同士を溶接する。
またこのとき、制御部４７は、撮像部２７で撮影された溶接部周辺の画像を表示部４２にリアルタイム表示させる。この溶接部の撮影画像（溶接画像）には、トーチ２４先端から供給されるワイヤ３０とワーク、これらの間で発生するアーク５０、当該アーク５０によってワイヤ３０が溶融した溶融池５１（アーク５０よりも進行方向前側の前方溶融池５１ａと、後側の後方溶融池５１ｂ）等が含まれる。
この溶接作業では、制御部４７は、溝（開先）２１に沿ってトーチ２４を移動させながら、トーチ２４の先端（下端）から下方にワイヤ３０を供給しつつ当該ワイヤ３０を溶融させて、板材２０同士を溶接する。
またこのとき、制御部４７は、撮像部２７で撮影された溶接部周辺の画像を表示部４２にリアルタイム表示させる。この溶接部の撮影画像（溶接画像）には、トーチ２４先端から供給されるワイヤ３０とワーク、これらの間で発生するアーク５０、当該アーク５０によってワイヤ３０が溶融した溶融池５１（アーク５０よりも進行方向前側の前方溶融池５１ａと、後側の後方溶融池５１ｂ）等が含まれる。
【0030】
次に、制御部４７は、撮像部２７により、溶接部を含む溶接画像４６３を取得する（ステップＴ２）。
これにより、例えば図４（ｂ）に示すような溶接画像４６３が得られる。取得された画像は記憶部４６に格納される。なお、溶接支援処理で用いる溶接画像４６３は、学習モデル４６１作成のためにモデル作成処理で用いたもの（予め用意されたもの）とは異なる。
これにより、例えば図４（ｂ）に示すような溶接画像４６３が得られる。取得された画像は記憶部４６に格納される。なお、溶接支援処理で用いる溶接画像４６３は、学習モデル４６１作成のためにモデル作成処理で用いたもの（予め用意されたもの）とは異なる。
【0031】
次に、制御部４７は、ステップＴ２で取得した溶接画像４６３を、モデル作成処理で作成した学習モデル４６１に入力し、当該溶接画像４６３を複数の領域に分類（分割）する（ステップＴ３）。
これにより、例えば図４（ｃ）に示すように、溶接画像４６３がピクセル単位で複数の領域に分類され、各ピクセルが属する領域の情報が抽出される。なお、このステップでは、後述のステップＴ４で使用する少なくとも１つの領域の情報が抽出されればよい。
これにより、例えば図４（ｃ）に示すように、溶接画像４６３がピクセル単位で複数の領域に分類され、各ピクセルが属する領域の情報が抽出される。なお、このステップでは、後述のステップＴ４で使用する少なくとも１つの領域の情報が抽出されればよい。
【0032】
次に、制御部４７は、ステップＴ３で取得した領域の情報に基づいて、後述の制御に用いる所定の特徴量を算出する（ステップＴ４）。
ここでは、学習モデル４６１によるセマンティックセグメンテーションによって得られた各領域の情報を画像処理の手法によって分析することで、所望の制御に対応した様々な特徴量が抽出される。
例えば、特徴量としてワイヤ３０の先端位置を得たい場合は、ワイヤ３０領域の最も進行方向前側に位置するピクセルの座標値を取得すればよい。図４（ｃ）には、特徴量の例として、アーク５０の先端位置とワイヤ３０の先端位置の差Ｄと、進行方向に沿ったアーク５０領域の幅Ｗを示している。さらに、これら２つの量から、両者の比Ｒ＝Ｄ／Ｗが算出できる。これらの量は、溶接状態が適正であるときは略一定の値をとる。したがって、適正な溶接状態におけるこれら各量の値を目標値としてフィードバック制御を行えば、溶接状態を適正なものに維持できる。比Ｒのように相対的な量を用いれば、装置のセッティング等により撮像部２７とワークとの距離が変化した場合や、撮像部２７の仕様や制御ソフトウェア上の処理の都合で画像サイズを変更した場合等にも、同一の目標値を使用できる。
ここでは、学習モデル４６１によるセマンティックセグメンテーションによって得られた各領域の情報を画像処理の手法によって分析することで、所望の制御に対応した様々な特徴量が抽出される。
例えば、特徴量としてワイヤ３０の先端位置を得たい場合は、ワイヤ３０領域の最も進行方向前側に位置するピクセルの座標値を取得すればよい。図４（ｃ）には、特徴量の例として、アーク５０の先端位置とワイヤ３０の先端位置の差Ｄと、進行方向に沿ったアーク５０領域の幅Ｗを示している。さらに、これら２つの量から、両者の比Ｒ＝Ｄ／Ｗが算出できる。これらの量は、溶接状態が適正であるときは略一定の値をとる。したがって、適正な溶接状態におけるこれら各量の値を目標値としてフィードバック制御を行えば、溶接状態を適正なものに維持できる。比Ｒのように相対的な量を用いれば、装置のセッティング等により撮像部２７とワークとの距離が変化した場合や、撮像部２７の仕様や制御ソフトウェア上の処理の都合で画像サイズを変更した場合等にも、同一の目標値を使用できる。
【0033】
また、ルートギャップの幅と中心位置の推定には、例えば以下の（１）、（２）のように、複数の手法が考えられる。
（１）ルート２２ａの領域と左側開先面２０ａの領域の境界と、ルート２２ａの領域と右側開先面２０ａの領域の境界とから、２本の境界線（直線）２２ｂを得る。これら直線２２ｂ上の点を２つ選び、この２点の座標からＹ方向におけるルート２２ａの幅と中心を求める。例えば、２点を結ぶ線分の距離をルート２２ａの幅、線分の中心をルート２２ａの中心としてそれぞれ計算することができる。２点の選び方としては、図４（ｃ）に示すように２本の直線２２ｂが溶融池５１領域に交わる点を採用する方法や、ｘ＝ａとなる点（ａは任意）を選ぶ方法がある。ルート２２ａと左右開先面２０ａの境界から直線を得る方法としては、ハフ変換等の直線検出アルゴリズムを用いる方法や、境界の座標値を最小二乗法によって直線近似する方法などがある。このとき境界上の点をすべて用いる必要はない。アーク５０から離れた領域は暗く、セグメンテーション推論精度が低下しやすいため、アーク５０近傍に限定して直線検出を行えばよい。多数の点を用いる必要もなく、ｘ＝ｂ、ｃとなる任意の２点を選び、これら２点を通る直線を求めてもよい。さらに言えば、直線を求めずに、任意のｘ＝ｄに位置する１点を用いてもよい。これら点のｘ座標の決め方としては、アーク５０または溶融池５１の先端位置からある値だけ離れた位置を選ぶといった方法が挙げられる。
（１）ルート２２ａの領域と左側開先面２０ａの領域の境界と、ルート２２ａの領域と右側開先面２０ａの領域の境界とから、２本の境界線（直線）２２ｂを得る。これら直線２２ｂ上の点を２つ選び、この２点の座標からＹ方向におけるルート２２ａの幅と中心を求める。例えば、２点を結ぶ線分の距離をルート２２ａの幅、線分の中心をルート２２ａの中心としてそれぞれ計算することができる。２点の選び方としては、図４（ｃ）に示すように２本の直線２２ｂが溶融池５１領域に交わる点を採用する方法や、ｘ＝ａとなる点（ａは任意）を選ぶ方法がある。ルート２２ａと左右開先面２０ａの境界から直線を得る方法としては、ハフ変換等の直線検出アルゴリズムを用いる方法や、境界の座標値を最小二乗法によって直線近似する方法などがある。このとき境界上の点をすべて用いる必要はない。アーク５０から離れた領域は暗く、セグメンテーション推論精度が低下しやすいため、アーク５０近傍に限定して直線検出を行えばよい。多数の点を用いる必要もなく、ｘ＝ｂ、ｃとなる任意の２点を選び、これら２点を通る直線を求めてもよい。さらに言えば、直線を求めずに、任意のｘ＝ｄに位置する１点を用いてもよい。これら点のｘ座標の決め方としては、アーク５０または溶融池５１の先端位置からある値だけ離れた位置を選ぶといった方法が挙げられる。
【0034】
（２）図４（ｃ）における溶融池５１領域とアーク５０領域のｙ方向の幅は、ルートギャップ幅（ｙ方向のルート２２ａの幅）の大小に応じて変動する。したがって、これらの値をルートギャップ幅の代替とみなしてもよい。ｙ方向の幅として、領域を囲む外接矩形の幅を用いてもよい。この手法は次に述べる状況で有用である。まず、外部光源を用いない場合、ルート２２ａ領域はアーク光に照らされて見える。したがってアーク光が暗い場合、ルート２２ａ領域と開先面２０ａ領域は暗くなり、セグメンテーションの推論精度が低下する。このとき、上記（１）で述べたルート２２ａと開先面２０ａの境界から定まる直線を用いる方法では、ルートギャップ幅と中心の推定精度が低下する。しかしながら、こうした状況でもアーク５０は光源そのものであるから明るい領域として撮像され、その周囲の溶融池５１も自身の発光及びアーク光の反射によって明るく見える。以上から、アーク５０もしくは溶融池５１の領域からルートギャップの幅と中心に相当する量を算出すれば、これらの量をルート２２ａ領域から算出するよりも精度の高い値を得られると期待できる。
【0035】
次に、制御部４７は、ステップＴ４で算出した特徴量に基づいて、溶接に関する制御を行う（ステップＴ５）。
ここでは、図７に示すように、まず制御部４７は、ステップＴ３で取得した領域の情報に基づいて、前方溶融池５１ａが存在するか否かを判定する（ステップＴ５１）。
ここでは、図７に示すように、まず制御部４７は、ステップＴ３で取得した領域の情報に基づいて、前方溶融池５１ａが存在するか否かを判定する（ステップＴ５１）。
【0036】
ステップＴ５１において、前方溶融池５１ａが存在しないと判定した場合（ステップＴ５１；Ｎｏ）、制御部４７は、特徴量に基づいて、フィードバック（ＦＢ）制御によるトーチ２４の速度制御を行う（ステップＴ５２）。
ただし、このステップでは、制御量とその目標値との誤差から操作量を決定し、制御量のフィードバック制御が行われればよい。操作量としては、ワークに対するトーチ２４の相対位置（ｙ方向位置及び高さ）、相対姿勢（角度）及び相対速度、並びに溶接電流値及び電圧値、ワイヤ送給速度、シールドガス流量等が考えられる。ウィービングを行う場合には、さらにウィービングの周期、波形及び幅を含む。このステップでは、これらのうちいずれか少なくとも１つが制御されればよい。なお、特徴量を制御量としてもよいし、特徴量又は制御量を操作量としてもよい。
ただし、このステップでは、制御量とその目標値との誤差から操作量を決定し、制御量のフィードバック制御が行われればよい。操作量としては、ワークに対するトーチ２４の相対位置（ｙ方向位置及び高さ）、相対姿勢（角度）及び相対速度、並びに溶接電流値及び電圧値、ワイヤ送給速度、シールドガス流量等が考えられる。ウィービングを行う場合には、さらにウィービングの周期、波形及び幅を含む。このステップでは、これらのうちいずれか少なくとも１つが制御されればよい。なお、特徴量を制御量としてもよいし、特徴量又は制御量を操作量としてもよい。
【0037】
このステップでは、例えば以下の手法により、トーチ２４の進行（移動）速度を制御する。ここで、ワークに対するトーチ２４の高さと姿勢角度は一定であるものとする。溶接電流・電圧及びワイヤ３０の送給速度も一定であるものとする。以上の仮定のもと、トーチ２４の進行速度Vcを以下の式（１）により算出する。
ここで、Kpは制御ゲイン、Rdは特徴量の目標値、Rpは特徴量の算出値、Vbは基準となる進行速度である。上式によって、各制御ステップにおける特徴量の算出値に基づき、基準速度Vbのまわりでトーチ２４の移動速度を加減速する。ルートギャップ幅の大小によって溶融池５１の広がりが変わるため、ビード５２の高さを一定に保つには、ルートギャップ幅が狭い場合は速く、逆にルートギャップ幅が広い場合は狭くする必要がある。したがって、Vbはルートギャップ幅Wbの関数Vb(Wb)としてもよい。
基準速度Vb(Wb)は、例えば次のように定める。まず、溶接は適正な状態にあって、特徴量の算出値は目標値に一致しており、トーチ２４の加減速が不要な状況を仮定する。すなわち式（１）からトーチ２４の進行速度と基準速度は等しく、Vc=Vbとなっている。図８に、進行方向に沿った方向から溶接部を見た図を示す。溶着金属の断面は台形型であると仮定し、その面積をAとする。ルートギャップ幅Wbはセマンティックセグメンテーションを介して得られる特徴量であり、すなわち計測値である。角度θは開先加工の仕様として決まる既知の値である。ビード５２の高さhは溶接の仕様として予め指定される値である。ワイヤ送給速度をvfとする。vfは溶接条件として予め指定される値であり、ここでは単位時間あたりに送給されるワイヤ３０の体積［m3/s］として定義する。ワイヤ送給速度と単位時間あたりの溶着量は同一であると仮定する。ワイヤ送給速度は溶接電流値と連動して溶接電源にて設定され、溶接電流とともに一定であると仮定する。以上の仮定のもと、単位時間あたりの溶着量について次の式（２）が成り立つ。
また、溶着断面積Aは、台形の断面積として次の式（３）で表せる。
したがって、トーチ２４の進行速度は次の式（４）で決定される。
すなわち、ルートギャップ幅（の計測値）Wbに応じて、トーチ２４の基準速度Vb(Wb)を決定することができる。
【数1】
ここで、Kpは制御ゲイン、Rdは特徴量の目標値、Rpは特徴量の算出値、Vbは基準となる進行速度である。上式によって、各制御ステップにおける特徴量の算出値に基づき、基準速度Vbのまわりでトーチ２４の移動速度を加減速する。ルートギャップ幅の大小によって溶融池５１の広がりが変わるため、ビード５２の高さを一定に保つには、ルートギャップ幅が狭い場合は速く、逆にルートギャップ幅が広い場合は狭くする必要がある。したがって、Vbはルートギャップ幅Wbの関数Vb(Wb)としてもよい。
基準速度Vb(Wb)は、例えば次のように定める。まず、溶接は適正な状態にあって、特徴量の算出値は目標値に一致しており、トーチ２４の加減速が不要な状況を仮定する。すなわち式（１）からトーチ２４の進行速度と基準速度は等しく、Vc=Vbとなっている。図８に、進行方向に沿った方向から溶接部を見た図を示す。溶着金属の断面は台形型であると仮定し、その面積をAとする。ルートギャップ幅Wbはセマンティックセグメンテーションを介して得られる特徴量であり、すなわち計測値である。角度θは開先加工の仕様として決まる既知の値である。ビード５２の高さhは溶接の仕様として予め指定される値である。ワイヤ送給速度をvfとする。vfは溶接条件として予め指定される値であり、ここでは単位時間あたりに送給されるワイヤ３０の体積［m3/s］として定義する。ワイヤ送給速度と単位時間あたりの溶着量は同一であると仮定する。ワイヤ送給速度は溶接電流値と連動して溶接電源にて設定され、溶接電流とともに一定であると仮定する。以上の仮定のもと、単位時間あたりの溶着量について次の式（２）が成り立つ。
【数2】
また、溶着断面積Aは、台形の断面積として次の式（３）で表せる。
【数3】
したがって、トーチ２４の進行速度は次の式（４）で決定される。
【数4】
すなわち、ルートギャップ幅（の計測値）Wbに応じて、トーチ２４の基準速度Vb(Wb)を決定することができる。
【0038】
もしくは、基準となるルートギャップW0に対する最適なトーチ進行速度Vb0を予め実験等により取得しておく。このときの溶着断面積をA0とすると、溶着量が一定であるという条件から、次の式（５）が成り立つ。
したがって、Vbは、Vb0がルートギャップ幅変化により変換されたものとして、次の式（６）から計算できる。
【数5】
したがって、Vbは、Vb0がルートギャップ幅変化により変換されたものとして、次の式（６）から計算できる。
【数6】
【0039】
一方、上述のステップＴ５１において、前方溶融池５１ａが存在すると判定した場合（ステップＴ５１；Ｙｅｓ）、制御部４７は、前方溶融池５１ａを消失させるように、トーチ２４の速度制御を行う（ステップＴ５３）。
具体的に、制御部４７は、以下の制御（イ）、（ロ）の少なくとも一方を行うことにより、できるだけ短時間で前方溶融池５１ａを消失させて適正な溶接状態を実現するように、トーチ２４を動作させる。
（イ）溶融池５１領域の面積もしくは幅をゼロにするフィードバック制御によりトーチ２４の進行を加速する。
（ロ）適正な溶接状態におけるトーチ２４の進行速度よりも速い進行速度で、トーチ２４を定速移動させる。
具体的に、制御部４７は、以下の制御（イ）、（ロ）の少なくとも一方を行うことにより、できるだけ短時間で前方溶融池５１ａを消失させて適正な溶接状態を実現するように、トーチ２４を動作させる。
（イ）溶融池５１領域の面積もしくは幅をゼロにするフィードバック制御によりトーチ２４の進行を加速する。
（ロ）適正な溶接状態におけるトーチ２４の進行速度よりも速い進行速度で、トーチ２４を定速移動させる。
【0040】
このように、前方溶融池５１ａの有無に基づいて、ステップＴ５２とＴ５３とに制御則を切り替えることにより、適正な溶接状態を維持することができる。
すなわち、図９（ａ）、（ｂ）に示すように、アーク５０前方に前方溶融池５１ａが存在しているのはトーチ２４の進行速度が遅いためである。その結果、ルート２２ａのエッジ部分にアーク５０が当たらないために十分な溶け込みが得られず、良好なビード５２が形成されない。この場合、トーチ２４の進行速度を速くし、アーク５０を前方へ移動させなければならない。そこで、前方溶融池５１ａが検出された場合は、前方溶融池５１ａの面積もしくは進行方向の幅をゼロとするようにトーチ２４の進行速度を操作するフィードバック制御を行うか、前方溶融池５１ａが検出されなくなるまで予め規定した進行速度で高速移動させる。これにより、適正な溶接状態を維持することができる。この場合、特徴量は前方溶融池５１ａの有無という二値情報であり、ワイヤ３０位置やアーク５０領域の幅のようにフィードバック制御対象になりえる連続変化する量とは異なる。
すなわち、図９（ａ）、（ｂ）に示すように、アーク５０前方に前方溶融池５１ａが存在しているのはトーチ２４の進行速度が遅いためである。その結果、ルート２２ａのエッジ部分にアーク５０が当たらないために十分な溶け込みが得られず、良好なビード５２が形成されない。この場合、トーチ２４の進行速度を速くし、アーク５０を前方へ移動させなければならない。そこで、前方溶融池５１ａが検出された場合は、前方溶融池５１ａの面積もしくは進行方向の幅をゼロとするようにトーチ２４の進行速度を操作するフィードバック制御を行うか、前方溶融池５１ａが検出されなくなるまで予め規定した進行速度で高速移動させる。これにより、適正な溶接状態を維持することができる。この場合、特徴量は前方溶融池５１ａの有無という二値情報であり、ワイヤ３０位置やアーク５０領域の幅のようにフィードバック制御対象になりえる連続変化する量とは異なる。
【0041】
なお、トーチ２４の速度制御と併せて、トーチ２４（ワイヤ３０）先端をルート２２ａのｙ方向幅（ルートギャップ）の中心に位置させる「中心倣い」制御を行ってもよい。
溶接はルートギャップ中心に沿って行われる必要があり、そのためワイヤ３０がルートギャップ中心を通るようにトーチ２４の位置を調整する必要がある。継手とトーチ２４の進行方向とが平行となるように位置合わせ可能な場合は、中心倣いのための制御は不要であるが、一般に両者の平行性は保証されない。中心倣いを行うためには、特徴量として得られるワイヤ３０の先端位置（ｘｗ、ｙｗ）のｙ座標ｙｗと、ルートギャップ幅（ｘＧ、ｙＧ）の中心位置のｙ座標ｙＧとが一致するように、トーチのｙ方向の位置制御を行えばよい。ここで、原点Ｏを含む座標系の定義は図４（ｃ）に従う。
ただし、継手とトーチ２４の進行方向が平行でない場合、画像のｘ軸に対してルート２２ａ及び開先面２０ａが傾いて撮像される。この状況では、傾きを考慮して、ワイヤ３０の先端位置（ｘｗ、ｙｗ）のｘ座標ｘｗにおけるルートギャップ幅の中心位置のｙ座標を計算する必要がある。
溶接はルートギャップ中心に沿って行われる必要があり、そのためワイヤ３０がルートギャップ中心を通るようにトーチ２４の位置を調整する必要がある。継手とトーチ２４の進行方向とが平行となるように位置合わせ可能な場合は、中心倣いのための制御は不要であるが、一般に両者の平行性は保証されない。中心倣いを行うためには、特徴量として得られるワイヤ３０の先端位置（ｘｗ、ｙｗ）のｙ座標ｙｗと、ルートギャップ幅（ｘＧ、ｙＧ）の中心位置のｙ座標ｙＧとが一致するように、トーチのｙ方向の位置制御を行えばよい。ここで、原点Ｏを含む座標系の定義は図４（ｃ）に従う。
ただし、継手とトーチ２４の進行方向が平行でない場合、画像のｘ軸に対してルート２２ａ及び開先面２０ａが傾いて撮像される。この状況では、傾きを考慮して、ワイヤ３０の先端位置（ｘｗ、ｙｗ）のｘ座標ｘｗにおけるルートギャップ幅の中心位置のｙ座標を計算する必要がある。
【0042】
次に、図６に示すように、制御部４７は、ステップＴ４で算出した特徴量に基づいて、溶接状態が正常か否かを判定する（ステップＴ６）。ここでは、例えば、上述した前方溶融池５１ａの有無を示す特徴量に基づいて、溶接状態が正常か否かが判定される。
そして、溶接状態が正常でない（異常である）と判定した場合（ステップＴ６；Ｎｏ）、制御部４７は、その旨をオペレータに報知する表示内容を表示部４２に出力させる（ステップＴ７）。このときの出力態様は特に限定されず、特徴量に基づいたものとしてもよいし、併せて音声出力を行ってもよい。また、報知出力と併せて装置本体２の動作を停止させてもよい。
なお、ステップＴ６、Ｔ７の処理は、ステップＴ５よりも前に行ってもよい。
そして、溶接状態が正常でない（異常である）と判定した場合（ステップＴ６；Ｎｏ）、制御部４７は、その旨をオペレータに報知する表示内容を表示部４２に出力させる（ステップＴ７）。このときの出力態様は特に限定されず、特徴量に基づいたものとしてもよいし、併せて音声出力を行ってもよい。また、報知出力と併せて装置本体２の動作を停止させてもよい。
なお、ステップＴ６、Ｔ７の処理は、ステップＴ５よりも前に行ってもよい。
【0043】
ステップＴ６において、溶接状態が正常であると判定した場合（ステップＴ６；Ｙｅｓ）、制御部４７は、溶接支援処理を終了させるか否かを判定する（ステップＴ８）。そして、終了させないと判定した場合には（ステップＴ８；Ｎｏ）、上述のステップＴ２へ処理を移行する。
一方、例えば溶接作業の終了等により、溶接支援処理を終了させると判定した場合には（ステップＴ８；Ｙｅｓ）、制御部４７は、溶接支援処理を終了させる。
一方、例えば溶接作業の終了等により、溶接支援処理を終了させると判定した場合には（ステップＴ８；Ｙｅｓ）、制御部４７は、溶接支援処理を終了させる。
【0044】
以上の溶接支援処理を含む溶接制御全体のブロック線図の一例を図１０に示す。
ここで、「実運用上における溶接部の外乱」とは、例えば、設置誤差、開先形状の変動、溶接熱変形、治具の誤差、ワークの熱容量の相違、アーク熱、電磁気、ワイヤの曲がりや送給変動、給電チップの摩耗、電源電圧変動、環境の影響、ギャップ変動、裏当て材の装着状態などである。また、「センサ光学的外乱」とは、例えば、アーク光量変動、設置誤差、アークの開先表面での反射、スパッタの映り込み、ヒューム、カメラ個体差、フィルタ個体差などである。
ここで、「実運用上における溶接部の外乱」とは、例えば、設置誤差、開先形状の変動、溶接熱変形、治具の誤差、ワークの熱容量の相違、アーク熱、電磁気、ワイヤの曲がりや送給変動、給電チップの摩耗、電源電圧変動、環境の影響、ギャップ変動、裏当て材の装着状態などである。また、「センサ光学的外乱」とは、例えば、アーク光量変動、設置誤差、アークの開先表面での反射、スパッタの映り込み、ヒューム、カメラ個体差、フィルタ個体差などである。
【0045】
［本実施形態の技術的効果］
以上のように、本実施形態によれば、溶接部を含む溶接画像に基づいて、当該溶接画像に含まれる少なくとも１つの領域の情報が抽出され、この領域の情報に基づいて所定の特徴量が算出される。そして、算出された特徴量に基づいて、溶接に関する制御が行われる。
これにより、算出する特徴量が予め決められていた従来と異なり、所望の制御に応じた特徴量を算出することができる。したがって、溶接に関する制御を好適に行うことができる。
特徴量は、任意性があり、溶接条件に合わせて選択可能であることが望ましい。従来の手法では、予め特徴量を定めた上で学習を行うため、選択可能な特徴量が限定されている。この点、本実施形態のように、抽出（推定）した領域の情報から特徴量を得る方法では、特徴量の任意性が担保される。
以上のように、本実施形態によれば、溶接部を含む溶接画像に基づいて、当該溶接画像に含まれる少なくとも１つの領域の情報が抽出され、この領域の情報に基づいて所定の特徴量が算出される。そして、算出された特徴量に基づいて、溶接に関する制御が行われる。
これにより、算出する特徴量が予め決められていた従来と異なり、所望の制御に応じた特徴量を算出することができる。したがって、溶接に関する制御を好適に行うことができる。
特徴量は、任意性があり、溶接条件に合わせて選択可能であることが望ましい。従来の手法では、予め特徴量を定めた上で学習を行うため、選択可能な特徴量が限定されている。この点、本実施形態のように、抽出（推定）した領域の情報から特徴量を得る方法では、特徴量の任意性が担保される。
【0046】
また、本実施形態によれば、セマンティックセグメンテーションにより領域の情報が抽出される。
これにより、回帰型の学習モデルを用いていた従来と異なり、好適に領域の情報を抽出できる。
これにより、回帰型の学習モデルを用いていた従来と異なり、好適に領域の情報を抽出できる。
【0047】
また、本実施形態によれば、前方溶融池５１ａの有無を示す特徴量に基づいて、制御則が切り替えられる。
これにより、適正な溶接状態を維持することができる。なお、制御則の切り替えに用いる特徴量は、前方溶融池５１ａの有無を示すものに限定されない。
これにより、適正な溶接状態を維持することができる。なお、制御則の切り替えに用いる特徴量は、前方溶融池５１ａの有無を示すものに限定されない。
【0048】
［その他］
以上、本発明の実施形態について説明したが、本発明は上記の実施形態に限られない。
例えば、ルートギャップ幅が一定以上に大きい場合には、ルートギャップの幅方向にトーチ２４を揺動（ウィービング）させてもよい。この場合、上述した前方溶融池５１ａの有無を条件として制御則を切り替える方法と同様に、ウィービングの有無を切り替えればよい。揺動幅はルートギャップ幅に適当な係数をかけて決定する。一般的に揺動中心はルートギャップ中心に一致させるが、ワークが水平でなく傾斜している場合は、揺動中心をルートギャップ中心からずらすようにオフセットしてもよい。
以上、本発明の実施形態について説明したが、本発明は上記の実施形態に限られない。
例えば、ルートギャップ幅が一定以上に大きい場合には、ルートギャップの幅方向にトーチ２４を揺動（ウィービング）させてもよい。この場合、上述した前方溶融池５１ａの有無を条件として制御則を切り替える方法と同様に、ウィービングの有無を切り替えればよい。揺動幅はルートギャップ幅に適当な係数をかけて決定する。一般的に揺動中心はルートギャップ中心に一致させるが、ワークが水平でなく傾斜している場合は、揺動中心をルートギャップ中心からずらすようにオフセットしてもよい。
【0049】
また、制御装置４には、動作確認、特徴量抽出、制御条件の設定等を行えるユーザインターフェースが実装されているのが望ましい。具体的には、この場合、ユーザ（オペレータ）は、制御装置４の入力部４１を操作することにより、例えば下記の操作を行うことができる。
１．表示部４２にて推論前後の画像が同時に確認できる。
・元の溶接画像（図４（ｂ）参照）とセグメンテーション（ステップＴ３）後の画像（図４（ｃ）参照）とが並んで表示される。
・もしくは、元の溶接画像に領域の輪郭線や色が重畳して描画される。
２．制御に用いる特徴量の種別を設定（選択）できる。例えば、前述したルートギャップ検出において、直線近似や点抽出を行うためのｘ座標をＧＵＩ（Graphical User Interface）で変更できる。基本的な画像処理アルゴリズムによって、各領域の面積、重心位置座標、外接矩形の辺長などが算出され、必要なものを選択できる。特徴量を用いた制御内容を設定できる。
３．四則演算により特徴量を組み合わせた量を作ることができる。定数を加えてオフセットすることと、定数倍することもできる。
４．ユーザが自らプログラミングを行って所望の特徴量を設計・取得できるようなプログラミングインターフェースを持つ。
５．制御量の目標値をＧＵＩで設定できる。特定の値もしくは範囲（「○〇以上△△以下」等）でもよい。制御量の少なくとも１つが表示される。
６．溶接状態を異常とみなす特徴量の種別及びその値（すなわち判定条件）の少なくとも１つをＧＵＩで設定できる。特定の値もしくは範囲（「○〇以上△△以下」等）でもよい。
７．現在の溶接状態が正常か異常かを画面上で示す。例えば文字表示や色変化などのエフェクトなど。
８．溶接を停止すべき特徴量の値をＧＵＩで設定できる。特定の値もしくは範囲（「○〇以上△△以下」等）でもよい。
１．表示部４２にて推論前後の画像が同時に確認できる。
・元の溶接画像（図４（ｂ）参照）とセグメンテーション（ステップＴ３）後の画像（図４（ｃ）参照）とが並んで表示される。
・もしくは、元の溶接画像に領域の輪郭線や色が重畳して描画される。
２．制御に用いる特徴量の種別を設定（選択）できる。例えば、前述したルートギャップ検出において、直線近似や点抽出を行うためのｘ座標をＧＵＩ（Graphical User Interface）で変更できる。基本的な画像処理アルゴリズムによって、各領域の面積、重心位置座標、外接矩形の辺長などが算出され、必要なものを選択できる。特徴量を用いた制御内容を設定できる。
３．四則演算により特徴量を組み合わせた量を作ることができる。定数を加えてオフセットすることと、定数倍することもできる。
４．ユーザが自らプログラミングを行って所望の特徴量を設計・取得できるようなプログラミングインターフェースを持つ。
５．制御量の目標値をＧＵＩで設定できる。特定の値もしくは範囲（「○〇以上△△以下」等）でもよい。制御量の少なくとも１つが表示される。
６．溶接状態を異常とみなす特徴量の種別及びその値（すなわち判定条件）の少なくとも１つをＧＵＩで設定できる。特定の値もしくは範囲（「○〇以上△△以下」等）でもよい。
７．現在の溶接状態が正常か異常かを画面上で示す。例えば文字表示や色変化などのエフェクトなど。
８．溶接を停止すべき特徴量の値をＧＵＩで設定できる。特定の値もしくは範囲（「○〇以上△△以下」等）でもよい。
【0050】
また、上記実施形態では、セラミックの裏当て材２２あり、Ｖ開先突合せ溶接を対象に、トーチ２４の進行速度を制御する場合について説明した。しかし、本発明の適用対象は、トーチによりワークの溶接を行うものであれば、これに限定されない。例えば、上記実施形態とは異なる開先形状や、隅肉溶接に対しても適用可能である。ただし、その場合には撮像画像中の領域の構成や形状が変わり得るため、対象ごとに学習モデルの学習や特徴量の定義等を調整する必要がある。
【0051】
また、上記実施形態では、自動溶接の制御を行う場合について説明した。しかし、本発明は、制御量以外のパラメータをオペレータが手動で制御する場合にも好適に適用できる。例えば、トーチ２４の進行速度を本発明により自動で制御し、トーチ２４のｙ方向位置をオペレータが溶接画像を見るなどして手動で制御してもよい。
また、モデル作成処理は、制御装置４とは異なる装置（パソコン等）で行ってもよい。
また、モデル作成処理は、制御装置４とは異なる装置（パソコン等）で行ってもよい。
【0052】
また、制御装置４は、装置本体２と一体的に構成されていてもよいし、装置本体２を遠隔操作できるように構成されていてもよい。
その他、上記実施形態で示した細部は、発明の趣旨を逸脱しない範囲で適宜変更可能である。
その他、上記実施形態で示した細部は、発明の趣旨を逸脱しない範囲で適宜変更可能である。
【符号の説明】
【0053】
１ 溶接装置
２ 装置本体
３ ワイヤ送給機
４ 制御装置
２０ 板材（ワーク）
２０ａ 開先面
２１ 溝（開先）
２２ 裏当て材
２２ａ ルート
２２ｂ 境界線
２４ トーチ（溶接トーチ）
２５ トーチ移動機構
２７ 撮像部（画像取得手段）
３０ ワイヤ
４１ 入力部（設定手段、第２設定手段）
４２ 表示部（表示手段）
４６ 記憶部
４７ 制御部（抽出手段、算出手段、制御手段、判定手段）
５０ アーク
５１ 溶融池
５１ａ 前方溶融池
５２ ビード
４６１ 学習モデル
４６３ 溶接画像
２ 装置本体
３ ワイヤ送給機
４ 制御装置
２０ 板材（ワーク）
２０ａ 開先面
２１ 溝（開先）
２２ 裏当て材
２２ａ ルート
２２ｂ 境界線
２４ トーチ（溶接トーチ）
２５ トーチ移動機構
２７ 撮像部（画像取得手段）
３０ ワイヤ
４１ 入力部（設定手段、第２設定手段）
４２ 表示部（表示手段）
４６ 記憶部
４７ 制御部（抽出手段、算出手段、制御手段、判定手段）
５０ アーク
５１ 溶融池
５１ａ 前方溶融池
５２ ビード
４６１ 学習モデル
４６３ 溶接画像
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】