▶ 株式会社神戸製鋼所の特許一覧 ▶ 学校法人中部大学の特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-02-08
(45)【発行日】2022-02-17
(54)【発明の名称】自動溶接システム、溶接制御方法、及び機械学習モデル
(51)【国際特許分類】
B23K 9/095 20060101AFI20220209BHJP
B23K 9/12 20060101ALI20220209BHJP
B23K 9/127 20060101ALI20220209BHJP
B23K 31/00 20060101ALI20220209BHJP
【ＦＩ】
B23K9/095 510D
B23K9/12 350A
B23K9/12 350D
B23K9/127 510C
B23K31/00 Z
【請求項の数】
25
(21)【出願番号】P 2018020283
(22)【出願日】2018-02-07
(65)【公開番号】P2018192524
(43)【公開日】2018-12-06
【審査請求日】2020-10-14
(31)【優先権主張番号】P 2017095546
(32)【優先日】2017-05-12
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】000001199
【氏名又は名称】株式会社神戸製鋼所
(73)【特許権者】
【識別番号】500433225
【氏名又は名称】学校法人中部大学
(74)【代理人】
【識別番号】100125645
【弁理士】
【氏名又は名称】是枝 洋介
(72)【発明者】
【氏名】岡本 陽
(72)【発明者】
【氏名】尾崎 圭太
(72)【発明者】
【氏名】芦田 強
(72)【発明者】
【氏名】飛田 正俊
(72)【発明者】
【氏名】山下 隆義
【審査官】正木 裕也
(56)【参考文献】
【文献】特開平０８－１３２２３０（ＪＰ，Ａ）
【文献】特開２００５－１１１５３８（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｂ２３Ｋ ９／０９５
Ｂ２３Ｋ ９／１２
Ｂ２３Ｋ ９／１２７
Ｂ２３Ｋ ３１／００
(57)【特許請求の範囲】
【請求項1】
溶接ワイヤを用いたアーク溶接における溶融池、アーク、又は溶接ワイヤの像を含む画像と、前記アーク溶接の状態に関する状態関連情報とを含む複数の教師データによって教師あり学習を実行し、前記画像を入力とし前記状態関連情報を出力とする機械学習モデルを構築するモデル構築手段と、アーク溶接における溶融池、アーク、又は溶接ワイヤを撮像するカメラと、
前記カメラによって得られた画像を入力として前記機械学習モデルに与え、前記機械学習モデルから出力される状態関連情報を取得する情報取得手段と、
前記情報取得手段によって取得された前記状態関連情報に基づいて、前記アーク溶接を実行する溶接機構を制御する制御手段と
を備える、
自動溶接システム。
【請求項2】
前記モデル構築手段は、前記画像における溶融池、アーク、又は溶接ワイヤの像の特徴を示す画像特徴情報を前記状態関連情報として出力する前記機械学習モデルを構築するように構成されており、前記情報取得手段によって取得された前記画像特徴情報に基づいて、前記アーク溶接に関する物理量を補正するための補正情報を生成する補正情報生成手段をさらに備え、
前記制御手段は、前記補正情報生成手段によって生成された前記補正情報にしたがって前記物理量を補正するよう、前記溶接機構を制御するように構成されている、
請求項１に記載の自動溶接システム。
【請求項3】
前記モデル構築手段は、前記画像特徴情報及び前記アーク溶接の状態の正常度合いを示す溶接正常度を前記状態関連情報として出力する前記機械学習モデルを構築するように構成されており、前記補正情報生成手段は、前記情報取得手段によって取得された前記画像特徴情報及び前記溶接正常度に基づいて、前記アーク溶接に関する物理量を補正するための補正情報を生成するように構成されている、
請求項２に記載の自動溶接システム。
【請求項4】
前記モデル構築手段は、前記画像特徴情報の出力及び前記溶接正常度の出力を別々のタスクとする前記学習を実行するように構成されている、請求項３に記載の自動溶接システム。
【請求項5】
前記モデル構築手段は、前記タスクのそれぞれに対して設定された優先度に基づいて前記学習を実行するように構成されている、請求項４に記載の自動溶接システム。
【請求項6】
前記画像特徴情報は、前記画像中の溶融池、アーク、又は溶接ワイヤの領域についての位置に関する情報を含む、請求項２乃至５の何れかに記載の自動溶接システム。
【請求項7】
前記画像特徴情報は、前記溶融池の領域の中心位置を含み、前記補正情報生成手段は、前記溶融池の領域の中心位置に基づいて、前記溶接ワイヤを保持する溶接トーチの位置についての前記補正情報を生成するように構成されている、
請求項６に記載の自動溶接システム。
【請求項8】
前記画像特徴情報は、前記溶接ワイヤの領域の先端位置を含み、前記補正情報生成手段は、前記溶接ワイヤの領域の先端位置に基づいて、前記溶接ワイヤを保持する溶接トーチの高さについての前記補正情報を生成するように構成されている、
請求項６又は７に記載の自動溶接システム。
【請求項9】
前記画像特徴情報は、前記溶融池の領域の先端位置及び前記アークの領域の中心位置を含み、前記補正情報生成手段は、前記溶融池の領域の先端位置及び前記アークの領域の中心位置に基づいて、前記溶接ワイヤを保持する溶接トーチの移動速度についての前記補正情報を生成するように構成されている、
請求項６乃至８の何れかに記載の自動溶接システム。
【請求項10】
前記画像特徴情報は、突合せ継手における開先の幅を含み、前記補正情報生成手段は、前記突合せ継手における開先の幅に基づいて、前記溶接ワイヤを保持する溶接トーチを周期的に揺動させるウィービング動作の幅についての前記補正情報を生成するように構成されている、
請求項２乃至９の何れかに記載の自動溶接システム。
【請求項11】
前記画像特徴情報は、前記画像中の溶融池、アーク、及び溶接ワイヤの領域毎に異なるラベルが割り当てられたラベル画像を含む、請求項２乃至１０の何れかに記載の自動溶接システム。
【請求項12】
前記補正情報生成手段は、前記ラベル画像における前記溶接ワイヤの領域の面積に基づいて、前記溶接ワイヤを保持する溶接トーチの高さについての前記補正情報を生成するように構成されている、請求項１１に記載の自動溶接システム。
【請求項13】
前記補正情報生成手段は、前記ラベル画像における前記溶融池の領域の面積に基づいて、前記溶接ワイヤに生じる溶接電圧又は溶接電流についての前記補正情報を生成するように構成されている、請求項１１又は１２に記載の自動溶接システム。
【請求項14】
前記ラベル画像における前記アークの領域についての位置又は面積に基づいて、溶接状態が正常であるか否かを判定する溶接状態判定手段と、前記溶接状態判定手段によって前記溶接状態が異常であると判定された場合に、前記溶接状態が異常であることを通知する通知手段と
をさらに備える、
請求項１１乃至１３の何れかに記載の自動溶接システム。
【請求項15】
前記モデル構築手段は、前記補正情報生成手段による前記補正情報の生成に用いられない情報を含む前記画像特徴情報を出力する前記機械学習モデルを構築するように構成されている、請求項２乃至１４の何れかに記載の自動溶接システム。
【請求項16】
前記補正情報の生成に用いられない情報である複数の候補情報から、前記機械学習モデルにおける前記画像の認識性能に基づいて、前記画像特徴情報に含むべき情報を決定する決定手段をさらに備え、前記モデル構築手段は、前記決定手段によって決定された前記情報を含む前記画像特徴情報を出力する前記機械学習モデルを構築するように構成されている、
請求項１５に記載の自動溶接システム。
【請求項17】
前記モデル構築手段は、前記アーク溶接に関する物理量を補正するための補正情報を前記状態関連情報として出力する前記機械学習モデルを構築するように構成されており、前記制御手段は、前記情報取得手段によって取得された前記補正情報にしたがって前記物理量を補正するよう、前記溶接機構を制御するように構成されている、
請求項１に記載の自動溶接システム。
【請求項18】
前記モデル構築手段は、前記補正情報及び前記アーク溶接の状態の正常度合いを示す溶接正常度を前記状態関連情報として出力する前記機械学習モデルを構築するように構成されており、前記制御手段は、前記情報取得手段によって取得された前記補正情報及び前記溶接正常度にしたがって前記物理量を補正するよう、前記溶接機構を制御するように構成されている、
請求項１７に記載の自動溶接システム。
【請求項19】
前記モデル構築手段は、前記補正情報の出力及び前記溶接正常度の出力を別々のタスクとする前記学習を実行するように構成されている、請求項１８に記載の自動溶接システム。
【請求項20】
前記モデル構築手段は、前記タスクのそれぞれに対して設定された優先度に基づいて前記学習を実行するように構成されている、請求項１９に記載の自動溶接システム。
【請求項21】
前記カメラは、前記溶融池、アーク、又は溶接ワイヤを時間的に連続して撮像するように構成されており、前記モデル構築手段は、時間的に連続した複数の画像を含む時系列画像を入力とし前記状態関連情報を出力とする前記機械学習モデルを構築するように構成されている、
請求項１乃至２０の何れかに記載の自動溶接システム。
【請求項22】
前記機械学習モデルは、畳み込み層及びプーリング層を含む畳み込みニューラルネットワークである、請求項１乃至２１の何れかに記載の自動溶接システム。
【請求項23】
複数の前記状態関連情報を複数の組に分割する分割手段をさらに備え、前記モデル構築手段は、前記分割手段によって分割された前記状態関連情報の組を各別に含む前記教師データによって教師あり学習を実行し、前記状態関連情報の組と各別に対応する複数の前記機械学習モデルを構築するように構成されており、
前記情報取得手段は、前記カメラによって得られた画像を入力として前記複数の機械学習モデルのそれぞれに与え、前記機械学習モデルのそれぞれから出力される前記状態関連情報の組を取得するように構成されている、
請求項１乃至２２の何れかに記載の自動溶接システム。
【請求項24】
溶接ワイヤを用いたアーク溶接における溶融池、アーク、又は溶接ワイヤの像を含む画像と、前記アーク溶接の状態に関する状態関連情報とを含む複数の教師データによって教師あり学習を実行し、前記画像を入力とし前記状態関連情報を出力とする機械学習モデルを構築するステップと、アーク溶接における溶融池又はアークを撮像するステップと、
撮像して得られた画像を入力として前記機械学習モデルに与え、前記機械学習モデルから出力される状態関連情報を取得するステップと、
取得された前記状態関連情報に基づいて、前記アーク溶接を実行する溶接機構を制御するステップと
を有する、
溶接制御方法。
【請求項25】
アーク溶接を実行する溶接機構の制御に用いられる情報を出力するための機械学習モデルであって、溶接ワイヤを用いたアーク溶接における溶融池、アーク、又は溶接ワイヤの像を含む画像と、前記アーク溶接の状態に関する状態関連情報とを含む複数の教師データによる教師あり学習によって構築され、
前記溶接機構の制御の際に、溶接ワイヤを用いたアーク溶接における溶融池、アーク、又は溶接ワイヤをカメラによって撮像して得られた画像を入力とし、
前記アーク溶接の状態に関する状態関連情報を出力とする、機械学習モデル。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、アーク溶接の溶接箇所を撮像して得られた画像によって溶接制御を行う自動溶接システム及び溶接制御方法、並びに溶接制御に用いられる情報を出力するための機械学習モデルに関する。
【背景技術】
【0002】
アーク溶接には、多層盛りアーク溶接における初層裏波溶接のように、溶接状態が不安定になりやすいために、熟練工による手溶接又は半自動溶接が主流であり、十分に自動化がなされていないものがある。このようなアーク溶接を自動化するためには、溶融池及びアーク光の状態を常時監視し、これに基づいて溶接トーチの位置及び速度等を制御する必要がある。特許文献１には、溶接進行方向斜め上方に設置されたＣＣＤカメラによって溶融池を撮像し、これによって得られた画像に対して輝度加算処理及び平滑化微分処理を施して溶融池先行量（画像における溶融池先端とアーク中心位置との間の距離）を算出し、溶融池先行量が予め設定された範囲内に収まるように溶接速度の制御を行う方法が開示されている。
【先行技術文献】
【特許文献】
【0003】
【文献】特開２０００－９４１３０号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
アークによって生じた溶滴が規則的又は不規則的に溶融池との短絡を繰り返すことにより、アーク光の輝度は繰り返し変動する。そのため、特許文献１に記載の方法にあっては、アーク光の輝度が高くなるとそれによって溶融池先端が隠され、画像から溶融池先端を検出することが困難となる。また、これを防止するためＣＣＤカメラの露光時間を短くし画像全体の輝度を低下させると、溶融池の輝度が低くなり溶融池先端点、アーク中心位置などの画像特徴点を検出しにくくなる。このように、特許文献１に開示された方法では画像毎の輝度のばらつきが考慮されておらず、輝度が変化した場合に画像認識の精度が低下するという問題がある。また、例えばアーク及びスパッタの領域の輝度は溶融池等の他の領域の輝度に比べて極端に高く、画像内での輝度のばらつきが大きい。アークの領域の形状は画像によって大きく変動し、またスパッタが現れる画像もあれば現れない画像もある。このように輝度の高い領域の形状及び位置が大きく変動する画像に対して輝度加算処理及び平滑化微分処理を施しても、得られる溶融池先端、アーク中心位置等は画像によって大きく変動し、これらを正確に検出することはできない。
【0005】
本発明は斯かる事情に鑑みてなされたものであり、その主たる目的は、上記課題を解決することができる自動溶接システム、溶接制御方法、及び機械学習モデルを提供することにある。
【課題を解決するための手段】
【0006】
上述した課題を解決するために、本発明の一の態様の自動溶接システムは、溶接ワイヤを用いたアーク溶接における溶融池、アーク、又は溶接ワイヤの像を含む画像と、前記アーク溶接の状態に関する状態関連情報とを含む複数の教師データによって教師あり学習を実行し、前記画像を入力とし前記状態関連情報を出力とする機械学習モデルを構築するモデル構築手段と、アーク溶接における溶融池、アーク、又は溶接ワイヤを撮像するカメラと、前記カメラによって得られた画像を入力として前記機械学習モデルに与え、前記機械学習モデルから出力される状態関連情報を取得する情報取得手段と、前記情報取得手段によって取得された前記状態関連情報に基づいて、前記アーク溶接を実行する溶接機構を制御する制御手段とを備える。
【0007】
この態様において、前記モデル構築手段は、前記画像における溶融池、アーク、又は溶接ワイヤの像の特徴を示す画像特徴情報を前記状態関連情報として出力する前記機械学習モデルを構築するように構成されており、前記自動溶接システムは、前記情報取得手段によって取得された前記画像特徴情報に基づいて、前記アーク溶接に関する物理量を補正するための補正情報を生成する補正情報生成手段をさらに備え、前記制御手段は、前記補正情報生成手段によって生成された前記補正情報にしたがって前記物理量を補正するよう、前記溶接機構を制御するように構成されていてもよい。
【0008】
また、上記態様において、前記モデル構築手段は、前記画像特徴情報及び前記アーク溶接の状態の正常度合いを示す溶接正常度を前記状態関連情報として出力する前記機械学習モデルを構築するように構成されており、前記補正情報生成手段は、前記情報取得手段によって取得された前記画像特徴情報及び前記溶接正常度に基づいて、前記アーク溶接に関する物理量を補正するための補正情報を生成するように構成されていてもよい。
【0009】
また、上記態様において、前記モデル構築手段は、前記画像特徴情報の出力及び前記溶接正常度の出力を別々のタスクとする前記学習を実行するように構成されていてもよい。
【0010】
また、上記態様において、前記モデル構築手段は、前記タスクのそれぞれに対して設定された優先度に基づいて前記学習を実行するように構成されていてもよい。
【0011】
また、上記態様において、前記画像特徴情報は、前記画像中の溶融池、アーク、又は溶接ワイヤの領域についての位置に関する情報を含んでもよい。
【0012】
また、上記態様において、前記画像特徴情報は、前記溶融池の領域の中心位置を含み、前記補正情報生成手段は、前記溶融池の領域の中心位置に基づいて、前記溶接ワイヤを保持する溶接トーチの位置についての前記補正情報を生成するように構成されていてもよい。
【0013】
また、上記態様において、前記画像特徴情報は、前記溶接ワイヤの領域の先端位置を含み、前記補正情報生成手段は、前記溶接ワイヤの領域の先端位置に基づいて、前記溶接ワイヤを保持する溶接トーチの高さについての前記補正情報を生成するように構成されていてもよい。
【0014】
また、上記態様において、前記画像特徴情報は、前記溶融池の領域の先端位置及び前記アークの領域の中心位置を含み、前記補正情報生成手段は、前記溶融池の領域の先端位置及び前記アークの領域の中心位置に基づいて、前記溶接ワイヤを保持する溶接トーチの移動速度についての前記補正情報を生成するように構成されていてもよい。
【0015】
また、上記態様において、前記画像特徴情報は、突合せ継手における開先の幅を含み、前記補正情報生成手段は、前記突合せ継手における開先の幅に基づいて、前記溶接ワイヤを保持する溶接トーチを周期的に揺動させるウィービング動作の幅についての前記補正情報を生成するように構成されていてもよい。
【0016】
また、上記態様において、前記画像特徴情報は、前記画像中の溶融池、アーク、及び溶接ワイヤの領域毎に異なるラベルが割り当てられたラベル画像を含んでもよい。
【0017】
また、上記態様において、前記補正情報生成手段は、前記ラベル画像における前記溶接ワイヤの領域の面積に基づいて、前記溶接ワイヤを保持する溶接トーチの高さについての前記補正情報を生成するように構成されていてもよい。
【0018】
また、上記態様において、前記補正情報生成手段は、前記ラベル画像における前記溶融池の領域の面積に基づいて、前記溶接ワイヤに生じる溶接電圧又は溶接電流についての前記補正情報を生成するように構成されていてもよい。
【0019】
また、上記態様において、前記自動溶接システムは、前記ラベル画像における前記アークの領域についての位置又は面積に基づいて、溶接状態が正常であるか否かを判定する溶接状態判定手段と、前記溶接状態判定手段によって前記溶接状態が異常であると判定された場合に、前記溶接状態が異常であることを通知する通知手段とをさらに備えてもよい。
【0020】
また、上記態様において、前記モデル構築手段は、前記補正情報生成手段による前記補正情報の生成に用いられない情報を含む前記画像特徴情報を出力する前記機械学習モデルを構築するように構成されていてもよい。
【0021】
また、上記態様において、前記自動溶接システムは、前記補正情報の生成に用いられない情報である複数の候補情報から、前記機械学習モデルにおける前記画像の認識性能に基づいて、前記画像特徴情報に含むべき情報を決定する決定手段をさらに備え、前記モデル構築手段は、前記決定手段によって決定された前記情報を含む前記画像特徴情報を出力する前記機械学習モデルを構築するように構成されていてもよい。
【0022】
また、上記態様において、前記モデル構築手段は、前記アーク溶接に関する物理量を補正するための補正情報を前記状態関連情報として出力する前記機械学習モデルを構築するように構成されており、前記制御手段は、前記情報取得手段によって取得された前記補正情報にしたがって前記物理量を補正するよう、前記溶接機構を制御するように構成されていてもよい。
【0023】
また、上記態様において、前記モデル構築手段は、前記補正情報及び前記アーク溶接の状態の正常度合いを示す溶接正常度を前記状態関連情報として出力する前記機械学習モデルを構築するように構成されており、前記制御手段は、前記情報取得手段によって取得された前記補正情報及び前記溶接正常度にしたがって前記物理量を補正するよう、前記溶接機構を制御するように構成されていてもよい。
【0024】
また、上記態様において、前記モデル構築手段は、前記補正情報の出力及び前記溶接正常度の出力を別々のタスクとする前記学習を実行するように構成されていてもよい。
【0025】
また、上記態様において、前記モデル構築手段は、前記タスクのそれぞれに対して設定された優先度に基づいて前記学習を実行するように構成されていてもよい。
【0026】
また、上記態様において、前記カメラは、前記溶融池、アーク、又は溶接ワイヤを時間的に連続して撮像するように構成されており、前記モデル構築手段は、時間的に連続した複数の画像を含む時系列画像を入力とし前記状態関連情報を出力とする前記機械学習モデルを構築するように構成されていてもよい。
【0027】
また、上記態様において、前記機械学習モデルは、畳み込み層及びプーリング層を含む畳み込みニューラルネットワークであってもよい。
【0028】
また、上記態様において、前記自動溶接システムは、複数の前記状態関連情報を複数の組に分割する分割手段をさらに備え、前記モデル構築手段は、前記分割手段によって分割された前記状態関連情報の組を各別に含む前記教師データによって教師あり学習を実行し、前記状態関連情報の組と各別に対応する複数の前記機械学習モデルを構築するように構成されており、前記情報取得手段は、前記カメラによって得られた画像を入力として前記複数の機械学習モデルのそれぞれに与え、前記機械学習モデルのそれぞれから出力される前記状態関連情報の組を取得するように構成されていてもよい。
【0029】
また、本発明の他の態様の溶接制御方法は、溶接ワイヤを用いたアーク溶接における溶融池、アーク、又は溶接ワイヤの像を含む画像と、前記アーク溶接の状態に関する状態関連情報とを含む複数の教師データによって教師あり学習を実行し、前記画像を入力とし前記状態関連情報を出力とする機械学習モデルを構築するステップと、アーク溶接における溶融池又はアークを撮像するステップと、撮像して得られた画像を入力として前記機械学習モデルに与え、前記機械学習モデルから出力される状態関連情報を取得するステップと、取得された前記状態関連情報に基づいて、前記アーク溶接を実行する溶接機構を制御するステップとを有する。
【0030】
また、本発明の他の態様の機械学習モデルは、アーク溶接を実行する溶接機構の制御に用いられる情報を出力するための機械学習モデルであって、溶接ワイヤを用いたアーク溶接における溶融池、アーク、又は溶接ワイヤの像を含む画像と、前記アーク溶接の状態に関する状態関連情報とを含む複数の教師データによる教師あり学習によって構築され、前記溶接機構の制御の際に、溶接ワイヤを用いたアーク溶接における溶融池、アーク、又は溶接ワイヤをカメラによって撮像して得られた画像を入力とし、前記アーク溶接の状態に関する状態関連情報を出力とする。
【発明の効果】
【0031】
本発明に係る自動溶接システム、溶接制御方法、及び機械学習モデルによれば、画像毎に輝度のばらつきがあっても正確な画像認識が可能となる。
【図面の簡単な説明】
【0032】
【図1】実施の形態１に係る自動溶接システムの構成を示す模式図。
【図2】カメラの配置位置を説明するための斜視図。
【図3】実施の形態１に係るロボット制御装置の構成を示すブロック図。
【図4】実施の形態１に係る補正情報生成装置の構成を示すブロック図。
【図5】実施の形態１に係る機械学習モデルの構成を示す概念図。
【図6】実施の形態１に係る画像特徴情報を説明するための図。
【図7】実施の形態１に係る自動溶接システムにおける機械学習モデル構築処理の手順を示すフローチャート。
【図8】実施の形態１に係るロボット制御装置及び電源装置の動作手順を示すフローチャート。
【図9】実施の形態１に係る補正情報生成処理の手順を示すフローチャート。
【図10】実施の形態２に係る機械学習モデルの構成を示す概念図。
【図11】実施の形態２に係る画像特徴情報を説明するための図。
【図12】実施の形態２に係るロボット制御装置及び電源装置の動作手順を示すフローチャート。
【図13】実施の形態２に係る補正情報生成処理の手順を示すフローチャート。
【図14】実施の形態３に係る機械学習モデルの構成を示す概念図。
【図15】実施の形態３に係る追加候補情報を説明するための図。
【図16】実施の形態３に係る準備処理の手順を示すフローチャート。
【図17】実施の形態３に係る追加情報決定処理の手順を示すフローチャート。
【図18】実施の形態３に係るネットワーク構成分割処理の手順を示すフローチャート。
【図19】実施の形態３に係る機械学習モデル構築処理の手順を示すフローチャート。
【図20】実施の形態３に係る実施の形態に係る補正情報生成処理の手順を示すフローチャート。
【図21】実施の形態４に係る機械学習モデルの構成を示す概念図。
【図22】時系列の溶接画像を示す模式図。
【図23】実施の形態４に係る補正情報生成処理の手順を示すフローチャート。
【図24】実施の形態５に係る機械学習モデルの構成を示す概念図。
【図25】実施の形態５に係る補正情報生成処理の手順を示すフローチャート。
【図26】実施の形態６に係る機械学習モデルの構成を示す概念図。
【図27】実施の形態６に係る補正情報生成処理の手順を示すフローチャート。
【図28】実施の形態７に係る機械学習モデルの構成を示す概念図。
【図29】実施の形態７に係る補正情報生成処理の手順を示すフローチャート。
【図30】実施の形態８に係る機械学習モデルの構成を示す概念図。
【図31】実施の形態８に係る補正情報生成処理の手順を示すフローチャート。
【図32】実施の形態９に係る機械学習モデルの構成を示す概念図。
【図33】実施の形態９に係る補正情報生成処理の手順を示すフローチャート。
【図34】実施の形態１０に係る機械学習モデルの構成を示す概念図。
【図35】実施の形態１０に係る補正情報生成処理の手順を示すフローチャート。
【図36A】Ｖ型開先継手における溶接画像の写真。
【図37A】前斜め上方から溶融池及びアークを撮像したときの開先継手の溶接画像の写真。
【図38A】後斜め上方から溶融池及びアークを撮像したときの開先継手の溶接画像の写真。
【発明を実施するための形態】
【0033】
以下、本発明の好ましい実施の形態を、図面を参照しながら説明する。なお、以下に示す各実施の形態は、本発明の技術的思想を具体化するための方法及び装置を例示するものであって、本発明の技術的思想は下記のものに限定されるわけではない。本発明の技術的思想は、特許請求の範囲に記載された技術的範囲内において種々の変更を加えることができる。また、以下に示す各実施の形態ではマニピュレータの溶接ロボットを例に挙げて説明するが、本発明の適用対象はこれらに限定されるわけではなく、マニピュレータ以外の自動溶接装置を適用対象とすることも可能である。
【0034】
（実施の形態１）
本実施の形態では、自動溶接システムが、溶融池及びアークをカメラで撮像し、カメラから得られた画像を、教師あり学習にて構築された機械学習モデルに入力し、当該機械学習モデルから出力される画像特徴情報を取得し、画像特徴情報を用いてアーク溶接に関する物理量の補正情報を生成し、補正情報に基づいてアーク溶接の自動制御を行う。
本実施の形態では、自動溶接システムが、溶融池及びアークをカメラで撮像し、カメラから得られた画像を、教師あり学習にて構築された機械学習モデルに入力し、当該機械学習モデルから出力される画像特徴情報を取得し、画像特徴情報を用いてアーク溶接に関する物理量の補正情報を生成し、補正情報に基づいてアーク溶接の自動制御を行う。
【0035】
＜自動溶接システムの構成＞
図１は、本実施の形態に係る自動溶接システムの構成を示す模式図である。自動溶接システム１０は、溶接ロボット２０と、ロボット制御装置３０と、電源装置４０と、カメラ６０と、補正情報生成装置１００とを備えている。
図１は、本実施の形態に係る自動溶接システムの構成を示す模式図である。自動溶接システム１０は、溶接ロボット２０と、ロボット制御装置３０と、電源装置４０と、カメラ６０と、補正情報生成装置１００とを備えている。
【0036】
溶接ロボット２０は、垂直多関節型のマニピュレータから構成され、その先端に溶接トーチ２１を有している。本実施の形態に係る溶接ロボット２０は、ＭＩＧ（Metal Inert Gas）溶接又はＭＡＧ（Metal Active Gas）溶接等の溶極式のアーク溶接を行う。かかる溶接ロボット２０は、ロボット制御装置３０及び電源装置４０のそれぞれに接続されている。
【0037】
溶接トーチ２１にはワイヤ送給装置２３から溶接ワイヤ２４が送り込まれ、溶接トーチ２１の先端からこれが送り出される。電源装置４０は定電圧電源装置であり、溶接ワイヤ２４に電力を供給する。これにより、溶接ワイヤ２４とワーク（被溶接材）５０との間に溶接電圧が印加され、アークが発生する。また、電源装置４０は、溶接中に生じる溶接電流を検出する電流センサ（図示せず）を備えている。
【0038】
電源装置４０は、ＣＰＵとメモリとを備えており、電源制御用のコンピュータプログラムをＣＰＵが実行することで溶接電力の制御を行う。また、電源装置４０はワイヤ送給装置２３に接続されており、ＣＰＵがワイヤの送給速度を制御する。かかる電源装置４０は、ロボット制御装置３０及び補正情報生成装置１００との間でデータ通信を行う。
【0039】
カメラ６０は、ＣＣＤ（Charge Coupled Device）カメラである。図２は、カメラ６０の配置位置を説明するための斜視図である。ワーク５０は突合せ継手であり、２つの金属板が開先を設けて突き合わされ、その裏面にセラミックス製の裏当て材５１が取り付けられている。突合せ継手では、開先に沿って一方向に溶接が行われる。以下、溶接方向を「前方」、この前方を見たときの右方を「右方」、前方を見たときの左方を「左方」という。また、本実施の形態では、表面が上方を向くように水平配置されたワーク５０に対して上方から溶接ロボット２０が溶接を行うものとして説明する。
【0040】
図２に示すように、カメラ６０はワーク５０の溶接箇所の前斜め上方に配置される。かかるカメラ６０は、ワーク５０の溶接箇所に撮像範囲が設定されており、アーク溶接中に溶融池とアークとを撮像する。カメラ６０は、例えば１０２４×７６８ピクセルの静止画像を連続して撮像することができる。
【0041】
次に、ロボット制御装置３０の構成について説明する。ロボット制御装置３０は、溶接ロボット２０の動作を制御する。図３は、ロボット制御装置３０の構成を示すブロック図である。ロボット制御装置３０は、ＣＰＵ３０１と、メモリ３０２と、複数のスイッチを含む操作パネル３０３と、教示ペンダント３０４と、入出力部３０５と、通信部３０６とを備えている。
【0042】
溶接ロボット２０の制御用のコンピュータプログラムである制御プログラム３３０がメモリ３０２に格納されており、この制御プログラム３３０をＣＰＵ３０１が実行することで、溶接ロボット２０による溶接動作の制御が行われる。
【0043】
ロボット制御装置３０に対する指示の入力には、操作パネル３０３及び教示ペンダント３０４が用いられる。オペレータは、教示ペンダント３０４に教示プログラムを入力することができる。ロボット制御装置３０は、教示ペンダント３０４から入力された教示プログラムにしたがって、溶接ロボット２０を制御する。また、この教示プログラムは、図示しないコンピュータによって作成することも可能である。この場合、可搬型記録媒体によって受け渡ししたり、データ通信によって伝送したりして、教示プログラムをロボット制御装置３０に与えることができる。
【0044】
入出力部３０５には、電源装置４０に設けられた電流センサ及び溶接ロボット２０のアクチュエータの駆動回路（図示せず）が接続されている。電流センサによって検出された溶接電流の電流値が入出力部３０５に入力され、ＣＰＵ３０１に与えられる。また、ＣＰＵ３０１は、制御プログラム３３０により、後述するような溶接ロボット２０の制御を行い、制御信号を溶接ロボット２０の駆動回路に出力する。
【0045】
通信部３０６は、有線又は無線通信用の通信モジュールである。かかる通信部３０６は、所定の通信プロトコルを使用して電源装置４０及び補正情報生成装置１００との間でデータ通信を行う。
【0046】
以上のような構成のロボット制御装置３０は、溶接ロボット２０の各軸を制御して、溶接トーチ２１の位置及び溶接トーチ２１からの溶接ワイヤ２４の突き出し長さ（以下、「ワイヤ長」という）を制御する。溶接動作では、溶接トーチ２１とワーク５０との間の距離に応じてワイヤ長が調節される。つまり、溶接トーチ２１がワーク５０に近接すると、ワイヤ長が小さくし、溶接トーチ２１がワーク５０から離反すると、ワイヤ長を大きくする。ワイヤ長の長短に応じて溶接ワイヤ２４における抵抗変化が生じ、これが溶接電圧値の変化を引き起こす。このため、ロボット制御装置３０は、溶接電圧値を用いたフィードバック制御により、溶接電圧値が適正となるように溶接トーチ２１の位置及びワイヤ長を調節する。また、ロボット制御装置３０は、溶接ロボット２０の各軸を制御して、溶接トーチ２１の速度も制御する。なお、本実施形態では画像認識結果に基づき速度制御をする構成としたが、一定速度で溶接トーチ２１を動作させることもできる。
【0047】
また、ロボット制御装置３０は、溶接ロボット２０にウィービング動作を実行させる。ウィービング動作は、溶接方向に対して交差する方向に溶接トーチ２１を交互に揺動させる動作である。ロボット制御装置３０は、設定されたウィービング周期、振幅、溶接速度によってウィービング動作を行うように溶接ロボット２０を制御する。
【0048】
さらに、ロボット制御装置３０は、上記のウィービング動作と共に、溶接線倣い制御を実行する。溶接線倣い制御は、溶接線に沿ってビードが形成されるよう、溶接トーチ２１の左右位置を制御する動作である。
【0049】
次に、補正情報生成装置１００の構成について説明する。図４は、本実施の形態に係る補正情報生成装置１００の構成を示すブロック図である。補正情報生成装置１００は、コンピュータ１０１によって実現される。コンピュータ１０１は、本体１１０と、入力部１２０と、表示部１３０とを備えている。本体１１０は、ＣＰＵ１１１と、ＲＯＭ１１２と、ＲＡＭ１１３と、ハードディスク１１４と、入出力インタフェース１１５と、通信インタフェース１１６と、映像出力インタフェース１１７とを備えている。ＣＰＵ１１１、ＲＯＭ１１２、ＲＡＭ１１３、ハードディスク１１４、入出力インタフェース１１５、通信インタフェース１１６、及び映像出力インタフェース１１７は、バスによって相互に接続されている。
【0050】
アーク溶接に関する物理量の補正情報を生成するためのコンピュータプログラムである補正情報生成プログラム１５０をＣＰＵ１１１が実行することにより、コンピュータ１０１が補正情報生成装置１００として機能する。
【0051】
ＲＯＭ１１２には、ＣＰＵ１１１に実行されるコンピュータプログラム及びこれに用いるデータ等が記録されている。ＲＡＭ１１３は、ハードディスク１１４に記録されている補正情報生成プログラム１５０の読み出しに用いられる。また、ＲＡＭ１１３は、ＣＰＵ１１１がコンピュータプログラムを実行するときに、ＣＰＵ１１１の作業領域として利用される。
【0052】
ハードディスク１１４は、オペレーティングシステム及びアプリケーションプログラム等、ＣＰＵ１１１に実行させるための種々のコンピュータプログラム及び当該コンピュータプログラムの実行に用いられるデータがインストールされている。補正情報生成プログラム１５０も、このハードディスク１１４にインストールされている。
【0053】
またハードディスク１１４には、画像認識用の機械学習モデル１６０が記憶されている。この機械学習モデル１６０は、畳み込みニューラルネットワーク（Convolutional Neural Network）である。かかる機械学習モデル１６０の詳細については後述する。
【0054】
入出力インタフェース１１５には、キーボード及びマウスからなる入力部１２０が接続されている。また、入出力インタフェース１１５には、カメラ６０が接続されている。カメラ６０から出力された画像が入出力インタフェース１１５を介してＣＰＵ１１１に与えられる。
【0055】
通信インタフェース１１６は、有線又は無線通信用の通信モジュールである。かかる通信インタフェース１１６は、所定の通信プロトコルを使用して電源装置４０及びロボット制御装置３０との間でデータ通信を行う。映像出力インタフェース１１７は、ＬＣＤまたはＣＲＴ等で構成された表示部１３０に接続されており、ＣＰＵ１１１から与えられた映像データに応じた映像信号を表示部１３０に出力するようになっている。表示部１３０は、入力された映像信号にしたがって、画像を表示する。
【0056】
＜自動溶接システムの動作＞
まず、機械学習モデル１６０の構築について説明する。後述する溶接制御を実行するのに先立ち、機械学習モデル１６０の構築を行う。図５は、機械学習モデル１６０の構成を示す概念図である。本実施の形態に係る機械学習モデル１６０は、畳み込みニューラルネットワークにより構成されており、複数の畳み込み層と、複数のプーリング層と、複数の全結合層とを含んでいる。
まず、機械学習モデル１６０の構築について説明する。後述する溶接制御を実行するのに先立ち、機械学習モデル１６０の構築を行う。図５は、機械学習モデル１６０の構成を示す概念図である。本実施の形態に係る機械学習モデル１６０は、畳み込みニューラルネットワークにより構成されており、複数の畳み込み層と、複数のプーリング層と、複数の全結合層とを含んでいる。
【0057】
機械学習モデル１６０は、アーク溶接における溶融池及びアークを撮像して得られた画像（以下、「溶接画像」という）を入力とし、画像特徴情報を出力とするモデルである。図６は、画像特徴情報を説明するための図である。図６に示すように、溶接画像には溶融池、アーク、及び溶接ワイヤ２４の像（領域）が含まれる。この溶接画像において、溶接池、アーク及び溶接ワイヤ２４の領域の位置についての画像特徴情報が規定される。具体的には、本実施の形態における画像特徴情報は、アーク中心（ＡｒｃＸ，ＡｒｃＹ）、ワイヤ先端（ＷｉｒｅＸ，ＷｉｒｅＹ）、溶融池先端左端（Ｐｏｏｌ＿Ｌｅａｄ＿Ｌｘ，Ｐｏｏｌ＿Ｌｅａｄ＿Ｌｙ）、溶融池先端右端（Ｐｏｏｌ＿Ｌｅａｄ＿Ｒｘ，Ｐｏｏｌ＿Ｌｅａｄ＿Ｒｙ）、溶融池左端（Ｐｏｏｌ＿Ｌｘ）、及び溶融池右端（Ｐｏｏｌ＿Ｒｘ）である。
【0058】
図７は、本実施の形態に係る自動溶接システム１０における機械学習モデル構築処理の手順を示すフローチャートである。機械学習モデル１６０の構築は、多数の教師データを使用した教師あり学習により実現される。機械学習モデル構築処理において、まず補正情報生成装置１００は、複数の教師データの入力を受け付ける（ステップＳ１０１）。教師データは、溶接画像と、画像特徴情報とによって構成され、教師データにおける画像特徴情報は、溶接画像を参照してオペレータが作成する。また、教師データにおける溶接画像は、１２０×１００ピクセルにサイズが縮小された濃淡画像である。
【0059】
次に、ＣＰＵ１１１は、教師データを学習前の機械学習モデル（以下、「学習前モデル」という）に与えて、機械学習処理を実行する（ステップＳ１０２）。ここで、バックプロパゲーション等の機械学習処理により、学習前モデルの各層及び層間のパラメータの調整が行われる。
【0060】
ＣＰＵ１１１は、所定の終了条件（例えば、直近所定個の教師データにおける誤差平均が所定値未満であるか等）を満足したか否かを判定し（ステップＳ１０３）、終了条件を満たしていなければ（ステップＳ１０３においてＮＯ）、ステップＳ１０２へ処理を戻して機械学習処理を繰り返し、終了条件を満たしていれば（ステップＳ１０３においてＹＥＳ）、機械学習モデル構築処理を終了する。
【0061】
次に、自動溶接が行われる場合の自動溶接システム１０の動作について説明する。アーク溶接を行う場合、オペレータは、ロボット制御装置３０、電源装置４０、及び補正情報生成装置１００のそれぞれを起動する。ロボット制御装置３０が溶接ロボット２０の動作を制御し、電源装置４０が溶接を実行する。また、補正情報生成装置１００は、カメラ６０により得られる溶接画像を監視し、アーク溶接に関する物理量の補正情報を逐次算出する。なお、本実施の形態においては、補正情報を生成する対象の物理量を、溶接トーチ２１の位置及び溶接速度、並びにウィービング動作の幅とする。
【0062】
ロボット制御装置３０及び電源装置４０の動作について説明する。図８は、ロボット制御装置３０及び電源装置４０の動作手順を示すフローチャートである。オペレータは、アーク溶接を開始する場合、教示ペンダント３０４を操作して、ロボット制御装置３０に教示プログラム、各種設定値を入力し、溶接開始を指示する。ロボット制御装置３０のＣＰＵ３０１は、この教示プログラム、各種設定値、及び溶接開始指示を受け付ける（ステップＳ１１１）。
【0063】
ＣＰＵ３０１は、電源装置４０に対して、溶接開始（溶接電力の供給開始）を指令する（ステップＳ１１２）。電源装置４０は、この指令を受信し（ステップＳ１１３）、電源装置４０に内蔵される電源回路を制御して溶接を開始する（ステップＳ１１４）。これにより、溶接ワイヤ２４とワーク５０との間に溶接電圧が印加され、アークが発生する。
【0064】
次にＣＰＵ３０１は、溶接ロボット２０に制御信号を送信し、溶接制御を実行する（ステップＳ１１５）。溶接制御には、自動溶接制御（ステップＳ１１５１）、ウィービング動作の制御（ステップＳ１１５２）及び溶接線倣い制御（ステップＳ１１５３）が含まれる。自動溶接制御では、ＣＰＵ１１１が自動的に溶接方向に溶接トーチ２１を移動させながら、溶接電流又は溶接電圧の補正信号を電源装置４０に送信し、電源装置４０が補正信号にしたがい溶接を実行する。
【0065】
ＣＰＵ３０１は、溶接動作の停止が必要か否かを判定する（ステップＳ１１６）。溶接動作の停止が不要な場合（ステップＳ１１６においてＮＯ）、ロボット制御装置３０は、補正情報生成装置１００から物理量の補正情報を受信し（ステップＳ１１７）、ステップＳ１１５へ処理を戻し、この補正情報によって物理量を補正するように溶接制御を実行する。
【0066】
例えば、オペレータからの溶接停止の指示の受け付け、溶接ロボット２０に設けられたセンサによる溶接終了位置の検出、及び溶接異常の検出の何れかがあった場合、ＣＰＵ３０１は、溶接動作の停止が必要と判断し（ステップＳ１１６においてＹＥＳ）、溶接制御を停止し（ステップＳ１１８）、電源装置４０に対して溶接停止（溶接電力の供給停止）を指令し（ステップＳ１１９）、補正情報生成装置１００に対して補正情報の生成停止を指令する（ステップＳ１２０）。電源装置４０は、溶接停止の指令を受信し（ステップＳ１２１）、ＣＰＵ４４が電源回路を制御して溶接を停止する（ステップＳ１２２）。これにより、ロボット制御装置３０及び電源装置４０の動作が終了する。
【0067】
次に、補正情報生成装置１００による補正情報生成処理について説明する。図９は、補正情報生成処理の手順を示すフローチャートである。上記のような自動溶接が行われている間、カメラ６０によって溶融池及びアークが撮像され、溶接画像が補正情報生成装置１００に与えられる（ステップＳ１３１）。ＣＰＵ１１１は、受信された溶接画像のサイズを１２０×１００ピクセルに縮小し、濃淡画像に変換する（ステップＳ１３２）。
【0068】
次にＣＰＵ１１１は、縮小された溶接画像を機械学習モデル１６０に入力し、機械学習モデル１６０から出力される画像特徴情報を取得する（ステップＳ１３３）。機械学習モデル１６０からは、アーク中心（ＡｒｃＸ，ＡｒｃＹ）、ワイヤ先端（ＷｉｒｅＸ，ＷｉｒｅＹ）、溶融池先端左端（Ｐｏｏｌ＿Ｌｅａｄ＿Ｌｘ，Ｐｏｏｌ＿Ｌｅａｄ＿Ｌｙ）、溶融池先端右端（Ｐｏｏｌ＿Ｌｅａｄ＿Ｒｘ，Ｐｏｏｌ＿Ｌｅａｄ＿Ｒｙ）、溶融池左端（Ｐｏｏｌ＿Ｌｘ）、及び溶融池右端（Ｐｏｏｌ＿Ｒｘ）の各画像特徴情報が出力される。
【0069】
ＣＰＵ１１１は、得られた画像特徴情報に基づいて、補正情報を生成する（ステップＳ１３４）。以下、この補正情報の生成について説明する。本実施の形態では、溶接トーチ２１の左右位置補正量ΔＸ及び上下位置補正量ΔＹ、溶接トーチ２１の速度補正量ΔＶ、並びにウィービング動作の幅（以下、「ウィービング幅」という）の設定値Ｗが算出される。
【0070】
溶接トーチ２１の左右位置補正量ΔＸは、次式（１）によって算出される。
ＰｏｏｌＣｅｎＸ＝（Ｐｏｏｌ＿Ｌｘ＋Ｐｏｏｌ＿Ｒｘ）／２
ΔＸ＝ＰｏｏｌＣｅｎＸ－Ｘ０ （１）
但し、Ｘ０は溶融池の中心の左右方向位置の基準値であり、予め設定された値である。この補正量ΔＸは、溶融池像の中心ＰｏｏｌＣｅｎＸがＸ０に一致させるように溶接トーチ２１を左右方向に移動させるためのものである。
ＰｏｏｌＣｅｎＸ＝（Ｐｏｏｌ＿Ｌｘ＋Ｐｏｏｌ＿Ｒｘ）／２
ΔＸ＝ＰｏｏｌＣｅｎＸ－Ｘ０ （１）
但し、Ｘ０は溶融池の中心の左右方向位置の基準値であり、予め設定された値である。この補正量ΔＸは、溶融池像の中心ＰｏｏｌＣｅｎＸがＸ０に一致させるように溶接トーチ２１を左右方向に移動させるためのものである。
【0071】
速度補正量ΔＶを算出する際は、まずΔＬを次式（２）によって算出する。
ＬｅａｄＹ＝（Ｐｏｏｌ＿Ｌｅａｄ＿Ｌｙ＋Ｐｏｏｌ＿Ｌｅａｄ＿Ｒｙ）／２ーＡｒｃＹ
ΔＬ＝ＬｅａｄＹ－Ｌ０ （２）
但し、Ｌ０は溶接池先端位置とアーク中心の距離であり、最も品質がよい裏波ビードを形成できる値に予め設定される。ＬｅａｄＹも溶接池先端位置とアーク中心の距離を示しており、これは溶接画像から抽出された画像特徴情報Ｐｏｏｌ＿Ｌｅａｄ＿Ｌｙ，Ｐｏｏｌ＿Ｌｅａｄ＿Ｒｙ，ＡｒｃＹから上記のようにして算出される値である。ΔＬは、ＬｅａｄＹとＬ０との差分である。ΔＬ（距離）が算出されると、変換係数βを用いて次式（３）によりΔＶ（速度）が算出される。
ΔＶ＝ΔＬ×β （３）
ＬｅａｄＹ＝（Ｐｏｏｌ＿Ｌｅａｄ＿Ｌｙ＋Ｐｏｏｌ＿Ｌｅａｄ＿Ｒｙ）／２ーＡｒｃＹ
ΔＬ＝ＬｅａｄＹ－Ｌ０ （２）
但し、Ｌ０は溶接池先端位置とアーク中心の距離であり、最も品質がよい裏波ビードを形成できる値に予め設定される。ＬｅａｄＹも溶接池先端位置とアーク中心の距離を示しており、これは溶接画像から抽出された画像特徴情報Ｐｏｏｌ＿Ｌｅａｄ＿Ｌｙ，Ｐｏｏｌ＿Ｌｅａｄ＿Ｒｙ，ＡｒｃＹから上記のようにして算出される値である。ΔＬは、ＬｅａｄＹとＬ０との差分である。ΔＬ（距離）が算出されると、変換係数βを用いて次式（３）によりΔＶ（速度）が算出される。
ΔＶ＝ΔＬ×β （３）
【0072】
溶接トーチ２１の上下位置補正量ΔＸは、次式（４）によって算出される。
ΔＹ＝ＷｉｒｅＹ－Ｙ０ （４）
但し、Ｙ０はワイヤ先端の上下方向位置の基準値であり、予め設定された値である。この補正量ΔＹは、ワイヤ先端の上下方向位置ＷｉｒｅＹをＹ０に一致させるように溶接トーチ２１を上下方向に移動させるためのものである。溶融池の前斜め上方にカメラ６０が設置されているため、溶接速度が変化すると上下方向（溶接画像中の縦方向に対応）の適正位置も変化する。そのため、溶接速度を適正に制御した後、溶接トーチ２１の上下方向の位置を補正することになる。
ΔＹ＝ＷｉｒｅＹ－Ｙ０ （４）
但し、Ｙ０はワイヤ先端の上下方向位置の基準値であり、予め設定された値である。この補正量ΔＹは、ワイヤ先端の上下方向位置ＷｉｒｅＹをＹ０に一致させるように溶接トーチ２１を上下方向に移動させるためのものである。溶融池の前斜め上方にカメラ６０が設置されているため、溶接速度が変化すると上下方向（溶接画像中の縦方向に対応）の適正位置も変化する。そのため、溶接速度を適正に制御した後、溶接トーチ２１の上下方向の位置を補正することになる。
【0073】
ウィービング幅の設定値Ｗは、次のように算出される。
ＬｅａｄＷ＝Ｐｏｏｌ＿Ｌｅａｄ＿Ｒｘ－Ｐｏｏｌ＿Ｌｅａｄ＿Ｌｘ
ＩＦ ＬｅａｄＷ ＜ Ｗ０ ＴＨＥＮ Ｗ＝０ （５）
ＩＦ ＬｅａｄＷ ≧ Ｗ０ ＴＨＥＮ Ｗ＝（ＬｅａｄＷ－α） （６）
但し、Ｗ０は開先のギャップ幅であり、ウィービングが必要となる最低限の値に予め設定される。ＬｅａｄＷもギャップ幅を示しており、これは溶接画像から抽出された画像特徴情報Ｐｏｏｌ＿Ｌｅａｄ＿Ｌｘ，Ｐｏｏｌ＿Ｌｅａｄ＿Ｒｘのそれぞれが開先の左右位置に相当することから上記のようにして算出される値である。上記の（５）より、ギャップ幅ＬｅａｄＷがＷ０未満である場合、ウィービング幅の設定値Ｗは０となり、ウィービング動作は行われない。上記の（６）より、ギャップ幅ＬｅａＷがＷ０以上である場合、ウィービング幅の設定値Ｗはギャップ幅ＬｅａｄＷよりαだけ小さい値とされる。なお、αは予め設定される値である。
ＬｅａｄＷ＝Ｐｏｏｌ＿Ｌｅａｄ＿Ｒｘ－Ｐｏｏｌ＿Ｌｅａｄ＿Ｌｘ
ＩＦ ＬｅａｄＷ ＜ Ｗ０ ＴＨＥＮ Ｗ＝０ （５）
ＩＦ ＬｅａｄＷ ≧ Ｗ０ ＴＨＥＮ Ｗ＝（ＬｅａｄＷ－α） （６）
但し、Ｗ０は開先のギャップ幅であり、ウィービングが必要となる最低限の値に予め設定される。ＬｅａｄＷもギャップ幅を示しており、これは溶接画像から抽出された画像特徴情報Ｐｏｏｌ＿Ｌｅａｄ＿Ｌｘ，Ｐｏｏｌ＿Ｌｅａｄ＿Ｒｘのそれぞれが開先の左右位置に相当することから上記のようにして算出される値である。上記の（５）より、ギャップ幅ＬｅａｄＷがＷ０未満である場合、ウィービング幅の設定値Ｗは０となり、ウィービング動作は行われない。上記の（６）より、ギャップ幅ＬｅａＷがＷ０以上である場合、ウィービング幅の設定値Ｗはギャップ幅ＬｅａｄＷよりαだけ小さい値とされる。なお、αは予め設定される値である。
【0074】
ＣＰＵ１１１は、上記のようにして生成された補正情報を、ロボット制御装置３０へ送信する（ステップＳ１３５）。次にＣＰＵ１１１は、ロボット制御装置３０から補正情報の生成の停止指令を受信したか否かを判定し（ステップＳ１３６）、受信していない場合には（ステップＳ１３６においてＮＯ）、ステップＳ１３１へ処理を戻し、補正情報の生成を繰り返す。他方、停止指令を受信した場合には（ステップＳ１３６においてＹＥＳ）、ＣＰＵ１１１は補正情報生成処理を終了する。
【0075】
上記のように構成したことにより、本実施の形態に係る自動溶接システム１０にあっては、様々な撮像条件で得られた溶接画像を教師データとして機械学習することで機械学習モデル１６０を構築できるため、画像毎に輝度のばらつきがあっても正確な画像認識が可能となる。
【0076】
（実施の形態２）
本実施の形態では、機械学習モデルにおいて、入力される溶接画像における溶融池及びアークの領域の面積を抽出し、これらを画像特徴情報として出力する。自動溶接システムは、得られた画像特徴情報を用いてアーク溶接に関する物理量の補正情報を生成し、補正情報に基づいてアーク溶接の自動制御を行う。
本実施の形態では、機械学習モデルにおいて、入力される溶接画像における溶融池及びアークの領域の面積を抽出し、これらを画像特徴情報として出力する。自動溶接システムは、得られた画像特徴情報を用いてアーク溶接に関する物理量の補正情報を生成し、補正情報に基づいてアーク溶接の自動制御を行う。
【0077】
＜自動溶接システムの構成＞
本実施の形態に係る電源装置２４０は、出力電圧の調整が可能である。本実施の形態に係る自動溶接システムのその他の構成は、実施の形態１に係る自動溶接システム１０の構成と同様であるので、同一構成要素については同一符号を付し、その説明を省略する。
本実施の形態に係る電源装置２４０は、出力電圧の調整が可能である。本実施の形態に係る自動溶接システムのその他の構成は、実施の形態１に係る自動溶接システム１０の構成と同様であるので、同一構成要素については同一符号を付し、その説明を省略する。
【0078】
＜自動溶接システムの動作＞
まず、本実施の形態に係る機械学習モデル２６０について説明する。図１０は、機械学習モデル２６０の構成を示す概念図である。本実施の形態に係る機械学習モデル２６０は、実施の形態１に係る機械学習モデル１６０と同様に、畳み込みニューラルネットワークにより構成されており、複数の畳み込み層と、複数のプーリング層と、複数の全結合層とを含んでいる。
まず、本実施の形態に係る機械学習モデル２６０について説明する。図１０は、機械学習モデル２６０の構成を示す概念図である。本実施の形態に係る機械学習モデル２６０は、実施の形態１に係る機械学習モデル１６０と同様に、畳み込みニューラルネットワークにより構成されており、複数の畳み込み層と、複数のプーリング層と、複数の全結合層とを含んでいる。
【0079】
機械学習モデル２６０は、溶接画像を入力とし、溶接画像における溶融池、アーク及び溶接ワイヤ２４の領域を分割し領域毎にラベリングしたラベル画像を画像特徴情報として出力とするモデルである。図１１は、本実施の形態に係るラベル画像を説明するための図である。溶接画像は、図１１のように溶接ワイヤ２４の領域（以下、「ワイヤ領域」という）２０１、溶融池の領域（以下、「溶融池領域」という）２０２、アークの領域（以下、「アーク領域」という）２０３、及びその他の背景領域２０４に分割できる。本実施の形態におけるラベル画像は、ワイヤ領域２０１の画素値を「１」、溶融池領域２０２の画素値を「２」、アーク領域２０３の画素値を「３」、それ以外の背景領域の画素値を「０」として画素毎にラベル付けをした画像である。
【0080】
機械学習モデル２６０の構築は、多数の教師データを使用した教師あり学習により実現される。教師データは、溶接画像と、上記のようなラベル画像とによって構成される。教師データにおけるラベル画像は、溶接画像を参照してオペレータが作成した１２０×１００ピクセルの画像である。また、教師データにおける溶接画像は、１２０×１００ピクセルにサイズが縮小された濃淡画像である。なお、機械学習モデル２６０の構築処理の手順は、実施の形態１において説明した機械学習モデル構築処理の手順（図７参照）と同様であるので、その説明を省略する。
【0081】
次に、自動溶接が行われる場合の自動溶接システム１０の動作について説明する。アーク溶接を行う場合、オペレータは、ロボット制御装置３０、電源装置２４０、及び補正情報生成装置１００のそれぞれを起動する。ロボット制御装置３０が溶接ロボット２０の動作を制御し、電源装置２４０が溶接を実行する。また、補正情報生成装置１００は、カメラ６０により得られる溶接画像を監視し、アーク溶接に関する物理量の補正情報を逐次算出する。なお、本実施の形態においては、補正情報を生成する対象の物理量を、溶接トーチ２１の上下方向位置及び溶接電圧とする。
【0082】
ロボット制御装置３０及び電源装置２４０の動作について説明する。図１２は、本実施の形態に係るロボット制御装置３０及び電源装置２４０の動作手順を示すフローチャートである。ステップＳ１１１乃至Ｓ１１７の処理については、実施の形態１で説明したものと同様であるので、その説明を省略する。
【0083】
ＣＰＵ３０１は、電源装置４０は、補正情報生成装置１００から溶接電圧の補正情報を受信し（ステップＳ２１８）、補正情報にしたがって溶接電圧を補正する（ステップＳ２１９）。電源装置４０は、溶接停止指令を受信したか否かを判定し（ステップＳ２２０）、指令を受信していない場合には（ステップＳ２２０においてＮＯ）、ステップＳ２１８へ処理を戻す。
【0084】
例えば、オペレータからの溶接停止の指示の受け付け、溶接ロボット２０に設けられたセンサによる溶接終了位置の検出、及び溶接異常の検出の何れかがあった場合、ＣＰＵ３０１は、溶接動作の停止が必要と判断し（ステップＳ１１６においてＹＥＳ）、溶接制御を停止し（ステップＳ１１８）、電源装置４０に対して溶接停止を指令し（ステップＳ１１９）、補正情報生成装置１００に対して補正情報の生成停止を指令する（ステップＳ１２０）。電源装置４０は、溶接停止の指令を受信した場合（ステップＳ２２０においてＹＥＳ）、電源回路を制御して溶接を停止する（ステップＳ１２２）。これにより、ロボット制御装置３０及び電源装置４０の動作が終了する。
【0085】
補正情報生成装置１００の動作について説明する。図１３は、本実施の形態に係る補正情報生成処理の手順を示すフローチャートである。自動溶接が行われている間、カメラ６０によって溶融池及びアークが撮像され、溶接画像が補正情報生成装置１００に与えられる（ステップＳ２３１）。ＣＰＵ１１１は、受信された溶接画像のサイズを１２０×１００ピクセルに縮小し、濃淡画像に変換する（ステップＳ２３２）。
【0086】
次にＣＰＵ１１１は、縮小された溶接画像を機械学習モデル２６０に入力し、機械学習モデル２６０から出力されるラベル画像を取得する（ステップＳ２３３）。この処理において、ＣＰＵ１１１は、機械学習モデル２６０により、溶接画像をワイヤ領域２０１、溶融池領域２０２、アーク領域２０３、及び背景領域に分割し、それぞれの領域にラベル付けを行ってラベル画像を作成し、作成されたラベル画像を画像特徴情報として出力する。
【0087】
ＣＰＵ１１１は、得られたラベル画像に基づいて、補正情報を生成する（ステップＳ２３４）。以下、この補正情報の生成について説明する。本実施の形態では、溶接トーチ２１の上下位置補正量ΔＹ及び溶接電圧の補正量ΔＶｏｌが算出される。
【0088】
溶接トーチ２１の上下位置補正量ΔＹは、次式（７）によって算出される。
ΔＹ＝ＷｉｒｅＡｒｅａ－Ｙ１ （７）
但し、ＷｉｒｅＡｒｅａはワイヤ領域２０１の面積（ワイヤ領域２０１の画素数。以下、「ワイヤ面積」という。）、Ｙ１はワイヤ面積の基準値であり、予め設定された値である。この補正量ΔＹは、ワイヤ面積ＷｉｒｅＡｒｅａをＹ１に一致させるように溶接トーチ２１を上下方向に移動させるためのものである。
ΔＹ＝ＷｉｒｅＡｒｅａ－Ｙ１ （７）
但し、ＷｉｒｅＡｒｅａはワイヤ領域２０１の面積（ワイヤ領域２０１の画素数。以下、「ワイヤ面積」という。）、Ｙ１はワイヤ面積の基準値であり、予め設定された値である。この補正量ΔＹは、ワイヤ面積ＷｉｒｅＡｒｅａをＹ１に一致させるように溶接トーチ２１を上下方向に移動させるためのものである。
【0089】
溶接電圧の補正量ΔＶｏｌは、次式（８）によって算出される。
ΔＶｏｌ＝ＰｏｏｌＡｒｅａ－Ｐ１ （８）
但し、ＰｏｏｌＡｒｅａは溶融池領域２０２の面積（以下、「溶融池面積」という）、Ｐ１は溶融池面積の基準値であり、予め設定された値である。この補正量ΔＶｏｌは、溶融池面積ＰｏｏｌＡｒｅａをＰ１に一致させるように溶接電圧を補正するためのものである。
ΔＶｏｌ＝ＰｏｏｌＡｒｅａ－Ｐ１ （８）
但し、ＰｏｏｌＡｒｅａは溶融池領域２０２の面積（以下、「溶融池面積」という）、Ｐ１は溶融池面積の基準値であり、予め設定された値である。この補正量ΔＶｏｌは、溶融池面積ＰｏｏｌＡｒｅａをＰ１に一致させるように溶接電圧を補正するためのものである。
【0090】
ＣＰＵ１１１は、上記のようにして生成された補正情報を、ロボット制御装置３０及び電源装置２４０へ送信する（ステップＳ２３５）。これにより、ロボット制御装置３０が補正情報に基づいて溶接制御を行い、電源装置４０が補正情報に基づいて溶接電圧を制御する。
【0091】
ＣＰＵ１１１は、アーク領域２０３の面積（以下、アーク面積という）と所定の正常範囲とを比較し、溶接状態が正常であるか否かを判定する（ステップＳ２３６）。正常範囲は、溶接状態が正常である場合のアーク面積の範囲であり、アーク面積が正常範囲内であれば、又は所定回数以上連続して正常範囲を外れていなければ溶接状態が正常であると判定され、アーク面積が所定回数以上連続して正常範囲を外れていれば溶接状態が異常であると判定される。溶接状態が正常であると判定された場合には（ステップＳ２３６においてＹＥＳ）、ＣＰＵ１１１は、ステップＳ２３８へ処理を移す。他方、溶接状態が異常であると判定された場合には（ステップＳ２３６においてＮＯ）、ＣＰＵ１１１は、溶接状態が異常であることを通知するための情報を表示部１３０に表示させ（ステップＳ２３７）、ステップＳ２３８へ処理を移す。これにより、オペレータは溶接状態の異常を確認し、必要があれば溶接停止の指示をロボット制御装置３０に与える。
【0092】
ＣＰＵ１１１は、ロボット制御装置３０から補正情報の生成の停止指令を受信したか否かを判定し（ステップＳ２３８）、受信していない場合には（ステップＳ２３８においてＮＯ）、ステップＳ２３１へ処理を戻し、補正情報の生成を繰り返す。他方、停止指令を受信した場合には（ステップＳ２３８においてＹＥＳ）、ＣＰＵ１１１は補正情報生成処理を終了する。
【0093】
（実施の形態３）
本実施の形態では、機械学習モデルにおいて、補正情報の生成に用いられない情報を含む画像特徴情報を出力する。自動溶接システムは、得られた画像特徴情報の一部を用いてアーク溶接に関する物理量の補正情報を生成し、補正情報に基づいてアーク溶接の自動制御を行う。
本実施の形態では、機械学習モデルにおいて、補正情報の生成に用いられない情報を含む画像特徴情報を出力する。自動溶接システムは、得られた画像特徴情報の一部を用いてアーク溶接に関する物理量の補正情報を生成し、補正情報に基づいてアーク溶接の自動制御を行う。
【0094】
＜自動溶接システムの構成＞
本実施の形態に係る自動溶接システムの構成は、実施の形態１に係る自動溶接システム１０の構成と同様であるので、同一構成要素については同一符号を付し、その説明を省略する。
本実施の形態に係る自動溶接システムの構成は、実施の形態１に係る自動溶接システム１０の構成と同様であるので、同一構成要素については同一符号を付し、その説明を省略する。
【0095】
＜自動溶接システムの動作＞
まず、本実施の形態に係る機械学習モデル３６０について説明する。図１４は、機械学習モデル３６０の構成を示す概念図である。本実施の形態に係る機械学習モデル３６０は、実施の形態１に係る機械学習モデル１６０と同様に、畳み込みニューラルネットワークにより構成されており、複数の畳み込み層と、複数のプーリング層と、複数の全結合層とを含んでいる。
まず、本実施の形態に係る機械学習モデル３６０について説明する。図１４は、機械学習モデル３６０の構成を示す概念図である。本実施の形態に係る機械学習モデル３６０は、実施の形態１に係る機械学習モデル１６０と同様に、畳み込みニューラルネットワークにより構成されており、複数の畳み込み層と、複数のプーリング層と、複数の全結合層とを含んでいる。
【0096】
機械学習モデル３６０は、溶接画像を入力とし、溶接池、アーク及び溶接ワイヤ２４の領域の位置についての画像特徴情報を出力とするモデルである。本実施の形態に係る画像特徴情報は、実施の形態１で説明した画像特徴情報に、補正情報の生成に使用されない情報を追加したものである。本実施の形態では、画像特徴情報に追加する候補の情報（以下、「追加候補情報」という）から、画像特徴情報に追加するもの（画像特徴情報に含むべき情報）を決定する。図１５は、追加候補情報を説明するための図である。ここでは、溶接画像中における溶接トーチ２１の領域の位置（以下、「トーチ位置」という）（ＴｏｒｃｈＸ，ＴｏｒｃｈＹ）及び溶融池の領域の先端中央（以下、「溶融池先端中央点」という）（Ｐｏｏｌ＿Ｌｅａｄ＿Ｃｘ，Ｐｏｏｌ＿Ｌｅａｄ＿Ｃｙ）を画像特徴情報に追加する候補とする。
【0097】
追加候補情報は、画像特徴情報の認識性能の向上を期待できる情報とする。溶接ワイヤ２４は概ね上下方向に真っ直ぐに延びるので、ワイヤ先端の左右方向位置ＷｉｒｅＸは、溶接トーチ２１の左右方向中央位置ＴｏｒｃｈＸとほぼ同じとなる。このため、ＴｏｒｃｈＸを画像特徴情報に追加することで、ＷｉｒｅＸの認識性能の向上が期待できる。
【0098】
補正情報生成装置１００は、自動溶接実行中の補正情報の生成に先立って、準備処理を実行する。図１６は、準備処理の手順を示すフローチャートである。準備処理は、追加候補情報から追加情報を決定する追加情報決定処理Ｓ３０１と、機械学習モデル３６０のネットワーク構成を分割するネットワーク構成分割処理Ｓ３０２と、機械学習モデル構築処理Ｓ３０３とを含む。
【0099】
図１７は、追加情報決定処理Ｓ３０１の手順を示すフローチャートである。まずＣＰＵ１１１が、追加候補情報から評価対象情報を選択する（ステップＳ３１１）。この処理では、上記のＴｏｒｃｈＸ，ＴｏｒｃｈＹ，Ｐｏｏｌ＿Ｌｅａｄ＿Ｃｘ，Ｐｏｏｌ＿Ｌｅａｄ＿Ｃｙの４つを全て評価対象情報としてもよいし、その一部を評価対象情報としてもよいし、４つ全てを評価対象情報としなくてもよい（つまり、「評価対象情報なし」という選択もある）。
【0100】
次にＣＰＵ１１１は、選択された評価対象情報を画像特徴情報に追加した教師データを使用して機械学習を実行し、機械学習モデル３６０を構築する（ステップＳ３１２）。ＣＰＵ１１１は、このようにして構築された機械学習モデル３６０の平均認識率を求め、平均認識性能を評価する（ステップＳ３１３）。
【0101】
ＣＰＵ１１１は、評価対象情報の全組み合わせについて平均認識性能の評価を行ったか否かを判別し（ステップＳ３１４）、評価を行っていない組み合わせが残っている場合には（ステップＳ３１４においてＮＯ）、ステップＳ３１１に処理を戻す。ステップＳ３１１では、評価対象情報として既に選択された組み合わせでは、評価対象情報が選択されない。つまり、ステップＳ３１１の処理が行われる都度、異なる組み合わせで評価対象情報が選択される。
【0102】
評価対象情報の全組み合わせについて平均認識性能の評価が行われた場合（ステップＳ３１４においてＹＥＳ）、ＣＰＵ１１１は、最も平均認識性能が高かったときの評価対象情報を追加情報として決定し（ステップＳ３１５）、追加情報決定処理を終了する。
【0103】
図１８は、ネットワーク構成分割処理Ｓ３０２の手順を示すフローチャートである。まずＣＰＵ１１１は、分割数Ｎを最大値（例えば、３）に設定する（ステップＳ３２１）。
【0104】
次にＣＰＵ１１１は、追加情報決定処理で決定された追加情報を含む画像特徴情報を分割数Ｎの組に分割し（ステップＳ３２２）、分割された画像特徴情報の組を各別に含むＮ組の教師データを作成する（ステップＳ３２３）。つまり、１組目の教師データには１つ目の画像特徴情報の組が含まれ、２組目の教師データには２つ目の画像特徴情報の組が含まれ、Ｎ組目の教師データにはＮ個目の画像特徴情報の組が含まれる。例えば、Ｎ＝３であり、１つ目の画像特徴情報の組がＡｒｃＸ，ＡｒｃＹ，ＷｉｒｅＸ，ＷｉｒｅＹ，ＴｏｒｃｈＸ，ＴｏｒｃｈＹであり、２つ目の画像特徴情報の組がＰｏｏｌ＿Ｌｅａｄ＿Ｌｘ，Ｐｏｏｌ＿Ｌｅａｄ＿Ｌｙ，Ｐｏｏｌ＿Ｌｅａｄ＿Ｒｘ，Ｐｏｏｌ＿Ｌｅａｄ＿Ｒｙ，Ｐｏｏｌ＿Ｌｅａｄ＿Ｃｘ，Ｐｏｏｌ＿Ｌｅａｄ＿Ｃｙであり、３つ目の画像特徴情報の組がＰｏｏｌ＿Ｌｘ，Ｐｏｏｌ＿Ｒｘである場合、１組目の教師データのそれぞれには画像特徴情報としてＡｒｃＸ，ＡｒｃＹ，ＷｉｒｅＸ，ＷｉｒｅＹ，ＴｏｒｃｈＸ，ＴｏｒｃｈＹが含まれ、２組目の教師データのそれぞれには画像特徴情報としてＰｏｏｌ＿Ｌｅａｄ＿Ｌｘ，Ｐｏｏｌ＿Ｌｅａｄ＿Ｌｙ，Ｐｏｏｌ＿Ｌｅａｄ＿Ｒｘ，Ｐｏｏｌ＿Ｌｅａｄ＿Ｒｙ，Ｐｏｏｌ＿Ｌｅａｄ＿Ｃｘ，Ｐｏｏｌ＿Ｌｅａｄ＿Ｃｙが含まれ、３組目の教師データのそれぞれには画像特徴情報としてＰｏｏｌ＿Ｌｘ，Ｐｏｏｌ＿Ｒｘが含まれる。なお、分割数Ｎが０の場合には、画像特徴情報を分割することなくステップＳ３２４へ処理が進められる。
【0105】
ＣＰＵ１１１は、上記のようにして作成されたＮ組の教師データによって、各別に機械学習を実行する（ステップＳ３２４）。つまり、１組目の教師データによって１つ目の機械学習モデルが構築され、２組目の教師データによって２つ目の機械学習モデルが構築され、Ｎ組目の教師データによってＮ個目の機械学習モデルが構築される。Ｎが０の場合には、全ての画像特徴情報を含む教師データによって機械学習が行われ、１つの機械学習モデルが構築される。ＣＰＵ１１１は、構築されたＮ個の機械学習モデル全体の平均認識率を求め、平均認識性能を評価する（ステップＳ３２５）。
【0106】
ＣＰＵ１１１は、画像特徴情報を全ての組み合わせで分割したか否かを判定し（ステップＳ３２６）、分割していない組み合わせが残っている場合（ステップＳ３２６においてＮＯ）、ステップＳ３２２へ処理を戻す。ステップＳ３２２では、分割数Ｎで既に分割された組み合わせでは、画像特徴情報が分割されない。つまり、ステップＳ３２２の処理が行われる都度、異なる組み合わせでＮ個に画像特徴情報が分割される。
【0107】
画像特徴情報を全ての組み合わせで分割している場合（ステップＳ３２６においてＹＥＳ）、ＣＰＵ１１１は、分割数Ｎが０であるか否かを判定し（ステップＳ３２７）、分割数Ｎが０でない場合は（ステップＳ３２７においてＮＯ）、Ｎをデクリメントし（ステップＳ３２８）、ステップＳ３２２へ処理を戻す。これにより、新たな分割数Ｎによって画像特徴情報が分割される。
【0108】
分割数Ｎが０の場合（ステップＳ３２７においてＹＥＳ）、ＣＰＵ１１１は、最も平均認識性能が高かったときの分割数Ｎ及び分割した画像特徴情報の組み合わせを、補正情報の生成に使用する分割数Ｎ及び画像特徴情報の組み合わせとして決定し（ステップＳ３２９）、ネットワーク構成分割処理を終了する。
【0109】
機械学習モデル構築処理Ｓ３０３では、上記の追加情報決定処理Ｓ３０１及びネットワーク構成分割処理Ｓ３０２によって決定された追加情報、分割数Ｎ、及び分割した画像特徴情報の組み合わせを用いて、機械学習を行う。図１９は、機械学習モデル構築処理Ｓ３０３の手順を示すフローチャートである。まず、ＣＰＵ１１１は、追加情報決定処理で決定された追加情報を含む画像特徴情報を分割数Ｎの組に分割し（ステップＳ３３１）、分割された画像特徴情報の組を各別に含むＮ組の教師データを作成する（ステップＳ３３２）。
【0110】
ＣＰＵ１１１は、上記のようにして作成されたＮ個の教師データによって、各別に機械学習を実行する（ステップＳ３３３）。ＣＰＵ１１１は、所定の終了条件（例えば、直近所定個の教師データにおける誤差平均が所定値未満であるか等）を満足したか否かを判定し（ステップＳ３３４）、終了条件を満たしていなければ（ステップＳ３３４においてＮＯ）、ステップＳ３３３へ処理を戻して機械学習処理を繰り返し、終了条件を満たしていれば（ステップＳ３３４においてＹＥＳ）、機械学習モデル構築処理Ｓ３０３を終了する。以上で準備処理が完了する。
【0111】
次に、自動溶接が行われる場合の自動溶接システム１０の動作について説明する。ロボット制御装置３０及び電源装置４０の動作については、実施の形態１で説明したものと同様であるので、その説明を省略する。
【0112】
補正情報生成装置１００の動作について説明する。図２０は、本実施の形態に係る補正情報生成処理の手順を示すフローチャートである。自動溶接が行われている間、カメラ６０によって溶融池及びアークが撮像され、溶接画像が補正情報生成装置１００に与えられる（ステップＳ３４１）。ＣＰＵ１１１は、受信された溶接画像のサイズを１２０×１００ピクセルに縮小し、濃淡画像に変換する（ステップＳ３４２）。
【0113】
次にＣＰＵ１１１は、縮小された溶接画像をＮ個の機械学習モデル３６０のそれぞれに入力し、各機械学習モデル３６０から出力される画像特徴情報を取得する（ステップＳ３４３）。ここで得られる画像特徴情報には、補正情報の生成に使用されない情報（トーチ位置及び溶融池先端中央点）が含まれる。
【0114】
ステップＳ１３４乃至Ｓ１３６の処理については、実施の形態１において説明したものと同様であるので、その説明を省略する。
【0115】
（実施の形態４）
本実施の形態では、自動溶接システムが、溶融池及びアークをカメラで連続撮像し、カメラから得られた複数の溶接画像をまとめて機械学習モデルに入力し、当該機械学習モデルから出力される画像特徴情報を取得する。
本実施の形態では、自動溶接システムが、溶融池及びアークをカメラで連続撮像し、カメラから得られた複数の溶接画像をまとめて機械学習モデルに入力し、当該機械学習モデルから出力される画像特徴情報を取得する。
【0116】
＜自動溶接システムの構成＞
本実施の形態に係る自動溶接システムの構成は、実施の形態１に係る自動溶接システム１０の構成と同様であるので、同一構成要素については同一符号を付し、その説明を省略する。
本実施の形態に係る自動溶接システムの構成は、実施の形態１に係る自動溶接システム１０の構成と同様であるので、同一構成要素については同一符号を付し、その説明を省略する。
【0117】
＜自動溶接システムの動作＞
まず、本実施の形態に係る機械学習モデル４６０について説明する。図２１は、機械学習モデル４６０の構成を示す概念図である。本実施の形態に係る機械学習モデル４６０は、実施の形態１に係る機械学習モデル１６０と同様に、畳み込みニューラルネットワークにより構成されており、複数の畳み込み層と、複数のプーリング層と、複数の全結合層とを含んでいる。
まず、本実施の形態に係る機械学習モデル４６０について説明する。図２１は、機械学習モデル４６０の構成を示す概念図である。本実施の形態に係る機械学習モデル４６０は、実施の形態１に係る機械学習モデル１６０と同様に、畳み込みニューラルネットワークにより構成されており、複数の畳み込み層と、複数のプーリング層と、複数の全結合層とを含んでいる。
【0118】
機械学習モデル４６０は、複数の溶接画像を入力とし、溶接池、アーク及び溶接ワイヤ２４の領域の位置についての画像特徴情報を出力とするモデルである。本実施の形態に係る画像特徴情報は、実施の形態１で説明したものと同じであるので、その説明を省略する。
【0119】
溶接条件によって溶接中にアークの輝度が大きく変動することがある。アーク光の輝度が高すぎると、溶融池の先端がアーク光で隠されてしまうことがある。このような溶接画像からは正確に画像特徴情報を抽出することができない。しかし、時系列の複数の溶接画像を用いれば、この問題を解消できる。図２２は、時系列の溶接画像を示す模式図である。時系列の溶接画像においては、アーク光の輝度が突発的に高くなっても一部の画像（図２２では時刻Ｔ２の画像）がその影響を受けるだけであり、他の溶接画像（図２２では時刻Ｔ１及びＴ３の画像）では溶融池の先端などの画像特徴情報の抽出に必要な部分がアーク光で隠されず、画像特徴情報を抽出できることがある。そのため、本実施の形態では、時系列の複数の溶接画像を１組の入力として機械学習モデル４６０に与える。
【0120】
機械学習モデル４６０の構築は、多数の教師データを使用した教師あり学習により実現される。教師データは、複数の溶接画像と、画像特徴情報とによって構成される。教師データにおける画像特徴情報は、溶接画像を参照してオペレータが作成する。また、教師データにおける溶接画像は、カメラ６０によって撮像された時系列画像であり、それぞれが１２０×１００ピクセルに縮小された濃淡画像である。なお、機械学習モデル４６０の構築処理の手順は、実施の形態１において説明した機械学習モデル構築処理の手順（図７参照）と同様であるので、その説明を省略する。
【0121】
次に、自動溶接が行われる場合の自動溶接システム１０の動作について説明する。ロボット制御装置３０及び電源装置４０の動作については、実施の形態１で説明したものと同様であるので、その説明を省略する。
【0122】
本実施の形態に係る補正情報生成処理について説明する。図２３は、補正情報生成処理の手順を示すフローチャートである。自動溶接が行われている間、カメラ６０によって溶融池及びアークが連続撮像され、複数の溶接画像が連続して補正情報生成装置１００に与えられる（ステップＳ４３１）。ＣＰＵ１１１は、受信された溶接画像のサイズを１２０×１００ピクセルに縮小し、濃淡画像に変換する（ステップＳ４３２）。
【0123】
次にＣＰＵ１１１は、複数（例えば、３つ）の縮小された溶接画像を機械学習モデル４６０に入力し、機械学習モデル４６０から出力される画像特徴情報を取得する（ステップＳ４３３）。これにより、アーク光の輝度が大きく変動した場合でも、正確に画像特徴情報を取得することができる。ステップＳ１３４乃至Ｓ１３６の処理については、実施の形態１において説明したものと同様であるので、その説明を省略する。
【0124】
（実施の形態５）
本実施の形態では、自動溶接システムが、溶融池及びアークをカメラで撮像し、カメラから得られた画像を、教師あり学習にて構築された機械学習モデルに入力し、当該機械学習モデルから出力される補正情報を取得し、補正情報に基づいてアーク溶接の自動制御を行う。
本実施の形態では、自動溶接システムが、溶融池及びアークをカメラで撮像し、カメラから得られた画像を、教師あり学習にて構築された機械学習モデルに入力し、当該機械学習モデルから出力される補正情報を取得し、補正情報に基づいてアーク溶接の自動制御を行う。
【0125】
本実施の形態に係る自動溶接システムの構成は、実施の形態１に係る自動溶接システム１０の構成と同様であるので、同一構成要素については同一符号を付し、その説明を省略する。
【0126】
＜自動溶接システムの動作＞
まず、本実施の形態に係る機械学習モデル５６０について説明する。図２４は、機械学習モデル５６０の構成を示す概念図である。本実施の形態に係る機械学習モデル５６０は、実施の形態１に係る機械学習モデル１６０と同様に、畳み込みニューラルネットワークにより構成されており、複数の畳み込み層と、複数のプーリング層と、複数の全結合層とを含んでいる。
まず、本実施の形態に係る機械学習モデル５６０について説明する。図２４は、機械学習モデル５６０の構成を示す概念図である。本実施の形態に係る機械学習モデル５６０は、実施の形態１に係る機械学習モデル１６０と同様に、畳み込みニューラルネットワークにより構成されており、複数の畳み込み層と、複数のプーリング層と、複数の全結合層とを含んでいる。
【0127】
機械学習モデル５６０は、溶接画像を入力とし、補正情報を出力とするモデルである。補正情報は、実施の形態１と同様に、溶接トーチ２１の左右位置補正量ΔＸ及び上下位置補正量ΔＹ、溶接トーチ２１の速度補正量ΔＶ、並びにウィービング幅の設定値Ｗである。つまり、本実施の形態においては、機械学習モデル５６０によって画像特徴情報を取得するのではなく、補正情報を直接取得する。
【0128】
機械学習モデル５６０の構築は、多数の教師データを使用した教師あり学習により実現される。教師データは、溶接画像と、補正情報とによって構成される。教師データにおける補正情報は、溶接画像とその時点における溶接状態を考慮してオペレータが作成する。また、教師データにおける溶接画像は、１２０×１００ピクセルにサイズが縮小された濃淡画像である。なお、機械学習モデル５６０の構築処理の手順は、実施の形態１において説明した機械学習モデル構築処理の手順（図７参照）と同様であるので、その説明を省略する。
【0129】
次に、自動溶接が行われる場合の自動溶接システム１０の動作について説明する。ロボット制御装置３０及び電源装置４０の動作については、実施の形態１で説明したものと同様であるので、その説明を省略する。
【0130】
次に、補正情報生成処理について説明する。図２５は、本実施の形態に係る補正情報生成処理の手順を示すフローチャートである。自動溶接が行われている間、カメラ６０によって溶融池及びアークが撮像され、溶接画像が補正情報生成装置１００に与えられる（ステップＳ５３１）。ＣＰＵ１１１は、受信された溶接画像のサイズを１２０×１００ピクセルに縮小し、濃淡画像に変換する（ステップＳ５３２）。
【0131】
次にＣＰＵ１１１は、縮小された溶接画像を機械学習モデル５６０に入力し、機械学習モデル５６０から出力される補正情報を取得する（ステップＳ５３３）。機械学習モデル５６０からは、溶接トーチ２１の左右位置補正量ΔＸ及び上下位置補正量ΔＹ、溶接トーチ２１の速度補正量ΔＶ、並びにウィービング幅の設定値Ｗの各補正情報が出力される。ステップＳ１３５乃至Ｓ１３６の処理については、実施の形態１において説明したものと同様であるので、その説明を省略する。
【0132】
溶接動作を自動化するためには、画像認識及び制御技術の専門家が、溶接の制御に適した画像特徴情報を選定したり、制御系を設計したりする必要があった。しかし、本実施の形態に係る自動溶接システム１０にあっては、機械学習モデル５６０によって溶接画像から直接補正情報を得ることができるため、画像認識及び制御技術についての知識に乏しいユーザであっても、溶接動作の自動化のためのシステムを設計することができる。
【0133】
（実施の形態６）
本実施の形態では、機械学習モデルにおいて、画像特徴情報に加えて、アーク溶接の状態の正常度合いを示す溶接正常度を出力する。自動溶接システムは、得られた画像特徴情報及び溶接正常度を用いてアーク溶接に関する物理量の補正情報を生成し、補正情報に基づいてアーク溶接の自動制御を行う。
本実施の形態では、機械学習モデルにおいて、画像特徴情報に加えて、アーク溶接の状態の正常度合いを示す溶接正常度を出力する。自動溶接システムは、得られた画像特徴情報及び溶接正常度を用いてアーク溶接に関する物理量の補正情報を生成し、補正情報に基づいてアーク溶接の自動制御を行う。
【0134】
＜自動溶接システムの構成＞
本実施の形態に係る自動溶接システムの構成は、実施の形態１に係る自動溶接システム１０の構成と同様であるので、同一構成要素については同一符号を付し、その説明を省略する。
本実施の形態に係る自動溶接システムの構成は、実施の形態１に係る自動溶接システム１０の構成と同様であるので、同一構成要素については同一符号を付し、その説明を省略する。
【0135】
＜自動溶接システムの動作＞
まず、本実施の形態に係る機械学習モデル６６０について説明する。図２６は、機械学習モデル６６０の構成を示す概念図である。本実施の形態に係る機械学習モデル６６０は、実施の形態１に係る機械学習モデル１６０と同様に、畳み込みニューラルネットワークにより構成されており、複数の畳み込み層と、複数のプーリング層と、複数の全結合層とを含んでいる。但し、最終段の全結合層が２つに分岐しており、これによってマルチタスク学習が可能になっている点が、実施の形態１の場合とは異なっている。
まず、本実施の形態に係る機械学習モデル６６０について説明する。図２６は、機械学習モデル６６０の構成を示す概念図である。本実施の形態に係る機械学習モデル６６０は、実施の形態１に係る機械学習モデル１６０と同様に、畳み込みニューラルネットワークにより構成されており、複数の畳み込み層と、複数のプーリング層と、複数の全結合層とを含んでいる。但し、最終段の全結合層が２つに分岐しており、これによってマルチタスク学習が可能になっている点が、実施の形態１の場合とは異なっている。
【0136】
機械学習モデル６６０は、溶接画像を入力とし、画像特徴情報及び溶接正常度を出力とするモデルである。ここで、画像特徴情報の出力及び溶接正常度の出力は別々のタスクとして処理される。画像特徴情報については実施の形態１の場合と同様であるため説明を省略する。本実施の形態において、溶接正常度は、アーク溶接が正常であるか否かを示すフラグである。
【0137】
機械学習モデル６６０の構築は、多数の教師データを使用した教師あり学習により実現される。教師データは、溶接画像と、画像特徴情報及び溶接正常度とによって構成され、教師データにおける画像特徴情報及び溶接正常度は、溶接画像を参照してオペレータが作成する。機械学習モデル６６０の構築処理の手順は、実施の形態１において説明した機械学習モデル構築処理の手順（図７参照）と同様である。但し、本実施の形態の場合、ステップＳ１０２の機械学習処理において、各タスクに設定された優先度を用いる。具体的には、次のようにして機械学習処理が実行される。
【0138】
まず、画像特徴情報の出力タスクにおける出力結果と教師データとの誤差、及び溶接正常度の出力タスクにおける出力結果と教師データとの誤差のそれぞれに対して重みを付与することにより、各タスクに対して優先度を設定する。そして、全タスクの誤差を次式（９）によって算出する。
全タスクの誤差＝α１×（特徴点出力タスクの誤差）＋α２×（溶接正常度出力タスクの誤差） （９）
但し、α１及びα２は各タスクの誤差に対して付与された重みである。このようにして算出された全タスクの誤差を用いて機械学習処理が実行される。適切な重みを設定することにより、高精度な機械学習モデルを構築することができる。
全タスクの誤差＝α１×（特徴点出力タスクの誤差）＋α２×（溶接正常度出力タスクの誤差） （９）
但し、α１及びα２は各タスクの誤差に対して付与された重みである。このようにして算出された全タスクの誤差を用いて機械学習処理が実行される。適切な重みを設定することにより、高精度な機械学習モデルを構築することができる。
【0139】
次に、自動溶接が行われる場合の自動溶接システム１０の動作について説明する。ロボット制御装置３０及び電源装置４０の動作については、実施の形態１で説明したものと同様であるので、その説明を省略する。
【0140】
補正情報生成装置１００の動作について説明する。図２７は、補正情報生成処理の手順を示すフローチャートである。自動溶接が行われている間、実施の形態１の場合と同様に、溶接画像が補正情報生成装置１００に与えられ（ステップＳ１３１）、ＣＰＵ１１１は、その溶接画像のサイズを１２０×１００ピクセルに縮小し、濃淡画像に変換する（ステップＳ１３２）。
【0141】
次に、ＣＰＵ１１１は、縮小された溶接画像を機械学習モデル６６０に入力し、機械学習モデル６６０から出力される画像特徴情報及び溶接正常度を取得する（ステップＳ６３３）。
【0142】
ＣＰＵ１１１は、得られた画像特徴情報及び溶接正常度に基づいて、補正情報を生成する（Ｓ６３４）。画像特徴情報に基づく補正情報の生成については実施の形態１の場合と同様であるので、その説明を省略する。溶接正常度については、例えば溶接状態が正常ではないことを示す値であった場合、溶接トーチ２１の移動速度が所定量低下するように当該移動速度の補正量を算出する。このようにして算出された補正量を用いて溶接トーチ２１の移動速度が制御されることにより、正常状態への復帰を促すことができる。
【0143】
ステップＳ１３５及びＳ１３６の処理については、実施の形態１において説明したものと同様であるので、その説明を省略する。
【0144】
上記のように、溶接正常度を用いることにより、自動溶接の制御に用いる溶接画像を選別することができるため、安定した制御を実現することができる。また、一つの畳み込みニューラルネットワークにおいて複数のタスクを処理することにより、高速且つ同期のとれた制御を行うことが可能になる。
【0145】
（実施の形態７）
本実施の形態では、実施の形態２の場合と同様に、入力される溶接画像における溶融池及びアークの領域の面積を抽出し、これらを画像特徴情報として出力するとともに、アーク溶接の状態の正常度合いを示す溶接正常度を出力する。自動溶接システムは、得られた画像特徴情報及び溶接正常度を用いてアーク溶接に関する物理量の補正情報を生成し、補正情報に基づいてアーク溶接の自動制御を行う。
本実施の形態では、実施の形態２の場合と同様に、入力される溶接画像における溶融池及びアークの領域の面積を抽出し、これらを画像特徴情報として出力するとともに、アーク溶接の状態の正常度合いを示す溶接正常度を出力する。自動溶接システムは、得られた画像特徴情報及び溶接正常度を用いてアーク溶接に関する物理量の補正情報を生成し、補正情報に基づいてアーク溶接の自動制御を行う。
【0146】
＜自動溶接システムの構成＞
本実施の形態に係る自動溶接システムの構成は、実施の形態２に係る自動溶接システム１０の構成と同様であるので、同一構成要素については同一符号を付し、その説明を省略する。
本実施の形態に係る自動溶接システムの構成は、実施の形態２に係る自動溶接システム１０の構成と同様であるので、同一構成要素については同一符号を付し、その説明を省略する。
【0147】
＜自動溶接システムの動作＞
まず、本実施の形態に係る機械学習モデル７６０について説明する。図２８は、機械学習モデル７６０の構成を示す概念図である。本実施の形態に係る機械学習モデル７６０は、実施の形態２に係る機械学習モデル２６０と同様に、畳み込みニューラルネットワークにより構成されており、複数の畳み込み層と、複数のプーリング層と、複数の全結合層とを含んでいる。但し、最終段の全結合層が２つに分岐しており、これによってマルチタスク学習が可能になっている点が、実施の形態２の場合とは異なっている。
まず、本実施の形態に係る機械学習モデル７６０について説明する。図２８は、機械学習モデル７６０の構成を示す概念図である。本実施の形態に係る機械学習モデル７６０は、実施の形態２に係る機械学習モデル２６０と同様に、畳み込みニューラルネットワークにより構成されており、複数の畳み込み層と、複数のプーリング層と、複数の全結合層とを含んでいる。但し、最終段の全結合層が２つに分岐しており、これによってマルチタスク学習が可能になっている点が、実施の形態２の場合とは異なっている。
【0148】
機械学習モデル７６０は、溶接画像を入力とし、溶接画像における溶融池、アーク及び溶接ワイヤ２４の領域を分割し領域毎にラベリングしたラベル画像を画像特徴情報として出力するとともに、溶接正常度を出力する。ラベル画像については、実施の形態２の場合と同様であるので、その説明を省略する。
【0149】
機械学習モデル７６０の構築は、溶接画像及び上記のラベル画像に加えて、溶接画像を参照してオペレータが作成した溶接正常度を含む教師データを用いる他は、実施の形態２及び６の場合と同様であるので、その説明を省略する。
【0150】
次に、自動溶接が行われる場合の自動溶接システム１０の動作について説明する。ロボット制御装置３０及び電源装置４０の動作については、実施の形態２で説明したものと同様であるので、その説明を省略する。
【0151】
補正情報生成装置１００の動作について説明する。図２９は、補正情報生成処理の手順を示すフローチャートである。自動溶接が行われている間、実施の形態２の場合と同様に、溶接画像が補正情報生成装置１００に与えられ（ステップＳ２３１）、ＣＰＵ１１１は、その溶接画像のサイズを１２０×１００ピクセルに縮小し、濃淡画像に変換する（ステップＳ２３２）。
【0152】
次に、ＣＰＵ１１１は、縮小された溶接画像を機械学習モデル６６０に入力し、機械学習モデル７６０から出力されるラベル画像及び溶接正常度を取得する（ステップＳ７３３）。
【0153】
ＣＰＵ１１１は、得られたラベル画像及び溶接正常度に基づいて、補正情報を生成する（Ｓ７３４）。ラベル画像に基づく補正情報の生成については実施の形態２の場合と同様であり、溶接正常度に基づく補正情報の生成については実施の形態６の場合と同様であるので、それぞれの説明を省略する。また、ステップＳ１３５及びＳ１３６の処理については、実施の形態１において説明したものと同様であるので、その説明を省略する。
【0154】
（実施の形態８）
本実施の形態では、実施の形態３の場合と同様に、機械学習モデルにおいて、補正情報の生成に用いられない情報を含む画像特徴情報を出力するとともに、アーク溶接の状態の正常度合いを示す溶接正常度を出力する。自動溶接システムは、得られた画像特徴情報の一部及び溶接正常度を用いてアーク溶接に関する物理量の補正情報を生成し、補正情報に基づいてアーク溶接の自動制御を行う。
本実施の形態では、実施の形態３の場合と同様に、機械学習モデルにおいて、補正情報の生成に用いられない情報を含む画像特徴情報を出力するとともに、アーク溶接の状態の正常度合いを示す溶接正常度を出力する。自動溶接システムは、得られた画像特徴情報の一部及び溶接正常度を用いてアーク溶接に関する物理量の補正情報を生成し、補正情報に基づいてアーク溶接の自動制御を行う。
【0155】
＜自動溶接システムの構成＞
本実施の形態に係る自動溶接システムの構成は、実施の形態３に係る自動溶接システム１０の構成と同様であるので、同一構成要素については同一符号を付し、その説明を省略する。
本実施の形態に係る自動溶接システムの構成は、実施の形態３に係る自動溶接システム１０の構成と同様であるので、同一構成要素については同一符号を付し、その説明を省略する。
【0156】
＜自動溶接システムの動作＞
まず、本実施の形態に係る機械学習モデル８６０について説明する。図３０は、機械学習モデル８６０の構成を示す概念図である。本実施の形態に係る機械学習モデル８６０は、実施の形態３に係る機械学習モデル３６０と同様に、畳み込みニューラルネットワークにより構成されており、複数の畳み込み層と、複数のプーリング層と、複数の全結合層とを含んでいる。但し、最終段の全結合層が２つに分岐しており、これによってマルチタスク学習が可能になっている点が、実施の形態３の場合とは異なっている。
まず、本実施の形態に係る機械学習モデル８６０について説明する。図３０は、機械学習モデル８６０の構成を示す概念図である。本実施の形態に係る機械学習モデル８６０は、実施の形態３に係る機械学習モデル３６０と同様に、畳み込みニューラルネットワークにより構成されており、複数の畳み込み層と、複数のプーリング層と、複数の全結合層とを含んでいる。但し、最終段の全結合層が２つに分岐しており、これによってマルチタスク学習が可能になっている点が、実施の形態３の場合とは異なっている。
【0157】
機械学習モデル８６０は、溶接画像を入力とし、溶接画像における溶融池、アーク及び溶接ワイヤ２４の領域の位置についての画像特徴情報及び溶接正常度を出力とするモデルである。本実施の形態に係る画像特徴情報は、実施の形態３の場合と同様であるので、その説明を省略する。
【0158】
機械学習モデル８６０の構築は、溶接画像及び画像特徴情報に加えて、溶接画像を参照してオペレータが作成した溶接正常度を含む教師データを用いる他は、実施の形態３及び６の場合と同様であるので、その説明を省略する。
【0159】
次に、自動溶接が行われる場合の自動溶接システム１０の動作について説明する。ロボット制御装置３０及び電源装置４０の動作については、実施の形態３で説明したものと同様であるので、その説明を省略する。
【0160】
補正情報生成装置１００の動作について説明する。図３１は、補正情報生成処理の手順を示すフローチャートである。自動溶接が行われている間、実施の形態３の場合と同様に、溶接画像が補正情報生成装置１００に与えられ（ステップＳ３４１）、ＣＰＵ１１１は、その溶接画像のサイズを１２０×１００ピクセルに縮小し、濃淡画像に変換する（ステップＳ３４２）。
【0161】
次に、ＣＰＵ１１１は、縮小された溶接画像をＮ個の機械学習モデル８６０のそれぞれに入力し、各機械学習モデル８６０から出力される画像特徴情報及び溶接正常度を取得する（ステップＳ８４３）。
【0162】
ＣＰＵ１１１は、得られた画像特徴情報及び溶接正常度に基づいて、補正情報を生成する（Ｓ８３４）。画像特徴情報に基づく補正情報の生成については実施の形態３の場合と同様であり、溶接正常度に基づく補正情報の生成については実施の形態６の場合と同様であるので、それぞれの説明を省略する。また、ステップＳ１３５及びＳ１３６の処理については、実施の形態１において説明したものと同様であるので、その説明を省略する。
【0163】
（実施の形態９）
本実施の形態では、実施の形態４の場合と同様に、カメラから得られた複数の溶接画像をまとめて機械学習モデルに入力し、当該機械学習モデルから出力される画像特徴情報及びアーク溶接の状態の正常度合いを示す溶接正常度を取得し、それらの画像特徴情報及び溶接正常度から算出された補正情報に基づいてアーク溶接の自動制御を行う。
本実施の形態では、実施の形態４の場合と同様に、カメラから得られた複数の溶接画像をまとめて機械学習モデルに入力し、当該機械学習モデルから出力される画像特徴情報及びアーク溶接の状態の正常度合いを示す溶接正常度を取得し、それらの画像特徴情報及び溶接正常度から算出された補正情報に基づいてアーク溶接の自動制御を行う。
【0164】
＜自動溶接システムの構成＞
本実施の形態に係る自動溶接システムの構成は、実施の形態４に係る自動溶接システム１０の構成と同様であるので、同一構成要素については同一符号を付し、その説明を省略する。
本実施の形態に係る自動溶接システムの構成は、実施の形態４に係る自動溶接システム１０の構成と同様であるので、同一構成要素については同一符号を付し、その説明を省略する。
【0165】
＜自動溶接システムの動作＞
まず、本実施の形態に係る機械学習モデル９６０について説明する。図３２は、機械学習モデル９６０の構成を示す概念図である。本実施の形態に係る機械学習モデル９６０は、実施の形態４に係る機械学習モデル４６０と同様に、畳み込みニューラルネットワークにより構成されており、複数の畳み込み層と、複数のプーリング層と、複数の全結合層とを含んでいる。但し、最終段の全結合層が２つに分岐しており、これによってマルチタスク学習が可能になっている点が、実施の形態９の場合とは異なっている。
まず、本実施の形態に係る機械学習モデル９６０について説明する。図３２は、機械学習モデル９６０の構成を示す概念図である。本実施の形態に係る機械学習モデル９６０は、実施の形態４に係る機械学習モデル４６０と同様に、畳み込みニューラルネットワークにより構成されており、複数の畳み込み層と、複数のプーリング層と、複数の全結合層とを含んでいる。但し、最終段の全結合層が２つに分岐しており、これによってマルチタスク学習が可能になっている点が、実施の形態９の場合とは異なっている。
【0166】
機械学習モデル９６０は、複数の溶接画像を入力とし、溶接画像における溶融池、アーク及び溶接ワイヤ２４の領域の位置についての画像特徴情報及び溶接正常度を出力とするモデルである。本実施の形態に係る画像特徴情報は、実施の形態４の場合と同様であるので、その説明を省略する。
【0167】
機械学習モデル９６０の構築は、複数の溶接画像及び画像特徴情報に加えて、溶接画像を参照してオペレータが作成した溶接正常度を含む教師データを用いる他は、実施の形態４及び６の場合と同様であるので、その説明を省略する。
【0168】
次に、自動溶接が行われる場合の自動溶接システム１０の動作について説明する。ロボット制御装置３０及び電源装置４０の動作については、実施の形態４で説明したものと同様であるので、その説明を省略する。
【0169】
補正情報生成装置１００の動作について説明する。図３３は、補正情報生成処理の手順を示すフローチャートである。自動溶接が行われている間、実施の形態４の場合と同様に、溶接画像が補正情報生成装置１００に与えられ（ステップＳ４３１）、ＣＰＵ１１１は、その溶接画像のサイズを１２０×１００ピクセルに縮小し、濃淡画像に変換する（ステップＳ４３２）。
【0170】
次に、ＣＰＵ１１１は、複数（例えば、３つ）の縮小された溶接画像を機械学習モデル９６０に入力し、機械学習モデル９６０から出力される画像特徴情報及び溶接正常度を取得する（ステップＳ９３３）。
【0171】
ＣＰＵ１１１は、得られた画像特徴情報及び溶接正常度に基づいて、補正情報を生成する（Ｓ９３４）。画像特徴情報に基づく補正情報の生成については実施の形態４の場合と同様であり、溶接正常度に基づく補正情報の生成については実施の形態６の場合と同様であるので、それぞれの説明を省略する。また、ステップＳ１３５及びＳ１３６の処理については、実施の形態１において説明したものと同様であるので、その説明を省略する。
【0172】
（実施の形態１０）
本実施の形態では、実施の形態５の場合と同様に、機械学習モデルにおいて、補正情報を出力するとともに、アーク溶接の状態の正常度合いを示す溶接正常度を出力する。自動溶接システムは、得られた補正情報及び溶接正常度を用いてアーク溶接に関する物理量の補正情報を生成し、補正情報に基づいてアーク溶接の自動制御を行う。
本実施の形態では、実施の形態５の場合と同様に、機械学習モデルにおいて、補正情報を出力するとともに、アーク溶接の状態の正常度合いを示す溶接正常度を出力する。自動溶接システムは、得られた補正情報及び溶接正常度を用いてアーク溶接に関する物理量の補正情報を生成し、補正情報に基づいてアーク溶接の自動制御を行う。
【0173】
＜自動溶接システムの構成＞
本実施の形態に係る自動溶接システムの構成は、実施の形態５に係る自動溶接システム１０の構成と同様であるので、同一構成要素については同一符号を付し、その説明を省略する。
本実施の形態に係る自動溶接システムの構成は、実施の形態５に係る自動溶接システム１０の構成と同様であるので、同一構成要素については同一符号を付し、その説明を省略する。
【0174】
＜自動溶接システムの動作＞
まず、本実施の形態に係る機械学習モデル１０６０について説明する。図３４は、機械学習モデル１０６０の構成を示す概念図である。本実施の形態に係る機械学習モデル１０６０は、実施の形態５に係る機械学習モデル５６０と同様に、畳み込みニューラルネットワークにより構成されており、複数の畳み込み層と、複数のプーリング層と、複数の全結合層とを含んでいる。但し、最終段の全結合層が２つに分岐しており、これによってマルチタスク学習が可能になっている点が、実施の形態５の場合とは異なっている。
まず、本実施の形態に係る機械学習モデル１０６０について説明する。図３４は、機械学習モデル１０６０の構成を示す概念図である。本実施の形態に係る機械学習モデル１０６０は、実施の形態５に係る機械学習モデル５６０と同様に、畳み込みニューラルネットワークにより構成されており、複数の畳み込み層と、複数のプーリング層と、複数の全結合層とを含んでいる。但し、最終段の全結合層が２つに分岐しており、これによってマルチタスク学習が可能になっている点が、実施の形態５の場合とは異なっている。
【0175】
機械学習モデル１０６０は、溶接画像を入力とし、補正情報及び溶接正常度を出力とするモデルである。本実施の形態に係る補正情報は、実施の形態５の場合と同様であるので、その説明を省略する。
【0176】
機械学習モデル１０６０の構築は、溶接画像及び補正情報に加えて、溶接画像を参照してオペレータが作成した溶接正常度を含む教師データを用いる他は、実施の形態５及び６の場合と同様であるので、その説明を省略する。
【0177】
次に、自動溶接が行われる場合の自動溶接システム１０の動作について説明する。ロボット制御装置３０及び電源装置４０の動作については、実施の形態５で説明したものと同様であるので、その説明を省略する。
【0178】
補正情報生成装置１００の動作について説明する。図３５は、補正情報生成処理の手順を示すフローチャートである。自動溶接が行われている間、実施の形態５の場合と同様に、溶接画像が補正情報生成装置１００に与えられ（ステップＳ５３１）、ＣＰＵ１１１は、その溶接画像のサイズを１２０×１００ピクセルに縮小し、濃淡画像に変換する（ステップＳ５３２）。
【0179】
次に、ＣＰＵ１１１は、縮小された溶接画像を機械学習モデル１０６０に入力し、機械学習モデル１０６０から出力される補正情報及び溶接正常度を取得する（ステップＳ１０３３）。
【0180】
ＣＰＵ１１１は、得られた補正情報及び溶接正常度に基づいて、ロボット制御装置３０に送信するための補正情報を生成する（Ｓ１０３４）。具体的には、ステップＳ１０３３にて取得した補正情報と、溶接正常度に基づいて生成された補正情報とを合わせることにより、ロボット制御装置３０に送信するための補正情報を生成する。なお、溶接正常度に基づく補正情報の生成については実施の形態６の場合と同様であるので、その説明を省略する。また、ステップＳ１３５及びＳ１３６の処理については、実施の形態１において説明したものと同様であるので、その説明を省略する。
【0181】
（その他の実施の形態）
上述した実施の形態１乃至１０においては、機械学習モデルを、複数の畳み込み層と、複数のプーリング層と、複数の全結合層とを含む畳み込みニューラルネットワークとしたが、これに限定されるものではない。これ以外の構成のニューラルネットワークであってもよい。但し、画像認識精度の観点からは、少なくとも１つずつ、畳み込み層及びプーリング層を含む畳み込みニューラルネットワークであることが好ましい。また、サポートベクタマシン、決定木等のニューラルネットワーク以外の機械学習モデルを用いることもできる。
上述した実施の形態１乃至１０においては、機械学習モデルを、複数の畳み込み層と、複数のプーリング層と、複数の全結合層とを含む畳み込みニューラルネットワークとしたが、これに限定されるものではない。これ以外の構成のニューラルネットワークであってもよい。但し、画像認識精度の観点からは、少なくとも１つずつ、畳み込み層及びプーリング層を含む畳み込みニューラルネットワークであることが好ましい。また、サポートベクタマシン、決定木等のニューラルネットワーク以外の機械学習モデルを用いることもできる。
【0182】
また、上述した実施の形態１、３、４、６、８及び９においては、画像特徴情報が、アーク中心（ＡｒｃＸ，ＡｒｃＹ）、ワイヤ先端（ＷｉｒｅＸ，ＷｉｒｅＹ）、溶融池先端左端（Ｐｏｏｌ＿Ｌｅａｄ＿Ｌｘ，Ｐｏｏｌ＿Ｌｅａｄ＿Ｌｙ）、溶融池先端右端（Ｐｏｏｌ＿Ｌｅａｄ＿Ｒｘ，Ｐｏｏｌ＿Ｌｅａｄ＿Ｒｙ）、溶融池左端（Ｐｏｏｌ＿Ｌｘ）、及び溶融池右端（Ｐｏｏｌ＿Ｒｘ）である構成について述べたが、これに限定されるものではない。制御対象の物理量、ワークの種類等によっても画像特徴情報は変わり得る。ワークがＶ型開先継手の場合を例に挙げて説明する。図３６Ａは、Ｖ字開先継手における溶接画像の写真であり、図３６Ｂは、当該溶接画像における撮像物を説明するための図である。Ｖ型開先継手では、開先がＶ型をなしているため溶融池先端は三角形となり、溶融池先端点は２点ではなく１点となる。そこで、溶融池先端左端（Ｐｏｏｌ＿Ｌｅａｄ＿Ｌｘ，Ｐｏｏｌ＿Ｌｅａｄ＿Ｌｙ）、溶融池先端右端（Ｐｏｏｌ＿Ｌｅａｄ＿Ｒｘ，Ｐｏｏｌ＿Ｌｅａｄ＿Ｒｙ）に代えて、溶融池先端点を画像特徴情報とすることができる。但し、溶接制御に用いられる補正情報を生成するために、画像特徴情報は、溶接画像中の溶融池又はアークの領域についての位置に関する情報を含むことが好ましい。さらに具体的には、画像特徴情報が、溶融池の領域の先端、幅、横方向端、及び縦方向長さ、アークの領域の中心点、幅、及び縦方向長さ、溶接線の位置、突合せ継手における開先の領域の幅、並びにアークを生じる溶接ワイヤの領域の先端のうちの少なくとも何れか１つを含むことが好ましい。
【0183】
また、上述した実施の形態１及び６においては、溶融池左端Ｐｏｏｌ＿Ｌｘ及び溶融池右端Ｐｏｏｌ＿Ｒｘを検出し、これらから溶融池の左右方向中心ＰｏｏｌＣｅｎＸを求め、ＰｏｏｌＣｅｎＸに基づいて溶接トーチ２１の左右位置補正量ΔＸを算出する構成について述べたが、これに限定されるものではない。溶融池先端左端及び溶融池先端右端から開先におけるギャップの中心位置である溶接線を求め、この溶接線に基づいて溶接トーチ２１の左右位置補正量ΔＸを算出する構成とすることもできる。また、上記のＶ型開先継手のような溶接画像に溶接線が現れるワークの場合には、溶接画像における溶接線の位置を検出し、この位置に基づいて溶接トーチ２１の左右位置補正量ΔＸを算出する構成とすることができる。例えば隅肉溶接のように、溶接線に対して左右不均等に溶融池が生じるワークに対しては、溶融池の左右方向中心ＰｏｏｌＣｅｎＸでは適切な左右位置補正量ΔＸを求めることが難しいため、溶接線の位置を検出し、これを用いて補正量ΔＸを算出することが好ましい。
【0184】
また、上述した実施の形態２及び７においては、アーク面積ＡｒｃＡｒｅａを用いて溶接状態の正常／異常を判定する構成について述べたが、これに限定されるものではない。溶接画像からアーク領域の左端及び右端を検出し、これらからアーク領域の幅を求め、アーク領域の幅に基づいて溶接状態の正常／異常を判定する構成とすることもできる。
【0185】
また、上述した実施の形態２及び７においては、溶融池面積ＰｏｏｌＡｒｅａを用いて溶接電圧の補正量ΔＶｏｌを算出する構成について述べたが、これに限定されるものではない。溶接電流を調節可能な電源装置の場合に、溶融池面積ＰｏｏｌＡｒｅａを用いて溶接電流の補正量を算出し、その補正量に応じて溶接電流を補正する構成とすることもできる。
【0186】
また、上述した実施の形態１乃至１０においては、カメラ６０が溶融池及びアークを前斜め上方から撮像する構成について述べたが、これに限定されるものではない。これ以外のアングルで溶融池及びアークを撮像する構成とすることもできる。図３７Ａは、前斜め上方から溶融池及びアークを撮像したときの溶接画像の写真であり、図３７Ｂは、当該画像における撮像物を説明するための図である。また、図３８Ａは、後斜め上方から溶融池及びアークを撮像したときの溶接画像の写真であり、図３８Ｂは、当該画像における撮像物を説明するための図である。前斜め上方から撮像した溶接画像では、溶融池の先端が撮像されているのに対して、後斜め上方から撮像した溶接画像では、溶融池の領域の先端が、溶接ワイヤの領域によって隠れていることが分かる。このように、カメラ６０のアングルを変えると、画像中における一部の領域が隠れたり、溶融池及びアークの領域の位置及び形状が変わったりするため、１つのアングルで撮像して得られた溶接画像を含む教師データによって構築された機械学習モデルに対し、別のアングルで撮像された溶接画像を入力すると、正常に画像認識が行えない可能性がある。このため、教師データの溶接画像と同一アングルで撮像された溶接画像を機械学習モデルの入力とすることが好ましい。
【0187】
また、上述した実施の形態１乃至１０では、単一のコンピュータ１０１によって補正情報生成プログラム１５０のすべての処理が実行される構成について述べたが、本発明はこれに限定されるものではなく、補正情報生成プログラム１５０と同様の処理を、複数の装置（コンピュータ）により分散して実行する分散システムとすることも可能である。また、実施の形態１乃至５では、補正情報生成装置１００と、ロボット制御装置３０とを個別に設ける構成について述べたが、これに限定されるものではない。補正情報生成装置１００に、ロボット制御装置３０としての機能、つまり、自動溶接制御、ウィービング動作の制御、及び溶接線倣い制御を実行する機能、並びに電源装置４０を制御する機能を設けてもよい。
【産業上の利用可能性】
【0188】
本発明の自動溶接システム、溶接制御方法、及び機械学習モデルは、アーク溶接の溶接箇所を撮像して得られた画像によって溶接制御を行う自動溶接システム及び溶接制御方法、並びに溶接制御に用いられる情報を出力するための機械学習モデル等として有用である。
【符号の説明】
【0189】
１０ 自動溶接システム
２０ 溶接ロボット
２１ 溶接トーチ
２４ 溶接ワイヤ
３０ ロボット制御装置
３０１ ＣＰＵ
３３０ 制御プログラム
４０，２４０ 電源装置
５０ ワーク
６０ カメラ
１００ 補正情報生成装置
１１１ ＣＰＵ
１５０ 補正情報生成プログラム
１６０，２６０，３６０，４６０，５６０、６６０，７６０，８６０，９６０，１００６ 機械学習モデル
２０ 溶接ロボット
２１ 溶接トーチ
２４ 溶接ワイヤ
３０ ロボット制御装置
３０１ ＣＰＵ
３３０ 制御プログラム
４０，２４０ 電源装置
５０ ワーク
６０ カメラ
１００ 補正情報生成装置
１１１ ＣＰＵ
１５０ 補正情報生成プログラム
１６０，２６０，３６０，４６０，５６０、６６０，７６０，８６０，９６０，１００６ 機械学習モデル
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31】
【図32】
【図33】
【図34】
【図35】
【図36A】
【図36B】
【図37A】
【図37B】
【図38A】
【図38B】