IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社神戸製鋼所の特許一覧 ▶ 学校法人中部大学の特許一覧

特許7021728自動溶接システム、溶接制御方法、及び機械学習モデル
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-02-08
(45)【発行日】2022-02-17
(54)【発明の名称】自動溶接システム、溶接制御方法、及び機械学習モデル
(51)【国際特許分類】
   B23K 9/095 20060101AFI20220209BHJP
   B23K 9/12 20060101ALI20220209BHJP
   B23K 9/127 20060101ALI20220209BHJP
   B23K 31/00 20060101ALI20220209BHJP
【FI】
B23K9/095 510D
B23K9/12 350A
B23K9/12 350D
B23K9/127 510C
B23K31/00 Z
【請求項の数】 25
(21)【出願番号】P 2018020283
(22)【出願日】2018-02-07
(65)【公開番号】P2018192524
(43)【公開日】2018-12-06
【審査請求日】2020-10-14
(31)【優先権主張番号】P 2017095546
(32)【優先日】2017-05-12
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】000001199
【氏名又は名称】株式会社神戸製鋼所
(73)【特許権者】
【識別番号】500433225
【氏名又は名称】学校法人中部大学
(74)【代理人】
【識別番号】100125645
【弁理士】
【氏名又は名称】是枝 洋介
(72)【発明者】
【氏名】岡本 陽
(72)【発明者】
【氏名】尾崎 圭太
(72)【発明者】
【氏名】芦田 強
(72)【発明者】
【氏名】飛田 正俊
(72)【発明者】
【氏名】山下 隆義
【審査官】正木 裕也
(56)【参考文献】
【文献】特開平08-132230(JP,A)
【文献】特開2005-111538(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
B23K 9/095
B23K 9/12
B23K 9/127
B23K 31/00
(57)【特許請求の範囲】
【請求項1】
溶接ワイヤを用いたアーク溶接における溶融池、アーク、又は溶接ワイヤの像を含む画像と、前記アーク溶接の状態に関する状態関連情報とを含む複数の教師データによって教師あり学習を実行し、前記画像を入力とし前記状態関連情報を出力とする機械学習モデルを構築するモデル構築手段と、
アーク溶接における溶融池、アーク、又は溶接ワイヤを撮像するカメラと、
前記カメラによって得られた画像を入力として前記機械学習モデルに与え、前記機械学習モデルから出力される状態関連情報を取得する情報取得手段と、
前記情報取得手段によって取得された前記状態関連情報に基づいて、前記アーク溶接を実行する溶接機構を制御する制御手段と
を備える、
自動溶接システム。
【請求項2】
前記モデル構築手段は、前記画像における溶融池、アーク、又は溶接ワイヤの像の特徴を示す画像特徴情報を前記状態関連情報として出力する前記機械学習モデルを構築するように構成されており、
前記情報取得手段によって取得された前記画像特徴情報に基づいて、前記アーク溶接に関する物理量を補正するための補正情報を生成する補正情報生成手段をさらに備え、
前記制御手段は、前記補正情報生成手段によって生成された前記補正情報にしたがって前記物理量を補正するよう、前記溶接機構を制御するように構成されている、
請求項1に記載の自動溶接システム。
【請求項3】
前記モデル構築手段は、前記画像特徴情報及び前記アーク溶接の状態の正常度合いを示す溶接正常度を前記状態関連情報として出力する前記機械学習モデルを構築するように構成されており、
前記補正情報生成手段は、前記情報取得手段によって取得された前記画像特徴情報及び前記溶接正常度に基づいて、前記アーク溶接に関する物理量を補正するための補正情報を生成するように構成されている、
請求項2に記載の自動溶接システム。
【請求項4】
前記モデル構築手段は、前記画像特徴情報の出力及び前記溶接正常度の出力を別々のタスクとする前記学習を実行するように構成されている、
請求項3に記載の自動溶接システム。
【請求項5】
前記モデル構築手段は、前記タスクのそれぞれに対して設定された優先度に基づいて前記学習を実行するように構成されている、
請求項4に記載の自動溶接システム。
【請求項6】
前記画像特徴情報は、前記画像中の溶融池、アーク、又は溶接ワイヤの領域についての位置に関する情報を含む、
請求項2乃至5の何れかに記載の自動溶接システム。
【請求項7】
前記画像特徴情報は、前記溶融池の領域の中心位置を含み、
前記補正情報生成手段は、前記溶融池の領域の中心位置に基づいて、前記溶接ワイヤを保持する溶接トーチの位置についての前記補正情報を生成するように構成されている、
請求項6に記載の自動溶接システム。
【請求項8】
前記画像特徴情報は、前記溶接ワイヤの領域の先端位置を含み、
前記補正情報生成手段は、前記溶接ワイヤの領域の先端位置に基づいて、前記溶接ワイヤを保持する溶接トーチの高さについての前記補正情報を生成するように構成されている、
請求項6又は7に記載の自動溶接システム。
【請求項9】
前記画像特徴情報は、前記溶融池の領域の先端位置及び前記アークの領域の中心位置を含み、
前記補正情報生成手段は、前記溶融池の領域の先端位置及び前記アークの領域の中心位置に基づいて、前記溶接ワイヤを保持する溶接トーチの移動速度についての前記補正情報を生成するように構成されている、
請求項6乃至8の何れかに記載の自動溶接システム。
【請求項10】
前記画像特徴情報は、突合せ継手における開先の幅を含み、
前記補正情報生成手段は、前記突合せ継手における開先の幅に基づいて、前記溶接ワイヤを保持する溶接トーチを周期的に揺動させるウィービング動作の幅についての前記補正情報を生成するように構成されている、
請求項2乃至9の何れかに記載の自動溶接システム。
【請求項11】
前記画像特徴情報は、前記画像中の溶融池、アーク、及び溶接ワイヤの領域毎に異なるラベルが割り当てられたラベル画像を含む、
請求項2乃至10の何れかに記載の自動溶接システム。
【請求項12】
前記補正情報生成手段は、前記ラベル画像における前記溶接ワイヤの領域の面積に基づいて、前記溶接ワイヤを保持する溶接トーチの高さについての前記補正情報を生成するように構成されている、
請求項11に記載の自動溶接システム。
【請求項13】
前記補正情報生成手段は、前記ラベル画像における前記溶融池の領域の面積に基づいて、前記溶接ワイヤに生じる溶接電圧又は溶接電流についての前記補正情報を生成するように構成されている、
請求項11又は12に記載の自動溶接システム。
【請求項14】
前記ラベル画像における前記アークの領域についての位置又は面積に基づいて、溶接状態が正常であるか否かを判定する溶接状態判定手段と、
前記溶接状態判定手段によって前記溶接状態が異常であると判定された場合に、前記溶接状態が異常であることを通知する通知手段と
をさらに備える、
請求項11乃至13の何れかに記載の自動溶接システム。
【請求項15】
前記モデル構築手段は、前記補正情報生成手段による前記補正情報の生成に用いられない情報を含む前記画像特徴情報を出力する前記機械学習モデルを構築するように構成されている、
請求項2乃至14の何れかに記載の自動溶接システム。
【請求項16】
前記補正情報の生成に用いられない情報である複数の候補情報から、前記機械学習モデルにおける前記画像の認識性能に基づいて、前記画像特徴情報に含むべき情報を決定する決定手段をさらに備え、
前記モデル構築手段は、前記決定手段によって決定された前記情報を含む前記画像特徴情報を出力する前記機械学習モデルを構築するように構成されている、
請求項15に記載の自動溶接システム。
【請求項17】
前記モデル構築手段は、前記アーク溶接に関する物理量を補正するための補正情報を前記状態関連情報として出力する前記機械学習モデルを構築するように構成されており、
前記制御手段は、前記情報取得手段によって取得された前記補正情報にしたがって前記物理量を補正するよう、前記溶接機構を制御するように構成されている、
請求項1に記載の自動溶接システム。
【請求項18】
前記モデル構築手段は、前記補正情報及び前記アーク溶接の状態の正常度合いを示す溶接正常度を前記状態関連情報として出力する前記機械学習モデルを構築するように構成されており、
前記制御手段は、前記情報取得手段によって取得された前記補正情報及び前記溶接正常度にしたがって前記物理量を補正するよう、前記溶接機構を制御するように構成されている、
請求項17に記載の自動溶接システム。
【請求項19】
前記モデル構築手段は、前記補正情報の出力及び前記溶接正常度の出力を別々のタスクとする前記学習を実行するように構成されている、
請求項18に記載の自動溶接システム。
【請求項20】
前記モデル構築手段は、前記タスクのそれぞれに対して設定された優先度に基づいて前記学習を実行するように構成されている、
請求項19に記載の自動溶接システム。
【請求項21】
前記カメラは、前記溶融池、アーク、又は溶接ワイヤを時間的に連続して撮像するように構成されており、
前記モデル構築手段は、時間的に連続した複数の画像を含む時系列画像を入力とし前記状態関連情報を出力とする前記機械学習モデルを構築するように構成されている、
請求項1乃至20の何れかに記載の自動溶接システム。
【請求項22】
前記機械学習モデルは、畳み込み層及びプーリング層を含む畳み込みニューラルネットワークである、
請求項1乃至21の何れかに記載の自動溶接システム。
【請求項23】
複数の前記状態関連情報を複数の組に分割する分割手段をさらに備え、
前記モデル構築手段は、前記分割手段によって分割された前記状態関連情報の組を各別に含む前記教師データによって教師あり学習を実行し、前記状態関連情報の組と各別に対応する複数の前記機械学習モデルを構築するように構成されており、
前記情報取得手段は、前記カメラによって得られた画像を入力として前記複数の機械学習モデルのそれぞれに与え、前記機械学習モデルのそれぞれから出力される前記状態関連情報の組を取得するように構成されている、
請求項1乃至22の何れかに記載の自動溶接システム。
【請求項24】
溶接ワイヤを用いたアーク溶接における溶融池、アーク、又は溶接ワイヤの像を含む画像と、前記アーク溶接の状態に関する状態関連情報とを含む複数の教師データによって教師あり学習を実行し、前記画像を入力とし前記状態関連情報を出力とする機械学習モデルを構築するステップと、
アーク溶接における溶融池又はアークを撮像するステップと、
撮像して得られた画像を入力として前記機械学習モデルに与え、前記機械学習モデルから出力される状態関連情報を取得するステップと、
取得された前記状態関連情報に基づいて、前記アーク溶接を実行する溶接機構を制御するステップと
を有する、
溶接制御方法。
【請求項25】
アーク溶接を実行する溶接機構の制御に用いられる情報を出力するための機械学習モデルであって、
溶接ワイヤを用いたアーク溶接における溶融池、アーク、又は溶接ワイヤの像を含む画像と、前記アーク溶接の状態に関する状態関連情報とを含む複数の教師データによる教師あり学習によって構築され、
前記溶接機構の制御の際に、溶接ワイヤを用いたアーク溶接における溶融池、アーク、又は溶接ワイヤをカメラによって撮像して得られた画像を入力とし、
前記アーク溶接の状態に関する状態関連情報を出力とする、機械学習モデル。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、アーク溶接の溶接箇所を撮像して得られた画像によって溶接制御を行う自動溶接システム及び溶接制御方法、並びに溶接制御に用いられる情報を出力するための機械学習モデルに関する。
【背景技術】
【0002】
アーク溶接には、多層盛りアーク溶接における初層裏波溶接のように、溶接状態が不安定になりやすいために、熟練工による手溶接又は半自動溶接が主流であり、十分に自動化がなされていないものがある。このようなアーク溶接を自動化するためには、溶融池及びアーク光の状態を常時監視し、これに基づいて溶接トーチの位置及び速度等を制御する必要がある。特許文献1には、溶接進行方向斜め上方に設置されたCCDカメラによって溶融池を撮像し、これによって得られた画像に対して輝度加算処理及び平滑化微分処理を施して溶融池先行量(画像における溶融池先端とアーク中心位置との間の距離)を算出し、溶融池先行量が予め設定された範囲内に収まるように溶接速度の制御を行う方法が開示されている。
【先行技術文献】
【特許文献】
【0003】
【文献】特開2000-94130号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
アークによって生じた溶滴が規則的又は不規則的に溶融池との短絡を繰り返すことにより、アーク光の輝度は繰り返し変動する。そのため、特許文献1に記載の方法にあっては、アーク光の輝度が高くなるとそれによって溶融池先端が隠され、画像から溶融池先端を検出することが困難となる。また、これを防止するためCCDカメラの露光時間を短くし画像全体の輝度を低下させると、溶融池の輝度が低くなり溶融池先端点、アーク中心位置などの画像特徴点を検出しにくくなる。このように、特許文献1に開示された方法では画像毎の輝度のばらつきが考慮されておらず、輝度が変化した場合に画像認識の精度が低下するという問題がある。また、例えばアーク及びスパッタの領域の輝度は溶融池等の他の領域の輝度に比べて極端に高く、画像内での輝度のばらつきが大きい。アークの領域の形状は画像によって大きく変動し、またスパッタが現れる画像もあれば現れない画像もある。このように輝度の高い領域の形状及び位置が大きく変動する画像に対して輝度加算処理及び平滑化微分処理を施しても、得られる溶融池先端、アーク中心位置等は画像によって大きく変動し、これらを正確に検出することはできない。
【0005】
本発明は斯かる事情に鑑みてなされたものであり、その主たる目的は、上記課題を解決することができる自動溶接システム、溶接制御方法、及び機械学習モデルを提供することにある。
【課題を解決するための手段】
【0006】
上述した課題を解決するために、本発明の一の態様の自動溶接システムは、溶接ワイヤを用いたアーク溶接における溶融池、アーク、又は溶接ワイヤの像を含む画像と、前記アーク溶接の状態に関する状態関連情報とを含む複数の教師データによって教師あり学習を実行し、前記画像を入力とし前記状態関連情報を出力とする機械学習モデルを構築するモデル構築手段と、アーク溶接における溶融池、アーク、又は溶接ワイヤを撮像するカメラと、前記カメラによって得られた画像を入力として前記機械学習モデルに与え、前記機械学習モデルから出力される状態関連情報を取得する情報取得手段と、前記情報取得手段によって取得された前記状態関連情報に基づいて、前記アーク溶接を実行する溶接機構を制御する制御手段とを備える。
【0007】
この態様において、前記モデル構築手段は、前記画像における溶融池、アーク、又は溶接ワイヤの像の特徴を示す画像特徴情報を前記状態関連情報として出力する前記機械学習モデルを構築するように構成されており、前記自動溶接システムは、前記情報取得手段によって取得された前記画像特徴情報に基づいて、前記アーク溶接に関する物理量を補正するための補正情報を生成する補正情報生成手段をさらに備え、前記制御手段は、前記補正情報生成手段によって生成された前記補正情報にしたがって前記物理量を補正するよう、前記溶接機構を制御するように構成されていてもよい。
【0008】
また、上記態様において、前記モデル構築手段は、前記画像特徴情報及び前記アーク溶接の状態の正常度合いを示す溶接正常度を前記状態関連情報として出力する前記機械学習モデルを構築するように構成されており、前記補正情報生成手段は、前記情報取得手段によって取得された前記画像特徴情報及び前記溶接正常度に基づいて、前記アーク溶接に関する物理量を補正するための補正情報を生成するように構成されていてもよい。
【0009】
また、上記態様において、前記モデル構築手段は、前記画像特徴情報の出力及び前記溶接正常度の出力を別々のタスクとする前記学習を実行するように構成されていてもよい。
【0010】
また、上記態様において、前記モデル構築手段は、前記タスクのそれぞれに対して設定された優先度に基づいて前記学習を実行するように構成されていてもよい。
【0011】
また、上記態様において、前記画像特徴情報は、前記画像中の溶融池、アーク、又は溶接ワイヤの領域についての位置に関する情報を含んでもよい。
【0012】
また、上記態様において、前記画像特徴情報は、前記溶融池の領域の中心位置を含み、前記補正情報生成手段は、前記溶融池の領域の中心位置に基づいて、前記溶接ワイヤを保持する溶接トーチの位置についての前記補正情報を生成するように構成されていてもよい。
【0013】
また、上記態様において、前記画像特徴情報は、前記溶接ワイヤの領域の先端位置を含み、前記補正情報生成手段は、前記溶接ワイヤの領域の先端位置に基づいて、前記溶接ワイヤを保持する溶接トーチの高さについての前記補正情報を生成するように構成されていてもよい。
【0014】
また、上記態様において、前記画像特徴情報は、前記溶融池の領域の先端位置及び前記アークの領域の中心位置を含み、前記補正情報生成手段は、前記溶融池の領域の先端位置及び前記アークの領域の中心位置に基づいて、前記溶接ワイヤを保持する溶接トーチの移動速度についての前記補正情報を生成するように構成されていてもよい。
【0015】
また、上記態様において、前記画像特徴情報は、突合せ継手における開先の幅を含み、前記補正情報生成手段は、前記突合せ継手における開先の幅に基づいて、前記溶接ワイヤを保持する溶接トーチを周期的に揺動させるウィービング動作の幅についての前記補正情報を生成するように構成されていてもよい。
【0016】
また、上記態様において、前記画像特徴情報は、前記画像中の溶融池、アーク、及び溶接ワイヤの領域毎に異なるラベルが割り当てられたラベル画像を含んでもよい。
【0017】
また、上記態様において、前記補正情報生成手段は、前記ラベル画像における前記溶接ワイヤの領域の面積に基づいて、前記溶接ワイヤを保持する溶接トーチの高さについての前記補正情報を生成するように構成されていてもよい。
【0018】
また、上記態様において、前記補正情報生成手段は、前記ラベル画像における前記溶融池の領域の面積に基づいて、前記溶接ワイヤに生じる溶接電圧又は溶接電流についての前記補正情報を生成するように構成されていてもよい。
【0019】
また、上記態様において、前記自動溶接システムは、前記ラベル画像における前記アークの領域についての位置又は面積に基づいて、溶接状態が正常であるか否かを判定する溶接状態判定手段と、前記溶接状態判定手段によって前記溶接状態が異常であると判定された場合に、前記溶接状態が異常であることを通知する通知手段とをさらに備えてもよい。
【0020】
また、上記態様において、前記モデル構築手段は、前記補正情報生成手段による前記補正情報の生成に用いられない情報を含む前記画像特徴情報を出力する前記機械学習モデルを構築するように構成されていてもよい。
【0021】
また、上記態様において、前記自動溶接システムは、前記補正情報の生成に用いられない情報である複数の候補情報から、前記機械学習モデルにおける前記画像の認識性能に基づいて、前記画像特徴情報に含むべき情報を決定する決定手段をさらに備え、前記モデル構築手段は、前記決定手段によって決定された前記情報を含む前記画像特徴情報を出力する前記機械学習モデルを構築するように構成されていてもよい。
【0022】
また、上記態様において、前記モデル構築手段は、前記アーク溶接に関する物理量を補正するための補正情報を前記状態関連情報として出力する前記機械学習モデルを構築するように構成されており、前記制御手段は、前記情報取得手段によって取得された前記補正情報にしたがって前記物理量を補正するよう、前記溶接機構を制御するように構成されていてもよい。
【0023】
また、上記態様において、前記モデル構築手段は、前記補正情報及び前記アーク溶接の状態の正常度合いを示す溶接正常度を前記状態関連情報として出力する前記機械学習モデルを構築するように構成されており、前記制御手段は、前記情報取得手段によって取得された前記補正情報及び前記溶接正常度にしたがって前記物理量を補正するよう、前記溶接機構を制御するように構成されていてもよい。
【0024】
また、上記態様において、前記モデル構築手段は、前記補正情報の出力及び前記溶接正常度の出力を別々のタスクとする前記学習を実行するように構成されていてもよい。
【0025】
また、上記態様において、前記モデル構築手段は、前記タスクのそれぞれに対して設定された優先度に基づいて前記学習を実行するように構成されていてもよい。
【0026】
また、上記態様において、前記カメラは、前記溶融池、アーク、又は溶接ワイヤを時間的に連続して撮像するように構成されており、前記モデル構築手段は、時間的に連続した複数の画像を含む時系列画像を入力とし前記状態関連情報を出力とする前記機械学習モデルを構築するように構成されていてもよい。
【0027】
また、上記態様において、前記機械学習モデルは、畳み込み層及びプーリング層を含む畳み込みニューラルネットワークであってもよい。
【0028】
また、上記態様において、前記自動溶接システムは、複数の前記状態関連情報を複数の組に分割する分割手段をさらに備え、前記モデル構築手段は、前記分割手段によって分割された前記状態関連情報の組を各別に含む前記教師データによって教師あり学習を実行し、前記状態関連情報の組と各別に対応する複数の前記機械学習モデルを構築するように構成されており、前記情報取得手段は、前記カメラによって得られた画像を入力として前記複数の機械学習モデルのそれぞれに与え、前記機械学習モデルのそれぞれから出力される前記状態関連情報の組を取得するように構成されていてもよい。
【0029】
また、本発明の他の態様の溶接制御方法は、溶接ワイヤを用いたアーク溶接における溶融池、アーク、又は溶接ワイヤの像を含む画像と、前記アーク溶接の状態に関する状態関連情報とを含む複数の教師データによって教師あり学習を実行し、前記画像を入力とし前記状態関連情報を出力とする機械学習モデルを構築するステップと、アーク溶接における溶融池又はアークを撮像するステップと、撮像して得られた画像を入力として前記機械学習モデルに与え、前記機械学習モデルから出力される状態関連情報を取得するステップと、取得された前記状態関連情報に基づいて、前記アーク溶接を実行する溶接機構を制御するステップとを有する。
【0030】
また、本発明の他の態様の機械学習モデルは、アーク溶接を実行する溶接機構の制御に用いられる情報を出力するための機械学習モデルであって、溶接ワイヤを用いたアーク溶接における溶融池、アーク、又は溶接ワイヤの像を含む画像と、前記アーク溶接の状態に関する状態関連情報とを含む複数の教師データによる教師あり学習によって構築され、前記溶接機構の制御の際に、溶接ワイヤを用いたアーク溶接における溶融池、アーク、又は溶接ワイヤをカメラによって撮像して得られた画像を入力とし、前記アーク溶接の状態に関する状態関連情報を出力とする。
【発明の効果】
【0031】
本発明に係る自動溶接システム、溶接制御方法、及び機械学習モデルによれば、画像毎に輝度のばらつきがあっても正確な画像認識が可能となる。
【図面の簡単な説明】
【0032】
図1】実施の形態1に係る自動溶接システムの構成を示す模式図。
図2】カメラの配置位置を説明するための斜視図。
図3】実施の形態1に係るロボット制御装置の構成を示すブロック図。
図4】実施の形態1に係る補正情報生成装置の構成を示すブロック図。
図5】実施の形態1に係る機械学習モデルの構成を示す概念図。
図6】実施の形態1に係る画像特徴情報を説明するための図。
図7】実施の形態1に係る自動溶接システムにおける機械学習モデル構築処理の手順を示すフローチャート。
図8】実施の形態1に係るロボット制御装置及び電源装置の動作手順を示すフローチャート。
図9】実施の形態1に係る補正情報生成処理の手順を示すフローチャート。
図10】実施の形態2に係る機械学習モデルの構成を示す概念図。
図11】実施の形態2に係る画像特徴情報を説明するための図。
図12】実施の形態2に係るロボット制御装置及び電源装置の動作手順を示すフローチャート。
図13】実施の形態2に係る補正情報生成処理の手順を示すフローチャート。
図14】実施の形態3に係る機械学習モデルの構成を示す概念図。
図15】実施の形態3に係る追加候補情報を説明するための図。
図16】実施の形態3に係る準備処理の手順を示すフローチャート。
図17】実施の形態3に係る追加情報決定処理の手順を示すフローチャート。
図18】実施の形態3に係るネットワーク構成分割処理の手順を示すフローチャート。
図19】実施の形態3に係る機械学習モデル構築処理の手順を示すフローチャート。
図20】実施の形態3に係る実施の形態に係る補正情報生成処理の手順を示すフローチャート。
図21】実施の形態4に係る機械学習モデルの構成を示す概念図。
図22】時系列の溶接画像を示す模式図。
図23】実施の形態4に係る補正情報生成処理の手順を示すフローチャート。
図24】実施の形態5に係る機械学習モデルの構成を示す概念図。
図25】実施の形態5に係る補正情報生成処理の手順を示すフローチャート。
図26】実施の形態6に係る機械学習モデルの構成を示す概念図。
図27】実施の形態6に係る補正情報生成処理の手順を示すフローチャート。
図28】実施の形態7に係る機械学習モデルの構成を示す概念図。
図29】実施の形態7に係る補正情報生成処理の手順を示すフローチャート。
図30】実施の形態8に係る機械学習モデルの構成を示す概念図。
図31】実施の形態8に係る補正情報生成処理の手順を示すフローチャート。
図32】実施の形態9に係る機械学習モデルの構成を示す概念図。
図33】実施の形態9に係る補正情報生成処理の手順を示すフローチャート。
図34】実施の形態10に係る機械学習モデルの構成を示す概念図。
図35】実施の形態10に係る補正情報生成処理の手順を示すフローチャート。
図36A】V型開先継手における溶接画像の写真。
図36B図36Aに示す溶接画像における撮像物を説明するための図。
図37A】前斜め上方から溶融池及びアークを撮像したときの開先継手の溶接画像の写真。
図37B図37Aに示す溶接画像における撮像物を説明するための図。
図38A】後斜め上方から溶融池及びアークを撮像したときの開先継手の溶接画像の写真。
図38B図38Aに示す溶接画像における撮像物を説明するための図。
【発明を実施するための形態】
【0033】
以下、本発明の好ましい実施の形態を、図面を参照しながら説明する。なお、以下に示す各実施の形態は、本発明の技術的思想を具体化するための方法及び装置を例示するものであって、本発明の技術的思想は下記のものに限定されるわけではない。本発明の技術的思想は、特許請求の範囲に記載された技術的範囲内において種々の変更を加えることができる。また、以下に示す各実施の形態ではマニピュレータの溶接ロボットを例に挙げて説明するが、本発明の適用対象はこれらに限定されるわけではなく、マニピュレータ以外の自動溶接装置を適用対象とすることも可能である。
【0034】
(実施の形態1)
本実施の形態では、自動溶接システムが、溶融池及びアークをカメラで撮像し、カメラから得られた画像を、教師あり学習にて構築された機械学習モデルに入力し、当該機械学習モデルから出力される画像特徴情報を取得し、画像特徴情報を用いてアーク溶接に関する物理量の補正情報を生成し、補正情報に基づいてアーク溶接の自動制御を行う。
【0035】
<自動溶接システムの構成>
図1は、本実施の形態に係る自動溶接システムの構成を示す模式図である。自動溶接システム10は、溶接ロボット20と、ロボット制御装置30と、電源装置40と、カメラ60と、補正情報生成装置100とを備えている。
【0036】
溶接ロボット20は、垂直多関節型のマニピュレータから構成され、その先端に溶接トーチ21を有している。本実施の形態に係る溶接ロボット20は、MIG(Metal Inert Gas)溶接又はMAG(Metal Active Gas)溶接等の溶極式のアーク溶接を行う。かかる溶接ロボット20は、ロボット制御装置30及び電源装置40のそれぞれに接続されている。
【0037】
溶接トーチ21にはワイヤ送給装置23から溶接ワイヤ24が送り込まれ、溶接トーチ21の先端からこれが送り出される。電源装置40は定電圧電源装置であり、溶接ワイヤ24に電力を供給する。これにより、溶接ワイヤ24とワーク(被溶接材)50との間に溶接電圧が印加され、アークが発生する。また、電源装置40は、溶接中に生じる溶接電流を検出する電流センサ(図示せず)を備えている。
【0038】
電源装置40は、CPUとメモリとを備えており、電源制御用のコンピュータプログラムをCPUが実行することで溶接電力の制御を行う。また、電源装置40はワイヤ送給装置23に接続されており、CPUがワイヤの送給速度を制御する。かかる電源装置40は、ロボット制御装置30及び補正情報生成装置100との間でデータ通信を行う。
【0039】
カメラ60は、CCD(Charge Coupled Device)カメラである。図2は、カメラ60の配置位置を説明するための斜視図である。ワーク50は突合せ継手であり、2つの金属板が開先を設けて突き合わされ、その裏面にセラミックス製の裏当て材51が取り付けられている。突合せ継手では、開先に沿って一方向に溶接が行われる。以下、溶接方向を「前方」、この前方を見たときの右方を「右方」、前方を見たときの左方を「左方」という。また、本実施の形態では、表面が上方を向くように水平配置されたワーク50に対して上方から溶接ロボット20が溶接を行うものとして説明する。
【0040】
図2に示すように、カメラ60はワーク50の溶接箇所の前斜め上方に配置される。かかるカメラ60は、ワーク50の溶接箇所に撮像範囲が設定されており、アーク溶接中に溶融池とアークとを撮像する。カメラ60は、例えば1024×768ピクセルの静止画像を連続して撮像することができる。
【0041】
次に、ロボット制御装置30の構成について説明する。ロボット制御装置30は、溶接ロボット20の動作を制御する。図3は、ロボット制御装置30の構成を示すブロック図である。ロボット制御装置30は、CPU301と、メモリ302と、複数のスイッチを含む操作パネル303と、教示ペンダント304と、入出力部305と、通信部306とを備えている。
【0042】
溶接ロボット20の制御用のコンピュータプログラムである制御プログラム330がメモリ302に格納されており、この制御プログラム330をCPU301が実行することで、溶接ロボット20による溶接動作の制御が行われる。
【0043】
ロボット制御装置30に対する指示の入力には、操作パネル303及び教示ペンダント304が用いられる。オペレータは、教示ペンダント304に教示プログラムを入力することができる。ロボット制御装置30は、教示ペンダント304から入力された教示プログラムにしたがって、溶接ロボット20を制御する。また、この教示プログラムは、図示しないコンピュータによって作成することも可能である。この場合、可搬型記録媒体によって受け渡ししたり、データ通信によって伝送したりして、教示プログラムをロボット制御装置30に与えることができる。
【0044】
入出力部305には、電源装置40に設けられた電流センサ及び溶接ロボット20のアクチュエータの駆動回路(図示せず)が接続されている。電流センサによって検出された溶接電流の電流値が入出力部305に入力され、CPU301に与えられる。また、CPU301は、制御プログラム330により、後述するような溶接ロボット20の制御を行い、制御信号を溶接ロボット20の駆動回路に出力する。
【0045】
通信部306は、有線又は無線通信用の通信モジュールである。かかる通信部306は、所定の通信プロトコルを使用して電源装置40及び補正情報生成装置100との間でデータ通信を行う。
【0046】
以上のような構成のロボット制御装置30は、溶接ロボット20の各軸を制御して、溶接トーチ21の位置及び溶接トーチ21からの溶接ワイヤ24の突き出し長さ(以下、「ワイヤ長」という)を制御する。溶接動作では、溶接トーチ21とワーク50との間の距離に応じてワイヤ長が調節される。つまり、溶接トーチ21がワーク50に近接すると、ワイヤ長が小さくし、溶接トーチ21がワーク50から離反すると、ワイヤ長を大きくする。ワイヤ長の長短に応じて溶接ワイヤ24における抵抗変化が生じ、これが溶接電圧値の変化を引き起こす。このため、ロボット制御装置30は、溶接電圧値を用いたフィードバック制御により、溶接電圧値が適正となるように溶接トーチ21の位置及びワイヤ長を調節する。また、ロボット制御装置30は、溶接ロボット20の各軸を制御して、溶接トーチ21の速度も制御する。なお、本実施形態では画像認識結果に基づき速度制御をする構成としたが、一定速度で溶接トーチ21を動作させることもできる。
【0047】
また、ロボット制御装置30は、溶接ロボット20にウィービング動作を実行させる。ウィービング動作は、溶接方向に対して交差する方向に溶接トーチ21を交互に揺動させる動作である。ロボット制御装置30は、設定されたウィービング周期、振幅、溶接速度によってウィービング動作を行うように溶接ロボット20を制御する。
【0048】
さらに、ロボット制御装置30は、上記のウィービング動作と共に、溶接線倣い制御を実行する。溶接線倣い制御は、溶接線に沿ってビードが形成されるよう、溶接トーチ21の左右位置を制御する動作である。
【0049】
次に、補正情報生成装置100の構成について説明する。図4は、本実施の形態に係る補正情報生成装置100の構成を示すブロック図である。補正情報生成装置100は、コンピュータ101によって実現される。コンピュータ101は、本体110と、入力部120と、表示部130とを備えている。本体110は、CPU111と、ROM112と、RAM113と、ハードディスク114と、入出力インタフェース115と、通信インタフェース116と、映像出力インタフェース117とを備えている。CPU111、ROM112、RAM113、ハードディスク114、入出力インタフェース115、通信インタフェース116、及び映像出力インタフェース117は、バスによって相互に接続されている。
【0050】
アーク溶接に関する物理量の補正情報を生成するためのコンピュータプログラムである補正情報生成プログラム150をCPU111が実行することにより、コンピュータ101が補正情報生成装置100として機能する。
【0051】
ROM112には、CPU111に実行されるコンピュータプログラム及びこれに用いるデータ等が記録されている。RAM113は、ハードディスク114に記録されている補正情報生成プログラム150の読み出しに用いられる。また、RAM113は、CPU111がコンピュータプログラムを実行するときに、CPU111の作業領域として利用される。
【0052】
ハードディスク114は、オペレーティングシステム及びアプリケーションプログラム等、CPU111に実行させるための種々のコンピュータプログラム及び当該コンピュータプログラムの実行に用いられるデータがインストールされている。補正情報生成プログラム150も、このハードディスク114にインストールされている。
【0053】
またハードディスク114には、画像認識用の機械学習モデル160が記憶されている。この機械学習モデル160は、畳み込みニューラルネットワーク(Convolutional Neural Network)である。かかる機械学習モデル160の詳細については後述する。
【0054】
入出力インタフェース115には、キーボード及びマウスからなる入力部120が接続されている。また、入出力インタフェース115には、カメラ60が接続されている。カメラ60から出力された画像が入出力インタフェース115を介してCPU111に与えられる。
【0055】
通信インタフェース116は、有線又は無線通信用の通信モジュールである。かかる通信インタフェース116は、所定の通信プロトコルを使用して電源装置40及びロボット制御装置30との間でデータ通信を行う。映像出力インタフェース117は、LCDまたはCRT等で構成された表示部130に接続されており、CPU111から与えられた映像データに応じた映像信号を表示部130に出力するようになっている。表示部130は、入力された映像信号にしたがって、画像を表示する。
【0056】
<自動溶接システムの動作>
まず、機械学習モデル160の構築について説明する。後述する溶接制御を実行するのに先立ち、機械学習モデル160の構築を行う。図5は、機械学習モデル160の構成を示す概念図である。本実施の形態に係る機械学習モデル160は、畳み込みニューラルネットワークにより構成されており、複数の畳み込み層と、複数のプーリング層と、複数の全結合層とを含んでいる。
【0057】
機械学習モデル160は、アーク溶接における溶融池及びアークを撮像して得られた画像(以下、「溶接画像」という)を入力とし、画像特徴情報を出力とするモデルである。図6は、画像特徴情報を説明するための図である。図6に示すように、溶接画像には溶融池、アーク、及び溶接ワイヤ24の像(領域)が含まれる。この溶接画像において、溶接池、アーク及び溶接ワイヤ24の領域の位置についての画像特徴情報が規定される。具体的には、本実施の形態における画像特徴情報は、アーク中心(ArcX,ArcY)、ワイヤ先端(WireX,WireY)、溶融池先端左端(Pool_Lead_Lx,Pool_Lead_Ly)、溶融池先端右端(Pool_Lead_Rx,Pool_Lead_Ry)、溶融池左端(Pool_Lx)、及び溶融池右端(Pool_Rx)である。
【0058】
図7は、本実施の形態に係る自動溶接システム10における機械学習モデル構築処理の手順を示すフローチャートである。機械学習モデル160の構築は、多数の教師データを使用した教師あり学習により実現される。機械学習モデル構築処理において、まず補正情報生成装置100は、複数の教師データの入力を受け付ける(ステップS101)。教師データは、溶接画像と、画像特徴情報とによって構成され、教師データにおける画像特徴情報は、溶接画像を参照してオペレータが作成する。また、教師データにおける溶接画像は、120×100ピクセルにサイズが縮小された濃淡画像である。
【0059】
次に、CPU111は、教師データを学習前の機械学習モデル(以下、「学習前モデル」という)に与えて、機械学習処理を実行する(ステップS102)。ここで、バックプロパゲーション等の機械学習処理により、学習前モデルの各層及び層間のパラメータの調整が行われる。
【0060】
CPU111は、所定の終了条件(例えば、直近所定個の教師データにおける誤差平均が所定値未満であるか等)を満足したか否かを判定し(ステップS103)、終了条件を満たしていなければ(ステップS103においてNO)、ステップS102へ処理を戻して機械学習処理を繰り返し、終了条件を満たしていれば(ステップS103においてYES)、機械学習モデル構築処理を終了する。
【0061】
次に、自動溶接が行われる場合の自動溶接システム10の動作について説明する。アーク溶接を行う場合、オペレータは、ロボット制御装置30、電源装置40、及び補正情報生成装置100のそれぞれを起動する。ロボット制御装置30が溶接ロボット20の動作を制御し、電源装置40が溶接を実行する。また、補正情報生成装置100は、カメラ60により得られる溶接画像を監視し、アーク溶接に関する物理量の補正情報を逐次算出する。なお、本実施の形態においては、補正情報を生成する対象の物理量を、溶接トーチ21の位置及び溶接速度、並びにウィービング動作の幅とする。
【0062】
ロボット制御装置30及び電源装置40の動作について説明する。図8は、ロボット制御装置30及び電源装置40の動作手順を示すフローチャートである。オペレータは、アーク溶接を開始する場合、教示ペンダント304を操作して、ロボット制御装置30に教示プログラム、各種設定値を入力し、溶接開始を指示する。ロボット制御装置30のCPU301は、この教示プログラム、各種設定値、及び溶接開始指示を受け付ける(ステップS111)。
【0063】
CPU301は、電源装置40に対して、溶接開始(溶接電力の供給開始)を指令する(ステップS112)。電源装置40は、この指令を受信し(ステップS113)、電源装置40に内蔵される電源回路を制御して溶接を開始する(ステップS114)。これにより、溶接ワイヤ24とワーク50との間に溶接電圧が印加され、アークが発生する。
【0064】
次にCPU301は、溶接ロボット20に制御信号を送信し、溶接制御を実行する(ステップS115)。溶接制御には、自動溶接制御(ステップS1151)、ウィービング動作の制御(ステップS1152)及び溶接線倣い制御(ステップS1153)が含まれる。自動溶接制御では、CPU111が自動的に溶接方向に溶接トーチ21を移動させながら、溶接電流又は溶接電圧の補正信号を電源装置40に送信し、電源装置40が補正信号にしたがい溶接を実行する。
【0065】
CPU301は、溶接動作の停止が必要か否かを判定する(ステップS116)。溶接動作の停止が不要な場合(ステップS116においてNO)、ロボット制御装置30は、補正情報生成装置100から物理量の補正情報を受信し(ステップS117)、ステップS115へ処理を戻し、この補正情報によって物理量を補正するように溶接制御を実行する。
【0066】
例えば、オペレータからの溶接停止の指示の受け付け、溶接ロボット20に設けられたセンサによる溶接終了位置の検出、及び溶接異常の検出の何れかがあった場合、CPU301は、溶接動作の停止が必要と判断し(ステップS116においてYES)、溶接制御を停止し(ステップS118)、電源装置40に対して溶接停止(溶接電力の供給停止)を指令し(ステップS119)、補正情報生成装置100に対して補正情報の生成停止を指令する(ステップS120)。電源装置40は、溶接停止の指令を受信し(ステップS121)、CPU44が電源回路を制御して溶接を停止する(ステップS122)。これにより、ロボット制御装置30及び電源装置40の動作が終了する。
【0067】
次に、補正情報生成装置100による補正情報生成処理について説明する。図9は、補正情報生成処理の手順を示すフローチャートである。上記のような自動溶接が行われている間、カメラ60によって溶融池及びアークが撮像され、溶接画像が補正情報生成装置100に与えられる(ステップS131)。CPU111は、受信された溶接画像のサイズを120×100ピクセルに縮小し、濃淡画像に変換する(ステップS132)。
【0068】
次にCPU111は、縮小された溶接画像を機械学習モデル160に入力し、機械学習モデル160から出力される画像特徴情報を取得する(ステップS133)。機械学習モデル160からは、アーク中心(ArcX,ArcY)、ワイヤ先端(WireX,WireY)、溶融池先端左端(Pool_Lead_Lx,Pool_Lead_Ly)、溶融池先端右端(Pool_Lead_Rx,Pool_Lead_Ry)、溶融池左端(Pool_Lx)、及び溶融池右端(Pool_Rx)の各画像特徴情報が出力される。
【0069】
CPU111は、得られた画像特徴情報に基づいて、補正情報を生成する(ステップS134)。以下、この補正情報の生成について説明する。本実施の形態では、溶接トーチ21の左右位置補正量ΔX及び上下位置補正量ΔY、溶接トーチ21の速度補正量ΔV、並びにウィービング動作の幅(以下、「ウィービング幅」という)の設定値Wが算出される。
【0070】
溶接トーチ21の左右位置補正量ΔXは、次式(1)によって算出される。
PoolCenX=(Pool_Lx+Pool_Rx)/2
ΔX=PoolCenX-X0 (1)
但し、X0は溶融池の中心の左右方向位置の基準値であり、予め設定された値である。この補正量ΔXは、溶融池像の中心PoolCenXがX0に一致させるように溶接トーチ21を左右方向に移動させるためのものである。
【0071】
速度補正量ΔVを算出する際は、まずΔLを次式(2)によって算出する。
LeadY=(Pool_Lead_Ly+Pool_Lead_Ry)/2ーArcY
ΔL=LeadY-L0 (2)
但し、L0は溶接池先端位置とアーク中心の距離であり、最も品質がよい裏波ビードを形成できる値に予め設定される。LeadYも溶接池先端位置とアーク中心の距離を示しており、これは溶接画像から抽出された画像特徴情報Pool_Lead_Ly,Pool_Lead_Ry,ArcYから上記のようにして算出される値である。ΔLは、LeadYとL0との差分である。ΔL(距離)が算出されると、変換係数βを用いて次式(3)によりΔV(速度)が算出される。
ΔV=ΔL×β (3)
【0072】
溶接トーチ21の上下位置補正量ΔXは、次式(4)によって算出される。
ΔY=WireY-Y0 (4)
但し、Y0はワイヤ先端の上下方向位置の基準値であり、予め設定された値である。この補正量ΔYは、ワイヤ先端の上下方向位置WireYをY0に一致させるように溶接トーチ21を上下方向に移動させるためのものである。溶融池の前斜め上方にカメラ60が設置されているため、溶接速度が変化すると上下方向(溶接画像中の縦方向に対応)の適正位置も変化する。そのため、溶接速度を適正に制御した後、溶接トーチ21の上下方向の位置を補正することになる。
【0073】
ウィービング幅の設定値Wは、次のように算出される。
LeadW=Pool_Lead_Rx-Pool_Lead_Lx
IF LeadW < W0 THEN W=0 (5)
IF LeadW ≧ W0 THEN W=(LeadW-α) (6)
但し、W0は開先のギャップ幅であり、ウィービングが必要となる最低限の値に予め設定される。LeadWもギャップ幅を示しており、これは溶接画像から抽出された画像特徴情報Pool_Lead_Lx,Pool_Lead_Rxのそれぞれが開先の左右位置に相当することから上記のようにして算出される値である。上記の(5)より、ギャップ幅LeadWがW0未満である場合、ウィービング幅の設定値Wは0となり、ウィービング動作は行われない。上記の(6)より、ギャップ幅LeaWがW0以上である場合、ウィービング幅の設定値Wはギャップ幅LeadWよりαだけ小さい値とされる。なお、αは予め設定される値である。
【0074】
CPU111は、上記のようにして生成された補正情報を、ロボット制御装置30へ送信する(ステップS135)。次にCPU111は、ロボット制御装置30から補正情報の生成の停止指令を受信したか否かを判定し(ステップS136)、受信していない場合には(ステップS136においてNO)、ステップS131へ処理を戻し、補正情報の生成を繰り返す。他方、停止指令を受信した場合には(ステップS136においてYES)、CPU111は補正情報生成処理を終了する。
【0075】
上記のように構成したことにより、本実施の形態に係る自動溶接システム10にあっては、様々な撮像条件で得られた溶接画像を教師データとして機械学習することで機械学習モデル160を構築できるため、画像毎に輝度のばらつきがあっても正確な画像認識が可能となる。
【0076】
(実施の形態2)
本実施の形態では、機械学習モデルにおいて、入力される溶接画像における溶融池及びアークの領域の面積を抽出し、これらを画像特徴情報として出力する。自動溶接システムは、得られた画像特徴情報を用いてアーク溶接に関する物理量の補正情報を生成し、補正情報に基づいてアーク溶接の自動制御を行う。
【0077】
<自動溶接システムの構成>
本実施の形態に係る電源装置240は、出力電圧の調整が可能である。本実施の形態に係る自動溶接システムのその他の構成は、実施の形態1に係る自動溶接システム10の構成と同様であるので、同一構成要素については同一符号を付し、その説明を省略する。
【0078】
<自動溶接システムの動作>
まず、本実施の形態に係る機械学習モデル260について説明する。図10は、機械学習モデル260の構成を示す概念図である。本実施の形態に係る機械学習モデル260は、実施の形態1に係る機械学習モデル160と同様に、畳み込みニューラルネットワークにより構成されており、複数の畳み込み層と、複数のプーリング層と、複数の全結合層とを含んでいる。
【0079】
機械学習モデル260は、溶接画像を入力とし、溶接画像における溶融池、アーク及び溶接ワイヤ24の領域を分割し領域毎にラベリングしたラベル画像を画像特徴情報として出力とするモデルである。図11は、本実施の形態に係るラベル画像を説明するための図である。溶接画像は、図11のように溶接ワイヤ24の領域(以下、「ワイヤ領域」という)201、溶融池の領域(以下、「溶融池領域」という)202、アークの領域(以下、「アーク領域」という)203、及びその他の背景領域204に分割できる。本実施の形態におけるラベル画像は、ワイヤ領域201の画素値を「1」、溶融池領域202の画素値を「2」、アーク領域203の画素値を「3」、それ以外の背景領域の画素値を「0」として画素毎にラベル付けをした画像である。
【0080】
機械学習モデル260の構築は、多数の教師データを使用した教師あり学習により実現される。教師データは、溶接画像と、上記のようなラベル画像とによって構成される。教師データにおけるラベル画像は、溶接画像を参照してオペレータが作成した120×100ピクセルの画像である。また、教師データにおける溶接画像は、120×100ピクセルにサイズが縮小された濃淡画像である。なお、機械学習モデル260の構築処理の手順は、実施の形態1において説明した機械学習モデル構築処理の手順(図7参照)と同様であるので、その説明を省略する。
【0081】
次に、自動溶接が行われる場合の自動溶接システム10の動作について説明する。アーク溶接を行う場合、オペレータは、ロボット制御装置30、電源装置240、及び補正情報生成装置100のそれぞれを起動する。ロボット制御装置30が溶接ロボット20の動作を制御し、電源装置240が溶接を実行する。また、補正情報生成装置100は、カメラ60により得られる溶接画像を監視し、アーク溶接に関する物理量の補正情報を逐次算出する。なお、本実施の形態においては、補正情報を生成する対象の物理量を、溶接トーチ21の上下方向位置及び溶接電圧とする。
【0082】
ロボット制御装置30及び電源装置240の動作について説明する。図12は、本実施の形態に係るロボット制御装置30及び電源装置240の動作手順を示すフローチャートである。ステップS111乃至S117の処理については、実施の形態1で説明したものと同様であるので、その説明を省略する。
【0083】
CPU301は、電源装置40は、補正情報生成装置100から溶接電圧の補正情報を受信し(ステップS218)、補正情報にしたがって溶接電圧を補正する(ステップS219)。電源装置40は、溶接停止指令を受信したか否かを判定し(ステップS220)、指令を受信していない場合には(ステップS220においてNO)、ステップS218へ処理を戻す。
【0084】
例えば、オペレータからの溶接停止の指示の受け付け、溶接ロボット20に設けられたセンサによる溶接終了位置の検出、及び溶接異常の検出の何れかがあった場合、CPU301は、溶接動作の停止が必要と判断し(ステップS116においてYES)、溶接制御を停止し(ステップS118)、電源装置40に対して溶接停止を指令し(ステップS119)、補正情報生成装置100に対して補正情報の生成停止を指令する(ステップS120)。電源装置40は、溶接停止の指令を受信した場合(ステップS220においてYES)、電源回路を制御して溶接を停止する(ステップS122)。これにより、ロボット制御装置30及び電源装置40の動作が終了する。
【0085】
補正情報生成装置100の動作について説明する。図13は、本実施の形態に係る補正情報生成処理の手順を示すフローチャートである。自動溶接が行われている間、カメラ60によって溶融池及びアークが撮像され、溶接画像が補正情報生成装置100に与えられる(ステップS231)。CPU111は、受信された溶接画像のサイズを120×100ピクセルに縮小し、濃淡画像に変換する(ステップS232)。
【0086】
次にCPU111は、縮小された溶接画像を機械学習モデル260に入力し、機械学習モデル260から出力されるラベル画像を取得する(ステップS233)。この処理において、CPU111は、機械学習モデル260により、溶接画像をワイヤ領域201、溶融池領域202、アーク領域203、及び背景領域に分割し、それぞれの領域にラベル付けを行ってラベル画像を作成し、作成されたラベル画像を画像特徴情報として出力する。
【0087】
CPU111は、得られたラベル画像に基づいて、補正情報を生成する(ステップS234)。以下、この補正情報の生成について説明する。本実施の形態では、溶接トーチ21の上下位置補正量ΔY及び溶接電圧の補正量ΔVolが算出される。
【0088】
溶接トーチ21の上下位置補正量ΔYは、次式(7)によって算出される。
ΔY=WireArea-Y1 (7)
但し、WireAreaはワイヤ領域201の面積(ワイヤ領域201の画素数。以下、「ワイヤ面積」という。)、Y1はワイヤ面積の基準値であり、予め設定された値である。この補正量ΔYは、ワイヤ面積WireAreaをY1に一致させるように溶接トーチ21を上下方向に移動させるためのものである。
【0089】
溶接電圧の補正量ΔVolは、次式(8)によって算出される。
ΔVol=PoolArea-P1 (8)
但し、PoolAreaは溶融池領域202の面積(以下、「溶融池面積」という)、P1は溶融池面積の基準値であり、予め設定された値である。この補正量ΔVolは、溶融池面積PoolAreaをP1に一致させるように溶接電圧を補正するためのものである。
【0090】
CPU111は、上記のようにして生成された補正情報を、ロボット制御装置30及び電源装置240へ送信する(ステップS235)。これにより、ロボット制御装置30が補正情報に基づいて溶接制御を行い、電源装置40が補正情報に基づいて溶接電圧を制御する。
【0091】
CPU111は、アーク領域203の面積(以下、アーク面積という)と所定の正常範囲とを比較し、溶接状態が正常であるか否かを判定する(ステップS236)。正常範囲は、溶接状態が正常である場合のアーク面積の範囲であり、アーク面積が正常範囲内であれば、又は所定回数以上連続して正常範囲を外れていなければ溶接状態が正常であると判定され、アーク面積が所定回数以上連続して正常範囲を外れていれば溶接状態が異常であると判定される。溶接状態が正常であると判定された場合には(ステップS236においてYES)、CPU111は、ステップS238へ処理を移す。他方、溶接状態が異常であると判定された場合には(ステップS236においてNO)、CPU111は、溶接状態が異常であることを通知するための情報を表示部130に表示させ(ステップS237)、ステップS238へ処理を移す。これにより、オペレータは溶接状態の異常を確認し、必要があれば溶接停止の指示をロボット制御装置30に与える。
【0092】
CPU111は、ロボット制御装置30から補正情報の生成の停止指令を受信したか否かを判定し(ステップS238)、受信していない場合には(ステップS238においてNO)、ステップS231へ処理を戻し、補正情報の生成を繰り返す。他方、停止指令を受信した場合には(ステップS238においてYES)、CPU111は補正情報生成処理を終了する。
【0093】
(実施の形態3)
本実施の形態では、機械学習モデルにおいて、補正情報の生成に用いられない情報を含む画像特徴情報を出力する。自動溶接システムは、得られた画像特徴情報の一部を用いてアーク溶接に関する物理量の補正情報を生成し、補正情報に基づいてアーク溶接の自動制御を行う。
【0094】
<自動溶接システムの構成>
本実施の形態に係る自動溶接システムの構成は、実施の形態1に係る自動溶接システム10の構成と同様であるので、同一構成要素については同一符号を付し、その説明を省略する。
【0095】
<自動溶接システムの動作>
まず、本実施の形態に係る機械学習モデル360について説明する。図14は、機械学習モデル360の構成を示す概念図である。本実施の形態に係る機械学習モデル360は、実施の形態1に係る機械学習モデル160と同様に、畳み込みニューラルネットワークにより構成されており、複数の畳み込み層と、複数のプーリング層と、複数の全結合層とを含んでいる。
【0096】
機械学習モデル360は、溶接画像を入力とし、溶接池、アーク及び溶接ワイヤ24の領域の位置についての画像特徴情報を出力とするモデルである。本実施の形態に係る画像特徴情報は、実施の形態1で説明した画像特徴情報に、補正情報の生成に使用されない情報を追加したものである。本実施の形態では、画像特徴情報に追加する候補の情報(以下、「追加候補情報」という)から、画像特徴情報に追加するもの(画像特徴情報に含むべき情報)を決定する。図15は、追加候補情報を説明するための図である。ここでは、溶接画像中における溶接トーチ21の領域の位置(以下、「トーチ位置」という)(TorchX,TorchY)及び溶融池の領域の先端中央(以下、「溶融池先端中央点」という)(Pool_Lead_Cx,Pool_Lead_Cy)を画像特徴情報に追加する候補とする。
【0097】
追加候補情報は、画像特徴情報の認識性能の向上を期待できる情報とする。溶接ワイヤ24は概ね上下方向に真っ直ぐに延びるので、ワイヤ先端の左右方向位置WireXは、溶接トーチ21の左右方向中央位置TorchXとほぼ同じとなる。このため、TorchXを画像特徴情報に追加することで、WireXの認識性能の向上が期待できる。
【0098】
補正情報生成装置100は、自動溶接実行中の補正情報の生成に先立って、準備処理を実行する。図16は、準備処理の手順を示すフローチャートである。準備処理は、追加候補情報から追加情報を決定する追加情報決定処理S301と、機械学習モデル360のネットワーク構成を分割するネットワーク構成分割処理S302と、機械学習モデル構築処理S303とを含む。
【0099】
図17は、追加情報決定処理S301の手順を示すフローチャートである。まずCPU111が、追加候補情報から評価対象情報を選択する(ステップS311)。この処理では、上記のTorchX,TorchY,Pool_Lead_Cx,Pool_Lead_Cyの4つを全て評価対象情報としてもよいし、その一部を評価対象情報としてもよいし、4つ全てを評価対象情報としなくてもよい(つまり、「評価対象情報なし」という選択もある)。
【0100】
次にCPU111は、選択された評価対象情報を画像特徴情報に追加した教師データを使用して機械学習を実行し、機械学習モデル360を構築する(ステップS312)。CPU111は、このようにして構築された機械学習モデル360の平均認識率を求め、平均認識性能を評価する(ステップS313)。
【0101】
CPU111は、評価対象情報の全組み合わせについて平均認識性能の評価を行ったか否かを判別し(ステップS314)、評価を行っていない組み合わせが残っている場合には(ステップS314においてNO)、ステップS311に処理を戻す。ステップS311では、評価対象情報として既に選択された組み合わせでは、評価対象情報が選択されない。つまり、ステップS311の処理が行われる都度、異なる組み合わせで評価対象情報が選択される。
【0102】
評価対象情報の全組み合わせについて平均認識性能の評価が行われた場合(ステップS314においてYES)、CPU111は、最も平均認識性能が高かったときの評価対象情報を追加情報として決定し(ステップS315)、追加情報決定処理を終了する。
【0103】
図18は、ネットワーク構成分割処理S302の手順を示すフローチャートである。まずCPU111は、分割数Nを最大値(例えば、3)に設定する(ステップS321)。
【0104】
次にCPU111は、追加情報決定処理で決定された追加情報を含む画像特徴情報を分割数Nの組に分割し(ステップS322)、分割された画像特徴情報の組を各別に含むN組の教師データを作成する(ステップS323)。つまり、1組目の教師データには1つ目の画像特徴情報の組が含まれ、2組目の教師データには2つ目の画像特徴情報の組が含まれ、N組目の教師データにはN個目の画像特徴情報の組が含まれる。例えば、N=3であり、1つ目の画像特徴情報の組がArcX,ArcY,WireX,WireY,TorchX,TorchYであり、2つ目の画像特徴情報の組がPool_Lead_Lx,Pool_Lead_Ly,Pool_Lead_Rx,Pool_Lead_Ry,Pool_Lead_Cx,Pool_Lead_Cyであり、3つ目の画像特徴情報の組がPool_Lx,Pool_Rxである場合、1組目の教師データのそれぞれには画像特徴情報としてArcX,ArcY,WireX,WireY,TorchX,TorchYが含まれ、2組目の教師データのそれぞれには画像特徴情報としてPool_Lead_Lx,Pool_Lead_Ly,Pool_Lead_Rx,Pool_Lead_Ry,Pool_Lead_Cx,Pool_Lead_Cyが含まれ、3組目の教師データのそれぞれには画像特徴情報としてPool_Lx,Pool_Rxが含まれる。なお、分割数Nが0の場合には、画像特徴情報を分割することなくステップS324へ処理が進められる。
【0105】
CPU111は、上記のようにして作成されたN組の教師データによって、各別に機械学習を実行する(ステップS324)。つまり、1組目の教師データによって1つ目の機械学習モデルが構築され、2組目の教師データによって2つ目の機械学習モデルが構築され、N組目の教師データによってN個目の機械学習モデルが構築される。Nが0の場合には、全ての画像特徴情報を含む教師データによって機械学習が行われ、1つの機械学習モデルが構築される。CPU111は、構築されたN個の機械学習モデル全体の平均認識率を求め、平均認識性能を評価する(ステップS325)。
【0106】
CPU111は、画像特徴情報を全ての組み合わせで分割したか否かを判定し(ステップS326)、分割していない組み合わせが残っている場合(ステップS326においてNO)、ステップS322へ処理を戻す。ステップS322では、分割数Nで既に分割された組み合わせでは、画像特徴情報が分割されない。つまり、ステップS322の処理が行われる都度、異なる組み合わせでN個に画像特徴情報が分割される。
【0107】
画像特徴情報を全ての組み合わせで分割している場合(ステップS326においてYES)、CPU111は、分割数Nが0であるか否かを判定し(ステップS327)、分割数Nが0でない場合は(ステップS327においてNO)、Nをデクリメントし(ステップS328)、ステップS322へ処理を戻す。これにより、新たな分割数Nによって画像特徴情報が分割される。
【0108】
分割数Nが0の場合(ステップS327においてYES)、CPU111は、最も平均認識性能が高かったときの分割数N及び分割した画像特徴情報の組み合わせを、補正情報の生成に使用する分割数N及び画像特徴情報の組み合わせとして決定し(ステップS329)、ネットワーク構成分割処理を終了する。
【0109】
機械学習モデル構築処理S303では、上記の追加情報決定処理S301及びネットワーク構成分割処理S302によって決定された追加情報、分割数N、及び分割した画像特徴情報の組み合わせを用いて、機械学習を行う。図19は、機械学習モデル構築処理S303の手順を示すフローチャートである。まず、CPU111は、追加情報決定処理で決定された追加情報を含む画像特徴情報を分割数Nの組に分割し(ステップS331)、分割された画像特徴情報の組を各別に含むN組の教師データを作成する(ステップS332)。
【0110】
CPU111は、上記のようにして作成されたN個の教師データによって、各別に機械学習を実行する(ステップS333)。CPU111は、所定の終了条件(例えば、直近所定個の教師データにおける誤差平均が所定値未満であるか等)を満足したか否かを判定し(ステップS334)、終了条件を満たしていなければ(ステップS334においてNO)、ステップS333へ処理を戻して機械学習処理を繰り返し、終了条件を満たしていれば(ステップS334においてYES)、機械学習モデル構築処理S303を終了する。以上で準備処理が完了する。
【0111】
次に、自動溶接が行われる場合の自動溶接システム10の動作について説明する。ロボット制御装置30及び電源装置40の動作については、実施の形態1で説明したものと同様であるので、その説明を省略する。
【0112】
補正情報生成装置100の動作について説明する。図20は、本実施の形態に係る補正情報生成処理の手順を示すフローチャートである。自動溶接が行われている間、カメラ60によって溶融池及びアークが撮像され、溶接画像が補正情報生成装置100に与えられる(ステップS341)。CPU111は、受信された溶接画像のサイズを120×100ピクセルに縮小し、濃淡画像に変換する(ステップS342)。
【0113】
次にCPU111は、縮小された溶接画像をN個の機械学習モデル360のそれぞれに入力し、各機械学習モデル360から出力される画像特徴情報を取得する(ステップS343)。ここで得られる画像特徴情報には、補正情報の生成に使用されない情報(トーチ位置及び溶融池先端中央点)が含まれる。
【0114】
ステップS134乃至S136の処理については、実施の形態1において説明したものと同様であるので、その説明を省略する。
【0115】
(実施の形態4)
本実施の形態では、自動溶接システムが、溶融池及びアークをカメラで連続撮像し、カメラから得られた複数の溶接画像をまとめて機械学習モデルに入力し、当該機械学習モデルから出力される画像特徴情報を取得する。
【0116】
<自動溶接システムの構成>
本実施の形態に係る自動溶接システムの構成は、実施の形態1に係る自動溶接システム10の構成と同様であるので、同一構成要素については同一符号を付し、その説明を省略する。
【0117】
<自動溶接システムの動作>
まず、本実施の形態に係る機械学習モデル460について説明する。図21は、機械学習モデル460の構成を示す概念図である。本実施の形態に係る機械学習モデル460は、実施の形態1に係る機械学習モデル160と同様に、畳み込みニューラルネットワークにより構成されており、複数の畳み込み層と、複数のプーリング層と、複数の全結合層とを含んでいる。
【0118】
機械学習モデル460は、複数の溶接画像を入力とし、溶接池、アーク及び溶接ワイヤ24の領域の位置についての画像特徴情報を出力とするモデルである。本実施の形態に係る画像特徴情報は、実施の形態1で説明したものと同じであるので、その説明を省略する。
【0119】
溶接条件によって溶接中にアークの輝度が大きく変動することがある。アーク光の輝度が高すぎると、溶融池の先端がアーク光で隠されてしまうことがある。このような溶接画像からは正確に画像特徴情報を抽出することができない。しかし、時系列の複数の溶接画像を用いれば、この問題を解消できる。図22は、時系列の溶接画像を示す模式図である。時系列の溶接画像においては、アーク光の輝度が突発的に高くなっても一部の画像(図22では時刻T2の画像)がその影響を受けるだけであり、他の溶接画像(図22では時刻T1及びT3の画像)では溶融池の先端などの画像特徴情報の抽出に必要な部分がアーク光で隠されず、画像特徴情報を抽出できることがある。そのため、本実施の形態では、時系列の複数の溶接画像を1組の入力として機械学習モデル460に与える。
【0120】
機械学習モデル460の構築は、多数の教師データを使用した教師あり学習により実現される。教師データは、複数の溶接画像と、画像特徴情報とによって構成される。教師データにおける画像特徴情報は、溶接画像を参照してオペレータが作成する。また、教師データにおける溶接画像は、カメラ60によって撮像された時系列画像であり、それぞれが120×100ピクセルに縮小された濃淡画像である。なお、機械学習モデル460の構築処理の手順は、実施の形態1において説明した機械学習モデル構築処理の手順(図7参照)と同様であるので、その説明を省略する。
【0121】
次に、自動溶接が行われる場合の自動溶接システム10の動作について説明する。ロボット制御装置30及び電源装置40の動作については、実施の形態1で説明したものと同様であるので、その説明を省略する。
【0122】
本実施の形態に係る補正情報生成処理について説明する。図23は、補正情報生成処理の手順を示すフローチャートである。自動溶接が行われている間、カメラ60によって溶融池及びアークが連続撮像され、複数の溶接画像が連続して補正情報生成装置100に与えられる(ステップS431)。CPU111は、受信された溶接画像のサイズを120×100ピクセルに縮小し、濃淡画像に変換する(ステップS432)。
【0123】
次にCPU111は、複数(例えば、3つ)の縮小された溶接画像を機械学習モデル460に入力し、機械学習モデル460から出力される画像特徴情報を取得する(ステップS433)。これにより、アーク光の輝度が大きく変動した場合でも、正確に画像特徴情報を取得することができる。ステップS134乃至S136の処理については、実施の形態1において説明したものと同様であるので、その説明を省略する。
【0124】
(実施の形態5)
本実施の形態では、自動溶接システムが、溶融池及びアークをカメラで撮像し、カメラから得られた画像を、教師あり学習にて構築された機械学習モデルに入力し、当該機械学習モデルから出力される補正情報を取得し、補正情報に基づいてアーク溶接の自動制御を行う。
【0125】
本実施の形態に係る自動溶接システムの構成は、実施の形態1に係る自動溶接システム10の構成と同様であるので、同一構成要素については同一符号を付し、その説明を省略する。
【0126】
<自動溶接システムの動作>
まず、本実施の形態に係る機械学習モデル560について説明する。図24は、機械学習モデル560の構成を示す概念図である。本実施の形態に係る機械学習モデル560は、実施の形態1に係る機械学習モデル160と同様に、畳み込みニューラルネットワークにより構成されており、複数の畳み込み層と、複数のプーリング層と、複数の全結合層とを含んでいる。
【0127】
機械学習モデル560は、溶接画像を入力とし、補正情報を出力とするモデルである。補正情報は、実施の形態1と同様に、溶接トーチ21の左右位置補正量ΔX及び上下位置補正量ΔY、溶接トーチ21の速度補正量ΔV、並びにウィービング幅の設定値Wである。つまり、本実施の形態においては、機械学習モデル560によって画像特徴情報を取得するのではなく、補正情報を直接取得する。
【0128】
機械学習モデル560の構築は、多数の教師データを使用した教師あり学習により実現される。教師データは、溶接画像と、補正情報とによって構成される。教師データにおける補正情報は、溶接画像とその時点における溶接状態を考慮してオペレータが作成する。また、教師データにおける溶接画像は、120×100ピクセルにサイズが縮小された濃淡画像である。なお、機械学習モデル560の構築処理の手順は、実施の形態1において説明した機械学習モデル構築処理の手順(図7参照)と同様であるので、その説明を省略する。
【0129】
次に、自動溶接が行われる場合の自動溶接システム10の動作について説明する。ロボット制御装置30及び電源装置40の動作については、実施の形態1で説明したものと同様であるので、その説明を省略する。
【0130】
次に、補正情報生成処理について説明する。図25は、本実施の形態に係る補正情報生成処理の手順を示すフローチャートである。自動溶接が行われている間、カメラ60によって溶融池及びアークが撮像され、溶接画像が補正情報生成装置100に与えられる(ステップS531)。CPU111は、受信された溶接画像のサイズを120×100ピクセルに縮小し、濃淡画像に変換する(ステップS532)。
【0131】
次にCPU111は、縮小された溶接画像を機械学習モデル560に入力し、機械学習モデル560から出力される補正情報を取得する(ステップS533)。機械学習モデル560からは、溶接トーチ21の左右位置補正量ΔX及び上下位置補正量ΔY、溶接トーチ21の速度補正量ΔV、並びにウィービング幅の設定値Wの各補正情報が出力される。ステップS135乃至S136の処理については、実施の形態1において説明したものと同様であるので、その説明を省略する。
【0132】
溶接動作を自動化するためには、画像認識及び制御技術の専門家が、溶接の制御に適した画像特徴情報を選定したり、制御系を設計したりする必要があった。しかし、本実施の形態に係る自動溶接システム10にあっては、機械学習モデル560によって溶接画像から直接補正情報を得ることができるため、画像認識及び制御技術についての知識に乏しいユーザであっても、溶接動作の自動化のためのシステムを設計することができる。
【0133】
(実施の形態6)
本実施の形態では、機械学習モデルにおいて、画像特徴情報に加えて、アーク溶接の状態の正常度合いを示す溶接正常度を出力する。自動溶接システムは、得られた画像特徴情報及び溶接正常度を用いてアーク溶接に関する物理量の補正情報を生成し、補正情報に基づいてアーク溶接の自動制御を行う。
【0134】
<自動溶接システムの構成>
本実施の形態に係る自動溶接システムの構成は、実施の形態1に係る自動溶接システム10の構成と同様であるので、同一構成要素については同一符号を付し、その説明を省略する。
【0135】
<自動溶接システムの動作>
まず、本実施の形態に係る機械学習モデル660について説明する。図26は、機械学習モデル660の構成を示す概念図である。本実施の形態に係る機械学習モデル660は、実施の形態1に係る機械学習モデル160と同様に、畳み込みニューラルネットワークにより構成されており、複数の畳み込み層と、複数のプーリング層と、複数の全結合層とを含んでいる。但し、最終段の全結合層が2つに分岐しており、これによってマルチタスク学習が可能になっている点が、実施の形態1の場合とは異なっている。
【0136】
機械学習モデル660は、溶接画像を入力とし、画像特徴情報及び溶接正常度を出力とするモデルである。ここで、画像特徴情報の出力及び溶接正常度の出力は別々のタスクとして処理される。画像特徴情報については実施の形態1の場合と同様であるため説明を省略する。本実施の形態において、溶接正常度は、アーク溶接が正常であるか否かを示すフラグである。
【0137】
機械学習モデル660の構築は、多数の教師データを使用した教師あり学習により実現される。教師データは、溶接画像と、画像特徴情報及び溶接正常度とによって構成され、教師データにおける画像特徴情報及び溶接正常度は、溶接画像を参照してオペレータが作成する。機械学習モデル660の構築処理の手順は、実施の形態1において説明した機械学習モデル構築処理の手順(図7参照)と同様である。但し、本実施の形態の場合、ステップS102の機械学習処理において、各タスクに設定された優先度を用いる。具体的には、次のようにして機械学習処理が実行される。
【0138】
まず、画像特徴情報の出力タスクにおける出力結果と教師データとの誤差、及び溶接正常度の出力タスクにおける出力結果と教師データとの誤差のそれぞれに対して重みを付与することにより、各タスクに対して優先度を設定する。そして、全タスクの誤差を次式(9)によって算出する。
全タスクの誤差=α×(特徴点出力タスクの誤差)+α×(溶接正常度出力タスクの誤差) (9)
但し、α及びαは各タスクの誤差に対して付与された重みである。このようにして算出された全タスクの誤差を用いて機械学習処理が実行される。適切な重みを設定することにより、高精度な機械学習モデルを構築することができる。
【0139】
次に、自動溶接が行われる場合の自動溶接システム10の動作について説明する。ロボット制御装置30及び電源装置40の動作については、実施の形態1で説明したものと同様であるので、その説明を省略する。
【0140】
補正情報生成装置100の動作について説明する。図27は、補正情報生成処理の手順を示すフローチャートである。自動溶接が行われている間、実施の形態1の場合と同様に、溶接画像が補正情報生成装置100に与えられ(ステップS131)、CPU111は、その溶接画像のサイズを120×100ピクセルに縮小し、濃淡画像に変換する(ステップS132)。
【0141】
次に、CPU111は、縮小された溶接画像を機械学習モデル660に入力し、機械学習モデル660から出力される画像特徴情報及び溶接正常度を取得する(ステップS633)。
【0142】
CPU111は、得られた画像特徴情報及び溶接正常度に基づいて、補正情報を生成する(S634)。画像特徴情報に基づく補正情報の生成については実施の形態1の場合と同様であるので、その説明を省略する。溶接正常度については、例えば溶接状態が正常ではないことを示す値であった場合、溶接トーチ21の移動速度が所定量低下するように当該移動速度の補正量を算出する。このようにして算出された補正量を用いて溶接トーチ21の移動速度が制御されることにより、正常状態への復帰を促すことができる。
【0143】
ステップS135及びS136の処理については、実施の形態1において説明したものと同様であるので、その説明を省略する。
【0144】
上記のように、溶接正常度を用いることにより、自動溶接の制御に用いる溶接画像を選別することができるため、安定した制御を実現することができる。また、一つの畳み込みニューラルネットワークにおいて複数のタスクを処理することにより、高速且つ同期のとれた制御を行うことが可能になる。
【0145】
(実施の形態7)
本実施の形態では、実施の形態2の場合と同様に、入力される溶接画像における溶融池及びアークの領域の面積を抽出し、これらを画像特徴情報として出力するとともに、アーク溶接の状態の正常度合いを示す溶接正常度を出力する。自動溶接システムは、得られた画像特徴情報及び溶接正常度を用いてアーク溶接に関する物理量の補正情報を生成し、補正情報に基づいてアーク溶接の自動制御を行う。
【0146】
<自動溶接システムの構成>
本実施の形態に係る自動溶接システムの構成は、実施の形態2に係る自動溶接システム10の構成と同様であるので、同一構成要素については同一符号を付し、その説明を省略する。
【0147】
<自動溶接システムの動作>
まず、本実施の形態に係る機械学習モデル760について説明する。図28は、機械学習モデル760の構成を示す概念図である。本実施の形態に係る機械学習モデル760は、実施の形態2に係る機械学習モデル260と同様に、畳み込みニューラルネットワークにより構成されており、複数の畳み込み層と、複数のプーリング層と、複数の全結合層とを含んでいる。但し、最終段の全結合層が2つに分岐しており、これによってマルチタスク学習が可能になっている点が、実施の形態2の場合とは異なっている。
【0148】
機械学習モデル760は、溶接画像を入力とし、溶接画像における溶融池、アーク及び溶接ワイヤ24の領域を分割し領域毎にラベリングしたラベル画像を画像特徴情報として出力するとともに、溶接正常度を出力する。ラベル画像については、実施の形態2の場合と同様であるので、その説明を省略する。
【0149】
機械学習モデル760の構築は、溶接画像及び上記のラベル画像に加えて、溶接画像を参照してオペレータが作成した溶接正常度を含む教師データを用いる他は、実施の形態2及び6の場合と同様であるので、その説明を省略する。
【0150】
次に、自動溶接が行われる場合の自動溶接システム10の動作について説明する。ロボット制御装置30及び電源装置40の動作については、実施の形態2で説明したものと同様であるので、その説明を省略する。
【0151】
補正情報生成装置100の動作について説明する。図29は、補正情報生成処理の手順を示すフローチャートである。自動溶接が行われている間、実施の形態2の場合と同様に、溶接画像が補正情報生成装置100に与えられ(ステップS231)、CPU111は、その溶接画像のサイズを120×100ピクセルに縮小し、濃淡画像に変換する(ステップS232)。
【0152】
次に、CPU111は、縮小された溶接画像を機械学習モデル660に入力し、機械学習モデル760から出力されるラベル画像及び溶接正常度を取得する(ステップS733)。
【0153】
CPU111は、得られたラベル画像及び溶接正常度に基づいて、補正情報を生成する(S734)。ラベル画像に基づく補正情報の生成については実施の形態2の場合と同様であり、溶接正常度に基づく補正情報の生成については実施の形態6の場合と同様であるので、それぞれの説明を省略する。また、ステップS135及びS136の処理については、実施の形態1において説明したものと同様であるので、その説明を省略する。
【0154】
(実施の形態8)
本実施の形態では、実施の形態3の場合と同様に、機械学習モデルにおいて、補正情報の生成に用いられない情報を含む画像特徴情報を出力するとともに、アーク溶接の状態の正常度合いを示す溶接正常度を出力する。自動溶接システムは、得られた画像特徴情報の一部及び溶接正常度を用いてアーク溶接に関する物理量の補正情報を生成し、補正情報に基づいてアーク溶接の自動制御を行う。
【0155】
<自動溶接システムの構成>
本実施の形態に係る自動溶接システムの構成は、実施の形態3に係る自動溶接システム10の構成と同様であるので、同一構成要素については同一符号を付し、その説明を省略する。
【0156】
<自動溶接システムの動作>
まず、本実施の形態に係る機械学習モデル860について説明する。図30は、機械学習モデル860の構成を示す概念図である。本実施の形態に係る機械学習モデル860は、実施の形態3に係る機械学習モデル360と同様に、畳み込みニューラルネットワークにより構成されており、複数の畳み込み層と、複数のプーリング層と、複数の全結合層とを含んでいる。但し、最終段の全結合層が2つに分岐しており、これによってマルチタスク学習が可能になっている点が、実施の形態3の場合とは異なっている。
【0157】
機械学習モデル860は、溶接画像を入力とし、溶接画像における溶融池、アーク及び溶接ワイヤ24の領域の位置についての画像特徴情報及び溶接正常度を出力とするモデルである。本実施の形態に係る画像特徴情報は、実施の形態3の場合と同様であるので、その説明を省略する。
【0158】
機械学習モデル860の構築は、溶接画像及び画像特徴情報に加えて、溶接画像を参照してオペレータが作成した溶接正常度を含む教師データを用いる他は、実施の形態3及び6の場合と同様であるので、その説明を省略する。
【0159】
次に、自動溶接が行われる場合の自動溶接システム10の動作について説明する。ロボット制御装置30及び電源装置40の動作については、実施の形態3で説明したものと同様であるので、その説明を省略する。
【0160】
補正情報生成装置100の動作について説明する。図31は、補正情報生成処理の手順を示すフローチャートである。自動溶接が行われている間、実施の形態3の場合と同様に、溶接画像が補正情報生成装置100に与えられ(ステップS341)、CPU111は、その溶接画像のサイズを120×100ピクセルに縮小し、濃淡画像に変換する(ステップS342)。
【0161】
次に、CPU111は、縮小された溶接画像をN個の機械学習モデル860のそれぞれに入力し、各機械学習モデル860から出力される画像特徴情報及び溶接正常度を取得する(ステップS843)。
【0162】
CPU111は、得られた画像特徴情報及び溶接正常度に基づいて、補正情報を生成する(S834)。画像特徴情報に基づく補正情報の生成については実施の形態3の場合と同様であり、溶接正常度に基づく補正情報の生成については実施の形態6の場合と同様であるので、それぞれの説明を省略する。また、ステップS135及びS136の処理については、実施の形態1において説明したものと同様であるので、その説明を省略する。
【0163】
(実施の形態9)
本実施の形態では、実施の形態4の場合と同様に、カメラから得られた複数の溶接画像をまとめて機械学習モデルに入力し、当該機械学習モデルから出力される画像特徴情報及びアーク溶接の状態の正常度合いを示す溶接正常度を取得し、それらの画像特徴情報及び溶接正常度から算出された補正情報に基づいてアーク溶接の自動制御を行う。
【0164】
<自動溶接システムの構成>
本実施の形態に係る自動溶接システムの構成は、実施の形態4に係る自動溶接システム10の構成と同様であるので、同一構成要素については同一符号を付し、その説明を省略する。
【0165】
<自動溶接システムの動作>
まず、本実施の形態に係る機械学習モデル960について説明する。図32は、機械学習モデル960の構成を示す概念図である。本実施の形態に係る機械学習モデル960は、実施の形態4に係る機械学習モデル460と同様に、畳み込みニューラルネットワークにより構成されており、複数の畳み込み層と、複数のプーリング層と、複数の全結合層とを含んでいる。但し、最終段の全結合層が2つに分岐しており、これによってマルチタスク学習が可能になっている点が、実施の形態9の場合とは異なっている。
【0166】
機械学習モデル960は、複数の溶接画像を入力とし、溶接画像における溶融池、アーク及び溶接ワイヤ24の領域の位置についての画像特徴情報及び溶接正常度を出力とするモデルである。本実施の形態に係る画像特徴情報は、実施の形態4の場合と同様であるので、その説明を省略する。
【0167】
機械学習モデル960の構築は、複数の溶接画像及び画像特徴情報に加えて、溶接画像を参照してオペレータが作成した溶接正常度を含む教師データを用いる他は、実施の形態4及び6の場合と同様であるので、その説明を省略する。
【0168】
次に、自動溶接が行われる場合の自動溶接システム10の動作について説明する。ロボット制御装置30及び電源装置40の動作については、実施の形態4で説明したものと同様であるので、その説明を省略する。
【0169】
補正情報生成装置100の動作について説明する。図33は、補正情報生成処理の手順を示すフローチャートである。自動溶接が行われている間、実施の形態4の場合と同様に、溶接画像が補正情報生成装置100に与えられ(ステップS431)、CPU111は、その溶接画像のサイズを120×100ピクセルに縮小し、濃淡画像に変換する(ステップS432)。
【0170】
次に、CPU111は、複数(例えば、3つ)の縮小された溶接画像を機械学習モデル960に入力し、機械学習モデル960から出力される画像特徴情報及び溶接正常度を取得する(ステップS933)。
【0171】
CPU111は、得られた画像特徴情報及び溶接正常度に基づいて、補正情報を生成する(S934)。画像特徴情報に基づく補正情報の生成については実施の形態4の場合と同様であり、溶接正常度に基づく補正情報の生成については実施の形態6の場合と同様であるので、それぞれの説明を省略する。また、ステップS135及びS136の処理については、実施の形態1において説明したものと同様であるので、その説明を省略する。
【0172】
(実施の形態10)
本実施の形態では、実施の形態5の場合と同様に、機械学習モデルにおいて、補正情報を出力するとともに、アーク溶接の状態の正常度合いを示す溶接正常度を出力する。自動溶接システムは、得られた補正情報及び溶接正常度を用いてアーク溶接に関する物理量の補正情報を生成し、補正情報に基づいてアーク溶接の自動制御を行う。
【0173】
<自動溶接システムの構成>
本実施の形態に係る自動溶接システムの構成は、実施の形態5に係る自動溶接システム10の構成と同様であるので、同一構成要素については同一符号を付し、その説明を省略する。
【0174】
<自動溶接システムの動作>
まず、本実施の形態に係る機械学習モデル1060について説明する。図34は、機械学習モデル1060の構成を示す概念図である。本実施の形態に係る機械学習モデル1060は、実施の形態5に係る機械学習モデル560と同様に、畳み込みニューラルネットワークにより構成されており、複数の畳み込み層と、複数のプーリング層と、複数の全結合層とを含んでいる。但し、最終段の全結合層が2つに分岐しており、これによってマルチタスク学習が可能になっている点が、実施の形態5の場合とは異なっている。
【0175】
機械学習モデル1060は、溶接画像を入力とし、補正情報及び溶接正常度を出力とするモデルである。本実施の形態に係る補正情報は、実施の形態5の場合と同様であるので、その説明を省略する。
【0176】
機械学習モデル1060の構築は、溶接画像及び補正情報に加えて、溶接画像を参照してオペレータが作成した溶接正常度を含む教師データを用いる他は、実施の形態5及び6の場合と同様であるので、その説明を省略する。
【0177】
次に、自動溶接が行われる場合の自動溶接システム10の動作について説明する。ロボット制御装置30及び電源装置40の動作については、実施の形態5で説明したものと同様であるので、その説明を省略する。
【0178】
補正情報生成装置100の動作について説明する。図35は、補正情報生成処理の手順を示すフローチャートである。自動溶接が行われている間、実施の形態5の場合と同様に、溶接画像が補正情報生成装置100に与えられ(ステップS531)、CPU111は、その溶接画像のサイズを120×100ピクセルに縮小し、濃淡画像に変換する(ステップS532)。
【0179】
次に、CPU111は、縮小された溶接画像を機械学習モデル1060に入力し、機械学習モデル1060から出力される補正情報及び溶接正常度を取得する(ステップS1033)。
【0180】
CPU111は、得られた補正情報及び溶接正常度に基づいて、ロボット制御装置30に送信するための補正情報を生成する(S1034)。具体的には、ステップS1033にて取得した補正情報と、溶接正常度に基づいて生成された補正情報とを合わせることにより、ロボット制御装置30に送信するための補正情報を生成する。なお、溶接正常度に基づく補正情報の生成については実施の形態6の場合と同様であるので、その説明を省略する。また、ステップS135及びS136の処理については、実施の形態1において説明したものと同様であるので、その説明を省略する。
【0181】
(その他の実施の形態)
上述した実施の形態1乃至10においては、機械学習モデルを、複数の畳み込み層と、複数のプーリング層と、複数の全結合層とを含む畳み込みニューラルネットワークとしたが、これに限定されるものではない。これ以外の構成のニューラルネットワークであってもよい。但し、画像認識精度の観点からは、少なくとも1つずつ、畳み込み層及びプーリング層を含む畳み込みニューラルネットワークであることが好ましい。また、サポートベクタマシン、決定木等のニューラルネットワーク以外の機械学習モデルを用いることもできる。
【0182】
また、上述した実施の形態1、3、4、6、8及び9においては、画像特徴情報が、アーク中心(ArcX,ArcY)、ワイヤ先端(WireX,WireY)、溶融池先端左端(Pool_Lead_Lx,Pool_Lead_Ly)、溶融池先端右端(Pool_Lead_Rx,Pool_Lead_Ry)、溶融池左端(Pool_Lx)、及び溶融池右端(Pool_Rx)である構成について述べたが、これに限定されるものではない。制御対象の物理量、ワークの種類等によっても画像特徴情報は変わり得る。ワークがV型開先継手の場合を例に挙げて説明する。図36Aは、V字開先継手における溶接画像の写真であり、図36Bは、当該溶接画像における撮像物を説明するための図である。V型開先継手では、開先がV型をなしているため溶融池先端は三角形となり、溶融池先端点は2点ではなく1点となる。そこで、溶融池先端左端(Pool_Lead_Lx,Pool_Lead_Ly)、溶融池先端右端(Pool_Lead_Rx,Pool_Lead_Ry)に代えて、溶融池先端点を画像特徴情報とすることができる。但し、溶接制御に用いられる補正情報を生成するために、画像特徴情報は、溶接画像中の溶融池又はアークの領域についての位置に関する情報を含むことが好ましい。さらに具体的には、画像特徴情報が、溶融池の領域の先端、幅、横方向端、及び縦方向長さ、アークの領域の中心点、幅、及び縦方向長さ、溶接線の位置、突合せ継手における開先の領域の幅、並びにアークを生じる溶接ワイヤの領域の先端のうちの少なくとも何れか1つを含むことが好ましい。
【0183】
また、上述した実施の形態1及び6においては、溶融池左端Pool_Lx及び溶融池右端Pool_Rxを検出し、これらから溶融池の左右方向中心PoolCenXを求め、PoolCenXに基づいて溶接トーチ21の左右位置補正量ΔXを算出する構成について述べたが、これに限定されるものではない。溶融池先端左端及び溶融池先端右端から開先におけるギャップの中心位置である溶接線を求め、この溶接線に基づいて溶接トーチ21の左右位置補正量ΔXを算出する構成とすることもできる。また、上記のV型開先継手のような溶接画像に溶接線が現れるワークの場合には、溶接画像における溶接線の位置を検出し、この位置に基づいて溶接トーチ21の左右位置補正量ΔXを算出する構成とすることができる。例えば隅肉溶接のように、溶接線に対して左右不均等に溶融池が生じるワークに対しては、溶融池の左右方向中心PoolCenXでは適切な左右位置補正量ΔXを求めることが難しいため、溶接線の位置を検出し、これを用いて補正量ΔXを算出することが好ましい。
【0184】
また、上述した実施の形態2及び7においては、アーク面積ArcAreaを用いて溶接状態の正常/異常を判定する構成について述べたが、これに限定されるものではない。溶接画像からアーク領域の左端及び右端を検出し、これらからアーク領域の幅を求め、アーク領域の幅に基づいて溶接状態の正常/異常を判定する構成とすることもできる。
【0185】
また、上述した実施の形態2及び7においては、溶融池面積PoolAreaを用いて溶接電圧の補正量ΔVolを算出する構成について述べたが、これに限定されるものではない。溶接電流を調節可能な電源装置の場合に、溶融池面積PoolAreaを用いて溶接電流の補正量を算出し、その補正量に応じて溶接電流を補正する構成とすることもできる。
【0186】
また、上述した実施の形態1乃至10においては、カメラ60が溶融池及びアークを前斜め上方から撮像する構成について述べたが、これに限定されるものではない。これ以外のアングルで溶融池及びアークを撮像する構成とすることもできる。図37Aは、前斜め上方から溶融池及びアークを撮像したときの溶接画像の写真であり、図37Bは、当該画像における撮像物を説明するための図である。また、図38Aは、後斜め上方から溶融池及びアークを撮像したときの溶接画像の写真であり、図38Bは、当該画像における撮像物を説明するための図である。前斜め上方から撮像した溶接画像では、溶融池の先端が撮像されているのに対して、後斜め上方から撮像した溶接画像では、溶融池の領域の先端が、溶接ワイヤの領域によって隠れていることが分かる。このように、カメラ60のアングルを変えると、画像中における一部の領域が隠れたり、溶融池及びアークの領域の位置及び形状が変わったりするため、1つのアングルで撮像して得られた溶接画像を含む教師データによって構築された機械学習モデルに対し、別のアングルで撮像された溶接画像を入力すると、正常に画像認識が行えない可能性がある。このため、教師データの溶接画像と同一アングルで撮像された溶接画像を機械学習モデルの入力とすることが好ましい。
【0187】
また、上述した実施の形態1乃至10では、単一のコンピュータ101によって補正情報生成プログラム150のすべての処理が実行される構成について述べたが、本発明はこれに限定されるものではなく、補正情報生成プログラム150と同様の処理を、複数の装置(コンピュータ)により分散して実行する分散システムとすることも可能である。また、実施の形態1乃至5では、補正情報生成装置100と、ロボット制御装置30とを個別に設ける構成について述べたが、これに限定されるものではない。補正情報生成装置100に、ロボット制御装置30としての機能、つまり、自動溶接制御、ウィービング動作の制御、及び溶接線倣い制御を実行する機能、並びに電源装置40を制御する機能を設けてもよい。
【産業上の利用可能性】
【0188】
本発明の自動溶接システム、溶接制御方法、及び機械学習モデルは、アーク溶接の溶接箇所を撮像して得られた画像によって溶接制御を行う自動溶接システム及び溶接制御方法、並びに溶接制御に用いられる情報を出力するための機械学習モデル等として有用である。
【符号の説明】
【0189】
10 自動溶接システム
20 溶接ロボット
21 溶接トーチ
24 溶接ワイヤ
30 ロボット制御装置
301 CPU
330 制御プログラム
40,240 電源装置
50 ワーク
60 カメラ
100 補正情報生成装置
111 CPU
150 補正情報生成プログラム
160,260,360,460,560、660,760,860,960,1006 機械学習モデル
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18
図19
図20
図21
図22
図23
図24
図25
図26
図27
図28
図29
図30
図31
図32
図33
図34
図35
図36A
図36B
図37A
図37B
図38A
図38B