IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社神戸製鋼所の特許一覧

特許7551327溶接情報の学習モデル生成方法、学習モデル、プログラム及び溶接システム
<>
  • 特許-溶接情報の学習モデル生成方法、学習モデル、プログラム及び溶接システム 図1
  • 特許-溶接情報の学習モデル生成方法、学習モデル、プログラム及び溶接システム 図2
  • 特許-溶接情報の学習モデル生成方法、学習モデル、プログラム及び溶接システム 図3
  • 特許-溶接情報の学習モデル生成方法、学習モデル、プログラム及び溶接システム 図4
  • 特許-溶接情報の学習モデル生成方法、学習モデル、プログラム及び溶接システム 図5
  • 特許-溶接情報の学習モデル生成方法、学習モデル、プログラム及び溶接システム 図6
  • 特許-溶接情報の学習モデル生成方法、学習モデル、プログラム及び溶接システム 図7
  • 特許-溶接情報の学習モデル生成方法、学習モデル、プログラム及び溶接システム 図8
  • 特許-溶接情報の学習モデル生成方法、学習モデル、プログラム及び溶接システム 図9
  • 特許-溶接情報の学習モデル生成方法、学習モデル、プログラム及び溶接システム 図10
  • 特許-溶接情報の学習モデル生成方法、学習モデル、プログラム及び溶接システム 図11
  • 特許-溶接情報の学習モデル生成方法、学習モデル、プログラム及び溶接システム 図12
  • 特許-溶接情報の学習モデル生成方法、学習モデル、プログラム及び溶接システム 図13
  • 特許-溶接情報の学習モデル生成方法、学習モデル、プログラム及び溶接システム 図14
  • 特許-溶接情報の学習モデル生成方法、学習モデル、プログラム及び溶接システム 図15
  • 特許-溶接情報の学習モデル生成方法、学習モデル、プログラム及び溶接システム 図16
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-09-06
(45)【発行日】2024-09-17
(54)【発明の名称】溶接情報の学習モデル生成方法、学習モデル、プログラム及び溶接システム
(51)【国際特許分類】
   B23K 9/095 20060101AFI20240909BHJP
   G06N 3/04 20230101ALI20240909BHJP
   G06N 20/00 20190101ALI20240909BHJP
【FI】
B23K9/095 501A
B23K9/095 510A
B23K9/095 515A
G06N3/04
G06N20/00 130
【請求項の数】 10
(21)【出願番号】P 2020080006
(22)【出願日】2020-04-30
(65)【公開番号】P2021171810
(43)【公開日】2021-11-01
【審査請求日】2022-11-01
(73)【特許権者】
【識別番号】000001199
【氏名又は名称】株式会社神戸製鋼所
(74)【代理人】
【識別番号】100104880
【弁理士】
【氏名又は名称】古部 次郎
(74)【代理人】
【識別番号】100125346
【弁理士】
【氏名又は名称】尾形 文雄
(74)【代理人】
【識別番号】100166981
【弁理士】
【氏名又は名称】砂田 岳彦
(72)【発明者】
【氏名】古川 尚英
(72)【発明者】
【氏名】石崎 圭人
(72)【発明者】
【氏名】小池 武
(72)【発明者】
【氏名】木村 雄士
(72)【発明者】
【氏名】岡本 陽
(72)【発明者】
【氏名】尾崎 圭太
【審査官】黒石 孝志
(56)【参考文献】
【文献】特開2019-188437(JP,A)
【文献】特開2018-192524(JP,A)
【文献】国際公開第2020/039948(WO,A1)
【文献】特開2020-28889(JP,A)
【文献】特開2002-120066(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
B23K 9/00 - 9/32
G06N 3/04
G06N 20/00
(57)【特許請求の範囲】
【請求項1】
溶接の様子を撮像する視覚センサから出力される画像データが入力されると、当該画像データに対応する溶接情報を出力する学習モデルを生成する学習モデル生成方法であって、
前記学習モデルの生成に使用される前記画像データは、
少なくとも溶接ワイヤの突出し長さおよび溶接ワイヤと溶融池の位置関係に関する複数の設定について撮像され、
前記画像データは、溶融池、溶接ワイヤ、及び、アークの少なくとも1つを含み、
前記溶接情報は、溶融池の挙動に関する情報、溶接ワイヤの位置に関する情報、及び、アークに関する情報の少なくとも1つを含み、
前記画像データと当該画像データに対応する前記溶接情報とを教師データに用いて前記学習モデルを生成する
ことを特徴とする溶接情報の学習モデル生成方法。
【請求項2】
前記画像データは、ノズルの形状、前記画像データの明度、被溶接物の形状、コンタクトチップの形状、溶接電流、アーク電圧、溶接速度、ウィービング条件、溶接姿勢のうちの少なくとも1つに関する2つ以上の設定に対応する
ことを特徴とする請求項1に記載の溶接情報の学習モデル生成方法。
【請求項3】
前記突出し長さの設定は、少なくとも10~40mmの範囲の中から複数選択される
ことを特徴とする請求項1に記載の溶接情報の学習モデル生成方法。
【請求項4】
前記溶融池の挙動に関する情報は、
溶接が進行する方向に出現する前記溶融池の先端の1つ以上の位置の情報、及び、溶接が進行する方向に対して当該溶融池の左右の端部の位置の情報が含まれる
ことを特徴とする請求項1~3のいずれか1項に記載の溶接情報の学習モデル生成方法。
【請求項5】
前記溶接ワイヤの位置に関する情報は、
前記溶接ワイヤの先端位置の情報が含まれる
ことを特徴とする請求項1~3のいずれか1項に記載の溶接情報の学習モデル生成方法。
【請求項6】
前記アークに関する情報は、
前記アークの中心点の情報を含む
ことを特徴とする請求項1~3のいずれか1項に記載の溶接情報の学習モデル生成方法。
【請求項7】
溶接の様子を撮像する視覚センサから出力される画像データが入力されると、当該画像データに対応する溶接情報を出力する学習モデルであり、
前記学習モデルの生成に使用される前記画像データは、少なくとも溶接ワイヤの突出し長さおよび溶接ワイヤと溶融池の位置関係に関する複数の設定について撮像され、
前記画像データは、溶融池、溶接ワイヤ、及び、アークの少なくとも1つを含み、前記溶接情報は、溶融池の挙動に関する情報、溶接ワイヤの位置に関する情報、及び、アークに関する情報の少なくとも1つを含み、
前記学習モデルは、前記画像データと当該画像データに対応する前記溶接情報とを教師データに用いて生成される
ことを特徴とする学習モデル。
【請求項8】
溶接の様子を撮像する視覚センサから出力される画像データが入力されると、当該画像データに対応する溶接情報を出力する学習モデルを生成する機能をコンピュータに実現させるプログラムであり、
前記機能は、前記画像データと当該画像データに対応する前記溶接情報を教師データに使用し、
前記学習モデルの生成に使用される前記画像データは、少なくとも溶接ワイヤの突出し長さおよび溶接ワイヤと溶融池の位置関係に関する複数の設定について撮像され、
前記画像データは、溶融池、溶接ワイヤ、及び、アークの少なくとも1つを含み、
前記溶接情報は、溶融池の挙動に関する情報、溶接ワイヤの位置に関する情報、及び、アークに関する情報の少なくとも1つを含む、
ことを特徴とするプログラム。
【請求項9】
被溶接物を溶接する溶接装置と、
溶接の様子を撮像する視覚センサと、
前記視覚センサから出力される画像データが入力されると、当該画像データに対応する溶接情報を出力する学習モデルと、
前記視覚センサで撮像された前記画像データを前記学習モデルに入力した場合に出力される前記溶接情報を用いて、前記溶接装置の動きを制御する制御装置と
を有し、
前記学習モデルの生成に使用される前記画像データは、少なくとも溶接ワイヤの突出し長さおよび溶接ワイヤと溶融池の位置関係に関する複数の設定について撮像され、
前記画像データは、溶融池、溶接ワイヤ、及び、アークの少なくとも1つを含み、
前記溶接情報は、溶融池の挙動に関する情報、溶接ワイヤの位置に関する情報、及び、アークに関する情報の少なくとも1つを含み、
前記制御装置は、前記画像データと当該画像データに対応する前記溶接情報とを教師データに用いて前記学習モデルを生成する
ことを特徴とする溶接システム。
【請求項10】
前記画像データに対応する前記溶接情報を出力する前記学習モデルに加え、当該学習モデルから出力された当該溶接情報を入力し、当該溶接情報の補正信号を出力する別の学習モデルを設ける、
ことを特徴とする請求項9に記載の溶接システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、溶接情報の学習モデル生成方法、学習モデル、プログラム及び溶接システムに関する。
【背景技術】
【0002】
近年、溶接作業の分野では、最適な溶接条件を自動的に作成又は調整する技術が実現されている。例えば特許文献1には、最適な溶接条件を自動的に作成することを目的として、「少なくとも一つのアーク溶接条件を決定することを学習する機械学習装置(30)において、アーク溶接実行中またはアーク溶接実行後の少なくとも一方においてアーク溶接に関する少なくとも一つの物理量と、少なくとも一つのアーク溶接条件とから構成される状態変数を観測する状態観測部(31)と、該状態観測部により観測された少なくとも一つの物理量の変化と、少なくとも一つのアーク溶接条件を関連付けて学習する学習部(35)と、を具備する機械学習装置(30)」が開示されている。
【先行技術文献】
【特許文献】
【0003】
【文献】特開2017-30014号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献1は、物理量として、電流電圧計測部から得られる溶接電流の波形や溶接電圧の波形、撮像部により撮像された溶接部位の撮像データ、撮像データから抽出される情報を使用する。なお、撮像データから抽出される情報とは、溶接ビードの外観、ビードの余盛り高さ、ビード幅、スパッタの発生量を指している。
ところで、溶接現象は、溶接電流、アーク電圧、チップ-母材間距離(以下「突出し長さ」ともいう)、被溶接物(以下「ワーク」ともいう)の形状、溶接姿勢、視覚センサの位置その他のアーク溶接条件(以下「溶接条件」という)の組み合わせの違いにより種々変化する。
【0005】
また、溶接現象の変化は、組み合わせの違いだけでなく、個々の溶接条件の設定の違いによっても生じる。
しかるに、特許文献1では、個々の溶接条件の設定の違いが溶接現象に与える影響が言及されていない。
このため、特許文献1の場合には、学習モデルの学習に用いた溶接条件の設定と、現実の溶接で使用する溶接条件の設定が異なる場合、溶接現象から自動的に抽出される物理量(以下「溶接情報」ともいう)の精度が安定せず、誤って抽出された溶接情報に基づいて誤った処理が実行される可能性がある。
【0006】
本発明は、実際の溶接で設定される種々の溶接条件によらず、撮像された画像データから高い精度で安定的に溶接情報の抽出が可能な学習モデルを生成することを目的とする。
【課題を解決するための手段】
【0007】
かかる目的のもと、1つの発明として、溶接の様子を撮像する視覚センサから出力される画像データが入力されると、画像データに対応する溶接情報を出力する学習モデルを生成する学習モデル生成方法であって、学習モデルの生成に使用される画像データは、少なくとも溶接ワイヤの突出し長さおよび溶接ワイヤと溶融池の位置関係に関する複数の設定について撮像され、画像データは、溶融池、溶接ワイヤ、及び、アークの少なくとも1つを含み、溶接情報は、溶融池の挙動に関する情報、溶接ワイヤの位置に関する情報、及び、アークに関する情報の少なくとも1つを含み、画像データと画像データに対応する溶接情報とを教師データに用いて学習モデルを生成することを特徴とする溶接情報の学習モデル生成方法を提供する。
【0008】
なお、画像データはノズルの形状、画像データの明度、被溶接物の形状、コンタクトチップの形状、溶接電流、アーク電圧、溶接速度、ウィービング条件、溶接姿勢のうちの少なくとも1つに関する2つ以上の設定に対応することが好ましい。
また突出し長さの設定は、少なくとも10~40mmの範囲の中から複数選択されることが好ましい。
また、溶融池の挙動に関する情報は、溶接が進行する方向に出現する溶融池の先端の1つ以上の位置の情報、及び、溶接が進行する方向に対して溶融池の左右の端部の位置の情報が含まれることが好ましい。
また、溶接ワイヤの位置に関する情報は、溶接ワイヤの先端位置の情報が含まれることが好ましい。
また、アークに関する情報は、アークの中心点の情報を含むことが好ましい。
【0009】
別の発明として、溶接の様子を撮像する視覚センサから出力される画像データが入力されると、画像データに対応する溶接情報を出力する学習モデルであり、学習モデルの生成に使用される画像データは、少なくとも溶接ワイヤの突出し長さおよび溶接ワイヤと溶融池の位置関係に関する複数の設定について撮像され、画像データは、溶融池、溶接ワイヤ、及び、アークの少なくとも1つを含み、溶接情報は、溶融池の挙動に関する情報、溶接ワイヤの位置に関する情報、及び、アークに関する情報の少なくとも1つを含み、学習モデルは、画像データと画像データに対応する溶接情報とを教師データに用いて生成されることを特徴とする学習モデルを提供する。
【0010】
更に別の発明として、溶接の様子を撮像する視覚センサから出力される画像データが入力されると、画像データに対応する溶接情報を出力する学習モデルを生成する機能をコンピュータに実現させるプログラムであり、機能は、画像データと画像データに対応する溶接情報を教師データに使用し、学習モデルの生成に使用される画像データは、少なくとも溶接ワイヤの突出し長さおよび溶接ワイヤと溶融池の位置関係に関する複数の設定について撮像され、画像データは、溶融池、溶接ワイヤ、及び、アークの少なくとも1つを含み、溶接情報は、溶融池の挙動に関する情報、溶接ワイヤの位置に関する情報、及び、アークに関する情報の少なくとも1つを含む、ことを特徴とするプログラムを提供する。
【0011】
更に別の発明として、被溶接物を溶接する溶接装置と、溶接の様子を撮像する視覚センサと、視覚センサから出力される画像データが入力されると、画像データに対応する溶接情報を出力する学習モデルと、視覚センサで撮像された画像データを学習モデルに入力した場合に出力される溶接情報を用いて、溶接装置の動きを制御する制御装置とを有し、学習モデルの生成に使用される画像データは、少なくとも溶接ワイヤの突出し長さおよび溶接ワイヤと溶融池の位置関係に関する複数の設定について撮像され、画像データは、溶融池、溶接ワイヤ、及び、アークの少なくとも1つを含み、溶接情報は、溶融池の挙動に関する情報、溶接ワイヤの位置に関する情報、及び、アークに関する情報の少なくとも1つを含み、制御装置は、画像データと画像データに対応する溶接情報とを教師データに用いて学習モデルを生成することを特徴とする溶接システムを提供する。
【0012】
また、この溶接システムは、画像データに対応する溶接情報を出力する学習モデルに加え、学習モデルから出力された溶接情報を入力し、溶接情報の補正信号を出力する別の学習モデルを設けることが好ましい
【発明の効果】
【0013】
本発明によれば、実際の溶接で設定される種々の溶接条件によらず、撮像された画像データから高い精度で安定的に溶接情報の抽出が可能な学習モデルを生成できる。
【図面の簡単な説明】
【0014】
図1】実施の形態の説明で使用する自動溶接システムの構成例を示す図である。
図2】視覚センサの配置位置を説明する斜視図である。
図3】溶接ロボットの動作を制御するロボット制御装置の構成例を説明する図である。
図4】データ処理装置の構成例を説明する図である。
図5】学習モデルの生成プロセスを概念的に説明する図である。
図6】教示作業に用いる画面の一例を説明する図である。
図7】学習モデルの教師あり学習を説明するフローチャートである。
図8】ロボット制御装置及び電源装置の処理動作を説明するフローチャートである。
図9】データ処理装置による補正情報の生成処理を説明するフローチャートである。
図10】教師データの生成に用いる溶接条件の一例を説明する図である。
図11】具体例1に対応する溶接情報の出力例と比較例1に対応する溶接情報の出力例を説明する図である。
図12】教師データの生成に用いる溶接条件の他の一例を説明する図である。
図13】カメラの絞り値がF=8の場合における具体例2の出力例を説明する図である。
図14】現実の溶接環境で用いられるカメラの絞り値がF=15の場合における具体例2の出力例を説明する図である。
図15】カメラの絞り値がF=8の場合における比較例2の出力例を説明する図である。
図16】現実の溶接環境で用いられるカメラの絞り値がF=15の場合における比較例2の出力例を説明する図である。
【発明を実施するための形態】
【0015】
以下、添付図面を参照して、本発明に係る溶接情報の学習モデル生成方法、学習モデル、プログラム及び溶接システムの実施の形態を説明する。なお、各図は、本発明の説明のために作成されたものであり、本発明の実施の形態は、図示の内容に限らない。
【0016】
<自動溶接システムの構成>
図1は、実施の形態の説明に使用する自動溶接システム1の構成例を示す図である。
図1に示す自動溶接システム1は、溶接ロボット10と、ロボット制御装置20と、電源装置30と、視覚センサ40と、データ処理装置50を備えている。
本実施の形態における自動溶接システム1は、溶接位置の画像と対応する画像についてオペレータが教示した溶接情報とを教師データに用いて学習モデルを生成する機能と、生成された学習モデルを用いてアーク溶接を自動制御する機能とを有している。なお、学習モデルの生成には、ディープラーニングを使用する。
【0017】
図1に示す溶接ロボット10は、6軸の多関節ロボットであり、その先端部にはアーク溶接用の溶接トーチ11が取り付けられている。なお、アーク溶接には、例えばMIG(Metal InertGas)溶接やMAG(=Metal Active Gas)溶接があり、本実施の形態ではMAG溶接を選択している。
また、溶接ロボット10は例えば可搬型の小型ロボットを採用しても良い。
【0018】
溶接トーチ11には、ワイヤ送給装置12から溶接ワイヤ13が供給される。溶接ワイヤ13は、溶接トーチ11の先端から送り出される。
電源装置30は電源装置であり、溶接ワイヤ13に電力を供給する。この電力により、溶接ワイヤ13とワークWとの間にはアーク電圧が印加され、アークが発生する。電源装置30には、溶接中の溶接ワイヤ13からワークWに流れる溶接電流を検出する不図示の電流センサが設けられている。
【0019】
電源装置30は、不図示のCPU(=Central Processing Unit)とメモリとを有し、電源制御用のコンピュータプログラムをCPUが実行することにより、溶接ワイヤ13に印加する電力を制御する。
電源装置30は、ワイヤ送給装置12にも接続され、CPUが、溶接ワイヤ13の送給速度を制御する。
【0020】
視覚センサ40は、例えばCCD(=Charge Coupled Device)カメラである。
図2は、視覚センサ40の配置位置を説明する斜視図である。本実施の形態の場合、ワークWは、突合せ継手である。ワークWは、2枚の金属板であり、開先を隔てて突き合わされている。なお、突き合わされている2枚の金属板の裏面側には、セラミックス製の裏当て材14が取り付けられている。なお、裏面側にはメタル系の裏当て材を使用してもよいし、裏当て材無しでもよい。
突合せ継手では、開先に沿って一方向にアーク溶接が行われる。
以下では、溶接が進行する方向を「前方」という。図2では、溶接が進行する方向を矢印で示している。このため、溶接トーチ11は、視覚センサ40の後方に位置している。
また、本実施の形態では、視覚センサ40から後方を見る場合に右手が位置する側を「右方」、前方を見る場合に左手が位置する側を「左方」という。
【0021】
本実施の形態におけるワークWは、溶接を行う側の表面が鉛直上方を向くように水平に設置されている。このため、溶接ロボット10は、ワークWの上方側からワークWを溶接する。
図2に示すように、視覚センサ40は、ワークWの溶接位置に対して斜め上方に設置される。視覚センサ40の撮像範囲は、ワークWの溶接位置を含み、アーク溶接中における溶接位置の画像を撮像する。この画像には、溶融池と、溶接ワイヤ13と、アークが含まれる。
本実施の形態における視覚センサ40は、例えば1024×768ピクセルの静止画像を連続して撮像することができる。換言すると、視覚センサ40は、溶接画像を動画像として撮像することが可能である。
【0022】
<ロボット制御装置の構成>
図3は、溶接ロボット10の動作を制御するロボット制御装置20の構成例を説明する図である。
ロボット制御装置20は、装置全体を制御するCPU201と、データを記憶するメモリ202と、複数のスイッチを含む操作パネル203と、教示作業で使用する教示ペンダント204と、入出力部205と、通信部206とを有している。
メモリ202には、溶接ロボット10の制御に用いられる制御プログラム202Aが記憶されている。CPU201は、制御プログラム202Aの実行を通じ、溶接ロボット10による溶接動作を制御する。
【0023】
ロボット制御装置20に対する指示の入力には、操作パネル203と教示ペンダント204が用いられる。オペレータは、教示ペンダント204を使用して、教示プログラムを入力することができる。
ロボット制御装置20は、教示ペンダント204から入力された教示プログラムに従って溶接ロボット10の溶接動作を制御する。もっとも、教示プログラムは、不図示のコンピュータを用いて作成することも可能である。
【0024】
入出力部205には、電源装置30と溶接ロボット10の駆動回路が接続されている。電源装置30からは、例えば不図示の電流センサによって検出された溶接電流の電流値が入出力部205を通じてCPU201に与えられる。また、CPU201は、制御プログラム202Aに基づく制御信号を溶接ロボット10の駆動回路に出力する。
通信部206は、有線又は無線通信用の通信モジュールである。通信部206は、電源装置30及びデータ処理装置50とのデータ通信に使用される。
【0025】
ロボット制御装置20は、溶接ロボット10の各軸の制御により、溶接トーチ11の速度も制御する。本実施の形態の場合、ロボット制御装置20は、画像認識の結果を用いて溶接トーチ11の速度を制御する。もっとも、溶接トーチ11の速度が一定になるように制御してもよい。
【0026】
ロボット制御装置20は、溶接ロボット10のウィービング動作も制御する。ウィービング動作とは、溶接の進行方向に対して交差する方向に溶接トーチ11を交互に揺動させることをいう。ロボット制御装置20は、設定された周期、振幅、溶接速度に応じてウィービング動作を制御する。
ロボット制御装置20は、ウィービング動作と共に、溶接線倣い制御を実行する。溶接線倣い制御とは、溶接線に沿ってビードが形成されるように、溶接トーチ11の左右の位置を制御する動作である。
【0027】
<データ処理装置の構成>
図4は、データ処理装置50の構成例を説明する図である。
データ処理装置50は、例えばコンピュータで構成される。コンピュータは、本体510と、入力部520と、表示部530とを備えている。
本体510は、CPU511と、ROM512と、RAM513と、不揮発性記憶装置514と、入出力インタフェース515と、通信インタフェース516と、映像出力インタフェース517を有している。
CPU511、ROM512、RAM513、不揮発性記憶装置514、入出力インタフェース515、通信インタフェース516、映像出力インタフェース517は、バスや信号線によって相互に接続されている。
【0028】
不揮発性記憶装置514には、溶接現象を撮像した画像データと画像データに対してオペレータが教示した溶接情報とを教師データとするディープラーニングを実行する学習プログラム514Aと、学習プログラム514Aの実行を通じて生成された学習モデル514Bと、学習モデル514Bを用いてアーク溶接に関する溶接情報を生成する溶接情報生成プログラム514Cと、溶接位置の画像データ514Dが記憶されている。
本実施の形態における学習モデル514Bは、畳み込みニューラルネットワーク(Convolutional Neural Network)で構成される。この他、不揮発性記憶装置514には、オペレーティングシステムやアプリケーションプログラムもインストールされている。
【0029】
CPU511によるプログラムの実行により、データ処理装置50は、各種の機能を実現する。
本実施の形態の場合、データ処理装置50は、学習モデルを生成する機能と、実際の溶接の実行時に画像データを入力し、溶接情報を出力する機能を実現する。これの機能の内容については後述する。なお、学習モデルを生成する機能と、実際の溶接の実行時に画像データを入力し、溶接情報を出力する機能に合わせてデータ処理装置50を分けてもよい。汎用性の観点から見ると、それぞれの機能に合わせて、データ処理装置50を分けることが好ましい。
ROM512には、CPU511に実行されるBIOS(=Basic Input Output System)等が記憶されている。RAM513は、不揮発性記憶装置514から読み出されたプログラムの作業領域として使用される。
【0030】
入出力インタフェース515は、キーボード、マウス等で構成される入力部520に接続されている。入出力インタフェース515には、視覚センサ40も接続されている。視覚センサ40から出力された画像データが入出力インタフェース515を介してCPU511に与えられる。
通信インタフェース516は、有線又は無線通信用の通信モジュールである。映像出力インタフェース517は、例えば液晶ディスプレイや有機EL(=Electro-Luminescence)ディスプレイで構成される表示部530に接続されており、CPU511から与えられた映像データに応じた映像信号を表示部530に出力する。
【0031】
<自動溶接システムの動作>
以下では、自動溶接システム1の動作を説明する。
【0032】
<学習モデルの生成>
ここでは、学習モデル514Bの生成について説明する。学習モデル514Bは、学習プログラム514Aの実行により生成される。
図5は、学習モデル514Bの生成プロセスを概念的に説明する図である。本実施の形態における学習モデル514Bは、畳み込みニューラルネットワークにより構成されており、複数の畳み込み層と、複数のプーリング層と、複数の全結合層とを含んでいる。
【0033】
学習モデル514Bは、視覚センサ40から出力される画像データを入力とし、画像データに現れる様々な溶接情報を出力する。
学習モデル514Bに入力される画像データには、溶融池、溶接ワイヤ13(図1参照)及びアークが含まれる。以下、この画像データを「溶接画像」という。
本実施の形態の場合、溶接条件の設定を変えた溶接を行い、各溶接の様子を撮像した溶接画像を用意する。
本実施の形態における溶接条件には、例えば溶接ワイヤ13の突出し長さ、画像データの明度(F値)、ワークWの形状、コンタクトチップの形状、溶接電流、アーク電圧、溶接速度、ウィービング条件、ワークWに対する溶接ワイヤ13の姿勢(溶接姿勢)がある。
例えばコンタクトチップの形状には、ストレートノズルとテーパーノズルがある。また、溶接姿勢を規定する情報には、例えば後退角、前進角、開先に対する溶接線のズレがある。
【0034】
本実施の形態では、溶接条件のうち「突出し長さ」の設定を変えた複数の溶接を行い、各溶接時の様子を撮像した溶接画像を教師データとして用意する。例えば突出し長さが22mmの場合の溶接画像と、27mmの場合の溶接画像と、32mmの場合の溶接画像を用意する。また、これらの溶接画像についてオペレータが教示した溶接情報を教師データとして用意する。
なお、突出し長さ以外の溶接条件についても設定を変えて溶接を行い、各溶接時の様子を撮像した溶接画像とその溶接画像についてオペレータが教示した溶接情報を用意してもよい。
【0035】
本実施の形態では、溶接情報として、溶接ワイヤ13の先端(ワイヤ先端)、アークの中心点(アーク中心)、溶融池の左右の先端の位置、溶融池の左右の端部の位置を使用する。
教師データとして用いる溶接情報の入力は、教示作業を支援する操作画面の指示に従い、オペレータが溶接画像上の特定の位置を指定することで行われる。
図6は、教示作業に用いる画面の一例を説明する図である。図6に示す溶接画像には、溶融池15、溶接ワイヤ13、アーク16が含まれている。図6では、溶融池15を網掛けで示す。
【0036】
本実施の形態の場合、溶接情報として、アーク中心の座標位置(ArcX,ArcY)、ワイヤ先端の座標位置(WireX,WireY)、溶融池先端左端の座標位置(Pool_Lead_Lx,Pool_Lead_Ly)、溶融池先端右端の座標位置(Pool_Lead_Rx,Pool_Lead_Ry)、溶融池左端の座標位置(Pool_Lx)、溶融池右端の座標位置(Pool_Rx)がオペレータにより教示される。
溶接情報の入力は、画面上の特定の位置をオペレータが指示することで実行される。
溶接ワイヤ13とアークの境界を与える座標は、ワイヤ先端の位置座標の一例である。
また、溶融池先端左端と、溶融池先端右端と、溶融池左端と、溶融池右端は、溶融池15の挙動に関する情報の一例である。なお、溶融池左端と溶融池右端が分かると、溶融池15の幅を計算できる。
【0037】
図7は、学習モデル514Bの教師あり学習を説明するフローチャートである。図中に示す記号のSはステップを意味する。
教師あり学習の実行時、データ処理装置50(図1参照)のCPU511(図4参照)は、溶接条件の少なくとも1つについて設定を変えて行った溶接を撮像した画像データとその画像データについて教示された溶接情報を教師データとして受け付ける(ステップ1)。
前述したように、溶接情報は、オペレータにより事前に用意される。本実施の形態の場合、教師データとしての溶接画像には、例えば120×100ピクセルにサイズが縮小された濃淡画像を使用する。
【0038】
次に、CPU511は、教師データとしての濃淡画像を学習モデル514Bに入力し、出力される溶接情報が教師データとしての溶接情報と一致するように教師あり学習を実行する(ステップ2)。具体的には、誤差フィードバックとしてバックプロパゲーション処理等が実行され、学習モデル514Bの各層及び層間のパラメータが調整される。
次に、CPU511は、終了条件を満足するか否かを判定する(ステップ3)。終了条件とは、例えば直近所定個の教師データにおける誤差平均が所定値未満であることをいう。
終了条件を満足しない場合(ステップ3で否定結果)、CPU511は、ステップ2に戻り、教師あり学習を継続する。一方、終了条件を満足する場合(ステップ3で肯定結果)、CPU511は、学習モデル514Bの生成を終了する。
【0039】
<生成された学習モデルを用いた実際の溶接>
以下、実際の溶接時における自動溶接システム1の溶接動作について説明する。
アーク溶接を行う場合、オペレータは、ロボット制御装置20、電源装置30及びデータ処理装置50のそれぞれを起動する。
ロボット制御装置20が溶接ロボット10の動きを制御し、電源装置30が溶接を実行する。また、データ処理装置50は、視覚センサ40により撮像される溶接画像を監視し、アーク溶接に関する溶接情報を逐次算出する。
本実施の形態では、溶接情報を、ワイヤ先端の位置、アーク中心、溶融池先端右端および左端位置、および、溶融池右端および左端位置とする。
【0040】
図8は、ロボット制御装置20及び電源装置30の処理動作を説明するフローチャートである。図中に示す記号のSはステップを意味する。
オペレータは、アーク溶接を開始する場合、教示ペンダント204(図3参照)を操作して、ロボット制御装置20に対して教示プログラム、各種設定値及び溶接開始指示を入力する。ここでの教示プログラムは、溶接ロボット10(図1参照)の動き等を規定する。
ロボット制御装置20のCPU201(図3参照)は、教示プログラム、各種設定値及び溶接開始指示を受け付ける(ステップ11)。
【0041】
CPU201は、電源装置30に対して、溶接開始(溶接電力の供給開始)を指令する(ステップ12)。電源装置30は、この指令を受信し(ステップ13)、電源装置30に内蔵される電源回路を制御して溶接を開始する(ステップ14)。これにより、溶接ワイヤ13(図1参照)とワークW(図1参照)との間に溶接電圧が印加され、アークが発生する。
次にCPU201は、溶接ロボット10に制御信号を送信し、溶接制御を実行する(ステップ15)。溶接制御は、自動溶接制御(ステップ151)、ウィービング動作の制御(ステップ152)及び溶接線倣い制御(ステップ153)を含む。
自動溶接制御では、CPU511が自動的に溶接方向に溶接トーチ11を移動させながら、溶接速度、溶接電流又はアーク電圧の少なくとも一つを制御するための補正信号を電源装置30に送信し、電源装置30が補正信号にしたがい溶接を実行する。なお、制御の容易性の観点から自動溶接制御において、溶接速度の制御を含むことが好ましく、本実施形態では溶接速度の制御のみを行っている。
【0042】
CPU201は、溶接動作の停止が必要か否かを判定する(ステップ16)。溶接動作の停止が不要な場合(ステップ16で否定結果)、ロボット制御装置20は、データ処理装置50から溶接情報を受信し(ステップ17)、ステップ15へ戻る。ステップ15に戻ったCPU201は、受信した溶接情報に基づいて溶接制御を実行する。
例えばオペレータからの溶接停止の指示の受け付け、溶接ロボット10に設けられたセンサによる溶接終了位置の検出、又は、溶接異常の検出、又は、両方の検出があった場合(ステップ16で肯定結果)、CPU201は、溶接動作の停止が必要と判断する。
【0043】
この場合、CPU201は溶接制御を停止し(ステップ18)、電源装置30に対して溶接停止を指令する(ステップ19)。溶接の停止は、溶接電力の供給の停止により実現される。
また、CPU201は、データ処理装置50に対して溶接情報の生成停止を指令する(ステップ20)。
一方、電源装置30は、溶接停止の指令を受信すると(ステップ21)、不図示のCPUにより電源回路を制御して溶接を停止する(ステップ22)。これにより、ロボット制御装置20及び電源装置30の動作が終了する。
【0044】
なお、ロボット制御装置20のCPU201がステップ17で受信する溶接情報は以下のように生成される。
図9は、データ処理装置50による溶接情報の生成処理と、溶接情報に基づいて溶接制御を実行し、各制御因子の補正信号を電源装置30に送信するまでを説明するフローチャートである。なお、各制御因子とは、溶接条件を指し、例えば、溶接速度、溶接電流、アーク電圧、ウィービング動作、又は溶接線倣い等が挙げられる。図中に示す記号のSはステップを意味する。
データ処理装置50のCPU511は、自動溶接が実行されている間、視覚センサ40から溶接位置を撮像した溶接画像を受信する(ステップ31)。
次に、CPU511は、受信した溶接画像を縮小し、濃淡画像に変換する(ステップ32)。なお、CPU511は、溶接画像のサイズを120×100ピクセルに縮小する。
【0045】
次に、CPU511は、縮小された溶接画像を学習モデル514Bに入力し、学習モデル514Bから出力される溶接情報を取得する(ステップ33)。
学習モデル514Bからは、アーク中心の座標位置(ArcX,ArcY)、ワイヤ先端の座標位置(WireX,WireY)、溶融池先端左端の座標位置(Pool_Lead_Lx,Pool_Lead_Ly)、溶融池先端右端の座標位置(Pool_Lead_Rx,Pool_Lead_Ry)、溶融池左端の座標位置(Pool_Lx)、溶融池右端の座標位置(Pool_Rx)が出力される。
【0046】
CPU511は、取得された溶接情報に基づいて、溶接制御を行い、各制御因子の補正信号を算出する(ステップ34)。
本実施の形態の場合、補正信号として、溶接トーチ11の左右位置補正量ΔX、溶接トーチ11の速度補正量ΔV、ウィービング動作の幅(以下「ウィービング幅」という)の設定値wが算出される。
溶接トーチ11の左右位置補正量ΔXは、次式(1)により算出される。
PoolCenX=(Pool_Lx+Pool_Rx)/2
ΔX=PoolCenX-X0 (1)
ただし、X0は溶融池の中心の左右方向位置の基準値であり、予め設定された値である。
算出された左右位置補正量ΔXは、溶融池像の中心PoolCenXがX0に一致させるように溶接トーチ11を左右方向に移動させるために用いられる。
【0047】
速度補正量ΔVを算出する際は、まずΔLを次式(2)により算出する。
LeadY=(Pool_Lead_Ly+Pool_Lead_Ry)/2-ArcY
ΔL=LeadY-L0 (2)
ただし、L0は、溶融池先端位置とアーク中心の距離であり、最も品質がよい裏波ビードを形成できる値に予め設定される。
LeadYも溶融池先端位置とアーク中心の距離である。ただし、LeadYは、溶接画像から抽出される画像特徴情報であるPool_Lead_Ly、Pool_Lead_Ry及びArcYを用いる前式(2)により算出される。
ΔLは、LeadYとL0との差分である。距離ΔLが算出されると、変換係数βを用いる次式(3)により速度ΔVが算出される。
ΔV=ΔL×β (3)
【0048】
ウィービング幅の設定値wは、次式(5)又は(6)により算出される。
Leadw=Pool_Lead_Rx-Pool_Lead_Lx
IF Leadw < w0 THEN w=0 (4)
IF Leadw ≧ w0 THEN w=(Leadw-α) (5)
ただし、w0は開先のギャップ幅であり、ウィービングが必要となる最低限の値に予め設定される。
【0049】
Leadwもギャップ幅を示しており、これは溶接画像から抽出された画像特徴情報の座標位置(Pool_Lead_Lx,Pool_Lead_Rx)のそれぞれが開先の左右位置に相当することから上記のようにして算出される値である。
上記の(4)式より、ギャップ幅Leadwがw0未満である場合、ウィービング幅の設定値wは0となり、ウィービング動作は行われない。
上記の(5)式より、ギャップ幅Leadwがw0以上である場合、ウィービング幅の設定値wはギャップ幅Leadwよりαだけ小さい値とされる。なお、αは予め設定される値である。
【0050】
ステップ34のプロセスは別途学習モデル化してもよく、例えば、溶接情報と溶接結果情報等を関連付けた情報を教師データに用いて学習モデルを生成し、溶接情報をこの学習モデルへ入力し、最適な溶接結果になるように、各制御因子の補正信号を出力するようにしても良い。ここで溶接結果情報とは、溶接電流の波形データ、アーク電圧の波形データ、溶接時のアーク音データ、ビード形状データ、スパッタ発生データ、ヒューム発生データ、溶接欠陥データ等が挙げられ、これらデータの少なくとも一つを溶接結果情報として取り扱うことが好ましい。
【0051】
ステップ34による補正信号の算出が完了すると、CPU511は、ロボット制御装置20に、補正信号を送信する(ステップ35)。
次にCPU511は、ロボット制御装置20から補正信号の生成の停止指令を受信したか否かを判定する(ステップ36)。
停止司令を受信していない場合(ステップ36で否定結果)、CPU511は、ステップ31へ戻る。
一方、停止指令を受信した場合(ステップ36で肯定結果)、CPU511は、補正信号の生成処理を終了する。
【0052】
以上のように、本実施の形態に係る自動溶接システム1では、溶接条件の少なくとも1つについて設定を変えて撮像した溶接画像とその溶接画像についてオペレータが教示した溶接情報とを教師データに用いてディープラーニングを実行して学習モデル514Bを生成するので、実際の溶接で設定される種々の溶接条件によらず、信頼度の高い溶接情報が安定的に出力される。すなわちロバスト性に飛んだ学習モデルが生成される。
【0053】
<具体例>
以下では、実施の形態で説明した手法で生成された学習モデル514Bを用いることにより溶接情報の認識精度が向上することを説明する。
(1)具体例1
図10は、教師データの生成に用いる溶接条件の一例を説明する図である。図10においては、実施の形態で説明する手法に対応する教師データを具体例1といい、従前の手法に対応する教師データを比較例1という。
具体例1の場合、教師データとして計5400枚の溶接画像を使用する。この枚数は、比較例1で使用する溶接画像の枚数の2倍である。
【0054】
具体例1の溶接画像は、以下に示す2つの点で、比較例1の溶接画像と異なっている。
相違点の1つ目は、溶接条件の1つである突出し長さについて2種類の設定を用いる点である。比較例1の場合、突出し長さが25mmの状態で撮像された溶接画像だけであるが、具体例1の場合には、22mmの状態で撮像された溶接画像が追加されている。
相違点の2つ目は、溶接ワイヤ13(図1参照)が溶融池の右側に位置する場合と左側に位置する場合の溶接画像を追加する点である。
もっとも、比較例1の場合、教師データとして用いる溶接画像内における溶接ワイヤ13の位置を特定していないので、溶接ワイヤ13が溶融池の右側に位置する状態で撮像された溶接画像も溶接ワイヤ13が溶融池の左側に位置する状態で撮像された溶接画像も含まれている可能性がある。ただし、該当位置の枚数は、具体例1に比べると格段に少なくなる。
【0055】
図11は、具体例1に対応する溶接情報の出力例と比較例1に対応する溶接情報の出力例を説明する図である。
図11には、6つの溶接画像が示されている。上段の3つの溶接画像は溶接ワイヤ13が溶融池の右に位置する状態に対応し、下段の3つの溶接画像は溶接ワイヤ13が溶融池の左に位置する状態に対応する。また、左側の2列の溶接画像は比較例1に対応し、右側の1列の溶接画像は具体例1に対応する。
各溶接画像には、学習モデル514Bを用いて認識された、アーク中心、ワイヤ先端、溶融池先端左端、溶融池先端右端、溶融池左端、溶融池右端の位置が丸印で示されている。
【0056】
比較例1の場合、いずれの溶接画像でも、ワイヤ先端の認識位置を示す丸印が、溶接ワイヤ13の実際の先端とは異なる位置に現れている。このことは、ワイヤ先端の認識に誤りがあることを意味する。このため、図11には、比較例1の欄にNG1とNG2が付されている。
一方、具体例1の場合、いずれの溶接画像でも、ワイヤ先端の認識位置を示す丸印と溶接ワイヤ13の先端とが重なっている。すなわち、具体例1の場合には、正しい位置が認識されている。なお、具体例1の場合には、溶接ワイヤ13が溶融池に対してどの位置にある場合にも、ワイヤ先端の認識の精度の向上が確認されている。
また、比較例1の場合には、学習モデルの生成に使用した突出し長さと実際の溶接環境で用いる突出し長さが異なると、ワイヤ先端の認識精度の低下が確認されたが、具体例の場合には、溶接環境で用いる突出し長さによらず精度の高い認識が可能である。
【0057】
(2)具体例2
図12は、教師データの生成に用いる溶接条件の他の一例を説明する図である。図12においては、実施の形態で説明する手法に対応する教師データを具体例2といい、従前の手法に対応する教師データを比較例2という。
具体例2の溶接画像は、対応する溶接条件の一部が、具体例1の溶接画像と異なっている。具体例2も、溶接ワイヤ13(図1参照)が溶融池の右側に位置する場合と左側に位置する場合の溶接画像を教師データとして使用するが、溶接条件である露光時間と開先ギャップについても複数の設定を考慮している。
【0058】
例えば比較例2の露光時間は1,100μsの1種類であるが、具体例2の露光時間は2,000μs、1,100μs、800μsの3種類である。
また、比較例2の開先ギャップは5mmのみであるが、具体例2の開先ギャップは3~10mmの範囲の100パターンを考慮している。なお、開先ギャップの値はランダムに決められている。
なお、具体例2で用いる溶接画像と比較例2で用いるカメラの絞り値はいずれもF=8である。
【0059】
図13は、カメラの絞り値がF=8の場合における具体例2の出力例を説明する図である。
図13には、6つの溶接画像が示されている。上段の3つの溶接画像は開先ギャップが狭めの場合であり、下段の3つの溶接画像は開先ギャップが広めの場合である。また、左端の列は露光時間が2,000μsの場合であり、真ん中の列は露光時間が1,100μsの場合であり、右端の列は露光時間が800μsの場合である。
いずれの溶接画像についても、アーク中心、ワイヤ先端、溶融池先端左端、溶融池先端右端、溶融池左端、溶融池右端の位置が正しく認識されている。
図14は、現実の溶接環境で用いられるカメラの絞り値がF=15の場合における具体例2の出力例を説明する図である。図14の場合、左端の列は露光時間が6,000μsの場合であり、真ん中の列は露光時間が5,000μsの場合であり、右端の列は露光時間が4,000μsの場合である。
図14の場合、露光時間とカメラの絞り値Fのいずれもが、学習モデル514Bの学習に使用した溶接条件の設置とは異なっている。しかし、図14に示すいずれの溶接画像でも、溶接情報のいずれもが正確に認識されている。
【0060】
図15は、カメラの絞り値がF=8の場合における比較例2の出力例を説明する図である。図15には、図13との対応部分に対応する符号を付して示している。すなわち、上段の3つの溶接画像は開先ギャップが狭めの場合であり、下段の3つの溶接画像は開先ギャップが広めの場合である。また、左端の列は露光時間が2,000μsの場合であり、真ん中の列は露光時間が1,100μsの場合であり、右端の列は露光時間が800μsの場合である。
比較例2の場合、いずれの溶接画像にも、アーク中心、ワイヤ先端、溶融池先端左端、溶融池先端右端、溶融池左端、溶融池右端の位置のいずれかの認識にずれが認められる。例えば露光時間が2,000μsの場合、開先ギャップの幅に関係無く、認識されたアーク中心やワイヤ先端が正しい位置から大きくずれている。また、溶融池先端右端と左端も同様に正しい位置から大きくずれている。
【0061】
図16は、現実の溶接環境で用いられるカメラの絞り値がF=15の場合における比較例2の出力例を説明する図である。図16には、図14との対応部分に対応する符号を付して示している。すなわち、上段の3つの溶接画像は開先ギャップが狭めの場合であり、下段の3つの溶接画像は開先ギャップが広めの場合である。また、左端の列は露光時間が6,000μsの場合であり、真ん中の列は露光時間が5,000μsの場合であり、右端の列は露光時間が4,000μsの場合である。
図16の場合も、アーク中心、ワイヤ先端、溶融池先端左端、溶融池先端右端、溶融池左端、溶融池右端の位置のいずれかの認識にずれが認められる。例えば露光時間が6,000μsで開先ギャップが狭い場合、認識された溶融池先端右端と左端、溶融池右端と左端は正しい位置から大きくずれている。また、露光時間が6,000μsでも開先ギャップが広い場合、認識されたアーク中心とワイヤ先端は正しい位置から大きくずれている。
このように比較例2の場合、現実の溶接環境で用いる溶接条件が学習時に用いた溶接条件と異なる場合に、認識の精度が大きく低下する。
【0062】
(3)まとめ
以上2つの具体例を用いて説明したように、学習モデル514Bの学習に用いる教師データとして、少なくとも1つの溶接条件の複数の設定に対応する溶接画像を用意することにより、1つの溶接条件の1つの設定に対応する溶接画像を教師データに用いる場合に比して、使用環境における露光条件の変化が溶接情報の認識精度に与える影響が少なくなる。
その結果、認識の結果を用いる溶接の制御が適正になり、自動溶接による品質の向上が実現される。
【0063】
<他の実施の形態>
以上、本発明の実施の形態について説明したが、本発明の技術的範囲は上述の実施の形態に記載の範囲に限定されない。上述の実施の形態に、種々の変更又は改良を加えたものも、本発明の技術的範囲に含まれることは、特許請求の範囲の記載から明らかである。
(1)例えば前述の実施の形態では、アーク溶接機の一例として溶極式のMIG溶接やMAG溶接を例示したが、不活性ガスの中でアークを発生させるTIG(=Tungsten Inert Gas)溶接を用いてもよい。この場合には、溶接条件として溶加材の形状や姿勢の設定を変更した状態で撮像した溶接画像を追加で用意してもよい。また、アークを発生させない溶接機にも適用が可能である。例えばエレクトロスラグ溶接による溶接にも用いてもよい。
【0064】
(2)前述の実施の形態の場合には、溶接ロボット10が多関節ロボットの例を説明したが、単関節型のロボットでもよい。
(3)前述の実施の形態では、溶融池左端と溶融池右端を溶接情報として出力しているが、これらの情報により計算される溶融池の幅を出力してもよい。また、溶接情報には、溶融池先端左端と溶融池先端右端から計算される溶融池の先端幅を含めてもよい。また、溶接情報には、溶接池先端位置とアーク中心の距離であるL0やLeadYを含めてもよい。
【0065】
(4)前述の実施の形態では、溶接条件である突出し長さを22mm、27mm、32mmのというように5mm刻みで変化させ、各突出し長さにおける溶接の様子を撮像した溶接画像を教師データとして用いているが、具体例1のように、突出し長さの刻み幅は3mmでもよい。もっとも、教師データとして用いる溶接画像の撮像に用いる突出し長さの刻み幅は任意である。
【0066】
(5)前述の実施の形態及び具体例では、教師データとして用いる溶接画像を撮像する溶接時に溶接条件の突出し長さを可変する場合を例示しているが、教師データとして用いる溶接画像では、突出し長さの可変が必須という意味ではない。すなわち、前述した溶接条件の任意の1つ又は複数について、それぞれの設定を可変して撮像した溶接画像を教師データに用いて学習モデル514Bを生成してもよい。
【符号の説明】
【0067】
1…自動溶接システム、10…溶接ロボット、11…溶接トーチ、12…ワイヤ送給装置、13…溶接ワイヤ、14…裏当て材、20…ロボット制御装置、30…電源装置、40…視覚センサ、50…データ処理装置、514A…学習プログラム、514B…学習モデル、514C…溶接情報生成プログラム、514D…画像データ
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16