(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023149112
(43)【公開日】2023-10-13
(54)【発明の名称】自動溶接の溶接制御方法、制御装置、溶接システム、プログラム、および溶接方法
(51)【国際特許分類】
B23K 9/095 20060101AFI20231005BHJP
B23K 9/10 20060101ALI20231005BHJP
B23K 9/127 20060101ALI20231005BHJP
B23K 31/00 20060101ALI20231005BHJP
B23K 9/12 20060101ALN20231005BHJP
【FI】
B23K9/095 510A
B23K9/095 515A
B23K9/10 Z
B23K9/127 508D
B23K31/00 M
B23K9/12 350D
【審査請求】未請求
【請求項の数】16
【出願形態】OL
(21)【出願番号】P 2022057504
(22)【出願日】2022-03-30
(71)【出願人】
【識別番号】000001199
【氏名又は名称】株式会社神戸製鋼所
(74)【代理人】
【識別番号】110002000
【氏名又は名称】弁理士法人栄光事務所
(72)【発明者】
【氏名】尾崎 圭太
(72)【発明者】
【氏名】吉本 達也
(72)【発明者】
【氏名】古川 尚英
【テーマコード(参考)】
4E082
【Fターム(参考)】
4E082AA03
4E082AA04
4E082BA01
(57)【要約】
【課題】外乱が生じる溶接状況下においても、溶接品質を確保でき、かつ溶接作業能率の良好な自動溶接が可能とする。
【解決手段】溶融池を形成する溶接の溶接制御方法は、前記溶融池を含む画像データを取得する取得工程と、取得した前記画像データに基づいて、少なくとも溶接の進行方向側の溶融池と未溶融部の境界近傍における複数の特徴点を特定する特定工程と、前記複数の特徴点の情報に基づいて、幾何学量データを算出する算出工程と、前記幾何学量データと予め定めた閾値に基づいて、溶接の適正可否を判定する判定工程と、前記判定工程における判定結果に基づいて、溶接条件を補正する補正工程と、を有する。
【選択図】
図16
【特許請求の範囲】
【請求項1】
溶融池を形成する溶接の溶接制御方法であって、
前記溶融池を含む画像データを取得する取得工程と、
取得した前記画像データに基づいて、少なくとも溶接の進行方向側の溶融池と未溶融部の境界近傍における複数の特徴点を特定する特定工程と、
前記複数の特徴点の情報に基づいて、幾何学量データを算出する算出工程と、
前記幾何学量データと予め定めた閾値に基づいて、溶接の適正可否を判定する判定工程と、
前記判定工程における判定結果に基づいて、溶接条件を補正する補正工程と、
を有することを特徴とする溶接制御方法。
【請求項2】
前記複数の特徴点は、前記境界の開先面上の両端の位置、または、前記境界上の溶接方向の最も溶融池が先行している位置から特定される、ことを特徴とする請求項1に記載の溶接制御方法。
【請求項3】
前記算出工程において、前記複数の特徴点の情報を用いて、角度、曲率、距離、面積のうちの少なくともいずれかの幾何学量データを算出する、ことを特徴とする請求項1または2に記載の溶接制御方法。
【請求項4】
前記溶接の際にウィービングを用いる場合、前記算出工程において、予め定めたウィービング端点からもう一方のウィービング端点へ移動する所定の範囲における前記複数の特徴点の情報に基づいて、幾何学量データを算出する、ことを特徴とする請求項1から3のいずれか一項に記載の溶接制御方法。
【請求項5】
前記補正工程において補正される溶接条件は、溶接電流、アーク電圧、またはウィービングに係る条件を少なくとも含み、
前記ウィービングに係る条件は、ウィービング幅、ウィービング周波数、端停止時間、両端間の速度、ウィービング軌跡のうちのいずれかを含む、ことを特徴とする請求項1から4のいずれか一項に記載の溶接制御方法。
【請求項6】
前記閾値は、予め定めた固定値、または、開先のギャップおよび目違い量のうちの少なくとも一方に基づいて規定される値である、ことを特徴とする請求項1から5のいずれか一項に記載の溶接制御方法。
【請求項7】
前記幾何学量データから構成される時系列データに対し、異常理由に対応して予め定めた1または複数の異常検知手段を用いて異常を検知する異常検知工程と、
前記1または複数の異常検知手段による検知結果に基づいて、前記時系列データにおける異常の発生を判定する第2の判定工程と、
を有し、
前記補正工程において更に、前記第2の判定工程における判定結果に基づいて、溶接条件を補正することを特徴とする請求項1から6のいずれか一項に記載の溶接制御方法。
【請求項8】
前記1または複数の異常検知手段は、
前記画像データからの特徴点の認識失敗を前記異常理由として、予め定めた時間内における1または複数の画像データにおける特徴点の検出率が閾値以下であるか否かを判定する手段と、
前記画像データからの特徴点の誤認識を前記異常理由として、所定の外れ値識別方法で定めた範囲外か否かを判定する手段と、
前記画像データからの特徴点の誤認識を前記異常理由として、隣接する画像データで認識された対応する特徴点間の位置が閾値以上に異なるか否を判定する手段と、
のうち、少なくとも1つを含むことを特徴とする請求項7に記載の溶接制御方法。
【請求項9】
前記幾何学量データは、前記画像データに含まれる、1のオブジェクトから得られる1または複数の特徴点の座標、複数の特徴点間の距離、1のオブジェクトから得られる複数の特徴点で形成される面積、および、異なるオブジェクトにおける特徴点間の距離のうちの少なくとも1つであることを特徴とする請求項8に記載の溶接制御方法。
【請求項10】
前記特定工程において、学習済みモデルを用いて、画像データから前記複数の特徴点の情報を取得し、
前記学習済みモデルは、画像データと、当該画像データから取得される特徴点の情報とを関連付けた学習データを用いて学習処理が行われることにより、画像データを入力とし、当該画像データに対応する特徴点の情報を出力するように生成されていることを特徴とする請求項1から9のいずれか一項に記載の溶接制御方法。
【請求項11】
前記判定工程において、学習済みモデルを用いて、溶接の適正可否を示すラベル情報を取得し、
前記判定工程において、前記ラベル情報に基づいて、前記溶接の適正可否を判定し、
前記学習済みモデルは、画像データ、当該画像データから取得される特徴点の情報、および当該画像データにて示される溶接の適正可否を示すラベル情報を関連付けた学習データを用いて学習処理が行われることにより、画像データを入力とし、当該画像データにて示される溶接の適正可否を示すラベル情報を出力するように生成されていることを特徴とする請求項1から9のいずれか一項に記載の溶接制御方法。
【請求項12】
前記判定工程において、学習済みモデルを用いて、溶接条件の補正値を取得し、
前記学習済みモデルは、画像データ、当該画像データから取得される特徴点の情報、および当該画像データにて示される溶接の適正可否に応じた補正量を関連付けた学習データを用いて学習処理が行われることにより、画像データを入力とし、当該画像データにて示される溶接の適正可否に応じた補正量を出力するように生成されていることを特徴とする請求項1から9のいずれか一項に記載の溶接制御方法。
【請求項13】
溶融池を形成する溶接の溶接条件を制御する制御装置であって、
溶融池を含む画像データを取得する取得部と、
取得した前記画像データに基づいて、少なくとも溶接の進行方向側の溶融池と未溶融部の境界近傍における複数の特徴点を特定する特定部と、
前記複数の特徴点の情報に基づいて、幾何学量データを算出する算出部と、
前記幾何学量データと予め定めた閾値に基づいて、溶接の適正可否を判定する判定部と、
前記判定部による判定結果に基づいて、溶接条件を補正する補正部と、
を有することを特徴とする制御装置。
【請求項14】
請求項13に記載の制御装置を含んで構成される溶接システム。
【請求項15】
コンピュータに、
溶接の際に生じる溶融池を含む画像データを取得する取得工程と、
取得した前記画像データに基づいて、少なくとも溶接の進行方向側の溶融池と未溶融部の境界近傍における複数の特徴点を特定する特定工程と、
前記複数の特徴点の情報に基づいて、幾何学量データを算出する算出工程と、
前記幾何学量データと予め定めた閾値に基づいて、溶接の適正可否を判定する判定工程と、
前記判定工程における判定結果に基づいて、溶接条件を補正する補正工程と、
を実行させるためのプログラム。
【請求項16】
請求項1から12のいずれか一項に記載の溶接制御方法にて補正された溶接条件を用いて溶接を行う制御工程を有する溶接方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、自動溶接の溶接制御方法、制御装置、溶接システム、プログラム、および溶接方法に関する。
【背景技術】
【0002】
近年、業種を問わず溶接作業の自動化が、省力・省人化、溶接品質安定化、生産力・能率向上の観点から求められている。しかしながら、人の手でなければ溶接が困難な溶接箇所や姿勢が存在し、自動化を阻害する要因となっている。なお、溶接が困難な溶接箇所とは、例えば、ルート部に溶融金属を架橋させて溶接せねばならない片面溶接の初層の溶接が挙げられる。溶接が困難な姿勢は、一般的に難姿勢と呼ばれる、横向姿勢、立向姿勢や上向姿勢等が挙げられる。
【0003】
これら自動化が困難な溶接状況に対し、自動溶接システムを可能とした従来技術として特許文献1が挙げられる。特許文献1では、鉛直方向に並ぶ2つの被溶接部材の間に形成された水平方向に延びる開先において、溶接進行方向を前方向とするとき、溶接トーチを前下方向と後上方向とに交互にウィービングさせながらアーク溶接を行う溶接ロボットと、アーク溶接により開先に生じたアーク及び溶融池を撮影するカメラと、カメラにより撮影されたカメラ画像中の溶融池の先端部の位置を検出する検出部と、アークと溶融池の先端部との距離が所定の範囲にある場合に、当該距離に基づいて溶接速度の補正量を決定する決定部と、を備えるシステムによって、片面溶接かつ横向姿勢時において、自動溶接を可能とする構成が開示されている。
【先行技術文献】
【特許文献】
【0004】
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、自動化が困難な理由は、先に挙げた溶接箇所や姿勢以外にも、溶接現場で起こりうる外乱の存在があり、特許文献1はこの外乱の影響については何ら考慮されていない。なお、溶接における外乱とは、例えば、ワークの目違い、ガス流量の減少、磁気吹き、ワイヤ送給の不安定、電流供給の不安定、ワークへの油付着、ワークの錆等が挙げられる。これら要因はすべて溶融池の挙動に影響を与えるものであり、溶接品質の良し悪しに影響する。例えば、特許文献1の片面溶接かつ横向姿勢時において、ワークの目違いが生じると、重力の影響も相まって、初層の溶接において、ルート部における溶接金属の架橋が失敗する虞が生じる。したがって、溶接箇所や姿勢を問わないことに加えて、外乱が生じる状況であっても良好な溶接品質が確保できる自動溶接化が望まれる。
【0006】
また、外乱にはワークの目違い等、一部、溶接前にタッチセンシング等で事前に把握し、対策を行うことも可能であるが、この場合、センシング箇所が多くなり、特に長尺の溶接において溶接作業能率が低下する。このため、リアルタイムで外乱を判定できる自動溶接化も望まれる。
【0007】
よって、本発明では、外乱が生じる溶接状況下である場合においても、溶接品質を確保でき、かつ溶接作業能率が良好となる自動溶接の溶接制御方法、制御装置、溶接システム、プログラム、および溶接方法を提供することを目的とする。
【課題を解決するための手段】
【0008】
上記課題を解決するために本発明は以下の構成を有する。すなわち、溶融池を形成する溶接の溶接制御方法であって、
前記溶融池を含む画像データを取得する取得工程と、
取得した前記画像データに基づいて、少なくとも溶接の進行方向側の溶融池と未溶融部の境界近傍における複数の特徴点を特定する特定工程と、
前記複数の特徴点の情報に基づいて、幾何学量データを算出する算出工程と、
前記幾何学量データと予め定めた閾値に基づいて、溶接の適正可否を判定する判定工程と、
前記判定工程における判定結果に基づいて、溶接条件を補正する補正工程と、
を有する。
【0009】
また、本発明の別の形態として以下の構成を有する。すなわち、溶融池を形成する溶接の溶接条件を制御する制御装置であって、
溶融池を含む画像データを取得する取得部と、
取得した前記画像データに基づいて、少なくとも溶接の進行方向側の溶融池と未溶融部の境界近傍における複数の特徴点を特定する特定部と、
前記複数の特徴点の情報に基づいて、幾何学量データを算出する算出部と、
前記幾何学量データと予め定めた閾値に基づいて、溶接の適正可否を判定する判定部と、
前記判定部による判定結果に基づいて、溶接条件を補正する補正部と、
を有する。
【0010】
また、本発明の別の形態として以下の構成を有する。すなわち、溶融池を形成する溶接の溶接条件を制御する制御装置を含んで構成される溶接システムであって、
前記制御装置は、
溶融池を含む画像データを取得する取得部と、
取得した前記画像データに基づいて、少なくとも溶接の進行方向側の溶融池と未溶融部の境界近傍における複数の特徴点を特定する特定部と、
前記複数の特徴点の情報に基づいて、幾何学量データを算出する算出部と、
前記幾何学量データと予め定めた閾値に基づいて、溶接の適正可否を判定する判定部と、
前記判定部による判定結果に基づいて、溶接条件を補正する補正部と、
を有する。
【0011】
また、本発明の別の形態として以下の構成を有する。すなわち、プログラムであって、
コンピュータに、
溶接の際に生じる溶融池を含む画像データを取得する取得工程と、
取得した前記画像データに基づいて、少なくとも溶接の進行方向側の溶融池と未溶融部の境界近傍における複数の特徴点を特定する特定工程と、
前記複数の特徴点の情報に基づいて、幾何学量データを算出する算出工程と、
前記幾何学量データと予め定めた閾値に基づいて、溶接の適正可否を判定する判定工程と、
前記判定工程における判定結果に基づいて、溶接条件を補正する補正工程と、
を実行させる。
【0012】
また、本発明の別の形態として以下の構成を有する。すなわち、溶接制御方法にて補正された溶接条件を用いて溶接を行う制御工程を有する溶接方法であって、
前記制御方法は、
前記溶融池を含む画像データを取得する取得工程と、
取得した前記画像データに基づいて、少なくとも溶接の進行方向側の溶融池と未溶融部の境界近傍における複数の特徴点を特定する特定工程と、
前記複数の特徴点の情報に基づいて、幾何学量データを算出する算出工程と、
前記幾何学量データと予め定めた閾値に基づいて、溶接の適正可否を判定する判定工程と、
前記判定工程における判定結果に基づいて、溶接条件を補正する補正工程と、
を有する。
【発明の効果】
【0013】
本発明によれば、外乱が生じる溶接状況下においても、溶接品質を確保でき、かつ溶接作業能率の良好な自動溶接が可能となる。
【図面の簡単な説明】
【0014】
【
図1】本発明の一実施形態に係る溶接システムの構成例を示す概略図。
【
図2】本発明の一実施形態に係る可搬型溶接ロボットの構成例を示す概略図。
【
図3】本発明の一実施形態に係る可搬型溶接ロボットの構成例を示す概略図。
【
図4】本発明の一実施形態に係る溶接トーチの構成例を示す概略図。
【
図5】本発明の一実施形態に係る視覚センサの配置を説明するための斜視図。
【
図6】本発明の一実施形態に係る視覚センサにて取得される画像データの例を示す例図。
【
図7】本発明の一実施形態に係るデータ処理装置の構成例を示すブロック図。
【
図8】本発明の一実施形態に係る学習処理を説明するための概念図。
【
図9】本発明の一実施形態に係る教示作業に用いる画面の一例を説明するための概略図。
【
図10】本発明の一実施形態に係る教示作業に用いる画面の一例を説明するための概略図。
【
図11】本発明の一実施形態に係る溶接画像の解析結果を説明するための例図。
【
図12】本発明の一実施形態に係る溶接画像の解析結果を説明するための例図。
【
図13】本発明の一実施形態に係る目違いを説明するための例図。
【
図14】本発明の一実施形態に係る先端傾斜角の特徴点を説明するための概略図。
【
図15】本発明の一実施形態に係る溶接画像の解析結果を説明するためのグラフ図。
【
図16】本発明の一実施形態に係る処理のフローチャート。
【
図17】本発明の一実施形態に係る溶接制御のフローチャート。
【
図18】本発明の第2の実施形態に係る溶接画像の解析結果を説明するための例図。
【
図19】本発明の第2の実施形態に係る溶接画像の解析結果を説明するための例図。
【
図20】本発明の第2の実施形態に係る異常判定処理のフローチャート。
【
図21】本発明の第2の実施形態に係る時系列データの例を示すグラフ図。
【
図22】本発明の第2の実施形態に係る判定結果の例を示すグラフ図。
【
図23】本発明の第2の実施形態に係る判定結果の例を示すグラフ図。
【発明を実施するための形態】
【0015】
<第1の実施形態>
以下、本発明の一実施形態に係る溶接システムについて図面を参照しつつ説明する。なお、各図面において、同じ構成要素については、同じ参照番号を付すことにより対応関係を示す。本実施形態は、可搬型溶接ロボットを用いた場合の一例であり、本発明の溶接システムは、本実施形態の構成に限定されるものではない。例えば、6軸の溶接ロボット、台車などの駆動部を有する溶接装置または半自動溶接の場合であってもよい。また、溶接の種類には、アーク溶接、レーザ溶接、電子ビーム溶接またはエレクトロスラグ溶接等がある。本実施形態では一例としてアーク溶接の例を挙げるが、いずれの方法も溶融池が形成する特性を持つため、本発明はアーク溶接に限らず、レーザ溶接、電子ビーム溶接等の種々の溶接方法で適用することができる。さらに、本実施形態では、本発明の効果を顕著に示すことを目的とし、溶接が困難な溶接箇所と姿勢として、片面溶接の初層溶接と横向姿勢を選択しているが、これらに限定されるものではなく、溶接箇所、溶接姿勢は特に問わない。
【0016】
また、本実施形態では、溶接情報に係るオブジェクト(対象)として、画像データに少なくとも「溶融池」を含み、「溶融池」に係る特徴点を抽出する。この特徴点の抽出方法は特に問わないが、本実施形態においては、後述する通り、学習装置を用いて特徴点を抽出する。以下の学習装置に係る説明において、「学習」または「機械学習」とは、学習データおよび任意の学習アルゴリズムを用いて学習を行うことにより、「学習済みモデル」を生成することを指す。学習済みモデルは、複数の学習データを用いて学習が進むことにより、適時更新され、同じ入力であってもその出力が変化していく。したがって、学習済みモデルは、いずれの時点での状態であるかを限定するものではない。ここでは、学習にて用いられるモデルを「学習モデル」と記載し、一定程度の学習が行われた学習モデルを「学習済みモデル」と記載する。また、「学習データ」の具体的な例については後述するが、その構成は、利用する学習アルゴリズムに応じて変更されてよい。また、学習データには、学習そのものに用いられる教師データ、学習済みモデルの検証に用いられる検証データ、学習済みモデルのテストに用いられるテストデータを含んでよい。以下の説明では、学習に関するデータを包括的に示す場合は、「学習データ」と記載し、学習そのものを行う際のデータを示す場合は「教師データ」と記載する。なお、学習データに含まれる教師データ、検証データ、およびテストデータを明確に分類することを意図するものではなく、例えば、学習、検証、およびテストの方法によっては、学習データすべてが教師データにもなり得る。
【0017】
[システム構成]
図1は、本実施形態に係る溶接システムの構成例を示す概略図である。溶接システム50は、
図1に示すように、可搬型溶接ロボット100、送給装置300、溶接電源400、シールドガス供給源500、ロボット制御装置600、視覚センサ700、およびデータ処理装置800を含んで構成される。なお、上述したように本発明に係る特徴を6軸の溶接ロボット、台車などの駆動部を有する溶接装置または半自動溶接などに適用する場合には、それらの構成に合わせて更なる構成が含まれてよい。
【0018】
ロボット制御装置600は、ロボット用制御ケーブル610によって可搬型溶接ロボット100と接続され、電源用制御ケーブル620によって溶接電源400と接続されている。ロボット制御装置600は、あらかじめ可搬型溶接ロボット100の動作パターン、溶接開始位置、溶接終了位置、施工条件、溶接条件等を定めたティーチングデータを保持するデータ保持部601を有し、このティーチングデータに基づいて可搬型溶接ロボット100及び溶接電源400に対して指令を送り、可搬型溶接ロボット100の動作及び溶接条件を制御する。
【0019】
また、ロボット制御装置600は、後述するセンシングにより得られる検知データから開先形状情報を算出する開先形状情報算出部602と、該開先形状情報をもとに上記ティーチングデータの溶接条件を補正して取得する溶接条件取得部603と、を有する。そして、開先形状情報算出部602と溶接条件取得部603により、制御部604が構成されている。
【0020】
さらに、ロボット制御装置600は、ティーチングや可搬型溶接ロボット100のマニュアル操作等を行うためのコントローラ(以降、「教示ペンダント」とも称する。)とその他の制御機能をもつコントローラが、一体となって形成されてもよいし、教示ペンダント及びその他の制御機能をもつコントローラの2つに分ける等、役割によって複数に分割してもよいし、可搬型溶接ロボット100にロボット制御装置600を含めてもよい。なお、溶接現場における使用性の観点から、ティーチングや可搬型溶接ロボット100のマニュアル操作等を行うためのコントローラと、その他の制御機能をもつコントローラの2つに分けるのが好ましい。よって、本実施形態では、教示ペンダント及びその他の制御機能をもつコントローラの2つに分け、図示しない教示ペンダントとロボット制御装置600が通信ケーブルで繋がっている。また、本実施形態においては、ロボット用制御ケーブル610及び電源用制御ケーブル620を用いて信号が送られているが、これに限られるものではなく、無線で送信してもよい。
【0021】
溶接電源400は、ロボット制御装置600からの指令により、消耗電極である溶接ワイヤ211及びワークWoに電力を供給することで、溶接ワイヤ211とワークWoとの間にアークを発生させる。溶接電源400からの電力は、パワーケーブル410を介して送給装置300に送られ、送給装置300からコンジットチューブ420を介して溶接トーチ200に送られる。そして、
図2に示すように、溶接電源400からの電力は、溶接トーチ200先端のコンタクトチップを介して、溶接ワイヤ211に供給される。なお、溶接作業時の電流は、直流又は交流であってもよく、また、その波形は特に問わない。よって、電流は、矩形波や三角波などのパルスであってもよい。
【0022】
また、溶接電源400は、例えば、パワーケーブル410がプラス電極として溶接トーチ200側に接続され、パワーケーブル430をマイナス電極としてワークWoに接続される。なお、これは逆極性で溶接を行う場合であり、正極性で溶接を行う場合はプラス電極のパワーケーブルがワークWo側に接続され、マイナス電極のパワーケーブルが、溶接トーチ200側と接続されていればよい。
【0023】
[シールドガス供給源]
シールドガス供給源500は、シールドガスが封入された容器、バルブ等の付帯部材から構成される。シールドガス供給源500から、シールドガスがガスチューブ510を介して送給装置300へ送られる。送給装置300に送られたシールドガスは、コンジットチューブ420を介して溶接トーチ200に送られる。溶接トーチ200に送られたシールドガスは、溶接トーチ200内を流れて、ノズル210にガイドされ、溶接トーチ200の先端側から噴出する。本実施形態で用いるシールドガスとしては、例えば、アルゴン(Ar)や炭酸ガス(CO2)又はこれらの混合ガスを用いることができるが、好ましくは、100%のCO2ガスで溶接することが好ましい。
【0024】
本実施形態に係るコンジットチューブ420は、チューブの外皮側にパワーケーブルとして機能するための導電路が形成され、チューブの内部に溶接ワイヤ211を保護する保護管が配置され、シールドガスの流路が形成されている。ただし、コンジットチューブ420は、これに限られるものではなく、例えば、溶接トーチ200に溶接ワイヤ211を送給するための保護管を中心にして、電力供給用ケーブルやシールドガス供給用のホースを束ねたものを用いることもできる。また、例えば、溶接ワイヤ211及びシールドガスを送るチューブと、パワーケーブルとを個別に設置することもできる。
【0025】
[送給装置]
送給装置300は、溶接ワイヤ211を繰り出して溶接トーチ200に送る。送給装置300により送られる溶接ワイヤ211は、特に限定されず、ワークWoの性質や溶接形態等によって選択され、例えば、ソリッドワイヤやフラックス入りワイヤが使用される。また、溶接ワイヤの線径は、特に問わないが、本実施形態において好ましい線径は、上限は1.6mmであり、下限は0.9mmである。
【0026】
本実施形態に係るコンジットチューブ420は、チューブの外皮側にパワーケーブルとして機能するための導電路が形成され、チューブの内部に溶接ワイヤ211を保護する保護管が配置され、シールドガスの流路が形成されている。ただし、コンジットチューブ420は、これに限られるものではなく、例えば、溶接トーチ200に溶接ワイヤ211を送給するための保護管を中心にして、電力供給用ケーブルやシールドガス供給用のホースを束ねたものを用いることもできる。また、例えば、溶接ワイヤ211及びシールドガスを送るチューブと、パワーケーブルとを個別に設置することもできる。
【0027】
[可搬型溶接ロボット]
可搬型溶接ロボット100は、
図2及び
図3に示すように、ガイドレール120と、ガイドレール120上に設置され、ガイドレール120に沿って移動するロボット本体110と、ロボット本体110に載置されたトーチ接続部130と、を備える。ロボット本体110は、主に、ガイドレール120上に設置される本体部112と、本体部112に取り付けられた固定アーム部114と、固定アーム部114に矢印R1方向に回転可能な状態で取り付けられた溶接トーチ回転駆動部116と、から構成される。
【0028】
トーチ接続部130は、
図4に示すように、摺動テーブル169とクランク170を介して、溶接トーチ回転駆動部116に取り付けられている。トーチ接続部130は、溶接トーチ200を固定するトーチクランプ132及びトーチクランプ134を備えている。また、本体部112には、溶接トーチ200が装着される側とは反対側に、送給装置300と溶接トーチ200を繋ぐコンジットチューブ420を支えるケーブルクランプ150が設けられている。
【0029】
また、本実施形態においては、ワークWoと溶接ワイヤ211間に電圧を印加し、溶接ワイヤ211がワークWoに接触したときに生じる電圧降下現象を利用して、開先10の表面等をセンシングするタッチセンサを検知手段とする。検知手段は、本実施形態のタッチセンサに限られず、画像センサ、レーザセンサ等、又はこれら検知手段の組み合わせを用いてもよいが、装置構成の簡便性から本実施形態のタッチセンサを用いることが好ましい。
【0030】
ロボット本体110の本体部112は、
図2の矢印Xで示すように、紙面に対して垂直方向であって溶接線方向となるX軸方向に、ロボット本体110をガイドレール120に沿って移動させるX軸移動機構181を備える。また、本体部112は、固定アーム部114を本体部112に対して、スライド支持部113を介して、X軸方向及びZ軸方向に対して垂直となる開先10の幅方向であるY軸方向へ移動させるY軸移動機構182を備える。さらに、本体部112は、X軸方向に対し垂直となる開先10の深さ方向にロボット本体110を移動させるZ軸移動機構183を備える。
【0031】
さらに、
図4に示すように、トーチ接続部130が取り付けられた摺動テーブル169、クランク170及び溶接トーチ回転駆動部116は、溶接ワイヤ211の先端を近似直線に沿って移動させる近似直線移動機構180を構成している。
【0032】
具体的には、溶接トーチ回転駆動部116に固定された不図示のモータの回転軸168にクランク170が固定され、クランク170の先端が、摺動テーブル169の一端に連結ピン171により連結されている。摺動テーブル169は中間部に長溝169aを備え、溶接トーチ回転駆動部116に固定された固定ピン172が長溝169aに摺動自在に嵌合する。
【0033】
これにより、不図示のモータによってクランク170が回転軸168を中心として回動すると、摺動テーブル169は、固定ピン172を支点として回動すると共に、嵌合する固定ピン172に案内されて長溝169aに沿って移動する。すなわち、溶接トーチ200が取りつけられたトーチ接続部130は、クランク170が
図3及び
図4に示す矢印R2に示すように回動することで、溶接トーチ200を傾けながら、X軸方向に対し溶接ワイヤ211の先端を
図4に仮想線ILで示す近似直線に沿って駆動する。なお、本実施形態においてX軸方向へ移動する機構は、上述のX軸移動機構181と近似直線移動機構180があり、以降、これらの機構を区別して説明する場合には、X軸移動機構181によってX軸方向に移動するときは「XA軸方向」と示し、近似直線移動機構180によってX軸方向に移動するときは「XB軸方向」と示し、どちらの機構も特に問わない場合は、単に「X軸方向」と記載して説明するものとする。
【0034】
また、溶接トーチ回転駆動部116は、
図2に矢印R1で示すように、固定アーム部114に対して回転可能に取り付けられており、最適な角度に調整して固定することができる。
【0035】
以上のように、ロボット本体110は、その先端部である溶接トーチ200を、3つの方向、すなわちX軸方向、Y軸方向、Z軸方向に対し、4つの自由度、すなわち、近似直線移動機構180、X軸移動機構181、Y軸移動機構182、Z軸移動機構183により駆動可能である。ただし、ロボット本体110は、これに限られるものでなく、用途に応じて、任意の数の自由度で駆動可能としてもよい。
【0036】
以上のように構成されることで、トーチ接続部130に取り付けられた溶接トーチ200の溶接ワイヤ211の先端部は、任意の方向に向けることができる。すなわち、ロボット本体110は、ガイドレール120上をX軸方向に駆動可能である。また、溶接トーチ200は、開先10の幅方向であるY軸方向又は開先10の深さ方向であるZ軸方向に駆動可能である。また、クランク170による駆動により、例えば、後述する前進角又は後退角を設ける等の施工状況に応じて、溶接トーチ200を傾けることができる。
【0037】
ガイドレール120の下方には、例えば磁石などの取付け部材140が設けられており、ガイドレール120は、取付け部材140によってワークWoに対して着脱が容易となるように構成されている。可搬型溶接ロボット100をワークWoにセットする場合、オペレータは可搬型溶接ロボット100の両側把手160を掴むことにより、可搬型溶接ロボット100をワークWo上に容易にセットすることができる。
【0038】
[視覚センサ]
視覚センサ700は、例えば、CCD(Charge Coupled Device)カメラにより構成される。視覚センサ700の配置位置は特に問わず、視覚センサ700は、可搬型溶接ロボット100に直接取り付けられてもよいし、また、監視カメラとして、周辺の特定の場所に固定されてもよい。可搬型溶接ロボット100に視覚センサ700を直接取り付けた場合には、視覚センサ700は、可搬型溶接ロボット100の動作に併せて、溶接トーチ200の先端周辺を撮影するように移動する。視覚センサ700を構成するカメラの台数は複数でもよい。例えば、機能や設置位置が異なる複数のカメラを用いて視覚センサ700が構成されてもよい。
【0039】
また、視覚センサ700により撮影する方向も特に問わない。例えば、溶接が進行する方向を前方とした場合に、前方側を撮影するように配置してもよいし、側面側、後方側を撮影するように配置してもよい。したがって、視覚センサ700による撮影範囲は、適宜決定すればよい。なお、溶接トーチ200の干渉を抑制するために、前方側から撮影することが好ましく、本実施形態では、前方側からの撮影としている。撮影された画像はデータ処理装置800に送信されて、データ処理装置800側で利用される。このとき、データ処理装置800は、撮影された画像の中から、例えば、所定の間隔にて任意の画像を取り込み、後述する処理に利用してよい。ここでの取り込み方法や取り込み設定は、例えば、視覚センサ700の構成や機能、データ処理装置800の性能などに応じて切り替えられてよい。
【0040】
本実施形態においては、可搬型溶接ロボット100に直接取り付け、固定した視覚センサ700を用い、画像データに含めるオブジェクト(対象)として、少なくとも、ワークW、溶接ワイヤ211、およびアークが含まれる撮影範囲となるように、溶接画像として動画像を撮影する。なお、溶接画像に係る各種撮影設定は、予め規定されていてもよいし、溶接システム50の動作条件に応じて切り替えられてもよい。撮影設定としては、例えば、フレームレート、画像のピクセル数、解像度、シャッタースピードなどが挙げられる。
【0041】
溶接システム50を構成する各部位は、有線/無線の各種通信方式により、通信可能に接続される。ここでの通信方式は、1つに限定するものではなく、複数の通信方式を組み合わせて接続されてよい。
【0042】
図5は、視覚センサ700の配置位置を説明するための斜視図である。なお、溶接トーチ200や開先の向きは、溶接の姿勢に応じて異なるため、
図5に示す向きは一例である。本実施形態の場合、ワークWは、突合せ継手である。ワークWは、2枚の金属板であり、開先を隔てて突き合わされている。本実施形態では横向姿勢を例に挙げ、この場合に、上板側のワークをW1(以降、上板W1と称する。)、下板側のワークをW2(以降、下板W2と称する。)として説明する。また、突き合わされている2枚の金属板の裏面側には、セラミックス製の裏当て材14が取り付けられている。なお、裏面側にはメタル系の裏当て材を使用してもよいし、裏当て材無しでもよい。したがって、裏当て材の材質は特に限定するものではなく、ワークWの材質などに応じて異なってよい。突合せ継手では、開先に沿って一方向にアーク溶接が行われる。以下では、溶接が進行する方向を「溶接方向」という。
図5では、溶接が進行する方向を矢印で示している。このため、溶接トーチ200は、視覚センサ700の後方に位置している。
【0043】
図6は視覚センサ700にて撮影して取得された画像データの一例となる。
図6の各画像データは、座標を持ち、X軸とY軸の2軸からなる座標平面となり、。X軸は溶接方向を示し、Y軸はX軸に直交する方向を示す。
図6に示す通り、視覚センサ700の撮影範囲は、ワークWの溶接位置を含み、アーク溶接中における溶接位置の画像を撮影する。この画像には、溶融池、溶接ワイヤ211、およびアークが含まれる。画像611は、下向き溶接の場合に撮影された画像データの例を示す。画像612は、横向き溶接の場合に撮影された画像データの例を示す。画像612の場合、X軸に沿って画像の左から右に向けて溶接が進んでいる例を示している。
【0044】
本実施形態における視覚センサ700は、例えば、1024×768ピクセルの静止画像を連続して撮影することができる。換言すると、視覚センサ700は、溶接画像を動画像として撮影することが可能である。視覚センサ700にて撮影可能な静止画像の解像度は特に限定されるものではない。例えば、視覚センサ700が複数のカメラから構成される場合に、複数のカメラそれぞれが異なる解像度の溶接画像を取得してもよい。また、後述する学習済みモデルに入力する前に、処理時間を短縮することを目的として撮影された溶接画像から任意の特徴領域を切り出すなどの前処理を行ってもよい。任意の特徴領域は、所定の領域が中心に位置するように配置された固定サイズの範囲であってもよい。また、任意の特徴領域のサイズは、溶接状況に応じて変更されてもよい。
【0045】
[データ処理装置の構成]
図7は、データ処理装置800の構成例を説明するための説明図である。データ処理装置800は、例えばコンピュータで構成される。コンピュータは、本体810、入力部820、および表示部830を含んで構成される。本体810は、CPU811、GPU(Graphical Processing Unit)812、ROM813、RAM814、不揮発性記憶装置815、入出力インタフェース816、通信インタフェース817、映像出力インタフェース818、および算出部819を含んで構成される。CPU811、GPU812、ROM813、RAM814、不揮発性記憶装置815、入出力インタフェース816、通信インタフェース817、映像出力インタフェース818、および算出部819は、バスや信号線によって相互に通信可能に接続されている。
【0046】
不揮発性記憶装置815には、所定の学習データを用いてディープラーニングを実行する学習プログラム815A、学習プログラム815Aの実行を通じて生成される学習済みモデル815B、学習済みモデル815Bを用いて溶接に関する溶接情報を生成する情報生成プログラム815C、および、画像データ815Dが記憶されている。この他、不揮発性記憶装置815には、オペレーティングシステムやアプリケーションプログラムもインストールされている。
【0047】
CPU811およびGPU812によるプログラムの実行により、データ処理装置800は、各種の機能を実現する。本実施形態の場合、データ処理装置800は、機械学習により学習済みモデルを生成する機能と、学習済みモデルを利用して実際の溶接時の各種処理を行う機能を実現する。これの機能の内容については後述する。なお、学習済みモデルを生成する機能と、実際の溶接の実行時に学習済みモデルから出力される情報に基づいて制御処理を実行する機能に合わせてデータ処理装置800を分けてもよい。汎用性の観点から見ると、それぞれの機能に合わせて、データ処理装置800を分けることがより好ましい。GPU812は、学習プログラム815Aおよび情報生成プログラム815Cを実行する際の演算装置として使用される。ROM813には、CPU811に実行されるBIOS(Basic Input Output System)等が記憶されている。RAM814は、不揮発性記憶装置815から読み出されたプログラムの作業領域として使用される。
【0048】
入出力インタフェース816は、キーボード、マウス等で構成される入力部820に接続されている。入出力インタフェース816には、視覚センサ700も接続されている。視覚センサ700から出力された画像データが入出力インタフェース816を介してCPU811に与えられる。通信インタフェース817は、有線または無線通信用の通信モジュールである。映像出力インタフェース818は、例えば液晶ディスプレイや有機EL(Electro-Luminescence)ディスプレイで構成される表示部830に接続されており、CPU811から与えられた映像データに応じた映像信号を表示部830に出力する。算出部819は、CPU811やGPU812と連携して、本実施形態に係る各種処理を実行する。算出部819の処理の詳細については後述する。
【0049】
[学習モデルの生成]
以下、本実施形態にて、画像データから抽出する特徴点および特徴点を抽出する学習済みモデルについて説明する。
図8は、学習処理による学習済みモデル815Bの生成プロセスを概念的に説明する図である。本実施形態における学習済みモデル815Bは、畳み込みニューラルネットワークにより構成されており、複数の畳み込み層、および複数のプーリング層を含んでいる。なお、畳み込みニューラルネットワークの構成は上記に限定するものではなく、層数や構成が他の構成であってよい。
【0050】
学習済みモデル815Bは、視覚センサ700から出力される画像データを入力とし、画像データに現れる様々な溶接情報に係る特徴点を出力する。本実施形態において、学習済みモデル815Bに入力される画像データには、
図6に示すように、少なくとも、オブジェクト(対象)として、溶融池、溶接ワイヤ、及びアークを含み、これら各オブジェクト、または複数のオブジェクト間から得られる特徴点を抽出する。そして、抽出した特徴点に基づいて、アーク安定性、溶着量、アーク倣い状況または溶込み具合などといった溶接情報をリアルタイムで得ることが可能となる。なお、この画像データは、以下、溶接画像と称することもある。
【0051】
本実施形態では、溶接情報に係る特徴点として、溶接ワイヤ211の先端(ワイヤ先端)、アークの中心点(アーク中心)、溶融池の左右(または上下)の先端の位置、溶融池の左右(または上下)の端部の位置を使用する。教師データとして用いる特徴点の入力は、教示作業を支援する操作画面の指示に従い、オペレータが溶接画像上の特定の位置を指定することで行われる。したがって、教師データは、溶接画像とオペレータにて指定された溶接情報としての座標情報となる特徴点とを対として構成される。学習処理では、学習モデルから出力される溶接情報と、教師データに含まれる溶接情報とを比較し、その誤差をフィードバックすることでパラメータを調整する。この処理を繰り返すことで、学習が進む。
【0052】
図9は、教示作業に用いる画面の一例を説明する図である。
図9に示す溶接画像には、溶融池15、溶接ワイヤ211、アーク16が含まれている。
図9では、溶融池15を網掛けで示す。なお、
図9における、「右端」や「左端」は、画像における左右を示しているに過ぎず、溶接の姿勢と画像の向きに応じて、「上端」や「下端」などに置き換えてよい。
【0053】
また、
図10は、横向姿勢の溶接により得られる溶接画像の具体例と、その溶接画像内の溶接情報の例を示す説明図である。ここでは説明を容易にするために、溶接画像上に、特徴点にて示す座標に相当する位置を描画して示している。なお、上述のとおり画像は座標を持ち、X軸とY軸の2軸からなる座標平面となる。
【0054】
本実施形態では、視覚センサ700は、溶接線方向とX軸方向を平行するように設置させるため、本実施形態においては、X軸方向は溶接線方向と言い換えてもよい。また、Y軸方向はX軸の垂直方向であり、言い換えれば、溶接線の垂直方向である開先幅方向となるから、Y軸方向は開先幅方向と言い換えてもよい。なお、本実施形態の可搬型ロボットが動くX軸は溶接線方向となるので、可搬型ロボットが動くX軸と溶接画像上のX軸も方向が同じとなり、Y軸方向も可搬型ロボットが動くY軸と溶接画像上のY軸方向も同じであると言える。
【0055】
本実施形態の場合、特徴点として、アーク中心の座標位置(ArcX,ArcY)、ワイヤ先端の座標位置(WireX,WireY)、溶融池先端下の座標位置(Pool_Lead_Lx,Pool_Lead_Ly)、溶融池先端上の座標位置(Pool_Lead_Rx,Pool_Lead_Ry)、溶融池下端の座標位置(Pool_Ly)、溶融池上端の座標位置(Pool_Ry)がオペレータにより教示される。特徴点の入力は、画面上の特定の位置をオペレータが指示することで実行される。溶接ワイヤ211とアークの境界を与える座標は、ワイヤ先端の位置座標の一例である。また、溶融池先端下と、溶融池先端上と、溶融池下端と、溶融池上端は、溶融池15の挙動に関する特徴点の一例である。例えば、溶融池下端と溶融池上端の特徴点が分かると、溶融池15の幅を計算できる。
【0056】
[幾何学量データ]
本実施形態では、予め定めたいずれかの溶融池先端上の位置とワイヤ先端の位置のX方向の差(以降、「LeadX」と称する)、溶融池先端上と溶融池先端下の差(以降、「LeadW」と称する)、および溶融池先端上と溶融池先端下を結ぶ線と溶接画像のX軸方向のなす角度(以降、「先端傾斜角」と称する。)の3つを少なくとも算出する。本実施形態において、このように、特徴点に基づいて算出される数値データを幾何学量データとも称する。
【0057】
なお、この幾何学量データを算出し、幾何学量データを予め定めた間隔でサンプリングし、そのサンプリングデータに基づいて、後述する自動溶接制御を行う。なお、このサンプリングデータを、以下、時系列データとも称する。また、単位時間当たりのサンプリング数は画像のフレーム数(fps:flames per second)と同数であってよく、必要に応じて、間引かれてもよい。
図11および
図12の溶接画像をもとに具体的に説明する。学習済みモデルから出力された特徴点のうち、溶融池先端下の座標位置(Pool_Lead_Lx,Pool_Lead_Ly)、溶融池先端上の座標位置(Pool_Lead_Rx,Pool_Lead_Ry)、ワイヤ先端の座標位置(WireX,WireY)を用いる。本実施形態においては、LeadXの算出は、下記の通り、溶融池先端上の座標位置とワイヤ先端の座標位置に基づくが、溶融池先端位置は上側に限られるものではなく、目的に応じて、溶融池先端下の座標位置を用いてもよい。本実施形態の場合、算出部819は、溶融池先端上の座標位置とワイヤ先端の座標位置のX軸方向の差(「Pool_Lead_Rx」-「WireX」)として算出する。また、LeadWは、溶融池上端の座標位置と溶融池下端の座標位置のY軸方向の差(「Pool_Lead_Ry」-「Pool_Lead_Ly」)として算出する。この際、算出する距離はピクセル数でもよいし、「mm」や「cm」といった任意の単位に換算してもよい。
図11の例では、LeadXが5.2[mm]、LeadWが5.0[mm]として検出された例を示している。
【0058】
このような幾何学量データであるLeadXおよびLeadWの時系列データをとることで、溶接の正常度を判定することができ、後述するように、非定常と判断された場合は、溶接速度を補正し、定常状態に戻すよう自動制御が行われる。なお、幾何学量データであるLeadXおよびLeadWの時系列データをモニタ上に表示させ、モニタリングを行ってもよい。
【0059】
また、幾何学量データである「先端傾斜角」は、溶融池先端下の座標位置と溶融池先端上の座標位置の2点と座標位置(Pool_Lead_Rx(上板側X),Pool_Lead_Ly(下板側Y))に基づいて角度を算出する。なお、角度の算出方法は、特に限定するものでは無いが、例えば、三角関数を用いて算出してよい。詳細は後述するが、「先端傾斜角」の時系列データは、外乱の影響を判定可能とし、外乱の影響を緩和するように自動制御がなされる。すなわち、本実施形態では、少なくとも、溶接を安定させるための自動制御と外乱の影響を緩和させるための自動制御が行われる。
【0060】
また、例示の「先端傾斜角」はもとより、本実施形態で算出する幾何学量は、溶接にウィービングを適用すると、各オブジェクトの変動がより大きくなり、幾何学量の算出値にバラツキが生じる虞がある。よって、本実施形態においては、ウィービングを適用する場合には、このウィービングの悪影響を抑制するために、予め定めたウィービング端点からもう一方の端点へ移動する範囲間において、予め定めたサンプリング数で測定することが好ましい。つまり、ウィービングの周期を考慮して、幾何学量を算出するための画像データのサンプリングタイミングやサンプリング数を決定してよい。なお、オブジェクトのうち、特に溶融池はウィービングによる影響が顕著であり、幾何学量として、本実施形態のごとく「先端傾斜角」を用いる場合に特に有用であると言える。また、本実施形態のように横向姿勢である場合、下板側のウィービング端点から上板側のウィービング端点へ移動する範囲間において、予め定めたサンプリング数で測定することがより好ましい。言い換えれば、上板側のウィービング端点から下板側のウィービング端点への移動時の画像データは、利用しないようにするとよい。
【0061】
なお、本実施形態では、先端傾斜角の幾何学量データに加え、一例として、LeadX、LeadWの幾何学量データを算出したが、これに限定するものではない。例えば、単一のオブジェクトから得られる、(1)単一または複数の特徴点の座標位置、(2)任意の複数の特徴点間の距離、(3)任意の複数の特徴点で形成される面積のうちのいずれかを幾何学量データとして扱ってもよい。または、異なるオブジェクトから得られる、(4)各オブジェクトの対応する特徴点間の距離のサンプリングを幾何学量データとして扱ってもよい。
【0062】
(1)単一または複数の特徴点の座標位置の場合を、より具体的に説明すると、単一のオブジェクトがアークである場合に、アーク中心の座標位置であるArcXとArcYの幾何学量データを算出することによって、アークの安定性を判定することができる。また、(2)任意の複数の特徴点間の距離は、溶融池のオブジェクトから得られる上述のLeadWが挙げられる。(3)任意の複数の特徴点で形成される面積は、例えば溶融池の面積を用いることができ、溶着量の評価をすることができる。また、(4)各オブジェクトの特徴点間の距離は、溶接ワイヤと溶融池の異なるオブジェクト間から得られる上述のLeadXや、ワイヤ先端位置と溶融池中心位置の差、開先と溶融池先端との距離などの時系列データが挙げられる。ワイヤ先端位置と溶融池中心位置の距離からなる幾何学量データは溶接線倣いに適用することができる。また、開先と溶融池先端との距離からなる幾何学量データは溶込みの判定に適用することができる。
【0063】
[目違い]
ここで、本実施形態に係る目違いと、その特徴点への影響について説明する。
図13は、横向き溶接における目違い説明するための例図である。
図13において、上板が下板よりも溶接トーチ200側に位置することで目違いが生じている例を示している。また、目違いが、1mm、2mm、3mmの場合の画像の例を示している。
図13に示すように、溶融池先端上と溶融池先端下の位置が変動する。例えば、目違いが1mmの場合、先端傾斜角は~63°が得られる。目違いが2mmの場合、先端傾斜角は~53°が得られる。目違いが3mmの場合、先端傾斜角は~50°が得られる。
【0064】
なお、目違いは、下板が上板よりも溶接トーチ200側に位置する場合もありうる。また、溶接姿勢に応じて、生じやすい目違いも異なる。したがって、
図13に示す例に限定するものではなく、様々な目違いに対応するように考慮されてよい。
【0065】
図14は、本実施形態に係る先端傾斜角の導出の際に用いる特徴点の例を説明するための例図である。
図14は、例えば、
図10に示すような画像を単純化して示している。画像1400において、溶融池1401、未溶融部1402、溶融池上端1403、溶融池下端1404、溶融池境界1405が示されている。溶融池境界1405は、溶接の進行方向側の境界を示している。溶融池上端1403や溶融池下端1404は、ワークWの開先面上に対応していてよい。画像1410では、先端傾斜角の導出のために、溶融池上端1403上の溶融池先端上と、溶融池下端1404上の溶融池先端下とをそれぞれ特徴点1411、1412として用いる例を示している。
【0066】
特徴点の位置は上記に限定するものではなく、例えば、画像1420に示すように、溶融池上端1403上の溶融池先端上の特徴点1411に代えて、溶融池境界1405上の特徴点1421を用いてもよい。また、境界上の特徴点のうち、溶接の進行方向で最も先行している位置を特徴点としてもよい。
【0067】
また、先端傾斜角の導出の際に用いる特徴点は2つに限定するものではなく、3点以上を用いてもよい。例えば、画像1430に示すように、溶融池上端1403上の溶融池先端上の特徴点1431と、溶融池下端1404上の溶融池先端下の特徴点1433に加えて、溶融池境界1405上の特徴点1432を用いてもよい。特に、画像1440に示すように、溶融池境界1405の形状が極端な形状である場合には、溶融池上端1403上の溶融池先端上の特徴点1441、溶融池下端1404上の溶融池先端下の特徴点1443、溶融池境界1405上の特徴点1442のように3以上の特徴点を用いてもよい。
【0068】
各特徴点は、上記の学習済みモデル815Bの出力に基づいて、特定されてよい。したがって、扱う特徴点に応じて、学習済みモデル815Bの出力に対して算出部819が適用する処理を変更してよい。
【0069】
[外乱の判定方法および外乱判定時の処理方法]
溶接における外乱とは、例えば、ワークの目違い、ガス流量の減少、磁気吹き、ワイヤ送給の不安定、電流供給の不安定、ワークへの油付着、ワークの錆等が挙げられる。これら要因はすべて溶融池の挙動に影響を与えるものであり、発明者らは、少なくとも溶接方向に対し、前方の溶融池と未溶融部の境界位置における特徴点を複数抽出し、その特徴点に基づいて算出される幾何学量によって、外乱の影響を判定できることを見出した。その外乱の判定結果に基づいて、溶接条件等の補正を行うことで、外乱に強い自動制御を実現するものである。以下に、本実施形態に係る外乱の判定方法について詳細を説明する。
【0070】
本実施形態においては、前方の溶融池と未溶融部の境界位置における特徴点として、上述のとおり、溶融池先端下の座標位置(Pool_Lead_Lx,Pool_Lead_Ly)、溶融池先端上の座標位置(Pool_Lead_Rx,Pool_Lead_Ry)を抽出する。
図14を用いて上述したように、溶融池と未溶融部の境界位置における特徴点の数は2点でなくともよく、抽出する位置も先端上や先端下に限定されない。例えば、溶融池幅の中央位置の溶融池と未溶融部の境界座標位置をとってもよい。なお、溶融池と未溶融部の境界位置における情報を最も詳細に得ることができることから、本実施形態のように、少なくとも、溶融池先端下の座標位置(Pool_Lead_Lx,Pool_Lead_Ly)、溶融池先端上の座標位置(Pool_Lead_Rx,Pool_Lead_Ry)を抽出することが好ましい。
【0071】
また、幾何学量とは、例えば、抽出した特徴点に基づいて算出される角度、曲率、距離、面積等が挙げられ、少なくともこれら一つの幾何学量を算出することが好ましく、本実施形態では、上述の通り、溶融池先端下と溶融池先端上を結ぶ線と溶接画像のX軸方向のなす角度を「先端傾斜角」と称して、算出する。この「先端傾斜角」は、特に、外乱として発生しやすい「ワークの目違い」に対し、精度よく判定できるため、算出する幾何学量としては、少なくとも、「先端傾斜角」として角度を選択することが最も好ましい。
【0072】
図16を用いて、本実施形態に係る外乱の判定方法を含む処理について説明する。
図16は、溶接画像から学習済みモデル815Bにより特徴点を抽出し、特徴点に基づいて算出した幾何学量データの時系列データに基づいて、自動制御を行うための補正信号を出力するまでのフローチャートとなる。本実施形態では、外乱判定処理(S1640)と、溶接安定性判定処理(S1650)とが同時並行的に実行され、各処理結果に基づいて制御が行われる。まず、外乱の判定方法と処理方法(S1640)について説明し、溶接安定性の判定方法と処理方法(S1650)については後述する。
【0073】
以下の処理は、データ処理装置800の各処理部が不揮発性記憶装置815等に記憶された各種プログラムを読み出して実行することにより実現される。また、本処理フローは、溶接が開始されると同時に開始され、これに伴って、視覚センサ700による撮影も開始される。
【0074】
(外乱判定処理)
S1610にて、データ処理装置800は、自動溶接が実行されている間、視覚センサ700から溶接位置を撮像した溶接画像を受信する。
【0075】
S1620にて、データ処理装置800は、S1610にて受信した溶接画像の前処理として画像処理を行う。画像処理は例えば、縮小したり、濃淡画像に変換したりすることが挙げられる。なお、他の処理が更に行われてもよいし、処理負荷等に応じて処理の一部が省略されてもよい。
【0076】
S1630にて、データ処理装置800は、S1620にて前処理した溶接画像を、上述した学習済みモデル815Bに入力し、その結果として出力される溶接情報としての特徴点を取得する。本実施形態では、
図8に示すように、アーク中心の座標位置(ArcX,ArcY)、ワイヤ先端の座標位置(WireX,WireY)、溶融池先端下の座標位置(Pool_Lead_Lx,Pool_Lead_Ly)、溶融池先端上の座標位置(Pool_Lead_Rx,Pool_Lead_Ry)、溶融池下端の座標位置(Pool_Ly)、溶融池上端の座標位置(Pool_Ry)が出力されてよい。
【0077】
S1640にて、データ処理装置800は、外乱判定処理を行う。外乱判定処理は、S1641~S1643の工程から構成される。
【0078】
S1641にて、データ処理装置800の算出部819は、学習済みモデルによって出力された特徴点に基づいて、幾何学量データを算出する。本実施形態では、溶融池先端下の座標位置と溶融池先端上の座標位置の2点と座標位置(Pool_Lead_Rx(上板側X),Pool_Lead_Ly(下板側Y))から算出された角度となる「先端傾斜角」の幾何学量データを用いる。
【0079】
S1642にて、算出部819は、「先端傾斜角」の幾何学量データに基づいて、外乱の判定情報を取得する。本実施形態においては、ギャップに応じて閾値を予め設定し、閾値を基準として外乱の判定情報を出力する。なお、この閾値はギャップに限らず固定値として設定してもよい。閾値については、例えば、データベースを用意しておき、これを参照するような構成であってよい。本実施形態の横向姿勢時においては、予め定めた閾値に対し、閾値を下回れば、外乱と判定する。なお、ギャップとは、開先の幅に相当し、ルートギャップやルート間隔とも称する。
【0080】
図15は、先端傾斜角に基づいて外乱を判定した場合の判定結果を示すグラフ図である。
図15において、横軸は時間[s]を示し、左縦軸は先端傾斜角[°]を示し、右縦軸はギャップ[mm]を示す。ここでは、ギャップに応じて閾値を変更する例を示している。また、判定フラグは、オンかオフの2値を示し、
図15では、グラフの上側をオンとし、下側をオフとする。判定フラグがオンの場合には外乱が生じていると判定している状態であり、判定フラグがオフの場合には外乱が生じていないと判定している状態を示している。
【0081】
図15を用いて説明すると、本実施形態では、ギャップが7mm未満の場合には閾値を設けない。一方、ギャップが7mm以上になる場合は、閾値を55°として設定する。したがって、ギャップが7mm以上で、かつ、先端傾斜角が55°を下回った場合に、外乱が発生していると判定される。なお、外乱の判定情報は本実施形態のような定性的な評価に限らず、定量的な評価であってもよい。例えば、算出した角度と閾値の角度の差分を求めて、外乱の強さを定量的に評価してもよい。
【0082】
S1643にて、算出部819は、外乱の判定情報に基づいて、補正信号を算出する。本実施形態では、ウィービング時において、上板W1側の端点で停止する時間(以降、上板端停止時間とも称する。)を補正する。補正する条件は、溶接施工状況に合わせて適宜決定すればよく、特に問わない。例えば、溶接電流、アーク電圧またはウィービングに係る条件などが挙げられる。これらの条件のうち少なくとも一つを補正する条件として選択すればよいが、制御の容易さから、ウィービングに係る条件を選択することが好ましい。さらに、ウィービングに係る条件は種々の項目があり、例えば、ウィービング幅、ウィービング周波数、端停止時間、両端間の速度、ウィービング軌跡等が挙げられるが、少なくともこれらのうち一つを選択すればよい。なお、溶接姿勢が横向姿勢である場合には、本実施形態のように、端停止時間の項目を選択すれば好ましく、さらに、上板端停止時間を補正量として選択するとより好ましい。
【0083】
S1660にて、データ処理装置800は、ロボット制御装置600に、外乱の判定情報に基づいて算出された補正信号を出力する。
【0084】
S1670にて、データ処理装置800は、ロボット制御装置600から停止指令を受信したか否かを判定する。ここでの停止指令は、ロボット制御装置600から送信される溶接の停止指令に該当する。停止指令を受信していない場合(S1670にてNO)、データ処理装置800の処理はS1610へ戻る。一方、停止指令を受信した場合(S1670にてYES)、本処理フローを終了する。
【0085】
(溶接安定性判定処理)
次に、溶接安定性の判定方法と処理方法(S1650)については、
図16を用いて説明する。なお、以下の説明では、S1610~S1630、S1660~S1670の処理は、外乱判定処理と同じ内容の処理を行うものとして説明するが異なっていてもよい。また、各工程の処理結果を共通して利用してもよい。
【0086】
S1610にて、データ処理装置800は、自動溶接が実行されている間、視覚センサ700から溶接位置を撮像した溶接画像を受信する。
【0087】
S1620にて、データ処理装置800は、S1610にて受信した溶接画像の前処理として画像処理を行う。画像処理は例えば、縮小したり、濃淡画像に変換したりすることが挙げられる。なお、他の処理が更に行われてもよいし、処理負荷等に応じて処理の一部が省略されてもよい。
【0088】
S1630にて、データ処理装置800は、S1620にて前処理した溶接画像を、上述した学習済みモデル815Bに入力し、その結果として出力される特徴点を取得する。本実施形態では、
図8に示すように、アーク中心の座標位置(ArcX,ArcY)、ワイヤ先端の座標位置(WireX,WireY)、溶融池先端下の座標位置(Pool_Lead_Lx,Pool_Lead_Ly)、溶融池先端上の座標位置(Pool_Lead_Rx,Pool_Lead_Ry)、溶融池下端の座標位置(Pool_Ly)、溶融池上端の座標位置(Pool_Ry)が出力されてよい。
【0089】
S1650にて、データ処理装置800は、溶接安定性判定処理を行う。溶接安定性判定処理は、S1651~S1653の工程から構成される。
【0090】
S1651にて、データ処理装置800の算出部819は、学習済みモデル815Bによって出力された特徴点に基づいて、幾何学量データを算出する。本実施形態では、溶融池先端上の座標位置とワイヤ先端の座標位置のX軸方向の差(「Pool_Lead_Rx」-「WireX」)として算出された「LeadX」の幾何学量データと溶融池先端下の座標位置と溶融池先端右端の座標位置のY軸方向の差(「Pool_Lead_Ry」-「Pool_Lead_Ly」)として算出された「LeadW」の幾何学量データを用いる。
【0091】
S1652にて、算出部819は、「LeadX」または「LeadW」の幾何学量データに基づいて、溶接安定性の判定情報を時系列に沿って取得する。なお、溶接安定性の判定情報は本実施形態のような定性的な評価に限らず、定量的な評価であってもよい。
【0092】
S1653にて、算出部819は、溶接安定性の判定情報に基づいて、補正信号を算出する。本実施形態では、溶接速度における補正信号を算出することが好ましい。なお、外乱判定処理と同じ項目に対する補正信号を算出してもよい。
【0093】
S1660にて、データ処理装置800は、ロボット制御装置600に、溶接安定性の判定情報に基づいて算出された補正信号を出力する。
【0094】
S1670にて、データ処理装置800は、ロボット制御装置600から停止指令を受信したか否かを判定する。ここでの停止指令は、ロボット制御装置600から送信される溶接の停止指令に該当する。停止指令を受信していない場合(S1670にてNO)、データ処理装置800の処理はS1610へ戻る。一方、停止指令を受信した場合(S1670にてYES)、本処理フローを終了する。
【0095】
上記の例では、外乱判定処理(S1640)と溶接安定性判定処理(S1650)の処理結果に基づく補正信号をそれぞれ送信していた。しかし、これに限定するものではなく、いずれかの処理結果に基づく補正信号を優先して送信してもよい。また、判定のタイミングに応じて、いずれか一方のみを送信してもよい。
【0096】
[溶接制御方法]
以下、実際の溶接時における溶接システム50の溶接動作について説明する。アーク溶接を行う場合、オペレータは、ロボット制御装置600、溶接電源400、及びデータ処理装置800のそれぞれを起動する。ロボット制御装置600が可搬型溶接ロボット100の動きを制御し、可搬型溶接ロボット100が溶接を実行する。また、データ処理装置800は、視覚センサ700により撮像される溶接画像を入力し、アーク溶接に関する特徴点を逐次出力する。本実施の形態では、特徴点を、ワイヤ先端の位置、アーク中心、溶融池先端上および下位置、および、溶融池上端および下端位置とする。
【0097】
図17は、ロボット制御装置600及び溶接電源400の処理動作を説明するフローチャートである。オペレータは、アーク溶接を開始する場合、ロボット制御装置600と接続された図示しない教示ペンダントを操作して、ロボット制御装置600に対して、適用する教示プログラム、各種設定値を入力する。ここでの教示プログラムは、可搬型溶接ロボット100の動きおよび溶接開始、溶接終了指示等を予め教示した教示済みのプログラムとして規定する。本実施形態では、
図17の処理シーケンスと、
図16の処理フローが同時並行的に実行される。
【0098】
S1701にて、ロボット制御装置600は、教示プログラム、各種設定値指示を受け付ける。
【0099】
S1702にて、ロボット制御装置600は、教示プログラム開始後、所定の溶接開始位置に可搬型溶接ロボット100を動かし、溶接電源400に対して、溶接開始(アークオン)を指令する。なお、溶接プログラム開始前に、タッチセンシングやレーザセンシングなどのセンシングを行い、教示プログラムの設定値を補正してもよい。
【0100】
S1703にて、溶接電源400は、ロボット制御装置600からの溶接開始の指令を受信する。
【0101】
S1704にて、溶接電源400は、内蔵されている不図示の電源回路を制御して電力を供することで、溶接を開始させる。これにより、溶接ワイヤ211(
図1参照)とワークW(
図1参照)との間に電圧が印加され、溶接開始位置にアークが発生する。
【0102】
S1705にて、ロボット制御装置600は、溶接電源400または可搬型溶接ロボット100に制御信号を送信し、溶接制御を実行する。溶接制御は、例えば、自動溶接制御(S1720)、ウィービング動作の制御(S1721)、および溶接線倣い制御(S1722)を含む。自動溶接制御では、データ処理装置800が、自動的に溶接方向に溶接トーチ200を移動させながら、溶接速度、溶接電流又はアーク電圧の少なくとも一つを制御するための補正信号を可搬型溶接ロボット100または溶接電源400に送信し、可搬型溶接ロボット100または溶接電源400がその補正信号に従って溶接を実行する。なお、制御の容易性の観点から、溶接の安定性を得る場合には、自動溶接制御において、溶接速度の制御を含むことが好ましく、本実施形態では溶接速度の制御のみを行っている。また、外乱による溶融池の影響を緩和する場合には、ウィービング動作の制御において、端停止時間の制御を含むことが好ましく、本実施形態では端停止時間の制御のみを行っている。
【0103】
S1706にて、ロボット制御装置600は、溶接の停止が必要か否かを判定する。例えば、オペレータからの溶接停止の指示の受け付け、教示プログラムによる溶接終了位置の検出、又は、溶接異常の検出等があった場合に、溶接の停止が必要と判定してよい。溶接の停止が不要な場合(S1706にてNO)、ロボット制御装置600の処理はS1707へ進む。一方、溶接の停止が必要な場合(S1706にてYES)、ロボット制御装置600の処理はS1708へ進む。
【0104】
S1707にて、ロボット制御装置600は、データ処理装置800から溶接情報を受信する。ここで受信される溶接情報は、データ処理装置800が学習済みモデル815Bを用いて特徴点を出力し、特徴点に基づいた各時系列データに基づいて算出された補正信号である。本工程で受信する溶接情報の生成の詳細については、上述の
図16で説明した通りである。その後、S1705へ戻り、ロボット制御装置600は受信した溶接情報を用いて処理を繰り返す。
【0105】
S1708にて、ロボット制御装置600は、溶接制御を停止させる。
【0106】
S1709にて、ロボット制御装置600は、溶接電源400に対して溶接停止を指令する。溶接の停止は、溶接電力の供給の停止により実現される。
【0107】
S1710にて、ロボット制御装置600は、データ処理装置800に対して溶接情報の生成停止を指令する。
【0108】
S1711にて、溶接電源400は、ロボット制御装置600から溶接停止の指令を受信する。
【0109】
S1712にて、溶接電源400は、不図示のCPUにより電源回路を制御して溶接を停止する。これにより、ロボット制御装置600及び溶接電源400の動作が終了する。
【0110】
以上、本実施形態により、外乱が生じる溶接状況下においても、溶接品質を確保でき、かつ溶接作業能率の良好な自動溶接が可能となる。
【0111】
<第2の実施形態>
上記の実施形態では、特徴点から特定される先端傾斜角を用いて外乱の判定を行う形態について説明した。ここで、外乱によっては、画像データから特徴点が認識不可であったり、誤認識したりするような状況が想定される。そこで、本実施形態では、上記のような状況を想定し、第1の実施形態の構成に加え、画像データにおいて異常が発生しているか否を判定し、その判定結果に基づいて、制御を行う形態について説明する。なお、第1の実施形態と重複する構成については説明を省略し、差分に着目して説明する。
【0112】
[外乱に起因する異常]
まず、
図18および
図19を用いて、本実施形態に係る外乱に起因した溶接画像中の異常について説明する。
図18および
図19は、本実施形態に係る溶接画像の解析結果を説明するための図である。
図18は、異常がない場合の例を示し、
図19は、異常がある場合の例を示す。
図18において、画像1800は、溶融池の周囲の画像を示す。画像1810は、幾何学データの算出処理を行った結果を示す。画像1810において、上記の処理を行った結果、溶接トーチ200の先端部を示す特徴点1811、溶融池の先端上を示す特徴点1812、および、溶融池の先端下を示す特徴点1813が特定されている。また、これらの特徴点に基づいて、LeadXおよびLeadWが導出されている。パラメータ1814は、算出されたLeadXおよびLeadWの値を示し、ここでは、LeadX=4.0[mm]、LeadW=6.6[mm]が算出されている。
【0113】
図19において、画像1900は、溶融池の周囲の画像を示す。ここでは、画像1900において、酸化被膜(ワークの錆などに相当)に相当するオブジェクト1901が含まれている。画像1910は、幾何学量データの算出処理を行った結果を示す。画像1910において、上記の処理を行った結果、溶接トーチ200の先端部を示す特徴点1912、および、溶融池の先端下を示す特徴点1913が特定されている。しかしながら、酸化被膜に相当するオブジェクト1911により、溶融池の先端上に相当する特徴点が検出できていない。そのため、LeadXおよびLeadWが導出されていない。よって、パラメータ1914は、LeadXおよびLeadWの値が表示されていない。このような場合、何らかの異常が発生したものとして扱う。
【0114】
[異常判定方法および異常時の処理方法]
外乱因子は、ワークの目違い、ガス流量の減少、磁気吹き、ワイヤ送給の不安定、電流供給の不安定、ワークへの油付着、酸化被膜、ワークへのスパッタ付着等が挙げられる。例えば、ワークの酸化被膜やスパッタ付着により、
図19に示したようにオブジェクトまたはオブジェクトの一部が隠れ、特徴点を認識できない状況、または特徴点が急峻に変化する状況が発生する。したがって、このような状況下の特徴点に基づいて算出される幾何学量データには不備が生じている可能性がある。そのようなデータを用いた場合、結果として自動制御全体に悪影響を及ぼし得る。
【0115】
本実施形態では、幾何学量データを算出し、幾何学量データから構成される時系列データに基づいて、異常判定を実行し、時系列データの異常に相当する箇所を特定する。そして、異常と判定された箇所以外の時系列データに基づいて、溶接条件等の補正を行うことで、外乱に強い自動制御を実現する。以下に、本実施形態に係る異常判定方法について詳細を説明する。
【0116】
図20を用いて、異常判定方法について説明する。
図20は、溶接画像から学習済みモデル815Bにより特徴点を抽出し、異常判定を実行し、異常内容を考慮して自動制御を行うための補正信号を出力するまでのフローチャートとなる。本処理フローは、第1の実施形態にて示した
図16の処理フローと並行に実施されてもよいし、外乱判定処理(S1640)の一部として行われてもよい。フローの構成上重複する箇所については、共通的に実施されてもよい。
【0117】
以下の処理は、データ処理装置800の各処理部が不揮発性記憶装置815等に記憶された各種プログラムを読み出して実行することにより実現される。また、本処理フローは、溶接が開始されると同時に開始され、これに伴って、視覚センサ700による撮影も開始される。
【0118】
S2001にて、データ処理装置800は、自動溶接が実行されている間、視覚センサ700から溶接位置を撮像した溶接画像を受信する。
【0119】
S2002にて、データ処理装置800は、S2001にて受信した溶接画像の前処理として画像処理を行う。画像処理は例えば、縮小したり、濃淡画像に変換したりすることが挙げられる。なお、他の処理が更に行われてもよいし、処理負荷等に応じて処理の一部が省略されてもよい。
【0120】
S2003にて、データ処理装置800は、S2002にて前処理した溶接画像を、上述した学習済みモデル815Bに入力し、その結果として出力される溶接情報としての特徴点を取得する。本実施形態では、アーク中心の座標位置(ArcX,ArcY)、ワイヤ先端の座標位置(WireX,WireY)、溶融池先端下の座標位置(Pool_Lead_Lx,Pool_Lead_Ly)、溶融池先端上の座標位置(Pool_Lead_Rx,Pool_Lead_Ry)、溶融池下端の座標位置(Pool_Ly)、溶融池上端の座標位置(Pool_Ry)が出力されてよい。
【0121】
S2004にて、データ処理装置800は、学習済みモデル815Bによって出力された特徴点に基づいて、幾何学量データを算出する。本実施形態では、溶融池先端上の座標位置とワイヤ先端の座標位置のX軸方向の差(「Pool_Lead_Rx」-「WireX」)として算出された「LeadX」と溶融池先端下の座標位置と溶融池先端上の座標位置のY軸方向の差(「Pool_Lead_Ry」-「Pool_Lead_Ly」)として算出された「LeadW」を用いる。
【0122】
S2005にて、データ処理装置800は、幾何学量データ「LeadX」から構成される時系列データと幾何学量データ「LeadW」から構成される時系列データを用いて異常検出を行う。なお、異常検知を行う手段は、予め設定しておけばよい。外乱の種類は多岐にわたり、特徴点の誤認識や認識ができない理由も様々である。発明者らはこの課題に対し、予め特徴点の異常が発生する理由を複数特定し、各理由に対応して複数の検知手段を設ける。そして、異常発生の理由に対応した複数の検知手段を用い、異常を判定する。これにより、あらゆる外乱を要因した特徴点の異常に対し、精度良く判定できることを見出した。
【0123】
本実施形態においては、「特徴点認識失敗の異常理由」に係る検知手段として、(1)予め定めた区間(時間)内の検出率が閾値以下の場合に異常を検知する手段を用いる。ここでの検出率では、
図19にて示したように、ある溶接画像を入力した際に幾何学量データが算出できていない場合には検出できていないと溶接画像してカウントされる。また、「特徴点誤認識の異常理由」に係る検知手段として、(2)予め定めた外れ値識別方法で定めた範囲外の場合に異常を検知する手段、および、(3)隣接する画像データのフレーム間で所定の閾値以上に特徴点位置が異なる(離れている)場合に異常を検知する手段を用いる。なお、これらのうち、少なくとも一つの手段を採用する構成であってよい。(2)予め定めた外れ値識別方法とは、例えば、Hampel識別子で3σ法の適用範囲内を外れた場合に、異常と検知する方法が挙げられる。なお、上記の複数の異常検知手段は一例であり、他の手段が用いられてもよい。したがって、異常検知手段の組み合わせを上記に限定するものではない。なお、異常判定の精度の観点から、複数の検知手段を採用することが好ましく、上記の(1)~(3)の検知手段から2つ以上の組み合わせを採用するとより好ましい。
【0124】
S2006にて、データ処理装置800は、S2005における各異常検知手段によって検知された異常情報に基づき、異常グラフを設定する。本実施形態では、複数の異常検知手段のうち少なくとも1つにおいて異常であると判定された区間に対して異常フラグの値をONに設定し、ON信号を出力する。異常フラグがONである場合には、そのタイミングに対応する溶接画像に異常が発生していることを示す。
【0125】
S2007にて、データ処理装置800は、異常フラグのON信号区間のデータを除去する処理を行う。なお、異常区間のデータ除去は、一例であって、異常フラグのON信号区間のデータを予め定めた値または所定の範囲における中央値に置き換える等の補完処理を行ってもよい。または、補完処理を行う場合に、異常フラグのON信号区間の直前の値にて除去した値を補完してもよいし、ON信号区間の長さに応じて、補完する値を切り替えてもよい。更に、データ処理装置800は、除去後のデータに対して微細なノイズを低減するために、移動平均フィルタなどの平滑化フィルタを適用して平滑化処理を行う。この平滑化処理を行うことによって、自動制御の精度がより向上する。なお、データ除去の結果に応じて、平滑化処理は省略されてもよい。また、所定のフィルタを用いたフィルタリング処理の内容は特に限定するものではなく、データの除去処理や補完処理の内容に応じて異なっていてよい。
【0126】
S2008にて、データ処理装置800は、S2007にて異常区間のデータ除去処理を行った時系列データに基づいて補正信号を算出する。ここでの算出方法は、特に限定するものではないが、例えば、溶接速度や溶接電圧などに係る補正量を示す補正信号を、予め規定された規則に基づいて算出してよい。
【0127】
S2009にて、データ処理装置800は、ロボット制御装置600に、外乱の判定情報に基づいて算出された補正信号を出力する。
【0128】
S2010にて、データ処理装置800は、ロボット制御装置600から停止指令を受信したか否かを判定する。ここでの停止指令は、ロボット制御装置600から送信される溶接の停止指令に該当する。停止指令を受信していない場合(S2010にてNO)、データ処理装置800の処理はS2001へ戻る。一方、停止指令を受信した場合(S2010にてYES)、本処理フローを終了する。
【0129】
異常フラグの用途は上記のデータ除去に限定するものではない。異常フラグのパターンを分析し、例えば、異常フラグのON信号またはOFF信号の期間、頻度等から異常理由または外乱の種類を予測する等の解析を行ってもよい。また、解析結果に基づいて、アラーム(エラー発行)を行ってもよいし、各種設定条件の補正を行ってもよい。例えば、予め定めた期間内において、異常フラグのON信号の回数が予め定めた閾値よりも多い場合には、大粒のスパッタが多発していると判定し、アラームを発して溶接を停止させてもよい。また、大粒のスパッタが多発していると判定した場合、アーク電圧の設定値を上げる補正を行い、アーク安定化を図るなどの制御を行ってもよい。
【0130】
[異常判定の例]
以下、本実施形態に係る異常判定の具体例について、
図21~
図23を用いて説明する。
【0131】
図21は、異常判定処理において入力データとなる、幾何学量データLaedWの時系列データを示す。なお、この時点の時系列データは編集等を施していない生データの状態となる。
図21において、横軸は時間[s]を示し、縦軸はLeadWの値[mm]を示す。
図22は、上記の異常判定処理の結果、異常と判定された範囲のデータを除去した後のデータを示す。
図22において、横軸は時間[s]を示し、縦軸はLeadWの値[mm]を示す。
図23は、上記の異常判定処理における異常フラグの値の時系列データを示す。
図23において、横軸は時間[s]を示し、縦軸は異常フラグの値(0または1)を示す。異常フラグの値が1の場合が、上記のON信号に対応する。
図21~
図23において、横軸の時間は対応している。
【0132】
図21~
図23によると、
図23にて異常フラグの値が1である範囲において、
図21に示す時系列データの値を除去し、全範囲のデータに対して平滑化を行った結果、
図22に示すような時系列データが得られる。ここで、
図22は、グラフの遷移が明確になるように、平滑化処理を適用されている例を示している。
【0133】
上記の異常を特定したタイミングにおける溶接画像からは適切な特徴点が検出されていない可能性がある。そのため、当該タイミングにおける補正信号は、第1の実施形態にて示した
図16の外乱判定処理(S1640)や溶接安定性判定処理(S1650)に基づいて算出された補正信号に優先して、
図20の処理により得られた補正信号を用いるように制御してよい。
【0134】
以上、本実施形態により、第1の実施形態の効果に加え、外乱が生じる環境化においても、画像データ上の特徴点の異常を判定可能となる。
【0135】
<その他の実施形態>
第2の実施形態では、
図8に示すように学習済みモデルを用いて溶接情報を取得し、算出部819側で幾何学量データを算出し、その時系列データから異常判定処理を行っている。しかし、この構成に限定するものでは無く、例えば、学習モデルが異常判定までを行うように学習処理を行って学習済みモデルを生成するような構成であってもよい。この場合、学習データにおいて、更に異常判定結果を示すラベル情報を含めて学習処理を行うように構成してよい。ここでのラベル情報は、異常フラグであってもよいし、異常原因を示す分類などであってもよい。この構成により、学習済みモデルは、入力された溶接画像に対して、ラベル情報を出力することで、連続する溶接画像に対して異常が生じた箇所やその異常原因を特定することができる。そして、算出部819は、学習済みモデルから出力される異常判定結果であるラベル情報に基づいて補正信号を出力するような構成であってよい。また、第2の実施形態にて述べた学習済みモデルとは異なる学習処理を行うことで、上記のようなラベル情報の結果を出力可能な学習済みモデルを生成してもよい。この場合、複数の学習済みモデルを用いて、溶接情報の出力と、ラベル情報の出力をそれぞれ行ってよい。
【0136】
また、第1の実施形態では、
図8に示すように学習済みモデルを用いて溶接情報を取得し、算出部819側で幾何学量データの算出および外乱の判定処理を行っている。しかし、この構成に限定するものではなく、例えば、学習モデルが外乱判定までを行うように学習処理を行って学習済みモデルを生成するような構成であってもよい。この場合、学習データにおいて、更に外乱判定結果、すなわち、画像の適正可否を示すラベル情報を含めて学習処理を行うように構成してよい。この構成により、学習済みモデルは、入力された溶接画像に対して、ラベル情報を出力することで、溶接画像に対して外乱が発生しているか否かを判定することができる。そして、算出部819は、学習済みモデルから出力される異常判定結果であるラベル情報に基づいて補正信号を出力するような構成であってよい。また、第1の実施形態にて述べた学習済みモデルとは異なる学習処理を行うことで、上記のようなラベル情報の結果を出力可能な学習済みモデルを生成してもよい。この場合、複数の学習済みモデルを用いて、溶接情報の出力と、ラベル情報の出力をそれぞれ行ってよい。
【0137】
また、第1の実施形態では、
図8に示すように学習済みモデルを用いて溶接情報を取得し、算出部819側で幾何学量データの算出、外乱の判定処理、補正値の算出を行っている。しかし、この構成に限定するものではなく、例えば、学習モデルが補正値の算出までを行うように学習処理を行って学習済みモデルを生成するような構成であってもよい。この場合、学習データにおいて、更に溶接画像に対応して制御される内容に基づく制御パラメータの補正量を含めて学習処理を行うように構成してよい。この構成により、学習済みモデルは、入力された溶接画像に対して、溶接に係る補正値を出力することができる。そして、算出部819は、この得られた補正量にロボット制御装置600に出力すればよい。また、第1の実施形態にて述べた学習済みモデルとは異なる学習処理を行うことで、上記のような補正値を出力可能な学習済みモデルを生成してもよい。この場合、複数の学習済みモデルを用いて、溶接情報の出力と、補正値の出力をそれぞれ行ってよい。
【0138】
本発明において、上述した1以上の実施形態の機能を実現するためのプログラムやアプリケーションを、ネットワークまたは記憶媒体等を用いてシステムまたは装置に供給し、そのシステムまたは装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。
【0139】
また、1以上の機能を実現する回路によって実現してもよい。なお、1以上の機能を実現する回路としては、例えば、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)が挙げられる。
【0140】
以上の通り、本明細書には次の事項が開示されている。
(1) 溶融池を形成する溶接の溶接制御方法であって、
前記溶融池を含む画像データを取得する取得工程と、
取得した前記画像データに基づいて、少なくとも溶接の進行方向側の溶融池と未溶融部の境界近傍における複数の特徴点を特定する特定工程と、
前記複数の特徴点の情報に基づいて、幾何学量データを算出する算出工程と、
前記幾何学量データと予め定めた閾値に基づいて、溶接の適正可否を判定する判定工程と、
前記判定工程における判定結果に基づいて、溶接条件を補正する補正工程と、
を有することを特徴とする溶接制御方法。
この構成によれば、外乱が生じる溶接状況下においても、溶接品質を確保でき、かつ溶接作業能率の良好な自動溶接が可能となる。
【0141】
(2) 前記複数の特徴点は、前記境界の開先面上の両端の位置、または、前記境界上の溶接方向の最も溶融池が先行している位置から特定される、ことを特徴とする(1)に記載の溶接制御方法。
この構成によれは、溶融池の境界周辺の特徴点を用いた溶接の適正可否を判定することが可能となる。
【0142】
(3) 前記算出工程において、前記複数の特徴点の情報を用いて、角度、曲率、距離、面積のうちの少なくともいずれかの幾何学量データを算出する、ことを特徴とする(1)または(2)に記載の溶接制御方法。
この構成によれば、複数の特徴点から特定される様々な幾何学量データに基づいて、溶接の適正可否を判定することが可能となる。
【0143】
(4) 前記溶接の際にウィービングを用いる場合、前記算出工程において、予め定めたウィービング端点からもう一方のウィービング端点へ移動する所定の範囲における前記複数の特徴点の情報に基づいて、幾何学量データを算出する、ことを特徴とする(1)から(3)のいずれかに記載の溶接制御方法。
この構成によれば、ウィービングによる影響を考慮して、特徴点を特定することが可能となる。
【0144】
(5) 前記補正工程において補正される溶接条件は、溶接電流、アーク電圧、またはウィービングに係る条件を少なくとも含み、
前記ウィービングに係る条件は、ウィービング幅、ウィービング周波数、端停止時間、両端間の速度、ウィービング軌跡のうちのいずれかを含む、ことを特徴とする(1)から(4)のいずれかに記載の溶接制御方法。
この構成によれば、溶接の適正可否に応じて、溶接電流、アーク電圧、またはウィービングに係る条件などの溶接条件を制御することが可能となる。
【0145】
(6) 前記閾値は、予め定めた固定値、または、開先のギャップおよび目違い量のうちの少なくとも一方に基づいて規定される値である、ことを特徴とする(1)から(5)のいずれかに記載の溶接制御方法。
この構成によれば、溶接の適正可否を判定するための閾値を任意に設定可能となる。
【0146】
(7) 前記幾何学量データから構成される時系列データに対し、異常理由に対応して予め定めた1または複数の異常検知手段を用いて異常を検知する異常検知工程と、
前記1または複数の異常検知手段による検知結果に基づいて、前記時系列データにおける異常の発生を判定する第2の判定工程と、
を有し、
前記補正工程において更に、前記第2の判定工程における判定結果に基づいて、溶接条件を補正することを特徴とする(1)から(6)のいずれかに記載の溶接制御方法。
この構成によれば、外乱に起因する異常の発生を判定し、当該判定結果に応じて溶接条件を補正することが可能となる。
【0147】
(8) 前記1または複数の異常検知手段は、
前記画像データからの特徴点の認識失敗を前記異常理由として、予め定めた時間内における1または複数の画像データにおける特徴点の検出率が閾値以下であるか否かを判定する手段と、
前記画像データからの特徴点の誤認識を前記異常理由として、所定の外れ値識別方法で定めた範囲外か否かを判定する手段と、
前記画像データからの特徴点の誤認識を前記異常理由として、隣接する画像データで認識された対応する特徴点間の位置が閾値以上に異なるか否を判定する手段と、
のうち、少なくとも1つを含むことを特徴とする(7)に記載の溶接制御方法。
この構成によれば、画像データに含まれる外乱に起因した様々な異常の理由に対応して、異常判定を行うことが可能となる。
【0148】
(9) 前記幾何学量データは、前記画像データに含まれる、1のオブジェクトから得られる1または複数の特徴点の座標、複数の特徴点間の距離、1のオブジェクトから得られる複数の特徴点で形成される面積、および、異なるオブジェクトにおける特徴点間の距離のうちの少なくとも1つであることを特徴とする(8)に記載の溶接制御方法。
この構成によれば、画像データから特定される各オブジェクトの特性を捉えた幾何学量データを用いて異常判定を行うことが可能となる。
【0149】
(10) 前記特定工程において、学習済みモデルを用いて、画像データから前記複数の特徴点の情報を取得し、
前記学習済みモデルは、画像データと、当該画像データから取得される特徴点の情報とを関連付けた学習データを用いて学習処理が行われることにより、画像データを入力とし、当該画像データに対応する特徴点の情報を出力するように生成されていることを特徴とする(1)から(9)のいずれかに記載の溶接制御方法。
この構成によれば、学習済みモデルを用いて、画像データにおける特徴点を取得することが可能となる。
【0150】
(11) 前記判定工程において、学習済みモデルを用いて、溶接の適正可否を示すラベル情報を取得し、
前記判定工程において、前記ラベル情報に基づいて、前記溶接の適正可否を判定し、
前記学習済みモデルは、画像データ、当該画像データから取得される特徴点の情報、および当該画像データにて示される溶接の適正可否を示すラベル情報を関連付けた学習データを用いて学習処理が行われることにより、画像データを入力とし、当該画像データにて示される溶接の適正可否を示すラベル情報を出力するように生成されていることを特徴とする(1)から(9)のいずれかに記載の溶接制御方法。
この構成によれば、学習済みモデルを用いて、画像データに基づく溶接の適正可否を取得することが可能となる。
【0151】
(12) 前記判定工程において、学習済みモデルを用いて、溶接条件の補正値を取得し、
前記学習済みモデルは、画像データ、当該画像データから取得される特徴点の情報、および当該画像データにて示される溶接の適正可否に応じた補正量を関連付けた学習データを用いて学習処理が行われることにより、画像データを入力とし、当該画像データにて示される溶接の適正可否に応じた補正量を出力するように生成されていることを特徴とする(1)から(9)のいずれかに記載の溶接制御方法。
この構成によれば、学習済みモデルを用いて、画像データに基づく溶接の適正可否の判定結果に応じた溶接条件に対する補正量を取得することが可能となる。
【0152】
(13) 溶融池を形成する溶接の溶接条件を制御する制御装置であって、
溶融池を含む画像データを取得する取得部と、
取得した前記画像データに基づいて、少なくとも溶接の進行方向側の溶融池と未溶融部の境界近傍における複数の特徴点を特定する特定部と、
前記複数の特徴点の情報に基づいて、幾何学量データを算出する算出部と、
前記幾何学量データと予め定めた閾値に基づいて、溶接の適正可否を判定する判定部と、
前記判定部による判定結果に基づいて、溶接条件を補正する補正部と、
を有することを特徴とする制御装置。
この構成によれば、外乱が生じる溶接状況下においても、溶接品質を確保でき、かつ溶接作業能率の良好な自動溶接が可能となる。
【0153】
(14) (13)に記載の制御装置を含んで構成される溶接システム。
この構成によれば、外乱が生じる溶接状況下においても、溶接品質を確保でき、かつ溶接作業能率の良好な自動溶接が可能な溶接システムを提供することができる。
【0154】
(15) コンピュータに、
溶接の際に生じる溶融池を含む画像データを取得する取得工程と、
取得した前記画像データに基づいて、少なくとも溶接の進行方向側の溶融池と未溶融部の境界近傍における複数の特徴点を特定する特定工程と、
前記複数の特徴点の情報に基づいて、幾何学量データを算出する算出工程と、
前記幾何学量データと予め定めた閾値に基づいて、溶接の適正可否を判定する判定工程と、
前記判定工程における判定結果に基づいて、溶接条件を補正する補正工程と、
を実行させるためのプログラム。
この構成によれば、外乱が生じる溶接状況下においても、溶接品質を確保でき、かつ溶接作業能率の良好な自動溶接が可能となる。
【0155】
(16) (1)から(12)のいずれかに記載の溶接制御方法にて補正された溶接条件を用いて溶接を行う制御工程を有する溶接方法。
この構成によれば、外乱が生じる溶接状況下においても、溶接品質を確保でき、かつ溶接作業能率の良好な自動溶接が可能な溶接方法を提供することができる。
【符号の説明】
【0156】
50 溶接システム
100 可搬型溶接ロボット
200 溶接トーチ
211 溶接ワイヤ
300 送給装置
400 溶接電源
500 シールドガス供給源
600 ロボット制御装置
700 視覚センサ
800 データ処理装置
810 本体
811 CPU
812 GPU
813 ROM
814 RAM
815 不揮発性記憶装置
815A 学習プログラム
815B 学習済みモデル
815C 情報生成プログラム
815D 画像データ
816 入出力インタフェース
817 通信インタフェース
818 映像出力インタフェース
819 算出部
820 入力部
830 表示部
W ワーク