特開 2023-14676 溶接関連情報の表示方法、表示装置、溶接システム、プログラム、および溶接関連情報の表示画面

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023014676

(43)【公開日】2023-01-31

(54)【発明の名称】溶接関連情報の表示方法、表示装置、溶接システム、プログラム、および溶接関連情報の表示画面

(51)【国際特許分類】

   B23K 9/10 20060101AFI20230124BHJP

【ＦＩ】

B23K9/10 Z

【審査請求】未請求

【請求項の数】19

【出願形態】ＯＬ

(21)【出願番号】P 2021118758

(22)【出願日】2021-07-19

(71)【出願人】

【識別番号】000001199

【氏名又は名称】株式会社神戸製鋼所

(74)【代理人】

【識別番号】110002000

【氏名又は名称】弁理士法人栄光事務所

(72)【発明者】

【氏名】福永 敦史

(72)【発明者】

【氏名】小池 武

【テーマコード（参考）】

4E082

【Ｆターム（参考）】

4E082AA03

4E082AA04

4E082EA02

(57)【要約】

【課題】複数の溶接関連情報を作業者が迅速に認識できるとともに、溶接関連のより高度な問題を解決する際に有用な情報を容易に取得できるようにする。
【解決手段】溶接関連情報の表示方法であって、溶接関連情報に含まれる複数の計測項目のうちの少なくとも２つの計測項目を、時系列および位置情報の少なくとも一方に対応付けて同一のグラフ上にて表示する表示工程を有し、前記少なくとも２つの計測項目それぞれは、前記グラフ上において色彩および線種の少なくとも一方を変更して表示され、前記グラフの表示画面と、前記グラフに表示された計測項目に関連付けられた溶接の動画像の表示画面または当該計測項目にて検出されたエラーの履歴情報の表示画面のうちの少なくとも一方の画面とが切替可能に構成され、前記溶接関連情報は、溶接設定情報、溶接状態情報、生産状況情報、補正情報、溶接現象情報のうちの少なくとも一つを含む。
【選択図】図４Ａ

【特許請求の範囲】

【請求項1】

溶接関連情報に含まれる複数の計測項目のうちの少なくとも２つの計測項目を、時系列および位置情報の少なくとも一方に対応付けて同一のグラフ上にて表示する表示工程を有し、
前記少なくとも２つの計測項目それぞれは、前記グラフ上において色彩および線種の少なくとも一方を変更して表示され、
前記グラフの表示画面と、前記グラフに表示された計測項目に関連付けられた溶接の動画像の表示画面または当該計測項目にて検出されたエラーの履歴情報の表示画面のうちの少なくとも一方の画面とが切替可能に構成され、
前記溶接関連情報は、溶接設定情報、溶接状態情報、生産状況情報、補正情報、溶接現象情報のうちの少なくとも一つを含む、
ことを特徴とする溶接関連情報の表示方法。

【請求項2】

前記グラフに表示される前記少なくとも２つの計測項目の時間または位置における変動傾向に対し、増加、減少、変化なしのうちの少なくとも２つの変動傾向が、記号または図形を用いて示される、
ことを特徴とする請求項１に記載の表示方法。

【請求項3】

前記図形は矢印であり、
前記矢印の向きにより、増加、減少、または変化なしが示され、かつ、前記矢印の色、色調、または大きさにより、変化量が示される、
ことを特徴とする請求項２に記載の表示方法。

【請求項4】

前記計測項目における変動傾向は、着目する時間または位置におけるサンプリング点を中心として、近傍の少なくとも２つの点の値に基づいて判定される、
ことを特徴とする請求項２または３に記載の表示方法。

【請求項5】

前記計測項目の値と、当該計測項目の過去データまたは参考データのうち少なくとも一方とが対応付けて表示される、
ことを特徴とする請求項１～４のいずれか一項に記載の表示方法。

【請求項6】

前記計測項目の値と、当該計測項目の過去データ、参考データ、または、設定値のいずれかに基づいて行われる判定処理の結果とが対応付けて表示される、
ことを特徴とする請求項１～５のいずれか一項に記載の表示方法。

【請求項7】

前記判定処理において所定の判定がなされた場合、前記グラフ上において、前記所定の判定がなされた計測項目を示す範囲に対し、色彩および線種のうちの少なくとも一方を変更して表示される、
ことを特徴とする請求項６に記載の表示方法。

【請求項8】

前記少なくとも２つの計測項目は、前記溶接関連情報に含まれる溶接設定情報、溶接状態情報、生産状況情報、補正情報、溶接現象情報のうちの少なくとも２つから選択して表示される、
ことを特徴とする請求項１～７のいずれか一項に記載の表示方法。

【請求項9】

前記溶接設定情報に係る計測項目は、溶接電流、アーク電圧、送給速度、溶接速度、シールドガス流量、シールドガス圧力のうちの少なくとも一つの設定値を含む、
ことを特徴とする請求項１～８のいずれか一項に記載の表示方法。

【請求項10】

前記溶接状態情報に係る計測項目は、溶接電流、アーク電圧、送給速度、溶接速度、シールドガス流量、シールドガス圧力のうちの少なくとも一つの検出値を含む、
ことを特徴とする請求項１～９のいずれか一項に記載の表示方法。

【請求項11】

前記生産状況情報に係る計測項目は、ワイヤの消費量、ワイヤの消費率、アーク率、送給負荷、短絡回数のうちの少なくとも一つの検出値を含む、
ことを特徴とする請求項１～１０のいずれか一項に記載の表示方法。

【請求項12】

前記補正情報に係る計測項目は、センシング補正量、アークセンサ補正量のうちの少なくとも一つの検出値を含む、
ことを特徴とする請求項１～１１のいずれか一項に記載の表示方法。

【請求項13】

前記溶接現象情報に係る計測項目は、スパッタ、ヒューム、アーク長、アーク幅、溶接欠陥、溶融池幅、溶融池高さ、溶融池または溶滴の温度のうちの少なくとも一つの検出値を含む、
ことを特徴とする請求項１～１２のいずれか一項に記載の表示方法。

【請求項14】

前記溶接現象情報として、スパッタ、ヒューム、アーク長、アーク幅、溶接欠陥、溶融池幅、溶融池高さ、溶融池または溶滴の温度のうちの少なくとも一つの計測項目が表示画面上に表示される、
ことを特徴とする請求項１～１３のいずれか一項に記載の表示方法。

【請求項15】

溶接関連情報に含まれる複数の計測項目のうちの少なくとも２つの計測項目を、時系列および位置情報の少なくとも一方に対応付けて同一のグラフ上にて表示する表示手段を有し、
前記少なくとも２つの計測項目それぞれは、前記グラフ上において色彩および線種の少なくとも一方を変更して表示され、
前記グラフの表示画面と、前記グラフに表示された計測項目に関連付けられた溶接の動画像の表示画面または当該計測項目にて検出されたエラーの履歴情報の表示画面のうちの少なくとも一方の画面とが切替可能に構成され、
前記溶接関連情報は、溶接設定情報、溶接状態情報、生産状況情報、補正情報、溶接現象情報のうちの少なくとも一つを含む、
ことを特徴とする溶接関連情報の表示装置。

【請求項16】

溶接装置と、
センサと、
前記センサによって検出された値を用いて溶接関連情報を計測する計測装置と、
前記溶接関連情報を表示する表示装置と
を有する溶接システムであって、
前記表示装置は、
前記溶接関連情報に含まれる複数の計測項目のうちの少なくとも２つの計測項目を、時系列および位置情報の少なくとも一方に関連付けて同一のグラフ上にて表示する表示手段を有し、
前記少なくとも２つの計測項目それぞれは、前記グラフ上において色彩および線種の少なくとも一方を変更して表示され、
前記グラフの表示画面と、前記グラフに表示された計測項目に関連付けられた溶接の動画像の表示画面または当該計測項目にて検出されたエラーの履歴情報の表示画面のうちの少なくとも一方の画面とが切替可能に構成され、
前記溶接関連情報は、溶接設定情報、溶接状態情報、生産状況情報、補正情報、溶接現象情報のうちの少なくとも一つを含む、
ことを特徴とする溶接システム。

【請求項17】

溶着関連情報に含まれる複数の計測項目のうちの少なくとも２つの計測項目を、時系列および位置情報の少なくとも一方に関連付けて同一のグラフ上にて表示する表示工程を有し、
前記少なくとも２つの計測項目それぞれは、前記グラフ上において色彩および線種の少なくとも一方を変更して表示され、
前記グラフの表示画面と、前記グラフに表示された計測項目に関連付けられた溶着の動画像の表示画面または当該計測項目にて検出されたエラーの履歴情報の表示画面のうちの少なくとも一方の画面とが切替可能に構成され、
前記溶着関連情報は、溶着設定情報、溶着状態情報、生産状況情報、補正情報、溶着現象情報のうちの少なくとも一つを含む、
ことを特徴とする溶着関連情報の表示方法。

【請求項18】

コンピュータに、
溶接関連情報に含まれる複数の計測項目のうちの少なくとも２つの計測項目を、時系列および位置情報の少なくとも一方に関連付けて同一のグラフ上にて表示する表示工程を実行させ、
前記少なくとも２つの計測項目それぞれは、前記グラフ上において色彩および線種の少なくとも一方を変更して表示され、
前記グラフの表示画面と、前記グラフに表示された計測項目に関連付けられた溶接の動画像の表示画面または当該計測項目にて検出されたエラーの履歴情報の表示画面のうちの少なくとも一方の画面とが切替可能に構成され、
前記溶接関連情報は、溶接設定情報、溶接状態情報、生産状況情報、補正情報、溶接現象情報のうちの少なくとも一つを含む、
ことを特徴とするプログラム。

【請求項19】

溶接関連情報に含まれる複数の計測項目のうちの少なくとも２つの計測項目を、時系列および位置情報の少なくとも一方に対応付けて同一のグラフ上にて表示する表示工程にて生成される溶接関連情報の表示画面であって、
前記少なくとも２つの計測項目それぞれは、前記グラフ上において色彩および線種の少なくとも一方を変更して表示され、
前記グラフの表示画面と、前記グラフに表示された計測項目に関連付けられた溶接の動画像の表示画面または当該計測項目にて検出されたエラーの履歴情報の表示画面のうちの少なくとも一方の画面とが切替可能に構成され、
前記溶接関連情報は、溶接設定情報、溶接状態情報、生産状況情報、補正情報、溶接現象情報のうちの少なくとも一つを含む、
ことを特徴とする溶接関連情報の表示画面。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、溶接関連情報の表示方法、表示装置、溶接システム、プログラム、および溶接関連情報の表示画面に関する。

【背景技術】

【0002】

ガスメタルアーク溶接（以降、ＧＭＡＷとも称する）は、溶接中において起こる様々な溶接現象の挙動（以降、溶接挙動と称する）が発生する。溶接挙動の中には、例えばスパッタやヒュームのように、溶接品質に害を与えるものもあり、従来、溶接挙動に関する各種情報に対し、リアルタイムでのモニタリングやトレーサビリティ等の溶接品質の管理を行うことを目的として、各種情報を計測し、その情報を表示する方法が求められてきた。

【0003】

従来の表示方法として、特許文献１では、溶接電流または溶接電圧の少なくともいずれかの一方の時系列データと、作業プログラムの教示ステップとがどのように関連しているかを時系列で確認することを目的とした表示方法が開示されている。具体的には、アーク溶接中に取得した溶接電流及び溶接電圧の両方の時系列データと、溶接に用いられた作業プログラムとを関連付けし、表示画面において、作業プログラムの教示ステップをマーカーにより時系列データに対応させて表示することが開示されている。

【0004】

また、特許文献２では、溶接状態に関する情報の把握を迅速に行いつつ、溶接作業環境の変化に敏感に応答でき、高度な自動溶接作業の品質を向上させることを目的とした表示方法が開示されている。具体的には、平均電流、平均電圧、平均アークショート時間等をステイタスデータとして、積層、ウィービング、開先、溶接電流、溶接電圧、Ｙ軸制御、Ｚ軸制御等を１画面に表示することを可能とした方法が開示されている。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２０１３－１５８８１９号公報

【特許文献2】特開平９－２６２６７０号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかしながら、溶接挙動の情報および溶接挙動に関する各種情報（以降、溶接関連情報と称する）の計測項目（以降、単に項目とも称する）は多数存在し、溶接に係る種々の問題解決のためには、多数の項目をモニタリングする必要がある。特許文献１は、計測項目として電流および電圧によるものだけが示されており、溶接に係る種々の問題解決のための情報としては不十分と言える。また、特許文献２では、積層、ウィービング、開先、溶接電流、溶接電圧、Ｙ軸制御、Ｚ軸制御等を１画面に表示するものである。しかし、各計測項目が一つのグラフ内で表示されており、計測項目ごとに比較がしにくく、また、これら複数の計測項目をグラフ別で１画面で表示すると作業者は迅速に情報を認識し難い。

【0007】

本願発明では、複数の溶接関連情報を作業者が迅速に認識できるとともに、溶接関連のより高度な問題を解決する際に有用な情報を容易に取得できるようにすることを目的とする。

【課題を解決するための手段】

【0008】

上記課題を解決するために本願発明は以下の構成を有する。すなわち、溶接関連情報の表示方法であって、
溶接関連情報に含まれる複数の計測項目のうちの少なくとも２つの計測項目を、時系列および位置情報の少なくとも一方に対応付けて同一のグラフ上にて表示する表示工程を有し、
前記少なくとも２つの計測項目それぞれは、前記グラフ上において色彩および線種の少なくとも一方を変更して表示され、
前記グラフの表示画面と、前記グラフに表示された計測項目に関連付けられた溶接の動画像の表示画面または当該計測項目にて検出されたエラーの履歴情報の表示画面のうちの少なくとも一方の画面とが切替可能に構成され、
前記溶接関連情報は、溶接設定情報、溶接状態情報、生産状況情報、補正情報、溶接現象情報のうちの少なくとも一つを含む。

【0009】

また、本願発明の別の形態として以下の構成を有する。すなわち、溶接関連情報の表示装置であって、
溶接関連情報に含まれる複数の計測項目のうちの少なくとも２つの計測項目を、時系列および位置情報の少なくとも一方に対応付けて同一のグラフ上にて表示する表示手段を有し、
前記少なくとも２つの計測項目それぞれは、前記グラフ上において色彩および線種の少なくとも一方を変更して表示され、
前記グラフの表示画面と、前記グラフに表示された計測項目に関連付けられた溶接の動画像の表示画面または当該計測項目にて検出されたエラーの履歴情報の表示画面のうちの少なくとも一方の画面とが切替可能に構成され、
前記溶接関連情報は、溶接設定情報、溶接状態情報、生産状況情報、補正情報、溶接現象情報のうちの少なくとも一つを含む。

【0010】

また、本願発明の別の形態として以下の構成を有する。すなわち、
溶接装置と、
センサと、
前記センサによって検出された値を用いて溶接関連情報を計測する計測装置と、
前記溶接関連情報を表示する表示装置と
を有する溶接システムであって、
前記表示装置は、
前記溶接関連情報に含まれる複数の計測項目のうちの少なくとも２つの計測項目を、時系列および位置情報の少なくとも一方に関連付けて同一のグラフ上にて表示する表示手段を有し、
前記少なくとも２つの計測項目それぞれは、前記グラフ上において色彩および線種の少なくとも一方を変更して表示され、
前記グラフの表示画面と、前記グラフに表示された計測項目に関連付けられた溶接の動画像の表示画面または当該計測項目にて検出されたエラーの履歴情報の表示画面のうちの少なくとも一方の画面とが切替可能に構成され、
前記溶接関連情報は、溶接設定情報、溶接状態情報、生産状況情報、補正情報、溶接現象情報のうちの少なくとも一つを含む。

【0011】

また、本願発明の別の形態として以下の構成を有する。すなわち、溶着関連情報の表示方法であって、
溶着関連情報に含まれる複数の計測項目のうちの少なくとも２つの計測項目を、時系列および位置情報の少なくとも一方に関連付けて同一のグラフ上にて表示する表示工程を有し、
前記少なくとも２つの計測項目それぞれは、前記グラフ上において色彩および線種の少なくとも一方を変更して表示され、
前記グラフの表示画面と、前記グラフに表示された計測項目に関連付けられた溶着の動画像の表示画面または当該計測項目にて検出されたエラーの履歴情報の表示画面のうちの少なくとも一方の画面とが切替可能に構成され、
前記溶着関連情報は、溶着設定情報、溶着状態情報、生産状況情報、補正情報、溶着現象情報のうちの少なくとも一つを含む。

【0012】

また、本願発明の別の形態として以下の構成を有する。すなわち、プログラムであって、
コンピュータに、
溶接関連情報に含まれる複数の計測項目のうちの少なくとも２つの計測項目を、時系列および位置情報の少なくとも一方に関連付けて同一のグラフ上にて表示する表示工程を実行させ、
前記少なくとも２つの計測項目それぞれは、前記グラフ上において色彩および線種の少なくとも一方を変更して表示され、
前記グラフの表示画面と、前記グラフに表示された計測項目に関連付けられた溶接の動画像の表示画面または当該計測項目にて検出されたエラーの履歴情報の表示画面のうちの少なくとも一方の画面とが切替可能に構成され、
前記溶接関連情報は、溶接設定情報、溶接状態情報、生産状況情報、補正情報、溶接現象情報のうちの少なくとも一つを含む。

【0013】

また、本願発明の別の形態として、以下の構成を有する。すなわち、溶接関連情報に含まれる複数の計測項目のうちの少なくとも２つの計測項目を、時系列および位置情報の少なくとも一方に対応付けて同一のグラフ上にて表示する表示工程にて生成される溶接関連情報の表示画面であって、
前記少なくとも２つの計測項目それぞれは、前記グラフ上において色彩および線種の少なくとも一方を変更して表示され、
前記グラフの表示画面と、前記グラフに表示された計測項目に関連付けられた溶接の動画像の表示画面または当該計測項目にて検出されたエラーの履歴情報の表示画面のうちの少なくとも一方の画面とが切替可能に構成され、
前記溶接関連情報は、溶接設定情報、溶接状態情報、生産状況情報、補正情報、溶接現象情報のうちの少なくとも一つを含む。

【発明の効果】

【0014】

本発明によれば、複数の溶接関連情報を作業者が迅速に認識できるとともに、溶接関連のより高度な問題を解決する際に有用な情報を容易に取得が可能となる。

【図面の簡単な説明】

【0015】

【図1】本願発明の一実施形態に係る溶接システムの構成例を示す概略図。

【図2】本願発明の一実施形態に係るロボット制御装置の構成例を示す概略図。

【図3】本願発明の一実施形態に係るデータ処理装置の機構構成の例を示す概略図。

【図4A】本願発明の一実施形態に係る表示画面の構成例を示す画面図。

【図4B】本願発明の一実施形態に係る表示画面の構成例を示す画面図。

【図4C】本願発明の一実施形態に係る表示画面の構成例を示す画面図。

【図4D】本願発明の一実施形態に係る表示画面の構成例を示す画面図。

【図5A】本願発明の一実施形態に係る表示画面の構成例を示す画面図。

【図5B】本願発明の一実施形態に係る表示画面の構成例を示す画面図。

【図6A】本願発明の一実施形態に係る表示画面の構成例を示す画面図。

【図6B】本願発明の一実施形態に係る表示画面の構成例を示す画面図。

【図6C】本願発明の一実施形態に係る表示画面の構成例を示す画面図。

【図7】本願発明の一実施形態に係る表示画面の構成例を示す画面図。

【図8】本願発明の一実施形態に係る処理の流れを示すフローチャート。

【図9】本願発明の一実施形態に係る各色成分画像の生成を説明するための説明図。

【図10】本願発明の一実施形態に係る要素分類の処理を示すフローチャート。

【図11】画像内に障害物が含まれる場合を説明するための説明図。

【図12】本願発明の一実施形態に係る画像の変遷を説明するための説明図。

【図13】本願発明の一実施形態に係る画像の変遷を説明するための説明図。

【発明を実施するための形態】

【0016】

以下、本願発明を実施するための形態について図面などを参照して説明する。なお、以下に説明する実施形態は、本願発明を説明するための一実施形態であり、本願発明を限定して解釈されることを意図するものではなく、また、各実施形態で説明されている全ての構成が本願発明の課題を解決するために必須の構成であるとは限らない。また、各図面において、同じ構成要素については、同じ参照番号を付すことにより対応関係を示す。

【0017】

また、本願発明に係る溶接挙動を計測して表示する方法は溶接だけでなく、ＧＭＡＷを活用した付加製造技術、具体的には、金属積層造型技術（ＷＡＡＭ：Ｗｉｒｅ ａｎｄ Ａｒｃ Ａｄｄｉｔｉｖｅ Ｍａｎｕｆａｃｔｕｒｉｎｇ）においても有用である。なお、付加製造という用語は、広義では積層造形またはラピットプロトタイピングの用語で用いられることがあるが、本願発明においては、統一して付加製造の用語を用いる。本願発明に係る手法を付加製造技術に活用する場合は、「溶接」を「溶着」、「付加製造」または「積層造形」等に言い換えられる。例えば、溶接として扱う場合は「溶接挙動」となるが、付加製造として本願発明を活用する場合は、「溶着挙動」と言い換えたり、溶接として扱う場合は「溶接システム」となるが、付加製造として本願発明を活用する場合は、「付加製造システム」と言い換えたりすることができる。また、溶接と、付加製造技術の溶着とは、その動作などに応じて測定対象や管理対象が一部異なる。それに伴い、後述する「溶接関連情報」と、付加製造技術における「溶着関連情報」のそれぞれに含まれる項目は異なっていてよい。

【0018】

＜第１の実施形態＞
以下、本願発明に係る一実施形態について図面を参照しつつ説明する。

【0019】

［溶接システムの構成］
図１は、本実施形態に係る溶接システム１の構成例を示す。図１に示す溶接システム１は、溶接ロボット１０、ロボット制御装置２０、電源装置３０、視覚センサ４０、およびデータ処理装置５０を含んで構成される。なお、本願発明に係る手法を付加製造に適用して用いる場合は、例えば、溶接システム１を付加製造システム、溶接ロボット１０を付加製造用ロボットと読み替えてもよい。

【0020】

図１に示す溶接ロボット１０は、６軸の多関節ロボットにより構成され、その先端部にはＧＭＡＷ用の溶接トーチ１１が取り付けられている。なお、ＧＭＡＷには、例えばＭＩＧ（Ｍｅｔａｌ ＩｎｅｒｔＧａｓ）溶接やＭＡＧ（Ｍｅｔａｌ Ａｃｔｉｖｅ Ｇａｓ）溶接があり、本実施形態ではＭＡＧ溶接を例に挙げて説明する。また、溶接ロボット１０は６軸の多関節ロボットに限られたものではなく、例えば可搬型の小型ロボットを採用してもよい。

【0021】

溶接トーチ１１には、ワイヤ送給装置１２から溶接ワイヤ１３が供給される。溶接ワイヤ１３は、溶接トーチ１１の先端から溶接個所に向けて送り出される。電源装置３０は、溶接ワイヤ１３に電力を供給する。この電力により、溶接ワイヤ１３とワークＷとの間にはアーク電圧が印加され、アークが発生する。電源装置３０には、溶接中の溶接ワイヤ１３からワークＷに流れる溶接電流（以降、電流とも称する。）を検出する不図示の電流センサ、および溶接ワイヤ１３とワークＷとの間のアーク電圧（以降、電圧とも称する）を検出する不図示の電圧センサが設けられている。

【0022】

電源装置３０は、不図示の処理部と記憶部を有する。処理部は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）により構成される。また、記憶部は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）やＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の揮発性や不揮発性のメモリにより構成される。処理部が、記憶部に記憶された電源制御用のコンピュータプログラムを実行することにより、溶接ワイヤ１３に印加する電力を制御する。電源装置３０は、ワイヤ送給装置１２にも接続され、処理部が溶接ワイヤ１３の送給速度や送給量を制御する。

【0023】

溶接ワイヤ１３の組成や種類は、溶接対象に応じて使い分けられる。なお、本実施形態に係る溶接挙動は、上述したスパッタ、ヒュームに加え、アーク偏向、アーク圧、溶融池上の酸化物被覆量、溶滴移行形態、溶滴離脱周期、短絡回数、ピット等の溶接欠陥の発生等が挙げられる。

【0024】

視覚センサ４０は、例えば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）カメラにより構成される。視覚センサ４０の配置位置は特に問わず、溶接ロボット１０に直接取り付けてもよいし、また、監視カメラとして、周辺の特定の場所に固定されてもよい。溶接ロボット１０に視覚センサ４０を直接取り付けた場合には、視覚センサ４０は、溶接ロボット１０の動作に併せて、溶接トーチ１１の先端周辺を撮影するように移動する。視覚センサ４０を構成するカメラの台数は複数でもよい。

【0025】

また、視覚センサ４０により撮影する方向も特に問わず、例えば、溶接が進行する方向を前方とした場合に、前方側を撮影するように配置してもよいし、側面側、後方側を撮影するように配置してもよい。したがって、視覚センサ４０による撮影範囲は、計測対象の溶接挙動によって、適宜決定すればよい。なお、スパッタ、ヒュームを対象とする場合は、溶接トーチ１１の干渉を抑制するために、前方側から撮影することが好ましい。

【0026】

本実施形態においては、特定の場所に固定した視覚センサ４０を用い、少なくとも、ワークＷ、溶接ワイヤ１３、およびアークが含まれる撮像範囲となるように、溶接画像として動画像を撮像する。なお、溶接画像に係る各種撮影設定は、予め規定されていてもよいし、溶接システム１の動作条件に応じて切り替えられてもよい。撮影設定としては、例えば、フレームレート、画像のピクセル数、解像度、シャッタースピードなどが挙げられる。図１では、視覚センサ４０を代表的に例示しているが、更に、その他の情報を検出するためのセンサ類を備えていてよい。例えば、センサ類にはレーザーセンサが含まれてよい。レーザーセンサは、溶接前にギャップ幅の開先形状等を検出し、そのデータに基づいて、倣い位置、ウィービング補正量等を捉え、後述する補正情報として出力することが可能である。本実施形態に係るセンサ類の例の詳細については後述するが、その数や設置位置、検出原理などは、モニタリング等の目的とする情報に併せて変更されてよい。

【0027】

溶接システム１を構成する各部位は、有線／無線の各種通信方式により、通信可能に接続される。ここでの通信方式は、１つに限定するものではなく、複数の通信方式を組み合わせて接続されてよい。

【0028】

［ロボット制御装置の構成］
図２は、溶接ロボット１０の動作を制御するロボット制御装置２０の構成例を示す。ロボット制御装置２０は、装置全体を制御するＣＰＵ２０１、データを記憶するメモリ２０２、複数のスイッチを含む操作パネル２０３、教示作業で使用する教示ペンダント２０４、ロボット接続部２０５、および通信部２０６を含んで構成される。メモリ２０２は、例えば、ＲＯＭ、ＲＡＭ、ＨＤＤなどの揮発性や不揮発性の記憶装置により構成される。メモリ２０２には、溶接ロボット１０の制御に用いられる制御プログラム２０２Ａが記憶される。ＣＰＵ２０１は、制御プログラム２０２Ａを実行することにより、溶接ロボット１０による各種動作を制御する。

【0029】

ロボット制御装置２０に対する指示の入力には、主に教示ペンダント２０４が用いられる。教示ペンダント２０４は、通信部２０６を介して、ロボット制御装置２０本体に接続される。オペレータは、教示ペンダント２０４を使用して、教示プログラムを入力することができる。ロボット制御装置２０は、教示ペンダント２０４から入力された教示プログラムに従って溶接ロボット１０の溶接動作を制御する。なお、教示プログラムは、例えば不図示のコンピュータを用いて、ＣＡＤ（Ｃｏｍｐｕｔｅｒ－Ａｉｄｅｄ Ｄｅｓｉｇｎ）情報等に基づいて自動的に作成することも可能である。教示プログラムにて定義される動作内容は、特に限定するものではなく、溶接ロボット１０の仕様や溶接方式に応じて異なっていてよい。教示ペンダント２０４は、操作パネル２０３とは別に、不図示の操作部や表示部を備えており、例えば、後述する表示画面を表示可能である。

【0030】

ロボット接続部２０５には、溶接ロボット１０の駆動回路が接続されている。ＣＰＵ２０１は、制御プログラム２０２Ａに基づく制御信号を、ロボット接続部２０５を介して溶接ロボット１０が備える不図示の駆動回路に出力する。

【0031】

通信部２０６は、有線又は無線通信用の通信モジュールである。通信部２０６は、電源装置３０やデータ処理装置５０、教示ペンダント２０４とのデータ通信に使用される。通信部２０６にて用いられる通信の方式や規格は特に限定するものではなく、複数の方式が組み合わされてもよい。電源装置３０からは、例えば不図示の電流センサによって検出された溶接電流の電流値や、不図示の電圧センサによって検出されたアーク電圧の電圧値が通信部２０６を介してＣＰＵ２０１に与えられる。

【0032】

ロボット制御装置２０は、溶接ロボット１０の各軸の制御により、溶接トーチ１１の移動速度や狙い位置も制御する。また、ロボット制御装置２０は、設定された周期、振幅、溶接速度に応じて、溶接ロボット１０のウィービング動作も制御する。ウィービング動作とは、溶接の進行方向に対して交差する方向に溶接トーチ１１を交互に揺動させることをいう。ロボット制御装置２０は、ウィービング動作と共に、溶接線倣い制御を実行する。溶接線倣い制御とは、溶接線に沿ってビードが形成されるように、溶接トーチ１１の進行方向に対して左右の位置を制御する動作である。また、ロボット制御装置２０は、電源装置３０を介してワイヤ送給装置１２を制御することで、溶接ワイヤ１３の送給速度なども制御する。

【0033】

［データ処理装置の構成］
図３は、データ処理装置５０の機能構成の例を説明するための図である。データ処理装置５０は、例えば、不図示のＣＰＵ、ＲＯＭ、ＲＡＭ、ハードディスク装置、入出力インタフェース、通信インタフェース、映像出力インタフェース等により構成される。データ処理装置５０は、上記の各構成部位が連携することにより、記憶部５１、画像処理部５２、画像分割部５３、算出部５４、表示制御部５５、表示部５６、およびセンサ制御部５７を実現する。画像処理部５２、画像分割部５３、算出部５４、表示制御部５５、および表示部５６で行われる一連の工程は、データ処理装置５０に上にインストールされたソフトウェアによってなされてもよい。

【0034】

記憶部５１は、視覚センサ４０で撮像した画像データを記録、管理し、各処理部からの要求に応じて画像データを提供する。ここでいう画像データは、静止画像データでもよいし、静止画像データを任意のフレームレートにおいて連続して撮像した動画像のデータでもよい。ここでいうフレームレートとは、例えば１秒間などの所定時間間隔において視覚センサ４０で撮像する静止画像データの枚数を示す。好ましくは、１～１０ＦＰＳ（Ｆｒａｍｅｓ Ｐｅｒ Ｓｅｃｏｎｄ）の範囲で決めるとよい。なお、溶接挙動の情報、即ち溶接現象情報のリアルタイム計測や溶接現象情報のトレーサビリティとして活用する場合においては、動画像として記録してくことが好ましい。

【0035】

画像処理部５２は、記憶部５１に記憶された画像データを用いて、本実施形態に係る計測のための前処理を行う。前処理としては、例えば、コントラスト補正、明るさ補正、色補正、二値化等のモノクロ画像変換、ノイズ除去、エッジ強調、収縮・膨張、画像特徴抽出等が挙げられる。

【0036】

画像分割部５３は、画像処理部５２において各種の画像処理を適用した処理画像データに基づいて、予め定めた構成要素ごとに複数の画像に分割した分割画像を作成する。なお、予め定めた構成要素とは、溶接挙動としてのスパッタ、ヒューム、アーク光や、溶接システム１の構成物である溶接ワイヤ１３やノズル、母材、溶融池、障害物、それ以外の背景などが挙げられる。ここでは、スパッタ、ヒューム、アーク光に特に着目して説明を行う。なお、画像処理部５２にて行われる処理は、画像分割部５３の分割画像を生成するための前処理に限定するものではない。必要に応じて、分割画像に対して画像処理部５２が処理を行ってもよい。

【0037】

算出部５４は、分割画像や処理画像データに基づいて、溶接挙動としてのスパッタ、ヒューム、アーク光を定量的に計測するための各種指標値を算出する。ここでの算出は、例えば、時系列順に行われることが好ましい。ここでいう時系列とは、例えば、経過時間、教示プログラム順、動画像を構成する連続した静止画像データ順などが挙げられる。

【0038】

表示制御部５５は、視覚センサ４０、レーザーセンサ４１、電流センサ４２、または電圧センサ４３などのセンサ類から得られた情報や、ロボット制御装置２０等に記録されている情報、算出部５４にて算出された情報などを用いて、予め定めた複数の計測項目に対する時系列データの結果を画像として構成する。そして、表示制御部５５は、表示部５６や、教示ペンダント２０４の不図示の表示部に出力させる。ここで生成される画像の具体例については後述する。

【0039】

表示部５６は、表示制御部５５にて生成された画面を表示する。このとき、表示部５６は、例えば、電流センサ４２や電圧センサ４３にて検出された値や、ロボット制御装置２０から取得した各種情報について、時系列にて同期させて画面上にて表示させる。表示部５６は、例えば、データ処理装置５０が備える不図示の液晶ディスプレイや教示ペンダント２０４が備えるディスプレイなどから構成される。

【0040】

センサ制御部５７は、溶接システム１に備えられたセンサ類の動作を制御する。図３の例では、センサ類として視覚センサ４０、レーザーセンサ４１、電流センサ４２、電圧センサ４３などを例示している。センサ制御部５７は、これらのセンサ類のうち、例えば、視覚センサ４０やレーザーセンサ４１を制御するような構成であってよい。例えば、視覚センサ４０が溶接ロボット１０以外への設置型である場合には、視覚センサ４０として少なくともＰＴＺ機能を有するカメラを採用することが好ましい。その場合、センサ制御部５７は、そのカメラにおけるパン（Ｐａｎ）、チルト（Ｔｉｌｔ）、ズーム（Ｚｏｏｍ）などを溶接ロボット１０の動作に併せて制御してよい。また、センサ制御部５７は、ロボット制御装置２０から溶接ロボットの１０の動作に関する情報を取得し、その情報に基づいて視覚センサ４０の動作を制御してよい。また、レーザーセンサ４１が設けられる場合には、センサ制御部５７は、レーザーの照射の向きや強度、タイミングなどを制御してよい。

【0041】

［表示画面］
続いて、本実施形態に係る各種情報の表示画面の構成例について説明する。本実施形態では、溶接中または溶接後において、溶接関連情報を表示画面上にて表示可能である。本実施形態に係る溶接関連情報は、初期設定値や閾値等の溶接設定情報、設定値に基づいて行われる溶接作業の状況に応じて変動する溶接状態情報、生産状況情報、補正情報、および溶接挙動に係る情報である溶接現象情報を少なくとも含む。より具体的に、溶接設定情報としては、溶接電流の設定値、アーク電圧の設定値、送給速度の設定値、シールドガス流量の設定値、シールドガス圧力の設定値等が挙げられる。溶接状態情報としては、検出した溶接電流、アーク電圧、送給速度、溶接速度、シールドガス流量、シールドガス圧力が挙げられる。生産状況情報としては、ワイヤ消費量・消費率、アーク率、送給負荷、短絡回数等が挙げられる。補正情報としては、センシング補正量、アークセンサ補正量（以降、倣い量とも称する）等が挙げられる。溶接現象情報としては、スパッタ、ヒューム、アーク長、アーク幅、溶接欠陥、溶融池幅、溶融池高さ、溶融池または溶滴の温度等が挙げられる。

【0042】

なお、後述する各表示画面にてグラフ上に表示される計測項目の組み合わせは一例であり、これらに限定するものではない。例えば、１のグラフ上に表示される少なくとも２つの計測項目は、上述したような溶接関連情報に含まれる溶接設定情報、溶接状態情報、生産状況情報、補正情報、溶接現象情報のうちの少なくとも２つから選択して表示されることが好ましい。特に、所定の溶接挙動が発生する際の相関性がより高い組み合わせが含まれることが好ましい。例えば、溶接電流とスパッタの組み合わせや、アーク電圧とヒュームの組み合わせ等が挙げられる。

【0043】

以下では、トレーサビリティを目的として、溶接終了後の溶接関連情報を表示した例を示す。しかし、溶接終了後に限らず、溶接途中、即ちリアルタイムで適時取得される情報に基づいて表示を行ってもよい。なお、図１では省略しているが、本実施形態に係る溶接ロボット１０はタンデム方式の溶接トーチ１１、すなわち、２つの溶接トーチ１１を備える。そして、溶接トーチ１１の進行方向に対して先行する溶接トーチを「先行極」とも称し、先行極に追従する後行の溶接トーチを「後行極」とも称する。先行／後行は、溶接の進行方向に応じて切り替わり、２つの溶接トーチ１１が適時その役割を担う。

【0044】

図４Ａは、本実施形態に係る表示画面４００の構成例を示す。表示画面４００は、グラフ領域４０１、グラフ領域４０１に表示させる項目を指定するためのチェックボックス４０２、グラフ領域４０１にて表示されるグラフのグラフ情報４０３を含んで構成される。図４Ａの例では、溶接設定情報としての溶接電流の設定値を示す「先行 設定電流」およびアーク電圧の設定値を示す「先行 設定電圧」と、溶接状態情報としての溶接電流を示す「先行 実電流」およびアーク電圧を示す「先行 実電圧」の４項目が、チェックボックス４０２にて指定可能に構成されている。ここでは、先行極を対象とした項目を例に挙げて示している。チェックボックス４０２の中から１または複数の項目が選択されると、時系列に沿ってグラフ領域４０１にてそれぞれのグラフが表示される。また、チェックボックス４０２には、「ステップ」の項目が指定可能に含まれ、これを指定することにより、溶接ロボット１０の位置情報に対応するステップ番号４０７がグラフ領域４０１に表示される。

【0045】

グラフ情報４０３には、例えば、溶接ロボット１０を識別するための情報や、実行した教示プログラムの情報、溶接を行ったパスの情報、溶接を実行した日時情報などが表示されてよい。なお、図４Ａ、および図４Ａ以降の図面における日時情報は「ＸＸＸＸ」が年、「ＹＹ」が月、「ＺＺ」が日を示し、その後ろに時間が表示される。なお、各情報の表示順や配置は特に限定するものではない。

【0046】

図４Ａの例において、グラフ領域４０１では、溶接における電流と電圧のグラフを表示させるため、それらに対応した目盛りが表示される。グラフ領域４０１の左側の縦軸４０４には、電流値に対応したアンペア［Ａ］の目盛りが表示されている。また、グラフ領域４０１の右側の縦軸４０５には、電圧値に対応したボルト［Ｖ］の目盛りが表示されている。また、グラフ領域４０１の横軸４０６は時間を示し、時系列に沿ったグラフが示される。

【0047】

なお、図４Ａの例において、縦軸は、電流に係る目盛りと電圧に係る目盛りを左右に分けて記載しているが、これに限定するものではなく、片側に複数の項目の目盛りをまとめて表示してもよい。また、横軸において、時間およびステップ番号を表示しているが、他の時系列に係る項目で表示してもよい。なお、作業者の観測および計測結果の把握を容易にする観点からは、少なくとも、時刻、ステップ番号のどちらか一方が表示されていると好ましく、これら二つの項目が併記されていることがより好ましい。また、縦軸の上限と下限、および、横軸の時間間隔の表示範囲は作業者によって任意に指定可能であってもよいし、溶接の動作条件等に応じて予め規定されてもよい。

【0048】

図４Ａの例では、１のグラフ領域４０１において、各グラフを識別可能に異なる表示形式で示している。ここでの表示形式は一例であり、線の形状や色などを変更して表示してよい。このような表示を行うことで、複数の項目の時系列データを、作業者が迅速に認識できるようになる。特に実電流や実電圧が設定値通りに出力されているかをまとめて確認することができる。なお、情報量がより多くなる３以上の項目の表示をより明確、簡便に把握できるため、３以上の項目を表示する際により識別性の高い画面を提供することが可能となる。

【0049】

図４Ｂは、本実施形態に係る表示画面４１０の構成例を示す。基本的な構成は図４Ａに示した表示画面４００と同様であるが、ここでは、溶接線に対する倣い制御に係る制御量、すなわち、倣い量を対象とした表示画面である。なお、倣い量はアークセンサを用いることが一般的であるが、例えばレーザーセンサ等、他のセンサを用いて、倣い量を検出しても良い。表示画面４１０は、グラフ領域４１１と、グラフ領域４１１に表示させる項目を指定するためのチェックボックス４１２、グラフ領域４１１にて表示されるグラフのグラフ情報４１３を含んで構成される。図４Ｂの例では、先行極の溶接線に対する左右の倣い量を示す「倣い 左右」、先行極の溶接線に対する上下の倣い量を示す「倣い 上下」、後行極の倣いの回転量を示す「倣い 後行極」の３項目が、チェックボックス４１２にて指定可能に構成されている。また、チェックボックス４１２には、「ステップ」の項目が指定可能に含まれ、これを指定することにより、ステップ番号４１７がグラフ領域４１１に表示される。

【0050】

グラフ情報４１３には、図４Ａの表示画面４００のグラフ情報４０３と同様、例えば、溶接ロボット１０を識別するための情報や、実行した教示プログラムの情報、溶接を行ったパスの情報、溶接を実行した日時情報などが表示されてよい。

【0051】

図４Ｂの例において、グラフ領域４１１では、先行極の上下左右の倣い量、および、後行極の倣いの回転のグラフを表示させるため、それらに対応した目盛りが表示される。グラフ領域４１１の左側の縦軸４１４には、上下左右の倣い量に対応したミリ［ｍｍ］の目盛りが表示されている。また、グラフ領域４１１の左側の縦軸４１５には、回転角に対応した度［°］の目盛りが表示されている。また、グラフ領域４１１の横軸４１６は時間を示し、時系列に沿ったグラフが示される。

【0052】

図４Ｃは、本実施形態に係る表示画面４２０の構成例を示す。基本的な構成は図４Ａに示した表示画面４００と同様であるが、ここでは、タッチセンシングによる溶接位置の補正量を対象とした表示画面である。なお、タッチセンシングに限らず、例えば、レーザーセンシングによるものでもよい。表示画面４２０は、グラフ領域４２１、グラフ領域４２１に表示させる項目を指定するためのチェックボックス４２２、グラフ領域４２１にて表示される項目のグラフ情報４２３を含んで構成される。図４Ｃの例では、予め規定されたＸＹＺの３次元座標系における各軸に対する３項目が、チェックボックス４２２にて指定可能に構成されている。また、チェックボックス４２２には、「ステップ」の項目が指定可能に含まれ、これを指定することにより、ステップ番号４２６がグラフ領域４２１に表示される。

【0053】

グラフ情報４２３には、図４Ａの表示画面４００のグラフ情報４０３と同様、例えば、溶接ロボット１０を識別するための情報や、実行した教示プログラムの情報、溶接を行ったパスの情報、溶接を実行した日時情報などが表示されてよい。

【0054】

図４Ｃの例において、グラフ領域４２１では、各軸方向に対応した補正量のグラフを表示させるため、それに対応した目盛りが表示される。グラフ領域４２１の左側の縦軸４２４には、補正量に対応したミリ［ｍｍ］の目盛りが表示されている。また、グラフ領域４２１の横軸４２５は時間を示し、時系列に沿ったグラフが示される。

【0055】

図４Ｄは、本実施形態に係る表示画面４３０の構成例を示す。基本的な構成は図４Ａに示した表示画面４００と同様であるが、ここでは、ワイヤ送給装置１２による溶接ワイヤの送給に係る情報を対象とした表示画面である。表示画面４３０は、グラフ領域４３１、グラフ領域４３１に表示させる項目を指定するためのチェックボックス４３２、グラフ領域４３１にて表示されるグラフのグラフ情報４３３を含んで構成される。図４Ｄの例では、溶接設定情報としての先行極の溶接ワイヤの送給速度の指令値（以降、指令値を設定値と言い換えても良い）、溶接状態情報としての実際の送給速度およびワイヤの送給負荷の３項目が、チェックボックス４３２にて指定可能に構成されている。また、チェックボックス４３２には、「ステップ」の項目が指定可能に含まれ、これを指定することにより、ステップ番号４３７がグラフ領域４３１に表示される。

【0056】

グラフ情報４３３には、図４Ａの表示画面４００のグラフ情報４０３と同様、例えば、溶接ロボット１０を識別するための情報や、実行した教示プログラムの情報、溶接を行ったパスの情報、溶接を実行した日時情報などが表示されてよい。

【0057】

図４Ｄの例において、グラフ領域４２１では、溶接ワイヤの送給速度および送給負荷のグラフを表示させるため、それらに対応した目盛りが表示される。グラフ領域４３１の左側の縦軸４３４には、送給負荷に対応したパーセント［％］の目盛りが表示されている。グラフ領域４３１の左側の縦軸４３５には、送給速度に対応したＭＰＭ［ｍ／ｍ］の目盛りが表示されている。また、グラフ領域４３１の横軸４３６は時間を示し、時系列に沿ったグラフが示される。

【0058】

（エラーチェック結果の表示）
本実施形態に係るデータ処理装置５０は、取得した情報に基づいて、各種エラーチェックを行い、表示画面上に表示を行う。以下、エラーチェックに係る表示画面について説明する。

【0059】

まず、本実施形態に係るエラーチェックについて説明する。本実施形態では、設定値エラー、基準値エラー、絶対値エラーの３つのエラーチェックを行う。なお、ここで示すエラーチェックの内容は一例であり、これらの一部が実行されてもよいし、他のエラーチェックが行われてもよい。

【0060】

設定値エラーのチェックでは、設定値と、実測値、すなわち、フィードバック値との差が所定時間にわたって許容範囲、すなわち、閾値を超えた場合に設置値エラーと判定する。設定値エラーのチェック対象としては、電流［Ａ］、電圧［Ｖ］、溶接速度［ｃｍ／ｍｉｎ］、ワイヤ送給速度［ｍ／ｍｉｎ］、ウィービング幅［ｍｍ］などが挙げられる。

【0061】

基準値エラーのチェックでは、基準値とフィードバック値それぞれに対し所定の時間単位にて平均値を求め、平均値の差が許容範囲、すなわち閾値を超えた場合に基準値エラーと判定する。ここでの基準値とは、例えば、良好な溶接結果が得られた際の実測値を設定してよい。基準値エラーのチェック対象としては、電流［Ａ］、電圧［Ｖ］、ワイヤ送給速度［ｍ／ｍｉｎ］、ウィービング幅［ｍｍ］などが挙げられる。

【0062】

絶対値エラーのチェックでは、フィードバック値が所定時間にわたって許容上下限値を外れた場合に絶対値エラーと判定する。絶対値エラーのチェック対象としては、ワイヤ送給負荷［％］、入熱量［Ｊ／ｃｍ］などが挙げられる。

【0063】

図５Ａは、本実施形態に係るエラーチェック結果に基づく表示画面５００の構成例を示し、ここでは電流を対象として設定値エラーおよび基準値エラーのチェック結果を表示可能な画面を示す。表示画面５００は、グラフ領域５０１、グラフ領域５０１に表示させる項目を指定するためのチェックボックス５０２、グラフ領域５０１にて表示されるグラフのグラフ情報５０３、および遷移ボタン５０７を含んで構成される。図５Ａの例では、溶接設定情報としての溶接電流の設定値を示す「後行 設定電流」、溶接状態情報としての溶接電流を示す「後行 実電流」、設定値エラーと判定した箇所を示す「設定値エラー後行 実電流」、基準値エラーと判定した箇所を示す「基準値エラー後行 実電流」の４項目が、チェックボックス５０２にて指定可能に構成されている。ここでは、後行極を対象とした項目を例に挙げて示している。チェックボックス５０２の中から１または複数の項目が選択されると、時系列に沿ってグラフ領域４０１にてそれぞれのグラフが表示される。また、チェックボックス５０２には、「ステップ」の項目が指定可能に含まれ、これを指定することにより、溶接ロボット１０の位置情報に対応するステップ番号５０６がグラフ領域５０１に表示される。

【0064】

グラフ情報４０３には、例えば、溶接ロボット１０を識別するための情報や、実行した教示プログラムの情報、溶接を行ったパスの情報、溶接を実行した日時情報などが表示されてよい。

【0065】

図５Ａの例において、グラフ領域５０１では、溶接における電流のグラフを表示させるため、それに対応した目盛りが表示される。グラフ領域５０１の左側の縦軸５０４には、電流値に対応したアンペア［Ａ］の目盛りが表示されている。また、グラフ領域５０１の横軸５０５は時間を示し、時系列に沿ったグラフが示される。

【0066】

破線５０８にて示した範囲は、設定値エラーとして判定された実電流の範囲を示す。つまり、設定電流と実電流との差分が所定時間にわたって所定の閾値を超えた箇所となる。遷移ボタン５０７は、図５Ｂに示す表示画面５１０に遷移するためのボタンである。

【0067】

図５Ｂは、本実施形態に係るエラーチェック結果に基づく表示画面５１０の構成例を示し、図５Ｂの表示画面５００に対応する表示画面である。ここでは、電流を対象として設定値エラーおよび基準値エラーのチェック結果を表示可能な画面の構成例を示す。表示画面５１０は、大きく２つの領域５１１、５１２に分けられる。領域５１１は、グラフ領域５１３、グラフ領域５１３に表示させる項目を指定するためのチェックボックス５１４、グラフ領域５１３にて表示されるグラフのグラフ情報５１５を含んで構成される。溶接設定情報としての溶接電流の設定値を示す「後行 設定電流」、溶接状態情報としての溶接電流を示す「後行 実電流」の２項目が、チェックボックス５１４にて指定可能に構成されている。ここでは、後行極を対象とした項目を例に挙げて示している。チェックボックス５１４の中から１または複数の項目が選択されると、時系列に沿ってグラフ領域５１３にてそれぞれのグラフが表示される。なお、チェックボックス５１４において「後行 実電流」が指定された場合、基準値エラーのチェックに用いられる基準値のグラフが表示される。また、チェックボックス５１４には、「ステップ」の項目が指定可能に含まれ、これを指定することにより、溶接ロボット１０の位置情報に対応するステップ番号がグラフ領域５１３に表示される。

【0068】

領域５１２は、グラフ領域５１６、グラフ領域５１６に表示させる項目を指定するためのチェックボックス５１７、グラフ領域５１６にて表示されるグラフのグラフ情報５１８を含んで構成される。溶接設定情報としての溶接電流の設定値を示す「後行 設定電流」、溶接状態情報としての溶接電流を示す「後行 実電流」、設定値エラーと判定した箇所を示す「設定値エラー後行 実電流」、基準値エラーと判定した箇所を示す「基準値エラー後行 実電流」の４項目が、チェックボックス５１７にて指定可能に構成されている。ここでは、後行極を対象とした項目を例に挙げて示している。チェックボックス５１７の中から１または複数の項目が選択されると、時系列に沿ってグラフ領域５１６にてそれぞれのグラフが表示される。また、チェックボックス５１４には、「ステップ」の項目が指定可能に含まれ、これを指定することにより、溶接ロボット１０の位置情報に対応するステップ番号がグラフ領域５１６に表示される。

【0069】

破線５１９にて示した範囲は、基準値エラーとして判定された実電流の範囲を示す。つまり、基準値とフィードバック値それぞれに対し所定の時間単位にて平均値を求め、平均値の差が許容範囲、すなわち閾値を超えた箇所となる。

【0070】

本実施形態では、上述した表示画面５００や表示画面５１０から、他の表示画面へと遷移可能に構成される。図６Ａは、エラーに関する履歴情報６０１を示す一覧画面６００の構成例を示す。例えば、表示画面５００においてエラーと判定した箇所をグラフ表示させた際に、その範囲を選択することで、一覧画面６００に遷移するような構成であってよい。履歴情報は、エラーであると判定した際に適時、記憶部５１等にて記録される。履歴情報６０１に含まれる項目は一例であり、図６Ａに示す項目以外が含まれてもよい。グラフ表示ボタン６０２が押下された場合には、遷移元の画面、例えば、表示画面５００へ遷移する。閉じるボタン６０３が押下された場合には、一覧画面６００を閉じる。

【0071】

図６Ｂは、エラー判定を行った際の履歴情報に対応付けて保持された動画像を再生するための表示画面６１０の構成例を示す。例えば、表示画面５００においてエラーと判定した箇所をグラフ表示させた際に、任意の位置を選択することで、その位置に対応する動画像を再生するために表示画面６１０に遷移するような構成であってよい。または、図６Ａの一覧画面６００に含まれる履歴情報６０１の中から任意のエラーを選択することで、そのエラーに対応する動画像を再生するために表示画面６１０に遷移するような構成であってよい。表示領域６１１は、動画像を再生する領域である。操作領域６１２は、動画像を再生する際の操作を受け付ける各種操作アイコンを表示する。操作アイコンとしては、動画像に対する、再生、停止、早送り、巻き戻しなどの操作に対応したアイコンが挙げられるが、特に限定するものではない。

【0072】

図６Ｃは、本実施形態に係る各種エラー判定の際の設定を行うための設定画面６２０の構成例を示す。設定項目６２１は、上述した設定値エラー、基準値エラー、および絶対値エラーのチェックに用いられる各種閾値や設定値を設定するための項目が含まれる。なお、ここで示された項目は一例であり、エラーチェックの内容に応じて増減してよい。設定ボタン６２２が押下された場合、設定項目６２１に入力された値にて設定が行われる。キャンセルボタン６２３が押下された場合、設定を中止し、本画面を閉じる。

【0073】

図２や図３を用いて説明したように、本実施形態に係るシステムは、データ処理装置５０側の表示部５６や、教示ペンダント２０４における表示部など、表示が可能な複数の部位を有する。したがって、その表示させる部位に応じて、表示させる画面構成を異ならせてよい。ここでは、一例として、教示ペンダント２０４にて表示させることが可能な別の画面構成について説明する。図７は、表示画面の別の構成例を示す。

【0074】

表示画面７００は、表示領域７０１、７０２、７０５を含んで構成される。表示領域７０１は、表示領域７０２や表示領域７０５の表示の概要や関連情報を表示する。表示領域７０２は、時系列に沿った各種グラフを表示する。ここでは、実測値としての溶接電流およびアーク電流のグラフが表示されている。なお、表示領域７０２の左側の縦軸７０３には電流に対応したアンペア［Ａ］の目盛りが表示され、左側の縦軸７０４には電圧に対応したボルト［Ｖ］の目盛りが表示されている。この目盛りは、表示するグラフに応じて変化する。

【0075】

表示領域７０５には、表示領域７０２に表示しているグラフに関連する詳細情報が表示される。ここでは、表示領域７０５には、３つの情報７０６、７０７、７０８が一例として表示されている。情報７０６は、現時点、すなわち、表示領域７０２に表示されているグラフの端部に対応する時点での先行極と後行極それぞれの電流値と電圧値を示している。情報７０７は、現時点での溶接電流の変動傾向を矢印のアイコンにて示している。情報７０８は、現時点でのアーク電圧の変動傾向を示している。変動傾向は、例えば、位置または時間における直前の値と比較して、増加、減少、維持、すなわち変化なしなどが容易に視認可能なアイコンで示されてよい。より具体的には、矢印が上向きの場合はグラフが上方向への変化を示し、矢印が下向きの場合はグラフが下方向への変化を示す。アイコンにて用いる記号が図形も特に限定するものではない。矢印の大きさや色、色調により、変化量を識別可能に示してもよい。例えば、アークセンサ補正量の時系列データにおいて、矢印が緑色の場合は１ｍｍ未満の変化、黄色の場合は１ｍｍ以上２ｍｍ未満の変化、赤色の場合は２ｍｍ以上の変化を示すような構成であってもよい。

【0076】

なお、グラフにおける値の増減に対する評価は、任意の観測時間または位置におけるサンプリング点と、近傍の少なくとも２点以上から判定してよい。この、任意の観測時間または位置におけるサンプリング点と近傍の少なくとも２点以上から、例えば一次式の線形モデルを作成し、その傾きに基づいて増減を判定できる。なお、ここでいう近傍とは、任意の観測時間または位置におけるサンプリング点を基準として、所定の点数内または所定の時間内として予め規定してよい。例えば、サンプリング間隔を０．２秒とし、表示画面の更新、すなわち、グラフの更新を１秒間隔としてよい。また、グラフの更新に伴って、増減評価も１秒間隔にて行ってよい。

【0077】

［分析例］
図６Ａや図６Ｂに示したように、本実施形態に係る表示画面は、実測値と、任意の値、例えば、基準値や過去の値と比較した上で、エラーのチェックを行って容易に識別可能な情報を提示することができる。実測値が溶接電流である場合、過去の値や設定値と比較してエラーと判定される位置を抽出できる。実測値がスパッタやヒュームである場合は、参考データと比較して、標準値以上にスパッタやヒュームが発生している箇所を特定したり、さらに溶接電流等、他の項目と比較することによって、スパッタ、ヒューム等の具体的な不具合に対し、作業者は容易に把握、分析を行ったりすることができる。よって、表示画面においては、溶接現象情報とその他の情報のうち少なくとも一つの情報を対応付けて表示することがより好ましく、その他の情報のうち、少なくとも溶接状態情報と溶接現象情報を対応付けて表示することがさらにより好ましい。

【0078】

よって、少なくとも溶接現象情報を含めて表示を行うことで、より精度の高い情報を作業者が得ることができる。例えば、図５Ａや図５Ｂ、図６Ｂに示した各表示画面は遷移可能に構成されており、これらを参照することで、溶接電流の設定値と実測値、スパッタを含む項目とした場合に、溶接電流の設定値と実測値の差異を不具合の尺度としてスパッタがどの程度増えたかが容易に把握できる。また、ガス流量の設定値と実測値、溶接欠陥としてピットを含む項目とした場合に、ガス流量の設定値と実測値の差異からガスの供給不足を判定し、ガスの供給不足時における溶接欠陥の発生有無もしくは発生量を把握できたりする。このように、溶接挙動とその溶接挙動が起こる要因を容易に知ることができる。

【0079】

以下、本実施形態に係る表示画面にて表示可能な情報の一例として、スパッタ、ヒューム、およびアーク光を計測し、その指標を導出する方法について説明する。なお、計測した各指標の表示画面での表示方法は、上記の構成に則って、適時調整されてよい。

【0080】

［計測方法］
図８は、画像データから複数の溶接挙動を計測する際の一連の流れを説明するための図である。図８では、溶接挙動の一例であるスパッタ、ヒューム、およびアーク光を計測する一連の処理を示しているが、これらすべてを計測する必要は無く、その一部を計測するような構成であってもよい。また、図８では、例えば、１の溶接挙動に対して、複数の指標値を算出しているが、必ずしもすべての指標値を算出する必要はなく、１の溶接挙動に対して１の指標値を算出するように切り替えてもよい。なお、本実施形態は、トレーサビリティを目的として、溶接終了後の動画像データを処理した例であるが、処理は溶接終了後に限らず、溶接動作と並行して、即ちリアルタイムで以下に示す処理を行ってもよい。

【0081】

図８の処理フローは、溶接動作と並行して、または、溶接時に撮影された画像を用いて、溶接挙動を測定する際に、データ処理装置５０の処理部が、記憶部に記憶されたプログラムを読み込んで実行することで、図３に示した各部位を機能させることで実現されてよい。

【0082】

Ｓ８０１にて、データ処理装置５０は、処理対象となる動画像データを取得する。ここでは、フレームレート、シャッタースピード等の撮像条件を視覚センサ４０に設定し、視覚センサ４０により撮影対象となる溶接位置の範囲が動画像データとして撮像される。撮像条件は、作業者が任意の値に設定してもよいし、予め規定された固定値が用いられてもよい。撮影した動画像データは、データ処理装置５０の記憶部５１に直接格納してもよいし、視覚センサ４０自体にメモリがある場合は、視覚センサ４０のメモリに一旦格納した後に、記憶部５１へ動画像データを移行させてもよい。なお、以降の処理は、動画像データに含まれる複数の静止画像データそれぞれに対して処理が行われる。

【0083】

Ｓ８０２にて、データ処理装置５０は、取得した動画像データに対して、色成分分解処理を行う。本実施形態に係る動画像データは、例えば、各画素がＲｅｄ、Ｇｒｅｅｎ、Ｂｌｕｅの色成分を示すＲＧＢ信号から構成される色画像により構成される。ＲＧＢ信号は例えば、各色成分を８ｂｉｔとし、１画素あたり計２４ｂｉｔにて示される。この場合、各色成分に対応する信号値は０～２５５の値をとる。ここでの色成分分解処理では、各色成分に着目し、ＲＧＢ毎の色成分に分けた動画像データが作成される。言い換えれば、１の動画像データから、Ｒの色成分のみの動画像データ、Ｇの色成分のみの動画像データ、およびＢの色成分のみの動画像データに分割して生成する。より具体的には、Ｒの色成分のみの動画像データを生成する場合、動画像データのＧおよびＢの信号値を０に変換することで、色成分分解処理が行われる。

【0084】

図９は、動画像データからＲＧＢそれぞれの色成分のみの動画像データの生成を説明するための図である。図９に示すように、動画像データに含まれるある１の静止画像データから生成される３つの色成分のみの静止画像データは、それぞれ異なる表現となり、同じ溶接挙動が生じた場合であっても異なる特徴が捉えられる。以下、Ｒの色成分のみの静止画像データ、Ｇの色成分のみの静止画像データ、Ｂの色成分のみの静止画像データをそれぞれ「赤色成分画像」、「緑色成分画像」、「青色成分画像」と称して説明する。

【0085】

本願発明者は、実験や検証等の結果、青色成分画像は、熱エネルギー光に対し、明確に確認できることを見出した。熱エネルギー光は、アーク光またはヒュームに関連する事象である。つまり、青色成分画像を用いることで、熱エネルギー光における濃淡が淡い光を抽出でき、この淡い光に基づいて、これまでは抽出が困難であった周囲に拡散するヒュームを算出することを可能にする。

【0086】

また、本願発明者は、実験や検証等の結果、赤色成分画像は、金属、スラグ等の高温発光において、明確に確認できることを見出した。つまり、赤色成分画像を用いることで、それに含まれる高温発光に基づいて、スパッタや溶融池、もしくは粒子密度が高いヒュームをとらえることが可能となる。以下、画像上において粒子密度の高いヒュームを「濃いヒューム」、粒子密度の低いヒュームを「薄いヒューム」とも記載する。なお、ここでの濃淡は相対的なものであり、その濃度値が限定されるものではない。

【0087】

各ＲＧＢ成分に分解する処理を行うことで、種々の溶接挙動の特徴抽出が容易となる。なお、本実施形態では、赤色成分画像および青色成分画像を用いて溶接挙動を計測する例について説明する。しかし、これに限定するものではなく、緑色成分画像を更に用いて、溶接挙動を計測してもよい。例えば、後述する構成要素の領域特定などにおいて、緑色成分画像を用いてもよい。

【0088】

なお、本実施の形態では、ＲＧＢの色空間を例に挙げて説明しているが、これに限定するものではない。例えば、Ｒ、Ｇ、Ｂの各パラメータに対応して変換可能な他の色空間を用いてもよい。より具体的には、利用可能な色空間として、ＲＧＢＡ、ＹＣｂＣｒ、ＹＵＶなどが挙げられる。

【0089】

まず、青色成分画像を用いた薄いヒュームを測定するための指標値の算出について説明する。Ｓ８０３にて、データ処理装置５０は、画像処理部５２により、青色成分画像に対して背景減算処理を適用する。背景減算処理の手法は特に限定するものでは無いが、例えば、公知のＲｏｌｌｉｎｇ Ｂａｌｌアルゴリズムを用いてノイズを除去することで背景減算を行ってもよい。そのほか、所定のフィルタを用いたフィルタリング処理により背景減算処理を行ってもよい。本工程の処理により、スバイク状の信号を除去して、滑らかに変動する画素値を取得することができる。本実施形態では、この滑らかに変動する画素値が薄いヒュームに由来するものであるとして扱う。

【0090】

Ｓ８０４にて、データ処理装置５０は、算出部５４により、Ｓ８０３にて背景減算処理が行われた青色成分画像において、輝度の合計値を薄いヒュームの指標値として算出する。ここでは、青色成分画像全体にて示される輝度ヒストグラムにおいて、各輝度値に基づいて重みづけを行った合計値を指標値として算出してよい。

【0091】

次に、赤色成分画像を用いたアーク光および濃いヒュームを測定するための指標値について説明する。Ｓ８０５にて、データ処理装置５０は、画像処理部５２により、赤色成分画像に対して背景減算処理を適用する。背景除去処理の手法は特に限定するものでは無いが、例えば、Ｓ８０３の処理と同様、公知のＲｏｌｌｉｎｇ Ｂａｌｌアルゴリズムを用いてノイズを除去することで背景減算を行ってもよい。そのほか、所定のフィルタを用いたフィルタリング処理により背景減算処理を行ってもよい。本工程の処理により、スバイク状の信号を除去して、滑らかに変動する画素値を取得することができる。

【0092】

Ｓ８０６にて、データ処理装置５０は、算出部５４によりＳ８０５にて背景減算処理が行われた赤色成分画像において、輝度の合計値をアーク光の指標値として算出する。ここでは、赤色成分画像全体にて示される輝度ヒストグラムにおいて、各輝度値に基づいて重みづけを行った合計値を指標値として算出してよい。

【0093】

Ｓ８０７にて、データ処理装置５０は、画像処理部５２により、Ｓ８０２にて生成された赤色成分画像の各画素の輝度値から、Ｓ８０５にて生成された背景減算処理後の赤色成分画像の輝度値を除外する。本工程により、赤色成分画像において、滑らかに変動する画素値を除外することができる。

【0094】

Ｓ８０８にて、データ処理装置５０は、画像処理部５２により、Ｓ８０７の処理後の赤色成分画像に対して二値化処理を行い、二値化画像を生成する。ここでの二値化処理の方法は特に限定するものでは無く、公知の方法を用いてよい。また、二値化処理の際の閾値の設定についても特に限定するものではなく、例えば、画素値がとり得る値の中央値を閾値としてもよい。

【0095】

Ｓ８０９にて、データ処理装置５０は、画像処理部５２により、Ｓ８０８にて生成された二値化画像を用いて当該画像に含まれる各領域のラベリング処理を行う。二値化画像には、１以上の画素にて構成される複数の領域が含まれており、各領域の抽出を行う。本実施形態では、二値化画像において、画素値が「１」である画素からなる各領域を、溶接挙動により生じる構成要素のいずれかに対応する領域としてラベリングする。ラベリング処理の方法は特に限定するものでは無く、公知の手法が用いられてよい。また、領域のサイズの下限も特に限定するものではなく、例えば、最小の領域は、１画素からなる領域としてよい。なお、画素値が「０」である画素からなる領域が溶接挙動により生じる構成要素に対応する場合、そちらをラベリングしてよい。

【0096】

Ｓ８１０にて、データ処理装置５０は、画像分割部５３により、Ｓ８０９にてラベリングした画像内の各領域に対して要素分類処理を行う。本工程の詳細について、図１０を用いて説明する。本工程は、処理対象となる複数の赤色成分画像それぞれを用いて行われたラベリング処理の結果に基づいて、都度行われる。

【0097】

Ｓ１００１にて、画像分割部５３は、二値化画像に含まれる１または複数のラベリングされた領域のうち、未処理の領域に着目する。このとき、着目する順序は特に限定するものでは無いが、例えば、領域のサイズに基づき降順にソートし、サイズが大きいものから順に着目してもよい。

【0098】

Ｓ１００２にて、画像分割部５３は、着目領域を構成する画素数が第１の閾値以下か否かを判定する。ここでの第１の閾値は、３００画素として説明する。なお、第１の閾値は、赤色成分画像の全体サイズに応じて規定されてもよいし、溶接状況に応じて変化させてもよい。例えば、視覚センサ４０が固定位置の監視カメラであった場合、溶接位置が変わる、即ち、視覚センサ４０の位置と溶接位置の距離、または撮影方向や撮影角度が変わるため、撮影対象の大きさが変化する。よって、予め、距離、方向と対象物の大きさの関係を設け、この関係に基づいて、第１の閾値を変化させてもよい。一方、視覚センサ４０の位置と溶接位置の距離が変化しても、撮影対象の大きさを一定、即ち、第１の閾値を一定としてもよいように、カメラ側の倍率を変えてもよい。着目領域の画素数が第１の閾値以下である場合、即ち、Ｓ１００２にてＹＥＳの場合、画像分割部５３の処理は、Ｓ１００３へ進む。一方、着目領域の画素数が第１の閾値より小さい場合、即ち、Ｓ１００２にてＮＯの場合、画像分割部５３の処理は、Ｓ１００３へ進む。

【0099】

Ｓ１００３にて、画像分割部５３は、着目領域は画像の中央に位置し、かつ、ラベリングされた領域のうち、最大のサイズであるか否かを判定する。つまり、通常の溶接挙動を撮影した画像においては、中央にアーク光が位置し、アーク光の領域は画像内において最大の領域となる。一方、撮影時に障害物等が映り込んだ結果、アーク光が中央にない場合がある。そのような場合には、着目領域はノイズとして扱う。図７は、画像上に障害物が映り込んだ例を示している。このような場合には、アーク光が画像の中央に位置しない画像となる。なお、ここでの中央とは、予め範囲が設定されていてよく、画像サイズや溶接挙動などに応じて変化してよい。また、本工程の判定にて用いられる最大のサイズとは、画像内の複数の領域間の相対的なサイズとなるため、画像によって異なる。着目領域が上記条件を満たす場合、即ち、Ｓ１００３にてＹＥＳの場合に、画像分割部５３の処理はＳ１００５へ進む。一方、着目領域が上記条件を満たさない場合、即ち、Ｓ１００３にてＮＯの場合に、画像分割部５３の処理はＳ１００６へ進む。

【0100】

Ｓ１００４にて、画像分割部５３は、着目領域のサイズが第２の閾値以上か否かを判定する。第２の閾値は、着目領域を包含する最小の矩形領域を規定し、その矩形領域の画素数に対する着目領域の画素数の割合として設定される。したがって、矩形領域のサイズは、各着目領域のサイズに応じて変化する。ここでの第２の閾値は、１５％として説明する。つまり、本工程での判定は、以下の条件を満たすか否かが判定される。
第２の閾値≦（着目領域のサイズ）／（着目領域を包含する矩形領域のサイズ）
着目領域のサイズが第２の閾値以上である場合、即ち、Ｓ１００４にてＹＥＳの場合、画像分割部５３の処理はＳ１００７へ進む。一方、着目領域のサイズが第２の閾値より小さい場合、即ち、Ｓ１００４にてＮＯの場合、画像分割部５３の処理はＳ１００８へ進む。

【0101】

Ｓ１００５にて、画像分割部５３は、着目領域をアーク光の領域として分類する。そして、画像分割部５３の処理はＳ１００９へ進む。

【0102】

Ｓ１００６にて、画像分割部５３は、着目領域をノイズの領域として分類する。そして、画像分割部５３の処理はＳ１００９へ進む。

【0103】

Ｓ１００７にて、画像分割部５３は、着目領域をスパッタの領域として分類する。そして、画像分割部５３の処理はＳ１００９へ進む。

【0104】

Ｓ１００８にて、画像分割部５３は、着目領域を濃いヒュームの領域として分類する。そして、画像分割部５３の処理はＳ１００９へ進む。

【0105】

Ｓ１００９にて、画像分割部５３は、未処理の領域があるか否かを判定する。未処理の領域がある場合、即ち、Ｓ１００９にてＹＥＳの場合、画像分割部５３の処理はＳ１００１へ戻り、処理を繰り返す。一方、未処理の領域が無い場合は、即ち、Ｓ１００９にてＮＯの場合、本処理フローを終了し、図８のＳ８１１へ進む。

【0106】

図８に戻り、アーク光の指標値を算出する動作について説明する。Ｓ８１１にて、データ処理装置５０は、図１０を用いて説明した要素分類処理により、アーク光として分類された領域から構成される二値化画像を生成する。この二値化画像は、Ｓ８０９にてラベリングされた二値化画像から、アーク光として分類された領域を抽出することで生成されてよい。このときの二値化画像には、フレアに対応する構成要素が含まれる。フレアとは、視覚センサ４０を構成するレンズやカメラの中で反射することで発生する光である。そこで、データ処理装置５０は、画像分割部５３により、フレアの構成要素を除去するために、生成した二値化画像に対して収縮・拡張処理を行う。収縮・拡張処理は、公知の手法を用いてよい。フレアの構成要素を適切に除去するために、複数回の収縮処理および膨張処理を行ってよく、また、その処理順序は特に限定されるものではない。

【0107】

Ｓ８１２にて、データ処理装置５０は、算出部５４により、Ｓ８１１にて処理された二値化画像を用いてアーク光の指標値を算出する。算出部５４は、二値化画像に含まれるアーク光の領域の画素数をカウントし、その値を指標値として用いる。

【0108】

なお、Ｓ８０６の処理では輝度値に基づくアーク光の指標値を算出し、Ｓ８１２の処理では画素数に基づくアーク光の指標値を算出している。これらは、別個の指標値として扱ってもよいし、上記の２つの指標値からアーク光全体の１つの指標値を導出してもよい。また、アーク光の指標値として更に、アーク幅、アーク長、アーク偏向の方向などを、アーク光の領域における面積、重心、主軸角度などに基づいて算出してもよい。

【0109】

続いて、スパッタの指標値を算出する動作について説明する。Ｓ８１３にて、データ処理装置５０は、画像処理部５２により、Ｓ８０７の処理後の赤色成分画像を用いて、図１０の要素分類処理にてスパッタとして分類された領域から構成される赤色成分画像を生成する。

【0110】

Ｓ８１４にて、データ処理装置５０は、算出部５４により、Ｓ８１３にて生成した赤色成分画像を用いてスパッタの指標値を算出する。まず、算出部５４は、赤色成分画像に含まれる各スパッタの領域のうち、所定の閾値以上の面積、すなわち、所定の閾値以上の画素数を有する領域を除去する。これは、１つ１つのスパッタは所定のサイズよりも小さいものであると仮定し、その領域を背景であるとみなして除去する。ここでの閾値は特に限定するものではないが、予め規定されているものとする。次に、算出部５４は、残ったスパッタの領域を特定し、その画素の数や、特定した画素にて構成される領域の数を、スパッタの指標値として算出する。このとき、画素数をカウントする際には、Ｒの値が所定の閾値以上の画素のみをカウントしてもよい。

【0111】

なお、ここでの評価値の算出の際には、発生したスパッタの実測量と、本実施形態による画像からの算出値との対応関係を、関係式やテーブルなどで予め定義しておき、それらを用いて指標値を導出してもよい。この場合、関係式やテーブルを用いて、画像からの算出値を単位時間当たりの重量を示すスパッタ量に変換してよい。

【0112】

続いて、濃いヒュームの指標値を算出する動作について説明する。Ｓ８１５にて、データ処理装置５０は、画像処理部５２により、Ｓ８０７にて生成した画像からＳ８１３にて生成されたスパッタの領域の値を減算することで、スパッタを除去した画像を生成する。

【0113】

Ｓ８１６にて、データ処理装置５０は、画像処理部５２により、Ｓ８１５にて生成された画像に対してガンマ補正を行う。ガンマ補正にて輝度値を変換することにより、画像内における微小な輝度値の領域を除外する。除外対象となる領域に対する閾値は、特に限定するものでは無く、ここでは予め規定されているものとする。また、ガンマ補正は、公知の方法を用いてよく、例えば、ガンマカーブの構成は特に限定するものではない。

【0114】

Ｓ８１７にて、データ処理装置５０は、画像処理部５２により、Ｓ８１６にて処理された画像に対してフィルタリング処理を行う。フィルタリング処理により、画像中のエッジを検出し、輝度値の勾配が急な部分を強調させる。ここでのフィルタリング処理では、例えば、Ｌａｐｌａｃｉａｎフィルタを用いることができるが、他のフィルタを用いてもよい。

【0115】

Ｓ８１８にて、データ処理装置５０は、画像処理部５２により、Ｓ８１７にてフィルタ処理が適用された画像に対して、輝度の勾配に基づいた領域分割を行う。ここでの領域分割処理は、例えば、Ｗａｔｅｒｓｈｅｄアルゴリズムを用いて行う。Ｗａｔｅｒｓｈｅｄアルゴリズムにより、輝度の大小、すなわち、濃淡の勾配が激しい部分をより細かく分割し、強調することが可能である。なお、用いる領域分割手法は特に限定するものではなく、他の手法であってもよい。

【0116】

Ｓ８１９にて、データ処理装置５０は、算出部５４により、Ｓ８１８にて生成した画像に基づき濃いヒュームの指標値を算出する。Ｓ８１８の処理において、画像を複数の領域に分割している。このとき、小さい分割領域が多いほど濃淡が多くあることとなる。本実施形態では、濃淡が多くあるという領域、すなわち、予め定めた面積以下の分割領域を濃いヒュームの発生個所として見立て、面積の合計値を濃いヒュームを示す指標値として想定する。本実施形態では、以下の式（１）を用いて濃いヒュームの指標値を導出する。以下の式（１）において、Ｔ_ｎは、分割領域ｎの面積、すなわち、画素数を示す（ｎ＝１，…，ｉ）。

【0117】

【数1】

【0118】

なお、ここでの評価値の算出の際には、発生したヒュームの実測量と、本実施形態による画像からの算出値との対応関係を、関係式やテーブルなどで予め定義しておき、それらを用いて指標値を導出してもよい。この場合、関係式やテーブルを用いて、画像からの測定値を単位時間当たりの重量を示すヒューム量に変換してよい。

【0119】

また、Ｓ８０４の処理では薄いヒュームの指標値を算出し、Ｓ８１９の処理では濃いヒュームの指標値を算出している。これらは、別個の指標値として扱ってもよいし、所定の変換式を用いて上記の２つの指標値からヒューム全体の１つの指標値を導出してもよい。

【0120】

データ処理装置５０は、上記の各指標値を導出したのち、表示部５６により、不図示の画面上にて表示する。この時、算出された指標値にとり特定されるスパッタやヒューム等の複数の溶接挙動は、時系列に並べて表示されるとよく、これら溶接挙動に対する指標値の算出結果だけでなく、溶接電流やアーク電圧値等も時系列で同期させ、並べて、つまり比較対象が視認しやすいように表示させてもよい。

【0121】

図１２、図１３は、上記の処理において、画像処理による画像の変遷を説明するための図である。図１２は、赤色成分画像から構成要素ごとの画像を生成するまでの画像の変遷を示し、図８の処理シーケンスのうち、Ｓ８０５～Ｓ８１５の処理による画像処理に相当する。

【0122】

画像１２０１は、赤色成分画像の例を示し、色成分分解処理後の画像を示す。画像１２０２は、画像１２０１に対して、二値化処理を適用した後の画像を示す。画像１２０３、１２０５は、画像１２０２に対して、ラベリング処理および要素分解処理を適用して、構成要素ごとに生成された画像を示す。画像１２０３は、スパッタとして分類された領域から構成される画像であり、Ｓ８１１にて生成される画像に相当する。画像１２０５は、アーク光として分類された領域から構成される画像であり、Ｓ８１５にて生成される画像に相当する。

【0123】

画像１２０４は、画像１２０３から背景として見なす領域を除去した画像であり、Ｓ８１４にて生成される画像に相当する。画像１２０６は、画像１２０５に障害物が映り込んでいない場合を示す。図１１に示したように障害物が映り込んでいる場合には、画像の中央にアーク光に分類される領域が存在しない。一方、画像１２０６は、画像の中央にアーク光に分類された領域が存在することとなる。

【0124】

図１３は、赤色成分画像から領域分割までの画像の変遷を示し、図８の処理シーケンスのうち、Ｓ８１５～Ｓ８１８の処理による画像処理に相当する。

【0125】

画像１３０１は、スパッタ領域を除去した赤色成分画像の例を示し、Ｓ８１５にて生成される画像に相当する。画像１３０２は、画像１３０１に対しガンマ補正およびフィルタリング処理を適用した画像であり、Ｓ８１７の処理後の画像に相当する。画像１３０３は、画像１３０２に対し領域分割を適用した画像であり、Ｓ８１８の処理後の画像に相当する。

【0126】

なお、図８のＳ８０２、Ｓ８０５、Ｓ８０８の流れで示したように、色処理、背景減算処理（滑らかさに関する処理）、二値化処理の順で処理を行うことがより好ましい。これにより、画像に含まれる溶接挙動の領域を適切に検出することができる。

【0127】

以上、本実施形態により、複数の溶接関連情報を作業者が迅速に認識できるとともに、溶接関連のより高度な問題を解決する際に有用な情報を容易に取得が可能となる。特に、複数の項目を比較しつつ、溶接の状況把握が容易に行うことが可能となる。

【0128】

＜その他の実施形態＞
上記の構成において更に、計測時間を設定可能な構成であってもよい。例えば、所定時間の長さの動画像データにおいて、そのうちの測定対象となる時間帯を指定できるような構成であってもよい。そして、この時間帯において、ヒューム、スパッタ、アーク光の画素や輝度値をカウントし、各指標値を算出してもよい。これにより、例えば、所定の時間帯における溶接条件を踏まえながら、溶接挙動を確認するようなことが可能となる。

【0129】

また、上記の構成において、計測結果やエラーチェックの結果に基づいて、溶接ロボット１０、電源装置３０や視覚センサ４０の動作を制御するような構成であってもよい。例えば、視覚センサ４０の撮影設定を切り替えてもよいし、溶接ロボット１０や電源装置３０の各種溶接パラメータを制御してもよい。これにより、例えば、溶接挙動の発生状況に応じて、より適切に溶接ロボット１０を動作させることが可能となる。

【0130】

また、本願発明において、上述した１以上の実施形態の機能を実現するためのプログラムやアプリケーションを、ネットワーク又は記憶媒体等を用いてシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。

【0131】

また、１以上の機能を実現する回路によって実現してもよい。なお、１以上の機能を実現する回路としては、例えば、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）やＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）が挙げられる。

【0132】

以上の通り、本明細書には次の事項が開示されている。
（１） 溶接関連情報に含まれる複数の計測項目のうちの少なくとも２つの計測項目を、時系列および位置情報の少なくとも一方に対応付けて同一のグラフ上にて表示する表示工程を有し、
前記少なくとも２つの計測項目それぞれは、前記グラフ上において色彩および線種の少なくとも一方を変更して表示され、
前記グラフの表示画面と、前記グラフに表示された計測項目に関連付けられた溶接の動画像の表示画面または当該計測項目にて検出されたエラーの履歴情報の表示画面のうちの少なくとも一方の画面とが切替可能に構成され、
前記溶接関連情報は、溶接設定情報、溶接状態情報、生産状況情報、補正情報、溶接現象情報のうちの少なくとも一つを含む、
ことを特徴とする溶接関連情報の表示方法。
この構成によれば、複数の溶接関連情報を作業者が迅速に認識できるとともに、溶接関連のより高度な問題を解決する際に有用な情報を容易に取得が可能となる。

【0133】

（２） 前記グラフに表示される前記少なくとも２つの計測項目の時間または位置における変動傾向に対し、増加、減少、変化なしのうちの少なくとも２つの変動傾向が、記号または図形を用いて示される、
ことを特徴とする（１）に記載の表示方法。
この構成によれば、１の画面上で、複数の計測項目の変動傾向を容易に把握することが可能となる。

【0134】

（３） 前記図形は矢印であり、
前記矢印の向きにより、増加、減少、または変化なしが示され、かつ、前記矢印の色、色調、または大きさにより、変化量が示される、
ことを特徴とする（２）に記載の表示方法。
この構成によれば、１の画面上で、複数の計測項目の変動傾向を視覚的に容易に把握することが可能となる。

【0135】

（４） 前記計測項目における変動傾向は、着目する時間または位置におけるサンプリング点を中心として、近傍の少なくとも２つの点の値に基づいて判定される、
ことを特徴とする請求項２または３に記載の表示方法。
この構成によれば、着目するサンプリング点の周辺の値に基づいて、変動傾向を判定することが可能となる。

【0136】

（５） 前記計測項目の値と、当該計測項目の過去データまたは参考データのうち少なくとも一方とが対応付けて表示される、
ことを特徴とする（１）～（４）のいずれかに記載の表示方法。
この構成によれば、過去データや参考データに基づいて行われた計測値の評価結果を容易に把握することが可能となる。

【0137】

（６） 前記計測項目の値と、当該計測項目の過去データ、参考データ、または、設定値のいずれかに基づいて行われる判定処理の結果とが対応付けて表示される、
ことを特徴とする（１）～（５）のいずれかに記載の表示方法。
この構成によれば、過去データ、参考データ、または、設定値のいずれかに基づいて行われた判定結果を容易に把握することが可能となる。

【0138】

（７） 前記判定処理において所定の判定がなされた場合、前記グラフ上において、前記所定の判定がなされた計測項目を示す範囲に対し、色彩および線種のうちの少なくとも一方を変更して表示される、
ことを特徴とする（６）に記載の表示方法。
この構成によれば、判定処理の結果に基づいて色彩や線種を変更させることで、視覚的に容易に結果を把握することが可能となる。

【0139】

（８） 前記少なくとも２つの計測項目は、前記溶接関連情報に含まれる溶接設定情報、溶接状態情報、生産状況情報、補正情報、溶接現象情報のうちの少なくとも２つから選択して表示される、
ことを特徴とする（１）～（７）のいずれかに記載の表示方法。
この構成によれば、複数の情報の中からそれぞれ計測項目を選択して表示させることが可能となる。

【0140】

（９） 前記溶接設定情報に係る計測項目は、溶接電流、アーク電圧、送給速度、溶接速度、シールドガス流量、シールドガス圧力のうちの少なくとも一つの設定値を含む、
ことを特徴とする（１）～（８）のいずれかに記載の表示方法。
この構成によれば、溶接設定情報として、複数の設定値を対象として表示画面に表示させることが可能となる。

【0141】

（１０） 前記溶接状態情報に係る計測項目は、溶接電流、アーク電圧、送給速度、溶接速度、シールドガス流量、シールドガス圧力のうちの少なくとも一つの検出値を含む、
ことを特徴とする（１）～（９）のいずれかに記載の表示方法。
この構成によれば、溶接状態情報として、複数の検出値を対象として表示画面に表示させることが可能となる。

【0142】

（１１） 前記生産状況情報に係る計測項目は、ワイヤの消費量、ワイヤの消費率、アーク率、送給負荷、短絡回数のうちの少なくとも一つの検出値を含む、
ことを特徴とする（１）～（１０）のいずれかに記載の表示方法。
この構成によれば、生産状況情報として、複数の検出値を対象として表示画面に表示させることが可能となる。

【0143】

（１２） 前記補正情報に係る計測項目は、センシング補正量、アークセンサ補正量のうちの少なくとも一つの検出値を含む、
ことを特徴とする（１）～（１１）のいずれかに記載の表示方法。
この構成によれば、補正情報として、複数の検出値を対象として表示画面に表示させることが可能となる。

【0144】

（１３） 前記溶接現象情報に係る計測項目は、スパッタ、ヒューム、アーク長、アーク幅、溶接欠陥、溶融池幅、溶融池高さ、溶融池または溶滴の温度のうちの少なくとも一つの検出値を含む、
ことを特徴とする（１）～（１２）のいずれかに記載の表示方法。
この構成によれば、溶接現象情報として、複数の検出値を対象として表示画面に表示させることが可能となる。

【0145】

（１４） 前記溶接現象情報として、スパッタ、ヒューム、アーク長、アーク幅、溶接欠陥、溶融池幅、溶融池高さ、溶融池または溶滴の温度のうちの少なくとも一つの計測項目が表示画面上に表示される、
ことを特徴とする（１）～（１３）のいずれかに記載の表示方法。
この構成によれば、溶接現象情報の測定項目として、スパッタ、ヒューム、アーク長、アーク幅、溶接欠陥、溶融池幅、溶融池高さ、溶融池または溶滴の温度のうちの少なくとも一つを表示画面上に表示させることが可能となる。

【0146】

（１５） 溶接関連情報に含まれる複数の計測項目のうちの少なくとも２つの計測項目を、時系列および位置情報の少なくとも一方に対応付けて同一のグラフ上にて表示する表示手段を有し、
前記少なくとも２つの計測項目それぞれは、前記グラフ上において色彩および線種の少なくとも一方を変更して表示され、
前記グラフの表示画面と、前記グラフに表示された計測項目に関連付けられた溶接の動画像の表示画面または当該計測項目にて検出されたエラーの履歴情報の表示画面のうちの少なくとも一方の画面とが切替可能に構成され、
前記溶接関連情報は、溶接設定情報、溶接状態情報、生産状況情報、補正情報、溶接現象情報のうちの少なくとも一つを含む、
ことを特徴とする溶接関連情報の表示装置。
この構成によれば、複数の溶接関連情報を作業者が迅速に認識できるとともに、溶接関連のより高度な問題を解決する際に有用な情報を容易に取得が可能となる。

【0147】

（１６） 溶接装置と、
センサと、
前記センサによって検出された値を用いて溶接関連情報を計測する計測装置と、
前記溶接関連情報を表示する表示装置と
を有する溶接システムであって、
前記表示装置は、
前記溶接関連情報に含まれる複数の計測項目のうちの少なくとも２つの計測項目を、時系列および位置情報の少なくとも一方に関連付けて同一のグラフ上にて表示する表示手段を有し、
前記少なくとも２つの計測項目それぞれは、前記グラフ上において色彩および線種の少なくとも一方を変更して表示され、
前記グラフの表示画面と、前記グラフに表示された計測項目に関連付けられた溶接の動画像の表示画面または当該計測項目にて検出されたエラーの履歴情報の表示画面のうちの少なくとも一方の画面とが切替可能に構成され、
前記溶接関連情報は、溶接設定情報、溶接状態情報、生産状況情報、補正情報、溶接現象情報のうちの少なくとも一つを含む、
ことを特徴とする溶接システム。
この構成によれば、複数の溶接関連情報を作業者が迅速に認識できるとともに、溶接関連のより高度な問題を解決する際に有用な情報を容易に取得が可能となる。

【0148】

（１７） 溶着関連情報に含まれる複数の計測項目のうちの少なくとも２つの計測項目を、時系列および位置情報の少なくとも一方に関連付けて同一のグラフ上にて表示する表示工程を有し、
前記少なくとも２つの計測項目それぞれは、前記グラフ上において色彩および線種の少なくとも一方を変更して表示され、
前記グラフの表示画面と、前記グラフに表示された計測項目に関連付けられた溶着の動画像の表示画面または当該計測項目にて検出されたエラーの履歴情報の表示画面のうちの少なくとも一方の画面とが切替可能に構成され、
前記溶着関連情報は、溶着設定情報、溶着状態情報、生産状況情報、補正情報、溶着現象情報のうちの少なくとも一つを含む、
ことを特徴とする溶着関連情報の表示方法。
この構成によれば、複数の溶着関連情報を作業者が迅速に認識できるとともに、溶着関連のより高度な問題を解決する際に有用な情報を容易に取得が可能となる。

【0149】

（１８） コンピュータに、
溶接関連情報に含まれる複数の計測項目のうちの少なくとも２つの計測項目を、時系列および位置情報の少なくとも一方に関連付けて同一のグラフ上にて表示する表示工程を実行させ、
前記少なくとも２つの計測項目それぞれは、前記グラフ上において色彩および線種の少なくとも一方を変更して表示され、
前記グラフの表示画面と、前記グラフに表示された計測項目に関連付けられた溶接の動画像の表示画面または当該計測項目にて検出されたエラーの履歴情報の表示画面のうちの少なくとも一方の画面とが切替可能に構成され、
前記溶接関連情報は、溶接設定情報、溶接状態情報、生産状況情報、補正情報、溶接現象情報のうちの少なくとも一つを含む、
ことを特徴とするプログラム。
この構成によれば、複数の溶接関連情報を作業者が迅速に認識できるとともに、溶接関連のより高度な問題を解決する際に有用な情報を容易に取得が可能となる。

【0150】

（１９） 溶接関連情報に含まれる複数の計測項目のうちの少なくとも２つの計測項目を、時系列および位置情報の少なくとも一方に対応付けて同一のグラフ上にて表示する表示工程にて生成される溶接関連情報の表示画面であって、
前記少なくとも２つの計測項目それぞれは、前記グラフ上において色彩および線種の少なくとも一方を変更して表示され、
前記グラフの表示画面と、前記グラフに表示された計測項目に関連付けられた溶接の動画像の表示画面または当該計測項目にて検出されたエラーの履歴情報の表示画面のうちの少なくとも一方の画面とが切替可能に構成され、
前記溶接関連情報は、溶接設定情報、溶接状態情報、生産状況情報、補正情報、溶接現象情報のうちの少なくとも一つを含む、
ことを特徴とする溶接関連情報の表示画面。
この構成によれば、複数の溶接関連情報を作業者が迅速に認識できるとともに、溶接関連のより高度な問題を解決する際に有用な情報を容易に取得が可能となる。

【符号の説明】

【0151】

１ 溶接システム
１０ 溶接ロボット
１１ 溶接トーチ
１２ ワイヤ送給装置
１３ 溶接ワイヤ
２０ ロボット制御装置
３０ 電源装置
４０ 視覚センサ
４１ レーザーセンサ
４２ 電流センサ
４３ 電圧センサ
５０ データ処理装置
５１ 記憶部
５２ 画像処理部
５３ 画像分割部
５４ 算出部
５５ 表示制御部
５６ 表示部
５７ センサ制御部
２０１ ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）
２０２ メモリ
２０２Ａ 制御プログラム
２０３ 操作パネル
２０４ 教示ペンダント
２０５ ロボット接続部
２０６ 通信部

【図1】

【図2】

【図3】

【図4A】

【図4B】

【図4C】

【図4D】

【図5A】

【図5B】

【図6A】

【図6B】

【図6C】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】