知財求人 - 知財ポータルサイト「IP Force」
特開2023-149113異常判定方法、異常時の処理方法、情報処理装置、溶接システム、およびプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023149113
(43)【公開日】2023-10-13
(54)【発明の名称】異常判定方法、異常時の処理方法、情報処理装置、溶接システム、およびプログラム
(51)【国際特許分類】
G06V 10/74 20220101AFI20231005BHJP
B23K 9/095 20060101ALI20231005BHJP
B23K 9/127 20060101ALI20231005BHJP
B23K 31/00 20060101ALI20231005BHJP
G06T 7/00 20170101ALI20231005BHJP
【ＦＩ】
G06V10/74
B23K9/095 515A
B23K9/127 508B
B23K31/00 N
G06T7/00 300F
【審査請求】未請求
【請求項の数】12
【出願形態】ＯＬ
(21)【出願番号】P 2022057505
(22)【出願日】2022-03-30
(71)【出願人】
【識別番号】000001199
【氏名又は名称】株式会社神戸製鋼所
(74)【代理人】
【識別番号】110002000
【氏名又は名称】弁理士法人栄光事務所
(72)【発明者】
【氏名】吉本 達也
(72)【発明者】
【氏名】尾崎 圭太
(72)【発明者】
【氏名】古川 尚英
【テーマコード（参考）】
5L096
【Ｆターム（参考）】
5L096BA02
5L096CA04
5L096DA02
5L096FA59
5L096FA66
5L096FA69
5L096GA51
5L096JA11
(57)【要約】
【課題】外乱が生じる環境下においても、画像データ上の特徴点の異常を判定可能とする。
【解決手段】画像データから抽出される１または複数の特徴点の情報の異常を判定する異常判定方法であって、前記１または複数の特徴点の情報から導出される幾何学量データを算出する算出工程と、前記幾何学量データから構成される時系列データに対し、異常理由に対応して予め定めた１または複数の異常検知手段を用いて異常を検知する異常検知工程と、前記１または複数の異常検知手段による検知結果に基づいて、前記時系列データにおける異常の発生を判定する判定工程と、を有する。
【選択図】図１２
【解決手段】画像データから抽出される１または複数の特徴点の情報の異常を判定する異常判定方法であって、前記１または複数の特徴点の情報から導出される幾何学量データを算出する算出工程と、前記幾何学量データから構成される時系列データに対し、異常理由に対応して予め定めた１または複数の異常検知手段を用いて異常を検知する異常検知工程と、前記１または複数の異常検知手段による検知結果に基づいて、前記時系列データにおける異常の発生を判定する判定工程と、を有する。
【選択図】図１２
【特許請求の範囲】
【請求項1】
画像データから抽出される１または複数の特徴点の情報の異常を判定する異常判定方法であって、
前記１または複数の特徴点の情報から導出される幾何学量データを算出する算出工程と、
前記幾何学量データから構成される時系列データに対し、異常理由に対応して予め定めた１または複数の異常検知手段を用いて異常を検知する異常検知工程と、
前記１または複数の異常検知手段による検知結果に基づいて、前記時系列データにおける異常の発生を判定する判定工程と、
を有することを特徴とする異常判定方法。
前記１または複数の特徴点の情報から導出される幾何学量データを算出する算出工程と、
前記幾何学量データから構成される時系列データに対し、異常理由に対応して予め定めた１または複数の異常検知手段を用いて異常を検知する異常検知工程と、
前記１または複数の異常検知手段による検知結果に基づいて、前記時系列データにおける異常の発生を判定する判定工程と、
を有することを特徴とする異常判定方法。
【請求項2】
前記１または複数の異常検知手段は、
前記画像データからの特徴点の認識失敗を前記異常理由として、予め定めた時間内における１または複数の画像データにおける特徴点の検出率が閾値以下であるか否かを判定する手段と、
前記画像データからの特徴点の誤認識を前記異常理由として、所定の外れ値識別方法で定めた範囲外か否かを判定する手段と、
前記画像データからの特徴点の誤認識を前記異常理由として、隣接する画像データで認識された対応する特徴点間の位置が閾値以上に異なるか否を判定する手段と、
のうち、少なくとも１つを含むことを特徴とする請求項１に記載の異常判定方法。
前記画像データからの特徴点の認識失敗を前記異常理由として、予め定めた時間内における１または複数の画像データにおける特徴点の検出率が閾値以下であるか否かを判定する手段と、
前記画像データからの特徴点の誤認識を前記異常理由として、所定の外れ値識別方法で定めた範囲外か否かを判定する手段と、
前記画像データからの特徴点の誤認識を前記異常理由として、隣接する画像データで認識された対応する特徴点間の位置が閾値以上に異なるか否を判定する手段と、
のうち、少なくとも１つを含むことを特徴とする請求項１に記載の異常判定方法。
【請求項3】
前記画像データは、溶融池、アーク、溶接ワイヤのうち少なくとも一つをオブジェクトとして含み、
前記特徴点は、前記オブジェクトから抽出されることを特徴とする請求項１または２に記載の異常判定方法。
前記特徴点は、前記オブジェクトから抽出されることを特徴とする請求項１または２に記載の異常判定方法。
【請求項4】
前記幾何学量データは、１のオブジェクトから得られる１または複数の特徴点の座標、複数の特徴点間の距離、１のオブジェクトから得られる複数の特徴点で形成される面積、および、異なるオブジェクトにおける特徴点間の距離のうちの少なくとも１つであることを特徴とする請求項３に記載の異常判定方法。
【請求項5】
学習済みモデルを用いて、前記画像データから前記１または複数の特徴点の情報を取得する取得工程を更に有し、
前記学習済みモデルは、画像データと、当該画像データから取得される特徴点の情報とを関連付けた学習データを用いて学習処理が行われることにより、画像データを入力とし、当該画像データに対応する特徴点の情報を出力するように生成されていることを特徴とする請求項１から４のいずれか一項に記載の異常判定方法。
前記学習済みモデルは、画像データと、当該画像データから取得される特徴点の情報とを関連付けた学習データを用いて学習処理が行われることにより、画像データを入力とし、当該画像データに対応する特徴点の情報を出力するように生成されていることを特徴とする請求項１から４のいずれか一項に記載の異常判定方法。
【請求項6】
前記判定工程において、学習済みモデルを用いて、画像データから当該画像データに含まれる異常に関するラベル情報を取得し、
前記判定工程において、前記ラベル情報に基づいて、前記時系列データにおける異常の発生を判定し、
前記学習済みモデルは、画像データ、当該画像データから取得される特徴点の情報、および当該画像データに含まれる異常に関するラベル情報を関連付けた学習データを用いて学習処理が行われることにより、画像データを入力とし、当該画像データに含まれる異常に関するラベル情報を出力するように生成されていることを特徴とする請求項１から４のいずれか一項に記載の異常判定方法。
前記判定工程において、前記ラベル情報に基づいて、前記時系列データにおける異常の発生を判定し、
前記学習済みモデルは、画像データ、当該画像データから取得される特徴点の情報、および当該画像データに含まれる異常に関するラベル情報を関連付けた学習データを用いて学習処理が行われることにより、画像データを入力とし、当該画像データに含まれる異常に関するラベル情報を出力するように生成されていることを特徴とする請求項１から４のいずれか一項に記載の異常判定方法。
【請求項7】
請求項１から６のいずれか一項に記載の異常判定方法にて得られた判定結果に従って異常時の処理を行う処理方法であって、
前記時系列データのうち異常が発生した期間のデータに対し、当該期間のデータを除去、予め定めた値を用いて補正、または、異常が発生する直前の値にて補正、のいずれかを行う処理工程を有することを特徴とする異常時の処理方法。
前記時系列データのうち異常が発生した期間のデータに対し、当該期間のデータを除去、予め定めた値を用いて補正、または、異常が発生する直前の値にて補正、のいずれかを行う処理工程を有することを特徴とする異常時の処理方法。
【請求項8】
前記処理工程にて処理が行われた時系列データに対し、所定のフィルタを用いたフィルタリング処理を行うフィルタリング工程を更に有する、ことを特徴とする請求項７に記載の処理方法。
【請求項9】
請求項１から６のいずれか一項に記載の異常判定方法によって得られた判定結果に従って異常時の処理を行う処理方法であって、
前記時系列データにおける異常のパターンを解析する解析工程と、
前記解析工程における解析結果に基づいて、アラームまたは異常理由に対する設定条件の補正を行う工程と、
を有することを特徴とする異常時の処理方法。
前記時系列データにおける異常のパターンを解析する解析工程と、
前記解析工程における解析結果に基づいて、アラームまたは異常理由に対する設定条件の補正を行う工程と、
を有することを特徴とする異常時の処理方法。
【請求項10】
画像データから抽出される１または複数の特徴点の情報の異常を判定する情報処理装置であって、
前記１または複数の特徴点の情報から導出される幾何学量データを算出する算出部と、
前記幾何学量データから構成される時系列データに対し、異常理由に対応して予め定めた１または複数の異常検知手段を用いて異常を検知する異常検知部と、
前記１または複数の異常検知手段による検知結果に基づいて、前記時系列データにおける異常の発生を判定する判定部と、
を有することを特徴とする情報処理装置。
前記１または複数の特徴点の情報から導出される幾何学量データを算出する算出部と、
前記幾何学量データから構成される時系列データに対し、異常理由に対応して予め定めた１または複数の異常検知手段を用いて異常を検知する異常検知部と、
前記１または複数の異常検知手段による検知結果に基づいて、前記時系列データにおける異常の発生を判定する判定部と、
を有することを特徴とする情報処理装置。
【請求項11】
請求項１０に記載の情報処理装置を含んで構成される溶接システム。
【請求項12】
コンピュータに、
画像データから抽出される１または複数の特徴点の情報から導出される幾何学量データを算出する算出工程と、
前記幾何学量データから構成される時系列データに対し、異常理由に対応して予め定めた１または複数の異常検知手段を用いて異常を検知する異常検知工程と、
前記１または複数の異常検知手段による検知結果に基づいて、前記時系列データにおける異常の発生を判定する判定工程と、
を実行させるためのプログラム。
画像データから抽出される１または複数の特徴点の情報から導出される幾何学量データを算出する算出工程と、
前記幾何学量データから構成される時系列データに対し、異常理由に対応して予め定めた１または複数の異常検知手段を用いて異常を検知する異常検知工程と、
前記１または複数の異常検知手段による検知結果に基づいて、前記時系列データにおける異常の発生を判定する判定工程と、
を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、異常判定方法、異常時の処理方法、情報処理装置、溶接システム、およびプログラムに関する。
【背景技術】
【0002】
近年、各業種の生産現場において、視覚センサを採用し、視覚センサで得た画像データに対して画像認識技術を活用することで生産性向上や品質向上を目指す試みが行われている。画像認識では、取り込まれた画像データの特徴を様々な手法で分析して、画像から特徴点もしくは特徴量を抽出し、これらに基づいて画像データを識別することが行われている。
【0003】
この画像認識技術を活用し、自動化による生産性向上がなされている分野の一例として溶接分野がある。このような分野において、例えば、特許文献１が挙げられる。特許文献１では、鉛直方向に並ぶ２つの被溶接部材の間に形成された水平方向に延びる開先において、溶接進行方向を前方向とするとき、溶接トーチを前下方向と後上方向とに交互にウィービングさせながらアーク溶接を行う溶接ロボットと、アーク溶接により開先に生じたアーク及び溶融池を撮影するカメラと、カメラにより撮影されたカメラ画像中の溶融池の先端部の位置を検出する検出部と、アークと溶融池の先端部との距離が所定の範囲にある場合に、当該距離に基づいて溶接速度の補正量を決定する決定部と、を備えるシステムによって、片面溶接かつ横向姿勢時において、自動溶接が可能であることを開示している。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開２０２１－７９４４４号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
様々な生産現場では、特許文献１にて開示されている溶接分野の用途に限らず、外乱が存在し得る。溶接における外乱は、例えば、ワークの目違い、ガス流量の減少、磁気吹き、ワイヤ送給の不安定、電流供給の不安定、ワークへの油付着、ワークの錆（以降、酸化被膜とも称する）、ワークへのスパッタ付着等が挙げられる。上述のとおり、画像認識技術は、画像データから特徴点を抽出するが、外乱の発生が顕著な溶接を例に挙げると、例えば、ワークの酸化被膜やスパッタ付着により、被写体または被写体の一部が隠れ、特徴点が認識できない状況、または特徴点が急峻に変化する状況が発生する。
【0006】
また、ガス流量の減少、磁気吹き等の外乱が発生すると、アーク不安定、溶融池の揺動等が起こり、特徴点が急峻に変化する状況が発生する。このように、外乱によって、特徴点自体が認識できない場合、または被写体が急峻に変化し特徴点が誤認識される場合が発生すると特徴点に基づいた画像データの識別に悪影響を及ぼす虞がある。すなわち、画像データ上の特徴点が認識不可であったり、誤認識であったりすることを判別できず、画像データを識別してしまうと、後段の処理工程に影響を与えてしまう。なお、特許文献１はこのような外乱の影響については何ら考慮されていない。そのため、特許文献１の方法では、外乱によって、画像データの識別に悪影響を及ぼし、結果として、溶接速度の補正量に影響を与え、自動化が困難になる可能性が生じる。
【0007】
このため、外乱が生じたとしても、画像データ上の特徴点が認識不可や誤認識であることを判定できる異常判定技術および判定した異常に対し、画像データの識別に影響を与えないための処理技術が求められる。
【0008】
よって、本発明では、外乱が生じる環境下においても、画像データ上の特徴点の異常を判定可能な異常判定方法を提供することを１つの目的とする。更には、該異常判定方法によって判定した異常に対し、画像データの識別に影響を与えない異常時の処理方法を提供することを目的とする。更には、該異常判定方法を実行可能な制御装置、溶接システムおよびプログラムを提供することを目的とする。
【課題を解決するための手段】
【0009】
上記課題を解決するために本発明は以下の構成を有する。すなわち、画像データから抽出される１または複数の特徴点の情報の異常を判定する異常判定方法であって、
前記１または複数の特徴点の情報から導出される幾何学量データを算出する算出工程と、
前記幾何学量データから構成される時系列データに対し、異常理由に対応して予め定めた１または複数の異常検知手段を用いて異常を検知する異常検知工程と、
前記１または複数の異常検知手段による検知結果に基づいて、前記時系列データにおける異常の発生を判定する判定工程と、
を有する。
前記１または複数の特徴点の情報から導出される幾何学量データを算出する算出工程と、
前記幾何学量データから構成される時系列データに対し、異常理由に対応して予め定めた１または複数の異常検知手段を用いて異常を検知する異常検知工程と、
前記１または複数の異常検知手段による検知結果に基づいて、前記時系列データにおける異常の発生を判定する判定工程と、
を有する。
【0010】
また、本発明の別の形態として以下の構成を有する。すなわち、画像データから抽出される１または複数の特徴点の情報の異常を判定する異常判定方法にて得られた判定結果に従って異常時の処理を行う処理方法であって、
時系列データのうち異常が発生した期間のデータに対し、当該期間のデータを除去、予め定めた値を用いて補正、または、異常が発生する直前の値にて補正、のいずれかを行う処理工程を有し、
前記異常判定方法は、
前記１または複数の特徴点の情報から導出される幾何学量データを算出する算出工程と、
前記幾何学量データから構成される時系列データに対し、異常理由に対応して予め定めた１または複数の異常検知手段を用いて異常を検知する異常検知工程と、
前記１または複数の異常検知手段による検知結果に基づいて、前記時系列データにおける異常の発生を判定する判定工程と、
を有する。
時系列データのうち異常が発生した期間のデータに対し、当該期間のデータを除去、予め定めた値を用いて補正、または、異常が発生する直前の値にて補正、のいずれかを行う処理工程を有し、
前記異常判定方法は、
前記１または複数の特徴点の情報から導出される幾何学量データを算出する算出工程と、
前記幾何学量データから構成される時系列データに対し、異常理由に対応して予め定めた１または複数の異常検知手段を用いて異常を検知する異常検知工程と、
前記１または複数の異常検知手段による検知結果に基づいて、前記時系列データにおける異常の発生を判定する判定工程と、
を有する。
【0011】
また、本発明の別の形態として以下の構成を有する。すなわち、画像データから抽出される１または複数の特徴点の情報の異常を判定する異常判定方法にて得られた判定結果に従って異常時の処理を行う処理方法であって、
時系列データにおける異常のパターンを解析する解析工程と、
前記解析工程における解析結果に基づいて、アラームまたは異常理由に対する設定条件の補正を行う工程と、
を有し、
前記異常判定方法は、
前記１または複数の特徴点の情報から導出される幾何学量データを算出する算出工程と、
前記幾何学量データから構成される時系列データに対し、異常理由に対応して予め定めた１または複数の異常検知手段を用いて異常を検知する異常検知工程と、
前記１または複数の異常検知手段による検知結果に基づいて、前記時系列データにおける異常の発生を判定する判定工程と、
を有する。
時系列データにおける異常のパターンを解析する解析工程と、
前記解析工程における解析結果に基づいて、アラームまたは異常理由に対する設定条件の補正を行う工程と、
を有し、
前記異常判定方法は、
前記１または複数の特徴点の情報から導出される幾何学量データを算出する算出工程と、
前記幾何学量データから構成される時系列データに対し、異常理由に対応して予め定めた１または複数の異常検知手段を用いて異常を検知する異常検知工程と、
前記１または複数の異常検知手段による検知結果に基づいて、前記時系列データにおける異常の発生を判定する判定工程と、
を有する。
【0012】
また、本発明の別の形態として以下の構成を有する。すなわち、画像データから抽出される１または複数の特徴点の情報の異常を判定する情報処理装置であって、
前記１または複数の特徴点の情報から導出される幾何学量データを算出する算出部と、
前記幾何学量データから構成される時系列データに対し、異常理由に対応して予め定めた１または複数の異常検知手段を用いて異常を検知する異常検知部と、
前記１または複数の異常検知手段による検知結果に基づいて、前記時系列データにおける異常の発生を判定する判定部と、
を有する。
前記１または複数の特徴点の情報から導出される幾何学量データを算出する算出部と、
前記幾何学量データから構成される時系列データに対し、異常理由に対応して予め定めた１または複数の異常検知手段を用いて異常を検知する異常検知部と、
前記１または複数の異常検知手段による検知結果に基づいて、前記時系列データにおける異常の発生を判定する判定部と、
を有する。
【0013】
また、本発明の別の形態として以下の構成を有する。すなわち、画像データから抽出される１または複数の特徴点の情報の異常を判定する情報処理装置を含んで構成される溶接システムであって、
前記情報処理装置は、
前記１または複数の特徴点の情報から導出される幾何学量データを算出する算出部と、
前記幾何学量データから構成される時系列データに対し、異常理由に対応して予め定めた１または複数の異常検知手段を用いて異常を検知する異常検知部と、
前記１または複数の異常検知手段による検知結果に基づいて、前記時系列データにおける異常の発生を判定する判定部と、
を有する。
前記情報処理装置は、
前記１または複数の特徴点の情報から導出される幾何学量データを算出する算出部と、
前記幾何学量データから構成される時系列データに対し、異常理由に対応して予め定めた１または複数の異常検知手段を用いて異常を検知する異常検知部と、
前記１または複数の異常検知手段による検知結果に基づいて、前記時系列データにおける異常の発生を判定する判定部と、
を有する。
【0014】
また、本発明の別の形態として以下の構成を有する。すなわち、プログラムであって、
コンピュータに、
画像データから抽出される１または複数の特徴点の情報から導出される幾何学量データを算出する算出工程と、
前記幾何学量データから構成される時系列データに対し、異常理由に対応して予め定めた１または複数の異常検知手段を用いて異常を検知する異常検知工程と、
前記１または複数の異常検知手段による検知結果に基づいて、前記時系列データにおける異常の発生を判定する判定工程と、
を実行させる。
コンピュータに、
画像データから抽出される１または複数の特徴点の情報から導出される幾何学量データを算出する算出工程と、
前記幾何学量データから構成される時系列データに対し、異常理由に対応して予め定めた１または複数の異常検知手段を用いて異常を検知する異常検知工程と、
前記１または複数の異常検知手段による検知結果に基づいて、前記時系列データにおける異常の発生を判定する判定工程と、
を実行させる。
【発明の効果】
【0015】
本発明によれば、外乱が生じる環境下においても、画像データ上の特徴点の異常を判定可能となる。更には、判定した異常に基づいて、画像データの識別に影響を与えないように処理することが可能となる。
【図面の簡単な説明】
【0016】
【図1】本発明の一実施形態に係るシステム構成の例を示す概略図。
【図2】本発明の一実施形態に係る視覚センサの配置を説明するための斜視図。
【図3】本発明の一実施形態に係る視覚センサにて取得される画像データの例を示す例図。
【図4】本発明の一実施形態に係るロボット制御装置の構成例を示すブロック図。
【図5】本発明の一実施形態に係るデータ処理装置の構成例を示すブロック図。
【図6】本発明の一実施形態に係る学習処理を説明するための概念図。
【図7】本発明の一実施形態に係る教示作業に用いる画面の一例を説明するための概略図。
【図8】本発明の一実施形態に係る教示作業に用いる画面の一例を説明するための概略図。
【図9】本発明の一実施形態に係る溶接画像の解析結果を説明するための例図。
【図10】本発明の一実施形態に係る溶接画像の解析結果を説明するための例図。
【図11】本発明の一実施形態に係る溶接画像の解析結果を説明するための例図。
【図12】本発明の一実施形態に係る異常判定処理のフローチャート。
【図13】本発明の一実施形態に係る時系列データの例を示すグラフ図。
【図14】本発明の一実施形態に係る判定結果の例を示すグラフ図。
【図15】本発明の一実施形態に係る判定結果の例を示すグラフ図。
【図16】本発明の一実施形態に係るロボット制御処理のシーケンス図。
【発明を実施するための形態】
【0017】
以下、本発明を実施するための形態について図面などを参照して説明する。なお、以下に説明する実施形態は、本願発明を説明するための一実施形態であり、本発明を限定して解釈されることを意図するものではなく、また、各実施形態で説明されている全ての構成が本発明の課題を解決するために必須の構成であるとは限らない。
【0018】
なお、本実施形態では、外乱要因が多く、外乱の影響が顕著な溶接分野において最も効力を及ぼすため、溶接の用途において説明するが、本発明が適用される分野は特に問わない。例えば、切断分野や付加製造分野も対象に挙げられる。また、本実施形態では６軸のロボットシステムにおける一例で示すが、ロボットの軸数は問わないし、例えば、可搬型溶接ロボット、台車などの駆動部を有する溶接装置または半自動溶接の場合であってもよい。また、各図面において、同じ構成要素については、同じ参照番号を付すことにより対応関係を示す。
【0019】
後述するように、本実施形態では、学習装置を用いて、画像データから任意のオブジェクトの特徴点を抽出する。以下の学習装置に係る説明において、「学習」または「機械学習」とは、学習データおよび任意の学習アルゴリズムを用いて学習を行うことにより、「学習済みモデル」を生成することを指す。学習済みモデルは、複数の学習データを用いて学習が進むことにより、適時更新され、同じ入力であってもその出力が変化していく。したがって、学習済みモデルは、いずれの時点での状態であるかを限定するものではない。ここでは、学習にて用いられるモデルを「学習モデル」と記載し、一定程度の学習が行われた学習モデルを「学習済みモデル」と記載する。また、「学習データ」の具体的な例については後述するが、その構成は、利用する学習アルゴリズムに応じて変更されてよい。また、学習データには、学習そのものに用いられる教師データ、学習済みモデルの検証に用いられる検証データ、学習済みモデルのテストに用いられるテストデータを含んでよい。以下の説明では、学習に関するデータを包括的に示す場合は、「学習データ」と記載し、学習そのものを行う際のデータを示す場合は「教師データ」と記載する。なお、学習データに含まれる教師データ、検証データ、およびテストデータを明確に分類することを意図するものではなく、例えば、学習、検証、およびテストの方法によっては、学習データすべてが教師データにもなり得る。
【0020】
［溶接システムの構成］
図１は、本実施形態に係る溶接システム１の構成例を示す。図１に示す溶接システム１は、溶接ロボット１０、ロボット制御装置２０、電源装置３０、視覚センサ４０、およびデータ処理装置５０を含んで構成される。なお、上述したように本発明に係る特徴を可搬型溶接ロボット、台車などの駆動部を有する溶接装置または半自動溶接などに適用する場合には、それらの構成に合わせて更なる構成が含まれてよい。
図１は、本実施形態に係る溶接システム１の構成例を示す。図１に示す溶接システム１は、溶接ロボット１０、ロボット制御装置２０、電源装置３０、視覚センサ４０、およびデータ処理装置５０を含んで構成される。なお、上述したように本発明に係る特徴を可搬型溶接ロボット、台車などの駆動部を有する溶接装置または半自動溶接などに適用する場合には、それらの構成に合わせて更なる構成が含まれてよい。
【0021】
図１に示す溶接ロボット１０は、６軸の多関節ロボットにより構成され、その先端部にはＧＭＡＷ用の溶接トーチ１１が取り付けられている。なお、ＧＭＡＷには、例えばＭＩＧ（Ｍｅｔａｌ ＩｎｅｒｔＧａｓ）溶接やＭＡＧ（Ｍｅｔａｌ Ａｃｔｉｖｅ Ｇａｓ）溶接があり、本実施形態ではＭＡＧ溶接を例に挙げて説明する。また、溶接ロボット１０は６軸の多関節ロボットに限られたものではなく、例えば可搬型の小型ロボットを採用してもよい。なお、可搬型の小型ロボットとしては、例えば、３軸以下の直交型ロボットが挙げられる。
【0022】
溶接トーチ１１には、ワイヤ送給装置１２から溶接ワイヤ１３が供給される。溶接ワイヤ１３は、溶接トーチ１１の先端から溶接個所に向けて送り出される。電源装置３０は、溶接ワイヤ１３に電力を供給する。この電力により、溶接ワイヤ１３とワークＷとの間にはアーク電圧が印加され、アークが発生する。本実施形態においては、片面溶接の場合を想定しており、ワークＷは鋼板を突合わせて、裏側、すなわち溶接面とは逆の面に裏当て材を配置している。電源装置３０には、溶接中の溶接ワイヤ１３からワークＷに流れる溶接電流を検出する不図示の電流センサ、および溶接ワイヤ１３とワークＷとの間のアーク電圧を検出する不図示の電圧センサが設けられている。
【0023】
電源装置３０は、不図示の処理部と記憶部を有する。処理部は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）により構成される。また、記憶部は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）やＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の揮発性や不揮発性のメモリにより構成される。処理部が、記憶部に記憶された電源制御用のコンピュータプログラムを実行することにより、溶接ワイヤ１３に印加する電力を制御する。電源装置３０は、ワイヤ送給装置１２にも接続され、処理部が溶接ワイヤ１３の送給速度や送給量を制御する。溶接ワイヤ１３の組成や種類は、溶接対象に応じて使い分けられる。
【0024】
視覚センサ４０は、例えば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）カメラにより構成される。視覚センサ４０の配置位置は特に問わず、視覚センサ４０は、溶接ロボット１０に直接取り付けられてもよいし、また、監視カメラとして、周辺の特定の場所に固定されてもよい。溶接ロボット１０に視覚センサ４０を直接取り付けた場合には、視覚センサ４０は、溶接ロボット１０の動作に併せて、溶接トーチ１１の先端周辺を撮影するように移動する。視覚センサ４０を構成するカメラの台数は複数でもよい。例えば、機能や設置位置が異なる複数のカメラを用いて視覚センサ４０が構成されてもよい。
【0025】
また、視覚センサ４０により撮影する方向も特に問わない。例えば、溶接が進行する方向を前方とした場合に、前方側を撮影するように配置してもよいし、側面側、後方側を撮影するように配置してもよい。したがって、視覚センサ４０による撮影範囲は、適宜決定されてよい。なお、溶接トーチ１１の干渉を抑制するために、前方側から撮影することが好ましく、本実施形態では、前方側からの撮影としている。撮影された画像はデータ処理装置５０に送信されて、データ処理装置５０側で利用される。このとき、データ処理装置５０は、撮影された画像の中から、例えば、所定の間隔にて任意の画像を取り込み、後述する処理に利用してよい。ここでの取り込み方法や取り込み設定は、例えば、視覚センサ４０の構成や機能、データ処理装置５０の性能などに応じて切り替えられてよい。
【0026】
本実施形態においては、溶接ロボット１０に直接取り付け、固定した視覚センサ４０を用いる。そして、画像データに含めるオブジェクト（対象）として、少なくとも、ワークＷ、溶接ワイヤ１３、およびアークが含まれる撮影範囲となるように、溶接画像として動画像を撮影する。なお、溶接画像に係る各種撮影設定は、予め規定されていてもよいし、溶接システム１の動作条件に応じて切り替えられてもよい。撮影設定としては、例えば、フレームレート、画像のピクセル数、解像度、シャッタースピードなどが挙げられる。
【0027】
溶接システム１を構成する各部位は、有線／無線の各種通信方式により、通信可能に接続される。ここでの通信方式は、１つに限定するものではなく、複数の通信方式を組み合わせて接続されてよい。
【0028】
図２は、視覚センサ４０の配置位置を説明するための斜視図である。本実施形態の場合、ワークＷは、突合せ継手である。ワークＷは、２枚の金属板であり、開先を隔てて突き合わされている。なお、突き合わされている２枚の金属板の裏面側には、セラミックス製の裏当て材１４が取り付けられている。なお、裏面側にはメタル系の裏当て材を使用してもよいし、裏当て材無しでもよい。したがって、裏当て材の材質は特に限定するものではなく、ワークＷの材質などに応じて異なってよい。突合せ継手では、開先に沿って一方向にアーク溶接が行われる。以下では、溶接が進行する方向を「溶接方向」という。図２では、溶接が進行する方向を矢印で示している。このため、溶接トーチ１１は、視覚センサ４０の後方に位置している。
【0029】
本実施形態におけるワークＷは、溶接を行う側の表面が鉛直上方を向くように水平に設置されている。このため、溶接ロボット１０は、ワークＷの上方側からワークＷを溶接する。図２に示すように、視覚センサ４０は、ワークＷの溶接位置に対して斜め上方に設置されてよい。なお、図２では、溶接姿勢として、下向き溶接の例を示しているが、これに限定するものではない。例えば、横向き溶接など他の姿勢の場合には、適宜、ワークＷや溶接トーチ１１の向きや位置が変更される。
【0030】
図３は、視覚センサ４０により撮影した画像データの一例を示す。図３にて示す２次元座標において、Ｘ軸は溶接方向を示し、Ｙ軸はＸ軸に直交する方向を示す。図３に示す通り、視覚センサ４０の撮影範囲は、ワークＷの溶接位置を含み、アーク溶接中における溶接位置の画像を撮影する。この画像データには、溶融池、溶接ワイヤ１３、およびアークが含まれる。本実施形態における視覚センサ４０は、例えば、１０２４×７６８ピクセルの静止画像を連続して撮影することができる。換言すると、視覚センサ４０は、溶接画像を動画像として撮影することが可能である。視覚センサ４０にて撮影可能な静止画像の解像度は特に限定されるものではない。例えば、視覚センサ４０が複数のカメラから構成される場合に、複数のカメラそれぞれが異なる解像度の溶接画像を取得してもよい。また、後述する学習済みモデルに入力する前に、処理時間を短縮することを目的として撮影された溶接画像から任意の特徴領域を切り出すなどの前処理を行ってもよい。任意の特徴領域は、所定の領域が中心に位置するように配置された固定サイズの範囲であってもよい。また、任意の特徴領域のサイズは、溶接状況に応じて変更されてもよい。
【0031】
［ロボット制御装置の構成］
図４は、溶接ロボット１０の動作を制御するロボット制御装置２０の構成例を示す。ロボット制御装置２０は、装置全体を制御するＣＰＵ２０１、データを記憶するメモリ２０２、複数のスイッチを含む操作パネル２０３、教示作業で使用する教示ペンダント２０４、ロボット接続部２０５、および通信部２０６を含んで構成される。メモリ２０２は、例えば、ＲＯＭ、ＲＡＭ、ＨＤＤなどの揮発性や不揮発性の記憶装置により構成される。メモリ２０２には、溶接ロボット１０の制御に用いられる制御プログラム２０２Ａが記憶される。ＣＰＵ２０１は、制御プログラム２０２Ａを実行することにより、溶接ロボット１０による各種動作を制御する。
図４は、溶接ロボット１０の動作を制御するロボット制御装置２０の構成例を示す。ロボット制御装置２０は、装置全体を制御するＣＰＵ２０１、データを記憶するメモリ２０２、複数のスイッチを含む操作パネル２０３、教示作業で使用する教示ペンダント２０４、ロボット接続部２０５、および通信部２０６を含んで構成される。メモリ２０２は、例えば、ＲＯＭ、ＲＡＭ、ＨＤＤなどの揮発性や不揮発性の記憶装置により構成される。メモリ２０２には、溶接ロボット１０の制御に用いられる制御プログラム２０２Ａが記憶される。ＣＰＵ２０１は、制御プログラム２０２Ａを実行することにより、溶接ロボット１０による各種動作を制御する。
【0032】
ロボット制御装置２０に対する指示の入力には、操作パネル２０３と教示ペンダント２０４を用いることができ、主に教示ペンダント２０４が利用される。教示ペンダント２０４は、通信部２０６を介して、ロボット制御装置２０本体に接続される。オペレータは、教示ペンダント２０４を使用して、教示プログラムを入力することができる。ロボット制御装置２０は、教示ペンダント２０４から入力された教示プログラムに従って溶接ロボット１０を制御する。なお、教示プログラムは、例えば不図示のコンピュータを用いて、ＣＡＤ（Ｃｏｍｐｕｔｅｒ－Ａｉｄｅｄ Ｄｅｓｉｇｎ）情報等に基づいて自動的に作成することも可能である。教示プログラムにて定義される動作内容は、特に限定するものではなく、溶接ロボット１０の仕様や溶接方式に応じて異なっていてよい。
【0033】
ロボット接続部２０５には、溶接ロボット１０の駆動回路が接続されている。ＣＰＵ２０１は、制御プログラム２０２Ａに基づく制御信号を、ロボット接続部２０５を介して溶接ロボット１０が備える不図示の駆動回路に出力する。通信部２０６は、有線または無線通信用の通信モジュールを含んで構成される。通信部２０６は、電源装置３０やデータ処理装置５０、教示ペンダント２０４などとのデータや信号の通信に使用される。通信部２０６にて用いられる通信の方式や規格は特に限定するものではなく、複数の方式が組み合わされてもよいし、接続される装置ごとに異なっていてもよい。電源装置３０からは、例えば不図示の電流センサによって検出された溶接電流の電流値や、不図示の電圧センサによって検出されたアーク電圧の電圧値が通信部２０６を介してＣＰＵ２０１に与えられる。
【0034】
ロボット制御装置２０は、溶接ロボット１０の各軸の制御により、溶接トーチ１１の移動速度や突出し方向も制御する。また、ロボット制御装置２０は、ウィービング動作を行う場合、設定された周期、振幅、溶接速度に応じて、溶接ロボット１０のウィービング動作も制御する。ウィービング動作とは、溶接の進行方向、すなわち、溶接方向に対して交差する方向に溶接トーチ１１を交互に揺動させることをいう。ロボット制御装置２０は、ウィービング動作と共に、溶接線倣い制御を実行する。溶接線倣い制御とは、溶接線に沿ってビードが形成されるように、溶接トーチ１１の進行方向に対して左右の位置を制御する動作である。また、ロボット制御装置２０は、電源装置３０を介してワイヤ送給装置１２を制御することで、溶接ワイヤ１３の送給速度なども制御する。
【0035】
［データ処理装置の構成］
図５は、データ処理装置５０の構成例を説明するための説明図である。データ処理装置５０は、例えばコンピュータで構成される。コンピュータは、本体５１０、入力部５２０、および表示部５３０を含んで構成される。本体５１０は、ＣＰＵ５１１、ＧＰＵ（Ｇｒａｐｈｉｃａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）５１２、ＲＯＭ５１３、ＲＡＭ５１４、不揮発性記憶装置５１５、入出力インタフェース５１６、映像出力インタフェース５１７、通信インタフェース５１８、および算出部５１９を含んで構成される。ＣＰＵ５１１、ＧＰＵ５１２、ＲＯＭ５１３、ＲＡＭ５１４、不揮発性記憶装置５１５、入出力インタフェース５１６、映像出力インタフェース５１７、通信インタフェース５１８、および算出部５１９は、バスや信号線によって相互に通信可能に接続されている。
図５は、データ処理装置５０の構成例を説明するための説明図である。データ処理装置５０は、例えばコンピュータで構成される。コンピュータは、本体５１０、入力部５２０、および表示部５３０を含んで構成される。本体５１０は、ＣＰＵ５１１、ＧＰＵ（Ｇｒａｐｈｉｃａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）５１２、ＲＯＭ５１３、ＲＡＭ５１４、不揮発性記憶装置５１５、入出力インタフェース５１６、映像出力インタフェース５１７、通信インタフェース５１８、および算出部５１９を含んで構成される。ＣＰＵ５１１、ＧＰＵ５１２、ＲＯＭ５１３、ＲＡＭ５１４、不揮発性記憶装置５１５、入出力インタフェース５１６、映像出力インタフェース５１７、通信インタフェース５１８、および算出部５１９は、バスや信号線によって相互に通信可能に接続されている。
【0036】
不揮発性記憶装置５１５には、所定の学習データを用いてディープラーニングを実行する学習プログラム５１５Ａ、学習プログラム５１５Ａの実行を通じて生成される学習済みモデル５１５Ｂ、学習済みモデル５１５Ｂを用いて溶接に関する溶接情報を生成する情報生成プログラム５１５Ｃ、および、画像データ５１５Ｄが記憶されている。この他、不揮発性記憶装置５１５には、オペレーティングシステムやアプリケーションプログラムもインストールされている。
【0037】
ＣＰＵ５１１およびＧＰＵ５１２によるプログラムの実行により、データ処理装置５０は、各種の機能を実現する。本実施形態の場合、データ処理装置５０は、機械学習により学習済みモデルを生成する機能と、学習済みモデルを利用して実際の溶接時の各種処理を行う機能を実現する。これの機能の内容については後述する。なお、学習済みモデルを生成する機能と、実際の溶接の実行時に学習済みモデルから出力される情報に基づいて制御処理を実行する機能に合わせてデータ処理装置５０を分けてもよい。汎用性の観点から見ると、それぞれの機能に合わせて、データ処理装置５０を複数の装置に分けて構成することがより好ましい。ＧＰＵ５１２は、学習プログラム５１５Ａおよび情報生成プログラム５１５Ｃを実行する際の演算装置として使用される。ＲＯＭ５１３には、ＣＰＵ５１１に実行されるＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）等が記憶されている。ＲＡＭ５１４は、不揮発性記憶装置５１５から読み出されたプログラムの作業領域として使用される。
【0038】
入出力インタフェース５１６は、キーボード、マウス等で構成される入力部５２０に接続されている。入出力インタフェース５１６には、視覚センサ４０も接続されている。視覚センサ４０から出力された画像データが入出力インタフェース５１６を介してＣＰＵ５１１やＧＰＵ５１２に与えられる。通信インタフェース５１８は、有線または無線通信用の通信モジュールである。映像出力インタフェース５１７は、例えば液晶ディスプレイや有機ＥＬ（Ｅｌｅｃｔｒｏ－Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイで構成される表示部５３０に接続されており、ＣＰＵ５１１から与えられた映像データに応じた映像信号を表示部５３０に出力する。算出部５１９は、ＣＰＵ５１１やＧＰＵ５１２と連携して、本実施形態に係る幾何学量データの算出や異常判定処理などの各種処理を実行する。算出部５１９の処理の詳細については後述する。
【0039】
［学習モデルの生成］
以下、本実施形態にて、画像データから抽出する特徴点および特徴点を抽出する学習済みモデルについて説明する。図６は、学習処理による学習済みモデル５１５Ｂの生成プロセスを概念的に説明する図である。本実施形態における学習済みモデル５１５Ｂは、畳み込みニューラルネットワークにより構成されており、複数の畳み込み層および複数のプーリング層を含んでいる。なお、畳み込みニューラルネットワークの構成は上記に限定するものではなく、層数や構成が他の構成であってよい。
以下、本実施形態にて、画像データから抽出する特徴点および特徴点を抽出する学習済みモデルについて説明する。図６は、学習処理による学習済みモデル５１５Ｂの生成プロセスを概念的に説明する図である。本実施形態における学習済みモデル５１５Ｂは、畳み込みニューラルネットワークにより構成されており、複数の畳み込み層および複数のプーリング層を含んでいる。なお、畳み込みニューラルネットワークの構成は上記に限定するものではなく、層数や構成が他の構成であってよい。
【0040】
学習済みモデル５１５Ｂは、視覚センサ４０から出力される画像データを入力とし、画像データに現れる様々な溶接情報に係る特徴点を出力する。本実施形態において、学習済みモデル５１５Ｂに入力される画像データには、図３に示すように、少なくとも、オブジェクト（対象）として、溶融池、溶接ワイヤ１３（図１参照）及びアークを含み、これら各オブジェクト、または複数のオブジェクト間から得られる特徴点を抽出する。そして、抽出した特徴点に基づいて、アーク安定性、溶着量、アーク倣い状況または溶込み具合などといった溶接情報をリアルタイムで得ることが可能となる。なお、この画像データは、以下、溶接画像と称することもある。
【0041】
本実施形態では、溶接情報に係る特徴点として、溶接ワイヤ１３の先端（ワイヤ先端）、アークの中心点（アーク中心）、溶融池の左右（または上下）の先端の位置、溶融池の左右（または上下）の端部の位置などを使用する。教師データとして用いる特徴点の入力は、教示作業を支援する操作画面の指示に従い、オペレータが溶接画像上の特定の位置を指定することで行われる。したがって、教師データは、溶接画像とオペレータにて指定された特徴点としての座標情報とを対として構成される。学習処理では、学習モデルから出力される特徴点と、教師データに含まれる特徴点とを比較し、その誤差をフィードバックすることでパラメータを調整する。この処理を繰り返すことで、学習が進む。
【0042】
【0043】
また、図８は、溶接により得られる溶接画像の具体例と、その溶接画像内の溶接情報の例を示す説明図である。ここでは説明を容易にするために、溶接画像上に、特徴点にて示す座標に相当する位置を描画して示している。なお、上述のとおり画像は座標を持ち、Ｘ軸とＹ軸の２軸からなる座標平面となる。
【0044】
本実施形態では、視覚センサ４０は、溶接線方向とＸ軸方向とが平行になるように設置させるため、本実施形態においては、Ｘ軸方向は溶接線方向と言い換えてもよい。また、Ｙ軸方向はＸ軸の垂直方向であり、言い換えれば、溶接線の垂直方向である開先幅方向となるから、Ｙ軸方向は開先幅方向と言い換えてもよい。
【0045】
本実施形態の場合、特徴点として、アーク中心の座標位置（ＡｒｃＸ，ＡｒｃＹ）、ワイヤ先端の座標位置（ＷｉｒｅＸ，ＷｉｒｅＹ）、溶融池先端左の座標位置（Ｐｏｏｌ＿Ｌｅａｄ＿Ｌｘ，Ｐｏｏｌ＿Ｌｅａｄ＿Ｌｙ）、溶融池先端右の座標位置（Ｐｏｏｌ＿Ｌｅａｄ＿Ｒｘ，Ｐｏｏｌ＿Ｌｅａｄ＿Ｒｙ）、溶融池左端の座標位置（Ｐｏｏｌ＿Ｌｙ）、溶融池右端の座標位置（Ｐｏｏｌ＿Ｒｙ）がオペレータにより教示される。特徴点の入力は、画面上の特定の位置をオペレータが指示することで実行される。溶接ワイヤ１３とアークの境界を与える座標は、ワイヤ先端の位置座標の一例である。また、溶融池先端左と、溶融池先端右と、溶融池左端と、溶融池右端は、溶融池１５の挙動に関する特徴点の一例である。例えば、溶融池左端と溶融池右端の特徴点が分かると、溶融池１５の幅を幾何学量として計算できる。なお、図７は、溶接姿勢として下向き溶接を例に挙げて説明している。したがって、溶接姿勢や画像の向きによっては、「左端」や「右端」は「上端」や「下端」などに置き換えられてよい。
【0046】
［時系列データ］
本実施形態では、予め定めたいずれかの溶融池先端位置とワイヤ先端の位置のＸ方向の差（以降、「ＬｅａｄＸ」と称する）を算出し、予め定めた間隔でサンプリングを行う。また、溶融池先端左と溶融池先端右のＹ方向の差（以降、「ＬｅａｄＷ」と称する）を算出し、予め定めた間隔でサンプリングを行う。なお、このサンプリングデータを、以下、時系列データとも称する。また、単位時間当たりのサンプリング数は特に問わないが、本実施形態においては、動画のフレームレートに準じる。本実施形態において、時系列データを構成するＬｅａｄＸやＬｅａｄＷのような算出値を幾何学量データとも称する。
本実施形態では、予め定めたいずれかの溶融池先端位置とワイヤ先端の位置のＸ方向の差（以降、「ＬｅａｄＸ」と称する）を算出し、予め定めた間隔でサンプリングを行う。また、溶融池先端左と溶融池先端右のＹ方向の差（以降、「ＬｅａｄＷ」と称する）を算出し、予め定めた間隔でサンプリングを行う。なお、このサンプリングデータを、以下、時系列データとも称する。また、単位時間当たりのサンプリング数は特に問わないが、本実施形態においては、動画のフレームレートに準じる。本実施形態において、時系列データを構成するＬｅａｄＸやＬｅａｄＷのような算出値を幾何学量データとも称する。
【0047】
図９の溶接画像に基づいて解析内容について具体的に説明する。学習済みモデルから出力された溶接情報に係る特徴点のうち、溶融池先端左の座標位置（Ｐｏｏｌ＿Ｌｅａｄ＿Ｌｘ，Ｐｏｏｌ＿Ｌｅａｄ＿Ｌｙ）、溶融池先端右の座標位置（Ｐｏｏｌ＿Ｌｅａｄ＿Ｒｘ，Ｐｏｏｌ＿Ｌｅａｄ＿Ｒｙ）、ワイヤ先端の座標位置（ＷｉｒｅＸ，ＷｉｒｅＹ）を用い、ＬｅａｄＸは溶融池先端位置を右側とする。この場合、算出部５１９は、溶融池先端右の座標位置とワイヤ先端の座標位置のＸ軸方向の差（「Ｐｏｏｌ＿Ｌｅａｄ＿Ｒｘ」－「ＷｉｒｅＸ」）をＬｅａｄＸとして算出する。また、算出部５１９は、溶融池先端左の座標位置と溶融池先端右の座標位置のＹ軸方向の差（「Ｐｏｏｌ＿Ｌｅａｄ＿Ｒｙ」－「Ｐｏｏｌ＿Ｌｅａｄ＿Ｌｙ」）をＬｅａｄＷとして算出する。この際、算出する距離はピクセル数でもよいし、「ｍｍ」や「ｃｍ」といった任意の単位に換算してもよい。図９の例では、ＬｅａｄＸが５．２［ｍｍ］、ＬｅａｄＷが５．０［ｍｍ］として検出された例を示している。
【0048】
このような幾何学量データであるＬｅａｄＸおよびＬｅａｄＷを時系列に沿って整理することで、溶接の正常度を判定することができ、後述するように、非定常と判断された場合は、溶接速度を補正し、定常状態に戻すよう自動制御が行われる。
【0049】
なお、本実施形態では、幾何学量データの一例として、ＬｅａｄＸおよびＬｅａｄＷを算出し、時系列データから溶接の正常度を判定したが、これらの幾何学量データに限定されない。例えば、時系列データを構成する幾何学量データは、単一のオブジェクトから得られる、（１）単一または複数の特徴点の座標位置、（２）任意の複数の特徴点間の距離、（３）任意の複数の特徴点で形成される面積でもよい。また、時系列データを構成する幾何学量データは、異なるオブジェクトから得られる、（４）各オブジェクトの特徴点間の距離であってもよい。
【0050】
（１）単一または複数の特徴点の座標位置の場合をより具体的に説明すると、単一のオブジェクトがアークである場合に、アーク中心のX軸の座標位置であるＡｒｃＸとY軸の座標位置であるＡｒｃＹの幾何学量データを算出し、時系列データから、アークの安定性を判定することができる。また、（２）任意の複数の特徴点間の距離は、溶融池のオブジェクトから得られる上述のＬｅａｄＷが幾何学量データとして挙げられる。（３）任意の複数の特徴点で形成される面積の場合は、例えば溶融池の面積を幾何学量データとすることができ、これを用いて溶着量の評価をすることができる。また、（４）各オブジェクトの特徴点間の距離は、溶接ワイヤと溶融池の異なるオブジェクト間から得られる上述のＬｅａｄＸや、ワイヤ先端位置と溶融池中心位置の差、開先と溶融池先端との距離などの幾何学量データが挙げられる。ワイヤ先端位置と溶融池中心位置の距離からなる幾何学量データで構成される時系列データは溶接線倣いに適用することができ、開先と溶融池先端との距離からなる幾何学量データで構成される時系列データは溶込みの判定に適用することができる。
【0051】
図１０および図１１は、本実施形態に係る溶接画像の解析結果を説明するための図である。図１０は、異常がない場合の例を示し、図１１は、異常がある場合の例を示す。図１０において、画像１０００は、溶融池の周囲の画像を示す。画像１０１０は、幾何学量データの算出処理を行った結果を示す。画像１０１０において、上記の処理を行った結果、溶接トーチ１１の先端部を示す特徴点１０１１、溶融池の先端上を示す特徴点１０１２、および、溶融池の先端下を示す特徴点１０１３が特定されている。また、これらの特徴点に基づいて、ＬｅａｄＸおよびＬｅａｄＷが導出されている。パラメータ１０１４は、算出されたＬｅａｄＸおよびＬｅａｄＷの値を示し、ここでは、ＬｅａｄＸ＝４．０［ｍｍ］、ＬｅａｄＷ＝６．６［ｍｍ］が算出されている。
【0052】
図１１において、画像１１００は、溶融池の周囲の画像を示す。ここでは、画像１１００において、酸化被膜（ワークの錆などに相当）に相当するオブジェクト１１０１が含まれている。画像１１１０は、幾何学量データの算出処理を行った結果を示す。画像１１１０において、上記の処理を行った結果、溶接トーチ１１の先端部を示す特徴点１１１２、および、溶融池の先端下を示す特徴点１１１３が特定されている。しかしながら、酸化被膜に相当するオブジェクト１１１１により、溶融池の先端上に相当する特徴点が検出できていない。そのため、ＬｅａｄＸおよびＬｅａｄＷが導出されていない。よって、パラメータ１１１４は、ＬｅａｄＸおよびＬｅａｄＷの値が表示されていない。このような場合、何らかの異常が発生したものとして扱う。
【0053】
［異常判定方法および異常時の処理方法］
溶接を例に挙げれば、ワークの目違い、ガス流量の減少、磁気吹き、ワイヤ送給の不安定、電流供給の不安定、ワークへの油付着、酸化被膜、ワークへのスパッタ付着等の外乱因子が挙げられる。例えば、ワークの酸化被膜やスパッタ付着により、図１１に示したようにオブジェクトまたはオブジェクトの一部が隠れ、特徴点を認識できない状況、または特徴点が急峻に変化する状況が発生する。したがって、このような状況下の特徴点に基づいて算出される幾何学量データには不備が生じている可能性がある。そのようなデータを用いた場合、結果として自動制御全体に悪影響を及ぼし得る。
溶接を例に挙げれば、ワークの目違い、ガス流量の減少、磁気吹き、ワイヤ送給の不安定、電流供給の不安定、ワークへの油付着、酸化被膜、ワークへのスパッタ付着等の外乱因子が挙げられる。例えば、ワークの酸化被膜やスパッタ付着により、図１１に示したようにオブジェクトまたはオブジェクトの一部が隠れ、特徴点を認識できない状況、または特徴点が急峻に変化する状況が発生する。したがって、このような状況下の特徴点に基づいて算出される幾何学量データには不備が生じている可能性がある。そのようなデータを用いた場合、結果として自動制御全体に悪影響を及ぼし得る。
【0054】
本実施形態では、幾何学量データを算出し、幾何学量データから構成される時系列データに基づいて、異常判定を実行し、時系列データの異常に相当する箇所を特定する。そして、異常と判定された箇所以外の時系列データに基づいて、溶接条件等の補正を行うことで、外乱に強い自動制御を実現する。以下に、本実施形態に係る異常判定方法について詳細を説明する。
【0055】
図１２を用いて、異常判定方法について説明する。図１２は、溶接画像から学習済みモデル５１５Ｂにより特徴点を抽出し、異常判定を実行し、異常内容を考慮して自動制御を行うための補正信号を出力するまでのフローチャートとなる。
【0056】
以下の処理は、データ処理装置５０の各処理部が不揮発性記憶装置５１５等に記憶された各種プログラムを読み出して実行することにより実現される。また、本処理フローは、溶接が開始されると同時に開始され、これに伴って、視覚センサ４０による撮影も開始される。
【0057】
Ｓ１２０１にて、データ処理装置５０は、自動溶接が実行されている間、視覚センサ４０から溶接位置を撮像した溶接画像を受信する。
【0058】
Ｓ１２０２にて、データ処理装置５０は、Ｓ１２０１にて受信した溶接画像の前処理として画像処理を行う。画像処理は例えば、縮小したり、濃淡画像に変換したりすることが挙げられる。なお、他の処理が更に行われてもよいし、処理負荷等に応じて処理の一部が省略されてもよい。
【0059】
Ｓ１２０３にて、データ処理装置５０は、Ｓ１２０２にて前処理した溶接画像を、上述した学習済みモデルに入力し、その結果として出力される溶接情報としての特徴点を取得する。本実施形態では、アーク中心の座標位置（ＡｒｃＸ，ＡｒｃＹ）、ワイヤ先端の座標位置（ＷｉｒｅＸ，ＷｉｒｅＹ）、溶融池先端左の座標位置（Ｐｏｏｌ＿Ｌｅａｄ＿Ｌｘ，Ｐｏｏｌ＿Ｌｅａｄ＿Ｌｙ）、溶融池先端右の座標位置（Ｐｏｏｌ＿Ｌｅａｄ＿Ｒｘ，Ｐｏｏｌ＿Ｌｅａｄ＿Ｒｙ）、溶融池左端の座標位置（Ｐｏｏｌ＿Ｌｙ）、溶融池右端の座標位置（Ｐｏｏｌ＿Ｒｙ）が出力されてよい。
【0060】
Ｓ１２０４にて、データ処理装置５０は、学習済みモデルによって出力された特徴点に基づいて、幾何学量データを算出する。本実施形態では、溶融池先端右の座標位置とワイヤ先端の座標位置のＸ軸方向の差（「Ｐｏｏｌ＿Ｌｅａｄ＿Ｒｘ」－「ＷｉｒｅＸ」）として算出された「ＬｅａｄＸ」の幾何学量データと溶融池先端左の座標位置と溶融池先端右の座標位置のＹ軸方向の差（「Ｐｏｏｌ＿Ｌｅａｄ＿Ｒｙ」－「Ｐｏｏｌ＿Ｌｅａｄ＿Ｌｙ」）として算出された「ＬｅａｄＷ」の幾何学量データを用いる。
【0061】
Ｓ１２０５にて、データ処理装置５０は、幾何学量データ「ＬｅａｄＸ」から構成される時系列データと幾何学量データ「ＬｅａｄＷ」から構成される時系列データを用いて異常検出を行う。なお、異常検知を行う手段は、予め設定しておけばよい。外乱の種類は多岐にわたり、特徴点の誤認識や認識ができない理由も様々である。発明者らはこの課題に対し、予め特徴点の異常が発生する理由を複数特定し、各理由に対応して複数の検知手段を設ける。そして、異常発生の理由に対応した複数の検知手段を用い、異常を判定する。これにより、あらゆる外乱を要因した特徴点の異常に対し、精度良く判定できることを見出した。
【0062】
本実施形態においては、「特徴点認識失敗の異常理由」に係る検知手段として、（１）予め定めた区間（時間）内の検出率が閾値以下の場合に異常を検知する手段を用いる。ここでの検出率では、図１１にて示したように、ある溶接画像を入力した際に幾何学量データが算出できていない場合には検出できていない溶接画像としてカウントされる。また、「特徴点誤認識の異常理由」に係る検知手段として、（２）予め定めた外れ値識別方法で定めた範囲外の場合に異常を検知する手段、および、（３）隣接する画像データのフレーム間で所定の閾値以上に特徴点位置が異なる（離れている）場合に異常を検知する手段を用いる。なお、これらのうち、少なくとも一つの手段を採用する構成であってよい。（２）予め定めた外れ値識別方法とは、例えば、Ｈａｍｐｅｌ識別子で３σ法の適用範囲内を外れた場合に、異常と検知する方法が挙げられる。なお、上記の複数の異常検知手段は一例であり、他の手段が用いられてもよい。したがって、異常検知手段の組み合わせを上記に限定するものではない。なお、異常判定の精度の観点から、複数の検知手段を採用することが好ましく、上記の（１）～（３）の検知手段から２つ以上の組み合わせを採用するとより好ましい。
【0063】
Ｓ１２０６にて、データ処理装置５０は、Ｓ１２０５における各異常検知手段によって検知された異常情報に基づき、異常グラフを設定する。本実施形態では、複数の異常検知手段のうち少なくとも１つにおいて異常であると判定された区間に対して異常フラグの値をＯＮに設定し、ＯＮ信号を出力する。異常フラグがＯＮである場合には、そのタイミングに対応する溶接画像に異常が発生していることを示す。
【0064】
Ｓ１２０７にて、データ処理装置５０は、異常フラグのＯＮ信号区間のデータを除去する処理を行う。なお、異常区間のデータ除去は、一例であって、異常フラグのＯＮ信号区間のデータを予め定めた値または所定の範囲における中央値に置き換える等の補完処理を行ってもよい。または、補完処理を行う場合に、異常フラグのＯＮ信号区間の直前の値にて除去した値を補完してもよいし、ＯＮ信号区間の長さに応じて、補完する値を切り替えてもよい。更に、データ処理装置５０は、除去後のデータに対して微細なノイズを低減するために、移動平均フィルタなどの平滑化フィルタを適用して平滑化処理を行う。この平滑化処理を行うことによって、自動制御の精度がより向上する。なお、データ除去の結果に応じて、平滑化処理は省略されてもよい。また、所定のフィルタを用いたフィルタリング処理の内容は特に限定するものではなく、データの除去処理や補完処理の内容に応じて異なっていてよい。
【0065】
Ｓ１２０８にて、データ処理装置５０は、Ｓ１２０７にて異常区間のデータ除去処理を行った時系列データに基づいて補正信号を算出する。ここでの算出方法は、特に限定するものではないが、例えば、溶接速度や溶接電圧などに係る補正量を示す補正信号を、予め規定された規則に基づいて算出してよい。
【0066】
Ｓ１２０９にて、データ処理装置５０は、ロボット制御装置２０に、外乱の判定情報に基づいて算出された補正信号を出力する。
【0067】
Ｓ１２１０にて、データ処理装置５０は、ロボット制御装置２０から停止指令を受信したか否かを判定する。ここでの停止指令は、ロボット制御装置２０から送信される溶接の停止指令に該当する。停止指令を受信していない場合（Ｓ１２１０にてＮＯ）、データ処理装置５０の処理はＳ１２０１へ戻る。一方、停止指令を受信した場合（Ｓ１２１０にてＹＥＳ）、本処理フローを終了する。
【0068】
異常フラグの用途は上記のデータ除去に限定するものではない。異常フラグのパターンを分析し、例えば、異常フラグのＯＮ信号またはＯＦＦ信号の期間、頻度等から異常理由または外乱の種類を予測する等の解析を行ってもよい。また、解析結果に基づいて、アラーム（エラー発行）を行ってもよいし、各種設定条件の補正を行ってもよい。例えば、予め定めた期間内において、異常フラグのＯＮ信号の回数が予め定めた閾値よりも多い場合には、大粒のスパッタが多発していると判定し、アラームを発して溶接を停止させてもよい。また、大粒のスパッタが多発していると判定した場合、アーク電圧の設定値を上げる補正を行い、アーク安定化を図るなどの制御を行ってもよい。
【0069】
【0070】
図１３は、異常判定処理において入力データとなる、幾何学量データＬａｅｄＷの時系列データを示す。なお、この時点の時系列データは編集等を施していない生データの状態となる。図１３において、横軸は時間［ｓ］を示し、縦軸はＬｅａｄＷの値［ｍｍ］を示す。図１４は、上記の異常判定処理の結果、異常と判定された範囲のデータを除去した後のデータを示す。図１４において、横軸は時間［ｓ］を示し、縦軸はＬｅａｄＷの値［ｍｍ］を示す。図１５は、上記の異常判定処理における異常フラグの値の時系列データを示す。図１５において、横軸は時間［ｓ］を示し、縦軸は異常フラグの値（０または１）を示す。異常フラグの値が１の場合が、上記のＯＮ信号に対応する。図１３～図１５において、横軸の時間は対応している。
【0071】
【0072】
［溶接制御方法］
以下、実際の溶接時における溶接システム１の溶接動作について説明する。アーク溶接を行う場合、オペレータは、ロボット制御装置２０、電源装置３０、およびデータ処理装置５０のそれぞれを起動する。ロボット制御装置２０が溶接ロボット１０の動きを制御し、溶接ロボット１０が溶接を実行する。また、データ処理装置５０は、視覚センサ４０により撮像される溶接画像を入力し、アーク溶接に関する特徴点を逐次出力する。本実施の形態では、溶接情報を、ワイヤ先端の位置、アーク中心、溶融池先端右および左端位置、および、溶融池右端および左端位置とする。
以下、実際の溶接時における溶接システム１の溶接動作について説明する。アーク溶接を行う場合、オペレータは、ロボット制御装置２０、電源装置３０、およびデータ処理装置５０のそれぞれを起動する。ロボット制御装置２０が溶接ロボット１０の動きを制御し、溶接ロボット１０が溶接を実行する。また、データ処理装置５０は、視覚センサ４０により撮像される溶接画像を入力し、アーク溶接に関する特徴点を逐次出力する。本実施の形態では、溶接情報を、ワイヤ先端の位置、アーク中心、溶融池先端右および左端位置、および、溶融池右端および左端位置とする。
【0073】
図１６は、ロボット制御装置２０及び電源装置３０の処理動作を説明するフローチャートである。オペレータは、アーク溶接を開始する場合、ロボット制御装置２０が備える教示ペンダント２０４を操作して、ロボット制御装置２０に対して、適用する教示プログラム、各種設定値を入力する。ここでの教示プログラムは、溶接ロボット１０の動きおよび溶接開始、溶接終了指示等を予め教示した教示済みのプログラムとして規定する。本実施形態では、図１６の処理シーケンスと、図１２の処理フローが同時並行的に実行される。
【0074】
Ｓ１６０１にて、ロボット制御装置２０は、教示プログラム、各種設定値指示を受け付ける。
【0075】
Ｓ１６０２にて、ロボット制御装置２０は、教示プログラム開始後、所定の溶接開始位置にロボットを動かし、電源装置３０に対して、溶接開始（アークオン）を指令する。なお、溶接プログラム開始前に、センシングを行い、教示プログラムの設定値を補正してもよい。
【0076】
Ｓ１６０３にて、電源装置３０は、ロボット制御装置２０からの溶接開始の指令を受信する。
【0077】
Ｓ１６０４にて、電源装置３０は、内蔵されている不図示の電源回路を制御して電力を供することで、溶接を開始させる。これにより、溶接ワイヤ１３（図１参照）とワークＷ（図１参照）との間に電圧が印加され、溶接開始位置にアークが発生する。
【0078】
Ｓ１６０５にて、ロボット制御装置２０は、電源装置３０または溶接ロボット１０に制御信号を送信し、溶接制御を実行する。溶接制御は、例えば、自動溶接制御（Ｓ１６２０）、ウィービング動作の制御（Ｓ１６２１）、および溶接線倣い制御（Ｓ１６２２）を含む。自動溶接制御では、データ処理装置５０が、自動的に溶接方向に溶接トーチ１１を移動させながら、溶接速度、溶接電流又はアーク電圧の少なくとも一つを制御するための補正信号を溶接ロボット１０または電源装置３０に送信し、溶接ロボット１０または電源装置３０がその補正信号に従って溶接を実行する。なお、制御の容易性の観点から自動溶接制御において、溶接速度の制御を含むことが好ましく、本実施形態では溶接速度の制御のみを行っている。
【0079】
Ｓ１６０６にて、ロボット制御装置２０は、溶接の停止が必要か否かを判定する。例えば、オペレータからの溶接停止の指示の受け付け、教示プログラムによる溶接終了位置の検出、又は、溶接異常の検出等があった場合に、溶接の停止が必要と判定してよい。溶接の停止が不要な場合（Ｓ１６０６にてＮＯ）、ロボット制御装置２０の処理はＳ１６０７へ進む。一方、溶接の停止が必要な場合（Ｓ１６０６にてＹＥＳ）、ロボット制御装置２０の処理はＳ１６０８へ進む。
【0080】
Ｓ１６０７にて、ロボット制御装置２０は、データ処理装置５０から溶接情報を受信する。ここで受信される溶接情報は、データ処理装置５０が学習済みモデルを用いて特徴点を出力し、特徴点に基づいた時系列データに異常判定および異常除去処理を行ったデータに基づいて算出された補正信号である。本工程で受信する溶接情報の生成の詳細については、上述の図１２で説明した通りである。その後、Ｓ１６０５へ戻り、ロボット制御装置２０は受信した溶接情報を用いて処理を繰り返す。
【0081】
Ｓ１６０８にて、ロボット制御装置２０は、溶接制御を停止させる。
【0082】
Ｓ１６０９にて、ロボット制御装置２０は、電源装置３０に対して溶接停止を指令する。溶接の停止は、溶接電力の供給の停止により実現される。
【0083】
Ｓ１６１０にて、ロボット制御装置２０は、データ処理装置５０に対して溶接情報の生成停止を指令する。
【0084】
Ｓ１６１１にて、電源装置３０は、ロボット制御装置２０から溶接停止の指令を受信する。
【0085】
Ｓ１６１２にて、電源装置３０は、不図示のＣＰＵにより電源回路を制御して溶接を停止する。これにより、ロボット制御装置２０及び電源装置３０の動作が終了する。
【0086】
以上、本実施形態により、外乱が生じる環境下においても、画像データ上の特徴点の異常を判定可能となる。更には、判定した異常に基づいて、画像データの識別に影響を与えないように処理することが可能となる。
【0087】
＜その他の実施形態＞
上記の実施形態では、図６に示すように学習済みモデルを用いて特徴点を取得し、算出部５１９側で幾何学量データを算出し、幾何学量データの時系列データから異常判定処理を行っている。しかし、この構成に限定するものでは無く、例えば、学習モデルが異常判定までを行うように学習処理を行って学習済みモデルを生成するような構成であってもよい。この場合、学習データにおいて、更に異常判定結果を示すラベル情報を含めて学習処理を行うように構成してよい。ここでのラベル情報は、異常フラグであってもよいし、異常原因を示す分類などであってもよい。この構成により、学習済みモデルは、入力された溶接画像に対して、ラベル情報を出力することで、連続する溶接画像に対して異常が生じた箇所やその異常原因を特定することができる。そして、算出部５１９は、学習済みモデルから出力される異常判定結果であるラベル情報に基づいて補正信号を出力するような構成であってよい。また、第１の実施形態にて述べた学習済みモデルとは異なる学習処理を行うことで、上記のようなラベル情報の結果を出力可能な学習済みモデルを生成してもよい。この場合、複数の学習済みモデルを用いて、溶接情報の出力と、ラベル情報の出力をそれぞれ行ってよい。
上記の実施形態では、図６に示すように学習済みモデルを用いて特徴点を取得し、算出部５１９側で幾何学量データを算出し、幾何学量データの時系列データから異常判定処理を行っている。しかし、この構成に限定するものでは無く、例えば、学習モデルが異常判定までを行うように学習処理を行って学習済みモデルを生成するような構成であってもよい。この場合、学習データにおいて、更に異常判定結果を示すラベル情報を含めて学習処理を行うように構成してよい。ここでのラベル情報は、異常フラグであってもよいし、異常原因を示す分類などであってもよい。この構成により、学習済みモデルは、入力された溶接画像に対して、ラベル情報を出力することで、連続する溶接画像に対して異常が生じた箇所やその異常原因を特定することができる。そして、算出部５１９は、学習済みモデルから出力される異常判定結果であるラベル情報に基づいて補正信号を出力するような構成であってよい。また、第１の実施形態にて述べた学習済みモデルとは異なる学習処理を行うことで、上記のようなラベル情報の結果を出力可能な学習済みモデルを生成してもよい。この場合、複数の学習済みモデルを用いて、溶接情報の出力と、ラベル情報の出力をそれぞれ行ってよい。
【0088】
本願発明において、上述した１以上の実施形態の機能を実現するためのプログラムやアプリケーションを、ネットワークまたは記憶媒体等を用いてシステムまたは装置に供給し、そのシステムまたは装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。
【0089】
また、１以上の機能を実現する回路によって実現してもよい。なお、１以上の機能を実現する回路としては、例えば、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）やＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）が挙げられる。
【0090】
以上の通り、本明細書には次の事項が開示されている。
（１） 画像データから抽出される１または複数の特徴点の情報の異常を判定する異常判定方法であって、
前記１または複数の特徴点の情報から導出される幾何学量データを算出する算出工程と、
前記幾何学量データから構成される時系列データに対し、異常理由に対応して予め定めた１または複数の異常検知手段を用いて異常を検知する異常検知工程と、
前記１または複数の異常検知手段による検知結果に基づいて、前記時系列データにおける異常の発生を判定する判定工程と、
を有することを特徴とする異常判定方法。
この構成によれば、外乱が生じる環境下においても、画像データ上の特徴点の異常を判定可能となる。
（１） 画像データから抽出される１または複数の特徴点の情報の異常を判定する異常判定方法であって、
前記１または複数の特徴点の情報から導出される幾何学量データを算出する算出工程と、
前記幾何学量データから構成される時系列データに対し、異常理由に対応して予め定めた１または複数の異常検知手段を用いて異常を検知する異常検知工程と、
前記１または複数の異常検知手段による検知結果に基づいて、前記時系列データにおける異常の発生を判定する判定工程と、
を有することを特徴とする異常判定方法。
この構成によれば、外乱が生じる環境下においても、画像データ上の特徴点の異常を判定可能となる。
【0091】
（２） 前記１または複数の異常検知手段は、
前記画像データからの特徴点の認識失敗を前記異常理由として、予め定めた時間内における１または複数の画像データにおける特徴点の検出率が閾値以下であるか否かを判定する手段と、
前記画像データからの特徴点の誤認識を前記異常理由として、所定の外れ値識別方法で定めた範囲外か否かを判定する手段と、
前記画像データからの特徴点の誤認識を前記異常理由として、隣接する画像データで認識された対応する特徴点間の位置が閾値以上に異なるか否を判定する手段と、
のうち、少なくとも１つを含むことを特徴とする（１）に記載の異常判定方法。
この構成によれば、画像データに含まれる外乱に起因した様々な異常の理由に対応して、異常判定を行うことが可能となる。
前記画像データからの特徴点の認識失敗を前記異常理由として、予め定めた時間内における１または複数の画像データにおける特徴点の検出率が閾値以下であるか否かを判定する手段と、
前記画像データからの特徴点の誤認識を前記異常理由として、所定の外れ値識別方法で定めた範囲外か否かを判定する手段と、
前記画像データからの特徴点の誤認識を前記異常理由として、隣接する画像データで認識された対応する特徴点間の位置が閾値以上に異なるか否を判定する手段と、
のうち、少なくとも１つを含むことを特徴とする（１）に記載の異常判定方法。
この構成によれば、画像データに含まれる外乱に起因した様々な異常の理由に対応して、異常判定を行うことが可能となる。
【0092】
（３） 前記画像データは、溶融池、アーク、溶接ワイヤのうち少なくとも一つをオブジェクトとして含み、
前記特徴点は、前記オブジェクトから抽出されることを特徴とする（１）または（２）に記載の異常判定方法。
この構成によれば、溶接に係るオブジェクトを対象として、異常判定を行うことが可能となる。
前記特徴点は、前記オブジェクトから抽出されることを特徴とする（１）または（２）に記載の異常判定方法。
この構成によれば、溶接に係るオブジェクトを対象として、異常判定を行うことが可能となる。
【0093】
（４） 前記幾何学量データは、１のオブジェクトから得られる１または複数の特徴点の座標、複数の特徴点間の距離、１のオブジェクトから得られる複数の特徴点で形成される面積、および、異なるオブジェクトにおける特徴点間の距離のうちの少なくとも１つであることを特徴とする（３）に記載の異常判定方法。
この構成によれば、画像データから特定される各オブジェクトの特性を捉えた幾何学量データを用いて異常判定を行うことが可能となる。
この構成によれば、画像データから特定される各オブジェクトの特性を捉えた幾何学量データを用いて異常判定を行うことが可能となる。
【0094】
（５） 学習済みモデルを用いて、前記画像データから前記１または複数の特徴点の情報を取得する取得工程を更に有し、
前記学習済みモデルは、画像データと、当該画像データから取得される特徴点の情報とを関連付けた学習データを用いて学習処理が行われることにより、画像データを入力とし、当該画像データに対応する特徴点の情報を出力するように生成されていることを特徴とする（１）から（４）のいずれかに記載の異常判定方法。
この構成によれば、学習済みモデルを用いて、画像データにおける特徴点を取得することが可能となる。
前記学習済みモデルは、画像データと、当該画像データから取得される特徴点の情報とを関連付けた学習データを用いて学習処理が行われることにより、画像データを入力とし、当該画像データに対応する特徴点の情報を出力するように生成されていることを特徴とする（１）から（４）のいずれかに記載の異常判定方法。
この構成によれば、学習済みモデルを用いて、画像データにおける特徴点を取得することが可能となる。
【0095】
（６） 前記判定工程において、学習済みモデルを用いて、画像データから当該画像データに含まれる異常に関するラベル情報を取得し、
前記判定工程において、前記ラベル情報に基づいて、前記時系列データにおける異常の発生を判定し、
前記学習済みモデルは、画像データ、当該画像データから取得される特徴点の情報、および当該画像データに含まれる異常に関するラベル情報を関連付けた学習データを用いて学習処理が行われることにより、前記画像データを入力とし、当該画像データに含まれる異常に関するラベル情報を出力するように生成されていることを特徴とする（１）から（４）のいずれかに記載の異常判定方法。
この構成によれば、学習済みモデルを用いて、画像データにおける異常に関する情報を取得することが可能となる。
前記判定工程において、前記ラベル情報に基づいて、前記時系列データにおける異常の発生を判定し、
前記学習済みモデルは、画像データ、当該画像データから取得される特徴点の情報、および当該画像データに含まれる異常に関するラベル情報を関連付けた学習データを用いて学習処理が行われることにより、前記画像データを入力とし、当該画像データに含まれる異常に関するラベル情報を出力するように生成されていることを特徴とする（１）から（４）のいずれかに記載の異常判定方法。
この構成によれば、学習済みモデルを用いて、画像データにおける異常に関する情報を取得することが可能となる。
【0096】
（７） （１）から（６）のいずれかに記載の異常判定方法にて得られた判定結果に従って異常時の処理を行う処理方法であって、
前記時系列データのうち異常が発生した期間のデータに対し、当該期間のデータを除去、予め定めた値を用いて補正、または、異常が発生する直前の値にて補正、のいずれかを行う処理工程を有することを特徴とする異常時の処理方法。
この構成によれば、判定した異常に基づいて、画像データの識別に影響を与えないように処理することが可能となる。
前記時系列データのうち異常が発生した期間のデータに対し、当該期間のデータを除去、予め定めた値を用いて補正、または、異常が発生する直前の値にて補正、のいずれかを行う処理工程を有することを特徴とする異常時の処理方法。
この構成によれば、判定した異常に基づいて、画像データの識別に影響を与えないように処理することが可能となる。
【0097】
（８） 前記処理工程にて処理が行われた時系列データに対し、所定のフィルタを用いたフィルタリング処理を行うフィルタリング工程を更に有する、ことを特徴とする（７）に記載の処理方法。
この構成によれば、判定した異常に基づいて行われた時系列データへの処理の影響を抑制することが可能となる。
この構成によれば、判定した異常に基づいて行われた時系列データへの処理の影響を抑制することが可能となる。
【0098】
（９） （１）から（６）のいずれかに記載の異常判定方法によって得られた判定結果に従って異常時の処理を行う処理方法であって、
前記時系列データにおける異常のパターンを解析する解析工程と、
前記解析工程における解析結果に基づいて、アラームまたは異常理由に対する設定条件の補正を行う工程と、
を有することを特徴とする異常時の処理方法。
この構成によれば、判定した異常に基づいて、後続の制御が可能となる。
前記時系列データにおける異常のパターンを解析する解析工程と、
前記解析工程における解析結果に基づいて、アラームまたは異常理由に対する設定条件の補正を行う工程と、
を有することを特徴とする異常時の処理方法。
この構成によれば、判定した異常に基づいて、後続の制御が可能となる。
【0099】
（１０） 画像データから抽出される１または複数の特徴点の情報の異常を判定する情報処理装置であって、
前記１または複数の特徴点の情報から導出される幾何学量データを算出する算出部と、
前記幾何学量データから構成される時系列データに対し、異常理由に対応して予め定めた１または複数の異常検知手段を用いて異常を検知する異常検知部と、
前記１または複数の異常検知手段による検知結果に基づいて、前記時系列データにおける異常の発生を判定する判定部と、
を有することを特徴とする情報処理装置。
この構成によれば、外乱が生じる環境下においても、画像データ上の特徴点の異常を判定可能となる。
前記１または複数の特徴点の情報から導出される幾何学量データを算出する算出部と、
前記幾何学量データから構成される時系列データに対し、異常理由に対応して予め定めた１または複数の異常検知手段を用いて異常を検知する異常検知部と、
前記１または複数の異常検知手段による検知結果に基づいて、前記時系列データにおける異常の発生を判定する判定部と、
を有することを特徴とする情報処理装置。
この構成によれば、外乱が生じる環境下においても、画像データ上の特徴点の異常を判定可能となる。
【0100】
（１１） （１０）に記載の情報処理装置を含んで構成される溶接システム。
この構成によれば、画像データに含まれる異常を特定し、その異常に応じた溶接制御を行うことが可能な溶接システムを提供することができる。
この構成によれば、画像データに含まれる異常を特定し、その異常に応じた溶接制御を行うことが可能な溶接システムを提供することができる。
【0101】
（１２） コンピュータに、
画像データから抽出される１または複数の特徴点の情報から導出される幾何学量データを算出する算出工程と、
前記幾何学量データから構成される時系列データに対し、異常理由に対応して予め定めた１または複数の異常検知手段を用いて異常を検知する異常検知工程と、
前記１または複数の異常検知手段による検知結果に基づいて、前記時系列データにおける異常の発生を判定する判定工程と、
を実行させるためのプログラム。
この構成によれば、外乱が生じる環境下においても、画像データ上の特徴点の異常を判定可能となる。
画像データから抽出される１または複数の特徴点の情報から導出される幾何学量データを算出する算出工程と、
前記幾何学量データから構成される時系列データに対し、異常理由に対応して予め定めた１または複数の異常検知手段を用いて異常を検知する異常検知工程と、
前記１または複数の異常検知手段による検知結果に基づいて、前記時系列データにおける異常の発生を判定する判定工程と、
を実行させるためのプログラム。
この構成によれば、外乱が生じる環境下においても、画像データ上の特徴点の異常を判定可能となる。
【符号の説明】
【0102】
１ 溶接システム
１０ 溶接ロボット
１１ 溶接トーチ
１２ ワイヤ送給装置
１３ 溶接ワイヤ
１４ 裏当て材
２０ ロボット制御装置
２０１ ＣＰＵ
２０２ メモリ
２０２Ａ 制御プログラム
２０３ 操作パネル
２０４ 教示ペンダント
２０５ ロボット接続部
２０６ 通信部
３０ 電源装置
４０ 視覚センサ
５０ データ処理装置
５１０ 本体
５１１ ＣＰＵ
５１２ ＧＰＵ
５１３ ＲＯＭ
５１４ ＲＡＭ
５１５ 不揮発性記憶装置
５１５Ａ 学習プログラム
５１５Ｂ 学習済みモデル
５１５Ｃ 情報生成プログラム
５１５Ｄ 画像データ
５１６ 入出力インタフェース
５１７ 映像出力インタフェース
５１８ 通信インタフェース
５１９ 算出部
５２０ 入力部
５３０ 表示部
Ｗ ワーク
１０ 溶接ロボット
１１ 溶接トーチ
１２ ワイヤ送給装置
１３ 溶接ワイヤ
１４ 裏当て材
２０ ロボット制御装置
２０１ ＣＰＵ
２０２ メモリ
２０２Ａ 制御プログラム
２０３ 操作パネル
２０４ 教示ペンダント
２０５ ロボット接続部
２０６ 通信部
３０ 電源装置
４０ 視覚センサ
５０ データ処理装置
５１０ 本体
５１１ ＣＰＵ
５１２ ＧＰＵ
５１３ ＲＯＭ
５１４ ＲＡＭ
５１５ 不揮発性記憶装置
５１５Ａ 学習プログラム
５１５Ｂ 学習済みモデル
５１５Ｃ 情報生成プログラム
５１５Ｄ 画像データ
５１６ 入出力インタフェース
５１７ 映像出力インタフェース
５１８ 通信インタフェース
５１９ 算出部
５２０ 入力部
５３０ 表示部
Ｗ ワーク
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】