特許 7566640 処理装置、溶接システム、処理方法、プログラム、及び記憶媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-10-04

(45)【発行日】2024-10-15

(54)【発明の名称】処理装置、溶接システム、処理方法、プログラム、及び記憶媒体

(51)【国際特許分類】

   B23K 9/095 20060101AFI20241007BHJP

   B23K 31/00 20060101ALI20241007BHJP

   B23K 26/00 20140101ALI20241007BHJP

   B23K 9/167 20060101ALN20241007BHJP

   B23K 26/21 20140101ALN20241007BHJP

【ＦＩ】

B23K9/095 515A

B23K31/00 L

B23K26/00 P

B23K9/167 A

B23K26/21 A

【請求項の数】 15

(21)【出願番号】P 2021000171

(22)【出願日】2021-01-04

(65)【公開番号】P2022105404

(43)【公開日】2022-07-14

【審査請求日】2023-09-14

(73)【特許権者】

【識別番号】000003078

【氏名又は名称】株式会社東芝

(74)【代理人】

【識別番号】110004026

【氏名又は名称】弁理士法人ｉＸ

(72)【発明者】

【氏名】塩見 康友

(72)【発明者】

【氏名】坂井 哲男

【審査官】杉田 隼一

(56)【参考文献】

【文献】特開２００７－３３０９８７（ＪＰ，Ａ）

【文献】再公表特許第０２／０６４３０４（ＪＰ，Ａ１）

【文献】特開２０１７－１４８８４１（ＪＰ，Ａ）

【文献】特開２０２０－０２８８８９（ＪＰ，Ａ）

【文献】特開２０１１－００５５５０（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｂ２３Ｋ ９／０９５

Ｂ２３Ｋ ３１／００

Ｂ２３Ｋ ２６／００

Ｂ２３Ｋ ９／１６７

Ｂ２３Ｋ ２６／２１

(57)【特許請求の範囲】

【請求項1】

溶接画像の入力に応じて溶接要素及び欠陥を検出する第１モデルに、溶接時に撮像された複数の第１画像を順次入力し、前記溶接要素に関する複数の第１検出結果及び前記欠陥に関する複数の第２検出結果を取得し、
前記複数の第１検出結果を用いて、前記複数の第２検出結果の適否をそれぞれ判定し、
適切と判定された前記第２検出結果に基づいて、前記複数の第１画像における前記欠陥の存否をそれぞれ判定し、
前記欠陥が存在すると連続して判定された回数が第３閾値以上の場合、前記欠陥の存在を認定する、処理装置。

【請求項2】

前記欠陥が存在しないと判定された前記第１画像の撮像位置の品質を、第１品質と判定し、
不適切と判定された前記第２検出結果の基となる前記第１画像の撮像位置の品質を、第２品質と判定する、請求項１記載の処理装置。

【請求項3】

前記欠陥が存在しないと判定された前記第１画像の位置の品質を、第１品質と判定し、
不適切と判定された前記第２検出結果の基となる前記第１画像の位置の品質を、第２品質と判定し、
前記欠陥の存在が認定された前記第１画像の位置の品質を、第３品質と判定する、請求項１記載の処理装置。

【請求項4】

認定された前記欠陥の位置を算出する、請求項１～３のいずれか１つに記載の処理装置。

【請求項5】

前記欠陥の認定結果に基づき、溶接条件を変更する、請求項１～４のいずれか１つに記載の処理装置。

【請求項6】

変更された前記溶接条件に基づく溶接によって、認定された前記欠陥が補修されたか判定する、請求項５記載の処理装置。

【請求項7】

前記溶接は、熱源を第１方向に沿って移動して実行され、
変更される前記溶接条件は、前記第１方向における前記熱源の速度、前記第１方向と垂直な第２方向における前記熱源の位置、及び前記熱源の出力からなる群より選択される少なくとも１つである、請求項５又は６に記載の処理装置。

【請求項8】

前記溶接要素は、溶融池である、請求項１～７のいずれか１つに記載の処理装置。

【請求項9】

溶接画像の入力に応じて溶接要素及び欠陥を検出する第１モデルに、溶接時に撮像された第１画像を入力し、前記溶接要素に関する第１検出結果及び前記欠陥に関する第２検出結果を取得し、
前記第１検出結果を用いて、前記第２検出結果の適否を判定し、
前記第２検出結果の適否の判定結果を用いて、溶接対象における複数の位置と、前記複数の位置のそれぞれにおける品質と、を含む品質データを生成する、処理装置。

【請求項10】

第１方向に沿って熱源を移動させる溶接を撮像した複数の第１画像を、溶接画像の入力に応じて溶接要素及び欠陥を検出する第１モデルに順次入力し、
前記第１モデルから、前記溶接要素に関する複数の第１検出結果及び前記欠陥に関する複数の第２検出結果を取得し、
前記複数の第１検出結果を用いて、前記複数の第２検出結果の適否をそれぞれ判定し、
適切と判定された前記第２検出結果に基づいて、前記複数の第１画像における前記欠陥の存否をそれぞれ判定し、
前記欠陥が存在すると連続して判定された回数が第３閾値以上の場合、前記欠陥の存在を認定し、
前記欠陥の存在が認定された場合に前記欠陥の位置を算出し、前記欠陥の前記位置に応じて溶接条件を変更する、処理装置。

【請求項11】

変更される前記溶接条件は、前記第１方向における前記熱源の速度、前記第１方向と垂直な第２方向における前記熱源の位置、及び前記熱源の出力からなる群より選択される少なくとも１つを含む、請求項１０記載の処理装置。

【請求項12】

請求項１～１１のいずれか１つに記載の処理装置と、
前記溶接を実行する溶接装置と、
を備えた溶接システム。

【請求項13】

溶接画像の入力に応じて溶接要素及び欠陥を検出する第１モデルに、溶接時に撮像された複数の第１画像を順次入力し、前記溶接要素に関する複数の第１検出結果及び前記欠陥に関する複数の第２検出結果を取得し、
前記複数の第１検出結果を用いて、前記複数の第２検出結果の適否をそれぞれ判定し、
適切と判定された前記第２検出結果に基づいて、前記複数の第１画像における前記欠陥の存否をそれぞれ判定し、
前記欠陥が存在すると連続して判定された回数が第３閾値以上の場合、前記欠陥の存在を認定する、処理方法。

【請求項14】

コンピュータに、
溶接画像の入力に応じて溶接要素及び欠陥を検出する第１モデルに、溶接時に撮像された複数の第１画像を順次入力させ、前記溶接要素に関する複数の第１検出結果及び前記欠陥に関する複数の第２検出結果を取得させ、
前記複数の第１検出結果を用いて、前記複数の第２検出結果の適否をそれぞれ判定させ、
適切と判定された前記第２検出結果に基づいて、前記複数の第１画像における前記欠陥の存否をそれぞれ判定させ、
前記欠陥が存在すると連続して判定された回数が第３閾値以上の場合、前記欠陥の存在を認定させる、
プログラム。

【請求項15】

請求項１４記載のプログラムを記憶した記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施形態は、処理装置、溶接システム、処理方法、プログラム、及び記憶媒体に関する。

【背景技術】

【0002】

溶接時に撮像された画像から特徴を抽出し、特徴に基づいて欠陥を検出する技術がある。この技術に関して、利便性の向上が求められている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１９－１９５８１１号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

本発明が解決しようとする課題は、欠陥検出に関するユーザの利便性を向上可能な、処理装置、溶接システム、処理方法、プログラム、及び記憶媒体を提供することである。

【課題を解決するための手段】

【0005】

実施形態に係る処理装置は、第１モデルに溶接時に撮像された第１画像を入力し、溶接要素に関する第１検出結果及び欠陥に関する第２検出結果を取得する。前記第１モデルは、溶接画像の入力に応じて前記溶接要素及び前記欠陥を検出する。前記処理装置は、前記第１検出結果を用いて、前記第２検出結果の適否を判定する。

【図面の簡単な説明】

【0006】

【図1】実施形態に係る処理装置を備えた溶接システムの構成を例示する模式図である。

【図2】実施形態に係る処理装置の動作を説明するための模式図である。

【図3】実施形態に係る処理装置の動作を説明するための模式図である。

【図4】第１モデルの出力例を表す画像である。

【図5】第１モデルの出力例を表す画像である。

【図6】実施形態に係る処理装置による処理を表すフローチャートである。

【図7】第１モデルの学習に用いる画像を例示する模式図である。

【図8】第１モデルの学習に用いる画像を例示する模式図である。

【図9】実施形態の変形例に係る処理装置による処理を表すフローチャートである。

【図10】実施形態に係る処理装置を備えた別の溶接システムの構成を例示する模式図である。

【図11】実施形態に係る処理装置による出力例を表す模式図である。

【図12】ハードウェア構成を表す模式図である。

【発明を実施するための形態】

【0007】

以下に、本発明の各実施形態について図面を参照しつつ説明する。
図面は模式的または概念的なものであり、各部分の厚みと幅との関係、部分間の大きさの比率などは、必ずしも現実のものと同一とは限らない。また、同じ部分を表す場合であっても、図面により互いの寸法や比率が異なって表される場合もある。
本願明細書と各図において、既に説明したものと同様の要素には同一の符号を付して詳細な説明は適宜省略する。

【0008】

図１は、実施形態に係る処理装置を備えた溶接システムの構成を例示する模式図である。
溶接システム１は、処理装置１０、溶接装置２０、及び記憶装置３０を備える。

【0009】

溶接装置２０は、２つ以上の部材を溶接して一体化する。溶接装置２０は、例えば、アーク溶接又はレーザ溶接を実行する。アーク溶接は、具体的には、Tungsten Inert Gas（ＴＩＧ）溶接、Metal Inert Gas（ＭＩＧ）溶接、Metal Active Gas（ＭＡＧ）溶接、又は炭酸ガスアーク溶接などである。ここでは、主に、溶接装置２０がＴＩＧ溶接を行う例について説明する。

【0010】

溶接装置２０は、例えば、トーチ２１、アーム２２、電力供給部２３、ガス供給部２４、ワイヤ２５、撮像部２６、照明部２７、及び制御部２８を含む。

【0011】

トーチ２１には、タングステン製の電極２１ａが設けられている。電極２１ａの先端は、トーチ２１から露出している。例えば、トーチ２１は、複数のリンクを含む多関節のアーム２２に取り付けられる。又は、トーチ２１は、作業者によって把持されても良い。

【0012】

電力供給部２３は、電極２１ａ及び溶接対象Ｓの少なくとも一方と電気的に接続される。電力供給部２３によって電極２１ａと溶接対象Ｓとの間に電圧が印加され、アーク放電が生じる。電極２１ａ及び溶接対象Ｓの一方が共通電位（例えばグランド電位）に設定され、電力供給部２３は電極２１ａ及び溶接対象Ｓの他方の電位のみを制御しても良い。図１の例では、電力供給部２３は、電極２１ａの電位のみを制御する。

【0013】

ガス供給部２４は、トーチ２１に接続される。ガス供給部２４は、トーチ２１に不活性ガスを供給する。又は、ガス供給部２４は、不活性ガスと活性ガスの混合ガスを供給しても良い。トーチ２１に供給されたガスは、電極２１ａが露出したトーチ２１の先端から、溶接対象Ｓに向けて吹き付けられる。

【0014】

ワイヤ２５の先端は、アーク放電が生じている空間に配される。アーク放電によりワイヤ２５の先端が溶融し、溶接対象Ｓに滴下する。溶融したワイヤ２５が凝固することで、溶接対象Ｓが溶接される。ワイヤ２５は、例えば、アーム２２に対して固定され、溶融の進行に合わせて自動で供給される。

【0015】

撮像部２６は、溶接時に、溶接が行われている箇所を撮像する。撮像部２６は、溶接箇所を撮像して静止画を取得する。又は、撮像部２６は、動画を撮像しても良い。撮像部２６は、動画の一部を切り出して静止画を取得する。撮像部２６は、例えば、ＣＣＤイメージセンサ又はＣＭＯＳイメージセンサを含むカメラである。

【0016】

照明部２７は、撮像部２６によってより鮮明な画像が得られるように、溶接時の溶接箇所を照らす。溶接箇所を照らさなくても十分な明るさの画像が得られるのであれば、照明部２７は設けられていなくても良い。

【0017】

制御部２８は、溶接装置２０の上述した各構成要素の動作を制御する。例えば、制御部２８は、アーム２２を駆動させながらアーク放電を発生させ、溶接対象Ｓを所定の方向に沿って溶接していく。また、制御部２８は、撮像部２６の設定、照明部２７の設定などを制御しても良い。

【0018】

制御部２８は、撮像部２６が取得した画像を記憶装置３０に記憶する。例えば、制御部２８は、撮像した画像と、撮像時の溶接条件と、撮像条件と、位置と、を関連付けて記憶装置３０に記憶する。

【0019】

溶接条件は、例えば、トーチ２１の移動方向（第１方向）における速度、移動方向に垂直な幅方向（第２方向）におけるトーチ２１の位置、トーチ２１への供給電流、トーチ２１への供給電圧、及びワイヤ２５の供給速度からなる群より選択される少なくとも１つを含む。撮像条件は、例えば、露光時間、絞り、又は感度（ＩＳＯ）などの撮像部２６の設定を含む。撮像条件は、照明部２７の設定を含んでも良い。

【0020】

図２（ａ）、図２（ｂ）、図３（ａ）、及び図３（ｂ）は、実施形態に係る処理装置の動作を説明するための模式図である。
実施形態に係る処理装置１０は、溶接時に撮像された画像から、溶接された箇所に欠陥が存在するかを調べる。まず、処理装置１０は、記憶装置３０にアクセスし、溶接時に撮像された第１画像を取得する。処理装置１０は、第１画像を第１モデルに入力する。

【0021】

第１モデルは、溶融池が写された溶接画像の入力に応じて、溶接画像に写る欠陥及び溶融池を検出する。溶融池は、金属（ワイヤ２５）が溶融して形成された液状の金属の池である。一例として、欠陥は、円形状の穴欠陥であり、溶接時に溶接対象Ｓが部分的に過剰に溶け込んで溶接対象Ｓを貫通し、溶融した金属が落ち込むことで形成される。別の一例では、欠陥は、オーバーラップ、アンダーカット、又は割れである。

【0022】

図２（ａ）は、溶接時に撮像される画像の一例を表す模式図である。図２（ａ）に表した画像１００には、第１部材１０１と第２部材１０２が写っている。第１部材１０１と第２部材１０２が、溶接によって接合されている。トーチ２１と不図示のワイヤ２５が、第１部材１０１と第２部材１０２との境界に近接して配置される。トーチ２１の先端に発生する放電により、ワイヤ２５が溶融し、溶融池１１１が形成されている。溶融池１１１の金属が凝固し、ビード１１３が形成されている。また、図２（ａ）の例では、溶融池１１１において、過剰な溶け込みにより第１部材１０１又は第２部材１０２が部分的に円形状に溶け落ち、欠陥１１２が形成されている。

【0023】

第１モデルは、図２（ａ）の画像が入力されると、溶融池１１１の外縁を示す第１特徴と、欠陥１１２の外縁を示す第２特徴と、を検出する。第１特徴の検出は、画像１００に溶融池１１１が存在することを示す。第２特徴の検出は、画像１００に欠陥が存在することを示す。また、第２特徴は、欠陥１１２の程度を示す。例えば、第２特徴における輝度の大きさは、欠陥１１２の程度を示す。

【0024】

処理装置１０は、第１モデルからの出力結果を取得する。第１モデルの出力は、第１画像の溶融池に関する第１検出結果と、第１画像の欠陥に関する第２検出結果と、を含む。画像に溶融池１１１が存在する場合、第１検出結果は、第１特徴を含む。すなわち、第１検出結果は、溶融池の存否を示す。欠陥１１２が存在する場合、第２検出結果は、第２特徴を含む。すなわち、第２検出結果は、欠陥の存否を示す。

【0025】

図２（ｂ）は、図２（ａ）の画像の入力に対する、第１モデルの出力結果を表す模式図である。出力結果２００は、溶融池１１１を示す第１特徴２１１と、欠陥１１２を示す第２特徴２１２と、を含む画像である。この例では、第１特徴２１１は、溶融池１１１の外縁を示している。第２特徴２１２は、欠陥１１２の外縁を示している。

【0026】

図３（ａ）は、溶接時に撮像される画像の別の一例を表す模式図である。図３（ａ）に表した画像１００ａには、画像１００と同様に、第１部材１０１、第２部材１０２、トーチ２１、溶融池１１１、欠陥１１２、及びビード１１３が写っている。しかし、放電時の発光によって、画像の一部が白飛びしている。

【0027】

図３（ｂ）は、図３（ａ）の画像の入力に対する、第１モデルの出力結果を表す模式図である。画像１００ａには、溶融池１１１及び欠陥１１２がそれぞれ一部しか写っていない。このため、出力結果２００ａは、溶融池１１１の一部を示す第１特徴２１１ａ及び欠陥１１２の一部を示す第２特徴２１２ａを含む。

【0028】

処理装置１０は、第１検出結果及び第２検出結果を用いて、第１判定～第３判定を実行する。

【0029】

第１判定では、処理装置１０は、第１検出結果を用いて、第２検出結果の適否を判定する。具体的には、処理装置１０は、第１検出結果において、溶融池が適切に検出されているか判定する。図２（ｂ）及び図３（ｂ）に表したように、第１画像に写る溶融池が明確であるほど、第１検出結果において、第１特徴の面積（画素数）が大きくなる。処理装置１０は、第１特徴の画素数を、予め設定された第１閾値と比較する。第１特徴に含まれる各画素の画素値が、溶接画像に写る溶融池１１１に応じて変化しても良い。この場合、処理装置１０は、第１特徴に含まれる各画素の画素値の積算値（第１積算値）を、予め設定された第１閾値と比較する。

【0030】

例えば、第１検出結果において、第１特徴は、ＲＧＢ色空間における赤色で表される。第１特徴の各画素における画素値は、ＲＧＢそれぞれの輝度を表す。処理装置１０は、第１特徴における赤色の輝度を積算し、第１積算値を算出する。この例に限らず、第１特徴における画素値は、ＨＳＶ色空間における色相、彩度、又は明度などを表しても良い。

【0031】

第１積算値が第１閾値以上の場合、処理装置１０は、第２検出結果が適切と判定する。すなわち、第１画像は溶融池及び欠陥を検出できるほど明確であり、且つその第１画像に対する欠陥の検出結果は適切であると判定される。第２検出結果が適切と判定されると、処理装置１０は、第２判定を実行する。第１積算値が第１閾値未満の場合、処理装置１０は、第２検出結果が不適切と判定する。例えば、欠陥が検出されていない場合でも、第１画像における白飛びによって欠陥が隠れている可能性がある。第２検出結果が不適切と判定されると、処理装置１０は、第２判定を実行しない。

【0032】

第２判定では、処理装置１０は、第２検出結果を用いて、第１画像における欠陥の存否を判定する。第１モデルから出力される第２特徴の各画素の画素値は、欠陥の確からしさに応じて変化する。画素値が大きいほど、第１モデルは、その画素が欠陥の一部であると強く推定していることを示す。処理装置１０は、第２特徴に含まれる各画素値の積算値（第２積算値）を、予め設定された第２閾値と比較する。なお、第２特徴が検出されていない場合、第２積算値はゼロとなる。

【0033】

例えば、第２検出結果において、第２特徴は、ＲＧＢ色空間における黄色で表される。第２特徴の各画素における画素値は、ＲＧＢそれぞれの輝度を表す。処理装置１０は、第１特徴における赤色の輝度及び緑色の輝度を積算し、第２積算値を算出する。この例に限らず、第２特徴における画素値は、ＨＳＶ色空間における色相、彩度、又は明度などを表しても良い。

【0034】

第２積算値が第２閾値以上の場合、処理装置１０は、欠陥が存在すると判定する。第２判定で欠陥が存在すると判定されると、処理装置１０は、第３判定を実行する。第２積算値が第２閾値未満の場合、処理装置１０は、欠陥が存在しないと判定する。第２判定で欠陥が存在しないと判定されると、処理装置１０は、第３判定を実行しない。

【0035】

第３判定では、処理装置１０は、第２判定で欠陥が存在すると連続して判定された回数をカウントする。処理装置１０は、カウント数を、予め設定された第３閾値と比較する。カウント数が第３閾値以上の場合、処理装置１０は、欠陥の存在を認定する。カウント数が第３閾値未満の場合、処理装置１０は、欠陥の存在を認定しない。

【0036】

溶接時には、画像が連続して撮像される。記憶装置３０には、複数の第１画像が保存される。処理装置１０は、複数の第１画像のそれぞれについて、第１検出結果及び第２検出結果の取得と、第１判定と、を実行する。第１判定において第２検出結果が適切と判定された場合には、処理装置１０は、第２判定をさらに実行する。第２判定において欠陥が存在すると判定されると、処理装置１０は、直近の過去の判定結果を参照する。最新の判定及び直近の判定において、欠陥が存在すると連続して判定されており、且つその連続した判定回数が第３閾値以上の場合は、欠陥の存在が認定される。

【0037】

例えば、その連続した判定に係る複数の第１画像について、欠陥の存在が認定される。第２判定において欠陥が存在すると判定された後、第１判定において第２検出結果が不適切と判定されると、カウント数はリセットされる。又は、第１判定において第２検出結果が不適切と判定される画像が多数である場合、カウント数はリセットしなくてもよい。つまり、要求される欠陥の検出精度に応じて、ユーザは、リセットを実行するかしないか、適宜選択可能である。

【0038】

溶融池に欠陥となりうる穴が発生しても、その後に穴に金属が流れ込み、欠陥が修復されることがある。１回の第２判定の結果に基づいて欠陥の存在を認定すると、実際には欠陥が存在しないにも拘わらず、欠陥の存在が認定される可能性がある。

【0039】

以上の処理が終了すると、処理装置１０は、品質を記録する。具体的には、処理装置１０は、第１画像の撮像位置と、その撮像位置の品質と、を紐付けて記憶する。例えば、制御部２８は、アーム２２先端の位置（座標）が記憶された記憶領域を参照する。制御部２８は、アーム２２先端がその座標に位置するように、アーム２２を駆動させる。撮像部２６は、トーチ２１と連動して移動する。撮像位置として、アーム２２の先端の座標が用いられる。又は、撮像部２６は、アーム２２とは別の駆動系によって駆動されても良い。この場合、撮像位置として、当該別の駆動系における撮像部２６の位置（座標）が用いられても良い。又は、第１画像中の電極２１ａ先端の位置、又は第１画像中の溶融池１１１の位置が算出され、いずれかの位置が撮像位置として用いられても良い。

【0040】

例えば、第２判定において欠陥が存在しないと判定された場合、処理装置１０は、撮像位置の品質を「良」（第１品質）と判定する。第２判定において欠陥が存在すると判定され、第３判定において欠陥が認定されなかった場合、処理装置１０は、撮像位置の品質を「良」と判定する。第３判定において欠陥が認定された場合、処理装置１０は、撮像位置の品質を「不良」（第３品質）と判定する。第１判定において第２検出結果が不適切と判定されると、処理装置１０は、撮像位置の品質を「無効」（第２品質）と判定する。処理装置１０は、複数の位置と、それぞれの位置における品質と、を含む品質データを生成して出力しても良い。

【0041】

第１～第３閾値は、ユーザにより予め設定される。第１閾値及び第２閾値は、第１画像のサイズに基づいて自動的に設定されても良い。第３閾値は、第１画像を撮像する周期に基づいて自動的に設定されても良い。

【0042】

図４（ａ）、図４（ｂ）、図５（ａ）、及び図５（ｂ）は、第１モデルの出力例を表す模式図である。
図４（ａ）、図４（ｂ）、図５（ａ）、及び図５（ｂ）において、第１特徴２１１は、ドットを付した線分で表されている。図５（ｂ）において、第２特徴２１２は、ドットを付した線分で表されている。ドットの密度が多いほど、画素値が大きいことを示す。

【0043】

図４（ａ）及び図４（ｂ）の例では、第１モデルに入力された第１画像において、溶接池が鮮明に写っている。このため、図４（ａ）及び図４（ｂ）に表した出力結果２００ｂ及び２００ｃにおいて、検出された第１特徴２１１ｂの線分及び２１１ｃの線分は、十分に長い。すなわち、第１特徴２１１ｂの面積及び２１１ｃの面積は、十分に大きい。図４（ａ）の出力結果に基づく第１判定及び図４（ｂ）の出力結果に基づく第１判定では、第２検出結果が適切と判定される。

【0044】

第２検出結果が適切と判定されると、第２検出結果に基づいて、第１モデルに入力された第１画像における欠陥の存否を判定する。図４（ａ）及び図４（ｂ）の出力結果２００ｂ及び２００ｃでは、欠陥を示す第２特徴２１２が検出されていない。このため、第１画像には、欠陥が存在しないと判定される。処理装置１０は、これらの第１画像の撮像位置における品質を、「良」と判定する。

【0045】

図５（ａ）に表した出力結果２００ｄでは、第１モデルに入力された画像の一部が、白飛びしている。このため、第１特徴２１１ｄとして、複数の分断された線分が検出されている。また、第１特徴２１１ｄの面積は、図４（ａ）及び図４（ｂ）の例に比べて小さい。例えば、図５（ａ）の出力結果２００ｄに基づく第１判定では、第２検出結果が不適切と判定される。

【0046】

図５（ｂ）に表した出力結果２００ｅでは、図４（ａ）及び図４（ｂ）の例と同様に、第１特徴２１１ｅの面積が十分に大きい。このため、第２検出結果は、適切と判定される。また、図５（ｂ）の例では、第２特徴２１２ｅが検出されている。例えば、第２判定において、この第２特徴２１２ｅに基づき、欠陥が存在すると判定される。第３判定において、欠陥が存在すると連続して判定された回数が第３閾値以上の場合、欠陥の存在が認定される。

【0047】

図６は、実施形態に係る処理装置による処理を表すフローチャートである。
処理装置１０は、第１画像を取得する（ステップＳ１）。処理装置１０は、第１画像を第１モデルに入力する（ステップＳ２）。処理装置１０は、第１モデルからの出力結果を取得する（ステップＳ３）。処理装置１０は、第１判定において、第１積算値が第１閾値以上の判定する（ステップＳ４）。第１積算値が第１閾値未満の場合、処理装置１０は、品質を「無効」と判定する（ステップＳ５）。

【0048】

第１積算値が第１閾値以上の場合、処理装置１０は、第２判定において、第２積算値が第２閾値以上の判定する（ステップＳ６）。第２積算値が第２閾値未満の場合、処理装置１０は、品質を「良」と判定する（ステップＳ７）。第２積算値が第２閾値以上の場合、処理装置１０は、第３判定において、欠陥が存在すると連続して判定された回数が第３閾値以上の判定する（ステップＳ８）。カウント回数が第３閾値未満の場合、処理装置１０は、欠陥の存在を認定せず、品質を「良」と判定する（ステップＳ７）。カウント回数が第３閾値以上の場合、処理装置１０は、欠陥の存在を認定し、品質を「不良」と判定する（ステップＳ９）。処理装置１０は、第１～第３判定の結果及び品質を記憶装置３０に保存する（ステップＳ１０）。

【0049】

実施形態の利点を説明する。
従来、溶接時に撮像された画像から特徴を抽出し、その特徴を用いて欠陥の存在を推定する試みが行われている。しかし、この方法を用いる場合、抽出された特徴と欠陥との関係を示すデータベースを用意する必要がある。例えば、溶接される対象、溶接条件、撮像条件が変化するたびに、抽出される特徴が変化しうるため、データベースを更新する必要がある。

【0050】

この１つ目の課題について、本実施形態では、溶接画像の入力に応じて溶融池及び欠陥を検出する第１モデルが用いられる。すなわち、溶接時に撮像された画像から、欠陥が直接検出される。この第１モデルを用いることで、特徴と欠陥との関係を示すデータベースが不要となる。ユーザの利便性を向上できる。ユーザは、特徴と欠陥の関係に基づく従来の複雑な欠陥検出を行う必要が無い。

【0051】

一方で、欠陥が直接検出される場合、特徴に基づいて欠陥が検出される場合に比べて、信頼性が低下する可能性がある。例えば、欠陥は一般的に溶融池等に比べて小さいため、白飛び又は黒潰れにより、溶接画像に表示されないことがある。この場合、特徴に基づいて欠陥を検出できる可能性はあるが、欠陥を直接検出することは困難である。そして、この場合に、欠陥が存在しないと認定すると、誤った品質データが生成される。

【0052】

この２つ目の課題について、本実施形態では、第１検出結果を用いて、第２検出結果の適否を判定する。例えば、処理装置１０は、第２検出結果が不適切な場合には、その第２検出結果を採用しない。これにより、欠陥に関する判定結果の信頼性を向上できる。欠陥に関する判定結果を含む品質データの信頼性を向上できる。

【0053】

図７（ａ）、図７（ｂ）、図８（ａ）、及び図８（ｂ）は、第１モデルの学習に用いる画像を例示する模式図である。
第１モデルの学習について説明する。第１モデルは、複数の学習データを用いて学習される。それぞれの学習データは、入力画像及び教示画像を含む。

【0054】

図７（ａ）は、入力画像３００を表す。入力画像３００には、トーチ２１、溶融池１１１、ビード１１３などが写っている。図７（ｂ）は、教示画像４００を表す。教示画像４００は、溶融池１１１の外縁を示す線分４１１を含む。例えば、線分４１１における画素値は、（Ｒ，Ｇ，Ｂ）＝（２５５，０，０）に設定される。

【0055】

図７（ａ）の入力画像では、溶融池１１１内部には、欠陥が存在しない。このため、図７（ｂ）の教示画像では、欠陥が教示されていない。溶融池１１１内部に欠陥が存在する場合であっても、その欠陥の面積が溶融池の面積に比べて小さい場合、欠陥は教示されなくても良い。例えば、欠陥の面積が溶融池の面積の１０％未満のとき、欠陥は教示されない。小さな欠陥は、修復される可能性が高いためである。また、この例では、溶融池１１１外部の欠陥は、教示されていない。例えば、第１モデルは、溶融池１１１外部の欠陥を検出しないように学習される。

【0056】

第１モデルは、入力画像３００を入力データとし、教示画像４００を教示データとして用い、入力画像に基づいて教示画像を出力するように学習される。

【0057】

図８（ａ）及び図８（ｂ）は、別の教示画像を表す。図８（ａ）の教示画像４００ａは、溶融池の外縁を示す線分４１１ａ及び欠陥の外縁を示す線分４１２ａを含む。図８（ｂ）の教示画像４００ｂは、溶融池の外縁を示す線分４１１ｂ及び欠陥の外縁を示す線分４１２ｂを含む。図８（ｂ）の例では、複数の欠陥が存在する。このため、複数の線分４１２ｂが示されている。第１モデルは、図８（ａ）及び図８（ｂ）に示す教示画像を用いて学習される。

【0058】

（変形例）
処理装置１０は、欠陥に関する判定に基づいて、溶接装置２０へのフィードバックを実行して良い。溶接実行時に、処理装置１０は、溶接条件を取得する。第３判定において欠陥の存在が認定された場合、処理装置１０は、変更する溶接条件を選択する。処理装置１０は、選択した溶接条件を変更する。処理装置１０は、変更した溶接条件を、制御部２８に送信する。処理装置１０は、第３判定において欠陥の存在が認定されない場合、処理装置１０は、溶接条件を変更しない。処理装置１０は、元の溶接条件を、制御部２８に送信する。

【0059】

例えば、溶接は、熱源が第１方向に沿って移動して実行される。変更される溶接条件は、第１方向における熱源の速度、第１方向と垂直な第２方向における熱源の位置、及び熱源の出力からなる群より選択される少なくとも１つを含む。第１方向における熱源の速度の変更は、熱源の進行方向における速度の低下、熱源の進行の停止、又は進行方向とは反対方向への熱源の移動を含む。

【0060】

溶接がアーク溶接である場合、変更される溶接条件は、第１方向におけるトーチ２１の速度、第１方向と垂直な第２方向におけるトーチ２１の位置、トーチ２１への供給電流、トーチ２１への供給電圧、及びワイヤ２５の供給速度からなる群より選択される少なくとも１つを含む。

【0061】

溶接がレーザ溶接である場合、変更される溶接条件は、第１方向におけるレーザ光の速度、第１方向と垂直な第２方向におけるレーザ光の位置、及びレーザ光の強度からなる群より選択される少なくとも１つを含む。

【0062】

溶接条件の変更により、欠陥の位置へ溶融した金属が供給され易くなり、欠陥が補修される可能性を向上できる。

【0063】

処理装置１０は、欠陥が検出された位置を算出し、位置に応じて溶接条件を変更しても良い。例えば、処理装置１０は、熱源が欠陥に近づくように、溶接条件を変更する。変更された溶接条件に基づき、熱源は、反対方向又は第２方向へ移動する。処理装置１０は、前記距離が長いほど、熱源の出力を大きくしても良い。

【0064】

これにより、欠陥が補修される可能性をさらに向上できる。

【0065】

溶接条件が変更された後、処理装置１０は、欠陥が補修されたか判定されても良い。例えば、変更された溶接条件に基づく溶接の実行後に、第１画像が取得される。処理装置１０は、第１画像に対する第１モデルの出力結果に基づいて判定処理を実行し、算出された位置で、欠陥の存在が再度認定されるか判定する。算出された位置で欠陥の存在が認定されない場合、処理装置１０は、欠陥が補修されたと判定される。欠陥が補修された場合、処理装置１０は、撮像位置の品質を、「可」（第４品質）と判定する。欠陥が補修されない場合、処理装置１０は、欠陥の位置に関する品質を、「不良」と判定する。

【0066】

処理装置１０は、欠陥の存在を認定した場合に、その欠陥が補修可能か判定しても良い。欠陥が大きすぎる場合は、溶接条件の変更では、補修できない可能性が高い。補修できないにも拘わらず溶接条件が変更されると、他の品質の良い箇所にも、悪影響を与える可能性がある。また、溶接に要する時間が無用に増加する。

【0067】

例えば、欠陥の補修の可否は、第２特徴のサイズに基づいて判定される。第２特徴のサイズは、第２特徴の第１方向における第１長さ及び第２特徴の第２方向における第２長さの少なくとも一方に基づいて決定される。例えば、第１長さ又は第２長さが、第２特徴のサイズとして用いられる。第１長さと第２長さのうち、より大きな値が第２特徴のサイズとして用いられても良い。第２特徴のサイズは、第１長さと第２長さの積で表されても良い。欠陥が円形状又は楕円形状である場合、第２特徴のサイズは、第１長さの０．５倍と、第２長さの０．５倍と、πと、の積で表されても良い。

【0068】

処理装置１０は、第２特徴のサイズを予め設定された第４閾値と比較する。第２特徴のサイズが第４閾値未満の場合、処理装置１０は、溶接条件を変更する。第２特徴のサイズが第４閾値以上である場合、処理装置１０は、欠陥が補修不可能であると判定する。処理装置１０は、溶接条件を変更せずに、欠陥が認定される前と同じ溶接条件で溶接を継続する。

【0069】

図９は、実施形態の変形例に係る処理装置による処理を表すフローチャートである。
処理装置１０は、図６に表したフローチャートと同様に、ステップＳ１～Ｓ９を実行する。ステップＳ８においてカウント回数が第３閾値以上の場合、処理装置１０は、欠陥が補修可能か判定する（ステップＳ２１）。欠陥が補修不可能な場合、処理装置１０は、溶接条件を変更せず、品質を「不良」と判定する（ステップＳ９）。欠陥が補修可能な場合、処理装置１０は、溶接条件を変更する（ステップＳ２２）。これにより、変更された溶接条件に基づく溶接が、溶接装置２０によって実行される。

【0070】

処理装置１０は、認定された欠陥が補修されたか判定する（ステップＳ２３）。欠陥が補修された場合、処理装置１０は、品質を「可」と判定する（ステップＳ２４）。欠陥が補修されない場合、処理装置１０は、品質を「不良」と判定する（ステップＳ９）。

【0071】

変形例によれば、溶接条件が変更されることで、欠陥が補修される可能性を向上できる。これにより、作製される接合体の品質を向上できる。

【0072】

以上の例では、トーチ２１がアーム２２によって保持される例を説明した。トーチ２１は、溶接を実行する作業者によって把持されても良い。この場合、処理装置１０は、溶接条件の変更を示すデータを、作業者に向けて出力しても良い。

【0073】

図１０は、実施形態に係る処理装置を備えた別の溶接システムの構成を例示する模式図である。
図１０に表した溶接システム１ａは、処理装置１０、トーチ２１、及び制御装置４０を含む。トーチ２１は、電極２１ａ、撮像部２１ｂ、位置センサ２１ｃ、傾きセンサ２１ｄ、及びガス供給口２１ｅを含む。

【0074】

ユーザは、トーチ２１を把持し、溶接する。撮像部２１ｂは、溶接時に溶融池を撮像する。位置センサ２１ｃは、トーチ２１の位置を検出する。傾きセンサ２１ｄは、トーチ２１の傾きを検出する。例えば、位置センサ２１ｃは、光学式位置センサ又は超音波位置センサである。傾きセンサ２１ｄは、ジャイロセンサ又は加速度センサである。ガス供給口２１ｅからは、電極２１ａの先端に向けて不活性ガスが噴射される。

【0075】

制御装置４０は、図１に表した溶接装置２０の電力供給部２３、ガス供給部２４、制御部２８、及び記憶装置３０として機能する。また、制御装置４０は、処理装置１０及びトーチ２１に電力を供給する電源を含む。この例では、制御装置４０は、表示装置４１をさらに含む。

【0076】

処理装置１０は、撮像部２１ｂによって撮像された第１画像を用いて、各処理を実行する。処理装置１０は、処理によって得られたデータを制御装置４０に送信する。制御装置４０は、データを表示装置４１に表示させる。

【0077】

図１１（ａ）～図１１（ｃ）は、実施形態の変形例に係る処理装置による表示例を表す模式図である。
図１１（ａ）は、第２判定で欠陥が存在しないと判定されたときの表示例を表す。画面５００には、欠陥に関する判定結果５０１、時刻５０２、トーチ２１の位置５０３、トーチ２１の傾き５０４、溶接条件５０５、欠陥に関するデータ５０６、及びユーザへの指示５０７が表示されている。

【0078】

図１１（ｂ）及び図１１（ｃ）は、第３判定で欠陥の存在が認定されたときの表示例を表す。画面５００ａ及び５００ｂにおいて、判定結果５０１は、欠陥の検出及び欠陥のサイズを示している。指示５０７では、欠陥の補修がユーザへ指示されている。また、画面５００ａ及び５００ｂでは、欠陥の位置５０８がさらに表示されている。

【0079】

処理装置１０は、第２特徴のサイズに基づいて、欠陥のサイズを判定しても良い。処理装置１０は、判定した欠陥のサイズを図１１（ｂ）及び図１１（ｃ）に表したように出力しても良い。例えば、処理装置１０は、第２特徴のサイズを、予め設定された１つ以上の閾値と比較し、欠陥のサイズを判定する。

【0080】

処理装置１０は、欠陥の存在が認定されると、欠陥の補修の指示を制御装置４０へ送信するとともに、溶接条件を変更する。処理装置１０は、位置センサ２１ｃ及び傾きセンサ２１ｄによる検出結果に基づいてトーチ２１の先端の位置を算出しても良い。処理装置１０は、トーチ２１の先端の位置が欠陥の位置へ近づいたときに、溶接条件を変更しても良い。制御装置４０は、処理装置１０による判定結果に基づいて、溶接条件を自動的に変更する。

【0081】

画面５００ａ及び５００ｂには、ボタン５０９が表示されている。例えば、表示装置４１は、タッチパネルである。ユーザは、欠陥の補修が完了すると、ボタン５０９をタッチする。ユーザは、マウス等でポインタを操作し、ボタン５０９をクリックしても良い。

【0082】

欠陥のサイズに応じて、ユーザの注意を喚起するアイコン５１０が表示されても良い。この例では、欠陥のサイズが大きいときに、アイコン５１０が表示される。

【0083】

以上では、主にアーク溶接に関する例を説明した。実施形態に係る発明は、レーザ溶接についても同様に適用可能である。レーザ溶接時に撮像された画像にも、同様に、溶融池及び欠陥が撮像される。第１モデルは、レーザ溶接時の画像から、溶融池及び欠陥を検出するように学習される。処理装置１０は、第１モデルの出力結果を用いて、第１～第３判定を実行する。

【0084】

以上では、第１モデルが、溶融池を検出する例を説明した。第１モデルは、他の溶接要素を検出しても良い。溶接要素は、溶接時に存在する、溶接に特有のものである。溶接要素は、溶融池、開先、ワイヤ、トーチ、及びビードからなる群より選択される１つ以上である。第１モデルが溶融池以外の溶接要素を検出する場合でも、当該溶接要素の検出結果である第１特徴を用いて、上述した処理を実行できる。

【0085】

好ましくは、第１モデルは、溶融池を検出する。例えば、ワイヤ及びトーチは、欠陥と離れた位置に写ることがある。溶接画像中で、放電により欠陥が白飛びしているときでも、ワイヤ又はトーチは、鮮明に写ることがある。この場合、欠陥が無いと判定すると、誤った品質が記録される。欠陥は、溶融池中で発生するため、溶融池が不鮮明であるとき、欠陥も不鮮明である可能性が高い。溶融池を検出することで、品質をより精度良く判定できる。品質データの信頼性を向上できる。

【0086】

図１２は、ハードウェア構成を表す模式図である。
処理装置１０は、図１２に表したハードウェア構成により実現可能である。図１２に表したコンピュータ９０は、ＣＰＵ９１、ＲＯＭ９２、ＲＡＭ９３、記憶装置９４、入力インタフェース９５、出力インタフェース９６、及び通信インタフェース９７を含む。

【0087】

ＲＯＭ９２は、コンピュータ９０の動作を制御するプログラムを格納している。ＲＯＭ９２には、上述した各処理をコンピュータ９０に実現させるために必要なプログラムが格納されている。ＲＡＭ９３は、ＲＯＭ９２に格納されたプログラムが展開される記憶領域として機能する。

【0088】

ＣＰＵ９１は、処理回路を含む。ＣＰＵ９１は、ＲＡＭ９３をワークメモリとして、ＲＯＭ９２又は記憶装置９４の少なくともいずれかに記憶されたプログラムを実行する。プログラムの実行中、ＣＰＵ９１は、システムバス９８を介して各構成を制御し、種々の処理を実行する。

【0089】

記憶装置９４は、プログラムの実行に必要なデータや、プログラムの実行によって得られたデータを記憶する。

【0090】

入力インタフェース（Ｉ／Ｆ）９５は、コンピュータ９０と入力装置９５ａとを接続する。入力Ｉ／Ｆ９５は、例えば、ＵＳＢ等のシリアルバスインタフェースである。ＣＰＵ９１は、入力Ｉ／Ｆ９５を介して、入力装置９５ａから各種データを読み込むことができる。

【0091】

出力インタフェース（Ｉ／Ｆ）９６は、コンピュータ９０と出力装置９６ａとを接続する。出力Ｉ／Ｆ９６は、例えば、Digital Visual Interface（ＤＶＩ）やHigh-Definition Multimedia Interface（ＨＤＭＩ：登録商標）等の映像出力インタフェースである。ＣＰＵ９１は、出力Ｉ／Ｆ９６を介して、出力装置９６ａにデータを送信し、出力装置９６ａに画像を表示させることができる。

【0092】

通信インタフェース（Ｉ／Ｆ）９７は、コンピュータ９０外部のサーバ９７ａと、コンピュータ９０と、を接続する。通信Ｉ／Ｆ９７は、例えば、ＬＡＮカード等のネットワークカードである。ＣＰＵ９１は、通信Ｉ／Ｆ９７を介して、サーバ９７ａから各種データを読み込むことができる。カメラ９９は、溶接時の溶融池及び欠陥を撮像し、画像をサーバ９７ａに保存する。

【0093】

記憶装置９４は、Hard Disk Drive（ＨＤＤ）及びSolid State Drive（ＳＳＤ）から選択される１つ以上を含む。入力装置９５ａは、マウス、キーボード、マイク（音声入力）、及びタッチパッドから選択される１つ以上を含む。出力装置９６ａは、モニタ及びプロジェクタから選択される１つ以上を含む。タッチパネルのように、入力装置９５ａと出力装置９６ａの両方の機能を備えた機器が用いられても良い。

【0094】

コンピュータ９０は、処理装置１０として機能する。記憶装置９４及びサーバ９７ａは、記憶装置３０として機能する。カメラ９９は、溶接装置２０に設けられた撮像部２６として機能する。出力装置９６ａは、表示装置４１として機能する。

【0095】

以上で説明した、処理装置、溶接システム、又は処理方法を用いることで、欠陥検出に関するユーザの利便性を向上し、且つ欠陥に関する判定結果の信頼性を向上できる。また、コンピュータを、処理装置として動作させるためのプログラムを用いることで、同様の効果を得ることができる。

【0096】

上記の種々のデータの処理は、コンピュータに実行させることのできるプログラムとして、磁気ディスク（フレキシブルディスク及びハードディスクなど）、光ディスク（ＣＤ－ＲＯＭ、ＣＤ－Ｒ、ＣＤ－ＲＷ、ＤＶＤ－ＲＯＭ、ＤＶＤ±Ｒ、ＤＶＤ±ＲＷなど）、半導体メモリ、又は、他の非一時的なコンピュータで読取可能な記録媒体（non-transitory computer-readable storage medium）に記録されても良い。

【0097】

例えば、記録媒体に記録された情報は、コンピュータ（または組み込みシステム）により読み出されることが可能である。記録媒体において、記録形式（記憶形式）は任意である。例えば、コンピュータは、記録媒体からプログラムを読み出し、このプログラムに基づいてプログラムに記述されている指示をＣＰＵで実行させる。コンピュータにおいて、プログラムの取得（または読み出し）は、ネットワークを通じて行われても良い。

【0098】

以上、本発明のいくつかの実施形態を例示したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更などを行うことができる。これら実施形態やその変形例は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。また、前述の各実施形態は、相互に組み合わせて実施することができる。

【符号の説明】

【0099】

１，１ａ：溶接システム、 １０：処理装置、 ２０：溶接装置、 ２１：トーチ、 ２１ａ：電極、 ２２：アーム、 ２３：電力供給部、 ２４：ガス供給部、 ２５：ワイヤ、 ２６：撮像部、 ２７：照明部、 ２８：制御部、 ３０：記憶装置、 ９０：コンピュータ、 ９１：ＣＰＵ、 ９２：ＲＯＭ、 ９３：ＲＡＭ、 ９４：記憶装置、 ９５：入力インタフェース、 ９５ａ：入力装置、 ９６：出力インタフェース、 ９６ａ：出力装置、 ９７：通信インタフェース、 ９７ａ：サーバ、 ９８：システムバス、 ９９：カメラ、 １００，１００ａ：画像、 １０１：第１部材、 １０２：第２部材、 １１１：溶融池、 １１２：欠陥、 １１３：ビード、 ２００，２００ａ～２００ｅ：出力結果、 ２１１，２１１ａ～２１１ｅ：第１特徴、 ２１２，２１２ａ，２１２ｅ：第２特徴

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】