IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社IHIの特許一覧

特開2023-87231溶接施工判定方法及び溶接施工判定装置
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023087231
(43)【公開日】2023-06-23
(54)【発明の名称】溶接施工判定方法及び溶接施工判定装置
(51)【国際特許分類】
   B23K 31/00 20060101AFI20230616BHJP
   B23K 9/095 20060101ALI20230616BHJP
【FI】
B23K31/00 Z
B23K9/095 515A
B23K31/00 N
【審査請求】未請求
【請求項の数】12
【出願形態】OL
(21)【出願番号】P 2021201503
(22)【出願日】2021-12-13
【新規性喪失の例外の表示】特許法第30条第2項適用申請有り 令和2年12月15日 溶接会館にて開催された2020年度第3回(通算第295回)化学機械溶接研究委員会にて発表 令和3年3月10日 ウェブサイトにおける溶接学会2021年度春季全国大会の講演概要にて掲載 令和3年4月14日 オンライン開催された溶接学会2021年度春季全国大会にて発表
(71)【出願人】
【識別番号】000000099
【氏名又は名称】株式会社IHI
(74)【代理人】
【識別番号】100083806
【弁理士】
【氏名又は名称】三好 秀和
(74)【代理人】
【識別番号】100101247
【弁理士】
【氏名又は名称】高橋 俊一
(74)【代理人】
【識別番号】100095500
【弁理士】
【氏名又は名称】伊藤 正和
(74)【代理人】
【識別番号】100098327
【弁理士】
【氏名又は名称】高松 俊雄
(72)【発明者】
【氏名】野々村 将一
(72)【発明者】
【氏名】井上 洋輝
(72)【発明者】
【氏名】猪瀬 幸太郎
(57)【要約】
【課題】 溶接品質の判定又は施工者の技能の評価の精度を向上させる溶接施工判定方法を提供する。
【解決手段】 溶接施工判定方法は、溶接施工中に溶融池Hを含む溶接部を撮影する工程S200と、溶接部の撮影により得られた溶接画像Iに基づいて、アークH又は溶融池Hの少なくともいずれかの形状に関する一次特徴量を特定する工程S104と、一次特徴量を変数とする算出式から無次元量としての二次特徴量を特定する工程S105と、二次特徴量に基づいて、溶接品質を判定する工程又は施工者の技能を評価する工程S107とを有する。
【選択図】 図3
【特許請求の範囲】
【請求項1】
溶接施工中に溶融池を含む溶接部を撮影する工程と、
前記溶接部の撮影により得られた溶接画像に基づいて、アーク又は前記溶融池の少なくともいずれかの形状に関する一次特徴量を特定する工程と、
前記一次特徴量を変数とする算出式から無次元量としての二次特徴量を特定する工程と、
前記二次特徴量に基づいて、溶接品質を判定する工程又は施工者の技能を評価する工程と、
を有する、溶接施工判定方法。
【請求項2】
前記アークに対応したアーク領域、又は、前記溶融池に対応した溶融池領域を、前記溶接画像からマスク画像として抽出する工程を有し、
前記一次特徴量は、前記アーク領域又は前記溶融池領域の形状に基づいて抽出された、複数の特徴点、前記アーク領域の外接矩形、又は、前記溶融池領域の外接矩形から特定される、請求項1に記載の溶接施工判定方法。
【請求項3】
前記溶融池領域は、前記アーク領域の重心から前記溶接画像の画像端まで延びる前記溶融池の複数の探索線上の輝度値から正解の溶融池端点位置を学習して判断させることで前記溶融池の端点を予測する機械学習により抽出される、請求項2に記載の溶接施工判定方法。
【請求項4】
複数の前記特徴点の一つは、前記マスク画像の窪みとして抽出された、前記アークを形成するワイヤの先端点に対応する、請求項2又は3に記載の溶接施工判定方法。
【請求項5】
複数の前記特徴点の一つは、前記アーク領域の重心に対応する、請求項2又は3に記載の溶接施工判定方法。
【請求項6】
前記二次特徴量は、溶接施工対象ごと、前記溶接品質の判定で着目する項目又は前記技能の評価で着目する項目ごと、又は、各々異なる撮影位置及び撮影方向から前記溶接部を撮影することで得られた複数の前記溶接画像ごとに設定される、請求項1~5のいずれか一項に記載の溶接施工判定方法。
【請求項7】
前記一次特徴量は、二つの前記特徴点を通る直線であり、
前記二次特徴量は、前記直線の傾きである、請求項2~5のいずれか一項に記載の溶接施工判定方法。
【請求項8】
前記一次特徴量は、二つの前記特徴点を結んだ線分であり、
前記二次特徴量は、二つの前記特徴点の互いに異なる組み合わせで形成された一の前記線分の長さと他の前記線分の長さとの比である、請求項2~5のいずれか一項に記載の溶接施工判定方法。
【請求項9】
前記一次特徴量は、前記アーク領域の前記外接矩形の各辺の長さであり、
前記二次特徴量は、一の撮影位置及び撮影方向から撮影された前記溶接画像に基づく前記外接矩形の面積と、他の撮影位置及び撮影方向から撮影された前記溶接画像に基づく前記外接矩形の面積との比である、請求項2~5のいずれか一項に記載の溶接施工判定方法。
【請求項10】
前記溶接品質又は前記技能は、前記二次特徴量の数値に基づいて予め規定された前記溶接品質の判定又は前記技能の評価の良否に係る基準情報を基準として判定又は評価される、請求項1~9のいずれか一項に記載の溶接施工判定方法。
【請求項11】
溶接施工中に溶融池を含む溶接部を撮影する撮影装置と、
アーク又は前記溶融池の少なくともいずれかの形状に関する一次特徴量を変数とする無次元量としての二次特徴量の算出式を格納する記憶部と、
前記撮影装置から取得した溶接画像に基づいて前記一次特徴量を特定し、当該一次特徴量と、前記記憶部から取得した前記算出式とに基づいて前記二次特徴量を特定し、当該二次特徴量に基づいて溶接品質を判定する又は施工者の技能を評価する制御演算部と、
を備える、溶接施工判定装置。
【請求項12】
溶接施工対象、及び、前記溶接品質の判定で着目する項目又は前記技能の評価で着目する項目を入力する入力部を備え、
前記撮影装置は、撮影位置及び撮影方向が各々異なるように複数あり、
前記制御演算部は、前記入力部を介して入力された、前記溶接施工対象ごと、又は、前記溶接品質の判定で着目する前記項目又は前記技能の評価で着目する前記項目ごとに、前記一次特徴量の特定に用いられる前記溶接画像を取得する前記撮影装置を、複数の前記撮影装置から選択する、請求項11に記載の溶接施工判定装置。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、溶接施工判定方法及び溶接施工判定装置に関する。
【背景技術】
【0002】
従来、TIG溶接又はMAG溶接等のアーク溶接による溶接施工に関して、溶接品質又は施工者の技能を判定・評価し、自動溶接機では適応制御に応用させたり、手溶接では技能を数値化させたりする方法等がある。特許文献1は、溶接施工中に視覚センサで撮影された溶融池とその近傍の画像から溶融池の左端点及び右端点を抽出することでルートギャップの変化量を算出し、当該変化量を溶接トーチの揺動幅又は溶接速度に応用する溶接制御方法に関する技術を開示している。一方、特許文献2は、溶接施工中に監視カメラで撮影された溶融池周辺の画像から抽出された特徴量に基づいて施工者の技能を評価する手溶接作業分析装置に関する技術を開示している。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2006-281282号公報
【特許文献2】特開2006-281270号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献1及び特許文献2に開示されている方法等では、溶接施工中に撮影された溶融池及びその近傍の画像から抽出された特徴量に基づいて、溶接機を適応制御させたり、施工者の技能を評価したりする。しかし、溶接現象は、無数かつ影響度の異なる因子が複雑に連成することで支配される。ここで、特許文献1に開示されている技術では、ルートギャップの変化量が溶接品質の良否判断の基準となる。ルートギャップは寸法値として表されるから、溶接施工ごとに何らかの因子が変化したとすると、互いに同じ溶融池形状であったとしても、その形状に対応したルートギャップの変化量が変化するおそれがある。したがって、ルートギャップの変化量が自動溶接機の溶接トーチの揺動幅等へ適切に反映されないこともあり得る。一方、特許文献2に開示されている技術では、監視カメラが手溶接トーチに一体的に取り付けられるため、撮影される画像が施工者の挙動に大きく影響を受けるという性質上、技能の良否判断の基準を一定化させて以後の判定・評価に反映させるには難がある。
【0005】
そこで、本開示は、溶接品質の判定又は施工者の技能の評価の精度を向上させる溶接施工判定方法及び溶接施工判定装置を提供することを目的とする。
【課題を解決するための手段】
【0006】
本開示の一態様に係る溶接施工判定方法は、溶接施工中に溶融池を含む溶接部を撮影する工程と、溶接部の撮影により得られた溶接画像に基づいて、アーク又は溶融池の少なくともいずれかの形状に関する一次特徴量を特定する工程と、一次特徴量を変数とする算出式から無次元量としての二次特徴量を特定する工程と、二次特徴量に基づいて、溶接品質を判定する工程又は施工者の技能を評価する工程と、を有する。
【0007】
上記の溶接施工判定方法は、アークに対応したアーク領域、又は、溶融池に対応した溶融池領域を、溶接画像からマスク画像として抽出する工程を有し、一次特徴量は、アーク領域又は溶融池領域の形状に基づいて抽出された、複数の特徴点、アーク領域の外接矩形、又は、溶融池領域の外接矩形から特定されてもよい。溶融池領域は、アーク領域の重心から溶接画像の画像端まで延びる溶融池の複数の探索線上の輝度値から正解の溶融池端点位置を学習して判断させることで溶融池の端点を予測する機械学習により抽出されてもよい。複数の特徴点の一つは、マスク画像の窪みとして抽出された、アークを形成するワイヤの先端点に対応してもよい。複数の特徴点の一つは、アーク領域の重心に対応してもよい。二次特徴量は、溶接施工対象ごと、溶接品質の判定で着目する項目又は技能の評価で着目する項目ごと、又は、各々異なる撮影位置及び撮影方向から溶接部を撮影することで得られた複数の溶接画像ごとに設定されてもよい。一次特徴量は、二つの特徴点を通る直線であり、二次特徴量は、直線の傾きであってもよい。一次特徴量は、二つの特徴点を結んだ線分であり、二次特徴量は、二つの特徴点の互いに異なる組み合わせで形成された一の線分の長さと他の線分の長さとの比であってもよい。一次特徴量は、アーク領域の外接矩形の各辺の長さであり、二次特徴量は、一の撮影位置及び撮影方向から撮影された溶接画像に基づく外接矩形の面積と、他の撮影位置及び撮影方向から撮影された溶接画像に基づく外接矩形の面積との比であってもよい。また、溶接品質又は技能は、二次特徴量の数値に基づいて予め規定された溶接品質の判定又は技能の評価の良否に係る基準情報を基準として判定又は評価されてもよい。
【0008】
また、本開示の他の態様に係る溶接施工判定装置は、溶接施工中に溶融池を含む溶接部を撮影する撮影装置と、アーク又は溶融池の少なくともいずれかの形状に関する一次特徴量を変数とする無次元量としての二次特徴量の算出式を格納する記憶部と、撮影装置から取得した溶接画像に基づいて一次特徴量を特定し、一次特徴量と、記憶部から取得した算出式とに基づいて二次特徴量を特定し、二次特徴量に基づいて溶接品質を判定する又は施工者の技能を評価する制御演算部と、を備える。
【0009】
上記の溶接施工判定装置は、溶接施工対象、及び、溶接品質の判定で着目する項目又は技能の評価で着目する項目を入力する入力部を備え、撮影装置は、撮影位置及び撮影方向が各々異なるように複数あり、制御演算部は、入力部を介して入力された、溶接施工対象ごと、又は、溶接品質の判定で着目する項目又は技能の評価で着目する項目ごとに、一次特徴量の特定に用いられる溶接画像を撮影する撮影装置を、複数の撮影装置から選択してもよい。
【発明の効果】
【0010】
本開示によれば、溶接品質の判定又は施工者の技能の評価の精度を向上させる溶接施工判定方法及び溶接施工判定装置を提供することができる。
【図面の簡単な説明】
【0011】
図1】一実施形態に係る溶接施工判定装置の概略構成を示すブロック図である。
図2A】第1カメラの設置位置及び撮影方向を示す斜視図である。
図2B】第2カメラの設置位置及び撮影方向を示す斜視図である。
図2C】第3カメラの設置位置及び撮影方向を示す斜視図である。
図2D】第4カメラの設置位置及び撮影方向を示す斜視図である。
図3】一実施形態に係る溶接施工判定工程を示すフローチャートである。
図4】一次特徴量特定工程を示すフローチャートである。
図5A】溶接画像入力工程で取得された溶接画像を示す図である。
図5B】アーク領域と溶融池領域との各熱量領域を表示するマスク画像を示す図である。
図5C図5Bのマスク画像に熱量領域ごとの外接矩形を付加した画像を示す図である。
図5D】溶融池領域に関する特徴点の一例を示す画像を示す図である。
図6A】第1カメラで撮影された溶接画像に複数の特徴点がプロットされた図である。
図6B図6Aに示す各特徴点の抽出条件を説明するためのグラフである。
図7A】第2カメラで撮影された溶接画像に複数の特徴点がプロットされた図である。
図7B図7Aに示す各特徴点の抽出条件を説明するためのグラフである。
図8A】第3カメラで撮影された溶接画像に複数の特徴点がプロットされた図である。
図8B図8Aに示す各特徴点の抽出条件を説明するためのグラフである。
図9A】第4カメラで撮影された溶接画像に複数の特徴点がプロットされた図である。
図9B図9Aに示す各特徴点の抽出条件を説明するためのグラフである。
図10A】二次特徴量Iに関する一次特徴量等が示された溶接画像を示す図である。
図10B】入熱に対する二次特徴量Iを示すグラフである。
図11A】二次特徴量IIに関する一次特徴量等が示された溶接画像を示す図である。
図11B】入熱に対する二次特徴量IIを示すグラフである。
図12A】二次特徴量IIIに関する一次特徴量等が示された溶接画像を示す図である。
図12B】入熱に対する二次特徴量IIIを示すグラフである。
図13A】二次特徴量IVに関する一次特徴量等が示された溶接画像を示す図である。
図13B】第1の標準条件下での溶接速度に対する二次特徴量IVを示すグラフである。
図13C】第2の標準条件下での溶接速度に対する二次特徴量IVを示すグラフである。
図14】二次特徴量Vに関する一次特徴量等が示された溶接画像を示す図である。
図15】二次特徴量VIに関する一次特徴量等が示された溶接画像を示す図である。
図16A】二次特徴量VIIに関する一次特徴量等が示された溶接画像を示す図である。
図16B】二次特徴量VIIに関する一次特徴量等が示された溶接画像を示す図である。
図17A】二次特徴量XIIに関する複数の特徴点が溶接画像にプロットされた図である。
図17B図17Aに示す各特徴点の抽出条件を説明するためのグラフである。
図18】二次特徴量V~二次特徴量VIIに基づく判定・評価結果を示す表である。
図19】二次特徴量XIIに基づく判定・評価結果を示す表である。
【発明を実施するための形態】
【0012】
以下、いくつかの例示的な実施形態について図面を参照して説明する。ここで、各実施形態に示す寸法、材料、その他、具体的な数値等は例示にすぎず、特に断る場合を除き、本開示を限定するものではない。また、実質的に同一の機能及び構成を有する要素については、同一の符号を付することにより重複説明を省略し、本開示に直接関係のない要素については図示を省略する。
【0013】
図1は、一実施形態に係る溶接施工判定装置1の概略構成を示すブロック図である。溶接施工判定装置1は、溶接施工中の溶融池を撮影して得られた画像に基づいて、溶接品質を判定し、又は、施工者の技能を評価する。
【0014】
溶接施工判定装置1において判定又は評価が行われる溶接は、自動溶接機による溶接であってもよいし、又は、施工者による手溶接であってもよい。ここで、手溶接には、いわゆる半自動溶接を含む。判定又は評価の対象とし得る溶接方式は、例えば、MAG溶接、MIG溶接又はTIG溶接等のアーク溶接である。本実施形態では、溶接施工判定装置1は、一例としてMAG溶接方式を採用した自動溶接機又は半自動溶接機としての溶接機80が用いられて施工された溶接に関する品質の判定又は技能の評価を実施する。溶接機80は、溶接トーチ81と、溶接トーチ81にワイヤ82を自動で送給する不図示の送給装置とを含む(図2A等参照)。ワイヤ82は、例えばソリッドワイヤであり、溶接トーチ81の先端部から溶接施工対象90(図2A等参照)に向けて供給される。ワイヤ82と、被溶接部材(母材)としての溶接施工対象90との間に発生したアークにより、ワイヤ82と溶接施工対象90とを溶融させることで、溶接が進行する。溶接トーチ81は、溶接施工対象90上の溶接部に向けてシールドガスを供給する。シールドガスは、例えば炭酸ガス等の活性ガスであり、大気との間でアーク及び溶融池の周囲を遮蔽する。
【0015】
溶接施工対象90は、製品自体、又は、製品の一部を構成する部材であってもよい。又は、溶接施工対象90は、例えば、日本産業規格(JIS)の技能認定試験において採用されるテストピースであってもよい。また、溶接施工対象90の形状は、例えば、突合せ溶接により互いに接合される平板である。ただし、溶接施工により作製された部材の最終形状は、平板状に限らず、管状であってもよい。
【0016】
溶接施工判定装置1は、撮影装置10と、制御演算部11と、記憶部12と、入力部13と、出力部14とを備える。
【0017】
撮影装置10は、溶接施工対象90が溶接機80によって溶接施工されている間に、溶接施工対象90に形成される溶融池を含む溶接部を撮影する。撮影装置10は、例えばCCDカメラである。撮影装置10は、それぞれ異なる視点から溶接部を撮影するために、複数存在する。本実施形態では、一例として、第1カメラ10a、第2カメラ10b、第3カメラ10c及び第4カメラ10dの計4つの撮影装置10が採用される。以下、撮影装置10が撮影した画像を「溶接画像」という。
【0018】
図2A図2Dは、溶接施工対象90における溶融池に対する各々の撮影装置10の設置位置及び撮影方向を例示する斜視図である。図2A図2Dには、板状の溶接施工対象90と、溶接機80の溶接トーチ81と、溶接トーチ81から溶接施工対象90における溶接部に対して供給されるワイヤ82とが示されている。また、図2A図2Dには、溶接方向Dが白抜きの矢印で示されている。
【0019】
ここで、以下の各図で参照するXY座標軸を設定する。本実施形態では、板状の溶接施工対象90の主平面と平行となる平面として、XY平面を想定する。X軸は、溶接施工対象90に設けられる直線状のルートの延伸方向に沿う。つまり、本実施形態における溶接方向Dは、X軸に概ね沿う方向である。Y軸は、X軸に対して垂直である。
【0020】
図2Aは、第1カメラ10aの設置位置及び撮影方向を示す図である。第1カメラ10aの撮影方向は、溶接部を基準として、溶接方向Dの左側面から水平角θ=45°、かつ、鉛直角θ=45°となる方向である。なお、図2Aでは、溶接方向Dの左側面で、かつ、水平角θ=0°となる位置に破線が表示されている。そして、第1カメラ10aは、当該撮影方向の条件を満たしつつ、撮影距離L=250mmとなる位置に設置される。
【0021】
図2Bは、第2カメラ10bの設置位置及び撮影方向を示す図である。第2カメラ10bの撮影方向は、溶接部を基準として、溶接方向Dの左側面で、鉛直角θ=45°となる方向である。そして、第2カメラ10bは、当該撮影方向の条件を満たしつつ、撮影距離L=250mmとなる位置に設置される。
【0022】
図2Cは、第3カメラ10cの設置位置及び撮影方向を示す図である。第3カメラ10cの撮影方向は、溶接部を基準として、溶接方向Dの正面で、鉛直角θ=45°となる方向である。そして、第3カメラ10cは、当該撮影方向の条件を満たしつつ、撮影距離L=250mmとなる位置に設置される。
【0023】
図2Dは、第4カメラ10dの設置位置及び撮影方向を示す図である。第4カメラ10dの撮影方向は、溶接部を基準として、溶接方向Dの正面で、鉛直角θ=15°となる方向である。そして、第4カメラ10dは、当該撮影方向の条件を満たしつつ、撮影距離L=250mmとなる位置に設置される。
【0024】
なお、溶接施工判定装置1による判定又は評価に際して、溶接施工対象90、評価対象又は標準条件が特定のものに限定されている場合には、必ずしも、4つの撮影装置10のすべてが利用されるわけではない。したがって、予め利用が想定されていない撮影装置10は、溶接施工判定装置1に備えられなくてもよい。一方、予め利用が想定されていない撮影装置10であっても、例えば、その他の撮影装置10のいずれかに撮影上の不具合が発生した場合を想定し、予備として溶接施工判定装置1に備えておくこともあり得る。この場合、不具合が発生した撮影装置10から得られるはずの溶接画像に基づく特徴量を、予備の撮影装置10から得られた溶接画像に基づく特徴量で補完することができる。
【0025】
制御演算部11は、例えばCPU(中央演算処理装置)であり、本実施形態に係る溶接施工判定方法としての溶接施工判定工程に係るプログラムを実行する。制御演算部11は、すべての撮影装置10と、記憶部12と、入力部13とに、電気的に接続されている。また、溶接施工判定工程が実行されることで自動溶接機の溶接品質を判定する場合には、判定結果に基づいて自動溶接機の施工条件をリアルタイムで修正するために、制御演算部11は、溶接機80と電気的に接続されていてもよい。又は、溶接施工判定工程が実行されることで施工者の技能を評価する場合には、施工者、又は、溶接施工判定装置1を操作する操作者等に対して評価結果を示すために、制御演算部11は、出力部14と電気的に接続されていてもよい。
【0026】
記憶部12は、例えば、半導体メモリー又はHDD(ハードディスクドライブ)等の磁気記憶装置であり、プログラム及びデータベース等を格納(保存)する。制御演算部11は、記憶部12に保存されているプログラム及びデータを適宜読み出すことができる。また、制御演算部11は、記憶部12に対して新たなデータを適宜書き込むことができる。
【0027】
また、記憶部12は、プログラム格納部15と、データベース格納部16とを有する。プログラム格納部15は、少なくとも、溶接施工判定工程の一連の制御に係る制御プログラムと、一次特徴量特定工程S104(図3参照)で実行される、機械学習プログラムを含む画像処理プログラムとを格納する。データベース格納部16は、少なくとも、溶接施工判定工程にて照会される各種のデータベースを格納する。プログラム格納部15に格納され得るデータベースは、標準条件取得工程S101(図3参照)で照会される標準条件データベースと、基準情報取得工程S106(図3参照)で照会される基準情報を格納する基準情報データベースとである。なお、標準条件データベース及び基準情報データベースの詳細については、標準条件取得工程S101又は基準情報取得工程S106に関する説明と併せて後述する。更に、記憶部12は、撮影装置10により撮影された溶接画像を保存する。
【0028】
入力部13は、例えば、キーボード又はタッチパネル等の操作入力装置、情報を外部から受信する受信装置、又は、メモリーカード等の可搬性のメモリー装置から情報を読み込む入力ポートである。操作者は、操作入力装置としての入力部13から直接的に各種情報を入力することができる。又は、制御演算部11は、各種情報を、受信装置としての入力部13からLAN又はインターネット等の通信ネットワークを介して外部のサーバー等から受信させることができる。更には、制御演算部11は、各種情報を、入力ポートとしての入力部13を介してメモリー装置から転送させることができる。入力部13によって入力され得る情報は、初期条件設定工程S100(図3参照)にて設定される初期条件である。なお、初期条件の詳細については、初期条件設定工程S100に関する説明と併せて後述する。
【0029】
出力部14は、モニター等の表示部、情報を外部に送信する送信装置、又は、メモリー装置に情報を書き込む出力ポートなどである。制御演算部11は、溶接施工判定工程によって得られた判定・評価結果を、表示部としての出力部14に表示させることで、施工者又は操作者に直接的に認識させることができる。又は、制御演算部11は、判定・評価結果を、送信装置としての出力部14から通信ネットワークを介して外部のサーバー等に送信させることができる。更には、制御演算部11は、判定・評価結果を、出力ポートとしての出力部14からメモリー装置に転送させることができる。
【0030】
次に、本実施形態に係る溶接施工判定方法、及び、溶接施工判定装置1の作用について説明する。
【0031】
図3は、本実施形態に係る溶接施工判定方法としての溶接施工判定工程を示すフローチャートである。溶接施工判定工程は、図3に示すフローチャートに沿った一連の工程を含む、溶接施工判定装置1の制御プログラムとして、制御演算部11によって実行される。
【0032】
制御演算部11は、溶接施工判定工程の実行を開始すると、まず、初期条件設定工程S100を実行する。初期条件設定工程S100では、制御演算部11は、入力部13を介した操作者による情報入力に基づいて、各種の初期条件を設定する。初期条件は、例えば、溶接施工対象90及び判定・評価対象である。
【0033】
溶接施工対象90は、溶接継手の種類又は具体的な形状等の観点から設定される。例えば、自動溶接機としての溶接機80の溶接品質を判定する場合には、溶接施工対象90として製品自体が選択されてもよい。又は、半自動溶接機としての溶接機80を操作する施工者の技能を評価する場合には、溶接施工対象90として各種のテストピースが選択されてもよい。
【0034】
以下、本実施形態における例示では、溶接施工対象90は、日本産業規格の技能認定試験において採用されるテストピースの寸法に準拠して設定されたものとする。具体的には、図2A図2Dに示すように、溶接施工対象90は、開先形状がV形となるように予め加工され、互いに開先が形成されている端部を接合面として突合せ溶接される、一対の板材である。例えば、溶接施工対象90として、それぞれ板厚が異なる、薄板、中板及び厚板の三種類の板材が採用される。薄板の板厚は3.2mmである。薄板同士の溶接は、開先角度が90°で、ギャップ(ルート間隔)がおおよそ2mmとなる条件下で施工される。中板の板厚は9.0mmである。中板同士の溶接は、開先角度が70°で、ギャップがおおよそ5mmとなる条件下で施工される。また、厚板の板厚は19.0mmである。厚板同士の溶接は、開先角度が70°で、ギャップがおおよそ5mmとなる条件下で施工される。
【0035】
判定・評価対象は、溶接品質又は技能に関して着目する具体的な項目として設定される。例えば、溶接品質(溶接継手品質)に関する判定・評価対象としては、裏波形成性状である。
【0036】
次に、制御演算部11は、標準条件取得工程S101を実行する。標準条件取得工程S101では、制御演算部11は、標準条件データベースを照会することで、初期条件設定工程S100で設定された初期条件に対応した標準条件を取得し、設定する。標準条件は、例えば、溶接継手の種類又は溶接施工対象90の板厚又は材質などの初期条件ごとの、溶接電流、溶接電圧、溶接速度、溶接トーチ81の角度、又は、判定・評価対象に応じた二次特徴量の算出式である。なお、本実施形態における二次特徴量については、二次特徴量特定工程S105と併せて後述する。標準条件データベースは、記憶部12に含まれるデータベース格納部16に予め格納される。標準条件データベースに保存されている二次特徴量の算出式は、以前の溶接施工時の溶接施工判定工程で実施された際の二次特徴量特定工程S105で特定されたものが持続的に保存されたものであってもよい。
【0037】
次に、制御演算部11は、溶接施工を開始させる(溶接施工開始S102)。溶接施工が自動溶接機としての溶接機80で実施される場合、制御演算部11は、溶接機80の動作を開始させてもよい。一方、溶接施工が手溶接として施工者により実施される場合、制御演算部11は、施工者に対して、例えば、溶接施工を開始してもよい状態となった旨を表示部としての出力部14に表示させることで認識させてもよい。
【0038】
次に、制御演算部11は、溶接部撮影工程S103を実行する。溶接部撮影工程S103では、制御演算部11は、溶接施工中に、第1カメラ10a、第2カメラ10b、第3カメラ10c及び第4カメラ10dのそれぞれの撮影装置10に溶接部を撮影させる。撮影装置10の撮影対象となる溶接部には、上記のとおり、溶接施工対象90に形成される溶融池が含まれる。制御演算部11は、撮影された溶接画像を記憶部12に保存する。
【0039】
次に、制御演算部11は、一次特徴量特定工程S104を実行する。図4は、一次特徴量特定工程S104を示すフローチャートである。一次特徴量特定工程S104は、図4に示すフローチャートに沿った一連の工程を含む画像処理プログラムとして、制御演算部11に実行される。そして、一次特徴量特定工程S104では、制御演算部11は、溶接画像に基づいて、最終的に一次特徴量を特定する。
【0040】
図5A図5Dは、一例として、第2カメラ10bが撮影した溶接画像Iに基づいて、一次特徴量特定工程S104に含まれる各工程で取得又は抽出される各画像を示す図である。図5B図5Dでは、図5Aに示す溶接画像I中のアークに対応する領域を「アーク領域A」と表記し、溶融池(溶融金属)に対応する領域を「溶融池領域M」と表記する。なお、アーク領域A及び溶融池領域M以外の領域は、背景であり、図中では黒色で表されている。
【0041】
ここで、一次特徴量とは、溶融池を含む溶接部を直接的に認知する機能、すなわち、溶接部を撮影する各々の撮影装置10から得られる、溶融池等の熱源領域の形状を表す量をいう。一次特徴量は、後述する二次特徴量ごとに予め規定される。例えば、一次特徴量は、一つの特徴点の位置、もしくは、二つの特徴点を結んだ線分の長さであってもよい。又は、一次特徴量は、複数の線分もしくは曲線から成る領域の面積であってもよい。
【0042】
制御演算部11は、一次特徴量特定工程S104の実行を開始すると、まず、溶接画像入力工程S200を実行する。溶接画像入力工程S200では、制御演算部11は、溶接部撮影工程S103において各々の撮影装置10が撮影した溶接画像Iのうち、所望の一次特徴量を特定するために必要な溶接画像Iを、記憶部12から取得する。
【0043】
図5Aは、溶接画像入力工程S200で取得された溶接画像Iを示す図である。図5Aに示す例では、溶接画像Iがグレースケールで表現されているが、実際にはカラー画像である。溶接画像Iでは、アークHが白色又は白色に近い色で表され、溶融池Hが概ねグレー色で表され、背景が黒色で表されている。
【0044】
次に、制御演算部11は、フィルタ処理工程S201を実行する。フィルタ処理工程S201では、制御演算部11は、溶接画像入力工程S200において得られた溶接画像Iに対して、例えばガウシアンフィルタによる処理を施し、溶接画像I特有の熱量領域の揺らぎを抑える。
【0045】
次に、制御演算部11は、アーク領域抽出工程S202を実行する。アーク領域抽出工程S202では、制御演算部11は、フィルタ処理後の溶接画像Iの中から、特定の色成分、例えば青成分を取り出すことで、アーク領域Aとして抽出する。このとき、制御演算部11は、青成分の画像を、予め設定した輝度値の閾値で二値化することで、最終的にアーク領域Aを抽出してもよい。
【0046】
次に、制御演算部11は、溶融池領域抽出工程S203を実行する。溶融池領域抽出工程S203では、制御演算部11は、探索線上の波形から溶融池の端点を予測する学習モデルを採用した機械学習プログラムを実行することにより、溶融池領域Mを抽出する。このとき、機械学習プログラムでの機械学習手法としては、評価関数として平均二乗誤差(MSE)を用いるDeep Learningを採用し得る。
【0047】
制御演算部11は、機械学習プログラムを実行して、例えば、正解の溶融池端点位置(1717画像×128探索線=約22万データ)を学習し、判断する。具体的には、制御演算部11は、アーク領域抽出工程S202で抽出されたアーク領域Aの重心を算出し、アーク領域Aの重心を中心とした画像端までの溶融池の探索線を一周128本生成する。次に、制御演算部11は、探索線上の輝度値の波形形状による7つのパターンの分類に合わせて、各探索線上における溶融池の端点を算出する。そして、制御演算部11は、算出された溶融池の端点を探索線が隣接する点間で接続し、溶融池領域Mとして抽出する。
【0048】
ここで、溶融池の端点の算出に関する上記の7つのパターンは、以下のとおりである。第1パターンは、溶融池のみの領域が続いた後に輪郭が出る波形形状である。第2パターンは、黄色い領域が二回以上出現する波形形状である。第3パターンは、アークの周りの熱量が高い黄色の領域ができる波形形状である。第4パターンは、アークと溶融池との縁が近い波形形状である。第5パターンは、一度背景に入った後に再びシールドガスが出る波形形状である。第6パターンは、シールドガスが溶融池の外側に広がっている波形形状である。また、第7パターンは、溶融池の輪郭の輝度値が背景に近い波形形状である。
【0049】
図5Bは、アーク領域抽出工程S202で抽出されたアーク領域Aと、溶融池領域抽出工程S203で抽出された溶融池領域Mとの各熱量領域を表示する画像を示す図である。アーク領域A及び溶融池領域Mは、図5Bに示すように、マスク画像Iとして表される。
【0050】
次に、制御演算部11は、外接矩形抽出工程S204を実行する。外接矩形抽出工程S204では、制御演算部11は、アーク領域抽出工程S202で抽出されたアーク領域Aのマスクから、アーク領域Aの外接矩形Rを抽出する。また、制御演算部11は、溶融池領域抽出工程S203で抽出された溶融池領域Mのマスクから、溶融池領域Mの外接矩形Rを抽出する。
【0051】
図5Cは、図5Bのマスク画像Iに、アーク領域Aの外接矩形Rと、溶融池領域Mの外接矩形Rとを付加した画像を示す図である。外接矩形Rは、画像の左下を原点として、左辺がマスクのX方向の最小値XM1を、右辺がマスクのX方向の最大値XM2を、下辺がマスクのY方向の最小値YM1を、上辺がマスクのY方向の最大値YM2をそれぞれ通る矩形として抽出される。ただし、外接矩形Rに係るマスクは、溶融池領域Mのマスクである。外接矩形Rは、外接矩形Rの抽出手法と同様の手法で抽出される。
【0052】
次に、制御演算部11は、特徴点抽出工程S205を実行する。特徴点抽出工程S205では、制御演算部11は、外接矩形抽出工程S204で抽出された外接矩形R及び外接矩形Rに基づいて、以後の一次特徴量の算出に用いられる特徴点を抽出する。
【0053】
図5Dは、外接矩形Rに基づいて抽出される溶融池領域Mに関する特徴点の一例を示す画像を示す図である。図5Dに示す4つの特徴点、すなわち、特徴点P1A、特徴点P1B、特徴点P2A及び特徴点P2Bは、以下で例示する図7Bに示す特徴点に対応する。
【0054】
特徴点抽出工程S205で抽出される特徴点は、溶接画像Iに基づく。したがって、特徴点の抽出条件は、溶接画像Iに影響する条件、具体的には、溶接画像Iを撮影した撮影装置10がいずれであるか、また、溶接施工対象90の種類等によって、種々考えられる。以下、撮影装置10及び溶接施工対象90ごとの特徴点及びその抽出条件について例示する。
【0055】
図6A及び図6Bは、第1カメラ10aによって撮影された溶接画像から抽出され、かつ、溶接施工対象90が中板である場合に係る、特徴点及びその抽出条件の第1例に関する図である。
【0056】
図6Aは、複数の特徴点がプロットされた溶接画像を示す図である。第1例に係る特徴点は、例えば、特徴点P1A、特徴点P1B、特徴点P、特徴点P3A、特徴点P3B、特徴点P4A及び特徴点P4Bの計7つである。特徴点P1Aは、溶融池領域の前端点である。特徴点P1Bは、溶融池領域の後端点である。特徴点Pは、溶融池領域の前端点と後端点との中点である。特徴点P3Aは、溶融池領域の左端点である。特徴点P3Bは、溶融池領域の右端点である。特徴点P4Aは、溶融池領域の上端点である。特徴点P4Bは、溶融池領域の下端点である。以下、各特徴点を示すに際して用いられる、前後、左右及び上下の各表現は、複数の特徴点同士の位置関係を簡易的に区別するためのものであり、例えば、溶接方向Dに対する厳密な方向、又は、溶融池領域の厳密な形状に基づくものではない。
【0057】
図6Bは、溶融池領域のマスクに基づいて抽出される各特徴点の抽出条件を説明するためのグラフである。図6B中のアーク領域及び溶融池領域の各マスクは、図5C等に例示したアーク領域A又は溶融池領域Mに対応し、図6Aに示す溶接画像に基づいて抽出される。溶融池領域の外接矩形は、図5C等に例示した溶融池領域Mの外接矩形Rに対応する。また、溶融池領域の外接矩形に関して、X方向の最小値をXM1と、X方向の最大値をXM2と、Y方向の最小値をYM1と、Y方向の最大値をYM2と、それぞれ表記する。
【0058】
図6Bを参照すると、第1例に係る特徴点の抽出条件は、以下のとおりである。特徴点P1Aは、溶融池領域の外接矩形の左下の座標(XM1,YM1)から右上の座標(XM2,YM2)を通る直線と、溶融池領域のマスクの輪郭との2つの交点のうち、座標(XM1,YM1)に近い方の点として抽出される。特徴点P1Bは、同様に座標(XM1,YM1)から座標(XM2,YM2)を通る直線と、溶融池領域のマスクの輪郭との2つの交点のうち、座標(XM2,YM2)に近い方の点として抽出される。特徴点Pは、特徴点P1Aと特徴点P1Bとの中点として抽出される。特徴点P3Aは、特徴点PからX軸の負の方向に延びる半直線と、溶融池領域のマスクの輪郭との交点として抽出される。特徴点P3Bは、特徴点PからX軸の正の方向に延びる半直線と、溶融池領域のマスクの輪郭との交点として抽出される。特徴点P4Aは、特徴点PからY軸の正の方向に延びる半直線と、溶融池領域のマスクの輪郭との交点として抽出される。特徴点P4Bは、特徴点PからY軸の負の方向に延びる半直線と、溶融池領域のマスクの輪郭との交点として抽出される。なお、図6A及び図6Bでは、各特徴点を抽出するに際して参照される、2つの特徴点間を結ぶ線分が例示されている。
【0059】
図7A及び図7Bは、第2カメラ10bによって撮影された溶接画像から抽出され、かつ、溶接施工対象90が中板である場合に係る、特徴点及びその抽出条件の第2例に関する図である。
【0060】
図7Aは、複数の特徴点がプロットされた溶接画像を示す図である。第2例に係る特徴点は、例えば、特徴点P1A、特徴点P1B、特徴点P2A、特徴点P2B及び特徴点Pの計5つである。特徴点P1Aは、溶融池領域の前端点である。特徴点P1Bは、溶融池領域の後端点である。特徴点P2Aは、溶融池領域の左端点である。特徴点P2Bは、溶融池領域の右端点である。特徴点Pは、ワイヤ82の先端点である。
【0061】
図7Bは、アーク領域及び溶融池領域の各マスクに基づいて抽出される各特徴点の抽出条件を説明するためのグラフである。図7Bにおける描画条件は、図6Bにおける描画条件と同一である。第2例に係る特徴点の抽出条件は、以下のとおりである。特徴点P1Aは、X=XM1となる点群からYが中間値になる点として抽出される。特徴点P1Bは、X=XM2となる点群からYが中間値になる点として抽出される。特徴点P2Aは、Y=YM2となる点群からXが中間値になる点として抽出される。特徴点P2Bは、Y=YM1となる点群からXが中間値になる点として抽出される。特徴点Pは、アーク領域の上部にあるマスクの窪みの下端として抽出される。
【0062】
ここで、制御演算部11は、特徴点Pを抽出するに際して参照されるマスクの窪みを、例えば、アーク領域のマスクの上半分に対して、X方向に沿って、マスク上が255となり、背景が0(ゼロ)となるピクセル値を解析することで特定してもよい。この場合、制御演算部11は、1ライン上のピクセル値が0(ゼロ)となる座標からX座標の平均値化した位置を窪みの候補として抽出する。次に、制御演算部11は、窪みはY方向に3ライン以上連続するとの条件と、Y方向に連続したラインの下端を窪みの端部として採用するとの条件とから、窪みの候補を絞り込む。そして、制御演算部11は、最終的な窪みの候補から、X座標がアーク領域の重心に一番近いものを、特徴点Pを抽出するに際して参照されるマスクの窪みとして選択する。
【0063】
図8A及び図8Bは、第3カメラ10cによって撮影された溶接画像から抽出され、かつ、溶接施工対象90が中板である場合に係る、特徴点及びその抽出条件の第3例に関する図である。
【0064】
図8Aは、複数の特徴点がプロットされた溶接画像を示す図である。第3例に係る特徴点は、例えば、特徴点P1A、特徴点P1B、特徴点P2A、特徴点P2B及び特徴点Pの計5つである。特徴点P1Aは、溶融池領域の上端点である。特徴点P1Bは、溶融池領域の下端点である。特徴点P2Aは、溶融池領域の左端点である。特徴点P2Bは、溶融池領域の右端点である。特徴点Pは、ワイヤ82の先端点である。
【0065】
図8Bは、アーク領域及び溶融池領域の各マスクに基づいて抽出される各特徴点の抽出条件を説明するためのグラフである。図8Bにおける描画条件は、図6Bにおける描画条件と同一である。第3例に係る特徴点の抽出条件は、以下のとおりである。特徴点P1Aは、Y=YM2となる点群からXが中間値になる点として抽出される。特徴点P1Bは、Y=YM1となる点群からXが中間値になる点として抽出される。特徴点P2Aは、X=XM1となる点群からYが中間値になる点として抽出される。特徴点P2Bは、X=XM2となる点群からYが中間値になる点として抽出される。特徴点Pは、上記の第2例の場合と同様に、アーク領域の上部にあるマスクの窪みの下端として抽出される。
【0066】
図9A及び図9Bは、第4カメラ10dによって撮影された溶接画像から抽出され、かつ、溶接施工対象90が中板である場合に係る、特徴点及びその抽出条件の第4例に関する図である。
【0067】
図9Aは、複数の特徴点がプロットされた溶接画像を示す図である。第4例に係る特徴点は、例えば、特徴点P、特徴点P2A、特徴点P2B、特徴点P及び特徴点Pの計5つである。特徴点Pは、溶融池領域の前端点である。特徴点P2Aは、溶融池領域の左端点である。特徴点P2Bは、溶融池領域の右端点である。特徴点Pは、ワイヤ82の先端点である。特徴点Pは、アーク領域の下端点である。
【0068】
図9Bは、アーク領域及び溶融池領域の各マスクに基づいて抽出される各特徴点の抽出条件を説明するためのグラフである。図9Bにおける描画条件は、図6Bにおける描画条件と同一である。ただし、図9Bでは、アーク領域のY方向の最小値をYA1と表記する。第4例に係る特徴点の抽出条件は、以下のとおりである。特徴点Pは、Y=YM1となる点群からXが中間値になる点として抽出される。特徴点P2Aは、X=XM1となる点群からYが中間値になる点として抽出される。特徴点P2Bは、X=XM2となる点群からYが中間値になる点として抽出される。特徴点Pは、上記の第2例の場合と同様に、アーク領域の上部にあるマスクの窪みの下端として抽出される。特徴点Pは、Y=YA1となる点群からXが中間値になる点として抽出される。
【0069】
ここまで、特徴点及びその抽出条件の例として、溶接施工対象90が中板である場合に関して説明した。しかし、特徴点抽出工程S205では、判定・評価対象によっては、溶接施工対象90が例えば厚板である場合に関しても、同様に特徴点が抽出される。この溶接施工対象90が厚板である場合の特徴点及びその抽出条件については、以下の図17A及び図17Bを用いた二次特徴量XIIに係る説明において併せて例示する。
【0070】
そして、制御演算部11は、特徴点抽出工程S205に引き続き、一次特徴量算出工程S206を実行する。一次特徴量算出工程S206では、制御演算部11は、外接矩形抽出工程S204で抽出されたアーク領域Aの外接矩形R若しくは溶融池領域Mの外接矩形R、又は、特徴点抽出工程S205で抽出された特徴点を利用して、一次特徴量を算出する。ここで、一次特徴量は、初期条件設定工程S100で設定された判定・評価対象に基づいて選択される二次特徴量から規定される。そこで、一次特徴量算出工程S206で算出され得る具体的な一次特徴量については、以下、二次特徴量特定工程S105で特定される二次特徴量に係る説明において、二次特徴量ごとに併せて例示する。制御演算部11は、一次特徴量算出工程S206の終了後、溶接施工判定工程における一次特徴量特定工程S104を終了する。
【0071】
次に、制御演算部11は、一次特徴量特定工程S104に引き続き、二次特徴量特定工程S105を実行する。二次特徴量とは、一次特徴量を変数とした算出式(二次特徴量の算出式)から得られる量をいう。二次特徴量は、一次特徴量同士の比、又は、二つの特徴点同士を結んだ線分の傾き等の無次元量であってもよい。二次特徴量特定工程S105では、制御演算部11は、判定・評価対象に応じて標準条件取得工程S101で取得された二次特徴量の算出式を用いて二次特徴量を算出する。以下、溶接施工対象90及び判定・評価対象ごとに選択及び特定される具体的な二次特徴量について例示する。
【0072】
図10A及び図10Bは、溶接施工対象90が中板であり、かつ、判定・評価対象が、溶融池の移動の安定度に関係した融合不良の有無である場合に係る二次特徴量Iに関する図である。
【0073】
図10Aは、一次特徴量の特定に用いられた溶接画像上に、一次特徴量と、二次特徴量Iの算出式に係る線分とを示した図である。二次特徴量Iの特定に用いられる一次特徴量は、第2カメラ10bが撮影した溶接画像に基づいて得られた特徴点P1Aと特徴点P1Bとの各位置である。図10Aに示す溶接画像は、図7Aに示す溶接画像に対応している。つまり、特徴点P1Aは、溶融池領域の前端点である。特徴点P1Bは、溶融池領域の後端点である。この場合、二次特徴量Iの算出式は、特徴点P1Aと特徴点P1Bとを通る直線の式である。そして、最終的に算出される二次特徴量Iは、特徴点P1Aと特徴点P1Bとを通る直線の傾きであり、無次元量である。
【0074】
図11A及び図11Bは、溶接施工対象90が中板であり、かつ、判定・評価対象が、ワイヤ82への溶融池の追従性に関係した融合不良の有無である場合に係る二次特徴量IIに関する図である。
【0075】
図11Aは、一次特徴量の特定に用いられた溶接画像上に、一次特徴量と、二次特徴量IIの算出式に係る線分とを示した図である。二次特徴量IIの特定に用いられる一次特徴量は、第3カメラ10cが撮影した溶接画像に基づいて得られた特徴点Pと特徴点P1Bとの各位置である。図11Aに示す溶接画像は、図8Aに示す溶接画像に対応している。つまり、特徴点Pは、ワイヤ82の先端点である。特徴点P1Bは、溶融池領域の前端点である。この場合、二次特徴量IIの算出式は、特徴点Pと特徴点P1Bとを通る直線の式である。そして、最終的に算出される二次特徴量IIは、特徴点Pと特徴点P1Bとを通る直線の傾きであり、無次元量である。
【0076】
図12A及び図12Bは、溶接施工対象90が中板であり、かつ、判定・評価対象が入熱である場合に係る二次特徴量IIIに関する図である。
【0077】
図12Aは、一次特徴量の特定に用いられた溶接画像上に、一次特徴量と、二次特徴量IIIの算出式に係る外接矩形とを示した図である。二次特徴量IIIの特定に用いられる一次特徴量は、第2カメラ10bが撮影した溶接画像に基づいて得られた溶融池領域の外接矩形Rの各辺の長さである。つまり、二次特徴量IIIの特定に際しては、外接矩形抽出工程S204で抽出された外接矩形Rが参照されればよく、特徴点を要しない。なお、図12Aに示す溶接画像も、図7Aに示す溶接画像に対応している。この場合、二次特徴量IIIの算出式は、外接矩形Rの各辺の長さから外接矩形Rの面積を算出する式である。そして、最終的に算出される二次特徴量IIIは、外接矩形Rの面積である。
【0078】
図13A図13B及び図13Cは、溶接施工対象90が中板であり、かつ、判定・評価対象が溶接速度である場合に係る二次特徴量IVに関する図である。
【0079】
図13Aは、一次特徴量の特定に用いられた溶接画像上に、一次特徴量と、二次特徴量IVの算出式に係る線分とを示した図である。二次特徴量IVの特定に用いられる一次特徴量は、第2カメラ10bが撮影した溶接画像に基づいて得られた四つの特徴点から算出される。具体的には、一次特徴量は、溶融池の長さに相当する特徴点P1Aと特徴点P1Bとを結んだ線分の長さと、溶融池の幅に相当する特徴点P2Aと特徴点P2Bとを結んだ線分の長さとである。図13Aに示す溶接画像は、図7Aに示す溶接画像に対応している。つまり、特徴点P1Aは、溶融池領域の前端点である。特徴点P1Bは、溶融池領域の後端点である。特徴点P2Aは、溶融池領域の左端点である。特徴点P2Bは、溶融池領域の右端点である。この場合、二次特徴量IVの算出式は、特徴点P1Aと特徴点P1Bとを結んだ線分の長さと、特徴点P2Aと特徴点P2Bとを結んだ線分の長さとの比を算出する式である。そして、最終的に算出される二次特徴量IVは、溶融池の長さと幅との比(アスペクト比)として表される、特徴点P1Aと特徴点P1Bとを結んだ線分の長さと、特徴点P2Aと特徴点P2Bとを結んだ線分の長さとの比であり、無次元量である。
【0080】
ここまで、溶接施工対象90が中板である場合に係る二次特徴量の例について説明したが、引き続き、溶接施工対象90が薄板又は厚板である場合に係る二次特徴量の例について説明する。
【0081】
図14図15図16A及び図16Bは、溶接施工対象90が薄板であり、かつ、判定・評価対象が例えば裏波形成性状である場合に「溶落ち」、「健全な溶接」又は「裏波不十分」のいずれに分類されるかに係る二次特徴量に関する図である。図14は、二次特徴量Vに関する図である。図15は、二次特徴量VIに関する図である。図16A及び図16Bは、二次特徴量VIIに関する図である。
【0082】
図14は、一次特徴量の特定に用いられた溶接画像上に、一次特徴量と、二次特徴量Vの算出式に係る長さとを示した図である。二次特徴量Vの特定に用いられる一次特徴量は、第4カメラ10dが撮影した溶接画像に基づいて得られた三つの特徴点から算出される。具体的には、一次特徴量は、溶融池の開先上部の長さに対応する、ワイヤ82の先端点と溶融池領域の後端点との間の第1長さL1と、溶融池の開先下部の長さに対応する、ワイヤ82の先端点と溶融池領域の前端点との間の第2長さL2とである。つまり、ここでいう三つの特徴点は、溶融池領域の前端点、溶融池領域の後端点、及び、ワイヤ82の先端点に相当する。この場合、二次特徴量Vの算出式は、(第1長さL1/第2長さL2)で表される比を算出する式である。そして、最終的に算出される二次特徴量Vは、(第1長さL1/第2長さL2)として表される(溶融池の開先上部の長さ/溶融池の開先下部の長さ)であり、無次元量である。
【0083】
図15は、一次特徴量の特定に用いられた溶接画像上に、一次特徴量と、二次特徴量VIの算出式に係る長さとを示した図である。二次特徴量VIの特定に用いられる一次特徴量は、第4カメラ10dが撮影した溶接画像に基づいて得られた四つの特徴点から算出される。具体的には、一次特徴量は、溶融池の幅に対応する、溶融池領域の左端点と溶融池領域の右端点との間の第3長さL3と、溶融池の開先下部の長さに対応する、ワイヤ82の先端点と溶融池領域の前端点との間の第4長さL4とである。つまり、ここでいう四つの特徴点は、溶融池領域の左端点、溶融池領域の右端点、溶融池領域の前端点、及び、ワイヤ82の先端点に相当する。この場合、二次特徴量VIの算出式は、(第3長さL3/第4長さL4)で表される比を算出する式である。そして、最終的に算出される二次特徴量VIは、(第3長さL3/第4長さL4)として表される(溶融池の幅/溶融池の開先下部の長さ)であり、無次元量である。
【0084】
図16A及び図16Bは、一次特徴量の特定に用いられた溶接画像上に、一次特徴量と、二次特徴量VIIの算出式に係る外接矩形とを示した図である。二次特徴量VIIの特定に用いられる一次特徴量は、まず、図16Aに示す、第2カメラ10bが撮影した溶接画像に基づいて得られたアーク領域の外接矩形RA1の各辺の長さである。また、二次特徴量VIIの特定に用いられる一次特徴量は、図16Bに示す、第4カメラ10dが撮影した溶接画像に基づいて得られたアーク領域の外接矩形RA2の各辺の長さである。つまり、外接矩形RA1を特定する溶接画像は、上方から撮影されたものと考えることができ、外接矩形RA2を特定する溶接画像は、前方から撮影されたものと考えることができる。また、二次特徴量VIIの特定に際しては、外接矩形抽出工程S204で抽出された外接矩形Rが参照されればよく、特徴点を要しない。この場合、二次特徴量VIIの算出式は、(外接矩形RA1の各辺の長さから導き出された外接矩形RA1の面積/外接矩形RB1の各辺の長さから導き出された外接矩形RB1の面積)で表される比を算出する式である。そして、最終的に算出される二次特徴量VIIは、(外接矩形RA1の面積/外接矩形RB1の面積)であり、無次元量である。
【0085】
その他、溶接施工対象90が薄板で、かつ、判定・評価対象が「溶落ち」、「健全な溶接」又は「裏波不十分」のいずれに分類されるかである場合に係る二次特徴量としては、以下のように第1カメラ10aによる溶接画像に基づいて特定されるものであってもよい。
【0086】
例えば、別の二次特徴量としての二次特徴量VIIIの特定に用いられる一次特徴量は、第1カメラ10aが撮影した溶接画像に基づいて得られた以下の四つの特徴点から算出される。すなわち、一次特徴量は、溶融池の左右幅に対応する、溶融池領域の左端点と溶融池領域の右端点との間の長さと、溶融池の上下幅に対応する、溶融池領域の上端点と溶融池領域の下端点との間の長さとである。この場合、二次特徴量VIIIの算出式は、(溶融池の上下幅/溶融池の左右幅)で表される比を算出する式である。そして、最終的に算出される二次特徴量VIIIは、(溶融池の上下幅/溶融池の左右幅)であり、無次元量である。
【0087】
また、別の二次特徴量としての二次特徴量IXの特定に用いられる一次特徴量は、第1カメラ10aが撮影した溶接画像に基づいて得られた以下の四つの特徴点から算出される。すなわち、一次特徴量は、溶融池の左上幅に対応する、溶融池領域の上端点と溶融池領域の左端点との間の長さと、溶融池の上下幅に対応する、溶融池領域の上端点と溶融池領域の下端点との間の長さとである。この場合、二次特徴量IXの算出式は、(溶融池の上下幅/溶融池の左上幅)で表される比を算出する式である。そして、最終的に算出される二次特徴量IXは、(溶融池の上下幅/溶融池の左上幅)であり、無次元量である。
【0088】
また、別の二次特徴量としての二次特徴量Xの特定に用いられる一次特徴量は、第1カメラ10aが撮影した溶接画像に基づいて得られた以下の四つの特徴点から算出される。すなわち、一次特徴量は、溶融池の左右幅に対応する、溶融池領域の左端点と溶融池領域の右端点との間の長さと、溶融池の右下幅に対応する、溶融池領域の右端点と溶融池領域の下端点との間の長さとである。この場合、二次特徴量Xの算出式は、(溶融池の右下幅/溶融池の左右幅)で表される比を算出する式である。そして、最終的に算出される二次特徴量Xは、(溶融池の右下幅/溶融池の左右幅)であり、無次元量である。
【0089】
更に、別の二次特徴量としての二次特徴量XIの特定に用いられる一次特徴量は、第1カメラ10aが撮影した溶接画像に基づいて得られた以下の四つの特徴点から算出される。すなわち、一次特徴量は、溶融池の左上幅に対応する、溶融池領域の左端点と溶融池領域の上端点との間の長さと、溶融池の右下幅に対応する、溶融池領域の右端点と溶融池領域の下端点との間の長さとである。この場合、二次特徴量XIの算出式は、(溶融池の右下幅/溶融池の左上幅)で表される比を算出する式である。そして、最終的に算出される二次特徴量XIは、(溶融池の右下幅/溶融池の左上幅)であり、無次元量である。
【0090】
図17A及び図17Bは、第3カメラ10cによって撮影された溶接画像から抽出され、かつ、溶接施工対象90が厚板である場合に係る、特徴点及びその抽出条件の第5例に関する図である。溶接施工対象90が厚板であり、かつ、判定・評価対象が、振り分けがある溶接施工における融合不良の有無である場合には、図17A及び図17Bに示す特徴点及びその抽出条件に基づいて二次特徴量XIIが特定され得る。
【0091】
図17Aは、複数の特徴点がプロットされた溶接画像を示す図である。第5例に係る特徴点は、例えば、特徴点P1B、特徴点P2A、特徴点P2B及び特徴点Pの計4つである。特徴点P1Bは、溶融池領域の下端点である。特徴点P2Aは、溶融池領域の左端点である。特徴点P2Bは、溶融池領域の右端点である。特徴点Pは、アーク領域の重心である。
【0092】
図17Bは、アーク領域及び溶融池領域の各マスクに基づいて抽出される各特徴点の抽出条件を説明するためのグラフである。図17B中のアーク領域及び溶融池領域の各マスクは、図17Aに示す溶接画像に基づいて抽出される。アーク領域の外接矩形に関して、X方向の最小値をXA1と、X方向の最大値をXA2と、Y方向の最小値をYA1と、Y方向の最大値をYA2と、それぞれ表記する。第5例に係る各特徴点は、基本的には、図8Bを用いて説明した第3例に係る特徴点の抽出条件を応用することで抽出され得る。一方、特徴点Pは、アーク領域の外接矩形の重心として抽出される。
【0093】
この場合、二次特徴量XIIの特定に用いられる一次特徴量は、特徴点Pと特徴点P1Bとの間の第5長さL5と、特徴点P2Aと特徴点P2Bとの間の第6長さL6とである。第5長さL5は、アーク領域の重心と溶融池領域の前端点との間の長さに対応する。第6長さL6は、溶融池の幅に対応する。二次特徴量XIIの算出式は、(第5長さL5/第6長さL6)で表される比を算出する式である。そして、最終的に算出される二次特徴量XIIは、(第5長さL5/第6長さL6)として表される(アーク領域の重心と溶融池領域の前端点との間の長さ/溶融池の幅)であり、無次元量である。
【0094】
次に、制御演算部11は、二次特徴量特定工程S105に引き続き、基準情報取得工程S106を実行する。基準情報取得工程S106では、制御演算部11は、データベース格納部16を照会し、以降の判定・評価工程S107における判定・評価の基準となる基準情報を取得する。基準情報とは、二次特徴量ごとに選択される、溶接状況数値、数値化に基づく品質判定、又は、技能の数値化を導く関係式などに関する情報をいう。基準情報は、データベース格納部16内にある二次特徴量ごとに分類された各種の基準情報データベースに、持続的に格納されていく。以下、具体的な基準情報と、制御演算部11が当該基準情報を取得するに際して照会するデータベースとについて、二次特徴量ごとに例示する。
【0095】
判定・評価対象に応じた二次特徴量が二次特徴量Iである場合の基準情報は、二次特徴量Iに対する融合不良の有無の閾値である。同様に、判定・評価対象に応じた二次特徴量が二次特徴量IIである場合の基準情報は、二次特徴量IIに対する融合不良の有無の閾値である。二次特徴量I又は二次特徴量IIに関する基準情報は、溶接品質判定又は技能数値化に関する第1の基準情報データベースに格納されている。
【0096】
また、判定・評価対象に応じた二次特徴量が二次特徴量IIIである場合の基準情報は、二次特徴量IIIと入熱との相関である。一方、判定・評価対象に応じた二次特徴量が二次特徴量IVである場合の基準情報は、二次特徴量IVと溶接速度との相関である。二次特徴量III又は二次特徴量IVに関する基準情報は、それぞれ、溶接状況数値化に関する第2の基準情報データベースに格納されている。
【0097】
また、判定・評価対象に応じた二次特徴量が二次特徴量Vである場合の基準情報は、二次特徴量Vで適正な溶融池形状となる最適値である。溶融池形状は、すなわち、裏波形成性状に対応する。同様に、判定・評価対象に応じた二次特徴量が二次特徴量VIから二次特徴量XIまでのいずれかである場合の基準情報は、その二次特徴量で適正な溶融池形状となる最適値である。二次特徴量Vから二次特徴量XIまでの各々の二次特徴量に関する基準情報は、裏波形成に関する第3の基準情報データベースに格納されている。
【0098】
更に、判定・評価対象に応じた二次特徴量が二次特徴量XIIである場合の基準情報は、二次特徴量XIIに対する、パス数ごとの融合不良の有無の閾値である。二次特徴量XIIに関する基準情報は、二次特徴量I又は二次特徴量IIに関する基準情報と同様に、第1の基準情報データベースに格納されている。
【0099】
次に、制御演算部11は、判定・評価工程S107を実行する。判定・評価工程S107では、制御演算部11は、二次特徴量特定工程S105で数値化された二次特徴量から、基準情報取得工程S106で取得された基準情報を基準として、溶接品質又は技能等をリアルタイムで判定又は評価する。制御演算部11は、上記例示したような複数の二次特徴量のうち、いずれか一つの二次特徴量に基づいて判定・評価結果を導出してもよいし、複数の二次特徴量に基づいて複合的に複数の判定・評価結果を導出してもよい。本実施形態では、判定又は評価が行われる溶接は、自動溶接機による溶接、又は、半自動溶接を含む施工者による手溶接である。そこで、以下、二次特徴量ごとの判定・評価の例について、判定又は評価が行われる溶接及び評価・判定対象と関連させて説明する。
【0100】
二次特徴量Iに基づく判定又は評価について、自動溶接機による溶接では、溶接施工対象90が中板である場合の溶接品質に関する融合不良の有無が判定され得る。一方、手溶接では、溶接施工対象90が中板である場合の技能に関する融合不良の有無が評価され得る。
【0101】
図10Bは、入熱(J/cm)に対する二次特徴量Iを示すグラフである。グラフ中、黒塗りの丸印で示されるプロットは、溶接部に融合不良が生じていない、すなわち、欠陥がないと判定されるときの二次特徴量Iに対応する。一方、白抜きの丸印で示されるプロットは、溶接部に融合不良が生じていると判定されるときの二次特徴量Iに対応する。
【0102】
二次特徴量Iと判定・評価対象との関係性として、二次特徴量Iが小さいとき、溶融池の形状は、直線状に近く、安定している。一方、二次特徴量Iが大きいとき、溶融池領域の前端点と溶融池領域の後端点とがY方向でずれていることになるので、溶融池は、蛇行しているような形状となり、不安定である。そこで、制御演算部11は、二次特徴量Iの値が、二次特徴量Iに関する基準情報である閾値以上であるとき、融合不良が生じている可能性が高いと判定・評価する。一般的な溶接施工では、入熱が十分でない場合、低入熱条件で溶接されていることになるため、溶融池は蛇行しているような形状となりやすい。これに対して、二次特徴量Iに基づく判断又は評価によれば、入熱量に関わらず、融合不良の有無が判定又は評価される。
【0103】
二次特徴量IIに基づく判定又は評価について、自動溶接機による溶接と手溶接との双方で、二次特徴量Iに基づく場合と同様に、融合不良の有無が判定又は評価され得る。
【0104】
図11Bは、入熱(J/cm)に対する二次特徴量IIを示すグラフである。グラフ中、黒塗りの丸印で示されるプロットは、溶接部に融合不良が生じていない、すなわち、欠陥がないと判定されるときの二次特徴量IIに対応する。一方、白抜きの丸印で示されるプロットは、溶接部に融合不良が生じていると判定されるときの二次特徴量IIに対応する。
【0105】
二次特徴量IIと判定・評価対象との関係性として、二次特徴量IIが小さいとき、ワイヤ82の動きに溶融池の動きが追従していないことになるので、溶融池の形状は不安定である。一方、二次特徴量IIが大きいとき、ワイヤ82の直下に溶融池領域の前端点が位置することになるので、溶融池の形状は安定している。そこで、制御演算部11は、二次特徴量IIの値が、二次特徴量IIに関する基準情報である閾値以上であるとき、融合不良が生じている可能性が高いと判定・評価する。一般的な溶接施工では、運棒が不適切である場合、低入熱条件で溶接されていることになるため、ワイヤ82の動きに溶融池の動きが追従しにくい。これに対して、二次特徴量IIに基づく判断又は評価によれば、入熱量に関わらず、融合不良の有無が判定又は評価される。
【0106】
二次特徴量IIIに基づく判定又は評価について、自動溶接機による溶接では、溶接施工対象90が中板である場合の溶接品質に関する材料への影響が判定され得る。一方、手溶接では、溶接施工対象90が中板である場合の技能に関する入熱量の許容範囲との誤差が評価され得る。
【0107】
図12Bは、入熱(J/cm)に対する二次特徴量IIIを示すグラフである。グラフ中、予め規定された入熱量の許容範囲が、破線で囲まれた領域として示されている。
【0108】
二次特徴量IIIと判定・評価対象との関係性として、二次特徴量IIIが小さいときは、入熱が十分でないのに対して、二次特徴量IIIが大きいときは、入熱が過多である。そこで、制御演算部11は、二次特徴量IIIに関する基準情報である相関に、当該溶接施工中に撮影された溶接画像に基づいて算出された二次特徴量IIIを当てはめることで入熱量を推測し、推測された入熱量が許容範囲にあるかどうかを判定・評価する。
【0109】
ここで、二次特徴量IIIは、第2カメラ10bが撮影した溶接画像に基づく。そして、第2カメラ10bが施工者自身に搭載される場合もあり得る。しかし、二次特徴量IIIは、溶融池の寸法に関連する外接矩形Rの面積であり、無次元量ではない。そのため、例えば、第2カメラ10bが施工者自身に搭載された場合、施工者と溶融部との距離が変化したときに、第2カメラ10bの画角における溶融池の寸法も変化するので、入熱量の正確な推測が不能となることもあり得る。そこで、制御演算部11は、別途設置されるIMU(慣性計測ユニット)センサに溶接施工中の施工者と溶接部との間の距離を計測させることで、IMUセンサが計測した距離に応じて外接矩形Rの面積を判定・評価可能な値に変換してもよい。
【0110】
二次特徴量IVに基づく判定又は評価について、自動溶接機による溶接では、溶接施工対象90が中板である場合の溶接品質に関する材料への影響が判定され得る。一方、手溶接では、溶接施工対象90が中板である場合の技能に関する溶接速度の許容範囲との誤差が評価され得る。
【0111】
図13B及び図13Cは、溶接速度(cm/min)に対する二次特徴量IVを示すグラフである。図13Bにおける二次特徴量IVは、溶接電流が160Aで、溶接電圧が21.9Vである第1の標準条件下で得られたものである。図13Cにおける二次特徴量IVは、溶接電流が230Aで、溶接電圧が26.0Vである第2の標準条件下で得られたものである。また、各グラフ中、予め規定された溶接速度の許容範囲が、破線で囲まれた領域として示されている。
【0112】
二次特徴量IVと判定・評価対象との関係性として、同電流かつ同電圧となる標準条件下では、二次特徴量IVが小さいときは、溶接速度が速いのに対して、二次特徴量IVが大きいときは、溶接速度が遅い。そこで、制御演算部11は、二次特徴量IVに関する基準情報である相関に、当該溶接施工中に撮影された溶接画像に基づいて算出された二次特徴量IVを当てはめることで溶接速度を推測し、推測された溶接速度が許容範囲にあるかどうかを判定・評価する。同電流・同電圧との条件下では、溶接速度が速い場合、溶融池の長さが長くなる傾向があるため、二次特徴量IVは小さくなる。そのため、二次特徴量IVに基づく判断又は評価では、溶接画像に基づいて溶接速度が推測され得る。
【0113】
図18は、溶接施工対象90が薄板で、かつ、判定・評価対象が裏波形成性状である場合に係る、二次特徴量V~二次特徴量VIIに基づく判定・評価結果を示す表である。表中の各二次特徴量の数値は、判定・評価番号が付された11回の溶接施工にて得られたものである。つまり、一回の溶接施工では、二次特徴量Vから二次特徴量VIIまでの計3つの二次特徴量が特定される。なお、表中には、溶接施工ごとの溶接電流及び溶接速度が示されている。ここでは、判定・評価対象は、溶接施工後に目視にて、「溶落ち」、「健全な溶接」又は「裏波不十分」の三つの判定パターンに分類されている。この分類方法によれば、判定・評価対象が「溶落ち」又は「裏波不十分」のいずれかのパターンに分類された場合、健全な溶接ではないことになる。
【0114】
図18に示す判定・評価結果によると、二次特徴量V~二次特徴量VIIの各々の値の大小は、判定・評価対象の良否の傾向に関係していると考えられる。そこで、制御演算部11は、これらの二次特徴量同士の判定・評価対象に対する傾向を参照し、以下のように、二次特徴量V~二次特徴量VIIに基づいた判定又は評価を実行し得る。
【0115】
二次特徴量V~二次特徴量VIIに基づく判定又は評価について、自動溶接機による溶接では、溶接施工対象90が薄板である場合の溶接品質に関して、上記の三つの判定パターンのいずれに分類されるかが判定され得る。一方、手溶接では、溶接施工対象90が薄板である場合の技能に関して、上記の三つの判定パターンのいずれに分類されるかが評価され得る。
【0116】
二次特徴量Vと判定・評価対象との関係性として、二次特徴量Vが小さいとき、図14中の第2長さL2に相当する溶融池の開先下部の長さが長くなるので、溶接後の状態が溶落ちになりやすい。一方、二次特徴量Vが大きいとき、溶融池の開先下部の長さが短くなるので、溶接後に形成される裏波が不十分になりやすい。そこで、制御演算部11は、二次特徴量Vの値が、二次特徴量Vに関する基準情報である最適値に近いほど、健全な溶接であると判定・評価する。ここでの最適値は、例えば1.3である。
【0117】
また、二次特徴量VIと判定・評価対象との関係性として、二次特徴量VIが小さいとき、図15中の第3長さL3に相当する溶融池の幅が狭くなるので、溶接後の状態が溶落ちになりやすい。一方、二次特徴量VIが大きいとき、溶融池の幅が広くなるので、溶接後に形成される裏波が不十分になりやすい。そこで、制御演算部11は、二次特徴量VIの値が、二次特徴量VIに関する基準情報である最適値に近いほど、健全な溶接であると判定・評価する。ここでの最適値は、例えば2.5である。
【0118】
更に、二次特徴量VIIと判定・評価対象との関係性として、二次特徴量VIIが小さいとき、前方から撮影された溶接画像に基づく図16B中の外接矩形RA2の面積が大きくなるので、溶接後の状態が溶落ちになりやすい。一方、二次特徴量VIIが大きいとき、外接矩形RA2の面積が小さくなるので、溶接後に形成される裏波が不十分になりやすい。そこで、制御演算部11は、二次特徴量VIの値が、二次特徴量VIに関する基準情報である最適値に近いほど、健全な溶接であると判定・評価する。
【0119】
そして、上記説明した二次特徴量V~二次特徴量VIIに基づく判定又は評価は、第1カメラ10aによる溶接画像に基づいて特定される二次特徴量としての二次特徴量VIII~二次特徴量XIに基づく判定又は評価にも応用され得る。この場合も、自動溶接機による溶接では、溶接施工対象90が薄板である場合の溶接品質に関して、上記の三つの判定パターンのいずれに分類されるかが判定され得る。一方、手溶接では、溶接施工対象90が薄板である場合の技能に関して、上記の三つの判定パターンのいずれに分類されるかが評価され得る。
【0120】
二次特徴量VIIIと判定・評価対象との関係性として、二次特徴量VIIIが小さいとき、溶融池の左右幅が狭くなるので、溶接後の状態が溶落ちになりやすい。一方、二次特徴量VIIIが大きいとき、溶融池の左右幅が広くなるので、溶接後に形成される裏波が不十分になりやすい。そこで、制御演算部11は、二次特徴量VIIIの値が、二次特徴量VIIIに関する基準情報である最適値に近いほど、健全な溶接であると判定・評価する。ここでの最適値は、例えば0.8である。
【0121】
また、二次特徴量IXと判定・評価対象との関係性として、二次特徴量IXが小さいとき、溶融池の左上幅が狭くなるので、溶接後の状態が溶落ちになりやすい。一方、二次特徴量IXが大きいとき、溶融池の左上幅が広くなるので、溶接後に形成される裏波が不十分になりやすい。そこで、制御演算部11は、二次特徴量IXの値が、二次特徴量IXに関する基準情報である最適値に近いほど、健全な溶接であると判定・評価する。ここでの最適値は、例えば0.9である。
【0122】
また、二次特徴量Xと判定・評価対象との関係性として、二次特徴量Xが小さいとき、溶融池の左右幅が狭くなるので、溶接後の状態が溶落ちになりやすい。一方、二次特徴量Xが大きいとき、溶融池の左右幅が広くなるので、溶接後に形成される裏波が不十分になりやすい。そこで、制御演算部11は、二次特徴量Xの値が、二次特徴量Xに関する基準情報である最適値に近いほど、健全な溶接であると判定・評価する。ここでの最適値は、例えば0.62である。
【0123】
更に、二次特徴量XIと判定・評価対象との関係性として、二次特徴量XIが小さいとき、溶融池の左上幅が狭くなるので、溶接後の状態が溶落ちになりやすい。一方、二次特徴量XIが大きいとき、溶融池の左上幅が広くなるので、溶接後に形成される裏波が不十分になりやすい。そこで、制御演算部11は、二次特徴量XIの値が、二次特徴量XIに関する基準情報である最適値に近いほど、健全な溶接であると判定・評価する。ここでの最適値は、例えば1.2である。
【0124】
図19は、溶接施工対象90が厚板である場合に係る二次特徴量XIIに基づく判定・評価結果を示す表である。厚板に対する溶接施工では、一層を複数のパスで溶接する、いわゆる振り分けがあるため、同じ溶接条件であっても、欠陥としての融合不良が生じる場合と生じない場合とが想定される。そこで、二次特徴量XIIに基づく判定又は評価では、溶接現象に加えて左右非対称性にも着目する。図19では、パス数ごとに、欠陥の有無と、当該溶接施工にて特定された二次特徴量XIIの値とが示されている。ただし、パス数が「1」から「3」までの各値については、当該各パスでは振り分けがないため、表中から除外されている。また、欠陥の有無は、パスごとに目視にて判定されている。
【0125】
図19に示す判定・評価結果によると、二次特徴量XIIの値は、欠陥があると判断されたときのパスでは、欠陥がないと判断されたときのパスでの値から大きく変化する。つまり、二次特徴量XIIの値の大小は、判定・評価対象の良否の傾向に関係していると考えられる。そこで、制御演算部11は、二次特徴量XIIの判定・評価対象に対する傾向を参照し、二次特徴量XIIに基づいた判定又は評価を実行し得る。
【0126】
二次特徴量XIIに基づく判定又は評価について、自動溶接機による溶接では、溶接施工対象90が厚板である場合の溶接品質に関する融合不良の有無が判定され得る。一方、手溶接では、溶接施工対象90が厚板である場合の技能に関する融合不良の有無が評価され得る。
【0127】
二次特徴量XIIと判定・評価対象との関係性として、二次特徴量XIIが小さいとき、アークが下向きで安定しているので、溶融池の全域に渡って適切に入熱されているとみなされる。一方、二次特徴量XIIが大きいとき、アークが開先壁方向に大きく振れているので、前のパスによって溝状になっているところに入熱されていないとみなされる。そこで、制御演算部11は、二次特徴量XIIの値が、二次特徴量XIIに関する基準情報である閾値以上であるとき、融合不良が生じている可能性が高いと判定・評価する。
【0128】
次に、制御演算部11は、溶接施工を終了させ(溶接施工終了S108)、その後、溶接施工判定工程の実行を終了する。
【0129】
次に、本実施形態に係る溶接施工判定方法、及び、溶接施工判定装置1の効果について説明する。
【0130】
まず、本実施形態に係る溶接施工判定方法は、溶接施工中に溶融池Hを含む溶接部を撮影する工程(溶接画像入力工程S200)を有する。溶接施工判定方法は、溶接部の撮影により得られた溶接画像Iに基づいて、アークH又は溶融池Hの少なくともいずれかの形状に関する一次特徴量を特定する工程(一次特徴量特定工程S104)を有する。溶接施工判定方法は、一次特徴量を変数とする算出式から無次元量としての二次特徴量を特定する工程(二次特徴量特定工程S105)を有する。また、溶接施工判定方法は、二次特徴量に基づいて、溶接品質を判定する工程又は施工者の技能を評価する工程(判定・評価工程S107)を有する。
【0131】
一方、本実施形態に係る溶接施工判定装置1は、溶接施工中に溶融池を含む溶接部を撮影する撮影装置10を備える。溶接施工判定装置1は、アークH又は溶融池Hの少なくともいずれかの形状に関する一次特徴量を変数とする無次元量としての二次特徴量の算出式を格納する記憶部12を備える。また、溶接施工判定装置1は、撮影装置10から取得した溶接画像Iに基づいて一次特徴量を特定し、一次特徴量と、記憶部12から取得した算出式とに基づいて二次特徴量を特定する制御演算部11を備える。制御演算部11は、更に、二次特徴量に基づいて溶接品質を判定する又は施工者の技能を評価する。
【0132】
本実施形態に係る溶接施工判定方法及び溶接施工判定装置1では、溶接品質を判定する又は施工者の技能を評価するに際して、溶接画像Iに基づく一次特徴量を直接的に参照するのではなく、一次特徴量を変数とする二次特徴量を参照する。そして、二次特徴量は、無次元量として数値化されるので、溶接施工ごとに変化し得る溶接現象の影響を受けづらい。したがって、溶接施工ごとに、同一の溶接品質又は同一の技能である場合の判定・評価結果にバラツキが生じづらくなるので、溶接品質の判定又は技能の評価の精度が向上する。
【0133】
このように、本実施形態によれば、溶接品質の判定又は施工者の技能の評価の精度を向上させる溶接施工判定方法及び溶接施工判定装置1を提供することができる。
【0134】
ここで、溶接機80等の自動溶接機による溶接施工での溶接品質を判定する場合、当該溶接品質は、二次特徴量により数値化されることになる。したがって、このような溶接品質に係る判定結果を直接的に自動溶接機の施工条件に反映させることで、自動溶接機は、最適値からのずれを補正する適応制御をリアルタイムで実施することができる。
【0135】
一方、施工者の手溶接による溶接施工での技能を評価する場合、当該技能も、二次特徴量により数値化されることになる。したがって、このような技能に係る評価結果は、施工者の技能訓練又は技能伝承に関する指標として、より好適となり得る。
【0136】
また、本実施形態に係る溶接施工判定方法は、アークHに対応したアーク領域A、又は、溶融池Hに対応した溶融池領域Mを、溶接画像Iからマスク画像Iとして抽出する工程を有してもよい。当該工程は、アーク領域抽出工程S202又は溶融池領域抽出工程S203に相当する。一次特徴量は、アーク領域A又は溶融池領域Mの形状に基づいて抽出された、上記例示での特徴点P1A等に相当する複数の特徴点、アーク領域Aの外接矩形R、又は、溶融池領域Mの外接矩形Rから特定されてもよい。
【0137】
この溶接施工判定方法によれば、複数の特徴点、外接矩形R及び外接矩形Rは、マスク画像Iとして抽出されたアーク領域A又は溶融池領域Mから導出される。したがって、位置又は形状に関する精度を向上させたり、所望の特徴点を選択しやすくしたりするのに有利となり得る。
【0138】
また、本実施形態に係る溶接施工判定方法では、溶融池領域Mは、機械学習により抽出されてもよい。ここで採用される機械学習は、アーク領域Aの重心から溶接画像Iの画像端まで延びる溶融池の複数の探索線上の輝度値から正解の溶融池端点位置を学習して判断させることで溶融池の端点を予測してもよい。
【0139】
例えば、溶融池領域が、輝度の増減に着目して抽出されるとすると、溶接施工中に発生するヒュームの輝度又はアークから遠い位置の暗さの影響を受けて、最終的に特徴点を正確に抽出できない場合もあり得る。これに対して、本実施形態によれば、溶融池領域Mを抽出するに際して、データの特性を統計的に考慮する機械学習を適用するので、抽出される特徴点の正確性を向上させることができる。
【0140】
また、本実施形態に係る溶接施工判定方法では、複数の特徴点の一つは、マスク画像Iの窪みとして抽出された、アークHを形成するワイヤ82の先端点に対応してもよい。
【0141】
マスク画像Iの窪みとして抽出されたワイヤ82の先端点に対応する特徴点は、例えば、二次特徴量IIに関する図11等に例示した特徴点Pである。溶融池Hの動きがワイヤ82の動きに追従しているかどうかは、溶融池Hの形状が安定しているかどうかに関係する。この溶接施工判定方法によれば、例えば、溶接施工対象90が中板であり、かつ、判定・評価対象がワイヤ82への溶融池の追従性に関係した融合不良の有無である場合に好適となり得る。
【0142】
また、本実施形態に係る溶接施工判定方法では、複数の特徴点の一つは、アーク領域Aの重心に対応してもよい。
【0143】
アーク領域Aの重心に対応する特徴点は、例えば、二次特徴量XIIに関する図17A等に例示した特徴点Pである。一般に厚板に対して溶接施工する場合、一層を複数のパスで溶接する振り分けがある。そして、アーク領域Aの重心の動きは、アークの振れ幅に関係するので、アークが開先壁方向に大きく振れているときには、前のパスによって溝状になっているところに入熱されていないとみなし得る。この溶接施工判定方法によれば、例えば、溶接施工対象90が厚板であり、かつ、判定・評価対象が融合不良の有無である場合に好適となり得る。
【0144】
また、本実施形態に係る溶接施工判定方法では、二次特徴量は、溶接施工対象90ごと、若しくは、溶接品質の判定で着目する項目又は技能の評価で着目する項目ごとに設定されてもよい。又は、二次特徴量は、各々異なる撮影位置及び撮影方向から溶接部を撮影することで得られた複数の溶接画像Iごとに設定されてもよい。
【0145】
この溶接施工判定方法によれば、上記例示した二次特徴量I~二次特徴量XIIのように、少なくとも、いずれの溶接施工対象90、判定・評価対象、又は、溶接画像Iを取得する撮影装置10を選択するかによって、複数の二次特徴量を設定し得る。そして、複数の二次特徴量のうち、いずれか一つの二次特徴量に基づいて判定・評価結果を導出することもできるし、複数の二次特徴量に基づいて複合的に複数の判定・評価結果を導出することもできる。特に、複数の二次特徴量に基づいて複合的に複数の判定・評価結果を導出することにより、判定・評価結果の信頼性を向上させることができる。
【0146】
また、本実施形態に係る溶接施工判定方法では、一次特徴量は、二つの特徴点を通る直線であり、二次特徴量は、直線の傾きであってもよい。
【0147】
この場合の一次特徴量及び二次特徴量は、例えば、図10A及び図10Bに示した二次特徴量Iに関する組み合わせ、又は、図11A及び図11Bに示した二次特徴量IIに関する組み合わせに相当する。この溶接施工判定方法は、上記説明したとおり、溶接施工対象90が中板である場合の溶接品質又は技能に関する融合不良の有無を判定又は評価するのに有利となり得る。
【0148】
また、本実施形態に係る溶接施工判定方法では、一次特徴量は、二つの特徴点を結んだ線分であり、二次特徴量は、二つの特徴点の互いに異なる組み合わせで形成された一の線分の長さと他の線分の長さとの比であってもよい。
【0149】
この場合の一次特徴量及び二次特徴量は、例えば、図13A図13Cに示した二次特徴量IVに関する組み合わせに相当する。この溶接施工判定方法は、上記説明したとおり、溶接施工対象90が中板である場合で、自動溶接機による溶接では、溶接品質に関する材料への影響を判定する、又は、手溶接では、施工者の技能に関する溶接速度の許容範囲との誤差を評価するのに有利となり得る。
【0150】
又は、この場合の一次特徴量及び二次特徴量は、例えば、図14に示した二次特徴量Vに関する組み合わせ、又は、図15に示した二次特徴量VIに関する組み合わせに相当する。この溶接施工判定方法は、上記説明したとおり、溶接施工対象90が薄板である場合で、裏波形成性状が「溶落ち」、「健全な溶接」又は「裏波不十分」のいずれに分類されるかを判定又は評価するのに有利となり得る。
【0151】
又は、この場合の一次特徴量及び二次特徴量は、例えば、図17A図17Bに示した二次特徴量XIIに関する組み合わせに相当する。この溶接施工判定方法は、上記説明したとおり、溶接施工対象90が厚板である場合の溶接品質又は技能に関する融合不良の有無を判定又は評価するのに有利となり得る。
【0152】
また、本実施形態に係る溶接施工判定方法では、一次特徴量は、アーク領域Aの外接矩形Rの各辺の長さであってもよい。このとき、二次特徴量は、一の撮影位置及び撮影方向から撮影された溶接画像Iに基づく外接矩形RA1の面積と、他の撮影位置及び撮影方向から撮影された溶接画像Iに基づく外接矩形RA2の面積との比であってもよい。
【0153】
この場合の一次特徴量及び二次特徴量は、例えば、図16A及び図16Bに関連した二次特徴量VIIに関する組み合わせに相当する。この溶接施工判定方法は、上記説明したとおり、溶接施工対象90が薄板である場合で、裏波形成性状が「溶落ち」、「健全な溶接」又は「裏波不十分」のいずれに分類されるかを判定又は評価するのに有利となり得る。
【0154】
更に、本実施形態に係る溶接施工判定方法では、溶接品質又は技能は、二次特徴量の数値に基づいて予め規定された溶接品質の判定又は技能の評価の良否に係る基準情報を基準として判定又は評価されてもよい。
【0155】
この溶接施工判定方法によれば、当該溶接施工にて特定された二次特徴量が、予め二次特徴量の数値に基づいて規定された基準情報と比較されることで、簡易的に、溶接品質の判定又は技能の評価が実施され得る。
【0156】
また、本実施形態に係る溶接施工判定装置は、溶接施工対象90、及び、溶接品質の判定で着目する項目又は技能の評価で着目する項目を入力する入力部13を備えてもよい。撮影装置10は、撮影位置及び撮影方向が各々異なるように複数あってもよい。制御演算部11は、一次特徴量の特定に用いられる溶接画像Iを取得する撮影装置10を、複数の撮影装置10から選択してもよい。このとき、撮影装置10は、入力部13を介して入力された、溶接施工対象90ごと、又は、溶接品質の判定で着目する項目又は技能の評価で着目する項目ごとに、選択されてもよい。
【0157】
この溶接施工判定装置1によれば、制御演算部11は、撮影位置及び撮影方向が各々異なる複数の撮影装置10のうちの少なくともいずれかから溶接画像Iを取得する。したがって、制御演算部11は、採用する二次特徴量に合わせて適切な撮影装置10が撮影した溶接画像Iを用いることができる。
【0158】
いくつかの実施形態を説明したが、上記開示内容に基づいて実施形態の修正又は変形をすることが可能である。上記の実施形態のすべての構成要素、及び請求の範囲に記載されたすべての特徴は、それらが互いに矛盾しない限り、個々に抜き出して組み合わせてもよい。
【符号の説明】
【0159】
1 溶接施工判定装置
10 撮影装置
11 制御演算部
12 記憶部
13 入力部
アーク領域
アーク
溶融池
マスク画像
溶接画像
L1 第1長さ
L2 第2長さ
L3 第3長さ
L4 第4長さ
L5 第5長さ
L6 第6長さ
溶融池領域
,P1A,P1B,P,P2A,P2B,P,P3A,P3B,P4A,P4B 特徴点
外接矩形
A1 外接矩形
A2 外接矩形
外接矩形
図1
図2A
図2B
図2C
図2D
図3
図4
図5A
図5B
図5C
図5D
図6A
図6B
図7A
図7B
図8A
図8B
図9A
図9B
図10A
図10B
図11A
図11B
図12A
図12B
図13A
図13B
図13C
図14
図15
図16A
図16B
図17A
図17B
図18
図19