知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023087231
(43)【公開日】2023-06-23
(54)【発明の名称】溶接施工判定方法及び溶接施工判定装置
(51)【国際特許分類】
B23K 31/00 20060101AFI20230616BHJP
B23K 9/095 20060101ALI20230616BHJP
【ＦＩ】
B23K31/00 Z
B23K9/095 515A
B23K31/00 N
【審査請求】未請求
【請求項の数】12
【出願形態】ＯＬ
(21)【出願番号】P 2021201503
(22)【出願日】2021-12-13
【新規性喪失の例外の表示】特許法第３０条第２項適用申請有り 令和２年１２月１５日 溶接会館にて開催された２０２０年度第３回（通算第２９５回）化学機械溶接研究委員会にて発表 令和３年３月１０日 ウェブサイトにおける溶接学会２０２１年度春季全国大会の講演概要にて掲載 令和３年４月１４日 オンライン開催された溶接学会２０２１年度春季全国大会にて発表
(71)【出願人】
【識別番号】000000099
【氏名又は名称】株式会社ＩＨＩ
(74)【代理人】
【識別番号】100083806
【弁理士】
【氏名又は名称】三好 秀和
(74)【代理人】
【識別番号】100101247
【弁理士】
【氏名又は名称】高橋 俊一
(74)【代理人】
【識別番号】100095500
【弁理士】
【氏名又は名称】伊藤 正和
(74)【代理人】
【識別番号】100098327
【弁理士】
【氏名又は名称】高松 俊雄
(72)【発明者】
【氏名】野々村 将一
(72)【発明者】
【氏名】井上 洋輝
(72)【発明者】
【氏名】猪瀬 幸太郎
(57)【要約】
【課題】 溶接品質の判定又は施工者の技能の評価の精度を向上させる溶接施工判定方法を提供する。
【解決手段】 溶接施工判定方法は、溶接施工中に溶融池ＨＭを含む溶接部を撮影する工程Ｓ２００と、溶接部の撮影により得られた溶接画像ＩＰに基づいて、アークＨＡ又は溶融池ＨＭの少なくともいずれかの形状に関する一次特徴量を特定する工程Ｓ１０４と、一次特徴量を変数とする算出式から無次元量としての二次特徴量を特定する工程Ｓ１０５と、二次特徴量に基づいて、溶接品質を判定する工程又は施工者の技能を評価する工程Ｓ１０７とを有する。
【選択図】 図３
【解決手段】 溶接施工判定方法は、溶接施工中に溶融池ＨＭを含む溶接部を撮影する工程Ｓ２００と、溶接部の撮影により得られた溶接画像ＩＰに基づいて、アークＨＡ又は溶融池ＨＭの少なくともいずれかの形状に関する一次特徴量を特定する工程Ｓ１０４と、一次特徴量を変数とする算出式から無次元量としての二次特徴量を特定する工程Ｓ１０５と、二次特徴量に基づいて、溶接品質を判定する工程又は施工者の技能を評価する工程Ｓ１０７とを有する。
【選択図】 図３
【特許請求の範囲】
【請求項1】
溶接施工中に溶融池を含む溶接部を撮影する工程と、
前記溶接部の撮影により得られた溶接画像に基づいて、アーク又は前記溶融池の少なくともいずれかの形状に関する一次特徴量を特定する工程と、
前記一次特徴量を変数とする算出式から無次元量としての二次特徴量を特定する工程と、
前記二次特徴量に基づいて、溶接品質を判定する工程又は施工者の技能を評価する工程と、
を有する、溶接施工判定方法。
前記溶接部の撮影により得られた溶接画像に基づいて、アーク又は前記溶融池の少なくともいずれかの形状に関する一次特徴量を特定する工程と、
前記一次特徴量を変数とする算出式から無次元量としての二次特徴量を特定する工程と、
前記二次特徴量に基づいて、溶接品質を判定する工程又は施工者の技能を評価する工程と、
を有する、溶接施工判定方法。
【請求項2】
前記アークに対応したアーク領域、又は、前記溶融池に対応した溶融池領域を、前記溶接画像からマスク画像として抽出する工程を有し、
前記一次特徴量は、前記アーク領域又は前記溶融池領域の形状に基づいて抽出された、複数の特徴点、前記アーク領域の外接矩形、又は、前記溶融池領域の外接矩形から特定される、請求項１に記載の溶接施工判定方法。
前記一次特徴量は、前記アーク領域又は前記溶融池領域の形状に基づいて抽出された、複数の特徴点、前記アーク領域の外接矩形、又は、前記溶融池領域の外接矩形から特定される、請求項１に記載の溶接施工判定方法。
【請求項3】
前記溶融池領域は、前記アーク領域の重心から前記溶接画像の画像端まで延びる前記溶融池の複数の探索線上の輝度値から正解の溶融池端点位置を学習して判断させることで前記溶融池の端点を予測する機械学習により抽出される、請求項２に記載の溶接施工判定方法。
【請求項4】
複数の前記特徴点の一つは、前記マスク画像の窪みとして抽出された、前記アークを形成するワイヤの先端点に対応する、請求項２又は３に記載の溶接施工判定方法。
【請求項5】
複数の前記特徴点の一つは、前記アーク領域の重心に対応する、請求項２又は３に記載の溶接施工判定方法。
【請求項6】
前記二次特徴量は、溶接施工対象ごと、前記溶接品質の判定で着目する項目又は前記技能の評価で着目する項目ごと、又は、各々異なる撮影位置及び撮影方向から前記溶接部を撮影することで得られた複数の前記溶接画像ごとに設定される、請求項１～５のいずれか一項に記載の溶接施工判定方法。
【請求項7】
前記一次特徴量は、二つの前記特徴点を通る直線であり、
前記二次特徴量は、前記直線の傾きである、請求項２～５のいずれか一項に記載の溶接施工判定方法。
前記二次特徴量は、前記直線の傾きである、請求項２～５のいずれか一項に記載の溶接施工判定方法。
【請求項8】
前記一次特徴量は、二つの前記特徴点を結んだ線分であり、
前記二次特徴量は、二つの前記特徴点の互いに異なる組み合わせで形成された一の前記線分の長さと他の前記線分の長さとの比である、請求項２～５のいずれか一項に記載の溶接施工判定方法。
前記二次特徴量は、二つの前記特徴点の互いに異なる組み合わせで形成された一の前記線分の長さと他の前記線分の長さとの比である、請求項２～５のいずれか一項に記載の溶接施工判定方法。
【請求項9】
前記一次特徴量は、前記アーク領域の前記外接矩形の各辺の長さであり、
前記二次特徴量は、一の撮影位置及び撮影方向から撮影された前記溶接画像に基づく前記外接矩形の面積と、他の撮影位置及び撮影方向から撮影された前記溶接画像に基づく前記外接矩形の面積との比である、請求項２～５のいずれか一項に記載の溶接施工判定方法。
前記二次特徴量は、一の撮影位置及び撮影方向から撮影された前記溶接画像に基づく前記外接矩形の面積と、他の撮影位置及び撮影方向から撮影された前記溶接画像に基づく前記外接矩形の面積との比である、請求項２～５のいずれか一項に記載の溶接施工判定方法。
【請求項10】
前記溶接品質又は前記技能は、前記二次特徴量の数値に基づいて予め規定された前記溶接品質の判定又は前記技能の評価の良否に係る基準情報を基準として判定又は評価される、請求項１～９のいずれか一項に記載の溶接施工判定方法。
【請求項11】
溶接施工中に溶融池を含む溶接部を撮影する撮影装置と、
アーク又は前記溶融池の少なくともいずれかの形状に関する一次特徴量を変数とする無次元量としての二次特徴量の算出式を格納する記憶部と、
前記撮影装置から取得した溶接画像に基づいて前記一次特徴量を特定し、当該一次特徴量と、前記記憶部から取得した前記算出式とに基づいて前記二次特徴量を特定し、当該二次特徴量に基づいて溶接品質を判定する又は施工者の技能を評価する制御演算部と、
を備える、溶接施工判定装置。
アーク又は前記溶融池の少なくともいずれかの形状に関する一次特徴量を変数とする無次元量としての二次特徴量の算出式を格納する記憶部と、
前記撮影装置から取得した溶接画像に基づいて前記一次特徴量を特定し、当該一次特徴量と、前記記憶部から取得した前記算出式とに基づいて前記二次特徴量を特定し、当該二次特徴量に基づいて溶接品質を判定する又は施工者の技能を評価する制御演算部と、
を備える、溶接施工判定装置。
【請求項12】
溶接施工対象、及び、前記溶接品質の判定で着目する項目又は前記技能の評価で着目する項目を入力する入力部を備え、
前記撮影装置は、撮影位置及び撮影方向が各々異なるように複数あり、
前記制御演算部は、前記入力部を介して入力された、前記溶接施工対象ごと、又は、前記溶接品質の判定で着目する前記項目又は前記技能の評価で着目する前記項目ごとに、前記一次特徴量の特定に用いられる前記溶接画像を取得する前記撮影装置を、複数の前記撮影装置から選択する、請求項１１に記載の溶接施工判定装置。
前記撮影装置は、撮影位置及び撮影方向が各々異なるように複数あり、
前記制御演算部は、前記入力部を介して入力された、前記溶接施工対象ごと、又は、前記溶接品質の判定で着目する前記項目又は前記技能の評価で着目する前記項目ごとに、前記一次特徴量の特定に用いられる前記溶接画像を取得する前記撮影装置を、複数の前記撮影装置から選択する、請求項１１に記載の溶接施工判定装置。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、溶接施工判定方法及び溶接施工判定装置に関する。
【背景技術】
【0002】
従来、ＴＩＧ溶接又はＭＡＧ溶接等のアーク溶接による溶接施工に関して、溶接品質又は施工者の技能を判定・評価し、自動溶接機では適応制御に応用させたり、手溶接では技能を数値化させたりする方法等がある。特許文献１は、溶接施工中に視覚センサで撮影された溶融池とその近傍の画像から溶融池の左端点及び右端点を抽出することでルートギャップの変化量を算出し、当該変化量を溶接トーチの揺動幅又は溶接速度に応用する溶接制御方法に関する技術を開示している。一方、特許文献２は、溶接施工中に監視カメラで撮影された溶融池周辺の画像から抽出された特徴量に基づいて施工者の技能を評価する手溶接作業分析装置に関する技術を開示している。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２００６－２８１２８２号公報
【特許文献2】特開２００６－２８１２７０号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献１及び特許文献２に開示されている方法等では、溶接施工中に撮影された溶融池及びその近傍の画像から抽出された特徴量に基づいて、溶接機を適応制御させたり、施工者の技能を評価したりする。しかし、溶接現象は、無数かつ影響度の異なる因子が複雑に連成することで支配される。ここで、特許文献１に開示されている技術では、ルートギャップの変化量が溶接品質の良否判断の基準となる。ルートギャップは寸法値として表されるから、溶接施工ごとに何らかの因子が変化したとすると、互いに同じ溶融池形状であったとしても、その形状に対応したルートギャップの変化量が変化するおそれがある。したがって、ルートギャップの変化量が自動溶接機の溶接トーチの揺動幅等へ適切に反映されないこともあり得る。一方、特許文献２に開示されている技術では、監視カメラが手溶接トーチに一体的に取り付けられるため、撮影される画像が施工者の挙動に大きく影響を受けるという性質上、技能の良否判断の基準を一定化させて以後の判定・評価に反映させるには難がある。
【0005】
そこで、本開示は、溶接品質の判定又は施工者の技能の評価の精度を向上させる溶接施工判定方法及び溶接施工判定装置を提供することを目的とする。
【課題を解決するための手段】
【0006】
本開示の一態様に係る溶接施工判定方法は、溶接施工中に溶融池を含む溶接部を撮影する工程と、溶接部の撮影により得られた溶接画像に基づいて、アーク又は溶融池の少なくともいずれかの形状に関する一次特徴量を特定する工程と、一次特徴量を変数とする算出式から無次元量としての二次特徴量を特定する工程と、二次特徴量に基づいて、溶接品質を判定する工程又は施工者の技能を評価する工程と、を有する。
【0007】
上記の溶接施工判定方法は、アークに対応したアーク領域、又は、溶融池に対応した溶融池領域を、溶接画像からマスク画像として抽出する工程を有し、一次特徴量は、アーク領域又は溶融池領域の形状に基づいて抽出された、複数の特徴点、アーク領域の外接矩形、又は、溶融池領域の外接矩形から特定されてもよい。溶融池領域は、アーク領域の重心から溶接画像の画像端まで延びる溶融池の複数の探索線上の輝度値から正解の溶融池端点位置を学習して判断させることで溶融池の端点を予測する機械学習により抽出されてもよい。複数の特徴点の一つは、マスク画像の窪みとして抽出された、アークを形成するワイヤの先端点に対応してもよい。複数の特徴点の一つは、アーク領域の重心に対応してもよい。二次特徴量は、溶接施工対象ごと、溶接品質の判定で着目する項目又は技能の評価で着目する項目ごと、又は、各々異なる撮影位置及び撮影方向から溶接部を撮影することで得られた複数の溶接画像ごとに設定されてもよい。一次特徴量は、二つの特徴点を通る直線であり、二次特徴量は、直線の傾きであってもよい。一次特徴量は、二つの特徴点を結んだ線分であり、二次特徴量は、二つの特徴点の互いに異なる組み合わせで形成された一の線分の長さと他の線分の長さとの比であってもよい。一次特徴量は、アーク領域の外接矩形の各辺の長さであり、二次特徴量は、一の撮影位置及び撮影方向から撮影された溶接画像に基づく外接矩形の面積と、他の撮影位置及び撮影方向から撮影された溶接画像に基づく外接矩形の面積との比であってもよい。また、溶接品質又は技能は、二次特徴量の数値に基づいて予め規定された溶接品質の判定又は技能の評価の良否に係る基準情報を基準として判定又は評価されてもよい。
【0008】
また、本開示の他の態様に係る溶接施工判定装置は、溶接施工中に溶融池を含む溶接部を撮影する撮影装置と、アーク又は溶融池の少なくともいずれかの形状に関する一次特徴量を変数とする無次元量としての二次特徴量の算出式を格納する記憶部と、撮影装置から取得した溶接画像に基づいて一次特徴量を特定し、一次特徴量と、記憶部から取得した算出式とに基づいて二次特徴量を特定し、二次特徴量に基づいて溶接品質を判定する又は施工者の技能を評価する制御演算部と、を備える。
【0009】
上記の溶接施工判定装置は、溶接施工対象、及び、溶接品質の判定で着目する項目又は技能の評価で着目する項目を入力する入力部を備え、撮影装置は、撮影位置及び撮影方向が各々異なるように複数あり、制御演算部は、入力部を介して入力された、溶接施工対象ごと、又は、溶接品質の判定で着目する項目又は技能の評価で着目する項目ごとに、一次特徴量の特定に用いられる溶接画像を撮影する撮影装置を、複数の撮影装置から選択してもよい。
【発明の効果】
【0010】
本開示によれば、溶接品質の判定又は施工者の技能の評価の精度を向上させる溶接施工判定方法及び溶接施工判定装置を提供することができる。
【図面の簡単な説明】
【0011】
【図1】一実施形態に係る溶接施工判定装置の概略構成を示すブロック図である。
【図2A】第１カメラの設置位置及び撮影方向を示す斜視図である。
【図2B】第２カメラの設置位置及び撮影方向を示す斜視図である。
【図2C】第３カメラの設置位置及び撮影方向を示す斜視図である。
【図2D】第４カメラの設置位置及び撮影方向を示す斜視図である。
【図3】一実施形態に係る溶接施工判定工程を示すフローチャートである。
【図4】一次特徴量特定工程を示すフローチャートである。
【図5A】溶接画像入力工程で取得された溶接画像を示す図である。
【図5B】アーク領域と溶融池領域との各熱量領域を表示するマスク画像を示す図である。
【図5D】溶融池領域に関する特徴点の一例を示す画像を示す図である。
【図6A】第１カメラで撮影された溶接画像に複数の特徴点がプロットされた図である。
【図7A】第２カメラで撮影された溶接画像に複数の特徴点がプロットされた図である。
【図8A】第３カメラで撮影された溶接画像に複数の特徴点がプロットされた図である。
【図9A】第４カメラで撮影された溶接画像に複数の特徴点がプロットされた図である。
【図10A】二次特徴量Iに関する一次特徴量等が示された溶接画像を示す図である。
【図10B】入熱に対する二次特徴量Iを示すグラフである。
【図11A】二次特徴量IIに関する一次特徴量等が示された溶接画像を示す図である。
【図11B】入熱に対する二次特徴量IIを示すグラフである。
【図12A】二次特徴量IIIに関する一次特徴量等が示された溶接画像を示す図である。
【図12B】入熱に対する二次特徴量IIIを示すグラフである。
【図13A】二次特徴量IVに関する一次特徴量等が示された溶接画像を示す図である。
【図13B】第１の標準条件下での溶接速度に対する二次特徴量IVを示すグラフである。
【図13C】第２の標準条件下での溶接速度に対する二次特徴量IVを示すグラフである。
【図14】二次特徴量Vに関する一次特徴量等が示された溶接画像を示す図である。
【図15】二次特徴量VIに関する一次特徴量等が示された溶接画像を示す図である。
【図16A】二次特徴量VIIに関する一次特徴量等が示された溶接画像を示す図である。
【図16B】二次特徴量VIIに関する一次特徴量等が示された溶接画像を示す図である。
【図17A】二次特徴量XIIに関する複数の特徴点が溶接画像にプロットされた図である。
【図18】二次特徴量V～二次特徴量VIIに基づく判定・評価結果を示す表である。
【図19】二次特徴量XIIに基づく判定・評価結果を示す表である。
【発明を実施するための形態】
【0012】
以下、いくつかの例示的な実施形態について図面を参照して説明する。ここで、各実施形態に示す寸法、材料、その他、具体的な数値等は例示にすぎず、特に断る場合を除き、本開示を限定するものではない。また、実質的に同一の機能及び構成を有する要素については、同一の符号を付することにより重複説明を省略し、本開示に直接関係のない要素については図示を省略する。
【0013】
図１は、一実施形態に係る溶接施工判定装置１の概略構成を示すブロック図である。溶接施工判定装置１は、溶接施工中の溶融池を撮影して得られた画像に基づいて、溶接品質を判定し、又は、施工者の技能を評価する。
【0014】
溶接施工判定装置１において判定又は評価が行われる溶接は、自動溶接機による溶接であってもよいし、又は、施工者による手溶接であってもよい。ここで、手溶接には、いわゆる半自動溶接を含む。判定又は評価の対象とし得る溶接方式は、例えば、ＭＡＧ溶接、ＭＩＧ溶接又はＴＩＧ溶接等のアーク溶接である。本実施形態では、溶接施工判定装置１は、一例としてＭＡＧ溶接方式を採用した自動溶接機又は半自動溶接機としての溶接機８０が用いられて施工された溶接に関する品質の判定又は技能の評価を実施する。溶接機８０は、溶接トーチ８１と、溶接トーチ８１にワイヤ８２を自動で送給する不図示の送給装置とを含む（図２Ａ等参照）。ワイヤ８２は、例えばソリッドワイヤであり、溶接トーチ８１の先端部から溶接施工対象９０（図２Ａ等参照）に向けて供給される。ワイヤ８２と、被溶接部材（母材）としての溶接施工対象９０との間に発生したアークにより、ワイヤ８２と溶接施工対象９０とを溶融させることで、溶接が進行する。溶接トーチ８１は、溶接施工対象９０上の溶接部に向けてシールドガスを供給する。シールドガスは、例えば炭酸ガス等の活性ガスであり、大気との間でアーク及び溶融池の周囲を遮蔽する。
【0015】
溶接施工対象９０は、製品自体、又は、製品の一部を構成する部材であってもよい。又は、溶接施工対象９０は、例えば、日本産業規格（ＪＩＳ）の技能認定試験において採用されるテストピースであってもよい。また、溶接施工対象９０の形状は、例えば、突合せ溶接により互いに接合される平板である。ただし、溶接施工により作製された部材の最終形状は、平板状に限らず、管状であってもよい。
【0016】
溶接施工判定装置１は、撮影装置１０と、制御演算部１１と、記憶部１２と、入力部１３と、出力部１４とを備える。
【0017】
撮影装置１０は、溶接施工対象９０が溶接機８０によって溶接施工されている間に、溶接施工対象９０に形成される溶融池を含む溶接部を撮影する。撮影装置１０は、例えばＣＣＤカメラである。撮影装置１０は、それぞれ異なる視点から溶接部を撮影するために、複数存在する。本実施形態では、一例として、第１カメラ１０ａ、第２カメラ１０ｂ、第３カメラ１０ｃ及び第４カメラ１０ｄの計４つの撮影装置１０が採用される。以下、撮影装置１０が撮影した画像を「溶接画像」という。
【0018】
図２Ａ～図２Ｄは、溶接施工対象９０における溶融池に対する各々の撮影装置１０の設置位置及び撮影方向を例示する斜視図である。図２Ａ～図２Ｄには、板状の溶接施工対象９０と、溶接機８０の溶接トーチ８１と、溶接トーチ８１から溶接施工対象９０における溶接部に対して供給されるワイヤ８２とが示されている。また、図２Ａ～図２Ｄには、溶接方向ＤＷが白抜きの矢印で示されている。
【0019】
ここで、以下の各図で参照するＸＹ座標軸を設定する。本実施形態では、板状の溶接施工対象９０の主平面と平行となる平面として、ＸＹ平面を想定する。Ｘ軸は、溶接施工対象９０に設けられる直線状のルートの延伸方向に沿う。つまり、本実施形態における溶接方向ＤＷは、Ｘ軸に概ね沿う方向である。Ｙ軸は、Ｘ軸に対して垂直である。
【0020】
図２Ａは、第１カメラ１０ａの設置位置及び撮影方向を示す図である。第１カメラ１０ａの撮影方向は、溶接部を基準として、溶接方向ＤＷの左側面から水平角θＨ＝４５°、かつ、鉛直角θＶ＝４５°となる方向である。なお、図２Ａでは、溶接方向ＤＷの左側面で、かつ、水平角θＨ＝０°となる位置に破線が表示されている。そして、第１カメラ１０ａは、当該撮影方向の条件を満たしつつ、撮影距離ＬＳ＝２５０ｍｍとなる位置に設置される。
【0021】
図２Ｂは、第２カメラ１０ｂの設置位置及び撮影方向を示す図である。第２カメラ１０ｂの撮影方向は、溶接部を基準として、溶接方向ＤＷの左側面で、鉛直角θＶ＝４５°となる方向である。そして、第２カメラ１０ｂは、当該撮影方向の条件を満たしつつ、撮影距離ＬＳ＝２５０ｍｍとなる位置に設置される。
【0022】
図２Ｃは、第３カメラ１０ｃの設置位置及び撮影方向を示す図である。第３カメラ１０ｃの撮影方向は、溶接部を基準として、溶接方向ＤＷの正面で、鉛直角θＶ＝４５°となる方向である。そして、第３カメラ１０ｃは、当該撮影方向の条件を満たしつつ、撮影距離ＬＳ＝２５０ｍｍとなる位置に設置される。
【0023】
図２Ｄは、第４カメラ１０ｄの設置位置及び撮影方向を示す図である。第４カメラ１０ｄの撮影方向は、溶接部を基準として、溶接方向ＤＷの正面で、鉛直角θＶ＝１５°となる方向である。そして、第４カメラ１０ｄは、当該撮影方向の条件を満たしつつ、撮影距離ＬＳ＝２５０ｍｍとなる位置に設置される。
【0024】
なお、溶接施工判定装置１による判定又は評価に際して、溶接施工対象９０、評価対象又は標準条件が特定のものに限定されている場合には、必ずしも、４つの撮影装置１０のすべてが利用されるわけではない。したがって、予め利用が想定されていない撮影装置１０は、溶接施工判定装置１に備えられなくてもよい。一方、予め利用が想定されていない撮影装置１０であっても、例えば、その他の撮影装置１０のいずれかに撮影上の不具合が発生した場合を想定し、予備として溶接施工判定装置１に備えておくこともあり得る。この場合、不具合が発生した撮影装置１０から得られるはずの溶接画像に基づく特徴量を、予備の撮影装置１０から得られた溶接画像に基づく特徴量で補完することができる。
【0025】
制御演算部１１は、例えばＣＰＵ（中央演算処理装置）であり、本実施形態に係る溶接施工判定方法としての溶接施工判定工程に係るプログラムを実行する。制御演算部１１は、すべての撮影装置１０と、記憶部１２と、入力部１３とに、電気的に接続されている。また、溶接施工判定工程が実行されることで自動溶接機の溶接品質を判定する場合には、判定結果に基づいて自動溶接機の施工条件をリアルタイムで修正するために、制御演算部１１は、溶接機８０と電気的に接続されていてもよい。又は、溶接施工判定工程が実行されることで施工者の技能を評価する場合には、施工者、又は、溶接施工判定装置１を操作する操作者等に対して評価結果を示すために、制御演算部１１は、出力部１４と電気的に接続されていてもよい。
【0026】
記憶部１２は、例えば、半導体メモリー又はＨＤＤ（ハードディスクドライブ）等の磁気記憶装置であり、プログラム及びデータベース等を格納（保存）する。制御演算部１１は、記憶部１２に保存されているプログラム及びデータを適宜読み出すことができる。また、制御演算部１１は、記憶部１２に対して新たなデータを適宜書き込むことができる。
【0027】
また、記憶部１２は、プログラム格納部１５と、データベース格納部１６とを有する。プログラム格納部１５は、少なくとも、溶接施工判定工程の一連の制御に係る制御プログラムと、一次特徴量特定工程Ｓ１０４（図３参照）で実行される、機械学習プログラムを含む画像処理プログラムとを格納する。データベース格納部１６は、少なくとも、溶接施工判定工程にて照会される各種のデータベースを格納する。プログラム格納部１５に格納され得るデータベースは、標準条件取得工程Ｓ１０１（図３参照）で照会される標準条件データベースと、基準情報取得工程Ｓ１０６（図３参照）で照会される基準情報を格納する基準情報データベースとである。なお、標準条件データベース及び基準情報データベースの詳細については、標準条件取得工程Ｓ１０１又は基準情報取得工程Ｓ１０６に関する説明と併せて後述する。更に、記憶部１２は、撮影装置１０により撮影された溶接画像を保存する。
【0028】
入力部１３は、例えば、キーボード又はタッチパネル等の操作入力装置、情報を外部から受信する受信装置、又は、メモリーカード等の可搬性のメモリー装置から情報を読み込む入力ポートである。操作者は、操作入力装置としての入力部１３から直接的に各種情報を入力することができる。又は、制御演算部１１は、各種情報を、受信装置としての入力部１３からＬＡＮ又はインターネット等の通信ネットワークを介して外部のサーバー等から受信させることができる。更には、制御演算部１１は、各種情報を、入力ポートとしての入力部１３を介してメモリー装置から転送させることができる。入力部１３によって入力され得る情報は、初期条件設定工程Ｓ１００（図３参照）にて設定される初期条件である。なお、初期条件の詳細については、初期条件設定工程Ｓ１００に関する説明と併せて後述する。
【0029】
出力部１４は、モニター等の表示部、情報を外部に送信する送信装置、又は、メモリー装置に情報を書き込む出力ポートなどである。制御演算部１１は、溶接施工判定工程によって得られた判定・評価結果を、表示部としての出力部１４に表示させることで、施工者又は操作者に直接的に認識させることができる。又は、制御演算部１１は、判定・評価結果を、送信装置としての出力部１４から通信ネットワークを介して外部のサーバー等に送信させることができる。更には、制御演算部１１は、判定・評価結果を、出力ポートとしての出力部１４からメモリー装置に転送させることができる。
【0030】
次に、本実施形態に係る溶接施工判定方法、及び、溶接施工判定装置１の作用について説明する。
【0031】
図３は、本実施形態に係る溶接施工判定方法としての溶接施工判定工程を示すフローチャートである。溶接施工判定工程は、図３に示すフローチャートに沿った一連の工程を含む、溶接施工判定装置１の制御プログラムとして、制御演算部１１によって実行される。
【0032】
制御演算部１１は、溶接施工判定工程の実行を開始すると、まず、初期条件設定工程Ｓ１００を実行する。初期条件設定工程Ｓ１００では、制御演算部１１は、入力部１３を介した操作者による情報入力に基づいて、各種の初期条件を設定する。初期条件は、例えば、溶接施工対象９０及び判定・評価対象である。
【0033】
溶接施工対象９０は、溶接継手の種類又は具体的な形状等の観点から設定される。例えば、自動溶接機としての溶接機８０の溶接品質を判定する場合には、溶接施工対象９０として製品自体が選択されてもよい。又は、半自動溶接機としての溶接機８０を操作する施工者の技能を評価する場合には、溶接施工対象９０として各種のテストピースが選択されてもよい。
【0034】
以下、本実施形態における例示では、溶接施工対象９０は、日本産業規格の技能認定試験において採用されるテストピースの寸法に準拠して設定されたものとする。具体的には、図２Ａ～図２Ｄに示すように、溶接施工対象９０は、開先形状がＶ形となるように予め加工され、互いに開先が形成されている端部を接合面として突合せ溶接される、一対の板材である。例えば、溶接施工対象９０として、それぞれ板厚が異なる、薄板、中板及び厚板の三種類の板材が採用される。薄板の板厚は３．２ｍｍである。薄板同士の溶接は、開先角度が９０°で、ギャップ（ルート間隔）がおおよそ２ｍｍとなる条件下で施工される。中板の板厚は９．０ｍｍである。中板同士の溶接は、開先角度が７０°で、ギャップがおおよそ５ｍｍとなる条件下で施工される。また、厚板の板厚は１９．０ｍｍである。厚板同士の溶接は、開先角度が７０°で、ギャップがおおよそ５ｍｍとなる条件下で施工される。
【0035】
判定・評価対象は、溶接品質又は技能に関して着目する具体的な項目として設定される。例えば、溶接品質（溶接継手品質）に関する判定・評価対象としては、裏波形成性状である。
【0036】
次に、制御演算部１１は、標準条件取得工程Ｓ１０１を実行する。標準条件取得工程Ｓ１０１では、制御演算部１１は、標準条件データベースを照会することで、初期条件設定工程Ｓ１００で設定された初期条件に対応した標準条件を取得し、設定する。標準条件は、例えば、溶接継手の種類又は溶接施工対象９０の板厚又は材質などの初期条件ごとの、溶接電流、溶接電圧、溶接速度、溶接トーチ８１の角度、又は、判定・評価対象に応じた二次特徴量の算出式である。なお、本実施形態における二次特徴量については、二次特徴量特定工程Ｓ１０５と併せて後述する。標準条件データベースは、記憶部１２に含まれるデータベース格納部１６に予め格納される。標準条件データベースに保存されている二次特徴量の算出式は、以前の溶接施工時の溶接施工判定工程で実施された際の二次特徴量特定工程Ｓ１０５で特定されたものが持続的に保存されたものであってもよい。
【0037】
次に、制御演算部１１は、溶接施工を開始させる（溶接施工開始Ｓ１０２）。溶接施工が自動溶接機としての溶接機８０で実施される場合、制御演算部１１は、溶接機８０の動作を開始させてもよい。一方、溶接施工が手溶接として施工者により実施される場合、制御演算部１１は、施工者に対して、例えば、溶接施工を開始してもよい状態となった旨を表示部としての出力部１４に表示させることで認識させてもよい。
【0038】
次に、制御演算部１１は、溶接部撮影工程Ｓ１０３を実行する。溶接部撮影工程Ｓ１０３では、制御演算部１１は、溶接施工中に、第１カメラ１０ａ、第２カメラ１０ｂ、第３カメラ１０ｃ及び第４カメラ１０ｄのそれぞれの撮影装置１０に溶接部を撮影させる。撮影装置１０の撮影対象となる溶接部には、上記のとおり、溶接施工対象９０に形成される溶融池が含まれる。制御演算部１１は、撮影された溶接画像を記憶部１２に保存する。
【0039】
次に、制御演算部１１は、一次特徴量特定工程Ｓ１０４を実行する。図４は、一次特徴量特定工程Ｓ１０４を示すフローチャートである。一次特徴量特定工程Ｓ１０４は、図４に示すフローチャートに沿った一連の工程を含む画像処理プログラムとして、制御演算部１１に実行される。そして、一次特徴量特定工程Ｓ１０４では、制御演算部１１は、溶接画像に基づいて、最終的に一次特徴量を特定する。
【0040】
図５Ａ～図５Ｄは、一例として、第２カメラ１０ｂが撮影した溶接画像ＩＰに基づいて、一次特徴量特定工程Ｓ１０４に含まれる各工程で取得又は抽出される各画像を示す図である。図５Ｂ～図５Ｄでは、図５Ａに示す溶接画像ＩＰ中のアークに対応する領域を「アーク領域ＡＣ」と表記し、溶融池（溶融金属）に対応する領域を「溶融池領域ＭＰ」と表記する。なお、アーク領域ＡＣ及び溶融池領域ＭＰ以外の領域は、背景であり、図中では黒色で表されている。
【0041】
ここで、一次特徴量とは、溶融池を含む溶接部を直接的に認知する機能、すなわち、溶接部を撮影する各々の撮影装置１０から得られる、溶融池等の熱源領域の形状を表す量をいう。一次特徴量は、後述する二次特徴量ごとに予め規定される。例えば、一次特徴量は、一つの特徴点の位置、もしくは、二つの特徴点を結んだ線分の長さであってもよい。又は、一次特徴量は、複数の線分もしくは曲線から成る領域の面積であってもよい。
【0042】
制御演算部１１は、一次特徴量特定工程Ｓ１０４の実行を開始すると、まず、溶接画像入力工程Ｓ２００を実行する。溶接画像入力工程Ｓ２００では、制御演算部１１は、溶接部撮影工程Ｓ１０３において各々の撮影装置１０が撮影した溶接画像ＩＰのうち、所望の一次特徴量を特定するために必要な溶接画像ＩＰを、記憶部１２から取得する。
【0043】
図５Ａは、溶接画像入力工程Ｓ２００で取得された溶接画像ＩＰを示す図である。図５Ａに示す例では、溶接画像ＩＰがグレースケールで表現されているが、実際にはカラー画像である。溶接画像ＩＰでは、アークＨＡが白色又は白色に近い色で表され、溶融池ＨＭが概ねグレー色で表され、背景が黒色で表されている。
【0044】
次に、制御演算部１１は、フィルタ処理工程Ｓ２０１を実行する。フィルタ処理工程Ｓ２０１では、制御演算部１１は、溶接画像入力工程Ｓ２００において得られた溶接画像ＩＰに対して、例えばガウシアンフィルタによる処理を施し、溶接画像ＩＰ特有の熱量領域の揺らぎを抑える。
【0045】
次に、制御演算部１１は、アーク領域抽出工程Ｓ２０２を実行する。アーク領域抽出工程Ｓ２０２では、制御演算部１１は、フィルタ処理後の溶接画像ＩＰの中から、特定の色成分、例えば青成分を取り出すことで、アーク領域ＡＣとして抽出する。このとき、制御演算部１１は、青成分の画像を、予め設定した輝度値の閾値で二値化することで、最終的にアーク領域ＡＣを抽出してもよい。
【0046】
次に、制御演算部１１は、溶融池領域抽出工程Ｓ２０３を実行する。溶融池領域抽出工程Ｓ２０３では、制御演算部１１は、探索線上の波形から溶融池の端点を予測する学習モデルを採用した機械学習プログラムを実行することにより、溶融池領域ＭＰを抽出する。このとき、機械学習プログラムでの機械学習手法としては、評価関数として平均二乗誤差（ＭＳＥ）を用いるDeep Learningを採用し得る。
【0047】
制御演算部１１は、機械学習プログラムを実行して、例えば、正解の溶融池端点位置（１７１７画像×１２８探索線＝約２２万データ）を学習し、判断する。具体的には、制御演算部１１は、アーク領域抽出工程Ｓ２０２で抽出されたアーク領域ＡＣの重心を算出し、アーク領域ＡＣの重心を中心とした画像端までの溶融池の探索線を一周１２８本生成する。次に、制御演算部１１は、探索線上の輝度値の波形形状による７つのパターンの分類に合わせて、各探索線上における溶融池の端点を算出する。そして、制御演算部１１は、算出された溶融池の端点を探索線が隣接する点間で接続し、溶融池領域ＭＰとして抽出する。
【0048】
ここで、溶融池の端点の算出に関する上記の７つのパターンは、以下のとおりである。第１パターンは、溶融池のみの領域が続いた後に輪郭が出る波形形状である。第２パターンは、黄色い領域が二回以上出現する波形形状である。第３パターンは、アークの周りの熱量が高い黄色の領域ができる波形形状である。第４パターンは、アークと溶融池との縁が近い波形形状である。第５パターンは、一度背景に入った後に再びシールドガスが出る波形形状である。第６パターンは、シールドガスが溶融池の外側に広がっている波形形状である。また、第７パターンは、溶融池の輪郭の輝度値が背景に近い波形形状である。
【0049】
図５Ｂは、アーク領域抽出工程Ｓ２０２で抽出されたアーク領域ＡＣと、溶融池領域抽出工程Ｓ２０３で抽出された溶融池領域ＭＰとの各熱量領域を表示する画像を示す図である。アーク領域ＡＣ及び溶融池領域ＭＰは、図５Ｂに示すように、マスク画像ＩＭとして表される。
【0050】
次に、制御演算部１１は、外接矩形抽出工程Ｓ２０４を実行する。外接矩形抽出工程Ｓ２０４では、制御演算部１１は、アーク領域抽出工程Ｓ２０２で抽出されたアーク領域ＡＣのマスクから、アーク領域ＡＣの外接矩形ＲＡを抽出する。また、制御演算部１１は、溶融池領域抽出工程Ｓ２０３で抽出された溶融池領域ＭＰのマスクから、溶融池領域ＭＰの外接矩形ＲＢを抽出する。
【0051】
図５Ｃは、図５Ｂのマスク画像ＩＭに、アーク領域ＡＣの外接矩形ＲＡと、溶融池領域ＭＰの外接矩形ＲＢとを付加した画像を示す図である。外接矩形ＲＢは、画像の左下を原点として、左辺がマスクのＸ方向の最小値ＸＭ１を、右辺がマスクのＸ方向の最大値ＸＭ２を、下辺がマスクのＹ方向の最小値ＹＭ１を、上辺がマスクのＹ方向の最大値ＹＭ２をそれぞれ通る矩形として抽出される。ただし、外接矩形ＲＢに係るマスクは、溶融池領域ＭＰのマスクである。外接矩形ＲＡは、外接矩形ＲＢの抽出手法と同様の手法で抽出される。
【0052】
次に、制御演算部１１は、特徴点抽出工程Ｓ２０５を実行する。特徴点抽出工程Ｓ２０５では、制御演算部１１は、外接矩形抽出工程Ｓ２０４で抽出された外接矩形ＲＡ及び外接矩形ＲＢに基づいて、以後の一次特徴量の算出に用いられる特徴点を抽出する。
【0053】
図５Ｄは、外接矩形ＲＢに基づいて抽出される溶融池領域ＭＰに関する特徴点の一例を示す画像を示す図である。図５Ｄに示す４つの特徴点、すなわち、特徴点Ｐ１Ａ、特徴点Ｐ１Ｂ、特徴点Ｐ２Ａ及び特徴点Ｐ２Ｂは、以下で例示する図７Ｂに示す特徴点に対応する。
【0054】
特徴点抽出工程Ｓ２０５で抽出される特徴点は、溶接画像ＩＰに基づく。したがって、特徴点の抽出条件は、溶接画像ＩＰに影響する条件、具体的には、溶接画像ＩＰを撮影した撮影装置１０がいずれであるか、また、溶接施工対象９０の種類等によって、種々考えられる。以下、撮影装置１０及び溶接施工対象９０ごとの特徴点及びその抽出条件について例示する。
【0055】
【0056】
図６Ａは、複数の特徴点がプロットされた溶接画像を示す図である。第１例に係る特徴点は、例えば、特徴点Ｐ１Ａ、特徴点Ｐ１Ｂ、特徴点Ｐ２、特徴点Ｐ３Ａ、特徴点Ｐ３Ｂ、特徴点Ｐ４Ａ及び特徴点Ｐ４Ｂの計７つである。特徴点Ｐ１Ａは、溶融池領域の前端点である。特徴点Ｐ１Ｂは、溶融池領域の後端点である。特徴点Ｐ２は、溶融池領域の前端点と後端点との中点である。特徴点Ｐ３Ａは、溶融池領域の左端点である。特徴点Ｐ３Ｂは、溶融池領域の右端点である。特徴点Ｐ４Ａは、溶融池領域の上端点である。特徴点Ｐ４Ｂは、溶融池領域の下端点である。以下、各特徴点を示すに際して用いられる、前後、左右及び上下の各表現は、複数の特徴点同士の位置関係を簡易的に区別するためのものであり、例えば、溶接方向ＤＷに対する厳密な方向、又は、溶融池領域の厳密な形状に基づくものではない。
【0057】
図６Ｂは、溶融池領域のマスクに基づいて抽出される各特徴点の抽出条件を説明するためのグラフである。図６Ｂ中のアーク領域及び溶融池領域の各マスクは、図５Ｃ等に例示したアーク領域ＡＣ又は溶融池領域ＭＰに対応し、図６Ａに示す溶接画像に基づいて抽出される。溶融池領域の外接矩形は、図５Ｃ等に例示した溶融池領域ＭＰの外接矩形ＲＢに対応する。また、溶融池領域の外接矩形に関して、Ｘ方向の最小値をＸＭ１と、Ｘ方向の最大値をＸＭ２と、Ｙ方向の最小値をＹＭ１と、Ｙ方向の最大値をＹＭ２と、それぞれ表記する。
【0058】
図６Ｂを参照すると、第１例に係る特徴点の抽出条件は、以下のとおりである。特徴点Ｐ１Ａは、溶融池領域の外接矩形の左下の座標（ＸＭ１，ＹＭ１）から右上の座標（ＸＭ２，ＹＭ２）を通る直線と、溶融池領域のマスクの輪郭との２つの交点のうち、座標（ＸＭ１，ＹＭ１）に近い方の点として抽出される。特徴点Ｐ１Ｂは、同様に座標（ＸＭ１，ＹＭ１）から座標（ＸＭ２，ＹＭ２）を通る直線と、溶融池領域のマスクの輪郭との２つの交点のうち、座標（ＸＭ２，ＹＭ２）に近い方の点として抽出される。特徴点Ｐ２は、特徴点Ｐ１Ａと特徴点Ｐ１Ｂとの中点として抽出される。特徴点Ｐ３Ａは、特徴点Ｐ２からＸ軸の負の方向に延びる半直線と、溶融池領域のマスクの輪郭との交点として抽出される。特徴点Ｐ３Ｂは、特徴点Ｐ２からＸ軸の正の方向に延びる半直線と、溶融池領域のマスクの輪郭との交点として抽出される。特徴点Ｐ４Ａは、特徴点Ｐ２からＹ軸の正の方向に延びる半直線と、溶融池領域のマスクの輪郭との交点として抽出される。特徴点Ｐ４Ｂは、特徴点Ｐ２からＹ軸の負の方向に延びる半直線と、溶融池領域のマスクの輪郭との交点として抽出される。なお、図６Ａ及び図６Ｂでは、各特徴点を抽出するに際して参照される、２つの特徴点間を結ぶ線分が例示されている。
【0059】
【0060】
図７Ａは、複数の特徴点がプロットされた溶接画像を示す図である。第２例に係る特徴点は、例えば、特徴点Ｐ１Ａ、特徴点Ｐ１Ｂ、特徴点Ｐ２Ａ、特徴点Ｐ２Ｂ及び特徴点Ｐ３の計５つである。特徴点Ｐ１Ａは、溶融池領域の前端点である。特徴点Ｐ１Ｂは、溶融池領域の後端点である。特徴点Ｐ２Ａは、溶融池領域の左端点である。特徴点Ｐ２Ｂは、溶融池領域の右端点である。特徴点Ｐ３は、ワイヤ８２の先端点である。
【0061】
図７Ｂは、アーク領域及び溶融池領域の各マスクに基づいて抽出される各特徴点の抽出条件を説明するためのグラフである。図７Ｂにおける描画条件は、図６Ｂにおける描画条件と同一である。第２例に係る特徴点の抽出条件は、以下のとおりである。特徴点Ｐ１Ａは、Ｘ＝ＸＭ１となる点群からＹが中間値になる点として抽出される。特徴点Ｐ１Ｂは、Ｘ＝ＸＭ２となる点群からＹが中間値になる点として抽出される。特徴点Ｐ２Ａは、Ｙ＝ＹＭ２となる点群からＸが中間値になる点として抽出される。特徴点Ｐ２Ｂは、Ｙ＝ＹＭ１となる点群からＸが中間値になる点として抽出される。特徴点Ｐ３は、アーク領域の上部にあるマスクの窪みの下端として抽出される。
【0062】
ここで、制御演算部１１は、特徴点Ｐ３を抽出するに際して参照されるマスクの窪みを、例えば、アーク領域のマスクの上半分に対して、Ｘ方向に沿って、マスク上が２５５となり、背景が０（ゼロ）となるピクセル値を解析することで特定してもよい。この場合、制御演算部１１は、１ライン上のピクセル値が０（ゼロ）となる座標からＸ座標の平均値化した位置を窪みの候補として抽出する。次に、制御演算部１１は、窪みはＹ方向に３ライン以上連続するとの条件と、Ｙ方向に連続したラインの下端を窪みの端部として採用するとの条件とから、窪みの候補を絞り込む。そして、制御演算部１１は、最終的な窪みの候補から、Ｘ座標がアーク領域の重心に一番近いものを、特徴点Ｐ３を抽出するに際して参照されるマスクの窪みとして選択する。
【0063】
【0064】
図８Ａは、複数の特徴点がプロットされた溶接画像を示す図である。第３例に係る特徴点は、例えば、特徴点Ｐ１Ａ、特徴点Ｐ１Ｂ、特徴点Ｐ２Ａ、特徴点Ｐ２Ｂ及び特徴点Ｐ３の計５つである。特徴点Ｐ１Ａは、溶融池領域の上端点である。特徴点Ｐ１Ｂは、溶融池領域の下端点である。特徴点Ｐ２Ａは、溶融池領域の左端点である。特徴点Ｐ２Ｂは、溶融池領域の右端点である。特徴点Ｐ３は、ワイヤ８２の先端点である。
【0065】
図８Ｂは、アーク領域及び溶融池領域の各マスクに基づいて抽出される各特徴点の抽出条件を説明するためのグラフである。図８Ｂにおける描画条件は、図６Ｂにおける描画条件と同一である。第３例に係る特徴点の抽出条件は、以下のとおりである。特徴点Ｐ１Ａは、Ｙ＝ＹＭ２となる点群からＸが中間値になる点として抽出される。特徴点Ｐ１Ｂは、Ｙ＝ＹＭ１となる点群からＸが中間値になる点として抽出される。特徴点Ｐ２Ａは、Ｘ＝ＸＭ１となる点群からＹが中間値になる点として抽出される。特徴点Ｐ２Ｂは、Ｘ＝ＸＭ２となる点群からＹが中間値になる点として抽出される。特徴点Ｐ３は、上記の第２例の場合と同様に、アーク領域の上部にあるマスクの窪みの下端として抽出される。
【0066】
【0067】
図９Ａは、複数の特徴点がプロットされた溶接画像を示す図である。第４例に係る特徴点は、例えば、特徴点Ｐ１、特徴点Ｐ２Ａ、特徴点Ｐ２Ｂ、特徴点Ｐ３及び特徴点Ｐ４の計５つである。特徴点Ｐ１は、溶融池領域の前端点である。特徴点Ｐ２Ａは、溶融池領域の左端点である。特徴点Ｐ２Ｂは、溶融池領域の右端点である。特徴点Ｐ３は、ワイヤ８２の先端点である。特徴点Ｐ４は、アーク領域の下端点である。
【0068】
図９Ｂは、アーク領域及び溶融池領域の各マスクに基づいて抽出される各特徴点の抽出条件を説明するためのグラフである。図９Ｂにおける描画条件は、図６Ｂにおける描画条件と同一である。ただし、図９Ｂでは、アーク領域のＹ方向の最小値をＹＡ１と表記する。第４例に係る特徴点の抽出条件は、以下のとおりである。特徴点Ｐ１は、Ｙ＝ＹＭ１となる点群からＸが中間値になる点として抽出される。特徴点Ｐ２Ａは、Ｘ＝ＸＭ１となる点群からＹが中間値になる点として抽出される。特徴点Ｐ２Ｂは、Ｘ＝ＸＭ２となる点群からＹが中間値になる点として抽出される。特徴点Ｐ３は、上記の第２例の場合と同様に、アーク領域の上部にあるマスクの窪みの下端として抽出される。特徴点Ｐ４は、Ｙ＝ＹＡ１となる点群からＸが中間値になる点として抽出される。
【0069】
ここまで、特徴点及びその抽出条件の例として、溶接施工対象９０が中板である場合に関して説明した。しかし、特徴点抽出工程Ｓ２０５では、判定・評価対象によっては、溶接施工対象９０が例えば厚板である場合に関しても、同様に特徴点が抽出される。この溶接施工対象９０が厚板である場合の特徴点及びその抽出条件については、以下の図１７Ａ及び図１７Ｂを用いた二次特徴量XIIに係る説明において併せて例示する。
【0070】
そして、制御演算部１１は、特徴点抽出工程Ｓ２０５に引き続き、一次特徴量算出工程Ｓ２０６を実行する。一次特徴量算出工程Ｓ２０６では、制御演算部１１は、外接矩形抽出工程Ｓ２０４で抽出されたアーク領域ＡＣの外接矩形ＲＡ若しくは溶融池領域ＭＰの外接矩形ＲＢ、又は、特徴点抽出工程Ｓ２０５で抽出された特徴点を利用して、一次特徴量を算出する。ここで、一次特徴量は、初期条件設定工程Ｓ１００で設定された判定・評価対象に基づいて選択される二次特徴量から規定される。そこで、一次特徴量算出工程Ｓ２０６で算出され得る具体的な一次特徴量については、以下、二次特徴量特定工程Ｓ１０５で特定される二次特徴量に係る説明において、二次特徴量ごとに併せて例示する。制御演算部１１は、一次特徴量算出工程Ｓ２０６の終了後、溶接施工判定工程における一次特徴量特定工程Ｓ１０４を終了する。
【0071】
次に、制御演算部１１は、一次特徴量特定工程Ｓ１０４に引き続き、二次特徴量特定工程Ｓ１０５を実行する。二次特徴量とは、一次特徴量を変数とした算出式（二次特徴量の算出式）から得られる量をいう。二次特徴量は、一次特徴量同士の比、又は、二つの特徴点同士を結んだ線分の傾き等の無次元量であってもよい。二次特徴量特定工程Ｓ１０５では、制御演算部１１は、判定・評価対象に応じて標準条件取得工程Ｓ１０１で取得された二次特徴量の算出式を用いて二次特徴量を算出する。以下、溶接施工対象９０及び判定・評価対象ごとに選択及び特定される具体的な二次特徴量について例示する。
【0072】
【0073】
図１０Ａは、一次特徴量の特定に用いられた溶接画像上に、一次特徴量と、二次特徴量Iの算出式に係る線分とを示した図である。二次特徴量Iの特定に用いられる一次特徴量は、第２カメラ１０ｂが撮影した溶接画像に基づいて得られた特徴点Ｐ１Ａと特徴点Ｐ１Ｂとの各位置である。図１０Ａに示す溶接画像は、図７Ａに示す溶接画像に対応している。つまり、特徴点Ｐ１Ａは、溶融池領域の前端点である。特徴点Ｐ１Ｂは、溶融池領域の後端点である。この場合、二次特徴量Iの算出式は、特徴点Ｐ１Ａと特徴点Ｐ１Ｂとを通る直線の式である。そして、最終的に算出される二次特徴量Iは、特徴点Ｐ１Ａと特徴点Ｐ１Ｂとを通る直線の傾きであり、無次元量である。
【0074】
【0075】
図１１Ａは、一次特徴量の特定に用いられた溶接画像上に、一次特徴量と、二次特徴量IIの算出式に係る線分とを示した図である。二次特徴量IIの特定に用いられる一次特徴量は、第３カメラ１０ｃが撮影した溶接画像に基づいて得られた特徴点Ｐ３と特徴点Ｐ１Ｂとの各位置である。図１１Ａに示す溶接画像は、図８Ａに示す溶接画像に対応している。つまり、特徴点Ｐ３は、ワイヤ８２の先端点である。特徴点Ｐ１Ｂは、溶融池領域の前端点である。この場合、二次特徴量IIの算出式は、特徴点Ｐ３と特徴点Ｐ１Ｂとを通る直線の式である。そして、最終的に算出される二次特徴量IIは、特徴点Ｐ３と特徴点Ｐ１Ｂとを通る直線の傾きであり、無次元量である。
【0076】
【0077】
図１２Ａは、一次特徴量の特定に用いられた溶接画像上に、一次特徴量と、二次特徴量IIIの算出式に係る外接矩形とを示した図である。二次特徴量IIIの特定に用いられる一次特徴量は、第２カメラ１０ｂが撮影した溶接画像に基づいて得られた溶融池領域の外接矩形ＲＢの各辺の長さである。つまり、二次特徴量IIIの特定に際しては、外接矩形抽出工程Ｓ２０４で抽出された外接矩形ＲＢが参照されればよく、特徴点を要しない。なお、図１２Ａに示す溶接画像も、図７Ａに示す溶接画像に対応している。この場合、二次特徴量IIIの算出式は、外接矩形ＲＢの各辺の長さから外接矩形ＲＢの面積を算出する式である。そして、最終的に算出される二次特徴量IIIは、外接矩形ＲＢの面積である。
【0078】
【0079】
図１３Ａは、一次特徴量の特定に用いられた溶接画像上に、一次特徴量と、二次特徴量IVの算出式に係る線分とを示した図である。二次特徴量IVの特定に用いられる一次特徴量は、第２カメラ１０ｂが撮影した溶接画像に基づいて得られた四つの特徴点から算出される。具体的には、一次特徴量は、溶融池の長さに相当する特徴点Ｐ１Ａと特徴点Ｐ１Ｂとを結んだ線分の長さと、溶融池の幅に相当する特徴点Ｐ２Ａと特徴点Ｐ２Ｂとを結んだ線分の長さとである。図１３Ａに示す溶接画像は、図７Ａに示す溶接画像に対応している。つまり、特徴点Ｐ１Ａは、溶融池領域の前端点である。特徴点Ｐ１Ｂは、溶融池領域の後端点である。特徴点Ｐ２Ａは、溶融池領域の左端点である。特徴点Ｐ２Ｂは、溶融池領域の右端点である。この場合、二次特徴量IVの算出式は、特徴点Ｐ１Ａと特徴点Ｐ１Ｂとを結んだ線分の長さと、特徴点Ｐ２Ａと特徴点Ｐ２Ｂとを結んだ線分の長さとの比を算出する式である。そして、最終的に算出される二次特徴量IVは、溶融池の長さと幅との比（アスペクト比）として表される、特徴点Ｐ１Ａと特徴点Ｐ１Ｂとを結んだ線分の長さと、特徴点Ｐ２Ａと特徴点Ｐ２Ｂとを結んだ線分の長さとの比であり、無次元量である。
【0080】
ここまで、溶接施工対象９０が中板である場合に係る二次特徴量の例について説明したが、引き続き、溶接施工対象９０が薄板又は厚板である場合に係る二次特徴量の例について説明する。
【0081】
図１４、図１５、図１６Ａ及び図１６Ｂは、溶接施工対象９０が薄板であり、かつ、判定・評価対象が例えば裏波形成性状である場合に「溶落ち」、「健全な溶接」又は「裏波不十分」のいずれに分類されるかに係る二次特徴量に関する図である。図１４は、二次特徴量Vに関する図である。図１５は、二次特徴量VIに関する図である。図１６Ａ及び図１６Ｂは、二次特徴量VIIに関する図である。
【0082】
図１４は、一次特徴量の特定に用いられた溶接画像上に、一次特徴量と、二次特徴量Vの算出式に係る長さとを示した図である。二次特徴量Vの特定に用いられる一次特徴量は、第４カメラ１０ｄが撮影した溶接画像に基づいて得られた三つの特徴点から算出される。具体的には、一次特徴量は、溶融池の開先上部の長さに対応する、ワイヤ８２の先端点と溶融池領域の後端点との間の第１長さＬ１と、溶融池の開先下部の長さに対応する、ワイヤ８２の先端点と溶融池領域の前端点との間の第２長さＬ２とである。つまり、ここでいう三つの特徴点は、溶融池領域の前端点、溶融池領域の後端点、及び、ワイヤ８２の先端点に相当する。この場合、二次特徴量Vの算出式は、（第１長さＬ１／第２長さＬ２）で表される比を算出する式である。そして、最終的に算出される二次特徴量Vは、（第１長さＬ１／第２長さＬ２）として表される（溶融池の開先上部の長さ／溶融池の開先下部の長さ）であり、無次元量である。
【0083】
図１５は、一次特徴量の特定に用いられた溶接画像上に、一次特徴量と、二次特徴量VIの算出式に係る長さとを示した図である。二次特徴量VIの特定に用いられる一次特徴量は、第４カメラ１０ｄが撮影した溶接画像に基づいて得られた四つの特徴点から算出される。具体的には、一次特徴量は、溶融池の幅に対応する、溶融池領域の左端点と溶融池領域の右端点との間の第３長さＬ３と、溶融池の開先下部の長さに対応する、ワイヤ８２の先端点と溶融池領域の前端点との間の第４長さＬ４とである。つまり、ここでいう四つの特徴点は、溶融池領域の左端点、溶融池領域の右端点、溶融池領域の前端点、及び、ワイヤ８２の先端点に相当する。この場合、二次特徴量VIの算出式は、（第３長さＬ３／第４長さＬ４）で表される比を算出する式である。そして、最終的に算出される二次特徴量VIは、（第３長さＬ３／第４長さＬ４）として表される（溶融池の幅／溶融池の開先下部の長さ）であり、無次元量である。
【0084】
図１６Ａ及び図１６Ｂは、一次特徴量の特定に用いられた溶接画像上に、一次特徴量と、二次特徴量VIIの算出式に係る外接矩形とを示した図である。二次特徴量VIIの特定に用いられる一次特徴量は、まず、図１６Ａに示す、第２カメラ１０ｂが撮影した溶接画像に基づいて得られたアーク領域の外接矩形ＲＡ１の各辺の長さである。また、二次特徴量VIIの特定に用いられる一次特徴量は、図１６Ｂに示す、第４カメラ１０ｄが撮影した溶接画像に基づいて得られたアーク領域の外接矩形ＲＡ２の各辺の長さである。つまり、外接矩形ＲＡ１を特定する溶接画像は、上方から撮影されたものと考えることができ、外接矩形ＲＡ２を特定する溶接画像は、前方から撮影されたものと考えることができる。また、二次特徴量VIIの特定に際しては、外接矩形抽出工程Ｓ２０４で抽出された外接矩形ＲＡが参照されればよく、特徴点を要しない。この場合、二次特徴量VIIの算出式は、（外接矩形ＲＡ１の各辺の長さから導き出された外接矩形ＲＡ１の面積／外接矩形ＲＢ１の各辺の長さから導き出された外接矩形ＲＢ１の面積）で表される比を算出する式である。そして、最終的に算出される二次特徴量VIIは、（外接矩形ＲＡ１の面積／外接矩形ＲＢ１の面積）であり、無次元量である。
【0085】
その他、溶接施工対象９０が薄板で、かつ、判定・評価対象が「溶落ち」、「健全な溶接」又は「裏波不十分」のいずれに分類されるかである場合に係る二次特徴量としては、以下のように第１カメラ１０ａによる溶接画像に基づいて特定されるものであってもよい。
【0086】
例えば、別の二次特徴量としての二次特徴量VIIIの特定に用いられる一次特徴量は、第１カメラ１０ａが撮影した溶接画像に基づいて得られた以下の四つの特徴点から算出される。すなわち、一次特徴量は、溶融池の左右幅に対応する、溶融池領域の左端点と溶融池領域の右端点との間の長さと、溶融池の上下幅に対応する、溶融池領域の上端点と溶融池領域の下端点との間の長さとである。この場合、二次特徴量VIIIの算出式は、（溶融池の上下幅／溶融池の左右幅）で表される比を算出する式である。そして、最終的に算出される二次特徴量VIIIは、（溶融池の上下幅／溶融池の左右幅）であり、無次元量である。
【0087】
また、別の二次特徴量としての二次特徴量IXの特定に用いられる一次特徴量は、第１カメラ１０ａが撮影した溶接画像に基づいて得られた以下の四つの特徴点から算出される。すなわち、一次特徴量は、溶融池の左上幅に対応する、溶融池領域の上端点と溶融池領域の左端点との間の長さと、溶融池の上下幅に対応する、溶融池領域の上端点と溶融池領域の下端点との間の長さとである。この場合、二次特徴量IXの算出式は、（溶融池の上下幅／溶融池の左上幅）で表される比を算出する式である。そして、最終的に算出される二次特徴量IXは、（溶融池の上下幅／溶融池の左上幅）であり、無次元量である。
【0088】
また、別の二次特徴量としての二次特徴量Xの特定に用いられる一次特徴量は、第１カメラ１０ａが撮影した溶接画像に基づいて得られた以下の四つの特徴点から算出される。すなわち、一次特徴量は、溶融池の左右幅に対応する、溶融池領域の左端点と溶融池領域の右端点との間の長さと、溶融池の右下幅に対応する、溶融池領域の右端点と溶融池領域の下端点との間の長さとである。この場合、二次特徴量Xの算出式は、（溶融池の右下幅／溶融池の左右幅）で表される比を算出する式である。そして、最終的に算出される二次特徴量Xは、（溶融池の右下幅／溶融池の左右幅）であり、無次元量である。
【0089】
更に、別の二次特徴量としての二次特徴量XIの特定に用いられる一次特徴量は、第１カメラ１０ａが撮影した溶接画像に基づいて得られた以下の四つの特徴点から算出される。すなわち、一次特徴量は、溶融池の左上幅に対応する、溶融池領域の左端点と溶融池領域の上端点との間の長さと、溶融池の右下幅に対応する、溶融池領域の右端点と溶融池領域の下端点との間の長さとである。この場合、二次特徴量XIの算出式は、（溶融池の右下幅／溶融池の左上幅）で表される比を算出する式である。そして、最終的に算出される二次特徴量XIは、（溶融池の右下幅／溶融池の左上幅）であり、無次元量である。
【0090】
図１７Ａ及び図１７Ｂは、第３カメラ１０ｃによって撮影された溶接画像から抽出され、かつ、溶接施工対象９０が厚板である場合に係る、特徴点及びその抽出条件の第５例に関する図である。溶接施工対象９０が厚板であり、かつ、判定・評価対象が、振り分けがある溶接施工における融合不良の有無である場合には、図１７Ａ及び図１７Ｂに示す特徴点及びその抽出条件に基づいて二次特徴量XIIが特定され得る。
【0091】
図１７Ａは、複数の特徴点がプロットされた溶接画像を示す図である。第５例に係る特徴点は、例えば、特徴点Ｐ１Ｂ、特徴点Ｐ２Ａ、特徴点Ｐ２Ｂ及び特徴点Ｐ３の計４つである。特徴点Ｐ１Ｂは、溶融池領域の下端点である。特徴点Ｐ２Ａは、溶融池領域の左端点である。特徴点Ｐ２Ｂは、溶融池領域の右端点である。特徴点Ｐ３は、アーク領域の重心である。
【0092】
図１７Ｂは、アーク領域及び溶融池領域の各マスクに基づいて抽出される各特徴点の抽出条件を説明するためのグラフである。図１７Ｂ中のアーク領域及び溶融池領域の各マスクは、図１７Ａに示す溶接画像に基づいて抽出される。アーク領域の外接矩形に関して、Ｘ方向の最小値をＸＡ１と、Ｘ方向の最大値をＸＡ２と、Ｙ方向の最小値をＹＡ１と、Ｙ方向の最大値をＹＡ２と、それぞれ表記する。第５例に係る各特徴点は、基本的には、図８Ｂを用いて説明した第３例に係る特徴点の抽出条件を応用することで抽出され得る。一方、特徴点Ｐ３は、アーク領域の外接矩形の重心として抽出される。
【0093】
この場合、二次特徴量XIIの特定に用いられる一次特徴量は、特徴点Ｐ３と特徴点Ｐ１Ｂとの間の第５長さＬ５と、特徴点Ｐ２Ａと特徴点Ｐ２Ｂとの間の第６長さＬ６とである。第５長さＬ５は、アーク領域の重心と溶融池領域の前端点との間の長さに対応する。第６長さＬ６は、溶融池の幅に対応する。二次特徴量XIIの算出式は、（第５長さＬ５／第６長さＬ６）で表される比を算出する式である。そして、最終的に算出される二次特徴量XIIは、（第５長さＬ５／第６長さＬ６）として表される（アーク領域の重心と溶融池領域の前端点との間の長さ／溶融池の幅）であり、無次元量である。
【0094】
次に、制御演算部１１は、二次特徴量特定工程Ｓ１０５に引き続き、基準情報取得工程Ｓ１０６を実行する。基準情報取得工程Ｓ１０６では、制御演算部１１は、データベース格納部１６を照会し、以降の判定・評価工程Ｓ１０７における判定・評価の基準となる基準情報を取得する。基準情報とは、二次特徴量ごとに選択される、溶接状況数値、数値化に基づく品質判定、又は、技能の数値化を導く関係式などに関する情報をいう。基準情報は、データベース格納部１６内にある二次特徴量ごとに分類された各種の基準情報データベースに、持続的に格納されていく。以下、具体的な基準情報と、制御演算部１１が当該基準情報を取得するに際して照会するデータベースとについて、二次特徴量ごとに例示する。
【0095】
判定・評価対象に応じた二次特徴量が二次特徴量Iである場合の基準情報は、二次特徴量Iに対する融合不良の有無の閾値である。同様に、判定・評価対象に応じた二次特徴量が二次特徴量IIである場合の基準情報は、二次特徴量IIに対する融合不良の有無の閾値である。二次特徴量I又は二次特徴量IIに関する基準情報は、溶接品質判定又は技能数値化に関する第１の基準情報データベースに格納されている。
【0096】
また、判定・評価対象に応じた二次特徴量が二次特徴量IIIである場合の基準情報は、二次特徴量IIIと入熱との相関である。一方、判定・評価対象に応じた二次特徴量が二次特徴量IVである場合の基準情報は、二次特徴量IVと溶接速度との相関である。二次特徴量III又は二次特徴量IVに関する基準情報は、それぞれ、溶接状況数値化に関する第２の基準情報データベースに格納されている。
【0097】
また、判定・評価対象に応じた二次特徴量が二次特徴量Vである場合の基準情報は、二次特徴量Vで適正な溶融池形状となる最適値である。溶融池形状は、すなわち、裏波形成性状に対応する。同様に、判定・評価対象に応じた二次特徴量が二次特徴量VIから二次特徴量XIまでのいずれかである場合の基準情報は、その二次特徴量で適正な溶融池形状となる最適値である。二次特徴量Vから二次特徴量XIまでの各々の二次特徴量に関する基準情報は、裏波形成に関する第３の基準情報データベースに格納されている。
【0098】
更に、判定・評価対象に応じた二次特徴量が二次特徴量XIIである場合の基準情報は、二次特徴量XIIに対する、パス数ごとの融合不良の有無の閾値である。二次特徴量XIIに関する基準情報は、二次特徴量I又は二次特徴量IIに関する基準情報と同様に、第１の基準情報データベースに格納されている。
【0099】
次に、制御演算部１１は、判定・評価工程Ｓ１０７を実行する。判定・評価工程Ｓ１０７では、制御演算部１１は、二次特徴量特定工程Ｓ１０５で数値化された二次特徴量から、基準情報取得工程Ｓ１０６で取得された基準情報を基準として、溶接品質又は技能等をリアルタイムで判定又は評価する。制御演算部１１は、上記例示したような複数の二次特徴量のうち、いずれか一つの二次特徴量に基づいて判定・評価結果を導出してもよいし、複数の二次特徴量に基づいて複合的に複数の判定・評価結果を導出してもよい。本実施形態では、判定又は評価が行われる溶接は、自動溶接機による溶接、又は、半自動溶接を含む施工者による手溶接である。そこで、以下、二次特徴量ごとの判定・評価の例について、判定又は評価が行われる溶接及び評価・判定対象と関連させて説明する。
【0100】
二次特徴量Iに基づく判定又は評価について、自動溶接機による溶接では、溶接施工対象９０が中板である場合の溶接品質に関する融合不良の有無が判定され得る。一方、手溶接では、溶接施工対象９０が中板である場合の技能に関する融合不良の有無が評価され得る。
【0101】
図１０Ｂは、入熱（Ｊ／ｃｍ）に対する二次特徴量Iを示すグラフである。グラフ中、黒塗りの丸印で示されるプロットは、溶接部に融合不良が生じていない、すなわち、欠陥がないと判定されるときの二次特徴量Iに対応する。一方、白抜きの丸印で示されるプロットは、溶接部に融合不良が生じていると判定されるときの二次特徴量Iに対応する。
【0102】
二次特徴量Iと判定・評価対象との関係性として、二次特徴量Iが小さいとき、溶融池の形状は、直線状に近く、安定している。一方、二次特徴量Iが大きいとき、溶融池領域の前端点と溶融池領域の後端点とがＹ方向でずれていることになるので、溶融池は、蛇行しているような形状となり、不安定である。そこで、制御演算部１１は、二次特徴量Iの値が、二次特徴量Iに関する基準情報である閾値以上であるとき、融合不良が生じている可能性が高いと判定・評価する。一般的な溶接施工では、入熱が十分でない場合、低入熱条件で溶接されていることになるため、溶融池は蛇行しているような形状となりやすい。これに対して、二次特徴量Iに基づく判断又は評価によれば、入熱量に関わらず、融合不良の有無が判定又は評価される。
【0103】
二次特徴量IIに基づく判定又は評価について、自動溶接機による溶接と手溶接との双方で、二次特徴量Iに基づく場合と同様に、融合不良の有無が判定又は評価され得る。
【0104】
図１１Ｂは、入熱（Ｊ／ｃｍ）に対する二次特徴量IIを示すグラフである。グラフ中、黒塗りの丸印で示されるプロットは、溶接部に融合不良が生じていない、すなわち、欠陥がないと判定されるときの二次特徴量IIに対応する。一方、白抜きの丸印で示されるプロットは、溶接部に融合不良が生じていると判定されるときの二次特徴量IIに対応する。
【0105】
二次特徴量IIと判定・評価対象との関係性として、二次特徴量IIが小さいとき、ワイヤ８２の動きに溶融池の動きが追従していないことになるので、溶融池の形状は不安定である。一方、二次特徴量IIが大きいとき、ワイヤ８２の直下に溶融池領域の前端点が位置することになるので、溶融池の形状は安定している。そこで、制御演算部１１は、二次特徴量IIの値が、二次特徴量IIに関する基準情報である閾値以上であるとき、融合不良が生じている可能性が高いと判定・評価する。一般的な溶接施工では、運棒が不適切である場合、低入熱条件で溶接されていることになるため、ワイヤ８２の動きに溶融池の動きが追従しにくい。これに対して、二次特徴量IIに基づく判断又は評価によれば、入熱量に関わらず、融合不良の有無が判定又は評価される。
【0106】
二次特徴量IIIに基づく判定又は評価について、自動溶接機による溶接では、溶接施工対象９０が中板である場合の溶接品質に関する材料への影響が判定され得る。一方、手溶接では、溶接施工対象９０が中板である場合の技能に関する入熱量の許容範囲との誤差が評価され得る。
【0107】
図１２Ｂは、入熱（Ｊ／ｃｍ）に対する二次特徴量IIIを示すグラフである。グラフ中、予め規定された入熱量の許容範囲が、破線で囲まれた領域として示されている。
【0108】
二次特徴量IIIと判定・評価対象との関係性として、二次特徴量IIIが小さいときは、入熱が十分でないのに対して、二次特徴量IIIが大きいときは、入熱が過多である。そこで、制御演算部１１は、二次特徴量IIIに関する基準情報である相関に、当該溶接施工中に撮影された溶接画像に基づいて算出された二次特徴量IIIを当てはめることで入熱量を推測し、推測された入熱量が許容範囲にあるかどうかを判定・評価する。
【0109】
ここで、二次特徴量IIIは、第２カメラ１０ｂが撮影した溶接画像に基づく。そして、第２カメラ１０ｂが施工者自身に搭載される場合もあり得る。しかし、二次特徴量IIIは、溶融池の寸法に関連する外接矩形ＲＢの面積であり、無次元量ではない。そのため、例えば、第２カメラ１０ｂが施工者自身に搭載された場合、施工者と溶融部との距離が変化したときに、第２カメラ１０ｂの画角における溶融池の寸法も変化するので、入熱量の正確な推測が不能となることもあり得る。そこで、制御演算部１１は、別途設置されるＩＭＵ（慣性計測ユニット）センサに溶接施工中の施工者と溶接部との間の距離を計測させることで、ＩＭＵセンサが計測した距離に応じて外接矩形ＲＢの面積を判定・評価可能な値に変換してもよい。
【0110】
二次特徴量IVに基づく判定又は評価について、自動溶接機による溶接では、溶接施工対象９０が中板である場合の溶接品質に関する材料への影響が判定され得る。一方、手溶接では、溶接施工対象９０が中板である場合の技能に関する溶接速度の許容範囲との誤差が評価され得る。
【0111】
図１３Ｂ及び図１３Ｃは、溶接速度（ｃｍ／ｍｉｎ）に対する二次特徴量IVを示すグラフである。図１３Ｂにおける二次特徴量IVは、溶接電流が１６０Ａで、溶接電圧が２１．９Ｖである第１の標準条件下で得られたものである。図１３Ｃにおける二次特徴量IVは、溶接電流が２３０Ａで、溶接電圧が２６．０Ｖである第２の標準条件下で得られたものである。また、各グラフ中、予め規定された溶接速度の許容範囲が、破線で囲まれた領域として示されている。
【0112】
二次特徴量IVと判定・評価対象との関係性として、同電流かつ同電圧となる標準条件下では、二次特徴量IVが小さいときは、溶接速度が速いのに対して、二次特徴量IVが大きいときは、溶接速度が遅い。そこで、制御演算部１１は、二次特徴量IVに関する基準情報である相関に、当該溶接施工中に撮影された溶接画像に基づいて算出された二次特徴量IVを当てはめることで溶接速度を推測し、推測された溶接速度が許容範囲にあるかどうかを判定・評価する。同電流・同電圧との条件下では、溶接速度が速い場合、溶融池の長さが長くなる傾向があるため、二次特徴量IVは小さくなる。そのため、二次特徴量IVに基づく判断又は評価では、溶接画像に基づいて溶接速度が推測され得る。
【0113】
図１８は、溶接施工対象９０が薄板で、かつ、判定・評価対象が裏波形成性状である場合に係る、二次特徴量V～二次特徴量VIIに基づく判定・評価結果を示す表である。表中の各二次特徴量の数値は、判定・評価番号が付された１１回の溶接施工にて得られたものである。つまり、一回の溶接施工では、二次特徴量Vから二次特徴量VIIまでの計３つの二次特徴量が特定される。なお、表中には、溶接施工ごとの溶接電流及び溶接速度が示されている。ここでは、判定・評価対象は、溶接施工後に目視にて、「溶落ち」、「健全な溶接」又は「裏波不十分」の三つの判定パターンに分類されている。この分類方法によれば、判定・評価対象が「溶落ち」又は「裏波不十分」のいずれかのパターンに分類された場合、健全な溶接ではないことになる。
【0114】
図１８に示す判定・評価結果によると、二次特徴量V～二次特徴量VIIの各々の値の大小は、判定・評価対象の良否の傾向に関係していると考えられる。そこで、制御演算部１１は、これらの二次特徴量同士の判定・評価対象に対する傾向を参照し、以下のように、二次特徴量V～二次特徴量VIIに基づいた判定又は評価を実行し得る。
【0115】
二次特徴量V～二次特徴量VIIに基づく判定又は評価について、自動溶接機による溶接では、溶接施工対象９０が薄板である場合の溶接品質に関して、上記の三つの判定パターンのいずれに分類されるかが判定され得る。一方、手溶接では、溶接施工対象９０が薄板である場合の技能に関して、上記の三つの判定パターンのいずれに分類されるかが評価され得る。
【0116】
二次特徴量Vと判定・評価対象との関係性として、二次特徴量Vが小さいとき、図１４中の第２長さＬ２に相当する溶融池の開先下部の長さが長くなるので、溶接後の状態が溶落ちになりやすい。一方、二次特徴量Vが大きいとき、溶融池の開先下部の長さが短くなるので、溶接後に形成される裏波が不十分になりやすい。そこで、制御演算部１１は、二次特徴量Vの値が、二次特徴量Vに関する基準情報である最適値に近いほど、健全な溶接であると判定・評価する。ここでの最適値は、例えば１．３である。
【0117】
また、二次特徴量VIと判定・評価対象との関係性として、二次特徴量VIが小さいとき、図１５中の第３長さＬ３に相当する溶融池の幅が狭くなるので、溶接後の状態が溶落ちになりやすい。一方、二次特徴量VIが大きいとき、溶融池の幅が広くなるので、溶接後に形成される裏波が不十分になりやすい。そこで、制御演算部１１は、二次特徴量VIの値が、二次特徴量VIに関する基準情報である最適値に近いほど、健全な溶接であると判定・評価する。ここでの最適値は、例えば２．５である。
【0118】
更に、二次特徴量VIIと判定・評価対象との関係性として、二次特徴量VIIが小さいとき、前方から撮影された溶接画像に基づく図１６Ｂ中の外接矩形ＲＡ２の面積が大きくなるので、溶接後の状態が溶落ちになりやすい。一方、二次特徴量VIIが大きいとき、外接矩形ＲＡ２の面積が小さくなるので、溶接後に形成される裏波が不十分になりやすい。そこで、制御演算部１１は、二次特徴量VIの値が、二次特徴量VIに関する基準情報である最適値に近いほど、健全な溶接であると判定・評価する。
【0119】
そして、上記説明した二次特徴量V～二次特徴量VIIに基づく判定又は評価は、第１カメラ１０ａによる溶接画像に基づいて特定される二次特徴量としての二次特徴量VIII～二次特徴量XIに基づく判定又は評価にも応用され得る。この場合も、自動溶接機による溶接では、溶接施工対象９０が薄板である場合の溶接品質に関して、上記の三つの判定パターンのいずれに分類されるかが判定され得る。一方、手溶接では、溶接施工対象９０が薄板である場合の技能に関して、上記の三つの判定パターンのいずれに分類されるかが評価され得る。
【0120】
二次特徴量VIIIと判定・評価対象との関係性として、二次特徴量VIIIが小さいとき、溶融池の左右幅が狭くなるので、溶接後の状態が溶落ちになりやすい。一方、二次特徴量VIIIが大きいとき、溶融池の左右幅が広くなるので、溶接後に形成される裏波が不十分になりやすい。そこで、制御演算部１１は、二次特徴量VIIIの値が、二次特徴量VIIIに関する基準情報である最適値に近いほど、健全な溶接であると判定・評価する。ここでの最適値は、例えば０．８である。
【0121】
また、二次特徴量IXと判定・評価対象との関係性として、二次特徴量IXが小さいとき、溶融池の左上幅が狭くなるので、溶接後の状態が溶落ちになりやすい。一方、二次特徴量IXが大きいとき、溶融池の左上幅が広くなるので、溶接後に形成される裏波が不十分になりやすい。そこで、制御演算部１１は、二次特徴量IXの値が、二次特徴量IXに関する基準情報である最適値に近いほど、健全な溶接であると判定・評価する。ここでの最適値は、例えば０．９である。
【0122】
また、二次特徴量Xと判定・評価対象との関係性として、二次特徴量Xが小さいとき、溶融池の左右幅が狭くなるので、溶接後の状態が溶落ちになりやすい。一方、二次特徴量Xが大きいとき、溶融池の左右幅が広くなるので、溶接後に形成される裏波が不十分になりやすい。そこで、制御演算部１１は、二次特徴量Xの値が、二次特徴量Xに関する基準情報である最適値に近いほど、健全な溶接であると判定・評価する。ここでの最適値は、例えば０．６２である。
【0123】
更に、二次特徴量XIと判定・評価対象との関係性として、二次特徴量XIが小さいとき、溶融池の左上幅が狭くなるので、溶接後の状態が溶落ちになりやすい。一方、二次特徴量XIが大きいとき、溶融池の左上幅が広くなるので、溶接後に形成される裏波が不十分になりやすい。そこで、制御演算部１１は、二次特徴量XIの値が、二次特徴量XIに関する基準情報である最適値に近いほど、健全な溶接であると判定・評価する。ここでの最適値は、例えば１．２である。
【0124】
図１９は、溶接施工対象９０が厚板である場合に係る二次特徴量XIIに基づく判定・評価結果を示す表である。厚板に対する溶接施工では、一層を複数のパスで溶接する、いわゆる振り分けがあるため、同じ溶接条件であっても、欠陥としての融合不良が生じる場合と生じない場合とが想定される。そこで、二次特徴量XIIに基づく判定又は評価では、溶接現象に加えて左右非対称性にも着目する。図１９では、パス数ごとに、欠陥の有無と、当該溶接施工にて特定された二次特徴量XIIの値とが示されている。ただし、パス数が「１」から「３」までの各値については、当該各パスでは振り分けがないため、表中から除外されている。また、欠陥の有無は、パスごとに目視にて判定されている。
【0125】
図１９に示す判定・評価結果によると、二次特徴量XIIの値は、欠陥があると判断されたときのパスでは、欠陥がないと判断されたときのパスでの値から大きく変化する。つまり、二次特徴量XIIの値の大小は、判定・評価対象の良否の傾向に関係していると考えられる。そこで、制御演算部１１は、二次特徴量XIIの判定・評価対象に対する傾向を参照し、二次特徴量XIIに基づいた判定又は評価を実行し得る。
【0126】
二次特徴量XIIに基づく判定又は評価について、自動溶接機による溶接では、溶接施工対象９０が厚板である場合の溶接品質に関する融合不良の有無が判定され得る。一方、手溶接では、溶接施工対象９０が厚板である場合の技能に関する融合不良の有無が評価され得る。
【0127】
二次特徴量XIIと判定・評価対象との関係性として、二次特徴量XIIが小さいとき、アークが下向きで安定しているので、溶融池の全域に渡って適切に入熱されているとみなされる。一方、二次特徴量XIIが大きいとき、アークが開先壁方向に大きく振れているので、前のパスによって溝状になっているところに入熱されていないとみなされる。そこで、制御演算部１１は、二次特徴量XIIの値が、二次特徴量XIIに関する基準情報である閾値以上であるとき、融合不良が生じている可能性が高いと判定・評価する。
【0128】
次に、制御演算部１１は、溶接施工を終了させ（溶接施工終了Ｓ１０８）、その後、溶接施工判定工程の実行を終了する。
【0129】
次に、本実施形態に係る溶接施工判定方法、及び、溶接施工判定装置１の効果について説明する。
【0130】
まず、本実施形態に係る溶接施工判定方法は、溶接施工中に溶融池ＨＭを含む溶接部を撮影する工程（溶接画像入力工程Ｓ２００）を有する。溶接施工判定方法は、溶接部の撮影により得られた溶接画像ＩＰに基づいて、アークＨＡ又は溶融池ＨＭの少なくともいずれかの形状に関する一次特徴量を特定する工程（一次特徴量特定工程Ｓ１０４）を有する。溶接施工判定方法は、一次特徴量を変数とする算出式から無次元量としての二次特徴量を特定する工程（二次特徴量特定工程Ｓ１０５）を有する。また、溶接施工判定方法は、二次特徴量に基づいて、溶接品質を判定する工程又は施工者の技能を評価する工程（判定・評価工程Ｓ１０７）を有する。
【0131】
一方、本実施形態に係る溶接施工判定装置１は、溶接施工中に溶融池を含む溶接部を撮影する撮影装置１０を備える。溶接施工判定装置１は、アークＨＡ又は溶融池ＨＭの少なくともいずれかの形状に関する一次特徴量を変数とする無次元量としての二次特徴量の算出式を格納する記憶部１２を備える。また、溶接施工判定装置１は、撮影装置１０から取得した溶接画像ＩＰに基づいて一次特徴量を特定し、一次特徴量と、記憶部１２から取得した算出式とに基づいて二次特徴量を特定する制御演算部１１を備える。制御演算部１１は、更に、二次特徴量に基づいて溶接品質を判定する又は施工者の技能を評価する。
【0132】
本実施形態に係る溶接施工判定方法及び溶接施工判定装置１では、溶接品質を判定する又は施工者の技能を評価するに際して、溶接画像ＩＰに基づく一次特徴量を直接的に参照するのではなく、一次特徴量を変数とする二次特徴量を参照する。そして、二次特徴量は、無次元量として数値化されるので、溶接施工ごとに変化し得る溶接現象の影響を受けづらい。したがって、溶接施工ごとに、同一の溶接品質又は同一の技能である場合の判定・評価結果にバラツキが生じづらくなるので、溶接品質の判定又は技能の評価の精度が向上する。
【0133】
このように、本実施形態によれば、溶接品質の判定又は施工者の技能の評価の精度を向上させる溶接施工判定方法及び溶接施工判定装置１を提供することができる。
【0134】
ここで、溶接機８０等の自動溶接機による溶接施工での溶接品質を判定する場合、当該溶接品質は、二次特徴量により数値化されることになる。したがって、このような溶接品質に係る判定結果を直接的に自動溶接機の施工条件に反映させることで、自動溶接機は、最適値からのずれを補正する適応制御をリアルタイムで実施することができる。
【0135】
一方、施工者の手溶接による溶接施工での技能を評価する場合、当該技能も、二次特徴量により数値化されることになる。したがって、このような技能に係る評価結果は、施工者の技能訓練又は技能伝承に関する指標として、より好適となり得る。
【0136】
また、本実施形態に係る溶接施工判定方法は、アークＨＡに対応したアーク領域ＡＣ、又は、溶融池ＨＭに対応した溶融池領域ＭＰを、溶接画像ＩＰからマスク画像ＩＭとして抽出する工程を有してもよい。当該工程は、アーク領域抽出工程Ｓ２０２又は溶融池領域抽出工程Ｓ２０３に相当する。一次特徴量は、アーク領域ＡＣ又は溶融池領域ＭＰの形状に基づいて抽出された、上記例示での特徴点Ｐ１Ａ等に相当する複数の特徴点、アーク領域ＡＣの外接矩形ＲＡ、又は、溶融池領域ＭＰの外接矩形ＲＢから特定されてもよい。
【0137】
この溶接施工判定方法によれば、複数の特徴点、外接矩形ＲＡ及び外接矩形ＲＢは、マスク画像ＩＭとして抽出されたアーク領域ＡＣ又は溶融池領域ＭＰから導出される。したがって、位置又は形状に関する精度を向上させたり、所望の特徴点を選択しやすくしたりするのに有利となり得る。
【0138】
また、本実施形態に係る溶接施工判定方法では、溶融池領域ＭＰは、機械学習により抽出されてもよい。ここで採用される機械学習は、アーク領域ＡＣの重心から溶接画像ＩＰの画像端まで延びる溶融池の複数の探索線上の輝度値から正解の溶融池端点位置を学習して判断させることで溶融池の端点を予測してもよい。
【0139】
例えば、溶融池領域が、輝度の増減に着目して抽出されるとすると、溶接施工中に発生するヒュームの輝度又はアークから遠い位置の暗さの影響を受けて、最終的に特徴点を正確に抽出できない場合もあり得る。これに対して、本実施形態によれば、溶融池領域ＭＰを抽出するに際して、データの特性を統計的に考慮する機械学習を適用するので、抽出される特徴点の正確性を向上させることができる。
【0140】
また、本実施形態に係る溶接施工判定方法では、複数の特徴点の一つは、マスク画像ＩＭの窪みとして抽出された、アークＨＡを形成するワイヤ８２の先端点に対応してもよい。
【0141】
マスク画像ＩＭの窪みとして抽出されたワイヤ８２の先端点に対応する特徴点は、例えば、二次特徴量IIに関する図１１等に例示した特徴点Ｐ３である。溶融池ＨＭの動きがワイヤ８２の動きに追従しているかどうかは、溶融池ＨＭの形状が安定しているかどうかに関係する。この溶接施工判定方法によれば、例えば、溶接施工対象９０が中板であり、かつ、判定・評価対象がワイヤ８２への溶融池の追従性に関係した融合不良の有無である場合に好適となり得る。
【0142】
また、本実施形態に係る溶接施工判定方法では、複数の特徴点の一つは、アーク領域ＡＣの重心に対応してもよい。
【0143】
アーク領域ＡＣの重心に対応する特徴点は、例えば、二次特徴量XIIに関する図１７Ａ等に例示した特徴点Ｐ３である。一般に厚板に対して溶接施工する場合、一層を複数のパスで溶接する振り分けがある。そして、アーク領域ＡＣの重心の動きは、アークの振れ幅に関係するので、アークが開先壁方向に大きく振れているときには、前のパスによって溝状になっているところに入熱されていないとみなし得る。この溶接施工判定方法によれば、例えば、溶接施工対象９０が厚板であり、かつ、判定・評価対象が融合不良の有無である場合に好適となり得る。
【0144】
また、本実施形態に係る溶接施工判定方法では、二次特徴量は、溶接施工対象９０ごと、若しくは、溶接品質の判定で着目する項目又は技能の評価で着目する項目ごとに設定されてもよい。又は、二次特徴量は、各々異なる撮影位置及び撮影方向から溶接部を撮影することで得られた複数の溶接画像ＩＰごとに設定されてもよい。
【0145】
この溶接施工判定方法によれば、上記例示した二次特徴量I～二次特徴量XIIのように、少なくとも、いずれの溶接施工対象９０、判定・評価対象、又は、溶接画像ＩＰを取得する撮影装置１０を選択するかによって、複数の二次特徴量を設定し得る。そして、複数の二次特徴量のうち、いずれか一つの二次特徴量に基づいて判定・評価結果を導出することもできるし、複数の二次特徴量に基づいて複合的に複数の判定・評価結果を導出することもできる。特に、複数の二次特徴量に基づいて複合的に複数の判定・評価結果を導出することにより、判定・評価結果の信頼性を向上させることができる。
【0146】
また、本実施形態に係る溶接施工判定方法では、一次特徴量は、二つの特徴点を通る直線であり、二次特徴量は、直線の傾きであってもよい。
【0147】
この場合の一次特徴量及び二次特徴量は、例えば、図１０Ａ及び図１０Ｂに示した二次特徴量Iに関する組み合わせ、又は、図１１Ａ及び図１１Ｂに示した二次特徴量IIに関する組み合わせに相当する。この溶接施工判定方法は、上記説明したとおり、溶接施工対象９０が中板である場合の溶接品質又は技能に関する融合不良の有無を判定又は評価するのに有利となり得る。
【0148】
また、本実施形態に係る溶接施工判定方法では、一次特徴量は、二つの特徴点を結んだ線分であり、二次特徴量は、二つの特徴点の互いに異なる組み合わせで形成された一の線分の長さと他の線分の長さとの比であってもよい。
【0149】
この場合の一次特徴量及び二次特徴量は、例えば、図１３Ａ～図１３Ｃに示した二次特徴量IVに関する組み合わせに相当する。この溶接施工判定方法は、上記説明したとおり、溶接施工対象９０が中板である場合で、自動溶接機による溶接では、溶接品質に関する材料への影響を判定する、又は、手溶接では、施工者の技能に関する溶接速度の許容範囲との誤差を評価するのに有利となり得る。
【0150】
又は、この場合の一次特徴量及び二次特徴量は、例えば、図１４に示した二次特徴量Vに関する組み合わせ、又は、図１５に示した二次特徴量VIに関する組み合わせに相当する。この溶接施工判定方法は、上記説明したとおり、溶接施工対象９０が薄板である場合で、裏波形成性状が「溶落ち」、「健全な溶接」又は「裏波不十分」のいずれに分類されるかを判定又は評価するのに有利となり得る。
【0151】
又は、この場合の一次特徴量及び二次特徴量は、例えば、図１７Ａ～図１７Ｂに示した二次特徴量XIIに関する組み合わせに相当する。この溶接施工判定方法は、上記説明したとおり、溶接施工対象９０が厚板である場合の溶接品質又は技能に関する融合不良の有無を判定又は評価するのに有利となり得る。
【0152】
また、本実施形態に係る溶接施工判定方法では、一次特徴量は、アーク領域ＡＣの外接矩形ＲＡの各辺の長さであってもよい。このとき、二次特徴量は、一の撮影位置及び撮影方向から撮影された溶接画像ＩＰに基づく外接矩形ＲＡ１の面積と、他の撮影位置及び撮影方向から撮影された溶接画像ＩＰに基づく外接矩形ＲＡ２の面積との比であってもよい。
【0153】
この場合の一次特徴量及び二次特徴量は、例えば、図１６Ａ及び図１６Ｂに関連した二次特徴量VIIに関する組み合わせに相当する。この溶接施工判定方法は、上記説明したとおり、溶接施工対象９０が薄板である場合で、裏波形成性状が「溶落ち」、「健全な溶接」又は「裏波不十分」のいずれに分類されるかを判定又は評価するのに有利となり得る。
【0154】
更に、本実施形態に係る溶接施工判定方法では、溶接品質又は技能は、二次特徴量の数値に基づいて予め規定された溶接品質の判定又は技能の評価の良否に係る基準情報を基準として判定又は評価されてもよい。
【0155】
この溶接施工判定方法によれば、当該溶接施工にて特定された二次特徴量が、予め二次特徴量の数値に基づいて規定された基準情報と比較されることで、簡易的に、溶接品質の判定又は技能の評価が実施され得る。
【0156】
また、本実施形態に係る溶接施工判定装置は、溶接施工対象９０、及び、溶接品質の判定で着目する項目又は技能の評価で着目する項目を入力する入力部１３を備えてもよい。撮影装置１０は、撮影位置及び撮影方向が各々異なるように複数あってもよい。制御演算部１１は、一次特徴量の特定に用いられる溶接画像ＩＰを取得する撮影装置１０を、複数の撮影装置１０から選択してもよい。このとき、撮影装置１０は、入力部１３を介して入力された、溶接施工対象９０ごと、又は、溶接品質の判定で着目する項目又は技能の評価で着目する項目ごとに、選択されてもよい。
【0157】
この溶接施工判定装置１によれば、制御演算部１１は、撮影位置及び撮影方向が各々異なる複数の撮影装置１０のうちの少なくともいずれかから溶接画像ＩＰを取得する。したがって、制御演算部１１は、採用する二次特徴量に合わせて適切な撮影装置１０が撮影した溶接画像ＩＰを用いることができる。
【0158】
いくつかの実施形態を説明したが、上記開示内容に基づいて実施形態の修正又は変形をすることが可能である。上記の実施形態のすべての構成要素、及び請求の範囲に記載されたすべての特徴は、それらが互いに矛盾しない限り、個々に抜き出して組み合わせてもよい。
【符号の説明】
【0159】
１ 溶接施工判定装置
１０ 撮影装置
１１ 制御演算部
１２ 記憶部
１３ 入力部
ＡＣ アーク領域
ＨＡ アーク
ＨＭ 溶融池
ＩＭ マスク画像
ＩＰ 溶接画像
Ｌ１ 第１長さ
Ｌ２ 第２長さ
Ｌ３ 第３長さ
Ｌ４ 第４長さ
Ｌ５ 第５長さ
Ｌ６ 第６長さ
ＭＰ 溶融池領域
Ｐ１，Ｐ１Ａ，Ｐ１Ｂ，Ｐ２，Ｐ２Ａ，Ｐ２Ｂ，Ｐ３，Ｐ３Ａ，Ｐ３Ｂ，Ｐ４Ａ，Ｐ４Ｂ 特徴点
ＲＡ 外接矩形
ＲＡ１ 外接矩形
ＲＡ２ 外接矩形
ＲＢ 外接矩形
１０ 撮影装置
１１ 制御演算部
１２ 記憶部
１３ 入力部
ＡＣ アーク領域
ＨＡ アーク
ＨＭ 溶融池
ＩＭ マスク画像
ＩＰ 溶接画像
Ｌ１ 第１長さ
Ｌ２ 第２長さ
Ｌ３ 第３長さ
Ｌ４ 第４長さ
Ｌ５ 第５長さ
Ｌ６ 第６長さ
ＭＰ 溶融池領域
Ｐ１，Ｐ１Ａ，Ｐ１Ｂ，Ｐ２，Ｐ２Ａ，Ｐ２Ｂ，Ｐ３，Ｐ３Ａ，Ｐ３Ｂ，Ｐ４Ａ，Ｐ４Ｂ 特徴点
ＲＡ 外接矩形
ＲＡ１ 外接矩形
ＲＡ２ 外接矩形
ＲＢ 外接矩形
【図1】
【図2A】
【図2B】
【図2C】
【図2D】
【図3】
【図4】
【図5A】
【図5B】
【図5C】
【図5D】
【図6A】
【図6B】
【図7A】
【図7B】
【図8A】
【図8B】
【図9A】
【図9B】
【図10A】
【図10B】
【図11A】
【図11B】
【図12A】
【図12B】
【図13A】
【図13B】
【図13C】
【図14】
【図15】
【図16A】
【図16B】
【図17A】
【図17B】
【図18】
【図19】
