特開 2023-74922 測定装置および測定プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023074922

(43)【公開日】2023-05-30

(54)【発明の名称】測定装置および測定プログラム

(51)【国際特許分類】

   G01B 11/02 20060101AFI20230523BHJP

   G06T 7/00 20170101ALI20230523BHJP

【ＦＩ】

G01B11/02 H

G06T7/00 610

【審査請求】未請求

【請求項の数】9

【出願形態】ＯＬ

(21)【出願番号】P 2021188114

(22)【出願日】2021-11-18

(71)【出願人】

【識別番号】000004617

【氏名又は名称】日本車輌製造株式会社

(74)【代理人】

【識別番号】110000534

【氏名又は名称】弁理士法人真明センチュリー

(72)【発明者】

【氏名】高橋 正樹

【テーマコード（参考）】

2F065

5L096

【Ｆターム（参考）】

2F065AA23

2F065BB05

2F065CC15

2F065DD03

2F065FF04

2F065JJ03

2F065JJ26

2F065QQ29

2F065QQ31

5L096AA02

5L096BA03

5L096CA02

5L096DA02

5L096FA09

5L096FA64

5L096FA67

5L096FA69

5L096HA08

5L096HA11

5L096KA04

(57)【要約】

【課題】スポット溶接することで形成された試験片の断面におけるナゲットの各部の寸法を正確に測定できる測定装置および測定プログラムを提供すること。
【解決手段】入力画像Ｐと特徴点判定モデルＭとから、入力画像ＰにおけるナゲットＮの特徴点Ｐｔが検出される。検出されたナゲットＮの特徴点Ｐｔからナゲット径Ｎｈｄ、上板板厚溶込深さＮｕｐ及び下板板厚溶込深さＮｄｄが測定される。このように、ナゲットＮの寸法の基準として検出された特徴点Ｐｔからナゲット径Ｎｈｄ、上板板厚溶込深さＮｕｐ及び下板板厚溶込深さＮｄｄを測定することで、作業員の熟練度や技量に左右されることなく、測定された寸法を正確なものとできる。
【選択図】図６

【特許請求の範囲】

【請求項1】

平板状の鋼板を重ね合わせてスポット溶接することで形成された試験片の断面の画像から前記試験片の断面における各部の寸法を測定する測定手段を備えた測定装置において、
前記試験片の断面の画像である入力画像を取得する取得手段と、
その取得手段で取得された入力画像からスポット溶接におけるナゲットの上、下、左または右の位置であって、当該ナゲットの寸法を測定する基準となる位置である特徴点を検出するナゲット検出手段と、を備え、
前記測定手段は、前記ナゲット検出手段で検出されたナゲットの特徴点からナゲットの各部の寸法を測定することを特徴とする測定装置。

【請求項2】

前記ナゲット検出手段は、前記ナゲットの左側および右側のそれぞれの位置であって、重ね合わせた前記鋼板の境目と前記ナゲットとの境界の位置をそれぞれ左特徴点および右特徴点として検出するものであり、
前記測定手段は、前記ナゲット検出手段で検出された左特徴点と右特徴点との間の距離であるナゲット径を測定することを特徴とする請求項１記載の測定装置。

【請求項3】

前記ナゲット検出手段は、
左特徴点と右特徴点とを結ぶ直線を左右直線として検出し、
前記ナゲットの上側および下側における前記ナゲットと前記鋼板との境界で形成される曲線において極小値または極大値を取る極値点に基づく位置を、それぞれ上特徴点および下特徴点として検出するものであり、
前記測定手段は、前記ナゲット検出手段で検出された左右直線と上特徴点および下特徴点との間の距離である板厚溶込深さを測定する溶込深さ測定手段を備えていることを特徴とする請求項２記載の測定装置。

【請求項4】

前記ナゲット検出手段は、前記ナゲットの上側における前記鋼板との境界で形成される曲線の極値点のうち、前記左右直線との距離が最小となる極値点に基づく位置を上特徴点として検出するものであり、
前記溶込深さ測定手段は、前記ナゲット検出手段で検出された左右直線と上特徴点との間の距離である上板板厚溶込深さを測定することを特徴とする請求項３記載の測定装置。

【請求項5】

前記ナゲット検出手段は、前記ナゲットの下側における前記鋼板との境界で形成される曲線の極値点のうち、前記左右直線との距離が最大となる極値点に基づく位置を下特徴点を検出するものであり、
前記溶込深さ測定手段は、前記ナゲット検出手段で検出された左右直線と下特徴点との距離である下板板厚溶込深さを測定することを特徴とする請求項３又は４に記載の測定装置。

【請求項6】

前記入力画像は前記試験片と共に寸法の基準となる基準物が含まれるように撮像され、
その基準物における所定の寸法と、その寸法に該当する前記入力画像のピクセル数との関係を表す変換係数を取得する変換係数取得手段を備え、
前記測定手段は、その変換係数取得手段で取得された変換係数に基づき、前記ナゲットの各部の寸法を測定することを特徴とする請求項１から５のいずれかに記載の測定装置。

【請求項7】

前記ナゲットを含む前記試験片の断面の画像と、その画像から検出すべき前記ナゲットの特徴点が描画された画像とを学習させた学習モデルである特徴点判定モデルを備え、
前記ナゲット検出手段は、前記特徴点判定モデルを用いた人工知能によって、前記取得手段で取得された入力画像から特徴点を検出することを特徴とする請求項１から６のいずれかに記載の測定装置。

【請求項8】

平板状の鋼板を重ね合わせてスポット溶接することで形成された試験片の断面の画像である入力画像を取得する取得ステップと、
その取得ステップで取得された入力画像からスポット溶接におけるナゲットの上、下、左または右の位置であって、当該ナゲットの寸法を測定する基準となる位置である特徴点を検出するナゲット検出ステップと、を備え、
前記ナゲット検出ステップで検出された特徴点からナゲットの各部の寸法を測定する測定ステップとを、コンピュータに実行させることを特徴とする測定プログラム。

【請求項9】

前記ナゲット検出ステップは、人工知能によって、前記取得ステップで取得された入力画像から前記特徴点を検出するものであることを特徴とする請求項８記載の測定プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、測定装置および測定プログラムに関するものである。

【背景技術】

【0002】

特許文献１では、様々な鋼種および板厚の鋼板１，２を、様々な条件でスポット溶接を行い、そのスポット溶接部３におけるナゲットの板厚方向の断面の画像から、ナゲット径ｄＮ等のナゲットの各部の寸法を画像解析で測定することが開示されている。これにより、ナゲットの寸法を自動で測定できるので、作業員が定規等でナゲットの寸法を測定する必要がない。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１５－０３３７０６号公報（例えば、段落００２９－００３５，表２，３）

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、特許文献１には、上記の画像からナゲットの各部の寸法を画像解析で測定する、具体的な手法が開示されていない。従って、上記の画像におけるナゲット以外の物体から寸法を測定したり、ナゲットにおいて寸法を測定すべき位置とズレた位置で寸法を測定する等して、ナゲットの各部の寸法を正確に測定できない虞があるという問題点があった。

【0005】

本発明は、上述した問題点を解決するためになされたものであり、スポット溶接することで形成された試験片の断面におけるナゲットの各部の寸法を正確に測定できる測定装置および測定プログラムを提供することを目的としている。

【課題を解決するための手段】

【0006】

この目的を達成するために本発明の測定装置は、平板状の鋼板を重ね合わせてスポット溶接することで形成された試験片の断面の画像から前記試験片の断面における各部の寸法を測定する測定手段を備えた装置であって、前記試験片の断面の画像である入力画像を取得する取得手段と、その取得手段で取得された入力画像からスポット溶接におけるナゲットの上、下、左または右の位置であって、当該ナゲットの寸法を測定する基準となる位置である特徴点を検出するナゲット検出手段と、を備え、前記測定手段は、前記ナゲット検出手段で検出されたナゲットの特徴点からナゲットの各部の寸法を測定するものである。

【0007】

また本発明の測定プログラムは、平板状の鋼板を重ね合わせてスポット溶接することで形成された試験片の断面の画像である入力画像を取得する取得ステップと、その取得ステップで取得された入力画像からスポット溶接におけるナゲットの上、下、左または右の位置であって、当該ナゲットの寸法を測定する基準となる位置である特徴点を検出するナゲット検出ステップと、前記ナゲット検出ステップで検出された特徴点からナゲットの各部の寸法を測定する測定ステップとを、コンピュータに実行させるものである。

【発明の効果】

【0008】

請求項１記載の測定装置によれば、平板状の鋼板を重ね合わせてスポット溶接することで形成された試験片の画像である入力画像が取得され、取得された入力画像からスポット溶接におけるナゲットの上、下、左または右の位置であって、当該ナゲットの寸法を測定する基準となる位置である特徴点が検出される。このようにナゲットの寸法の基準として検出された特徴点からナゲットの各部の寸法を測定することで、作業員の熟練度や技量に左右されることなく、測定された寸法を正確なものとできるという効果がある。

【0009】

請求項２記載の測定装置によれば、請求項１記載の測定装置の奏する効果に加え、次の効果を奏する。ナゲットにおける左右のそれぞれの位置であって、重ね合わせた鋼板の境目とナゲットとの境界の位置が左特徴点および右特徴点として検出され、検出された左特徴点と右特徴点との距離から、ナゲット径が算出される。これにより、作業員が定規等で実際に試験片を測定することなく、ナゲットの大きさの基準となるナゲット径を容易かつ正確に測定できるという効果がある。

【0010】

請求項３記載の測定装置によれば、請求項２記載の測定装置の奏する効果に加え、次の効果を奏する。左端点と右端点とを結ぶ直線が左右直線として検出され、ナゲットの上側および下側におけるナゲットと鋼板との境界で形成される曲線において極小値または極大値を取る極値点に基づく位置が、それぞれ上特徴点および下特徴点として検出される。そして、検出された左右直線と、上特徴点および下特徴点との距離である板厚溶込深さが測定される。これにより、作業員が定規等で実際に試験片を測定することなく、ナゲットの大きさの基準となる板厚溶込深さを容易かつ正確に測定できるという効果がある。

【0011】

請求項４記載の測定装置によれば、請求項３記載の測定装置の奏する効果に加え、次の効果を奏する。ナゲットの上側における鋼板との境界で形成される曲線の極値点のうち、左右直線との距離が最小となる極値点に基づく位置が上特徴点として検出され、検出された左右直線と上特徴点との距離である上板板厚溶込深さが測定される。これにより、作業員が定規等で実際に試験片を測定することなく、ナゲットの大きさの基準となる上板板厚溶込深さを容易かつ正確に測定できるという効果がある。

【0012】

請求項５記載の測定装置によれば、請求項３又は４に記載の測定装置の奏する効果に加え、次の効果を奏する。ナゲットの下側における鋼板との境界で形成される曲線の極値点のうち、左右直線との距離が最大となる極値点に基づく位置が下特徴点として検出され、検出された左右直線と下特徴点との距離である下板板厚溶込深さが測定される。これにより、作業員が定規等で実際に試験片を測定することなく、ナゲットの大きさの基準となる下板板厚溶込深さを容易かつ正確に測定できるという効果がある。

【0013】

請求項６記載の測定装置によれば、請求項１から５のいずれかに記載の測定装置の奏する効果に加え、次の効果を奏する。入力画像には、試験片と共に寸法の基準となる基準物が含まれ、その基準物の所定の寸法と、その寸法に該当する入力画像のピクセル数との関係を表す変換係数が取得され、その変換係数に基づいてナゲットの寸法が測定される。基準物の寸法に応じた変換係数に基づくことで、ナゲットの実際の寸法を容易かつ正確に測定できるという効果がある。

【0014】

請求項７記載の測定装置によれば、請求項１から６のいずれかに記載の測定装置の奏する効果に加え、次の効果を奏する。ナゲットを含む試験片Ｔの断面の画像と、その画像から検出すべきナゲットの特徴点が描画された画像とを学習させた学習モデルである特徴点判定モデルを備え、その特徴点判定モデルＭを用いた人工知能によって、入力画像から特徴点を検出される。これにより、ナゲットとナゲット以外の物体とが含まれる入力画像から、ナゲットの特徴点を好適に検出できるという効果がある。

【0015】

請求項８記載の測定プログラムによれば、請求項１記載の測定装置と同様の効果を奏する。また、請求項９記載の測定プログラムによれば、請求項７記載の測定装置と同様の効果を奏する。

【図面の簡単な説明】

【0016】

【図1】測定装置を表す模式図である。

【図2】（ａ）は、入力画像を表す図であり、（ｂ）は、ナゲット特徴点画像を表す図であり、（ｃ）は、ナゲットの各部の寸法を表す図である。

【図3】（ａ）は、測定装置の電気的構成を示すブロック図であり、（ｂ）は、学習データを模式的に示した図であり、（ｃ）は、結果テーブルを模式的に示した図であり、（ｄ）は、ＲＡＭを模式的に示した図である。

【図4】（ａ）は、メイン処理のフローチャートであり、（ｂ）は、学習処理のフローチャートである。

【図5】判定処理のフローチャートである。

【図6】検出処理のフローチャートである。

【図7】（ａ）は、ナゲットの検出開始前の表示装置の表示内容を表す図であり、（ｂ）は、ナゲットの検出開始後の表示装置の表示内容を表す図である。

【発明を実施するための形態】

【0017】

以下、本発明の好ましい実施形態について、添付図面を参照して説明する。図１は、測定装置１を表す模式図である。測定装置１は、スポット溶接することで形成された試験片Ｔの断面の画像を取得し、その画像に基づいて試験片の各部の寸法を測定し、測定された寸法に基づいてスポット溶接された結果が所定の規格（例えばＪＲＩＳ Ｗ ０１６１）に適合しているかを判定する装置である。

【0018】

測定装置１には、ユーザからの指示が入力される入力装置２と、表示装置３と、試験片Ｔの画像である入力画像Ｐ（図２（ａ）参照）を取得するカメラＣとが設けられる。表示装置３は、入力画像Ｐや試験片Ｔの各部の寸法等を表示する出力装置である。

【0019】

試験片Ｔは、少なくとも２枚の鋼板Ｓｐを重ね合わせてスポット溶接することで形成され、そのスポット溶接された結果が、所定の規格に適合しているかを判定するための部材である。試験片Ｔにおけるスポット溶接された部分が板厚方向に切断され、その切断面がカメラＣに向くように配置される。

【0020】

その試験片Ｔと隣り合う位置には、定規Ｊが配置される。定規Ｊは、所定間隔（例えば１ｍｍ）毎に目盛り線が刻まれた基準物である。定規Ｊは、その長手方向側が試験片Ｔの長手方向側と平行になるように配置される。

【0021】

カメラＣは、その撮影範囲ＣＡが入力画像Ｐ内に試験片Ｔと定規Ｊとが含まれるように、なおかつ入力画像Ｐの水平方向が試験片Ｔ（即ち２枚の鋼板Ｓｐ）及び定規Ｊの長手方向と一致するように配置される。次に図２（ａ）を参照して、カメラＣで取得される入力画像Ｐを説明する。

【0022】

図２（ａ）は、入力画像Ｐを表す図である。入力画像Ｐには、試験片Ｔの画像と定規Ｊとの画像が含まれる。試験片ＴにおけるナゲットＮは、スポット溶接によって２枚以上（本実施形態では２枚）の鋼板Ｓｐの重ね合わせた部分が溶融して形成される。以下、試験片Ｔにおける複数の鋼板Ｓｐのうち、入力画像Ｐにおける最も上側の鋼板Ｓｐを「上板」といい、最も下側の鋼板Ｓｐを「下板」という。

【0023】

ナゲットＮは、スポット溶接で形成される溶融金属のことであり、上板と下板との重ね合わせた部分が溶融され、上板と下板との境界部を跨ぐように形成される。従って、ナゲットＮの外形の形状は、必ずしも単純な直線状や円形状とならず、不定形となる。また、カメラＣが配置される照明の色温度やスポット溶接による溶融度合い、更には鋼板Ｓｐの鋼種等によって、入力画像Ｐに撮像されるナゲットＮやその周囲の鋼板Ｓｐの色味が様々となる。これらによって、従来の画像処理では、入力画像ＰからナゲットＮを正確に検出するのは困難である。

【0024】

そこで本実施形態では、多数のナゲットＮを含む試験片Ｔの断面の画像と、対応する画像から検出すべきナゲットＮの画像とを学習させた学習モデル（人工知能）である、特徴点判定モデルＭを用いて、入力画像ＰからナゲットＮを区別して検出したナゲット特徴点画像Ｐｎを作成し、そのナゲット特徴点画像Ｐｎに基づいてナゲットＮの寸法が測定される。かかる特徴点判定モデルＭによるナゲットＮの検出および寸法の測定を、図２（ｂ），（ｃ）を参照して説明する。

【0025】

図２（ｂ）は、ナゲット特徴点画像Ｐｎを表す図である。図２（ｂ）におけるナゲット特徴点画像Ｐｎは、図２（ａ）の入力画像Ｐを特徴点判定モデルＭに入力することで作成された、ナゲットＮにおける特徴点Ｐｔを描画した画像である。特徴点Ｐｔとは、ナゲットＮの寸法を測定する基準となる位置のことである。

【0026】

特徴点判定モデルＭは、多数のナゲットＮを含む試験片Ｔの断面の画像と、その画像から検出すべきナゲットＮの特徴点Ｐｔが描画された画像である教師画像との組み合わせを学習させた、学習モデルである。このような特徴点判定モデルＭに基づくことで、入力画像ＰにおけるナゲットＮの形状やナゲットＮ及び鋼板Ｓｐの色味が様々であっても、入力画像ＰからナゲットＮの特徴点Ｐｔを検出できる。本実施形態では特徴点判定モデルＭとして「Ｕ－Ｎｅｔ」と呼ばれる学習モデルを用いるが、他の学習モデル（例えばＲｅｓＮｅｔ）を用いても良い。

【0027】

入力画像Ｐから特徴点判定モデルＭに基づいて作成されたナゲット特徴点画像Ｐｎには、図２（ｂ）に示す通り、検出された入力画像ＰのナゲットＮにおける特徴点Ｐｔが描画される。具体的には、特徴点ＰｔはナゲットＮと鋼板Ｓｐとの境界に位置する点であり、特徴点Ｐｔとして左特徴点Ｐｔ１、右特徴点Ｐｔ２、上特徴点Ｐｔ３及び下特徴点Ｐｔ４の４点が検出される。

【0028】

左特徴点Ｐｔ１及び右特徴点Ｐｔ２は、それぞれナゲットＮの左側および右側の位置であって、重ね合わせた鋼板Ｓｐの境目とナゲットＮとの境界の位置が検出される。検出された左特徴点Ｐｔ１と右特徴点Ｐｔ２とを結ぶ直線が、左右直線Ｑとされる。

【0029】

上特徴点Ｐｔ３は、ナゲットＮの上側における鋼板Ｓｐとの境界で形成される曲線の極値点に基づく位置である。ここで極値点とは、曲線において極小値または極大値を取る位置のことをいう。具体的には、上特徴点Ｐｔ３は、ナゲットＮの上側における鋼板Ｓｐとの境界で形成される曲線の極値点のうち、左右直線Ｑとの距離Ｌｕが最小となる極値点の位置が検出される。

【0030】

また、下特徴点Ｐｔ４は、ナゲットＮの下側における鋼板Ｓｐとの境界で形成される極値点に基づく位置あり、具体的には、ナゲットＮの下側における鋼板Ｓｐとの境界で形成される曲線の極値点のうち、左右直線Ｑとの距離Ｌｄが最大となる極値点の位置が、下特徴点Ｐｔ４として検出される。

【0031】

このように検出されたナゲット特徴点画像Ｐｎの特徴点ＰｔからナゲットＮの位置に基づいて、ナゲットＮの各部の寸法が測定される。ここで、図２（ｃ）を参照して、測定装置１で測定されるナゲットＮの各部の寸法を説明する。

【0032】

図２（ｃ）は、ナゲットＮの各部の寸法を表す図である。図２（ｃ）は、図２（ａ）の入力画像ＰにナゲットＮの各部の寸法を示した画像Ｐ’を表している。本実施形態では、ナゲットＮの寸法として、ナゲット径Ｎｈｄと、上板板厚溶込深さＮｕｐと、下板板厚溶込深さＮｄｄとが測定される。具体的には、ナゲット径Ｎｈｄとして、左特徴点Ｐｔ１と右特徴点Ｐｔ２との間の距離が測定される。かかるナゲット径Ｎｈｄは、ナゲットＮにおける鋼板Ｓｐの長手方向の大きさの基準とされる。

【0033】

上記した通り、入力画像Ｐにおいては、鋼板Ｓｐの重ね合わせ方向、即ち鋼板Ｓｐの長手方向は、入力画像Ｐの水平方向と一致している。よって以下では、入力画像Ｐにおける鋼板Ｓｐの長さ方向を「水平方向」といい、厚さ方向を「垂直方向」という。

【0034】

上板板厚溶込深さＮｕｐとして、上特徴点Ｐｔ３と図２（ｂ）で上記した左右直線Ｑとの間の距離が測定され、下板板厚溶込深さＮｄｄとして、下特徴点Ｐｔ４と左右直線Ｑとの間の距離が測定される。これら上板板厚溶込深さＮｕｐ及び下板板厚溶込深さＮｄｄは、ナゲットＮにおける垂直方向の大きさの基準とされる。これら上板板厚溶込深さＮｕｐ及び下板板厚溶込深さＮｄｄをまとめて「板厚溶込深さ」という。

【0035】

本実施形態では、これらナゲット径Ｎｈｄ、上板板厚溶込深さＮｕｐ及び下板板厚溶込深さＮｄｄが、入力画像Ｐから特徴点判定モデルＭによって作成されたナゲット特徴点画像Ｐｎの特徴点Ｐｔに基づいて測定される。ナゲット特徴点画像Ｐｎの特徴点Ｐｔは、ナゲットＮの寸法を測定する基準として検出されている。かかる特徴点Ｐｔに基づいてナゲットＮの寸法を測定することで、測定されたナゲットＮの寸法を正確なものとすることができる。

【0036】

次に、図３を参照して、測定装置１の電気的構成を説明する。図３（ａ）は、測定装置１の電気的構成を示すブロック図である。図３（ａ）に示す通り、測定装置１は、ＣＰＵ１０と、ハードディスクドライブ（以下「ＨＤＤ」という）１１と、ＲＡＭ１２とを有し、これらはバスライン１３を介して入出力ポート１４にそれぞれ接続されている。入出力ポート１４には更に、上記した入力装置２、表示装置３及びカメラＣが接続される。

【0037】

ＣＰＵ１０は、バスライン１３により接続された各部を制御する演算装置である。ＨＤＤ１１は、書き換え可能な不揮発性の記憶装置であり、測定プログラム１１ａと、上記の特徴点判定モデルＭが記憶される特徴点判定モデル１１ｂと、学習データ１１ｃと、結果テーブル１１ｄと、判定基準データ１１ｅとがそれぞれ保存される。ＣＰＵ１０によって測定プログラム１１ａが実行されると、図４（ａ）のメイン処理が実行される。学習データ１１ｃには、特徴点判定モデルＭに学習させるための画像が記憶され、結果テーブル１１ｄには、測定されたナゲット径Ｎｈｄ、上板板厚溶込深さＮｕｐ及び下板板厚溶込深さＮｄｄ等が記憶される。図３（ｂ），（ｃ）を参照して、学習データ１１ｃ及び結果テーブル１１ｄを説明する。

【0038】

図３（ｂ）は、学習データ１１ｃを模式的に示した図である。学習データ１１ｃには、ナゲットＮが含まれる試験片Ｔの画像である入力画像と、その入力画像から検出すべきナゲットＮの特徴点Ｐｔが描画された教師画像とが対応付けられて記憶される。学習データ１１ｃには、ナゲットＮの形状やナゲットＮ及び鋼板Ｓｐの色味が様々な入力画像と、その入力画像に対応する教師画像の組み合わせが多数（例えば１００００組）記憶される。図４（ｂ）で後述する学習処理によって、学習データ１１ｃに記憶される入力画像および教師画像を用いて特徴点判定モデルＭの学習が行われる。

【0039】

図３（ｃ）は、結果テーブル１１ｄを模式的に示した図である。結果テーブル１１ｄには、入力画像Ｐから測定された上記のナゲット径Ｎｈｄと、上板板厚溶込深さＮｕｐと、下板板厚溶込深さＮｄｄと、入力装置２から入力された上板の公称板厚と、入力装置２から入力された下板の公称板厚と、測定に用いた入力画像Ｐと、その入力画像Ｐに対して測定されたナゲット径Ｎｈｄ、上板板厚溶込深さＮｕｐ及び下板板厚溶込深さＮｄｄ等を描画した結果画像Ｐｒ（図７（ｂ）参照）と、ナゲット径Ｎｈｄ、上板板厚溶込深さＮｕｐ及び下板板厚溶込深さＮｄｄ等から、スポット溶接が所定の規格に適合しているかどうかの判定結果（「ＯＫ」又は「ＮＧ」）とが対応付けられて記憶される。

【0040】

図３（ａ）に戻る。判定基準データ１１ｅには、ナゲット径Ｎｈｄ、上板板厚溶込深さＮｕｐ及び下板板厚溶込深さＮｄｄのそれぞれに対する所定の規格を満たすための基準値が記憶される。鋼板Ｓｐの上板または下板の板厚に応じて、所定の規格を満たすナゲット径Ｎｈｄ、上板板厚溶込深さＮｕｐ及び下板板厚溶込深さＮｄｄが異なるため、鋼板Ｓｐの上板または下板の板厚に応じたそれぞれの基準値が判定基準データ１１ｅに記憶される。なお、これら基準値は判定基準データ１１ｅに記憶されるものに限られず、鋼板Ｓｐの上板または下板の板厚等から算出しても良い。この場合、例えば、上板板厚溶込深さＮｕｐは鋼板Ｓｐの上板の板厚の２０～９０％の値と規定されているため、この規定に基づいて上板板厚溶込深さＮｕｐの基準値を算出すれば良い。

【0041】

ＲＡＭ１２は、ＣＰＵ１０が測定プログラム１１ａの実行時に各種のワークデータやフラグ等を書き換え可能に記憶するためのメモリである。図３（ｄ）を参照して、ＲＡＭ１２を説明する。

【0042】

図３（ｄ）は、ＲＡＭ１２を模式的に示した図である。図３（ｄ）に示す通り、ＲＡＭ１２には、入力画像Ｐが記憶される入力画像メモリ１２ａと、ナゲット特徴点画像Ｐｎが記憶されるナゲット特徴点画像メモリ１２ｂと、上板の公称板厚の実際の寸法が記憶される上板板厚メモリ１２ｃと、下板の公称板厚の実際の寸法が記憶される下板板厚メモリ１２ｄと、上板の公称板厚のピクセル数が記憶される上板板厚ピクセルメモリ１２ｅと、下板の公称板厚のピクセル数が記憶される下板板厚ピクセルメモリ１２ｆと、変換係数メモリ１２ｇと、上記のナゲット径Ｎｈｄが記憶されるナゲット径メモリ１２ｈと、上板板厚溶込深さＮｕｐが記憶される上板板厚溶込深さメモリ１２ｉと、下板板厚溶込深さＮｄｄが記憶される下板板厚溶込深さメモリ１２ｊと、結果画像Ｐｒ（図７（ｂ）参照）が記憶される結果画像メモリ１２ｋとが設けられる。

【0043】

変換係数メモリ１２ｇは、上記した定規Ｊの目盛り線に基づいて算出された変換係数が記憶されるメモリである。本実施形態において変換係数は、定規Ｊの隣り合う目盛り線の実際の距離を、入力画像Ｐにおける定規Ｊの隣り合う目盛り線間のピクセル数で除した値とされる。

【0044】

次に図４～７を参照して、測定装置１のＣＰＵ１０で実行されるメイン処理を説明する。図４（ａ）は、メイン処理のフローチャートである。メイン処理は、測定装置１の電源投入後に実行される処理である。

【0045】

メイン処理はまず、測定装置１の動作モードを確認する（Ｓ１）。本実施形態における測定装置１の動作モードには、学習データ１１ｃ（図３（ｂ）参照）に基づいて特徴点判定モデルＭへの学習を行う「学習モード」と、カメラＣから取得された入力画像Ｐからナゲット径Ｎｈｄ、上板板厚溶込深さＮｕｐ及び下板板厚溶込深さＮｄｄを測定し、それらが所定の規格に適合するか判定する「判定モード」とが設けられる。Ｓ１の処理では、入力装置２を介してユーザから指定された動作モードが確認される。

【0046】

Ｓ１の処理において、動作モードが学習モードの場合は（Ｓ１：学習モード）、学習処理（Ｓ２）を実行する。ここで、図４（ｂ）を参照して学習処理を説明する。

【0047】

図４（ｂ）は、学習処理のフローチャートである。学習処理は、まず、学習データ１１ｃを用いた機械学習によって、特徴点判定モデル１１ｂの特徴点判定モデルＭを調整する（Ｓ１０）。具体的には、特徴点判定モデルＭには、入力画像からナゲット特徴点画像Ｐｎを出力する際の、ナゲットＮの特徴点Ｐｔの検出度合い等を設定するためのパラメータ（係数）が用意されており、パラメータが調整可能に構成される。Ｓ１０の処理では、学習データ１１ｃにおける全ての入力画像から特徴点判定モデルＭを用いて作成されたナゲット特徴点画像Ｐｎと、該当する学習データ１１ｃの教師画像とを比較し、これらの相違が小さくなるように、特徴点判定モデルＭのパラメータを自動調整する。

【0048】

Ｓ１０の処理の後、再度学習データ１１ｃにおける全ての入力画像から特徴点判定モデル１１ｂの特徴点判定モデルＭを用いて作成されたナゲット特徴点画像Ｐｎと、該当する学習データ１１ｃの教師画像とを比較し、これらの相違が十分に小さいかを確認する（Ｓ１１）。Ｓ１１の処理において、相違が大きい場合は（Ｓ１１：Ｎｏ）、Ｓ１０の処理を繰り返す。このように特徴点判定モデルＭへのパラメータの調整を繰り返すことで、特徴点判定モデルＭによるナゲットＮの検出精度が向上するので、入力画像ＰからナゲットＮをより好適に検出できる。一方で、Ｓ１１の処理において、相違が十分に小さい場合は（Ｓ１１：Ｙｅｓ）、学習処理を終了する。

【0049】

なお、学習処理を終了する前に、調整された特徴点判定モデルＭが意図通りのナゲット特徴点画像Ｐｎを作成するかをテストしても良い。例えば、特徴点判定モデルＭに、Ｓ１１の処理で用いた入力画像とは異なるスポット溶接の画像（例えば過去に実際に取得されたスポット溶接の画像）を入力してナゲット特徴点画像Ｐｎを作成し、そのナゲット特徴点画像Ｐｎを表示装置３に表示させる。作業員が表示されたナゲット特徴点画像Ｐｎを確認し、当該画像が入力した画像から取得すべき画像かどうかを判定しても良い。この際、作業員が表示されたナゲット特徴点画像Ｐｎが入力した画像から取得すべき画像ではないと判定した場合は、再びＳ１０，Ｓ１１の処理を実行して特徴点判定モデルＭを調整し直しても良いし、作業員が手動で特徴点判定モデルＭを調整し直しても良い。

【0050】

図４（ａ）に戻る。Ｓ１の処理において、動作モードが判定モードの場合は（Ｓ１：判定モード）、判定処理（Ｓ３）を実行する。図５～７を参照して判定処理を説明する。

【0051】

図５は、判定処理のフローチャートである。判定処理は、まず、カメラＣから入力画像Ｐを取得し、入力画像メモリ１２ａへ保存すると共に、表示装置３へ表示する（Ｓ２０）。ここで、図７（ａ）を参照して、表示装置３の表示内容を説明する。

【0052】

図７（ａ）は、ナゲットＮの検出開始前の表示装置３の表示内容を表す図である。図７（ａ）に示す通り、表示装置３には、入力画面表示エリア３ａと、結果画像表示エリア３ｂと、ナゲット径Ｎｈｄ等の測定結果が表示される数値表示エリア３ｃとが設けられる。入力画面表示エリア３ａには、図５のＳ２０の処理で取得された入力画像Ｐが表示される。結果画像表示エリア３ｂには、入力画像Ｐに基づく結果画像Ｐｒが表示される。

【0053】

数値表示エリア３ｃには、上板の公称板厚を入力する上板エリア３ｄと、下板の公称板厚を入力する下板エリア３ｅと、ナゲットＮの検出の開始を指示する検出開始ボタン３ｆと、ナゲット径Ｎｈｄを表示または入力するナゲット径エリア３ｇと、上板板厚溶込深さＮｕｐを表示または入力する上板板厚溶込深さエリア３ｈと、下板板厚溶込深さＮｄｄを表示または入力する下板板厚溶込深さエリア３ｉと、判定結果が表示される結果エリア３ｊと、次の入力画像Ｐの取得を指示する次の読込ボタン３ｋと、図５の判定処理の終了を指示する終了ボタン３ｍとが設けられる。

【0054】

このうち、ナゲット径エリア３ｇ、上板板厚溶込深さエリア３ｈ及び下板板厚溶込深さエリア３ｉにおいては、後述する検出処理で測定されたナゲット径Ｎｈｄ、上板板厚溶込深さＮｕｐ及び下板板厚溶込深さＮｄｄがそれぞれ表示され、或いは入力装置２を介してユーザから入力された値が表示される。

【0055】

図７（ａ）においては、ナゲットＮの検出が実行される前なので、ナゲット径エリア３ｇ、上板板厚溶込深さエリア３ｈ及び下板板厚溶込深さエリア３ｉには、ブランク（空白）が表示され、結果画像表示エリア３ｂには結果画像Ｐｒの代わりに、ブランク画像ＢＬ（図７（ａ）では「×」で表す）が表示される。また、数値表示エリア３ｃでは、検出開始ボタン３ｆが操作可能であることを表す実線で表示されるのに対して、次の読込ボタン３ｋ及び終了ボタン３ｍは、操作不可能であることを表す破線で表示される。なお、終了ボタン３ｍを常に操作可能であることを表す実線で表示しても良い。

【0056】

図５に戻る。Ｓ２０の処理の後、ユーザから入力装置２を介して上板エリア３ｄ及び下板エリア３ｅ（図７（ａ）参照）に入力された公称板厚を、それぞれ上板板厚メモリ１２ｃ及び下板板厚メモリ１２ｄに保存する（Ｓ２１）。

【0057】

Ｓ２１の処理の後、検出開始ボタン３ｆが操作されたかを確認する（Ｓ２２）。Ｓ２２の処理において、検出開始ボタン３ｆが操作されていない場合は（Ｓ２２：Ｎｏ）、そのまま待機し、一方で検出開始ボタン３ｆが操作された場合は（Ｓ２２：Ｙｅｓ）、検出処理（Ｓ２３）を実行する。ここで、図６を参照して、Ｓ２３の検出処理を説明する。

【0058】

図６は、検出処理のフローチャートである。検出処理は、入力画像メモリ１２ａの入力画像ＰからナゲットＮの特徴点Ｐｔを検出し、検出された特徴点Ｐｔに基づいてナゲット径Ｎｈｄ、上板板厚溶込深さＮｕｐ及び下板板厚溶込深さＮｄｄを測定する処理である。

【0059】

検出処理はまず、入力画像メモリ１２ａの入力画像Ｐを特徴点判定モデルＭに入力してナゲット特徴点画像Ｐｎを作成し、そのナゲット特徴点画像Ｐｎをナゲット特徴点画像メモリ１２ｂへ保存する（Ｓ４０）。Ｓ４０の処理の後、入力画像Ｐにおける垂直方向（図２（ａ）における上下方向）の直線状の画像を検出し、検出された垂直方向の直線状の画像から定規Ｊの目盛り線を検出する（Ｓ４１）。入力画像Ｐにおける垂直方向の直線状の画像の検出は、既知の画像処理（例えばハフ変換）によって行われる。本実施形態では、検出された垂直方向の直線状の画像のうち、入力画像Ｐにおける下端付近の垂直方向の直線状の画像が定規Ｊの目盛り線なので、かかる画像を検出する。

【0060】

Ｓ４１の処理の後、Ｓ４１の処理で検出された定規Ｊの隣り合う目盛り線間の実際の距離とピクセル数とから、変換係数を取得し、変換係数メモリ１２ｇへ保存する（Ｓ４２）。具体的には、Ｓ４１の処理で検出された定規Ｊの隣り合う目盛り線をそれぞれ取得し、隣り合う目盛り線間における水平方向のピクセル数を取得する。そして、隣り合う目盛り線間の実際の距離（例えば１ｍｍ）を、隣り合う目盛り線間の水平方向のピクセル数で割ることで取得された値、即ち変換係数を、変換係数メモリ１２ｇへ保存する。

【0061】

Ｓ４２の処理の後、上板板厚メモリ１２ｃ及び下板板厚メモリ１２ｄの各値を、変換係数メモリ１２ｇの変換係数を用いてピクセル数に変換し、上板板厚ピクセルメモリ１２ｅ及び下板板厚ピクセルメモリ１２ｆに保存する（Ｓ４３）。具体的には、上板板厚メモリ１２ｃ及び下板板厚メモリ１２ｄの各値を変換係数メモリ１２ｇの変換係数で除した値を上板板厚ピクセルメモリ１２ｅ及び下板板厚ピクセルメモリ１２ｆそれぞれに保存する。

【0062】

Ｓ４３の処理の後、ナゲット特徴点画像メモリ１２ｂのナゲット特徴点画像Ｐｎの左特徴点Ｐｔ１と右特徴点Ｐｔ２との距離であるナゲット径Ｎｈｄを測定し、ナゲット径メモリ１２ｈに保存する（Ｓ４４）。この際、左特徴点Ｐｔ１と右特徴点Ｐｔ２との間のピクセル数に変換係数メモリ１２ｇの変換係数を乗じることで、ナゲット径Ｎｈｄの実際の寸法に変換され、かかる寸法がナゲット径メモリ１２ｈに保存される。

【0063】

Ｓ４４の処理の後、ナゲット特徴点画像メモリ１２ｂのナゲット特徴点画像Ｐｎの左右直線Ｑと上特徴点Ｐｔ３との距離から上板板厚溶込深さＮｕｐ及び左右直線Ｑと下特徴点Ｐｔ４との距離から下板板厚溶込深さＮｄｄを測定し、それぞれ上板板厚溶込深さメモリ１２ｉ及び下板板厚溶込深さメモリ１２ｊへ保存する（Ｓ４５）。この際も左右直線Ｑと上特徴点Ｐｔ３との間のピクセル数および左右直線Ｑと下特徴点Ｐｔ４との間のピクセル数のそれぞれに変換係数メモリ１２ｇの変換係数を乗じることで、上板板厚溶込深さＮｕｐ及び下板板厚溶込深さＮｄｄの実際の寸法に変換され、変換されたそれぞれの寸法が上板板厚溶込深さメモリ１２ｉ及び下板板厚溶込深さメモリ１２ｊに保存される。

【0064】

以上の検出処理では、まず、入力画像メモリ１２ａの入力画像Ｐと特徴点判定モデルＭとから、入力画像ＰにおけるナゲットＮの特徴点Ｐｔが検出される。検出された特徴点Ｐｔの左特徴点Ｐｔ１及び右特徴点Ｐｔ２からナゲット径Ｎｈｄが測定され、左右直線Ｑと上特徴点Ｐｔ３及び下特徴点Ｐｔ４とから上板板厚溶込深さＮｕｐ及び下板板厚溶込深さＮｄｄが測定される。このように、ナゲットＮの寸法の基準として検出された特徴点Ｐｔから、ナゲット径Ｎｈｄ、上板板厚溶込深さＮｕｐ及び下板板厚溶込深さＮｄｄを測定することで、作業員の熟練度や技量に左右されることなく、測定された寸法を正確なものとできる。

【0065】

また、入力画像Ｐにおける定規Ｊの目盛り線のような垂直方向の直線状の画像が、画像処理によって検出される。形状が単純な直線状の画像を画像処理で検出することで、特徴点判定モデルＭのような学習モデルを予め用意し、直線状の画像の検出の際に学習モデルを参照する必要がない。これにより、直線状の画像の検出を容易かつ迅速に行うことができる。

【0066】

ナゲットＮを検出する特徴点判定モデルＭは、様々な形状および色味のナゲットＮの画像とその画像から検出すべき教師画像とに基づいた学習モデルとして構成される。かかる特徴点判定モデルＭに入力画像メモリ１２ａの入力画像Ｐを入力することで、特徴点Ｐｔの誤検出を抑制できる。

【0067】

加えて、ナゲット径Ｎｈｄ、上板板厚溶込深さＮｕｐ及び下板板厚溶込深さＮｄｄの算出に際して、定規Ｊの目盛り線に基づく変換係数メモリ１２ｇの変換係数が用いられる。これにより、入力画像Ｐのピクセル数に基づくナゲット径Ｎｈｄ、上板板厚溶込深さＮｕｐ及び下板板厚溶込深さＮｄｄから、これらの実際の寸法を正確かつ容易に測定できる。

【0068】

図５に戻る。Ｓ２３の検出処理の後、入力画像メモリ１２ａの入力画像Ｐに、図６のＳ４０の処理で作成されたナゲット特徴点画像Ｐｎにおける特徴点Ｐｔと、ナゲット径メモリ１２ｈのナゲット径Ｎｈｄ、上板板厚溶込深さメモリ１２ｉの上板板厚溶込深さＮｕｐ及び下板板厚溶込深さメモリ１２ｊの下板板厚溶込深さＮｄｄのそれぞれの寸法情報とを合成した結果画像Ｐｒ（図７（ｂ）参照）を生成し、生成された結果画像Ｐｒを結果画像メモリ１２ｋへ保存する（Ｓ２４）。

【0069】

Ｓ２４の処理の後、ナゲット径メモリ１２ｈのナゲット径Ｎｈｄ、上板板厚溶込深さメモリ１２ｉの上板板厚溶込深さＮｕｐ、下板板厚溶込深さメモリ１２ｊの下板板厚溶込深さＮｄｄ及び結果画像メモリ１２ｋの結果画像Ｐｒを、表示装置３へ表示する（Ｓ２５）。かかるＳ２５の処理による表示装置３の表示内容を、図７（ｂ）を参照して説明する。

【0070】

図７（ｂ）は、ナゲットＮの検出開始後の表示装置３の表示内容を表す図である。図７（ｂ）に示す通り、ナゲットＮの検出開始後の表示装置３における結果画像表示エリア３ｂには、図５のＳ２５の処理により結果画像メモリ１２ｋの結果画像Ｐｒが表示される。結果画像表示エリア３ｂの結果画像Ｐｒと、入力画面表示エリア３ａの入力画像Ｐとを比較することで、ナゲット径Ｎｈｄ、上板板厚溶込深さＮｕｐ及び下板板厚溶込深さＮｄｄのそれぞれの寸法情報を、視覚的に把握できる。

【0071】

加えて、図５のＳ２５の処理により、数値表示エリア３ｃにおけるナゲット径エリア３ｇにはナゲット径メモリ１２ｈのナゲット径Ｎｈｄの値が表示され、上板板厚溶込深さエリア３ｈには上板板厚溶込深さメモリ１２ｉの上板板厚溶込深さＮｕｐの値が表示され、下板板厚溶込深さエリア３ｉには、下板板厚溶込深さメモリ１２ｊの下板板厚溶込深さＮｄｄの値が表示される。

【0072】

従って、作業員は、結果画像表示エリア３ｂの結果画像ＰｒでナゲットＮの検出結果の概要を確認しながら、具体的なナゲット径Ｎｈｄ、上板板厚溶込深さＮｕｐ及び下板板厚溶込深さＮｄｄの値をナゲット径エリア３ｇ、上板板厚溶込深さエリア３ｈ及び下板板厚溶込深さエリア３ｉで確認できる。これにより、作業員によるナゲット径Ｎｈｄ、上板板厚溶込深さＮｕｐ及び下板板厚溶込深さＮｄｄの検証を効率良くできる。

【0073】

また図７（ｂ）では、ナゲットＮの検出が実行された後なので、ナゲットＮの検出の重複を防ぐため、検出開始ボタン３ｆが操作不可能であることを表す破線で表示される。一方で、ナゲットＮの検出が実行され、ナゲット径Ｎｈｄ等が測定された後なので、次の読込ボタン３ｋと終了ボタン３ｍとが、操作可能であることを表す実線で表示される。

【0074】

図５に戻る。Ｓ２５の処理の後、上板板厚メモリ１２ｃ、下板板厚メモリ１２ｄ、ナゲット径メモリ１２ｈ、上板板厚溶込深さメモリ１２ｉ及び下板板厚溶込深さメモリ１２ｊに各値が、判定基準データ１１ｅの基準値に適合しているかを判定し、その結果を表示装置３の結果エリア３ｊ（図７（ｂ）参照）に表示する（Ｓ２６）。

【0075】

具体的には、判定基準データ１１ｅから上板板厚メモリ１２ｃ及び下板板厚メモリ１２ｄの公称板厚に該当するナゲット径Ｎｈｄ、上板板厚溶込深さＮｕｐ及び下板板厚溶込深さＮｄｄの基準値をそれぞれ取得する。取得された各基準値に、ナゲット径メモリ１２ｈのナゲット径Ｎｈｄ、上板板厚溶込深さメモリ１２ｉの上板板厚溶込深さＮｕｐ及び下板板厚溶込深さメモリ１２ｊの下板板厚溶込深さＮｄｄが全て適合する場合は、結果エリア３ｊに「ＯＫ」が表示され、１つでも適合しない場合は結果エリア３ｊに「ＮＧ」が表示される。

【0076】

即ち入力画像メモリ１２ａの入力画像Ｐから検出されたナゲットＮに基づいて、ナゲット径Ｎｈｄ、上板板厚溶込深さＮｕｐ及び下板板厚溶込深さＮｄｄが測定される。測定されたナゲット径Ｎｈｄ、上板板厚溶込深さＮｕｐ及び下板板厚溶込深さＮｄｄに基づいて、入力画像Ｐにおける試験片Ｔのスポット溶接が所定の規格に適合しているかが判定される。これにより、入力画像Ｐの取得のみで、ナゲット径Ｎｈｄ、上板板厚溶込深さＮｕｐ及び下板板厚溶込深さＮｄｄの測定と、試験片Ｔへのスポット溶接が所定の規格に適合しているかの判定とを共に実施できるので、これら測定および判定を容易とし、作業員の手間を軽減できる。

【0077】

Ｓ２６の処理の後、入力装置２を介して、ナゲット径エリア３ｇ、上板板厚溶込深さエリア３ｈ又は下板板厚溶込深さエリア３ｉのうち１つ以上の値が異常な値であるかを確認する（Ｓ２７）。Ｓ２７の処理において、ナゲット径エリア３ｇ、上板板厚溶込深さエリア３ｈ又は下板板厚溶込深さエリア３ｉのうち１つ以上の値が異常な値である場合は（Ｓ２７：Ｙｅｓ）、作業員が入力装置２を介してナゲット径エリア３ｇ、上板板厚溶込深さエリア３ｈ又は下板板厚溶込深さエリア３ｉに入力した値で、該当するナゲット径メモリ１２ｈ、上板板厚溶込深さメモリ１２ｉ及び下板板厚溶込深さメモリ１２ｊを更新し（Ｓ２８）、Ｓ２４以下の処理を繰り返す。

【0078】

なお、Ｓ２８の処理で作業員が入力する値は、作業員自身が入力画像Ｐ又は結果画像Ｐｒから測定したナゲット径Ｎｈｄ、上板板厚溶込深さＮｕｐ又は下板板厚溶込深さＮｄｄでも良いし、別途の画像処理ソフトウェアで入力画像Ｐ又は結果画像Ｐｒから測定したナゲット径Ｎｈｄ、上板板厚溶込深さＮｕｐ又は下板板厚溶込深さＮｄｄでも良い。

【0079】

また、Ｓ２７の処理において、ナゲット径エリア３ｇ等が異常な値であるかどうかの確認に加え、作業員が結果画像表示エリア３ｂの結果画像Ｐｒに表示されるナゲット径Ｎｈｄ、上板板厚溶込深さＮｕｐ又は下板板厚溶込深さＮｄｄの位置が異常であると判断した場合は、Ｓ２８の処理を実行して、作業員が入力装置２を介してナゲット径エリア３ｇ等に入力した値で該当するナゲット径メモリ１２ｈ等を更新し、加えて、結果画像表示エリア３ｂの結果画像Ｐｒに表示されるナゲット径Ｎｈｄ等の寸法情報の表示位置を、作業員が入力装置２を介して修正しても良い。この場合、これらの処理の後に、入力装置２を介して修正された結果画像Ｐｒを結果画像メモリ１２ｋに保存することでＳ２４の処理を省略し、Ｓ２５以下の処理を実行すれば良い。

【0080】

Ｓ２７の処理において、ナゲット径エリア３ｇ、上板板厚溶込深さエリア３ｈ及び下板板厚溶込深さエリア３ｉの値がいずれも正常である場合は（Ｓ２７：Ｎｏ）、上板板厚メモリ１２ｃ、下板板厚メモリ１２ｄ、ナゲット径メモリ１２ｈ、上板板厚溶込深さメモリ１２ｉ及び下板板厚溶込深さメモリ１２ｊの各値と、結果画像メモリ１２ｋの結果画像Ｐｒと、Ｓ２６の処理で判定された判定結果とを結果テーブル１１ｄに追加する（Ｓ２９）。結果テーブル１１ｄに追加された各値や結果画像Ｐｒを確認することで、判定処理を実行した後でもスポット溶接が所定の規格に適合しているかの検証や、またナゲット径Ｎｈｄ、上板板厚溶込深さＮｕｐ及び下板板厚溶込深さＮｄｄの寸法に関する検証等を行うことができる。

【0081】

また、Ｓ２９の処理により結果テーブル１１ｄに追加された入力画像Ｐから、対応する教師画像をユーザが作成し、これらを学習データ１１ｃへ追加した上でＳ３の学習処理を行う。これにより、実際の判定処理に用いられた画像に基づいて、特徴点判定モデル１１ｂの特徴点判定モデルＭが学習されるので、入力画像ＰからのナゲットＮの検出精度をより向上させることができる。

【0082】

なお、Ｓ２９の処理は、Ｓ２７の処理において上板板厚溶込深さエリア３ｈ及び下板板厚溶込深さエリア３ｉの値がいずれも正常と判断された場合（Ｓ２７：Ｎｏ）に、直ちに実行されるものに限られない。例えば、Ｓ２７の処理において上板板厚溶込深さエリア３ｈ及び下板板厚溶込深さエリア３ｉの値がいずれも正常であり、且つ、入力装置２を介して作業員からＳ２９の処理の実行の許可が入力された場合に、Ｓ２９の処理を実行しても良い。一方でこの際に、入力装置２を介して作業員からＳ２９の処理の実行の禁止が入力された場合は、Ｓ２９の処理をスキップしても良い。

【0083】

Ｓ２９の処理の後、次の読込ボタン３ｋ又は終了ボタン３ｍ（共に図７（ｂ）参照）が操作されたかを確認する（Ｓ３０）。Ｓ３０の処理において、次の読込ボタン３ｋが操作された場合は（Ｓ３０：次の読込ボタン）、次の試験片Ｔに対する入力画像Ｐの取得を行うため、Ｓ２０以下の処理を繰り返す。一方で、Ｓ３０の処理において、終了ボタン３ｍが操作された場合は（Ｓ３０：終了ボタン）、判定処理を終了する。

【0084】

図４（ａ）に戻る。Ｓ２又はＳ３の後、Ｓ１以下の処理を繰り返す。

【0085】

以上、実施形態に基づき本発明を説明したが、本発明は上述した実施形態に何ら限定されるものではなく、本発明の趣旨を逸脱しない範囲内で種々の改良変更が可能であることは容易に推察できるものである。

【0086】

上記実施形態では、入力画像Ｐと特徴点判定モデルＭとによって、ナゲット特徴点画像Ｐｎを取得した。しかし、入力画像Ｐと特徴点判定モデルＭとから取得されるのは、ナゲット特徴点画像Ｐｎに限られず、例えば、入力画像ＰにおけるナゲットＮの特徴点Ｐｔの位置を表す数値等、画像以外の情報でも良い。かかる場合は、学習データ１１ｃ（図３（ｂ）参照）における教師画像の代わりに、入力画像Ｐから取得したい情報を記憶させ、Ｓ２の学習処理を実行すれば良い。

【0087】

上記実施形態では、図６のＳ４１の処理では、画像処理によって垂直方向の直線状の画像を取得した。しかし、直線状の画像の取得は、画像処理に限られず、例えば、直線状の画像が検出できるように学習した学習モデルを作成し、入力画像Ｐとかかる学習モデルとによって入力画像Ｐにおける直線状の画像を取得しても良い。

【0088】

上記実施形態では、入力画像ＰからナゲットＮの各部の寸法として、ナゲット径Ｎｈｄ、上板板厚溶込深さＮｕｐ及び下板板厚溶込深さＮｄｄを測定したが、これに限られず、ナゲットＮの他の部分の寸法を測定しても良い。また、入力画像ＰからナゲットＮに関する寸法を測定するものに限られず、例えば、試験片ＴにおけるナゲットＮ以外の部分の寸法を検出しても良い。

【0089】

上記実施形態では、重ね合わせた２枚の鋼板Ｓｐに形成されるナゲットＮのナゲット径Ｎｈｄを測定したが、これに限られず、３枚以上の重ね合わせた鋼板Ｓｐに形成されるナゲットＮのナゲット径Ｎｈｄを測定しても良い。例えば、鋼板Ｓｐを３枚重ね合わせ、３枚の鋼板Ｓｐを跨ぐように形成されるナゲットＮのナゲット径Ｎｈｄは、一番上の鋼板Ｓｐ（即ち上板）と真ん中の鋼板Ｓｐとの境界部に位置する上板ナゲット径と、一番下の鋼板Ｓｐ（即ち下板）と真ん中の鋼板Ｓｐとの境界部に位置する下板ナゲット径との、２か所存在する。

【0090】

そこで図３（ｃ）の結果テーブル１１ｄには、ナゲット径Ｎｈｄの代わりに、上板ナゲット径と下板ナゲット径とを記憶し、判定基準データ１１ｅには、鋼板Ｓｐの板厚に応じた上板ナゲット径と下板ナゲット径との基準値を記憶する。また、ＲＡＭ１２には、ナゲット径メモリ１２ｈの代わりに、上板ナゲット径が記憶される上板ナゲット径メモリと、下板ナゲット径が記憶される下板ナゲット径メモリとを設ける。

【0091】

そして、図６のＳ４０の処理で上板ナゲット径を形成するナゲットＮの左右の特徴点Ｐｔと、下板ナゲット径を形成するナゲットＮの左右の特徴点Ｐｔとを検出し、Ｓ４４の処理で検出されたそれぞれの特徴点Ｐｔから上板ナゲット径および下板ナゲット径を測定し、それぞれ上板ナゲット径メモリ及び下板ナゲット径メモリへ保存する。

【0092】

図５のＳ２４の処理で、上板ナゲット径メモリと下板ナゲット径メモリとの各寸法情報を結果画像Ｐｒに合成し、Ｓ２５の処理で、上板ナゲット径メモリ及び下板ナゲット径メモリの各値と、結果画像Ｐｒとを表示装置３へ表示し、Ｓ２６の処理で、上板ナゲット径メモリ及び下板ナゲット径メモリと判定基準データ１１ｅとを用いて判定を行い、その判定結果を表示装置３に表示する。また、Ｓ２７，Ｓ２８の処理で、修正された上板ナゲット径と下板ナゲット径とを上板ナゲット径メモリと下板ナゲット径メモリとに保存し、Ｓ２９の処理で、上板ナゲット径メモリ及び下板ナゲット径メモリの各値と、結果画像Ｐｒと、判定結果とを結果テーブル１１ｄへ追加すれば良い。

【0093】

上記実施形態では、左特徴点Ｐｔ１、右特徴点Ｐｔ２、上特徴点Ｐｔ３及び下特徴点Ｐｔ４を全て検出したが、これに限られない。例えば、左特徴点Ｐｔ１及び右特徴点Ｐｔ２、上特徴点Ｐｔ３及び下特徴点Ｐｔ４のように、左特徴点Ｐｔ１、右特徴点Ｐｔ２、上特徴点Ｐｔ３及び下特徴点Ｐｔ４のうちの一部を検出しても良い。

【0094】

学習データ１１ｃを用いた機械学習によって、左特徴点Ｐｔ１、右特徴点Ｐｔ２、上特徴点Ｐｔ３及び下特徴点Ｐｔ４を検出したが、これに限らない。例えば、パターン認識等の画像処理を用いて左特徴点Ｐｔ１、右特徴点Ｐｔ２、上特徴点Ｐｔ３及び下特徴点Ｐｔ４を検出しても良い。また、例えば、左特徴点Ｐｔ１及び右特徴点Ｐｔ２を学習データ１１ｃを用いた機械学習によって検出し、上特徴点Ｐｔ３及び下特徴点Ｐｔ４を画像処理で検出する等、左特徴点Ｐｔ１、右特徴点Ｐｔ２、上特徴点Ｐｔ３及び下特徴点Ｐｔ４の内のいずれかを学習データ１１ｃを用いた機械学習で検出し、その残りを画像処理で検出しても良い。

【0095】

また、左特徴点Ｐｔ１等を学習データ１１ｃを用いた機械学習と画像処理とを組み合わせて検出しても良い。例えば、左特徴点Ｐｔ１と右特徴点Ｐｔ２とを検出する際に、学習データ１１ｃを用いた機械学習によって入力画像から左特徴点Ｐｔ１と右特徴点Ｐｔ２とを検出し、検出された左特徴点Ｐｔ１と右特徴点Ｐｔ２とによる左右直線Ｑ（図２（ｂ）参照）の水平方向の角度を算出する。更に入力画像における定規Ｊの水平方向の角度を画像処理を用いて算出する。そして、算出された左右直線Ｑの水平方向の角度と、算出された定規Ｊの水平方向の角度との差が所定の角度（例えば±１°）を超えている場合は、左特徴点Ｐｔ１と右特徴点Ｐｔ２との検出に失敗していると判断されるので、学習データ１１ｃを用いた機械学習による左特徴点Ｐｔ１と右特徴点Ｐｔ２との検出を再実行すれば良い。

【0096】

なお、この際、左右直線Ｑの水平方向の角度と比較するのは、定規Ｊに限られず、例えば、入力画像自身の上部または下部の水平方向の辺でも良い。この場合、左右直線Ｑの水平方向の角度がそのまま入力画像の上部または下部の水平方向の辺の角度との差となる。

【0097】

また、上特徴点Ｐｔ３として、ナゲットＮの上側における鋼板Ｓｐとの境界で形成される曲線の極値点のうち、距離Ｌｕが最小となる極値点の位置を検出したが、これに限られず、例えば、上特徴点Ｐｔ３として距離Ｌｕが最小となる極値点の周囲の位置を検出しても良い。同様に、下特徴点Ｐｔ４として、ナゲットＮの下側における鋼板Ｓｐとの境界で形成される曲線の極値点のうち、距離Ｌｄが最大となる極値点の位置を検出したが、これに限られず、例えば、下特徴点Ｐｔ４として距離Ｌｄが最大となる極値点の周囲の位置を検出しても良い。

【0098】

上記実施形態では、試験片Ｔと共に入力画像Ｐに含まれる基準物として、定規Ｊを例示したが、これに限られず、例えば、官製はがきや名刺等、予め寸法が規定されているものを、適宜基準物に用いても良い。また、定規Ｊ等の基準物の配置を省略しても良い。その場合、例えば、試験片Ｔの長手方向側の辺を所定の長さ（例えば１０ｃｍ）にしておき、かかる長さと、入力画像Ｐにおける試験片Ｔの長手方向側の辺のピクセル数とから変換係数を取得しても良いし、他の手法によって変換係数を取得しても良い。

【0099】

上記実施形態では、入力画像ＰをカメラＣから取得したが、これに限られず、例えば、スキャナ等のカメラＣ以外の他の撮像装置から取得しても良いし、ＨＤＤ１２に記憶された画像を入力画像Ｐとして取得しても良い。

【0100】

上記実施形態では、図７（ａ），（ｂ）の表示装置３に、入力画面表示エリア３ａと、結果画像表示エリア３ｂと、数値表示エリア３ｃとを表示したが、これに限られず、例えば、数値表示エリア３ｃの表示を省略して、入力画面表示エリア３ａと結果画像表示エリア３ｂとのみを表示しても良いし、入力画面表示エリア３ａの表示を省略して、結果画像表示エリア３ｂと数値表示エリア３ｃとのみを表示しても良いし、入力画面表示エリア３ａと結果画像表示エリア３ｂとを省略して、数値表示エリア３ｃのみを表示しても良い。

【0101】

上記実施形態では、測定プログラム１１ａが組み込まれた測定装置１を例示したが、これに限られず、パーソナルコンピュータやスマートフォン、タブレット端末等の情報処理装置（コンピュータ）で測定プログラム１１ａを実行する構成としても良い。

【符号の説明】

【0102】

１ 測定装置
１１ａ 測定プログラム
Ｐ 入力画像
Ｐｔ 特徴点
Ｐｔ１ 左特徴点（特徴点の一部）
Ｐｔ２ 右特徴点（特徴点の一部）
Ｐｔ３ 上特徴点（特徴点の一部）
Ｐｔ４ 下特徴点（特徴点の一部）
Ｑ 左右直線
Ｊ 定規（基準物）
Ｎ ナゲット
Ｓｐ 鋼板
Ｔ 試験片
Ｎｈｄ ナゲット径
Ｎｕｐ 上板板厚溶込深さ（板厚溶込深さの一部）
Ｎｄｄ 下板板厚溶込深さ（板厚溶込深さの一部）
Ｓ２０ 取得手段、取得ステップ
Ｓ４０ ナゲット検出手段、ナゲット検出ステップ
Ｓ４２ 変換係数取得手段
Ｓ４５ 測定手段の一部、測定ステップの一部、溶込深さ測定手段

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】