特許 7482686 測定装置および測定プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-05-02

(45)【発行日】2024-05-14

(54)【発明の名称】測定装置および測定プログラム

(51)【国際特許分類】

   G01B 11/02 20060101AFI20240507BHJP

   B23K 31/00 20060101ALI20240507BHJP

   B23K 11/11 20060101ALI20240507BHJP

   G06T 7/00 20170101ALI20240507BHJP

【ＦＩ】

G01B11/02 H

B23K31/00 K

B23K11/11

G06T7/00 610

【請求項の数】 8

(21)【出願番号】P 2020090239

(22)【出願日】2020-05-25

(65)【公開番号】P2021185344

(43)【公開日】2021-12-09

【審査請求日】2023-03-16

【前置審査】

(73)【特許権者】

【識別番号】000004617

【氏名又は名称】日本車輌製造株式会社

(74)【代理人】

【識別番号】110000534

【氏名又は名称】弁理士法人真明センチュリー

(72)【発明者】

【氏名】遠藤 健

【審査官】山▲崎▼ 和子

(56)【参考文献】

【文献】特開２０１５－０３３７０６（ＪＰ，Ａ）

【文献】特開平０８－００１３４７（ＪＰ，Ａ）

【文献】特開２００９－１０３６６２（ＪＰ，Ａ）

【文献】特開２０１３－２５３８０１（ＪＰ，Ａ）

【文献】特開２０２０－０６４０４８（ＪＰ，Ａ）

【文献】特開２０１４－２３８３８７（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｂ １１／００－１１／３０

Ｂ２３Ｋ １１／００－１１／３６

３１／００

Ｇ０６Ｔ ７／００－７／９０

Ｇ０６Ｖ １０／００－１０／９０

３０／４１８、４０／１６、４０／２

(57)【特許請求の範囲】

【請求項1】

平板状の鋼板を重ね合わせてスポット溶接することで形成された試験片の断面の画像から前記試験片の断面における各部の寸法を測定する測定手段を備えた測定装置において、
前記試験片の断面の画像である入力画像を取得する入力画像取得手段と、
その入力画像取得手段で取得された入力画像からスポット溶接におけるナゲットを区別して検出するナゲット検出手段と、
入力された前記鋼板の板厚を取得する板厚取得手段と、
その板厚取得手段で取得された板厚のピクセル数を取得する板厚ピクセル取得手段と、
前記入力画像取得手段で取得された入力画像から前記試験片の上端および下端の位置の座標を取得する端部取得手段と、
前記入力画像取得手段で取得された入力画像における前記端部取得手段で取得された前記試験片の上端および下端の位置の座標を、前記板厚ピクセル取得手段で取得された板厚のピクセル数分だけ移動させた位置を前記試験片における重ね合わせた鋼板と鋼板との境界である板境界として検出する板境界検出手段とを備え、
前記測定手段は、前記ナゲット検出手段で検出されたナゲットから前記入力画像におけるナゲットの各部の寸法を、前記板境界検出手段で検出された板境界を基準に測定することを特徴とする測定装置。

【請求項2】

前記測定手段は、その板境界検出手段で検出された板境界と、前記ナゲット検出手段で検出されたナゲットとの交点間の距離であるナゲット径を測定することを特徴とする請求項１記載の測定装置。

【請求項3】

前記測定手段は、
前記板境界検出手段で検出された板境界と平行な直線である平行直線を複数算出する平行直線算出手段と、
その平行直線算出手段で算出された複数の平行直線のうち、平行直線と前記ナゲット検出手段で検出されたナゲットとの交点間の距離が、前記ナゲット径の所定の割合である平行直線を特定する直線特定手段とを備え、
その直線特定手段で特定された平行直線と前記板境界検出手段で検出された板境界との距離である溶込深さを測定する溶込深さ測定手段とを備えていることを特徴とする請求項２に記載の測定装置。

【請求項4】

前記入力画像は前記試験片と共に寸法の基準となる基準物が含まれるように撮像され、
その基準物における所定の寸法と、その寸法に該当する前記入力画像のピクセル数との関係を表す変換係数を取得する変換係数取得手段を備え、
前記測定手段は、その変換係数取得手段で取得された変換係数に基づき、前記ナゲットの各部の寸法を測定することを特徴とする請求項１から３のいずれかに記載の測定装置。

【請求項5】

前記ナゲット検出手段は、前記入力画像におけるナゲットとナゲット以外の物体とを異なる色で描画した画像であるナゲット領域画像を出力するものであり、
前記測定手段は、前記ナゲット検出手段で出力されたナゲット領域画像に基づいて、前記入力画像におけるナゲットの各部の寸法を測定することを特徴とする請求項１から４のいずれかに記載の測定装置。

【請求項6】

前記ナゲット検出手段は、人工知能によって前記入力画像取得手段で取得された入力画像からスポット溶接におけるナゲットを区別して検出するものであることを特徴とする請求項１から５のいずれかに記載の測定装置。

【請求項7】

平板状の鋼板を重ね合わせてスポット溶接することで形成された試験片の断面の画像である入力画像を取得する入力画像取得ステップと、
その入力画像取得ステップで取得された入力画像からスポット溶接におけるナゲットを区別して検出するナゲット検出ステップと、
入力された前記鋼板の板厚を取得する板厚取得ステップと、
その板厚入力ステップで取得された板厚のピクセル数を取得する板厚ピクセル取得ステップと、
前記入力画像取得ステップで取得された入力画像から前記試験片の上端および下端の位置の座標を取得する端部取得ステップと、
前記入力画像取得ステップで取得された入力画像における前記端部取得ステップで取得された前記試験片の上端および下端の位置の座標を、前記板厚ピクセル取得ステップで取得された板厚のピクセル数分だけ移動させた位置を前記試験片における重ね合わせた鋼板と鋼板との境界である板境界として検出する板境界検出ステップと、
前記ナゲット検出ステップで検出されたナゲットから前記入力画像におけるナゲットの各部の寸法を、前記板境界検出ステップで検出された板境界を基準に測定する測定ステップとを、コンピュータに実行させることを特徴とする測定プログラム。

【請求項8】

前記ナゲット検出ステップは、人工知能によって前記入力画像取得ステップで取得された入力画像からスポット溶接におけるナゲットを区別して検出するものであることを特徴とする請求項７記載の測定プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、測定装置および測定プログラムに関するものである。

【背景技術】

【0002】

特許文献１では、様々な鋼種および板厚の鋼板１，２を、様々な条件でスポット溶接を行い、そのスポット溶接部３におけるナゲットの板厚方向の断面の画像から、ナゲット径ｄＮ等のナゲットの各部の寸法を画像解析で測定することが開示されている。これにより、ナゲットの寸法を自動で測定できるので、作業員が定規等でナゲットの寸法を測定する必要がない。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１５－０３３７０６号公報（例えば、段落００２９－００３５，表２，３）

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、特許文献１には、上記の画像からナゲットの各部の寸法を画像解析で測定する、具体的な手法が開示されていない。従って、上記の画像におけるナゲット以外の物体から寸法を測定したり、ナゲットにおいて寸法を測定すべき位置とズレた位置で寸法を測定する等して、ナゲットの各部の寸法を正確に測定できない虞があるという問題点があった。

【0005】

本発明は、上述した問題点を解決するためになされたものであり、スポット溶接することで形成された試験片の断面におけるナゲットの各部の寸法を正確に測定できる測定装置および測定プログラムを提供することを目的としている。

【課題を解決するための手段】

【0006】

この目的を達成するために本発明の測定装置は、平板状の鋼板を重ね合わせてスポット溶接することで形成された試験片の断面の画像から前記試験片の断面における各部の寸法を測定する測定手段を備えた装置であって、前記試験片の断面の画像である入力画像を取得する入力画像取得手段と、その入力画像取得手段で取得された入力画像からスポット溶接におけるナゲットを区別して検出するナゲット検出手段と、入力された前記鋼板の板厚を取得する板厚取得手段と、その板厚取得手段で取得された板厚のピクセル数を取得する板厚ピクセル取得手段と、前記入力画像取得手段で取得された入力画像から前記試験片の上端および下端の位置の座標を取得する端部取得手段と、前記入力画像取得手段で取得された入力画像における前記端部取得手段で取得された前記試験片の上端および下端の位置の座標を、前記板厚ピクセル取得手段で取得された板厚のピクセル数分だけ移動させた位置を前記試験片における重ね合わせた鋼板と鋼板との境界である板境界として検出する板境界検出手段とを備え、前記測定手段は、前記ナゲット検出手段で検出されたナゲットから前記入力画像におけるナゲットの各部の寸法を、前記板境界検出手段で検出された板境界を基準に測定するものである。

【0007】

また本発明の測定プログラムは、平板状の鋼板を重ね合わせてスポット溶接することで形成された試験片の断面の画像である入力画像を取得する入力画像取得ステップと、その入力画像取得ステップで取得された入力画像からスポット溶接におけるナゲットを区別して検出するナゲット検出ステップと、入力された前記鋼板の板厚を取得する板厚取得ステップと、その板厚入力ステップで取得された板厚のピクセル数を取得する板厚ピクセル取得ステップと、前記入力画像取得ステップで取得された入力画像から前記試験片の上端および下端の位置の座標を取得する端部取得ステップと、前記入力画像取得ステップで取得された入力画像における前記端部取得ステップで取得された前記試験片の上端および下端の位置の座標を、前記板厚ピクセル取得ステップで取得された板厚のピクセル数分だけ移動させた位置を前記試験片における重ね合わせた鋼板と鋼板との境界である板境界として検出する板境界検出ステップと、前記ナゲット検出ステップで検出されたナゲットから前記入力画像におけるナゲットの各部の寸法を、前記板境界検出ステップで検出された板境界を基準に測定する測定ステップとを、コンピュータに実行させるものである。

【発明の効果】

【0008】

請求項１記載の測定装置によれば、板状の鋼板を重ね合わせてスポット溶接することで形成された試験片の画像である入力画像が取得され、取得された入力画像からスポット溶接におけるナゲットが区別して検出され、更に試験片における重ね合わせた鋼板と鋼板との境界である板境界が検出される。そして検出されたナゲットの各部の寸法が、板境界を基準に測定される。ここでナゲットは、重ね合わせた鋼板と鋼板との境界、即ち板境界を跨ぐように形成されるので、板境界はナゲットに関わる位置とされる。従って、ナゲットの各部の寸法をかかる板境界を基準に測定することで、ナゲットの各部の寸法を正確に測定できるという効果がある。また、板境界が、入力画像から取得された試験片の上端および下端の位置の座標を、入力された板厚のピクセル数分だけ移動させた位置から検出される。これにより、板境界を正確に検出することができるという効果もある。

【0009】

請求項２記載の測定装置によれば、請求項１記載の測定装置の奏する効果に加え、次の効果を奏する。板境界とナゲットとの交点間の距離から、ナゲット径が算出される。これにより、作業員が定規等で実際に試験片を測定することなく、ナゲットの大きさの基準となるナゲット径を容易かつ正確に測定できるという効果がある。

【0010】

請求項３記載の測定装置によれば、請求項１又は２記載の測定装置の奏する効果に加え、次の効果を奏する。板境界と平行な直線である平行直線が複数算出され、その平行直線のうち、平行直線と検出されたナゲットとの交点間の距離がナゲット径の所定の割合である平行直線が特定され、その特定された平行直線と板境界との距離である溶込深さが測定される。これにより、作業員が定規等で実際に試験片を測定することなく、ナゲットの大きさの基準となる溶込深さを容易かつ正確に測定できるという効果がある。

【0011】

請求項４記載の測定装置によれば、請求項１から３のいずれかに記載の測定装置の奏する効果に加え、次の効果を奏する。入力画像には、試験片と共に寸法の基準となる基準物が含まれ、その基準物の所定の寸法と、その寸法に該当する入力画像のピクセル数との関係を表す変換係数が取得され、その変換係数に基づいてナゲットの寸法が測定される。基準物の寸法に応じた変換係数に基づくことで、ナゲットの実際の寸法を容易かつ正確に測定できるという効果がある。

【0012】

請求項５記載の測定装置によれば、請求項１から４のいずれかに記載の測定装置の奏する効果に加え、次の効果を奏する。ナゲット検出手段によって、入力画像におけるナゲットと、ナゲット以外の物体とを異なる色で描画した画像であるナゲット領域画像が出力され、そのナゲット領域画像からナゲットの各部の寸法が測定される。ナゲット領域画像において、ナゲットとナゲット以外の物体とが区別して描画されることで、ナゲット領域画像からナゲットを確実に検出できるので、ナゲットの各部の寸法を正確に測定できるという効果がある。

【0013】

請求項６記載の測定装置によれば、請求項１から５のいずれかに記載の測定装置の奏する効果に加え、次の効果を奏する。人工知能によって入力画像からスポット溶接におけるナゲットが区別して検出されるので、ナゲットとナゲット以外の物体とが含まれる入力画像から、ナゲットを好適に検出できるという効果がある。

【0014】

請求項７記載の測定プログラムによれば、請求項１記載の測定装置と同様の効果を奏する。また、請求項８記載の測定プログラムによれば、請求項６記載の測定装置と同様の効果を奏する。

【図面の簡単な説明】

【0015】

【図1】測定装置を表す模式図である。

【図2】（ａ）は、入力画像を表す図であり、（ｂ）は、ナゲット領域画像を表す図であり、（ｃ）は、ナゲットの各部の寸法を表す図である。

【図3】（ａ）は、測定装置の電気的構成を示すブロック図であり、（ｂ）は、学習データを模式的に示した図であり、（ｃ）は、結果テーブルを模式的に示した図であり、（ｄ）は、ＲＡＭを模式的に示した図である。

【図4】（ａ）は、メイン処理のフローチャートであり、（ｂ）は、学習処理のフローチャートである。

【図5】判定処理のフローチャートである。

【図6】検出処理のフローチャートである。

【図7】（ａ）は、ナゲットの検出開始前の表示装置の表示内容を表す図であり、（ｂ）は、ナゲットの検出開始後の表示装置の表示内容を表す図である。

【発明を実施するための形態】

【0016】

以下、本発明の好ましい実施形態について、添付図面を参照して説明する。図１は、測定装置１を表す模式図である。測定装置１は、スポット溶接することで形成された試験片Ｔの断面の画像を取得し、その画像に基づいて試験片の各部の寸法を測定し、測定された寸法に基づいてスポット溶接された結果が所定の規格（例えばＪＲＩＳ Ｗ ０１６１）に適合しているかを判定する装置である。

【0017】

測定装置１には、ユーザからの指示が入力される入力装置２と、表示装置３と、試験片Ｔの画像である入力画像Ｐ（図２（ａ）参照）を取得するカメラＣとが設けられる。表示装置３は、入力画像Ｐや試験片Ｔの各部の寸法等を表示する出力装置である。

【0018】

試験片Ｔは、少なくとも２枚の鋼板Ｓｐを重ね合わせてスポット溶接することで形成され、そのスポット溶接された結果が、所定の規格に適合しているかを判定するための部材である。試験片Ｔにおけるスポット溶接された部分が板厚方向に切断され、その切断面がカメラＣに向くように配置される。

【0019】

その試験片Ｔと隣り合う位置には、定規Ｊが配置される。定規Ｊは、所定間隔（例えば１ｍｍ）毎に目盛り線が刻まれた基準物である。定規Ｊは、その長手方向側が試験片Ｔの長手方向側と平行になるように配置される。

【0020】

カメラＣの撮像範囲ＣＡは、入力画像Ｐ内に試験片Ｔと定規Ｊとが含まれるように、なおかつ入力画像Ｐの水平方向が試験片Ｔ（即ち２枚の鋼板Ｓｐ）及び定規Ｊの長手方向と一致するように設定される。次に図２（ａ）を参照して、カメラＣで取得される入力画像Ｐを説明する。

【0021】

図２（ａ）は、入力画像Ｐを表す図である。入力画像Ｐには、試験片Ｔの画像と定規Ｊとの画像が含まれる。試験片ＴにおけるナゲットＮは、スポット溶接によって２枚以上（本実施形態では２枚）の鋼板Ｓｐの重ね合わせた部分が溶融して形成される。以下、試験片Ｔにおける複数の鋼板Ｓｐのうち、入力画像Ｐにおける最も上側の鋼板Ｓｐを「上板」、最も下側の鋼板Ｓｐを「下板」とそれぞれいう。

【0022】

ナゲットＮは、スポット溶接で形成される溶融金属のことであり、上板と下板との重ね合わせた部分が溶融され、上板と下板との境界部である後述の板境界Ｂを跨ぐように形成される。従って、ナゲットＮの外形の形状は、必ずしも単純な直線状や円形状とならず、不定形となる。また、カメラＣが配置される照明の色温度やスポット溶接による溶融度合い、更には鋼板Ｓｐの鋼種等によって、入力画像Ｐに撮像されるナゲットＮやその周囲の鋼板Ｓｐの色味が様々となる。これらによって、従来の画像処理では、入力画像ＰからナゲットＮを正確に検出するのは困難である。

【0023】

そこで本実施形態では、多数のナゲットＮを含む試験片Ｔの断面の画像と、対応する画像から検出すべきナゲットＮの画像とを学習させた学習モデル（人工知能）である、ナゲット判定モデルＭを用いて、入力画像ＰからナゲットＮを区別して検出したナゲット領域画像Ｐｎを作成し、そのナゲット領域画像Ｐｎに基づいてナゲットＮの寸法が測定される。かかるナゲット判定モデルＭによるナゲットＮの検出および寸法の測定を、図２（ｂ），（ｃ）を参照して説明する。

【0024】

図２（ｂ）は、ナゲット領域画像Ｐｎを表す図である。図２（ｂ）におけるナゲット領域画像Ｐｎは、図２（ａ）の入力画像Ｐをナゲット判定モデルＭに入力することで作成された、ナゲットＮとナゲットＮ以外の物体とを区別して描画した画像である。

【0025】

ナゲット判定モデルＭは、多数のナゲットＮを含む試験片Ｔの断面の画像と、その画像から検出すべきナゲットＮの画像である教師画像との組み合わせを学習させた、学習モデルである。本実施形態ではナゲット判定モデルＭとして「Ｕ－Ｎｅｔ」と呼ばれる学習モデルを用いるが、他の学習モデルを用いても良い。

【0026】

ナゲット判定モデルＭには、多数のナゲットＮを含む試験片Ｔの断面の画像と、その画像から検出すべきナゲットＮの教師画像とが学習されているので、ナゲット判定モデルＭに基づくことで、入力画像ＰにおけるナゲットＮの形状やナゲットＮ及び鋼板Ｓｐの色味が様々であっても、入力画像ＰからナゲットＮを、ナゲットＮ以外の物体と区別して検出できる。

【0027】

このようなナゲット判定モデルＭによって、入力画像Ｐから作成されたナゲット領域画像Ｐｎは、図２（ｂ）に示す通り、ナゲット判定モデルＭで検出された入力画像ＰにおけるナゲットＮと、ナゲットＮ以外の物体とが異なる態様で描画される。具体的には、ナゲットＮの輪郭線である輪郭Ｎｅを境界に、ナゲットＮ部分とナゲットＮ以外の部分とが異なる色（例えば、ナゲットＮ部分が白色、ナゲットＮ以外の部分画像が黒色）で描画される。

【0028】

これにより、ナゲット領域画像ＰｎにおいてナゲットＮとナゲットＮ以外の物体とが明確に区別できるので、ナゲット領域画像ＰｎからナゲットＮの位置を、正確かつ容易に検出できる。このように検出されたナゲット領域画像ＰｎからナゲットＮの位置に基づいて、ナゲットＮの各部の寸法が測定される。ここで図２（ｃ）を参照して、測定装置１で測定されるナゲットＮの各部の寸法を説明する。

【0029】

図２（ｃ）は、ナゲットＮの各部の寸法を表す図である。図２（ｃ）は、図２（ａ）の入力画像ＰにナゲットＮの各部の寸法を示した画像Ｐ'を表している。本実施形態では、ナゲットＮの寸法として、ナゲット径Ｎｈｄと、上板溶込深さＮｕｐと、下板溶込深さＮｄｄとを測定する。具体的に、ナゲット径Ｎｈｄは、画像Ｐ'においてナゲットＮの輪郭Ｎｅと２枚の鋼板Ｓｐを重ね合わせた境界部である板境界Ｂとの交点である交点Ｂ１，Ｂ２間の距離である。ナゲット径Ｎｈｄは、ナゲットＮにおける板境界Ｂ方向、即ち鋼板Ｓｐの長手方向における大きさの基準とされる。

【0030】

上記した通り、入力画像Ｐにおいては、鋼板Ｓｐの重ね合わせ方向、即ち鋼板Ｓｐの長手方向は、入力画像Ｐの水平方向と一致している。よって以下では、入力画像Ｐにおける鋼板Ｓｐの長さ方向を「水平方向」といい、厚さ方向を「垂直方向」という。

【0031】

上板溶込深さＮｕｐは、板境界Ｂと平行な直線である平行直線であって、該平行直線のナゲットＮの輪郭Ｎｅとの交点間の距離がナゲット径Ｎｈｄの８割の長さとなる平行直線のうち、板境界Ｂよりも上方の平行直線（即ち図２（ｃ）の交点Ｂ３，Ｂ４による平行直線）と板境界Ｂとの距離である。また、下板溶込深さＮｄｄは、平行直線におけるナゲットＮの輪郭Ｎｅとの交点間の距離がナゲット径Ｎｈｄの８割の長さとなる平行直線のうち、板境界Ｂよりも下方の平行直線（即ち図２（ｃ）の交点Ｂ５，Ｂ６による平行直線）と板境界Ｂとの距離である。これら上板溶込深さＮｕｐ及び下板溶込深さＮｄｄは、ナゲットＮにおける、板境界Ｂ及びナゲット径Ｎｈｄと直交した方向、即ち垂直方向における大きさの基準とされる。

【0032】

本実施形態では、これらナゲット径Ｎｈｄ、上板溶込深さＮｕｐ及び下板溶込深さＮｄｄが、入力画像Ｐからナゲット判定モデルＭによって作成されたナゲット領域画像Ｐｎ（図２（ｂ）参照）に基づいて測定される。ナゲット領域画像Ｐｎには、ナゲットＮとナゲットＮ以外の物体が区別して描画されているので、ナゲットＮを確実に検出し、これらの値を正確に測定できる。

【0033】

次に、図３を参照して、測定装置１の電気的構成を説明する。図３（ａ）は、測定装置１の電気的構成を示すブロック図である。図３（ａ）に示す通り、測定装置１は、ＣＰＵ１０と、ハードディスクドライブ（以下「ＨＤＤ」という）１１と、ＲＡＭ１２とを有し、これらはバスライン１３を介して入出力ポート１４にそれぞれ接続されている。入出力ポート１４には更に、上記した入力装置２、表示装置３及びカメラＣが接続される。

【0034】

ＣＰＵ１０は、バスライン１３により接続された各部を制御する演算装置である。ＨＤＤ１１は、書き換え可能な不揮発性の記憶装置であり、測定プログラム１１ａと、上記のナゲット判定モデルＭが記憶されるナゲット判定モデル１１ｂと、学習データ１１ｃと、結果テーブル１１ｄと、判定基準データ１１ｅとがそれぞれ保存される。ＣＰＵ１０によって測定プログラム１１ａが実行されると、図４（ａ）のメイン処理が実行される。学習データ１１ｃには、ナゲット判定モデルＭを学習するための画像が記憶される。図３（ｂ）を参照して、学習データ１１ｃを説明する。

【0035】

図３（ｂ）は、学習データ１１ｃを模式的に示した図である。学習データ１１ｃには、ナゲットＮが含まれる試験片Ｔの画像である入力画像と、その入力画像から検出すべきナゲットＮの画像である教師画像とが対応付けられて記憶される。具体的に教師画像は、入力画像に基づいてユーザが作成された画像であって、入力画像から検出すべきナゲットＮとナゲットＮ以外の物体とを異なる色、即ち図２（ｂ）で説明したナゲット領域画像Ｐｎと同様の態様で描画された画像が記憶される。

【0036】

学習データ１１ｃには、ナゲットＮの形状やナゲットＮ及び鋼板Ｓｐの色味が様々な入力画像と、その入力画像に対応する教師画像の組み合わせが多数（例えば１００００組）記憶される。後述する学習処理で、学習データ１１ｃに記憶された入力画像および教師画像を用いて、ナゲット判定モデルＭが学習される。

【0037】

図３（ａ）に戻る。結果テーブル１１ｄは、測定されたナゲット径Ｎｈｄ、上板溶込深さＮｕｐ及び下板溶込深さＮｄｄ等が記憶されるデータテーブルである。図３（ｃ）を参照して結果テーブル１１ｄを説明する。

【0038】

図３（ｃ）は、結果テーブル１１ｄを模式的に示した図である。結果テーブル１１ｄには、入力画像Ｐから測定された上記のナゲット径Ｎｈｄと、上板溶込深さＮｕｐと、下板溶込深さＮｄｄと、入力装置２から入力された上板の板厚と、入力装置２から入力された下板の板厚と、測定に用いた入力画像Ｐと、その入力画像Ｐに対して測定されたナゲット径Ｎｈｄ、上板溶込深さＮｕｐ及び下板溶込深さＮｄｄ等を描画した結果画像Ｑ（図７（ｂ）参照）と、ナゲット径Ｎｈｄ、上板溶込深さＮｕｐ及び下板溶込深さＮｄｄ等から、スポット溶接が所定の規格に適合しているかどうかの判定結果（「ＯＫ」又は「ＮＧ」）とが対応付けられて記憶される。

【0039】

図３（ａ）に戻る。判定基準データ１１ｅには、ナゲット径Ｎｈｄ、上板溶込深さＮｕｐ及び下板溶込深さＮｄｄのそれぞれに対する所定の規格を満たすための基準値が記憶される。鋼板Ｓｐの上板または下板の板厚に応じて、所定の規格を満たすナゲット径Ｎｈｄ、上板溶込深さＮｕｐ及び下板溶込深さＮｄｄが異なるため、鋼板Ｓｐの上板または下板の板厚に応じたそれぞれの基準値が判定基準データ１１ｅに記憶される。なお、これら基準値は判定基準データ１１ｅに記憶されるものに限られず、鋼板Ｓｐの上板または下板の板厚等から算出しても良い。この場合、例えば、上板溶込深さＮｕｐは鋼板Ｓｐの上板の板厚の２０～９０％の値と規定されているため、この規定に基づいて上板溶込深さＮｕｐの基準値を算出すれば良い。

【0040】

ＲＡＭ１２は、ＣＰＵ１０が測定プログラム１１ａの実行時に各種のワークデータやフラグ等を書き換え可能に記憶するためのメモリである。図３（ｄ）を参照して、ＲＡＭ１２を説明する。

【0041】

図３（ｄ）は、ＲＡＭ１２を模式的に示した図である。図３（ｄ）に示す通り、ＲＡＭ１２には、図２（ａ）に示すような入力画像Ｐが記憶される入力画像メモリ１２ａと、図２（ｂ）に示すようなナゲット領域画像Ｐｎが記憶されるナゲット領域画像メモリ１２ｂと、上板の板厚の実際の寸法が記憶される上板板厚メモリ１２ｃと、下板の板厚の実際の寸法が記憶される下板板厚メモリ１２ｄと、上板の板厚のピクセル数が記憶される上板板厚ピクセルメモリ１２ｅと、下板の板厚のピクセル数が記憶される下板板厚ピクセルメモリ１２ｆと、変換係数メモリ１２ｇと、ナゲットＮの位置が記憶されるナゲット位置メモリ１２ｈと、上記のナゲット径Ｎｈｄが記憶されるナゲット径メモリ１２ｉと、板境界Ｂの位置が記憶される板境界位置メモリ１２ｊと、上板溶込深さＮｕｐが記憶される上板溶込深さメモリ１２ｋと、下板溶込深さＮｄｄが記憶される下板溶込深さメモリ１２ｍと、結果画像Ｑ（図７（ｂ）参照）が記憶される結果画像メモリ１２ｎとが設けられる。

【0042】

変換係数メモリ１２ｇは、上記した定規Ｊの目盛り線に基づいて算出された変換係数が記憶されるメモリである。本実施形態において変換係数は、隣り合う目盛り線の実際の距離を、入力画像Ｐにおける隣り合う目盛り線間のピクセル数で除した値とされる。

【0043】

次に図４～７を参照して、測定装置１のＣＰＵ１０で実行されるメイン処理を説明する。図４（ａ）は、メイン処理のフローチャートである。メイン処理は、測定装置１の電源投入後に実行される処理である。

【0044】

メイン処理はまず、測定装置１の動作モードを確認する（Ｓ１）。本実施形態における測定装置１の動作モードには、学習データ１１ｃ（図３（ｂ）参照）に基づいてナゲット判定モデルＭへの学習を行う「学習モード」と、カメラＣから取得された入力画像Ｐからナゲット径Ｎｈｄ、上板溶込深さＮｕｐ及び下板溶込深さＮｄｄを測定し、それらが所定の規格に適合するか判定する「判定モード」とが設けられる。Ｓ１の処理では、入力装置２を介してユーザから指定された動作モードが確認される。

【0045】

Ｓ１の処理において、動作モードが学習モードの場合は（Ｓ１：学習モード）、学習処理（Ｓ２）を実行する。ここで、図４（ｂ）を参照して学習処理を説明する。

【0046】

図４（ｂ）は、学習処理のフローチャートである。学習処理は、まず、学習データ１１ｃを用いた機械学習によって、ナゲット判定モデル１１ｂのナゲット判定モデルＭを調整する（Ｓ１０）。具体的には、ナゲット判定モデルＭには、入力画像からナゲット領域画像Ｐｎを出力する際の、ナゲットＮの検出度合い等を設定するためのパラメータ（係数）が用意されており、パラメータが調整可能に構成される。Ｓ１０の処理では、学習データ１１ｃにおける全ての入力画像からナゲット判定モデルＭを用いて作成されたナゲット領域画像Ｐｎと、該当する学習データ１１ｃの教師画像とを比較し、これらの相違が小さくなるように、ナゲット判定モデルＭのパラメータを自動調整する。

【0047】

Ｓ１０の処理の後、再度学習データ１１ｃにおける全ての入力画像からナゲット判定モデル１１ｂのナゲット判定モデルＭを用いて作成されたナゲット領域画像Ｐｎと、該当する学習データ１１ｃの教師画像とを比較し、これらの相違が十分に小さいかを確認する（Ｓ１１）。Ｓ１１の処理において、相違が大きい場合は（Ｓ１１：Ｎｏ）、Ｓ１０の処理を繰り返す。このようにナゲット判定モデルＭへのパラメータの調整を繰り返すことで、ナゲット判定モデルＭによるナゲットＮの検出精度が向上するので、入力画像ＰからナゲットＮをより好適に検出できる。一方で、Ｓ１１の処理において、相違が十分に小さい場合は（Ｓ１１：Ｙｅｓ）、学習処理を終了する。

【0048】

図４（ａ）に戻る。Ｓ１の処理において、動作モードが判定モードの場合は（Ｓ１：判定モード）、判定処理（Ｓ３）を実行する。図５～７を参照して判定処理を説明する。

【0049】

図５は、判定処理のフローチャートである。判定処理は、まず、カメラＣから入力画像Ｐを取得し、入力画像メモリ１２ａへ保存すると共に、表示装置３へ表示する（Ｓ２０）。ここで図７（ａ）を参照して、表示装置３の表示内容を説明する。

【0050】

図７（ａ）は、ナゲットＮの検出開始前の表示装置３の表示内容を表す図である。図７（ａ）に示す通り、表示装置３には、入力画面表示エリア３ａと、結果画像表示エリア３ｂと、ナゲット径Ｎｈｄ等の測定結果が表示される数値表示エリア３ｃとが設けられる。入力画面表示エリア３ａには、図５のＳ２０の処理で取得された入力画像Ｐが表示される。結果画像表示エリア３ｂには、入力画像Ｐに基づく結果画像Ｑが表示される。

【0051】

数値表示エリア３ｃには、上板の板厚を入力する上板エリア３ｄと、下板の板厚を入力する下板エリア３ｅと、ナゲットＮの検出の開始を指示する検出開始ボタン３ｆと、ナゲット径Ｎｈｄを表示または入力するナゲット径エリア３ｇと、上板溶込深さＮｕｐを表示または入力する上板溶込深さエリア３ｈと、下板溶込深さＮｄｄを表示または入力する下板溶込深さエリア３ｉと、判定結果が表示される結果エリア３ｊと、次の入力画像Ｐの取得を指示する次の読込ボタン３ｋと、図５の判定処理の終了を指示する終了ボタン３ｍとが設けられる。

【0052】

このうち、ナゲット径エリア３ｇ、上板溶込深さエリア３ｈ及び下板溶込深さエリア３ｉにおいては、後述する検出処理で測定されたナゲット径Ｎｈｄ、上板溶込深さＮｕｐ及び下板溶込深さＮｄｄがそれぞれ表示され、あるいは入力装置２を介してユーザから入力された値が表示される。

【0053】

図７（ａ）においては、ナゲットＮの検出が実行される前なので、ナゲット径エリア３ｇ、上板溶込深さエリア３ｈ及び下板溶込深さエリア３ｉには、ブランク（空白）が表示され、結果画像表示エリア３ｂには結果画像Ｑの代わりに、ブランク画像ＢＬ（図７（ａ）では「×」で表す）が表示される。また、数値表示エリア３ｃでは、検出開始ボタン３ｆが操作可能であることを表す実線で表示されるのに対して、次の読込ボタン３ｋ及び終了ボタン３ｍは、操作不可能であることを表す破線で表示される。なお、終了ボタン３ｍを常に操作可能であることを表す実線で表示しても良い。

【0054】

図５に戻る。Ｓ２０の処理の後、ユーザから入力装置２を介して上板エリア３ｄ及び下板エリア３ｅ（共に図７（ａ）参照）に入力した値を、それぞれ上板板厚メモリ１２ｃ及び下板板厚メモリ１２ｄに保存する（Ｓ２１）。

【0055】

Ｓ２１の処理の後、検出開始ボタン３ｆが操作されたかを確認する（Ｓ２２）。Ｓ２２の処理において、検出開始ボタン３ｆが操作されていない場合は（Ｓ２２：Ｎｏ）、待機し、検出開始ボタン３ｆが操作された場合は（Ｓ２２：Ｙｅｓ）、検出処理（Ｓ２３）を実行する。ここで図６を参照して、Ｓ２３の検出処理を説明する。

【0056】

図６は、検出処理のフローチャートである。検出処理は、入力画像メモリ１２ａの入力画像ＰからナゲットＮを検出し、検出されたナゲットＮに基づいてナゲット径Ｎｈｄ、上板溶込深さＮｕｐ及び下板溶込深さＮｄｄを測定する処理である。

【0057】

検出処理はまず、入力画像メモリ１２ａの入力画像Ｐをナゲット判定モデルＭに入力してナゲット領域画像Ｐｎを作成し、そのナゲット領域画像Ｐｎをナゲット領域画像メモリ１２ｂへ保存する（Ｓ４０）。Ｓ４０の処理の後、ナゲット領域画像メモリ１２ｂのナゲット領域画像ＰｎからナゲットＮの位置を取得し、その座標をナゲット位置メモリ１２ｈへ保存する（Ｓ４１）。

【0058】

Ｓ４１の処理の後、入力画像Ｐにおける試験片Ｔや定規Ｊの位置および寸法を取得するため、まず入力画像Ｐにおける水平方向の直線状の画像を検出する（Ｓ４２）。水平方向の直線状の画像の検出は、既知の画像処理（例えばハフ変換）によって行われる。

【0059】

Ｓ４２の処理の後、入力画像Ｐにおける垂直方向（図２（ａ）における上下方向）の直線状の画像を検出し、検出された垂直方向の直線状の画像から定規Ｊの目盛り線を検出する（Ｓ４３）。入力画像Ｐにおける垂直方向の直線状の画像の検出は、Ｓ４２の処理と同様に、既知の画像処理（例えばハフ変換）によって行われる。本実施形態では、検出された垂直方向の直線状の画像のうち、入力画像Ｐにおける下端付近の垂直方向の直線状の画像が定規Ｊの目盛り線なので、かかる画像を検出する。

【0060】

Ｓ４３の処理の後、Ｓ４３の処理で検出された定規Ｊの隣り合う目盛り線間の実際の距離とピクセル数とから、変換係数を取得し、変換係数メモリ１２ｇへ保存する（Ｓ４４）。具体的には、Ｓ４３の処理で検出された定規Ｊの隣り合う目盛り線をそれぞれ取得し、隣り合う目盛り線間における水平方向のピクセル数を取得する。そして、隣り合う目盛り線間の実際の距離（例えば１ｍｍ）を、隣り合う目盛り線間の水平方向のピクセル数で割ることで取得された値、即ち変換係数を、変換係数メモリ１２ｇへ保存する。

【0061】

Ｓ４４の処理の後、Ｓ４２の処理で検出された入力画像Ｐの水平方向の直線状の画像から、上板の上端、および下板の下端を検出する（Ｓ４５）。具体的に、図２（ｃ）を用いてＳ４５の処理を説明すると、入力画像Ｐにおける上端から１本目の直線状の画像が上板の上端とされ、入力画像Ｐにおける下端から２本目の水平方向の直線状の画像が、下板の下端とされる。

【0062】

図６に戻る。Ｓ４５の処理の後、上板板厚メモリ１２ｃ及び下板板厚メモリ１２ｄの各値を、変換係数メモリ１２ｇの変換係数を用いてピクセル数に変換し、上板板厚ピクセルメモリ１２ｅ及び下板板厚ピクセルメモリ１２ｆに保存する（Ｓ４６）。具体的には、上板板厚メモリ１２ｃ及び下板板厚メモリ１２ｄの各値を変換係数メモリ１２ｇの変換係数で除した値を、上板板厚ピクセルメモリ１２ｅ及び下板板厚ピクセルメモリ１２ｆそれぞれに保存する。

【0063】

Ｓ４６の処理の後、上板板厚ピクセルメモリ１２ｅ及び下板板厚ピクセルメモリ１２ｆと、Ｓ４６の処理で変換した上板の上端および下板の下端との各値から、板境界Ｂの座標を算出し、板境界位置メモリ１２ｊへ保存する（Ｓ４７）。具体的には、上板の上端の座標から上板板厚ピクセルメモリ１２ｅのピクセル数分だけ下方に移動した位置、及び下板の下端の座標から下板板厚ピクセルメモリ１２ｆのピクセル数分だけ上方に移動した位置が板境界Ｂの位置なので、かかる位置の座標が、板境界位置メモリ１２ｊに保存される。

【0064】

Ｓ４７の処理の後、ナゲット位置メモリ１２ｈ及び板境界位置メモリ１２ｊの各座標と変換係数メモリ１２ｇの変換係数とから、ナゲット径Ｎｈｄを測定し、ナゲット径メモリ１２ｉに保存する（Ｓ４８）。具体的にナゲット径Ｎｈｄは、ナゲット位置メモリ１２ｈにおけるナゲットＮの輪郭Ｎｅと、板境界位置メモリ１２ｊの板境界Ｂとの交点Ｂ１，Ｂ２（図２（ｃ）参照）の座標を取得し、取得された交点Ｂ１，Ｂ２間の長さが即ちナゲット径Ｎｈｄとして測定される。更に測定されたナゲット径Ｎｈｄに変換係数メモリ１２ｇの変換係数を乗じることで、ナゲット径Ｎｈｄの実際の寸法に変換され、かかる寸法がナゲット径メモリ１２ｉに保存される。

【0065】

Ｓ４８の処理の後、板境界位置メモリ１２ｊの板境界Ｂと平行な直線である平行直線を複数算出する（Ｓ４９）。Ｓ４９の処理の後、算出された平行直線のうち、ナゲット位置メモリ１２ｈのナゲットＮの輪郭Ｎｅとの交点間の距離がナゲット径メモリ１２ｉのナゲット径Ｎｈｄの８割である平行直線を特定する（Ｓ５０）。

【0066】

Ｓ５０の処理の後、特定された平行直線と板境界位置メモリ１２ｊの板境界Ｂとの距離と、変換係数メモリ１２ｇの変換係数とから上板溶込深さＮｕｐ及び下板溶込深さＮｄｄを測定し、上板溶込深さメモリ１２ｋ及び下板溶込深さメモリ１２ｍへ保存する（Ｓ５１）。具体的に、Ｓ５０の処理で特定された平行直線のうち、板境界位置メモリ１２ｊの板境界Ｂよりも上方の平行直線（具体的には図２（ｃ）における交点Ｂ３，Ｂ４を通る平行直線）と板境界位置メモリ１２ｊの板境界Ｂとの距離が、上板溶込深さＮｕｐとして測定される。更に測定された上板溶込深さＮｕｐに変換係数メモリ１２ｇの変換係数を乗じることで、上板溶込深さＮｕｐの実際の寸法に変換され、かかる寸法が上板溶込深さメモリ１２ｋに保存される。

【0067】

一方、Ｓ５０の処理で特定された平行直線のうち、板境界位置メモリ１２ｊの板境界Ｂよりも下方の平行直線（具体的には図２（ｃ）における交点Ｂ５，Ｂ６を通る平行直線）と板境界位置メモリ１２ｊの板境界Ｂとの距離が下板溶込深さＮｄｄとして測定される。更に測定された下板溶込深さＮｄｄに変換係数メモリ１２ｇの変換係数を乗じることで、下板溶込深さＮｄｄの実際の寸法に変換され、かかる寸法が下板溶込深さメモリ１２ｍに保存される。

【0068】

以上の検出処理では、まず、入力画像メモリ１２ａの入力画像Ｐとナゲット判定モデルＭとから、入力画像ＰにおけるナゲットＮが検出される。上板板厚メモリ１２ｃ及び下板板厚メモリ１２ｄと、上板の上端および下板の下端との各値から板境界Ｂが測定され、検出されたナゲットＮの輪郭Ｎｅと板境界Ｂとからナゲット径Ｎｈｄ、上板溶込深さＮｕｐ及び下板溶込深さＮｄｄが測定される。ここでナゲットＮは、図２（ｃ）に示したように、重ね合わせた鋼板Ｓｐと鋼板Ｓｐとの境界、即ち板境界Ｂを跨ぐように形成されるので、板境界ＢはナゲットＮに関わる位置とされる。かかる板境界Ｂを基準に、ナゲットＮにおけるナゲット径Ｎｈｄ、上板溶込深さＮｕｐ及び下板溶込深さＮｄｄを測定することで、これらの寸法を正確に測定できる。

【0069】

また、入力画像Ｐにおける上板の上端や下板の下端といった水平方向の直線状の画像や、定規Ｊの目盛り線といった垂直方向の直線状の画像が、画像処理によって検出される。形状が単純なこれら直線状の画像を画像処理で検出することで、ナゲット判定モデルＭのような学習モデルを予め用意し、直線状の画像の検出の際に学習モデルを参照する必要がない。これにより、直線状の画像の検出を容易かつ迅速に行うことができる。

【0070】

ナゲットＮを検出するナゲット判定モデルＭは、様々な形状および色味のナゲットＮの画像とその画像から検出すべき教師画像とに基づいた学習モデルとして構成される。かかるナゲット判定モデルＭに入力画像メモリ１２ａの入力画像Ｐを入力することで、入力画像ＰからナゲットＮをナゲットＮ以外の物体と区別して検出できるので、ナゲットＮの誤検出を抑制できる。

【0071】

加えて、ナゲット径Ｎｈｄ、上板溶込深さＮｕｐ及び下板溶込深さＮｄｄの算出に際して、定規Ｊの目盛り線に基づく変換係数メモリ１２ｇの変換係数が用いられる。これにより、入力画像Ｐのピクセル数に基づくナゲット径Ｎｈｄ、上板溶込深さＮｕｐ及び下板溶込深さＮｄｄから、これらの実際の寸法を正確かつ容易に測定できる。

【0072】

図５に戻る。Ｓ２３の検出処理の後、入力画像メモリ１２ａの入力画像Ｐに、ナゲット位置メモリ１２ｈのナゲットＮ、図６のＳ４５の処理で算出された上板の上端および下板の下端、ならびに板境界位置メモリ１２ｊの板境界Ｂのそれぞれの位置と、ナゲット径メモリ１２ｉのナゲット径Ｎｈｄ、上板溶込深さメモリ１２ｋの上板溶込深さＮｕｐ及び下板溶込深さメモリ１２ｍの下板溶込深さＮｄｄのそれぞれの寸法情報とを合成した、結果画像Ｑ（図７（ｂ）参照）を生成し、結果画像メモリ１２ｎへ保存する（Ｓ２４）。

【0073】

Ｓ２４の処理の後、ナゲット径メモリ１２ｉのナゲット径Ｎｈｄ、上板溶込深さメモリ１２ｋの上板溶込深さＮｕｐ、下板溶込深さメモリ１２ｍの下板溶込深さＮｄｄ及び結果画像メモリ１２ｎの結果画像Ｑを、表示装置３へ表示する（Ｓ２５）。かかるＳ２５の処理による表示装置３の表示内容を、図７（ｂ）を参照して説明する。

【0074】

図７（ｂ）は、ナゲットＮの検出開始後の表示装置３の表示内容を表す図である。図７（ｂ）に示す通り、ナゲットＮの検出開始後の表示装置３における結果画像表示エリア３ｂには、図５のＳ２５の処理により結果画像メモリ１２ｎの結果画像Ｑが表示される。結果画像表示エリア３ｂの結果画像Ｑと、入力画面表示エリア３ａの入力画像Ｐとを比較することで、ナゲットＮや板境界Ｂ等の位置と、ナゲット径Ｎｈｄ、上板溶込深さＮｕｐ及び下板溶込深さＮｄｄのそれぞれの寸法情報とを、視覚的に把握できる。

【0075】

加えて、図５のＳ２５の処理により、数値表示エリア３ｃにおけるナゲット径エリア３ｇにはナゲット径メモリ１２ｉのナゲット径Ｎｈｄの値が表示され、上板溶込深さエリア３ｈには上板溶込深さメモリ１２ｋの上板溶込深さＮｕｐの値が表示され、下板溶込深さエリア３ｉには、下板溶込深さメモリ１２ｍの下板溶込深さＮｄｄの値が表示される。

【0076】

従って、作業員は、結果画像表示エリア３ｂの結果画像ＱでナゲットＮの検出結果の概要を確認しながら、具体的なナゲット径Ｎｈｄ、上板溶込深さＮｕｐ及び下板溶込深さＮｄｄの値をナゲット径エリア３ｇ、上板溶込深さエリア３ｈ及び下板溶込深さエリア３ｉで確認できる。これにより、作業員によるナゲット径Ｎｈｄ、上板溶込深さＮｕｐ及び下板溶込深さＮｄｄの検証を効率良くできる。

【0077】

また図７（ｂ）では、ナゲットＮの検出が実行された後なので、ナゲットＮの検出の重複を防ぐため、検出開始ボタン３ｆが操作不可能であることを表す破線で表示される。一方で、ナゲットＮの検出が実行され、ナゲット径Ｎｈｄ等が測定された後なので、次の読込ボタン３ｋと終了ボタン３ｍとが、操作可能であることを表す実線で表示される。

【0078】

図５に戻る。Ｓ２５の処理の後、上板板厚メモリ１２ｃ、下板板厚メモリ１２ｄ、ナゲット径メモリ１２ｉ、上板溶込深さメモリ１２ｋ及び下板溶込深さメモリ１２ｍに各値が、判定基準データ１１ｅの基準値に適合しているかを判定し、その結果を表示装置３の結果エリア３ｊ（図７（ｂ）参照）に表示する（Ｓ２６）。

【0079】

具体的には、判定基準データ１１ｅから上板板厚メモリ１２ｃ及び下板板厚メモリ１２ｄの板厚に該当するナゲット径Ｎｈｄ、上板溶込深さＮｕｐ及び下板溶込深さＮｄｄの基準値をそれぞれ取得する。取得された各基準値に、ナゲット径メモリ１２ｉのナゲット径Ｎｈｄ、上板溶込深さメモリ１２ｋの上板溶込深さＮｕｐ及び下板溶込深さメモリ１２ｍの下板溶込深さＮｄｄが全て適合する場合は、結果エリア３ｊに「ＯＫ」が表示され、１つでも適合しない場合は結果エリア３ｊに「ＮＧ」が表示される。

【0080】

即ち入力画像メモリ１２ａの入力画像Ｐから検出されたナゲットＮに基づいて、ナゲット径Ｎｈｄ、上板溶込深さＮｕｐ及び下板溶込深さＮｄｄが測定される。測定されたナゲット径Ｎｈｄ、上板溶込深さＮｕｐ及び下板溶込深さＮｄｄに基づいて、入力画像Ｐにおける試験片Ｔのスポット溶接が所定の規格に適合しているかが判定される。

【0081】

これにより、測定に用いるナゲットＮと判定に用いるナゲットＮとを同一とできるので、測定されたナゲット径Ｎｈｄ、上板溶込深さＮｕｐ及び下板溶込深さＮｄｄに基づくスポット溶接が、所定の規格に適合しているかを正確に判定できる。また、入力画像Ｐの取得のみで、ナゲット径Ｎｈｄ、上板溶込深さＮｕｐ及び下板溶込深さＮｄｄの測定と、試験片Ｔへのスポット溶接の判定とを共に実施できるので、これら測定および判定を容易とし、作業員の手間を軽減できる。

【0082】

Ｓ２６の処理の後、入力装置２を介して、ナゲット径エリア３ｇ、上板溶込深さエリア３ｈ又は下板溶込深さエリア３ｉのうち１つ以上の値が異常な値であるかを確認する（Ｓ２７）。Ｓ２７の処理において、ナゲット径エリア３ｇ、上板溶込深さエリア３ｈ又は下板溶込深さエリア３ｉのうち１つ以上の値が異常な値である場合は（Ｓ２７：Ｙｅｓ）、作業員が入力装置２を介してナゲット径エリア３ｇ、上板溶込深さエリア３ｈ又は下板溶込深さエリア３ｉに入力した値で、該当するナゲット径メモリ１２ｉ、上板溶込深さメモリ１２ｋ及び下板溶込深さメモリ１２ｍを更新し（Ｓ２８）、Ｓ２４以下の処理を繰り返す。なお、Ｓ２８の処理で作業員が入力する値は、作業員自身が入力画像Ｐ又は結果画像Ｑから測定したナゲット径Ｎｈｄ、上板溶込深さＮｕｐ又は下板溶込深さＮｄｄでも良いし、別途の画像処理ソフトウェアで測定したナゲット径Ｎｈｄ、上板溶込深さＮｕｐ又は下板溶込深さＮｄｄでも良い。

【0083】

また、Ｓ２７の処理において、ナゲット径エリア３ｇ等が異常な値であるかどうかの確認に加え、作業員が結果画像表示エリア３ｂの結果画像Ｑに表示されるナゲット径Ｎｈｄ、上板溶込深さＮｕｐ又は下板溶込深さＮｄｄの位置が異常であると判断した場合は、Ｓ２８の処理を実行して、作業員が入力装置２を介してナゲット径エリア３ｇ等に入力した値で該当するナゲット径メモリ１２ｉ等を更新し、加えて、結果画像表示エリア３ｂの結果画像Ｑに表示されるナゲット径Ｎｈｄ等の寸法情報の表示位置を、作業員が入力装置２を介して修正しても良い。この場合、これらの処理の後に、入力装置２を介して修正された結果画像Ｑを結果画像メモリ１２ｎに保存することでＳ２４の処理を省略し、Ｓ２５以下の処理を実行すれば良い。

【0084】

Ｓ２７の処理において、ナゲット径エリア３ｇ、上板溶込深さエリア３ｈ及び下板溶込深さエリア３ｉの値がいずれも正常である場合は（Ｓ２７：Ｎｏ）、上板板厚メモリ１２ｃ、下板板厚メモリ１２ｄ、ナゲット径メモリ１２ｉ、上板溶込深さメモリ１２ｋ及び下板溶込深さメモリ１２ｍの各値と、結果画像メモリ１２ｎの結果画像Ｑと、Ｓ２６の処理で判定された判定結果とを結果テーブル１１ｄに追加する（Ｓ２９）。結果テーブル１１ｄに追加された各値や結果画像Ｑを確認することで、判定処理を実行した後でもスポット溶接が所定の規格に適合しているかの検証や、またナゲット径Ｎｈｄ、上板溶込深さＮｕｐ及び下板溶込深さＮｄｄの寸法に関する検証等を行うことができる。

【0085】

また、結果テーブル１１ｄに追加された入力画像から対応する教師画像をユーザが作成し、これらを学習データ１１ｃへ追加した上でＳ３の学習処理を行う。これにより、実際の判定処理に用いられた画像に基づいて、ナゲット判定モデル１１ｂのナゲット判定モデルＭが学習されるので、入力画像ＰからのナゲットＮの検出精度をより向上させることができる。

【0086】

Ｓ２９の処理の後、次の読込ボタン３ｋ又は終了ボタン３ｍ（共に図７（ｂ）参照）が操作されたかを確認する（Ｓ３０）。Ｓ３０の処理において、次の読込ボタン３ｋが操作された場合は（Ｓ３０：次の読込ボタン）、次の試験片Ｔに対する入力画像Ｐの取得を行うため、Ｓ２０以下の処理を繰り返す。一方で、Ｓ３０の処理において、終了ボタン３ｍが操作された場合は（Ｓ３０：終了ボタン）、判定処理を終了する。

【0087】

図４（ａ）に戻る。Ｓ２又はＳ３の後、Ｓ１以下の処理を繰り返す。

【0088】

以上、実施形態に基づき本発明を説明したが、本発明は上述した実施形態に何ら限定されるものではなく、本発明の趣旨を逸脱しない範囲内で種々の改良変更が可能であることは容易に推察できるものである。

【0089】

上記実施形態では、ナゲット領域画像Ｐｎは、入力画像ＰにおけるナゲットＮとナゲットＮ以外の物体とを異なる色で描画した。しかし、ナゲット領域画像Ｐｎの態様はこれに限られず、例えば、入力画像ＰにおけるナゲットＮとナゲットＮ以外の物体とを異なる模様で描画しても良いし、ナゲットＮの輪郭線のみ描画しても良い。かかる場合は、学習データ１１ｃ（図３（ｂ）参照）における教師画像に、入力画像から検出すべき対応するナゲットＮとナゲットＮ以外の物体との模様や、ナゲットＮの輪郭Ｎｅ（図２（ｂ）参照）のみからなる画像を記憶させ、Ｓ２の学習処理（図５）を実行すれば良い。

【0090】

上記実施形態では、入力画像Ｐとナゲット判定モデルＭとによって、ナゲット領域画像Ｐｎを取得した。しかし、入力画像Ｐとナゲット判定モデルＭとから取得されるのは、ナゲット領域画像Ｐｎに限られず、例えば、入力画像ＰにおけるナゲットＮの位置を表す数値等、画像以外の情報でも良い。かかる場合は、学習データ１１ｃ（図３（ｂ）参照）における教師画像の代わりに、入力画像Ｐから取得したい情報を記憶させ、Ｓ２の学習処理を実行すれば良い。

【0091】

上記実施形態では、図６のＳ４２，Ｓ４３の処理では、画像処理によって水平方向または垂直方向の直線状の画像を取得した。しかし、直線状の画像の取得は、画像処理に限られず、例えば、直線状の画像が検出できるように学習した学習モデルを作成し、入力画像Ｐとかかる学習モデルとによって入力画像Ｐにおける直線状の画像を取得しても良い。

【0092】

上記実施形態では、図６のＳ４７の処理において、板境界Ｂを上板板厚メモリ１２ｃ、下板板厚メモリ１２ｄ、上板の上端および下板の下端の各値から算出したが、これに限られず、画像処理によって板境界Ｂを取得しても良い。かかる場合は、図６のＳ４２の処理で取得された入力画像Ｐにおける水平成分の直線状の画像から、板境界Ｂに該当する画像を取得すれば良い。例えば、図２（ｃ）においては、画像Ｐ'における上部から２番目の水平方向の直線状の画像が板境界Ｂに該当するので、かかる直線状の画像を板境界Ｂとすれば良い。

【0093】

上記実施形態では、入力画像ＰからナゲットＮの各部の寸法として、ナゲット径Ｎｈｄ、上板溶込深さＮｕｐ及び下板溶込深さＮｄｄを測定したが、これに限られず、ナゲットＮの他の部分の寸法を測定しても良い。また、入力画像ＰからナゲットＮに関する寸法を測定するものに限られず、例えば、試験片ＴにおけるナゲットＮ以外の部分の寸法を検出しても良い。

【0094】

上記実施形態では、重ね合わせた２枚の鋼板Ｓｐに形成されるナゲットＮのナゲット径Ｎｈｄを測定したが、これに限られず、３枚以上の重ね合わせた鋼板Ｓｐに形成されるナゲットＮのナゲット径Ｎｈｄを測定しても良い。例えば、鋼板Ｓｐを３枚重ね合わせ、３枚の鋼板Ｓｐを跨ぐように形成されるナゲットＮのナゲット径Ｎｈｄは、一番上の鋼板Ｓｐ（即ち上板）と真ん中の鋼板Ｓｐとの境界部である上板境界における上板ナゲット径と、一番下の鋼板Ｓｐ（即ち下板）と真ん中の鋼板Ｓｐとの境界部である下板境界における下板ナゲット径との、２か所存在する。

【0095】

そこで図３（ａ），（ｃ）の結果テーブル１１ｄには、ナゲット径Ｎｈｄの代わりに、上板ナゲット径と下板ナゲット径とを記憶し、判定基準データ１１ｅには、鋼板Ｓｐの板厚に応じた上板ナゲット径と下板ナゲット径との基準値を記憶する。また、ＲＡＭ１２には、板境界位置メモリ１２ｊの代わりに、上板境界の位置が記憶される上板境界位置メモリと、下板境界の位置が記憶される下板境界位置メモリとを設け、ナゲット径メモリ１２ｉの代わりに、上板ナゲット径が記憶される上板ナゲット径メモリと、下板ナゲット径が記憶される下板ナゲット径メモリとを設ける。

【0096】

そして、図６のＳ４７の処理において、上板の上端の座標から上板板厚メモリ１２ｃの板厚分だけ下方に移動した位置である上板境界を測定して上板境界位置メモリへ保存し、下板の下端の座標から下板板厚メモリ１２ｄの板厚分だけ上方に移動した位置である下板境界を測定して下板境界位置メモリへ保存する。Ｓ４８の処理において、ナゲット位置メモリ１２ｈにおけるナゲットＮと上板境界との交点間の長さである上板ナゲット径を測定して上板ナゲット径メモリへ保存し、ナゲットＮと下板境界との交点間の長さである下板ナゲット径を測定して下板ナゲット径メモリへ保存する。

【0097】

図５のＳ２４の処理において、上板ナゲット径メモリと下板ナゲット径メモリとの各寸法情報を結果画像Ｑに合成し、Ｓ２５の処理において、上板ナゲット径メモリ及び下板ナゲット径メモリの各値と、結果画像Ｑとを表示装置３へ表示し、Ｓ２６の処理において、上板ナゲット径メモリ及び下板ナゲット径メモリと判定基準データ１１ｅとを用いて判定を行い、その判定結果を表示装置３に表示する。また、Ｓ２７，Ｓ２８の処理において、修正された上板ナゲット径と下板ナゲット径とを上板ナゲット径メモリと下板ナゲット径メモリとに保存し、Ｓ２９の処理において、上板ナゲット径メモリ及び下板ナゲット径メモリの各値と、結果画像Ｑと、判定結果とを結果テーブル１１ｄへ追加すれば良い。

【0098】

上記実施形態では、試験片Ｔと共に入力画像Ｐに含まれる基準物として、定規Ｊを例示したが、これに限られず、例えば、官製はがきや名刺等、予め寸法が規定されているものを、適宜基準物に用いても良い。また、定規Ｊ等の基準物の配置を省略しても良い。その場合、例えば、試験片Ｔの長手方向側の辺を所定の長さ（例えば１０ｃｍ）にしておき、かかる長さと、入力画像Ｐにおける試験片Ｔの長手方向側の辺のピクセル数とから変換係数を取得しても良いし、他の手法によって変換係数を取得しても良い。

【0099】

上記実施形態では、入力画像ＰをカメラＣから取得したが、これに限られず、例えば、スキャナ等のカメラＣ以外の他の撮像装置から取得しても良いし、ＨＤＤ１２に記憶された画像を入力画像Ｐとして取得しても良い。

【0100】

上記実施形態では、図７（ａ），（ｂ）の表示装置３に、入力画面表示エリア３ａと、結果画像表示エリア３ｂと、数値表示エリア３ｃとを表示したが、これに限られず、例えば、数値表示エリア３ｃの表示を省略して、入力画面表示エリア３ａと結果画像表示エリア３ｂとのみを表示しても良いし、入力画面表示エリア３ａの表示を省略して、結果画像表示エリア３ｂと数値表示エリア３ｃとのみを表示しても良いし、入力画面表示エリア３ａと結果画像表示エリア３ｂとを省略して、数値表示エリア３ｃのみを表示しても良い。

【0101】

上記実施形態では、測定プログラム１１ａが組み込まれた測定装置１を例示したが、これに限られず、パーソナルコンピュータやスマートフォン、タブレット端末等の情報処理装置（コンピュータ）で測定プログラム１１ａを実行する構成としても良い。

【符号の説明】

【0102】

１ 測定装置
１１ａ 測定プログラム
Ｐ 入力画像
Ｊ 定規（基準物）
Ｎ ナゲット
Ｓｐ 鋼板
Ｔ 試験片
Ｓ２０ 入力画像取得手段、入力画像取得ステップ
Ｓ２１ 板厚取得手段、板厚取得ステップ
Ｓ４０ ナゲット検出手段、ナゲット検出ステップ
Ｓ４４ 変換係数取得手段
Ｓ４５ 端部取得手段、端部取得ステップ
Ｓ４６ 板厚ピクセル取得手段、板厚ピクセル取得ステップ
Ｓ４７ 板境界検出手段、板境界検出ステップ
Ｓ４８ 測定手段の一部、測定ステップの一部
Ｓ４９ 測定手段の一部、平行直線算出手段
Ｓ５０ 測定手段の一部、直線特定手段
Ｓ５１ 測定手段の一部、測定ステップの一部、溶込深さ測定手段

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】