特開 2024-179378 金属材の検査装置、機械学習モデルの生成方法、金属材の検査方法、金属材の製造装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024179378

(43)【公開日】2024-12-26

(54)【発明の名称】金属材の検査装置、機械学習モデルの生成方法、金属材の検査方法、金属材の製造装置

(51)【国際特許分類】

   G01N 21/892 20060101AFI20241219BHJP

   G06T 7/00 20170101ALI20241219BHJP

【ＦＩ】

G01N21/892 B

G06T7/00 350B

【審査請求】未請求

【請求項の数】14

【出願形態】ＯＬ

(21)【出願番号】P 2023098185

(22)【出願日】2023-06-15

(71)【出願人】

【識別番号】000001258

【氏名又は名称】ＪＦＥスチール株式会社

(74)【代理人】

【識別番号】100184859

【弁理士】

【氏名又は名称】磯村 哲朗

(74)【代理人】

【識別番号】100123386

【弁理士】

【氏名又は名称】熊坂 晃

(74)【代理人】

【識別番号】100196667

【弁理士】

【氏名又は名称】坂井 哲也

(74)【代理人】

【識別番号】100130834

【弁理士】

【氏名又は名称】森 和弘

(72)【発明者】

【氏名】飯田 隆志

(72)【発明者】

【氏名】松尾 明

【テーマコード（参考）】

2G051

5L096

【Ｆターム（参考）】

2G051AA37

2G051AB13

2G051CA04

2G051DA06

2G051EB05

5L096BA03

5L096KA04

5L096KA15

(57)【要約】

【課題】 容易に設置可能でありかつ、正確な溶接状態を判断することが可能な金属材の検査装置を提供する。
【解決手段】 先行材としての一の金属板の基端側及び、後行材としての他の金属板の先端側が溶接された溶接部を有する金属材を検査する金属材の検査装置である。金属材の検査装置は、前記溶接部を撮像範囲に含む画像を取得する画像取得部と、前記画像に基づいて、前記溶接部の溶接状態に関する情報である溶接状態情報を生成する溶接状態情報生成部と、前記溶接状態情報を集計し、前記溶接状態に基づいて、前記溶接部の品質の適否に関する溶接結果データを生成する集計部と、を有する。
【選択図】図１

【特許請求の範囲】

【請求項1】

先行材としての一の金属板の基端側及び、後行材としての他の金属板の先端側が溶接された溶接部を有する金属材を検査する金属材の検査装置であって、
前記溶接部を撮像範囲に含む画像を取得する画像取得部と、
前記画像に基づいて、前記溶接部の溶接状態に関する情報である溶接状態情報を生成する溶接状態情報生成部と、
前記溶接状態情報を集計し、前記溶接状態情報に基づいて、前記溶接部の品質の適否に関する溶接結果データを生成する集計部と、
を有する、金属材の検査装置。

【請求項2】

前記溶接状態情報生成部は、前記画像を入力データとし、前記溶接部の溶接状態情報を出力する機械学習モデルを有し、
前記集計部は、前記機械学習モデルが出力した前記溶接部の前記溶接状態情報を集計し、前記溶接状態情報に基づいて、前記溶接結果データを生成する、請求項１に記載の金属材の検査装置。

【請求項3】

前記機械学習モデルは、前記溶接部の評価項目に応じて区分けされた態様で前記溶接部の溶接状態情報を出力し、
前記集計部は、前記溶接部の評価項目に応じて区分けされた態様で、前記溶接結果データを生成する、請求項２に記載の金属材の検査装置。

【請求項4】

前記機械学習モデルは、
前記入力データの前記画像を、前記溶接部が含まれている含有画像又は、前記溶接部が含まれていない非含有画像に分類して出力する第１機械学習モデルと、
前記含有画像を入力データとし、前記溶接部の溶接状態情報を出力する第２機械学習モデルと、を有する、
請求項２又は３に記載の金属材の検査装置。

【請求項5】

前記機械学習モデルは、前記含有画像を入力データとし、前記溶接部が含まれている溶接部含有領域に応じた座標範囲を出力する第３機械学習モデルを有し、
前記第３機械学習モデルが出力した前記座標範囲を用いて、前記第１機械学習モデルが出力した前記含有画像から前記溶接部含有領域を抽出して前処理画像を生成する前処理部を有し、
前記第２機械学習モデルは、前記前処理部によって生成された前記前処理画像を入力とし、前記溶接部の溶接状態情報を出力する、請求項４に記載の金属材の検査装置。

【請求項6】

前記前処理部は、前記溶接部含有領域を前記金属材の幅方向において複数の領域に区分けして前記前処理画像を生成し、
前記第２機械学習モデルは、前記区分けされた複数の領域ごとに生成された前記前処理画像を入力とし、前記溶接部の前記溶接状態情報を出力し、
前記集計部は、前記領域ごとの前記溶接部の前記溶接状態に基づいて、前記溶接部の品質の適否に関する溶接結果データを生成する、請求項５に記載の金属材の検査装置。

【請求項7】

先行材としての一の金属板の基端側及び、後行材としての他の金属板の先端側が溶接された溶接部を含む金属材の画像を教師データとして生成されかつ、前記溶接部を撮像範囲に含む画像を入力とし、前記溶接部の溶接状態情報を出力する、機械学習モデルの生成方法であって、
前記教師データとして用いられる前記画像は、前記撮像範囲のうちの９０％以上の領域が前記溶接部で占められている、機械学習モデルの生成方法。

【請求項8】

前記教師データとして用いられる前記画像は、前記溶接部の評価項目に応じて区分けされ、
前記区分けされた画像における前記溶接部の前記金属材の幅方向の長さは、前記評価項目に応じて規定されている、請求項７に記載の機械学習モデルの生成方法。

【請求項9】

先行材としての一の金属板の基端側及び、後行材としての他の金属板の先端側が溶接された溶接部を有する金属材を検査する金属材の検査方法であって、
前記溶接部を撮像範囲に含む画像を取得する画像取得ステップと、
前記画像を入力データとし、前記溶接部の溶接状態情報を出力する機械学習モデルから前記溶接部の前記溶接状態情報を出力させる出力ステップと、
前記出力ステップで出力された前記溶接部の前記溶接状態情報を集計し、前記溶接状態に基づいて、前記溶接状態に基づいて、前記溶接部の品質の適否に関する溶接結果データを生成する集計ステップと、
を有する、金属材の検査方法。

【請求項10】

前記出力ステップにおいて、前記溶接部の評価項目に応じて区分けされた態様で前記溶接部の溶接状態が出力され、
前記集計ステップにおいて、前記溶接部の評価項目に応じて区分けされた態様で、前記溶接結果データが生成される、請求項９に記載の金属材の検査方法。

【請求項11】

前記入力データの前記画像を、前記溶接部が含まれている含有画像又は、前記溶接部が含まれていない非含有画像に分類して出力する分類ステップを有し、
前記出力ステップは、前記含有画像を入力データとし、前記溶接部の溶接状態情報を出力する、請求項９又は１０に記載の金属材の検査方法。

【請求項12】

前記含有画像を入力データとし、前記溶接部が含まれている溶接部含有領域に応じた座標範囲を出力する溶接部含有領域特定ステップと、
前記座標範囲を用いて、前記含有画像から前記溶接部含有領域を抽出して前処理画像を生成する前処理画像生成ステップと、を有し、
前記出力ステップにおいて、前記前処理画像を入力とし、前記溶接部の溶接状態情報を出力する、請求項１１に記載の金属材の検査方法。

【請求項13】

前記前処理画像生成ステップにおいて、前記溶接部含有領域が前記金属材の幅方向において複数の領域に区分けされて前記前処理画像が生成され、
前記出力ステップにおいて、前記区分けされた複数の領域ごとの前記前処理画像を入力とし、前記溶接部の前記溶接状態が出力され、
前記集計ステップにおいて、前記領域ごとの前記溶接部の前記溶接状態に基づいて、前記溶接部の品質の適否に関する溶接結果データが生成される、請求項１２に記載の金属材の検査方法。

【請求項14】

先行材の金属板の基端側と後行材の金属板の先端側とを溶接する溶接装置と、
先行材としての一の金属板の基端側及び、後行材としての他の金属板の先端側を溶接する溶接装置と、
請求項１又は２に記載の金属材の検査装置と、
を有する、金属材の製造装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、先行材の金属板の基端側と後行材の金属板の先端側とが溶接された溶接部を有する金属材を検査する金属材の検査装置等に関する。

【背景技術】

【0002】

先行材の金属板の基端側と後行材の金属板の先端側とを溶接して接続することが行われている。このような金属板の溶接による接続では、溶接状態を確認することが行われている。溶接状態の確認は、例えば、オペレータによる目視で行われている。目視による確認は、判定するための技術レベルがオペレータによって異なるため、判定の誤差が生じやすい問題がある。また、目視による確認は、不適切な溶接状態を見逃す恐れがある。

【0003】

そこで、機械によって溶接状態を確認することが行われており、例えば、特許文献１には、溶接の際に撮像された発光画像及び、溶接条件に基づいて溶接光特徴量を算出し、算出された溶接光特徴量に基づいて、溶接の良不良を判定することが開示されている。

【0004】

また、特許文献２においては、複数の被溶接金属部材が重ね合わされた被溶接金属物に、レーザ光を照射しつつ当該被溶接金属物を溶接方向に移動させて、重ね合わせ溶接を行う際の品質検査方法が開示されている。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】国際公開第２０２１／１１１５４５号

【特許文献2】特開２００５－１１１５３８号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

特許文献１及び２においては、いずれも溶接機において溶接が行われる際の画像が用いられている。しかしながら、溶接機の周辺は狭いため、カメラを設置するスペースを確保することが困難な場合がある。また、溶接機の周辺にカメラを設置した場合、カメラのレンズの表面にスパッタ等の汚れが付着しやすく、保全性が悪いという問題がある。

【0007】

本発明は、上記問題点に鑑みてなされたものであり、容易に設置可能でありかつ、溶接状態を適切に判断することが可能な金属材の検査装置等を提供することを目的とする。

【課題を解決するための手段】

【0008】

上記課題を解決するため、本発明は以下の特徴を有する。
［１］
先行材としての一の金属板の基端側及び、後行材としての他の金属板の先端側が溶接された溶接部を有する金属材を検査する金属材の検査装置であって、
前記溶接部を撮像範囲に含む画像を取得する画像取得部と、
前記画像に基づいて、前記溶接部の溶接状態に関する情報である溶接状態情報を生成する溶接状態情報生成部と、
前記溶接状態情報を集計し、前記溶接状態に基づいて、前記溶接部の品質の適否に関する溶接結果データを生成する集計部と、
を有する、金属材の検査装置。
［２］
前記溶接状態情報生成部は、前記画像を入力データとし、前記溶接部の溶接状態情報を出力する機械学習モデルを有し、
前記集計部は、前記機械学習モデルが出力した前記溶接部の前記溶接状態情報を集計し、前記溶接状態に基づいて、前記溶接結果データを生成する、［１］に記載の金属材の検査装置。
［３］
前記機械学習モデルは、前記溶接部の評価項目に応じて区分けされた態様で前記溶接部の溶接状態情報を出力し、
前記集計部は、前記溶接部の評価項目に応じて区分けされた態様で、前記溶接結果データを生成する、［２］に記載の金属材の検査装置。
［４］
前記機械学習モデルは、
前記入力データの前記画像を、前記溶接部が含まれている含有画像又は、前記溶接部が含まれていない非含有画像に分類して出力する第１機械学習モデルと、
前記含有画像を入力データとし、前記溶接部の溶接状態情報を出力する第２機械学習モデルと、を有する、［２］又は［３］に記載の金属材の検査装置。
［５］
前記機械学習モデルは、前記含有画像を入力データとし、前記溶接部が含まれている溶接部含有領域に応じた座標範囲を出力する第３機械学習モデルを有し、
前記第３機械学習モデルが出力した前記座標範囲を用いて、前記第１機械学習モデルが出力した前記含有画像から前記溶接部含有領域を抽出して前処理画像を生成する前処理部を有し、
前記第２機械学習モデルは、前記前処理部によって生成された前記前処理画像を入力とし、前記溶接部の溶接状態情報を出力する、［４］に記載の金属材の検査装置。
［６］
前記前処理部は、前記溶接部含有領域を前記金属材の幅方向において複数の領域に区分けして前記前処理画像を生成し、
前記第２機械学習モデルは、前記区分けされた複数の領域ごとに生成された前記前処理画像を入力とし、前記溶接部の前記溶接状態情報を出力し、
前記集計部は、前記領域ごとの前記溶接部の前記溶接状態に基づいて、前記溶接部の品質の適否に関する溶接結果データを生成する、［５］に記載の金属材の検査装置。
［７］
先行材としての一の金属板の基端側及び、後行材としての他の金属板の先端側が溶接された溶接部を含む金属材の画像を教師データとして生成されかつ、前記溶接部を撮像範囲に含む画像を入力とし、前記溶接部の溶接状態情報を出力する、機械学習モデルの生成方法であって、
前記教師データとして用いられる前記画像は、前記撮像範囲のうちの９０％以上の領域が前記溶接部で占められている、機械学習モデルの生成方法。
［８］
前記教師データとして用いられる前記画像は、前記溶接部の評価項目に応じて区分けされ、
前記区分けされた画像における前記溶接部の前記金属材の幅方向の長さは、前記評価項目に応じて規定されている、［７］に記載の機械学習モデルの生成方法。
［９］
先行材としての一の金属板の基端側及び、後行材としての他の金属板の先端側が溶接された溶接部を有する金属材を検査する金属材の検査方法であって、
前記溶接部を撮像範囲に含む画像を取得する画像取得ステップと、
前記画像を入力データとし、前記溶接部の溶接状態情報を出力する機械学習モデルから前記溶接部の前記溶接状態情報を出力させる出力ステップと、
前記出力ステップで出力された前記溶接部の前記溶接状態情報を集計し、前記溶接状態に基づいて、前記溶接状態に基づいて、前記溶接部の品質の適否に関する溶接結果データを生成する集計ステップと、
を有する、金属材の検査方法。
［１０］
前記出力ステップにおいて、前記溶接部の評価項目に応じて区分けされた態様で前記溶接部の溶接状態が出力され、
前記集計ステップにおいて、前記溶接部の評価項目に応じて区分けされた態様で、前記溶接結果データが生成される、［９］に記載の金属材の検査方法。
［１１］
前記入力データの前記画像を、前記溶接部が含まれている含有画像又は、前記溶接部が含まれていない非含有画像に分類して出力する分類ステップを有し、
前記出力ステップは、前記含有画像を入力データとし、前記溶接部の溶接状態情報を出力する、［９］又は［１０］に記載の金属材の検査方法。
［１２］
前記含有画像を入力データとし、前記溶接部が含まれている溶接部含有領域に応じた座標範囲を出力する溶接部含有領域特定ステップと、
前記座標範囲を用いて、前記含有画像から前記溶接部含有領域を抽出して前処理画像を生成する前処理画像生成ステップと、を有し、
前記出力ステップにおいて、前記前処理画像を入力とし、前記溶接部の溶接状態情報を出力する、［１１］に記載の金属材の検査方法。
［１３］
前記前処理画像生成ステップにおいて、前記溶接部含有領域が前記金属材の幅方向において複数の領域に区分けされて前記前処理画像が生成され、
前記出力ステップにおいて、前記区分けされた複数の領域ごとの前記前処理画像を入力とし、前記溶接部の前記溶接状態が出力され、
前記集計ステップにおいて、前記領域ごとの前記溶接部の前記溶接状態に基づいて、前記溶接部の品質の適否に関する溶接結果データが生成される、［１２］に記載の金属材の検査方法。
［１４］
先行材の金属板の基端側と後行材の金属板の先端側とを溶接する溶接装置と、
先行材としての一の金属板の基端側及び、後行材としての他の金属板の先端側を溶接する溶接装置と、
［１］～［６］のいずれかに記載の金属材の検査装置と、
を有する、金属材の製造装置。

【発明の効果】

【0009】

本発明の金属材の検査装置は、溶接部を撮像範囲に含む画像を取得する画像取得部及び、前記画像に基づいて、前記溶接部の溶接状態に関する情報である溶接状態情報を生成する溶接状態情報生成部を有する。このため金属材の検査装置等は、必ずしも溶接が施されている際の画像を用いずに、溶接部の溶接状態情報を出力することができる。したがって、金属材の検査装置等によれば、設置スペースや、設置位置に特段の考慮をせずに撮像装置を容易に設置することができる。また、金属材の検査装置等は、溶接状態情報生成部を用いて溶接部の溶接状態情報を出力するため、溶接部の溶接状態を適切に判断することが可能となる。

【図面の簡単な説明】

【0010】

【図1】金属材の製造装置の概要を示す説明図である。

【図2】機械学習モデルによる出力処理を示すフロー図である。

【図3】図２のステップＳ１０１の画像取得ステップ～ステップＳ１０５の溶接部含有領域を抽出するステップの態様を示す説明図である。

【図4】図２のステップＳ１０６の細分化ステップの態様を示す説明図である。

【図5】溶接部の溶接状態が出力される態様を示す説明図である。

【図6】溶接部の溶接状態が出力される他の態様を示す説明図である。

【発明を実施するための形態】

【0011】

以下、本発明の実施の形態を図面に基づいて説明する。図１は、金属材の製造装置の概要を示している。金属材としては、溶接の対象となるものであれば特には限定されない。本実施形態においては、金属材の一例として鋼材及び、金属板の一例として鋼板を用いた例を説明する。図１に示すように、金属材の製造装置１００は、金属材としての鋼材１０を載置する検査台２０及び、鋼材１０を溶接する溶接装置３０を有する。

【0012】

鋼材１０は、例えば、上面視が矩形状に形成された検査台２０に載置される。鋼材１０は、検査台２０の長手方向Ｄ１の一端側に位置する先行材としての鋼板１１と、長手方向Ｄ１の他端側に位置する後行材としての鋼板１２と、先行材及び後行材の鋼板１１，１２が溶接により接続された溶接部１３を有する。

【0013】

溶接装置３０は、特には限定されないが、レーザ溶接機、アーク溶接機等の種々の公知の溶接機を用いることもできる。溶接装置３０としては、例えば、マッシュシーム溶接機を用いることができる。

【0014】

鋼材の製造装置１００は、鋼材１０の溶接部１３を撮像可能に配置されたカメラ４０を有する。カメラ４０は、鋼材１０の幅方向に亘って撮像可能に設けられていることが好ましい。カメラ４０は、複数台で設けられているようにしてもよい。この場合、複数のカメラ４０の撮像領域を合わせることで、鋼材１０の幅方向の全体が撮像されるようにするとよい。カメラ４０は、連続的に撮像を行い、後述する検査装置５０にデータを順次送信する。

【0015】

鋼材の製造装置１００は、鋼材１０の検査装置（以下、単に検査装置とも称する）５０を有する。検査装置５０は、中央処理装置、記憶装置、揮発性メモリを含むコンピューターを有する。検査装置５０は、カメラ４０と通信可能に接続されている。カメラ４０から送信された画像データは、記憶装置に格納される。

【0016】

検査装置５０は、カメラ４０が撮像した画像を取得する画像取得部５１及び、カメラ４０が撮像した画像を入力とし、溶接部１３の溶接状態情報を出力する機械学習モデル５２を有する。検査装置５０は、機械学習モデル５２が出力した溶接部１３の溶接状態情報を集計し、当該溶接状態情報に基づいて、溶接部１３の品質の適否に関する溶接結果データを生成する集計部５３を有する。検査装置５０は、入力データの画像に対して画像処理を行う前処理部５４を有する。検査装置５０は、入力部５５及び、表示部５６を有する。

【0017】

機械学習モデル５２は、言い換えれば、カメラ４０が撮像した画像に基づいて、溶接部１３の溶接状態に関する情報である溶接状態情報を生成する。機械学習モデルは、溶接状態情報を生成する溶接状態情報生成部として機能する。機械学習モデル５２としては、ニューラルネットワークやディープラーニングなどの公知の機械学習モデルを挙げることができる。機械学習モデル５２は、例えば、記憶装置に格納されているデータセットを教師データとして機械学習される。

【0018】

機械学習モデル５２は、入力データの画像を、溶接部が含まれている含有画像又は、溶接部が含まれていない非含有画像に分類して出力する第１機械学習モデル５２ａを有する。機械学習モデル５２は、第１機械学習モデル５２ａによって分類された含有画像を入力データとし、溶接部１３の溶接状態情報を出力する第２機械学習モデル５２ｂを有する。機械学習モデル５２は、含有画像を入力データとし、溶接部１３が含まれている溶接部含有領域に応じた座標範囲を出力する第３機械学習モデル５２ｃを有する。

【0019】

第１機械学習モデル５２ａは、含有画像及び、非含有画像を教師データとして用いて生成される。これらの画像が教師データとして用いて学習されることにより、第１機械学習モデル５２ａは、溶接部１３の形状の特徴を学習することができる。したがって、第１機械学習モデル５２ａは、画像において溶接部１３の特徴に合致する領域を溶接部１３として認識することで、入力データの画像を含有画像及び、非含有画像に分類して出力することが可能となる。

【0020】

第２機械学習モデル５２ｂの教師データとしては、例えば、先行材としての一の鋼板１１の基端側及び、後行材としての他の鋼板１２の先端側が溶接された溶接部１３を含む画像と、当該画像における溶接部１３の溶接状態が一組のデータとして紐づけられたデータを用いることができる。

【0021】

溶接部１３の溶接状態は、例えば、溶接部１３の評価項目に応じた態様で紐づけられているとよい。溶接部１３の評価項目は、例えば、表１に記載の項目を用いることができる。

【0022】

【表1】

【0023】

例えば、表１のＮｏ．１の項目の場合、鋼材１０の幅方向Ｄ２の端部であるエッジからＸ ｍｍ以内に穴がある画像及び、エッジからＸ ｍｍ以内に穴がない画像が教師データとして用いられる。

【0024】

これらの画像が教師データとして用いて第２機械学習モデル５２ｂに学習されることにより、第２機械学習モデル５２ｂは、エッジの形状の特徴を学習することができる。したがって、第２機械学習モデル５２ｂは、画像においてエッジの特徴に合致する領域をエッジとして認識し、エッジからＸ ｍｍ以内の領域を認識することが可能となる。また、第２機械学習モデル５２ｂは、穴の形状の特徴を学習することができる。その結果、第２機械学習モデル５２ｂは、カメラ４０が撮像した画像において、穴の形状の特徴に合致する領域を認識することができる。第２機械学習モデル５２ｂは、エッジからＸ ｍｍ以内に穴がある又は、エッジからＸ ｍｍ以内に穴がないことを、溶接部１３の溶接状態として出力することができる。

【0025】

第２機械学習モデル５２ｂの教師データとして用いられる画像は、撮像範囲のうちの９０％以上の領域が溶接部１３で占められていることが好ましい。このような画像を教師データとして用いられることにより、溶接部１３の形状の特徴を精密に学習させることができ、第２機械学習モデル５２ｂから出力されるデータの精度を高めることが可能となる。

【0026】

教師データとして用いられる画像は、溶接部１３の評価項目に応じて、鋼材１０の幅方向の長さが規定されているとよい。例えば、表１のＮｏ．４は、ビードが真っ直ぐに形成されているか、すなわち、ビードが線状に形成されているかを評価する項目である。このような評価項目の場合は、ビードの形状がより長く形成されている方が評価精度を高めることができる。このため、表１のＮｏ．４の評価項目に用いられる教師データの画像は、鋼材１０の幅方向Ｄ２の長さが他の評価項目のよりも長く登録されるとよい。このようにして画像が登録されることにより、評価項目に適した教師データで機械学習をさせることができる。

【0027】

第３機械学習モデル５２ｃは、溶接部１３を含む画像及び、当該溶接部１３と関連付けられた当該画像の座標範囲を教師データとして用いて生成される。第３機械学習モデル５２ｃの教師データに用いられる画像は、入力データとして用いられる画像の座標系が同じであるとよい。例えば、当該教師データに用いられる画像には、入力データに用いられる画像の画角、レンズの倍率等の撮影条件や、当該画像の画素数等によって定まる座標系が合わせられた状態で撮影されたものが用いることができる。尚、教師データと入力データの画像の座標系を合わせるための補正係数を予め求めておき、当該補正係数を用いて両者を合わせるようにしてもよい。このようにすることで、教師データに用いられる画像と、入力データとして用いられる画像の座標系がズレた状態であっても、撮像対象が画角に収まっていれば問題なく両者の座標系を合わせることができる。

【0028】

集計部５３は、第２機械学習モデル５２ｂによって出力された溶接部１３の溶接状態情報を集計する。例えば、第２機械学習モデル５２ｂが、表１のＮｏ．１の評価項目について、エッジからＸ ｍｍ以内に穴があるとする溶接状態情報を出力した場合、集計部５３は、溶接部１３の品質が不適合であるとする出力として集計する。集計部５３は、集計した溶接状態情報に基づいて、溶接部１３の品質の適否に関する溶接結果データを生成する。

【0029】

前処理部５４は、例えば、記憶装置に格納されたソフトウェアを読み込むことによって実現される。前処理部５４は、第３機械学習モデル５２ｃが出力した座標範囲を用いて、第１機械学習モデル５２ａが出力した含有画像から溶接部含有領域を抽出して前処理画像を生成する。

【0030】

前処理部５４は、溶接部含有領域を鋼材１０の幅方向Ｄ２において複数の領域に区分けして細分化した前処理画像を生成することが可能である。前処理部５４は、例えば、溶接部１３の評価項目に応じた態様で複数の領域に区分けして前処理画像を生成することが可能である。

【0031】

尚、前処理部５４は、１の画像の溶接部含有領域を、鋼材１０の幅方向Ｄ２において複数の領域に区分けして前処理画像を生成するとよい。また、このように複数に区分けされた領域の各々の前処理画像を、教師データとして用いられるとよい。このようにすることで、１の画像で複数の教師データを作成することが可能となる。尚、上述した教師データとして用いられるこれらのデータは、例えば、記憶装置に格納されているとよい。

【0032】

第２機械学習モデル５２ｂは、前処理部５４によって生成された前処理画像を入力とし、溶接部１３の溶接状態情報を出力するよとよい。このようにすることで、第３機械学習モデル５２ｃによる出力精度を高めることが可能となる。

【0033】

入力部５５は、オペレータによる入力操作を受け付ける入力装置である。入力装置としては、キーボード、マウス、タッチパネル等が挙げられる。

【0034】

表示部５６は、機械学習モデル５２の出力データを表示するディスプレイである。表示部５６には、音声データを出力するスピーカーが設けられていてもよい。

【0035】

図２は、検査装置５０による鋼材の検査方法の処理を示している。検査装置５０による処理は、例えば、鋼材の製造装置１００の稼働により開始される。図２に示すように、画像取得部５１は、記憶装置を参照してカメラ４０が撮像した画像を取得する（ステップＳ１０１）。

【0036】

ステップＳ１０１の画像取得ステップが実行されると、第１機械学習モデル５２ａは、当該画像を入力として処理する。第１機械学習モデル５２ａは、入力された画像について、溶接部１３が含まれている含有画像又は、溶接部１３が含まれていない非含有画像に分類して出力する（ステップＳ１０２）。

【0037】

検査装置５０は、ステップＳ１０２によって出力された画像が含有画像であるか判定する（ステップＳ１０３）。

【0038】

ステップＳ１０３の判定において、含有画像でない場合、すなわち、第１機械学習モデル５２ａからの出力が非含有画像である場合（ステップＳ１０３：ＮＯ）、検査装置５０は処理を終了する。

【0039】

ステップＳ１０３の判定において、第１機械学習モデル５２ａからの出力が含有画像である場合（ステップＳ１０３：ＹＥＳ）、第３機械学習モデル５２ｃは、画像の溶接部１３が含まれている溶接部含有領域を特定する（ステップＳ１０４）。

【0040】

具体的には、第３機械学習モデル５２ｃは、ステップＳ１０４の溶接部含有領域特定ステップにおいて、第１機械学習モデル５２ａが出力した含有画像を入力とし、当該含有画像における溶接部含有領域に応じた座標範囲を出力する。

【0041】

ステップＳ１０４の溶接部含有領域の特定ステップが実行されると、前処理部５４は、第３機械学習モデル５２ｃによって出力された座標範囲を用いて当該含有画像から溶接部含有領域を抽出して第１前処理画像を生成する（ステップＳ１０５）。

【0042】

ステップＳ１０５の前処理画像生成ステップが実行されると、前処理部５４は、ステップＳ１０５の前処理画像生成ステップで生成された第１前処理画像の溶接部含有領域を鋼材１０の幅方向Ｄ２に区分けして複数の領域に細分化した第２前処理画像を生成する（ステップＳ１０６）。

【0043】

ステップＳ１０６の細分化ステップが実行されると、ステップＳ１０６で生成された第２前処理画像の各々を入力とし、第２機械学習モデル５２ｂから溶接部１３の溶接状態情報を出力させて出力ステップが実行される（ステップＳ１０７）。

【0044】

ステップＳ１０７の出力ステップが実行されると、集計部５３は、出力ステップで出力された溶接部１３の溶接状態に基づいて、溶接部１３の品質の適否を集計する集計ステップを実行する（ステップＳ１０８）。

【0045】

より具体的には、集計部５３は、各々の第２前処理画像について溶接部１３の品質の適否を集計する。集計部５３は、当該集計結果に基づいて、例えば、溶接部１３の品質が全体として適切な状態であるか否かが判定された溶接部１３の品質の適否に関する溶接結果データを生成する。集計部５３は、ステップＳ１０８の集計ステップで生成された溶接結果データを、例えば、表示部５６に表示させる。

【0046】

尚、集計部５３は、ステップＳ１０７の出力ステップにおいて、表１に記載された複数の評価項目に応じて区分けされた態様で、溶接結果データを生成するとよい。

【0047】

例えば、表１に記載した項目毎に第２機械学習モデル５２ｂを設け、集計部５３は、各々の第２機械学習モデル５２ｂから出力された溶接部１３の品質の適否を集計するようにしてもよい。

【0048】

このようにした場合、ステップＳ１０８の集計ステップにおいて、表示部５６に表示させる溶接結果データを選択可能に表示部５６の画面に表示させるとよい。また、当該集計ステップにおいて、これらの評価項目に対応する溶接部１３の溶接状態情報を個々の出力に基づいて、溶接結果データを表示部５６の画面に表示させてもよい。

【0049】

図３は、図２のステップＳ１０１の画像取得ステップからステップＳ１０５の溶接部含有領域特定ステップの態様が示されている。図３（ａ）に示されているように、ステップＳ１０１では、カメラ４０で撮像された画像が取得される。当該画像には、先行材及び後行材の鋼板１１，１２、鋼材１０の溶接部１３及び、鋼材１０を載置する検査台２０が映り込んでいる。

【0050】

図３（ｂ）に示されているように、ステップＳ１０４では、溶接部含有領域１４が特定される。溶接部含有領域１４の特定は、上述のように第３機械学習モデル５２ｃによってなされるとよい。

【0051】

図３（ｃ）に示されているように、ステップＳ１０５では、溶接部含有領域１４が抽出される。溶接部含有領域１４が抽出された後は、鋼材１０と背景の輝度差、輝度分布等を用いて、閾値を設け、抽出画像から背景が取り除かれるようにするとよい。

【0052】

図４は、図２のステップＳ１０６の細分化ステップの態様を示している。図４（ａ）に示すように、前処理部５４は、溶接部含有領域１４を鋼材１０の幅方向Ｄ２において、複数の領域に区分けして細分化する。図４（ａ）に示す例では、前処理部５４は、溶接部含有領域１４を７つの領域１４ａ～１４ｇに区分けして細分化している。

【0053】

前処理部５４による溶接部含有領域１４の細分化は、このような態様に限られず、実施の態様に応じて任意に行うことが可能である。例えば、上記の表１の評価項目Ｎｏ．４に示したビードの直進性等の項目を評価する場合には、図４（ｂ）に示すように、鋼材１０の幅方向Ｄ２に沿って延びる領域１４ｈ、１４ｉの２つの領域に分けてもよい。このような形状で溶接部含有領域１４を分割することで、欠陥の特徴に応じて抽出することができ、判定精度を高めることが可能となる。

【0054】

尚、前処理部５４によって溶接部含有領域１４が細分化される領域は、予め設定されているとよい。例えば、溶接部含有領域１４が細分化される領域は、上記の表１に記載の評価項目に対応して設定されているとよい。

【0055】

以上のように、本発明の鋼材の検査装置５０等は、溶接部１３を撮像範囲に含む画像を取得する画像取得部５１及び、当該画像を入力データとして、溶接部１３の溶接状態情報を出力する機械学習モデル５２を有する。このため鋼材の検査装置５０等は、必ずしも溶接が施されている際の画像を用いずに、溶接部１３の溶接状態情報を出力することができる。したがって、鋼材の検査装置５０等によれば、設置スペースや、設置位置に特段の考慮をせずにカメラ４０を容易に設置することができる。また、鋼材の検査装置５０等は、機械学習モデル５２を用いて溶接部１３の溶接状態情報を出力するため、溶接部１３の溶接状態を適切に判断することが可能となる。

【0056】

特に、本発明の鋼材の検査装置５０等は、溶接が完了した後の溶接部１３が撮像された画像を用いることもできるため、カメラ４０を容易に設置することができ、保全負荷を低減することができる。

【0057】

従来の画像処理による溶接部１３の溶接状態の判定では、オペレータによる目視検査と同等の判定精度を得ることは困難である。本発明の鋼材の検査装置５０等は、上記の画像を入力とした機械学習モデル５２を用いることで、オペレータによる目視検査と同等の判定精度を得ることが可能となる。また、オペレータによる目視検査では、オペレータの技量による判定誤差や、不良状態を見落とす可能性がある。本発明の鋼材の検査装置５０等は、機械学習モデル５２によって溶接部１３の溶接状態が出力されるため、このような判定誤差等の発生を抑制することができる。

【0058】

さらに、連続ラインの鋼材１０の溶接部１３は幅が長く形成される傾向がある。このため、撮像された画像には溶接部１３以外の領域が多く存在する。この画像を機械学習モデル５２の入力画像として用いられると、機械学習モデル５２は、溶接部１３以外の領域の特徴量を捉えて、溶接部１３の溶接状態情報を出力する恐れがある。また、連続ラインでは様々なサイズの鋼材１０が搬送されるため、撮像された画像において決まった位置に溶接部１３が映るとは限られない。したがって、機械学習モデル５２による溶接部１３の溶接状態の出力精度を高めるためには、撮像された画像から溶接部１３が特定されること又は、撮像された画像から溶接部１３が抽出されるとよい。本発明の鋼材の検査装置５０の機械学習モデル５２は、画像から溶接部１３を特定し、これを抽出する。これにより、機械学習モデル５２による溶接部１３の溶接状態の出力精度をより高めることが可能となる。

【0059】

機械学習モデル５２は、溶接部含有領域１４において、鋼材１０の幅方向Ｄ２に区分けされた複数の領域ごとに溶接部１３の溶接状態情報を出力しかつ、その領域ごとの溶接部１３の溶接状態に基づいて、溶接部１３の全体の溶接状態情報を出力するとよい。例えば、溶接部１３の一部に不適切な状態の溶接部位があったとしても、その他の領域が適切な溶接状態であれば全体として適切な溶接状態として出力される可能性がある。そこで、機械学習モデル５２は、例えば、１つの領域に不適切な状態の溶接部位がある場合、他の領域の結果に関係なく全体の溶接状態が不適切な状態であるとする溶接状態情報を出力するとよい。このように、機械学習モデル５２は、領域ごとの溶接部１３の溶接状態に基づいて、溶接部１３の全体の溶接状態情報を出力することにより、出力精度をより高めることができる。

【0060】

不適切な状態の溶接の画像は、そもそも不適切な状態となる発生回数が低いため得られにくい。そのため１の溶接部１３に対して１の教師データとした場合、教師データの収集に膨大な時間と労力がかかる恐れがある。

【0061】

１の画像の溶接部含有領域１４を細分化し、各々の領域を教師データとして用いるとよい。このようにすることで、１の画像から複数の教師データを得ることができる。このため機械学習モデル５２の教育頻度を高めることができ、出力精度の向上を図ることが可能となる。

【0062】

尚、上述の実施形態において、ステップＳ１０５の前処理画像生成ステップ及び、ステップＳ１０６の細分化ステップは、実施の態様に応じて任意に実行される処理である。すなわち、機械学習モデル５２は、ステップＳ１０４及び、ステップＳ１０５で生成された前処理画像を入力に用いずに、例えば、含有画像を入力として、溶接部１３の溶接状態情報を出力するようにしてもよい。

【0063】

また、溶接状態情報を生成する溶接状態情報生成部として機械学習モデル５２を用いる例を説明した。溶接状態情報生成部は、機械学習モデル５２を用いずに構成してもよい。溶接状態情報生成部は、例えば、画素の差分、画素の勾配等によって特定の領域を抽出し、予め設けた基準画像及び、当該領域をパターンマッチング処理によって、溶接状態情報を生成する画像処理部（図示せず）によって構成してもよい。このように、溶接状態情報生成部を構成しても上記の実施形態と同様の作用効果を得ることができる。

【実施例0064】

溶接装置の周囲にカメラを設置し、カメラによって撮像された画像を用いて溶接部の溶接状態を検証した。尚、溶接状態の評価項目としては、上記の表１のＮｏ．５の表面荒れについて行った。

【0065】

上記の表１に示された評価項目Ｎｏ．１～６に区分けされた画像を教師データとして用いて、機械学習モデルを作成した。また、教師データとして用いた画像には鋼材の幅方向に領域が細分化された画像を用いた。具体的には、図５に示すように、溶接部含有領域１４を鋼材の幅方向において４つの領域１４ｊ～１４ｍに細分化された画像を教師データとして用いた。

【0066】

機械学習モデルの出力は、４つ領域１４ｊ～１４ｍのいずれも溶接部の溶接状態が不適切な状態であった。また、集計部が生成した溶接結果データは、溶接部の溶接状態が不適切であるとするデータであった。また、これらの領域について、目視にて再度確認を行ったところ、４つ領域１４ｊ～１４ｍは、いずれも溶接部の溶接状態が不適切な状態であった。

【0067】

続いて、図６に示す、４つ領域１４ｊ～１４ｍについて、接状態の評価項目として、上記の表１のＮｏ．２の穴について行った。機械学習モデルの出力は、４つ領域１４ｊ～１４ｍのうち、領域１４ｊ、１４ｋの溶接部の溶接状態が不適切な状態であった。また、集計部が生成した溶接結果データは、溶接部の溶接状態が不適切であるとするデータであった。これらの領域について、目視にて再度確認を行ったところ、領域１４ｊ、１４ｋは、いずれも溶接部の溶接状態が不適切な状態であった。

【0068】

以上のように、本発明の鋼材の検査装置は、熟練のオペレータによる目視による確認と同等の高い精度で溶接部の溶接状態を判定した溶接状態情報を出力することができることが確認された。

【符号の説明】

【0069】

１００ 鋼材の製造装置
１０ 鋼材
１１ 鋼板（先行材）
１２ 鋼板（後行材）
１３ 溶接部
３０ 溶接装置
５０ 検査装置
５１ 画像取得部
５２ 機械学習モデル
５２ａ 第１機械学習モデル
５２ｂ 第２機械学習モデル
５２ｃ 第３機械学習モデル
５３ 集計部
５４ 前処理部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】