特開 2024-164416 表面疵の深さ推定方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024164416

(43)【公開日】2024-11-27

(54)【発明の名称】表面疵の深さ推定方法

(51)【国際特許分類】

   G01N 21/91 20060101AFI20241120BHJP

   G06T 7/00 20170101ALI20241120BHJP

   G01N 21/88 20060101ALI20241120BHJP

【ＦＩ】

G01N21/91 B

G06T7/00 610Z

G06T7/00 350C

G01N21/88 J

【審査請求】未請求

【請求項の数】3

【出願形態】ＯＬ

(21)【出願番号】P 2023079871

(22)【出願日】2023-05-15

(71)【出願人】

【識別番号】000003713

【氏名又は名称】大同特殊鋼株式会社

(74)【代理人】

【識別番号】100107700

【弁理士】

【氏名又は名称】守田 賢一

(72)【発明者】

【氏名】山腰 浩平

(72)【発明者】

【氏名】湯藤 隆夫

(72)【発明者】

【氏名】森 大輔

【テーマコード（参考）】

2G051

5L096

【Ｆターム（参考）】

2G051AA07

2G051AB02

2G051EB05

2G051EC01

2G051GB02

2G051GC04

2G051GC18

2G051GD02

5L096AA06

5L096BA03

5L096CA02

5L096DA02

5L096EA13

5L096EA43

5L096FA02

5L096FA17

5L096HA11

5L096KA04

(57)【要約】

【課題】磁粉探傷において金属材の表面疵の疵種に応じた疵深さを正確に推定することが可能な表面疵の深さ推定方法を提供する。
【解決手段】磁粉探傷で得られる金属材の磁粉模様画像を、処理装置２内に構成された画像認識部２１の畳み込みニューラルネットワークに入力させて当該磁粉模様画像中の疵画像に対応する疵種の表面疵の深さを推定する。この場合、上記疵画像の画像サイズ情報と上記疵種の情報を畳み込みニューラルネットワークの出力層を構成する全結合層２３に入力させる。
【選択図】 図１

【特許請求の範囲】

【請求項1】

磁粉探傷で得られる金属材の磁粉模様画像を学習済みの畳み込みニューラルネットワークに入力させて当該磁粉模様画像中の疵画像に対応する疵種の表面疵の深さを推定することを特徴とする表面疵の深さ推定方法。

【請求項2】

前記疵画像の画像サイズ情報と前記疵種の情報を前記畳み込みニューラルネットワークの出力層を構成する全結合層に入力させる請求項１に記載の表面疵の深さ推定方法。

【請求項3】

前記磁粉模様画像を前記畳み込みニューラルネットワークに入力させるに際して、前記磁粉模様画像の縁辺に適宜ゼロ埋め画像を付加してこれら磁粉模様画像の画像サイズを全て同一にした請求項１又は２に記載の表面疵の深さ推定方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は表面疵の深さ推定方法に関し、特に磁粉探傷で得られる金属材の磁粉模様画像から当該金属材の表面疵の深さを推定する方法に関するものである。

【背景技術】

【0002】

特許文献１では、磁化された金属材の表面に蛍光磁粉を散布して、当該蛍光磁粉で描かれる磁粉模様画像より疵部位を判別し、疵部位の縦横比から疵種を判定している。そして、上記疵部位の平均幅に平均輝度を乗じた深さ指標値を得て、当該指標値に、疵種に応じて予め得られた係数を乗じて疵深さを算出し推定している。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開平９－２１０９６９

【発明の概要】

【発明が解決しようとする課題】

【0004】

ところで上記従来の疵深さ推定方法では疵種を疵部位の縦横比から判定しているが、実際には作業者は小さな波打ち模様や磁粉の局所的な濃淡変化等をも考慮に入れて疵深さを官能的に推定しており、疵部位の縦横比のみから疵種を一義的に定めることは困難であって、このため、疵深さの正確な推定も困難であるという問題があった。

【0005】

そこで、本発明はこのような問題を解決するもので、磁粉探傷において金属材の表面疵の疵種に応じた疵深さを正確に推定することが可能な表面疵の深さ推定方法を提供することを目的とする。

【課題を解決するための手段】

【0006】

上記目的を達成するために、本第１発明では、磁粉探傷で得られる金属材の磁粉模様画像を学習済みの畳み込みニューラルネットワークに入力させて当該磁粉模様画像中の疵画像に対応する疵種の表面疵の深さを推定する。

【0007】

本第１発明によれば、学習済みの畳み込みニューラルネットワークに磁粉模様画像を入力させることによって、磁粉模様そのものを認識することができるため、金属材の表面疵の疵種に応じた疵深さを正確に推定することが可能である。

【0008】

本第２発明では、前記疵画像の画像サイズ情報と前記疵種の情報を前記畳み込みニューラルネットワークの出力層を構成する全結合層に入力させる。

【0009】

本第２発明によれば、畳み込みニューラルネットワークの全結合層に画像サイズ情報と疵種の情報を入力させることによって、畳み込みニューラルネットワークに入力させる際の磁粉模様画像の固定サイズ・固定アスペクトへのリサイズ(以下リサイズ)の影響を受けることなく、金属材の表面疵の疵種に応じた疵深さをさらに正確に推定することが可能である。

【0010】

本第３発明では、前記磁粉模様画像を前記畳み込みニューラルネットワークに入力させるに際して、前記磁粉模様画像の縁辺に適宜ゼロ埋め画像を付加してこれら磁粉模様画像の画像サイズを全て同一にする。

【0011】

本第３発明においては、畳み込みニューラルネットワークに入力させる際の磁粉模様画像のリサイズの影響を受けることなく、金属材の表面疵の疵種に応じた疵深さをさらに正確に推定することが可能である。

【発明の効果】

【0012】

以上のように、本発明の表面疵の深さ推定方法によれば、磁粉探傷において金属材の表面疵の疵種に応じた疵深さを正確に推定することができる。

【図面の簡単な説明】

【0013】

【図1】磁気探傷装置の概略構成を示す図である。

【図2】畳み込みニューラルネットワークの要部の構成を示す図である。

【図3】線状疵の磁粉模様画像のリサイズの様子を示す図である。

【図4】ヘゲ疵の磁粉模様画像のリサイズの様子を示す図である。

【図5】処理装置の構成を示す図である。

【図6】サイズデータの取得・疵種判別を行う磁粉模様画像の一例を示す図である。

【図7】作業者と処理装置による疵深さの予測値を比較した図である。

【図8】磁粉模様画像にゼロ埋め画像を付加した様子を示す図である。

【発明を実施するための形態】

【0014】

なお、以下に説明する実施形態はあくまで一例であり、本発明の要旨を逸脱しない範囲で当業者が行う種々の設計的改良も本発明の範囲に含まれる。

【0015】

（第１実施形態）
図１には本発明方法を使用する磁気探傷装置の概略構成を示す。探傷対象となる金属材たる角型鋼片Ｍが支持台Ｓ上に置かれており、その検査表面Ｍ１は、図示を省略する公知の磁化器によって磁化された後、蛍光磁粉液が散布されて磁粉模様が生じている。鋼片Ｍの上方には平行にその長手方向に沿ってレールＲが設置されて、当該レールＲに沿ってガイドローラＲ１により移動可能に探傷器１が設けられている。

【0016】

探傷器１内には鋼片Ｍの検査表面Ｍ１に向けてブラックライト１１とカメラ１２が設けられており、ブラックライト１１から紫外線を照射されて蛍光を発した磁粉の磁粉模様がカメラ１２で撮像される。そして、探傷器１が鋼片Ｍに沿って移動するのに伴って、鋼片Ｍの検査表面Ｍ１の磁粉模様画像が逐次処理装置２へ送られる。

【0017】

上記処理装置２はコンピュータを内設しており、学習済みのＣＮＮ（畳込みニューラルネットワーク）の要部で構成される画像認識部２１と、疵サイズ・疵種入力部２２で構成されている。画像認識部２１のＣＮＮ要部の構成を図２に示し、必要数の畳み込み層２１１と必要数のプーリング層２１２が交互に設けられ、最後に平滑化層２１３が設けられて特徴抽出された２次元画像データ(カラー画像であれば３次元)が一次元データ列に変換され出力される。

【0018】

ところで、画像認識部２１に磁粉模様画像を読み込ませる際には通常、磁粉模様画像を全て同じサイズに変換する、いわゆるリサイズが行われる。リサイズの一例を図３、図４に示す。図３は線状疵、図４はヘゲ疵の例である。このために、磁粉模様画像のサイズ情報が失われて、表面疵の深さ推定の精度が損なわれる。そこで、本実施形態では、リサイズ前の疵模様画像中の疵画像サイズ（面積あるいは直径）を入力するとともに、併せて疵種データも入力する上記疵画像サイズ・疵種入力部２２を設けている。

【0019】

処理装置２の構成を図５に再掲する。疵画像サイズ・疵種入力部２２では、入力された疵画像サイズが連続値または二進数に変換され、また疵種はワンホットエンコーディング（当該疵であった場合に値「１」となり、他の場合は値「０」となる配列）される。そして、一次元のデータ列に変換された画像認識部２１からの画像データと、連続値または二進数に変換された疵画像サイズデータおよびワンホットエンコーディングされた疵種データが、ＣＮＮの出力層を構成する、必要数設けられた全結合層２３へ入力され、最終段の全結合層２３から疵深さ予測データが出力される。

【0020】

なお、疵画像サイズデータは処理装置２内で磁粉模様画像から測定算出するようにしても良く、また疵種データは処理装置２内に別体のＣＮＮを構成して、磁粉模様画像から疵種を判定出力する構成としても良い。別体のＣＮＮ例として、図６に示すように、物体検出技術(Ｏｂｊｅｃｔ Ｄｅｔｅｃｔｉｏｎ)を取り入れることで、上記サイズデータの取得・疵種（Ａ種、Ｂ種等）判別を同時に行うことが可能である。

【0021】

以上に説明した処理装置２のＣＮＮに対して必要数の訓練データを与えて学習させる。訓練データの一例を表１に示し、磁粉模様画像と、これに対応する疵種および疵深さをセットにしたものである。なお、訓練データとして使用する疵画像サイズは磁粉模様画像から取得する。表２には学習仕様の一例を示す。

【0022】

【表1】

【0023】

【表2】

【0024】

上記仕様で訓練し学習させたＣＮＮの予測性能を評価した結果を図７に示す。図７は横軸に作業者が予測した疵深さをとり、縦軸にＣＮＮが予測した疵深さをとって、両疵深さをプロットしたものである。そのＲＭＳＥ（Root Mean Squared Error）は表３に示すように０．３７５と、疵画像サイズ・疵種入力部を備えることによって疵深さの予測精度は十分に高い。この場合のコンピュータ（ＧＰＵ）の処理時間は０．６ｍｓで（表３）、以下に説明する各実施形態と同一であった。

【0025】

（第２実施形態）
画像認識部２１に磁粉模様画像を読み込ませる際に既述のようにリサイズを行うが、このリサイズによって図３に示すように、特に線状疵の場合には当該疵のアスペクト比も大きく変化してしまうという問題がある。そこで、図８に示すように、磁粉模様画像の縁辺（本実施形態では上下の縁辺）に輝度ゼロのゼロ埋め画像ｆａを付加して、画像認識部２１へ入力される磁粉模様画像のサイズを全て同じにしておく。

【0026】

このようにすると、リサイズ後の疵のアスペクト比が良く保持されるため、処理装置２から出力される疵深さ予測データのＲＭＳＥは、表３に示すように０．３３１とさらに向上する。

【0027】

（第３実施形態）
なお、疵画像サイズ・疵種入力部を設けることなく、磁粉模様画像の縁辺に輝度ゼロのゼロ埋め画像を付加して、画像認識部２１へ入力される磁粉模様画像のサイズを全て同じにしておくだけでも、処理装置２から出力される疵深さ予測データのＲＭＳＥは、表３に示すように０．４１４となり、疵深さの予測精度は十分に高い。

【0028】

（第４実施形態）
疵画像サイズ・疵種入力部を備えず、かつゼロ埋め画像を付加することも行わない場合でも、処理装置２から出力される疵深さ予測データのＲＭＳＥは、表３に示すように ０．４２６となり、疵深さの予測精度は十分に高い。

【0029】

【表3】

【0030】

以上、第３、４実施形態では、ＣＮＮを取り入れた画像認識によって従来のルールベース処理に比して十分高い予測精度を獲得しており、さらに第１、２実施形態ではＣＮＮの情報欠損を補完する処理によって、さらに高い精度を得ている。

【符号の説明】

【0031】

１…探傷器、１１…ブラックライト、１２…カメラ、２…処理装置、２１…画像認識部、２２…疵サイズ・疵種入力部、Ｍ…鋼片、Ｒ…レール、Ｓ…支持台。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】