特許 7385529 検査装置、検査方法、および検査プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-11-14

(45)【発行日】2023-11-22

(54)【発明の名称】検査装置、検査方法、および検査プログラム

(51)【国際特許分類】

   G01N 29/06 20060101AFI20231115BHJP

   G01N 29/11 20060101ALI20231115BHJP

【ＦＩ】

G01N29/06

G01N29/11

【請求項の数】 12

(21)【出願番号】P 2020101123

(22)【出願日】2020-06-10

(65)【公開番号】P2021196205

(43)【公開日】2021-12-27

【審査請求日】2022-12-27

(73)【特許権者】

【識別番号】000005119

【氏名又は名称】日立造船株式会社

(74)【代理人】

【識別番号】110000338

【氏名又は名称】弁理士法人 ＨＡＲＡＫＥＮＺＯ ＷＯＲＬＤ ＰＡＴＥＮＴ ＆ ＴＲＡＤＥＭＡＲＫ

(72)【発明者】

【氏名】和田 貴裕

(72)【発明者】

【氏名】井岡 良太

(72)【発明者】

【氏名】篠田 薫

(72)【発明者】

【氏名】片山 猛

【審査官】小澤 瞬

(56)【参考文献】

【文献】特開２０２０－０５８８００（ＪＰ，Ａ）

【文献】特開２０２０－０２８６７９（ＪＰ，Ａ）

【文献】特開２０１９－１９７００７（ＪＰ，Ａ）

【文献】特開平０８－１１０３２６（ＪＰ，Ａ）

【文献】特開２０１８－０５４３５４（ＪＰ，Ａ）

【文献】特開２０１０－２４３３７５（ＪＰ，Ａ）

【文献】特表２０２０－５０３５０９（ＪＰ，Ａ）

【文献】国際公開第２０１９／１０３７７２（ＷＯ，Ａ１）

【文献】米国特許出願公開第２０１９／０２９０２４６（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｎ ２９／００ － Ｇ０１Ｎ ２９／５２

Ｇ０６Ｎ ２０／００ － Ｇ０６Ｎ ２０／２０

(57)【特許請求の範囲】

【請求項1】

検査対象物の内部における欠陥の有無を判定するための画像である検査画像を取得する検査画像取得部と、
入力された画像と同様の特徴を有する新たな画像を生成するように機械学習により構築された生成モデルであって、欠陥のない検査対象物の画像を訓練データとして構築された生成モデルに上記検査画像を入力することにより生成された復元画像を用いて、上記検査対象物の欠陥の有無を判定する欠陥有無判定部と、
上記検査対象物に伝搬させた超音波のエコーを画像化した超音波画像から、上記検査対象物における検査対象部位の周縁部からのエコーが繰り返し現れる２つの周縁エコー領域に挟まれた領域を検査対象領域として抽出して上記検査画像を生成する検査画像生成部と、を備え、
上記検査画像取得部は、上記検査画像生成部が生成した上記検査画像を取得する、検査装置。

【請求項2】

検査対象物の内部における欠陥の有無を判定するための画像である検査画像を取得する検査画像取得部と、
入力された画像と同様の特徴を有する新たな画像を生成するように機械学習により構築された生成モデルであって、欠陥のない検査対象物の画像を訓練データとして構築された生成モデルに上記検査画像を入力することにより生成された復元画像を用いて、上記検査対象物の欠陥の有無を判定する欠陥有無判定部と、を備え、
上記欠陥有無判定部は、上記検査画像と上記復元画像との差分画像を構成する各ピクセルのピクセル値の分散が所定の閾値を超える場合に、上記検査対象物に欠陥があると判定する、検査装置。

【請求項3】

上記検査画像生成部は、上記検査対象部位と、該検査対象部位の周縁部からのエコーが写る領域の少なくとも一部と、を含む領域を正解データとした機械学習により構築された、検査対象領域の抽出モデルに、上記超音波画像を入力して得られる出力値に基づいて上記検査対象領域を抽出する、請求項１に記載の検査装置。

【請求項4】

上記欠陥有無判定部は、上記復元画像の画像領域から、上記検査対象部位の周縁部からのエコーが写る領域を除いた残りの画像領域を対象として、上記検査対象物の欠陥の有無を判定する、請求項３に記載の検査装置。

【請求項5】

上記差分画像においてピクセル値が閾値以上である複数のピクセルからなる領域を欠陥領域として検出する欠陥領域検出部を備える、請求項２に記載の検査装置。

【請求項6】

上記欠陥は、上記検査対象物の溶接箇所における欠陥であり、
上記検査装置は、上記差分画像の画像領域における上記欠陥領域が検出された位置から、当該欠陥領域に係る欠陥の種類を判定する欠陥種類判定部を備える、請求項５に記載の検査装置。

【請求項7】

検査対象物の内部における欠陥の有無を判定するための画像である検査画像を取得する検査画像取得部と、
入力された画像と同様の特徴を有する新たな画像を生成するように機械学習により構築された生成モデルであって、欠陥のない検査対象物の画像を訓練データとして構築された生成モデルに上記検査画像を入力することにより生成された復元画像を用いて、上記検査対象物の欠陥の有無を判定する欠陥有無判定部と、を備え、
上記欠陥有無判定部が、上記検査対象物の一部分であって、互いに隣接する部分にそれぞれ対応する複数の超音波画像について欠陥ありと判定した場合に、当該複数の超音波画像に写る欠陥を１つの欠陥として検出する統合検出部を備える、検査装置。

【請求項8】

上記差分画像を構成する各ピクセルのピクセル値を色または濃淡で表したヒートマップを生成するヒートマップ生成部と、
種類が既知の欠陥がある検査対象物の検査画像から生成された差分画像のヒートマップを教師データとした機械学習で構築された種類判定モデルに、上記ヒートマップ生成部が生成したヒートマップを入力して得られる出力値に基づいて欠陥の種類を判定する欠陥種類判定部を備える、請求項２に記載の検査装置。

【請求項9】

検査装置を用いた検査方法であって、
検査対象物の内部における欠陥の有無を判定するための画像である検査画像を取得する検査画像取得ステップと、
入力された画像と同様の特徴を有する新たな画像を生成するように機械学習して構築された生成モデルであって、欠陥のない検査対象物の超音波画像を訓練データとして構築された生成モデルに上記検査画像を入力することにより生成された復元画像を用いて、上記検査対象物の欠陥の有無を判定する欠陥有無判定ステップと、を含むと共に、
上記検査対象物に伝搬させた超音波のエコーを画像化した超音波画像から、上記検査対象物における検査対象部位の周縁部からのエコーが繰り返し現れる２つの周縁エコー領域に挟まれた領域を検査対象領域として抽出して上記検査画像を生成する検査画像生成ステップ、を含み、
上記検査画像取得ステップでは、上記検査画像生成ステップにて生成された上記検査画像を取得する、検査方法。

【請求項10】

検査装置を用いた検査方法であって、
検査対象物の内部における欠陥の有無を判定するための画像である検査画像を取得する検査画像取得ステップと、
入力された画像と同様の特徴を有する新たな画像を生成するように機械学習して構築された生成モデルであって、欠陥のない検査対象物の超音波画像を訓練データとして構築された生成モデルに上記検査画像を入力することにより生成された復元画像を用いて、上記検査対象物の欠陥の有無を判定する欠陥有無判定ステップと、を含み、
上記欠陥有無判定ステップでは、上記検査画像と上記復元画像との差分画像を構成する各ピクセルのピクセル値の分散が所定の閾値を超える場合に、上記検査対象物に欠陥があると判定する、検査方法。

【請求項11】

検査装置を用いた検査方法であって、
検査対象物の内部における欠陥の有無を判定するための画像である検査画像を取得する検査画像取得ステップと、
入力された画像と同様の特徴を有する新たな画像を生成するように機械学習して構築された生成モデルであって、欠陥のない検査対象物の超音波画像を訓練データとして構築された生成モデルに上記検査画像を入力することにより生成された復元画像を用いて、上記検査対象物の欠陥の有無を判定する欠陥有無判定ステップと、
上記欠陥有無判定ステップにて、上記検査対象物の一部分であって、互いに隣接する部分にそれぞれ対応する複数の超音波画像について欠陥ありと判定された場合に、当該複数の超音波画像に写る欠陥を１つの欠陥として検出するステップと、を含む、検査方法。

【請求項12】

請求項１に記載の検査装置としてコンピュータを機能させるための検査プログラムであって、上記検査画像取得部、上記検査画像生成部、および上記欠陥有無判定部としてコンピュータを機能させるための検査プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、検査対象物の画像から欠陥の有無を判定する検査装置等に関する。

【背景技術】

【0002】

工業製品等の出荷前あるいは点検時等に行われる欠陥検査においては、非破壊検査が従来から広く適用されている。例えば、下記の特許文献１には、超音波探傷試験という手法で試験体の欠陥を自動で検出している。超音波探傷試験とは、測定された超音波信号の中から、試験体の欠陥部に起因する信号を選別して欠陥部の位置を特定する試験である。特許文献１の技術では、解析で求めた波形と測定で得られた波形との差に基づいて試験体欠陥部に起因する信号を検出している。

【0003】

ただし、超音波信号の波形に基づいて解析を行う特許文献１のような手法は直感的に理解しにくいため、近時では波形データを画像化した超音波画像を用いた欠陥検査も行われている。また、放射線透過試験（ＲＴ）においても、画像（放射線透過写真）から検査対象物の欠陥の有無を判定している。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２００３－２３２７７９号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、位置、サイズ、および形状等が不定の欠陥の検査においては、画像から自動で欠陥の有無を判定することは難しい。このため、検査員が目視で欠陥の有無を判定しているのが現状である。そして、目視検査は、作業時間が長い、多大な労力を有する、検査員の熟練度に応じて検査結果がばらつく等の課題を有する。

【0006】

本発明の一態様は、画像中における位置、サイズ、および形状等が不定の欠陥の有無の判定を自動で行うことを可能にする検査装置等を実現することを目的とする。

【課題を解決するための手段】

【0007】

上記の課題を解決するために、本発明の一態様に係る検査装置は、検査対象物の内部における欠陥の有無を判定するための画像である検査画像を取得する検査画像取得部と、入力された画像と同様の特徴を有する新たな画像を生成するように機械学習により構築された生成モデルであって、欠陥のない検査対象物の画像を訓練データとして構築された生成モデルに上記検査画像を入力することにより生成された復元画像を用いて、上記検査対象物の欠陥の有無を判定する欠陥有無判定部と、を備える。

【0008】

また、本発明の一態様に係る検査方法は、上記の課題を解決するために、検査装置を用いた検査方法であって、検査対象物の内部における欠陥の有無を判定するための画像である検査画像を取得する検査画像取得ステップと、入力された画像と同様の特徴を有する新たな画像を生成するように機械学習して構築された生成モデルであって、欠陥のない検査対象物の超音波画像を訓練データとして構築された生成モデルに上記検査画像を入力することにより生成された復元画像を用いて、上記検査対象物の欠陥の有無を判定する欠陥有無判定ステップと、を含む。

【発明の効果】

【0009】

本発明の一態様によれば、画像中における位置、サイズ、および形状等が不定の欠陥の有無の判定を自動で行うことが可能になる。

【図面の簡単な説明】

【0010】

【図1】本発明の実施形態１に係る検査装置の要部構成の一例を示すブロック図である。

【図2】上記検査装置を含む検査システムの概要を示す図である。

【図3】上記検査装置による検査の概要を示す図である。

【図4】欠陥がある部位の超音波画像を基に生成した差分画像におけるピクセル値の分布例と、欠陥がない部位の超音波画像を基に生成した差分画像におけるピクセル値の分布例とを示す図である。

【図5】超音波画像からヒートマップを生成し、生成したヒートマップに閾値処理を施した例を示す図である。

【図6】欠陥の位置と超音波画像とヒートマップの関係を説明する図である。

【図7】複数の超音波画像に写る欠陥を統合して１つの欠陥として検出する方法を説明する図である。

【図8】検査結果の出力例を示す図である。

【図9】検査で使用する各種モデルを構築し、閾値を決定する処理の一例を示す図である。

【図10】上記検査装置を用いた検査方法の一例を示す図である。

【図11】欠陥種類判定処理の一例を示すフローチャートである。

【図12】本発明の実施形態２に係る検査装置の要部構成の一例を示すブロック図である。

【図13】欠陥領域の検出方法を説明する図である。

【図14】欠陥の種類ごとに設定した領域の例を示す図である。

【図15】上記検査装置が実行する欠陥種類判定処理の一例を示すフローチャートである。

【発明を実施するための形態】

【0011】

〔実施形態１〕
（システムの概要）
本発明の一実施形態に係る検査システムの概要を図２に基づいて説明する。図２は、検査システム１００の概要を示す図である。検査システム１００は、検査対象物の画像から、その検査対象物の欠陥の有無を検査するシステムであり、検査装置１と超音波探傷装置７を含む。

【0012】

本実施形態では、検査システム１００により、熱交換器の管端溶接部における欠陥の有無を検査する例を説明する。なお、管端溶接部とは、熱交換器を構成する複数の金属製の管と、それらの管を束ねる金属製の管板とを溶接した部分である。また、管端溶接部における欠陥とは、当該管端溶接部の内部に空隙が生じる欠陥である。なお、上記管および管板は、アルミニウム等の非鉄金属製であってもよいし、樹脂製であってもよい。また、検査システム１００によれば、例えばごみ焼却施設などで利用されるボイラ設備の管台と管の溶接部（付け根溶接部）における欠陥の有無の検査も行うことができる。無論、検査部位は溶接部に限られず、検査対象は熱交換器に限られない。また、一般に、非破壊検査の分野では、超音波波形や超音波画像を用いて検出された異常部位は「きず」と呼ばれる。このような「きず」も上記「欠陥」の範疇に含まれる。また、上記「欠陥」には欠損やひび割れ等も含まれる。

【0013】

検査の際には、図２に示すように、接触媒質を塗布した探触子を管端から挿入し、この探触子により管の内壁面側から管端溶接部に向けて超音波を伝搬させ、そのエコーを計測する。管端溶接部内に空隙が生じる欠陥が発生していた場合、その空隙からのエコーが計測されるので、これを利用して欠陥を検出することができる。

【0014】

例えば、図２の左下に示す探触子周辺の拡大図において、矢印Ｌ３で示す超音波は管端溶接部内の空隙のない部位に伝搬している。このため、矢印Ｌ３で示す超音波のエコーは計測されない。一方、矢印Ｌ３で示す超音波は、管端溶接部内の空隙のある部位に向けて伝搬しているため、この空隙で反射した超音波のエコーが計測される。

【0015】

また、管端溶接部の周縁部でも超音波が反射するので、周縁部に伝搬した超音波のエコーも計測される。例えば、矢印Ｌ１で示す超音波は、管端溶接部よりも管端側に伝搬しているから、管端溶接部には当たらず、管端溶接部の管端側の管表面で反射する。よって、矢印Ｌ１で示す超音波により、管の表面からのエコーが計測される。また、矢印Ｌ４で示す超音波は、管端溶接部の管奥側の管表面で反射するので、そのエコーが計測される。

【0016】

管端溶接部は、管の周囲３６０度にわたって存在するため、所定角度（例えば１度）ずつ探触子を回転させながら繰り返し計測を行う。そして、探触子による計測結果を示すデータは超音波探傷装置７に送信される。例えば、探触子は、複数のアレイ素子からなるアレイ探触子であってもよい。アレイ探触子であれば、アレイ素子の配列方向が管の延伸方向と一致するように配置することにより、管の延伸方向に幅のある管端溶接部を効率よく検査することができる。なお、上記アレイ探触子は、アレイ素子が縦横それぞれ複数配列されたマトリクスアレイ探触子であってもよい。

【0017】

超音波探傷装置７は、探触子による計測結果を示すデータを用いて、管および管端溶接部に伝搬させた超音波のエコーを画像化した超音波画像を生成する。図２には、超音波探傷装置７が生成する超音波画像の一例である超音波画像１１１を示している。なお、検査装置１が超音波画像１１１を生成する構成としてもよい。この場合、超音波探傷装置７は、探触子による計測結果を示すデータを検査装置１に送信する。

【0018】

超音波画像１１１においては、計測されたエコーの強度が各ピクセルのピクセル値として表されている。また、超音波画像１１１の画像領域は、管に対応する管領域ａｒ１と、管端溶接部に対応する溶接領域ａｒ２と、管端溶接部の周囲からのエコーが現れる周縁エコー領域ａｒ３およびａｒ４とに分けることができる。

【0019】

上述のように、探触子から矢印Ｌ１で示す方向に伝搬された超音波は、管端溶接部の管端側の管表面で反射する。また、この超音波は、管内面でも反射し、これらの反射は繰り返し生じる。このため、超音波画像１１１における矢印Ｌ１に沿った周縁エコー領域ａｒ３には、繰り返しのエコーａ１～ａ４が現れている。また、探触子から矢印Ｌ４で示す方向に伝搬された超音波も管外面と管内面で繰り返し反射する。このため、超音波画像１１１における矢印Ｌ４に沿った周縁エコー領域ａｒ４には、繰り返しのエコーａ６～ａ９が現れている。周縁エコー領域ａｒ３およびａｒ４に現れるこれらのエコーは底面エコーとも呼ばれる。

【0020】

探触子から矢印Ｌ３で示す方向に伝搬された超音波は、これを反射するものがないため、超音波画像１１１における矢印Ｌ３に沿った領域にはエコーが現れない。一方、探触子から矢印Ｌ２で示す方向に伝搬された超音波は、管端溶接部内の空隙すなわち欠陥部位で反射し、これにより超音波画像１１１における矢印Ｌ２に沿った領域にはエコーａ５が現れている。

【0021】

詳細は以下で説明するが、検査装置１は、このような超音波画像１１１を解析して、管端溶接部に欠陥があるか否かを検査する。また、検査装置１は、欠陥があると判定した場合には、その欠陥の種類についても自動で判定する。

【0022】

（検査装置の構成）
検査装置１の構成について図１に基づいてする。図１は、検査装置１の要部構成の一例を示すブロック図である。図１に示すように、検査装置１は、検査装置１の各部を統括して制御する制御部１０と、検査装置１が使用する各種データを記憶する記憶部１１とを備えている。また、検査装置１は、検査装置１に対する入力操作を受け付ける入力部１２と、検査装置１がデータを出力するための出力部１３とを備えている。

【0023】

制御部１０には、検査対象領域抽出部１０１、検査画像生成部１０２、検査画像取得部１０３、復元画像生成部１０４、欠陥有無判定部１０５、ヒートマップ生成部１０６、欠陥種類判定部１０７、統合検出部１０８、および欠陥長算出部１０９が含まれている。また、記憶部１１には、超音波画像１１１と検査結果データ１１２が記憶されている。

【0024】

検査対象領域抽出部１０１は、超音波画像１１１から検査対象領域を抽出する。詳細は後述するが、検査対象領域は、検査対象物における検査対象部位の周縁部からのエコーが繰り返し現れる２つの周縁エコー領域に挟まれた領域である。検査対象領域抽出部１０１は、機械学習により構築された抽出モデルを用いて検査対象領域を抽出することができる。そして、検査対象領域抽出部１０１は、抽出した検査対象領域が超音波画像１１１に占める位置および範囲を示す抽出領域情報を生成する。

【0025】

検査画像生成部１０２は、上記抽出領域情報が示す検査対象領域の部分を超音波画像１１１から切り出して、検査対象物の内部における欠陥の有無を判定するための検査画像を生成する。

【0026】

検査画像取得部１０３は、検査画像を取得する。検査装置１は、上記のとおり検査対象領域抽出部１０１と検査画像生成部１０２を備えているから、検査画像取得部１０３は、検査画像生成部１０２が生成した検査画像を取得する。なお、検査画像は、他の装置で生成してもよい。この場合、検査画像取得部１０３は他の装置が生成した検査画像を取得する。

【0027】

復元画像生成部１０４は、検査画像取得部１０３が取得した検査画像を生成モデルに入力することによって、入力した検査画像と同様の特徴を有する新たな画像を生成する。以下では、復元画像生成部１０４が生成する画像を復元画像と呼ぶ。詳細は後述するが、復元画像の生成に用いる生成モデルは、オートエンコーダとも呼ばれるものであり、欠陥のない検査対象物の画像を訓練データとした機械学習により構築される。なお、上記「特徴」とは、画像から得られる任意の情報であり、例えば画像中のピクセル値の分布状態や分散なども上記「特徴」に含まれる。

【0028】

欠陥有無判定部１０５は、復元画像生成部１０４が生成した復元画像を用いて検査対象物の欠陥の有無を判定する。具体的には、欠陥有無判定部１０５は、検査画像と復元画像との差分画像を構成する各ピクセルのピクセル値の分散が所定の閾値を超える場合に、検査対象物に欠陥があると判定する。この判定方法の詳細は後述する。

【0029】

ヒートマップ生成部１０６は、上記差分画像を構成する各ピクセルのピクセル値を色または濃淡で表したヒートマップを生成する。また、ヒートマップ生成部１０６は、生成したヒートマップに閾値処理を施してもよい。ヒートマップと閾値処理の詳細については後述する。

【0030】

欠陥種類判定部１０７は、欠陥有無判定部１０５が欠陥ありと判定した検査画像について、当該検査画像に写る欠陥の種類を判定する。より詳細には、欠陥種類判定部１０７は、ヒートマップ生成部１０６が生成したヒートマップを種類判定モデルに入力して得られる出力値に基づいて欠陥の種類を判定する。この種類判定モデルは、種類が既知の欠陥がある検査対象物の検査画像から生成された差分画像のヒートマップを教師データとした機械学習で構築されたものである。

【0031】

統合検出部１０８は、欠陥有無判定部１０５が、検査対象物の一部分であって、互いに隣接する部分にそれぞれ対応する複数の超音波画像１１１について欠陥ありと判定した場合に、当該複数の超音波画像１１１に写る欠陥を１つの欠陥として検出する。欠陥の統合の詳細については後述する。

【0032】

欠陥長算出部１０９は、統合検出部１０８が統合した欠陥の長さを算出する。欠陥の長さの算出方法については後述する。

【0033】

超音波画像１１１は、上述のように、検査対象物に伝搬させた超音波のエコーを画像化することにより得られる画像であり、超音波探傷装置７によって生成される。

【0034】

検査結果データ１１２は、検査装置１による欠陥検査の結果を示すデータである。検査結果データ１１２には、検査画像取得部１０３が取得した各検査画像について、欠陥有無判定部１０５が判定した欠陥の有無が記録される。また、欠陥ありと判定された検査画像については、検査結果データ１１２に欠陥種類判定部１０７による欠陥の種類の判定結果が記録される。さらに、検査結果データ１１２には、統合検出部１０８により統合された欠陥が記録されると共に、欠陥長算出部１０９により算出された、統合された欠陥の長さが記録される。

【0035】

以上のように、検査装置１は、検査対象物の内部における欠陥の有無を判定するための検査画像を取得する検査画像取得部１０３を備えている。また、検査装置１は、復元画像生成部１０４が生成した復元画像を用いて検査対象物の欠陥の有無を判定する欠陥有無判定部１０５を備えている。そして、上記復元画像は、入力された画像と同様の特徴を有する新たな画像を生成するように、欠陥のない検査対象物の超音波画像を訓練データとして構築された生成モデルに上記検査画像を入力することにより生成されたものである。

【0036】

上記生成モデルは、欠陥のない検査対象物の画像を訓練データとした機械学習により構築されたものである。このため、欠陥がない検査対象物の検査画像をこの生成モデルに入力した場合、その検査画像と同様の特徴を有する新たな画像が復元画像として出力される可能性が高い。

【0037】

一方、欠陥がある検査対象物の検査画像をこの生成モデルに入力した場合、検査画像のどのような位置にどのような形状およびサイズの欠陥が写っていたとしても、復元画像は検査画像とは異なる特徴を有するものとなる可能性が高い。

【0038】

このように、欠陥が写っている検査画像から生成された復元画像と、欠陥が写っていない検査画像から生成された復元画像とには、生成モデルに入力した検査画像が正しく復元されないか、正しく復元されるかという差異が生じる。

【0039】

したがって、上記生成モデルにより生成された復元画像を用いて欠陥の有無を判定する上記の構成によれば、検査対象物の画像を用いて、位置、サイズ、および形状等が不定の欠陥の有無の判定を自動で行うことが可能になる。

【0040】

（検査の概要）
検査装置１による検査の概要を図３に基づいて説明する。図３は、検査装置１による検査の概要を示す図である。なお、図３では、超音波探傷装置７によって生成された超音波画像１１１が検査装置１の記憶部１１に記憶された後の処理を示している。

【0041】

まず、検査対象領域抽出部１０１が超音波画像１１１を抽出モデルに入力し、その出力値に基づいて抽出領域情報を生成する。抽出領域情報は、上述のように、超音波画像１１１の画像領域のうち、検査画像として抽出すべき領域を示す。検査画像生成部１０２は、この抽出領域情報が示す領域を超音波画像１１１から切り出して検査画像１１１Ａを生成する。なお、抽出モデルの生成方法については図９に基づいて説明する。

【0042】

このように、検査画像生成部１０２は、抽出領域情報が示す領域を検査対象領域として超音波画像１１１から抽出して検査画像１１１Ａを生成する。この検査対象領域は、検査対象物における検査対象部位の周縁部からのエコーが繰り返し現れる２つの周縁エコー領域（図２の例における周縁エコー領域ａｒ３とａｒ４）に挟まれた領域である。そして、検査画像取得部１０３はこの検査画像１１１Ａを取得する。

【0043】

図２に示したように、超音波画像１１１における検査対象部位の周縁部には、当該周縁部の形状等に起因する所定のエコーが繰り返し観察される（エコーａ１～ａ４およびａ６～ａ９）。よって、このようなエコーが繰り返し現れる周縁エコー領域ａｒ３およびａｒ４の位置から超音波画像１１１における検査対象部位に対応する領域を特定することができる。すなわち、上記の構成によれば、検査画像１１１Ａを自動で生成することができる。なお、検査対象部位の周縁部に所定のエコーが現れるのは管端溶接部の超音波画像１１１に限られない。このため、周縁エコー領域に囲まれた領域を検査対象領域として抽出する構成は管端溶接部以外の検査においても適用可能である。

【0044】

次に、検査画像取得部１０３は、取得した検査画像１１１Ａを復元画像生成部１０４に送る。復元画像生成部１０４は、検査画像１１１Ａを生成モデルに入力し、その出力値に基づいて復元画像１１１Ｂを生成する。なお、生成モデルの生成方法については図９に基づいて説明する。

【0045】

そして、検査画像取得部１０３は、検査画像１１１Ａから周縁エコー領域を除去して除去画像１１１Ｃを生成すると共に、復元画像１１１Ｂから周縁エコー領域を除去して除去画像（復元）１１１Ｄを生成する。なお、検査画像１１１Ａに写る周縁エコー領域の位置およびサイズは、検査対象物が同じであれば概ね一定となる。このため、検査画像取得部１０３は、検査画像１１１Ａにおける所定の範囲を周縁エコー領域として除去してもよい。また、検査画像取得部１０３は、検査画像１１１Ａを解析して周縁エコー領域を検出し、その検出結果に基づいて周縁エコー領域を除去してもよい。

【0046】

以上のようにして周縁エコー領域を除去することにより、欠陥有無判定部１０５は、復元画像１１１Ｂの画像領域から、周縁エコー領域を除いた残りの画像領域を対象として欠陥の有無を判定することになる。これにより、周縁部からのエコーの影響を受けることなく欠陥の有無を判定することができ、欠陥の有無の判定精度を向上させることができる。

【0047】

次に、欠陥有無判定部１０５が、欠陥の有無を判定する。具体的には、欠陥有無判定部１０５は、まず、除去画像１１１Ｃと除去画像（復元）１１１Ｄについて、ピクセル単位で差分を計算する。次に、欠陥有無判定部１０５は、計算した差分の分散を算出する。そして、欠陥有無判定部１０５は、算出した分散の値が所定の閾値を超えるか否かにより、欠陥の有無を判定する。

【0048】

ここで、欠陥ありと判定された場合、欠陥有無判定部１０５が計算した、各ピクセルにおける差分の値に基づいて欠陥種類の判定が行われる。なお、各ピクセルにおける差分の値は、除去画像１１１Ｃと除去画像（復元）１１１Ｄの差分を示すから、それらの値を差分画像とも呼ぶ。

【0049】

なお、周縁エコー領域を除去するタイミングは上記の例に限られない。例えば、検査画像１１１Ａと復元画像１１１Ｂの差分画像を生成して、この差分画像から周縁エコー領域を除去してもよい。

【0050】

（ピクセル単位で算出した差分の分散と欠陥の有無との関係）
ピクセル単位で算出した差分の分散と欠陥の有無との関係について図４に基づいて説明する。図４は、欠陥がある部位の超音波画像１１１を基に生成した差分画像におけるピクセル値の分布例と、欠陥がない部位の超音波画像１１１を基に生成した差分画像におけるピクセル値の分布例と、を示す図である。

【0051】

なお、除去画像１１１Ｃと除去画像（復元）１１１Ｄは同サイズの画像であるから、差分画像もこれらの画像と同サイズである。差分画像を構成する各ピクセルの値は、除去画像１１１Ｃと除去画像（復元）１１１Ｄのピクセル値の差分に等しい。

【0052】

欠陥がない部位の超音波画像１１１を基に生成した差分画像におけるピクセル値は、図示のように、０～２０程度の値が大半を占めており、それより大きい値はほぼゼロである。このため、この差分画像におけるピクセル値の分散は２０という小さい値になっている。

【0053】

一方、欠陥がある部位の超音波画像１１１を基に生成した差分画像におけるピクセル値は、図示のように、０～２０程度の値が多いものの、同図に枠囲みで示すように、それより大きい値も多数存在している。欠陥に起因するエコーに対応するピクセルが、このような値の大きいピクセルとなる。このため、この差分画像におけるピクセル値の分散は７０という大きい値になっている。

【0054】

このように、欠陥がある部位の差分画像においては、欠陥領域のピクセルのピクセル値が、それ以外の領域のピクセル値と比べて大きな値となり、それゆえピクセル値の分散も大きくなる。一方、欠陥がない部位の差分画像においては、ノイズ等の影響である程度ピクセル値が大きな値となる箇所が生じ得るが、極端にピクセル値が大きな箇所が生じる可能性は低く、ピクセル値の分散は相対的に小さくなる。つまり、差分画像におけるピクセル値の分散が大きくなるのは、検査対象物に欠陥がある場合に特徴的な事象である。

【0055】

したがって、欠陥有無判定部１０５が、差分画像を構成する各ピクセルのピクセル値の分散が所定の閾値を超える場合に欠陥があると判定する構成とすれば、欠陥の有無を適切に判定することができる。

【0056】

（ヒートマップと閾値処理）
上述のように、欠陥の種類の判定にはヒートマップが用いられる。ここでは、ヒートマップ生成部１０６が生成するヒートマップと、生成したヒートマップに対して行われる閾値処理について図５に基づいて説明する。図５は、超音波画像からヒートマップを生成し、生成したヒートマップに閾値処理を施した例を示す図である。より詳細には、図５の上段には、管端溶接部における欠陥のある部位の超音波画像１１１－ａについての例を示し、図５の下段には管端溶接部における欠陥のない部位の超音波画像１１１－ｂについての例を示している。

【0057】

図３に基づいて説明したように、超音波画像１１１－ａから除去画像１１１Ｃ－ａと除去画像（復元）１１１Ｄ－ａが生成され、除去画像１１１Ｃ－ａと除去画像（復元）１１１Ｄ－ａから差分画像が生成される。ヒートマップ生成部１０６は、この差分画像における各ピクセルを、そのピクセル値に応じた色または濃淡で表現したヒートマップを生成する。

【0058】

図５には、ピクセル値の下限値から上限値までを、黒から白までの色の濃淡で表したヒートマップ１１１Ｅ－ａを示している。ヒートマップ１１１Ｅ－ａ中に白抜き矢印で示すように、欠陥に対応する領域（ピクセル値が大きいピクセルが集まっている領域）は、白に近いピクセルが集まる領域となる。よって、ヒートマップ１１１Ｅ－ａでは、欠陥に対応する領域が視覚的に容易に認識できる。

【0059】

ただし、ヒートマップ１１１Ｅ－ａには、ノイズ等に起因してピクセル値が大きくなっている領域もある。このため、ヒートマップ生成部１０６は、生成したヒートマップに対して閾値処理を行い、ノイズ等に起因してピクセル値が大きくなっている領域のピクセル値を補正することが好ましい。例えば、ヒートマップ生成部１０６は、ヒートマップ１１１Ｅ－ａにおける所定の閾値以下のピクセル値をゼロ（黒色）にしてもよい。これにより、ノイズ成分が除去されたヒートマップ１１１Ｆ－ａが生成される。ヒートマップ１１１Ｆ－ａによれば、欠陥に対応する領域がより明瞭に認識できる。

【0060】

欠陥のない部位の超音波画像１１１－ｂについても同様であり、この超音波画像１１１－ｂから除去画像１１１Ｃ－ｂと除去画像（復元）１１１Ｄ－ｂが生成され、除去画像１１１Ｃ－ｂと除去画像（復元）１１１Ｄ－ｂから差分画像が生成される。そして、ヒートマップ生成部１０６は、この差分画像のヒートマップ１１１Ｅ－ｂを生成し、ヒートマップ１１１Ｅ－ｂに対して閾値処理を施してヒートマップ１１１Ｆ－ｂを生成する。ヒートマップ１１１Ｆ－ａとヒートマップ１１１Ｆ－ｂを見比べれば、欠陥の有無が明瞭に判別できることがわかる。また、ヒートマップ１１１Ｆ－ａにおいては、欠陥の位置についても明瞭に判別できるようになっていることがわかる。

【0061】

（欠陥の種類と超音波画像とヒートマップ）
管端溶接部における欠陥としては、例えば、初層溶込み不良、溶接パス間の融合不良、アンダカット、およびブローホール等が知られている。初層溶込み不良は、管板付近で未溶着が生じて空隙が発生したものである。溶接パス間の融合不良は、複数回の溶着を行う際に未溶着が生じて空隙が発生したものである。アンダカットは、溶接ビードの端部がノッチ状にえぐれる欠陥である。ブローホールは、溶接金属内に球状の空洞が発生したものである。

【0062】

これらの欠陥は、その発生する位置が相違している。このため、超音波画像１１１において、欠陥に起因するエコーが現れる位置から、欠陥の種類を判定することが可能である。同様に、超音波画像１１１を基に生成されたヒートマップ（閾値処理後のものであることが好ましい）における欠陥領域の位置から、欠陥の種類を判定することも可能である。なお、上述のように、欠陥領域は、欠陥に起因するエコーが写る領域であり、他の領域と比べてピクセル値が大きい。

【0063】

欠陥領域の位置に基づく欠陥種類の判定について、図６に基づいて説明する。図６は、欠陥の位置と超音波画像とヒートマップの関係を説明する図である。図６の一段目の左端には、初層溶込み不良が生じている管端溶接部の切断面を示している。図６における左側が管端側であり、右側が管奥側である。つまり、図６の左右方向に管が延伸している。そして、管の外表面に対して下側にあるのが管板である。また、管端溶接部の幅が分かるように、管の内壁面（内表面）にスケールを当てている。

【0064】

図６の一段目左端の図において、破線で示す領域が溶接の際に生じた管板の溶込み領域であり、溶込み領域の左側の逆三角形状の領域が溶接金属からなる領域であり、これらの領域を合せた領域が管端溶接部である。この管端溶接部において丸印を付した箇所に空隙が生じている。この空隙は、管の表面付近であり、管端溶接部の管奥側端部寄りに位置している。

【0065】

図６の一段目中央に示すように、上記の空隙が存在する部位の超音波画像１１１－ｃには、この空隙に起因するエコーが現れる。そして、図６の一段目右端に示すように、この超音波画像１１１－ｃを基に生成されたヒートマップ１１１Ｆ－ｃにおいても、図中に白抜き矢印で示すように、上記の空隙に対応する領域が現れる。

【0066】

図６の二段目の左端には、溶接パス間の融合不良が生じている管端溶接部の切断面を示している。丸印を付した箇所に空隙が生じている。この空隙は、管の表面付近であり、管端溶接部の厚さ方向の中心部付近に位置している。

【0067】

図６の二段目中央に示すように、この空隙が存在する部位の超音波画像１１１－ｄには、この空隙に起因するエコーが現れる。そして、図６の二段目右端に示すように、この超音波画像１１１－ｄを基に生成されたヒートマップ１１１Ｆ－ｄにおいても、図中に白抜き矢印で示すように、上記の空隙に対応する領域が現れる。この領域は、一段目のヒートマップ１１１Ｆ－ｃと比べて左側に位置している。

【0068】

図６の三段目の左端には、アンダカットが生じている管端溶接部を管端側から見た様子を示している。丸印を付した箇所に空隙が生じている。この空隙は、管の表面付近であり、管端溶接部における管端側の端部に位置している。

【0069】

図６の三段目中央に示すように、この空隙が存在する部位の超音波画像１１１－ｅには、この空隙に起因するエコーが現れる。そして、図６の三段目右端に示すように、この超音波画像１１１－ｅを基に生成されたヒートマップ１１１Ｆ－ｅにおいても、図中に白抜き矢印で示すように、上記の空隙に対応する領域が現れる。この領域は、二段目のヒートマップ１１１Ｆ－ｄと比べて左側に位置している。

【0070】

図６の四段目の左端には、ブローホールが生じている管端溶接部の切断面を示している。丸印を付した箇所に空隙が生じている。この空隙は、管の表面よりも管端溶接部の内部側に位置しており、その左右方向の位置は管端溶接部の幅方向の中心付近である。

【0071】

図６の四段目中央に示すように、この空隙が存在する部位の超音波画像１１１－ｆには、この空隙に起因するエコーが現れる。そして、図６の四段目右端に示すように、この超音波画像１１１－ｆを基に生成されたヒートマップ１１１Ｆ－ｆにおいても、図中に白抜き矢印で示すように、上記の空隙に対応する領域が現れる。この領域は、左右方向の位置は二段目のヒートマップ１１１Ｆ－ｄと近いが、上下方向の位置がより下方側となっている。

【0072】

以上のように、欠陥の種類とヒートマップ１１１Ｆの外観との間には相関がある。よって、この相関に基づいて、ヒートマップ１１１Ｆから欠陥の種類を判定する種類判定モデルを構築することができる。このような種類判定モデルは、種類が既知の欠陥がある検査対象物の検査画像から生成された差分画像のヒートマップを教師データとした機械学習で構築することができる。そして、欠陥種類判定部１０７は、このような判定モデルに、ヒートマップ生成部１０６が生成したヒートマップを入力して得られる出力値に基づいて欠陥の種類を判定することができる。

【0073】

上述のように、差分画像を構成する各ピクセルのピクセル値を色または濃淡で表したヒートマップには、その差分画像の基になった検査画像に写る欠陥の種類の違いが反映される。よって、上記の構成によれば、欠陥の種類を適切に自動で判定することが可能になる。

【0074】

例えば、初層溶込み不良が発生している箇所の超音波画像１１１から生成された、図６のヒートマップ１１１Ｆ－ｃのようなヒートマップを多数用意し、それらを教師データとしてもよい。これにより、欠陥の種類が初層溶込み不良である確率を出力する種類判定モデルを構築することができる。同様に、他の種類の欠陥が発生している箇所の超音波画像１１１から生成されたヒートマップを教師データとして機械学習すれば、各種欠陥に該当する確率を出力する種類判定モデルを構築することができる。

【0075】

よって、欠陥種類判定部１０７は、このような種類判定モデルにヒートマップを入力して得られる出力値から、欠陥の種類を判定することができる。例えば、欠陥種類判定部１０７は、種類判定モデルから出力される各種欠陥に該当する確率値のうち、最も高い確率値に対応する種類の欠陥が発生していると判定してもよい。

【0076】

（欠陥の統合）
管端溶接部は、管の周囲３６０度にわたって存在する。このため、上述のように、管内で探触子を所定角度ずつ回転させながら、管端溶接部の各部分の超音波画像１１１を生成し、各超音波画像１１１から欠陥の検出を行う。このような場合、１つの連続した欠陥が複数の超音波画像に跨って写り、実体としては１つの欠陥であるのに、それが複数の欠陥として検出されてしまうことがあり得る。

【0077】

そこで、統合検出部１０８は、複数の超音波画像１１１に写る欠陥を統合して１つの欠陥として検出する。より詳細には、統合検出部１０８は、欠陥有無判定部１０５が、管端溶接部の一部分であって、互いに隣接する部分にそれぞれ対応する複数の超音波画像１１１について欠陥ありと判定した場合に、当該複数の超音波画像に写る欠陥を１つの欠陥として検出する。これにより、欠陥の実体に沿った適切な検出が可能になる。

【0078】

欠陥の統合方法について図７に基づいて説明する。図７は、複数の超音波画像１１１に写る欠陥を統合して１つの欠陥として検出する方法を説明する図である。図７の左上には、管と管端溶接部の横断面を示している。また、図７の左下には、管と管端溶接部と管板の縦断面を示している。

【0079】

図７の例では、管の外壁面に沿って広範囲にわたる溶接欠陥が発生している。管の内壁面に沿って探触子を所定角度ずつ回転させながらエコーの計測を行うと、溶接欠陥が発生している範囲における計測結果には溶接欠陥からのエコーが反映される。これにより、図７の右側に示すように、上記の測定結果に基づいて生成された超音波画像１１１ｇ～１１１ｉには上記の溶接欠陥に起因するエコーが現れる。よって、これらの超音波画像１１１ｇ～１１１ｉに基づく欠陥有無の判定においては、欠陥有無判定部１０５が欠陥ありと判定する。

【0080】

ここで、超音波画像１１１ｇ～１１１ｉは、管端溶接部の一部分であって、互いに隣接する部分にそれぞれ対応している。このため、統合検出部１０８は、欠陥有無判定部１０５が欠陥ありと判定したこれらの超音波画像１１１ｇ～１１１ｉに写る欠陥を１つの欠陥として検出する。

【0081】

なお、統合検出部１０８は、超音波画像１１１ｇ～１１１ｉから検出された欠陥の位置が同じであるか近い位置であることを条件として、それらの欠陥を統合してもよい。また、上述のように欠陥の種類に応じてその位置が相違しているから、統合検出部１０８は、超音波画像１１１ｇ～１１１ｉから同じ種類の欠陥が検出されたことを条件として、それらの欠陥を統合してもよい。これらの構成によれば、欠陥統合の精度を高めることができる。

【0082】

また、欠陥長算出部１０９は、以上のような処理により統合された欠陥の長さを算出する。例えば、欠陥長算出部１０９は、１つの超音波画像１１１あたりの欠陥の長さに、統合検出部１０８が統合した欠陥の数を乗じて、欠陥の長さを算出してもよい。

【0083】

例えば、管の周囲３６０度に形成された管端溶接部について、探触子を管の内壁面に沿って管の中心軸回りに１度ずつ移動させながら３６０回のエコー計測を行い、その結果、３６０枚の超音波画像１１１が生成されたとする。この場合、１つの超音波画像１１１に写る欠陥の長さは概ね、（管の外径）×１／３６０となるから、図７のように３つの超音波画像１１１ｇ～１１１ｉの欠陥を統合した場合、欠陥長算出部１０９は、欠陥の長さを（管の外径）×３×１／３６０と算出してもよい。

【0084】

（検査結果の出力例）
検査装置１による検査対象物の欠陥の有無の判定結果は、出力部１３を介して出力される。ここでは、検査結果の出力例を図８に基づいて説明する。図８は、検査結果の出力例を示す図である。

【0085】

図８の左上には、欠陥マップ３００を示している。欠陥マップ３００は、管端側から見た管端溶接部を示すドーナツ状の領域３０１に、検出した欠陥を示す線分３０２を描画したものである。欠陥マップ３００によれば、管端溶接部における欠陥の分布を容易に認識させることができる。

【0086】

また、図８の右上には、管板マップ４００を示している。管板マップ４００は、図２に示したような、管板に多数の管が溶接された熱交換器を管端側から見た様子を模式的に示したものである。管板マップ４００では、各管の位置にその管の管端溶接部における欠陥検査の結果を示す図形を描画することにより、検査結果を示している。

【0087】

具体的には、検査の結果、欠陥が検出されなかった管の位置には白丸印を描画し、きず（欠陥）が検出された管の位置には黒丸印を描画している。これにより、欠陥が生じた管端溶接部の分布を容易に認識させることができる。また、管板マップ４００では、検査を未実施の管の位置には三角印、検査対象外の管の位置には四角印を描画している。このように、検査に関する各種情報も管板マップ４００に含めてもよい。

【0088】

また、図８の下側には、超音波画像セット５００を示している。超音波画像セット５００には、３つの超音波画像（５０１～５０３）が含まれている。超音波画像５０１は管端側セクタスキャンにより得られ、超音波画像５０２はリニアスキャンにより得られ、超音波画像５０３は管奥側セクタスキャンにより得られる。

【0089】

なお、リニアスキャンは、管の中心軸に垂直な探傷方向のスキャンである。上述の超音波画像１１１もリニアスキャンにより得られたものである。管端側セクタスキャンは、管の中心軸に垂直な方向から管奥側に傾斜させた探傷方向に超音波を伝搬させるスキャンである。また、管奥側セクタスキャンは、管の中心軸に垂直な方向から管端側に傾斜させた探傷方向に超音波を伝搬させるスキャンである。

【0090】

これらの超音波画像では、検出した欠陥に対応する反射エコーにマーキングしている。このように、マーキングした超音波画像を検査結果として表示することにより、欠陥の位置などを容易に認識させることができる。

【0091】

ここで、超音波画像５０１～５０３は、何れも管端溶接部における同じ位置をスキャンすることにより得られた画像であるが、探傷方向が異なるため、欠陥の現れ方も異なっている。このため、検査装置１は、このような探傷方向が異なる複数の超音波画像１１１について欠陥の有無の判定を行い、何れかの探傷方向で欠陥ありと判定された場合には、他の探傷方向で欠陥なしと判定されていても、最終的な判定結果を欠陥ありとしてもよい。これにより、欠陥の検出漏れが生じる確率を低減することができる。また、検査装置１は、リニアスキャンにより得られた超音波画像とセクタスキャンにより得られた超音波画像とを合成した合成画像を対象として欠陥の有無の判定を行ってもよい。

【0092】

なお、欠陥マップ３００、管板マップ４００、および超音波画像セット５００の全てを検査結果として出力してもよいし、一部のみを出力してもよい。また、欠陥の種類の判定結果を示す情報等も検査結果として出力してもよい。無論、これらは例示に過ぎず、判定結果はその内容を人が認識できるような任意の態様で出力すればよい。

【0093】

（検査前に行われる処理の流れ）
検査装置１による欠陥検査を行う前に、検査で使用する各種モデルや閾値を用意しておく必要がある。ここでは、検査で使用する各種モデルを構築し、閾値を決定する処理の流れを図９に基づいて説明する。図９は、検査で使用する各種モデルを構築し、閾値を決定する処理の一例を示す図である。なお、これらの処理は、検査装置１で行ってもよいし、他のコンピュータで行ってもよい。

【0094】

Ｓ１では、抽出モデルを構築する。抽出モデルの構築は、超音波画像１１１に対して正解データとして抽出領域情報を対応付けた教師データを用いた機械学習により行う。この抽出領域情報は、例えば超音波画像１１１を表示装置に表示させて、抽出すべき領域をオペレータに入力させ、その入力内容を基に生成されたものであってもよい。

【0095】

抽出モデルは、画像からの領域抽出に適した任意の学習モデルで構築することができる。例えば、抽出精度や処理速度に優れたＹＯＬＯ（You Only Look Once）等により抽出モデルを構築してもよい。

【0096】

抽出すべき領域は、検査対象部位である管端溶接部を含む領域であればよい。また、抽出すべき領域は、その周縁部からのエコーが写る領域の少なくとも一部についても含んでいることが好ましい。これは、検査対象部位に欠陥がない場合、超音波画像１１１における当該部位には機械学習できるような特徴点が観察されない場合があり、このような場合には抽出モデルを構築することが難しいためである。例えば、図２に示す超音波画像１１１においては、エコーａ１、ａ２、ａ６、およびａ７の一部を含む領域を抽出すべき領域とすればよい。これにより、管端溶接部を含み、かつ周縁部からのエコーも含む領域を抽出する抽出モデルを構築することができる。

【0097】

Ｓ１において、周縁部からのエコーが写る領域を含む領域を正解データとした機械学習により構築された抽出モデルを構築した場合、検査画像生成部１０２は、この抽出モデルを用いて検査対象領域を抽出する。検査対象部位の周縁部からのエコーには、図２に示したように機械学習し得る特徴があるので、この構成によれば検査対象部位を自動で高精度に抽出することが可能になる。

【0098】

Ｓ２では、生成モデルを構築する。生成モデルの構築は、欠陥のない検査対象物の超音波画像１１１、より詳細には、その超音波画像１１１から、Ｓ１において構築された抽出モデルで抽出した検査対象領域の画像を訓練データとした機械学習により行う。上述のように、生成モデルはオートエンコーダであってもよい。また、生成モデルは、オートエンコーダを改良あるいは改変したモデルであってもよい。例えば、生成モデルとして変分オートエンコーダ等を適用してもよい。

【0099】

なお、Ｓ１において、周縁部からのエコーが写る領域を含む領域を正解データとした機械学習により構築された抽出モデルを構築した場合、生成モデルの構築に用いる訓練データにも周縁部からのエコーが写る領域が含まれることになる。欠陥のない検査対象物の超音波画像１１１では、検査対象領域にエコーが含まれず、機械学習すべき特徴点に乏しいが、周縁部からのエコーが写る領域が含まれる訓練データを用いることにより、妥当な生成モデルを構築することが可能になる。

【0100】

Ｓ３では、Ｓ２で構築した生成モデルにテスト画像を入力して復元画像を構築する。テスト画像は、Ｓ１で構築した抽出モデルを用いて、欠陥のない検査対象物の超音波画像１１１と欠陥のある検査対象物の超音波画像１１１のそれぞれから検査対象領域を抽出することにより生成した画像である。また、欠陥のある検査対象物の超音波画像１１１から生成されたテスト画像は、その欠陥の種類ごとに分類しておく。

【0101】

Ｓ４では、欠陥の有無の判定用の閾値を決定する。具体的には、テスト画像とＳ３で生成された復元画像について、ピクセル単位でそれら画像の差分を計算し、その差分の分散を算出する。そして、欠陥のない検査対象物の超音波画像１１１から生成された複数のテスト画像について算出された各分散の値と、欠陥のある検査対象物の超音波画像１１１から生成された複数のテスト画像について算出された各分散の値を区分できるように閾値を決定する。

【0102】

Ｓ５では、各種欠陥のテスト画像からそれぞれ生成されたヒートマップを教師データとして種類判定モデルを構築する。ヒートマップには、図６に基づいて説明したように、欠陥の種類に応じた特徴が現れるので、このヒートマップを教師データとして機械学習を行うことにより、種類判定モデルを構築することができる。

【0103】

種類判定モデルは、画像の分類に適した任意の学習モデルで構築することができる。例えば、画像の分類精度に優れた畳み込みニューラルネットワーク等により種類判定モデルを構築してもよい。

【0104】

（検査における処理の流れ）
検査における処理の流れを図１０に基づいて説明する。図１０は、検査装置１を用いた検査方法の一例を示す図である。なお、以下では、探触子を回転させながら計測した管端溶接部とその周縁部からのエコーを画像化した超音波画像１１１が記憶部１１に記憶されているものとして説明する。

【0105】

Ｓ１１では、検査対象領域抽出部１０１が、記憶部１１に記憶されている超音波画像１１１の１つを取得して抽出モデルに入力し、その出力値に基づいて抽出領域情報を生成する。そして、検査画像生成部１０２が、上記抽出領域情報が示す領域を超音波画像１１１から抽出して検査画像１１１Ａを生成する。

【0106】

Ｓ１２（検査画像取得ステップ）では、検査画像取得部１０３が、Ｓ１１で生成された検査画像１１１Ａを取得する。そして、検査画像取得部１０３は、取得した検査画像１１１Ａを複製し、その１つを復元画像生成部１０４に送り、他の１つを欠陥有無判定部１０５に送る。なお、検査画像取得部１０３は、欠陥有無判定部１０５には検査画像１１１Ａから周縁エコー領域を除去した除去画像１１１Ｃを送信してもよい。

【0107】

Ｓ１３では、復元画像生成部１０４が、Ｓ１２で取得された検査画像１１１Ａを生成モデルに入力し、その出力値に基づいて復元画像１１１Ｂを生成する。また、検査画像取得部１０３が除去画像１１１Ｃを欠陥有無判定部１０５に送る構成とした場合、復元画像生成部１０４は、生成した復元画像１１１Ｂから除去画像（復元）１１１Ｄを生成し、これを欠陥有無判定部１０５に送信することが好ましい。なお、除去画像１１１Ｃおよび除去画像（復元）１１１Ｄの生成は、欠陥有無判定部１０５が行う構成としてもよい。

【0108】

Ｓ１４では、欠陥有無判定部１０５が、Ｓ１２で生成された検査画像１１１Ａと、Ｓ１３で生成された復元画像１１１Ｂについて、ピクセルごとの差分を計算する。なお、除去画像１１１Ｃおよび除去画像（復元）１１１Ｄが生成されている場合、欠陥有無判定部１０５はこれらの画像の差分を算出する。

【0109】

Ｓ１５では、欠陥有無判定部１０５は、Ｓ１４で算出した差分の分散を計算する。そして、Ｓ１６（欠陥有無判定ステップ）では、欠陥有無判定部１０５は、Ｓ１５で算出した分散の値に基づいて欠陥があるか否かを判定する。具体的には、欠陥有無判定部１０５は、分散の値が所定の閾値を超えていれば欠陥があると判定し、分散の値が所定の閾値以下であれば欠陥はないと判定する。

【0110】

Ｓ１６で欠陥ありと判定された場合（Ｓ１６でＹＥＳ）にはＳ１７の処理に進む。Ｓ１７では、欠陥有無判定部１０５は、Ｓ１６の判定結果、すなわち検査対象物に欠陥があることを検査結果データ１１２に記録する。この後、処理はＳ１８に進み、欠陥種類判定処理が行われる。なお、欠陥種類判定処理の詳細は図１１に基づいて後述する。

【0111】

一方、Ｓ１６において欠陥なしと判定された場合（Ｓ１６でＮＯ）にはＳ１９の処理に進む。Ｓ１９では、欠陥有無判定部１０５は、Ｓ１６の判定結果、すなわち検査対象物に欠陥がないことを検査結果データ１１２に記録する。この後、処理はＳ２０に進む。

【0112】

Ｓ２０では、検査対象領域抽出部１０１が、検査対象となっている全ての超音波画像１１１を処理済みであるかを判定する。ここで未処理の超音波画像１１１があると判定した場合（Ｓ２０でＮＯ）にはＳ１１に戻り、検査対象領域抽出部１０１が未処理の超音波画像１１１を記憶部１１から読み出して抽出領域情報を生成する。一方、未処理の超音波画像１１１はないと判定した場合（Ｓ２０でＹＥＳ）にはＳ２１の処理に進む。

【0113】

Ｓ２１では、統合検出部１０８が、欠陥有無判定部１０５が検出した欠陥を統合する。そして、統合検出部１０８は、統合結果を検査結果データ１１２に記録する。欠陥の統合方法は、図７に基づいて説明したとおりであるから、ここでは説明を繰り返さない。なお、統合すべき欠陥がなければＳ２１およびＳ２２の処理は行われることなく図１０の処理が終了する。

【0114】

Ｓ２２では、欠陥長算出部１０９が、統合検出部１０８により統合された欠陥の長さを算出する。例えば、欠陥長算出部１０９は、１つの超音波画像１１１あたりの欠陥の長さに、統合検出部１０８が統合した欠陥の数を乗じて、欠陥の長さを算出してもよい。そして、欠陥長算出部１０９は、算出結果を検査結果データ１１２に記録する。これにより図１０の処理は終了する。

【0115】

（欠陥種類判定処理の流れ）
図１０のＳ１８で行われる欠陥種類判定処理の流れを図１１に基づいて説明する。図１１は、欠陥種類判定処理の一例を示すフローチャートである。Ｓ３１では、ヒートマップ生成部１０６が、図１０のＳ１４で算出された差分値を用いてヒートマップを生成する。そして、Ｓ３２では、ヒートマップ生成部１０６は、Ｓ３１で生成したヒートマップに対して閾値処理を施す。閾値処理については図５に基づいて説明した通りであるからここでは説明を繰り返さない。

【0116】

Ｓ３３では、欠陥種類判定部１０７が、種類判定モデルを用いて欠陥の種類を判定する。具体的には、欠陥種類判定部１０７は、Ｓ３２にて閾値処理が施されたヒートマップを種類判定モデルに入力し、その出力値に基づいて欠陥の種類を判定する。例えば、種類判定モデルが、欠陥の種類のそれぞれについて、当該種類に該当する可能性を示す数値を出力するものであれば、欠陥種類判定部１０７は、その数値が最も大きい種類をその欠陥の種類であると判定してもよい。

【0117】

Ｓ３４では、欠陥種類判定部１０７は、Ｓ３３の判定結果を検査結果データ１１２に記録する。これにより欠陥種類判定処理は終了する。

【0118】

〔実施形態２〕
本発明の他の実施形態について、以下に説明する。なお、説明の便宜上、上記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。本実施形態では、上記実施形態とは異なる方法で欠陥の種類を判定する例を説明する。

【0119】

（検査装置の構成）
本実施形態に係る検査装置２の構成を図１２に基づいて説明する。図１２は、検査装置２の要部構成の一例を示すブロック図である。検査装置２は、図１に示した検査装置１と比べて、制御部１０が制御部２０に変わっている点で相違している。制御部２０には、制御部１０に含まれていたヒートマップ生成部１０６と欠陥種類判定部１０７が含まれておらず、代わりに欠陥領域検出部２０１と欠陥種類判定部２０２が含まれている。

【0120】

欠陥領域検出部２０１は、差分画像においてピクセル値が閾値以上である複数のピクセルからなる領域を欠陥領域として検出する。そして、欠陥種類判定部２０２は、差分画像の画像領域における上記欠陥領域が検出された位置から、当該欠陥領域に係る欠陥の種類を判定する。欠陥領域の検出および欠陥領域の位置に基づく欠陥の種類の判定の詳細について以下説明する。

【0121】

（欠陥領域の検出）
欠陥領域検出部２０１による欠陥領域の検出方法について図１３に基づいて説明する。図１３は、欠陥領域の検出方法を説明する図である。なお、図１３では、ヒートマップを用いて欠陥領域を検出する例を示しているが、以下説明するようにヒートマップの生成は必須ではない。

【0122】

図１３には、欠陥のある検査対象物の超音波画像１１１から生成されたヒートマップ１１１Ｅと、このヒートマップ１１１Ｅに閾値処理を施したヒートマップ１１１Ｆを示している。また、図１３には、ヒートマップ１１１Ｆの左上端部分の拡大図についても示しており、この拡大図ではヒートマップ１１１Ｆの各ピクセルにそのピクセル値を記載している。

【0123】

欠陥領域の検出において、まず、欠陥領域検出部２０１は、ヒートマップ１１１Ｆにおいて、ピクセル値が最大のピクセルを検出する。図１３の例では、最大のピクセル値が１０４であるからこのピクセルを検出する。次に、欠陥領域検出部２０１は、検出したピクセルに隣接する、ピクセル値が所定の閾値（図１１のＳ３２の閾値処理に用いた閾値よりも大きい閾値）以上のピクセルを検出する。

【0124】

欠陥領域検出部２０１は、このような処理を、閾値以上のピクセル値を有する隣接ピクセルが検出されなくなるまで繰り返す。これにより、欠陥領域検出部２０１は、所定の閾値以上のピクセル値を有するピクセルからなる連続領域を欠陥領域として検出することができる。なお、欠陥領域検出部２０１は、上記のようにして検出した欠陥領域を含む矩形領域ａｒ５を欠陥領域として検出してもよい。

【0125】

以上の処理は、検査画像１１１Ａと復元画像１１１Ｂのピクセルごとの差分値を示すデータすなわち差分画像があれば行うことができる。すなわち、差分画像においてピクセル値が最大のピクセルを検出し、そのピクセルに隣接する所定の閾値以上のピクセル値のピクセルを検出する処理を繰り返すことにより、欠陥領域を検出することができる。よって、上述のように、欠陥領域の検出のためにヒートマップ１１１Ｅやヒートマップ１１１Ｆを必ずしも生成する必要はない。

【0126】

以上のように、欠陥領域検出部２０１は、差分画像においてピクセル値が閾値以上である複数のピクセルからなる領域を欠陥領域として検出する。差分画像においては、欠陥領域のピクセルのピクセル値がそれ以外の領域のピクセル値と比べて大きな値となるから、この構成によれば、妥当な欠陥領域を自動で検出することができる。

【0127】

（位置に基づく欠陥種類の判定）
図６に基づいて説明したとおり、溶接箇所における欠陥には、初層溶込み不良や溶接パス間の融合不良など様々な種類のものが知られており、このような欠陥の種類の違いは、超音波画像において位置の差として表れる。欠陥種類判定部２０２は、このことを利用して、差分画像の画像領域における欠陥領域が検出された位置から、当該欠陥領域に係る欠陥の種類を判定する。これにより、欠陥の種類を自動で判定することができる。

【0128】

例えば、差分画像に各種類の欠陥に対応する領域を予め設定しておけば、欠陥種類判定部２０２は、欠陥領域検出部２０１が検出した欠陥領域が何れの領域に含まれるかによって欠陥の種類を判定することができる。

【0129】

図１４は、欠陥の種類ごとに設定した領域の例を示す図である。図１４の例では、ヒートマップ１１１Ｆの左上隅にアンダカットに対応する領域ＡＲ１、上端中央に溶接パス間の融合不良に対応する領域ＡＲ２、そして右上隅に初層溶込み不良に対応する領域ＡＲ３を設定している。また、中央からやや上の位置にブローホールに対応する領域ＡＲ４を設定している。このような領域は、各種欠陥部位の検査画像に基づく差分画像やヒートマップを解析する等して予め設定しておけばよい。図１４の例では、領域ＡＲ３に、白抜き矢印で示す欠陥領域が検出されているため、欠陥種類判定部２０２は、この欠陥は初層溶込み不良による欠陥であると判定する。

【0130】

図１４の例では、ブローホールに対応する領域ＡＲ４の一部は、領域ＡＲ１～ＡＲ３の一部と重なっている。このように、欠陥の種類を判定するための領域を、その一部が他の領域と重畳するように設定してもよい。

【0131】

この場合、欠陥種類判定部２０２は、複数の領域が重畳する領域に欠陥領域が検出されたときには、それらの各領域に対応する種類全てを欠陥種類の判定結果としてもよい。例えば、領域ＡＲ１とＡＲ４の重畳領域に欠陥領域が検出されたときには、欠陥種類判定部２０２は、アンダカットとブローホールの両方を判定結果として出力してもよい。

【0132】

また、欠陥種類判定部２０２は、欠陥の種類毎に特有の条件を満たすか否かによって欠陥種類の判定結果を絞り込んでもよい。例えば、形状に特徴のある欠陥であれば、形状に関する条件を設定しておけばよく、サイズに特徴のある欠陥であれば、サイズに関する条件を設定しておけばよい。

【0133】

具体例を挙げれば、ブローホールは、球状の空洞が発生する欠陥であり、その直径は一般に２ｍｍ以下である。このため、１枚の超音波画像１１１が検査対象物の幅１ｍｍ程度の範囲をカバーする場合、１つのブローホールは２～３枚程度の超音波画像１１１に収まる。よって、検査対象物の隣接する部分にそれぞれ対応する複数の超音波画像１１１に連続して欠陥が検出された場合に、その超音波画像１１１の枚数が３枚以下であればその欠陥がブローホールである可能性がある。一方、欠陥が連続して検出された超音波画像１１１の枚数が４枚以上であれば、その欠陥はブローホールではない可能性が高い。

【0134】

よって、欠陥種類判定部２０２は、領域ＡＲ４と他の領域との重畳領域に欠陥領域が検出された場合、欠陥が連続して検出された超音波画像１１１の枚数が閾値（例えば３）以下であることを条件として、その欠陥の種類をブローホールと判定してもよい。

【0135】

例えば、図１４の例において、領域ＡＲ４とＡＲ２との重畳領域に欠陥領域が検出されたとする。この場合、欠陥種類判定部２０２は、欠陥が連続して検出された超音波画像１１１の枚数が閾値以下であれば欠陥の種類をブローホールと判定し、閾値を超えていれば溶接パス間の融合不良と判定すればよい。

【0136】

また、上述のように、ブローホールは球状であるから、１つのブローホールが複数の超音波画像１１１にまたがって検出された場合、各超音波画像１１１におけるそのブローホールに起因するエコーのピーク値が相違することが多い。このようなピーク値の相違は、超音波画像１１１においてはピクセル値の相違として表れる。例えば、１つのブローホールが３枚の超音波画像１１１にまたがって検出されたとする。この場合、３枚の超音波画像１１１のうち中央の超音波画像１１１におけるそのブローホールに起因するエコーのピーク値を５０％とすると、その前後の超音波画像１１１におけるブローホールに起因するエコーのピーク値はそれよりも低い３０％といった値になる。

【0137】

よって、欠陥種類判定部２０２は、領域ＡＲ４と他の領域との重畳領域に欠陥領域が検出された場合、欠陥が連続して検出された各超音波画像１１１における欠陥領域のピクセル値に差異があることを条件として、その欠陥の種類をブローホールと判定してもよい。例えば、欠陥種類判定部２０２は、各超音波画像１１１の欠陥領域に含まれる各ピクセルのピクセル値の平均値を算出し、その平均値の差が閾値以上である場合に差異ありと判定してもよい。

【0138】

（欠陥種類判定処理の流れ）
検査装置２による欠陥検査は、検査装置１と同様に図１０に示したフローチャートの流れで行われる。ただし、Ｓ１８で行われる欠陥種類判定処理の内容が相違している。ここでは、図１０のＳ１８で行われる欠陥種類判定処理の流れを図１５に基づいて説明する。図１５は、検査装置２が実行する欠陥種類判定処理の一例を示すフローチャートである。

【0139】

Ｓ４１では、欠陥領域検出部２０１が、図１０のＳ１４で算出された差分値に閾値処理を施す。そして、Ｓ４２では、欠陥領域検出部２０１は、閾値処理後の差分値から欠陥領域を検出する。欠陥領域の検出方法は図１３に基づいて説明した通りであるからここでは説明を繰り返さない。

【0140】

Ｓ４３では、欠陥種類判定部２０２が、Ｓ４２で特定された欠陥領域の位置から欠陥の種類を判定する。例えば、欠陥種類判定部２０２は、Ｓ４２で検出された欠陥領域が、図１４に示した領域ＡＲ１～ＡＲ４の何れに含まれるかによって欠陥の種類を判定してもよい。

【0141】

Ｓ４４では、欠陥種類判定部２０２は、Ｓ４３の判定結果を検査結果データ１１２に記録する。これにより欠陥種類判定処理は終了する。

【0142】

〔応用例〕
上述の各実施形態では、超音波画像を用いて欠陥の有無を判定する例を説明したが、検査装置１および２は、他の画像からの欠陥の有無の判定に適用することもできる。例えば、放射線透過試験（ＲＴ）において、検査対象物の欠陥の有無を判定する検査に検査装置１および２を適用することもできる。この場合、放射線透過写真の代わりに、イメージングプレートなどの電子デバイスを用いて得られた画像データから欠陥の像を検出することになる。

【0143】

〔変形例〕
上記各実施形態で説明した各処理の実行主体は適宜変更することが可能である。例えば、図１０のフローチャートにおける、Ｓ１１（検査画像の生成）、Ｓ１３（復元画像の生成）、Ｓ１８（欠陥種類判定）、Ｓ２１（欠陥の統合）、およびＳ２２（欠陥長の算出）を他の情報処理装置に実行させてもよい。また、この場合、他の情報処理装置は、１つであってもよいし、複数であってもよい。このように、検査装置１および２の機能は、多様なシステム構成で実現することが可能である。また、複数の情報処理装置を含むシステムを構築する場合、一部の情報処理装置はクラウド上に配置されていてもよい。つまり、検査装置１の機能は、オンライン上で情報処理を行う１または複数の情報処理装置を利用して実現することもできる。

【0144】

〔ソフトウェアによる実現例〕
検査装置１および２の制御ブロック（特に制御部１０および２０に含まれる各部）は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ソフトウェアによって実現してもよい。

【0145】

後者の場合、検査装置１および２は、各機能を実現するソフトウェアである検査プログラムの命令を実行するコンピュータを備えている。このコンピュータは、例えば１つ以上のプロセッサを備えていると共に、上記検査プログラムを記憶したコンピュータ読み取り可能な記録媒体を備えている。そして、上記コンピュータにおいて、上記プロセッサが上記検査プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記プロセッサとしては、例えばＣＰＵ（Central Processing Unit）を用いることができる。また、検査装置１および２は、ＣＰＵ等のプロセッサに加えてＧＰＵ（Graphics Processing Unit）を備えていてもよい。ＧＰＵを用いることにより、上述の各種モデルを用いた演算等を高速で行うことが可能になる。上記記録媒体としては、「一時的でない有形の媒体」、例えば、ＲＯＭ（Read Only Memory）等の他、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムを展開するＲＡＭ（Random Access Memory）などをさらに備えていてもよい。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや電波等）を介して上記コンピュータに供給されてもよい。なお、本発明の一態様は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。

【0146】

本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

【符号の説明】

【0147】

１ 検査装置
１０２ 検査画像生成部
１０３ 検査画像取得部
１０５ 欠陥有無判定部
１０６ ヒートマップ生成部
１０７ 欠陥種類判定部
１０８ 統合検出部
１１１ 超音波画像
２ 検査装置
２０１ 欠陥領域検出部
２０２ 欠陥種類判定部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】