特許 7520582 情報処理装置、判定方法、および情報処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-07-12

(45)【発行日】2024-07-23

(54)【発明の名称】情報処理装置、判定方法、および情報処理プログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240716BHJP

   G01N 29/06 20060101ALI20240716BHJP

【ＦＩ】

G06T7/00 600

G01N29/06

【請求項の数】 7

(21)【出願番号】P 2020101125

(22)【出願日】2020-06-10

(65)【公開番号】P2021196711

(43)【公開日】2021-12-27

【審査請求日】2023-04-11

(73)【特許権者】

【識別番号】000005119

【氏名又は名称】日立造船株式会社

(73)【特許権者】

【識別番号】000134925

【氏名又は名称】株式会社ニチゾウテック

(74)【代理人】

【識別番号】110000338

【氏名又は名称】弁理士法人 ＨＡＲＡＫＥＮＺＯ ＷＯＲＬＤ ＰＡＴＥＮＴ ＆ ＴＲＡＤＥＭＡＲＫ

(72)【発明者】

【氏名】片山 猛

(72)【発明者】

【氏名】篠田 薫

(72)【発明者】

【氏名】安部 正光

(72)【発明者】

【氏名】井岡 良太

(72)【発明者】

【氏名】和田 貴裕

(72)【発明者】

【氏名】村上 丈一

(72)【発明者】

【氏名】服部 洋

【審査官】小太刀 慶明

(56)【参考文献】

【文献】特開２０１６－０５７７０１（ＪＰ，Ａ）

【文献】特開２０１６－０４０６５０（ＪＰ，Ａ）

【文献】特開２０１９－０２５０４４（ＪＰ，Ａ）

【文献】米国特許出願公開第２００３／０２３４２３９（ＵＳ，Ａ１）

【文献】国際公開第２０１６／１８５６１７（ＷＯ，Ａ１）

【文献】藤井 浩光，インフラ点検のための変状識別技術，電子情報通信学会技術研究報告，日本，一般社団法人電子情報通信学会 The Institute of Electronics,Information and Communication Engineers，Ｖｏｌ．１１６, Ｎｏ．２０８，pp.163-166

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００ － ７／９０

Ｇ０１Ｎ ２９／００ － ２９／５２

Ａ６１Ｂ ８／００ － ８／１５

(57)【特許請求の範囲】

【請求項1】

１つの対象データから所定の判定事項を判定する判定部の判定結果の確からしさを示す指標である信頼度を、上記対象データを用いて判定する処理を、複数の上記判定部のそれぞれについて行う信頼度判定部と、
上記各判定結果と、上記信頼度判定部が判定した上記信頼度とを用いて、上記所定の判定事項を判定する総合判定部と、を備える情報処理装置。

【請求項2】

上記信頼度判定部は、各判定部用の信頼度予測モデルのそれぞれに上記対象データを入力することにより得られた出力値から上記各判定部の判定結果の信頼度を判定し、
上記信頼度予測モデルは、上記判定部が上記判定事項を判定した対象データに対し、その判定結果の正否を示す情報を正解データとして対応付けた教師データを用いた機械学習によって構築されたものである、請求項１に記載の情報処理装置。

【請求項3】

上記対象データは、検査対象物の画像であり、
上記判定事項は、上記検査対象物における異常部位の有無であり、
複数の上記判定部には、生成モデルに上記画像を入力することにより生成された生成画像を用いて異常部位の有無を判定する生成モデル判定部が含まれ、
上記生成モデルは、異常部位のない上記検査対象物の画像を訓練データとした機械学習により、入力された画像と同様の特徴を有する新たな画像を生成するように構築されたものである、請求項１または２に記載の情報処理装置。

【請求項4】

複数の上記判定部には、検査対象物の画像である上記対象データの各ピクセル値を解析することにより当該対象データにおける検査対象部位を特定し、特定した検査対象部位のピクセル値に基づいて異常部位の有無を判定する数値解析判定部が含まれる、請求項３に記載の情報処理装置。

【請求項5】

上記対象データは、上記検査対象物に伝搬させた超音波のエコーを画像化した超音波画像であり、
上記数値解析判定部は、上記超音波画像において、上記検査対象部位の周縁部からのエコーが繰り返し現れる２つの周縁エコー領域に挟まれた領域を上記検査対象部位として特定すると共に、特定した検査対象部位に閾値以上のピクセル値からなる領域が含まれるか否かによって上記異常部位の有無を判定し、
上記情報処理装置は、２つの上記周縁エコー領域間の距離に基づいて上記検査対象部位の厚さを算出する厚さ算出部をさらに備える、請求項４に記載の情報処理装置。

【請求項6】

１または複数の情報処理装置により実行される判定方法であって、
１つの対象データから所定の判定事項を判定する判定部の判定結果の確からしさを示す指標である信頼度を、上記対象データを用いて判定する処理を、複数の上記判定部のそれぞれについて行う信頼度判定ステップと、
上記各判定結果と、上記信頼度判定ステップで判定した上記信頼度とを用いて、上記所定の判定事項を判定する総合判定ステップと、を含む判定方法。

【請求項7】

請求項１に記載の情報処理装置としてコンピュータを機能させるための情報処理プログラムであって、上記信頼度判定部および上記総合判定部としてコンピュータを機能させるための情報処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、対象データに基づいて所定の判定事項を判定する情報処理装置等に関する。

【背景技術】

【0002】

下記の特許文献１には、半導体基板の画像から欠陥の有無および種類を判定する技術が開示されている。具体的には、特許文献１の技術では、複数の分類器の各分類結果に、各分類器について予め決定した重みを乗じた値の総和から、最終的な分類結果を決定している。これにより、分類器を１つのみ用いた場合と比べて、分類精度の向上が期待できる。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１６－４０６５０号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、複数の画像から欠陥の検出・分類を行う場合、各画像には様々な差異があるため、画像に応じて各分類器による分類の確度が変わり得る。よって、予め決定した重みが常に最適な重みになるとは限らない。そして、重みが最適でないことは最終的な判定精度にも影響を及ぼす。

【0005】

例えば、Ａ、Ｂ２つの分類器を用いる場合、ある画像についてはＡの分類器の分類が正しく、Ｂの分類器の分類は誤りであるが、他の画像についてはその逆となることもあり得る。この場合、Ａの分類器の重みがＢよりも大きく設定されていると、ある画像については最終的な分類結果が正しいものとなる一方、他の画像については最終的な分類結果が誤りとなってしまう。

【0006】

このような問題は、複数の分類器を用いた分類に限られず、複数の判定部が所定の判定事項について判定した判定結果に基づいて最終的な判定結果を導出する場合に共通して生じる問題点である。また、このような問題は、画像を用いた判定に限られず、任意の対象データに基づいた判定において共通して生じる問題点である。

【0007】

本発明の一態様は、上述の問題点に鑑みてなされたものであり、その目的は、対象データに応じて各判定部の判定結果を適切に考慮して最終的な判定結果を導出することができる情報処理装置等を実現することにある。

【課題を解決するための手段】

【0008】

上記の課題を解決するために、本発明の一態様に係る情報処理装置は、１つの対象データから所定の判定事項を判定する判定部の判定結果の確からしさを示す指標である信頼度を上記対象データに基づいて判定する処理を、複数の上記判定部のそれぞれについて行う信頼度判定部と、上記各判定結果と、上記信頼度判定部が判定した上記信頼度とを用いて、上記所定の判定事項を判定する総合判定部と、を備える。

【0009】

また、本発明の一態様に係る判定方法は、上記の課題を解決するために、１または複数の情報処理装置を用いた判定方法であって、１つの対象データから所定の判定事項を判定する判定部の判定結果の確からしさを示す指標である信頼度を上記対象データに基づいて判定する処理を、複数の上記判定部のそれぞれについて行う信頼度判定ステップと、上記各判定結果と、上記信頼度判定ステップで判定した上記信頼度とを用いて、上記所定の判定事項を判定する総合判定ステップと、を含む。

【発明の効果】

【0010】

本発明の一態様によれば、対象データに応じて各判定部の判定結果を適切に考慮して最終的な判定結果を導出することが可能になる。

【図面の簡単な説明】

【0011】

【図1】本発明の実施形態１に係る情報処理装置の要部構成の一例を示すブロック図である。

【図2】上記情報処理装置を含む検査システムの概要を示す図である。

【図3】上記情報処理装置による検査の概要を示す図である。

【図4】生成モデルを用いて判定を行う判定部の構成例と、該判定部による欠陥有無の判定方法の例とを示す図である。

【図5】超音波画像からヒートマップを生成し、生成したヒートマップに閾値処理を施した例を示す図である。

【図6】欠陥の位置と超音波画像とヒートマップの関係を説明する図である。

【図7】欠陥領域の検出方法を説明する図である。

【図8】欠陥の種類ごとに設定した領域の例を示す図である。

【図9】複数の超音波画像に写る欠陥を統合して１つの欠陥として検出する方法を説明する図である。

【図10】管端溶接部の厚さの算出方法を説明する図である。

【図11】検査結果の出力例を示す図である。

【図12】検査で使用する各種モデルを構築し、閾値を決定する処理の一例を示す図である。

【図13】上記情報処理装置を用いた検査方法の一例を示す図である。

【図14】種類判定モデルを用いて欠陥の種類を判定する欠陥種類判定処理の一例を示すフローチャートである。

【図15】欠陥領域の位置に基づいて欠陥の種類を判定する欠陥種類判定処理の一例を示すフローチャートである。

【発明を実施するための形態】

【0012】

〔システムの概要〕
本発明の一実施形態に係る検査システムの概要を図２に基づいて説明する。図２は、検査システム１００の概要を示す図である。検査システム１００は、検査対象物の画像から、その検査対象物の欠陥の有無を検査するシステムであり、情報処理装置１と超音波探傷装置７を含む。

【0013】

本実施形態では、検査システム１００により、熱交換器の管端溶接部における欠陥の有無を検査する例を説明する。なお、管端溶接部とは、熱交換器を構成する複数の金属製の管と、それらの管を束ねる金属製の管板とを溶接した部分である。また、管端溶接部における欠陥とは、当該管端溶接部の内部に空隙が生じる欠陥である。なお、上記管および管板は、アルミニウム等の非鉄金属製であってもよいし、樹脂製であってもよい。また、検査システム１００によれば、例えばごみ焼却施設などで利用されるボイラ設備の管台と管の溶接部（付け根溶接部）における欠陥の有無の検査も行うことができる。無論、検査部位は溶接部に限られず、検査対象は熱交換器に限られない。

【0014】

検査の際には、図２に示すように、接触媒質を塗布した探触子を管端から挿入し、この探触子により管の内壁面側から管端溶接部に向けて超音波を伝搬させ、そのエコーを計測する。管端溶接部内に空隙が生じる欠陥が発生していた場合、その空隙からのエコーが計測されるので、これを利用して欠陥を検出することができる。

【0015】

例えば、図２の左下に示す探触子周辺の拡大図において、矢印Ｌ３で示す超音波は管端溶接部内の空隙のない部位に伝搬している。このため、矢印Ｌ３で示す超音波のエコーは計測されない。一方、矢印Ｌ２で示す超音波は、管端溶接部内の空隙のある部位に向けて伝搬しているため、この空隙で反射した超音波のエコーが計測される。

【0016】

また、管端溶接部の周縁部でも超音波が反射するので、周縁部に伝搬した超音波のエコーも計測される。例えば、矢印Ｌ１で示す超音波は、管端溶接部よりも管端側に伝搬しているから、管端溶接部には当たらず、管端溶接部の管端側の管表面で反射する。よって、矢印Ｌ１で示す超音波により、管の表面からのエコーが計測される。また、矢印Ｌ４で示す超音波は、管端溶接部の管奥側の管表面で反射するので、そのエコーが計測される。

【0017】

管端溶接部は、管の周囲３６０度にわたって存在するため、所定角度（例えば１度）ずつ探触子を回転させながら繰り返し計測を行う。そして、探触子による計測結果を示すデータは超音波探傷装置７に送信される。例えば、探触子は、複数のアレイ素子からなるアレイ探触子であってもよい。アレイ探触子であれば、アレイ素子の配列方向が管の延伸方向と一致するように配置することにより、管の延伸方向に幅のある管端溶接部を効率よく検査することができる。なお、上記アレイ探触子は、アレイ素子が縦横それぞれ複数配列されたマトリクスアレイ探触子であってもよい。

【0018】

超音波探傷装置７は、探触子による計測結果を示すデータを用いて、管および管端溶接部に伝搬させた超音波のエコーを画像化した超音波画像を生成する。図２には、超音波探傷装置７が生成する超音波画像の一例である超音波画像１１１を示している。なお、情報処理装置１が超音波画像１１１を生成する構成としてもよい。この場合、超音波探傷装置７は、探触子による計測結果を示すデータを情報処理装置１に送信する。

【0019】

超音波画像１１１においては、計測されたエコーの強度が各ピクセルのピクセル値として表されている。また、超音波画像１１１の画像領域は、管に対応する管領域ａｒ１と、管端溶接部に対応する溶接領域ａｒ２と、管端溶接部の周囲からのエコーが現れる周縁エコー領域ａｒ３およびａｒ４とに分けることができる。

【0020】

上述のように、探触子から矢印Ｌ１で示す方向に伝搬された超音波は、管端溶接部の管端側の管表面で反射する。また、この超音波は、管内面でも反射し、これらの反射は繰り返し生じる。このため、超音波画像１１１における矢印Ｌ１に沿った周縁エコー領域ａｒ３には、繰り返しのエコーａ１～ａ４が現れている。また、探触子から矢印Ｌ４で示す方向に伝搬された超音波も管外面と管内面で繰り返し反射する。このため、超音波画像１１１における矢印Ｌ４に沿った周縁エコー領域ａｒ４には、繰り返しのエコーａ６～ａ９が現れている。周縁エコー領域ａｒ３およびａｒ４に現れるこれらのエコーは底面エコーとも呼ばれる。

【0021】

探触子から矢印Ｌ３で示す方向に伝搬された超音波は、これを反射するものがないため、超音波画像１１１における矢印Ｌ３に沿った領域にはエコーが現れない。一方、探触子から矢印Ｌ２で示す方向に伝搬された超音波は、管端溶接部内の空隙すなわち欠陥部位で反射し、これにより超音波画像１１１における矢印Ｌ２に沿った領域にはエコーａ５が現れている。

【0022】

詳細は以下で説明するが、情報処理装置１は、このような超音波画像１１１を解析して、管端溶接部に欠陥があるか否かを検査する。また、情報処理装置１は、欠陥があると判定した場合には、その欠陥の種類についても自動で判定する。

【0023】

〔情報処理装置の構成〕
情報処理装置１の構成について図１に基づいてする。図１は、情報処理装置１の要部構成の一例を示すブロック図である。図１に示すように、情報処理装置１は、情報処理装置１の各部を統括して制御する制御部１０と、情報処理装置１が使用する各種データを記憶する記憶部１１とを備えている。また、情報処理装置１は、情報処理装置１に対する入力操作を受け付ける入力部１２と、情報処理装置１がデータを出力するための出力部１３とを備えている。

【0024】

制御部１０には、検査画像生成部１０１、判定部１０２Ａ、判定部１０２Ｂ、判定部１０２Ｃ、信頼度判定部１０３、総合判定部１０４、ヒートマップ生成部１０５、欠陥種類判定部１０６、厚さ算出部１０７、統合検出部１０８、および欠陥長算出部１０９が含まれている。また、記憶部１１には、超音波画像１１１と検査結果データ１１２が記憶されている。なお、以下では、判定部１０２Ａ、判定部１０２Ｂ、および判定部１０２Ｃを区別する必要がないときには単に判定部１０２と記載する。

【0025】

検査画像生成部１０１は、超音波画像１１１から検査対象領域を切り出して、検査対象物の欠陥の有無を判定するための検査画像を生成する。検査画像の生成方法については後述する。

【0026】

判定部１０２は、対象データから所定の判定事項を判定する。本実施形態では、検査画像生成部１０１が生成する検査画像が上記対象データであり、検査画像に写る熱交換器の管端溶接部の溶接欠陥の有無が上記所定の判定事項である例を説明する。以下では、溶接欠陥を単に欠陥と略記する場合がある。

【0027】

なお、判定対象である「欠陥」の定義は、検査の目的などに応じて予め定めておけばよい。例えば、製造した熱交換器の管端溶接部の品質検査であれば、管端溶接部の内部の空隙または管端溶接部の表面の許容できない凹みに起因するエコーが検査画像に写っていることを「欠陥」ありとしてもよい。このような凹みは例えば溶け落ちによって生じる。欠陥の有無は、正常な製品と異なる部位（異常部位）の有無と言い換えることもできる。また、一般に、非破壊検査の分野では、超音波波形や超音波画像を用いて検出された異常部位は「きず」と呼ばれる。このような「きず」も上記「欠陥」の範疇に含まれる。また、上記「欠陥」には欠損やひび割れ等も含まれる。

【0028】

判定部１０２Ａ、判定部１０２Ｂ、および判定部１０２Ｃは、何れも検査画像生成部１０１が生成する検査画像から欠陥の有無を判定するが、以下説明するように、その判定方法がそれぞれ異なっている。

【0029】

判定部１０２Ａ（生成モデル判定部）は、生成モデルに検査画像を入力することにより生成された生成画像を用いて欠陥の有無を判定する。また、判定部１０２Ｂ（数値解析判定部）は、検査画像の各ピクセル値を解析することにより当該検査画像における検査対象部位を特定し、特定した検査対象部位のピクセル値に基づいて欠陥の有無を判定する。そして、判定部１０２Ｃは、判定モデルに検査画像を入力することにより得られた出力値に基づいて欠陥の有無を判定する。判定部１０２Ａ～１０２Ｃによる判定の詳細および使用する各種モデルについては後述する。

【0030】

信頼度判定部１０３は、判定部１０２Ａ～１０２Ｃの各判定結果について、その確からしさを示す指標である信頼度を判定する。詳細は後述するが、信頼度の判定は、判定部１０２Ａ～１０２Ｃが判定結果を導出する際に用いた検査画像に基づいて行われる。

【0031】

総合判定部１０４は、判定部１０２Ａ～１０２Ｃの各判定結果と、信頼度判定部１０３が判定した信頼度とを用いて欠陥の有無を判定する。これにより、検査画像に応じた信頼度で判定部１０２Ａ～１０２Ｃの判定結果を適切に考慮した判定結果を得ることができる。総合判定部１０４による判定方法の詳細は後述する。

【0032】

ヒートマップ生成部１０５は、判定部１０２Ａによる判定の過程で得られるデータを用いてヒートマップを生成する。ヒートマップは、欠陥種類判定部１０６による欠陥の種類の判定に用いられる。ヒートマップの詳細については後述する。

【0033】

欠陥種類判定部１０６は、総合判定部１０４が欠陥ありと判定した検査画像について、当該検査画像に写る欠陥の種類を判定する。上記のとおり、種類の判定にはヒートマップ生成部１０５が生成するヒートマップが用いられる。欠陥の種類の判定方法については後述する。

【0034】

厚さ算出部１０７は、管端溶接部の肉厚を算出する。厚さ算出部１０７が算出する肉厚は、溶接が適切に行われたか否かを判断する指標とすることができる。肉厚の算出方法については後述する。

【0035】

統合検出部１０８は、総合判定部１０４が、検査対象物の一部分であって、互いに隣接する部分にそれぞれ対応する複数の超音波画像１１１について欠陥ありと判定した場合に、当該複数の超音波画像１１１に写る欠陥を１つの欠陥として検出する。欠陥の統合の詳細については後述する。

【0036】

欠陥長算出部１０９は、統合検出部１０８が統合した欠陥の長さを算出する。欠陥の長さの算出方法については後述する。

【0037】

超音波画像１１１は、上述のように、検査対象物に伝搬させた超音波のエコーを画像化することにより得られる画像であり、超音波探傷装置７によって生成される。

【0038】

検査結果データ１１２は、情報処理装置１による欠陥検査の結果を示すデータである。検査結果データ１１２には、記憶部１１に記憶された超音波画像１１１について、総合判定部１０４が判定した欠陥の有無が記録される。また、欠陥ありと判定された超音波画像１１１については、検査結果データ１１２に欠陥種類判定部１０６による欠陥の種類の判定結果が記録される。さらに、検査結果データ１１２には、統合検出部１０８により統合された欠陥が記録されると共に、欠陥長算出部１０９により算出された、統合された欠陥の長さ、および厚さ算出部１０７が算出した管端溶接部の肉厚も記録される。

【0039】

〔検査の概要〕
情報処理装置１による検査の概要を図３に基づいて説明する。図３は、情報処理装置１による検査の概要を示す図である。なお、図３では、超音波探傷装置７によって生成された超音波画像１１１が情報処理装置１の記憶部１１に記憶された後の処理を示している。

【0040】

まず、検査画像生成部１０１が、超音波画像１１１から検査対象領域を抽出して検査画像１１１Ａを生成する。検査対象領域の抽出には、機械学習により構築した抽出モデルを用いてもよい。抽出モデルについては図１２に基づいて説明する。

【0041】

上記検査対象領域は、検査対象物における検査対象部位の周縁部からのエコーが繰り返し現れる２つの周縁エコー領域ａｒ３、ａｒ４に挟まれた領域である。図２に示したように、超音波画像１１１における検査対象部位の周縁部には、当該周縁部の形状等に起因する所定のエコーが繰り返し観察される（エコーａ１～ａ４およびａ６～ａ９）。よって、このようなエコーが繰り返し現れる周縁エコー領域ａｒ３およびａｒ４の位置から超音波画像１１１における検査対象部位に対応する領域を特定することができる。なお、検査対象部位の周縁部に所定のエコーが現れるのは管端溶接部の超音波画像１１１に限られない。このため、周縁エコー領域に囲まれた領域を検査対象領域として抽出する構成は管端溶接部以外の検査においても適用可能である。

【0042】

次に、判定部１０２Ａ、判定部１０２Ｂ、および判定部１０２Ｃによって、検査画像１１１Ａに基づく欠陥の有無の判定が行われる。判定内容の詳細は後述する。

【0043】

そして、信頼度判定部１０３によって、判定部１０２Ａ、判定部１０２Ｂ、および判定部１０２Ｃの各判定結果の信頼度が判定される。具体的には、判定部１０２Ａの判定結果の信頼度は、判定部１０２Ａ用の信頼度予測モデルに検査画像１１１Ａを入力することにより得られる出力値から判定される。同様に、判定部１０２Ｂの判定結果の信頼度は、判定部１０２Ｂ用の信頼度予測モデルに検査画像１１１Ａを入力することにより得られる出力値から判定される。また、判定部１０２Ｃの判定結果の信頼度は、判定部１０２Ｃ用の信頼度予測モデルに検査画像１１１Ａを入力することにより得られる出力値から判定される。

【0044】

そして、総合判定部１０４は、判定部１０２Ａ、判定部１０２Ｂ、および判定部１０２Ｃの各判定結果と、それらの判定結果について信頼度判定部１０３が判定した信頼度とを用いて、欠陥の有無を総合判定し、その総合判定の結果を出力する。この結果は、検査結果データ１１２に追加される。また、総合判定部１０４は、総合判定の結果を出力部１３に出力させてもよい。

【0045】

総合判定においては、判定部１０２の判定結果を数値で表し、信頼度判定部１０３が判定した信頼度を重みとして用いてもよい。例えば、判定部１０２Ａ、判定部１０２Ｂ、および判定部１０２Ｃが、欠陥ありと判定した場合には判定結果として「１」を出力し、欠陥なしと判定した場合には判定結果として「－１」を出力するとする。また、信頼度判定部１０３は、０から１の数値範囲の信頼度（１に近いほど信頼度が高い）を出力するとする。

【0046】

この場合、総合判定部１０４は、判定部１０２Ａ、判定部１０２Ｂ、および判定部１０２Ｃの出力する「１」または「－１」の数値に、信頼度判定部１０３が出力する信頼度を乗じた値を合算した合計値を算出してもよい。そして、総合判定部１０４は、算出した合計値が所定の閾値より大きいか否かに基づいて欠陥の有無を判定してもよい。

【0047】

例えば、上記閾値を、欠陥ありを示す「１」と欠陥なしを示す「－１」の中間の値である「０」に設定したとする。そして、判定部１０２Ａ、判定部１０２Ｂ、および判定部１０２Ｃの出力値がそれぞれ「１」、「－１」、「１」であり、その信頼度がそれぞれ「０．８７」、「０．５１」、「０．９５」であったとする。

【0048】

この場合、総合判定部１０４は、１×０．８７＋（－１）×０．５１＋１×０．９５の計算を行う。この計算の結果は、１．３１となり、この値は閾値である「０」より大きいから、総合判定部１０４による総合判定の結果は、欠陥ありということになる。

【0049】

〔信頼度の補正〕
溶接欠陥に起因するエコーは、検査画像１１１Ａの画像領域における中央位置よりも上側に表れる傾向があることが経験的に分かっている。よって、判定部１０２が欠陥ありと判定したときに、溶接欠陥に起因するエコーが検査画像１１１Ａの画像領域における中央位置よりも上側に表れていれば、その判定結果は正しい可能性が高いと考えられる。

【0050】

そこで、検査画像１１１Ａの画像領域において、溶接欠陥に起因するエコーが表れることが多い領域を予め設定しておいてもよい。そして、信頼度判定部１０３は、判定部１０２が欠陥ありと判定した場合に、溶接欠陥に起因するエコーが当該領域内で検出されていれば、その判定の結果の信頼度を増加させてもよい。このように、欠陥の出現傾向や特性を考慮して信頼度を補正することにより、信頼度をより適切なものとすることが可能になる。

【0051】

例えば、検査画像１１１Ａの画像領域のうち中央よりも上側を上記領域としてもよい。そして、信頼度判定部１０３は、この領域内に溶接欠陥に起因するエコーが検出された場合に、信頼度予測モデルを用いて算出した信頼度に所定の定数を加算してもよい。また、信頼度判定部１０３は、溶接欠陥に起因するエコーが検出された位置が上記領域外であった場合に、信頼度予測モデルを用いて算出した信頼度から所定の定数を減算してもよい。

【0052】

ただし、信頼度に定数を加算する場合、加算後の信頼度が１を超えないようにすることが好ましい。また、信頼度から定数を減算する場合、減算後の信頼度が０未満とならないようにすることが好ましい。

【0053】

無論、信頼度の補正方法は上記の例に限られない。例えば、検査画像１１１Ａの画像領域をさらに細分化し、溶接欠陥に起因するエコーの位置が、溶接欠陥の出現頻度のより高い領域内であるほど、信頼度に加算する値を大きくしてもよい。また、例えば、検出されたエコーの位置から溶接欠陥の出現頻度が最も高い位置までの距離に比例する値を信頼度に加算してもよいし、当該距離に反比例する値を信頼度から減算してもよい。

【0054】

また、位置以外の要素を考慮して信頼度を補正してもよい。例えば、欠陥ありと判定されて、溶接欠陥に起因するエコーが検出されたとしても、そのエコーのピクセル値が小さければ、その判定結果は誤りではないかと疑われる。このため、溶接欠陥に起因するエコーのピクセル値が小さいほど信頼度を小さい値に補正してもよく、溶接欠陥に起因するエコーのピクセル値が大きいほど信頼度を大きい値に補正してもよい。

【0055】

上述のような信頼度の補正は、判定部１０２Ａおよび１０２Ｂによる判定の結果に対して好適に適用できる。これは、判定部１０２Ａによる判定の過程で算出される差分画像は溶接欠陥に起因するエコーの位置やピクセル値の算出に利用でき、判定部１０２Ｂによる判定の過程では溶接欠陥に起因するエコーの検出が行われるのでこの検出結果を利用できるためである。

【0056】

〔判定部１０２Ａによる判定〕
上述のように、判定部１０２Ａは、生成モデルに検査画像を入力することにより生成された生成画像を用いて欠陥の有無を判定する。この生成モデルは、欠陥のない検査対象物の画像を訓練データとした機械学習により、入力された画像と同様の特徴を有する新たな画像を生成するように構築されたものである。なお、上記「特徴」とは、画像から得られる任意の情報であり、例えば画像中のピクセル値の分布状態や分散なども上記「特徴」に含まれる。

【0057】

上記生成モデルは、欠陥のない検査対象物の画像を訓練データとした機械学習により構築されたものである。このため、欠陥がない検査対象物の画像を検査画像としてこの生成モデルに入力した場合、その検査画像と同様の特徴を有する新たな画像が生成画像として出力される可能性が高い。

【0058】

一方、欠陥がある検査対象物の画像を検査画像としてこの生成モデルに入力した場合、その検査画像のどのような位置にどのような形状およびサイズの欠陥が写っていたとしても、生成画像は検査画像とは異なる特徴を有するものとなる可能性が高い。

【0059】

このように、欠陥が写っている検査画像から生成された生成画像と、欠陥が写っていない検査画像から生成された生成画像とには、生成モデルに入力した対象画像が正しく復元されないか、正しく復元されるかという差異が生じる。

【0060】

したがって、上記生成モデルにより生成された生成画像を用いて欠陥の有無を判定する判定部１０２Ａの判定結果を考慮して総合判定を行う情報処理装置１によれば、位置、サイズ、および形状等が不定の欠陥の有無の判定を精度よく行うことが可能になる。

【0061】

以下、判定部１０２Ａによる判定の詳細を図４に基づいて説明する。図４は、判定部１０２Ａの構成例と、判定部１０２Ａによる欠陥有無の判定方法の例とを示す図である。図４に示すように、判定部１０２Ａには、検査画像取得部１０２１と、復元画像生成部１０２２と、欠陥有無判定部１０２３が含まれている。

【0062】

検査画像取得部１０２１は、検査画像を取得する。情報処理装置１は、上記のとおり検査画像生成部１０１を備えているから、検査画像取得部１０２１は、検査画像生成部１０１が生成した検査画像を取得する。なお、検査画像は、他の装置で生成してもよい。この場合、検査画像取得部１０２１は他の装置が生成した検査画像を取得する。

【0063】

復元画像生成部１０２２は、検査画像取得部１０２１が取得した検査画像を生成モデルに入力することによって、入力した検査画像と同様の特徴を有する新たな画像を生成する。以下では、復元画像生成部１０２２が生成する画像を復元画像と呼ぶ。詳細は後述するが、復元画像の生成に用いる生成モデルは、オートエンコーダとも呼ばれるものであり、欠陥のない検査対象物の画像を訓練データとした機械学習により構築される。

【0064】

欠陥有無判定部１０２３は、復元画像生成部１０２２が生成した復元画像を用いて検査対象物の欠陥の有無を判定する。具体的には、欠陥有無判定部１０２３は、検査画像と復元画像とのピクセルごとの差分値の分散が所定の閾値を超える場合に、検査対象物に欠陥があると判定する。

【0065】

以上の構成を備える判定部１０２Ａによる欠陥有無の判定方法においては、まず、検査画像取得部１０２１が検査画像１１１Ａを取得する。そして、検査画像取得部１０２１は、取得した検査画像１１１Ａを復元画像生成部１０２２に送る。検査画像１１１Ａは、上述したとおり検査画像生成部１０１が超音波画像１１１から生成したものである。

【0066】

次に、復元画像生成部１０２２は、検査画像１１１Ａを生成モデルに入力し、その出力値に基づいて復元画像１１１Ｂを生成する。なお、生成モデルの生成方法については後述する。

【0067】

そして、検査画像取得部１０２１は、検査画像１１１Ａから周縁エコー領域を除去して除去画像１１１Ｃを生成すると共に、復元画像１１１Ｂから周縁エコー領域を除去して除去画像（復元）１１１Ｄを生成する。なお、検査画像１１１Ａに写る周縁エコー領域の位置およびサイズは、検査対象物が同じであれば概ね一定となる。このため、検査画像取得部１０２１は、検査画像１１１Ａにおける所定の範囲を周縁エコー領域として除去してもよい。また、検査画像取得部１０２１は、検査画像１１１Ａを解析して周縁エコー領域を検出し、その検出結果に基づいて周縁エコー領域を除去してもよい。

【0068】

以上のようにして周縁エコー領域を除去することにより、欠陥有無判定部１０２３は、復元画像１１１Ｂの画像領域から、周縁エコー領域を除いた残りの画像領域を対象として欠陥の有無を判定することになる。これにより、周縁部からのエコーの影響を受けることなく欠陥の有無を判定することができ、欠陥の有無の判定精度を向上させることができる。

【0069】

次に、欠陥有無判定部１０２３が、欠陥の有無を判定する。具体的には、欠陥有無判定部１０２３は、まず、除去画像１１１Ｃと除去画像（復元）１１１Ｄについて、ピクセル単位で差分を計算する。次に、欠陥有無判定部１０２３は、計算した差分の分散を算出する。そして、欠陥有無判定部１０２３は、算出した分散の値が所定の閾値を超えるか否かにより、欠陥の有無を判定する。

【0070】

ここで、欠陥に起因するエコーが写るピクセルについて算出された差分値は、他のピクセルについて算出された差分値と比べて大きな値となる。このため、欠陥に起因するエコーが写る検査画像１１１Ａに基づく除去画像１１１Ｃと除去画像（復元）１１１Ｄについて算出された差分値の分散は大きくなる。

【0071】

一方、欠陥に起因するエコーが写っていない検査画像１１１Ａに基づく除去画像１１１Ｃと除去画像（復元）１１１Ｄについては、差分値の分散は相対的に小さくなる。これは、欠陥に起因するエコーが写っていない場合、ノイズ等の影響である程度ピクセル値が大きな値となる箇所が生じ得るが、極端にピクセル値が大きな箇所が生じる可能性は低いためである。

【0072】

このように、差分値の分散が大きくなるのは、検査対象物に欠陥がある場合に特徴的な事象である。したがって、欠陥有無判定部１０２３が、上記差分値の分散が所定の閾値を超える場合に欠陥があると判定する構成とすれば、欠陥の有無を適切に判定することができる。

【0073】

ここで欠陥ありと判定された検査画像１１１Ａについては、欠陥有無判定部１０２３が計算した、各ピクセルにおける差分の値に基づいて、欠陥種類判定部１０６により欠陥種類の判定が行われる。各ピクセルにおける差分の値は、除去画像１１１Ｃと除去画像（復元）１１１Ｄの差分を示すから、それらの値を差分画像とも呼ぶ。

【0074】

なお、周縁エコー領域を除去するタイミングは上記の例に限られない。例えば、検査画像１１１Ａと復元画像１１１Ｂの差分画像を生成して、この差分画像から周縁エコー領域を除去してもよい。

【0075】

〔判定部１０２Ｂによる判定〕
上述のように、判定部１０２Ｂは、検査対象物の画像である検査画像の各ピクセル値を解析することにより当該検査画像における検査対象部位を特定し、特定した検査対象部位のピクセル値に基づいて欠陥の有無を判定する。

【0076】

画像を用いた従来の検査では、画像における検査対象部位を特定し、特定した部位にキズや設計上は存在しない空隙などの欠陥が写っていないかを確認する処理を検査員が目視で行っている。このような目視による検査は、省力化、精度安定化等の観点から自動化することが求められている。

【0077】

判定部１０２Ｂは、画像の各ピクセル値を解析することにより検査対象部位を特定し、特定した検査対象部位のピクセル値に基づいて欠陥の有無を判定する。よって、上記のような目視による検査を自動化することができる。そして、情報処理装置１は、判定部１０２Ｂの判定結果と他の判定部１０２の判定結果とを総合的に考慮して判定を行うので、欠陥の有無の判定を精度よく行うことが可能になる。

【0078】

以下、判定部１０２Ｂが実行する処理（数値解析）の内容をより詳細に説明する。まず、判定部１０２Ｂは、検査画像において、検査対象部位の周縁部からのエコーが繰り返し現れる２つの周縁エコー領域（図２の例の周縁エコー領域ａｒ３およびａｒ４）に挟まれた領域を検査対象部位として特定する。そして、判定部１０２Ｂは、特定した検査対象部位に閾値以上のピクセル値からなる領域（欠陥領域とも呼ぶ）が含まれるか否かによって欠陥の有無を判定する。

【0079】

判定部１０２Ｂは、周縁エコー領域の検出および欠陥領域の検出にあたり、まず、検査画像１１１Ａを所定の閾値で二値化して二値化画像を生成してもよい。そして、判定部１０２Ｂは、二値化画像から周縁エコー領域を検出する。例えば、図３に示す検査画像１１１Ａにはエコーａ１、ａ２、ａ６、ａ７が写っている。判定部１０２Ｂは、これらのエコーとノイズ成分とを区分できるような閾値でこの検査画像１１１Ａを二値化すれば、二値化画像からこれらのエコーを検出することができる。そして、判定部１０２Ｂは、検出したそれらエコーの端部を検出し、それらの端部に囲まれる領域を検査対象部位として特定することができる。

【0080】

より詳細には、判定部１０２Ｂは、エコーａ１またはａ２の右端部を検査対象部位の左端部と特定し、エコーａ６またはａ７の左端部を検査対象部位の右端部と特定する。これらの端部は、周縁エコー領域ａｒ３およびａｒ４と検査対象部位との境界である。同様に、判定部１０２Ｂは、エコーａ１またはａ６の上端部を検査対象部位の上端部と特定し、エコーａ２またはａ７の下端部を検査対象部位の下端部と特定する。

【0081】

なお、図２に示した超音波画像１１１のように、欠陥に起因するエコーがエコーａ１やａ６よりも上方側に表れることがあるため、判定部１０２Ｂは、エコーａ１またはａ６の上端部の位置よりも上方側に検査対象部位の上端を設定してもよい。

【0082】

さらに、判定部１０２Ｂは、二値化画像において特定した上記検査対象部位を解析して、欠陥に起因するエコーが写っているか否かを判定することができる。例えば、判定部１０２Ｂは、検査対象部位に所定数以上のピクセルからなる連続領域が存在する場合に、その連続領域が存在する位置に欠陥に起因するエコーが写っていると判定してもよい。

【0083】

なお、上記の数値解析は一例であり、数値解析の内容は上記の例に限られない。例えば、欠陥がある場合と無い場合とで、検査対象部位におけるピクセル値の分散に有意差がある場合には、判定部１０２Ｂは、分散の値に基づいて欠陥の有無を判定してもよい。

【0084】

〔判定部１０２Ｃによる判定〕
上述のように、判定部１０２Ｃは、判定モデルに検査画像を入力することにより得られた出力値に基づいて欠陥の有無を判定する。この判定モデルは、例えば、欠陥のある検査対象物の超音波画像１１１を用いて生成された教師データと、欠陥のない検査対象物の超音波画像１１１を用いて生成された教師データとを用いて機械学習を行うことにより構築されたものである。

【0085】

上記判定モデルは、画像の分類に適した任意の学習モデルで構築することができる。例えば、画像の分類精度に優れた畳み込みニューラルネットワーク等によりこの判定モデルを構築してもよい。

【0086】

〔ヒートマップと閾値処理〕
上述のように、欠陥の種類の判定にはヒートマップが用いられる。ここでは、ヒートマップ生成部１０５が生成するヒートマップと、生成したヒートマップに対して行われる閾値処理について図５に基づいて説明する。図５は、超音波画像からヒートマップを生成し、生成したヒートマップに閾値処理を施した例を示す図である。より詳細には、図５の上段には、管端溶接部における欠陥のある部位の超音波画像１１１－ａについての例を示し、図５の下段には管端溶接部における欠陥のない部位の超音波画像１１１－ｂについての例を示している。

【0087】

図４に基づいて説明したように、判定部１０２Ａによる判定の過程において、超音波画像１１１から検査画像１１１Ａが生成され、検査画像１１１Ａから復元画像１１１Ｂが生成される。そして、検査画像１１１Ａから除去画像１１１Ｃが生成され、復元画像１１１Ｂから除去画像（復元）１１１Ｄが生成される。

【0088】

図５の例では、超音波画像１１１－ａから除去画像１１１Ｃ－ａと除去画像（復元）１１１Ｄ－ａを生成している。この除去画像１１１Ｃ－ａと除去画像（復元）１１１Ｄ－ａから差分画像が生成される。ヒートマップ生成部１０５は、この差分画像における各ピクセルを、そのピクセル値に応じた色または濃淡で表現したヒートマップを生成する。

【0089】

図５には、ピクセル値の下限値から上限値までを、黒から白までの色の濃淡で表したヒートマップ１１１Ｅ－ａを示している。ヒートマップ１１１Ｅ－ａ中に白抜き矢印で示すように、欠陥に対応する領域（ピクセル値が大きいピクセルが集まっている領域）は、白に近いピクセルが集まる領域となる。よって、ヒートマップ１１１Ｅ－ａでは、欠陥に対応する領域が視覚的に容易に認識できる。

【0090】

ただし、ヒートマップ１１１Ｅ－ａには、ノイズ等に起因してピクセル値が大きくなっている領域もある。このため、ヒートマップ生成部１０５は、生成したヒートマップに対して閾値処理を行い、ノイズ等に起因してピクセル値が大きくなっている領域のピクセル値を補正することが好ましい。例えば、ヒートマップ生成部１０５は、ヒートマップ１１１Ｅ－ａにおける所定の閾値以下のピクセル値をゼロ（黒色）にしてもよい。これにより、ノイズ成分が除去されたヒートマップ１１１Ｆ－ａが生成される。ヒートマップ１１１Ｆ－ａによれば、欠陥に対応する領域がより明瞭に認識できる。

【0091】

欠陥のない部位の超音波画像１１１－ｂについても同様であり、この超音波画像１１１－ｂから除去画像１１１Ｃ－ｂと除去画像（復元）１１１Ｄ－ｂが生成され、除去画像１１１Ｃ－ｂと除去画像（復元）１１１Ｄ－ｂから差分画像が生成される。そして、ヒートマップ生成部１０５は、この差分画像のヒートマップ１１１Ｅ－ｂを生成し、ヒートマップ１１１Ｅ－ｂに対して閾値処理を施してヒートマップ１１１Ｆ－ｂを生成する。ヒートマップ１１１Ｆ－ａとヒートマップ１１１Ｆ－ｂを見比べれば、欠陥の有無が明瞭に判別できることがわかる。また、ヒートマップ１１１Ｆ－ａにおいては、欠陥の位置についても明瞭に判別できるようになっていることがわかる。

【0092】

〔欠陥の種類と超音波画像とヒートマップ〕
管端溶接部における欠陥としては、例えば、初層溶込み不良、溶接パス間の融合不良、アンダカット、およびブローホール等が知られている。初層溶込み不良は、管板付近で未溶着が生じて空隙が発生したものである。溶接パス間の融合不良は、複数回の溶着を行う際に未溶着が生じて空隙が発生したものである。アンダカットは、溶接ビードの端部がノッチ状にえぐれる欠陥である。ブローホールは、溶接金属内に球状の空洞が発生したものである。

【0093】

これらの欠陥は、その発生する位置が相違している。このため、超音波画像１１１において、欠陥に起因するエコーが現れる位置から、欠陥の種類を判定することが可能である。同様に、超音波画像１１１を基に生成されたヒートマップ（閾値処理後のものであることが好ましい）における欠陥領域の位置から、欠陥の種類を判定することも可能である。なお、上述のように、欠陥領域は、欠陥に起因するエコーが写る領域であり、他の領域と比べてピクセル値が大きい。

【0094】

欠陥領域の位置に基づく欠陥種類の判定について、図６に基づいて説明する。図６は、欠陥の位置と超音波画像とヒートマップの関係を説明する図である。図６の一段目の左端には、初層溶込み不良が生じている管端溶接部の切断面を示している。図６における左側が管端側であり、右側が管奥側である。つまり、図６の左右方向に管が延伸している。そして、管壁に対して下側にあるのが管板である。また、管端溶接部の幅が分かるように、管の内壁面（内表面）にスケールを当てている。

【0095】

図６の一段目左端の図において、破線で示す領域が溶接の際に生じた管板の溶込み領域であり、溶込み領域の左側の逆三角形状の領域が溶接金属からなる領域であり、これらの領域を合せた領域が管端溶接部である。この管端溶接部において丸印を付した箇所に空隙が生じている。この空隙は、管の表面付近であり、管端溶接部の管奥側端部寄りに位置している。

【0096】

図６の一段目中央に示すように、上記の空隙が存在する部位の超音波画像１１１－ｃには、この空隙に起因するエコーが現れる。そして、図６の一段目右端に示すように、この超音波画像１１１－ｃを基に生成されたヒートマップ１１１Ｆ－ｃにおいても、図中に白抜き矢印で示すように、上記の空隙に対応する領域が現れる。

【0097】

図６の二段目の左端には、溶接パス間の融合不良が生じている管端溶接部の切断面を示している。丸印を付した箇所に空隙が生じている。この空隙は、管の表面付近であり、管端溶接部の厚さ方向の中心部付近に位置している。

【0098】

図６の二段目中央に示すように、この空隙が存在する部位の超音波画像１１１－ｄには、この空隙に起因するエコーが現れる。そして、図６の二段目右端に示すように、この超音波画像１１１－ｄを基に生成されたヒートマップ１１１Ｆ－ｄにおいても、図中に白抜き矢印で示すように、上記の空隙に対応する領域が現れる。この領域は、一段目のヒートマップ１１１Ｆ－ｃと比べて左側に位置している。

【0099】

図６の三段目の左端には、アンダカットが生じている管端溶接部を管端側から見た様子を示している。丸印を付した箇所に空隙が生じている。この空隙は、管の表面付近であり、管端溶接部における管端側の端部に位置している。

【0100】

図６の三段目中央に示すように、この空隙が存在する部位の超音波画像１１１－ｅには、この空隙に起因するエコーが現れる。そして、図６の三段目右端に示すように、この超音波画像１１１－ｅを基に生成されたヒートマップ１１１Ｆ－ｅにおいても、図中に白抜き矢印で示すように、上記の空隙に対応する領域が現れる。この領域は、二段目のヒートマップ１１１Ｆ－ｄと比べて左側に位置している。

【0101】

図６の四段目の左端には、ブローホールが生じている管端溶接部の切断面を示している。丸印を付した箇所に空隙が生じている。この空隙は、管の表面よりも管端溶接部の内部側に位置しており、その左右方向の位置は管端溶接部の幅方向の中心付近である。

【0102】

図６の四段目中央に示すように、この空隙が存在する部位の超音波画像１１１－ｆには、この空隙に起因するエコーが現れる。そして、図６の四段目右端に示すように、この超音波画像１１１－ｆを基に生成されたヒートマップ１１１Ｆ－ｆにおいても、図中に白抜き矢印で示すように、上記の空隙に対応する領域が現れる。この領域は、左右方向の位置は二段目のヒートマップ１１１Ｆ－ｄと近いが、上下方向の位置がより下方側となっている。

【0103】

以上のように、欠陥の種類とヒートマップ１１１Ｆの外観との間には相関がある。よって、この相関に基づいて、ヒートマップ１１１Ｆから欠陥の種類を判定する種類判定モデルを構築することができる。このような種類判定モデルは、種類が既知の欠陥がある検査対象物の検査画像から生成された差分画像のヒートマップを教師データとした機械学習で構築することができる。そして、欠陥種類判定部１０６は、このような判定モデルに、ヒートマップ生成部１０５が生成したヒートマップを入力して得られる出力値に基づいて欠陥の種類を判定することができる。

【0104】

上述のように、差分画像を構成する各ピクセルのピクセル値を色または濃淡で表したヒートマップには、その差分画像の基になった検査画像に写る欠陥の種類の違いが反映される。よって、上記の構成によれば、欠陥の種類を適切に自動で判定することが可能になる。

【0105】

例えば、初層溶込み不良が発生している箇所の超音波画像１１１から生成された、図６のヒートマップ１１１Ｆ－ｃのようなヒートマップを多数用意し、それらを教師データとしてもよい。これにより、欠陥の種類が初層溶込み不良である確率を出力する種類判定モデルを構築することができる。同様に、他の種類の欠陥が発生している箇所の超音波画像１１１から生成されたヒートマップを教師データとして機械学習すれば、各種欠陥に該当する確率を出力する種類判定モデルを構築することができる。

【0106】

よって、欠陥種類判定部１０６は、このような種類判定モデルにヒートマップを入力して得られる出力値から、欠陥の種類を判定することができる。例えば、欠陥種類判定部１０６は、種類判定モデルから出力される各種欠陥に該当する確率値のうち、最も高い確率値に対応する種類の欠陥が発生していると判定してもよい。

【0107】

〔欠陥種類の判定方法の他の例〕
欠陥種類の判定方法の他の例を図７および図８に基づいて説明する。以下説明する判定方法では、欠陥種類判定部１０６は、差分画像から欠陥領域を検出し、差分画像の画像領域における欠陥領域が検出された位置から、当該欠陥領域に係る欠陥の種類を判定する。

【0108】

欠陥領域の検出方法について図７に基づいて説明する。図７は、欠陥領域の検出方法を説明する図である。なお、図７では、ヒートマップを用いて欠陥領域を検出する例を示しているが、以下説明するようにヒートマップの生成は必須ではない。

【0109】

図７には、欠陥のある検査対象物の超音波画像１１１から生成されたヒートマップ１１１Ｅと、このヒートマップ１１１Ｅに閾値処理を施したヒートマップ１１１Ｆを示している。また、図７には、ヒートマップ１１１Ｆの左上端部分の拡大図についても示しており、この拡大図ではヒートマップ１１１Ｆの各ピクセルにそのピクセル値を記載している。

【0110】

欠陥領域の検出において、まず、欠陥種類判定部１０６は、ヒートマップ１１１Ｆにおいて、ピクセル値が最大のピクセルを検出する。図７の例では、最大のピクセル値が１０４であるからこのピクセルを検出する。次に、欠陥種類判定部１０６は、検出したピクセルに隣接する、ピクセル値が所定の閾値以上のピクセルを検出する。

【0111】

欠陥種類判定部１０６は、このような処理を、閾値以上のピクセル値を有する隣接ピクセルが検出されなくなるまで繰り返す。これにより、欠陥種類判定部１０６は、所定の閾値以上のピクセル値を有するピクセルからなる連続領域を欠陥領域として検出することができる。なお、欠陥種類判定部１０６は、上記のようにして検出した欠陥領域を含む矩形領域ａｒ５を欠陥領域として検出してもよい。

【0112】

以上の処理は、検査画像１１１Ａと復元画像１１１Ｂのピクセルごとの差分値を示すデータすなわち差分画像があれば行うことができる。すなわち、差分画像においてピクセル値が最大のピクセルを検出し、そのピクセルに隣接する所定の閾値以上のピクセル値のピクセルを検出する処理を繰り返すことにより、欠陥領域を検出することができる。よって、上述のように、欠陥領域の検出のためにヒートマップ１１１Ｅやヒートマップ１１１Ｆを必ずしも生成する必要はない。

【0113】

以上のように、欠陥種類判定部１０６は、差分画像においてピクセル値が閾値以上である複数のピクセルからなる領域を欠陥領域として検出する。差分画像においては、欠陥領域のピクセルのピクセル値がそれ以外の領域のピクセル値と比べて大きな値となるから、この構成によれば、妥当な欠陥領域を自動で検出することができる。

【0114】

図６に基づいて説明したとおり、溶接箇所における欠陥には、初層溶込み不良や溶接パス間の融合不良など様々な種類のものが知られており、このような欠陥の種類の違いは、超音波画像において位置の差として表れる。欠陥種類判定部１０６は、このことを利用して、差分画像の画像領域における欠陥領域が検出された位置から、当該欠陥領域に係る欠陥の種類を判定する。これにより、欠陥の種類を自動で判定することができる。

【0115】

例えば、差分画像に各種類の欠陥に対応する領域を予め設定しておけば、欠陥種類判定部１０６は、以上のようにして検出した欠陥領域が何れの領域に含まれるかによって欠陥の種類を判定することができる。

【0116】

図８は、欠陥の種類ごとに設定した領域の例を示す図である。図８の例では、ヒートマップ１１１Ｆの左上隅にアンダカットに対応する領域ＡＲ１、上端中央に溶接パス間の融合不良に対応する領域ＡＲ２、そして右上隅に初層溶込み不良に対応する領域ＡＲ３を設定している。また、中央からやや上の位置にブローホールに対応する領域ＡＲ４を設定している。このような領域は、各種欠陥部位の検査画像に基づく差分画像やヒートマップを解析する等して予め設定しておけばよい。図８の例では、領域ＡＲ３に、白抜き矢印で示す欠陥領域が検出されているため、欠陥種類判定部１０６は、この欠陥は初層溶込み不良による欠陥であると判定する。

【0117】

図８の例では、ブローホールに対応する領域ＡＲ４の一部は、領域ＡＲ１～ＡＲ３の一部と重なっている。このように、欠陥の種類を判定するための領域を、その一部が他の領域と重畳するように設定してもよい。

【0118】

この場合、欠陥種類判定部１０６は、複数の領域が重畳する領域に欠陥領域が検出されたときには、それらの各領域に対応する種類全てを欠陥種類の判定結果としてもよい。例えば、領域ＡＲ１とＡＲ４の重畳領域に欠陥領域が検出されたときには、欠陥種類判定部１０６は、アンダカットとブローホールの両方を判定結果として出力してもよい。

【0119】

また、欠陥種類判定部１０６は、欠陥の種類毎に特有の条件を満たすか否かによって欠陥種類の判定結果を絞り込んでもよい。例えば、形状に特徴のある欠陥であれば、形状に関する条件を設定しておけばよく、サイズに特徴のある欠陥であれば、サイズに関する条件を設定しておけばよい。

【0120】

具体例を挙げれば、ブローホールは、球状の空洞が発生する欠陥であり、その直径は一般に２ｍｍ以下である。このため、１枚の超音波画像１１１が検査対象物の幅１ｍｍ程度の範囲をカバーする場合、１つのブローホールは２～３枚程度の超音波画像１１１に収まる。よって、検査対象物の隣接する部分にそれぞれ対応する複数の超音波画像１１１に連続して欠陥が検出された場合に、その超音波画像１１１の枚数が３枚以下であればその欠陥がブローホールである可能性がある。一方、欠陥が連続して検出された超音波画像１１１の枚数が４枚以上であれば、その欠陥はブローホールではない可能性が高い。

【0121】

よって、欠陥種類判定部１０６は、領域ＡＲ４と他の領域との重畳領域に欠陥領域が検出された場合、欠陥が連続して検出された超音波画像１１１の枚数が閾値（例えば３）以下であることを条件として、その欠陥の種類をブローホールと判定してもよい。

【0122】

例えば、図８の例において、領域ＡＲ４とＡＲ２との重畳領域に欠陥領域が検出されたとする。この場合、欠陥種類判定部１０６は、欠陥が連続して検出された超音波画像１１１の枚数が閾値以下であれば欠陥の種類をブローホールと判定し、閾値を超えていれば溶接パス間の融合不良と判定すればよい。

【0123】

また、上述のように、ブローホールは球状であるから、１つのブローホールが複数の超音波画像１１１にまたがって検出された場合、各超音波画像１１１におけるそのブローホールに起因するエコーのピーク値が相違することが多い。このようなピーク値の相違は、超音波画像１１１においてはピクセル値の相違として表れる。例えば、１つのブローホールが３枚の超音波画像１１１にまたがって検出されたとする。この場合、３枚の超音波画像１１１のうち中央の超音波画像１１１におけるそのブローホールに起因するエコーのピーク値を５０％とすると、その前後の超音波画像１１１におけるブローホールに起因するエコーのピーク値はそれよりも低い３０％といった値になる。

【0124】

よって、欠陥種類判定部１０６は、領域ＡＲ４と他の領域との重畳領域に欠陥領域が検出された場合、欠陥が連続して検出された各超音波画像１１１における欠陥領域のピクセル値に差異があることを条件として、その欠陥の種類をブローホールと判定してもよい。例えば、欠陥種類判定部１０６は、各超音波画像１１１の欠陥領域に含まれる各ピクセルのピクセル値の平均値を算出し、その平均値の差が閾値以上である場合に差異ありと判定してもよい。

【0125】

なお、欠陥種類判定部１０６は、種類判定モデルを用いた判定と、欠陥領域の位置が何れの領域に含まれるかに基づく判定との両方を行ってもよいし、一方のみを行ってもよい。両方の判定を行うことにより、種類の判定結果の確度を向上させることが可能である。

【0126】

〔欠陥の統合〕
管端溶接部は、管の周囲３６０度にわたって存在する。このため、上述のように、管内で探触子を所定角度ずつ回転させながら、管端溶接部の各部分の超音波画像１１１を生成し、各超音波画像１１１から欠陥の検出を行う。このような場合、１つの連続した欠陥が複数の超音波画像に跨って写り、実体としては１つの欠陥であるのに、それが複数の欠陥として検出されてしまうことがあり得る。

【0127】

そこで、統合検出部１０８は、複数の超音波画像１１１に写る欠陥を統合して１つの欠陥として検出する。より詳細には、統合検出部１０８は、総合判定部１０４が、管端溶接部の一部分であって、互いに隣接する部分にそれぞれ対応する複数の超音波画像１１１について欠陥ありと判定した場合に、当該複数の超音波画像１１１に写る欠陥を１つの欠陥として検出する。これにより、欠陥の実体に沿った適切な検出が可能になる。

【0128】

欠陥の統合方法について図９に基づいて説明する。図９は、複数の超音波画像１１１に写る欠陥を統合して１つの欠陥として検出する方法を説明する図である。図９の左上には、管と管端溶接部の横断面を示している。また、図９の左下には、管と管端溶接部と管板の縦断面を示している。

【0129】

図９の例では、管の外壁面に沿って広範囲にわたる溶接欠陥が発生している。管の内壁面に沿って探触子を所定角度ずつ回転させながらエコーの計測を行うと、溶接欠陥が発生している範囲における計測結果には溶接欠陥からのエコーが反映される。これにより、図９の右側に示すように、上記の測定結果に基づいて生成された超音波画像１１１ｇ～１１１ｉには上記の溶接欠陥に起因するエコーが現れる。よって、これらの超音波画像１１１ｇ～１１１ｉに基づく欠陥有無の判定においては、総合判定部１０４が欠陥ありと判定する。

【0130】

ここで、超音波画像１１１ｇ～１１１ｉは、管端溶接部の一部分であって、互いに隣接する部分にそれぞれ対応している。このため、統合検出部１０８は、総合判定部１０４が欠陥ありと判定したこれらの超音波画像１１１ｇ～１１１ｉに写る欠陥を１つの欠陥として検出する。

【0131】

なお、統合検出部１０８は、超音波画像１１１ｇ～１１１ｉから検出された欠陥の位置が同じであるか近い位置であることを条件として、それらの欠陥を統合してもよい。また、上述のように欠陥の種類に応じてその位置が相違しているから、統合検出部１０８は、超音波画像１１１ｇ～１１１ｉから同じ種類の欠陥が検出されたことを条件として、それらの欠陥を統合してもよい。これらの構成によれば、欠陥統合の精度を高めることができる。

【0132】

また、欠陥長算出部１０９は、以上のような処理により統合された欠陥の長さを算出する。例えば、欠陥長算出部１０９は、１つの超音波画像１１１あたりの欠陥の長さに、統合検出部１０８が統合した欠陥の数を乗じて、欠陥の長さを算出してもよい。

【0133】

例えば、管の周囲３６０度に形成された管端溶接部について、探触子を管の内壁面に沿って管の中心軸回りに１度ずつ移動させながら３６０回のエコー計測を行い、その結果、３６０枚の超音波画像１１１が生成されたとする。この場合、１つの超音波画像１１１に写る欠陥の長さは概ね、（管の外径）×１／３６０となるから、図９のように３つの超音波画像１１１ｇ～１１１ｉの欠陥を統合した場合、欠陥長算出部１０９は、欠陥の長さを（管の外径）×３×１／３６０と算出してもよい。

【0134】

〔管端溶接部の厚さの算出〕
管端溶接部の厚さ（肉厚）の算出方法について図１０に基づいて説明する。図１０は、管端溶接部の厚さの算出方法を説明する図である。図１０の下側には管端溶接部の縦断面を示し、上側には当該管端溶接部の超音波画像１１１を示している。

【0135】

図１０の下側に示す管端溶接部は、管板への溶込み部分も含めた厚さがＸである。図２に基づいて説明したように、超音波画像１１１において管端溶接部が写る領域は、その周縁部からのエコーが繰り返し現れる２つの周縁エコー領域ａｒ３およびａｒ４に挟まれた領域となる。よって、周縁エコー領域ａｒ３とａｒ４の距離Ｘｉから、管端溶接部の厚さＸを算出することができる。

【0136】

距離Ｘｉは、厚さ算出部１０７が超音波画像１１１を解析することによって算出してもよいが、超音波画像１１１の解析は判定部１０２Ｂが行っているので、その解析結果を利用することが好ましい。

【0137】

より詳細には、図３に基づいて説明したように、判定部１０２Ｂは、超音波画像１１１から生成された検査画像１１１Ａにおいて、周縁エコー領域ａｒ３とａｒ４を検出し、これらの領域で挟まれる領域を対象として、欠陥の有無を判定する。このため、厚さ算出部１０７は、判定部１０２Ｂによる上記検出の結果に基づき、周縁エコー領域ａｒ３の右端から、判定部１０２Ｂが検出した周縁エコー領域ａｒ４の左端までの距離Ｘｉを算出することができる。そして、検査画像１１１Ａの縮尺を予め求めておけば、厚さ算出部１０７は、この縮尺を適用して管端溶接部の厚さＸを算出することができる。

【0138】

以上のように、判定部１０２Ｂは欠陥の有無の判定する過程で周縁エコー領域ａｒ３とａｒ４を検出するから、厚さ算出部１０７は、判定部１０２Ｂによる周縁エコー領域ａｒ３とａｒ４の検出結果を利用して検査対象部位の厚さを算出することができる。

【0139】

〔検査結果の出力例〕
情報処理装置１による検査対象物の欠陥の有無の判定結果は、出力部１３を介して出力される。ここでは、検査結果の出力例を図１１に基づいて説明する。図１１は、検査結果の出力例を示す図である。

【0140】

図１１の左上には、欠陥マップ３００を示している。欠陥マップ３００は、管端側から見た管端溶接部を示すドーナツ状の領域３０１に、検出した欠陥を示す線分３０２を描画したものである。欠陥マップ３００によれば、管端溶接部における欠陥の分布を容易に認識させることができる。

【0141】

また、図１１の右上には、管板マップ４００を示している。管板マップ４００は、図２に示したような、管板に多数の管が溶接された熱交換器を管端側から見た様子を模式的に示したものである。管板マップ４００では、各管の位置にその管の管端溶接部における欠陥検査の結果を示す図形を描画することにより、検査結果を示している。

【0142】

具体的には、検査の結果、欠陥が検出されなかった管の位置には白丸印を描画し、きず（欠陥）が検出された管の位置には黒丸印を描画している。これにより、欠陥が生じた管端溶接部の分布を容易に認識させることができる。また、管板マップ４００では、検査を未実施の管の位置には三角印、検査対象外の管の位置には四角印を描画している。このように、検査に関する各種情報も管板マップ４００に含めてもよい。

【0143】

また、図１１の下側には、超音波画像セット５００を示している。超音波画像セット５００には、３つの超音波画像（５０１～５０３）が含まれている。超音波画像５０１は管端側セクタスキャンにより得られ、超音波画像５０２はリニアスキャンにより得られ、超音波画像５０３は管奥側セクタスキャンにより得られる。

【0144】

なお、リニアスキャンは、管の中心軸に垂直な探傷方向のスキャンである。上述の超音波画像１１１もリニアスキャンにより得られたものである。管端側セクタスキャンは、管の中心軸に垂直な方向から管奥側に傾斜させた探傷方向に超音波を伝搬させるスキャンである。また、管奥側セクタスキャンは、管の中心軸に垂直な方向から管端側に傾斜させた探傷方向に超音波を伝搬させるスキャンである。

【0145】

これらの超音波画像では、検出した欠陥に対応する反射エコーにマーキングしている。このように、マーキングした超音波画像を検査結果として表示することにより、欠陥の位置などを容易に認識させることができる。

【0146】

ここで、超音波画像５０１～５０３は、何れも管端溶接部における同じ位置をスキャンすることにより得られた画像であるが、探傷方向が異なるため、欠陥の現れ方も異なっている。このため、情報処理装置１は、このような探傷方向が異なる複数の超音波画像１１１について欠陥の有無の判定を行い、何れかの探傷方向で欠陥ありと判定された場合には、他の探傷方向で欠陥なしと判定されていても、最終的な判定結果を欠陥ありとしてもよい。これにより、欠陥の検出漏れが生じる確率を低減することができる。また、情報処理装置１は、リニアスキャンにより得られた超音波画像とセクタスキャンにより得られた超音波画像とを合成した合成画像を対象として欠陥の有無の判定を行ってもよい。

【0147】

なお、欠陥マップ３００、管板マップ４００、および超音波画像セット５００の全てを検査結果として出力してもよいし、一部のみを出力してもよい。また、欠陥の種類の判定結果を示す情報等も検査結果として出力してもよい。無論、これらは例示に過ぎず、判定結果はその内容を人が認識できるような任意の態様で出力すればよい。

【0148】

〔検査前に行われる処理の流れ〕
情報処理装置１による欠陥検査を行う前に、検査で使用する各種モデルを構築し、閾値を決定しておく必要がある。ここでは、検査で使用する各種モデルを構築し、閾値を決定する処理の流れを図１２に基づいて説明する。図１２は、検査で使用する各種モデルを構築し、閾値を決定する処理の一例を示す図である。なお、これらの処理は、情報処理装置１で行ってもよいし、他のコンピュータで行ってもよい。

【0149】

Ｓ１では、平滑化処理した超音波画像１１１を取得する。この超音波画像１１１には、欠陥のある検査対象物から得られたものと、欠陥のない検査対象物から得られたものとが含まれている。また、欠陥のある検査対象物から得られた超音波画像１１１は、その欠陥の種類ごとに分類されている。

【0150】

なお、平滑化処理は、隣接するピクセル間のピクセル値の変化を滑らかにする処理である。平滑化処理は、情報処理装置１が行ってもよいし、超音波探傷装置７が行ってもよい。平滑化処理は必須ではないが、平滑化処理を行うことにより、欠陥に起因するエコーとノイズ成分とを判別しやすくなるので好ましい。

【0151】

Ｓ２では、抽出モデルを構築する。抽出モデルの構築は、超音波画像１１１に対して正解データとして抽出領域情報を対応付けた教師データを用いた機械学習により行う。抽出領域情報は、超音波画像１１１から抽出すべき領域、すなわち検査対象領域を示す情報である。この抽出領域情報は、例えば超音波画像１１１を表示装置に表示させて、抽出すべき領域をオペレータに入力させ、その入力内容を基に生成されたものであってもよい。

【0152】

抽出モデルは、画像からの領域抽出に適した任意の学習モデルで構築することができる。例えば、抽出精度や処理速度に優れたＹＯＬＯ（You Only Look Once）等により抽出モデルを構築してもよい。

【0153】

抽出すべき領域は、検査対象部位である管端溶接部を含む領域であればよい。また、抽出すべき領域は、その周縁部からのエコーが写る領域の少なくとも一部についても含んでいることが好ましい。これは、検査対象部位に欠陥がない場合、超音波画像１１１における当該部位には機械学習できるような特徴点が観察されない場合があり、このような場合には抽出モデルを構築することが難しいためである。例えば、図２に示す超音波画像１１１においては、エコーａ１、ａ２、ａ６、およびａ７の一部を含む領域を抽出すべき領域とすればよい。これにより、管端溶接部を含み、かつ周縁部からのエコーも含む領域を抽出する抽出モデルを構築することができる。

【0154】

Ｓ３では、Ｓ２で構築された抽出モデルを用いて、Ｓ１で取得された超音波画像１１１から学習用画像を生成する。Ｓ２において、周縁部からのエコーが写る領域を含む領域を正解データとした機械学習により構築された抽出モデルを構築した場合、この抽出モデルを用いて検査対象領域を抽出する。検査対象部位の周縁部からのエコーには、図２に示したように機械学習し得る特徴があるので、検査対象部位を自動で高精度に抽出することが可能になる。なお、学習用画像は、検査画像１１１Ａと同じ抽出モデルを用いて生成されるため、その外観は検査画像１１１Ａと同様になる（検査画像１１１Ａの外観については図３参照）。

【0155】

Ｓ４以下ではＳ３で生成された学習用画像を用いて、各判定部１０２に関連した閾値の決定やモデルの構築を行う。Ｓ４では、生成モデルを構築する。生成モデルの構築は、欠陥のない検査対象物の超音波画像１１１から生成された学習用画像を訓練データとした機械学習により行う。上述のように、生成モデルはオートエンコーダであってもよい。また、生成モデルは、オートエンコーダを改良あるいは改変したモデルであってもよい。例えば、生成モデルとして変分オートエンコーダ等を適用してもよい。

【0156】

なお、Ｓ２において、周縁部からのエコーが写る領域を含む領域を正解データとした機械学習により構築された抽出モデルを構築した場合、生成モデルの構築に用いる訓練データにも周縁部からのエコーが写る領域が含まれることになる。欠陥のない検査対象物の超音波画像１１１では、検査対象領域にエコーが含まれず、機械学習すべき特徴点に乏しいが、周縁部からのエコーが写る領域が含まれる訓練データを用いることにより、妥当な生成モデルを構築することが可能になる。

【0157】

Ｓ５では、判定部１０２Ａによる欠陥の有無判定用の閾値を決定する。具体的には、まず、Ｓ４で構築した生成モデルにテスト画像を入力して復元画像を生成する。テスト画像は、Ｓ３で生成された学習用画像のうち生成モデルの構築に用いなかったものであり、欠陥のない検査対象物の超音波画像１１１から生成されたものと、欠陥のある検査対象物の超音波画像１１１から生成されたものとを含む。また、欠陥のある検査対象物の超音波画像１１１から生成されたテスト画像は、その欠陥の種類ごとに分類しておく。

【0158】

次に、上記のようにして生成した復元画像とその復元画像の元になったテスト画像について、ピクセル単位でそれら画像の差分を計算し、その差分の分散を算出する。そして、欠陥のない検査対象物の超音波画像１１１から生成された複数のテスト画像について算出された各分散の値と、欠陥のある検査対象物の超音波画像１１１から生成された複数のテスト画像について算出された各分散の値を区分できるように閾値を決定する。

【0159】

Ｓ６では、Ｓ４で構築した生成モデルとＳ５で決定した閾値とを用いて判定を行う判定部１０２Ａ用の信頼度予測モデルを機械学習により構築する。この機械学習には、テスト画像に対して、そのテスト画像に基づく判定部１０２Ａによる判定の結果の正否を正解データとして対応付けた教師データを用いる。テスト画像は、欠陥の有無が既知の超音波画像１１１から生成したものであればよい。

【0160】

このようにして生成した信頼度予測モデルに検査画像１１１Ａを入力すると、その検査画像１１１Ａを用いて判定部１０２Ａが判定を行ったときの判定結果が正しいものとなる確率を示す０～１までの間の値が出力される。よって、信頼度判定部１０３は、信頼度予測モデルの出力値を、判定部１０２Ａの判定結果の信頼度とすることができる。

【0161】

Ｓ７では、各種欠陥のテスト画像からそれぞれ生成されたヒートマップを教師データとして種類判定モデルを構築する。ヒートマップには、図６に基づいて説明したように、欠陥の種類に応じた特徴が現れるので、このヒートマップを教師データとして機械学習を行うことにより、種類判定モデルを構築することができる。

【0162】

種類判定モデルは、画像の分類に適した任意の学習モデルで構築することができる。例えば、画像の分類精度に優れた畳み込みニューラルネットワーク等により種類判定モデルを構築してもよい。

【0163】

Ｓ８では、種類判定用の領域を設定する。具体的には、まず、Ｓ７で生成された、各種欠陥に対応するヒートマップから、当該欠陥に起因するエコーが写る欠陥領域を検出する。次に、ヒートマップの画像領域のうち、ある種類の欠陥領域が検出された領域を、その種類の欠陥が現れる領域として特定する。この処理を、判定したい種類のそれぞれについて行う。これにより、図８の例のように、欠陥の種類ごとにその種類の欠陥が現れる領域を設定することができる。

【0164】

なお、Ｓ７とＳ８の何れか一方は省略してもよい。Ｓ７の処理を省略した場合、欠陥種類判定部１０６は、Ｓ８で設定された領域に基づいて欠陥の種類を判定する。一方、Ｓ８の処理を省略した場合、欠陥種類判定部１０６は、Ｓ７で構築された種類判定モデルを用いて欠陥の種類を判定する。

【0165】

Ｓ９では、Ｓ３で生成した学習用画像を用いて、判定部１０２Ｂが数値解析に用いる閾値を決定する。例えば、判定部１０２Ｂが二値化処理を行う場合には、二値化処理に用いる閾値を決定する。

【0166】

Ｓ１０では、Ｓ９で決定した閾値を用いて判定を行う判定部１０２Ｂ用の信頼度予測モデルを機械学習により構築する。この機械学習には、テスト画像に対して、そのテスト画像に基づく判定部１０２Ｂによる判定の結果の正否を正解データとして対応付けた教師データを用いる。テスト画像は、欠陥の有無が既知の超音波画像１１１から生成したものであればよい。

【0167】

Ｓ１１では、判定部１０２Ｃが欠陥の有無の判定に用いる判定モデルを機械学習により構築する。この機械学習には、Ｓ３で生成された学習用画像に対して欠陥の有無を正解データとして対応付けた教師データを用いる。これにより、検査画像１１１Ａを入力したときに、欠陥がある確率を示す値または欠陥がない確率を示す値を出力する判定モデルを構築することができる。

【0168】

Ｓ１２では、Ｓ１１で構築した判定モデルを用いて判定を行う判定部１０２Ｃ用の信頼度予測モデルを機械学習により構築する。この機械学習には、テスト画像に対して、そのテスト画像に基づく判定部１０２Ｃによる判定の結果の正否を正解データとして対応付けた教師データを用いる。テスト画像は、欠陥の有無が既知の超音波画像１１１から生成したものであればよい。

【0169】

上記説明のとおり、判定部１０２Ａ用の信頼度予測モデルは、判定部１０２Ａが欠陥の有無を判定したテスト画像に対し、その判定結果の正否を示す情報を正解データとして対応付けた教師データを用いた機械学習によって構築することができる。判定部１０２Ｂ用の信頼度予測モデルおよび判定部１０２Ｃ用の信頼度予測モデルについても同様である。

【0170】

上記の信頼度予測モデルは、判定部１０２が判定を行ったテスト画像と、その判定の結果の正否との対応関係を学習したものとなる。よって、この信頼度予測モデルに検査画像１１１Ａを入力して得られる出力値は、判定部１０２が検査画像１１１Ａを用いて判定を行ったときの判定結果の確からしさを示すものとなる。

【0171】

したがって、信頼度判定部１０３は、各判定部１０２用の信頼度予測モデルのそれぞれに検査画像１１１Ａを入力して得られた出力値から各判定部１０２の判定結果の信頼度を判定することにより、過去の判定実績からみて妥当な信頼度を設定することができる。

【0172】

〔検査における処理の流れ〕
検査における処理（判定方法）の流れを図１３に基づいて説明する。図１３は、情報処理装置１を用いた検査方法の一例を示す図である。なお、以下では、探触子を回転させながら計測した管端溶接部とその周縁部からのエコーを画像化した超音波画像１１１が記憶部１１に記憶されているものとして説明する。

【0173】

Ｓ２１では、検査画像生成部１０１が、検査画像１１１Ａを生成する。具体的には、検査画像生成部１０２は、記憶部１１に記憶されている超音波画像１１１の１つを取得して抽出モデルに入力し、その出力値が示す領域を超音波画像１１１から抽出して検査画像１１１Ａを生成する。

【0174】

Ｓ２２（判定ステップ）では、Ｓ２１で生成された検査画像１１１Ａを用いて各判定部１０２が欠陥の有無を判定する。より詳細には、判定部１０２Ａでは、検査画像取得部１０２１がＳ２１で生成された検査画像１１１Ａを取得し、復元画像生成部１０２２が、Ｓ１２のＳ４で構築された生成モデルを用いて、その検査画像１１１Ａから復元画像１１１Ｂを生成する。そして、欠陥有無判定部１０２３が、検査画像１１１Ａと復元画像１１１Ｂのピクセルごとの差分を計算し、続いてその差分の分散を計算し、その分散の値が、図１２のＳ５で決定された閾値より大きいか否かにより欠陥の有無を判定する。なお、除去画像１１１Ｃおよび除去画像（復元）１１１Ｄが生成されている場合、欠陥有無判定部１０２３はこれらの画像の差分を算出する。

【0175】

また、判定部１０２Ｂは、Ｓ２１で生成された検査画像１１１Ａを図１２のＳ９で決定した閾値で二値化して二値化画像を生成する。そして、判定部１０２Ｂは、生成した二値化画像から周縁エコー領域ａｒ３とａｒ４を検出すると共に、これらの領域で挟まれる領域に欠陥領域が存在するか否かにより欠陥の有無を判定する。

【0176】

そして、判定部１０２Ｃは、Ｓ２１で生成された検査画像１１１Ａを、図１２のＳ１１で構築された判定モデルに入力し、その出力値に基づいて欠陥の有無を判定する。例えば、欠陥がある確率を出力する判定モデルを用いた場合、判定部１０２Ｃは、判定モデルの出力値が所定の閾値を超えていれば欠陥ありと判定してもよい。なお、このような閾値も図１２のＳ１１の処理後に決定しておく。

【0177】

Ｓ２３（信頼度判定ステップ）では、信頼度判定部１０３が、Ｓ２１で生成された検査画像１１１Ａを用いて判定部１０２の判定結果の信頼度を判定する。具体的には、信頼度判定部１０３は、図１２のＳ６で構築された信頼度予測モデルに検査画像１１１Ａを入力して得られる出力値から判定部１０２Ａの判定結果の信頼度を判定する。

【0178】

例えば、信頼度予測モデルが、判定部１０２Ａの判定結果が正しいものとなる確率を示す０～１までの間の値を出力する場合、信頼度判定部１０３はこの値をそのまま信頼度としてもよい。また、信頼度判定部１０３は、同様にして、判定部１０２Ｂおよび１０２Ｃの判定結果の信頼度を判定する。このように、信頼度判定部１０３は、判定部１０２Ａ～１０２Ｃのそれぞれについて、欠陥有無の判定結果の信頼度を判定する。

【0179】

Ｓ２４（総合判定ステップ）では、総合判定部１０４が、Ｓ２２の各判定結果と、Ｓ２３で判定された信頼度とを用いて、欠陥の有無を判定する。具体的には、総合判定部１０４は、判定部１０２Ａ～１０２Ｃの各判定結果を示す数値に、それらの信頼度に応じた重み付けをして加算することにより得られた数値を用いて欠陥の有無を判定する。

【0180】

例えば、判定部１０２Ａ～１０２Ｃの判定結果は、－１（欠陥なし）または１（欠陥あり）の数値で表すことができる。この場合、信頼度が０～１の数値で算出されていれば、その信頼度の値をそのまま重みとして判定結果に乗じてもよい。

【0181】

具体例を挙げれば、判定部１０２Ａの判定結果は欠陥あり、判定部１０２Ｂの判定結果は欠陥なし、判定部１０２Ｃの判定結果は欠陥あり、であったとする。また、判定部１０２Ａ～１０２Ｃの判定結果の信頼度はそれぞれ０．８７、０．５１、０．９５であったとする。この場合、総合判定部１０４は、１×０．８７＋（－１）×０．５１＋１×０．９５の演算を行い、この結果である１．３１との数値を得る。

【0182】

そして、総合判定部１０４は、この数値と所定の閾値とを比較し、算出した数値が閾値より大きければ欠陥ありと判定してもよい。欠陥なしを「－１」、欠陥ありを「１」の数値で表す場合、閾値はこれらの数値の中間値である「０」とすればよい。この場合、１．３１＞０であるから、総合判定部１０４による最終的な判定結果は欠陥ありとなる。

【0183】

Ｓ２５では、総合判定部１０４は、Ｓ２４の判定結果を検査結果データ１１２に記録する。そして、Ｓ２６では、欠陥種類判定処理が行われる。なお、欠陥種類判定処理の詳細は図１４および図１５に基づいて後述する。

【0184】

Ｓ２７では、検査画像生成部１０１が、検査対象となっている全ての超音波画像１１１を処理済みであるかを判定する。ここで未処理の超音波画像１１１があると判定した場合（Ｓ２７でＮＯ）にはＳ２１に戻り、検査画像生成部１０１は、未処理の超音波画像１１１を記憶部１１から読み出してその超音波画像１１１から検査画像１１１Ａを生成する。一方、未処理の超音波画像１１１はないと判定した場合（Ｓ２７でＹＥＳ）にはＳ２８の処理に進む。

【0185】

Ｓ２８では、統合検出部１０８が、総合判定部１０４が検出した欠陥を統合する。そして、統合検出部１０８は、統合結果を検査結果データ１１２に記録する。欠陥の統合方法は、図９に基づいて説明したとおりであるから、ここでは説明を繰り返さない。なお、統合すべき欠陥がなければＳ２８およびＳ２９の処理は行われることなくＳ３０の処理に進む。

【0186】

Ｓ２９では、欠陥長算出部１０９が、統合検出部１０８により統合された欠陥の長さを算出する。例えば、欠陥長算出部１０９は、１つの超音波画像１１１あたりの欠陥の長さに、統合検出部１０８が統合した欠陥の数を乗じて、欠陥の長さを算出してもよい。そして、欠陥長算出部１０９は、算出結果を検査結果データ１１２に記録する。

【0187】

Ｓ３０では、厚さ算出部１０７が、管端溶接部の肉厚を算出し、算出結果を検査結果データ１１２に記録する。肉厚の算出方法は図１０に基づいて説明したとおりであるから、ここでは説明を繰り返さない。全ての検査画像１１１Ａについて肉厚の算出結果が記録されると、図１３の処理は終了する。

【0188】

〔欠陥種類判定処理の流れ：種類判定モデル使用〕
図１３のＳ２６で行われる欠陥種類判定処理の流れを図１４に基づいて説明する。図１４は、欠陥種類判定処理の一例を示すフローチャートである。Ｓ４１では、ヒートマップ生成部１０５が、判定部１０２Ａによる欠陥の有無の判定の際に算出された差分値（差分画像）を用いてヒートマップを生成する。そして、Ｓ４２では、ヒートマップ生成部１０５は、Ｓ４１で生成したヒートマップに対して閾値処理を施す。閾値処理については図５に基づいて説明した通りであるからここでは説明を繰り返さない。

【0189】

Ｓ４３では、欠陥種類判定部１０６が、種類判定モデルを用いて欠陥の種類を判定する。具体的には、欠陥種類判定部１０６は、Ｓ４２にて閾値処理が施されたヒートマップを種類判定モデルに入力し、その出力値に基づいて欠陥の種類を判定する。例えば、種類判定モデルが、欠陥の種類のそれぞれについて、当該種類に該当する可能性を示す数値を出力するものであれば、欠陥種類判定部１０６は、その数値が最も大きい種類をその欠陥の種類であると判定してもよい。

【0190】

Ｓ４４では、欠陥種類判定部１０６は、Ｓ４３の判定結果を検査結果データ１１２に記録する。これにより欠陥種類判定処理は終了する。

【0191】

〔欠陥種類判定処理の流れ：欠陥領域の位置に基づく〕
欠陥種類判定部１０６は、図１４の欠陥種類判定処理の代わりに、図１５の欠陥種類判定処理を行ってもよい。図１５は、欠陥領域の位置に基づいて欠陥の種類を判定する欠陥種類判定処理の一例を示すフローチャートである。

【0192】

Ｓ５１では、欠陥種類判定部１０６は、判定部１０２Ａによる欠陥の有無の判定の際に算出された差分値（差分画像）に閾値処理を施す。Ｓ５１の閾値処理は、図１４のＳ４２の閾値処理と同様である。そして、Ｓ５２では、欠陥種類判定部１０６は、閾値処理後の差分値から欠陥領域を検出する。欠陥領域の検出方法は図７に基づいて説明した通りであるからここでは説明を繰り返さない。

【0193】

Ｓ５３では、欠陥種類判定部１０６は、Ｓ５２で特定した欠陥領域の位置から欠陥の種類を判定する。例えば、欠陥種類判定部１０６は、Ｓ５２で検出された欠陥領域が、図８に示した領域ＡＲ１～ＡＲ４の何れに含まれるかによって欠陥の種類を判定してもよい。

【0194】

Ｓ５４では、欠陥種類判定部１０６は、Ｓ５３の判定結果を検査結果データ１１２に記録する。これにより欠陥種類判定処理は終了する。

【0195】

なお、欠陥種類判定部１０６は、図１４の欠陥種類判定処理と、図１５の欠陥種類判定処理の両方を行ってもよい。この場合、欠陥種類判定部１０６は、両方の判定結果を記録すればよい。また、欠陥種類判定部１０６は、２つの判定結果を総合して欠陥の種類の最終判定を行ってもよい。この場合、欠陥種類判定部１０６は、図１４の欠陥種類判定処理の判定結果の信頼度と、図１５の欠陥種類判定処理の信頼度とをそれぞれ算出し、算出した信頼度に基づいて最終的な欠陥の種類の判定結果を決定してもよい。この場合の信頼度は、判定部１０２の判定結果の信頼度と同様にして算出することができる。

【0196】

〔応用例〕
上記実施形態では、超音波画像１１１に基づいて管端溶接部の欠陥の有無を判定する例を説明したが、判定事項をどのようなものとするかは任意であり、この判定に用いる対象データも判定事項に応じた任意のデータとすればよく、上記実施形態の例に限られない。

【0197】

例えば、放射線透過試験（ＲＴ）において、検査対象物の欠陥（異常部位と呼ぶこともできる）の有無を判定する検査に情報処理装置１を適用することもできる。この場合、放射線透過写真の代わりに、イメージングプレートなどの電子デバイスを用いて得られた画像データから異常部位に起因する像を検出することになる。

【0198】

この場合も判定部１０２Ａは生成モデルを用いて異常部位の有無を判定することができ、判定部１０２Ｃは判定モデルを用いて異常部位の有無を判定することができる。また、判定部１０２Ｂも、上記画像データに写る上記像のピクセル値やサイズ等に基づく数値解析により、異常部位の有無を判定することが可能である。

【0199】

また、超音波検査やＲＴにおいては、画像データではなく、超音波のエコーや放射線の信号波形データを用いて、異常部位の有無を判定することができる。このように、様々なデータを用いた各種非破壊検査に情報処理装置１を適用することができる。さらに、情報処理装置１は、非破壊検査以外にも、静止画像や動画像からの物体検出や、検出した物体の分類等の判定にも応用できる。

【0200】

〔変形例〕
上記実施形態では、検査画像を信頼度予測モデルに入力して得られる出力値を信頼度として用いる例を説明したが、信頼度は判定部１０２が判定に用いたデータに基づいて導出されたものであればよく、この例に限られない。

【0201】

例えば、判定部１０２Ｂが検査画像を二値化した二値化画像を用いて欠陥の有無を判定する場合、判定部１０２Ｂ用の信頼度予測モデルは、二値化画像を入力データとするモデルとしてもよい。一方、この場合に、判定部１０２Ｃは検査画像をそのまま用いて欠陥の有無を判定するのであれば、判定部１０２Ｃ用の信頼度予測モデルは、検査画像を入力データとするモデルとしてもよい。このように、各判定部１０２用の信頼度予測モデルに対する入力データは全く同じものである必要はない。

【0202】

また、上記実施形態では、３つの判定部１０２を用いる例を説明したが、判定部１０２は２つとしてもよいし、４つ以上としてもよい。また、上記実施形態では、３つの判定部１０２の判定方法がそれぞれ異なっているが、判定部１０２の判定方法は同じであってもよい。判定方法が同じ判定部１０２については、その判定に用いる閾値や、その判定に用いる学習済みモデルを構築する教師データを異なるものとしておけばよい。

【0203】

また、上記各実施形態で説明した各処理の実行主体は適宜変更することが可能である。例えば、図１３のフローチャートにおける、Ｓ２１（検査画像の生成）、Ｓ２３（信頼度判定モデルを用いた演算）、Ｓ２６（欠陥種類判定）、Ｓ２８（欠陥の統合）、Ｓ２９（欠陥長の算出）、およびＳ３０（肉厚の算出）を他の情報処理装置に実行させてもよい。同様に、判定部１０２Ａ～１０２Ｃが実行する処理の一部または全部を他の情報処理装置に実行させてもよい。また、これらの場合、他の情報処理装置は、１つであってもよいし、複数であってもよい。このように、情報処理装置１の機能は、多様なシステム構成で実現することが可能である。また、複数の情報処理装置を含むシステムを構築する場合、一部の情報処理装置はクラウド上に配置されていてもよい。つまり、情報処理装置１の機能は、オンライン上で情報処理を行う１または複数の情報処理装置を利用して実現することもできる。

【0204】

〔ソフトウェアによる実現例〕
情報処理装置１の制御ブロック（特に制御部１０に含まれる各部）は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ソフトウェアによって実現してもよい。

【0205】

後者の場合、情報処理装置１は、各機能を実現するソフトウェアである情報処理プログラムの命令を実行するコンピュータを備えている。このコンピュータは、例えば１つ以上のプロセッサを備えていると共に、上記情報処理プログラムを記憶したコンピュータ読み取り可能な記録媒体を備えている。そして、上記コンピュータにおいて、上記プロセッサが上記情報処理プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記プロセッサとしては、例えばＣＰＵ（Central Processing Unit）を用いることができる。また、情報処理装置１は、ＣＰＵ等のプロセッサに加えてＧＰＵ（Graphics Processing Unit）を備えていてもよい。ＧＰＵを用いることにより、上述の各種モデルを用いた演算等を高速で行うことが可能になる。上記記録媒体としては、「一時的でない有形の媒体」、例えば、ＲＯＭ（Read Only Memory）等の他、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムを展開するＲＡＭ（Random Access Memory）などをさらに備えていてもよい。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや電波等）を介して上記コンピュータに供給されてもよい。なお、本発明の一態様は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。

【0206】

本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

【符号の説明】

【0207】

１ 情報処理装置
１０２Ａ 判定部（生成モデル判定部）
１０２Ｂ 判定部（数値解析判定部）
１０２Ｃ 判定部
１０３ 信頼度判定部
１０４ 総合判定部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】