特開 2022-158647 情報処理装置、判定方法、および判定プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022158647

(43)【公開日】2022-10-17

(54)【発明の名称】情報処理装置、判定方法、および判定プログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20221006BHJP

【ＦＩ】

G06T7/00 350B

G06T7/00 610

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2021063688

(22)【出願日】2021-04-02

(71)【出願人】

【識別番号】000005119

【氏名又は名称】日立造船株式会社

(71)【出願人】

【識別番号】000134925

【氏名又は名称】株式会社ニチゾウテック

(74)【代理人】

【識別番号】110000338

【氏名又は名称】特許業務法人ＨＡＲＡＫＥＮＺＯ ＷＯＲＬＤ ＰＡＴＥＮＴ ＆ ＴＲＡＤＥＭＡＲＫ

(72)【発明者】

【氏名】篠田 薫

(72)【発明者】

【氏名】片山 猛

(72)【発明者】

【氏名】安部 正光

(72)【発明者】

【氏名】井岡 良太

(72)【発明者】

【氏名】和田 貴裕

(72)【発明者】

【氏名】服部 洋

(72)【発明者】

【氏名】村上 丈一

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096AA03

5L096AA06

5L096BA03

5L096BA18

5L096CA18

5L096DA02

5L096EA43

5L096HA11

5L096JA11

5L096JA13

5L096JA16

5L096KA04

(57)【要約】

【課題】誤判定を生じさせやすい画像についても高精度な判定を行う。
【解決手段】情報処理装置（１）は、ノイズ無しの画像群から抽出した特徴量の特徴空間における相互の距離が小さくなるように学習して生成された分類モデルに検査画像を入力して出力値を取得する分類部（１０５）と、前記出力値に応じてノイズ無しの画像群用またはノイズ有りの画像群用の手法を適用して欠陥の有無を判定する判定部（１０２）と、を備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

共通の特徴を有する第１の画像群から抽出した複数の特徴量を特徴空間に埋め込んだときに、当該特徴量間の距離が小さくなるように学習することにより生成された分類モデルに対象画像を入力して得られる出力値を取得する取得部と、
前記出力値に応じて、前記第１の画像群用の第１の手法、または第１の画像群には属さない画像からなる第２の画像群用の第２の手法を適用して、前記対象画像に関する所定の判定事項を判定する判定部と、を備えた情報処理装置。

【請求項2】

前記第１の画像群は、機械学習により生成された学習済みモデルに前記対象画像を入力して得られる出力値に基づく判定が有効な画像群であり、
前記第１の手法には、前記学習済みモデルを用いて前記判定事項を判定する処理が少なくとも含まれ、
前記第２の手法には、前記対象画像のピクセル値を数値解析することにより前記判定事項を判定する処理が少なくとも含まれる、請求項１に記載の情報処理装置。

【請求項3】

前記第１の画像群は、機械学習により生成された学習済みモデルに前記対象画像を入力して得られる出力値に基づく判定が有効な画像群であり、
前記第１の手法は、複数の手法を用いて前記判定事項を判定した上で、各判定結果を総合して最終的な判定を行う手法であり、
前記複数の手法には、
前記学習済みモデルを用いて前記判定事項を判定する手法と、
前記分類モデルの前記出力値に基づいて前記判定事項を判定する手法と、が少なくとも含まれ、
前記第２の手法は、前記対象画像のピクセル値を数値解析することにより前記判定事項を判定する手法である、請求項１に記載の情報処理装置。

【請求項4】

前記所定の判定事項は、前記対象画像に写る対象物に異常部位があるか否かであり、
前記第１の画像群に含まれる画像は、前記異常部位と外観が類似した疑似異常部位を含まない前記対象物の画像であり、
前記第２の画像群に含まれる画像は、前記疑似異常部位を含む前記対象物の画像であり、
前記分類モデルの出力値は、前記対象画像が、前記第２の画像群に属するか、前記第１の画像群に属しかつ前記異常部位を含む画像であるか、または、前記第１の画像群に属しかつ前記異常部位を含まない画像であるかを示し、
前記第１の手法には、前記出力値に基づいて前記対象物に異常部位があるか否かを判定する処理が少なくとも含まれ、
前記第２の手法には、前記対象画像のピクセル値を数値解析することにより前記対象物に異常部位があるか否かを判定する処理が少なくとも含まれる、請求項１に記載の情報処理装置。

【請求項5】

前記第１の画像群は、機械学習により生成された学習済みモデルに前記対象画像を入力して得られる出力値に基づく判定が有効な画像群であり、
前記判定部は、複数の手法のそれぞれで前記判定事項を判定した上で、各判定結果を総合して前記判定事項を判定し、
前記複数の手法には、前記学習済みモデルを用いて前記判定事項を判定する手法と、前記対象画像のピクセル値を数値解析することにより前記判定事項を判定する手法とが含まれており、
前記各判定結果を総合する際の各判定結果に対する重みを設定する重み設定部を備え、
前記重み設定部は、
前記第１の手法が適用される場合、前記学習済みモデルを用いる手法の判定結果に対する重みを、数値解析する手法の判定結果に対する重みと同等あるいは同等以上とし、
前記第２の手法が適用される場合、数値解析する手法の判定結果に対する重みを、前記学習済みモデルを用いる手法の判定結果に対する重みよりも重くする、請求項１に記載の情報処理装置。

【請求項6】

前記各判定結果の確からしさを示す指標である信頼度を、前記対象画像に基づいて判定する処理を、前記複数の手法のそれぞれについて行う信頼度判定部を備え、
前記判定部は、前記各判定結果と、前記信頼度判定部が判定した前記信頼度と、前記重み設定部が設定した前記重みとを用いて前記判定事項を判定する、請求項５に記載の情報処理装置。

【請求項7】

情報処理装置が実行する判定方法であって、
共通の特徴を有する第１の画像群から抽出した複数の特徴量を特徴空間に埋め込んだときに、当該特徴量間の距離が小さくなるように学習することにより生成された分類モデルに対象画像を入力して得られる出力値を取得する取得ステップと、
前記出力値に応じて、前記第１の画像群用の第１の手法、または第１の画像群には属さない画像からなる第２の画像群用の第２の手法を適用して、前記対象画像に関する所定の判定事項を判定する判定ステップと、を含む判定方法。

【請求項8】

請求項１に記載の情報処理装置としてコンピュータを機能させるための判定プログラムであって、前記取得部および前記判定部としてコンピュータを機能させるための判定プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像に基づいて判定を行う情報処理装置等に関する。

【背景技術】

【0002】

従来から、画像を用いて様々な判定事項を判定することは広く行われている。例えば、下記の特許文献１には、フェーズドアレイＴＯＦＤ（Time Of Flight Diffraction）法を用いた超音波探傷法が開示されている。この超音波探傷法では、フェーズドアレイ探傷素子から超音波ビームを送信してステンレス鋼溶接部に集束させ、その回折波に基づいて生成した探傷画像を表示する。これにより、ステンレス鋼溶接部の内部に生じた溶接欠陥を検出することが可能になる。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１４－４８１６９号

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１の技術では、探傷画像を目視確認して溶接欠陥を検出するため、検査に要する人的・時間的コストが高いという問題がある。このような問題を解決する手段としては、例えば、探傷画像をコンピュータで解析することにより、溶接欠陥の有無を自動で判定することが考えられる。

【0005】

しかしながら、探傷画像には、溶接欠陥のエコーと外観が近いノイズが写ることがあり、自動判定を行う場合、このノイズが溶接欠陥と誤判定されるおそれがある。このような誤判定は、探傷画像に限られず、検出対象と類似した外観のものが写る可能性がある任意の画像において生じ得る。また、画像に写る対象物を検出する物体検出においても、上記のような画像から対象物を正しく検出することは難しい。

【0006】

以上のように、画像を用いた各種の自動判定処理においては、判定の対象となる対象画像が、誤判定を生じさせやすい画像である場合に、判定精度が低下してしまうという課題があった。本発明の一態様は、誤判定を生じさせやすい画像についても高精度な判定を行うことが可能な情報処理装置等を実現することを目的とする。

【課題を解決するための手段】

【0007】

上記の課題を解決するために、本発明の一態様に係る情報処理装置は、共通の特徴を有する第１の画像群から抽出した複数の特徴量を特徴空間に埋め込んだときに、当該特徴量間の距離が小さくなるように学習することにより生成された分類モデルに対象画像を入力して得られる出力値を取得する取得部と、前記出力値に応じて、前記第１の画像群用の第１の手法、または第１の画像群には属さない画像からなる第２の画像群用の第２の手法を適用して、前記対象画像に関する所定の判定事項を判定する判定部と、を備える。

【0008】

また、上記の課題を解決するために、本発明の一態様に係る判定方法は、情報処理装置が実行する判定方法であって、共通の特徴を有する第１の画像群から抽出した複数の特徴量を特徴空間に埋め込んだときに、当該特徴量間の距離が小さくなるように学習することにより生成された分類モデルに対象画像を入力して得られる出力値を取得する取得ステップと、前記出力値に応じて、前記第１の画像群用の第１の手法、または第１の画像群には属さない画像からなる第２の画像群用の第２の手法を適用して、前記対象画像に関する所定の判定事項を判定する判定ステップと、を含む。

【発明の効果】

【0009】

本発明の一態様によれば、誤判定を生じさせやすい画像についても高精度な判定を行うことが可能になる。

【図面の簡単な説明】

【0010】

【図1】本発明の実施形態１に係る情報処理装置の要部構成の一例を示すブロック図である。

【図2】上記情報処理装置を含む検査システムの概要を示す図である。

【図3】上記情報処理装置による検査の概要を示す図である。

【図4】上記情報処理装置が備える判定部の構成例と、該判定部による欠陥有無の判定方法の例とを示す図である。

【図5】分類モデルにより多数の検査画像から抽出した特徴量を特徴空間に埋め込んだ例を示す図である。

【図6】上記情報処理装置を用いた検査方法の一例を示す図である。

【図7】本発明の実施形態２に係る情報処理装置の要部構成の一例を示すブロック図である。

【図8】上記情報処理装置を用いた検査方法の一例を示す図である。

【図9】本発明の実施形態３に係る情報処理装置の要部構成の一例を示すブロック図である。

【図10】上記情報処理装置を用いた検査方法の一例を示す図である。

【図11】本発明の実施形態４に係る情報処理装置の要部構成の一例を示すブロック図である。

【図12】上記情報処理装置を用いた検査方法の一例を示す図である。

【発明を実施するための形態】

【0011】

〔実施形態１〕
〔システムの概要〕
本発明の一実施形態に係る検査システムの概要を図２に基づいて説明する。図２は、検査システム１００の概要を示す図である。検査システム１００は、検査対象物の画像から、その検査対象物の欠陥の有無を検査するシステムであり、情報処理装置１と超音波探傷装置７を含む。

【0012】

本実施形態では、検査システム１００により、熱交換器の管端溶接部における欠陥の有無を検査する例を説明する。なお、管端溶接部とは、熱交換器を構成する複数の金属製の管と、それらの管を束ねる金属製の管板とを溶接した部分である。また、管端溶接部における欠陥とは、当該管端溶接部の内部に空隙が生じる欠陥である。なお、上記管および管板は、アルミニウム等の非鉄金属製であってもよいし、樹脂製であってもよい。また、検査システム１００によれば、例えばごみ焼却施設などで利用されるボイラ設備の管台と管の溶接部（付け根溶接部）における欠陥の有無の検査も行うことができる。無論、検査部位は溶接部に限られず、検査対象は熱交換器に限られない。

【0013】

検査の際には、図２に示すように、接触媒質を塗布した探触子を管端から挿入し、この探触子により管の内壁面側から管端溶接部に向けて超音波を伝搬させ、そのエコーを計測する。管端溶接部内に空隙が生じる欠陥が発生していた場合、その空隙からのエコーが計測されるので、これを利用して欠陥を検出することができる。なお、上記接触媒質とその塗布方法は超音波画像が取得できるようなものであればよい。例えば、接触媒質を水としてもよい。接触媒質を水とした場合、水をポンプで探触子周辺に供給してもよい。

【0014】

例えば、図２の左下に示す探触子周辺の拡大図において、矢印Ｌ３で示す超音波は管端溶接部内の空隙のない部位に伝搬している。このため、矢印Ｌ３で示す超音波のエコーは計測されない。一方、矢印Ｌ２で示す超音波は、管端溶接部内の空隙のある部位に向けて伝搬しているため、この空隙で反射した超音波のエコーが計測される。

【0015】

また、管端溶接部の周縁部でも超音波が反射するので、周縁部に伝搬した超音波のエコーも計測される。例えば、矢印Ｌ１で示す超音波は、管端溶接部よりも管端側に伝搬しているから、管端溶接部には当たらず、管端溶接部の管端側の管表面で反射する。よって、矢印Ｌ１で示す超音波により、管の表面からのエコーが計測される。また、矢印Ｌ４で示す超音波は、管端溶接部の管奥側の管表面で反射するので、そのエコーが計測される。

【0016】

管端溶接部は、管の周囲３６０度にわたって存在するため、所定角度（例えば１度）ずつ探触子を回転させながら繰り返し計測を行う。そして、探触子による計測結果を示すデータは超音波探傷装置７に送信される。例えば、探触子は、複数のアレイ素子からなるアレイ探触子であってもよい。アレイ探触子であれば、アレイ素子の配列方向が管の延伸方向と一致するように配置することにより、管の延伸方向に幅のある管端溶接部を効率よく検査することができる。なお、上記アレイ探触子は、アレイ素子が縦横それぞれ複数配列されたマトリクスアレイ探触子であってもよい。

【0017】

超音波探傷装置７は、探触子による計測結果を示すデータを用いて、管および管端溶接部に伝搬させた超音波のエコーを画像化した超音波画像を生成する。図２には、超音波探傷装置７が生成する超音波画像の一例である超音波画像１１１を示している。なお、情報処理装置１が超音波画像１１１を生成する構成としてもよい。この場合、超音波探傷装置７は、探触子による計測結果を示すデータを情報処理装置１に送信する。

【0018】

超音波画像１１１においては、計測されたエコーの強度が各ピクセルのピクセル値として表されている。また、超音波画像１１１の画像領域は、管に対応する管領域ａｒ１と、管端溶接部に対応する溶接領域ａｒ２と、管端溶接部の周囲からのエコーが現れる周縁エコー領域ａｒ３およびａｒ４とに分けることができる。

【0019】

上述のように、探触子から矢印Ｌ１で示す方向に伝搬された超音波は、管端溶接部の管端側の管表面で反射する。また、この超音波は、管内面でも反射し、これらの反射は繰り返し生じる。このため、超音波画像１１１における矢印Ｌ１に沿った周縁エコー領域ａｒ３には、繰り返しのエコーａ１～ａ４が現れている。また、探触子から矢印Ｌ４で示す方向に伝搬された超音波も管外面と管内面で繰り返し反射する。このため、超音波画像１１１における矢印Ｌ４に沿った周縁エコー領域ａｒ４には、繰り返しのエコーａ６～ａ９が現れている。周縁エコー領域ａｒ３およびａｒ４に現れるこれらのエコーは底面エコーとも呼ばれる。

【0020】

探触子から矢印Ｌ３で示す方向に伝搬された超音波は、これを反射するものがないため、超音波画像１１１における矢印Ｌ３に沿った領域にはエコーが現れない。一方、探触子から矢印Ｌ２で示す方向に伝搬された超音波は、管端溶接部内の空隙すなわち欠陥部位で反射し、これにより超音波画像１１１における矢印Ｌ２に沿った領域にはエコーａ５が現れている。

【0021】

詳細は以下で説明するが、情報処理装置１は、このような超音波画像１１１を解析して、管端溶接部に欠陥があるか否かを検査する。また、情報処理装置１は、欠陥の種類についても判定してもよい。例えば、情報処理装置１は、欠陥ありと判定した場合に、その欠陥が、管端溶接部における欠陥として知られる、初層溶込み不良、溶接パス間の融合不良、アンダカット、およびブローホールの何れに該当するかを判定してもよい。

【0022】

以上のように、検査システム１００は、管端溶接部の超音波画像１１１を生成する超音波探傷装置７と、超音波画像１１１を解析して、管端溶接部に欠陥があるか否かを検査する情報処理装置１とを含む。そして、詳細は以下説明するが、情報処理装置１は、ノイズを含まない画像群から抽出した複数の特徴量を特徴空間に埋め込んだときに、当該特徴量間の距離が小さくなるように学習することにより生成された分類モデルに、超音波画像１１１から生成された検査画像を入力して得られる出力値を取得し、この出力値に応じて、ノイズを含まない画像用の第１の手法、またはノイズを含む画像用の第２の手法を適用して、欠陥の有無を判定する。これにより、超音波画像１１１に、欠陥部位におけるエコーと外観が紛らわしいノイズが含まれていた場合であっても、欠陥の有無を高精度に判定することが可能になる。

【0023】

〔情報処理装置の構成〕
情報処理装置１の構成について図１に基づいて説明する。図１は、情報処理装置１の要部構成の一例を示すブロック図である。図１に示すように、情報処理装置１は、情報処理装置１の各部を統括して制御する制御部１０と、情報処理装置１が使用する各種データを記憶する記憶部１１とを備えている。また、情報処理装置１は、情報処理装置１に対する入力操作を受け付ける入力部１２と、情報処理装置１がデータを出力するための出力部１３とを備えている。

【0024】

制御部１０には、検査画像生成部１０１、判定部１０２Ａ、判定部１０２Ｂ、判定部１０２Ｃ、信頼度判定部１０３、総合判定部（判定部）１０４、および分類部（取得部）１０５、が含まれている。また、記憶部１１には、超音波画像１１１と検査結果データ１１２が記憶されている。なお、以下では、判定部１０２Ａ、判定部１０２Ｂ、および判定部１０２Ｃを区別する必要がないときには単に判定部１０２と記載する。

【0025】

検査画像生成部１０１は、超音波画像１１１から検査対象領域を切り出して、検査対象物の欠陥の有無を判定するための検査画像を生成する。検査画像の生成方法については後述する。

【0026】

判定部１０２は、総合判定部（判定部）１０４と共に、対象画像から所定の判定事項を判定する。本実施形態では、検査画像生成部１０１が生成する検査画像が上記対象画像であり、検査画像に写る熱交換器の管端溶接部の溶接欠陥の有無が上記所定の判定事項である例を説明する。以下では、溶接欠陥を単に欠陥と略記する場合がある。

【0027】

なお、判定対象である「欠陥」の定義は、検査の目的などに応じて予め定めておけばよい。例えば、製造した熱交換器の管端溶接部の品質検査であれば、管端溶接部の内部の空隙または管端溶接部の表面の許容できない凹みに起因するエコーが検査画像に写っていることを「欠陥」ありとしてもよい。このような凹みは例えば溶け落ちによって生じる。欠陥の有無は、正常な製品と異なる部位（異常部位）の有無と言い換えることもできる。また、一般に、非破壊検査の分野では、超音波波形や超音波画像を用いて検出された異常部位は「きず」と呼ばれる。このような「きず」も上記「欠陥」の範疇に含まれる。また、上記「欠陥」には欠損やひび割れ等も含まれる。

【0028】

判定部１０２Ａ、判定部１０２Ｂ、および判定部１０２Ｃは、何れも検査画像生成部１０１が生成する検査画像から欠陥の有無を判定するが、以下説明するように、その判定方法がそれぞれ異なっている。

【0029】

判定部１０２Ａは、機械学習により生成された学習済みモデルに検査画像を入力して得られる出力値に基づいて欠陥の有無を判定する。より詳細には、判定部１０２Ａは、機械学習により生成された学習済みモデルである生成モデルに検査画像を入力することにより生成された生成画像を用いて欠陥の有無を判定する。また、判定部１０２Ｂは、検査画像の各ピクセル値を解析することにより当該検査画像における検査対象部位を特定し、特定した検査対象部位のピクセル値に基づいて欠陥の有無を判定する。

【0030】

また、判定部１０２Ｃも判定部１０２Ａと同様に、機械学習により生成された学習済みモデルに検査画像を入力して得られる出力値に基づいて欠陥の有無を判定する。より詳細には、判定部１０２Ｃは、検査画像を入力することにより欠陥の有無を出力するように機械学習された判定モデルに検査画像を入力することにより得られた出力値に基づいて欠陥の有無を判定する。判定部１０２Ａ～１０２Ｃによる判定の詳細および使用する各種モデルについては後述する。

【0031】

信頼度判定部１０３は、判定部１０２Ａ～１０２Ｃの各判定結果について、その確からしさを示す指標である信頼度を判定する。具体的には、信頼度判定部１０３は、判定部１０２Ａが判定結果を導出する際に用いた検査画像を、判定部１０２Ａ用の信頼度予測モデルに入力して得られる出力値から、当該検査画像について判定するときの判定部１０２Ａの信頼度を判定する。

【0032】

判定部１０２Ａ用の信頼度予測モデルは、テスト画像に対して、そのテスト画像に基づく判定部１０２Ａによる判定の結果の正否を正解データとして対応付けた教師データを用いた学習により生成することができる。テスト画像は、欠陥の有無が既知の超音波画像１１１から生成したものであればよい。

【0033】

このようにして生成した信頼度予測モデルに検査画像１１１Ａを入力すると、その検査画像１１１Ａを用いて判定部１０２Ａが判定を行ったときの判定結果が正しいものとなる確率を示す０～１までの間の値が出力される。よって、信頼度判定部１０３は、信頼度予測モデルの出力値を、判定部１０２Ａの判定結果の信頼度とすることができる。また、判定部１０２Ｂ用の信頼度予測モデルと、判定部１０２Ｃ用の信頼度予測モデルについても同様に生成することができる。そして、信頼度判定部１０３は、判定部１０２Ｂの判定結果の信頼度については判定部１０２Ｂ用の信頼度予測モデルを用いて判定し、判定部１０２Ｃの判定結果の信頼度については判定部１０２Ｃ用の信頼度予測モデルを判定する。

【0034】

総合判定部１０４は、判定部１０２Ａ～１０２Ｃの各判定結果と、信頼度判定部１０３が判定した信頼度とを用いて欠陥の有無を判定する。これにより、検査画像に応じた信頼度で判定部１０２Ａ～１０２Ｃの判定結果を適切に考慮した判定結果を得ることができる。総合判定部１０４による判定方法の詳細は後述する。

【0035】

分類部１０５は、所定の分類モデルを用いて検査画像を分類する。詳細は図５に基づいて説明するが、分類モデルは、共通の特徴を有する第１の画像群から抽出した複数の特徴量を特徴空間に埋め込んだときに、当該特徴量間の距離が小さくなるように学習することにより生成されたモデルである。上記共通の特徴とはノイズを含まないことである。分類部１０５は、この分類モデルに検査画像を入力することにより得られる出力値を取得する。

【0036】

そして、判定部１０２は、分類部１０５が取得する上記の出力値に応じて、第１の画像群用の第１の手法、または第１の画像群には属さない画像からなる第２の画像群用の第２の手法を適用して欠陥の有無を判定する。

【0037】

具体的には、分類部１０５が取得した出力値は、検査画像がノイズありの画像であるか、ノイズなしの画像であるかを示している。そして、この出力値がノイズなしの画像であることを示している場合、ノイズなしの検査画像用の第１の手法が適用される。一方、この出力値がノイズありの画像であることを示している場合、ノイズありの検査画像用の第２の手法が適用される。

【0038】

上記第１の手法は、具体的には、判定部１０２Ａ～１０２Ｃの各判定結果と、信頼度判定部１０３が判定するそれらの信頼度とを用いて、総合判定部１０４が欠陥の有無を判定するという手法である。一方、上記第２の手法は、判定部１０２Ｂが欠陥の有無を判定するという手法である。

【0039】

超音波画像１１１は、上述のように、検査対象物に伝搬させた超音波のエコーを画像化することにより得られる画像であり、超音波探傷装置７によって生成される。

【0040】

検査結果データ１１２は、情報処理装置１による欠陥検査の結果を示すデータである。検査結果データ１１２には、記憶部１１に記憶された超音波画像１１１についての欠陥の有無が記録される。また、欠陥の種類を判定した場合には、欠陥の種類の判定結果を検査結果データ１１２として記録してもよい。

【0041】

以上のように、情報処理装置１は、ノイズなしの画像群（共通の特徴を有する第１の画像群）から抽出した複数の特徴量を特徴空間に埋め込んだときに、当該特徴量間の距離が小さくなるように学習することにより生成された分類モデルに検査画像を入力して得られる出力値を取得する分類部１０５と、この出力値に応じて、第１の画像群用の第１の手法、またはノイズありの画像群（第１の画像群には属さない画像からなる第２の画像群）用の第２の手法を適用して、欠陥の有無（検査画像に関する所定の判定事項）を判定する判定部１０２と、を備えている。

【0042】

上記の分類モデルは、特徴量を特徴空間に埋め込んだときに、当該特徴量間の距離が小さくなるように学習することにより生成されたものである。このため、検査画像が誤判定を生じさせやすい、ノイズを含む画像であっても、それを上記分類モデルに入力すれば、検査画像の特徴量がノイズなしの第１の画像群の特徴量と近いか否かを示す出力値を得ることができる。

【0043】

つまり、検査画像の特徴量が、ノイズなしの第１の画像群の特徴量に近ければ、その検査画像はノイズを含まない可能性が高いといえる。一方、検査画像の特徴量がノイズなしの第１の画像群の特徴量から乖離していれば、その検査画像はノイズを含む可能性が高いといえる。不定形のノイズは、一般的に、その形状の多様さにより十分な教師データを集めることが難しく、それゆえ機械学習により生成された学習済みモデルによりノイズの有無を判定することは難しい。しかし、上記の出力値を用いれば、検査画像がノイズを含むか否かを判別することも可能である。

【0044】

そして、上記の構成によれば、上記の出力値に応じて、ノイズを含まない画像用の第１の手法またはノイズを含む画像用の第２の手法を適用して判定事項の判定を行う。これにより、検査画像の特徴に応じた妥当な手法を適用することが可能になり、誤判定を生じさせやすい検査画像についても高精度な判定を行うことも可能になる。

【0045】

〔検査の概要〕
情報処理装置１による検査の概要を図３に基づいて説明する。図３は、情報処理装置１による検査の概要を示す図である。なお、図３では、超音波探傷装置７によって生成された超音波画像１１１が情報処理装置１の記憶部１１に記憶された後の処理を示している。

【0046】

まず、検査画像生成部１０１が、超音波画像１１１から検査対象領域を抽出して検査画像１１１Ａを生成する。検査対象領域の抽出には、機械学習により構築した抽出モデルを用いてもよい。抽出モデルは、画像からの領域抽出に適した任意の学習モデルで構築することができる。例えば、検査画像生成部１０１は、抽出精度や処理速度に優れたＹＯＬＯ（You Only Look Once）等により抽出モデルを構築してもよい。

【0047】

上記検査対象領域は、検査対象物における検査対象部位の周縁部からのエコーが繰り返し現れる２つの周縁エコー領域ａｒ３、ａｒ４に挟まれた領域である。図２に示したように、超音波画像１１１における検査対象部位の周縁部には、当該周縁部の形状等に起因する所定のエコーが繰り返し観察される（エコーａ１～ａ４およびａ６～ａ９）。よって、このようなエコーが繰り返し現れる周縁エコー領域ａｒ３およびａｒ４の位置から超音波画像１１１における検査対象部位に対応する領域を特定することができる。なお、検査対象部位の周縁部に所定のエコーが現れるのは管端溶接部の超音波画像１１１に限られない。このため、周縁エコー領域に囲まれた領域を検査対象領域として抽出する構成は管端溶接部以外の検査においても適用可能である。

【0048】

次に、分類部１０５による検査画像１１１Ａの分類が行われる。そして、分類部１０５によりノイズ有りに分類された検査画像１１１Ａについては、上述のように第２の手法により欠陥の有無が判定される。具体的には、図３に示すように、ノイズ有りに分類された検査画像１１１Ａについては、判定部１０２Ｂが数値解析により欠陥の有無を判定する。そして、この結果が検査結果データ１１２に追加される。また判定部１０２Ｂは、判定結果を出力部１３に出力させてもよい。

【0049】

一方、分類部１０５によりノイズ無しに分類された検査画像１１１Ａについては、第１の手法により欠陥の有無が判定される。具体的には、まず、判定部１０２Ａ、判定部１０２Ｂ、および判定部１０２Ｃによって、検査画像１１１Ａに基づく欠陥の有無の判定が行われる。判定内容の詳細は後述する。

【0050】

次に、信頼度判定部１０３によって、判定部１０２Ａ、判定部１０２Ｂ、および判定部１０２Ｃの各判定結果の信頼度が判定される。具体的には、判定部１０２Ａの判定結果の信頼度は、判定部１０２Ａ用の信頼度予測モデルに検査画像１１１Ａを入力することにより得られる出力値から判定される。同様に、判定部１０２Ｂの判定結果の信頼度は、判定部１０２Ｂ用の信頼度予測モデルに検査画像１１１Ａを入力することにより得られる出力値から判定される。また、判定部１０２Ｃの判定結果の信頼度は、判定部１０２Ｃ用の信頼度予測モデルに検査画像１１１Ａを入力することにより得られる出力値から判定される。

【0051】

そして、総合判定部１０４は、判定部１０２Ａ、判定部１０２Ｂ、および判定部１０２Ｃの各判定結果と、それらの判定結果について信頼度判定部１０３が判定した信頼度とを用いて、欠陥の有無を総合判定し、その総合判定の結果を出力する。この結果は、検査結果データ１１２に追加される。また、総合判定部１０４は、総合判定の結果を出力部１３に出力させてもよい。

【0052】

総合判定においては、判定部１０２の判定結果を数値で表し、信頼度判定部１０３が判定した信頼度を重みとして用いてもよい。例えば、判定部１０２Ａ、判定部１０２Ｂ、および判定部１０２Ｃが、欠陥ありと判定した場合には判定結果として「１」を出力し、欠陥なしと判定した場合には判定結果として「－１」を出力するとする。また、信頼度判定部１０３は、０から１の数値範囲の信頼度（１に近いほど信頼度が高い）を出力するとする。

【0053】

この場合、総合判定部１０４は、判定部１０２Ａ、判定部１０２Ｂ、および判定部１０２Ｃの出力する「１」または「－１」の数値に、信頼度判定部１０３が出力する信頼度を乗じた値を合算した合計値を算出してもよい。そして、総合判定部１０４は、算出した合計値が所定の閾値より大きいか否かに基づいて欠陥の有無を判定してもよい。

【0054】

例えば、上記閾値を、欠陥ありを示す「１」と欠陥なしを示す「－１」の中間の値である「０」に設定したとする。そして、判定部１０２Ａ、判定部１０２Ｂ、および判定部１０２Ｃの出力値がそれぞれ「１」、「－１」、「１」であり、その信頼度がそれぞれ「０．８７」、「０．５１」、「０．９５」であったとする。

【0055】

この場合、総合判定部１０４は、１×０．８７＋（－１）×０．５１＋１×０．９５の計算を行う。この計算の結果は、１．３１となり、この値は閾値である「０」より大きいから、総合判定部１０４による総合判定の結果は、欠陥ありということになる。

【0056】

〔判定部１０２Ａによる判定〕
上述のように、判定部１０２Ａは、生成モデルに検査画像を入力することにより生成された生成画像を用いて欠陥の有無を判定する。この生成モデルは、欠陥のない検査対象物の画像を訓練データとした機械学習により、入力された画像と同様の特徴を有する新たな画像を生成するように構築されたものである。なお、上記「特徴」とは、画像から得られる任意の情報であり、例えば画像中のピクセル値の分布状態や分散なども上記「特徴」に含まれる。

【0057】

上記生成モデルは、欠陥のない検査対象物の画像を訓練データとした機械学習により構築されたものである。このため、欠陥がない検査対象物の画像を検査画像としてこの生成モデルに入力した場合、その検査画像と同様の特徴を有する新たな画像が生成画像として出力される可能性が高い。

【0058】

一方、欠陥がある検査対象物の画像を検査画像としてこの生成モデルに入力した場合、その検査画像のどのような位置にどのような形状およびサイズの欠陥が写っていたとしても、生成画像は検査画像とは異なる特徴を有するものとなる可能性が高い。

【0059】

このように、欠陥が写っている検査画像から生成された生成画像と、欠陥が写っていない検査画像から生成された生成画像とには、生成モデルに入力した対象画像が正しく復元されないか、正しく復元されるかという差異が生じる。

【0060】

したがって、上記生成モデルにより生成された生成画像を用いて欠陥の有無を判定する判定部１０２Ａの判定結果を考慮して総合判定を行う情報処理装置１によれば、位置、サイズ、および形状等が不定の欠陥の有無の判定を精度よく行うことが可能になる。

【0061】

以下、判定部１０２Ａによる判定の詳細を図４に基づいて説明する。図４は、判定部１０２Ａの構成例と、判定部１０２Ａによる欠陥有無の判定方法の例とを示す図である。図４に示すように、判定部１０２Ａには、検査画像取得部１０２１と、復元画像生成部１０２２と、欠陥有無判定部１０２３が含まれている。

【0062】

検査画像取得部１０２１は、検査画像を取得する。情報処理装置１は、上記のとおり検査画像生成部１０１を備えているから、検査画像取得部１０２１は、検査画像生成部１０１が生成した検査画像を取得する。なお、検査画像は、他の装置で生成してもよい。この場合、検査画像取得部１０２１は他の装置が生成した検査画像を取得する。

【0063】

復元画像生成部１０２２は、検査画像取得部１０２１が取得した検査画像を生成モデルに入力することによって、入力した検査画像と同様の特徴を有する新たな画像を生成する。以下では、復元画像生成部１０２２が生成する画像を復元画像と呼ぶ。詳細は後述するが、復元画像の生成に用いる生成モデルは、オートエンコーダとも呼ばれるものであり、欠陥のない検査対象物の画像を訓練データとした機械学習により構築される。なお、生成モデルは、オートエンコーダを改良あるいは改変したモデルであってもよい。例えば、生成モデルとして変分オートエンコーダ等を適用してもよい。

【0064】

欠陥有無判定部１０２３は、復元画像生成部１０２２が生成した復元画像を用いて検査対象物の欠陥の有無を判定する。具体的には、欠陥有無判定部１０２３は、検査画像と復元画像とのピクセルごとの差分値の分散が所定の閾値を超える場合に、検査対象物に欠陥があると判定する。

【0065】

以上の構成を備える判定部１０２Ａによる欠陥有無の判定方法においては、まず、検査画像取得部１０２１が検査画像１１１Ａを取得する。そして、検査画像取得部１０２１は、取得した検査画像１１１Ａを復元画像生成部１０２２に送る。検査画像１１１Ａは、上述したとおり検査画像生成部１０１が超音波画像１１１から生成したものである。

【0066】

次に、復元画像生成部１０２２は、検査画像１１１Ａを生成モデルに入力し、その出力値に基づいて復元画像１１１Ｂを生成する。そして、検査画像取得部１０２１は、検査画像１１１Ａから周縁エコー領域を除去して除去画像１１１Ｃを生成すると共に、復元画像１１１Ｂから周縁エコー領域を除去して除去画像（復元）１１１Ｄを生成する。なお、検査画像１１１Ａに写る周縁エコー領域の位置およびサイズは、検査対象物が同じであれば概ね一定となる。このため、検査画像取得部１０２１は、検査画像１１１Ａにおける所定の範囲を周縁エコー領域として除去してもよい。また、検査画像取得部１０２１は、検査画像１１１Ａを解析して周縁エコー領域を検出し、その検出結果に基づいて周縁エコー領域を除去してもよい。

【0067】

以上のようにして周縁エコー領域を除去することにより、欠陥有無判定部１０２３は、復元画像１１１Ｂの画像領域から、周縁エコー領域を除いた残りの画像領域を対象として欠陥の有無を判定することになる。これにより、周縁部からのエコーの影響を受けることなく欠陥の有無を判定することができ、欠陥の有無の判定精度を向上させることができる。

【0068】

次に、欠陥有無判定部１０２３が、欠陥の有無を判定する。具体的には、欠陥有無判定部１０２３は、まず、除去画像１１１Ｃと除去画像（復元）１１１Ｄについて、ピクセル単位で差分を計算する。次に、欠陥有無判定部１０２３は、計算した差分の分散を算出する。そして、欠陥有無判定部１０２３は、算出した分散の値が所定の閾値を超えるか否かにより、欠陥の有無を判定する。

【0069】

ここで、欠陥に起因するエコーが写るピクセルについて算出された差分値は、他のピクセルについて算出された差分値と比べて大きな値となる。このため、欠陥に起因するエコーが写る検査画像１１１Ａに基づく除去画像１１１Ｃと除去画像（復元）１１１Ｄについて算出された差分値の分散は大きくなる。

【0070】

一方、欠陥に起因するエコーが写っていない検査画像１１１Ａに基づく除去画像１１１Ｃと除去画像（復元）１１１Ｄについては、差分値の分散は相対的に小さくなる。これは、欠陥に起因するエコーが写っていない場合、ノイズ等の影響である程度ピクセル値が大きな値となる箇所が生じ得るが、極端にピクセル値が大きな箇所が生じる可能性は低いためである。

【0071】

このように、差分値の分散が大きくなるのは、検査対象物に欠陥がある場合に特徴的な事象である。したがって、欠陥有無判定部１０２３が、上記差分値の分散が所定の閾値を超える場合に欠陥があると判定する構成とすれば、欠陥の有無を適切に判定することができる。

【0072】

なお、周縁エコー領域を除去するタイミングは上記の例に限られない。例えば、検査画像１１１Ａと復元画像１１１Ｂの差分画像を生成して、この差分画像から周縁エコー領域を除去してもよい。

【0073】

〔判定部１０２Ｂによる判定〕
上述のように、判定部１０２Ｂは、検査対象物の画像である検査画像の各ピクセル値を解析することにより当該検査画像における検査対象部位を特定し、特定した検査対象部位のピクセル値に基づいて欠陥の有無を判定する。

【0074】

画像を用いた従来の検査では、画像における検査対象部位を特定し、特定した部位にキズや設計上は存在しない空隙などの欠陥が写っていないかを確認する処理を検査員が目視で行っている。このような目視による検査は、省力化、精度安定化等の観点から自動化することが求められている。

【0075】

判定部１０２Ｂは、画像の各ピクセル値を解析することにより検査対象部位を特定し、特定した検査対象部位のピクセル値に基づいて欠陥の有無を判定する。よって、上記のような目視による検査を自動化することができる。そして、情報処理装置１は、ノイズ無しに分類された検査画像については、判定部１０２Ｂの判定結果と他の判定部１０２の判定結果とを総合的に考慮して判定を行うので、欠陥の有無の判定を精度よく行うことが可能になる。また、情報処理装置１は、ノイズ有りに分類された検査画像については、ピクセル値を解析することにより、ノイズを欠陥と誤認することなく欠陥の有無を精度よく判定することが可能になる。

【0076】

以下、判定部１０２Ｂが実行する処理（数値解析）の内容をより詳細に説明する。まず、判定部１０２Ｂは、検査画像において、検査対象部位の周縁部からのエコーが繰り返し現れる２つの周縁エコー領域（図２の例の周縁エコー領域ａｒ３およびａｒ４）に挟まれた領域を検査対象部位として特定する。そして、判定部１０２Ｂは、特定した検査対象部位に閾値以上のピクセル値からなる領域（欠陥領域とも呼ぶ）が含まれるか否かによって欠陥の有無を判定する。

【0077】

判定部１０２Ｂは、周縁エコー領域の検出および欠陥領域の検出にあたり、まず、検査画像１１１Ａを所定の閾値で二値化して二値化画像を生成してもよい。そして、判定部１０２Ｂは、二値化画像から周縁エコー領域を検出する。例えば、図３に示す検査画像１１１Ａにはエコーａ１、ａ２、ａ６、ａ７が写っている。判定部１０２Ｂは、これらのエコーとノイズ成分とを区分できるような閾値でこの検査画像１１１Ａを二値化すれば、二値化画像からこれらのエコーを検出することができる。そして、判定部１０２Ｂは、検出したそれらエコーの端部を検出し、それらの端部に囲まれる領域を検査対象部位として特定することができる。

【0078】

より詳細には、判定部１０２Ｂは、エコーａ１またはａ２の右端部を検査対象部位の左端部と特定し、エコーａ６またはａ７の左端部を検査対象部位の右端部と特定する。これらの端部は、周縁エコー領域ａｒ３およびａｒ４と検査対象部位との境界である。同様に、判定部１０２Ｂは、エコーａ１またはａ６の上端部を検査対象部位の上端部と特定し、エコーａ２またはａ７の下端部を検査対象部位の下端部と特定する。

【0079】

なお、図２に示した超音波画像１１１のように、欠陥に起因するエコーがエコーａ１やａ６よりも上方側に表れることがあるため、判定部１０２Ｂは、エコーａ１またはａ６の上端部の位置よりも上方側に検査対象部位の上端を設定してもよい。

【0080】

さらに、判定部１０２Ｂは、二値化画像において特定した上記検査対象部位を解析して、欠陥に起因するエコーが写っているか否かを判定することができる。例えば、判定部１０２Ｂは、検査対象部位に所定数以上のピクセルからなる連続領域が存在する場合に、その連続領域が存在する位置に欠陥に起因するエコーが写っていると判定してもよい。

【0081】

なお、上記の数値解析は一例であり、数値解析の内容は上記の例に限られない。例えば、欠陥がある場合と無い場合とで、検査対象部位におけるピクセル値の分散に有意差がある場合には、判定部１０２Ｂは、分散の値に基づいて欠陥の有無を判定してもよい。

【0082】

また、例えば、判定部１０２Ｂは、超音波ビームシミュレータによるシミュレーション結果に基づく数値解析により、欠陥の有無を判定してもよい。超音波ビームシミュレータは、試験体の任意の位置に設定された人工きずについて、その人工きずを探傷した際の反射エコーの高さを出力するものである。よって、判定部１０２Ｂは、超音波ビームシミュレータが出力する、様々な位置の人工きずに対応する反射エコーの高さと、検査画像における反射エコーとを比較することにより、欠陥の有無や位置を判定することができる。

【0083】

〔判定部１０２Ｃによる判定〕
上述のように、判定部１０２Ｃは、判定モデルに検査画像を入力することにより得られた出力値に基づいて欠陥の有無を判定する。この判定モデルは、例えば、欠陥のある検査対象物の超音波画像１１１を用いて生成された教師データと、欠陥のない検査対象物の超音波画像１１１を用いて生成された教師データとを用いて機械学習を行うことにより構築されたものである。

【0084】

上記判定モデルは、画像の分類に適した任意の学習モデルで構築することができる。例えば、画像の分類精度に優れた畳み込みニューラルネットワーク等によりこの判定モデルを構築してもよい。

【0085】

〔分類モデルについて〕
分類部１０５が検査画像の分類に用いる分類モデルについて図５に基づいて説明する。図５は、上記分類モデルにより多数の検査画像から抽出した特徴量を特徴空間に埋め込んだ例を示す図である。

【0086】

この分類モデルは、検査対象物の画像群のうちノイズなしの画像群（第１の画像群）から抽出した特徴量を特徴空間に埋め込んだときに、当該特徴量間の距離が小さくなるように学習することにより生成したものである。より詳細には、この分類モデルは、ノイズなし・欠陥ありの画像群から抽出した特徴量間の距離が小さくなるように、また、ノイズなし・欠陥なしの画像群から抽出した特徴量間の距離が小さくなるように学習することにより生成されたものである。つまり、この分類モデルは、検査画像を、ノイズなし・欠陥ありと、ノイズなし・欠陥なしとの２クラスに分類するモデルである。

【0087】

図５に示す特徴空間は、横軸をｘ、縦軸をｙとする二次元の特徴空間である。また、図５には特徴量を抽出した検査画像の一部についても図示している（検査画像１１１Ａ１～１１１Ａ５）。図５に示す検査画像のうち、検査画像１１１Ａ１、１１１Ａ２は、ノイズも欠陥も写っていない、ノイズなし・欠陥なしの画像である。一方、検査画像１１１Ａ３、１１１Ａ４は、領域ＡＲ１、ＡＲ２にノイズが写っているノイズありの画像である。また、検査画像１１１Ａ５は、ノイズは写っていないが欠陥のエコーａ１０が写っているノイズなし・欠陥ありの画像である。

【0088】

図示のように、上述のような学習により生成した分類モデルを用いて各検査画像から抽出した特徴量を特徴空間に埋め込むと、同じクラスに属する検査画像の特徴量は相互に近接した位置にプロットされる。

【0089】

具体的には、検査画像１１１Ａ１および１１１Ａ２のような、ノイズなし・欠陥なしの検査画像の特徴量は、点Ｐ１を中心とする半径ｒ１の円Ｃ１の中に概ね収まっている。また、検査画像１１１Ａ５のような、ノイズなし・欠陥ありの検査画像の特徴量は、点Ｐ２を中心とする半径ｒ２の円Ｃ２の中に概ね収まっている。

【0090】

一方、検査画像１１１Ａ３、１１１Ａ４のような、ノイズありの検査画像の特徴量は、円Ｃ１からも円Ｃ２からも離れた位置にプロットされている。このことから、検査画像をノイズなし・欠陥ありとノイズなし・欠陥なしの２クラスに分類するモデルを用いることにより、ノイズありの検査画像とノイズなしの検査画像とを識別することが可能であることがわかる。

【0091】

例えば、分類部１０５は、上記分類モデルに検査画像を入力して得られる特徴量が円Ｃ１内にプロットされる場合には、当該検査画像を欠陥なしと分類してもよい。また、分類部１０５は、上記分類モデルに検査画像を入力して得られる特徴量が円Ｃ２内にプロットされる場合には、当該検査画像を欠陥ありと分類してもよい。そして、分類部１０５は、上記分類モデルに検査画像を入力して得られる特徴量が円Ｃ１および円Ｃ２の何れにも含まれない位置にプロットされる場合には、当該検査画像をノイズありと分類してもよい。

【0092】

なお、円Ｃ１の半径ｒ１と円Ｃ２の半径ｒ２は同じであってもよいし、異なっていてもよい。例えば、半径ｒ１と半径ｒ２のそれぞれを適当な値に設定してもよい。また、例えば、教師データの特徴量プロットにおける中心から、そこから最も離れたプロットまでの距離を半径に設定してもよい。この他にも、例えば、教師データの特徴量プロットにおける標準偏差（σ）を２倍した値を半径としてもよい。

【0093】

また、検査画像の特徴量のプロットの位置を、０から１までの数値で表してもよい。例えば、点Ｐ１の位置を（０，０）とし、点Ｐ２の位置を（０，１）として、検査画像の特徴量の各プロットを、点Ｐ１と点Ｐ２を結ぶ直線Ｌ上に投影してもよい。

【0094】

この場合、直線Ｌ上における、点ｐ１１から点ｐ１２までの範囲に特徴量がプロットされた場合には、その検査画像をノイズなし・欠陥なしと判定することができる。なお、点ｐ１１は、円Ｃ１と直線Ｌ１との交点のうち円Ｃ２に近い側の交点である。また、点ｐ１２は、円Ｃ１と直線Ｌ１との交点のうち円Ｃ２から遠い側の交点である。

【0095】

同様に、直線Ｌ上における、点ｐ２１から点ｐ２２までの範囲に特徴量がプロットされた場合には、その検査画像をノイズなし・欠陥ありと判定することができる。なお、点ｐ２１は、円Ｃ２と直線Ｌ１との交点のうち円Ｃ１に近い側の交点である。また、点ｐ２２は、円Ｃ２と直線Ｌ１との交点のうち円Ｃ１から遠い側の交点である。

【0096】

そして、点ｐ１１から点ｐ２１までの範囲に特徴量がプロットされた場合には、その検査画像をノイズありと判定することができる。

【0097】

なお、直線Ｌにおける点Ｐ１よりも外側（円Ｃ２が存在する方向と逆側）のプロットの値は０とみなし、直線Ｌにおける点Ｐ２よりも外側（円Ｃ１が存在する方向と逆側）のプロットの値は１とみなしてもよい。また、円Ｃ１の内部のプロットの値も０とみなし、円Ｃ２の内部のプロットの値も１とみなしてもよい。この場合、プロットの値が０となった検査画像は欠陥なし、プロットの値が１となった検査画像は欠陥あり、プロットの値が０と１以外の値となった検査画像はノイズありと分類される。

【0098】

また、ノイズなし・欠陥なしの検査画像のみ、あるいはノイズなし・欠陥ありの検査画像のみを学習させた分類モデルを用いた場合であっても、同様に検査画像をノイズありとノイズなしに分類することが可能である。

【0099】

以上のように、分類部１０５は、ノイズなしの画像群から抽出した複数の特徴量を特徴空間に埋め込んだときに、当該特徴量間の距離が小さくなるように学習することにより生成された分類モデルの出力値を用いることにより、検査画像をノイズありとノイズなしに分類することが可能である。なお、分類モデルは、分類結果を示す出力値（例えば各クラスの確信度）を出力するように設計してもよいし、特徴量を出力するように設計してもよい。なお、確信度とは、分類結果の確からしさを示す０～１の数値である。

【0100】

上述のような分類モデルは、例えば、深層距離学習（deep metric learning）により生成することができる。深層距離学習は、特徴空間に埋め込んだ特徴量について、クラスが同じデータの特徴量間の距離Ｓｎは小さく、クラスが異なるデータの特徴量間の距離Ｓｐは大きくなるように学習するという手法である。学習の際に、特徴量間の距離は、ユークリッド距離等で表してもよいし角度で表してもよい。

【0101】

なお、本発明の発明者らは、畳み込みニューラルネットワークの分類モデルを用いたノイズありの検査画像とノイズなしの検査画像との分類についても試みたが、この分類モデルでの分類は難しかった。よって、ノイズありの検査画像とノイズなしの検査画像との識別には、特徴量を特徴空間に埋め込んだときに、当該特徴量間の距離が小さくなるように学習することにより生成された分類モデルを用いることが重要であるといえる。

【0102】

〔検査における処理の流れ〕
検査における処理（判定方法）の流れを図６に基づいて説明する。図６は、情報処理装置１を用いた検査方法の一例を示す図である。なお、図６の処理の開始時点では、図２に基づいて説明した手法により生成した、管端溶接部とその周縁部の探傷のための超音波画像１１１が記憶部１１に記憶されていて、検査画像生成部１０１がその超音波画像１１１から検査画像を生成済みであるとする。

【0103】

Ｓ１１では、分類部１０５が、検査画像生成部１０１によって生成された検査画像を取得する。続いて、Ｓ１２（取得ステップ）では、分類部１０５は、Ｓ１１で取得した検査画像を上述の分類モデルに入力して、当該分類モデルの出力値を取得する。そして、Ｓ１３では、分類部１０５は、Ｓ１２で取得した出力値に基づいて、Ｓ１１で取得した検査画像がノイズありの検査画像であるかノイズなしの検査画像であるかを判定する。

【0104】

Ｓ１３でノイズありの検査画像であると判定された場合（Ｓ１３でＹＥＳ）、処理はＳ１７に進む。そして、Ｓ１７（判定ステップ）では、ノイズありの検査画像用の第２の手法、すなわち検査画像のピクセル値を数値解析する判定部１０２Ｂにより、当該検査画像における欠陥の有無が判定され、その判定結果が検査結果データ１１２に記録される。

【0105】

一方、Ｓ１３でノイズなしの検査画像であると判定された場合（Ｓ１３でＮＯ）、処理はＳ１４に進む。そして、Ｓ１４～Ｓ１６（判定ステップ）で、ノイズなしの検査画像用の第１の手法、すなわち学習済みモデルを用いて欠陥の有無を判定する判定部１０２Ａ、１０２Ｃ等により、当該検査画像における欠陥の有無が判定される。

【0106】

具体的には、Ｓ１４では、判定部１０２Ａ、１０２Ｂ、および１０２Ｃのそれぞれにより欠陥の有無が判定される。また、続くＳ１５では、信頼度判定部１０３により、判定部１０２Ａ、１０２Ｂ、および１０２Ｃのそれぞれの判定結果の信頼度が判定される。なお、Ｓ１５の処理はＳ１４より先に行ってもよいし、Ｓ１４と並行で行ってもよい。

【0107】

そして、Ｓ１６では、総合判定部１０４が、Ｓ１４の各判定結果と、Ｓ１５で判定された信頼度とを用いて、欠陥の有無を判定する。具体的には、総合判定部１０４は、判定部１０２Ａ～１０２Ｃの各判定結果を示す数値に、それらの信頼度に応じた重み付けをして加算することにより得られた数値を用いて欠陥の有無を判定する。また、総合判定部１０４は、この判定結果を検査結果データ１１２に追加する。

【0108】

例えば、判定部１０２Ａ～１０２Ｃの判定結果は、－１（欠陥なし）または１（欠陥あり）の数値で表すことができる。この場合、信頼度が０～１の数値で算出されていれば、その信頼度の値をそのまま重みとして判定結果に乗じてもよい。

【0109】

具体例を挙げれば、判定部１０２Ａの判定結果は欠陥あり、判定部１０２Ｂの判定結果は欠陥なし、判定部１０２Ｃの判定結果は欠陥あり、であったとする。また、判定部１０２Ａ～１０２Ｃの判定結果の信頼度はそれぞれ０．８７、０．５１、０．９５であったとする。この場合、総合判定部１０４は、１×０．８７＋（－１）×０．５１＋１×０．９５の演算を行い、この結果である１．３１との数値を得る。

【0110】

そして、総合判定部１０４は、この数値と所定の閾値とを比較し、算出した数値が閾値より大きければ欠陥ありと判定してもよい。欠陥なしを「－１」、欠陥ありを「１」の数値で表す場合、閾値はこれらの数値の中間値である「０」とすればよい。この場合、１．３１＞０であるから、総合判定部１０４による最終的な判定結果は欠陥ありとなる。

【0111】

以上のように、本実施形態に係る判定方法は、情報処理装置１が実行する判定方法であって、ノイズなしの画像群（共通の特徴を有する第１の画像群）から抽出した複数の特徴量を特徴空間に埋め込んだときに、それら特徴量間の距離が小さくなるように学習することにより生成された分類モデルに検査画像を入力して得られる出力値を取得する取得ステップ（Ｓ１２）と、前記出力値に応じて、ノイズなしの検査画像用の第１の手法、またはノイズありの検査画像（第１の画像群には属さない画像からなる第２の画像群）用の第２の手法を適用して、欠陥の有無（検査画像に関する所定の判定事項）を判定する判定ステップ（第１の手法を適用した場合Ｓ１４～Ｓ１６、第２の手法を適用した場合Ｓ１７）と、を含む。よって、誤判定を生じさせやすい画像についても高精度な判定を行うことが可能になる。

【0112】

また、ノイズなしの検査画像は、判定部１０２Ａ、１０２Ｃが実行するような、機械学習により生成された学習済みモデルに検査画像を入力して得られる出力値に基づく判定が有効な画像である。このため、上述の図６の例のように、第１の手法には学習済みモデルを用いて判定を行う処理が少なくとも含まれ、第２の手法には上述した数値解析を行う処理が少なくとも含まれるようにすることが好ましい。

【0113】

ノイズなしの検査画像については、検査対象物の欠陥と外観が類似した部分が含まれないことから、機械学習により生成された学習済みモデルを用いた判定が有効である。よって、ノイズなしの検査画像については、機械学習により生成された学習済みモデルを用いて判定を行う処理を含めることにより、高精度な判定結果が期待できる。

【0114】

ここで、ノイズは不定型であり、また、検査対象物の欠陥と外観が類似しているため、ノイズありの検査画像については、機械学習により生成された学習済みモデルを用いた判定が有効でない場合がある。しかし、そのような検査画像であっても数値解析であれば妥当な判定が行える場合がある。

【0115】

よって、ノイズありの検査画像については数値解析を含む第２の手法で欠陥の有無を判定する上記の構成によれば、検査画像が学習済みモデルを用いた判定が有効なものでない場合にも、妥当な判定結果が期待できる。すなわち、上記の構成によれば、検査画像が学習済みモデルを用いた判定が有効なものである場合にも、そうでない場合にも、妥当な判定を行うことが可能になる。

【0116】

なお、第１の手法には、機械学習により生成された学習済みモデルを用いた判定処理が少なくとも１つ含まれていればよい。例えば、第１の手法には、判定部１０２Ａおよび１０２Ｃによる判定処理の一方のみを含めてもよい。また、第２の手法には、判定部１０２Ｂによる判定処理に加えて、判定部１０２Ａ、１０２Ｃ等の他の手法による判定処理を含めてもよい。ただし、この場合、判定部１０２Ｂによる判定結果の重みを、他の手法による判定結果よりも重くすることが望ましい。

【0117】

〔実施形態２〕
本発明の他の実施形態について、以下に説明する。なお、説明の便宜上、上記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。これは実施形態３以降も同様である。

【0118】

〔装置構成〕
本実施形態に係る情報処理装置１Ａの構成を図７に基づいて説明する。図７は、情報処理装置１Ａの要部構成の一例を示すブロック図である。情報処理装置１Ａは、図１に示した情報処理装置１と比べて、分類部１０５を備えていない点と、判定部１０２Ｘおよび判定方法決定部（取得部）１０６を備えている点で相違している。

【0119】

判定部１０２Ｘは、実施形態１で説明した分類モデルを用いて欠陥の有無を判定する。より詳細には、判定部１０２Ｘは、分類モデルに検査画像を入力することにより得られた出力値に基づいて欠陥の有無を判定する。

【0120】

例えば、判定部１０２Ｘは、図５の例のような、ノイズなし・欠陥ありの画像群から抽出した特徴量間の距離が小さくなるように、また、ノイズなし・欠陥なしの画像群から抽出した特徴量間の距離が小さくなるように学習することにより生成された分類モデルを用いてもよい。判定部１０２Ｘは、この分類モデルに検査画像を入力することにより得られる出力値から、その検査画像がノイズなし・欠陥なしの検査画像であるか、ノイズなし・欠陥ありの検査画像であるかを判定することができる。

【0121】

判定方法決定部１０６は、判定部１０２Ｘが上記の判定に用いる分類モデルの出力値を取得する。そして、判定方法決定部１０６は、上記の出力値が、ノイズなし・欠陥なしとノイズなし・欠陥ありの何れかに該当することを示している場合に、当該検査画像にはノイズなしと判定し、ノイズなしの検査画像用の第１の手法を適用することを決定する。一方、判定方法決定部１０６は、上記の出力値が、ノイズなし・欠陥なしとノイズなし・欠陥ありの何れにも該当しないことを示している場合に、当該検査画像にはノイズありと判定し、ノイズありの検査画像用の第２の手法を適用することを決定する。

【0122】

〔処理の流れ〕
情報処理装置１Ａが実行する処理（判定方法）の流れを図８に基づいて説明する。図８は、情報処理装置１Ａを用いた検査方法の一例を示す図である。なお、図８の処理の開始時点では、超音波画像１１１が記憶部１１に記憶されていて、検査画像生成部１０１がその超音波画像１１１から検査画像を生成済みであるとする。

【0123】

Ｓ２１では、全ての判定部１０２、すなわち判定部１０２Ａ、１０２Ｂ、１０２Ｃ、および１０２Ｘが、検査画像生成部１０１によって生成された検査画像を取得する。そして、Ｓ２２では、Ｓ２１で検査画像を取得した全ての判定部１０２が、それぞれ当該検査画像を用いて欠陥の有無を判定する。

【0124】

Ｓ２３（取得ステップ）では、判定方法決定部１０６が、Ｓ２２において判定部１０２Ｘが分類モデルに検査画像を入力して得た出力値を取得する。そして、判定方法決定部１０６は、取得した上記出力値に基づいて、Ｓ２１で取得された検査画像がノイズありの検査画像であるかノイズなしの検査画像であるかを判定する。

【0125】

Ｓ２３でノイズありの検査画像であると判定した場合（Ｓ２３でＹＥＳ）、判定方法決定部１０６は判定部１０２Ｂに判定を実行するように指示し、処理はＳ２６に進む。そして、Ｓ２６（判定ステップ）では、ノイズありの検査画像用の第２の手法、すなわち検査画像のピクセル値を数値解析する判定部１０２Ｂにより、当該検査画像における欠陥の有無が判定され、その判定結果が検査結果データ１１２に追加される。

【0126】

なお、判定部１０２Ｂによる判定はＳ２２で既に行われているから、Ｓ２３でＹＥＳと判定された場合には、Ｓ２６の処理を行う代わりにＳ２２における判定部１０２の判定結果を、最終的な判定結果として検査結果データ１１２に追加するようにしてもよい。

【0127】

Ｓ２３でノイズなしの検査画像であると判定した場合（Ｓ２３でＮＯ）、判定方法決定部１０６は、信頼度判定部１０３と総合判定部１０４に判定を行うように指示し、処理はＳ２４に進む。そして、Ｓ２４～Ｓ２５（判定ステップ）で、ノイズなしの検査画像用の第１の手法、すなわちＳ２２における複数の手法による各判定結果を総合して最終的な判定を行う手法により、当該検査画像における欠陥の有無が判定される。

【0128】

具体的には、Ｓ２４では、信頼度判定部１０３が、判定部１０２Ａ、１０２Ｂ、１０２Ｃ、および１０２Ｘのそれぞれの判定結果の信頼度を判定する。判定部１０２Ａ、１０２Ｂ、１０２Ｃの判定結果の信頼度の判定方法は実施形態１で説明したとおりである。判定部１０２Ｘの判定結果の信頼度は、実施形態１で説明した判定部１０２Ａ用の信頼度予測モデルと同様にして、判定部１０２Ｘ用の信頼度予測モデルを生成しておき、これを用いて判定すればよい。

【0129】

そして、Ｓ２５では、総合判定部１０４が、Ｓ２２の各判定結果と、Ｓ２４で判定された信頼度とを用いて、欠陥の有無を判定する。そして、総合判定部１０４は、この判定結果を検査結果データ１１２に追加する。

【0130】

ノイズなしの検査画像は、判定部１０２Ａ、１０２Ｃが実行するような、機械学習により生成された学習済みモデルに検査画像を入力して得られる出力値に基づく判定が有効な画像である。このため、第１の手法を、複数の手法による欠陥の有無の判定結果を総合して最終的な判定を行う手法とする場合、その手法には、機械学習により生成された学習済みモデルを用いて判定する手法を含めることが好ましい。そして、その手法には分類モデルの出力値に基づいて判定する手法についても含めることが好ましい。また、この場合、第２の手法は、検査画像のピクセル値を数値解析することにより判定する手法とすることが好ましい。

【0131】

上記の構成によれば、ノイズなしの検査画像用の判定手法である第１の手法が、複数の手法を用いて判定した上で、各判定結果を総合して最終的な判定を行う手法であり、複数の手法には、判定部１０２Ａと１０２Ｃによる、学習済みモデルを用いて判定を行う手法が含まれている。ノイズなしの検査画像については、学習済みモデルを用いた判定が有効であるから、これにより高精度な判定が可能になる。さらに、この判定には、分類モデルの出力値に基づいて判定事項を判定した判定部１０２Ｘの判定結果も加味されるので、判定精度のさらなる向上も期待できる。

【0132】

また、上記の構成によれば、ノイズありの検査画像用の判定手法である第２の手法が、判定部１０２Ｂが、検査画像のピクセル値を数値解析することにより判定を行う手法である。ノイズありの検査画像では学習済みモデルを用いた判定が有効でない場合があるが、そのような場合でも数値解析であれば妥当な判定が行える場合がある。

【0133】

よって、上記の構成によれば、検査画像が学習済みモデルを用いた判定が有効なものである場合にも、そうでない場合にも、妥当な判定を行うことが可能になる。

【0134】

〔実施形態３〕
〔装置構成〕
本実施形態に係る情報処理装置１Ｂの構成を図９に基づいて説明する。図９は、情報処理装置１Ｂの要部構成の一例を示すブロック図である。情報処理装置１Ｂは、検査画像生成部１０１と、判定部１０２Ｂと、判定部１０２Ｙと、判定方法決定部（取得部）１０６と、を備えている。

【0135】

判定部１０２Ｙは、実施形態２の判定部１０２Ｘと同様に、分類モデルを用いて欠陥の有無を判定する。より詳細には、判定部１０２Ｙは、分類モデルに検査画像を入力することにより得られた出力値に基づいて欠陥の有無を判定する。

【0136】

例えば、図５の例のような、ノイズなし・欠陥ありの画像群から抽出した特徴量間の距離が小さくなるように、また、ノイズなし・欠陥なしの画像群から抽出した特徴量間の距離が小さくなるように学習することにより生成された分類モデルを用いてもよい。判定部１０２Ｙは、この分類モデルに検査画像を入力することにより得られる出力値から、その検査画像がノイズなし・欠陥なしの検査画像であるか、ノイズなし・欠陥ありの検査画像であるかを判定することができる。

【0137】

〔処理の流れ〕
情報処理装置１Ｂが実行する処理（判定方法）の流れを図１０に基づいて説明する。図１０は、情報処理装置１Ｂを用いた検査方法の一例を示す図である。なお、図１０の処理の開始時点では、超音波画像１１１が記憶部１１に記憶されていて、検査画像生成部１０１がその超音波画像１１１から検査画像を生成済みであるとする。

【0138】

Ｓ３１では、判定部１０２Ｙが、検査画像生成部１０１によって生成された検査画像を取得する。そして、Ｓ３２（判定ステップ）では、判定部１０２Ｙは、Ｓ３１で取得した検査画像を用いて欠陥の有無を判定する。

【0139】

Ｓ３３（取得ステップ）では、判定方法決定部１０６が、Ｓ３２において判定部１０２Ｘが分類モデルに検査画像を入力して得た出力値を取得し、その出力値に基づいて、Ｓ３１で取得された検査画像がノイズありの検査画像であるかノイズなしの検査画像であるかを判定する。

【0140】

Ｓ３３でノイズありの検査画像であると判定した場合（Ｓ３３でＹＥＳ）、判定方法決定部１０６は判定部１０２Ｂに判定を実行するように指示し、処理はＳ３５に進む。そして、Ｓ３５（判定ステップ）では、ノイズありの検査画像用の第２の手法、すなわち検査画像のピクセル値を数値解析する判定部１０２Ｂにより、当該検査画像における欠陥の有無が判定され、その判定結果が検査結果データ１１２に追加される。

【0141】

一方、判定方法決定部１０６は、Ｓ３３でノイズなしの検査画像であると判定した場合（Ｓ３３でＮＯ）、Ｓ３４の処理に進む。そして、Ｓ３４では、判定方法決定部１０６は、Ｓ３２の判定結果を、最終的な判定結果として検査結果データ１１２に追加させる。

【0142】

本実施形態では、実施形態１、２と同様に、検査画像に写る検査対象物の欠陥の有無、すなわち異常部位があるか否かを判定する。欠陥部分を異常部位と呼ぶ場合、ノイズは異常部位と外観が類似しているから、ノイズありの画像群に含まれる画像は、異常部位と外観が類似した疑似異常部位を含む画像であるといえる。また、ノイズなしの画像群に含まれる検査画像は、疑似異常部位を含まない画像であるといえる。

【0143】

そして、判定部１０２Ｙが用いる分類モデルの出力値は、検査象画像が、ノイズありの画像群に属するか、ノイズなしの画像群に属しかつ異常部位を含む画像であるか、または、ノイズなしの画像群に属しかつ異常部位を含まない画像であるかを示す。この場合、上述の例のように、第１の手法には、分類モデルの上記出力値に基づいて検査対象物に異常部位があるか否かを判定する処理を含めてもよい。そして、第２の手法には、検査画像のピクセル値を数値解析することにより検査対象物に異常部位があるか否かを判定する処理を含めてもよい。

【0144】

上記の構成によれば、ノイズなしの画像群に含まれる検査画像については、第１の手法が適用され、分類モデルの出力値に基づいて異常部位の有無が判定される。上述のように、この分類モデルは、ノイズなし・欠陥ありの画像群から抽出した特徴量間の距離が小さくなるように、また、ノイズなし・欠陥なしの画像群から抽出した特徴量間の距離が小さくなるように学習することにより生成されたものである。このため、この分類モデルを用いて判定を行うことにより、検査画像が、ノイズなし・欠陥ありの画像に該当するか、ノイズなし・欠陥なしの画像に該当するかを精度よく判定することが可能である。

【0145】

ただし、上記分類モデルを用いても、疑似異常部位と異常部位の識別が難しいことも考えられる。そこで、上記の構成によれば、分類モデルの出力値がノイズありの画像（第２の画像群）に属することを示している検査画像、つまり疑似異常部位を含む検査画像については、判定部１０２Ｂが、検査画像のピクセル値を数値解析することにより検査対象物に異常部位があるか否かを判定する。これにより、異常部位との識別が難しい疑似異常部位を含む検査画像についても、異常部位の有無を精度よく判定することが可能になる。

【0146】

よって、上記の構成によれば、疑似異常部位を含む検査画像についても、疑似異常部位を含まない検査画像についても、妥当な判定を行うことが可能になる。無論、第１の手法には、判定部１０２Ｂによる判定処理や、実施形態１で説明した判定部１０２Ａ、１０２Ｃ等による判定処理を含めてもよい。同様に、第２の手法には、判定部１０２Ｂによる判定処理に加えて、判定部１０２Ｙによる判定処理や、実施形態１で説明した判定部１０２Ａ、１０２Ｃ等による判定処理を含めてもよい。

【0147】

なお、Ｓ３２において、判定部１０２Ｙは、検査画像を、ノイズなし・欠陥あり、ノイズなし・欠陥なし、ノイズあり・欠陥あり、ノイズあり・欠陥なしの計４クラスに分類する分類モデルを用いて判定を行ってもよい。このような分類モデルは、ノイズあり・欠陥ありの画像群から抽出した特徴量間の距離が小さくなるように、また、ノイズあり・欠陥なしの画像群から抽出した特徴量間の距離が小さくなるように学習することにより生成することができる。

【0148】

この場合、Ｓ３５では、判定部１０２Ｙによるノイズあり・欠陥ありまたはノイズあり・欠陥なしの判定結果と、判定部１０２Ｂによる欠陥の有無の判定結果の両方を最終的な判定結果としてもよい。また、それらの判定結果を総合して、最終的な判定結果を決定してもよい。複数の判定結果は、例えば実施形態１、２と同様に信頼度に基づいて総合することができる。ただし、この場合、判定部１０２Ｂの判定結果に対する重みを、判定部１０２Ｙの判定結果よりも重くすることが望ましい。

【0149】

〔実施形態４〕
〔装置構成〕
本実施形態に係る情報処理装置１Ｃの構成を図１１に基づいて説明する。図１１は、情報処理装置１Ｃの要部構成の一例を示すブロック図である。情報処理装置１Ｃは、検査画像生成部１０１と、判定部１０２Ａ～１０２Ｃと、信頼度判定部１０３と、総合判定部１０４と、重み設定部（取得部）１０７と、総合重み決定部１０８と、を備えている。

【0150】

重み設定部１０７は、ノイズなしの画像群（共通の特徴を有する第１の画像群）から抽出した複数の特徴量を特徴空間に埋め込んだときに、当該特徴量間の距離が小さくなるように学習することにより生成された分類モデルに対象画像を入力して得られる出力値を取得する。

【0151】

そして、重み設定部１０７は、取得した上記出力値に基づいて、判定部１０２Ａ～１０２Ｃの各判定結果を総合する際の各判定結果に対する重みを設定する。具体的には、重み設定部１０７は、ノイズなしの検査画像用の第１の手法を適用する場合、機械学習により生成された学習済みモデルを用いる判定部１０２Ａおよび１０２Ｃの判定結果に対する重みを、数値解析する手法を用いる判定部１０２Ｂの判定結果に対する重みよりも重くする。一方、重み設定部１０７は、ノイズありの検査画像用の第２の手法を適用する場合、判定部１０２Ｂの判定結果に対する重みを、判定部１０２Ａおよび１０２Ｃの判定結果に対する重みよりも重くする。

【0152】

なお、具体的な重み値の決定方法は予め定めておけばよい。例えば、図５の例のような、ノイズなし・欠陥ありの画像群から抽出した特徴量間の距離が小さくなるように、また、ノイズなし・欠陥なしの画像群から抽出した特徴量間の距離が小さくなるように学習することにより生成された分類モデルを用いるとする。

【0153】

この場合、重み設定部１０７は、特徴空間における、検査画像から抽出した特徴量のプロットの座標値を、所定の数式により０以上１以下の重み値に換算してもよい。この場合、重み値の算出の手順は、例えば次のようになる。（１）特徴空間における、検査画像から抽出した特徴量のプロットの位置からノイズなし・欠陥なしのクラスの中心点である点Ｐ１までの距離を算出する。（２）上記（１）と同様に、検査画像から抽出した特徴量のプロットの位置からノイズなし・欠陥ありのクラスの中心点である点Ｐ２までの距離についても算出する。（３）算出した距離のうち何れか短い方の距離を、所定の数式に代入して重み値を算出する。

【0154】

上記数式は、上記距離と重み値を変数とする関数であり、上記距離が短いほど、判定部１０２Ａおよび１０２Ｃの判定結果の重み値が大きくなるような数式である。また、この数式に、半径ｒ１またはｒ２よりも短い距離を代入した場合、判定部１０２Ａおよび１０２Ｃの判定結果について、判定部１０２Ｂの判定結果の重み値と同等あるいは同等以上の重み値が算出されるようになっている。なお、上記「同等」には同じ値も含まれる。一方、この数式に、半径ｒ１またはｒ２よりも長い距離を代入した場合、判定部１０２Ａおよび１０２Ｃの判定結果について、判定部１０２Ｂの判定結果の重み値よりも小さい値の重み値が算出されるようになっている。

【0155】

また、重み設定部１０７は、例えば、信頼度判定部１０３が信頼度を判定する手法と同様の手法を用いて重み値を決定してもよい。この場合、重み設定部１０７は、実施形態２で説明した判定部１０２Ｘ用の信頼度予測モデルを用いて、上記分類モデルの出力値の信頼度を算出する。そして、重み設定部１０７は、算出した信頼度が高いほど、判定部１０２Ａおよび１０２Ｃの判定結果に対する重み値をより大きい値に設定すればよい。

【0156】

これにより、上記分類モデルによる分類の成功率が高かった画像と類似しており、判定部１０２Ａおよび１０２Ｃの判定結果が妥当である可能性が高い検査画像については、判定部１０２Ａおよび１０２Ｃの判定結果に対する重み値が大きくなる。一方、上記画像と非類似であり、判定部１０２Ａおよび１０２Ｃの判定結果が妥当でない可能性が高い検査画像については、判定部１０２Ｂの判定結果に対する重み値が大きくなる。

【0157】

また、例えば、分類モデルの出力値が、検査画像がノイズなし画像であることの確信度を示す値であった場合、重み設定部１０７は、各判定結果に対する重みを、その確信度が所定の閾値以上であるか否かに応じた所定値に設定してもよい。例えば、重み設定部１０７は、上記確信度が０．８以上であった場合に、判定部１０２Ａ、１０２Ｃの重みをそれぞれ０．４とし、判定部１０２Ｂの重みを０．２としてもよい。この場合、重み設定部１０７は、上記確信度が０．８未満であった場合には、判定部１０２Ａ、１０２Ｃの重みをそれぞれ０．２とし、判定部１０２Ｂの重みを０．６としてもよい。

【0158】

総合重み決定部１０８は、重み設定部１０７が設定する重みと、信頼度判定部１０３が判定する信頼度とを用いて、判定部１０２Ａ～１０２Ｃによる各判定結果を総合する際の重み（以下、総合重みと呼ぶ）を算出する。総合重みは、重み設定部１０７が設定する重みと、信頼度判定部１０３が判定する信頼度の両方が反映されたものであればよい。例えば、総合重み決定部１０８は、重み設定部１０７が設定する重みと、信頼度判定部１０３が判定する信頼度の算術平均値を総合重みとしてもよい。

【0159】

〔処理の流れ〕
情報処理装置１Ｃが実行する処理（判定方法）の流れを図１２に基づいて説明する。図１２は、情報処理装置１Ｃを用いた検査方法の一例を示す図である。なお、図１２の処理の開始時点では、超音波画像１１１が記憶部１１に記憶されていて、検査画像生成部１０１がその超音波画像１１１から検査画像を生成済みであるとする。

【0160】

Ｓ４１では、全ての判定部１０２、すなわち判定部１０２Ａ、１０２Ｂ、および１０２Ｃが、検査画像生成部１０１によって生成された検査画像を取得する。また、重み設定部１０７と信頼度判定部１０３も検査画像を取得する。そして、Ｓ４２では、Ｓ４１で検査画像を取得した全ての判定部１０２が、それぞれ当該検査画像を用いて欠陥の有無を判定する。

【0161】

Ｓ４３（取得ステップ）では、重み設定部１０７が、Ｓ４１で取得した検査画像を分類モデルに入力してその出力値を取得する。そして、Ｓ４４では、重み設定部１０７は、Ｓ４３で取得した出力値に応じた重みを算出する。

【0162】

具体的には、重み設定部１０７は、Ｓ４３で取得した出力値が、検査画像がノイズなし画像であることを示している場合には、判定部１０２Ｂの判定結果よりも、判定部１０２Ａおよび１０２Ｃの判定結果の重みを重くする。一方、重み設定部１０７は、Ｓ４３で取得した出力値が、検査画像がノイズあり画像であることを示している場合には、判定部１０２Ａおよび１０２Ｂの判定結果よりも、判定部１０２Ｂの判定結果の重みを重くする。

【0163】

Ｓ４５では、信頼度判定部１０３が、判定部１０２Ａ、１０２Ｂ、および１０２Ｃのそれぞれの判定結果の信頼度を判定する。なお、Ｓ４５の処理はＳ４２～Ｓ４４より先に行ってもよいし、Ｓ４２～Ｓ４４の何れかの処理と並行で行ってもよい。

【0164】

Ｓ４６では、総合重み決定部１０８が、Ｓ４４で算出された重みと、Ｓ４５で算出された信頼度とを用いて総合重みを算出する。例えば、判定部１０２Ａ～１０２Ｃの重みがそれぞれ０．２、０．７、０．１と設定され、信頼度がそれぞれ０．３、０．４、０．３と判定されたとする。この場合、総合重み決定部１０８は、判定部１０２Ａ～１０２Ｃの総合重みを、それぞれ０．２５、０．５５、０．２と算出してもよい。

【0165】

Ｓ４７では、総合判定部１０４が、Ｓ４２の各判定結果と、Ｓ４６で算出された総合重みとを用いて、欠陥の有無を判定する。なお、総合重みを用いた判定は、実施形態１、２で説明した信頼度を用いた判定と同様である。そして、総合判定部１０４は、この判定結果を検査結果データ１１２に追加する。

【0166】

ノイズなしの検査画像は、判定部１０２Ａ、１０２Ｃが実行するような、機械学習により生成された学習済みモデルに検査画像を入力して得られる出力値に基づく判定が有効な画像である。このため、第１の手法を、複数の手法による欠陥の有無の判定結果を総合して最終的な判定を行う手法とする場合、その手法には、機械学習により生成された学習済みモデルを用いて判定する手法を含めることが好ましい。そして、その手法には検査画像のピクセル値を数値解析することにより判定する手法についても含めてもよい。

【0167】

この場合、重み設定部１０７は、ノイズなしの検査画像用の第１の手法が適用されるときには、学習済みモデルを用いる判定部１０２Ａおよび１０２Ｃの判定結果に対する重みを、数値解析する判定部１０２Ｂの判定結果に対する重みと同等あるいは同等以上とすることが好ましい。基本的には重み設定部１０７は、各判定結果に対する重みを同等としておき、信頼度判定部１０３の判定する信頼度に基づいて最終的な判定結果が算出されるようにすればよい。一方、重み設定部１０７は、ノイズありの検査画像用の第２の手法が適用されるときには、数値解析する判定部１０２Ｂの判定結果に対する重みを、学習済みモデルを用いる判定部１０２Ａおよび１０２Ｃの判定結果に対する重みよりも重くすることが好ましい。

【0168】

上記の構成によれば、ノイズなしの検査画像用の判定手法である第１の手法が適用される場合、機械学習により生成された学習済みモデルを用いる手法の判定結果に対する重みを、数値解析する手法の判定結果に対する重みよりも重くするかまたは同じ重みにする。ノイズなしの検査画像については、機械学習により生成された学習済みモデルを用いた判定が有効であるから、これにより高精度な判定が可能になる。

【0169】

また、上記の構成によれば、ノイズありの検査画像用の判定手法である第２の手法が適用される場合、数値解析する手法の判定結果に対する重みを、学習済みモデルを用いる手法の判定結果に対する重みよりも重くする。ノイズありの検査画像では学習済みモデルを用いた判定が有効でない場合があるが、そのような場合でも数値解析であれば妥当な判定が行える場合があるため、上記の構成によれば、妥当な判定結果が得られる可能性を高めることができる。

【0170】

よって、上記の構成によれば、検査画像が学習済みモデルを用いた判定が有効なものである場合にも、そうでない場合にも、妥当な判定を行うことが可能になる。

【0171】

また、以上のように、情報処理装置１Ｃは、検査画像に基づいて各判定部１０２の信頼度を判定する信頼度判定部１０３を備えている。そして、総合判定部１０４は、判定部１０２による各判定結果と、信頼度判定部１０３が判定した信頼度と、重み設定部１０７が設定した重みとを用いて判定を行う。この構成によれば、検査画像に応じて各判定結果を適切に考慮して最終的な判定結果を導出することが可能になる。

【0172】

〔欠陥の種類判定〕
上記各実施形態では、欠陥の有無を判定する例を説明したが、欠陥の有無の判定に加えて、あるいは欠陥の有無の判定の代わりに、欠陥の種類を判定する構成としてもよい。例えば、実施形態１において、欠陥ありと判定された検査画像を、欠陥の種類を判定するための種類判定モデルに入力し、その出力値から欠陥の種類を判定してもよい。種類判定モデルは、種類が既知の欠陥が写る画像を教師データとして機械学習を行うことにより構築可能である。また、種類判定モデルを使用する代わりに、画像解析等により種類を判定することも可能である。また、判定部１０２が種類判定モデルを用いて判定を行う構成としてもよい。

【0173】

実施形態２においても、判定部１０２Ａ～１０２Ｃが種類判定モデルを用いて判定を行う構成としてもよい。この場合、判定部１０２Ｘが使用する分類モデルは、ノイズの有無に加えて、欠陥の有無および欠陥の種類に基づいて分類するモデルとすればよい。このモデルの学習において、特徴量間の距離は、ユークリッド距離等で表してもよいし、角度で表してもよい。実施形態３においても同様であり、判定部１０２Ｙが、欠陥の種類を判定してもよい。

【0174】

〔応用例〕
上記実施形態では、超音波画像１１１に基づいて管端溶接部の欠陥の有無を判定する例を説明したが、判定事項をどのようなものとするかは任意であり、この判定に用いる対象画像も判定事項に応じた任意の画像とすればよく、上記実施形態の例に限られない。

【0175】

例えば、放射線透過試験（ＲＴ）において、検査対象物の欠陥（異常部位と呼ぶこともできる）の有無を判定する検査に情報処理装置１を適用することもできる。この場合、放射線透過写真の代わりに、イメージングプレートなどの電子デバイスを用いて得られた画像データから異常部位に起因する像を検出することになる。このように、様々なデータを用いた各種非破壊検査に情報処理装置１、１Ａ、１Ｂ、１Ｃを適用することができる。さらに、情報処理装置１、１Ａ、１Ｂ、１Ｃは、非破壊検査以外にも、静止画像や動画像からの物体検出や、検出した物体の分類等の判定にも応用できる。

【0176】

〔変形例〕
上記実施形態では、検査画像を信頼度予測モデルに入力して得られる出力値を信頼度として用いる例を説明したが、信頼度は判定部１０２が判定に用いたデータに基づいて導出されたものであればよく、この例に限られない。

【0177】

例えば、判定部１０２Ｂが検査画像を二値化した二値化画像を用いて欠陥の有無を判定する場合、判定部１０２Ｂ用の信頼度予測モデルは、二値化画像を入力データとするモデルとしてもよい。一方、この場合に、判定部１０２Ｃは検査画像をそのまま用いて欠陥の有無を判定するのであれば、判定部１０２Ｃ用の信頼度予測モデルは、検査画像を入力データとするモデルとしてもよい。このように、各判定部１０２用の信頼度予測モデルに対する入力データは全く同じものである必要はない。

【0178】

また、実施形態１では、３つの判定部１０２を用いる例を説明したが、判定部１０２は２つとしてもよいし、４つ以上としてもよい。また、実施形態１では、３つの判定部１０２の判定方法がそれぞれ異なっているが、判定部１０２の判定方法は同じであってもよい。判定方法が同じ判定部１０２については、その判定に用いる閾値や、その判定に用いる学習済みモデルを構築する教師データを異なるものとしておけばよい。実施形態２、４についても同様であり、使用する判定部１０２の総数は２以上であればよい。

【0179】

また、上記各実施形態で説明した各処理の実行主体は適宜変更することが可能である。例えば、図６のフローチャートにおける、Ｓ１２（ノイズの有無に基づく分類）、Ｓ１４（各判定部１０２による判定）、Ｓ１５（信頼度判定）、Ｓ１６（総合判定）の全部または一部を他の情報処理装置に実行させてもよい。同様に、判定部１０２Ａ～１０２Ｃが実行する処理の一部または全部を他の情報処理装置に実行させてもよい。また、これらの場合、他の情報処理装置は、１つであってもよいし、複数であってもよい。

【0180】

このように、情報処理装置１の機能は、多様なシステム構成で実現することが可能である。また、複数の情報処理装置を含むシステムを構築する場合、一部の情報処理装置はクラウド上に配置されていてもよい。つまり、情報処理装置１の機能は、オンライン上で情報処理を行う１または複数の情報処理装置を利用して実現することもできる。これは、情報処理装置１Ａ、１Ｂ、１Ｃについても同様である。

【0181】

〔ソフトウェアによる実現例〕
情報処理装置１、１Ａ、１Ｂ、１Ｃ（以下、「装置」と呼ぶ）の機能は、当該装置としてコンピュータを機能させるためのプログラムであって、当該装置の各制御ブロック（特に制御部１０に含まれる各部）としてコンピュータを機能させるためのプログラム（判定プログラム）により実現することができる。

【0182】

この場合、上記装置は、上記プログラムを実行するためのハードウェアとして、少なくとも１つの制御装置（例えばプロセッサ）と少なくとも１つの記憶装置（例えばメモリ）を有するコンピュータを備えている。この制御装置と記憶装置により上記プログラムを実行することにより、上記各実施形態で説明した各機能が実現される。

【0183】

上記プログラムは、一時的ではなく、コンピュータ読み取り可能な、１または複数の記録媒体に記録されていてもよい。この記録媒体は、上記装置が備えていてもよいし、備えていなくてもよい。後者の場合、上記プログラムは、有線または無線の任意の伝送媒体を介して上記装置に供給されてもよい。

【0184】

また、上記各制御ブロックの機能の一部または全部は、論理回路により実現することも可能である。例えば、上記各制御ブロックとして機能する論理回路が形成された集積回路も本発明の範疇に含まれる。この他にも、例えば量子コンピュータにより上記各制御ブロックの機能を実現することも可能である。

【0185】

本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

【符号の説明】

【0186】

１、１Ａ、１Ｂ、１Ｃ 情報処理装置
１０２（１０２Ａ、１０２Ｂ、１０２Ｃ、１０２Ｘ、１０２Ｙ） 判定部
１０３ 信頼度判定部
１０４ 総合判定部（判定部）
１０５ 分類部（取得部）
１０６ 判定方法決定部（取得部）
１０７ 重み設定部（取得部）

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】