特許 7490533 超音波画像処理装置および超音波画像処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-05-17

(45)【発行日】2024-05-27

(54)【発明の名称】超音波画像処理装置および超音波画像処理方法

(51)【国際特許分類】

   G01N 29/06 20060101AFI20240520BHJP

【ＦＩ】

G01N29/06

【請求項の数】 10

(21)【出願番号】P 2020182513

(22)【出願日】2020-10-30

(65)【公開番号】P2022072850

(43)【公開日】2022-05-17

【審査請求日】2023-03-01

(73)【特許権者】

【識別番号】000003078

【氏名又は名称】株式会社東芝

(73)【特許権者】

【識別番号】317015294

【氏名又は名称】東芝エネルギーシステムズ株式会社

(74)【代理人】

【識別番号】110001092

【氏名又は名称】弁理士法人サクラ国際特許事務所

(72)【発明者】

【氏名】高橋 栞太

(72)【発明者】

【氏名】菅原 あずさ

【審査官】小澤 瞬

(56)【参考文献】

【文献】特開２０２０－０２８６８０（ＪＰ，Ａ）

【文献】特開２０１７－０７２５０１（ＪＰ，Ａ）

【文献】特開２０２０－１３５２０３（ＪＰ，Ａ）

【文献】特開２００７－２２５３２２（ＪＰ，Ａ）

【文献】特表２０２０－５０３５０９（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｎ ２９／００ － Ｇ０１Ｎ ２９／５２

(57)【特許請求の範囲】

【請求項1】

検査対象について超音波探傷器を有する超音波探傷装置の出力を用いて超音波画像処理装置が生成した対象超音波探傷画像に基づいて、前記検査対象内の欠陥の存在の可能性の高い領域を特定する超音波探傷画像処理装置であって、
外部入力を受け入れる入力部と、
ウィンドウを用いて前記対象超音波探傷画像から複数の対象切り出し画像を切り出す切り出し画像生成部と、
前記複数の対象切り出し画像を記憶する切り出し画像記憶部と、
前記切り出し画像記憶部から読み出した前記複数の対象切り出し画像のそれぞれについて、欠陥が存在する確からしさを示す欠陥確信度を導出する欠陥確信度導出部と、
前記欠陥確信度に基づいて前記複数の対象切り出し画像のそれぞれについて重み値を付加する重み付けを行うことにより重み付け切り出し画像を作成する重み付け付与部と、
前記重み付け切り出し画像にもとづいて、前記対象超音波探傷画像に前記重み付けがなされた対象重み付け探傷画像を作成する重み付け探傷画像作成部と、
を備えることを特徴とする超音波探傷画像処理装置。

【請求項2】

前記重み付け探傷画像作成部が作成した前記対象重み付け探傷画像を出力する出力部をさらに備え、
前記対象重み付け探傷画像は、前記重み値に応じた透過度を有することを特徴とする請求項１に記載の超音波探傷画像処理装置。

【請求項3】

前記外部入力は、前記ウィンドウの所定の大きさを含み、
前記ウィンドウの前記所定の大きさに基づいて、前記ウィンドウのスライド幅および前記複数の対象切り出し画像の枚数を決定するウィンドウ設定部と、
前記ウィンドウの前記所定の大きさ、前記スライド幅、および前記複数の対象切り出し画像の前記枚数を記憶するウィンドウパラメータ記憶部と、
をさらに備えることを特徴とする請求項１または請求項２に記載の超音波探傷画像処理装置。

【請求項4】

前記外部入力は、学習用超音波画像を含み、
前記学習用超音波画像を記憶する学習用超音波画像記憶部と、
前記学習用超音波画像記憶部から前記学習用超音波画像を読み出し前記学習用超音波画像に基づいて学習し前記欠陥確信度を出力する予測器と、
をさらに備え、
前記学習用超音波画像は、その部分的な領域について欠陥の有無についてのラベルが付与されており、
前記学習は、当該ラベルに基づく教師あり学習である、
ことを特徴とする請求項１ないし請求項３のいずれか一項に記載の超音波探傷画像処理装置。

【請求項5】

前記欠陥確信度と前記重み値とを対応付けるテーブルを有する重み値記憶部をさらに備え、
前記重み付け付与部は、前記重み値記憶部に記憶された前記欠陥確信度に対応する前記重み値を得て、前記重み付けを行う、
ことを特徴とする請求項１ないし請求項４のいずれか一項に記載の超音波探傷画像処理装置。

【請求項6】

前記重み付け探傷画像作成部は、互いに隣接する前記重み付け切り出し画像の重複部の前記重み値については、前記重み値が高い方の値とすることを特徴とする請求項５に記載の超音波探傷画像処理装置。

【請求項7】

前記重み付け探傷画像作成部は、互いに隣接する前記重み付け切り出し画像の重複部の前記重み値については、その重み値が中間の値とすることを特徴とする請求項５に記載の超音波探傷画像処理装置。

【請求項8】

検査対象について超音波探傷器を有する超音波探傷装置の出力を用いて超音波画像処理装置が生成した対象超音波探傷画像に基づいて、前記検査対象内の欠陥の存在の可能性の高い領域を特定する超音波探傷画像処理方法であって、
入力部が、外部入力を受け入れる入力ステップと、
切り出し画像生成部が、ウィンドウを用いて前記対象超音波探傷画像から複数の対象切り出し画像を切り出す切り出し画像生成ステップと、
切り出し画像記憶部が、前記複数の対象切り出し画像を記憶する切り出し画像記憶ステップと、
欠陥確信度導出部が、前記切り出し画像記憶部から読み出した前記複数の対象切り出し画像のそれぞれについて、欠陥が存在する確からしさを示す欠陥確信度を導出する欠陥確信度導出ステップと、
重み付け付与部が、前記欠陥確信度に基づいて前記複数の対象切り出し画像のそれぞれについて重み付けを行うことにより重み付け切り出し画像を作成する重み付け付与ステップと、
重み付け探傷画像作成部が、前記重み付け切り出し画像にもとづいて、前記対象超音波探傷画像に前記重み付けがなされた対象重み付け探傷画像を作成する重み付け探傷画像作成ステップと、
を有することを特徴とする超音波探傷画像処理方法。

【請求項9】

前記外部入力は、前記ウィンドウの所定の大きさを含み、
前記切り出し画像生成ステップの前に、
ウィンドウ設定部が、前記ウィンドウの前記所定の大きさに基づいて、前記ウィンドウのスライド幅および前記複数の対象切り出し画像の枚数を決定するウィンドウ設定ステップと、
ウィンドウパラメータ記憶部が、前記ウィンドウの前記所定の大きさ、前記スライド幅、および前記複数の対象切り出し画像の前記枚数を記憶するウィンドウパラメータ記憶ステップと、
をさらに有することを特徴とする請求項８に記載の超音波探傷画像処理方法。

【請求項10】

前記外部入力は、学習用超音波画像を含み、
前記欠陥確信度導出ステップの前に、
学習用超音波画像記憶部が、前記学習用超音波画像を記憶する学習用超音波画像記憶ステップと、
予測器が、前記学習用超音波画像記憶部から前記学習用超音波画像を読み出し前記学習用超音波画像に基づいて学習し前記欠陥確信度を出力する学習ステップと、
をさらに有し、
前記学習用超音波画像は、その部分的な領域について欠陥の有無についてのラベルが付与されており、
前記学習は、当該ラベルに基づく教師あり学習である、
ことを特徴とする請求項８または請求項９に記載の超音波探傷画像処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施形態は、超音波画像処理装置および超音波画像処理方法に関する。

【背景技術】

【0002】

従来、超音波検査技術は、構造物の検査を行う手段として広く使われている。超音波検査によって得られる断面画像から欠陥があるかないかを判定するのは検査員であり、専門知識と経験に基づいて判定を行っている。そのため、検査員の技量によって判定結果にばらつきが生じる場合がある。そこで、超音波検査において、信号処理またはＡＩなどを用いて自動判定する技術が知られている。

【0003】

第１の例としては、超音波画像を機械学習の入力として欠陥検出する技術が知られている。この技術は、超音波画像に欠陥が含まれるか否かを判定するもので、画像中の欠陥の位置までは特定できない。

【0004】

第２の例としては、超音波の応答波形から探傷画像を生成し、パターン認識アルゴリズムを用いて、この探傷画像を正常パターン画像と比較し、正常パターン画像と異なる探傷画像であった場合、その探傷画像内の形状エコーと欠陥エコーを判定することで、欠陥位置を検出する技術が知られている。この技術は欠陥の位置まで特定可能である。

【先行技術文献】

【特許文献】

【0005】

【文献】特表２０２０－５０３５０９号公報

【文献】国際公開第２０１５／００１６２４号

【発明の概要】

【発明が解決しようとする課題】

【0006】

前述の第２の例では、探傷画像に基づいて個々のエコーを含む画像を切り出す作業があるとされているが、作業のアルゴリズムは明記されていない。仮にノイズの強度が大きく、欠陥エコーが不明瞭な画像であった場合や、形状エコーと欠陥エコーが重なり合っている場合には、切出し作業が困難になる可能性があり、欠陥を見逃すおそれがある。

【0007】

また、切り出したエコーを形状エコーと欠陥エコーに分類し、教師データを作成しているが、欠陥エコーか形状エコーかの判断は、常に表示されているか否かで判断しており、溶接部の組織や内在物由来のエコーなども欠陥エコーと判断される可能性がある。

【0008】

そこで、本発明の実施形態は、超音波画像処理において、欠陥の存在の可能性の高い領域をより確実に特定することを目的とする。

【課題を解決するための手段】

【0009】

上述の目的を達成するため、本実施形態に係る超音波画像処理装置は、検査対象について超音波探傷器を有する超音波探傷装置の出力を用いて超音波画像処理装置が生成した対象超音波探傷画像に基づいて、前記検査対象内の欠陥の存在の可能性の高い領域を特定する超音波探傷画像処理装置であって、外部入力を受け入れる入力部と、ウィンドウを用いて前記対象超音波探傷画像から複数の対象切り出し画像を切り出す切り出し画像生成部と、前記複数の対象切り出し画像を記憶する切り出し画像記憶部と、前記切り出し画像記憶部から読み出した前記複数の対象切り出し画像のそれぞれについて、欠陥が存在する確からしさを示す欠陥確信度を導出する欠陥確信度導出部と、前記欠陥確信度に基づいて前記複数の対象切り出し画像のそれぞれについて重み付けを行うことにより重み付け切り出し画像を作成する重み付け付与部と、前記重み付け切り出し画像にもとづいて、前記対象超音波探傷画像に前記重み付けがなされた対象重み付け探傷画像を作成する重み付け探傷画像作成部と、を備えることを特徴とする。

【図面の簡単な説明】

【0010】

【図1】実施形態に係る超音波画像処理装置を含む超音波探傷システムの構成を示すブロック図である。

【図2】実施形態に係る超音波画像処理装置が対象とする超音波探傷画像の生成のための超音波探傷器および検査対象を示す断面図であり、検査対象の表面に垂直方向に超音波送信を行った場合を示す。

【図3】実施形態に係る超音波画像処理装置が対象とする対象超音波探傷画像を示す図であり、検査対象の表面に垂直方向に超音波送信を行った場合を示す。

【図4】実施形態に係る超音波画像処理装置による図３に示す対象超音波探傷画像から対象切り出し画像を生成するウィンドウの説明図である。

【図5】実施形態に係る超音波画像処理装置が対象とする超音波探傷画像の生成のための超音波探傷器および検査対象を示す断面図であり、検査対象の表面に斜め方向に超音波送信を行った場合を示す。

【図6】実施形態に係る超音波画像処理装置が対象とする対象超音波探傷画像を示す図であり、検査対の表面象に斜め方向に超音波送信を行った場合を示す。

【図7】実施形態に係る超音波画像処理装置による図６に示す対象超音波探傷画像から対象切り出し画像を生成するウィンドウの説明図である。

【図8】実施形態に係る超音波画像処理装置を含む超音波画像処理方法の手順を示すフロー図である。

【図9】実施形態に係る超音波画像処理方法における学習用切り出し画像生成ステップの詳細な手順を示すフロー図である。

【図10】実施形態に係る超音波画像処理方法における学習用切り出し画像へのラベル付与に関連する詳細な手順を示すフロー図である。

【図11】実施形態に係る超音波画像処理方法における対象切り出し画像を受け入れた後の、予測器を用いての欠陥確信度計算ステップおよび重み付け探傷画像生成ステップの詳細な手順を示すフロー図である。

【図12】実施形態に係る超音波画像処理方法における対象超音波探傷画像から対象切り出し画像の生成を説明する概念図である。

【図13】実施形態に係る超音波画像処理方法における対象超音波探傷画像から生成した対象切り出し画像を示す概念図である。

【図14】実施形態に係る超音波画像処理方法における対象切り出し画像の予測器により得られた欠陥確信度の例を示す概念図である。

【図15】実施形態に係る超音波画像処理方法における欠陥確信度に基づき重み付けされた重み付け切り出し画像の例を示す概念図である。

【図16】実施形態に係る超音波画像処理方法における欠陥確信度に基づき重み付けされた重み付け切り出し画像の重ね合わせの例を示す概念図である。

【図17】実施形態に係る超音波画像処理方法により得られた対象重み付け探傷画像の例を示す概念図である。

【発明を実施するための形態】

【0011】

以下、図面を参照して、本発明の実施形態に係る超音波画像処理装置および超音波画像処理方法について説明する。ここで、互いに同一または類似の部分には、共通の符号を付して、重複する説明は省略する。

【0012】

図１は、実施形態に係る超音波画像処理装置を含む超音波探傷システム２００の構成を示すブロック図である。

【0013】

超音波探傷システム２００は、超音波探傷器１０、超音波探傷装置２０、超音波画像処理装置３０、および超音波画像処理装置１００を有する。

【0014】

超音波探傷器１０は、検査対象１に超音波を発し、欠陥２から反射した超音波を含めて、反射波を検出する。

【0015】

図１では、超音波探傷器１０として、複数の超音波素子１１が配列された探触子１０ａを有して、超音波探傷装置２０によって電圧の印加が制御され、一定方向に超音波ビームを形成しながら駆動対象の超音波素子を電子走査するフェーズドアレイ超音波探傷方式の場合を例にとって示しているが、これに限定されない。たとえば、駆動させる超音波素子を固定もしくは電子操作しながら超音波ビームを形成する角度を扇状に変化させるセクタ画像方式、任意の座標領域に網羅的に焦点を設けてビームを集束させるＴｏｔａｌ Ｆｏｃｕｓｉｎｇ Ｍｅｔｈｏｄ（ＴＦＭ）、あるいは、いわゆる開口合成法等の超音波を用いた映像化方法などでもよい。さらには、単一プローブを用いて機械的に走査し取得した超音波探傷方法でもよい。

【0016】

超音波画像処理装置３０は、超音波探傷器１０が受信した反射波に基づいて、スキャン方向に沿った対象超音波探傷画像３１（図３）を与える。ここで行う超音波送受信は、１つの超音波素子で超音波を送信し、複数の超音波素子で超音波を受信し、超音波素子ごとに独立した状態で超音波波形を保持することである。超音波波形の振幅を輝度に対応させ、２次元に表示することで断面画像である対象超音波探傷画像３１が得られる。

【0017】

超音波画像処理装置１００は、対象超音波探傷画像３１を受け入れて、検査対象１内の欠陥２の存在の可能性の高い領域を特定する。超音波画像処理装置１００は、入力部１１０、演算部１２０、予測器１３０、記憶部１４０、および出力部１５０を有する。なお、以下に、超音波画像処理装置１００の構成について一通り説明するが、その各要素間の関係は、図８以降を引用しながら後述する超音波画像処理方法のフローの説明において具体的に示す。

【0018】

入力部１１０は、後述するウィンドウ１２１ａ（図４）に関するパラメータ等を外部から受け入れる。

【0019】

演算部１２０は、ウィンドウ設定部１２１、切り出し画像生成部１２２、ラベル付与部１２３、欠陥確信度導出部１２４、重み付け付与部１２５、および重み付け探傷画像作成部１２６を有する。

【0020】

記憶部１４０は、学習用超音波画像記憶部１４１、ウィンドウパラメータ記憶部１４２、対象超音波探傷画像記憶部１４３、切り出し画像記憶部１４４、および重み値記憶部１４５を有する。

【0021】

出力部１５０は、重み付け探傷画像作成部１２６が作成した対象重み付け探傷画像１２８（図１６）を出力する。出力部１５０は、デジタルデータを表示できるものであればよく、いわゆるＰＣモニタ、テレビジョン、プロジェクタ等が考えられ、ブラウン管のように一度アナログ信号化してから表示させるものでもよい。また、出力部１５０は、設定した条件に応じて音や発光によりアラームを生じさせたり、タッチパネルとして操作を入力したりするいわゆるユーザインタフェース機能を有してもよい。

【0022】

次に、演算部１２０の各要素について順次説明する。

【0023】

ウィンドウ設定部１２１は、ウィンドウの所定の大きさに基づいて、ウィンドウのスライド幅および対象切り出し画像の枚数を決定する。

【0024】

図２は、実施形態に係る超音波画像処理装置１００が対象とする対象超音波探傷画像３１（図３）の生成のための超音波探傷器１０および検査対象１を示す断面図であり、検査対象１の表面に対し垂直方向に超音波送信を行った場合を示す。この場合の、検査対象１における検査の対象範囲１ａは、図２に示すように矩形形状となる。

【0025】

破線は、超音波探傷器１０で超音波を垂直入射した場合の、欠陥２での超音波の反射散乱の様子を概念的に示している。検査対象１に対して超音波を入射した場合、欠陥２の上端２ａで超音波が散乱する。また、隣の素子で励起された超音波は欠陥２には当たらず、検査対象の底面に当たって反射する。

【0026】

図３は、実施形態に係る超音波画像処理装置１００が対象とする対象超音波探傷画像３１を示す図であり、検査対象１の表面に垂直方向に超音波送信を行った場合を示す。この場合の対象超音波探傷画像３１の形状は、対象範囲１ａの形状に対応して矩形形状となる。

【0027】

図３に示すように、対象超音波探傷画像３１において、欠陥２の部分は。出現像ＤＢ１として現れる。

【0028】

図４は、実施形態に係る超音波画像処理装置１００による図３に示す対象超音波探傷画像３１から対象切り出し画像３２を生成するウィンドウ１２１ａの説明図である。

【0029】

今、図４において、対象超音波探傷画像３１の左上の端部Ｏから、右方向、すなわち超音波素子１１の配列方向をｘ方向、下方向をｙ方向とする。また、対象超音波探傷画像３１のｘ方向の長さをＷｏｘ、ｙ方向の長さをＷｏｙとする。

【0030】

ここで、ウィンドウ１２１ａとして、ｘ方向の長さをＷｄｘ、ｙ方向の長さをＷｄｙとする矩形の枠を導入する。ｘ方向の長さＷｄｘおよびｙ方向の長さＷｄｙは、たとえば、入力部１１０が外部入力として受け入れる。ここで、ｘ方向のウィンドウの大きさＷｄｘの下限は、超音波素子１１の２個分に相当する画素以上の大きさとする。また、ウィンドウ１２１ａのｘ方向の長さＷｄｘおよびｙ方向の長さＷｄｙは、想定される欠陥２の最大サイズより大きくすることが好ましい。

【0031】

ウィンドウ１２１ａは、まず、その左上端部を対象超音波探傷画像３１の左上の端部Ｏの位置に合わせて配される。

【0032】

その後、このウィンドウ１２１ａの位置を、ｙ方向にＳｙずつ、および、ｘ方向にＳｘずつ順次ずらしていく。なお、この詳細については、図９を引用しながら後述する。

【0033】

図５は、実施形態に係る超音波画像処理装置１００が対象とする対象超音波探傷画像３１の生成のための超音波探傷器１０および検査対象１を示す断面図であり、検査対象１の表面に対して斜め方向に超音波送信を行った場合を示す。この場合の、検査対象１における検査の対象範囲１ａは、図５に示すように平行四辺形の形状となる。

【0034】

検査対象１の表面に対して斜め方向に超音波送信を行った場合、欠陥２に対して垂直方向に近づくため、欠陥２に当たった超音波の反射波の超音波探傷器１０の方に戻る割合が増加する。

【0035】

図６は、実施形態に係る超音波画像処理装置１００が検査対象１の表面に斜め方向に超音波送信を行った場合の対象超音波探傷画像３１を示す図である。この場合の対象超音波探傷画像３１は、対象範囲１ａの形状に対応して、平行四辺形となる。

【0036】

この場合に得られる対象超音波探傷画像３１における欠陥２に対応する部分である出現像ＤＢ２は、図３に示した出現像ＤＢ１より、強く、大きいものとなり、より明確な像が得られる。すなわち、欠陥２が同じ形状であっても、超音波の入射角度を変えることにより、で断面画像の出現像が変化する。

【0037】

図７は、実施形態に係る超音波画像処理装置１００による図６に示す対象超音波探傷画像３１から対象切り出し画像３２を生成するウィンドウ１２１ｂの説明図である。

【0038】

この場合のウィンドウ１２１ｂの形状は、平行四辺形であり、各辺は、対象超音波探傷画像３１の各辺にそれぞれ平行である。
また、ｘ方向およびｙ方向は、端部Ｏから、対象超音波探傷画像３１の辺にそれぞれ平行にとるものとする。

【0039】

ウィンドウ１２１ｂの最初の設置位置、および順次ずらしていく内容は、図４で説明した内容と同様である。

【0040】

切り出し画像生成部１２２は、ウィンドウ１２１ａまたは１２１ｂのそれぞれの位置において、ウィンドウ１２１ａまたはウィンドウ１２１ｂに囲まれた範囲を、対象切り出し画像３２として切り出す。具体的には、対象超音波探傷画像記憶部１４３に記憶、収納されている対象超音波探傷画像３１の画像データのうち、このウィンドウ１２１ａまたは１２１ｂに囲まれた範囲の画像データを、対象切り出し画像３２の画像データとする。

【0041】

ラベル付与部１２３は、予測器１３０による教師あり学習に際して、学習用切り出し画像のそれぞれについての欠陥の有無を評価した結果を、教師内容であるラベルとして付する。

【0042】

欠陥確信度導出部１２４は、切り出し画像生成部１２２によって、対象超音波探傷画像３１から生成された複数の対象切り出し画像３２のそれぞれについて、欠陥２が存在する確からしさを示す欠陥確信度Ｘｄを、予測器１３０を用いて導出する。

【0043】

重み付け付与部１２５は、欠陥確信度導出部１２４により導出された欠陥確信度Ｘｄに基づいて、複数の対象切り出し画像３２のそれぞれについて重み付けを行うことにより重み付け切り出し画像１２７（図１５）を作成する。

【0044】

重み付け探傷画像作成部１２６は、重み付け切り出し画像１２７にもとづいて、対象超音波探傷画像３１に重み付けがなされた対象重み付け探傷画像１２８（図１６）を作成する。

【0045】

次に、記憶部１４０の各要素について説明する。

【0046】

学習用超音波画像記憶部１４１は、予測器１３０の機械学習のために入力部１１０が受け入れた学習用超音波画像を記憶、収納する。

【0047】

ウィンドウパラメータ記憶部１４２は、ウィンドウ１２１ａに関する入力部１１０が受け入れたパラメータおよびウィンドウ設定部１２１が設定したウィンドウ１２１ａに関するパラメータを記憶、収納する。

【0048】

対象超音波探傷画像記憶部１４３は、入力部１１０が超音波画像処理装置３０から受け入れた、検査対象１に関する対象超音波探傷画像３１を記憶、収納する。

【0049】

切り出し画像記憶部１４４は、切り出し画像生成部１２２が生成した対象超音波探傷画像３１に基づく対象切り出し画像３２、および学習用超音波画像に基づく切り出し画像を、記憶、収納する。

【0050】

重み値記憶部１４５は、欠陥確信度Ｘｄと重み値との一対一の対応関係を、たとえばテーブルあるいは関数の形で記憶、収納する。ここで、重み値は、それが大きくなると、画像の透過度が下がる、すなわち濃度が増加する関係にあり、透過度あるいは濃度は、検査官にとっての判別のしやすさ等を考慮して経験的に設定してもよい。

【0051】

予測器１３０は、学習用超音波画像記憶部１４１に収納された学習用超音波画像を読み出し、この学習用超音波画像に基づいて機械学習し、欠陥確信度Ｘｄを出力する。ここで、学習用超音波画像は、たとえば、入力部１１０により読み込まれた超音波画像に基づいて、切り出し画像生成部１２２が生成した複数の切り出し画像であって、かつ、ラベル付与部１２３によりラベルが付加されたものである。予測器１３０は、このラベルに基づいて、教師あり学習を行う。この結果、予測器１３０は、切り出し画像の情報を受け入れて、欠陥確信度Ｘｄを目的変数として出力可能となる。

【0052】

次に、超音波画像処理方法のフローについて説明する。以下では、前述のように、超音波画像処理装置１００の各要素における処理内容、あるいは各要素間の関係についても、補足的に説明する。

【0053】

図８は、実施形態に係る超音波画像処理装置を含む超音波画像処理方法の手順を示すフロー図である。

【0054】

超音波画像処理方法は、機械学習により超音波画像から欠陥確信度Ｘｄを出力する予測器１３０を作成する予測器作成ステップＳ１０、入力部１１０が超音波画像処理装置３０から受け入れた検査対象１に関する対象超音波探傷画像３１に基づいて欠陥確信度Ｘｄを導出し重み付けを行う対象超音波探傷画像処理ステップＳ２０、および対象超音波探傷画像処理ステップＳ２０により得られた重み付け超音波探傷画像の表示ステップＳ３０を有する。

【0055】

予測器作成ステップＳ１０は、学習用超音波画像等を読み込むステップＳ１１、ウィンドウパラメータを設定するステップＳ１２、学習用超音波画像から学習用切り出し画像を生成するステップＳ１３、各学習用切り出し画像にラベルを付与するステップＳ１４、予測器１３０が学習するステップＳ１５、および予測器１３０が収納されるステップＳ１６を有する。

【0056】

対象超音波探傷画像処理ステップＳ２０は、対象超音波探傷画像を読み込むステップＳ２１、ウィンドウパラメータを設定するステップＳ２２、対象超音波探傷画像から対象切り出し画像を生成するステップＳ２３、予測器１３０を用いて欠陥確信度Ｘｄを算出するステップＳ２４、対象切り出し画像に重み付けを行うステップＳ２５、および対象重み付け探傷画像を作成するステップＳ２６を有する。

【0057】

以下、まず、予測器作成ステップＳ１０の各ステップについて説明する。

【0058】

予測器作成ステップＳ１０においては、まず、入力部１１０が、学習用超音波画像およびウィンドウに関する条件を外部入力として受け入れ、学習用超音波画像記憶部１４１が記憶、収納する（ステップＳ１１）。

【0059】

図９は、実施形態に係る超音波画像処理方法における学習用切り出し画像生成ステップの詳細な手順を示すフロー図である。すなわち、図９は、ステップＳ１１から、ステップＳ１４までの流れにおいて、ステップＳ１３の内容を詳細化したものである。

【0060】

図９のステップＳ１１に示すように、ウィンドウに関する条件として、学習用超音波画像そのものに加えて、たとえば学習用超音波画像および切り出し画面それぞれの画面サイズを読み込む。

【0061】

次に、ウィンドウ設定部１２１が、ウィンドウパラメータを設定する（ステップＳ１２）。ここで、ステップＳ１１で読み込んだ学習用超音波画像の画面サイズがＷｏｘ、Ｗｏｙ、および切り出し画面の画面サイズがＷｄｘ、Ｗｄｙであるとする。ここで、ウィンドウ設定部１２１は、ｍ_０およびｎ_０を次の式（１）により算出する。ここで、（ｍ_０－１）および（ｎ_０－１）はそれぞれｙ方向およびｘ方向の移動回数の最大値である。
ｍ_０＝ＲＯＵＮＤＵＰ（Ｗｏｘ／Ｗｄｘ、０）
ｎ_０＝ＲＯＵＮＤＵＰ（Ｗｏｙ／Ｗｄｙ、０）
…（１）
ここで、ＲＯＵＮＤＵＰ（Ｖ、０）は、数値Ｖの小数点以下を繰り上げた値である。

【0062】

また、ウィンドウ設定部１２１は、ＲｘおよびＲｙを次の式（２）により算出する。
Ｒｘ＝（ｍ_０・Ｗｄｘ－Ｗｏｘ）／（ｍ_０－１）
Ｒｙ＝（ｎ_０・Ｗｄｙ－Ｗｏｙ）／（ｎ_０－１）
…（２）
ＲｘおよびＲｙは、切り出し画像を一定のピッチで並べた場合の、それぞれｘ方向およびｙ方向に互いに隣接する切り出し画像同士が重複する幅である。

【0063】

次に、ウィンドウ設定部１２１は、移動量ＳｘおよびＳｙを、次の式（３）により算出する。
Ｓｘ＝Ｗｄｘ－Ｒｘ
Ｓｙ＝Ｗｄｙ－Ｒｙ
…（３）

【0064】

以上の算出された値は、学習用超音波画像および切り出し画面の画面サイズとともにウィンドウパラメータ記憶部１４２に記憶収納される。

【0065】

なお、移動量ＳｘおよびＳｙは、少なくとも超音波画像データを取得する1個以上の素子を有する超音波探触子の素子１個分に相当する画素以上の大きさとし、また、ウィンドウの大きさよりも1つ以上の素子分に相当する画素だけ小さい値以下とする。

【0066】

なお、以上は、学習用超音波画像の画面サイズＷｏｘ、Ｗｏｙ、および切り出し画面の画面サイズＷｄｘ、Ｗｄｙを条件として、移動量ＳｘおよびＳｙならびにｍ_０およびｎ_０を算出する場合を例にとって示したが、これに限定されない。たとえば、逆に、移動量ＳｘおよびＳｙならびにｍ_０およびｎ_０を条件として、切り出し画面の画面サイズＷｄｘ、Ｗｄｙすなわちウィンドウ１２１ａの大きさを算出してもよい。あるいは、これらのパラメータをすべて、外部入力として読み込んでもよい。

【0067】

次に、切り出し画像生成部１２２が、学習用超音波画像から学習用切出し画像を生成する（ステップＳ１３）。以下に詳細を説明する。

【0068】

まず、ｎ＝０とする（ステップＳ１３ａ）。ここで、ｎは、それぞれのｘの位置におけるウィンドウ１２１ａのｙ方向への移動回数である。

【0069】

次に、ｍ＝０とする（ステップＳ１３ｂ）。ここで、ｍは、ウィンドウ１２１ａのｘ方向への移動回数である。

【0070】

次に、学習用超音波画像のうちウィンドウ１２１ａにより囲まれた範囲を切り出して学習用切出し画像を生成する（ステップＳ１３ｃ）。

【0071】

次に、ｍが（ｍ_０－１）になったか否かを判定する（ステップＳ１３ｄ）。
ｍが（ｍ_０－１）になったと判定されなかった場合（ステップＳ１３ｄ ＮＯ）には、ｍ＝ｍ＋１、すなわち、ｍを１つ増加させ（ステップＳ１３ｅ）、ｘ方向にＳｘ移動（ステップＳ１３ｆ）した上で、ステップＳ１３ｄ以下を繰り返す。

【0072】

ｍが（ｍ_０－１）になったと判定された場合（ステップＳ１３ｄ ＹＥＳ）には、ｎが（ｎ_０－１）になったか否かを判定する（ステップＳ１３ｇ）。

【0073】

ｎが（ｎ_０－１）になったと判定されなかった場合（ステップＳ１３ｇ ＮＯ）には、ｎ＝ｎ＋１、すなわち、ｎを１つ増加させ（ステップＳ１３ｈ）、ｙ方向にＳｙ移動（ステップＳ１３ｉ）した上で、ステップＳ１３ｂ以下を繰り返す。

【0074】

ｎが（ｎ_０－１）になったと判定された場合（ステップＳ１３ｇ ＹＥＳ）には、ラベル付与部１２３が、各学習用切り出し画像にラベルを付与する（ステップＳ１４）。

【0075】

図１０は、実施形態に係る超音波画像処理方法における学習用切り出し画像へのラベル付与に関連する詳細な手順を示すフロー図である。

【0076】

学習用切り出し画像生成ステップＳ１３により生成された複数の学習用切り出し画像のそれぞれについて、ラベル値の導出が行われる（ステップＳ１００）。

【0077】

具体的には、まず、検査員等、すなわち、検査員あるいは研究者等の専門家により、学習用切り出し画像の確認が行われる（ステップＳ１０１）。すなわち、検査員等は、複数の学習用切り出し画像のそれぞれについて、欠陥の有無を精査する。

【0078】

次に、検査員等は、複数の学習用切り出し画像のそれぞれについて、欠陥の存在の有無を決定する（ステップＳ１０２）。検査員等は、欠陥の存在の可能性の有無に応じたラベル値を決定する。ここで、ラベル値Ｌｂは、欠陥有りと決定した場合はＬｂの値を１、欠陥無しと決定した場合のＬｂの値を０とする。

【0079】

次に、ラベル付与部１２３は、対応するそれぞれの学習用切り出し画像のそれぞれにラベルを付与する（ステップＳ１４）。すなわち、ラベル付与部１２３は、対応するそれぞれの学習用切り出し画像のそれぞれに、ラベル値導出ステップにおいて得られたラベル値Ｌｂを、順次、対応付ける。

【0080】

次に、予測器１３０は、ラベルが付与された複数の学習用切り出し画像に基づいて、教師あり学習を行う（ステップＳ１５）。なお、予測器１３０の学習のための学習用超音波画像は、予測器１３０による欠陥確信度Ｘｄが十分な精度を確保するために必要な数だけ準備するものとする。

【0081】

教師有り学習としては、畳み込みニューラルネットワーク（ＣＮＮ）を使用する。ただし、これに限定されず、複数のタイプの機械学習方法を組み合わせてもよい。ＣＮＮ以外の機械学習方法としては、ディープラーニング、ｋ－最近傍法、サポートベクターマシン（ＳＶＭ）などを用いることができる。
機械学習を行った予測器１３０は、超音波画像処理装置１００内に収納される（ステップＳ１６）。

【0082】

このように機械学習を行った予測器１３０は、学習用超音波画像について、欠陥２がありそうな画像はたとえば０．９、欠陥２がなさそうな画像はたとえば０．１、どっちつかずの微妙な画像はたとえば０．５など、欠陥２の存在の可能性を０～１の間の連続的な確率値で示す欠陥確信度Ｘｄを出力可能となる。

【0083】

なお、上述の機械学習においては、検査員等が、複数の学習用切り出し画像のそれぞれについて、欠陥の存在の有無を決定し、ラベル値Ｌｂとして０または１を付する場合を例にとって示したが、これに限定されない。すなわち、教師あり学習の教師データとして、欠陥２が存在する可能性と考えられる０から１までの連続的な値を、ラベル値Ｌｂとして付してもよい。

【0084】

次に、以下、対象超音波探傷画像処理ステップＳ２０の詳細について説明する。

【0085】

まず、入力部１１０が、対象超音波探傷画像３１およびウィンドウに関する条件を外部入力として受け入れ、対象超音波探傷画像記憶部１４３が記憶、収納する（ステップＳ２１）。ここで、ウィンドウの条件としての対象切り出し画像の大きさ、すなわちウィンドウの大きさは、学習用超音波画像に関するものと同じ条件とすることが好ましい。

【0086】

次に、ウィンドウ設定部１２１は、ウィンドウパラメータを設定する（ステップＳ２２）。
図１２は、実施形態に係る超音波画像処理方法における対象超音波探傷画像から対象切り出し画像の生成を説明する概念図である。また、図１３は、実施形態に係る超音波画像処理方法における対象超音波探傷画像から生成した対象切り出し画像を示す概念図である。

【0087】

切り出し画像生成部１２２は、ウィンドウ１２１ａを用いて、対象超音波探傷画像３１に基づいて対象切り出し画像３２ａ、３２ｂ、３２ｃ、３２ｄ、３２ｅ、３２ｆ、および３２ｇを生成する（ステップＳ２３）。なお、図２ないし図７を引用しながら切り出し画像生成部１２２による学習用超音波画像から学習用切出し画像の生成について説明したが、図１２以降は説明を簡便とするために、ｘ方向のみについて示しており、ｙ方向についても同様であるのでｙ方向については説明を省略している。
生成されたこれらの対象切り出し画像の一式は、対象切り出し画像セット３３として切り出し画像記憶部１４４に記憶、収納される。

【0088】

ステップＳ２２およびステップＳ２３のそれぞれにおけるウィンドウ設定部１２１および切り出し画像生成部１２２の処理内容は、ステップＳ１２およびステップＳ１３のそれぞれにおけるウィンドウ設定部１２１および切り出し画像生成部１２２の処理内容と同様である。

【0089】

次に、欠陥確信度導出部１２４が、予測器１３０を用いて欠陥確信度Ｘｄを算出する（ステップＳ２４）。
図１１は、実施形態に係る超音波画像処理方法における対象切り出し画像３２を受け入れた後の、予測器１３０を用いての欠陥確信度計算ステップＳ２４および重み付け探傷画像生成ステップＳ２５の詳細な手順を示すフロー図である。

【0090】

欠陥確信度導出部１２４は、予測器１３０を用いて、欠陥確信度Ｘｄを算出する（ステップＳ２４）。すなわち、欠陥確信度導出部１２４は、切り出し画像記憶部１４４に収納されている対象切り出し画像セット３３の中の対象切り出し画像３２を順次読み出し、予測器１３０に入力する。予測器１３０は、対象切り出し画像３２を入力としてこれに対応する欠陥確信度Ｘｄを出力し、欠陥確信度導出部１２４がこの欠陥確信度Ｘｄを得る。

【0091】

図１４は、実施形態に係る超音波画像処理方法における対象切り出し画像の予測器により得られた欠陥確信度Ｘｄの例を示す概念図である。

【0092】

次に、重み付け付与部１２５が、対象切り出し画像３２とその欠陥確信度Ｘｄに対応する重み値とを対応付ける（ステップＳ２５）。

【0093】

詳細には、まず、重み付け付与部１２５は、重み値記憶部１４５にアクセスして、欠陥確信度Ｘｄに対応する重み値を読み取る（ステップＳ２５ａ）。
重み値は、例えば、欠陥確信度Ｘｄに応じて原画像の透過度の変更程度である。欠陥確信度Ｘｄが１に近いほど対象切り出し画像３２の透過度を小さくする。すなわち、視覚的には、対象切り出し画像３２の濃度が大きくなる。欠陥が存在する可能性が高い領域ほど、透過されず、可能性が低い領域は透過されることになる。

【0094】

次に、重み付け付与部１２５は、読み取った重み値と対象切り出し画像３２とを対応付ける（ステップＳ２５ｂ）。対象切り出し画像３２と重み値とのセットは、切り出し画像記憶部１４４に記憶、収納される。

【0095】

図１５は、実施形態に係る超音波画像処理方法における欠陥確信度に基づき重み付けされた重み付け切り出し画像の例を示す概念図である。

【0096】

ここで、重み付け切り出し画像１２７ｂおよび１２７ｆでは、図１４に示すように欠陥確信度Ｘｄの値はゼロであるが、それぞれ、欠陥確信度Ｘｄの値がゼロではない重み付け切り出し画像１２７ｃおよび１２７ｅに隣接しているため注意を喚起する主旨で、０ではない重み付けをしている。なお、このようにせずに、欠陥確信度Ｘｄの値はゼロに対応する表示としてもよい。

【0097】

次に、重み付け探傷画像作成部１２６が、対象重み付け探傷画像１２８（図１７）を作成する。
図１６は、実施形態に係る超音波画像処理方法における欠陥確信度に基づき重み付けされた重み付け切り出し画像の重ね合わせの例を示す概念図である。

【0098】

詳細には、まず、対象切り出し画像３２の重ね合わせを行う（ステップＳ２６ａ）。重ね合わせは、当初の対象超音波探傷画像３１からウィンドウ１２１ａを用いて切り出した際のそれぞれの対象切り出し画像３２の相対的な位置となるように行う。

【0099】

次に、互いに隣接する対象切り出し画像３２の重複部の重み値の指定を行う（ステップＳ２６ｂ）。重複部の重み値は、たとえば、互いに隣接する対象切り出し画像３２のそれぞれの重み値のうち、値が大きい方の重み値としてもよい。あるいは、重複部の重み値は、たとえば、互いに隣接する対象切り出し画像３２のそれぞれの重み値の平均値としてもよい。

【0100】

図１７は、実施形態に係る超音波画像処理方法により得られた対象重み付け探傷画像の例を示す概念図である。
以上のようにして、図１７に示すような対象重み付け探傷画像１２８が得られる。図１７の場合は、重複部の重み値は、たとえば、互いに隣接する対象切り出し画像３２のそれぞれの重み値のうち、値が大きい方の重み値とした場合を示している。

【0101】

以上のように、対象重み付け探傷画像１２８において、それぞれの対象切り出し画像３２には、欠陥確信度Ｘｄに応じた注目度が確保される。

【0102】

以上説明したように、本実施形態によれば、超音波画像処理において、欠陥の存在の可能性の高い領域が視覚的に把握できることから、不要な領域に注意を向ける必要がないので、欠陥の存在の可能性の高い領域に注意を集中することができ、欠陥２を確実に特定することができる。
［その他の実施形態］

【0103】

以上、本発明の実施形態を説明したが、実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。また、各実施形態の特徴を組み合わせてもよい。また、実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

【符号の説明】

【0104】

１…検査対象、１ａ…対象範囲、２…欠陥、２ａ…上端、１０…超音波探傷器、１０ａ…探触子、１１…超音波素子、２０…超音波探傷装置、３０…超音波画像処理装置、３１…対象超音波探傷画像、３２、３２ａ、３２ｂ、３２ｃ、３２ｄ、３２ｅ、３２ｆ、３２ｇ…対象切り出し画像、３３…対象切り出し画像セット、５１…学習用超音波画像、５２…学習用切り出し画像、５２ａ…学習用切り出し画像セット、１００…超音波画像処理装置、１１０…入力部、１２０…演算部、１２１…ウィンドウ設定部、１２１ａ、１２１ｂ…ウィンドウ、１２２…切り出し画像生成部、１２３…ラベル付与部、１２４…欠陥確信度導出部、１２５…重み付け付与部、１２６…重み付け探傷画像作成部、１２７…重み付け切り出し画像、１２８…対象重み付け探傷画像、１３０…予測器、１４０…記憶部、１４１…学習用超音波画像記憶部、１４２…ウィンドウパラメータ記憶部、１４３…対象超音波探傷画像記憶部、１４４…切り出し画像記憶部、１４５…重み値記憶部、１５０…出力部、２００…超音波探傷システム

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】