特許 7589121 ボクセルデータ評価システムおよびボクセルデータ評価方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-11-15

(45)【発行日】2024-11-25

(54)【発明の名称】ボクセルデータ評価システムおよびボクセルデータ評価方法

(51)【国際特許分類】

   G01N 29/04 20060101AFI20241118BHJP

   G01N 29/44 20060101ALI20241118BHJP

   G06T 7/00 20170101ALI20241118BHJP

【ＦＩ】

G01N29/04

G01N29/44

G06T7/00 610Z

G06T7/00 350B

【請求項の数】 11

(21)【出願番号】P 2021135295

(22)【出願日】2021-08-23

(65)【公開番号】P2023030258

(43)【公開日】2023-03-08

【審査請求日】2024-03-01

(73)【特許権者】

【識別番号】000003078

【氏名又は名称】株式会社東芝

(73)【特許権者】

【識別番号】317015294

【氏名又は名称】東芝エネルギーシステムズ株式会社

(74)【代理人】

【識別番号】110001380

【氏名又は名称】弁理士法人東京国際特許事務所

(72)【発明者】

【氏名】高橋 栞太

(72)【発明者】

【氏名】大塚 優

(72)【発明者】

【氏名】星 岳志

(72)【発明者】

【氏名】千星 淳

(72)【発明者】

【氏名】高橋 淳介

【審査官】村田 顕一郎

(56)【参考文献】

【文献】特開２０２０－０８１８６６（ＪＰ，Ａ）

【文献】特開２０２０－１４４６８８（ＪＰ，Ａ）

【文献】特表２０２０－５３５８９７（ＪＰ，Ａ）

【文献】特開２０２１－０７１３７７（ＪＰ，Ａ）

【文献】特開２０１１－０９８１９５（ＪＰ，Ａ）

【文献】特開平０８－２９３０２５（ＪＰ，Ａ）

【文献】特表２０２１－５１５３２６（ＪＰ，Ａ）

【文献】国際公開第２０１９／１８２５２０（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｎ ２９／００－２９／５２

Ｇ０６Ｔ ７／００－７／１９４

Ｇ０１Ｎ ２３／１８

Ａ６１Ｂ ６／００－８／１５

Ａ６１Ｂ ５／０５５

Ｇ０１Ｎ ２４／００－２４／１４

ＪＳＴＰｌｕｓ／ＪＭＥＤＰｌｕｓ／ＪＳＴ７５８０（ＪＤｒｅａｍＩＩＩ）

(57)【特許請求の範囲】

【請求項1】

検査の対象となる対象物に含まれる検出対象の探傷を行う探傷装置により得られるデータまたはこれを模して生成されるデータの少なくとも一方であり、機械学習に用いられる複数の学習用データを取得する学習用データ取得部と、
それぞれの前記学習用データに存在する前記検出対象の特定の領域を示す特定共通領域を前記検出対象の位置として設定した教師ラベルを生成する教師ラベル生成部と、
前記学習用データとそれぞれの前記学習用データに対応する前記教師ラベルとを用いて、前記検出対象が存在するか否かを判定可能な判定値を、データ中の位置を示す単位ごとに算出可能な判定モデルを生成する判定モデル生成部と、
前記探傷装置により得られるボクセルデータであり、判定に用いられる判定用データを取得する判定用データ取得部と、
前記判定モデルを用いて、前記判定用データ中の位置を示す前記単位ごとに前記判定値を算出する判定部と、
を備える、
ボクセルデータ評価システム。

【請求項2】

前記探傷装置を用いて前記対象物を探傷して得られる複数の画像を前記探傷した位置に対応付けた状態で重ね合わせて３次元的なデータを生成可能な３次元データ生成部を備える、
請求項１に記載のボクセルデータ評価システム。

【請求項3】

前記判定用データは、前記探傷装置を用いて前記対象物を探傷して得られる複数の画像に基づいて、前記３次元データ生成部が生成するものである、
請求項２に記載のボクセルデータ評価システム。

【請求項4】

前記学習用データは、前記探傷装置により得られる画像またはこれを模して生成される画像の少なくとも一方である学習用画像であり、
前記教師ラベル生成部は、前記学習用画像に対応する２次元の前記教師ラベルを生成し、
前記３次元データ生成部は、複数の前記学習用画像とそれぞれの前記学習用画像に対応する前記教師ラベルとを用いて、３次元の前記学習用データとこれに対応する３次元の前記教師ラベルとを生成する、
請求項２または請求項３に記載のボクセルデータ評価システム。

【請求項5】

前記学習用データは、前記探傷装置により得られるボクセルデータまたはこれを模して生成されるボクセルデータの少なくとも一方である、
請求項１から請求項３のいずれか１項に記載のボクセルデータ評価システム。

【請求項6】

前記探傷装置は、超音波を用いて探傷を行う超音波探傷装置であり、
前記特定共通領域の最大長は、前記探傷装置が用いた前記超音波の周波数の波長の４分の１以上である、
請求項１から請求項５のいずれか１項に記載のボクセルデータ評価システム。

【請求項7】

前記特定共通領域は、前記検出対象の端部である、
請求項１から請求項６のいずれか１項に記載のボクセルデータ評価システム。

【請求項8】

前記判定用データから算出された前記判定値に基づいて生成された判定済データから前記検出対象の位置を抽出する抽出部をさらに備える、
請求項１から請求項７のいずれか１項に記載のボクセルデータ評価システム。

【請求項9】

前記判定値は、前記単位ごとに算出された連続値であり、
前記抽出部は、前記単位ごとの前記判定値を閾値に基づいて二値化して前記検出対象の位置を抽出する、
請求項８に記載のボクセルデータ評価システム。

【請求項10】

前記単位は、ボクセルであり、
前記機械学習は、セグメンテーションに関するものである、
請求項１から請求項９のいずれか１項に記載のボクセルデータ評価システム。

【請求項11】

検査の対象となる対象物に含まれる検出対象の探傷を行う探傷装置により得られるデータまたはこれを模して生成されるデータの少なくとも一方であり、機械学習に用いられる複数の学習用データを、学習用データ取得部が取得するステップと、
教師ラベル生成部が、それぞれの前記学習用データに存在する前記検出対象の特定の領域を示す特定共通領域を前記検出対象の位置として設定した教師ラベルを生成するステップと、
判定モデル生成部が、前記学習用データとそれぞれの前記学習用データに対応する前記教師ラベルとを用いて、前記検出対象が存在するか否かを判定可能な判定値を、データ中の位置を示す単位ごとに算出可能な判定モデルを生成するステップと、
前記探傷装置により得られるボクセルデータであり、判定に用いられる判定用データを、判定用データ取得部が取得するステップと、
判定部が、前記判定モデルを用いて、前記判定用データ中の位置を示す前記単位ごとに前記判定値を算出するステップと、
を含む、
ボクセルデータ評価方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施形態は、ボクセルデータ評価技術に関する。

【背景技術】

【0002】

従来、超音波検査技術は、構造物の非破壊検査を行うものとして広く使われている。検査員は、超音波検査によって得られる断面画像からその構造物の内部の欠陥の有無を検出し、その位置と深さの測定を行う。欠陥の深さを測定する方法の１つに端部エコー法がある。この端部エコー法とは、欠陥の上端部または下端部からのエコーのビーム路程と屈折角から欠陥の深さを測定する方法である。検査員は、自らの専門知識と経験に基づいて判定を行っているが、検査員の技量によって評価結果にばらつきが生じる場合がある。そこで、超音波検査において、信号処理または人工知能（ＡＩ：Artificial Intelligence）などを用いて自動評価する技術が開発されつつある。

【0003】

第１の例として、超音波画像を機械学習の入力として用い、欠陥を検出する技術が知られている。この技術は、超音波画像に欠陥が含まれるか否かを判定するものであり、画像中の欠陥の位置と大きさは特定できない。

【0004】

第２の例として、超音波の応答波形から探傷画像を生成し、パターン認識アルゴリズムを用いて、この探傷画像を正常パターン画像と比較する技術が知られている。この技術では、正常パターン画像と異なる探傷画像であった場合、その探傷画像中の形状エコーと欠陥エコーを判定することで、欠陥の位置を検出できる。この技術では、探傷画像に基づいて個々のエコーを含む画像を切り出す作業が必要である。しかし、仮にノイズの強度が大きく、欠陥エコーが不明瞭な画像である場合、または形状エコーと欠陥エコーが重なり合っている場合には、切出し作業が困難になる可能性があり、欠陥を見逃すおそれがある。また、切り出したエコーを、形状エコーと欠陥エコーに分類し、教師データを作成している。しかし、欠陥エコーか形状エコーかの判定は、常に表示されているか否かで判定しており、溶接部の組織または内在物由来のエコーなども欠陥エコーと判定されるおそれがある。

【0005】

近年、自動運転技術または医療分野などを中心に、物体認識のＡＩを用いて画像中の物体を検出する試みがなされている。物体認識の中でもよく知られた技術としてセグメンテーションがある。セグメンテーションとは、画像に対してピクセルレベルでクラス分類を行う機械学習アルゴリズムであり、ピクセルレベルで物体を検出することができる。このセグメンテーションの学習モデル構築には、教師あり学習が用いられる。例えば、ピクセル単位で物体毎に色付けされた教師ラベルを使って学習を行う。セグメンテーションを超音波画像の欠陥検出に適用する場合、カメラ画像に適用する場合と比べると教師ラベルの作成に労力とコストがかかる。カメラ画像と超音波画像を比較した場合、カメラ画像は、物体と背景との境界が明瞭に分かるものが多い。一方、超音波画像は、物体からの超音波エコーの他に溶接金属から発生する散乱波のようなノイズエコーも含まれる。そのため、超音波画像は、一般的なカメラ画像と比較して、物体とそれ以外の境界が不明瞭なものが多い。つまり、超音波画像では、ピクセル単位で物体を区別する作業が非常に困難である。

【0006】

超音波画像のセグメンテーションにおいて、教師ラベルの作成を自動化させるために、いくつかの方法が提案されている。例えば、閾値を設定し、検出対象のエコーとそれ以外とを分離する方法がある。しかし、この方法では、ノイズ強度が大きく、欠陥エコーが不明瞭な画像であった場合、または形状エコーと欠陥エコーが重なり合っている場合には、閾値での分離が困難となる。また、常に表示されているか否かで欠陥エコーかノイズエコーかを分離する方法がある。しかし、この方法では、溶接部の組織または内在物由来のエコーなども欠陥エコーとして分類されるおそれがある。

【0007】

また、現在主流のセグメンテーション方法として、１枚の画像に対してセグメンテーションを実行する方法がある。この方法は、ある画像を学習モデルに入力すると、対象ごとにセグメンテーションされた画像が出力されるものである。

【0008】

一方、実際の超音波検査では、検査員はプローブを走査し、着目している画像中の欠陥エコーの輝度と形状が走査に合わせてどのように変化するかを読み取り、欠陥を判定している。例えば、検査員がプローブを走査しても、画面上の同じ位置にエコーが表示され続けていれば、そのエコーは欠陥由来のものである可能性が高い。一方、単発的にエコーが出現または消滅する場合、そのエコーはノイズが画面に現れているものである可能性が高い。１枚の画像に対してセグメンテーションを実行する方法では、このような欠陥の連続性を考慮した判定が行えず、ノイズと欠陥エコーとの判定が困難となる。そこで、超音波画像を走査方向に重ね合わせて３次元的なデータであるボクセルデータとして扱い、非破壊検査の精度を向上させたいという要望がある。

【先行技術文献】

【特許文献】

【0009】

【文献】特表２０２０－５０３５０９号公報

【文献】国際公開第２０１５／００１６２４号

【文献】特開２００１－１３１１４号公報

【発明の概要】

【発明が解決しようとする課題】

【0010】

本発明が解決しようとする課題は、非破壊検査に用いるボクセルデータの評価において対象物に含まれる検出対象の位置を検出する精度を向上させることができるボクセルデータ評価技術を提供することである。

【課題を解決するための手段】

【0011】

本発明の実施形態に係るボクセルデータ評価システムは、検査の対象となる対象物に含まれる検出対象の探傷を行う探傷装置により得られるデータまたはこれを模して生成されるデータの少なくとも一方であり、機械学習に用いられる複数の学習用データを取得する学習用データ取得部と、それぞれの前記学習用データに存在する前記検出対象の特定の領域を示す特定共通領域を前記検出対象の位置として設定した教師ラベルを生成する教師ラベル生成部と、前記学習用データとそれぞれの前記学習用データに対応する前記教師ラベルとを用いて、前記検出対象が存在するか否かを判定可能な判定値を、データ中の位置を示す単位ごとに算出可能な判定モデルを生成する判定モデル生成部と、前記探傷装置により得られるボクセルデータであり、判定に用いられる判定用データを取得する判定用データ取得部と、前記判定モデルを用いて、前記判定用データ中の位置を示す前記単位ごとに前記判定値を算出する判定部と、を備える。

【発明の効果】

【0012】

本発明の実施形態により、非破壊検査に用いるボクセルデータの評価において対象物に含まれる検出対象の位置を検出する精度を向上させることができるボクセルデータ評価技術が提供される。

【図面の簡単な説明】

【0013】

【図1】ボクセルデータ評価システムを示すブロック図。

【図2】超音波探傷装置を示す構成図。

【図3】超音波探傷装置の走査態様を示す平面図。

【図4】超音波探傷装置の走査態様を示す側面図。

【図5】超音波探傷装置による走査で得られる超音波画像を示す画像図。

【図6】学習用超音波画像を示す画像図。

【図7】２次元教師ラベルを示す画像図。

【図8】学習用超音波データからチャンネルを選定する流れ示す説明図。

【図9】検出対象を検出したエコーの受信波形を示すグラフ。

【図10】検出対象を検出したエコーの受信波形を絶対値化したものを示すグラフ。

【図11】２次元教師ラベルの画素を示す説明図。

【図12】判定用３次元超音波データを示す画像図。

【図13】学習用３次元超音波データを生成する流れを示す説明図。

【図14】３次元教師ラベルを生成する流れを示す説明図。

【図15】判定用３次元超音波データを生成する流れを示す説明図。

【図16】判定済データを示す画像図。

【図17】判定済データを二値化したもの示す画像図。

【図18】判定済データに出現した像を示す説明図。

【図19】特定共通領域の座標を示す説明図。

【図20】検出対象とノイズが写る判定値を示す画像図。

【図21】ノイズのみが写る判定値を示す画像図。

【図22】超音波画像の取得位置と検出対象との関係を示すグラフ。

【図23】超音波画像の取得位置とノイズとの関係を示すグラフ。

【図24】検出対象の位置を３Ｄ－ＣＡＤモデルにプロットする態様を示す説明図。

【図25】２次元教師ラベルの生成方法を示すフローチャート。

【図26】判定モデルの生成方法を示すフローチャート。

【図27】判定用３次元超音波データの評価方法を示すフローチャート。

【発明を実施するための形態】

【0014】

以下、図面を参照しながら、ボクセルデータ評価システムおよびボクセルデータ評価方法の実施形態について詳細に説明する。

【0015】

本実施形態では、一般的にフェーズドアレイ超音波探傷試験と呼ばれる超音波探傷方法を用いる形態を例示する。その中でも、一定方向に超音波ビームを形成しながら駆動させる超音波素子を電子走査させていくリニア画像法、駆動させる超音波素子を固定または電子走査しながら超音波ビームを形成する角度を扇状に変化させるセクタ画像法、任意の座標領域に網羅的に焦点を設けてビームを集束させるTotal Focusing Method（ＴＦＭ）、または開口合成法などの超音波を用いた映像化方法を用いることができる。なお、単一プローブを用いて機械的に走査し取得した超音波探傷方法を用いても良い。以下の説明では、代表的なリニア画像法について例示する。

【0016】

図１の符号１は、本実施形態のボクセルデータ評価システムである。このボクセルデータ評価システム１は、検査の対象となる対象物Ｑの欠陥（検出対象Ｃ）の有無を評価するものである。本実施形態では、所定の超音波探傷方法により取得した超音波データを、人工知能（ＡＩ）を備えるコンピュータを用いて自動的に解析し、対象物Ｑの欠陥の有無を評価する。この欠陥の有無を評価することで、対象物Ｑの健全性診断などに活用できる。つまり、ボクセルデータ評価システム１は、機械学習により得られた人工知能を用いて対象物Ｑの解析を行うものである。

【0017】

なお、本実施形態で処理の対象となっている「超音波データ」という用語は、画像（２次元のデータ、ピクセルデータ）とボクセルデータ（３次元ボリュームデータ）の少なくとも一方の意味を含んでいる。例えば、判定時に処理の対象となる超音波データは、ボクセルデータとなっている。一方、超音波探傷方法により取得されるときの超音波データは、画像となっている。また、超音波データは、静止画または動画のいずれでも良い。なお、ボクセルデータが動画である場合は、３次元のデータに時間の経過を示す４次元目のデータを加えたものである。以下の説明では、理解を助けるために静止画の超音波データを例示している。

【0018】

ボクセルデータ評価システム１は、超音波探傷器１０と超音波探傷装置２０と超音波画像処理装置３０と超音波データ評価装置１００とを備える。

【0019】

超音波探傷装置２０と超音波画像処理装置３０と超音波データ評価装置１００は、ＣＰＵ、ＲＯＭ、ＲＡＭ、ＨＤＤなどのハードウェア資源を有し、ＣＰＵが各種プログラムを実行することで、ソフトウェアによる情報処理がハードウェア資源を用いて実現されるコンピュータで構成される。さらに、本実施形態のボクセルデータ評価方法は、各種プログラムをコンピュータに実行させることで実現される。

【0020】

ボクセルデータ評価システム１の各構成は、必ずしも複数のコンピュータに設ける必要はない。例えば、ボクセルデータ評価システム１の各構成を１つのコンピュータに設けても良い。

【0021】

図２に示すように、超音波探傷器１０は、検査対象となる対象物Ｑに超音波Ｕを発し、検出対象Ｃで反射した反射波を検出する。なお、以下の説明では、反射波をエコー（出現像）と称する場合がある。この超音波探傷器１０は、超音波Ｕを発する複数の超音波素子１１Ａが配列された探触子１１を備える。これら超音波素子１１Ａは、超音波探傷器１０の走査方向に対して直角を成す方向に直線的に並んで配置されている。この超音波探傷器１０により取得される超音波画像（２次元の超音波データ）は、対象物Ｑの断面を示す画像となる。

【0022】

対象物Ｑとしては、金属材料で構成された部材を例示する。特に、溶接部Ｗ（図３および図４）に生じた検出対象Ｃをボクセルデータ評価システム１により評価する。なお、金属材料以外の材料、例えば、鉄筋コンクリート、モルタル、繊維強化プラスチックなどの複合材料を対象物Ｑとしても良い。このような対象物Ｑの内部または表面に生じた検出対象Ｃを、ボクセルデータ評価システム１により評価する。

【0023】

検出対象Ｃは、ボクセルデータ評価システム１のユーザが任意に定めることができる。検出対象Ｃ（欠陥）としては、対象物Ｑの内部または表面に生じた亀裂、疵、空洞、丸穴、剥離、減肉、介在物などを任意に定めることができる。

【0024】

本実施形態の超音波探傷器１０は、超音波探傷装置２０により電圧が印加されて制御される。超音波探傷器１０としては、一定方向に超音波Ｕのビームを形成しながら、駆動対象の超音波素子１１Ａを電子走査するフェーズドアレイ超音波探傷方式を例示する。なお、本実施形態は、他の方式に適用できる。例えば、Total Focusing Method（ＴＦＭ）、セクタ画像法、開口合成法などの方式に適用しても良い。さらに、単一プローブを用いて機械的に走査し取得した超音波探傷方法に適用しても良い。

【0025】

対象物Ｑの検査時に、超音波探傷器１０と対象物Ｑとの間に、楔と称される音響伝搬媒質２が設けられる。この音響伝搬媒質２は、指向性の高い角度で超音波Ｕを対象物Ｑへ入射させるためのものである。

【0026】

音響伝搬媒質２としては、超音波Ｕが伝搬可能で音響インピーダンスが把握できている等方材を用いる。なお、対象物Ｑの表面が平坦である場合には、音響伝搬媒質２を使用しなくても良い。

【0027】

音響伝搬媒質２として用いられる等方材としては、例えば、アクリル、ポリイミド、ゲル、その他高分子などがある。音響伝搬媒質２としては、超音波素子１１Ａの前面板（図示略）と音響インピーダンスが近い、または同じ材質を用いることができる。また、対象物Ｑと音響インピーダンスが近い、または同じ材質を用いることもできる。また、段階的または漸次的に音響インピーダンスを変化させる複合材料を用いても良い。

【0028】

また、音響伝搬媒質２の内部の多重反射波が探傷結果に影響を与えないように、音響伝搬媒質２の内外にダンピング材を配置しても良い。また、山型の波消し形状を設けても良い。多重反射低減機構を設けても良い。

【0029】

なお、以下の説明では、超音波探傷器１０から対象物Ｑへ超音波Ｕを入射させる際の説明において音響伝搬媒質２の表現を省略している場合がある。

【0030】

超音波探傷器１０から対象物Ｑに至る経路の接触部には、超音波Ｕを伝搬させるための音響接触媒質（図示略）が用いられる。例えば、音響伝搬媒質２を使用する場合には、超音波探傷器１０と音響伝搬媒質２との接触部、および音響伝搬媒質２と対象物Ｑとの接触部に、音響接触媒質（図示略）が用いられる。音響伝搬媒質２を使用しない場合には、超音波探傷器１０と対象物Ｑとの接触部に、音響接触媒質（図示略）が用いられる。この音響接触媒質には、例えば、水、グリセリン、マシン油、ひまし油、アクリル、ポリスチレン、ゲルなどの超音波Ｕを伝搬できる媒質が用いられる。

【0031】

次に、超音波探傷器１０を用いて対象物Ｑの表面を走査する態様を図３から図５を参照して説明する。例えば、対象物Ｑに直線的に延びる溶接部Ｗが設けられているものとする（図３および図４）。この溶接部Ｗに沿って生じた亀裂などの欠陥が、検出対象Ｃであるとする。

【0032】

ここで、超音波探傷器１０を対象物Ｑの表面に沿って、かつ溶接部Ｗが延びる方向に沿って、一方向（直線的）に走査すると、それぞれの位置における対象物Ｑの断面を示す超音波画像が得られる。例えば、対象物Ｑのそれぞれの位置（Ｘｎ～Ｘｎ＋４）に対応してそれぞれの超音波画像（Ｘｎ～Ｘｎ＋４）が得られる（図５）。これらの超音波画像（Ｘｎ～Ｘｎ＋４）は、例えば、学習用超音波画像３１または判定用超音波画像３５である。

【0033】

溶接部Ｗの付近に存在する検出対象Ｃで超音波Ｕが反射した場合には、超音波画像（Ｘｎ～Ｘｎ＋４）に検出対象Ｃの出現像が現れるようになる。ここで、溶接部Ｗに沿って連続的に発生した亀裂のような検出対象Ｃの場合は、それぞれの超音波画像（Ｘｎ～Ｘｎ＋４）に現れる検出対象Ｃの出現像の位置に相関がある。

【0034】

例えば、図５に示すように、検出対象Ｃが無い位置に対応する超音波画像（Ｘｎ）には、検出対象Ｃの出現像が現れない。一方、検出対象Ｃが有る位置に対応する超音波画像（Ｘｎ＋１～Ｘｎ＋４）には、検出対象Ｃの出現像が同じ箇所に現れる。

【0035】

特に、超音波画像（Ｘｎ＋１）で検出対象Ｃの出現像が現れ始めたときは、そのサイズが小さいが、次の超音波画像（Ｘｎ＋２～Ｘｎ＋３）に掛けて、そのサイズが次第に大きくなる。そして、検出対象Ｃの終端に差し掛かると、その超音波画像（Ｘｎ＋４）の検出対象Ｃの出現像のサイズは、次第に小さくなる。これが検出対象Ｃに起因する特有のエコー強度（超音波Ｕの反射強度）の変化である。

【0036】

図１に示すように、超音波探傷器１０で検出された反射波の情報を含む検出信号は、超音波探傷装置２０に入力される。そして、この超音波探傷装置２０で得られた検出信号が、超音波画像処理装置３０で処理される。

【0037】

超音波画像処理装置３０は、超音波Ｕを用いて対象物Ｑに含まれる検出対象Ｃの探傷を行う超音波画像を取得するものである。この超音波画像処理装置３０は、超音波Ｕの反射波に基づいて、超音波素子１１Ａのスキャン方向に沿った超音波画像を生成することができる。

【0038】

図６は、代表的なリニアスキャン画像としての超音波画像を例示している。この超音波画像が、本実施形態の学習用データ（学習用画像）としての学習用超音波画像３１として用いられる。この学習用超音波画像３１では、背景Ｂが黒色で表示され、超音波Ｕが対象物Ｑに入射された入射範囲３２がグレー色で表示され、対象物Ｑの表面３３が白色のラインで表示され、検出対象Ｃが白色で表示される。なお、本実施形態は、超音波画像がＲＧＢなどで表されるカラー画像でも実施可能であるが、説明を明瞭にするため、超音波画像がグレースケール画像であるものとして説明する。図６の例では、１つの検出対象Ｃが学習用超音波画像３１に写っている。

【0039】

本実施形態では、複数の超音波画像を重ね合わせることで、ボクセルデータを生成することができる。例えば、複数の学習用超音波画像３１から生成されたボクセルデータを学習用３次元超音波データ５１（図１３）として用いることができる。さらに、複数の判定用超音波画像３５から生成されたボクセルデータを本実施形態の判定用データとしての判定用３次元超音波データ５５（図１５）として用いることもできる。

【0040】

図２に示すように、超音波探傷器１０から対象物Ｑに入射された超音波Ｕは、遅延時間に従って入射および屈折角度が決定され、対象物Ｑの内部を伝搬する。この伝搬した超音波Ｕは、検出対象Ｃなどで反射または散乱され、再び超音波探傷器１０に到達する。また、検出対象Ｃ以外にも、対象物Ｑの角部（図示略）でも超音波Ｕが、反射または散乱され、超音波探傷器１０に到達する。

【0041】

超音波探傷器１０に到達した反射波（散乱波）は、到達時間および超音波素子１１Ａの情報に基づいて映像化される。このとき、対象物Ｑに検出対象Ｃが存在する場合に、検出対象Ｃのエコー（出現像）が学習用超音波画像３１の中に出現する。

【0042】

本実施形態では、超音波画像処理装置３０が、超音波画像を生成する。例えば、学習用超音波画像３１（図６）を生成する。超音波画像は、超音波画像処理装置３０から超音波データ評価装置１００に入力される。

【0043】

なお、本実施形態の学習用超音波画像３１（または学習用３次元超音波データ５１）は、超音波探傷装置２０により得られる超音波画像を模して、コンピュータグラフィックス（ＣＧ）を用いて生成されるＣＧ画像でも良い。また、超音波探傷装置２０により得られる超音波画像を人手または自動的に編集して多種多様な学習用超音波画像３１を生成しても良い。

【0044】

さらに、超音波伝搬の数値シミュレーションにより得られる超音波画像を用いても良い。例えば、対象物Ｑの内部における超音波の伝搬を可視化するシミュレーション技術を用いて超音波画像を生成し、それを学習用超音波画像３１として用いても良い。

【0045】

図１に示すように、超音波データ評価装置１００は、学習用超音波画像３１に基づき生成された学習用３次元超音波データ５１（図１３）を用いて機械学習を行い、この機械学習の結果に基づいて、判定モデルを生成する。そして、判定に用いられる判定用３次元超音波データ５５（図１５）に含まれる検出対象Ｃの位置を、判定モデルを用いて特定するものである。

【0046】

つまり、本実施形態のコンピュータを用いた解析には、人工知能の学習に基づく解析技術を用いることができる。例えば、ニューラルネットワークによる機械学習により生成された学習モデル、その他の機械学習により生成された学習モデル、深層学習アルゴリズム、回帰分析などの数学的アルゴリズムを用いることができる。

【0047】

本実施形態のシステムは、機械学習を行う人工知能を備えるコンピュータを含む。例えば、ニューラルネットワークを備える１台のコンピュータでシステムを構成しても良いし、ニューラルネットワークを備える複数台のコンピュータでシステムを構成しても良い。

【0048】

ここで、ニューラルネットワークとは、脳機能の特性をコンピュータによるシミュレーションによって表現した数学モデルである。例えば、シナプスの結合によりネットワークを形成した人工ニューロン（ノード）が、学習によってシナプスの結合強度を変化させ、問題解決能力を持つようになるモデルを示す。さらに、ニューラルネットワークは、深層学習（Deep Learning）により問題解決能力を取得する。

【0049】

なお、学習対象となる各種情報項目に報酬関数が設定されるとともに、報酬関数に基づいて価値が最も高い情報項目が抽出される深層強化学習をニューラルネットワークに用いても良い。

【0050】

本実施形態では、教師有りの機械学習方法を用いる。例えば、セマンティックセグメンテーション（Sementic segmentaion）を使用する。ただし、これに限定されず、複数のタイプの機械学習方法を組み合わせても良いし、何か１つの機械学習手法を採用しても良い。

【0051】

セマンティックセグメンテーション以外の機械学習方法としては、全畳み込みニューラルネットワーク（Fully Convolutional Neural Network）、画像認識で実績のあるＲ－ＣＮＮ（Region Convolutional Neural Network）、ｋ－近傍法、ロジスティック回帰、サポートベクターマシン（ＳＶＭ）、深層学習（Deep Learning）などを用いることができる。

【0052】

なお、深層学習には、オートエンコーダ、ＲＮＮ（Recurrent Neural Network）、ＬＳＴＭ（Long Short-Term Memory）、ＧＡＮ（Generative Adversarial Network）などの各種手法がある。これらの手法を本実施形態に適用しても良いし、他の機械学習の手法を用いても良い。

【0053】

図１２に示すように、判定用３次元超音波データ５５は、背景Ｂとなる空間のボクセルが黒色で表示され、超音波Ｕが対象物Ｑに入射された入射範囲３２のボクセルがグレー色で表示され、対象物Ｑの表面３３のボクセルが白色で表示され、検出対象Ｃのボクセルが白色で表示される。図１２の例では、２つの検出対象Ｃが判定用３次元超音波データ５５に写っている。そして、判定モデルを用いて、この判定用３次元超音波データ５５から判定済データ３６（図１６）が生成される。なお、判定済データ３６は、３次元ボリュームデータとなっている。

【0054】

図１６に示すように、判定済データ３６は、背景Ｂとなる空間のボクセルが黒色で表示され、検出対象Ｃの端部が存在する可能性が高い領域３７ほど、ボクセルが明るく表示される。つまり、グレー色から白色に表示される。図１６の例では、２つの領域３７が判定済データ３６に写っている。そして、この判定済データ３６から二値化画像３８（図１７）が生成される。なお、二値化画像３８は、対象物Ｑのそれぞれの位置（断面）に対応する２次元のデータ（画像）となっている。

【0055】

図１７に示すように、二値化画像３８は、背景Ｂが黒色で表示され、検出対象Ｃの端部が存在する特定共通領域３９が白色で表示される。図１７の例では、２つの特定共通領域３９が二値化画像３８に写っている。そして、この二値化画像３８から検出対象Ｃの位置と深さを求めることができる。

【0056】

図１に示すように、超音波データ評価装置１００は、入力部１１０と演算部１２０と判定モデル生成部１３０と記憶部１４０と出力部１５０とを備える。

【0057】

入力部１１０には、超音波Ｕを対象物Ｑに入射することで得られる超音波画像が外部から入力される。本実施形態では、超音波画像処理装置３０から超音波画像が入力される形態を例示するが、他の装置から超音波画像が入力されても良い。

【0058】

入力部１１０に入力される超音波画像には、機械学習に用いられる学習用超音波画像３１（図６）と判定用３次元超音波データ５５（図１２）の２種類がある。この入力部１１０が、本実施形態の学習用データ取得部と判定用データ取得部となっている。

【0059】

本実施形態では、機械学習を行うときに、複数枚の学習用超音波画像３１が入力部１１０に入力される。そして、この学習用超音波画像群ｔｎ（図１３）に基づいて、２次元のデータである２次元教師ラベル群ｌｎ（図１４）が生成される。

【0060】

さらに、学習用超音波画像群ｔｎを用いて、３次元のデータの集まりである学習用３次元超音波データ群Ｔｋ（図１３）が生成される。また、２次元教師ラベル群ｌｎを用いて、３次元のデータの集まりである３次元教師ラベル群Ｌｋ（図１４）が生成される。そして、学習用３次元超音波データ群Ｔｋと３次元教師ラベル群Ｌｋを用いて、判定モデルが生成される。

【0061】

一方、この判定モデルを用いて判定用３次元超音波データ５５の中に含まれる検出対象Ｃを判定するときに、判定用３次元超音波データ５５が入力部１１０に入力される。なお、判定用３次元超音波データ５５は、生成された判定モデルに入力され、検出対象Ｃが含まれているか否かの判定が行われる。

【0062】

演算部１２０は、２次元教師ラベル生成部１２１と３次元データ生成部１２２と判定部１２３と抽出部１２４と検出対象位置算出部１２５とノイズ除去部１２６とを備える。これらは、メモリまたはＨＤＤに記憶されたプログラムがＣＰＵによって実行されることで実現される。

【0063】

記憶部１４０は、超音波探傷によって得られた超音波データおよび判定モデルなどを記憶する。この記憶部１４０は、学習用３次元超音波データ記憶部１４１と３次元教師ラベル記憶部１４２と判定モデル記憶部１４３と判定用３次元超音波データ記憶部１４４と検出対象位置記憶部１４５とを備える。これらは、メモリ、ＨＤＤまたはクラウドに記憶され、検索または蓄積ができるよう整理された情報の集まりである。

【0064】

出力部１５０は、所定の情報の出力を行う。例えば、判定用３次元超音波データ５５の検出対象Ｃの位置を示す３Ｄ－ＣＡＤモデル６０（図２４）を表示する。この出力部１５０は、デジタルデータを表示できるものであれば良く、所謂ＰＣ用のディスプレイ、テレビジョン、プロジェクタ、ヘッドマウントディスプレイなどが考えられる。また、ブラウン管のように一度アナログ信号化してからその画面に画像を表示させるものでも良い。つまり、超音波データ評価装置１００には、解析結果の出力を行う画像の表示を行う装置が含まれる。さらに、出力部１５０は、紙媒体に所定の情報を印字するプリンタでも良い。また、出力部１５０は、ＵＳＢメモリなどの着脱可能で可搬性を有する記憶媒体に所定の情報を書き込むものでも良い。

【0065】

なお、出力部１５０は、超音波エコーの合成信号、映像化結果、超音波探傷器１０の座標および検出対象Ｃとの相対位置、遅延時間、焦点深さ、探傷屈折角などの探傷条件を表示しても良い。また、出力部１５０は、設定した条件に応じて、音または発光によりアラームを生じさせたり、タッチパネルとして操作を入力したりするユーザインタフェース機能を有しても良い。

【0066】

なお、超音波データ評価装置１００は、他の構成を備えても良い。例えば、通信部（図示略）を備えても良い。この通信部は、例えば、インターネットなどの通信回線を介して他のコンピュータと通信を行う。

【0067】

超音波データ評価装置１００の各構成は、必ずしも１つのコンピュータに設ける必要はない。例えば、ネットワークで互いに接続された複数のコンピュータを用いて１つの超音波データ評価装置１００を実現しても良い。

【0068】

２次元教師ラベル生成部１２１は、それぞれの学習用超音波画像３１（図６）に存在する検出対象Ｃの特定の領域を示す特定共通領域３９（図７）を検出対象Ｃの位置として設定した２次元教師ラベル４０を生成する。１つの２次元教師ラベル４０は、１つの学習用超音波画像３１に対応して生成される。そして、学習用超音波画像群ｔｎ（図１３）に対応する２次元教師ラベル群ｌｎ（図１４）が生成される。

【0069】

図７に示すように、２次元教師ラベル４０は、対応する学習用超音波画像３１と同一のサイズの画像（２次元のデータ）である。つまり、学習用超音波画像３１と同一の画素数を有する画像である。この２次元教師ラベル４０では、背景Ｂが黒色で表示され、検出対象Ｃの特定共通領域３９が白色で表示される。つまり、２次元教師ラベル４０は、特定共通領域３９の画素値を「１」、それ以外の画素値を「０」として構成される二値画像である。この２次元教師ラベル４０における特定共通領域３９の位置（座標）は、学習用超音波画像３１に写る検出対象Ｃの上端部の位置に対応している。

【0070】

２次元教師ラベル４０には、検出対象Ｃのエコー（出現像）がある部分に対応した特定共通領域３９を設定する。特定共通領域３９は、例えば、亀裂の場合は亀裂端部、ブローホールの場合はその中心部、検出対象Ｃの種類に合わせて任意に設定できる。この設定は、ユーザが行っても良いし、超音波データ評価装置１００が自動的に行っても良い。

【0071】

検出対象Ｃが亀裂の場合には、検出対象Ｃのエコーの端部を特定共通領域３９と定める。すると、学習用超音波画像３１の特定共通領域３９は、亀裂の端部の位置に相当する。そして、超音波データ評価装置１００が、学習用超音波画像３１から特定共通領域３９を検出する。さらに、判定用３次元超音波データ５５において、特定共通領域３９と対象物Ｑの表面３３のエコーとの距離Ｄ（図１２）を算出することで、亀裂の深さを求めることができる。

【0072】

次に、２次元教師ラベル４０の生成方法について図２５のフローチャートを用いて説明する。なお、図１に示すブロック図を適宜参照する。また、検出対象Ｃを亀裂とし、その端部を特定共通領域３９として説明する。

【0073】

図２５に示すように、まず、ステップＳ１１において、超音波画像処理装置３０により複数の学習用超音波画像３１（学習用データ）が取得される。これら学習用超音波画像３１が超音波データ評価装置１００の入力部１１０（学習用データ取得部）に入力される。

【0074】

次のステップＳ１２において、検査員、研究者または専門家などのユーザにより、学習用超音波画像３１の確認が行われる。ユーザは、それぞれの学習用超音波画像３１に亀裂が写っているか否かの精査を行う。

【0075】

次のステップＳ１３において、２次元教師ラベル生成部１２１では、学習用超音波画像群ｔｎ（図１３）に存在する検出対象Ｃの位置を定義した２次元教師ラベル群ｌｎ（図１４）を生成する。例えば、２次元教師ラベル生成部１２１は、学習用超音波画像３１（図６）に亀裂が写っている場合に、超音波探傷器１０のチャンネルを選定する。例えば、超音波探傷器１０が備える複数（例えば、Ｎ個）の超音波素子１１Ａのうち、亀裂の端部からのエコーが含まれる受信波形４１（図９）を特定する。そして、この受信波形４１を受信した超音波探傷器１０のチャンネルを選定する。ここで、そのチャンネルの番号をｍ（図８）とする。

【0076】

次のステップＳ１４において、２次元教師ラベル生成部１２１は、選定されたチャンネル番号ｍの受信波形４１から亀裂の端部のエコーを取得し、このエコーのピーク位置でのビーム路程Ｘｄを求める。なお、チャンネル番号ｍの選定は、２次元教師ラベル生成部１２１が行っても良いし、ユーザが行っても良い。

【0077】

例えば、図９に示すように、チャンネル番号ｍの受信波形４１には、対象物Ｑの表面３３のエコーの波形４２と、亀裂の端部のエコーの波形４４とが含まれているものとする。そして、チャンネル番号ｍの受信波形４１の振幅の値をＡｍ（Ｘ）とする。さらに、受信波形４１を絶対値化した波形４５を図１０に示す。

【0078】

ここで、２次元教師ラベル生成部１２１は、Ａｍ（Ｘ）の絶対値である｜Ａｍ（Ｘ）｜から、亀裂の端部のエコーのピークの値｜Ａｍ（Ｘｄ）｜を求める。そして、２次元教師ラベル生成部１２１は、この位置までのビーム路程Ｘｄを求めることができる（図８）。

【0079】

図２５に戻り、次のステップＳ１５において、２次元教師ラベル生成部１２１は、チャンネル番号ｍ、ビーム路程Ｘｄ、屈折角α，βから、２次元教師ラベル４０（図７）の特定共通領域３９の中心部の座標Ｅｘ，Ｅｙを求める（図８）。

【0080】

次のステップＳ１６において、２次元教師ラベル生成部１２１は、座標Ｅｘ，Ｅｙを中心とする一辺の長さｄの正方形を設定する（図１１）。ここで、正方形を「１」とし、それ以外を「０」とする二値画像を生成する。この二値画像が２次元教師ラベル４０（図７）となる。そして、２次元教師ラベル４０の生成方法を終了する。

【0081】

図１１に示すように、本実施形態の特定共通領域３９のサイズ（最大長）はｄで表される。例えば、ｄ×ｄの正方形としている。ここで、特定共通領域３９の対角線は、亀裂の端部のエコーの波長λの４分の１以上とする。

【0082】

【数1】

【0083】

図９に示すように、波長λの４分の１という長さは、波形の立ち上がりからピークに到達するまでの長さに相当し、亀裂の端部からのエコーの特徴量を含む最小の長さとなる。仮に、特定共通領域３９のサイズ（最大長）が波長λの４分の１に満たない場合、特定共通領域３９にエコーの特徴が充分に含まれず、亀裂の端部を正しく検出できない可能性が生じる。

【0084】

なお、いくつかの波が連続しているエコーの場合でも、その波から代表的な波形を取り出し、波長を求める必要がある。

【0085】

特定共通領域３９を円とする場合には、円の直径を波長λの４分の１以上のサイズに設定する。特定共通領域３９を楕円とする場合には、楕円の長軸を波長λの４分の１以上に設定する。また、特定共通領域３９は、円以外において、多角形、不定形で設定することも可能である。その場合は、それぞれの最大長が波長λの４分の１以上に設定される。

【0086】

本実施形態では、特定共通領域３９のサイズｄが、超音波探傷装置２０が用いた超音波Ｕの周波数の波長の４分の１以上であることで、特定共通領域３９に検出対象Ｃの特徴が充分に含まれるようになり、検出対象Ｃを正しく検出することができる。そして、検出対象Ｃをノイズと区別できるようになる。

【0087】

図１に示すように、判定モデル生成部１３０は、学習用超音波画像３１とそれぞれの学習用超音波画像３１に対応する２次元教師ラベル４０とを用いて、検出対象Ｃが存在するか否かを判定可能な判定値Ｙｋ（図１６）を、超音波データ中の位置を示す単位ごとに算出可能な判定モデルを生成する。

【0088】

本実施形態において、超音波データ中の位置を示す単位とは、例えば、ボクセルデータ（３次元ボリュームデータ）中のボクセルである。なお、ボクセルデータ中の所定のボクセルが存在する位置（座標）は、従来公知の方法で管理されている。

【0089】

なお、本実施形態では、超音波データ中の位置を示す単位をボクセルとしているが、その他の態様であっても良い。例えば、隣接する複数のボクセルで１つの単位としても良い。また、ボクセルを複数のグリッドで区切り、そのグリッドの１つのマス目（区画）を１つの単位としても良い。

【0090】

３次元データ生成部１２２は、超音波探傷器１０および超音波探傷装置２０を用いて対象物Ｑを探傷して得られる複数の超音波画像を探傷した位置に対応付けた状態で重ね合わせて３次元的なデータを生成可能となっている。このようにすれば、２次元のデータである超音波画像（学習用超音波画像３１または判定用超音波画像３５）しか得られない超音波探傷器１０および超音波探傷装置２０を用いる場合でも、対象物Ｑの表面を一方向に走査して得られる複数の超音波画像を重ね合わせることで、３次元的なデータであるボクセルデータを得ることができる。

【0091】

この３次元データ生成部１２２は、学習用３次元超音波データ５１と３次元教師ラベル５０と判定用３次元超音波データ５５を生成する。いずれの場合も連続する画像を順番通りに重ねて、３次元のデータとして生成する。重ねる枚数として、例えば、４枚以上、１６枚以下を目安としている。例えば、少な過ぎると検出対象Ｃの連続性の情報を活用できず、多すぎると計算量が膨大になるためである。

【0092】

図１３および図１４に示すように、学習用データとしては、ｎ枚の学習用超音波画像３１の集まりである学習用超音波画像群ｔｎと、これらに対応するｎ枚の２次元教師ラベル４０の集まりである２次元教師ラベル群ｌｎとがある。そして、この学習用超音波画像群ｔｎからｋ個の学習用３次元超音波データ群Ｔｋが生成される。さらに、この２次元教師ラベル群ｌｎからｋ個の３次元教師ラベル群Ｌｋが生成される。

【0093】

また、図１５に示すように、本実施形態で判定に用いられる判定用データとしては、ｎ枚の判定用超音波画像３５の集まりである判定用超音波画像群ｘｎがある。そして、この判定用超音波画像群ｘｎからｋ個の判定用３次元超音波データ群Ｘｋが生成される。

【0094】

なお、学習用３次元超音波データ５１と判定用３次元超音波データ５５を生成する場合において、取得する複数の超音波画像の枚数は、互いに同じ枚数にする必要がある。さらに、学習用３次元超音波データ５１と判定用３次元超音波データ５５において、超音波画像を重ねる枚数は、互いに同じ枚数にする必要がある。

【0095】

また、本実施形態の判定用データは、超音波探傷器１０および超音波探傷装置２０を用いて対象物Ｑを探傷して得られる複数の判定用超音波画像３５に基づいて、３次元データ生成部１２２が生成するものである。このようにすれば、検出対象Ｃを３次元的な構造で判定できるため、判定の精度を高めることができる。また、検出対象Ｃを認識し易くなる。

【0096】

次に、判定モデルの生成方法について図２６のフローチャートを用いて説明する。なお、図１に示すブロック図を適宜参照する。

【0097】

図２６に示すように、まず、ステップＳ２１において、判定モデル生成部１３０は、入力部１１０に入力され、学習用３次元超音波データ記憶部１４１に格納された複数枚の学習用超音波画像３１を取得する。

【0098】

次のステップＳ２２において、判定モデル生成部１３０は、複数枚の学習用超音波画像３１と、それぞれの学習用超音波画像３１に対応する２次元教師ラベル４０の対応付けを行う。

【0099】

次のステップＳ２３において、３次元データ生成部１２２は、複数枚の学習用超音波画像３１に基づいて、学習用３次元超音波データ５１の生成を行う。ここで、学習用３次元超音波データ５１の集まりである学習用３次元超音波データ群Ｔｋ（図１３）は、学習用３次元超音波データ記憶部１４１に格納される。

【0100】

次のステップＳ２４において、３次元データ生成部１２２は、複数の２次元教師ラベル４０に基づいて、３次元教師ラベル５０の生成を行う。ここで、３次元教師ラベル５０の集まりである３次元教師ラベル群Ｌｋ（図１４）は、３次元教師ラベル記憶部１４２に格納される。このようにすれば、２次元のデータである超音波画像（学習用超音波画像３１）しか得られない超音波探傷器１０および超音波探傷装置２０を用いる場合でも、対象物Ｑの表面を一方向に走査して得られる複数の超音波画像を重ね合わせることで、３次元教師ラベル５０を生成することができる。

【0101】

次のステップＳ２５において、判定モデル生成部１３０は、教師あり学習により判定モデルを生成する。この判定モデル生成部１３０は、ｋ個の学習用３次元超音波データ群Ｔｋと、それぞれに対応する３次元教師ラベル群Ｌｋに基づいて、教師あり学習を行う。

【0102】

教師あり学習を行うことで、ボクセルデータ（３次元のデータ）中に検出対象Ｃの特定共通領域３９が含まれるか否かを判定し、その判定値Ｙｋをボクセルごとに出力する性能を有する判定モデルが生成される。この判定モデルにより、判定用３次元超音波データ５５（図１２）を入力値として受け入れた場合に、判定済データ３６（図１６）を出力値として出力可能となる。

【0103】

例えば、２次元のデータ（画像）を入出力データとする教師あり学習と比較すると、３次元のデータを用いた教師あり学習では、超音波探傷器１０の走査方向の情報を保持できる。そのため、検出対象Ｃが連続しているときに徐々に輝度値が変化する検出対象Ｃに特有の傾向を新たに学習することが可能となる。

【0104】

例えば、教師あり学習方法の１つである畳み込みニューラルネットワークの例として、２次元のデータの畳み込み演算と３次元のデータの畳み込み演算とが存在する。ここで、２次元のデータの畳み込み演算と３次元のデータの畳み込み演算とを比較すると、２次元のデータの畳み込み演算では、２次元の入力データ（画像）と２次元のフィルターで畳み込み演算を行うため、出力データも２次元のデータとなる。一方、３次元のデータの畳み込み演算は、フィルターが３次元なので、奥行方向（走査方向）の情報を失わずに３次元のデータを出力できる。この学習により判定モデルを生成した後、判定用３次元超音波データ群Ｘｋを入力値として受け入れて、判定値Ｙｋ（図１６）を出力値として出力可能となる。

【0105】

なお、判定モデルの生成（教師あり学習）には、学習用３次元超音波データ５１を可能な限り多く用意し、それらを用いて判定モデルを生成することが望ましい。

【0106】

また、学習用３次元超音波データ５１としては、検出対象Ｃが存在するものと存在しないものの両方があっても良い。例えば、検出対象Ｃが存在しない学習用超音波画像３１のみを重ね合わせて学習用３次元超音波データ５１を生成しても良い。また、学習用３次元超音波データ５１には、検出対象Ｃが存在せず、表面３３のエコーのみが存在するものが含まれていても良い。さらに、１つの学習用３次元超音波データ５１に対して複数個の検出対象Ｃが存在するものが含まれていても良い。

【0107】

次のステップＳ２６において、判定モデル生成部１３０は、生成した判定モデルを判定モデル記憶部１４３に格納する。そして、判定モデルの生成方法を終了する。

【0108】

図１に示すように、判定部１２３は、判定モデルを用いて、判定用３次元超音波データ５５のボクセルごとに、検出対象Ｃが存在するか否かを示す判定値Ｙｋを算出する。

【0109】

次に、判定用３次元超音波データ５５の評価方法について図２７のフローチャートを用いて説明する。なお、図１に示すブロック図を適宜参照する。

【0110】

図２７に示すように、まず、ステップＳ３１において、超音波画像処理装置３０により判定用超音波画像３５（判定用データ）が取得される。この判定用超音波画像３５が超音波データ評価装置１００の入力部１１０（判定用データ取得部）に入力される。

【0111】

次のステップＳ３２において、３次元データ生成部１２２は、複数枚の判定用超音波画像３５に基づいて、判定用３次元超音波データ５５の生成を行う。ここで、判定用３次元超音波データ５５の集まりである判定用３次元超音波データ群Ｘｋ（図１５）は、判定用３次元超音波データ記憶部１４４に格納される。

【0112】

次のステップＳ３３において、判定部１２３は、判定用３次元超音波データ記憶部１４４に格納された判定用３次元超音波データ群Ｘｋ（図１５）を学習済みの判定モデルに入力し、判定値Ｙｋとしての判定済データ３６（図１６）を生成する。

【0113】

図１６に示すように、判定済データ３６（判定値Ｙｋ）は、判定用３次元超音波データ５５と同一のサイズのボクセル（３次元のデータ）である。判定済データ３６のそれぞれのボクセルは、判定値Ｙｋとしての「０」から「１」までの連続値で表される。

【0114】

図１８に示すように、判定済データ３６では、検出対象Ｃの端部が存在する可能性が高い領域３７ほど、ボクセルが明るく表示される。例えば、判定値Ｙｋが「０」の場合は黒色のボクセル値となる。判定値Ｙｋが「１」の場合は白色のボクセル値となる。判定値Ｙｋが「０」を超え、かつ「１」未満の場合はグレー色のボクセル値となる。つまり、判定済データ３６では、判定値Ｙｋが「１」に近いほど、特定共通領域３９が存在する可能性が高いことを表している。

【0115】

図２７に戻り、次のステップＳ３４において、抽出部１２４は、判定値Ｙｋを含む判定済データ３６（図１６）から検出対象Ｃの位置を抽出する。この抽出部１２４は、判定済データ３６において、判定用超音波画像３５の取得位置、例えば、対象物Ｑ（図３）のそれぞれの位置（Ｘｎ～Ｘｎ＋４）に対応する部分で二値化処理を行い、特定共通領域３９を抽出した二値化画像３８（図１７）をそれぞれ生成する。

【0116】

図１７および図１９に示すように、１つの判定済データ３６（判定値Ｙｋのボクセルデータ）を２階調化して複数枚の二値化画像３８が生成される。例えば、ユーザが予め閾値を設定する。そして、判定済データ３６のそれぞれのボクセル値が、閾値を上回っている場合は白色の値「１」に置換し、閾値を下回っている場合は黒色の値「０」に置換する。その後、判定済データ３６（３次元のデータ）を１枚１枚の２次元のデータへスライスする。つまり、１つの判定済データ３６を複数の二値化画像３８に分ける。このようにすれば、スライスされた２次元のデータである二値化画像３８に特定共通領域３９の像を出現させることができる。

【0117】

図２７に戻り、次のステップＳ３５において、検出対象位置算出部１２５は、抽出部１２４で抽出された特定共通領域３９に基づいて、検出対象Ｃの位置（亀裂の位置）を算出する。さらに、この検出対象Ｃの位置に基づいて検出対象Ｃの深さ寸法を計算する。

【0118】

例えば、検出対象位置算出部１２５は、二値化画像３８の特定共通領域３９の中心位置の座標（Ｇｘ１，Ｇｙ１およびＧｘ２，Ｇｙ２）を算出する（図１９）。この座標は、必ずしもその二値化画像３８における特定共通領域３９の中心である必要はない。例えば、二値化画像３８の特定共通領域３９の中で最大強度を持つ座標でも良い、または、所定の閾値を超える画素群の重心を座標としても良い。即ち、特定のロジックによって一意に求められるものであれば良い。

【0119】

検出対象位置算出部１２５は、二値化画像３８の特定共通領域３９の中心位置の座標と、対象物Ｑの表面３３のエコーまでの相対距離（亀裂の深さ）を算出する。例えば、対象物Ｑの表面３３から検出対象Ｃの端部の位置までの距離Ｄを算出する（図１２）。なお、距離を算出するときには、画素数から長さの次元への換算を行う。

【0120】

なお、対象物Ｑの表面３３の位置は、所定の方法で予め求められているものとする。例えば、対象物Ｑの表面３３の座標の計算方法は、それぞれのエコーの最大値を座標としても良いし、所定の閾値を超えるエコーの中心を用いても良い。

【0121】

また、検出対象位置算出部１２５は、算出した検出対象Ｃ（亀裂）の位置と深さを検出対象位置記憶部１４５に格納するとともに、出力部１５０を用いて出力する。

【0122】

次のステップＳ３６において、ノイズ除去部１２６は、検出対象Ｃの位置（亀裂の深さ）を、判定用超音波画像３５の取得位置（例えば、図３に示す対象物Ｑにおけるそれぞれの位置（Ｘｎ～Ｘｎ＋４））ごとにプロットして、検出対象Ｃに起因するエコーとノイズに起因するエコーの判別を行う。例えば、判定用超音波画像３５の取得位置ごとに二値化画像３８の特定共通領域３９を取得して判別を行う。

【0123】

ここで、検出対象Ｃに起因するエコー（二値化画像３８の特定共通領域３９）は、連続して出力される特徴がある。このことから、検出対象Ｃに起因するものである可能性が高いエコーは、着目している判定用超音波画像３５の１つ前または１つ後の判定用超音波画像３５とほぼ同じ箇所（深さ）にエコーが出力される。

【0124】

例えば、図２０および図２２に示すように、連続する４枚の判定用超音波画像３５に対応する二値化画像３８（ｙ１～ｙ４）が有る場合において、画像ｙ１から画像ｙ４まで連続して出力されるエコーＤ１＿１～Ｄ４＿１は、検出対象Ｃである可能性が高い。さらに、画像ｙ２と画像ｙ３に連続して出力されるエコーＤ２＿２～Ｄ３＿２も、検出対象Ｃである可能性が高い。

【0125】

一方、着目している判定用超音波画像３５の１つ前または１つ後の判定用超音波画像３５とほぼ同じ箇所（深さ）にエコー（特定共通領域３９）が存在せず、単発的にエコーが出力されている場合は、そのエコーが検出対象Ｃである可能性は低く、判定用超音波画像３５のノイズを誤ってエコーとして出力してしまった可能性が高い。例えば、図２１および図２３に示すように、連続する４枚の判定用超音波画像３５に対応する二値化画像３８（ｙ５～ｙ８）が有る場合において、画像ｙ７のみに出力されるエコーＤ７＿１は、ノイズである可能性が高い。

【0126】

このように、連続している判定用超音波画像３５のそれぞれのエコーを考慮することで、エコーが真に検出対象Ｃを検出したものであるか、ノイズを誤検出したものであるかを精度よく判別できる。

【0127】

次のステップＳ３７において、演算部１２０は、検出対象Ｃを模した３Ｄ－ＣＡＤモデル６０（図２４）に検出対象Ｃの位置の座標をプロットする。そして、この３Ｄ－ＣＡＤモデル６０を、出力部１５０を用いて出力する。そして、判定用３次元超音波データ５５の評価方法を終了する。このようにすれば、対象物Ｑにおいて亀裂が発生した位置を３次元で可視化することができ、ユーザが対象物Ｑの劣化の状況を把握しやすくなり、検査後の補修の提案などに活用することができる。

【0128】

本実施形態では、検出対象Ｃのエコー全体をラベル付けするのではなく、検出対象Ｃの端部のみをラベル付けしている。そのため、２次元教師ラベル４０の作成のための労力を格段に低減させることができる。また、検出対象Ｃの全部ではなく、その端部のみを検出させるため、超音波画像のそれぞれで検出対象Ｃの形状が異なっても、その深さの計測に共通して必要な端部（特定共通領域３９）を安定して検出することができる。

【0129】

また、特定共通領域３９が、検出対象Ｃの端部であることで、検出対象Ｃが存在する深さを求める精度を向上させることができる。

【0130】

また、抽出部１２４が、判定用３次元超音波データ５５（図１２）から算出された判定値Ｙｋを含む判定済データ３６（図１６）から検出対象Ｃの位置を抽出することで、判定済データ３６から検出対象Ｃの位置を抽出し、判定用３次元超音波データ５５に存在する検出対象Ｃを検出することができる。

【0131】

また、抽出部１２４が、超音波データ中の位置を示す単位ごとの判定値Ｙｋ（図１６）を閾値に基づいて二値化して検出対象Ｃの位置を抽出することで、判定済データ３６における検出対象Ｃが存在する可能性が高い部分を抽出することができる。

【0132】

なお、本実施形態の単位をボクセルとすることで、ボクセルデータの最小単位であるボクセルごとに処理を行えるようになり、詳細に判定用３次元超音波データ５５を判定することができる。

【0133】

また、本実施形態では、２次元のデータである超音波画像（判定用超音波画像３５）を奥行方向（走査方向）に重ね合わせて３次元のボクセルデータ（ボリュームデータ）として扱うことで、超音波画像の評価（ボクセルデータの評価）において、検出対象Ｃ（欠陥）の位置と深さをより確実に特定することができる。

【0134】

さらに、本実施形態では、３次元の超音波データを生成することで検出対象Ｃの連続性の情報を保持し、それを用いて学習させた判定モデルを生成することができる。このようにすれば、従来の１枚の超音波画像に対してセグメンテーションを実行する方法と比較して、検出対象Ｃの連続性という新たな情報を加味した判定を行うことができる。

【0135】

なお、本実施形態において、基準値（閾値）を用いた任意の値（画素値またはボクセル値）の判定は、「任意の値が基準値以上か否か」の判定でも良いし、「任意の値が基準値を超えているか否か」の判定でも良い。或いは、「任意の値が基準値以下か否か」の判定でも良いし、「任意の値が基準値未満か否か」の判定でも良い。また、基準値が固定されるものでなく、変化するものであっても良い。従って、基準値の代わりに所定範囲の値を用い、任意の値が所定範囲に収まるか否かの判定を行っても良い。また、予め装置に生じる誤差を解析し、基準値を中心として誤差範囲を含めた所定範囲を判定に用いても良い。

【0136】

なお、本実施形態のフローチャートにおいて、各ステップが直列に実行される形態を例示しているが、必ずしも各ステップの前後関係が固定されるものでなく、一部のステップの前後関係が入れ替わっても良い。また、一部のステップが他のステップと並列に実行されても良い。

【0137】

本実施形態のシステムは、専用のチップ、ＦＰＧＡ（Field Programmable Gate Array）、ＧＰＵ（Graphics Processing Unit）、またはＣＰＵ（Central Processing Unit）などのプロセッサを高集積化させた制御装置と、ＲＯＭ（Read Only Memory）またはＲＡＭ（Random Access Memory）などの記憶装置と、ＨＤＤ（Hard Disk Drive）またはＳＳＤ（Solid State Drive）などの外部記憶装置と、ディスプレイなどの表示装置と、マウスまたはキーボードなどの入力装置と、通信インターフェースとを備える。このシステムは、通常のコンピュータを利用したハードウェア構成で実現できる。

【0138】

なお、本実施形態のシステムで実行されるプログラムは、ＲＯＭなどに予め組み込んで提供される。もしくは、このプログラムは、インストール可能な形式または実行可能な形式のファイルでＣＤ－ＲＯＭ、ＣＤ－Ｒ、メモリカード、ＤＶＤ、フレキシブルディスク（ＦＤ）などのコンピュータで読み取り可能な非一過性の記憶媒体に記憶されて提供するようにしても良い。

【0139】

また、このシステムで実行されるプログラムは、インターネットなどのネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせて提供するようにしても良い。また、このシステムは、構成要素の各機能を独立して発揮する別々のモジュールを、ネットワークまたは専用線で相互に接続し、組み合わせて構成することもできる。

【0140】

なお、本実施形態では、超音波検査で取得した画像の解析を例示しているが、その他の態様であっても良い。例えば、Ｘ線検査、可視光検査、顕微鏡検査、赤外線検査、紫外線検査などで取得した画像の解析に本実施形態を適用しても良い。

【0141】

また、本実施形態では、超音波画像（またはボクセルデータ）がグレースケール画像であるものとして説明したが、その他の態様であっても良い。例えば、超音波画像がＲＧＢなどで表されるカラー画像でも良い。その場合には、例えば、閾値を上回っている画素値を赤色にし、閾値以下の画素値を青色として、表示の形態に特徴を持たせても良い。

【0142】

なお、本実施形態の学習用データは、超音波探傷装置２０により得られる複数の学習用超音波画像３１から生成される学習用３次元超音波データ５１となっているが、その他の態様であっても良い。さらに、本実施形態の判定用データは、超音波探傷装置２０により得られる複数の判定用超音波画像３５から生成される判定用３次元超音波データ５５となっているが、その他の態様であっても良い。例えば、超音波探傷器１０がマトリックス・アレイ・プローブで構成され、対象物Ｑの超音波データを最初からボクセルデータである学習用３次元超音波データ５１または判定用３次元超音波データ５５として取得しても良い。また、この場合における特定共通領域３９（図１１）は、立方体であっても良い。

【0143】

さらに、本実施形態の学習用データは、超音波探傷装置２０により得られるボクセルデータまたはこれを模して生成されるボクセルデータの少なくとも一方でも良い。このようにすれば、３次元的な情報で検出対象Ｃの学習を行えるため、学習の効率が向上する。

【0144】

以上説明した実施形態によれば、判定モデルを用いて、判定用データ中の位置を示す単位ごとに判定値を算出する判定部を備えることにより、非破壊検査に用いるボクセルデータの評価において対象物に含まれる検出対象の位置を検出する精度を向上させることができる。

【0145】

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更、組み合わせを行うことができる。これら実施形態またはその変形は、発明の範囲と要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

【符号の説明】

【0146】

１…ボクセルデータ評価システム、２…音響伝搬媒質、１０…超音波探傷器、１１…探触子、１１Ａ…超音波素子、２０…超音波探傷装置、３０…超音波画像処理装置、３１…学習用超音波画像、３２…入射範囲、３３…対象物の表面、３５…判定用超音波画像、３６…判定済データ、３７…端部が存在する可能性が高い領域、３８…二値化画像、３９…特定共通領域、４０…２次元教師ラベル、４１…受信波形、４２…対象物の表面のエコーの波形、４４…亀裂の端部のエコーの波形、４５…絶対値化した波形、５０…３次元教師ラベル、５１…学習用３次元超音波データ、５５…判定用３次元超音波データ、６０…３Ｄ－ＣＡＤモデル、１００…超音波データ評価装置、１１０…入力部、１２０…演算部、１２１…２次元教師ラベル生成部、１２３…判定部、１２４…抽出部、１２５…検出対象位置算出部、１３０…判定モデル生成部、１４０…記憶部、１４１…学習用３次元超音波データ記憶部、１４２…３次元教師ラベル記憶部、１４３…判定モデル記憶部、１４４…判定用３次元超音波データ記憶部、１４５…検出対象位置記憶部、１５０…出力部、Ｂ…背景、Ｃ…検出対象、Ｑ…対象物、Ｕ…超音波、Ｗ…溶接部。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】

【図27】