IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社東芝の特許一覧 ▶ 東芝エネルギーシステムズ株式会社の特許一覧

特許7615067超音波データ評価システム、超音波データ評価方法および判定モデル生成方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2025-01-07
(45)【発行日】2025-01-16
(54)【発明の名称】超音波データ評価システム、超音波データ評価方法および判定モデル生成方法
(51)【国際特許分類】
   G01N 29/44 20060101AFI20250108BHJP
   G01N 29/265 20060101ALI20250108BHJP
   G06T 7/10 20170101ALI20250108BHJP
   G06T 7/00 20170101ALI20250108BHJP
【FI】
G01N29/44
G01N29/265
G06T7/10
G06T7/00 350C
【請求項の数】 11
(21)【出願番号】P 2022016990
(22)【出願日】2022-02-07
(65)【公開番号】P2023114589
(43)【公開日】2023-08-18
【審査請求日】2024-03-14
(73)【特許権者】
【識別番号】000003078
【氏名又は名称】株式会社東芝
(73)【特許権者】
【識別番号】317015294
【氏名又は名称】東芝エネルギーシステムズ株式会社
(74)【代理人】
【識別番号】110001380
【氏名又は名称】弁理士法人東京国際特許事務所
(72)【発明者】
【氏名】高橋 栞太
(72)【発明者】
【氏名】星 岳志
(72)【発明者】
【氏名】千星 淳
(72)【発明者】
【氏名】大塚 優
(72)【発明者】
【氏名】土橋 健太郎
【審査官】村田 顕一郎
(56)【参考文献】
【文献】特開2021-004738(JP,A)
【文献】特開2020-128877(JP,A)
【文献】特開2020-144688(JP,A)
【文献】特開2013-079938(JP,A)
【文献】特開2018-041178(JP,A)
【文献】特開2011-128055(JP,A)
【文献】特開平09-264884(JP,A)
【文献】特開昭63-314460(JP,A)
【文献】国際公開第2021/199967(WO,A1)
【文献】米国特許出願公開第2021/0396842(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
G01N 29/00-29/52
G01B 17/00-17/08
A61B 8/00-8/15
G06T 7/00-7/90
G06T 1/40
(57)【特許請求の範囲】
【請求項1】
検査の対象となる対象物に含まれる検出対象の探傷を行って画像またはボクセルデータの少なくとも一方を含む超音波データを取得する超音波探触子と、
前記超音波データを取得したときの前記超音波探触子の位置を示す探傷位置データを取得する位置情報取得装置と、
械学習済みの判定モデルに、判定の対象となる少なくとも1つの前記超音波データと前記探傷位置データとを入力し、前記超音波データ中の位置を示す単位ごとに前記検出対象が存在するか否かを判定可能な判定値を出力させる、コンピュータと、
を備え、
前記判定モデルは、複数の学習用超音波データと学習用探傷位置データと教師ラベルとを用いて前記機械学習済みであり、
前記学習用超音波データは、前記超音波データ、または、これを模して生成されたデータの少なくとも一方を含み、
前記学習用探傷位置データは、前記探傷位置データ、または、これを模して生成されたデータの少なくとも一方を含み、
前記教師ラベルは、前記学習用超音波データ中に存在する前記検出対象の特定の領域を示す特定共通領域を前記検出対象の位置として設定したものである、
超音波データ評価システム。
【請求項2】
前記特定共通領域の最大長は、前記超音波探触子が用いた超音波の周波数の波長の4分の1以上である、
請求項1に記載の超音波データ評価システム。
【請求項3】
前記探傷位置データは、前記超音波探触子の回転を表す角度を含む、
請求項1または請求項2に記載の超音波データ評価システム。
【請求項4】
前記探傷位置データは、前記超音波探触子の位置を表す直交座標で示される少なくとも2つの座標値を含む、
請求項1から請求項3のいずれか1項に記載の超音波データ評価システム。
【請求項5】
前記探傷位置データは、前記超音波探触子の位置を表す極座標または円柱座標で示される少なくとも2つの座標値を含む、
請求項1から請求項3のいずれか1項に記載の超音波データ評価システム。
【請求項6】
前記特定共通領域は、前記検出対象の端部である、
請求項1から請求項5のいずれか1項に記載の超音波データ評価システム。
【請求項7】
前記検出対象の位置を前記判定値に基づいて抽出する抽出部をさらに備える、
請求項1から請求項6のいずれか1項に記載の超音波データ評価システム。
【請求項8】
前記判定値は、前記単位ごとに算出された連続値であり、
前記抽出部は、前記単位ごとの前記判定値を閾値に基づいて二値化して前記検出対象の位置を抽出する、
請求項7に記載の超音波データ評価システム。
【請求項9】
記単位は、画素またはボクセルの少なくとも一方であり、
前記判定モデルは、セグメンテーションで機械学習がされたものである、
請求項1から請求項8のいずれか1項に記載の超音波データ評価システム。
【請求項10】
超音波探触子を用いて検査の対象となる対象物に含まれる検出対象の探傷を行って得られる画像またはボクセルデータの少なくとも一方を含む超音波データを取得し、
前記超音波データを取得したときの前記超音波探触子の位置を示す探傷位置データを取得し、
械学習済みの判定モデルに、判定の対象となる少なくとも1つの前記超音波データと前記探傷位置データとを入力し、前記超音波データ中の位置を示す単位ごとに前記検出対象が存在するか否かを判定可能な判定値を出力させる、
処理をコンピュータが実行するものであり
前記判定モデルは、複数の学習用超音波データと学習用探傷位置データと教師ラベルとを用いて前記機械学習済みであり、
前記学習用超音波データは、前記超音波データ、または、これを模して生成されたデータの少なくとも一方を含み、
前記学習用探傷位置データは、前記探傷位置データ、または、これを模して生成されたデータの少なくとも一方を含み、
前記教師ラベルは、前記学習用超音波データ中に存在する前記検出対象の特定の領域を示す特定共通領域を前記検出対象の位置として設定したものである、
超音波データ評価方法。
【請求項11】
超音波探触子を用いて検査の対象となる対象物に含まれる検出対象の探傷を行って得られる画像またはボクセルデータの少なくとも一方を含む超音波データまたはこれを模して生成されたデータの少なくとも一方を含む学習用超音波データを取得し、
前記超音波探触子を用いて前記超音波データを取得したときの前記超音波探触子の位置を示す探傷位置データまたはこれを模して生成されたデータの少なくとも一方を含む学習用探傷位置データを取得し、
前記学習用超音波データ中に存在する前記検出対象の特定の領域を示す特定共通領域を前記検出対象の位置として設定した教師ラベルを生成し、
複数の前記学習用超音波データと前記学習用探傷位置データと前記教師ラベルとを用いて機械学習を行い、
判定の対象となる少なくとも1つの前記超音波データと前記探傷位置データとを入力とし、前記超音波データ中の位置を示す単位ごとに前記検出対象が存在するか否かを判定可能な判定値を出力とする、
判定モデルを生成する、
処理をコンピュータが実行する、
判定モデル生成方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明の実施形態は、超音波データ評価技術に関する。
【背景技術】
【0002】
従来、超音波検査技術は、構造物の非破壊検査を行うものとして広く使われている。検査員は、超音波検査によって得られる断面画像からその構造物の内部の欠陥の有無を検出し、その位置と深さの測定を行う。欠陥の深さを測定する方法の1つに端部エコー法がある。この端部エコー法とは、欠陥の上端部または下端部からのエコーのビーム路程と屈折角から欠陥の深さを測定する方法である。検査員は、自らの専門知識と経験に基づいて判定を行っているが、検査員の技量によって評価結果にばらつきが生じる場合がある。そこで、超音波検査において、信号処理または人工知能(AI:Artificial Intelligence)などを用いて自動評価する技術が開発されつつある。
【0003】
第1の例として、超音波画像を機械学習の入力として用い、欠陥を検出する技術が知られている。この技術は、超音波画像に欠陥が含まれるか否かを判定するものであり、画像中の欠陥の位置と大きさは特定できない。
【0004】
第2の例として、超音波の応答波形から探傷画像を生成し、パターン認識アルゴリズムを用いて、この探傷画像を正常パターン画像と比較する技術が知られている。この技術では、正常パターン画像と異なる探傷画像であった場合、その探傷画像中の形状エコーと欠陥エコーを判定することで、欠陥の位置を検出できる。この技術では、探傷画像に基づいて個々のエコーを含む画像を切り出す作業が必要である。しかし、仮にノイズの強度が大きく、欠陥エコーが不明瞭な画像である場合、または形状エコーと欠陥エコーが重なり合っている場合には、切出し作業が困難になる可能性があり、欠陥を見逃すおそれがある。また、切り出したエコーを、形状エコーと欠陥エコーに分類し、教師データを作成している。しかし、欠陥エコーか形状エコーかの判定は、常に表示されているか否かで判定しており、溶接部の組織または内在物由来のエコーなども欠陥エコーと判定されるおそれがある。
【0005】
近年、自動運転技術または医療分野などを中心に、物体認識のAIを用いて画像中の物体を検出する試みがなされている。物体認識の中でもよく知られた技術としてセグメンテーションがある。セグメンテーションとは、画像に対してピクセルレベルでクラス分類を行う機械学習アルゴリズムであり、ピクセルレベルで物体を検出することができる。このセグメンテーションの学習モデル構築には、教師あり学習が用いられる。例えば、ピクセル単位で物体毎に色付けされた教師ラベルを使って学習を行う。セグメンテーションを超音波画像の欠陥検出に適用する場合、カメラ画像に適用する場合と比べると教師ラベルの作成に労力とコストが嵩む。カメラ画像と超音波画像を比較した場合、カメラ画像は、物体と背景との境界が明瞭に分かるものが多い。一方、超音波画像は、物体からの超音波エコーの他に溶接金属から発生する散乱波のようなノイズエコーも含まれる。そのため、超音波画像は、一般的なカメラ画像と比較して、物体とそれ以外の境界が不明瞭なものが多い。つまり、超音波画像では、ピクセル単位で物体を区別する作業が非常に困難である。
【0006】
超音波画像のセグメンテーションにおいて、教師ラベルの作成を自動化させるために、いくつかの方法が提案されている。例えば、閾値を設定し、検出対象のエコーとそれ以外とを分離する方法がある。しかし、この方法では、ノイズ強度が大きく、欠陥エコーが不明瞭な画像であった場合、または形状エコーと欠陥エコーが重なり合っている場合には、閾値での分離が困難となる。また、常に表示されているか否かで欠陥エコーかノイズエコーかを分離する方法がある。しかし、この方法では、溶接部の組織または内在物由来のエコーなども欠陥エコーとして分類されるおそれがある。
【0007】
また、現在主流のセグメンテーション方法として、1枚の画像に対してセグメンテーションを実行する方法がある。この方法は、ある画像を学習モデルに入力すると、対象ごとにセグメンテーションされた画像が出力されるものである。これに対して、動画など複数枚の連続性のある画像に対してセグメンテーションを実行する方法がある。
【0008】
一方、実際の超音波探傷では、検査員は、超音波探触子を手動または機械的に走査し、着目している画像中の欠陥エコーの輝度と形状が走査に合わせてどのように変化するかを読み取り、欠陥を判別している。例えば、検査員が、欠陥の位置に対して超音波探触子を近づけたり遠ざけたりすると、それに応じて欠陥エコーの強度に変化が見られる。また、欠陥に対して様々な角度から超音波を入射するように超音波探触子を走査すると、X線透過画像のように欠陥の種類までは判別できないが、その欠陥が球状欠陥であるか、平面状欠陥であるかは判別できる。超音波探触子の何らかの走査に応じて画面上のエコーが変化し、その変化量を読み取ることで、検査員は、そのエコーが、欠陥由来のものか、そうでないかを判別できる。一方、超音波探触子を走査しても画面上の同じ位置にエコーが出現する場合には、欠陥由来のエコーではなく、対象物の表面または底面からのエコーが画面に現れている可能性が高い。
【0009】
1枚の画像に対して欠陥の領域をセグメンテーションする場合には、超音波探触子の走査に応じた欠陥エコーの変化を考慮した判定が行えず、ノイズと欠陥エコーとの判別が困難となる。また、セグメンテーションを超音波画像の欠陥の検出に適用する場合には、一般的なカメラ画像に適用する場合と比較して、教師ラベルの作成に労力とコストが嵩む。また、超音波画像を機械学習の入力として欠陥を検出する場合には、欠陥エコーと溶接部の組織または内在物由来のエコーとを自動的に分類することが困難である。
【先行技術文献】
【特許文献】
【0010】
【文献】特表2020-503509号公報
【文献】国際公開第2015/001624号
【発明の概要】
【発明が解決しようとする課題】
【0011】
本発明が解決しようとする課題は、非破壊検査に用いる超音波データの評価において、対象物に含まれる検出対象位置の検出精度を向上させることができる超音波データ評価技術を提供することである。
【課題を解決するための手段】
【0012】
本発明の実施形態に係る超音波データ評価システムは、検査の対象となる対象物に含まれる検出対象の探傷を行って画像またはボクセルデータの少なくとも一方を含む超音波データを取得する超音波探触子と、前記超音波データを取得したときの前記超音波探触子の位置を示す探傷位置データを取得する位置情報取得装置と、機械学習済みの判定モデルに、判定の対象となる少なくとも1つの前記超音波データと前記探傷位置データとを入力し、前記超音波データ中の位置を示す単位ごとに前記検出対象が存在するか否かを判定可能な判定値を出力させる、コンピュータと、を備え、前記判定モデルは、複数の学習用超音波データと学習用探傷位置データと教師ラベルとを用いて前記機械学習済みであり、前記学習用超音波データは、前記超音波データ、または、これを模して生成されたデータの少なくとも一方を含み、前記学習用探傷位置データは、前記探傷位置データ、または、これを模して生成されたデータの少なくとも一方を含み、前記教師ラベルは、前記学習用超音波データ中に存在する前記検出対象の特定の領域を示す特定共通領域を前記検出対象の位置として設定したものである
【発明の効果】
【0013】
本発明の実施形態により、非破壊検査に用いる超音波データの評価において、対象物に含まれる検出対象位置の検出精度を向上させることができる超音波データ評価技術が提供される。
【図面の簡単な説明】
【0014】
図1】超音波データ評価システムを示すブロック図。
図2】超音波画像評価装置を示すブロック図。
図3】超音波探触子を示す構成図。
図4】超音波探触子の走査態様を示す斜視図。
図5】超音波探触子の走査態様を示す平面図。
図6】位置情報群を示す説明図。
図7】球状欠陥を走査するときの超音波探触子を示す平面図。
図8】首振り走査で球状欠陥を走査するときの超音波探触子を示す平面図。
図9】平面状欠陥を走査するときの超音波探触子を示す平面図。
図10】首振り走査で平面状欠陥を走査するときの超音波探触子を示す平面図。
図11】超音波探触子をX方向に走査させる態様を示す平面図。
図12】超音波探触子をX方向に走査させる態様を示す側面図。
図13】超音波探触子をX方向に走査させて取得した超音波画像を示す画像図。
図14】超音波探触子をY方向に走査させる態様を示す平面図。
図15】超音波探触子をY方向に走査させる態様を示す側面図。
図16】超音波探触子をY方向に走査させて取得した超音波画像を示す画像図。
図17】超音波探触子をジグザグ走査させる態様を示す平面図。
図18】超音波探触子をジグザグ走査させる態様を示す側面図。
図19】超音波探触子をジグザグ走査させて取得した超音波画像を示す画像図。
図20】超音波探触子を首振り走査させる態様を示す平面図。
図21】超音波探触子を首振り走査させる態様を示す側面図。
図22】超音波探触子を首振り走査させて取得した超音波画像を示す画像図。
図23】学習用超音波画像を示す画像図。
図24】教師ラベルを示す画像図。
図25】学習用超音波画像からチャンネルを選定する流れ示す説明図。
図26】検出対象を検出したエコーの受信波形を示すグラフ。
図27】検出対象を検出したエコーの受信波形を絶対値化したものを示すグラフ。
図28】教師ラベルの画素を示す説明図。
図29】判定用超音波画像を示す画像図。
図30】判定済画像を示す画像図。
図31】判定済画像を二値化したもの示す画像図。
図32】判定済画像に出現した像を示す説明図。
図33】特定共通領域の座標を示す説明図。
図34】超音波探触子をジグザグ走査させる態様を示す平面図。
図35】X方向とY方向の位置情報と判定確信度を示すグラフ。
図36】平面状欠陥を超音波探触子で首振り走査する態様を示す平面図。
図37】平面状欠陥を走査する超音波探触子の回転角度と判定確信度を示すグラフ。
図38】球状欠陥を超音波探触子で首振り走査する態様を示す平面図。
図39】球状欠陥を走査する超音波探触子の回転角度と判定確信度を示すグラフ。
図40】検出対象の位置がプロットされた3D-CADモデルを示す斜視図。
図41】教師ラベルの生成方法を示すフローチャート。
図42】判定モデルの生成方法を示すフローチャート。
図43】判定用超音波画像の評価方法を示すフローチャート。
【発明を実施するための形態】
【0015】
以下、図面を参照しながら、超音波データ評価システム、超音波データ評価方法および判定モデル生成方法の実施形態について詳細に説明する。
【0016】
本実施形態では、一般的にフェーズドアレイ超音波探傷試験と呼ばれる超音波探傷方法を用いる形態を例示する。その中でも、一定方向に超音波ビームを形成しながら駆動させる超音波素子を電子走査させていくリニアスキャン探傷法、駆動させる超音波素子を固定または電子走査しながら超音波ビームを形成する角度を扇状に変化させるセクタスキャン探傷法、任意の座標領域に網羅的に焦点を設けてビームを集束させるTotal Focusing Method(TFM)、または開口合成法などの超音波を用いた映像化方法を用いることができる。なお、単一プローブを用いて手動または機械的に走査する超音波探傷方法を用いても良い。以下の説明では、代表的なリニアスキャン探傷法で取得した探傷画像について例示する。
【0017】
図1の符号1は、本実施形態の超音波データ評価システムである。この超音波データ評価システム1は、検査の対象となる対象物Mの欠陥(検出対象K)の有無を評価するものである。本実施形態では、所定の超音波探傷方法により取得した超音波データを、人工知能(AI)を備えるコンピュータを用いて自動的に解析し、対象物Mの欠陥の有無を評価する。この欠陥の有無を評価することで、対象物Mの健全性診断などに活用することができる。つまり、超音波データ評価システム1は、機械学習により得られた人工知能を用いて対象物Mの解析を行うものである。
【0018】
なお、本実施形態で処理の対象となっている「超音波データ」という用語は、画像(2次元のデータ、ピクセルデータ)とボクセルデータ(3次元ボリュームデータ)の少なくとも一方の意味を含んでいる。例えば、超音波探傷方法により取得されるときの超音波データ、および、判定時に処理の対象となる超音波データは、画像とボクセルデータの少なくとも一方である。また、超音波データ(画像またはボクセルデータ)は、静止画または動画のいずれでも良い。なお、超音波データがボクセルデータの動画である場合は、3次元のデータに時間の経過を示す4次元目のデータを加えたものとして扱うことができる。以下の説明では、理解を助けるために静止画の画像(ピクセルデータ)の超音波データを例示している。
【0019】
超音波データ評価システム1は、超音波探触子の一例としたアレイ探触子10と超音波探傷装置20と超音波画像処理装置30と位置情報取得装置90と超音波画像評価装置100とを備える。
【0020】
超音波探傷装置20と超音波画像処理装置30と位置情報取得装置90と超音波画像評価装置100は、CPU、ROM、RAM、HDDなどのハードウェア資源を有し、CPUが各種プログラムを実行することで、ソフトウェアによる情報処理がハードウェア資源を用いて実現されるコンピュータで構成される。さらに、本実施形態の超音波データ評価方法は、各種プログラムをコンピュータに実行させることで実現される。
【0021】
超音波データ評価システム1の各構成は、必ずしも複数のコンピュータに設ける必要はない。例えば、超音波データ評価システム1の各構成を1つのコンピュータに設けても良い。
【0022】
図3に示すように、アレイ探触子10は、検査対象となる対象物Mに超音波Uを発し、検出対象Kで反射した反射波Rを検出する。なお、以下の説明では、反射波Rをエコー(出現像)と称する場合がある。このアレイ探触子10は、超音波Uを発する複数の超音波素子11Aが配列された探触子11を備える。これら超音波素子11Aは、アレイ探触子10の走査方向に対して直角を成す方向に直線的に並んで配置されている。このアレイ探触子10により取得される超音波画像(2次元の超音波データ)は、対象物Mの断面を示す画像となる。なお、本実施形態において、超音波探触子としてアレイ探触子10を例として示したが、2次元状に配置された超音波探触子、または単一プローブにも適用できるのは勿論である。
【0023】
対象物Mとしては、金属材料で構成された部材を例示する。特に、溶接部W(図4)またはその近傍に生じた検出対象Kを超音波データ評価システム1により評価する。なお、金属材料以外の材料、例えば、鉄筋コンクリート、モルタル、繊維強化プラスチックなどの複合材料を対象物Mとしても良い。このような対象物Mの内部または表面に生じた検出対象Kを、超音波データ評価システム1により評価する。
【0024】
検出対象Kは、超音波データ評価システム1のユーザが任意に定めることができる。検出対象K(欠陥)としては、対象物Mの内部または表面に生じた亀裂、疵、空洞、丸穴、剥離、減肉、介在物などを任意に定めることができる。
【0025】
アレイ探触子10は、超音波探傷装置20により電圧が印加されて制御される。このアレイ探触子10は、一定方向に超音波Uのビームを形成しながら、駆動対象の超音波素子11Aを電子走査するフェーズドアレイ超音波探傷方式を例示している。なお、本実施形態は、他の方式に適用できる。例えば、セクタ画像法、TFM、または、開口合成法などの方式に適用しても良い。さらに、本実施形態は、超音波探触子として単一プローブを用いて機械的に走査する超音波探傷方法に適用しても良い。
【0026】
対象物Mの検査時に、アレイ探触子10と対象物Mとの間に、楔と称される音響伝搬媒質2が設けられる。この音響伝搬媒質2は、指向性の高い角度で超音波Uを対象物Mへ入射させるためのものである。
【0027】
音響伝搬媒質2としては、超音波Uが伝搬可能で音響インピーダンスが把握できている等方材を用いる。なお、対象物Mの表面が平坦である場合には、音響伝搬媒質2を使用しなくても良い。
【0028】
音響伝搬媒質2として用いられる等方材としては、例えば、アクリル、ポリイミド、ゲル、その他高分子などがある。音響伝搬媒質2としては、超音波素子11Aの前面板(図示略)と音響インピーダンスが近い、または同じ材質を用いることができる。また、対象物Mと音響インピーダンスが近い、または同じ材質を用いることもできる。また、段階的または漸次的に音響インピーダンスを変化させる複合材料を用いても良い。
【0029】
また、音響伝搬媒質2の内部の多重反射波が探傷結果に影響を与えないように、音響伝搬媒質2の内外にダンピング材を配置しても良い。また、山型の波消し形状を設けても良い。多重反射低減機構を設けても良い。
【0030】
なお、以下の説明では、アレイ探触子10から対象物Mへ超音波Uを入射させる際の説明において音響伝搬媒質2の表現を省略している場合がある。
【0031】
アレイ探触子10から対象物Mに至る経路の接触部には、超音波Uを伝搬させるための音響接触媒質(図示略)が用いられる。例えば、音響伝搬媒質2を使用する場合には、アレイ探触子10と音響伝搬媒質2との接触部、および音響伝搬媒質2と対象物Mとの接触部に、音響接触媒質(図示略)が用いられる。音響伝搬媒質2を使用しない場合には、アレイ探触子10と対象物Mとの接触部に、音響接触媒質(図示略)が用いられる。この音響接触媒質には、例えば、水、グリセリン、マシン油、ひまし油、アクリル、ポリスチレン、ゲルなどの超音波Uを伝搬できる媒質が用いられる。
【0032】
図1に示すように、アレイ探触子10で検出された反射波Rの情報を含む検出信号は、超音波探傷装置20に入力される。そして、この超音波探傷装置20で得られた検出信号が、超音波画像処理装置30で処理される。
【0033】
超音波画像処理装置30は、超音波Uを用いて対象物Mに含まれる検出対象Kの探傷を行う超音波画像を取得するものである。この超音波画像処理装置30は、超音波Uの反射波に基づいて、超音波素子11Aのスキャン方向に沿った超音波画像を生成することができる。
【0034】
本実施形態では、アレイ探触子10を走査したときのアレイ探触子10の位置(変位)および回転角度θ(図5)を取得し、検出対象K(欠陥エコー)の輝度または形状が、アレイ探触子10の位置または角度に合わせてどのように変化するかを評価する。この評価をすることで、超音波画像において、検出対象Kの位置と深さがより確実に特定される。なお、超音波画像と、その超音波画像を取得したときのアレイ探触子10の位置を示す情報との2種類のデータを合わせて、機械学習させた判定モデルが生成される。
【0035】
従来の技術では、画像のデータのみを用いて検出対象Kが判定されていた。これに対して本実施形態では、画像と位置情報との2種類のデータが用いられて判定が行われる。このようにすれば、実際に検査員が超音波探傷で活用する情報を用いて、検出対象Kを判定することができ、その精度が格段に向上される。
【0036】
例えば、図7に示すように、検出対象Kが球状欠陥であるとする。アレイ探触子10から検出対象Kに向けて超音波Uを発し、検出対象Kで反射した反射波Rを検出する。次に、図8に示すように、アレイ探触子10の位置と向きを変更し、異なる方向から検出対象Kに向けて超音波Uを発する。ここで、検出対象Kが球状欠陥の場合は、アレイ探触子10の位置と向きを変更しても、反射波Rの強度が変化しない。
【0037】
一方、検出対象Kが平面状欠陥の場合は、アレイ探触子10の位置と向きを変更すると、反射波Rが反射される方向が変化する。つまり、反射波Rの強度が変化する。例えば、図9に示すように、検出対象Kが広がる面に対して垂直に超音波Uが入射されると、反射波Rが強まる。一方、図10に示すように、検出対象Kが広がる面に対して斜め方向に超音波Uが入射されると、反射波Rが弱まる。このように、アレイ探触子10を動かしたときに、その反射波Rの変化を把握することで、検出対象Kが球状欠陥または平面状欠陥のいずれであるかが判別可能となっている。溶接部Wの内部欠陥を探傷する場合、発見が想定される主な球状欠陥は、ブローホールが挙げられ、平面状欠陥は、スラグ巻込、融合不良、溶込不良、割れが挙げられる。
【0038】
図1に示すように、位置情報取得装置90は、アレイ探触子10の位置を取得する変位取得部91と、アレイ探触子10の回転角度θを取得する角度取得部92とを備える。この位置情報取得装置90は、アレイ探触子10で対象物Mを走査したときのアレイ探触子10の位置(変位)および回転角度θ(図5)を含む探傷位置データを取得する。
【0039】
本実施形態では、例えば、変位取得部91として、エンコーダを有したXY軸スキャナを使用する。また、角度取得部92として、エンコーダを有する角度センサを使用する。
【0040】
なお、変位取得部91と角度取得部92は、これに限定されず、複数のタイプの位置情報取得方法を組み合わせたものでも良いし、他の位置情報取得方法を用いても良い。例えば、ロボットアーム(図示略)の手先にアレイ探触子10を取り付けた場合には、アレイ探触子10の位置および回転の制御を示す情報に基づいて、アレイ探触子10の位置(変位)および回転角度θが取得されても良い。また、アレイ探触子10を撮影する所定のカメラ(図示略)などで取得した画像情報に基づいて、アレイ探触子10の位置および回転角度θが取得されても良い。
【0041】
探傷位置データは、アレイ探触子10の位置を表す直交座標で示される少なくとも2つの座標値を含む。このようにすれば、対象物Mが平板状の場合には、対象物Mの表面上のアレイ探触子10の位置を表し易くなる。直交座標は、例えば、平板状の対象物Mの表面に沿う2次元の座標系である。
【0042】
なお、探傷位置データは、アレイ探触子10の位置を表す極座標または円柱座標で示される少なくとも2つの座標値を含むものでも良い。このようにすれば、対象物Mが球形状、円柱形状、または円筒形状の場合には、対象物Mの表面上のアレイ探触子10の位置を表し易くなる。極座標は、例えば、球形状、円柱形状、または円筒形状の対象物Mの表面に沿う2次元の座標系である。例えば、探傷位置データは、極座標で示される動径と偏角とを含む。また、探傷位置データは、円柱座標で示される角度位置と軸位置とを含む。
【0043】
また、探傷位置データは、アレイ探触子10の回転を表す角度を含む。このようにすれば、アレイ探触子10の向きを検出対象Kの判定に反映させることができる。
【0044】
図4に示すように、対象物Mの表面に沿う2方向をX軸とY軸で表し、対象物Mの深さ方向をZ軸で表す。この図4では、平板状の対象物Mを例示している。
【0045】
アレイ探触子10の位置(変位)とは、例えば、対象物Mの表面に沿って移動するアレイ探触子10のXY座標またはその変化を示す情報である。アレイ探触子10の位置は、所定の位置をXY座標の原点とする位置である。なお、アレイ探触子10の位置は、一定時間ごとに変化するXY座標の変化量でも良い。
【0046】
アレイ探触子10の回転角度θとは、対象物Mの表面に沿って回転するアレイ探触子10の向きを示す情報である。つまり、対象物Mの表面から垂直に延びる軸を中心Q(図5)とし、この軸周りにアレイ探触子10が回転したときの角度である。なお、回転角度θは、所定の方向(例えば、Y軸方向)に沿う角度を基準θ図20)とするアレイ探触子10の回転角度θである。なお、回転角度θは、一定時間ごとに変化するアレイ探触子10の回転角度θの変化量でも良い。
【0047】
図6に示すように、位置情報取得装置90は、探傷位置データの集まりである位置情報群を取得する。図6では、位置情報群を所定のテーブルとして図示している。例えば、超音波画像を取得したときに、それぞれの超音波画像を個々に識別可能な識別情報としての取得番号が付与される。これら取得番号を主キーとして各種情報が登録される。例えば、取得番号に対応付けて、X座標とY座標と回転角度θとが登録される。
【0048】
次に、アレイ探触子10をX方向に走査させる態様を図11から図13を参照して説明する。例えば、対象物Mに直線的に延びる溶接部Wが設けられているものとする(図11および図12)。この溶接部Wに沿ってその近傍に生じた亀裂などの欠陥が、検出対象Kであるとする。
【0049】
図11および図12に示すように、アレイ探触子10を対象物Mの表面に沿って、かつ溶接部Wが延びる方向に沿って、X方向(直線的)に走査すると、それぞれの位置における対象物Mの断面を示す超音波画像が得られる。例えば、対象物Mのそれぞれの位置(X~Xn+4)に対応してそれぞれの超音波画像(X~Xn+4)が得られる(図13)。これらの超音波画像(X~Xn+4)が、学習用超音波画像31または判定用超音波画像35である。なお、この走査は、左右走査と呼ばれている。検出対象Kの走査方向の長さを推定するために使用される。
【0050】
図13に示すように、例えば、最初の超音波画像(X)では、検出対象Kの出現像(エコー)が表示されていない。しかし、次の超音波画像(Xn+1)と、さらに次の超音波画像(Xn+2)では、次第に検出対象Kの出現像が大きくなる。さらに、検出対象Kの終端に差し掛かると、その超音波画像(Xn+4)では、出現像の表示が弱くなる。これが検出対象Kの特有の強度の変化である。
【0051】
次に、アレイ探触子10をY方向に走査させる態様を図14から図16を参照して説明する。例えば、対象物Mに直線的に延びる溶接部Wが設けられているものとする(図14および図15)。この溶接部Wに沿ってその近傍に生じた亀裂などの欠陥が、検出対象Kであるとする。
【0052】
図14および図15に示すように、アレイ探触子10を対象物Mの表面に沿って、かつ溶接部Wが延びる方向に沿って、Y方向(直線的)に走査すると、それぞれの位置における対象物Mの断面を示す超音波画像が得られる。例えば、対象物Mのそれぞれの位置(Y~Yn+4)に対応してそれぞれの超音波画像(Y~Yn+4)が得られる(図16)。これらの超音波画像(Y~Yn+4)が、学習用超音波画像31または判定用超音波画像35である。
【0053】
図16に示すように、例えば、最初の超音波画像(Y)から最後の超音波画像(Yn+4)からに至るまで、検出対象Kの出現像(エコー)が表示されている。しかし、それぞれの超音波画像(Y~Yn+4)に表示される検出対象Kの出現像の位置は、アレイ探触子10のY方向の位置に応じて異なっている。なお、この走査は、前後走査と呼ばれている。初期位置Y0からYnまでの距離を測ることで、検出対象KのY方向の位置を推定する。
【0054】
次に、アレイ探触子10をジグザグ走査させる態様を図17から図19を参照して説明する。例えば、対象物Mに直線的に延びる溶接部Wが設けられているものとする(図17および図18)。この溶接部Wに沿ってその近傍に生じた亀裂などの欠陥が、検出対象Kであるとする。
【0055】
図17に示すように、アレイ探触子10を前後走査させながら溶接線方向(X方向)に移動させる。アレイ探触子10の軌跡が平面視でジグザグを成すコースをたどるので、このような走査方法をジグザグ走査という。このジグザグ走査は、粗探傷(予備探傷)に用いられる。
【0056】
このジグザグ走査では、アレイ探触子10が回転角度(θ)を固定しつつ、アレイ探触子10の位置(X,Y)を変化させて、超音波画像を得る。これらの超音波画像(X,Y,θ)が、学習用超音波画像31または判定用超音波画像35である。
【0057】
図19に示すように、所定の位置にアレイ探触子10があるときに取得された超音波画像(X,Y,θ)には、検出対象Kの出現像(エコー)が表示されている。しかし、他の超音波画像には、検出対象Kの出現像が表示されていない。
【0058】
次に、アレイ探触子10を首振り走査させる態様を図20から図22を参照して説明する。例えば、対象物Mに直線的に延びる溶接部Wが設けられているものとする(図20および図21)。この溶接部Wに沿ってその近傍に生じた亀裂などの欠陥が、検出対象Kであるとする。
【0059】
図20に示すように、ジグザグ走査による粗探傷の後に、検出対象Kの出現像が得られるXY面上の特定の位置で、アレイ探触子10の首を振って超音波Uの入射角度を変える走査を行う。この走査方法を首振り走査(振子走査)という。この首振り走査は、対象物Mの内部の検出対象Kの形状、寸法などをさらに精密に推定するために行われる。超音波Uの入射角度を変えることで、検出対象Kの反射波R(図7から図10)の強度が変化する。
【0060】
例えば、検出対象Kが、ブローホールのような球状欠陥であるか、亀裂のような平面状欠陥かを判別できる。例えば、球状欠陥の場合、首振り走査を行っても反射波Rの強度に変化は見られない(図7から図8)、一方、亀裂のような平面状欠陥の場合、亀裂が走っている方向に垂直に超音波Uを入射しないと反射波Rが受信できない(図9から図10)。そのため、首振り走査を行うと、反射波Rの強度に変化が見られる。また、首振り走査では、平面状欠陥であった場合、溶接線方向に対して亀裂が走っている角度を、おおまかに調べることができる。
【0061】
本実施形態では、超音波画像を1枚取得するごとに、位置情報取得装置90により、その時点でのアレイ探触子10の位置および角度を示す探傷位置データが取得される。例えば、1枚の超音波画像につき、2次元の平面座標値XYとアレイ探触子10の回転角度θとを含む3つのパラメータが取得される。
【0062】
超音波画像を取得するタイミングは、空間的な距離で等間隔に取得しても良いし、不揃いに取得しても良い。また、時間的に取得タイミングを指定しても良い。
【0063】
図5で示すように、位置情報取得装置90によって取得されるアレイ探触子10の回転角度は、XY平面上において、アレイ探触子10の中心Qを基準として、θ=∠AOBとして表される。
【0064】
図23は、代表的なリニアスキャン探傷画像としての超音波画像(超音波データ)を例示している。この超音波画像が、本実施形態の学習用超音波データとしての学習用超音波画像31として用いられる。この学習用超音波画像31では、背景Bが黒色で表示され、超音波Uが対象物Mに入射された入射範囲32がグレー色で表示され、対象物Mの表面33が白色のラインで表示され、検出対象Kが白色で表示される。なお、本実施形態は、超音波画像がRGBなどで表されるカラー画像でも実施可能であるが、説明を明瞭にするため、超音波画像がグレースケール画像であるものとして説明する。図23の例では、1つの検出対象Kが学習用超音波画像31に写っている。なお、超音波画像は、本実施形態の判定用超音波データとしての判定用超音波画像35(図29)としても用いられる。
【0065】
図3に示すように、アレイ探触子10から対象物Mに入射された超音波Uは、遅延時間に従って入射および屈折角度が決定され、対象物Mの内部を伝搬する。この伝搬した超音波Uは、検出対象Kなどで反射または散乱され、再びアレイ探触子10に到達する。また、検出対象K以外にも、対象物Mの底面または角部でも超音波Uが、反射または散乱され、アレイ探触子10に到達する。
【0066】
アレイ探触子10に到達した反射波(散乱波)は、到達時間および超音波素子11Aの情報に基づいて映像化される。このとき、対象物Mに検出対象Kが存在する場合に、検出対象Kのエコー(出現像)が学習用超音波画像31の中に出現する。
【0067】
本実施形態では、超音波画像処理装置30が、学習用超音波画像31(図23)または判定用超音波画像35(図29)を生成する。学習用超音波画像31または判定用超音波画像35は、超音波画像処理装置30から超音波画像評価装置100に入力される。
【0068】
なお、本実施形態の学習用超音波画像31は、超音波探傷装置20により得られる超音波画像を模して、コンピュータグラフィックス(CG)を用いて生成されるCG画像でも良い。また、超音波探傷装置20により得られる超音波画像を人手または自動的に編集して多種多様な学習用超音波画像31を生成しても良い。
【0069】
さらに、超音波伝搬の数値シミュレーションにより得られる超音波画像を用いても良い。例えば、対象物Mの内部における超音波Uの伝搬を可視化するシミュレーション技術を用いて超音波画像を生成し、それを学習用超音波画像31として用いても良い。
【0070】
さらに、超音波画像を模したものを用いる場合には、探傷位置データについても模したものを用いる。例えば、仮想の3次元空間の検出対象Kとアレイ探触子10との位置関係を模擬し、この3次元空間におけるアレイ探触子10の位置および回転角度θを探傷位置データとして生成する。
【0071】
図2に示すように、超音波画像評価装置100は、学習用超音波画像31を用いて機械学習を行い、この機械学習の結果に基づいて、判定に用いられる判定用超音波画像35に含まれる検出対象Kの位置を特定するものである。
【0072】
つまり、本実施形態のコンピュータを用いた解析には、人工知能の学習に基づく解析技術を用いることができる。例えば、ニューラルネットワークによる機械学習により生成された学習モデル、その他の機械学習により生成された学習モデル、深層学習アルゴリズム、回帰分析などの数学的アルゴリズムを用いることができる。
【0073】
本実施形態のシステムは、機械学習を行う人工知能を備えるコンピュータを含む。例えば、ニューラルネットワークを備える1台のコンピュータでシステムを構成しても良いし、ニューラルネットワークを備える複数台のコンピュータでシステムを構成しても良い。
【0074】
ここで、ニューラルネットワークとは、脳機能の特性をコンピュータによるシミュレーションによって表現した数学モデルである。例えば、シナプスの結合によりネットワークを形成した人工ニューロン(ノード)が、学習によってシナプスの結合強度を変化させ、問題解決能力を持つようになるモデルを示す。さらに、ニューラルネットワークは、深層学習(Deep Learning)により問題解決能力を取得する。
【0075】
なお、学習対象となる各種情報項目に報酬関数が設定されるとともに、報酬関数に基づいて価値が最も高い情報項目が抽出される深層強化学習をニューラルネットワークに用いても良い。
【0076】
本実施形態では、教師有りの機械学習方法を用いる。例えば、セマンティックセグメンテーション(Semantic Segmentation)を使用する。ただし、これに限定されず、複数のタイプの機械学習方法を組み合わせても良いし、何か1つの機械学習方法を採用しても良い。例えば、回帰型ニューラルネットワーク(Recurrent Neural Network)、長期・短期記憶(Long short-term memory)の構造を持つ回帰型ニューラルネットワークなどの時系列データを扱う教師有り学習を用いても良い。
【0077】
セマンティックセグメンテーション以外の機械学習方法としては、全畳み込みニューラルネットワーク(Fully Convolutional Neural Network)、画像認識で実績のあるR-CNN(Region Convolutional Neural Network)、k-近傍法、ロジスティック回帰、サポートベクターマシン(SVM)、深層学習(Deep Learning)などを用いることができる。
【0078】
なお、深層学習には、オートエンコーダ、RNN(Recurrent Neural Network)、LSTM(Long Short-Term Memory)、GAN(Generative Adversarial Network)などの各種手法がある。これらの手法を本実施形態に適用しても良いし、他の機械学習の手法を用いても良い。
【0079】
図29に示すように、判定用超音波画像35は、背景Bが黒色で表示され、超音波Uが対象物Mに入射された入射範囲32がグレー色で表示され、対象物Mの表面33が白色のラインで表示され、検出対象Kが白色で表示される。図29の例では、2つの検出対象Kが判定用超音波画像35に写っている。そして、判定モデルを用いて、この判定用超音波画像35から判定済データとしての判定済画像36が生成される。
【0080】
図30に示すように、判定済画像36は、背景Bが黒色で表示され、検出対象Kの端部が存在する可能性が高い領域37ほど、画素が明るく表示される。つまり、画素が、グレー色から白色に表示される。図30の例では、2つの端部が存在する可能性が高い領域37が判定済画像36に写っている。そして、この判定済画像36から二値化画像38が生成される。
【0081】
図31に示すように、二値化画像38は、背景Bが黒色で表示され、検出対象Kの端部が存在する特定共通領域39が白色で表示される。図31の例では、2つの特定共通領域39が二値化画像38に写っている。そして、この二値化画像38から検出対象Kの位置と深さを求めることができる。
【0082】
次に、超音波画像評価装置100のシステム構成を図2に示すブロック図を参照して説明する。さらに、超音波画像評価装置100には、図2に示す構成以外のものが含まれても良いし、図2に示す一部の構成が省略されても良い。
【0083】
超音波画像評価装置100は、入力部110と演算部120と判定モデル生成部130と記憶部140と出力部150とを備える。
【0084】
入力部110には、超音波Uを対象物Mに入射することで得られる超音波画像が外部から入力される。本実施形態では、超音波画像処理装置30から超音波画像が入力される形態を例示するが、他の装置から超音波画像が入力されても良い。また、位置情報取得装置90から探傷位置データが入力される形態を例示するが、他の装置から探傷位置データが入力されても良い。
【0085】
入力部110は、画像入力部111と位置情報入力部112とを備える。画像入力部111には、超音波画像処理装置30から超音波画像(超音波データ)が入力される。位置情報入力部112には、位置情報取得装置90から探傷位置データが入力される。
【0086】
画像入力部111に入力される超音波画像には、機械学習に用いられる学習用超音波画像31(図23)と判定用超音波画像35(図29)の2種類がある。この画像入力部111が、本実施形態の超音波データ取得部となっている。
【0087】
本実施形態では、機械学習を行うときに、複数枚の学習用超音波画像31とこれらのそれぞれに対応する探傷位置データとが入力部110に入力される。そして、この学習用超音波画像群に基づいて、教師ラベル群が生成される。さらに、学習用超音波画像群と教師ラベル群と探傷位置データ群(位置情報群)とを用いて、判定モデルが生成される。一方、この判定モデルを用いて、判定用超音波画像35の中に含まれる検出対象Kが判定されるときに、判定用超音波画像35とこれに対応する探傷位置データとが入力部110に入力される。なお、入力される判定用超音波画像35は、1枚でも良いし、複数枚でも良い。
【0088】
機械学習済みの判定モデルは、超音波データと探傷位置データが入力される入力層と、判定値を出力する出力層と、超音波データと探傷位置データと教師ラベルとを含む学習データ(教師データ)を用いてパラメータが学習された中間層と、を備える。この判定モデルは、超音波データと探傷位置データを入力層に入力し、中間層で演算し、判定値を出力層から出力させるようにコンピュータを機能させるものである。
【0089】
学習データとしては、アレイ探触子10を用いて得られる超音波データまたはこれを模した超音波データの少なくとも一方と、超音波データを取得したときのアレイ探触子10の探傷位置データまたはこれを模した探傷位置データの少なくとも一方とを用いる。
【0090】
位置情報入力部112に入力される探傷位置データには、機械学習に用いられる学習用探傷位置データと判定用探傷位置データの2種類がある。この位置情報入力部112が、本実施形態の探傷位置データ取得部となっている。
【0091】
演算部120は、教師ラベル生成部121と判定部122と抽出部123と検出対象位置算出部124と判定確信度算出部125とを備える。これらは、メモリまたはHDDに記憶されたプログラムがCPUによって実行されることで実現される。
【0092】
記憶部140は、超音波探傷によって得られた画像、探傷位置データ、および判定モデルなどを記憶する。この記憶部140は、学習用超音波画像記憶部141と学習用位置情報記憶部142と教師ラベル記憶部143と判定モデル記憶部144と判定用超音波画像記憶部145と判定用位置情報記憶部146と検出対象位置記憶部147とを備える。これらは、メモリ、HDDまたはクラウドに記憶され、検索または蓄積ができるよう整理された情報の集まりである。
【0093】
出力部150は、所定の情報の出力を行う。例えば、判定用超音波画像35の検出対象Kの位置を示す画像が表示される。この出力部150は、デジタルデータを表示できるものであれば良く、所謂PC用のディスプレイ、テレビジョン、プロジェクタ、ヘッドマウントディスプレイなどが考えられる。また、ブラウン管のように一度アナログ信号化してから、その画面に画像が表示されるものでも良い。つまり、超音波画像評価装置100には、解析結果の出力を行う画像の表示を行う装置が含まれる。さらに、出力部150は、紙媒体に所定の情報を印字するプリンタでも良い。また、出力部150は、USBメモリなどの着脱可能で可搬性を有する記憶媒体に所定の情報を書き込むものでも良い。
【0094】
なお、出力部150は、超音波エコーの合成信号、映像化結果、アレイ探触子10の座標および検出対象Kとの相対位置、遅延時間、焦点深さ、探傷屈折角などの探傷条件を表示しても良い。また、出力部150は、設定した条件に応じて、音または発光によりアラームを生じさせたり、タッチパネルとして操作を入力したりするユーザインタフェース機能を有しても良い。
【0095】
なお、超音波画像評価装置100は、他の構成を備えても良い。例えば、通信部(図示略)を備えても良い。この通信部は、例えば、インターネットなどの通信回線を介して他のコンピュータと通信を行う。
【0096】
超音波画像評価装置100の各構成は、必ずしも1つのコンピュータに設ける必要はない。例えば、ネットワークで互いに接続された複数のコンピュータを用いて1つの超音波画像評価装置100を実現しても良い。
【0097】
教師ラベル生成部121は、それぞれの学習用超音波画像31に存在する検出対象Kの特定の領域を示す特定共通領域39(図31)を検出対象Kの位置として設定した教師ラベル40を生成する。1つの教師ラベル40は、1つの学習用超音波画像31に対応して生成される。そして、学習用超音波画像群に対応する教師ラベル群が生成される。
【0098】
図24に示すように、教師ラベル40は、対応する学習用超音波画像31と同一のサイズの画像(2次元データ)である。つまり、教師ラベル40は、学習用超音波画像31と同一の画素数を有する画像である。この教師ラベル40では、背景Bが黒色で表示され、検出対象Kの特定共通領域39が白色で表示される。つまり、教師ラベル40は、特定共通領域39の画素値を「1」、それ以外の画素値を「0」として構成される二値画像である。この教師ラベル40における特定共通領域39の位置(座標)は、学習用超音波画像31に写る検出対象Kの上端部の位置に対応している。
【0099】
教師ラベル40には、検出対象Kのエコーがある部分に対応した特定共通領域39を設定する。特定共通領域39は、例えば、亀裂の場合は亀裂端部、ブローホールの場合はその中心部、検出対象Kの種類に合わせて任意に設定できる。この設定は、ユーザが行っても良いし、超音波画像評価装置100が自動的に行っても良い。
【0100】
検出対象Kが亀裂の場合には、検出対象Kのエコーの端部を特定共通領域39と定める。すると、学習用超音波画像31の特定共通領域39は、亀裂の端部の位置に相当する。そして、超音波画像評価装置100が、学習用超音波画像31から特定共通領域39を検出する。さらに、特定共通領域39と対象物Mの表面または底面のエコーとの距離を算出することで、亀裂の深さを求めることができる。
【0101】
次に、教師ラベル40の生成方法について図41のフローチャートを用いて説明する。なお、検出対象Kを亀裂とし、その端部を特定共通領域39として説明する。
【0102】
まず、ステップS11において、超音波画像処理装置30により複数の学習用超音波画像31が取得される。これら学習用超音波画像31が超音波画像評価装置100の入力部110に入力される。入力部110に入力された複数枚の学習用超音波画像31は、学習用超音波画像記憶部141に格納される。
【0103】
次のステップS12において、検査員、研究者または専門家などのユーザにより、学習用超音波画像31の確認が行われる。ユーザは、それぞれの学習用超音波画像31に亀裂が写っているか否かの精査を行う。
【0104】
次のステップS13において、教師ラベル生成部121は、学習用超音波画像31に亀裂が写っている場合に、アレイ探触子10のチャンネルを選定する。例えば、アレイ探触子10が備える複数(例えば、N個)の超音波素子11Aのうち、亀裂の端部からのエコーが含まれる受信波形41(図26)が特定される。そして、この受信波形41を受信したアレイ探触子10のチャンネルが選定される。ここで、そのチャンネルの番号をm(図25)とする。
【0105】
次のステップS14において、教師ラベル生成部121は、チャンネル番号mの受信波形41から亀裂の端部のエコーを取得し、このエコーのピーク位置でのビーム路程Xdを求める。なお、チャンネル番号mの選定は、教師ラベル生成部121が行っても良いし、ユーザが行っても良い。
【0106】
例えば、図26に示すように、チャンネル番号mの受信波形41には、対象物Mの表面33のエコーの波形42と、亀裂の端部のエコーの波形44とが含まれているものとする。そして、チャンネル番号mの受信波形41の振幅の値をAm(X)とする。さらに、受信波形41を絶対値化した波形45を図27に示す。
【0107】
ここで、教師ラベル生成部121は、Am(X)の絶対値である|Am(X)|から、亀裂の端部のエコーのピークの値|Am(Xd)|を求める。そして、教師ラベル生成部121は、この位置までのビーム路程Xdを求めることができる(図25)。
【0108】
図41に戻り、次のステップS15において、教師ラベル生成部121は、チャンネル番号m、ビーム路程Xd、屈折角α,βから、教師ラベル40の特定共通領域39の中心部の座標Ex,Eyを求める(図25)。
【0109】
次のステップS16において、教師ラベル生成部121は、座標Ex,Eyを中心とする一辺の長さdの正方形を設定する(図28)。ここで、正方形を「1」とし、それ以外を「0」とする二値画像を生成する。この二値画像が教師ラベル40(図24)となる。
【0110】
次のステップS17において、教師ラベル生成部121は、生成した教師ラベル40を教師ラベル記憶部143に格納する。そして、教師ラベル40の生成方法を終了する。
【0111】
図28に示すように、本実施形態の特定共通領域39のサイズ(最大長)はdで表される。例えば、d×dの正方形としている。ここで、特定共通領域39の対角線は、亀裂の端部のエコーの波長λの4分の1以上とする。
【0112】
【数1】
【0113】
図26に示すように、波長λの4分の1という長さは、波形の立ち上がりからピークに到達するまでの長さに相当し、亀裂の端部からのエコーの特徴量を含む最小の長さとなる。仮に、特定共通領域39のサイズ(最大長)が波長λの4分の1に満たない場合、特定共通領域39にエコーの特徴が充分に含まれず、亀裂の端部を正しく検出できない可能性が生じる。
【0114】
なお、いくつかの波が連続しているエコーの場合でも、その波から代表的な波形を取り出し、波長を求める必要がある。
【0115】
特定共通領域39を円とする場合には、円の直径を波長λの4分の1以上のサイズに設定する。特定共通領域39を楕円とする場合には、楕円の長軸を波長λの4分の1以上に設定する。また、特定共通領域39は、円以外において、多角形、不定形で設定することも可能である。その場合は、それぞれの最大長が波長λの4分の1以上に設定される。
【0116】
本実施形態では、特定共通領域39のサイズdが、超音波探傷装置20が用いた超音波Uの周波数の波長の4分の1以上であることで、特定共通領域39に検出対象Kの特徴が充分に含まれるようになり、検出対象Kを正しく検出することができる。そして、検出対象Kをノイズと区別できるようになる。
【0117】
図2に示すように、判定モデル生成部130は、学習用超音波画像31とそれぞれの学習用超音波画像31に対応する教師ラベル40および探傷位置データとを用いて、検出対象Kが存在するか否かを判定可能な判定値を、画像中の位置を示す単位ごとに算出可能な判定モデルを生成する。
【0118】
本実施形態において、画像中の位置を示す単位とは、例えば、画素(ピクセル)である。画像中の所定の画素が存在する位置(座標)は、従来公知の方法で管理されている。
【0119】
なお、本実施形態では、画像中の位置を示す単位を画素としているが、その他の態様であっても良い。例えば、隣接する複数の画素で1つの単位としても良い。また、画像を複数のグリッドで区切り、そのグリッドの1つのマス目を1つの単位としても良い。
【0120】
なお、ボクセルデータ(3次元ボリュームデータ)の場合の位置を示す単位とは、例えば、ボクセルである。また、隣接する複数のボクセルで1つの単位としても良い。また、ボクセルを複数のグリッドで区切り、そのグリッドの1つのマス目(区画)を1つの単位としても良い。
【0121】
本実施形態の判定モデル生成部130は、学習用超音波画像群(超音波データ群)と、それに対応する教師ラベル群と、学習用探傷位置データ群に基づいて、教師あり学習を行う。この判定モデルは、機械学習を行うことで、超音波画像中に検出対象Kの特定共通領域39が含まれるかどうかを判定し、その判定値をピクセルごとに出力する性能を得られる。
【0122】
本実施形態の教師あり学習は、2次元データ(画像)の学習データに加えて、アレイ探触子10の位置および角度を示す探傷位置データが学習データとして用いられる。そのため、検出対象Kが連続しているときに、徐々に輝度値が変化する欠陥特有の傾向を新たに学習することが可能となる。この学習に使用する入出力データは、1枚ずつ入出力しても良いし、複数枚をまとめ入出力しても良い。
【0123】
次に、判定モデルの生成方法について図42のフローチャートを用いて説明する。
【0124】
まず、ステップS21において、判定モデル生成部130は、入力部110(画像入力部111)に入力され、学習用超音波画像記憶部141に格納された複数枚の学習用超音波画像31を取得する。
【0125】
次のステップS22において、判定モデル生成部130は、入力部110(位置情報入力部112)に入力され、学習用位置情報記憶部142に格納された複数の学習用探傷位置データを取得する。なお、それぞれの学習用探傷位置データは、それぞれの学習用超音波画像31に対応して取得されたものである。
【0126】
次のステップS23において、判定モデル生成部130は、複数枚の学習用超音波画像31と、それぞれの学習用超音波画像31に対応する教師ラベル40と、それぞれの学習用超音波画像31に対応する学習用探傷位置データに基づいて、教師あり学習を行う。
【0127】
次のステップS24において、判定モデル生成部130は、教師あり学習により判定モデルを生成する。教師あり学習を行うことで、画像中に検出対象Kの特定共通領域39が含まれるかどうかを判定し、その判定値を画素ごとに出力する性能を有する判定モデルが生成される。この判定モデルにより、判定用超音波画像35(図29)を入力値として受け入れた場合に、判定値、つまり判定済画像36(図30)が出力値として出力可能となる。
【0128】
なお、判定モデルの生成(教師あり学習)には、学習用超音波画像31を可能な限り多く用意し、それらを用いて判定モデルを生成することが望ましい。学習用超音波画像31のうち、少なくとも2枚は、検出対象Kが存在する画像があることが望ましい。また、学習用超音波画像31には、1枚の画像に対して複数の検出対象Kが写っている画像でも良い。さらに、学習用超音波画像31には、検出対象Kが存在せず、表面33のエコーのみが存在する画像が含まれていても良い。
【0129】
次のステップS25において、判定モデル生成部130は、生成した判定モデルを判定モデル記憶部144に格納する。そして、判定モデルの生成方法を終了する。
【0130】
図2に示すように、判定部122は、判定モデルを用いて、判定用超音波画像35の画素ごとに、検出対象Kが存在するか否かを示す判定値を算出する。
【0131】
次に、判定用超音波画像35の評価方法について図43のフローチャートを用いて説明する。
【0132】
まず、ステップS31において、超音波画像処理装置30により複数枚の判定用超音波画像35(判定用超音波データ)が取得される。これら複数枚の判定用超音波画像35が超音波画像評価装置100の入力部110(画像入力部111)に入力される。入力部110に入力された判定用超音波画像35は、判定用超音波画像記憶部145に格納される。
【0133】
次のステップS32において、位置情報取得装置90は、それぞれの判定用超音波画像35を取得したときの超音波画像処理装置30の探傷位置データを取得する。これら複数の探傷位置データが、超音波画像評価装置100の入力部110(位置情報入力部112)に入力される。入力部110に入力された判定用探傷位置データは、判定用位置情報記憶部146に格納される。
【0134】
次のステップS33において、判定部122は、判定用超音波画像記憶部145に格納された複数枚の判定用超音波画像35と、判定用位置情報記憶部146に格納された複数の判定用探傷位置データとを機械学習済みの判定モデルに入力し、複数の判定済画像36(判定値)を出力(生成)する。
【0135】
図30に示すように、判定済画像36は、判定用超音波画像35と同一のサイズの画像(2次元データ)である。判定済画像36のそれぞれの画素は、判定値としての「0」から「1」までの連続値で表される。
【0136】
図32に示すように、判定済画像36では、検出対象Kの端部が存在する可能性が高い領域37ほど、画素が明るく表示される。例えば、判定値が「0」の場合は黒色の画素値となる。判定値が「1」の場合は白色の画素値となる。判定値が「0」を超え、かつ「1」未満の場合はグレー色の画素値となる。つまり、判定済画像36では、判定値が「1」に近いほど、特定共通領域39が存在する可能性が高いことを表している。
【0137】
図43に戻り、次のステップS34において、抽出部123は、判定済画像36(図30)から検出対象Kの位置を抽出する。この抽出部123は、判定済画像36に対して二値化処理を行い、特定共通領域39を抽出した二値化画像38(図31)を生成する。
【0138】
図31および図33に示すように、判定済画像36を2階調化して二値化画像38を生成する。例えば、ユーザが予め閾値を設定する。そして、判定済画像36のそれぞれの画素の値が、閾値を上回っている場合は白色の値「1」に置換し、閾値を下回っている場合は黒色の値「0」に置換する。このようにすれば、二値化画像38に特定共通領域39の像を出現させることができる。
【0139】
図43に戻り、次のステップS35において、検出対象位置算出部124は、抽出部123で抽出された特定共通領域39に基づいて、検出対象Kの位置(亀裂の位置)を算出する。さらに、この検出対象Kの位置に基づいて検出対象Kの深さ寸法を算出する。
【0140】
例えば、検出対象位置算出部124は、二値化画像38の特定共通領域39の中心位置の座標(Gx1,Gy1およびGx2,Gy2)を算出する(図33)。この座標は、必ずしもその二値化画像38における特定共通領域39の中心である必要はない。例えば、二値化画像38の特定共通領域39の中で最大強度を持つ座標でも良い、または、所定の閾値を超える画素群の重心を座標としても良い。即ち、特定のロジックによって一意に求められるものであれば良い。
【0141】
検出対象位置算出部124は、二値化画像38の特定共通領域39の中心位置の座標と、対象物Mの表面33または底面のエコーまでの相対距離(亀裂の深さ)を算出する。例えば、対象物Mの表面または底面から検出対象Kの端部の位置までの距離を算出する(図29)。なお、距離を算出するときには、画素数から長さの次元への換算を行う。
【0142】
なお、対象物Mの表面33または底面の位置は、所定の方法で予め求められているものとする。例えば、対象物Mの表面33または底面の座標の算出方法は、それぞれのエコーの最大値を座標としても良いし、所定の閾値を超えるエコーの中心を用いても良い。
【0143】
また、検出対象位置算出部124は、算出した検出対象K(亀裂)の位置と深さを検出対象位置記憶部147に格納する。
【0144】
次のステップS36において、検出対象位置算出部124は、算出した検出対象K(亀裂)の位置と深さを、出力部150を用いて出力する。そして、判定用超音波画像35の評価方法を終了する。
【0145】
例えば、図40に示すように、ディスプレイに検出対象Kの欠陥座標を示す3次元データ46が表示される。3次元データ46は、検出対象Kを3D-CAD上に可視化するものである。検出対象位置算出部124は、算出した検出対象K(亀裂)の位置から、検出対象の絶対座標を算出し、この検出対象Kの絶対座標を3D-CAD上にプロットする。検出対象Kの欠陥発生位置を3次元で可視化することで、対象物Mの劣化状況を把握し易くなり、検査後の補修提案などに活用することができる。
【0146】
本実施形態では、3次元データ46として可視化する態様の他に、他の態様の可視化を行う。例えば、ステップS34~S36と並列に、ステップS37~S38が実行される。
【0147】
ステップS37において、判定確信度算出部125は、判定済画像36(判定値)から判定の確からしさを示す判定確信度Cを算出する。この判定確信度Cは、検出対象Kが含まれる可能性の度合いを示す値である。
【0148】
次のステップS38において、判定確信度算出部125は、算出した判定確信度Cを、出力部150を用いて出力する。そして、判定用超音波画像35の評価方法を終了する。
【0149】
例えば、判定値から特定共通領域39が抽出される。特定共通領域39は矩形でも良いし、楕円または不定形でも良い。その後、特定共通領域39ごとに判定確信度Cを算出する。判定確信度Cは、2次元配列で表される特定共通領域39の値の総和を求める。この判定確信度Cが高いと、判定値の中に検出対象Kが含まれている可能性が高いといえる。
【0150】
図34に示すように、検出対象Kが平面状欠陥である場合において、アレイ探触子10でジグザグ走査を行う。次に、その結果得られた判定確信度Cを図35のグラフに示す。このグラフは、アレイ探触子10の位置を示すXY座標に対して、判定確信度Cをカラーマップで表したものである。
【0151】
例えば、図35のグラフでは、XY平面上に判定確信度Cの値をカラーマップに対応させて可視化されている。判定確信度Cの値が高い場合は、プロット(点)が白色となり、判定確信度Cの値が低い場合は、プロットが黒色となる。白色と黒色の中間の値を表す場合は、グレー色などが用いられてプロットが表示される。出力部150は、このグラフを出力することにより、欠陥分布を可視化することができ、判定ミスを減らすことができる。
【0152】
また、検出対象Kが平面状欠陥であるか、球状欠陥であるかにより、アレイ探触子10の回転角度θの変化による超音波Uの反射強度に違いがある。そこで、反射強度の違いにより、検出対象Kの形状を判定することができる。
【0153】
図36に示すように、検出対象Kが平面状欠陥である場合において、アレイ探触子10で首振り走査を行う。次に、その結果得られた判定確信度Cを図37のグラフに示す。このグラフは、横軸にアレイ探触子10の回転角度θを示し、縦軸に判定確信度Cをプロットしたものである。
【0154】
例えば、図37のグラフでは、アレイ探触子10が特定の回転角度θになったときに、判定確信度Cが急に高くなっているパルス状のグラフとなっている。このグラフの形状から、検出対象Kが平面状欠陥であることが分かる。また、回転角度θより平面状欠陥がどの程度傾いているかが推定される。
【0155】
図38に示すように、検出対象Kが球状欠陥である場合において、アレイ探触子10で首振り走査を行う。次に、その結果得られた判定確信度Cを図39のグラフに示す。このグラフは、横軸にアレイ探触子10の回転角度θを示し、縦軸に判定確信度Cをプロットしたものである。
【0156】
例えば、図38のグラフでは、アレイ探触子10が特定の回転角度θのみならず、その周辺においても、判定確信度Cが高められた、なだらかなカーブを描く山型のグラフになっている。このグラフの形状から、検出対象Kが球状欠陥であることが分かる。
【0157】
本実施形態では、検出対象Kのエコー全体をラベル付けするのではなく、検出対象Kの端部のみをラベル付けしている。そのため、教師ラベル40の作成のための労力を格段に低減させることができる。また、検出対象Kの全部ではなく、その端部のみを検出させるため、超音波画像のそれぞれで検出対象Kの形状が異なっても、その深さの計測に共通して必要な端部(特定共通領域39)を安定して検出することができる。
【0158】
また、特定共通領域39が、検出対象Kの端部であることで、検出対象Kが存在する深さを求める精度を向上させることができる。
【0159】
また、抽出部123が、判定用超音波画像35(図29)から算出された判定値に基づいて生成された判定済画像36(図30)から検出対象Kの位置を抽出することで、判定済画像36から検出対象Kの位置を抽出し、判定用超音波画像35に存在する検出対象Kを検出することができる。
【0160】
また、抽出部123が、画像中の位置を示す単位ごとの判定値を閾値に基づいて二値化して検出対象Kの位置を抽出することで、判定済画像36における検出対象Kが存在する可能性が高い部分を抽出することができる。
【0161】
なお、本実施形態の単位を画素とすることで、画像の最小単位である画素ごとに処理が行えるようになり、詳細に判定用超音波画像35を判定することができる。
【0162】
また、判定モデルによって算出された画像中の検出対象Kの位置を算出することで、検出対象Kの位置を表す3次元表示が可能となり、検査対象である対象物Mの劣化状況を把握しやすくなる。さらに、評価結果を検査後の補修の提案などに活用することができる。
【0163】
なお、本実施形態において、基準値(閾値)を用いた任意の値(画素値、判定値)の判定は、「任意の値が基準値以上か否か」の判定でも良いし、「任意の値が基準値を超えているか否か」の判定でも良いし、「任意の値が基準値以下か否か」の判定でも良いし、「任意の値が基準値未満か否か」の判定でも良い。また、基準値が固定されるものでなく、変化するものであっても良い。従って、基準値の代わりに所定範囲の値を用い、任意の値が所定範囲に収まるか否かの判定を行っても良い。また、予め装置に生じる誤差が解析され、基準値を中心として誤差範囲を含めた所定範囲が判定に用いられても良い。
【0164】
なお、本実施形態のフローチャートにおいて、各ステップが直列に実行される形態を例示しているが、必ずしも各ステップの前後関係が固定されるものでなく、一部のステップの前後関係が入れ替わっても良い。また、一部のステップが他のステップと並列に実行されても良い。
【0165】
本実施形態のシステムは、専用のチップ、FPGA(Field Programmable Gate Array)、GPU(Graphics Processing Unit)、またはCPU(Central Processing Unit)などのプロセッサを高集積化させた制御装置と、ROM(Read Only Memory)またはRAM(Random Access Memory)などの記憶装置と、HDD(Hard Disk Drive)またはSSD(Solid State Drive)などの外部記憶装置と、ディスプレイなどの表示装置と、マウスまたはキーボードなどの入力装置と、通信インターフェースとを備える。このシステムは、通常のコンピュータを利用したハードウェア構成で実現できる。
【0166】
なお、本実施形態のシステムで実行されるプログラムは、ROMなどに予め組み込んで提供される。もしくは、このプログラムは、インストール可能な形式または実行可能な形式のファイルでCD-ROM、CD-R、メモリカード、DVD、フレキシブルディスク(FD)などのコンピュータで読み取り可能な非一時的な記憶媒体に記憶されて提供するようにしても良い。
【0167】
また、このシステムで実行されるプログラムは、インターネットなどのネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせて提供するようにしても良い。また、このシステムは、構成要素の各機能を独立して発揮する別々のモジュールを、ネットワークまたは専用回線で相互に接続し、組み合わせて構成することもできる。
【0168】
また、本実施形態では、超音波画像(またはボクセルデータ)がグレースケール画像であるものとして説明したが、その他の態様であっても良い。例えば、超音波画像がRGBなどで表されるカラー画像でも良い。その場合には、例えば、閾値を上回っている画素値を赤色にし、閾値以下の画素値を青色として、表示の形態に特徴を持たせても良い。
【0169】
なお、本実施形態の学習用超音波データは、超音波探傷装置20により得られる複数の学習用超音波画像31となっているが、その他の態様であっても良い。さらに、本実施形態の判定用超音波データは、超音波探傷装置20により得られる複数の判定用超音波画像35となっているが、その他の態様であっても良い。例えば、アレイ探触子10がマトリックス・アレイ・プローブで構成され、対象物Mの超音波データを最初からボクセルデータである学習用3次元超音波データまたは判定用3次元超音波データとして取得しても良い。また、この場合における特定共通領域39(図31)は、立方体であっても良い。
【0170】
さらに、本実施形態の学習用超音波データは、超音波探傷装置20により得られるボクセルデータまたはこれを模して生成されるボクセルデータの少なくとも一方でも良い。このようにすれば、3次元的な情報で検出対象Kの学習を行えるため、学習の効率が向上する。
【0171】
本実施形態では、複数の超音波画像を重ね合わせることで、ボクセルデータを生成することができる。例えば、複数の学習用超音波画像31から生成されたボクセルデータを学習用3次元超音波データとして用いることができる。さらに、複数の判定用超音波画像35から生成されたボクセルデータを判定用3次元超音波データとして用いることもできる。
【0172】
以上説明した実施形態によれば、判定モデルに、判定の対象となる少なくとも1つの超音波データと探傷位置データとを入力し、超音波データ中の位置を示す単位ごとに検出対象が存在するか否かを判定可能な判定値を出力させる、コンピュータを備えることにより、非破壊検査に用いる超音波データの評価において、対象物に含まれる検出対象位置の検出精度を向上させることができる。特に、欠陥の位置と深さを確実に特定できるようになり、構造物の健全性診断などに活用することができる。
【0173】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更、組み合わせを行うことができる。これら実施形態またはその変形は、発明の範囲と要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
【符号の説明】
【0174】
1…超音波データ評価システム、2…音響伝搬媒質、10…アレイ探触子、11…探触子、11A…超音波素子、20…超音波探傷装置、30…超音波画像処理装置、31…学習用超音波画像、32…入射範囲、33…対象物の表面、35…判定用超音波画像、36…判定済画像、37…端部が存在する可能性が高い領域、38…二値化画像、39…特定共通領域、40…教師ラベル、41…受信波形、42…対象物の表面のエコーの波形、44…亀裂の端部のエコーの波形、45…絶対値化した波形、46…3次元データ、90…位置情報取得装置、91…変位取得部、92…角度取得部、100…超音波画像評価装置、110…入力部、120…演算部、121…教師ラベル生成部、122…判定部、123…抽出部、124…検出対象位置算出部、125…判定確信度算出部、130…判定モデル生成部、140…記憶部、141…学習用超音波画像記憶部、142…学習用位置情報記憶部、143…教師ラベル記憶部、144…判定モデル記憶部、145…判定用超音波画像記憶部、146…判定用位置情報記憶部、147…検出対象位置記憶部、150…出力部、B…背景、K…検出対象、M…対象物、R…反射波、U…超音波、W…溶接部。
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18
図19
図20
図21
図22
図23
図24
図25
図26
図27
図28
図29
図30
図31
図32
図33
図34
図35
図36
図37
図38
図39
図40
図41
図42
図43