▶ 株式会社東芝の特許一覧 ▶ 東芝エネルギーシステムズ株式会社の特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-07-26
(45)【発行日】2024-08-05
(54)【発明の名称】画像評価システムおよび画像評価方法
(51)【国際特許分類】
G06T 7/00 20170101AFI20240729BHJP
G06T 7/70 20170101ALI20240729BHJP
G01N 29/06 20060101ALI20240729BHJP
【ＦＩ】
G06T7/00 350B
G06T7/70 A
G01N29/06
【請求項の数】
5
(21)【出願番号】P 2021042789
(22)【出願日】2021-03-16
(65)【公開番号】P2022142569
(43)【公開日】2022-09-30
【審査請求日】2023-03-15
(73)【特許権者】
【識別番号】000003078
【氏名又は名称】株式会社東芝
(73)【特許権者】
【識別番号】317015294
【氏名又は名称】東芝エネルギーシステムズ株式会社
(74)【代理人】
【識別番号】110001380
【氏名又は名称】弁理士法人東京国際特許事務所
(72)【発明者】
【氏名】高橋 栞太
(72)【発明者】
【氏名】山本 摂
【審査官】小池 正彦
(56)【参考文献】
【文献】特開２０１９－１９７００７（ＪＰ，Ａ）
【文献】特開２０２０－１４４６８８（ＪＰ，Ａ）
【文献】特開２０２１－００４７３８（ＪＰ，Ａ）
【文献】特開２０１１－１２８０５５（ＪＰ，Ａ）
【文献】特開２０２０－１８７７３５（ＪＰ，Ａ）
【文献】特開２０２０－０１３５０７（ＪＰ，Ａ）
【文献】山田理恵,外4名，人工知能を用いた自動外観検査アルゴリズムの溶接部への適用，第８２回（２０２０年）全国大会講演論文集（２） 人工知能と認知科学，日本，一般社団法人情報処理学会，2020年02月20日，p2-3～2-4
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ ７／００
Ｇ０６Ｔ ７／７０
Ｇ０１Ｎ ２９／０６
(57)【特許請求の範囲】
【請求項1】
検査の対象となる対象物に含まれる検出対象の探傷を行う探傷装置により得られる画像またはこれを模して生成される画像の少なくとも一方であり、機械学習に用いられる複数の学習用画像を取得する学習用画像取得部と、それぞれの前記学習用画像に存在する前記検出対象の特定の領域を示す特定共通領域を前記検出対象の位置として設定した教師ラベルを生成する教師ラベル生成部と、
前記学習用画像とそれぞれの前記学習用画像に対応する前記教師ラベルとを用いて、前記検出対象が存在するか否かを判定可能な判定値を、画像中の位置を示す単位ごとに算出可能な判定モデルを生成する判定モデル生成部と、
前記探傷装置により得られる画像であり、判定に用いられる少なくとも１つの判定用画像を取得する判定用画像取得部と、
前記判定モデルを用いて、前記判定用画像中の位置を示す前記単位ごとに前記判定値を算出する判定部と、
を備え、
前記単位は、画素であり、
前記機械学習は、セグメンテーションに関するものであり、
前記特定共通領域は、前記検出対象の端部であり、
前記教師ラベル生成部は、前記検出対象の端部のみをラベル付けした前記教師ラベルを生成し、
前記教師ラベルは、前記学習用画像と同一の画素数を有する画像であって、前記特定共通領域を示す画素値とそれ以外を示す画素値とで構成される二値画像である、
画像評価システム。
【請求項2】
前記探傷装置は、超音波を用いて探傷を行う超音波探傷装置であり、前記特定共通領域の最大長は、前記探傷装置が用いた前記超音波の周波数の波長の４分の１以上である、
請求項１に記載の画像評価システム。
【請求項3】
前記判定用画像から算出された前記判定値に基づいて生成された判定済画像から前記検出対象の位置を抽出する抽出部をさらに備える、請求項１または請求項２に記載の画像評価システム。
【請求項4】
前記判定値は、前記単位ごとに算出された連続値であり、前記抽出部は、前記単位ごとの前記判定値を閾値に基づいて二値化して前記検出対象の位置を抽出する、
請求項３に記載の画像評価システム。
【請求項5】
検査の対象となる対象物に含まれる検出対象の探傷を行う探傷装置により得られる画像またはこれを模して生成される画像の少なくとも一方であり、機械学習に用いられる複数の学習用画像を、学習用画像取得部が取得するステップと、教師ラベル生成部が、それぞれの前記学習用画像に存在する前記検出対象の特定の領域を示す特定共通領域を前記検出対象の位置として設定した教師ラベルを生成するステップと、
判定モデル生成部が、前記学習用画像とそれぞれの前記学習用画像に対応する前記教師ラベルとを用いて、前記検出対象が存在するか否かを判定可能な判定値を、画像中の位置を示す単位ごとに算出可能な判定モデルを生成するステップと、
前記探傷装置により得られる画像であり、判定に用いられる少なくとも１つの判定用画像を、判定用画像取得部が取得するステップと、
判定部が、前記判定モデルを用いて、前記判定用画像中の位置を示す前記単位ごとに前記判定値を算出するステップと、
を含み、
前記単位は、画素であり、
前記機械学習は、セグメンテーションに関するものであり、
前記特定共通領域は、前記検出対象の端部であり、
前記教師ラベル生成部は、前記検出対象の端部のみをラベル付けした前記教師ラベルを生成し、
前記教師ラベルは、前記学習用画像と同一の画素数を有する画像であって、前記特定共通領域を示す画素値とそれ以外を示す画素値とで構成される二値画像である、
画像評価方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明の実施形態は、画像評価技術に関する。
【背景技術】
【0002】
従来、超音波検査技術は、構造物の検査を行うものとして広く使われている。検査員は、超音波検査によって得られる断面画像からその構造物の内部の欠陥の有無を検出し、その位置と深さの測定を行う。欠陥の深さを測定する方法の１つに端部エコー法がある。この端部エコー法とは、欠陥の上端部または下端部からのエコーのビーム路程と屈折角から欠陥の深さを測定する方法である。検査員は、自らの専門知識と経験に基づいて判定を行っているが、検査員の技量によって評価結果にばらつきが生じる場合がある。そこで、超音波検査において、信号処理または人工知能（ＡＩ：Artificial Intelligence）などを用いて自動評価する技術が開発されつつある。
【0003】
第１の例として、超音波画像を機械学習の入力として用い、欠陥を検出する技術が知られている。この技術は、超音波画像に欠陥が含まれるか否かを判定するものであり、画像中の欠陥の位置と大きさは特定できない。
【0004】
第２の例として、超音波の応答波形から探傷画像を生成し、パターン認識アルゴリズムを用いて、この探傷画像を正常パターン画像と比較する技術が知られている。この技術では、正常パターン画像と異なる探傷画像であった場合、その探傷画像中の形状エコーと欠陥エコーを判定することで、欠陥の位置を検出できる。この技術では、探傷画像に基づいて個々のエコーを含む画像を切り出す作業が必要である。しかし、仮にノイズの強度が大きく、欠陥エコーが不明瞭な画像である場合、または形状エコーと欠陥エコーが重なり合っている場合には、切出し作業が困難になる可能性があり、欠陥を見逃すおそれがある。また、切り出したエコーを、形状エコーと欠陥エコーに分類し、教師データを作成している。しかし、欠陥エコーか形状エコーかの判定は、常に表示されているか否かで判定しており、溶接部の組織または内在物由来のエコーなども欠陥エコーと判定されるおそれがある。
【0005】
近年、自動運転技術または医療分野などを中心に、物体認識のＡＩを用いて画像中の物体を検出する試みがなされている。物体認識の中でもよく知られた技術としてセグメンテーションがある。セグメンテーションとは、画像に対してピクセルレベルでクラス分類を行う機械学習アルゴリズムであり、ピクセルレベルで物体を検出することができる。このセグメンテーションの学習モデル構築には、教師あり学習が用いられる。例えば、ピクセル単位で物体毎に色付けされた教師ラベルを使って学習を行う。セグメンテーションを超音波画像の欠陥検出に適用する場合、カメラ画像に適用する場合と比べると教師ラベルの作成に労力とコストがかかる。カメラ画像と超音波画像を比較した場合、カメラ画像は、物体と背景との境界が明瞭に分かるものが多い。一方、超音波画像は、物体からの超音波エコーの他に溶接金属から発生する散乱波のようなノイズエコーも含まれる。そのため、超音波画像は、一般的なカメラ画像と比較して、物体とそれ以外の境界が不明瞭なものが多い。つまり、超音波画像では、ピクセル単位で物体を区別する作業が非常に困難である。
【0006】
超音波画像のセグメンテーションにおいて、教師ラベルの作成を自動化させるために、いくつかの方法が提案されている。例えば、閾値を設定し、検出対象のエコーとそれ以外とを分離する方法がある。しかし、この方法では、ノイズ強度が大きく、欠陥エコーが不明瞭な画像であった場合、または形状エコーと欠陥エコーが重なり合っている場合には、閾値での分離が困難となる。また、常に表示されているか否かで欠陥エコーかノイズエコーかを分離する方法がある。しかし、この方法では、溶接部の組織または内在物由来のエコーなども欠陥エコーとして分類されるおそれがある。
【先行技術文献】
【特許文献】
【0007】
【文献】特表２０２０－５０３５０９号公報
【文献】国際公開第２０１５／００１６２４号
【発明の概要】
【発明が解決しようとする課題】
【0008】
本発明が解決しようとする課題は、画像評価において対象物に含まれる検出対象の位置を検出する精度を向上させることができる画像評価技術を提供することである。
【課題を解決するための手段】
【0009】
本発明の実施形態に係る画像評価システムは、対象物に含まれる検出対象の探傷を行う探傷装置により得られる画像またはこれを模して生成される画像の少なくとも一方であり、機械学習に用いられる複数の学習用画像を取得する学習用画像取得部と、それぞれの前記学習用画像に存在する前記検出対象の特定の領域を示す特定共通領域を前記検出対象の位置として設定した教師ラベルを生成する教師ラベル生成部と、前記学習用画像とそれぞれの前記学習用画像に対応する前記教師ラベルとを用いて、前記検出対象が存在するか否かを判定可能な判定値を、画像中の位置を示す単位ごとに算出可能な判定モデルを生成する判定モデル生成部と、前記探傷装置により得られる画像であり、判定に用いられる少なくとも１つの判定用画像を取得する判定用画像取得部と、前記判定モデルを用いて、前記判定用画像中の位置を示す前記単位ごとに前記判定値を算出する判定部と、を備え、前記単位は、画素であり、前記機械学習は、セグメンテーションに関するものであり、前記特定共通領域は、前記検出対象の端部であり、前記教師ラベル生成部は、前記検出対象の端部のみをラベル付けした前記教師ラベルを生成し、前記教師ラベルは、前記学習用画像と同一の画素数を有する画像であって、前記特定共通領域を示す画素値とそれ以外を示す画素値とで構成される二値画像である。
【発明の効果】
【0010】
本発明の実施形態により、画像評価において対象物に含まれる検出対象の位置を検出する精度を向上させることができる画像評価技術が提供される。
【図面の簡単な説明】
【0011】
【図1】画像評価システムを示すブロック図。
【図2】超音波探傷装置を示す構成図。
【図3】学習用超音波画像を示す画像図。
【図4】教師ラベルを示す画像図。
【図5】学習用超音波画像からチャンネルを選定する流れ示す説明図。
【図6】検出対象を検出したエコーの受信波形を示すグラフ。
【図7】検出対象を検出したエコーの受信波形を絶対値化したものを示すグラフ。
【図8】教師ラベルの画素を示す説明図。
【図9】判定用超音波画像を示す画像図。
【図10】判定済画像を示す画像図。
【図11】判定済画像を二値化したもの示す画像図。
【図12】判定済画像に出現した像を示す説明図。
【図13】特定共通領域の座標を示す説明図。
【図14】教師ラベルの生成方法を示すフローチャート。
【図15】判定モデルの生成方法を示すフローチャート。
【図16】判定用超音波画像の評価方法を示すフローチャート。
【発明を実施するための形態】
【0012】
以下、図面を参照しながら、画像評価システムおよび画像評価方法の実施形態について詳細に説明する。
【0013】
本実施形態では、一般的にフェーズドアレイ超音波探傷試験と呼ばれる超音波探傷方法を用いる形態を例示する。その中でも、一定方向に超音波ビームを形成しながら駆動させる超音波素子を電子走査させていくリニア画像法、駆動させる超音波素子を固定または電子走査しながら超音波ビームを形成する角度を扇状に変化させるセクタ画像法、任意の座標領域に網羅的に焦点を設けてビームを集束させるTotal Focusing Method（ＴＦＭ）、または開口合成法などの超音波を用いた映像化方法を用いることができる。なお、単一プローブを用いて機械的に走査する超音波探傷方法を用いても良い。以下の説明では、代表的なリニア画像法について例示する。
【0014】
図１の符号１は、本実施形態の画像評価システムである。この画像評価システム１は、検査の対象となる対象物Ｔの欠陥（検出対象Ｋ）の有無を評価するものである。本実施形態では、所定の超音波探傷方法により取得した画像を、人工知能（ＡＩ）を備えるコンピュータを用いて自動的に解析し、対象物Ｔの欠陥の有無を評価する。この欠陥の有無を評価することで、対象物Ｔの健全性診断などに活用できる。
【0015】
なお、本実施形態において、解析の対象となる画像は、静止画または動画のいずれでも良い。以下の説明では、超音波検査で取得した静止画の画像を例示する。
【0016】
画像評価システム１は、超音波探傷器１０と超音波探傷装置２０と超音波画像処理装置３０と超音波画像評価装置１００とを備える。
【0017】
超音波探傷装置２０と超音波画像処理装置３０と超音波画像評価装置１００は、ＣＰＵ、ＲＯＭ、ＲＡＭ、ＨＤＤなどのハードウェア資源を有し、ＣＰＵが各種プログラムを実行することで、ソフトウェアによる情報処理がハードウェア資源を用いて実現されるコンピュータで構成される。さらに、本実施形態の画像評価方法は、各種プログラムをコンピュータに実行させることで実現される。
【0018】
画像評価システム１の各構成は、必ずしも複数のコンピュータに設ける必要はない。例えば、画像評価システム１の各構成を１つのコンピュータに設けても良い。
【0019】
図２に示すように、超音波探傷器１０は、検査対象となる対象物Ｔに超音波Ｕを発し、検出対象Ｋで反射した反射波を検出する。なお、以下の説明では、反射波をエコー（出現像）と称する場合がある。この超音波探傷器１０は、超音波Ｕを発する複数の超音波素子１１Ａが配列された探触子１１を備える。
【0020】
対象物Ｔとしては、金属材料で構成された部材を例示する。特に、溶接部に生じた検出対象Ｋを画像評価システム１により評価する。なお、金属材料以外の材料、例えば、鉄筋コンクリート、モルタル、繊維強化プラスチックなどの複合材料を対象物Ｔとしても良い。このような対象物Ｔの内部または表面に生じた検出対象Ｋを、画像評価システム１により評価する。
【0021】
検出対象Ｋは、画像評価システム１のユーザが任意に定めることができる。検出対象Ｋ（欠陥）としては、対象物Ｔの内部または表面に生じた亀裂、疵、空洞、丸穴、剥離、減肉、介在物などを任意に定めることができる。
【0022】
本実施形態の超音波探傷器１０は、超音波探傷装置２０により電圧が印加されて制御される。超音波探傷器１０としては、一定方向に超音波Ｕのビームを形成しながら、駆動対象の超音波素子１１Ａを電子走査するフェーズドアレイ超音波探傷方式を例示している。なお、本実施形態は、他の方式に適用できる。例えば、セクタ画像法、Total Focusing Method（ＴＦＭ）、開口合成法などの方式に適用しても良い。さらに、単一プローブを用いて機械的に走査し取得した超音波探傷方法に適用しても良い。
【0023】
対象物Ｔの検査時に、超音波探傷器１０と対象物Ｔとの間に、楔と称される音響伝搬媒質２が設けられる。この音響伝搬媒質２は、指向性の高い角度で超音波Ｕを対象物Ｔへ入射させるためのものである。
【0024】
音響伝搬媒質２としては、超音波Ｕが伝搬可能で音響インピーダンスが把握できている等方材を用いる。なお、対象物Ｔの表面が平坦である場合には、音響伝搬媒質２を使用しなくても良い。
【0025】
音響伝搬媒質２として用いられる等方材としては、例えば、アクリル、ポリイミド、ゲル、その他高分子などがある。音響伝搬媒質２としては、超音波素子１１Ａの前面板（図示略）と音響インピーダンスが近い、または同じ材質を用いることができる。また、対象物Ｔと音響インピーダンスが近い、または同じ材質を用いることもできる。また、段階的または漸次的に音響インピーダンスを変化させる複合材料を用いても良い。
【0026】
また、音響伝搬媒質２の内部の多重反射波が探傷結果に影響を与えないように、音響伝搬媒質２の内外にダンピング材を配置しても良い。また、山型の波消し形状を設けても良い。多重反射低減機構を設けても良い。
【0027】
なお、以下の説明では、超音波探傷器１０から対象物Ｔへ超音波Ｕを入射させる際の説明において音響伝搬媒質２の表現を省略している場合がある。
【0028】
超音波探傷器１０から対象物Ｔに至る経路の接触部には、超音波Ｕを伝搬させるための音響接触媒質（図示略）が用いられる。例えば、音響伝搬媒質２を使用する場合には、超音波探傷器１０と音響伝搬媒質２との接触部、および音響伝搬媒質２と対象物Ｔとの接触部に、音響接触媒質（図示略）が用いられる。音響伝搬媒質２を使用しない場合には、超音波探傷器１０と対象物Ｔとの接触部に、音響接触媒質（図示略）が用いられる。この音響接触媒質には、例えば、水、グリセリン、マシン油、ひまし油、アクリル、ポリスチレン、ゲルなどの超音波Ｕを伝搬できる媒質が用いられる。
【0029】
図１に示すように、超音波探傷器１０で検出された反射波の情報を含む検出信号は、超音波探傷装置２０に入力される。そして、この超音波探傷装置２０で得られた検出信号が、超音波画像処理装置３０で処理される。
【0030】
超音波画像処理装置３０は、超音波Ｕを用いて対象物Ｔに含まれる検出対象Ｋの探傷を行う超音波画像を取得するものである。この超音波画像処理装置３０は、超音波Ｕの反射波に基づいて、超音波素子１１Ａのスキャン方向に沿った超音波画像を生成することができる。
【0031】
図３は、代表的なリニアスキャン画像としての超音波画像を例示している。この超音波画像が、本実施形態の学習用画像としての学習用超音波画像３１として用いられる。この学習用超音波画像３１では、背景Ｂが黒色で表示され、超音波Ｕが対象物Ｔに入射された入射範囲３２がグレー色で表示され、対象物Ｔの表面３３と底面３４が白色のラインで表示され、検出対象Ｋが白色で表示される。なお、本実施形態は、超音波画像がＲＧＢなどで表されるカラー画像でも実施可能であるが、説明を明瞭にするため、超音波画像がグレースケール画像であるものとして説明する。図３の例では、１つの検出対象Ｋが学習用超音波画像３１に写っている。なお、超音波画像は、本実施形態の判定用画像としての判定用超音波画像３５（図９）としても用いられる。
【0032】
図２に示すように、超音波探傷器１０から対象物Ｔに入射された超音波Ｕは、遅延時間に従って入射および屈折角度が決定され、対象物Ｔの内部を伝搬する。この伝搬した超音波Ｕは、検出対象Ｋなどで反射または散乱され、再び超音波探傷器１０に到達する。また、検出対象Ｋ以外にも、対象物Ｔの底面３４または角部（図示略）でも超音波Ｕが、反射または散乱され、超音波探傷器１０に到達する。
【0033】
超音波探傷器１０に到達した反射波（散乱波）は、到達時間および超音波素子１１Ａの情報に基づいて映像化される。このとき、対象物Ｔに検出対象Ｋが存在する場合に、検出対象Ｋのエコー（出現像）が学習用超音波画像３１の中に出現する。
【0034】
本実施形態では、超音波画像処理装置３０が、学習用超音波画像３１（図３）または判定用超音波画像３５（図９）を生成する。学習用超音波画像３１または判定用超音波画像３５は、超音波画像処理装置３０から超音波画像評価装置１００に入力される。
【0035】
なお、本実施形態の学習用超音波画像３１は、超音波探傷装置２０により得られる超音波画像を模して、コンピュータグラフィックス（ＣＧ）を用いて生成されるＣＧ画像でも良い。また、超音波探傷装置２０により得られる超音波画像を人手または自動的に編集して多種多様な学習用超音波画像３１を生成しても良い。
【0036】
図１に示すように、超音波画像評価装置１００は、学習用超音波画像３１を用いて機械学習を行い、この機械学習の結果に基づいて、判定に用いられる判定用超音波画像３５に含まれる検出対象Ｋの位置を特定するものである。
【0037】
つまり、本実施形態のコンピュータを用いた解析には、人工知能の学習に基づく解析技術を用いることができる。例えば、ニューラルネットワークによる機械学習により生成された学習モデル、その他の機械学習により生成された学習モデル、深層学習アルゴリズム、回帰分析などの数学的アルゴリズムを用いることができる。
【0038】
本実施形態のシステムは、機械学習を行う人工知能を備えるコンピュータを含む。例えば、ニューラルネットワークを備える１台のコンピュータでシステムを構成しても良いし、ニューラルネットワークを備える複数台のコンピュータでシステムを構成しても良い。
【0039】
ここで、ニューラルネットワークとは、脳機能の特性をコンピュータによるシミュレーションによって表現した数学モデルである。例えば、シナプスの結合によりネットワークを形成した人工ニューロン（ノード）が、学習によってシナプスの結合強度を変化させ、問題解決能力を持つようになるモデルを示す。さらに、ニューラルネットワークは、深層学習（Deep Learning）により問題解決能力を取得する。
【0040】
なお、学習対象となる各種情報項目に報酬関数が設定されるとともに、報酬関数に基づいて価値が最も高い情報項目が抽出される深層強化学習をニューラルネットワークに用いても良い。
【0041】
本実施形態では、教師有りの機械学習方法を用いる。例えば、セマンティックセグメンテーション（Semantic Segmentation）を使用する。ただし、これに限定されず、複数のタイプの機械学習方法を組み合わせても良い。
【0042】
セマンティックセグメンテーション以外の機械学習方法としては、全畳み込みニューラルネットワーク（Fully Convolutional Neural Network）、画像認識で実績のあるＲ－ＣＮＮ（Region Convolutional Neural Network）、ｋ－近傍法、サポートベクターマシン（ＳＶＭ）、深層学習（Deep Learning）などを用いることができる。
【0043】
なお、深層学習には、オートエンコーダ、ＲＮＮ（Recurrent Neural Network）、ＬＳＴＭ（Long Short-Term Memory）、ＧＡＮ（Generative Adversarial Network）などの各種手法がある。これらの手法を本実施形態に適用しても良い。
【0044】
図９に示すように、判定用超音波画像３５は、背景Ｂが黒色で表示され、超音波Ｕが対象物Ｔに入射された入射範囲３２がグレー色で表示され、対象物Ｔの表面３３と底面３４が白色のラインで表示され、検出対象Ｋが白色で表示される。図９の例では、２つの検出対象Ｋが判定用超音波画像３５に写っている。そして、判定モデルを用いて、この判定用超音波画像３５から判定済画像３６が生成される。
【0045】
図１０に示すように、判定済画像３６は、背景Ｂが黒色で表示され、検出対象Ｋの端部が存在する可能性が高い領域３７ほど、画素が明るく表示される。つまり、グレー色から白色に表示される。図１０の例では、２つの領域３７が判定済画像３６に写っている。そして、この判定済画像３６から二値化画像３８が生成される。
【0046】
図１１に示すように、二値化画像３８は、背景Ｂが黒色で表示され、検出対象Ｋの端部が存在する特定共通領域３９が白色で表示される。図１１の例では、２つの特定共通領域３９が二値化画像３８に写っている。そして、この二値化画像３８から検出対象Ｋの位置と深さを求めることができる。
【0047】
図１に示すように、超音波画像評価装置１００は、入力部１１０と演算部１２０と判定モデル生成部１３０と記憶部１４０と出力部１５０とを備える。
【0048】
入力部１１０には、超音波Ｕを対象物Ｔに入射することで得られる超音波画像が外部から入力される。本実施形態では、超音波画像処理装置３０から超音波画像が入力される形態を例示するが、他の装置から超音波画像が入力されても良い。
【0049】
入力部１１０に入力される超音波画像には、機械学習に用いられる学習用超音波画像３１（図３）と判定用超音波画像３５（図９）の２種類がある。この入力部１１０が、本実施形態の学習用画像取得部と判定用画像取得部となっている。
【0050】
本実施形態では、機械学習を行うときに、複数枚の学習用超音波画像３１が入力部１１０に入力される。そして、この学習用超音波画像群に基づいて教師ラベル群が生成される。さらに、学習用超音波画像群と教師ラベル群を用いて判定モデルが生成される。一方、この判定モデルを用いて判定用超音波画像３５の中に含まれる検出対象Ｋを判定するときに、判定用超音波画像３５が入力部１１０に入力される。なお、入力される判定用超音波画像３５は、１枚でも良いし、複数枚でも良い。
【0051】
演算部１２０は、教師ラベル生成部１２１と判定部１２２と抽出部１２３と検出対象位置算出部１２４とを備える。これらは、メモリまたはＨＤＤに記憶されたプログラムがＣＰＵによって実行されることで実現される。
【0052】
記憶部１４０は、超音波探傷によって得られた画像および判定モデルなどを記憶する。この記憶部１４０は、学習用超音波画像記憶部１４１と教師ラベル記憶部１４２と判定モデル記憶部１４３と判定用超音波画像記憶部１４４と検出対象位置記憶部１４５とを備える。これらは、メモリ、ＨＤＤまたはクラウドに記憶され、検索または蓄積ができるよう整理された情報の集まりである。
【0053】
出力部１５０は、所定の情報の出力を行う。例えば、判定用超音波画像３５の検出対象Ｋの位置を示す画像を表示する。この出力部１５０は、デジタルデータを表示できるものであれば良く、所謂ＰＣ用のディスプレイ、テレビジョン、プロジェクタ、ヘッドマウントディスプレイなどが考えられる。また、ブラウン管のように一度アナログ信号化してからその画面に画像を表示させるものでも良い。つまり、超音波画像評価装置１００には、解析結果の出力を行う画像の表示を行う装置が含まれる。さらに、出力部１５０は、紙媒体に所定の情報を印字するプリンタでも良い。また、出力部１５０は、ＵＳＢメモリなどの着脱可能で可搬性を有する記憶媒体に所定の情報を書き込むものでも良い。
【0054】
なお、出力部１５０は、超音波エコーの合成信号、映像化結果、超音波探傷器１０の座標および検出対象Ｋとの相対位置、遅延時間、焦点深さ、探傷屈折角などの探傷条件を表示しても良い。また、出力部１５０は、設定した条件に応じて、音または発光によりアラームを生じさせたり、タッチパネルとして操作を入力したりするユーザインタフェース機能を有しても良い。
【0055】
なお、超音波画像評価装置１００は、他の構成を備えても良い。例えば、通信部（図示略）を備えても良い。この通信部は、例えば、インターネットなどの通信回線を介して他のコンピュータと通信を行う。
【0056】
超音波画像評価装置１００の各構成は、必ずしも１つのコンピュータに設ける必要はない。例えば、ネットワークで互いに接続された複数のコンピュータを用いて１つの超音波画像評価装置１００を実現しても良い。
【0057】
教師ラベル生成部１２１は、それぞれの学習用超音波画像３１に存在する検出対象Ｋの特定の領域を示す特定共通領域３９（図１１）を検出対象Ｋの位置として設定した教師ラベル４０を生成する。１つの教師ラベル４０は、１つの学習用超音波画像３１に対応して生成される。そして、学習用超音波画像群に対応する教師ラベル群が生成される。
【0058】
図４に示すように、教師ラベル４０は、対応する学習用超音波画像３１と同一のサイズの画像（２次元データ）である。つまり、学習用超音波画像３１と同一の画素数を有する画像である。この教師ラベル４０では、背景Ｂが黒色で表示され、検出対象Ｋの特定共通領域３９が白色で表示される。つまり、教師ラベル４０は、特定共通領域３９の画素値を「１」、それ以外の画素値を「０」として構成される二値画像である。この教師ラベル４０における特定共通領域３９の位置（座標）は、学習用超音波画像３１に写る検出対象Ｋの上端部の位置に対応している。
【0059】
教師ラベル４０には、検出対象Ｋのエコーがある部分に対応した特定共通領域３９を設定する。特定共通領域３９は、例えば、亀裂の場合は亀裂端部、ブローホールの場合はその中心部、検出対象Ｋの種類に合わせて任意に設定できる。この設定は、ユーザが行っても良いし、超音波画像評価装置１００が自動的に行っても良い。
【0060】
検出対象Ｋが亀裂の場合には、検出対象Ｋのエコーの端部を特定共通領域３９と定める。すると、学習用超音波画像３１の特定共通領域３９は、亀裂の端部の位置に相当する。そして、超音波画像評価装置１００が、学習用超音波画像３１から特定共通領域３９を検出する。さらに、特定共通領域３９と対象物Ｔの底面３４のエコーとの距離を算出することで、亀裂の深さを求めることができる。
【0061】
次に、教師ラベル４０の生成方法について図１４のフローチャートを用いて説明する。なお、検出対象Ｋを亀裂とし、その端部を特定共通領域３９として説明する。
【0062】
まず、ステップＳ１１において、超音波画像処理装置３０により複数の学習用超音波画像３１（学習用画像）が取得される。これら学習用超音波画像３１が超音波画像評価装置１００の入力部１１０（学習用画像取得部）に入力される。入力部１１０に入力された複数枚の学習用超音波画像３１は、学習用超音波画像記憶部１４１に格納される。
【0063】
次のステップＳ１２において、検査員、研究者または専門家などのユーザにより、学習用超音波画像３１の確認が行われる。ユーザは、それぞれの学習用超音波画像３１に亀裂が写っているか否かの精査を行う。
【0064】
次のステップＳ１３において、教師ラベル生成部１２１は、学習用超音波画像３１に亀裂が写っている場合に、超音波探傷器１０のチャンネルを選定する。例えば、超音波探傷器１０が備える複数（例えば、Ｎ個）の超音波素子１１Ａのうち、亀裂の端部からのエコーが含まれる受信波形４１（図６）を特定する。そして、この受信波形４１を受信した超音波探傷器１０のチャンネルを選定する。ここで、そのチャンネルの番号をｍ（図５）とする。
【0065】
次のステップＳ１４において、教師ラベル生成部１２１は、チャンネル番号ｍの受信波形４１から亀裂の端部のエコーを取得し、このエコーのピーク位置でのビーム路程Ｘｄを求める。なお、チャンネル番号ｍの選定は、教師ラベル生成部１２１が行っても良いし、ユーザが行っても良い。
【0066】
例えば、図６に示すように、チャンネル番号ｍの受信波形４１には、対象物Ｔの表面３３のエコーの波形４２と、対象物Ｔの底面３４のエコーの波形４３と、亀裂の端部のエコーの波形４４とが含まれているものとする。そして、チャンネル番号ｍの受信波形４１の振幅の値をＡｍ（Ｘ）とする。さらに、受信波形４１を絶対値化した波形４５を図７に示す。
【0067】
ここで、教師ラベル生成部１２１は、Ａｍ（Ｘ）の絶対値である｜Ａｍ（Ｘ）｜から、亀裂の端部のエコーのピークの値｜Ａｍ（Ｘｄ）｜を求める。そして、教師ラベル生成部１２１は、この位置までのビーム路程Ｘｄを求めることができる（図５）。
【0068】
【0069】
次のステップＳ１６において、教師ラベル生成部１２１は、座標Ｅｘ，Ｅｙを中心とする一辺の長さｄの正方形を設定する（図８）。ここで、正方形を「１」とし、それ以外を「０」とする二値画像を生成する。この二値画像が教師ラベル４０（図４）となる。
【0070】
次のステップＳ１７において、教師ラベル生成部１２１は、生成した教師ラベル４０を教師ラベル記憶部１４２に格納する。そして、教師ラベル４０の生成方法を終了する。
【0071】
図８に示すように、本実施形態の特定共通領域３９のサイズ（最大長）はｄで表される。例えば、ｄ×ｄの正方形としている。ここで、特定共通領域３９の対角線は、亀裂の端部のエコーの波長λの４分の１以上とする。
【0072】
【数1】
【0073】
図６に示すように、波長λの４分の１という長さは、波形の立ち上がりからピークに到達するまでの長さに相当し、亀裂の端部からのエコーの特徴量を含む最小の長さとなる。仮に、特定共通領域３９のサイズ（最大長）が波長λの４分の１に満たない場合、特定共通領域３９にエコーの特徴が充分に含まれず、亀裂の端部を正しく検出できない可能性が生じる。
【0074】
なお、いくつかの波が連続しているエコーの場合でも、その波から代表的な波形を取り出し、波長を求める必要がある。
【0075】
特定共通領域３９を円とする場合には、円の直径を波長λの４分の１以上のサイズに設定する。特定共通領域３９を楕円とする場合には、楕円の長軸を波長λの４分の１以上に設定する。また、特定共通領域３９は、円以外において、多角形、不定形で設定することも可能である。その場合は、それぞれの最大長が波長λの４分の１以上に設定される。
【0076】
本実施形態では、特定共通領域３９のサイズｄが、超音波探傷装置２０が用いた超音波Ｕの周波数の波長の４分の１以上であることで、特定共通領域３９に検出対象Ｋの特徴が充分に含まれるようになり、検出対象Ｋを正しく検出することができる。そして、検出対象Ｋをノイズと区別できるようになる。
【0077】
図１に示すように、判定モデル生成部１３０は、学習用超音波画像３１とそれぞれの学習用超音波画像３１に対応する教師ラベル４０とを用いて、検出対象Ｋが存在するか否かを判定可能な判定値を、画像中の位置を示す単位ごとに算出可能な判定モデルを生成する。
【0078】
本実施形態において、画像中の位置を示す単位とは、例えば、画素（ピクセル）である。画像中の所定の画素が存在する位置（座標）は、従来公知の方法で管理されている。
【0079】
なお、本実施形態では、画像中の位置を示す単位を画素としているが、その他の態様であっても良い。例えば、隣接する複数の画素で１つの単位としても良い。また、画像を複数のグリッドで区切り、そのグリッドの１つのマス目を１つの単位としても良い。
【0080】
次に、判定モデルの生成方法について図１５のフローチャートを用いて説明する。
【0081】
まず、ステップＳ２１において、判定モデル生成部１３０は、入力部１１０に入力され、学習用超音波画像記憶部１４１に格納された複数枚の学習用超音波画像３１を取得する。
【0082】
次のステップＳ２２において、判定モデル生成部１３０は、複数枚の学習用超音波画像３１と、それぞれの学習用超音波画像３１に対応する教師ラベル４０に基づいて、教師あり学習を行う。
【0083】
次のステップＳ２３において、判定モデル生成部１３０は、教師あり学習により判定モデルを生成する。教師あり学習を行うことで、画像中に検出対象Ｋの特定共通領域３９が含まれるかどうかを判定し、その判定値を画素ごとに出力する性能を有する判定モデルが生成される。この判定モデルにより、判定用超音波画像３５（図９）を入力値として受け入れた場合に、判定済画像３６（図１０）を出力値として出力可能となる。
【0084】
なお、判定モデルの生成（教師あり学習）には、学習用超音波画像３１を可能な限り多く用意し、それらを用いて判定モデルを生成することが望ましい。学習用超音波画像３１のうち、少なくとも２枚は、検出対象Ｋが存在する画像があることが望ましい。また、学習用超音波画像３１には、１枚の画像に対して複数の検出対象Ｋが写っている画像でも良い。さらに、学習用超音波画像３１には、検出対象Ｋが存在せず、表面３３のエコーと底面３４のエコーのみ存在する画像が含まれていても良い。
【0085】
次のステップＳ２４において、判定モデル生成部１３０は、生成した判定モデルを判定モデル記憶部１４３に格納する。そして、判定モデルの生成方法を終了する。
【0086】
図１に示すように、判定部１２２は、判定モデルを用いて、判定用超音波画像３５の画素ごとに、検出対象Ｋが存在するか否かを示す判定値を算出する。
【0087】
次に、判定用超音波画像３５の評価方法について図１６のフローチャートを用いて説明する。
【0088】
まず、ステップＳ３１において、超音波画像処理装置３０により判定用超音波画像３５（判定用画像）が取得される。この判定用超音波画像３５が超音波画像評価装置１００の入力部１１０（判定用画像取得部）に入力される。入力部１１０に入力された判定用超音波画像３５は、判定用超音波画像記憶部１４４に格納される。
【0089】
次のステップＳ３２において、判定部１２２は、判定用超音波画像記憶部１４４に格納された判定用超音波画像３５を学習済みの判定モデルに入力し、判定済画像３６を生成する。
【0090】
図１０に示すように、判定済画像３６は、判定用超音波画像３５と同一のサイズの画像（２次元データ）である。判定済画像３６のそれぞれの画素は、判定値としての「０」から「１」までの連続値で表される。
【0091】
図１２に示すように、判定済画像３６では、検出対象Ｋの端部が存在する可能性が高い領域３７ほど、画素が明るく表示される。例えば、判定値が「０」の場合は黒色の画素値となる。判定値が「１」の場合は白色の画素値となる。判定値が「０」を超え、かつ「１」未満の場合はグレー色の画素値となる。つまり、判定済画像３６では、判定値が「１」に近いほど、特定共通領域３９が存在する可能性が高いことを表している。
【0092】
図１６に戻り、次のステップＳ３３において、抽出部１２３は、判定済画像３６（図１０）から検出対象Ｋの位置を抽出する。この抽出部１２３は、判定済画像３６に対して二値化処理を行い、特定共通領域３９を抽出した二値化画像３８（図１１）を生成する。
【0093】
図１１および図１３に示すように、判定済画像３６を２階調化して二値化画像３８を生成する。例えば、ユーザが予め閾値を設定する。そして、判定済画像３６のそれぞれの画素の値が、閾値を上回っている場合は白色の値「１」に置換し、閾値を下回っている場合は黒色の値「０」に置換する。このようにすれば、二値化画像３８に特定共通領域３９の像を出現させることができる。
【0094】
図１６に戻り、次のステップＳ３４において、検出対象位置算出部１２４は、抽出部１２３で抽出された特定共通領域３９に基づいて、検出対象Ｋの位置（亀裂の位置）を算出する。さらに、この検出対象Ｋの位置に基づいて検出対象Ｋの深さ寸法を計算する。
【0095】
例えば、検出対象位置算出部１２４は、二値化画像３８の特定共通領域３９の中心位置の座標（Ｇｘ１，Ｇｙ１およびＧｘ２，Ｇｙ２）を算出する（図１３）。この座標は、必ずしもその二値化画像３８における特定共通領域３９の中心である必要はない。例えば、二値化画像３８の特定共通領域３９の中で最大強度を持つ座標でも良い、または、所定の閾値を超える画素群の重心を座標としても良い。即ち、特定のロジックによって一意に求められるものであれば良い。
【0096】
検出対象位置算出部１２４は、二値化画像３８の特定共通領域３９の中心位置の座標と、対象物Ｔの表面３３または底面３４のエコーまでの相対距離（亀裂の深さ）を算出する。例えば、対象物Ｔの底面３４から検出対象Ｋの端部の位置までの距離（Ｄ１およびＤ２）を算出する（図９）。なお、距離を算出するときには、画素数から長さの次元への換算を行う。
【0097】
なお、対象物Ｔの表面３３または底面３４の位置は、所定の方法で予め求められているものとする。例えば、対象物Ｔの表面３３または底面３４の座標の計算方法は、それぞれのエコーの最大値を座標としても良いし、所定の閾値を超えるエコーの中心を用いても良い。
【0098】
次のステップＳ３５において、検出対象位置算出部１２４は、算出した検出対象Ｋ（亀裂）の位置と深さを検出対象位置記憶部１４５に格納するとともに、出力部１５０を用いて出力する。そして、判定用超音波画像３５の評価方法を終了する。
【0099】
本実施形態では、検出対象Ｋのエコー全体をラベル付けするのではなく、検出対象Ｋの端部のみをラベル付けしている。そのため、教師ラベル４０の作成のための労力を格段に低減させることができる。また、検出対象Ｋの全部ではなく、その端部のみを検出させるため、超音波画像のそれぞれで検出対象Ｋの形状が異なっても、その深さの計測に共通して必要な端部（特定共通領域３９）を安定して検出することができる。
【0100】
また、特定共通領域３９が、検出対象Ｋの端部であることで、検出対象Ｋが存在する深さを求める精度を向上させることができる。
【0101】
また、抽出部１２３が、判定用超音波画像３５（図９）から算出された判定値に基づいて生成された判定済画像３６（図１０）から検出対象Ｋの位置を抽出することで、判定済画像３６から検出対象Ｋの位置を抽出し、判定用超音波画像３５に存在する検出対象Ｋを検出することができる。
【0102】
また、抽出部１２３が、画像中の位置を示す単位ごとの判定値を閾値に基づいて二値化して検出対象Ｋの位置を抽出することで、判定済画像３６における検出対象Ｋが存在する可能性が高い部分を抽出することができる。
【0103】
なお、本実施形態の単位を画素とすることで、画像の最小単位である画素ごとに処理を行えるようになり、詳細に判定用超音波画像３５を判定することができる。
【0104】
なお、本実施形態において、基準値（閾値）を用いた任意の値（画素値）の判定は、「任意の値が基準値以上か否か」の判定でも良いし、「任意の値が基準値を超えているか否か」の判定でも良い。或いは、「任意の値が基準値以下か否か」の判定でも良いし、「任意の値が基準値未満か否か」の判定でも良い。また、基準値が固定されるものでなく、変化するものであっても良い。従って、基準値の代わりに所定範囲の値を用い、任意の値が所定範囲に収まるか否かの判定を行っても良い。また、予め装置に生じる誤差を解析し、基準値を中心として誤差範囲を含めた所定範囲を判定に用いても良い。
【0105】
なお、本実施形態のフローチャートにおいて、各ステップが直列に実行される形態を例示しているが、必ずしも各ステップの前後関係が固定されるものでなく、一部のステップの前後関係が入れ替わっても良い。また、一部のステップが他のステップと並列に実行されても良い。
【0106】
本実施形態のシステムは、専用のチップ、ＦＰＧＡ（Field Programmable Gate Array）、ＧＰＵ（Graphics Processing Unit）、またはＣＰＵ（Central Processing Unit）などのプロセッサを高集積化させた制御装置と、ＲＯＭ（Read Only Memory）またはＲＡＭ（Random Access Memory）などの記憶装置と、ＨＤＤ（Hard Disk Drive）またはＳＳＤ（Solid State Drive）などの外部記憶装置と、ディスプレイなどの表示装置と、マウスまたはキーボードなどの入力装置と、通信インターフェースとを備える。このシステムは、通常のコンピュータを利用したハードウェア構成で実現できる。
【0107】
なお、本実施形態のシステムで実行されるプログラムは、ＲＯＭなどに予め組み込んで提供される。もしくは、このプログラムは、インストール可能な形式または実行可能な形式のファイルでＣＤ－ＲＯＭ、ＣＤ－Ｒ、メモリカード、ＤＶＤ、フレキシブルディスク（ＦＤ）などのコンピュータで読み取り可能な非一過性の記憶媒体に記憶されて提供するようにしても良い。
【0108】
また、このシステムで実行されるプログラムは、インターネットなどのネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせて提供するようにしても良い。また、このシステムは、構成要素の各機能を独立して発揮する別々のモジュールを、ネットワークまたは専用線で相互に接続し、組み合わせて構成することもできる。
【0109】
なお、本実施形態では、超音波検査で取得した画像の解析を例示しているが、その他の態様であっても良い。例えば、Ｘ線検査、可視光検査、顕微鏡検査、赤外線検査、紫外線検査などで取得した画像の解析に本実施形態を適用しても良い。
【0110】
また、本実施形態では、超音波画像がグレースケール画像であるものとして説明したが、その他の態様であっても良い。例えば、超音波画像がＲＧＢなどで表されるカラー画像でも良い。その場合には、例えば、閾値を上回っている画素値を赤色にし、閾値以下の画素値を青色として、表示の形態に特徴を持たせても良い。
【0111】
以上説明した実施形態によれば、判定モデルを用いて、判定用画像中の位置を示す単位ごとに判定値を算出する判定部を備えることにより、画像評価において対象物に含まれる検出対象の位置を検出する精度を向上させることができる。
【0112】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更、組み合わせを行うことができる。これら実施形態またはその変形は、発明の範囲と要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
【符号の説明】
【0113】
１…画像評価システム、２…音響伝搬媒質、１０…超音波探傷器、１１…探触子、１１Ａ…超音波素子、２０…超音波探傷装置、３０…超音波画像処理装置、３１…学習用超音波画像、３２…入射範囲、３３…対象物の表面、３４…対象物の底面、３５…判定用超音波画像、３６…判定済画像、３７…端部が存在する可能性が高い領域、３８…二値化画像、３９…特定共通領域、４０…教師ラベル、４１…受信波形、４２…対象物の表面のエコーの波形、４３…対象物の底面のエコーの波形、４４…亀裂の端部のエコーの波形、４５…絶対値化した波形、１００…超音波画像評価装置、１１０…入力部、１２０…演算部、１２１…教師ラベル生成部、１２２…判定部、１２３…抽出部、１２４…検出対象位置算出部、１３０…判定モデル生成部、１４０…記憶部、１４１…学習用超音波画像記憶部、１４２…教師ラベル記憶部、１４３…判定モデル記憶部、１４４…判定用超音波画像記憶部、１４５…検出対象位置記憶部、１５０…出力部、Ｂ…背景、Ｋ…検出対象、Ｔ…対象物、Ｕ…超音波。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】