特許 7142825 画像判定方法及び画像判定システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2022-09-16

(45)【発行日】2022-09-28

(54)【発明の名称】画像判定方法及び画像判定システム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20220920BHJP

   G01N 29/06 20060101ALI20220920BHJP

【ＦＩ】

G06T7/00 610Z

G01N29/06

【請求項の数】 8

(21)【出願番号】P 2022062397

(22)【出願日】2022-04-04

【審査請求日】2022-04-08

【早期審査対象出願】

(73)【特許権者】

【識別番号】722003657

【氏名又は名称】株式会社シュヴァルベル

(72)【発明者】

【氏名】大橋 智樹

【審査官】花田 尚樹

(56)【参考文献】

【文献】特開２００７－２９８４６８（ＪＰ，Ａ）

【文献】特開平０７－１１０３２２（ＪＰ，Ａ）

【文献】特開２００５－２７４４４４（ＪＰ，Ａ）

【文献】国際公開第２０１５／００１６２４（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００ － ７／９０

Ｇ０６Ｖ １０／００ －２０／９０

３０／４１８

４０／１６

４０／２０

Ｇ０１Ｎ ２９／００ －２９／５２

(57)【特許請求の範囲】

【請求項1】

画像から、色相に基づいた第１の二値化画像と、色相及び明度に基づいた第２の二値化画像とを生成し、前記第１の二値化画像と前記第２の二値化画像との間で対応する画素の論理積により求めた第３の二値化画像を生成し、前記第３の二値化画像に基づいて前記画像内にあるオブジェクトを特定するステップと、
前記特定したオブジェクトの特徴に基づいて、前記特定したオブジェクトのレベルを決定するステップと、
前記レベルに基づいて、前記画像について良否判定するステップと、
前記良否判定の結果を出力するステップと、
を備える画像判定方法。

【請求項2】

前記特定したオブジェクトを囲う図形を前記画像に追加した画像を生成するステップと、
前記追加した画像を出力するステップと、
をさらに備える、請求項１に記載の画像判定方法。

【請求項3】

前記図形に、前記レベルに応じた色が付与されている、請求項２に記載の画像判定方法。

【請求項4】

前記特徴は、前記特定したオブジェクトの色相である、
請求項１乃至３のうちのいずれか１項に記載の画像判定方法。

【請求項5】

前記画像は超音波探傷画像であり、前記オブジェクトはエコーである、
請求項１乃至３のうちのいずれか１項に記載の画像判定方法。

【請求項6】

前記特定するステップにおいて、前記第３の二値化画像の白画素群に対応する前記画像内の領域を前記オブジェクトとして特定する、
請求項１乃至３のうちのいずれか１項に記載の画像判定方法。

【請求項7】

前記決定するステップにおいて、前記特定したオブジェクトが複数ある場合、前記特定したオブジェクトの中心間の距離が所定の範囲内にある複数の前記特定したオブジェクトを１つのオブジェクトとして扱う、
請求項１乃至３のうちのいずれか１項に記載の画像判定方法。

【請求項8】

画像から、色相に基づいた第１の二値化画像と、色相と明度に基づいた第２の二値化画像とを生成し、前記第１の二値化画像と前記第２の二値化画像との間で対応する画素の論理積により求めた第３の二値化画像を生成し、前記第３の二値化画像に基づいて前記画像内にあるオブジェクトを特定する特定部と、
前記特定したオブジェクトの特徴に基づいて、前記特定したオブジェクトのレベルを決定する決定部と、
前記レベルに基づいて、前記画像について良否判定する判定部と、
前記良否判定の結果を出力する出力部と、
を備える画像判定システム。

【発明の詳細な説明】

【技術分野】

【0001】

本願発明は、画像判定方法に関し、特に画像から特定のオブジェクトを抽出してオブジェクトの特徴に基づいて画像を判定する技術に関する。

【背景技術】

【0002】

カメラ等の撮像装置で撮像した画像から注目するオブジェクトを見つけて、画像について何らかの判断するようなケースがある。例えば、金属母材を溶接して溶接部の不良の有無を判定する場合、超音波によるエコーを活用した超音波探傷法による超音波探傷画像からオブジェクトとしてエコーを見つけて、溶接の良否を判断するようなケースがある。

【0003】

ここで、溶接は、金属などからなる母材同士を接続するものであり、例えば、図２（Ａ）に示すように母材２００及び母材２１０が溶接により溶接部２２０を形成して相互に接続されるものである。しかし、溶接部２２０内にはブローホールや割れといった欠陥が生じていることがある。例えば図２（Ｂ）に示すように、溶接部２２０内に内部が空洞となったブローホール２３０が生じている場合に溶接欠陥となる。このような溶接欠陥は、耐久性等の観点から溶接不良である。

【0004】

溶接部２２０の内部に欠陥が生じているかどうかの検査は超音波探傷法を用いることができ、溶接部を破壊することなく検査することができる。超音波探傷法は、超音波を送受信できる超音波探触子（トランスデューサー）を用いて溶接部に対して超音波を送信し、反射した超音波（エコー）を受信して信号処理をすることにより超音波探傷画像を生成するものである。作業者は、溶接部に超音波探触子を当ててモニタに映る超音波探傷画像からエコーの有無を確認して、溶接部の欠陥の有無を判定することができる（例えば特許文献１参照。）。

【0005】

図３（Ａ）は、超音波探傷法を説明するための断面図である。超音波探触子３００を用いて溶接部３１０に対して超音波を発信し、そのエコーを受信することで、図３（Ｂ）に示すような超音波探傷画像３２０を取得することができる。このようにして超音波探傷画像を取得してオブジェクトとしてのエコーを特定し、エコーの特徴から溶接の良否を判断することができる。

【先行技術文献】

【特許文献】

【0006】

【文献】特開２０１３－０１９７１５号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

作業者がモニタに表示される超音波探傷画像を見ながら溶接部の欠陥の有無を判定する場合、作業者の習熟度合いによっては良否判定にバラツキが生じるという問題があった。超音波探傷画像におけるエコーのパターンは様々であり、またエコーの特徴も様々であるため、正確に良否判定するには経験に依るところがある。例えば、溶接部の内部にブローホールが１つある場合、超音波探傷画像ではエコーが２つ表示されるような場合があり、判定を惑わす要因となることがある。また、作業者が連続して超音波探傷画像から良否判定するような場合にも検査数が増えると判定にバラツキが生じることがあった。

【0008】

従って、人手によらず超音波探傷画像において正確にエコーを特定し、エコーの特徴に従って溶接の良否を正確に判定できる技術が求められていた。

【課題を解決するための手段】

【0009】

本願発明は、上記課題を克服するためになされたものであり、画像からオブジェクトを特定するステップと、前記特定したオブジェクトの特徴に基づいて、前記特定したオブジェクトのレベルを決定するステップと、前記レベルに基づいて、前記画像について良否判定するステップと、前記良否判定の結果を出力するステップとを備える画像判定方法に関する。

【図面の簡単な説明】

【0010】

【図1】本願発明の実施形態に係る画像判定システムを示す図である。

【図2】溶接を説明するための断面図である。

【図3】（Ａ）は超音波探傷法を説明するための断面図であり、（Ｂ）は超音波探傷画像である。

【図4】本発明の実施形態に係る画像判定処理のフローである。

【図5】（Ａ）は本願発明の実施形態に係る処理対象画像を説明するための図であり、（Ｂ）は処理対象画像を正規化して正規化画像を生成する処理を説明するための図である。

【図6】本願発明の実施形態に係るエコー抽出画像の一例を示す図である。

【図7】本願発明の実施形態に係る背景画像の一例を示す図である。

【図8】本願発明の実施形態に係る合成画像の一例を示す図である。

【図9】本願発明の実施形態に係るエコー領域を説明するための図である。

【図10】本願発明の実施形態に係るエコー領域の中心を求める処理を説明するための図であり、（Ａ）はエコー領域の輪郭を線分で表した合成画像の一例であり、（Ｂ）はエコー領域の中心の求め方を説明するための図であり、（Ｃ）は各エコー領域の中心について説明するための図である。

【図11】（Ａ）は距離Ｄの求め方を説明するための図であり、（Ｂ）は距離Ｗの求め方を説明するための図である。

【図12】本願発明の実施形態に係る矩形修正処理を説明するための図である。

【図13】本願発明の実施形態に係る別の矩形修正処理を説明するための図である。

【図14】本願発明の実施形態に係る判定画像の一例を示す図である。

【図15】本願発明の実施形態に係る良否判定結果データを示す図である。

【図16】正規化画像の一例を示す図である。

【発明を実施するための形態】

【0011】

図１は、本発明の実施形態に係る画像判定システムを示す図である。図１に示すように、画像判定システムは、検査装置１０、プローブ２０、及び解析装置３０を備える。検査装置１０は、表示部１１及び制御部１２を備える。検査装置１０は、プローブ２０に接続されている。検査装置１０の制御部１２は、演算素子や記憶素子などから構成され、計算処理や画像処理等の情報処理を実行することができる。また、制御部１２は、超音波探傷画像を生成することができる。検査装置１０の表示部１１は、ＬＣＤ等から構成され、画像を表示することができる。なお、画像判定システムを用いて本願発明に係る画像判定処理を実行することもできる。

【0012】

プローブ２０は、超音波を発生することができ、また、溶接部を含む検査体から戻ってきた超音波を受信することができる。解析装置３０は、検査装置１０の制御部１２により生成された超音波探傷画像を検査装置１０から取得し、この超音波探傷画像を画像処理して溶接部の良否を判定することができる。解析装置３０は、専用の装置でもよく、あるいは一般的なＰＣでもよく、制御部や記憶部を備えて画像処理や数値計算を行えるものであればよい。解析装置３０は、検査装置１０から超音波探傷画像を取得するものであるが、検査装置１０と解析装置３０とが有線又は無線による通信を用いて取得してもよく、あるいは検査装置１０に接続された情報記憶媒体を介して取得してもよい。

【0013】

図４は、本発明の実施形態に係る、解析装置３０により実行される画像判定処理のフローを示す。このフローに従って超音波探傷画像を画像処理して、最終的に溶接部の溶接欠陥の有無に関する良否判定結果データを生成する。

【0014】

まず、Ｓ４０１において、検査装置から取得した超音波探傷画像について、処理領域にある画像を処理対象画像として抽出する。処理領域とは、超音波探傷画像のうち処理対処となる領域を定めたものであり、画像判定処理に必要な領域を画定するものである。例えば、図５（Ａ）に示すように、超音波探傷画像３２０のうち、画像処理に必要な領域として、処理領域５００内の画像として処理対象画像５１０（図５（Ｂ））が抽出される。なお、超音波探傷画像において、反射してきた超音波（エコー）は強度に応じて色付けされており、例えば、赤色が最も強い強度を示し、赤色→橙色→黄色→緑色→青色の順でエコーの強度を表すことができる。このように、エコーが色相によって特徴づけられている。なお、この色相の設定は任意であり、エコーの強度に応じて視覚的に区別できるようにしてあればよい。

【0015】

次に、処理対象画像が一定のサイズに正規化された正規化画像を生成する。例えば、図５（Ｂ）に示すように、処理対象画像５１０を縮小してリサイズした正規化画像５２０を生成する。これは、画像判定処理において、画像処理上でのノイズの影響を受けないようにすることや、処理量を減らすことにより処理速度を向上させこと等の目的のために実施するものである。一定のサイズとは、例えば、横幅２２３×縦幅１９６であるが、これに限定するものではない。

【0016】

次に、Ｓ４０２において、正規化画像５２０をＲＧＢからＨＳＶへ色空間の変換を行う。これにより画像判定処理において、画素の色相に関する処理を実行する際にＲＧＢ成分の３チャンネルを用いるよりもＨＳＶ成分におけるＨ成分のみの１チャンネルを用いて処理すれば処理量を減らすことができるので、処理速度を向上させることができる。なお、本実施形態ではＨＳＶ色空間への変換を行っているが、色空間変換を行わずにＲＧＢ色空間として処理してもよいし、その他の色空間に変換して処理してもよい。

【0017】

次に、Ｓ４０３において、正規化画像を二値化処理したエコー抽出画像を生成する。
図６にエコー抽出画像６００を示す。エコー抽出画像の生成では、正規化画像の各画素についてＨ成分を参照して所定のＨ成分を有する場合にその画素と同じ位置の画素をエコー抽出画像において白色とする。また、参照している画素が所定のＨ成分を有しない場合にその画素と同じ位置の画素をエコー抽出画像において黒色とする。所定のＨ成分を基準とするのは、一定以上の強度を示すエコーを抽出するためである。

【0018】

このようにＨ成分を基準とする場合、０から２５５までの２５６段階で扱う場合について説明する。例えば、赤色を２４５～２５５及び０～８、橙色を９～３５、黄色を３６～５５、緑色を５６～８０とし、水色、青色、紫色等を８１～２４４とする。エコーの強い順に赤色、橙色、緑色とすると、所定のＨ成分を８０～２５５、０～８とすることで強いエコーに相当する色相を持つ画素を正規化画像から特定できる。このように、所定の範囲のＨ成分を有する、正規化画像における画素と同じ位置の画素を白色に設定した二値画像であるエコー抽出画像を生成する。

【0019】

例えば、図５（Ｂ）に示す正規化画像５２０には、赤色、黄色、緑色の画素が含まれている。正規化画像５２０の各画素のＨ成分を参照し、上記のように所定の範囲のＨ成分を有する画素と同じ位置の画素を白色とし、所定の範囲外のＨ成分を有する画素と同じ位置の画素を黒色としてエコー抽出画像６００を生成する。

【0020】

なお、正規化画像における黒色又は白色に近い画素はＨ成分のみでは区別できないため、二値化処理したエコー抽出画像において正規化画像の画素と同様の色になるわけではない。例えば、図５（Ｂ）に示す正規化画像５２０の例では、右上隅と左下隅にエコーの反応がない黒色の画素の領域を含んでいるが、図６に示すエコー抽出画像６００の右上隅と左下隅には白色の画素群となっている。このようにエコー抽出画像は、エコーを示す画素以外も白色画素となることがある。

【0021】

次に、Ｓ４０４において、正規化画像を二値化処理した背景画像を生成する。背景画像は白色と黒色とからなる二値画像である。背景画像の生成では、二値画像である第１の背景画像と第２の背景画像を生成し、第１の背景画像と第２の背景画像のそれぞれが対応する画素の論理和により二値化処理した背景画像を生成する。第１の背景画像は、正規化画像におけるエコーのないことを示す背景の色（ここでは水色）のＨ成分の範囲にある画素を特定し、その位置に対応した画素を黒色となるように二値化処理したものである。

【0022】

一方、第２の背景画像は、正規化画像の各画素のＶ成分を参照し、Ｖ成分の値に基づいて二値化処理した二値化画像である。ここでは、ＨＳＶ成分のうちのＶ成分を０から２５５までの２５６段階で扱う場合について説明する。明度が最大となる値が２５５である。正規化画像における白色又は黒色に近い色を特定するために、正規化画像における各画素を参照し、Ｖ成分の値が０～５、及び２４５～２５５の範囲にある画素を黒画素とし、その他の値の画素を白色とした二値化画像である第２の背景画像を生成する。

【0023】

次に、第１の背景画像と第２の背景画像の同じ位置にある画素どうしの論理和により二値化処理した背景画像を生成する。図７に背景画像の一例を示す。図７に示す背景画像７００は、正規化画像５２０から生成した第１の背景画像と第２の背景画像に基づいて生成したものである。背景画像７００において、少なくともエコーではない画素が黒色画素となっている。

【0024】

次に、Ｓ４０５において合成画像を生成する。合成画像は、Ｓ４０３で生成したエコー抽出画像と、Ｓ４０４で生成した背景画像とを用いて、それぞれの同じ位置にある画素の論理積を求めることにより生成した二値画像である。具体的には、処理の対象となっている画素がエコー抽出画像及び背景画像について白色のときのみ、合成画像における対象となる画素が白色となる。それ以外の組み合せは黒色になる。

【0025】

図８に合成画像の一例を示す。図８に示す合成画像８００は、図６に示すエコー抽出画像６００と、図７に示す背景画像７００とのそれぞれ同じ位置にある画素の論理積を求めることにより生成したものである。図８に示す合成画像８００から分かるように、エコーに相当する領域のみが白色画素として明確に特定されており、正規化画像に内在するノイズの影響を排除できていることがわかる。このように、オブジェクトとしてのエコーの特徴である色相に基づいて、正規化画像からエコーを特定することができる。なお、以降の説明において、合成画像における所定の大きさを有する白色の画素群を「エコー領域」として説明する。例えば、図９に示す合成画像９００の例では、９０１～９０５がエコー領域である。

【0026】

なお、合成画像においてエコー領域を特定する方法は、例えば、合成画像の中の白色画素に注目し、この注目した白色画素の上下左右の画素の色を確認し、白画素が複数隣り合っており、かつこのような連続する白色画素が所定数以上まとまっている場合に、それらの白色の画素からなる画素群をエコー領域とするものである。

【0027】

このように、図９に示すエコー領域９０１～９０５のように、合成画像からエコー領域を特定する。なお、合成画像９００に関し、エコー領域９０１～９０５以外にも白画素群が存在するが、一定の大きさを有していないためエコー領域とは特定されていない。

【0028】

次に、Ｓ４０６においてブローホール評価を行う。ブローホール評価とは、合成画像内に複数のエコー領域が存在する場合に、各エコー領域の位置関係に基づいて、それらがブローホールの関係性があるエコーであるかどうかを評価することである。

【0029】

まず、エコー領域のそれぞれの中心を求める。図１０はエコー領域の中心を求める処理を説明するための図である。なお、エコー領域の中心を求める処理は合成画像に基づいて行われるが、便宜的に図１０のようにエコー領域を枠線で表したものを用いて説明する。

【0030】

図１０（Ａ）において、合成画像１０００は、合成画像８００のエコー領域９０１～９０５の輪郭を線で表したものである。エコー領域１０１１～１０１５はそれぞれ、エコー領域９０１～９０５の輪郭に相当する。

【0031】

Ｓ４０６のブローホール評価に関し、まず、合成画像における各エコー領域に関して矩形を求める矩形算出処理を行う。矩形算出処理では、エコー領域を完全に収めることができる仮想的な矩形を複数作成し、その作成した仮想的な矩形のうち面積が最小となるような矩形を１つ決定し、それをそのエコー領域の矩形とする。矩形に関する情報は、合成画像における４つの角の位置を矩形ごとに記憶する。なお、本実施形態では矩形を用いて説明するが、これに限らず、エコー領域を視覚的に収めることができる図形であればどのような形状を用いてもよい。

【0032】

ここで、図１０（Ａ）に示す合成画像１０００のうち、エコー領域１０１１に対して矩形算出処理を行うものとする。エコー領域１０１１が収まる仮想的な矩形をいくつか作成し、そのうち面積が最小となるような矩形を１つ決定する。例えば、図１０（Ｂ）に示すような矩形１０２１が決定する。なお矩形算出処理は上述の方法に限らず、その他の方法で矩形を決定してもよい。

【0033】

同様にして、合成画像内の全てのエコー領域に対して矩形を１つ決定する。すなわち、図１０（Ａ）に示すエコー領域１０１１～１０１５について、矩形がそれぞれ１つ決定されることとなる。

【0034】

決定した矩形に関する情報は、エコー情報としてエコー領域と関連付けられて記憶される。エコー情報は、エコー領域に関する情報が関連付けられている。ここでは、エコー領域に対して、合成画像における矩形の位置が関連付けられる。エコー情報において、エコー領域は、合成画像における位置が関連付けられる。また、エコー情報では、合成画像の元となった正規化画像に関する情報が関連付けられている。

【0035】

次に、中心算出処理を行う。中心算出処理は、各エコー領域の中心の座標を算出するものである。具体的には、エコー領域について決定されている矩形の中心位置を算出し、この中心位置をエコー領域の中心とする。例えば、図１０（Ｂ）に示すエコー領域１０１１の場合、決定した矩形が矩形１０２１であり、矩形１０２１の中心位置を示す中心１０３１が求まる。この中心１０３１をエコー領域１０１１の中心とする。

【0036】

同様にして各エコー領域１０１１～１０１５の中心を求めた様子を図１０（Ｃ）に示す。図１０（Ｃ）に示すように、各エコー領域１０１１～１０１５に対して中心１０３１～１０３５が求められている。なお、中心の求め方は上述の方法に限らず、例えば各エコー領域１０１１～１０１５の重心を求めてそれらを中心としてもよい。

【0037】

各エコー領域について求めた合成画像における中心の位置は、エコー領域と関連付けてエコー情報として管理する。

【0038】

次に、各中心の間の距離を算出し、算出した距離に基づいて、エコー領域間にブローホールの関係があるかどうかを判定する。図１１は、各中心の間の距離を算出する距離算出処理を説明するための図である。

【0039】

図１１は、図１０（Ａ）に示す輪郭で表した合成画像１０００のうち、中心１０３１を有するエコー領域１０１１及び、中心１０３５を有するエコー領域１０１５に注目したものである。まず、図１１(Ａ)に示すように、中心１０３１を通り水平方向と４５°に交わる直線と、中心１０３５を通り水平方向と４５°に交わる直線とを求める。この２つの直線の差Ｄを求める。

【0040】

次に、図１１(Ｂ)に示すように、中心１０３１を通り水平方向と１３５°に交わる直線と、中心１０３５を通り水平方向と１３５°に交わる直線とを求める。この２つの直線の差Ｗを求める。

【0041】

この求めたＤ及びＷがいずれも所定の数値以内であれば、この２つのエコー領域はブローホールの関係にあると判定する。すなわち、ブローホールの関係にあると判定された２つのエコーは、溶接内の１つのブローホールに基づいたエコーであり、１つの欠陥として取り扱うこととする。

【0042】

同様にして、全ての中心どうしの組合せについて距離Ｄ及び距離Ｗを求め、エコー領域間にブローホールの関係があるかどうかを判定する。このように、Ｓ４０６のブローホール評価では、矩形算出処理、中心算出処理、距離算出処理を順に実施し、距離算出処理の結果に基づいてエコー領域の間にブローホールの関係があるかどうかを判定する。ブローホールの関係にあると判定されたエコー領域については、エコー情報において、ブローホールの関係性があることを示す情報が付加される。

【0043】

次に、Ｓ４０７において、溶接部の良否を示す良否判定結果データを生成する。良否判定結果データは判定画像と、エコー情報に基づいて生成される判定データと、から構成される。図１５に示す例では、良否判定結果データの一例として良否判定結果データ１５００及び１５５０を示している。良否判定結果データは、判定画像と判定データとから構成される。例えば、図１５（Ａ）に示す例では、良否判定結果データ１５００は、判定画像１５１０と判定データ１５２０とから構成される。また、図１５（Ｂ）に示す例では、良否判定結果データ１５５０は、判定画像１５６０と判定データ１５７０とから構成される。

【0044】

判定データは、「判定」、「欠陥クラス」、「欠陥の数」、「レベル」（Ａ～Ｃで分けたもの）から構成され、エコー情報に基づいて生成される。「欠陥の数」は、エコー情報が示す矩形の総数である。Ａ～Ｃで表される「レベル」は、矩形に関連付けられているレベルを矩形ごとにカウントした数値を示す。例えば、判定データ１５７０において「Ｂ」が１、「Ｃ」が１となっており、これは、後述する判定画像１５６０のようにレベルＢの矩形が１つあり、レベルＣの矩形が１つあることに基づいている。「欠陥クラス」は、カウントした「レベル」のうち、より高いレベルのもの（Ａが最も高くＣが最も低い）を示している。例えば、判定データ１５７０において、レベルの「Ｂ」及び「Ｃ」が１つずつあり、「Ｂ」の方が高いレベルなので「欠陥クラス」は「Ｂ」となっている。「欠陥の数」がゼロであれば「欠陥クラス」は「Ｃ」となる。「レベル」の決め方は、判定画像の生成に関連して説明する。

【0045】

「判定」は、「欠陥クラス」に基づいて決定される。例えば、「欠陥クラス」が「Ａ」であれば「ＮＧ」とする。一方、「欠陥クラス」が「Ｃ」であれば「ＯＫ」とする。「欠陥クラス」が「Ｂ」の場合には、「ＯＫ」または「ＮＧ」を任意に設定するようにしてもよい。例えば、図１５（Ｂ）に示す判定データ１５７０では、「欠陥クラス」が「Ｂ」であり「ＯＫ」又は「ＮＧ」を任意に設定できる。例えば、矩形の数が１であれば「ＯＫ」と判定し、「欠陥クラス」で「Ｂ」が２以上であれば「ＮＧ」と判定するようにすることができる。

【0046】

判定画像は、正規化画像にエコーを囲う色付きの矩形を追加した画像である。作業者等がこの判定画像を確認することにより、矩形の数や、矩形の色によりエコーの状況を視覚的にとらえやすくなる。

【0047】

判定画像は次のように生成する。まず、Ｓ４０６で実施した矩形算出処理で求めた各エコー領域に関する矩形の位置情報についてエコー情報を参照し、複数の矩形の重なりがあるかを確認する。また、Ｓ４０６においてブローホールの関係にあると判定されたエコー領域があるかを確認する。いずれかの関係にあるとき、まず、矩形を修正する矩形修正処理が行われる。いずれかの関係が無いときは、エコー情報においてエコー領域に関連付けられている矩形がそのまま用いられる。

【0048】

図１２は、ブローホールの関係にあると判定されたエコー領域がある場合の矩形修正処理を説明するための図である。図１２に示すエコー領域は説明のためにエコー領域の輪郭を線で表している。

【0049】

例えば、図１２（Ａ）に示すエコー領域１０１１及びエコー領域１０１５を用いて説明する。Ｓ４０６で実施した矩形算出処理により、エコー領域１０１１については矩形１２０１が求められており、エコー領域１０１５については矩形１２０２が求められているものとする（図１２（Ｂ））。ここで、Ｓ４０６において、エコー領域１０１１及びエコー領域１０１５はブローホールの関係にあると判定されているものとする。その場合、図１２（Ｃ）に示すように、エコー領域１０１１及びエコー領域１０１５を囲う矩形１２０３が求められる。このように、ブローホールの関係にあると判定されたエコー領域については一つの矩形に修正される。

【0050】

次に、矩形の重なりがある場合の矩形修正処理について、図１３を用いて説明する。図１３（Ａ）は合成画像の一例を示すもので、合成画像１３００は、エコー領域１３１０～１３１２を含む。なお、合成画像は白色又は黒色からなる二値画像であるが、説明のため図１３ではエコー領域の輪郭を線分で表している。

【0051】

図１３（Ｂ）は、エコー領域１３１１及びエコー領域１３１２について、矩形算出処理により矩形を求めた様子を説明するものであり、エコー領域１３１１については矩形１３２０が求められており、エコー領域１３１２については矩形１３２１が求められている。ここで、矩形１３２０と矩形１３２１とが重なっているため、矩形修正処理が行われる。その結果、図１３（Ｃ）に示すように、エコー領域１３１１及びエコー領域１３１２を囲む矩形１３２３のように修正する。なお、エコー領域１３１０については矩形１３２２が求められているが、重なりがないので矩形修正処理により修正されない。

【0052】

このように１つの矩形に修正される場合は、エコー情報も修正される。すなわち、エコー情報において、エコー領域に関して別々の矩形に関する情報が関連付けられていたものが同一の矩形に関する情報が関連付けられるようにして書き換えられる。

【0053】

次に、エコー情報の矩形の情報を参照して、その矩形内にあるエコー領域の各画素について正規化画像の対応する画素のＨ成分を参照し、そのＨ成分のうちの最大の値を示したＨ成分の数値に基づいて矩形の色を決定する。なお、矩形修正処理により１つの矩形が複数のエコー領域と関連付けられている場合には、その矩形内にある全てのエコー領域の各画素について正規化画像の対応する画素のＨ成分を参照し、そのＨ成分のうちの最大の値を示したＨ成分の数値に基づいて矩形の色を決定する。矩形が修正されている場合は、その矩形内におけるエコー全てを一括りにしてＨ成分の最大値が決定される。

【0054】

具体的には、エコー情報を参照して矩形を１つ選択する。そして、その選択した矩形に関連付けられているエコー領域を参照する。関連付けられているエコー領域が１つであれば、そのエコー領域に対応する正規化画像の画素のＨ成分を参照する。そして、参照したＨ成分のうち最大のＨ成分を特定する。この最大のＨ成分の値に基づいて、選択した矩形の色付け処理を行う。例えば、色付けを３種類とした場合に、特定した最大のＨ成分の値に応じていずれかの種類の色を決定する。この３種類を「Ａ」、「Ｂ」、「Ｃ」のようにレベルとして設定する。例えば、特定した最大のＨ成分の値が、より高い強度の範囲にあるときは「Ａ」とし、中程度の強度の範囲にあるときは「Ｂ」とし、より低い強度の範囲にあるときは「Ｃ」とする。このレベルと、選択した矩形とを関連付けてエコー情報として記憶する。

【0055】

例えば、エコー情報を参照して１つの矩形を選択したのち、正規化画像において、合成画像のエコー領域に相当する正規化画像の画素のＨ成分を参照し、強いエコー強度である「赤色」や「橙色」に相当するＨ成分を有する画素があれば、その矩形を「Ａ」に設定する。あるいは、最大のＨ成分を示す画素が中程度のエコー強度である「黄色」に相当するものであれば、その矩形を「Ｂ」に設定する。あるいは、最大のＨ成分を示す画素が比較的に弱いエコー強度である「緑色」に相当するものであれば、その矩形を「Ｃ」に設定する。このように、全ての矩形について、Ａ～Ｃのうちのいずれかのレベルを定めて、エコー情報において、この定めたレベルを関連付けるようにして情報を追加する。

【0056】

次に、エコー情報を参照して、矩形を１つ選択し、その矩形に関連付けられている位置とレベルを参照する。そして、正規化画像上に、参照により取得した矩形の位置と同じ位置に色付きの矩形を追加した判定画像を生成する。色はエコー情報に関連付けられているレベルに従う。例えば、参照したレベルが「Ａ」であれば赤色、「Ｂ」であれば黄色、「Ｃ」であれば緑色とする。

【0057】

図１４に判定画像の一例を示す。判定画像１４００には、エコーを取り囲む２つの矩形（矩形１４１０及び１４２０）が描画されている。図１４に示す判定画像１４００の例では、矩形１４１０はレベル「Ｃ」なので緑色の矩形であり、矩形１４２０はレベル「Ｂ」なので黄色の矩形である。

【0058】

なお、欠陥クラスを「Ｃ」と判定した場合であっても、溶接部において不良となっている場合がある。例えば、溶接部において割れが発生している場合、図１６に示すような超音波探傷画像１６００が得られる。超音波探傷画像１６００のようにやや太めの青色のエコーが無数に並んでいるが、Ｓ４０３で作成する方法でエコー抽出画像を生成しても弱いエコーとして扱われ、エコー領域として特定できないことがある。

【0059】

そこで、Ｓ４０７において、欠陥クラスが「Ｃ」と判定された判定画像については、その元となる正規化画像における各画素の色相に基づいた動的閾値処理を行って二値化画像を生成し、その二値化画像に関し所定のパターンを示したものについては欠陥クラスを「Ａ」とするようにして欠陥クラスの変更を行うような追加の画像処理を実施してより精度を高めることもできる。この場合、判定データの欠陥クラスを「Ｃ」から「Ａ」に変更する。

【0060】

以上の説明のように、図４に示す画像判定処理により最終的に図１５に示すような良否判定結果データが生成される。作業者は、良否判定結果データの判定画像や判定データを確認することにより、超音波探傷画像のみで判断するよりも見落としや判断ミスを防ぐことができる。

【0061】

なお、本願発明の実施形態では図１に示すように画像判定処理のフローを解析装置３０によって実施する例を説明しているが、検査装置１０に画像判定処理を実行させるようにしてもよい。

【0062】

以上、本願発明に係る実施形態を用いて、超音波探傷画像から、ノイズがあってもオブジェクトであるエコーを特定できる方法を説明した。超音波探傷画像はエコーの強度に応じた色を表示しているが、例えばそのように強度に応じて色分けしているものとしてはサーモグラフィーによる画像がある。本願発明は、このようなサーモグラフィーによる画像に適用して、ノイズが多い環境下での画像であってもオブジェクトを適切に抽出することができる。

【符号の説明】

【0063】

１０ 検査装置
１１ 表示部
１２ 制御部
２０ プローブ
３０ 解析装置
２００、２１０ 母材
２２０、３１０ 溶接部
２３０ ブローホール
３００ 超音波探触子
３２０、１６０００ 超音波探傷画像
５００ 処理領域
５１０ 処理対象画像
５２０ 正規化画像
６００ エコー抽出画像
７００ 背景画像
８００、９００、１０００、１３００ 合成画像
９０１～９０５ エコー領域
１０１１～１０１５ エコー領域
１３１０～１３１２ エコー領域
１０３１～１０３５ 中心
１０２１ 矩形
１２０１～１２０３ 矩形
１３２０～１３２３ 矩形
１４１０、１４２０ 矩形
１４００、１５１０、１５６０ 判定画像
１５００，１５５０ 良否判定結果データ
１５２０、１５７０ 判定データ

【要約】

【課題】超音波探傷画像について溶接部の良否判定を行う画像判定方法を提供する。
【解決手段】超音波探傷画像においてエコーを特定し、エコーの状態を判別して溶接部の良否判定を行う。より具体的には本願発明に係る画像判定方法は、画像からオブジェクトを特定するステップと、前記特定したオブジェクトの特徴に基づいて、前記特定したオブジェクトのレベルを決定するステップと、前記レベルに基づいて、前記画像について良否判定するステップと、前記良否判定の結果を出力するステップと、を備える。
【選択図】図４

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】