特開2021-149222(P2021-149222A)IP Force 特許公報掲載プロジェクト 2015.5.11 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 国立大学法人富山大学の特許一覧
特開2021-149222グレイン境界を抽出するための画像処理の方法及び装置
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】特開2021-149222(P2021-149222A)
(43)【公開日】2021年9月27日
(54)【発明の名称】グレイン境界を抽出するための画像処理の方法及び装置
(51)【国際特許分類】
   G06T 7/12 20170101AFI20210830BHJP
   G06T 7/00 20170101ALI20210830BHJP
【FI】
   G06T7/12
   G06T7/00 350C
   G06T7/00 610A
【審査請求】未請求
【請求項の数】7
【出願形態】OL
【全頁数】19
(21)【出願番号】特願2020-45865(P2020-45865)
(22)【出願日】2020年3月16日
(71)【出願人】
【識別番号】305060567
【氏名又は名称】国立大学法人富山大学
(71)【出願人】
【識別番号】504176911
【氏名又は名称】国立大学法人大阪大学
(74)【代理人】
【識別番号】100121382
【弁理士】
【氏名又は名称】山下 託嗣
(74)【代理人】
【識別番号】100124707
【弁理士】
【氏名又は名称】夫 世進
(72)【発明者】
【氏名】溝部 浩志郎
(72)【発明者】
【氏名】中根 和昭
(72)【発明者】
【氏名】木田 勝之
【テーマコード(参考)】
5L096
【Fターム(参考)】
5L096AA06
5L096BA03
5L096BA18
5L096CA02
5L096CA18
5L096DA01
5L096EA05
5L096EA06
5L096EA33
5L096EA39
5L096EA43
5L096FA06
5L096FA12
5L096FA32
5L096FA35
5L096FA59
5L096FA64
5L096FA65
5L096FA67
5L096GA34
5L096GA51
5L096GA53
5L096HA11
5L096JA11
5L096KA04
(57)【要約】
【課題】金属結晶粒界などのグレイン(grain)の境界を、エッチングした金属材料の表面などを撮影した画像から効率よく抽出するための画像処理の方法及び装置を提供する。
【解決手段】反応拡散方程式を用いて二値化を行う第1の画像処理の後、ユークリッド距離マップ(Euclidean Distance Map)及びウォーターシェッド(watershed)の処理を施すことにより、グレイン(grain)間の境界線を谷筋とした場合の、尾根筋(おねすじ)、頂点、または、地形の等高線を示す、第1のテッセレーション画像を生成し、再度の同様の操作により、この尾根筋などから推定される谷筋としての、グレイン間の境界線を示す、第2のテッセレーション画像を生成する。そして、第1の画像処理により得られた画像(図1の細線)と、第2のテッセレーション画像(図1の太線)とを重ねさわせた画像に基づき、一部のグレインについて再分割もしくは境界線の修正、または、第二相グレインの検出を行う。
【選択図】図1
【特許請求の範囲】
【請求項1】
試料の表面を撮影した画像について、時間的に解の状態が変化する反応拡散方程式を用いて、画像面に沿った少なくとも一の方向の一ライン上にある輝度値のデータ列の集合を自動判定すると共に、前記集合における閾値パラメータに基づく方向要素を持たせた二値化を行う第1の画像処理と、
前記第1の画像処理により得られた画像に、ユークリッド距離マップ(Euclidean Distance Map)及びウォーターシェッド(watershed)の処理を施すことにより、グレイン(grain)間の境界線を谷筋とした場合の、尾根筋(おねすじ)、頂点、または、地形の等高線を示す、第1のテッセレーション画像を生成し、
この第1のテッセレーション画像に、再度、ユークリッド距離マップ(Euclidean Distance Map)及びウォーターシェッド(watershed)の処理を施すことにより、尾根筋(おねすじ)、頂点、または、地形の等高線から推定される谷筋としての、グレイン間の境界線を示す、第2のテッセレーション画像を生成する第2の画像処理とを含む画像処理方法。
【請求項2】
前記第1の画像処理により得られた画像と、前記第1の画像処理により得られた画像と、第2のテッセレーション画像とに基づいて、一部のグレインについての再分割もしくは境界線の修正、または、第二相グレインの検出を行う、請求項1に記載の画像処理方法。
【請求項3】
グレインのサイズまたは形状に基づいて、ヒストグラムを作成し、正規分布またはその他の所定の分布から外れるグレインを抽出することを含む、請求項2に記載の画像処理方法。
【請求項4】
グレインのサイズが過大であるか、または、グレインの真円度が小さいことにより、前記所定の分布から外れるグレインについて、前記第1の画像処理により得られた画像の特徴に基づいて判定した上で、分割を行うことを含む、請求項3に記載の画像処理方法。
【請求項5】
前記第1の画像処理により得られた画像に対して、予め縦横の格子状に消去処理を行うことで、破線化することを特徴とする請求項1〜4のいずれかに記載の画像処理方法。
【請求項6】
請求項1〜5のいずれかに記載の画像処理方法を実行するための画像処理装置であって、前記第1及び第2の画像処理を実現するための画像処理部と、これにより得られた処理画像に基づいて、粗大グレインまたは第二相グレインを抽出する、外れグレイン抽出部と、粗大グレインの再分割、または、第二相グレインに関連した処理を行う、外れグレイン処理部とを備える画像処理装置。
【請求項7】
請求項6の画像処理装置を用いて、試行に基づき設定した画像処理のためのパラメータと、撮影画像またはその特性と、得られた画像処理についての評価結果についての情報とを格納するデータ格納部をさらに含み、データ格納部に蓄積されたデータを教師データとしてディープラーニングを行うことにより、撮影画像またはその特性に応じて画像処理のためのパラメータを決定するための学習済みモデルを構築し、アップデートするための機械学習装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、金属結晶粒界などのグレイン(grain)の境界を、エッチングした金属材料の表面などを撮影した画像、薄膜のTEM(透過電子顕微鏡)画像、EBSD(電子線後方散乱回折)パターンのデジタル画像などから抽出するための画像処理の方法及び装置に関する。特には、グレイン境界が不鮮明で途切れている画像から、連なったグレイン境界を推定して求めるための方法及び装置に関する。
【背景技術】
【0002】
金属結晶の組織構造は、金属材料の強度や耐久性に関連しており、鋼や合金鋼、アルミニウム合金など、各種金属の組織構造は、焼き入れや焼きなまし、圧延やキャスティングの条件などによって、また、金属材料中の微量元素の組成・含量などによって変化する。そのため製品や工程の管理上、組織構造を観察し解析することが必要である。
【0003】
一般に金属組織を観察する際には、金属材料サンプルに機械的または化学的な研磨が行われている。特には、様々な種類の酸を用い、金属組織に含まれる相によって腐食速度が異なることを利用したエッチングによる表面処理が行われている。
【0004】
従来一般的に行われていた観察方法は、このようにエッチングを施した金属サンプルの表面に対して、顕微鏡観察を行って結晶粒を計数することを前提とした規格として設計されている。したがって、これまで規定されてきた方法(例えば鋼−結晶粒度の顕微鏡試験方法 JISG05512013)では、図中に線を引きその交点を数える方法(切片法)や、既存の標準的な結晶粒度の図との比較法(結晶粒度標準図プレートとの比較)などが行われてきた。
【0005】
また、画像処理を用いる方法であっても、これまで行われてきた計数方法は全自動ではなく、半自動化されたものが多い。例えば、株式会社イノテックの「フェライト・オーステナイト結晶粒度計測ソフト」(http://www.inotech.co.jp/product/QuickGrain/G0552.html)では、結晶粒界が十分に明瞭であり、かつ他の組織(クロム炭化物など)が混入しない場合に、輝度の二値化によって結晶粒界を抽出し、所定の円との交点をカウントするものであった。それができない場合には、交点を観察者がクリックすることで半自動カウントを行うものである。
【0006】
しかし、結晶粒界評価法を自動化する上で、これまで金属組織を評価するために行われてきた方法には、下記の(1)〜(2)などの問題がある。
【0007】
(1) 二値化のみでは、狙いの結晶粒界のみを抽出することが難しい。
顕微鏡画像(カラー画像)に、狙いの結晶粒界だけではなく、他の組織やエッチングの濃淡、混入物などが含まれる場合、二値化のみにより、結晶粒界のみを抽出した画像(モノクロ、ベクター画像)を得るのは、一般に難しい。ここで言う二値化とは、画像を黒と白の二種類の領域に判別する作業を示す。例えば、後述の図23〜24に示す例では、エッチングの濃淡によって現出された濃い領域や、クロム炭化物も黒いビットとして認識されている。
【0008】
(2) 自動で抽出した粒界が途切れているため、自動で粒としての計数処理ができない。
一般に画像処理ソフトが粒をカウントするためには、画像が完全に囲まれた輪になっているものしかカウントしない。そのため、完璧なエッチング条件下では複数の細かな粒になっているべき結晶粒が、不十分なエッチングによって粒界が描画できなかったことによって単一の大きな粒として認識されることで、本来示すべき結晶組織の特性を十分に示せないことがある。
【0009】
人間が描画する際には、微妙につながっていない結晶粒でもそれがコンタミや不十分なエッチングによるものであるとして観察者の予測により結晶粒を一つの輪としてつなぐことにより本来示すべき結晶組織の特性を十分示すことができるが、この技術は観察者によって伸ばす/伸ばさないが決定される、観察者依存の技術であるため、観察結果が観察者によって異なることがある。
【0010】
本件発明者のうちの一人は、反応拡散方程式を用いて、毛細血管を撮影した画像から毛細血管を示す二値化(binary)パターンを取得するための研究を行って来た(特許文献1及び非特許文献2)。また、本件発明者らは、金属表面を撮影した画像から、反応拡散方程式、及び、ボロノイ分割を用いて、金属結晶粒界を示す二値化パターンを得るための研究を行って来た(非特許文献1)。
【先行技術文献】
【特許文献】
【0011】
【特許文献1】特開2016-202442(特許6551729)
【非特許文献】
【0012】
【非特許文献1】K. Mizobe, K. Kida, K. Nakane,“Development of the Pre-Processing Method for Grain Analysis Evaluation Based on the Reaction Diffusion and Voronoi Tessellation”, in: Frontiers of Manufacturing Science and Measuring Technology V, 2015, pp.798-804.
【非特許文献2】H. Mahara, K. Mizobe, K. Kida, K. Nakane,“Image analyzing method to detect vague boundaries by using reaction-diffusion system”, Applied Numerical Mathematics 114 (2017) 124-131.
【発明の概要】
【発明が解決しようとする課題】
【0013】
試料を撮影した画像から、金属結晶粒界などのグレイン(grain)の境界を抽出するための画像処理の方法及び装置を提供する。特には、エッチングを施した金属表面の撮影画像であって、結晶組織の結晶粒界が不鮮明で境界線が途切れているものから、完全に連なった結晶粒界を抽出することのできる画像処理の方法及び装置を提供する。
【課題を解決するための手段】
【0014】
好ましい一実施形態において、画像処理の方法は、下記(i)〜(iv)をこの順で含む。
(i) 試料の表面を撮影した画像について、時間的に解の状態が変化する反応拡散方程式を用いて、画像面に沿った少なくとも一の方向の一ライン上にある輝度値のデータ列の集合を自動判定すると共に、前記集合における閾値パラメータに基づく方向要素を持たせた二値化を行う。
(ii) パーティクルを除去する。
(iii) グレイン(grain)間の境界線が途切れている画像に、ユークリッド距離マップ(Euclidean Distance Map)及びウォーターシェッド(watershed)の処理を施すことにより、グレイン(grain)間の途切れた境界線を谷筋とした場合の、尾根筋(おねすじ)、頂点、または、地形の等高線を示す、第1のテッセレーション(tessellation)画像を生成する。
(iv) 第1のテッセレーション(tessellation)画像に、再度、ユークリッド距離マップ(Euclidean Distance Map)及びウォーターシェッド(watershed)の処理を施すことにより、尾根筋(おねすじ)、頂点、または、地形の等高線から推定される谷筋としての、グレイン(grain)間の境界線を示す、第2のテッセレーション(tessellation)画像を生成する。
【0015】
好ましい一実施形態において、画像処理の方法は、下記(v)〜(x)の少なくとも一つを含む。
(v) 試料を撮影した画像、または、上記(i)または(ii)により得られた二値化画像に対して、白線グリッドをオーバーライド(直交格子状に消去処理)しておく。
(vi) 上記(i)または(ii)により得られた、境界線が途切れている画像と、第2のテッセレーション(tessellation)画像とに基づき、一部のグレインについて、再分割、または、境界線の修正を行う。
(vii) 上記(i)または(ii)により得られた、境界線が途切れている画像と、第2のテッセレーション(tessellation)画像とを重ね合わせた場合に、第2のテッセレーション(tessellation)画像に含まれる一のグレイン中に、境界線が途切れている画像中に含まれる未連結の線が、ひげ状に突き出しているならば、グレインのサイズまたは形状、または、未連結のひげ状の線に基づく判定にしたがい、未連結のひげ状の線から延長線を引くことで、前記一のグレインを分割する。
(viii) 第2のテッセレーション(tessellation)画像に含まれる個々のグレインについて、面積、長径、短径、アスペクト比、及び、真円度の少なくとも一つに基づくヒストグラムを作成し、このヒストグラムにて、正規分布、または推定されるその他の所定の分布から外れるグレインを抽出する。特に、この際、グレインサイズ(面積、長径、短径、アスペクト比)や真円度についての分布を所定の分布と比較することで、そのグレインが特異な粗大グレインや、対象のグレインとは異なる第二相グレインであるかどうかについて、判定を行う。
(ix) 上記(viii)により、面積、長径、短径、及びアスペクト比の少なくとも一つが所定の基準を超えるか、及び/または、真円度が所定の基準を下回ることにより、所定の分布から外れると判定されたグレインについて、上記(vii)の分割を行う。
(x) 上記(ix)により、面積、長径、短径、及びアスペクト比の少なくとも一つが所定の基準を下回るか、及び/または、真円度が所定の基準を超えることにより、所定の分布から外れると判定されたグレインについて、別途の種類のグレインが混入したものとして、他のグレインから分離して特定する。
【図面の簡単な説明】
【0016】
図1】試料を撮影した画像から、第1の画像処理を施すことで得られた未連結境界線画像(細線;図6)と、この未連結境界線画像に、一連の処理からなる第2の画像処理を施すことで得られた連結済み境界線画像(太線;図11)とを重ね合わせて得られた、分割・修正処理用の重ね合わせ画像である。
図2図1の重ね合わせ画像に基づき、所定の基準に基づき、一部のグレインを分割した様子を示す
図3】画像処理の対象となった、顕微鏡撮影画像である。
図4図3の画像を下敷きに旧オーステナイト粒界のみを観察者が自らの目で判別し、透写した画像である。
図5図3の撮影画像について、縦横方向に反応拡散方程式を用いた画像処理を施すことにより得られた画像である。
図6図5の画像から、パーティクルを除去して得られた未連結境界線の画像である。
図7図6の未連結境界線画像に対して、第1のテッセレーションを行い、生成された境界線が全て連結されるようにした線画像である。
図8図6の未連結境界線画像に対して、第1のテッセレーションを行い、主たる尾根筋が、ばらばらに分離された形態の線画像である。
図9】ランダムに描いた曲線パターンを破線化したものを示す。
図10図9に対して、第1のテッセレーションを行うことで得られた画像を示す。
図11図8の線画像に第2のテッセレーションを行うことで得られた連結境界線画像である。
図12図11の画像中のグレインから、画像の縁に位置するもの(閉じた形となっていないもの)を除き、境界線の全体が現れたグレインについて、変換して得た実面積を対数化したものの度数分布を示したヒストグラムである。
図13図12中に境界線の全体が現れたグレインについて、個々にユニークナンバーを付けたものを示す。
図14】特定された粗大グレイン(図13中のユニークナンバー11, 76, 80及び87)について、特には、図1に示す重ね合わせ画像に基づいて、適宜に分割処理を施した後の状態を示す。
図15図3と同様に、SUJ2鋼の形材の表面にピクラールエッチングを行ったエッチング面の撮影画像であり、大きな結晶粒と小さな結晶粒が混粒している金属組織を示す。
図16】第1〜2の画像処理により図15の画像から得られた連結境界画像にて、各結晶粒に対してユニークナンバーを付与した図である。
図17図16に基づき、変換して得た実面積を対数化したものの度数分布を示すヒストグラムである。
図18図3及び15と同様に、SUJ2鋼の形材の表面にピクラールエッチングを行ったエッチング面の撮影画像である。
図19図18の画像に上述の第1の画像処理を行うことにより得られた、図6と同様の未連結境界線画像を示す。
図20】所定の線幅及びグリッド幅を有する直交格子状の「白線グリッド」により、これに重なる箇所の黒ビットを全て白ビットに変換することで得られた破線状の画像を示す。
図21図20の破線状の画像に対して、上述の第2の画像処理を行うことにより得られた画像を示す。
図22】一実施形態の画像処理装置のブロック図である。
図23図3の撮影画像について、比較例の二値化を行った示す画像である。
図24図23の画像から、ある条件を満たす黒いビットのみを除外する処理を行った結果を示す。
【発明を実施するための形態】
【0017】
本発明の好ましい一実施形態について、図1〜15を参照しつつ説明する。
【0018】
図1は、試料を撮影した画像から、第1の画像処理を施すことで得られた未連結境界線画像(細線)と、この未連結境界線画像に、一連の処理からなる第2の画像処理を施すことで得られた連結済み境界線画像(太線)とを重ね合わせて得られた、分割・修正処理用の重ね合わせ画像を示す。図2は、図1の重ね合わせ画像に基づき、所定の基準に基づき、一部のグレインを分割した様子を示す。これらの画像処理の詳細について、以下に説明する。
【0019】
図3には、画像処理の対象となった、顕微鏡撮影画像を示す。これは、金属試料の表面にエッチング(ピクラールエッチング)を施すことで、クロム炭化物と旧オーステナイト粒界が現出された画像である。ここではSUJ2鋼を用いた。このSUJ2鋼の形材(SUJ2 bar)における純鉄(Fe)以外の添加元素の化学組成(重量%、N, Oのみ重量ppm)は、次のとおりである。 0.99C, 1.41Cr, 0.39Mn, 0.20Si, 0.1Cu, 0.011Al, 0.03Mo, 0.014P, 0.1Ni, 0.001S, 32N and 25O (N, O: ppm)。
【0020】
図4には、図3の画像を下敷きに旧オーステナイト粒界のみを観察者が自らの目で判別し、透写した画像を示す。図3では旧オーステナイト粒のみではなく、クロム炭化物等もエッチングによって現出されていたが、熟練した観察者が判別することで、図4のように、結晶粒界を概ね判別することができる。これら図3〜4は、非特許文献1の図2〜3にそれぞれ同一であり、非特許文献2の図4(a)〜(b)とも、それぞれ同一である。
【0021】
図5には、図3の撮影画像について、縦横方向に反応拡散方程式を用いた画像処理を施すことにより得られた画像を示す。この図5の画像から、粒界以外の要素を取り除くために、所定の閾値よりも小さな黒点であるパーティクルを除去すると、図6の未連結境界線の画像が得られる。
【0022】
<第1の画像処理(反応拡散方程式+パーティクル除去)>
本実施形態において、第1の画像処理は、特許文献1と同様に、縦横方向に反応拡散方程式を用いた画像処理を施し、この後、これにより得られた画像から、パーティクルを除去することで行うことができる。
【0023】
1)反応拡散方程式を用いた画像処理
反応拡散方程式とは、最も単純な形式では、下記のとおりである。
∂u/∂t = Δu + f(u)
ここで、Δuが拡散項であり、f(u)が反応項である。
【0024】
具体的には、上記の非特許文献1〜2に記載したように、フィッツヒュー南雲式(FitzHugh-Nagumo equation)により、微小領域ごとに、二値化のための閾値を設定することができる。
∂a/∂t = Da∇2a (1)
a0 = 0.15 + 0.2(I - Imin) / (Imax - Imin) (2)
∂u/∂t = 1/ε×[u(1 - u)(u - a) - v] + Du∇2u (3)
∂v/∂t = u - bv + Dv∇2v (4)
u0 = 0.15 + (C - 0.15)×(I - Imin)/(Imax - Imin) (5)
【0025】
上記の式で、次のとおりである。
Da:拡散係数、 a:上記(3)及び(4)のフィッツヒュー南雲式を解くための閾値、
a0:aの初期値、 Imax及びImin:画素の明度値の最大及び最小、
ε:正の小さな定数(0 < ε << 1)、 b:空間的に均一な正の定数、
Du及びDv:変数u及びvの拡散係数、 u0:uの初期値。
なお、vの初期値について、均一に、v = 0とした。
【0026】
反応拡散方程式は、一具体例において、上記特許文献1と同様に設定することができる。すなわち、縦方向や横方向の方向要素を持たせた二値化について、局所ごとに、下記の方程式にしたがって行うことができる。

【0027】
なお、本具体例の上記の式において、ε、b、c、dはいずれも定数パラメータ、Du、Dvは拡散パラメータであり、またaはそれ以前の計算処理の結果により変動する変数パラメータ(閾値パラメータ)である。
【0028】
以下に、さらに説明する。
【0029】
本実施形態における、反応拡散方程式による二値化とは、特許文献1(特開2016-202442)中にも説明されているとおり、撮影した顕微鏡画像について、時間的に解の状態が変化する反応拡散方程式を用いて、前記拡大画像の輝度の局所的状態を自動判定すると共に局所的閾値パラメータに基づく方向要素を持たせた二値化であり、これによって金属組織の形態を鮮明化する方法である。
【0030】
本実施形態においては、縦方向V(垂直方向)や横方向(水平方向)Sにおける輝度の変化を関数化(グラフ化)するにあたり、縦軸(Y)を輝度、横軸(X)を画像上の座標として、任意に決められるAおよびB域の値を、例えば8ビット、グレースケールの場合の最大値(A=255)と最小値(B=0)と考えて、前記反応拡散方程式を用いて時間的変化を伴う計算を行う。すなわち、前記A・B域にそれぞれデータを近づける反応関数によって、最終的に示すような判定に適した平準化を行うのである。そして、前記A・B域が白と黒を示す輝度であれば、前記処理によって二値化が行われることになる。この際、輝度グラフにおける最大値と最小値の差の平均値を算出する等の処理によって得た局所的に異なる閾値パラメータを用いて、下記の特許文献1の図3に示す、傾斜Iを有する直線SLに基づく二値化を、高精度に実施することができる。
【0031】
特許文献1の図3
【0032】
以上の方法により、本実施形態による二値化では、エッチングの濃淡による局所的な黒いビットの現出を抑えることができ、画像全体を平滑に二値化することができる。更にこの方法による二値化を行うことで、観察の際に混入したゴミやエッチングのかすれなどの結晶粒界とは明瞭に異なるノイズを除去できる。さらに、クロム炭化物などの二次的な相であり、結晶粒界について注目した場合には除去すべき小さなクロム炭化物に由来する黒いビットのみを消去することが可能となる。具体的には10pixel以下の連結されたビットを消去するなどの方法で、必要十分な数のクロム炭化物(ノイズ)を消去することができる。
【0033】
2)パーティクルの除去
本実施形態における第1の画像処理におけるパーティクルの除去は、例えば、上記の反応拡散方程式による処理により得られた未連結境界線画像における、境界線の幅の1〜3倍の所定の値よりも、縦横(X方向及びY方向)のいずれも小さいサイズである粒子状部分を除去することにより行うことができる。
【0034】
<第2の画像処理(「二重のボロノイテッセレーション」)>
本実施形態における第2の画像処理は、好ましい一具体例において、下記1)〜5)のように行うことができる。なお、図示の具体例では、パブリックドメインの画像処理ソフトウェアである「ImageJ」(Wayne Rasband (NIH))を用い、ステップごとに、詳細に最適な条件を設定することにより画像処理を行った。
【0035】
3)第1のテッセレーション
上記の第1の画像処理により得られた、図6の未連結境界線画像に対して、ユークリッド距離マップ(Euclidean Distance Map;EDM)及びウォーターシェッド(watershed)の処理を施すことにより、グレイン(grain)間の途切れた境界線を谷筋とした場合の、尾根筋(おねすじ)、頂点、または、地形の等高線を示す、第1のテッセレーション(tessellation)画像を生成する。ユークリッド距離マップは、未連結の境界線からの距離に基づき、地形図の高度レベルに相当する輝度レベルを表した輝度分布の画像に変換する処理とすることができる。そして、この輝度分布の画像にウォーターシェッド(watershed)の処理を行うことにより、尾根筋、頂点、または、特定のレベルの等高線(輝度が等レベルにある線)を抽出することができる。
【0036】
このように得られた画像(第1のテッセレーション画像)の例を、図7及び8に示す。図7は、主たる尾根筋同士が全て連結された形の、グレイン境界線のような形態の線画像である。また、図8は、主たる尾根筋が、ばらばらに分離された形態の線画像である。図8は、所定の高度レベル(実際には輝度レベル)以上の主たる尾根筋のみを抽出するように、二値化処理を行ったものである。
【0037】
第1のテッセレーションについて、図9〜10を用いて、さらに説明する。図9は、ランダムに描いた曲線パターンを破線化したものを示す。そして、図10には、図9に対して、第1のテッセレーションを行うことで得られた画像を示す。ここで得られた模式的な第1のテッセレーション画像は、主たる尾根筋(「主尾根」と呼ぶことにする)のみならず、この主尾根から枝状に延びる数多くの尾根筋(「支尾根」と呼ぶことにする)を含んでいる。このように枝状の支尾根を適度に含む第1のテッセレーション画像を用いることにより、後述の第2のテッセレーションの効率及び精度を向上させることも可能である。
【0038】
本実施形態における第1のテッセレーションは、基本的には「ImageJ」における「ボロノイ分割」(voronoi tessellation)を用い、上記のような第1のテッセレーション画像が得られるように、適宜に試行錯誤を行いつつ、条件を最適化することで行うことができる。
【0039】
一具体例においては、元画像に対してユークリッド距離マップ(EDM)を計算し、そのマップを反転させた後に最大輝度探索を行ってから、特定された最大輝度(画像によっては一つのグレイン中に複数ある)を起点にウォーターシェッド(watershed)コマンドを実行することで、境界線を残すようにする。違う言い方をすると、ユークリッド距離マップの輝度最大値ピクセル、つまり反応拡散方程式による二値化によって得られた画像の境界線ピクセルを起点に、四方に最大輝度ピクセルを膨張させ、接触した地点で境界線を引く作業と同一である。
【0040】
ユークリッド距離マップ(EDM)の算出のためのアルゴリズムとしては、The EDM algorithm is similar to the 8SSEDT in F. Leymarie, M. D. Levine, in: CVGIP Image Understanding, vol. 55 (1992), pp 84-94 (http://dx.doi.org/10.1016/1049-9660(92)90008-Q)を使用可能である。なお、最大値探索のためには、適宜に、「ImageJ」における「Find Maxima」を実行することができる。また、ウォーターシェッド(watershed)は、輝度最大ピクセルからダイレーション(Dilate, 黒い物体の首位にピクセルを加える)を行っていく作業であるといえる。膨張が進むと最終的に接触した地点で境界線を引くことになる。
【0041】
4)第2のテッセレーション
図8に示すような第1のテッセレーション画像に対して、さらに同様のユークリッド距離マップ(Euclidean Distance Map)及びウォーターシェッド(watershed)の処理を施すことにより、第2のテッセレーション画像を得ることができる。すなわち、上述した第1のテッセレーションと同様の処理を再度行うことにより、第2のテッセレーション画像を得ることができる。図11には、その例を示す。第2のテッセレーションの際には、図7の画像を得る際の第1のテッセレーションと同様に、境界線を全て連結させるように処理条件を設定した。
【0042】
<第3の画像処理(粗大グレインの抽出及び再分割)>
5)粗大グレインの抽出
図11に示すような第2のテッセレーション画像に含まれる個々のグレインについて、面積、長径、短径、アスペクト比、及び、真円度のうちの少なくとも一つの基準に基づくヒストグラムを作成し、このヒストグラムにて、対数正規分布またはその他の所定の分布から外れるグレインを抽出する。この際には、例えば、対数正規分布などからの外れる度合いを数値化した上で、所定の基準に基づき、そのグレインが特異な粗大グレインであるかどうかの判別を行うことができる。
【0043】
図12には、図11の画像中のグレインから、画像の縁に位置するもの(閉じた形となっていないもの)を除き、境界線の全体が現れたグレインについて、面積順に作成したヒストグラムを示す。ここで、横軸のデータ区間(0、0.5、1、1.5、2…)は、面積の対数を取って、大きい順から、対数値にて等幅となるように適宜に設定したものである。図12のヒストグラムから知られるように、対数正規分布からはずれる粗大グレインが、0.5〜1.5の3つのデータ区間中に存在している。
【0044】
図13には、図12中に境界線の全体が現れたグレインについて、個々にユニークナンバーを付けたものを示す。このように番号付けしたものを、図12のヒストグラムの作成に用いた。ここで、粗大グレインと判定されたものは、ユニークナンバー11, 76, 80及び87の4つのグレインである。
【0045】
図2には、図1の重ね合わせ画像中にて、粗大グレイン(図13中のユニークナンバー11, 76, 80及び87)の領域を黒塗りとしたものを示す。
【0046】
この粗大グレインの抽出、及びこれまでの処理の流れについて、下記に、再度整理して説明する。
【0047】
上述の要点を整理すると、図3に示す、エッチングにより現出させた旧オーステナイト粒界を、図5に示すように、反応拡散方程式により二値化し、さらに、図6に示すように、パーティクル除去を行った(第1の画像処理)。このようにして得られた未連結境界線画像について、上述の第2の画像処理(「二重ボロノイテッセレーション」)を行うことで、図11に示す連結境界線画像が得られた。これまで説明してきた通り、おおむね結晶粒界を線化できた。
【0048】
しかし、図6図11を比較すると、図11の粗大な結晶粒の中には二重ボロノイテッセレーションによっても十分に分割できない大きな未分割領域を含んでいる部分があった。図1に、図6図11とを合成した画像を示す。特に未分割領域では、十分に分割できなかった、名残のひげのような線が残っていた。本実施形態では、この未分割領域中について、その面積を対数正規分布と比較し、かつ未接続のひげが存在することに注目する方法、及び新たに適切な再分割を行う方法の二つを組み合わせた。
【0049】
図13には、図11から生成した各分割領域に対してユニークナンバーを付与した画像を示す。ここで、顕微鏡視野周辺に関連する分割領域は除いた。また、同時に結晶粒分割領域の面積をカウントし、それぞれのユニークナンバーと紐づけた。図12に、図11から生成した結晶粒面積についてのヒストグラムを示す。縦軸は頻度、横軸は各結晶粒面積の対数を取った値を示す。この結晶粒分布は、対数正規分布とおおむね一致した。しかし、粗大な結晶粒では対数正規分布と一致しない部分がある。例えば、対数正規分布上で中央値から大きく外れていた、ユニークナンバー11, 76, 80, 87では、対数正規分布と一致しなかった。また、これらの未分割結晶粒(粗大グレイン)の内部には未接続のひげが存在した。本実施形態では、この未分割領域をピックアップすることが革新的な一つ目のポイントである。本実施形態では、未分割な結晶粒の特定を対数正規分布からの逸脱から特定したが、他にも結晶粒の真円度(4π ×(面積)/(周長の2乗))、結晶粒面積が最大のグループを人間が手動で決定するなど、金属組織に合わせた方法で決定してよい。
【0050】
図2では、未分割で未接続のひげが存在する粗大結晶粒の周囲を強調するために、この箇所について、白黒反転させた画像を示す。未分割な結晶粒には、二重ボロノイテッセレーションによって線化できなかった未接続のひげが残存している。本実施形態では、画面全体に均等に施される第1〜2の画像処理では十分に分割できなかった線について、未分割で未接続のひげが存在する粗大結晶粒のみに注目して再分割することにより、より適切な結晶粒を得ることができる。この再分割を行うことが革新的な二つ目のポイントである。
【0051】
6)粗大グレインの再分割
図14には、特定された粗大グレイン(図13中のユニークナンバー11, 76, 80及び87)について、特には、図1に示す重ね合わせ画像に基づいて、適宜に分割処理を施した後の状態を示す。図1の重ね合わせ画像は、図6の未連結境界線画像(第1の画像処理後;細線)と、図7の連結境界線画像(第2の画像処理後;太線)とを重ね合わせたものである。
【0052】
図14に示すように、未連結境界線画像中に含まれて、粗大グレイン中へと突き出すひげ状部分や、グレイン境界線が折り曲げられて、粗大グレイン内部に向かって凸となっている角部に基づいて、自動判定により、粗大グレインの分割を行う。なお、図13中にユニークナンバー80で示された粗大グレインについては、隅の小さい部分だけが、分割により切り分けられている。
【0053】
図14に示す画像は、具体的には、一種のウォーターシェド(watershed)の処理によって分割したものである。すなわち、最大輝度点を探索した後、その点から四方にピクセルを膨張させ、接触した地点で境界線を引く作業により分割した。この分割方法はwatershedだけではなく、グラフ理論を使用してひげの端点を探知してひげの長さを特定すると同時に、ひげの中からいくつかの点を選択してその平均の方向に延長し、結晶粒界と交わったところで止める、などの方法でも再分割することができる。
【0054】
図14に示すように、具体的な実施形態において、粗大であった結晶粒が分割され、適切な結晶粒サイズを得ることができたのである。なお、もしも、熟練した観察者が描いた図4の線図について、上記のひげ状部分の処理と同様の、未連結部分を連結する処理を行ったならば、図15に、かなり近いものになると思われる。
【0055】
次に、第1〜2の変形実施形態について、図15〜21を参照しつつ説明する。
【0056】
7)第二相グレーン(混粒)の分離−第1の変形実施形態
図15には、図3と同様に、SUJ2鋼の形材の表面にピクラールエッチングを行ったエッチング面の撮影画像であり、大きな結晶粒と小さな結晶粒が混粒している金属組織を示す。
【0057】
図16には、上記の第1〜2の画像処理により図15の画像から得られた、図7と同様の連結境界画像にて、各結晶粒に対してユニークナンバーを付与した図である。この図の生成の際、図16に示すように”Exclude on edges”コマンドにて、顕微鏡視野と接している粒界をすべて無視した。また、このグラフの生成の際、すべての結晶粒のサイズをpixelでカウントした。その後、この図が1024*768pixcelであると同時に顕微鏡視野が5.9×104μm2であることを利用して、各結晶粒の実際の面積を計算した。なお、図16中には、図17のヒストグラムに基づいて決定した第二相グレイン(混粒)について、黒塗りパターンにより示す。
【0058】
図17のヒストグラムは、変換して得た実面積を対数化したものの度数分布を示す。結晶粒面積の分布はおおむね二つピークを持つ対数正規分布となっており、混粒が明瞭に分離できた。
【0059】
以上のように、本実施形態によって結晶粒の特徴(面積など)を明瞭にカウントできるようにし、対数正規分布と比較することで材料組織全体の特徴を適切に評価することができる。
【0060】
8)白線グリッドのオーバーライド−第2の変形実施形態
本発明において、必須ではないものの、処理の効率及び精度を向上させるべく、図6の未連結境界線画像を、比較的均等な長さの破線に変換する処理を、第1のテッセレーションの前に行うことができる。すなわち、線幅及びグリッド幅が、均等であるか、または、局所的に、ある範囲で変化するように設定された直交格子状の「白線グリッド」を、図6の未連結境界線画像に重ね合わせて、重ね合わされた部分が消去されるようにすることができる。
【0061】
図18〜21を用いて、この第2の変形実施形態について、具体的に説明する。
【0062】
図18は、図3及び15と同様に、SUJ2鋼の形材の表面にピクラールエッチングを行ったエッチング面の撮影画像である。図19には、図18の画像に上述の第1の画像処理を行うことにより得られた、図6と同様の未連結境界線画像を示す。図20には、所定の線幅及びグリッド幅を有する直交格子状の「白線グリッド」により、これに重なる箇所の黒ビットを全て白ビットに変換することで得られた破線状の画像を示す。そして、図21には、図20の破線状の画像に対して、上述の第2の画像処理を行うことにより得られた画像を示す。
【0063】
このような一種の破線化によって、上述の第2の画像処理についての効率及び精度を高めることができる。但し、撮影画像の特性や、同一の撮影画像中でも、境界線の状態などによって、線幅及びグリッド幅を適宜に調整する必要があると考えられた。
【0064】
次に、図22を用いて、一実施形態の画像処理装置について説明する。
【0065】
図22のブロック図に示すように、本実施形態の画像処理装置は、(1) 第1及び第2の画像処理を行う画像処理部1と、(2) これにより得られた処理画像に基づいて、粗大グレインまたは第二相グレインを抽出する、外れグレイン抽出部2と、(3) これにより得られた判定結果、及び、第1及び第2の画像処理の結果に基づき、粗大グレインの再分割、または、第二相グレインに関連した処理を行う、外れグレイン処理部3とを備える。この画像処理部1は、白線グリッドのオーバーライドを行う機能を備えることができる。
【0066】
本実施形態の画像処理装置は、さらに、画像処理部1、グレイン抽出部2及び外れグレイン処理部3における各種処理のために、処理対象であった撮影画像ごとに、または、上記のような一連の画像処理ごとに、試行錯誤の末に設定したパラメータについてのデータを格納するパラメータ格納部4を備える。パラメータ格納部4では、撮影画像ごとに設定した一連のパラメータと、撮影画像の特性に関する情報とを紐づけて、パラメータについてのデータとして格納することができる。撮影画像の特性に関する情報には、撮影対象が金属のエッチング面である場合に、グレイン境界の鮮明さの度合い、及び、その均一性についての評価値、一部の鮮明なグレインにより得られた大まかなグレインのサイズまたは形状などを含めることができる。また、パラメータについてのデータには、画像処理の成功の度合いについて評価した評価点数(例えば官能評価による、1〜5の5段階の点数)などの評価情報をさらに含めることができ、撮影画像ごとの一連のパラメータに紐づけて、パラメータ格納部4に格納することができる。ここで、グレイン境界線を求めるための一連の画像処理がどれだけ成功したかの評価は、例えば、熟練した観察者が、得られた連結境界線画像と、元の撮影画像とを見比べて、特には、中央部などといった特定の部位を比較することで行うことができる。
【0067】
本実施形態の画像処理装置は、パラメータ格納部4に格納された、ある程度の数以上(例えばn=100以上)の、パラメータについてのデータのセットに基づいて、撮影画像の特性ごとの、基準パラメータを格納したルックアップテーブルを作成し、パラメータ格納部4に格納しておくことができる。この基準パラメータは、例えば、蓄積されたパラメータについてのデータから、評価点数を加味した重み付き平均により求めることができる。そして、新たに一連の画像処理を行うにあたっては、撮影画像の特性を入力して、類似した基準パラメータを見つけ出して、画像処理用のパラメータとして用いることができる。この際、撮影画像の特性に、それほど類似したものがない場合などに、適宜に、線形補間などの補間により、画像処理用のパラメータを求めることができる。画像処理装置のユーザーは、このようにして得られたパラメータを用いて、一連の画像処理を行ってみた後、満足な結果が得られない場合、経験に基づき適宜に各パラメータを修正してから、再度、一連の画像処理を行うことができる。このようにして再設定されたパラメータについてのデータは、新たに、パラメータ格納部4に格納されて、再度、ルックアップテーブルをアップデートするのに用いることができる。
【0068】
なお、グレイン境界線を求めるための一連の画像処理を行う前に、撮影画像の特性を評価するための予備的な画像処理を行うこともできる。この予備的な画像処理により決定された画像の特性の情報と、上記のルックアップテーブル中の基準パラメータとに基づき、画像処理用のパラメータを決定することができる。すなわち、画像処理装置は、撮影画像の特性を判定する予備画像処理部6をさらに備えることができる。
【0069】
パラメータ格納部4または別途のストレージ4Aには、撮影画像、または撮影画像の特性についての情報と、試行錯誤の末に決定した、一連の画像処理のための一連のパラメータと、この一連のパラメータを用いて実行した一連の画像処理に得られたグレイン境界線を示す画像、または、その評価結果と紐づけた、ある程度の数以上(例えばn=1000またはn=10,000以上)のデータが格納されている。
【0070】
そして、機械学習部5は、この蓄積データを教師データとして、撮影画像の特性に応じた、画像処理用のパラメータを決定するための学習済みモデルを構築し、またアップデートを行う。
【0071】
図23〜24を参照しつつ、比較例の画像処理について、簡単に説明する。
【0072】
図23には、図4の撮影画像に対して、「ImageJ」を用い、その「オートモード(IsoAuto)」により得た二値化画像である。詳しくは、178〜256階調の画素を黒、それ以外の領域を白とする作業を行った。また、図24は、図23の二値化画像から、結晶粒界のみを抽出しようとして、ある条件を満たす黒いビットのみを除外する処理を行った画像を示す。図24では、本来結晶粒界であった部分も今回の条件に巻き込まれて消去されている部分があると同時に、ノイズであるクロム炭化物やエッチングの濃淡に由来する黒いビットが残されてしまっている。この問題を解決するには、二値化のthreshold条件やノイズ除去条件をコントロールした後、人間の目で評価する必要がある。これでは人間が直接透写するのと殆ど変わらない。
【0073】
上記の実施形態の説明では、金属組織の結晶組織を評価するにあたり、エッチング面の顕微鏡画像を用いた。しかし、金属薄膜のTEM(透過電子顕微鏡)画像、EBSD(電子線後方散乱回折)パターンのデジタル画像などにより得られる金属組織の画像であっても同様である。エッチング面以外から得られた金属組織の画像であっても、グレイン(結晶)境界が不鮮明な領域を含むのであれば、上記実施形態と全く同様に行うことができる。
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18
図19
図20
図21
図22
図23
図24