特開 2023-124257 材料組織識別方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023124257

(43)【公開日】2023-09-06

(54)【発明の名称】材料組織識別方法

(51)【国際特許分類】

   G01N 23/2251 20180101AFI20230830BHJP

   G06T 7/00 20170101ALI20230830BHJP

【ＦＩ】

G01N23/2251

G06T7/00 350C

【審査請求】未請求

【請求項の数】5

【出願形態】ＯＬ

(21)【出願番号】P 2022027912

(22)【出願日】2022-02-25

(71)【出願人】

【識別番号】000003713

【氏名又は名称】大同特殊鋼株式会社

(74)【代理人】

【識別番号】110002158

【氏名又は名称】弁理士法人上野特許事務所

(72)【発明者】

【氏名】原田 絵美

【テーマコード（参考）】

2G001

5L096

【Ｆターム（参考）】

2G001AA03

2G001BA07

2G001CA03

2G001DA09

2G001FA29

2G001HA07

2G001KA05

5L096FA06

5L096GA51

5L096HA11

5L096JA06

5L096KA04

5L096KA15

(57)【要約】

【課題】複数種の材料組織を含む組織観察像において、高い精度で、それらの組織を識別することができる材料組織識別方法を提供する。
【解決手段】組織観察像において、対象組織が占める領域を特定したデータを、第一の教師データとして、機械学習によって第一のモデルを作成する第一モデル作成工程と、組織観察像において、対象組織を区画する境界を特定したデータを、第二の教師データとして、機械学習によって、第二のモデルを作成する第二モデル作成工程と、組織観察像に対して、第一のモデルを適用して、対象組織が占める領域を識別する第一の識別工程と、第一の識別工程の対象としたのと同じ組織観察像に対して、第二のモデルを適用して、境界を識別する第二の識別工程と、第一の識別工程で得られた識別結果と、第二の識別工程で得られた識別結果とを統合し、組織観察像中で対象組織に占められている領域を識別する情報統合工程と、を実行する。
【選択図】図２

【特許請求の範囲】

【請求項1】

複数種の材料組織を含む組織観察像において、前記複数種の材料組織を識別する材料組織識別方法であって、
前記組織観察像において、前記複数種の材料組織の少なくとも１種として選択される対象組織が占める領域を、他の材料組織が占める領域と区別して特定したデータを、第一の教師データとして、機械学習によって第一のモデルを作成する第一モデル作成工程と、
前記組織観察像において、前記対象組織を他の材料組織から区画する境界を特定したデータを、第二の教師データとして、機械学習によって、第二のモデルを作成する第二モデル作成工程と、
前記組織観察像に対して、前記第一のモデルを適用して、前記組織観察像中で前記対象組織が占める領域を識別する第一の識別工程と、
前記第一の識別工程の対象としたのと同じ前記組織観察像に対して、前記第二のモデルを適用して、前記組織観察像中で、前記境界を識別する第二の識別工程と、
前記第一の識別工程で得られた識別結果と、前記第二の識別工程で得られた識別結果とを統合し、前記組織観察像中で前記対象組織に占められている領域を識別する情報統合工程と、を実行する、材料組織識別方法。

【請求項2】

前記情報統合工程においては、前記第一の識別工程によって前記対象組織が占めると識別された領域の外縁と、前記第二の識別工程によって識別された前記境界と、の一致率を評価し、前記一致率が所定の閾値以上である領域を、前記対象組織に占められている領域であると判定する、請求項１に記載の材料組織識別方法。

【請求項3】

前記組織観察像は、複数種の結晶相を含む金属組織の電子顕微鏡像である、請求項１または請求項２に記載の材料組織識別方法。

【請求項4】

前記組織観察像は、γ相とγ’相を含むＮｉ基合金の走査電子顕微鏡像である、請求項３に記載の材料組織識別方法。

【請求項5】

前記第一のモデルおよび前記第二のモデルは、ニューラルネットワークを用いて作成される、請求項１から請求項４のいずれか１項に記載の材料組織識別方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、材料組織識別方法に関し、さらに詳しくは、複数の材料組織を含む組織観察像において、材料組織を識別するための方法に関する。

【背景技術】

【0002】

複数種の材料組織を含む組織観察像において、材料の状態を知るために、各材料組織を識別して検出することが重要となる。例えば、金属のミクロ組織は、材料特性に大きな影響を与えるものであり、組織を評価するために、走査電子顕微鏡（ＳＥＭ）等の顕微鏡による観察像が利用される。それらの組織観察像に、複数の結晶相等、複数種の材料組織が観察されている場合に、画像上に現れた各材料組織の特徴に基づいて、それら複数の組織を識別することができる。画像上で複数種の材料組織を識別する方法として、画像処理技術が発展してきた。最も簡素な画像処理方法としては、ＳＥＭ像等の組織観察像を、輝度閾値によって二値化することで、２種の材料組織を識別する方法を挙げることができる。

【0003】

しかし、混在する複数の材料組織が、近接した輝度を示す等、画像上の特徴として顕著な差異を与えない場合や、複雑な空間パターンで混在する場合等、二値化をはじめとする画像処理技術を用いて、複数種の材料組織を高精度に識別するのが困難となる場合も多い。そこで、画像処理技術を用いる場合よりも材料組織を高精度に識別しうる手法として、近年は、機械学習を利用した画像解析も行われるようになっている。例えば、特許文献１に、機械学習を用いて、組織画像の粒状領域と非粒状領域を識別する手法が開示されている。機械学習を利用した画像解析であれば、画像中の輝度や色彩のみならず、画像中に含まれる組織の形状やテクスチャ（質感）等、複雑な情報も、材料組織の解析に利用することができる。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０２１－１８７５２号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

上記のように、金属組織のＳＥＭ像等の組織観察像において、複数種の材料組織を識別するに際し、機械学習による画像解析を用いれば、二値化等、一定のアルゴリズムに基づく画像処理を用いる場合よりも、材料組織の識別を、高精度に行うことができる。しかし、機械学習による画像解析を用いる場合であっても、材料組織の識別の高精度化には、限界がある。特に、組織観察像中で、異なる材料組織が与える像の類似性が高い場合や、観察像の取得時に生じる陰影等、材料組織の本質に由来しない構造が観察像上に存在する場合などには、機械学習による画像解析を適用しても、材料組織の識別を高精度に行えない可能性がある。

【0006】

例えば、図３（ａ）に、γ相とγ’相を含むＮｉ基合金のＳＥＭ像を示す。類似のＳＥＭ像である図１（ａ）の像Ｉ中に、γ相とγ’相を特定しているが、γ’相と比較して、γ相がやや明るく観察されている。しかし、ＳＥＭ像におけるγ’相とγ相の輝度の差は小さい。γ’相に対応する領域を特定した教師データをもとに、機械学習済モデルを作成し、図３（ａ）のＳＥＭ像に対して画像解析を行った結果を、図３（ｄ）に示している。ここでは、γ’相であると判定された領域を白色で表示している。矢印で表示する箇所においては、ＳＥＭ像ではγ相と認識されるやや明るい領域が存在しているにもかかわらず、画像解析の結果では、白く表示されており、γ’相であると判定されている。このように、γ’相の過検出が起こっている。

【0007】

金属組織中の結晶相の分布は、材料特性と密接な関係を有し、材料評価や材料開発の基礎として、結晶相の分布に関して高精度な情報を得ることが望まれる。また、多数の観察像を解析する際に、解析者の技量や観察像の状態等、本質的でない要因による判定結果のばらつきを抑えることも重要となる。そこで、金属組織の観察像をはじめとして、複数種の材料組織を含んだ組織観察像において、高い精度で、材料組織を識別することができる画像解析手法の開発が望まれる。

【0008】

本発明が解決しようとする課題は、複数種の材料組織を含む組織観察像において、高い精度で、それらの組織を識別することができる材料組織識別方法を提供することを課題とする。

【課題を解決するための手段】

【0009】

上記課題を解決するために、本発明にかかる材料組織識別方法は、複数種の材料組織を含む組織観察像において、前記複数種の材料組織を識別する材料組織識別方法であって、前記組織観察像において、前記複数種の材料組織の少なくとも１種として選択される対象組織が占める領域を、他の材料組織が占める領域と区別して特定したデータを、第一の教師データとして、機械学習によって第一のモデルを作成する第一モデル作成工程と、前記組織観察像において、前記対象組織を他の材料組織から区画する境界を特定したデータを、第二の教師データとして、機械学習によって、第二のモデルを作成する第二モデル作成工程と、前記組織観察像に対して、前記第一のモデルを適用して、前記組織観察像中で前記対象組織が占める領域を識別する第一の識別工程と、前記第一の識別工程の対象としたのと同じ前記組織観察像に対して、前記第二のモデルを適用して、前記組織観察像中で、前記境界を識別する第二の識別工程と、前記第一の識別工程で得られた識別結果と、前記第二の識別工程で得られた識別結果とを統合し、前記組織観察像中で前記対象組織に占められている領域を識別する情報統合工程と、を実行する。

【0010】

ここで、前記情報統合工程においては、前記第一の識別工程によって前記対象組織が占めると識別された領域の外縁と、前記第二の識別工程によって識別された前記境界と、の一致率を評価し、前記一致率が所定の閾値以上である領域を、前記対象組織に占められている領域であると判定するとよい。

【0011】

前記組織観察像は、複数種の結晶相を含む金属組織の電子顕微鏡像であるとよい。この場合に、前記組織観察像は、γ相とγ’相を含むＮｉ基合金の走査電子顕微鏡像であるとよい。

【0012】

前記第一のモデルおよび前記第二のモデルは、ニューラルネットワークを用いて作成されるとよい。

【発明の効果】

【0013】

上記発明にかかる材料組織識別方法においては、複数種の材料組織を含む組織観察像に対して、機械学習を利用した画像解析を適用して、材料組織の識別を行うことができる。第一モデル作成工程および第一の識別工程を経ることで、組織観察像内の各領域について、着目している対象組織であるか否かを識別することができるが、この方法を単独で適用するとすれば、特に対象組織と他種の組織が組織観察像中で類似した像を与える場合等に、対象組織の識別を高精度で行えない可能性がある。しかし、第二モデル作成工程および第二の識別工程を実施し、対象組織と他の材料組織の間を区画する境界を識別することで、組織観察像内の各領域に、境界によって区画された対象組織が存在するか否かの情報を得ることができる。そこで、情報統合工程において、第一の識別工程で得られた材料組織の種別に関する情報と、第二の識別工程で得られた境界に関する情報を統合することで、第一の識別工程で得られた情報を単独で用いる場合よりも高い精度で、組織観察像内の各領域に対象組織が存在するか否かを判別することが可能となる。

【0014】

ここで、情報統合工程において、第一の識別工程によって対象組織が占めると識別された領域の外縁と、第二の識別工程によって識別された境界と、の一致率を評価し、一致率が所定の閾値以上である領域を、対象組織に占められている領域であると判定する場合には、第一の識別工程で、本来は対象組織に占められていない領域を、対象組織に占められていると誤判定することがあっても、第二の識別工程において識別された境界によってその領域が十分明確に区画されていなければ、情報統合工程において、その領域は対象組織に占められていない領域であると判定されることになる。よって、組織観察像内において、実際よりも過剰に対象組織を検出してしまう過検出を効果的に抑制し、対象組織を高精度に識別することができる。

【0015】

組織観察像が、複数種の結晶相を含む金属組織の電子顕微鏡像である場合には、微小な領域をとって混在する複数種の結晶相を高精度に識別し、材料評価や材料開発のための基礎情報として利用することができる。金属組織の顕微鏡写真においては、複数の結晶相を、輝度やテクスチャ、形状等の画像上の特徴に基づいて区別しにくい場合も生じうるが、相界面は明瞭に観察されることも多いので、各領域を構成する相を識別する第一の識別工程と、相界面を識別する第二の識別工程とを実施し、それらの識別結果を情報統合工程で統合することで、結晶相の識別を高精度に実施することができる。

【0016】

この場合に、組織観察像が、γ相とγ’相を含むＮｉ基合金の走査電子顕微鏡像であれば、各種の金属組織の電子顕微鏡像の中でも、輝度やテクスチャ、形状等の情報から結晶相を識別することが困難であり、第一の識別工程と合わせて、第二の識別工程を実施し、それらの識別結果を情報統合工程で統合することによる識別精度向上の効果が、特に高く得られる。

【0017】

第一のモデルおよび第二のモデルが、ニューラルネットワークを用いて作成される場合には、第一モデル作成工程および第二モデル作成工程における第一のモデルおよび第二のモデルの作成、また第一の識別工程における対象組織の識別、第二の識別工程における境界の識別を、高精度に行いやすい。

【図面の簡単な説明】

【0018】

【図1】本発明の一実施形態にかかる材料組織識別方法を説明する図であり、（ａ）第一モデル作成工程、および（ｂ）第二モデル作成工程を示している。各工程について、Iとして組織観察像を示し、IＩとして正解画像を示している。

【図2】本発明の一実施形態にかかる材料組織識別方法を説明する図であり、（ａ）解析の対象とする組織観察像、（ｂ）第一の識別工程によって得られる第一の識別像、（ｃ）第二の識別工程によって得られる第二の識別像、（ｄ）情報統合工程において得られる統合像、（ｅ）最終的に得られる組織識別結果を示している。

【図3】実施例１について、画像解析の各工程を示す図である。

【図4】実施例２について、画像解析の各工程を示す図である。

【発明を実施するための形態】

【0019】

以下、本発明の一実施形態にかかる材料組織識別方法について、図面を参照しながら説明する。

【0020】

［材料組織識別方法の概略］
本実施形態にかかる材料組織識別方法においては、複数種の材料組織を含む組織観察像を解析対象とし、その組織観察像において、複数種の材料組織を識別する。つまり、複数種の材料組織のうち、少なくとも１種として選択される対象組織に着目し、組織観察像において、その対象組織が占める領域を識別する。組織の識別には、機械学習を利用した画像解析を用いる。

【0021】

組織識別の対象とする組織観察像は、複数種の材料組織に対応する領域を含む画像であれば、特に限定されるものではない。複数種の材料組織としては、組織観察像上で区別可能な特徴を与える差異を相互間に有していればよく、そのような差異としては、材料組成の差異、結晶相をはじめとして、材料が構成している相の差異、あるいはそれらの差異の組み合わせを挙げることができる。また、組織観察像としては、材料組織の差異が識別できるものであれば、どのような種類の観察像でもよく、写真撮影像や、各種顕微鏡観察像等を挙げることができる。共存する材料組織の数も、２種以上であれば特に限定されるものではない。以下では、組織観察像として、複数の結晶相を含む金属組織の電子顕微鏡像、特にγ相とγ’相を含むＮｉ基合金の走査電子顕微鏡（ＳＥＭ）像を例として扱う。

【0022】

本実施形態にかかる材料組織別方法においては、材料組織の分布が既知の組織観察像を用いて２種の機械学習済モデルを作成する第一モデル作成工程および第二モデル作成工程を実施する。そして、それらモデル作成工程で得られた２種の学習済モデルをそれぞれ用いて、材料組織の分布が未知の組織観察像に対して、画像解析を行う工程として、第一の識別工程および第二の識別工程を実施する。さらに、第一の識別工程の識別結果と第二の識別工程の識別結果を統合して、その組織観察像において、対象組織が分布している領域を最終的に識別する情報統合工程を実施する。

【0023】

［材料組織識別方法の各工程］
上記のように、本実施形態にかかる材料組織識別方法は、（１）第一モデル作成工程、（２）第二モデル作成工程、（３）第一の識別工程、（４）第二の識別工程、（５）情報統合工程を含む。以下、各工程について、例を挙げながら説明する。

【0024】

まず、本実施形態にかかる材料組織識別方法の各工程を説明する際に、組織観察像の例として用いるＮｉ基合金のＳＥＭ像について説明する。図１（ａ）のＩに、例として用いるＳＥＭ像を示す。これは、Ｎｉ基合金を化学機械研磨したえうで、相界面を強調する条件で取得されたＳＥＭ像である。

【0025】

ＳＥＭ像中には、像内に例示したように、γ相とγ’相が共存している。詳細には、γ相の結晶粒の内部にγ’相が析出している。ＳＥＭ像は、γ相の結晶粒の内側の状態を表示するものであり、γ相の結晶粒内に析出物として生成したγ’相が、四角形に近い形状を有する、やや低輝度の領域として観察されている。一方、γ相は、γ’相が形成されている以外の領域として、高輝度で観察されており、隣接するγ’相どうしの間を占める網目状に観察される領域と、像内に矢印で表示している箇所のように、ある程度の面積を占めて広がっている領域とを含んでいる。本実施形態にかかる材料組織識別方法によって、γ’相を対象組織として、γ’相がＳＥＭ像中で占める領域を特定して識別するものとする。

【0026】

（１）第一モデル作成工程
第一モデル作成工程においては、組織観察像において、着目している対象組織が占める領域を識別するための第一のモデルを、機械学習によって作成する。つまり、組織観察像において、対象組織（γ’相）が占める領域を、他の材料組織（γ相）が占める領域と区別して特定したデータを、第一の教師データとして機械学習を行い、第一のモデルを作成する。

【0027】

図１（ａ）に第一モデル作成工程を説明している。Iの組織観察像（ＳＥＭ像）中で、目視により、γ’相をγ相および相界面と区別することができる。そのように、γ’相が形成されている領域を目視にて特定することで、機械学習用の教師データを作成する。IＩとして、教師データを構成する正解画像を示している。正解画像では、γ’相が占める領域を、白塗りにて表示しており、γ’相が占めていると解析者が判断する領域を、機械学習における正解として特定するものとなる。γ’相が占めている領域以外、つまりγ相が占めている領域は、黒塗りで表示している。このように、組織観察像をもとにしてγ’相を特定した正解画像を、複数の組織観察像に対して作成する。そして、それら複数の組織観察像と正解画像を対応づけたもの、つまり組織観察像中でγ’相が占める領域を特定したデータの集合を、第一の教師データとする。

【0028】

次に、上記で得た第一の教師データを、教師データとして用いて、機械学習を行い、学習済モデル（セマンティックセグメンテーションモデル）を第一のモデルとして取得する。機械学習によって第一のモデルを作成する際に用いる手法としては、教師あり学習が行えるものであれば、特に限定されるものではなく、公知のモデルを利用することができるが、画像認識に高い能力を示し、二次元情報の解析に好適に利用することができるニューラルネットワーク、中でも畳み込みニューラルネットワーク（ＣＮＮ）を用いることが好ましい。ＣＮＮを用いた第一のモデルは、組織観察像を入力層とし、組織観察像中でγ’相が占める領域を特定したもの（γ’相を白塗り表示した画像）を出力層として作成される。

【0029】

（２）第二モデル作成工程
第二モデル作成工程においては、組織観察像において、着目している対象組織（γ’相）を区画する境界を識別するための第二のモデルを、機械学習によって作成する。つまり、組織観察像において、対象組織（γ’相）を他の材料組織（γ相）から区画する境界を特定したデータを、第二の教師データとして機械学習を行い、第二のモデルを作成する。第二モデル作成工程は、第一モデル作成工程とは独立に実施する。

【0030】

図１（ｂ）に第二モデル作成工程を説明している。Iの組織観察像は、第一モデル作成工程に用いた図１（ａ）のものと同一である。組織観察像においては、γ相とγ’相の間の相界面を認識することができる。それらの相界面が存在する位置を特定することで、機械学習用の教師データを作成する。具体的には、第一モデル作成工程で用いた第一の教師データから、対象組織の輪郭のみを抽出し、教師データを作成することができる。図１（ｂ）には、IＩとして、教師データを構成する正解画像を示している。正解画像では、相界面を白い線で示し、相界面以外の領域を黒塗りで表示している。このように、組織観察像をもとにして相界面を特定した正解画像を、複数の組織観察像に対して作成する。そして、それら複数の組織観察像と正解画像を対応づけたもの、つまり組織観察像中で相界面が存在する位置を特定したデータの集合を、第二の教師データとする。第二の教師データの作成には、第一の教師データの作成に用いたのと同じ組織観察像を用いることが好ましい。なお、本実施形態においては、上記の第一モデル作成工程で用いた第一の教師データから、対象組織の輪郭のみを抽出して、第二の教師データを作成しているが、代わりに、組織観察像において相界面を目視にて特定して、第二の教師データとして利用してもよい。

【0031】

次に、上記で得た第二の教師データを、教師データとして用いて、機械学習を行い、学習済モデル（セマンティックセグメンテーションモデル）を第二のモデルとして取得する。機械学習によって第二のモデルを作成する際に用いる手法としては、上記で第一のモデルの作成について説明したのと同様の手法を用いることができ、ニューラルネットワーク、特にＣＮＮを用いることが好ましい。ＣＮＮを用いた第二のモデルは、組織観察像を入力層とし、組織観察像中で相界面が存在する位置を特定したもの（相界面を線で表示した画像）を出力層として作成される。

【0032】

本実施形態において用いているＮｉ基合金の例では、相界面としては、対象組織であるγ’相と他種組織であるγ相を区画するもののみが存在するが、対象組織が形成する複数の領域の間や、他種組織が形成する領域の間、また他種組織が複数種存在する場合に、それら複数種の他種組織が形成する領域の間にも、相界面が形成される場合がある。それらの場合には、第二の教師データを作成するに際に、各位置に形成された相界面を区別することなく、つまり各相界面によって区画される組織の種類によらずに、相界面として特定しても、対象領域と他種領域を区画する相界面のみを特定してもよい。前者の場合に、対象領域と他種領域を区画する以外の相界面の情報は、第二の教師データに含まれていても、後に説明する情報統合工程において、対象領域を区画する相界面として採用されないだけであり、第二の識別工程や情報統合工程を妨げるものとはならない。

【0033】

（３）第一の識別工程
第一の識別工程においては、組織観察像に対して、第一モデル作成工程で得られた第一のモデルを適用して、組織観察像中で対象組織が占める領域を識別する。つまり、材料組織を識別した組織観察像に基づいて得られた第一のモデルに、材料組織を未識別である組織観察像を入力し、出力として、その組織観察像において、対象組織（γ’相）が占める領域を識別した画像を得る。

【0034】

図２に示した例では、第一のモデルおよび第二のモデルに作成に用いたのとは別のＳＥＭ像である図２（ａ）の組織観察像を、解析の対象とする。この組織観察像に第一のモデルを適用する。すると、出力として、図２（ｂ）のように、第一のモデルによってγ’相であると識別された領域が白く塗られ、それ以外の領域が黒く塗られた第一の識別像が得られる。

【0035】

（４）第二の識別工程
第二の識別工程においては、第一の識別工程の対象としたのと同じ組織観察像に対して、第二モデル作成工程で得られた第二のモデルを適用して、組織観察像中で対象組織を区画する境界（相界面）を識別する。つまり、境界を識別した組織観察像に基づいて得られた第二のモデルに、境界を未識別である、第一の識別工程で識別対象としたのと同じ組織観察像を入力する。そして、出力として、その組織観察像において、境界を識別した画像を得る。第二の識別工程は、第一の識別工程とは独立に実施する。

【0036】

図２に示した例では、図２（ａ）の組織観察像に、第二のモデルを適用する。すると、出力として、図２（ｃ）のように、第二のモデルによって境界が存在すると識別された位置に、白線が表示され、それ以外の領域が黒く塗られた第二の識別像が得られる。

【0037】

（５）情報統合工程
情報統合工程においては、第一の識別工程で第一の識別像として得られた識別結果と、第二の識別工程で第二の識別像として得られた識別結果とを統合し、組織観察像中で対象組織に占められている領域を識別する。本実施形態では、情報統合工程において、第一の識別像において対象組織（γ’相）が占めると識別された領域の外縁と、第二の識別像において識別された境界（相界面）と、の一致率を評価し、その一致率が所定の閾値以上である領域、つまり閾値以上の一致率を示す境界に囲まれた領域を、対象組織に占められている領域であると判定する。

【0038】

図２（ｄ）に、図２（ｂ）の第一の識別像と、図２（ｃ）の第二の識別像とを重畳した統合像を示す。統合像においては、第二の識別像で白色で表示していた相界面を、グレーにて表示している（カラー図面では緑色にて表示している）。図２（ｄ）の統合像において、白色で表示されたγ’相であると識別された領域の外縁は、おおむね、グレーの相界面によって区画されている。しかし、詳細に統合像を見ると、γ’相であると識別された領域が相界面によって明確に区画されているか否かは、領域ごとに差がある。例えば、拡大像ｄ２に示した領域Ｂにおいては、白く表示されているγ’相と識別された領域の外縁に、その領域の外縁を途切れることなく１周囲んだ、明確な相界面が存在している。つまり、γ’相が占めると識別された領域Ｂの外縁と、相界面との一致率が高くなっている。領域Ｂにおける一致率はほぼ１００％となっている。一方、拡大像ｄ１に示した領域Ａにおいては、白く表示されているγ’相と識別された領域の外縁の一部には、グレーの相界面が重畳されているが、相界面が存在していない箇所も領域Ａの外縁上に多く存在する。つまり、γ’相が占めると識別された領域Ａの外縁と、相界面との一致率が、拡大像ｄ２中の領域Ｂの場合と比較して、明らかに低くなっている。その一致率は約１１％である。

【0039】

上記一致率について、領域Ａにおける値と領域Ｂにおける値の間に、閾値を設ける（例えば５０％）。そして、統合像において、一致率がその閾値以上である領域を、γ’相に占められている領域であると判定する。拡大像ｄ１中の領域Ａにおいては、一致率が閾値未満となるので、領域Ａはγ’相に占められていないと判定される。その領域Ａを黒く塗り直したものが、拡大像ｄ１’である。一方、拡大像ｄ２中の領域Ｂにおいては、一致率が閾値以上となるので、領域Ｂはγ’相に占められていると判定される。その領域Ｂを、γ’相を示す白塗りのまま維持したものが、拡大像ｄ２’である。このように、第一の識別像においてγ’相が占めると識別された領域について、その領域の外縁と、第二の識別像において識別された相界面との一致率が、閾値以上に高くなっている場合にのみ、その領域がγ’相であると判定される。一致率が低い領域は、第一の識別像においてγ’相が占めると識別されていたとしても、γ’相には占められていない、つまりγ相に占められていると判定し直されることになる。

【0040】

ここで、図２（ａ）のＳＥＭ像を見ると、領域Ｂに対応する箇所は、γ相よりも低輝度で観察されるγ’相となっているのに対し、領域Ａに対応する箇所は、他の箇所のγ相よりは輝度がやや低いものの、γ相となっているのが分かる。領域Ａに関しては、実際にはγ’相が形成されていないにもかかわらず、第一の識別工程による相の種類の識別の結果としては、γ’相が形成されていると誤判定されていたことになる。しかし、その第一の識別工程の識別結果に、相界面を識別した第二の識別結果とを統合し、相界面に関する情報を合わせることで、その領域Ａはγ’相に占められていないという、正しい判定結果が得られるようになっている。

【0041】

拡大像中の領域Ａ，Ｂに対して行ったのと同様に、図２（ｄ）の統合像全体に対して、γ’相と判定されている白塗り領域のうち、その領域の外縁と、識別された境界（相界面）との一致率が閾値以上となっている領域を白塗りに維持し、一致率が閾値未満の領域については黒塗りに変更する処理を行ったものが、図２（ｅ）の組織識別結果である。この組織識別結果の画像において、白塗りになっている領域が、最終的にγ’相が占めると判定された領域であり、黒塗りになっている領域は、γ’相に占められていない領域、つまりγ相に占められている領域であると、最終的に識別される。図２（ｂ）の第一の識別像で白塗りになっていた領域の大部分は、図２（ｅ）でも白塗りに維持されているが、それらの領域の一部は、図２（ｅ）で黒塗りに変更されている。

【0042】

［材料組織識別の結果］
本実施形態にかかる材料組織識別方法においては、組織観察像中の各領域が対象組織（γ’相）であるか否かを識別する第一の識別工程と、組織観察像中で境界（相界面）が存在する位置を識別する第二の識別工程とを、同じ組織観察像に対して独立に実施したうえで、両識別工程で得られた識別結果を情報統合工程において統合して、組織観察像中で対象組織が占める領域を最終的に識別している。このように、ともに機械学習を利用して、第一の識別工程と第二の識別工程で同じ組織観察像に対して得られた、種類の異なる２つの情報を統合することで、いずれか一方のみの情報を用いる場合よりも、材料組織の判別における精度を向上させることができる。上で説明した例の場合、図２（ｄ）中の領域Ａについて示したように、実際にはγ相が占めているにもかかわらず、第一の識別工程ではγ’相が占めていると誤判定されていた領域が、第二の識別工程の識別結果を統合することで、γ’相に占められない領域であると正しく判定されるようになっており、組織識別の精度が向上している。

【0043】

第一の識別工程においては、組織観察像中の各領域において、輝度やテクスチャ、形状等、その領域の画像上での特徴に基づいて、各領域が対象組織に占められているか否かを判定している。よって、上記で説明した例におけるγ相とγ’相のように、共存する異なる材料組織が、画像上で、近接した輝度等、類似した特徴を与える場合や、画像取得時に生じる陰影等、本質的でない構造が画像上に重畳されている場合、また画像取得条件の変化によって、画像の見え方が大きく変わる場合など、教師データに基づく複数の組織の相互識別に困難を伴う場合には、画像上の各領域における組織の種類を、正しく識別できない可能性がある。よって、第一の識別工程の結果のみをもって結晶組織の識別を行うとすれば、誤判定が生じやすくなる。

【0044】

一方で、第二の識別工程においては、異なる材料組織の間の境界を識別しており、境界の位置を高精度に定めることができる。多くの場合、異なる材料の相界面は、明確に特定することができ、組織観察像において、陰影等の本質的でない構造が重畳されることや、画像取得条件の影響を受けることがあっても、画像中に写っている境界の位置自体にそれら本質的でない事象の影響が及ぶことは、あまりない。よって、境界の位置の判定は、第一の識別工程において行われるような、各領域を占める組織の種類の識別よりも、高精度に実施することができる。特に、金属組織のＳＥＭ像においては、相界面が明瞭に撮影されやすく、さらに、化学機械研磨等の前処理の条件やＳＥＭ観察の条件によって、相界面を特に際立たせることもできるため、相界面の高精度の識別が可能である。このように、第二の識別工程によって得られる、誤判定の少ない材料組織の境界に関する情報を、第一の識別工程で得られた材料組織の種類に関する情報に統合することで、第一の識別工程の情報が第二の識別工程の情報によって補完される。その結果、第一の識別工程の識別結果をそのまま採用する場合よりも、組織識別の精度を高められる。なお、第二の識別工程によって得られる材料組織の境界に関する情報は、精度の高いものではあるが、それ単独で、組織観察像中の各領域を占める組織の種類を特定することは難しい。境界に区画された領域の形状等に基づいて、組織の種類を特定するようなことも考えられるが、その場合にも、境界が完全に閉じた領域を区画していなければ、組織の特定は難しい。

【0045】

上で説明したγ相とγ’相を含むＮｉ基合金のＳＥＭ像の解析においては、情報統合工程として、第一の識別工程によってγ’相が占めると識別された領域の外縁と、第二の識別工程によって識別された相界面との一致率を評価し、一致率が所定の閾値以上である領域を、実際にγ’相に占められていると判定した。つまり、第一の識別工程と第二の識別工程の両方の結果がγ’相であることを示している領域のみを、γ’相であると判定し、いずれか一方のみの結果がγ’相であることを示している場合には、γ’相として採用しないようにしている。この形態で情報統合工程を実施することにより、第一の識別工程において誤検出として起こりやすい、γ’相の過検出、つまり本来はγ’相でない領域をγ’相として検出してしまう現象を、効果的に抑制することができる。

【0046】

しかし、情報統合工程は、このような形態のものに限られず、第一の識別工程で得られた識別結果と、第二の識別工程で得られた識別結果とを統合し、材料組織識別の精度を高められるものであれば、統合の形態は、特に限定されない。対象とする組織観察像の種類や、相互に区別すべき材料組織の画像上の特徴等に応じて、着目する対象組織の誤検出を効果的に抑制できるように、情報の統合の形態を選択すればよい。例えば、第一の識別工程において、対象組織の過少検出、つまり本来は対象組織である領域を、対象組織として検出しない現象が起こりやすい場合には、第一の識別工程と第二の識別工程の少なくとも一方の結果が、対象組織であることを示唆している領域を全て、対象組織として採用するように、情報統合工程を実施すればよい。

【実施例0047】

以下、実施例を用いて本発明をより具体的に説明する。ここでは、上記で説明した本発明の実施形態にかかる材料組織識別方法を用いることで、材料組織の識別における精度が向上するかを確認した。

【0048】

［試験方法］
Ｎｉ基合金に化学機械研磨を施したうえで、ＳＥＭ観察を行い、γ相とγ’相を含む組織観察像を取得した。ここでは、異なる試料個体を用いて、実施例１と実施例２の２種を含む複数の組織観察像を得た。なお、実施例２の組織観察像は、材料組織識別方法を説明するための例として、図２で用いたのと同じものである。

【0049】

上記で説明したとおり、複数の組織観察像を用いて、（１）第一モデル作成工程および（２）第二モデル作成工程を実施したうえで、実施例１，２のそれぞれの組織観察像に対して、（３）第一の識別工程、（４）第二の識別工程、（５）情報統合工程を含む、本発明の実施形態にかかる材料組織識別方法によって、画像解析を実施した。合わせて、比較のために、各組織観察像に対して、二値化による画像処理を行った。

【0050】

［試験結果］
図３，４に、それぞれ実施例１，２について、画像解析の各工程で得られる画像を示す。（ａ）は組織観察像（ＳＥＭ像）である。（ｂ）は、組織観察像において、構成相を目視にて識別し、γ’相が占めている領域を白塗りで、それ以外の領域を黒塗りで表示したものである。これは、第一モデル作成工程において用いられる第一の教師データに相当するものであり、組織識別の正解を示す正解画像となる。（ｃ）は比較用に実施した二値化の結果である。ＳＥＭ像中で閾値よりも低輝度に観測されている領域（γ’相に相当）を、白塗りにて表示している。（ｄ）は、第一の識別工程によって得られた第一の識別像である。（ｅ）は、第二の識別工程によって得られた第二の識別像である。（ｆ）は、情報統合工程によって第一の識別工程と第二の識別工程の識別結果を統合して得られた最終識別像である。図３，４では、（ｂ），（ｃ），（ｄ），（ｆ）のそれぞれについて、画像の下に、γ’相が占めていると判定された白塗りの領域が、画像全体に占める割合として得られたγ’面積率を表示している。さらに、（ｃ），（ｄ），（ｆ）については、（ｂ）の正解画像との間の一致度を示すＤｉｃｅ係数も示している。

【0051】

図３，４のいずれにおいても、（ｃ）の二値化を用いた場合には、（ａ）の正解画像と比較して、γ’相の面積率が大きくなっている。Ｄｉｃｅ係数も、０．９０以下の小さな値となっている。つまり、二値化では、γ相を精度よく識別することができない。二値化閾値を変更しても、γ’相の面積率が大きすぎる点は改善されなかった。

【0052】

図（ｄ）の第一の識別像は、機械学習による相の種類の識別のみを行った結果であり、図（ｃ）の二値化を用いた場合よりは、γ’相の面積率が正解画像の値に近づいており、Ｄｉｃｅ係数も大きくなっている。しかし、γ’相の面積率は、依然として正解画像の値よりも大きい。画像自体を見ても、図（ｄ）の第一の識別像と図（ｂ）の正解画像とで、一致しない箇所が複数存在する。具体的には、図（ｄ）中に矢印で例示するように、正解画像ではγ’相が占めていないと判定されて黒塗りになっている領域が、第一の識別像では、γ’相が占めていると判定されて白塗りになっている。つまり、γ’相の過検出が起こっており、γ’相の面積率が実際よりも大きく見積もられている。このように、機械学習を利用した相識別を採用することで、二値化を行う場合よりは、相識別の精度が向上しているが、誤検出は発生してしまっている。

【0053】

図（ｄ）の第一の識別像の相識別の結果と、図（ｅ）の第二の識別像の相界面の情報とを統合して得られたものが、図（ｆ）の最終識別像である。この最終識別像と図（ｂ）の正解画像とを見比べると、両者は非常によく類似している。図（ｄ）の第一の識別像で矢印にて表示するγ’相の過検出が起こっていた領域も、図（ｆ）の最終識別像では、γ’相に占められていない黒塗りの領域として表示されており、図（ｂ）の正解画像と合致している。γ’相の面積率の値も、正解画像のものに近くなっている。特に図３の実施例１では、面積率の値が正解画像のものと一致している。Ｄｉｃｅ係数としても、０．９９あるいは０．９８と、大きな値が得られており、最終識別像と正解画像の一致度が高いことが示されている。以上より、独立に機械学習を利用して得られた、第一の識別工程によって各領域の材料組織を識別した結果と、第二の識別工程によって境界を識別した結果とを統合して、最終的に組織観察像中の各領域を占める材料組織の種類を判定することで、材料組織の識別において、高い精度が得られることが確認される。

【0054】

以上、本発明の実施形態について詳細に説明したが、本発明は上記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲で種々の改変が可能である。例えば、上記では、識別すべき対象組織を、１種のみ（例示した形態ではγ’相のみ）としたが、３種以上の材料組織が共存している場合等には、対象組織として２種以上の材料組織を指定してもよい。

【図1】

【図2】

【図3】

【図4】