(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-09-27
(45)【発行日】2022-10-05
(54)【発明の名称】金属組織の相の分類方法、金属組織の相の分類装置、金属材料の材料特性予測方法および金属材料の材料特性予測装置
(51)【国際特許分類】
G01N 33/204 20190101AFI20220928BHJP
【FI】
G01N33/204
(21)【出願番号】P 2021522570
(86)(22)【出願日】2021-01-27
(86)【国際出願番号】 JP2021002906
(87)【国際公開番号】W WO2021153633
(87)【国際公開日】2021-08-05
【審査請求日】2021-04-23
(31)【優先権主張番号】P 2020012517
(32)【優先日】2020-01-29
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】000001258
【氏名又は名称】JFEスチール株式会社
(74)【代理人】
【識別番号】110002147
【氏名又は名称】弁理士法人酒井国際特許事務所
(72)【発明者】
【氏名】清兼 直哉
(72)【発明者】
【氏名】山下 孝子
(72)【発明者】
【氏名】小幡 美絵
【審査官】倉持 俊輔
(56)【参考文献】
【文献】特開2012-104042(JP,A)
【文献】中国特許出願公開第110619355(CN,A)
【文献】特開2019-012037(JP,A)
【文献】特開2019-007944(JP,A)
【文献】特開平05-248839(JP,A)
【文献】独国特許出願公開第19738943(DE,A1)
【文献】AJIOKA Fumito et al.,Development of High Accuracy Segmentation Model for Microstructure of Steel by Deep Learning,ISIJ International Advance online publication,2020年01月18日,ArticleID ISIJ-2019-568,https://www.j-stage.jst.go.jp/article/isijinternational/advpub/0/advpub_ISIJINT-2019-568/_pdf/-char/en
【文献】遠嶋雅徳ほか,ニューラルネットワークによる材料組織のパターン認識,鉄と鋼,日本,1994年,Vol.60, No.7,pp.59-64
【文献】足立吉隆ほか,ディープラーニングによる組織識別率の検証,鉄と鋼,日本,2016年,Vol.102, No.12,pp.62-69
【文献】BULGAREVICH Dmitry S. et al.,Automatic steel labeling on certain microstructural constituents with image processing and machine l,Science and Technology of Advanced Materials,2019年06月05日,Vol.20, No.1,pp.532-542
【文献】MULEWICZ Bartlomiej et al.,Autonomous Interpretaion of the Microstructure of Steels and Special Alloys,Material Science Forum,2019年03月20日,Vol.949,pp.24-31
(58)【調査した分野】(Int.Cl.,DB名)
G01N 33/204,
G06T 7/00,
JSTPlus/JST7580(JDreamIII)
(57)【特許請求の範囲】
【請求項1】
1つの金属材料から、前記金属材料の金属組織を撮影した複数の画像に対して、2つ以上の金属組織の相を分類する金属組織の相の分類方法であって、
前記複数の画像の中から一または所定数の画像を選択し、選択した画像の画素の輝度値を調整する画像前処理工程と、
前記画像前処理工程で前処理した画像の画素について、1つ以上の特徴値を算出する特徴値算出工程と、
前記金属組織の複数の相のラベルが付与された特徴値を入力とし、各相のラベルを出力として学習させた学習済みモデルに対して、前記特徴値算出工程で算出した特徴値を入力し、入力した特徴値に対応する画素の相のラベルを取得することにより、前記画像の金属組織の相を分類する相分類工程と、
前記相分類工程で分類した金属組織の各相に対して、画素ごとに正誤を定めて誤差評価値を算出する誤差評価値算出工程と、
前記誤差評価値算出工程で算出した誤差評価値が小さくなるように、前記画像前処理工程の前処理パラメータを変更し、前記特徴値算出工程、前記相分類工程および前記誤差評価値算出工程を繰り返して、前記前処理パラメータを調整する前処理調整工程と、
を含み、
前記前処理調整工程で調整した前処理パラメータを固定値として定め、前記金属材料の金属組織を撮影した複数の画像の全てに対して、前記画像前処理工程、前記特徴値算出工程および前記相分類工程を行うことを特徴とする金属組織の相の分類方法。
【請求項2】
前記特徴値算出工程は、
前記画像の輝度値を示す恒等特徴値、
前記画像の所定の範囲における輝度値の平均値を示すMean特徴値、
前記画像の所定の範囲において、中心に近いほど重みを大きくした輝度値の平均値を示すGausian特徴値、
前記画像の所定の範囲における輝度値の中心値を示すMedian特徴値、
前記画像の所定の範囲における輝度値の最大値を示すMax特徴値、
前記画像の所定の範囲における輝度値の最小値を示すMin特徴値、
前記画像の輝度値の微分値を示すDerivative特徴値、
前記Derivative特徴値を加算したDerivative加算特徴値、
のうちの1つ以上の特徴値を算出することを特徴とする請求項1に記載の金属組織の相の分類方法。
【請求項3】
前記所定の範囲は、前記金属組織の予め指定した一または複数の相のうち、結晶粒径が小さい方の前記結晶粒径の1/2未満の大きさが含まれ、かつ結晶粒径が大きい方の前記結晶粒径の1/2未満の大きさが含まれる範囲であることを特徴とする請求項2に記載の金属組織の相の分類方法。
【請求項4】
前記金属材料は、二相鋼板であり、
前記相分類工程は、フェライト相およびマルテンサイト相を分類することを特徴とする請求項1から請求項3のいずれか一項に記載の金属組織の相の分類方法。
【請求項5】
前記学習済みモデルは、決定木、ランダムフォレストまたはニューラルネットワークを含む機械学習モデルであることを特徴とする請求項1から請求項4のいずれか一項に記載の金属組織の相の分類方法。
【請求項6】
前記画像前処理工程の前に、
金属材料の金属組織を撮影した画像について、前記金属組織の予め指定した一または複数の相に対応する画素に対し、各相のラベルを付与する相指定工程と、
各相のラベルを付与した画素について、1つ以上の特徴値を算出する特徴値算出工程と、
各相のラベルが付与された前記特徴値を入力とし、各相のラベルを出力として学習することにより、学習済みモデルを生成するモデル生成工程と、
を含むことを特徴とする請求項1から請求項5のいずれか一項に記載の金属組織の相の分類方法。
【請求項7】
1つの金属材料から、前記金属材料の金属組織を撮影した複数の画像に対して、2つ以上の金属組織の相を分類する金属組織の相の分類装置であって、
前記複数の画像の中から一または所定数の画像を選択し、選択した画像の画素の輝度値を調整する画像前処理部と、
前記画像前処理部で前処理した画像の画素について、1つ以上の特徴値を算出する特徴値算出部と、
前記金属組織の複数の相のラベルが付与された特徴値を入力とし、各相のラベルを出力として学習させた学習済みモデルに対して、前記特徴値算出部で算出した特徴値を入力し、入力した特徴値に対応する画素の相のラベルを取得することにより、前記画像の金属組織の相を分類する相分類部と、
前記相分類部で分類した金属組織の各相に対して、画素ごとに正誤を定めて誤差評価値を算出する誤差評価値算出部と、
前記誤差評価値算出部で算出した誤差評価値が小さくなるように、前記画像前処理部で用いる前処理パラメータを変更し、前記特徴値の算出、前記相の分類および前記誤差評価値の算出を繰り返して、前記前処理パラメータを調整する前処理調整部と、
を備え、
前記前処理調整部で調整した前処理パラメータを固定値として定め、前記金属材料の金属組織を撮影した複数の画像の全てに対して、前記画像の前処理、前記特徴値の算出および前記相の分類を行う
ことを特徴とする金属組織の相の分類装置。
【請求項8】
金属材料の金属組織を撮影した画像について、前記金属組織の予め指定した一または複数の相に対応する画素に対し、各相のラベルを付与する相指定部と、
各相のラベルを付与した画素について、1つ以上の特徴値を算出する特徴値算出部と、
各相のラベルが付与された前記特徴値を入力とし、各相のラベルを出力として学習することにより、学習済みモデルを生成するモデル生成部と、
を
更に備えることを特徴とする
請求項7に記載の金属組織の相の
分類装置。
【請求項9】
金属材料の材料特性を予測する金属材料の材料特性予測方法であって、
請求項1から請求項5のいずれか一項に記載の金属組織の相の分類方法の後に、
分類した各相の大きさ、面積率または形状を算出することにより、金属組織の定量評価値を算出する定量評価工程と、
前記定量評価値と、予め用意された前記金属材料の材料特性との中から、前記金属材料の材料特性の予測に使用するデータを選択するデータ選択工程と、
選択したデータを用いて、前記金属材料の材料特性を予測する予測モデルを生成するモデル生成工程と、
生成した予測モデルを用いて前記金属材料の材料特性を予測する材料特性予測工程と、
を含む
ことを特徴とする金属材料の材料特性予測方法。
【請求項10】
金属材料の材料特性を予測する金属材料の材料特性予測装置であって、
請求項
7に記載の金属組織の相の分類
装置と、
前記
金属組織の相の分類装置によって金属組織の相の分類が行われた画像を入力する入力部と、
分類した各相の大きさ、面積率または形状を算出することにより、金属組織の定量評価値を算出する定量評価部と、
前記定量評価値をデータベースに記録するデータ記録部と、
前記データベースに記録された前記定量評価値および前記金属材料の材料特性の中から、前記金属材料の材料特性の予測に使用するデータを選択するデータ選択部と、
選択したデータを用いて、前記金属材料の材料特性を予測する予測モデルを生成するモデル生成部と、
生成した予測モデルを用いて前記金属材料の材料特性を予測する材料特性予測部と、
予測した前記金属材料の材料特性を出力する出力部と、
を備える
ことを特徴とする金属材料の材料特性予測装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、金属組織の相の分類方法、金属組織の相の分類装置、金属組織の相の学習方法、金属組織の相の学習装置、金属材料の材料特性予測方法および金属材料の材料特性予測装置に関する。
【背景技術】
【0002】
近年、地球環境の保全という観点から、排出される汚染物質の低減のために排気ガス規制が実施されている。また、自動車に対しては車体の軽量化による燃費向上が強く要求されている。車体を軽量化するための有力な手法の1つに、車体に使用する薄鋼板の高強度化があり、自動車では高強度鋼板の使用量が年々増加している。
【0003】
一般に、鋼板等の金属材料は、同一の組成を有していても、光学顕微鏡または電子顕微鏡レベルでのスケール(mm~μmスケール)の金属組織に特性が強く依存する。そのため、高強度鋼板を開発する場合、固溶強化元素の添加による固溶強化を利用する方法や、析出強化元素の添加による析出物を利用する析出強化方法等の組成を変える方法が用いられる。また、これらの方法の他に、同一組成で熱処理条件を変えることで、最終的に実現する金属組織を変化させ、機械特性を向上させる方法が用いられる。
【0004】
このように、高強度鋼板を開発するためには、組成の制御のみならず、金属組織の制御が重要であり、そのために金属材料を光学顕微鏡または電子顕微鏡等で観察し、その金属組織を定量評価することが重要である。実際に、素材開発の現場においては、熱処理条件を変えた金属材料の組織観察が日常的に実施されている。
【0005】
鋼板等の金属材料に対して、公知の研磨方法およびエッチング方法等の試料調整を実施した後に、電子顕微鏡等の公知の撮影装置で組織の観察を行うと、一般的には相ごとにコントラストが異なるため、各相の判別を行うことができる。例えば、鉄鋼材料においてフェライト相およびパーライト相からなる代表的な鋼板を公知の方法で試料調整した後、光学顕微鏡で撮影すると、フェライト相は灰色のコントラスト、パーライト相は黒色のコントラストで観察される。そのため、フェライト相とパーライト相との判別を行うことができる。このような手法で金属組織の観察を繰り返し実施することにより、熱処理条件によって変化する組織を制御し、素材として要求される材料特性の実現を試みた素材開発が日常的に行われている。
【0006】
ここで、材料特性と金属組織とを結び付けるには、観察した金属組織を定量的に評価することが重要となる。例えばフェライト相およびマルテンサイト相からなる代表的な二相鋼板では、その引張強度がマルテンサイト相の相分率に強く依存することが知られている。従来、金属組織を撮影した画像からこれらの相の相分率を定量的に評価するために、各相を手塗により色分けし、色分けした各色の面積を数え上げることにより、各相の相分率を測定していた。しかしながら、この方法では作業者によって相の認識が異なるため、作業者ごとの誤差が大きく、また手塗にも膨大な時間を要していた。そのため、同一の組成および同一の熱処理条件で製造した鋼板であっても誤差が大きく、かつ1枚の画像の解析に非常に多くの時間を要していたため、この方法は実際にはほとんど実施されていなかった。
【0007】
このような大きな誤差、また膨大な時間を要する手塗に代わる金属組織の定量評価方法としては、輝度値の二値化が挙げられる。この方法は、撮影した金属組織の画像に対して輝度値のしきい値を定め、二色となるようにコンピュータ等を用いて画像を変換することにより、特定の相のみを抽出し、各色の面積を求めることで相分率を測定する。この方法は、金属組織の相ごとに輝度値が明確に異なる場合は、正確に相の分類を実施することができる。また、作業としては輝度値のしきい値を定めるだけであるため、前述の手塗に比べるとはるかに高速に金属組織を定量評価することができる。しかしその一方で、金属材料では、相ごとの輝度値の違いが明確ではないケースが多く、輝度値の違いが明確でない場合は誤差が大きくなるため、精度よく分類できないケースが多かった。
【0008】
コンピュータの性能が飛躍的に向上した昨今では、上記に挙げた手塗、あるいは単純な輝度値の二値化ではなく、より高度な計算技術を用いて、人為的な要素を含めずに画像を解析する技術が開発されている。例えば、特許文献1では、以下のような技術が開示されている。まず、人体表面の部位の画像を反対色空間における画像に変換し、反対色空間における画像の反対色空間の成分のそれぞれを異なる空間周波数のサブバンド画像に分解する。そして、このサブバンド画像について、人体表面の部位に応じた特徴値を算出し、この特徴値に基づいて人体表面の部位の外観を評価する。この技術を用いることにより、人肌の画像から肌の状態、質感等を客観的かつ高速に評価することができる。
【0009】
また、特許文献2では、以下のような技術が開示されている。まず、組織を撮影した1枚の組織画像に対して、二値化の基準値を異ならせながら複数回の二値化処理を行うことにより、複数の二値化画像を生成する。続いて、この複数の二値化画像のそれぞれについて、穴形状の領域の数を算出し、複数の二値化の基準値と穴形状の領域の数との対応関係を特徴づける特徴数を特定し、この特徴数に対応した出力情報を生成する。
【先行技術文献】
【特許文献】
【0010】
【文献】特開2018-121752号公報
【文献】国際公開第2017/010397号
【発明の概要】
【発明が解決しようとする課題】
【0011】
しかしながら、特許文献1で開示された技術は、あくまでも人肌を評価するための技術であるため、鋼板等の金属材料の組織に適用することは困難である。また、特許文献2で開示された技術についても同様に、生体細胞の画像を解析するための技術であるため、鋼板等の金属材料の組織に適用することは困難である。
【0012】
本発明は、上記に鑑みてなされたものであって、金属材料において重要な金属組織を定量的かつ高速に評価することができる金属組織の相の分類方法、金属組織の相の分類装置、金属組織の相の学習方法、金属組織の相の学習装置、金属材料の材料特性予測方法および金属材料の材料特性予測装置を提供することを目的とする。
【課題を解決するための手段】
【0013】
上述した課題を解決し、目的を達成するために、本発明に係る金属組織の相の分類方法は、金属材料の金属組織を撮影した画像の画素について、1つ以上の特徴値を算出する特徴値算出工程と、前記金属組織の複数の相のラベルが付与された特徴値を入力とし、各相のラベルを出力として学習させた学習済みモデルに対して、前記特徴値算出工程で算出した特徴値を入力し、入力した特徴値に対応する画素の相のラベルを取得することにより、前記画像の金属組織の相を分類する相分類工程と、を含むことを特徴とする。
【0014】
また、本発明に係る金属組織の相の分類方法は、上記発明において、前記相分類工程の前に、前記画像の画素の輝度値を調整する画像前処理工程を含むことを特徴とする。
【0015】
また、本発明に係る金属組織の相の分類方法は、上記発明において、前記画像前処理工程において、前記画像の輝度値のヒストグラムを均等化することを特徴とする。
【0016】
また、本発明に係る金属組織の相の分類方法は、上記発明において、前記画像前処理工程において、前記画像の平均輝度値を除去することを特徴とする。
【0017】
上述した課題を解決し、目的を達成するために、本発明に係る金属組織の相の分類方法は、1つの金属材料から、前記金属材料の金属組織を撮影した複数の画像に対して、2つ以上の金属組織の相を分類する金属組織の相の分類方法であって、前記複数の画像の中から一または所定数の画像を選択し、選択した画像の画素の輝度値を調整する画像前処理工程と、前記画像前処理工程で前処理した画像の画素について、1つ以上の特徴値を算出する特徴値算出工程と、前記金属組織の複数の相のラベルが付与された特徴値を入力とし、各相のラベルを出力として学習させた学習済みモデルに対して、前記特徴値算出工程で算出した特徴値を入力し、入力した特徴値に対応する画素の相のラベルを取得することにより、前記画像の金属組織の相を分類する相分類工程と、前記相分類工程で分類した金属組織の各相に対して、画素ごとに正誤を定めて誤差評価値を算出する誤差評価値算出工程と、前記誤差評価値算出工程で算出した誤差評価値が小さくなるように、前記画像前処理工程の前処理パラメータを変更し、前記特徴値算出工程、前記相分類工程および前記誤差評価値算出工程を繰り返して、前記前処理パラメータを調整する前処理調整工程と、を含み、前記前処理調整工程で調整した前処理パラメータを固定値として定め、前記金属材料の金属組織を撮影した複数の画像の全てに対して、前記画像前処理工程、前記特徴値算出工程および前記相分類工程を行うことを特徴とする。
【0018】
また、本発明に係る金属組織の相の分類方法は、上記発明において、前記特徴値算出工程が、前記画像の輝度値を示す恒等特徴値、前記画像の所定の範囲における輝度値の平均値を示すMean特徴値、前記画像の所定の範囲において、中心に近いほど重みを大きくした輝度値の平均値を示すGausian特徴値、前記画像の所定の範囲における輝度値の中心値を示すMedian特徴値、前記画像の所定の範囲における輝度値の最大値を示すMax特徴値、前記画像の所定の範囲における輝度値の最小値を示すMin特徴値、前記画像の輝度値の微分値を示すDerivative特徴値、前記Derivative特徴値を加算したDerivative加算特徴値、のうちの1つ以上の特徴値を算出することを特徴とする。
【0019】
また、本発明に係る金属組織の相の分類方法は、上記発明において、前記所定の範囲が、前記金属組織の予め指定した一または複数の相のうち、結晶粒径が小さい方の前記結晶粒径の1/2未満の大きさが含まれ、かつ結晶粒径が大きい方の前記結晶粒径の1/2未満の大きさが含まれる範囲であることを特徴とする。
【0020】
また、本発明に係る金属組織の相の分類方法は、上記発明において、前記金属材料が、二相鋼板であり、前記相分類工程が、フェライト相およびマルテンサイト相を分類することを特徴とする。
【0021】
また、本発明に係る金属組織の相の分類方法は、上記発明において、前記学習済みモデルが、決定木、ランダムフォレストまたはニューラルネットワークを含む機械学習モデルであることを特徴とする。
【0022】
上述した課題を解決し、目的を達成するために、本発明に係る金属組織の相の分類装置は、金属材料の金属組織を撮影した画像の画素について、1つ以上の特徴値を算出する特徴値算出部と、前記金属組織の予め指定した一または複数の相のラベルが付与された特徴値を入力とし、各相のラベルを出力として学習させた学習済みモデルに対して、前記特徴値算出部で算出した特徴値を入力し、入力した特徴値に対応する画素の相のラベルを取得することにより、前記画像の金属組織の相を分類する相分類部と、を備えることを特徴とする。
【0023】
また、本発明に係る金属組織の相の分類装置は、上記発明において、前記画像の画素の輝度値を調整する画像前処理部と、前記画像前処理部の前処理パラメータを調整する前処理調整部と、を更に備えることを特徴とする。
【0024】
上述した課題を解決し、目的を達成するために、本発明に係る金属組織の相の学習方法は、金属材料の金属組織を撮影した画像について、前記金属組織の予め指定した一または複数の相に対応する画素に対し、各相のラベルを付与する相指定工程と、各相のラベルを付与した画素について、1つ以上の特徴値を算出する特徴値算出工程と、各相のラベルが付与された前記特徴値を入力とし、各相のラベルを出力として学習することにより、学習済みモデルを生成するモデル生成工程と、を含むことを特徴とする。
【0025】
上述した課題を解決し、目的を達成するために、本発明に係る金属組織の相の学習装置は、金属材料の金属組織を撮影した画像について、前記金属組織の予め指定した一または複数の相に対応する画素に対し、各相のラベルを付与する相指定部と、各相のラベルを付与した画素について、1つ以上の特徴値を算出する特徴値算出部と、各相のラベルが付与された前記特徴値を入力とし、各相のラベルを出力として学習することにより、学習済みモデルを生成するモデル生成部と、を備えることを特徴とする。
【0026】
上述した課題を解決し、目的を達成するために、本発明に係る金属材料の材料特性予測方法は、金属材料の材料特性を予測する金属材料の材料特性予測方法であって、上記の金属組織の相の分類方法の後に、分類した各相の大きさ、面積率または形状を算出することにより、金属組織の定量評価値を算出する定量評価工程と、前記定量評価値と、予め用意された前記金属材料の材料特性との中から、前記金属材料の材料特性の予測に使用するデータを選択するデータ選択工程と、選択したデータを用いて、前記金属材料の材料特性を予測する予測モデルを生成するモデル生成工程と、生成した予測モデルを用いて前記金属材料の材料特性を予測する材料特性予測工程と、を含む。
【0027】
上述した課題を解決し、目的を達成するために、本発明に係る金属材料の材料特性予測装置は、金属材料の材料特性を予測する金属材料の材料特性予測装置であって、金属組織の相の分類が行われた画像を入力する入力部と、分類した各相の大きさ、面積率または形状を算出することにより、金属組織の定量評価値を算出する定量評価部と、前記定量評価値をデータベースに記録するデータ記録部と、前記データベースに記録された前記定量評価値および前記金属材料の材料特性の中から、前記金属材料の材料特性の予測に使用するデータを選択するデータ選択部と、選択したデータを用いて、前記金属材料の材料特性を予測する予測モデルを生成するモデル生成部と、生成した予測モデルを用いて前記金属材料の材料特性を予測する材料特性予測部と、予測した前記金属材料の材料特性を出力する出力部と、を備える。
【発明の効果】
【0028】
本発明に係る金属組織の相の学習方法、金属組織の相の分類方法、金属組織の相の学習装置、金属組織の相の分類装置によれば、金属組織の画像から各相の特徴値を求め、この特徴値と各相との対応関係を学習させることにより、金属材料において重要な金属組織を定量的かつ高速に評価することができる。
【0029】
また、本発明に係る金属組織の相の学習方法、金属組織の相の分類方法、金属組織の相の学習装置、金属組織の相の分類装置によれば、異なる金属材料であっても、組織画像の輝度レベルを最適化することができるため、組織画像の相の分類を高精度で行うことができる。
【0030】
また、本発明に係る金属材料の材料特性予測方法および金属材料の材料特性予測装置によれば、金属組織の相の分類結果から定量評価を効率的に実施できる。そのため、定量評価値と金属材料の材料特性との相関を導くことにより、金属材料の材料特性を正確に予測することができる。これにより、金属組織の画像を見ると同時に、金属材料の材料特性を把握することできるため、金属材料(例えば鋼板)開発の効率性を向上させることができる。
【図面の簡単な説明】
【0031】
【
図1】
図1は、本発明の実施形態に係る金属組織の相の学習装置の概略的な構成を示すブロック図である。
【
図2】
図2は、本発明の実施形態1に係るおよび金属組織の相の分類装置の概略的な構成を示すブロック図である。
【
図3】
図3は、本発明の実施形態2に係るおよび金属組織の相の分類装置の概略的な構成を示すブロック図である。
【
図4】
図4は、本発明の実施形態に係る金属組織の相の学習方法の流れを示すフローチャートである。
【
図5】
図5は、本発明の実施形態1に係るおよび金属組織の相の分類方法の流れを示すフローチャートである。
【
図6】
図6は、本発明の実施形態2に係るおよび金属組織の相の分類方法の流れを示すフローチャートである。
【
図7】
図7は、本発明の実施形態に係る金属材料の材料特性予測装置の概略的な構成を示すブロック図である。
【
図8】
図8は、本発明の実施形態に係る金属材料の材料特性予測方法の流れを示すフローチャートである。
【
図9】
図9は、本発明に係る金属組織の相の学習方法の実施例であり、画像入力工程において、走査型電子顕微鏡で撮影した画像と、当該画像の輝度値のラインプロファイルとを示す図である。
【
図10】
図10は、本発明に係る金属組織の相の学習方法の実施例であり、画像前処理工程において、バックグランド除去を行った後の画像と、当該画像の輝度値のラインプロファイルとを示す図である。
【
図11】
図11は、本発明に係る金属組織の相の学習方法の実施例であり、相指定工程で指定したフェライト相およびマルテンサイト相を示す図である。
【
図12】
図12は、本発明に係る金属組織の相の学習方法の実施例であり、特徴値算出工程で算出した恒等特徴値、Gausian特徴値およびMean特徴値を示す図である。
【
図13】
図13は、本発明に係る金属組織の相の学習方法の実施例であり、モデル生成工程で生成した決定木を示す図である。
【
図14】
図14は、本発明に係る金属組織の相の分類方法の実施例であり、特徴値算出工程で算出した恒等特徴値、Gausian特徴値およびMean特徴値を示す図である。
【
図15】
図15は、本発明に係る金属組織の相の分類方法の実施例であり、原画像、実施例の分類結果および比較例の分類結果を示す図である。
【
図16】
図16は、本発明に係る金属組織の相の分類方法の実施例であり、原画像、バックグランド除去後の画像、実施例の分類結果および比較例の分類結果を示す図である。
【
図17】
図17は、本発明に係る金属材料の材料特性予測方法の実施例であり、
図15の(b)および
図16の(c)の組織画像から算出したフェライト相の真円度のヒストグラムを示す図である。
【
図18】
図18は、本発明に係る金属材料の材料特性予測方法の実施例であり、予測モデル生成部で生成した予測モデル(ニューラルネットワークモデル)による引張強度の予測結果を示す図である。
【発明を実施するための形態】
【0032】
本発明の実施形態に係る金属組織の相の分類方法、金属組織の相の分類装置、金属組織の相の学習方法、金属組織の相の学習装置、金属材料の材料特性予測方法および金属材料の材料特性予測装置について、図面を参照しながら説明する。
【0033】
本実施形態に係る金属組織の相の学習方法および学習装置は、構造部材、自動車用部材等の様々な製品の素材として使用される金属材料の特性を制御する上で重要な情報となる金属組織の相を学習する手法および装置である。また、本実施形態に係る金属組織の相の分類方法および分類装置は、金属組織の相の学習方法および学習装置の学習結果に基づいて金属組織の相を分類する手法および装置である。なお、本実施形態で相の学習および分類を行う金属材料は、例えばフェライト相およびマルテンサイト相からなる二相鋼板(DP鋼板)である。以下では、金属組織の相の学習装置および分類装置の構成について説明した後、これらの装置を用いた学習方法および分類方法について説明する。そして、金属材料の材料特性予測装置の構成について説明した後、この装置を用いた材料特性予測方法について説明する。
【0034】
(金属組織の相の学習装置)
金属組織の相の学習装置(以下、「学習装置」という)1について、
図1を参照しながら説明する。学習装置1は、入力部10と、出力部20と、演算部30と、を備えている。
【0035】
入力部10は、演算部30に対して、金属材料の金属組織を撮影した画像(以下、「組織画像」という)を入力する入力手段である。この組織画像は、当該組織画像の撮影に広く用いられている光学顕微鏡または走査型電子顕微鏡等の公知の撮影装置によって取得することができる。
【0036】
一般的に、組織画像の撮影時は試料調整を実施するが、この試料調整は公知の方法を用いればよい。例えば走査型電子顕微鏡で撮影した場合、公知の試料調整としては、次のような方法が挙げられる。まず試料片をエメリー紙で荒研磨後、0.5μm~2.0μmのアルミナ研磨剤を使用したバフ研磨によって、試料表面が鏡面になるまで研磨する。そして、1%ナイタール等の薄い腐食溶液に1秒程度浸食させる。この試料調整の実施は必須ではないが、予め存在する試料表面の傷が消えるまで鏡面研磨を行うことが好ましい。
【0037】
また、組織画像の撮影時の倍率、光学顕微鏡における光源の強さ、電子顕微鏡における加速電圧等の撮影条件は特に限定されず、解析対象となる金属組織に応じて作業者が設定すればよい。また、組織画像の撮影の際は、相ごとのコントラストが明確になるようコントラストの調整を行った後に撮影を行うことが好ましい。なお、組織画像は、撮影装置からの取得に限定されず、予め撮影し保存された外部あるいは内部の記録媒体(例えば、ハードディスクやUSBメモリ等)から取得し、入力部10に入力してもよい。
【0038】
出力部20は、演算部30による演算結果を出力する出力手段である。出力部20は、例えばディスプレイ、プリンタまたはスマートフォン等で構成される。出力部20は、例えば、画像前処理部31によって前処理された組織画像、特徴値算出部33によって算出された金属組織の相の特徴値、モデル生成部34による金属組織の各相の学習結果等を出力する。なお、出力部20による出力形式は特に限定されず、例えばテキストファイルや画像ファイル等のデータや、出力装置に投影する形式で出力してもよい。
【0039】
演算部30は、例えばCPU(Central Processing Unit)等からなるプロセッサと、RAM(Random Access Memory)やROM(Read Only Memory)等からなるメモリ(主記憶部)と、によって実現される。演算部30は、プログラムを主記憶部の作業領域にロードして実行し、プログラムの実行を通じて各構成部等を制御することにより、所定の目的に合致した機能を実現する。また、演算部30は、前記したプログラムの実行を通じて、画像前処理部31、相指定部32、特徴値算出部33およびモデル生成部34として機能する。なお、各部の詳細は後記する(
図4参照)。
【0040】
(金属組織の相の分類装置(実施形態1))
実施形態1に係る金属組織の相の分類装置(以下、「分類装置」という)2について、
図2を参照しながら説明する。分類装置2は、入力部40と、出力部50と、演算部60と、を備えている。
【0041】
入力部40は、演算部60に対して、金属材料の組織画像を入力する入力手段である。この組織画像は、当該組織画像の撮影に広く用いられている光学顕微鏡または走査型電子顕微鏡等の公知の撮影装置によって取得することができる。入力部40に入力する組織画像は、入力部10に入力する組織画像と同様に試料調整を実施する。この試料調整の方法は、入力部10に入力する組織画像に対する試料調整の方法と同様である。また、入力部40に入力する組織画像の撮影時の撮影条件、コントラスト調整、記録媒体からの組織画像の取得についても、入力部10に入力する組織画像の場合と同様である。
【0042】
出力部50は、演算部60による演算結果を出力する出力手段である。出力部50は、例えばディスプレイ、プリンタまたはスマートフォン等で構成される。出力部50は、例えば、画像前処理部61によって前処理された組織画像、特徴値算出部62によって算出された金属組織の各相の特徴値、相分類部63による金属組織の相の分類結果等を出力する。なお、出力部50による出力形式は特に限定されず、例えばテキストファイルや画像ファイル等のデータや、出力装置に投影する形式で出力してもよい。
【0043】
演算部60は、演算部30と同様に、例えばCPU等からなるプロセッサと、RAMやROM等からなるメモリと、によって実現される。演算部60は、プログラムを主記憶部の作業領域にロードして実行し、プログラムの実行を通じて各構成部等を制御することにより、所定の目的に合致した機能を実現する。また、演算部60は、前記したプログラムの実行を通じて、画像前処理部61、特徴値算出部62および相分類部63として機能する。なお、各部の詳細は後記する(
図5参照)。
【0044】
(金属組織の相の分類装置(実施形態2))
実施形態2に係る金属組織の相の分類装置(以下、「分類装置」という)3について、
図3を参照しながら説明する。分類装置3は、入力部70と、出力部80と、演算部90と、を備えている。
【0045】
入力部70は、演算部90に対して、金属材料の組織画像を入力する入力手段である。この組織画像は、当該組織画像の撮影に広く用いられている光学顕微鏡または走査型電子顕微鏡等の公知の撮影装置によって取得することができる。入力部70に入力する組織画像は、入力部10,40に入力する組織画像と同様に試料調整を実施する。この試料調整の方法は、入力部10,40に入力する組織画像に対する試料調整の方法と同様である。また、入力部70に入力する組織画像の撮影時の撮影条件、コントラスト調整、記録媒体からの組織画像の取得についても、入力部10,40に入力する組織画像の場合と同様である。
【0046】
出力部80は、演算部90による演算結果を出力する出力手段である。出力部80は、例えばディスプレイ、プリンタまたはスマートフォン等で構成される。出力部80は、例えば、画像前処理部91によって前処理された組織画像、特徴値算出部92によって算出された金属組織の各相の特徴値、相分類部93による金属組織の相の分類結果を出力する。また、出力部80は、誤差評価値算出部94によって算出された誤差評価値、前処理調整部95によって調整された前処理条件(前処理パラメータ)等も出力する。なお、出力部80による出力形式は特に限定されず、例えばテキストファイルや画像ファイル等のデータや、出力装置に投影する形式で出力してもよい。
【0047】
演算部90は、演算部30,60と同様に、例えばCPU等からなるプロセッサと、RAMやROM等からなるメモリと、によって実現される。演算部90は、プログラムを主記憶部の作業領域にロードして実行し、プログラムの実行を通じて各構成部等を制御することにより、所定の目的に合致した機能を実現する。また、演算部90は、前記したプログラムの実行を通じて、画像前処理部91、特徴値算出部92、相分類部93、誤差評価値算出部94および前処理調整部95として機能する。なお、各部の詳細は後記する(
図6参照)。
【0048】
(金属組織の相の学習方法)
学習装置1を用いた金属組織の相の学習方法について、
図4を参照しながら説明する。金属組織の相の学習方法は、画像入力工程と、画像前処理工程と、相指定工程と、特徴値算出工程と、モデル生成工程と、をこの順で行う。なお、必要に応じて、公知の方法によって試料の表面を研磨等する試料調整工程と、光学顕微鏡または走査型電子顕微鏡等の公知の撮影装置によって金属材料の組織画像を撮影する撮影工程とを、画像前処理工程の前に行ってもよい。
【0049】
<画像入力工程>
画像入力工程では、入力部10が、必要に応じて試料調整が施された組織画像を演算部30に入力する(ステップS1)。
【0050】
<画像前処理工程>
画像前処理工程では、画像前処理部31が、組織画像の前処理を行う(ステップS2)。ここで、入力部10によって入力された組織画像(原画像)は、撮影前の試料調整方法の差異、また撮影時の光源の強さやコントラスト調整により、同一試料を同一の撮影装置で撮影した場合においても、撮影画像ごとにコントラストが異なるケースが多い。また、入力部10によって入力された組織画像は、同一画像内の同一の相であっても、光学顕微鏡の場合は光源の位置の差、電子顕微鏡の場合は検出器の位置の差等により、画像内の位置に応じて輝度値が異なるケースがある。このように輝度値が異なると、学習効率を低減するばかりか、相の分類時における誤差の原因ともなる。そのため、画像前処理工程では、組織画像の画素の輝度値を調整することにより、組織画像の前処理を行う。
【0051】
組織画像の前処理としては、例えば以下の処理(1)~(3)が挙げられる。以下の処理(1)~(3)は、複数組み合わせてもよく、あるいは1つのみ(例えば恒等処理のみ)を前処理として行ってもよい。但し、金属組織を撮影した場合、組織画像ごとに輝度値が異なったり、あるいは同一の画像内の位置に応じて輝度値が異なったりするケースが多いため、以下の処理(1)~(3)のうちのバックグランド除去処理は少なくとも実施することが好ましい。また、以下の処理(1)~(3)の他に、全体の輝度値の最大値および最小値を所定範囲だけ除去する処理を行ってもよい。
【0052】
(1)恒等処理
恒等処理では、入力された組織画像そのものを出力として返す。
【0053】
(2)バックグランド除去処理
バックグランド除去処理では、組織画像の平均輝度値(バックグランド)を除去する。光学顕微鏡または電子顕微鏡で撮影した組織画像は、組織画像全体が一定以上の輝度値を持っており、組織画像ごとに持っている輝度値の絶対値が大きく異なるケースがある。また光源または検出器の位置の違いから、一部分が明るく映り、一部分が暗く映るようなケースもある。そのため、バックグランド除去処理では、予めx画素×y画素の矩形領域を定め、その中で輝度値の最小値を求め、その画素間を適切な関数(例えば一次関数等)で補間を行い、その補間関数で全画素の輝度値を減ずることにより、輝度値の調整を行う。なお、「画素数x」および「画素数y」は、組織画像ごとに作業者が任意に設定すればよいが、例えば金属組織の複数の相のうち、結晶粒径が小さい方の結晶粒径の大きさ程度に設定することが好ましい。また、異方性がある場合は、各x方向、y方向の結晶粒サイズの大きさ程度に設定することが好ましい。また、x画素×y画素の領域は、長方形である必要はなく、例えば組織画像が球状の形状である場合は、x画素×y画素の領域も球状にすることが好ましい。なお、バックグランド除去処理の詳細については後記する(
図9および
図10参照)。
【0054】
(3)ヒストグラムの均等化処理
ヒストグラムの均等化処理では、組織画像の輝度値のヒストグラムを均等化する。光学顕微鏡または電子顕微鏡で撮影した組織画像の輝度値の分布は、組織画像ごとに平均値および標準偏差が大きく異なるケースが多い。そのため、ヒストグラムの平均値および標準偏差を揃える標準化を行い、組織画像の輝度値の平均値とばらつきを均質化する。
【0055】
<相指定工程>
相指定工程では、相指定部32が、金属材料の金属組織を撮影した組織画像について、金属組織の予め指定した一または特定の相に対応する画素に対し、各相のラベルを付与する(ステップS3)。なお、「組織画像の各相の画素に各相のラベルを付与する」とは、例えばDP鋼板の場合は、組織画像内でフェライト相およびマルテンサイト相に対応する画素を特定し、組織画像の画素とフェライト相およびマルテンサイト相とを対応付けることを示している。なお、相指定工程の詳細については後記する(
図11参照)。
【0056】
<特徴値算出工程>
特徴値算出工程では、特徴値算出部33が、相指定工程で各相のラベルが付与された画素について、1つ以上の特徴値を算出する(ステップS4)。特徴値算出工程では、例えば以下の特徴値(1)~(8)のうちの1つ以上の特徴値を算出する。
【0057】
(1)恒等特徴値
恒等特徴値は、組織画像の輝度値そのものを示す特徴値である。
【0058】
(2)Mean特徴値
Mean特徴値は、組織画像の所定の範囲における輝度値の平均値を示す特徴値である。すなわち、Mean特徴値は、組織画像の各相から所定の範囲「画素数x×画素数y」を取り出し、その中の輝度値を平均したものである。「画素数x」および「画素数y」は、同一のサイズでもよく、異なるサイズでもよい。また、「画素数x」および「画素数y」は、例えば組織画像に含まれるノイズよりも大きく、かつ金属組織の複数の相のうち、結晶粒径が小さい方の結晶粒径の1/2未満の大きさが含まれる範囲とすることが好ましい。また、異方性がある場合は、各x方向、y方向の結晶粒サイズの大きさ程度に設定することが好ましい。また、x画素×y画素の領域は、長方形である必要はなく、例えば組織画像が球状の形状である場合は、x画素×y画素の領域も球状にすることが好ましい。また、Mean特徴値は、複数の画素数x,yについて算出してもよい。なお、画素の範囲を大きくしすぎると、粒界の影響や隣接する他相の影響が受ける。そのため、画素の範囲は、結晶粒径が大きい方の結晶粒径の1/2未満の大きさが含まれる範囲とすることが好ましい。
【0059】
ここで、「組織画像に含まれるノイズ」とは、例えば組織画像の中で輝度値が急に高くなるような部分を示している(例えば
図10の(b)のA部参照)。そして、「画素数x,yをノイズより大きく」するとは、ノイズの幅(同図の(b)のB部参照)より大きくすることを示している。
【0060】
(3)Gausian特徴値
Gausian特徴値は、組織画像の所定の範囲において、中心に近いほど重みを大きくした輝度値の平均値を示す特徴値である。すなわち、Gausian特徴値は、組織画像の各相から所定の範囲「画素数x×画素数y」を取り出し、中心の画素ほど重みを大きくした平均値を取り出したものである。「画素数x」および「画素数y」は、同一のサイズでもよく、異なるサイズでもよい。また、「画素数x」および「画素数y」は、例えば組織画像に含まれるノイズよりも大きく、かつ金属組織の複数の相のうち、結晶粒径が小さい方の結晶粒径の1/2未満の大きさが含まれる範囲とすることが好ましい。また、異方性がある場合は、各x方向、y方向の結晶粒サイズの大きさ程度に設定することが好ましい。また、x画素×y画素の領域は、長方形である必要はなく、例えば組織画像が球状の形状である場合は、x画素×y画素の領域も球状にすることが好ましい。また、Gausian特徴値は、複数の画素数x,yについて算出してもよい。なお、画素の範囲を大きくしすぎると、粒界の影響や隣接する他相の影響が受ける。そのため、画素の範囲は、結晶粒径が大きい方の結晶粒径の1/2未満の大きさが含まれる範囲とすることが好ましい。
【0061】
また、Gausian特徴値を算出する際に、中心の画素にどの程度の重みをつけるかは、作業者が任意に設定することができるが、下記式(1)に示したガウス関数を用いることが好ましい。
【数1】
【0062】
なお、上記式(1)のΔxおよびΔyは、下記式(2)、(3)のように示すことができる。
【数2】
【0063】
(4)Median特徴値
Median特徴値は、組織画像の所定の範囲における輝度値の中心値を示す特徴値である。すなわち、Median特徴値は、組織画像の各相から所定の範囲「画素数x×画素数y」を取り出し、その中の輝度値から中心地を取り出したものである。「画素数x」および「画素数y」は、同一のサイズでもよく、異なるサイズでもよい。また、「画素数x」および「画素数y」は、例えば組織画像に含まれるノイズよりも大きく、かつ金属組織の複数の相のうち、結晶粒径が小さい方の結晶粒径の1/2未満の大きさが含まれる範囲とすることが好ましい。また、異方性がある場合は、各x方向、y方向の結晶粒サイズの大きさ程度に設定することが好ましい。また、x画素×y画素の領域は、長方形である必要はなく、例えば組織画像が球状の形状である場合は、x画素×y画素の領域も球状にすることが好ましい。また、Median特徴値は、複数の画素数x,yについて算出してもよい。なお、画素の範囲を大きくしすぎると、粒界の影響や隣接する他相の影響が受ける。そのため、画素の範囲は、結晶粒径が大きい方の結晶粒径の1/2未満の大きさが含まれる範囲とすることが好ましい。
【0064】
(5)Max特徴値
Max特徴値は、組織画像の所定の範囲における輝度値の最大値を示す特徴値である。すなわち、Max特徴値は、組織画像の各相から所定の範囲「画素数x×画素数y」を取り出し、その中の輝度値から最大値を取り出したものである。「画素数x」および「画素数y」は、同一のサイズでもよく、異なるサイズでもよい。また、「画素数x」および「画素数y」は、例えば組織画像に含まれるノイズよりも大きく、かつ金属組織の複数の相のうち、結晶粒径が小さい方の結晶粒径の1/2未満の大きさが含まれる範囲とすることが好ましい。また、異方性がある場合は、各x方向、y方向の結晶粒サイズの大きさ程度に設定することが好ましい。また、x画素×y画素の領域は、長方形である必要はなく、例えば組織画像が球状の形状である場合は、x画素×y画素の領域も球状にすることが好ましい。また、Max特徴値は、複数の画素数x,yについて算出してもよい。なお、画素の範囲を大きくしすぎると、粒界の影響や隣接する他相の影響が受ける。そのため、画素の範囲は、結晶粒径が大きい方の結晶粒径の1/2未満の大きさが含まれる範囲とすることが好ましい。
【0065】
(6)Min特徴値
Min特徴値は、組織画像の所定の範囲における輝度値の最小値を示す特徴値である。すなわち、Min特徴値は、組織画像の各相から所定の範囲「画素数x×画素数y」を取り出し、その中の輝度値から最小値を取り出したものである。「画素数x」および「画素数y」は、同一のサイズでもよく、異なるサイズでもよい。また、「画素数x」および「画素数y」は、例えば組織画像に含まれるノイズよりも大きく、かつ金属組織の複数の相のうち、結晶粒径が小さい方の結晶粒径の1/2未満の大きさが含まれる範囲とすることが好ましい。また、異方性がある場合は、各x方向、y方向の結晶粒サイズの大きさ程度に設定することが好ましい。また、x画素×y画素の領域は、長方形である必要はなく、例えば組織画像が球状の形状である場合は、x画素×y画素の領域も球状にすることが好ましい。また、Min特徴値は、複数の画素数x,yについて算出してもよい。なお、画素の範囲を大きくしすぎると、粒界の影響や隣接する他相の影響が受ける。そのため、画素の範囲は、結晶粒径が大きい方の結晶粒径の1/2未満の大きさが含まれる範囲とすることが好ましい。
【0066】
(7)Derivative特徴値
Derivative特徴値は、組織画像の各相から所定の範囲「画素数x×画素数y」を取り出し、そのうちの端の画素に対してx方向およびy方向の微分値を計算したものである。「画素数x」および「画素数y」は、同一のサイズでもよく、異なるサイズでもよい。また、「画素数x」および「画素数y」は、例えば組織画像に含まれるノイズよりも大きく、かつ金属組織の複数の相のうち、結晶粒径が小さい方の結晶粒径の1/2未満の大きさが含まれる範囲とすることが好ましい。また、異方性がある場合は、各x方向、y方向の結晶粒サイズの大きさ程度に設定することが好ましい。また、x画素×y画素の領域は、長方形である必要はなく、例えば組織画像が球状の形状である場合は、x画素×y画素の領域も球状にすることが好ましい。また、Derivative特徴値は、複数の画素数x,yについて算出してもよい。なお、画素の範囲を大きくしすぎると、粒界の影響や隣接する他相の影響が受ける。そのため、画素の範囲は、結晶粒径が大きい方の結晶粒径の1/2未満の大きさが含まれる範囲とすることが好ましい。
【0067】
(8)Derivative加算特徴値
Derivative加算特徴値は、上記のDerivative特徴値に対して、上記のMean特徴値、Gaussian特徴値、Median特徴値、Max特徴値およびMin特徴値を演算することにより、Derivative特徴値を畳み込んだものである。前記した「画素数x」および「画素数y」は、同一のサイズでもよく、異なるサイズでもよい。また、「画素数x」および「画素数y」は、例えば組織画像に含まれるノイズよりも大きく、かつ金属組織の複数の相のうち、結晶粒径が小さい方の結晶粒径の1/2未満の大きさが含まれる範囲とすることが好ましい。また、異方性がある場合は、各x方向、y方向の結晶粒サイズの大きさ程度に設定することが好ましい。また、x画素×y画素の領域は、長方形である必要はなく、例えば組織画像が球状の形状である場合は、x画素×y画素の領域も球状にすることが好ましい。また、Derivative加算特徴値は、複数の画素数x,yについて算出してもよい。なお、画素の範囲を大きくしすぎると、粒界の影響や隣接する他相の影響が受ける。そのため、画素の範囲は、結晶粒径が大きい方の結晶粒径の1/2未満の大きさが含まれる範囲とすることが好ましい。
【0068】
ここで、上記の特徴値(1)~(6)は、各相の多数の画素に対して演算を行うため、同一の相であっても異なる特徴値を有し、各相に対して特徴値のヒストグラムを作成することができる。また上記の特徴値(1)~(6)を全て算出してもよく、一部の特徴値のみを算出してもよい。また、各特徴値の演算を組み合わせた特徴値を追加してもよく、必要に応じて上記に挙げていない特徴値を追加してもよい。これらの選択は、学習方法における学習精度が向上するように作業者が選択することが好ましく、各相の特徴値の差異が大きい特徴値を採用することが好ましい。例えば各相の特徴値について得られたヒストグラム(頻度分布)において、相ごとの特徴値の頻度が最も大きくなる特徴値の値の差(距離Dとする)を、該当する特徴値の最大値と最小値との差で正規化する。そして、正規化された距離Dを特徴値ごとに比較し、大きいものから複数採用する等が考えられる。
【0069】
また、特徴値(1)~(6)に加えて、上記の特徴値(7)、(8)を算出してもよく、あるいは各特徴値を組み合わせた特徴値を追加してもよい。特徴値(7)、(8)は、上記の特徴値(1)~(6)と同様に、各相の多数の画素に対して演算を行うため、同一の相であっても異なる特徴値を有し、各相に対して特徴値のヒストグラムを作成することができる。
【0070】
なお、上記の特徴値(1)~(8)を算出する際は、所定の範囲「画素数x×画素数y」を取り出して特徴値を算出するが、この「画素数x×画素数y」の中心の画素に対して畳み込まれた特徴値を算出する。そして、組織画像上で「画素数x×画素数y」を動かしながら、各位置の特徴値を算出する。また、「画素数x×画素数y」が組織画像上の端(上下左右の端)に位置している場合は、境界条件を課すか、あるいは画素数を中心から端までに限定して特徴値の算出を行う。また、境界条件として、「画素数x×画素数y」の中心から外側の画素については、「画素数x×画素数y」の中心と同じ特徴値であるとする。あるいは、中心から外側に向かって線形関数、指数関数、スプライン関数等の補間関数を用いて外挿することにより、特徴値の算出を行う。
【0071】
<モデル生成工程>
モデル生成工程では、モデル生成部34が、各相のラベルが付与された画素について特徴値算出工程で算出された特徴値を入力とし、各相のラベルを出力として学習(機械学習)することにより、学習済みモデルを生成する(ステップS5)。モデル生成工程では、特徴値が分岐条件として設定された決定木を生成する。なお、モデル生成工程における機械学習の手法は、決定木に限定されず、例えばランダムフォレストまたはニューラルネットワーク等であってもよいが、本実施形態では決定木を一例に説明を行う。
【0072】
モデル生成工程では、具体的には、特徴値算出工程で算出した各相の特徴値から、二値化を複数回繰り返すことにより、金属組織の相を分類する。この場合、予め、作業者が指定した相と特徴値算出工程で算出した各相の特徴値から、どの程度の精度で各相の分類を行うのかを設定し、その設定した数値情報に基づいて、二値化による分岐の学習を行う。
【0073】
例えば、80%の精度で二値化の分岐が実施されるように設定した場合、指定した相とその特徴値から、80%以上の確率で相の分類が実施されるように、特徴値の二値化を複数繰り返して学習することにより、決定木を作成する。前記した精度の設定は、作業者によって任意に設定すればよいが、下限を80%以上とすることが好ましい。精度を80%未満にすると、分類精度が低下する。また逆に、精度を高くしすぎると過学習により、学習後の画像分類において分類精度が却って悪化する。そのため、精度の上限は99%未満とすることが好ましい。
【0074】
モデル生成工程において、二値化を複数回実施する際の各特徴値の二値化の順序(分岐の順序)は、予め作業者によって指定してもよく、あるいは乱数を用いてランダムに決定してもよい。各特徴値の二値化の最適な順序は予め不明な場合が多いため、乱数を用いて、前記した精度以上で分類できる各特徴値の二値化の順序を、コンピュータで探索させることが好ましい。同様に、各特徴値の二値化の最適な回数は予め不明な場合が多いため、前記した精度以上で分類できる各特徴値の二値化の回数を、コンピュータで探索させることが好ましい。また、二値化の際の分岐条件として用いる特徴値は、分岐条件として複数回用いてもよい。なお、モデル生成工程の詳細については後記する(
図13参照)。また、モデルの入力となる特徴値の選択では、前述の各相の特徴値の頻度の最大値間の距離D(正規化されたものも含む)に基づいて、距離Dが大きなものから選択し、モデル精度が最も高くなるように選択することもできる。
【0075】
ここで、ステップS4で特徴値算出工程を実施した後に、特徴値の算出結果を出力部20から出力してもよい。その際の出力形式は特に限定されず、テキストファイルまたは画像ファイルのいずれの形式で出力してもよい。このように、特徴値の算出結果をテキストファイルまたは画像ファイルの形式で出力することにより、相の学習を行う前に、各特徴値の分類具合を確認することができる。同様に、ステップS5で学習済みモデル生成工程を実施した後に、学習済みモデルの生成結果(例えば決定木)を出力部20から出力してもよい。その際の出力形式は特に限定されず、テキストファイルまたは画像ファイルのいずれの形式で出力してもよい。
【0076】
以上説明したような実施形態に係る金属組織の相の学習装置および金属組織の相の学習方法によれば、金属組織の画像から各相の特徴値を求め、この特徴値と各相との対応関係を学習させることにより、金属材料において重要な金属組織を定量的かつ高速に評価することができる。
【0077】
また、実施形態に係る金属組織の相の学習装置および金属組織の相の学習方法によれば、撮影した組織画像に対して画像前処理を適切に行い、画像前処理を行った組織画像の相の指定を行い、指定した相の特徴値を算出して記録する。そして、記録した各相の特徴値に対して適切な二値化を繰り返し行い、繰り返し行う二値化手順を学習させる。そして、相の学習結果をもとに、任意の組織画像の相の分類を自動で行い、各相の相分率を正確に測定することができる。
【0078】
(金属組織の相の分類方法(実施形態1))
分類装置2を用いた金属組織の相の分類方法について、
図5を参照しながら説明する。金属組織の相の分類方法は、画像入力工程と、画像前処理工程と、特徴値算出工程と、相分類工程と、をこの順で行う。なお、必要に応じて、公知の方法によって試料の表面を研磨等する試料調整工程と、光学顕微鏡または走査型電子顕微鏡等の公知の撮影装置によって金属材料の組織画像を撮影する撮影工程とを、画像前処理工程の前に行ってもよい。
【0079】
<画像入力工程>
画像入力工程では、入力部40が、必要に応じて試料調整が施された組織画像を演算部60に入力する(ステップS11)。
【0080】
<画像前処理工程>
画像前処理工程では、画像前処理部61が、組織画像の前処理を行う(ステップS12)。ここで、入力部40によって入力された組織画像(原画像)は、撮影前の試料調整方法の差異、また撮影時の光源の強さやコントラスト調整により、同一試料を同一の撮影装置で撮影した場合においても、撮影画像ごとにコントラストが異なるケースが多い。また、入力部40によって入力された組織画像は、同一画像内の同一の相であっても、光学顕微鏡の場合は光源の位置の差、電子顕微鏡の場合は検出器の位置の差等により、画像内の位置に応じて輝度値が異なるケースがある。このように輝度値が異なると、学習効率を低減するばかりか、相の分類時における誤差の原因ともなる。そのため、画像前処理工程では、組織画像の画素の輝度値を調整することにより、組織画像の前処理を行う。
【0081】
組織画像の前処理としては、前記した学習方法の前処理工程(
図4のステップS2)と同様に、(1)恒等処理、(2)バックグランド除去処理、(3)ヒストグラム均等化処理が挙げられる。なお、これらの処理の内容は、前記した学習方法の前処理工程の場合と同様であるため、説明を省略する。上記の処理(1)~(3)は、複数組み合わせてもよく、あるいは1つのみ(例えば恒等処理のみ)を前処理として行ってもよい。但し、金属組織を撮影した場合、組織画像ごとに輝度値が異なったり、あるいは同一の画像内の位置に応じて輝度値が異なったりするケースが多いため、上記の処理(1)~(3)のうちのバックグランド除去処理は少なくとも実施することが好ましい。
【0082】
<特徴値算出工程>
特徴値算出工程では、特徴値算出部62が、画像入力工程で入力された組織画像の各画素について、1つ以上の特徴値を算出する(ステップS13)。特徴値算出工程では、前記した学習方法の特徴値算出工程(
図4のステップS4)と同様に、(1)恒等特徴値、(2)Mean特徴値、(3)Gausian特徴値、(4)Median特徴値、(5)Max特徴値、(6)Min特徴値のうちの1つ以上の特徴値を算出する。
【0083】
また、特徴値算出工程では、前記した学習方法の特徴値算出工程(
図4のステップS4)と同様に、(7)Derivative特徴値、(8)Derivative加算特徴値を加えた特徴値(1)~(8)のうちの1つ以上の特徴値を算出してもよい。また、特徴値算出工程では、特徴値(1)~(6)に加えて特徴値(7)、(8)を算出してもよい。
【0084】
ここで、上記の特徴値(1)~(6)は、各相の多数の画素に対して演算を行うため、同一の相であっても異なる特徴値を有し、各相に対して特徴値のヒストグラムを作成することができる。また上記の特徴値(1)~(6)を全て算出してもよく、一部の特徴値のみを算出してもよい。また、各特徴値の演算を組み合わせた特徴値を追加してもよく、必要に応じて上記に挙げていない特徴値を追加してもよい。これらの選択は、学習方法における学習精度が向上するように作業者が選択することが好ましく、各相の特徴値の差異が大きい特徴値を採用することが好ましい。
【0085】
また、特徴値(7)、(8)は、上記の特徴値(1)~(6)と同様に、各相の多数の画素に対して演算を行うため、同一の相であっても異なる特徴値を有し、各相に対して特徴値のヒストグラムを作成することができる。また、上記の特徴値(1)~(8)を全て算出してもよく、一部の特徴値のみを算出してもよい。また、各特徴値の演算を組み合わせた特徴値を追加してもよく、必要に応じて上記に挙げていない特徴値を追加してもよい。これらの選択は、学習方法における学習精度が向上するように作業者が選択することが好ましく、各相の特徴値の差異が大きい特徴値を採用することが好ましい。
【0086】
なお、上記の特徴値(1)~(8)を算出する際は、所定の範囲「画素数x×画素数y」を取り出して特徴値を算出するが、この「画素数x×画素数y」の中心の画素に対して畳み込まれた特徴値を算出する。そして、組織画像上で「画素数x×画素数y」を動かしながら、各位置の特徴値を算出する。また、「画素数x×画素数y」が組織画像上の端(上下左右の端)に位置している場合は、境界条件を課すか、あるいは画素数を中心から端までに限定して特徴値の算出を行う。また、境界条件として、「画素数x×画素数y」の中心から外側の画素については、「画素数x×画素数y」の中心と同じ特徴値であるとする。あるいは中心から外側に向かって線形関数、指数関数、スプライン関数等の補間関数を用いて外挿することにより、特徴値の算出を行う。
【0087】
<相分類工程>
相分類工程では、相分類部63が、前記した学習方法のモデル生成工程(ステップS5)で生成した学習済みモデル(例えば決定木)を用いて、金属組織の相の分類を行う(ステップS14)。すなわち、相分類工程では、金属組織の予め指定した一または複数の相のラベルが付与された特徴値を入力とし、各相のラベルを出力として学習させた学習済みモデルに対して、特徴値算出工程で算出した特徴値を入力する。そして、入力した特徴値に対応する画素の相のラベルを取得することにより、組織画像の金属組織の相を分類する。
【0088】
ここで、ステップS13で特徴値算出工程を実施した後に、特徴値の算出結果を出力部50から出力してもよい。その際の出力形式は特に限定されず、テキストファイル(例えば数値の集合)または画像ファイル(例えば
図12のヒストグラム画像、
図14の組織画像)のいずれの形式で出力してもよい。このように、特徴値の算出結果をテキストファイルまたは画像ファイルの形式で出力することにより、相の分類を行う前に、各特徴値の分類具合を確認することができる。同様に、ステップS14で相分類工程を実施した後に、相の分類結果を出力部50から出力してもよい。その際の出力形式は特に限定されず、テキストファイルまたは画像ファイルのいずれの形式で出力してもよい。
【0089】
以上説明したような実施形態1に係る金属組織の相の分類装置および金属組織の相の分類方法によれば、金属組織の画像から各相の特徴値を求め、この特徴値と各相との対応関係を学習させることにより、金属材料において重要な金属組織を定量的かつ高速に評価することができる。
【0090】
また、実施形態に係る実施形態1に係る金属組織の相の分類装置および金属組織の相の分類方法によれば、撮影した組織画像に対して画像前処理を適切に行い、画像前処理を行った組織画像の相の指定を行い、指定した相の特徴値を算出して記録する。そして、記録した各相の特徴値に対して適切な二値化を繰り返し行い、繰り返し行う二値化手順を学習させる。そして、相の学習結果をもとに、任意の組織画像の相の分類を自動で行い、各相の相分率を正確に測定することができる。
【0091】
(金属組織の相の分類方法(実施形態2))
分類装置3を用いた金属組織の相の分類方法について、
図6を参照しながら説明する。金属組織の相の分類方法では、1つの金属材料から、当該金属材料の金属組織を撮影した複数の画像に対して、2つ以上の金属組織の相を分類する。金属組織の相の分類方法は、画像入力工程と、画像前処理工程と、特徴値算出工程と、相分類工程と、誤差評価値算出工程と、前処理調整工程と、をこの順で行う。なお、必要に応じて、公知の方法によって試料の表面を研磨等する試料調整工程と、光学顕微鏡または走査型電子顕微鏡等の公知の撮影装置によって金属材料の組織画像を撮影する撮影工程とを、画像前処理工程の前に行ってもよい。
【0092】
<画像入力工程>
画像入力工程では、入力部70が、試料の一部の画像を演算部90に入力する(ステップS21)。画像入力工程では、具体的には、1つの金属材料から撮影され、必要に応じて試料調整が施された複数の組織画像の中から一または所定数の組織画像を選択し、選択した組織画像を演算部90に入力する。
【0093】
<画像前処理工程>
画像前処理工程では、画像前処理部91が、組織画像の前処理を行う(ステップS22)。ここで、入力部70によって入力された組織画像(原画像)は、撮影前の試料調整方法の差異、また撮影時の光源の強さやコントラスト調整により、同一試料を同一の撮影装置で撮影した場合においても、撮影画像ごとにコントラストが異なるケースが多い。また、入力部70によって入力された組織画像は、同一画像内の同一の相であっても、光学顕微鏡の場合は光源の位置の差、電子顕微鏡の場合は検出器の位置の差等により、画像内の位置に応じて輝度値が異なるケースがある。このように輝度値が異なると、学習効率を低減するばかりか、相の分類時における誤差の原因ともなる。そのため、画像前処理工程では、組織画像の画素の輝度値を調整することにより、組織画像の前処理を行う。
【0094】
組織画像の前処理としては、前記した学習方法の前処理工程(
図4のステップS2)と同様に、(1)恒等処理、(2)バックグランド除去処理、(3)ヒストグラム均等化処理が挙げられる。なお、これらの処理の内容は、前記した学習方法の前処理工程の場合と同様であるため、説明を省略する。上記の処理(1)~(3)は、複数組み合わせてもよく、あるいは1つのみ(例えば恒等処理のみ)を前処理として行ってもよい。但し、金属組織を撮影した場合、組織画像ごとに輝度値が異なったり、あるいは同一の画像内の位置に応じて輝度値が異なったりするケースが多いため、上記の処理(1)~(3)のうちのバックグランド除去処理は少なくとも実施することが好ましい。
【0095】
<特徴値算出工程>
特徴値算出工程では、特徴値算出部92が、画像入力工程で入力された組織画像の各画素について、1つ以上の特徴値を算出する(ステップS23)。特徴値算出工程では、前記した学習方法の特徴値算出工程(
図4のステップS4)と同様に、(1)恒等特徴値、(2)Mean特徴値、(3)Gausian特徴値、(4)Median特徴値、(5)Max特徴値、(6)Min特徴値のうちの1つ以上の特徴値を算出する。
【0096】
また、特徴値算出工程では、前記した学習方法の特徴値算出工程(
図4のステップS4)と同様に、(7)Derivative特徴値、(8)Derivative加算特徴値を加えた特徴値(1)~(8)のうちの1つ以上の特徴値を算出してもよい。また、特徴値算出工程では、特徴値(1)~(6)に加えて特徴値(7)、(8)を算出してもよい。
【0097】
ここで、上記の特徴値(1)~(6)は、各相の多数の画素に対して演算を行うため、同一の相であっても異なる特徴値を有し、各相に対して特徴値のヒストグラムを作成することができる。また上記の特徴値(1)~(6)を全て算出してもよく、一部の特徴値のみを算出してもよい。また、各特徴値の演算を組み合わせた特徴値を追加してもよく、必要に応じて上記に挙げていない特徴値を追加してもよい。これらの選択は、学習方法における学習精度が向上するように作業者が選択することが好ましく、各相の特徴値の差異が大きい特徴値を採用することが好ましい。
【0098】
また、特徴値(7)、(8)は、上記の特徴値(1)~(6)と同様に、各相の多数の画素に対して演算を行うため、同一の相であっても異なる特徴値を有し、各相に対して特徴値のヒストグラムを作成することができる。また、上記の特徴値(1)~(8)を全て算出してもよく、一部の特徴値のみを算出してもよい。また、各特徴値の演算を組み合わせた特徴値を追加してもよく、必要に応じて上記に挙げていない特徴値を追加してもよい。これらの選択は、学習方法における学習精度が向上するように作業者が選択することが好ましく、各相の特徴値の差異が大きい特徴値を採用することが好ましい。
【0099】
なお、上記の特徴値(1)~(8)を算出する際は、所定の範囲「画素数x×画素数y」を取り出して特徴値を算出するが、この「画素数x×画素数y」の中心の画素に対して畳み込まれた特徴値を算出する。そして、組織画像上で「画素数x×画素数y」を動かしながら、各位置の特徴値を算出する。また、「画素数x×画素数y」が組織画像上の端(上下左右の端)に位置している場合は、境界条件を課すか、あるいは画素数を中心から端までに限定して特徴値の算出を行う。また、境界条件として、「画素数x×画素数y」の中心から外側の画素については、「画素数x×画素数y」の中心と同じ特徴値であるとする。あるいは中心から外側に向かって線形関数、指数関数、スプライン関数等の補間関数を用いて外挿することにより、特徴値の算出を行う。
【0100】
<相分類工程>
相分類工程では、相分類部93が、前記した学習方法のモデル生成工程(ステップS5)で生成した学習済みモデル(例えば決定木)を用いて、金属組織の相の分類を行う(ステップS24)。すなわち、相分類工程では、金属組織の予め指定した一または複数の相のラベルが付与された特徴値を入力とし、各相のラベルを出力として学習させた学習済みモデルに対して、特徴値算出工程で算出した特徴値を入力する。そして、入力した特徴値に対応する画素の相のラベルを取得することにより、組織画像の金属組織の相を分類する。
【0101】
ここで、ステップS23で特徴値算出工程を実施した後に、特徴値の算出結果を出力部80から出力してもよい。その際の出力形式は特に限定されず、テキストファイル(例えば数値の集合)または画像ファイル(例えば
図12のヒストグラム画像、
図14の組織画像)のいずれの形式で出力してもよい。このように、特徴値の算出結果をテキストファイルまたは画像ファイルの形式で出力することにより、相の分類を行う前に、各特徴値の分類具合を確認することができる。同様に、ステップS24で相分類工程を実施した後に、相の分類結果を出力部80から出力してもよい。その際の出力形式は特に限定されず、テキストファイルまたは画像ファイルのいずれの形式で出力してもよい。
【0102】
<誤差評価値算出工程>
誤差評価値算出工程では、誤差評価値算出部94が、相分類工程で分類した金属組織の各相に対して、画素ごとに正誤を定めて誤差評価値を算出する(ステップS25)。
【0103】
<前処理調整工程>
前処理調整工程では、誤差評価値算出工程で算出した誤差評価値が小さくなるように、画像前処理部91の前処理条件(前処理パラメータ)を変更し、特徴値算出工程、相分類工程および誤差評価値算出工程を繰り返して、前処理条件を調整する。
【0104】
前処理調整工程では、まず前処理調整部95が、誤差評価値算出工程で算出した誤差評価値に基づいて、相の分類精度が所定以上であるか否かを判定する(ステップS26)。相の分類精度が所定以上であると判定した場合(ステップS26でYes)、前処理条件を固定値として定め、試料の他の画像、すなわち金属材料の金属組織を撮影した複数の画像を入力する(ステップS27)。そして、これらの画像の全てに対して、画像前処理工程(ステップS28)、特徴値算出工程(ステップS29)および相分類工程(ステップS30)を行う。
【0105】
一方、相の分類精度が所定未満であると判定した場合(ステップS26でNo)、前処理調整部95は、前処理条件を変更し(ステップS31)、ステップS22に戻る。そして、ステップS26において相の分類精度が所定以上と判定されるまで、画像前処理工程(ステップS22)、特徴値算出工程(ステップS23)、相分類工程(ステップS24)、誤差評価値算出工程(ステップS25)を行う。
【0106】
ここで、金属材料の組織画像を一旦撮影し、試料を作成して相の分類を学習させた後に、同一鋼種または同一系統の金属材料の組織画像に対して相の分類を行う場合、分類精度が悪化する場合がある。これは、同一鋼種・同一系統であっても、試料のエッチング条件や撮影条件等の違いにより、撮影する画像のコントラスト等が変化する可能性があるためである。
【0107】
組織画像のコントラスト等は、上記の画像前処理工程(ステップS22)において、ある程度調整が可能であるが、その前処理条件(前処理パラメータ)も変更可能なパラメータを含んでいる。そのため、材料に応じて前処理条件を調整することにより、相の分類精度の向上が期待できる。
【0108】
そこで、同一の試料について、多数の組織画像を採取して相の分類を行う場合には、上記のステップS21~ステップS25に示す処理を行う。すなわち、複数の組織画像の中から一または所定数の組織画像を選択して入力し(ステップS21)、画像の前処理(ステップS22)、特徴値の算出(ステップS23)、事前学習した学習済みモデルによる金属組織の相の分類(ステップS24)を行う。そして、その結果の評価(すなわち誤差評価値の算出(ステップS25))を行う。
【0109】
上記のステップS25では、例えば人による相の分類結果と、ステップS24における相の分類結果との比較を行う。この場合、人による相の分類結果を正とし、ステップS24で得られた相の分類結果について、画素単位で正誤を判定し、エラーを数値化する。例えば、正の画素は“0”、誤の画素は“1”等として合計値を算出することにより、誤差評価値を得ることができる。
【0110】
そして、上記のステップS31では、ステップS25で算出した誤差評価値が小さくなり、分類精度が予め定めた閾値以上となるように(ステップS26参照)、前処理条件である輝度調整のパラメータを変更する。
【0111】
ステップS31で変更する前処理パラメータは、例えばバックグランド除去を行う平均輝度値を計算する幅等が挙げられる。また、組織画像の輝度値のヒストグラムの均質化では、どのような平均、標準偏差が望ましいかが不明であるため、基準とする平均、標準偏差の値を同様に探索し、輝度値のヒストグラムを変更することが考えられる。これらのパラメータ等の探索には、一般的な最適化手法を用いることができる。
【0112】
そして、一または所定数の組織画像の相の分類結果に基づいて前処理条件を最適化した後に、上記のステップS27~ステップS30に示すように、同一の試料のその他の組織画像について、金属組織の相の分類を実施する。この場合、基本的に1つの組織画像をサンプルとして前処理条件を最適化すればよいが、全体の評価用画像の数%以内の組織画像をサンプルとすると、より分類精度の向上が期待できる。
【0113】
以上説明したような実施形態2に係る金属組織の相の分類装置および金属組織の相の分類方法によれば、異なる金属材料であっても、組織画像の輝度レベルを最適化することができるため、組織画像の相の分類を高精度で行うことができる。
【0114】
(金属材料の材料特性予測装置)
金属材料の材料特性予測装置(以下、「材料特性予測装置」という)4について、
図7を参照しながら説明する。材料特性予測装置4は、入力部100と、出力部110と、演算部120と、記憶部130と、を備えている。
【0115】
入力部100は、演算部120に対して、金属組織の相の分類が行われた画像(以下、「分類画像」という)を入力する入力手段である。この分類画像は、上記の金属組織の相の分類方法によって金属組織の相の分類が行われた画像、あるいはその他の輝度値の二値化等の手法によって金属組織の相の分類が行われた画像等である。
【0116】
出力部110は、演算部120による演算結果を出力する出力手段である。出力部110は、例えばディスプレイ、プリンタまたはスマートフォン等で構成される。出力部110は、例えば、定量評価部121によって算出された金属組織の定量評価値、記憶部130のデータベースに記録されたデータ、材料特性予測部125による予測結果(金属材料の材料特性)等を出力する。なお、出力部110による出力形式は特に限定されず、例えばテキストファイルや画像ファイル等のデータや、出力装置に投影する形式で出力してもよい。
【0117】
演算部120は、演算部30,60,90と同様に、例えばCPU等からなるプロセッサと、RAMやROM等からなるメモリと、によって実現される。演算部120は、プログラムを主記憶部の作業領域にロードして実行し、プログラムの実行を通じて各構成部等を制御することにより、所定の目的に合致した機能を実現する。また、演算部120は、前記したプログラムの実行を通じて、定量評価部121、データ記録部122、データ選択部123、モデル生成部124および材料特性予測部125として機能する。なお、各部の詳細は後記する(
図8参照)。
【0118】
記憶部130は、EPROM(Erasable Programmable ROM)、ハードディスクドライブ(Hard Disk Drive:HDD)、ソリッドステートドライブ(Solid State Drive:SSD)およびリムーバブルメディア等の記録媒体から構成される。リムーバブルメディアとしては、例えばUSB(Universal Serial Bus)メモリ、CD(Compact Disc)、DVD(Digital Versatile Disc)、BD(Blu-ray(登録商標) Disc)のようなディスク記録媒体が挙げられる。また、記憶部130には、オペレーティングシステム(Operating System:OS)、各種プログラム、各種テーブル、各種データベース等が格納可能である。
【0119】
記憶部130には、例えば所定のデータが記録されたデータベースや、モデル生成部124によって生成された予測モデル(学習済みモデル)等が格納される。前記したデータベースには、例えば定量評価部121によって算出された金属組織の定量評価値、予め機械試験等によって得られた金属材料の材料特性値(鋼板データ)、金属材料の成分組成、金属材料等が記録されている。
【0120】
(金属材料の材料特性予測方法)
材料特性予測装置4を用いた金属組織の相の学習方法について、
図8を参照しながら説明する。金属組織の相の学習方法は、前記した金属組織の相の分類方法を行った後に、その分類結果(分類画像)を用いて実施する。金属組織の相の学習方法は、画像入力工程と、定量評価工程と、データ記録工程と、データ選択工程と、モデル生成工程と、材料特性予測工程と、予測結果出力工程と、をこの順で行う。
【0121】
<画像入力工程>
画像入力工程では、入力部100が、分類画像を演算部120に入力する(ステップS41)。
【0122】
<定量評価工程>
定量評価工程では、定量評価部121が、分類画像に含まれる各相を定量評価することにより、金属組織の定量評価値を算出する(ステップS42)。定量評価工程では、例えば以下の(1)~(5)に示すような定量評価値を算出する。
【0123】
(1)面積率
分類した相の面積を求めることにより、相の面積率を算出する。
【0124】
(2)長径、短径、アスペクト比
分類した相の各粒の形状を楕円近似することにより、楕円体の長径、短径、またはアスペクト比を算出する。
【0125】
(3)フェレー径
分類した相の各粒の界面から直線を引き、その直線の距離が最大となるフェレー径を算出する。
【0126】
(4)平均径
分類した相の各粒の面積を求め、その面積の平方根を取ることにより、粒の平均径を導出する。
【0127】
(5)真円度
分類した相の各粒の面積および周長を求め、下記式(4)により粒の真円度を算出する。なお、真円度は、粒が真円の場合は1.0となり、反対に粒が真円の形状から離れるほど、1.0よりも小さくなる。
【0128】
【0129】
ここで、上記の定量評価値(2)~(5)は、各粒に対して算出するため、1枚の組織画像に対しても複数の数値を得ることができ、各定量評価値のヒストグラムを作成することができる。
【0130】
<データ記録工程>
データ記録工程では、データ記録部122が、定量評価工程で算出した金属組織の定量評価値を、記憶部130のデータベースに記録する(ステップS43)。
【0131】
<データ選択工程>
データ選択工程では、データ選択部123が、データベースに記録された金属組織の定量評価値と、金属材料の材料特性のデータの中から、金属材料の材料特性の予測に使用するデータを選択(抽出)する(ステップS44)。
【0132】
なお、定量評価値は、粒ごとに算出するため、1枚の組織画像について複数の数値が得られるものがある。例えば、定量評価値(4)の平均径は、粒ごとに1つの平均径が得られるため、1枚の画像に対し、複数の数値が得られる。これらの複数の数値情報のうち、平均値を算出し、当該平均値のみを材料特性の予測に用いてもよく、標準偏差を材料特性の予測に用いてもよい。また、データ選択工程では、後記する予測モデル生成工程において、材料特性の予測精度のよい定量評価値を選択することが望ましい。そのため、例えば後記する材料特性予測工程において、予測精度が悪い場合は、本工程に戻り、再度データの選択を実施することが好ましい。なお、金属組織の定量評価値の他に、金属材料の成分組成や熱処理条件を入力してもよい。
【0133】
<予測モデル生成工程>
予測モデル生成工程では、モデル生成部124が、データ選択工程で選択したデータを用いて、金属材料の材料特性を予測する予測モデルを生成する(ステップS45)。予測モデル生成工程では、具体的には、データ選択工程で選択した定量評価値、金属材料の成分組成、熱処理条件等を用いて、材料特性を予測する予測モデルを生成する。その際、同じくデータ選択工程で選択した金属材料の材料特性のデータも用いて予測モデルを生成する。
【0134】
予測モデルは、ニューラルネットワーク、サポートベクトル回帰、ガウス過程回帰等のモデルを用いて生成してもよく、線形回帰等の単純な回帰式をとして生成してもよい。また、予測モデルの生成では、複数の予測モデルを用いて材料特性の予測を行い、最も予測精度の高い予測モデルを採用することが好ましい。
【0135】
材料特性の予測精度は、例えば測定値をX軸に、予測値をY軸に取り、両者のデータがどの程度一致しているのかを二次元のグラフで確認するか、あるいは各データの予測誤差を加え、データ数で除したパラメータ等で評価する。また、材料特性の予測精度は、例えば以下のような手順で評価することが好ましい。まず、データベースから選択したデータを、予測モデルにおけるパラメータフィッティングに用いるデータ(訓練データ)と、フィッティングに用いないデータ(テストデータ)とに分割する。そして、テストデータの予測値と実測値の一致度に基づいて材料特性の予測精度を評価する。なお、データベースから選択したデータを訓練データとテストデータとに分割する場合、作業者が選択して分割してもよく、あるいは訓練データおよびテストデータの割合を決めた後、乱数等を用いてランダムに決めてもよい。
【0136】
<材料特性予測工程>
材料特性予測工程では、材料特性予測部125が、予測モデル生成工程で生成した予測モデルを用いて、金属材料の材料特性を予測する(ステップS46)。材料特性予測工程では、具体的には、データ選択工程で選択した定量評価値を、予測モデル生成工程で生成した予測モデルに入力することにより、金属材料の材料特性を予測する。
【0137】
<予測結果出力工程>
予測結果出力工程では、出力部110が、材料特性予測工程における予測結果、すなわち金属材料の材料特性を出力する(ステップS47)。
【0138】
ここで、従来の方法では、効率的な金属組織の相の分類や、相を分類した画像を用いた金属組織の定量評価が困難であったため、組織画像から正確な材料特性の予測が困難であった。一方、本実施形態に係る金属材料の材料特性予測方法および金属材料の材料特性予測装置によれば、金属組織の相の分類結果から定量評価を効率的に実施できる。そのため、定量評価値と金属材料の材料特性との相関を導くことにより、金属材料の材料特性を精度よく予測することができる。これにより、金属組織の画像を見ると同時に、金属材料の材料特性を把握することできるため、金属材料(例えば鋼板)開発の効率性を向上させることができる。
【0139】
また、本実施形態に係る金属材料の材料特性予測方法および金属材料の材料特性予測装置によれば、組織画像の効率的なセグメンテーションにより、これまでと異なり効率的に金属組織の定量評価が可能となる。また、このように定量化した指標を用いることにより、撮影した組織画像の材料特性を精度よく予測することができる。
【実施例】
【0140】
(実施例1)
本発明に係る金属組織の相の学習方法および金属組織の相の分類方法の実施例1について、
図9~
図16を参照しながら説明する。本実施例では、金属組織の相の学習方法として、試料調整工程、撮影工程、画像入力工程、画像前処理工程、相指定工程、特徴値算出工程およびモデル生成工程を行った。また、金属組織の相の分類方法として、画像入力工程、特徴値算出工程および相分類工程を行った。
【0141】
まず、DP鋼板(フェライト相およびマルテンサイト相からなる鋼板)の鏡面研磨およびナイタールエッチングを行い(試料調整工程)、走査型電子顕微鏡を用いて金属組織の観察を行った(撮影工程)。
図9の(a)は、走査型電子顕微鏡で撮影した組織画像(原画像)を、(b)は、この組織画像の中心部(L1線の位置)の輝度値のラインプロファイルを示している。
【0142】
続いて、学習装置1に組織画像を入力し(画像入力工程)、画像前処理工程を行った。
図10の(a)は、画像前処理工程でバックグランド除去を実施した後の組織画像であり、(b)は、この組織画像の中心部(L2線の位置)の輝度値のラインプロファイルを示している。画像処理工程では、50画素ごとに輝度値の最小値を求めることにより、バックグランドの除去を行った。
【0143】
続いて、バックグランド除去の前処理を実施した組織画像に対して、フェライト相およびマルテンサイト相を指定する相指定工程を実施した。
図11は、相指定工程で指定したフェライト相およびマルテンサイト相を示している。同図において、実線で囲った領域がフェライト相であり、破線で囲った領域がマルテンサイト相である。本実施例では、フェライト相を3つ、マルテンサイト相を4つ指定したが、指定する相の数は、マシンスペック等に応じて決定すればよい。
【0144】
続いて、フェライト相とマルテンサイト相の特徴値を算出した(特徴値算出工程)。特徴値算出工程では、フェライト相およびマルテンサイト相について、恒等特徴値、4画素、8画素、16画素のMean特徴値、Gausian特徴値、Median特徴値、Max特徴値、Min特徴値、をそれぞれ算出した。これら計16個の特徴値のうち、
図12の(a)は、恒等特徴値を示すヒストグラム、(b)は、4画素の大きさについて算出したGausian特徴値を示すヒストグラム、(c)は、4画素の大きさについて算出したMean特徴値を示すヒストグラム、を示している。なお、
図12の(b)、(c)における各特徴値の括弧内の数字は、特徴値を算出した際の画素サイズを表している。
【0145】
なお、
図12に示すように、特徴値算出工程で複数の特徴値を算出した場合、各特徴値のヒストグラムを確認し、後段のモデル生成工程で学習させる特徴値を選択してもよい。この場合、同図に示すように、各相の特徴値の分布において、頻度の高い部分の値同士の距離Dがなるべく離れている特徴値を、モデル生成工程で学習させる特徴値として選択することが好ましい。頻度の高い部分の値同士の距離Dが離れているということは、各相の特徴値が分離しやすいということを意味するため、距離Dがなるべく離れている特徴値を学習させることにより、精度のよい学習済みモデルを生成することができる。例えば各相の特徴値について得られたヒストグラム(頻度分布)において、相ごとの特徴値の頻度が最も大きくなる特徴値の値の差(距離Dとする)を、該当する特徴値の最大値と最小値との差で正規化する。そして、正規化された距離Dを特徴値ごとに比較し、大きいものから複数採用する等が考えられる。
【0146】
このように特徴値を算出した後、モデル生成工程において複数回の二値化を繰り返し実施することにより、相の学習を行った。本実施例では、フェライト相とマルテンサイト相の特徴値の分布からランダムにデータを抽出したテストデータに対して、90%以上の確率で分類が実現するよう、二値化を複数回繰り返して学習を行った。
図13は、学習の結果生成した決定木の一部を示している。なお、
図13の分岐条件として設定された各特徴値の括弧内の数字は、特徴値を算出した際の画素サイズを表している。この学習例では、16画素の大きさに対して算出したMean特徴値が31.5未満であり、かつ恒等特徴値が12.5未満である場合、その画素をフェライトと判定する。
【0147】
続いて、
図13の学習結果に基づいて組織画像の相の分類を行った。まず、前記した学習方法の画像前処理工程にてバックグランド除去を行った組織画像(
図10参照)を分類装置2に入力し(画像入力工程)、フェライト相とマルテンサイト相の特徴値を算出した(特徴値算出工程)。
【0148】
特徴値算出工程では、フェライト相およびマルテンサイト相について、恒等特徴値、4画素、8画素、16画素のMean特徴値、Gausian特徴値、Median特徴値、Max特徴値、Min特徴値、をそれぞれ算出した。これら計16個の特徴値のうち、
図14の(a)は、恒等特徴値を示す画像、(b)は、16画素の大きさについて算出したGausian特徴値を示す画像、(c)は、16画素の大きさについて算出したMean特徴値を示す画像、を示している。なお、
図14の(b)、(c)における各特徴値の括弧内の数字は、特徴値を算出した際の画素サイズを表している。
【0149】
続いて、特徴値算出工程で算出した各特徴値を、前記した学習装置1で生成した決定木(フェライト相とマルテンサイト相の分岐図)を用いて分類した。その結果を
図15に示す。
図15の(a)は、前処理前の原画像、(b)は、実施例の分類結果、(c)は、比較例の分類結果、である。比較例の分類結果は、従来の二値化手法を用いて、組織画像の特徴値を分類した結果を示している。
【0150】
比較例の分類結果では、
図15の(c)に示すように、マルテンサイト相であるにもかかわらずフェライト相と分類されたものや、逆にフェライト相であるにもかかわらずマルテンサイト相と分類されたものが多く、分類精度が低いことがわかる。そのため、この二値化画像の白色部分および黒色部分の面積を求めたとしても、フェライト相およびマルテンサイト相の相分率を正確に求めることができない。
【0151】
一方、実施例の分類結果では、
図15の(b)に示すように、比較例よりも精度が高く、かつ各相を手塗により色分けして人力で分類する方法よりも、フェライト相およびマルテンサイト相の分類を、はるかに効率よく行えることがわかる。
【0152】
(実施例2)
本発明に係る金属組織の相の分類方法の実施例2について、
図16を参照しながら説明する。本実施例では、画像前処理工程(バックグランド除去)を行った組織画像と、画像前処理工程(バックグランド除去)を行っていない組織画像とについて、それぞれ特徴値を算出し、前記した実施例1の学習結果(例えば決定木)を用いて、金属組織の相の分類を行った。すなわち、本実施例では、画像前処理工程の有無による相の分類精度の違いについて検討を行った。
【0153】
まず、DP鋼板(フェライト相およびマルテンサイト相からなる鋼板)の鏡面研磨およびナイタールエッチングを行い(試料調整工程)、走査型電子顕微鏡を用いて金属組織の観察を行った(撮影工程)。
図16の(a)は、走査型電子顕微鏡で撮影した組織画像を示している。続いて、分類装置2に組織画像を入力し(画像入力工程)、画像前処理工程を行った。
図16の(b)は、画像前処理工程でバックグランド除去を実施した後の組織画像を示している。
【0154】
続いて、画像前処理工程にてバックグランド除去を行った組織画像について、フェライト相とマルテンサイト相の特徴値を算出した。特徴値算出工程では、フェライト相およびマルテンサイト相について、恒等特徴値、4画素、8画素、16画素のMean特徴値、Gausian特徴値、Median特徴値、Max特徴値、Min特徴値、をそれぞれ算出した。
【0155】
続いて、特徴値算出工程で算出した各特徴値を、前記した実施例1で生成した決定木(フェライト相とマルテンサイト相の分岐図)を用いて分類した。
図16の(c)は、実施例の分類結果であり、(d)は、比較例の分類結果実施例の分類結果、である。実施例の分類結果は、バックグランド除去を行った組織画像の特徴値を学習させた決定木を用いて、バックグランド除去を行った組織画像の特徴値を分類した結果を示している。一方、比較例の分類結果は、バックグランド除去を行っていない組織画像の特徴値を学習させた決定木を用いて、バックグランド除去を行っていない組織画像の特徴値を分類した結果を示している。
【0156】
実施例の分類結果では、
図16の(c)に示すように、分類精度が高く、かつ各相を手塗により色分けして人力で分類する方法よりも、フェライト相およびマルテンサイト相の分類を、はるかに効率よく行えることがわかる。
【0157】
一方、比較例の分類結果では、
図16の(d)に示すように、マルテンサイト相であるにもかかわらずフェライト相と分類されたものや、逆にフェライト相であるにもかかわらずマルテンサイト相と分類されたものが多く、分類精度が低いことがわかる。そのため、この二値化画像の白色部分および黒色部分の面積を求めたとしても、フェライト相およびマルテンサイト相の相分率を正確に求めることができない。
【0158】
(実施例3)
本発明に係る金属材料の材料特性予測方法および金属材料の材料特性予測装置の実施例3について、
図17および
図18を参照しながら説明する。
【0159】
本実施例では、まず前記した実施例1の分類結果(
図15の(b)参照)と、実施例2の分類結果(
図16の(c)参照)を用いて、金属組織の定量評価を行った(定量評価工程)。その際、フェライト相およびマルテンサイト相に対し、面積率および真円度のヒストグラムを算出した。
図17の(a)は、実施例1の分類結果(
図15の(b)参照)から算出したフェライト相の真円度のヒストグラムを、(b)は、実施例2の分類結果(
図16の(c)参照)から算出したフェライト相の真円度のヒストグラムを示している。
【0160】
続いて、上記で算出した定量評価値のうちのフェライト相およびマルテンサイト相の面積率と真円度の平均値、また定量評価値以外に、金属材料の成分組成を選択し(データ選択工程)、これらのデータを材料特性の予測に用いた。
【0161】
続いて、組織画像、金属材料の成分組成および引張強度からなるDP鋼板のデータベースから、100鋼種分のデータをランダムで抽出した。そして、抽出したこれらのデータに対して、同様に相の分類を行った後、前記したフェライト相およびマルテンサイト相の面積率と真円度の平均値を算出した。
【0162】
続いて、前記した定量評価値および金属材料の成分組成から引張強度を予測する予測モデルを生成した(予測モデル生成工程)。なお、ここでは、抽出したデータを9:1の割合でランダムに訓練データとテストデータとに分割した。また、ニューラルネットワークモデルを用いて、引張強度を予測する予測モデルを生成した。
【0163】
続いて、予測モデルの予測精度を検証するために、引張強度の実測値および予測値の比較を行った。
図18は、モデル生成部で生成したニューラルネットワークモデルによる引張強度の予測結果を示している。同図において、横軸は、データベースから抽出した引張強度の平均値と標準偏差を用いて規格化した引張強度の実測値を示している。また、縦軸は、データベースから抽出した引張強度の平均値と標準偏差を用いて規格化した引張強度の予測値を示している。また、同図において、丸いプロット点は、ニューラルネットワークモデルにおけるパラメータ調整に用いたサンプル(訓練データ)の引張強度の予測結果を示している。また、四角いプロット点は、パラメータ調整に使用していないサンプル(テストデータ)の引張強度の予測結果を示している。
【0164】
図18に示すように、訓練データ、テストデータともに、材料特性の予測精度がよく、フェライト相およびマルテンサイト相の面積率、真円度の平均値および金属材料の成分組成を用いることにより、引張強度を精度よく予測できていることがわかる。このように、本発明の手法を用いることにより、組織画像および金属材料の成分組成から材料の特性を精度よく予測することができるため、鋼板開発の効率性を向上させることができる。
【0165】
以上、本発明に係る金属組織の相の分類方法、金属組織の相の分類装置、金属組織の相の学習方法、金属組織の相の学習装置、金属材料の材料特性予測方法および金属材料の材料特性予測装置について、発明を実施するための形態および実施例により具体的に説明したが、本発明の趣旨はこれらの記載に限定されるものではなく、請求の範囲の記載に基づいて広く解釈されなければならない。また、これらの記載に基づいて種々変更、改変等したものも本発明の趣旨に含まれることはいうまでもない。
【0166】
ここで、本発明に係る金属組織の相の学習方法、金属組織の相の分類方法および金属材料の材料特性予測方法は、当該方法を実装したソフトウェアを、一般に市販されているコンピュータに導入することにより実現してもよい。一般に市販されているコンピュータとは、例えば各機能を実現するソフトウェアであるプログラムの命令を実行するCPU、上記ソフトウェアおよび各種データがコンピュータ(またはCPU)で読み取り可能な形で記録された記録媒体(例えばハードディスク、USBメモリ)、上記プログラムを展開するRAM、画像処理に特化したプロセッサであるGPU等を備えた演算器である。また市販されているコンピュータのみならず、ネットワーク上のクラウドコンピュータにソフトウェアを導入することにより、実現してもよい。
【0167】
また、学習装置1、分類装置2,3および材料特性予測装置4は、
図1、
図2、
図3および
図7に示すように、別の構成として説明したが、別々の装置によって実現してもよく、あるいは1つの装置によって実現してもよい。学習装置1、分類装置2,3および材料特性予測装置4が1つの装置によって実現する場合、入力部10と入力部40と入力部70と入力部100、出力部20と出力部50と出力部80と出力部110、演算部30と演算部60と演算部90と演算部120とは、物理的に同一であってもよい。
【0168】
また、本実施形態では、二相鋼板を例に説明を行ったが、三相以上の鋼板に対しても、適用することは可能である。
【符号の説明】
【0169】
1 学習装置
10 入力部
20 出力部
30 演算部
31 画像前処理部
32 相指定部
33 特徴値算出部
34 モデル生成部
2 分類装置
40 入力部
50 出力部
60 演算部
61 画像前処理部
62 特徴値算出部
63 相分類部
3 分類装置
70 入力部
80 出力部
90 演算部
91 画像前処理部
92 特徴値算出部
93 相分類部
94 誤差評価値算出部
95 前処理調整部
4 材料特性予測装置
100 入力部
110 出力部
120 演算部
121 定量評価部
122 データ記録部
123 データ選択部
124 モデル生成部
125 材料特性予測部
130 記憶部