(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024103106
(43)【公開日】2024-08-01
(54)【発明の名称】評価モデル生成装置、評価モデル生成方法、及び、評価モデル生成プログラム
(51)【国際特許分類】
G06T 7/00 20170101AFI20240725BHJP
G01N 23/20058 20180101ALI20240725BHJP
【FI】
G06T7/00 610Z
G06T7/00 350B
G01N23/20058
【審査請求】未請求
【請求項の数】13
【出願形態】OL
(21)【出願番号】P 2023007262
(22)【出願日】2023-01-20
(71)【出願人】
【識別番号】000000099
【氏名又は名称】株式会社IHI
(74)【代理人】
【識別番号】100083806
【弁理士】
【氏名又は名称】三好 秀和
(74)【代理人】
【識別番号】100101247
【弁理士】
【氏名又は名称】高橋 俊一
(74)【代理人】
【識別番号】100095500
【弁理士】
【氏名又は名称】伊藤 正和
(74)【代理人】
【識別番号】100098327
【弁理士】
【氏名又は名称】高松 俊雄
(72)【発明者】
【氏名】大田 祐太朗
(72)【発明者】
【氏名】宮澤 優斗
(72)【発明者】
【氏名】森島 敬子
【テーマコード(参考)】
2G001
5L096
【Fターム(参考)】
2G001AA03
2G001BA15
2G001CA03
2G001KA08
2G001LA02
5L096BA03
5L096CA18
5L096DA02
5L096EA35
5L096GA34
5L096HA09
5L096HA11
5L096KA04
(57)【要約】
【課題】効率的に教師用の画像データを取得して、材料の損傷を推定するための評価モデルを生成することができる評価モデル生成装置、評価モデル生成方法、及び、評価モデル生成プログラムを提供する。
【解決手段】評価モデル生成装置、評価モデル生成方法、及び、評価モデル生成プログラムは、材料に電子線を照射した際の材料からの反射電子による後方散乱回折のパターンに基づいて生成される第1マップ、及び、材料の損傷要因を示すラベルを受信する。第1マップとラベルを組とする教師データに基づいて機械学習を行って、第1マップとラベルを互いに関連付けた評価モデルを生成する。
【選択図】
図1
【特許請求の範囲】
【請求項1】
材料に電子線を照射した際の前記材料からの反射電子による後方散乱回折のパターンに基づいて生成される第1マップ、及び、前記材料の損傷要因を示すラベルを受信する受信部と、コントローラと、を備える評価モデル生成装置であって、
前記コントローラは、
前記第1マップと前記ラベルを組とする教師データに基づいて機械学習を行って、前記第1マップと前記ラベルを互いに関連付けた評価モデルを生成する、評価モデル生成装置。
【請求項2】
前記コントローラは、
前記第1マップに基づいて、前記材料の結晶方位に基づく指標値に関する第2マップを生成し、
前記第2マップと前記ラベルを組とする教師データに基づいて機械学習を行って、前記評価モデルを生成する、請求項1に記載の評価モデル生成装置。
【請求項3】
前記コントローラは、
前記第1マップに含まれるピクセルが属し、前記材料に含まれる結晶粒内にあって、前記ピクセルに隣接する隣接ピクセルにおける前記結晶方位と前記ピクセルにおける前記結晶方位の差の平均を示す値を、前記指標値として算出する、請求項2に記載の評価モデル生成装置。
【請求項4】
前記コントローラは、
前記材料に含まれる結晶粒に含まれるピクセルにおける前記結晶方位の平均値を算出し、
前記ピクセルにおける前記結晶方位の、前記平均値に対する差の平均を示す値を、前記指標値として算出する、請求項2に記載の評価モデル生成装置。
【請求項5】
前記コントローラは、
前記第1マップに含まれるピクセルが属し、前記材料に含まれる結晶粒内にあって、前記ピクセルに隣接する隣接ピクセルにおける前記結晶方位と前記ピクセルにおける前記結晶方位の差の平均が最小となる前記ピクセルを、前記結晶粒に含まれる基準ピクセルとして選出し、
前記基準ピクセルにおける前記結晶方位と前記ピクセルにおける前記結晶方位の差を示す値を、前記指標値として算出する、請求項2に記載の評価モデル生成装置。
【請求項6】
前記第2マップの幅は、前記材料に含まれる結晶粒の粒径の5倍以上である、請求項2に記載の評価モデル生成装置。
【請求項7】
前記コントローラは、
前記第1マップに基づいて、前記材料に含まれる結晶粒の境界から所定距離以内の領域を抽出し、
前記領域を含むように前記第2マップを生成する、請求項2に記載の評価モデル生成装置。
【請求項8】
前記所定距離は、前記結晶粒の粒径の10~20%の範囲の距離である、請求項7に記載の評価モデル生成装置。
【請求項9】
材料に電子線を照射した際の前記材料からの反射電子による後方散乱回折のパターンに基づいて生成される第1マップ、及び、前記材料の損傷要因を示すラベルを受信する受信部と接続されたコントローラを制御する評価モデル生成方法であって、
前記コントローラは、
前記第1マップと前記ラベルを組とする教師データに基づいて機械学習を行って、前記第1マップと前記ラベルを互いに関連付けた評価モデルを生成する、評価モデル生成方法。
【請求項10】
材料に電子線を照射した際の前記材料からの反射電子による後方散乱回折のパターンに基づいて生成される第1マップ、及び、前記材料の損傷要因を示すラベルを処理する評価モデル生成プログラムであって、
コンピュータに、
前記第1マップと前記ラベルを組とする教師データに基づいて機械学習を行って、前記第1マップと前記ラベルを互いに関連付けた評価モデルを生成するステップと、
を実行させるための評価モデル生成プログラム。
【請求項11】
入力層及び出力層を含むニューラルネットワークによって構成され、前記入力層に入力される入力データと、前記出力層から出力される出力データと、を互いに関連付けて学習させた評価モデルであって、
材料に電子線を照射した際の前記材料からの反射電子による後方散乱回折のパターンに基づいて生成される第1マップを前記入力データとし、
前記材料の損傷要因を示すラベルを前記出力データとした、評価モデル。
【請求項12】
対象材料の結晶方位に基づく指標値の対象マップを受信する受信部と、コントローラと、を備える損傷推定装置であって、
前記コントローラは、
請求項1~8のいずれか一項に記載の前記評価モデル生成装置によって生成した前記評価モデルに前記対象マップを入力した際に、前記評価モデルから出力される出力値に基づいて、前記対象材料の損傷を示す対象ラベルを推定する、損傷推定装置。
【請求項13】
前記評価モデルに基づいて、前記第1マップを構成するピクセルごとに前記指標値の単位変化量あたりの前記出力値の変化量を算出し、
前記ピクセルごとの前記出力値の変化量に基づいて、推定した前記対象ラベルの推定根拠となる前記対象マップを構成するピクセルを出力する、請求項12に記載の損傷推定装置。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、評価モデル生成装置、評価モデル生成方法、及び、評価モデル生成プログラムに関する。
【背景技術】
【0002】
特許文献1には、入力画像と、予め機械学習によって得られたモデルに基づいて、入力画像に含まれる材料の破断面の破壊モードを推定する技術が開示されている。ここで、モデルは、画像に含まれる材料の破断面における、材料の破断の生じた起点の位置を推定する起点推定モデルと、画像に含まれる材料の破断面の破壊モードを推定する破壊モード推定モデルと、を含む。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、特許文献1に開示される技術によれば、材料の損傷を推定するための評価モデルを生成するために、機械学習のために用いる破断面を含む教師用の画像データを取得する必要がある。しかしながら、教師用の画像データを取得するためには、実際に材料が破断するまで試験を行わなければならず、効率的に教師用の画像データを取得することが難しい。また、試験環境によっては、材料の破断面が酸化してしまったり、破断面が大きく変形してしまったりするなど、破断した瞬間の状態と比較して、教師用の画像データの取得時には破断面の状態が変化しうる。そのため、破断面を撮像した画像を、教師用の画像データとして用いることが困難である状況も生じうる。
【0005】
本開示は上述の状況を鑑みて成されたものである。即ち、本開示は、効率的に教師用の画像データを取得して、材料の損傷を推定するための評価モデルを生成することができる評価モデル生成装置、評価モデル生成方法、及び、評価モデル生成プログラムを提供することを目的とする。
【課題を解決するための手段】
【0006】
本開示に係る評価モデル生成装置は、受信部と、コントローラと、を備える。上記受信部は、材料に電子線を照射した際の上記材料からの反射電子による後方散乱回折のパターンに基づいて生成される第1マップ、及び、上記材料の損傷要因を示すラベルを受信する。上記コントローラは、上記第1マップと上記ラベルを組とする教師データに基づいて機械学習を行って、上記第1マップと上記ラベルを互いに関連付けた評価モデルを生成する。
【0007】
上記コントローラは、上記第1マップに基づいて、上記材料の結晶方位に基づく指標値に関する第2マップを生成するものであってもよい。そして、上記コントローラは、上記第2マップと上記ラベルを組とする教師データに基づいて機械学習を行って、上記評価モデルを生成するものであってもよい。
【0008】
上記コントローラは、上記第1マップに含まれるピクセルが属し、上記材料に含まれる結晶粒内にあって、上記ピクセルに隣接する隣接ピクセルにおける上記結晶方位と上記ピクセルにおける上記結晶方位の差の平均を示す値を、上記指標値として算出するものであってもよい。
【0009】
上記コントローラは、上記材料に含まれる結晶粒に含まれるピクセルにおける上記結晶方位の平均値を算出し、上記ピクセルにおける上記結晶方位の、上記平均値に対する差の平均を示す値を、上記指標値として算出するものであってもよい。
【0010】
上記コントローラは、上記第1マップに含まれるピクセルが属し、上記材料に含まれる結晶粒内にあって、上記ピクセルに隣接する隣接ピクセルにおける上記結晶方位と上記ピクセルにおける上記結晶方位の差の平均が最小となる上記ピクセルを、上記結晶粒に含まれる基準ピクセルとして選出するものであってもよい。上記基準ピクセルにおける上記結晶方位と上記ピクセルにおける上記結晶方位の差を示す値を、上記指標値として算出するものであってもよい。
【0011】
上記第2マップの幅は、上記材料に含まれる結晶粒の粒径の5倍以上であってもよい。
【0012】
上記コントローラは、上記第1マップに基づいて、上記材料に含まれる結晶粒の境界から所定距離以内の領域を抽出し、上記領域を含むように上記第2マップを生成するものであってもよい。
【0013】
上記所定距離は、上記結晶粒の粒径の10~20%の範囲の距離であってもよい。
【0014】
本開示に係る評価モデル生成方法は、受信部と接続されたコントローラを制御する。上記受信部は、材料に電子線を照射した際の上記材料からの反射電子による後方散乱回折のパターンに基づいて生成される第1マップ、及び、上記材料の損傷要因を示すラベルを受信する。上記コントローラは、上記第1マップと上記ラベルを組とする教師データに基づいて機械学習を行って、上記第1マップと上記ラベルを互いに関連付けた評価モデルを生成する。
【0015】
本開示に係る評価モデル生成プログラムは、材料に電子線を照射した際の上記材料からの反射電子による後方散乱回折のパターンに基づいて生成される第1マップ、及び、上記材料の損傷要因を示すラベルを処理する。コンピュータに、上記第1マップと上記ラベルを組とする教師データに基づいて機械学習を行って、上記第1マップと上記ラベルを互いに関連付けた評価モデルを生成するステップを実行させる。
【0016】
本開示に係る評価モデルは、入力層及び出力層を含むニューラルネットワークによって構成され、上記入力層に入力される入力データと、上記出力層から出力される出力データと、を互いに関連付けて学習させている。ここで、材料に電子線を照射した際の上記材料からの反射電子による後方散乱回折のパターンに基づいて生成される第1マップを上記入力データとしている。そして、上記材料の損傷要因を示すラベルを上記出力データとしている。
【0017】
本開示に係る損傷推定装置は、受信部と、コントローラと、を備える。上記受信部は、対象材料の結晶方位に基づく指標値の対象マップを受信する。上記コントローラは、上記評価モデルに上記対象マップを入力した際に、上記評価モデルから出力される出力値に基づいて、上記対象材料の損傷を示す対象ラベルを推定する。
【0018】
本開示に係る損傷推定装置は、上記評価モデルに基づいて、上記第1マップを構成するピクセルごとに上記指標値の単位変化量あたりの上記出力値の変化量を算出するものであってもよい。上記ピクセルごとの上記出力値の変化量に基づいて、推定した上記対象ラベルの推定根拠となる上記対象マップを構成するピクセルを出力するものであってもよい。
【発明の効果】
【0019】
本開示によれば、効率的に教師用の画像データを取得して、材料の損傷を推定するための評価モデルを生成することができる。
【図面の簡単な説明】
【0020】
【
図1】本開示の実施形態に係る評価モデル生成装置の構成を示すブロック図である。
【
図2】評価モデル生成装置の処理手順を示すフローチャートである。
【
図3】評価モデルを用いた損傷推定装置の処理手順を示すフローチャートである。
【
図5】
図4で示されるKAMマップのうち粒界の近傍を抽出したマップを示す図である。
【
図6】評価モデルによる推定結果に対応する可視化情報の一例を示す図である。
【発明を実施するための形態】
【0021】
以下、いくつかの例示的な実施形態について、図面を参照して説明する。なお、各図において共通する部分には同一の符号を付し、重複する説明を省略する。
【0022】
[評価モデル生成装置の構成]
図1は、本開示の実施形態に係る評価モデル生成装置の構成を示すブロック図である。
図1に示すように、評価装置20(評価モデル生成装置、損傷推定装置)は、受信部21と、データベース23(記憶部)と、コントローラ25と、を備える。その他、評価装置20は、操作部27と、表示部29と、を備えるものであってもよい。コントローラ25は、受信部21、データベース23、操作部27、表示部29と通信可能なように接続される。
【0023】
その他、操作部27及び表示部29は、評価装置20自体が備えていてもよいし、評価装置20の外部に設置されて、評価装置20と接続されるものであってもよい。
【0024】
受信部21は、無線又は有線によって、結晶方位マップ取得装置10と通信可能なように接続される。そして、受信部21は、結晶方位マップ取得装置10より、材料に電子線を照射した際の材料からの反射電子による後方散乱回折のパターンに基づいて生成される第1マップを受信する。その他、受信部21は、材料の損傷要因を示すラベルを受信する。
【0025】
なお、材料は、例えば、結晶粒を有する金属材料(鉄が主成分の鉄鋼材料、アルミニウム、チタン、マグネシウム、ニッケル、銅などの鉄以外の金属を主成分とする非鉄金属材料など)である。その他、材料は、その他多数の結晶性の材料などであってもよく、ここに挙げた例に限定されない。
【0026】
結晶方位マップ取得装置10は、例えば、「クリープ」、「疲労」、「クリープ疲労」のいずれかの損傷を与えた材料に対して、EBSD(Electron BackScatter Diffraction)測定を行う。そして、結晶方位マップ取得装置10は第1マップを生成する。第1マップは、後方散乱回折のパターンに基づいて生成される材料の結晶方位のマップであってもよい。なお、第1マップに係る材料の損傷要因を示すラベルとして、「クリープ」、「疲労」、「クリープ疲労」のいずれかが予め与えられているものとする。
【0027】
材料に対して、「クリープ」、「疲労」、「クリープ疲労」の各損傷を与える方法として、種々の方法が挙げられる。例えば、材料を所定の高温下におき、材料に一定の荷重(応力)を加えることで、材料に「クリープ」の損傷を与えることができる。「クリープ」は、時間とともに材料が変形していく現象として知られている。また、材料に繰り返し所定の荷重を加えることで、材料に「疲労」の損傷を与えることができる。また、材料を所定の高温下におき、材料に一定の荷重(応力)を加える期間と、材料に繰り返し所定の荷重を加える期間とを、交互に繰り返すことで、材料に「クリープ疲労」の損傷を与えることができる。
【0028】
結晶方位マップ取得装置10は、材料に電子線を照射した際の材料からの反射電子による後方散乱回折のパターンに基づいて、材料の損傷を示す情報を取得する。そのため、材料が破断するまで試験を行うことなく、材料の損傷を示す情報を取得することができる。また、材料の破断を生じさせる前の情報を取得できる。したがって、結晶方位マップ取得装置10によって取得した第1マップを利用することで、効率的に機械学習のための教師データを準備することができる。
【0029】
データベース23は、受信部21が受信した第1マップ、及び、第1マップに係る材料の損傷要因を示すラベルを記憶する。また、データベース23は、後述する第2マップを記憶する。さらに、データベース23は、後述するコントローラ25によって行われる機械学習に係る各種のパラメータ、評価モデルを表現するニューラルネットワークを定義するパラメータなどを記憶するものであってもよい。
【0030】
操作部27は、評価装置20のユーザが操作を行うことができる入力装置である。例えば、操作部27は、キーボード、マウス、トラックボール、タッチパネルなどである。操作部27は、ここに挙げた例に限定されない。操作部27を介して入力されたユーザの操作内容は、コントローラ25に送信される。
【0031】
表示部29は、コントローラ25から受信した情報を表示する。例えば、表示部29は、後述するコントローラ25によって行われる機械学習に係る指標を表示するものであってもよい。
【0032】
機械学習に係る指標の例として、混同行列(TP/TN/FP/FN)が挙げられる。
【0033】
ここで、TP(真陽性)は、正しく、正解ラベルであると推定した数を表す。TN(真陰性)は、正しく、正解ラベルでないと推定した数を表す。FP(偽陽性)は、誤って、正解ラベルであると推定した数を表す。FN(偽陰性)は、誤って、正解ラベルでないと推定した数を表す。
【0034】
その他、表示部29は、混同行列に基づいて算出される、評価モデルの精度、適合率、再現率、評価指標F値(F-measure)を算出してもよい。
【0035】
ここで、評価モデルの精度は、「(TP+TN)/(TP+TN+FP+FN)」によって算出される。適合率は、正解ラベルと推定されたものが実際に正解ラベルであった程度を測定する指標であり、「TP/(TP+FP)」によって算出される。再現率は、実際に正解ラベルであるものが、正解ラベルと推定された程度を測定する指標であり、「TP/(TP+FN)」によって算出される。評価指標F値は、適合率と再現率の調和平均「2×適合率×再現率/(適合率+再現率)」によって算出される。
【0036】
その他、表示部29は、コントローラ25によって推定されたラベルを受信し、表示するものであってもよい。
【0037】
表示部29は、複数の表示画素の組合せにより図形、文字を表示するディスプレイであってもよいし、回転灯、ブザーなどであってもよい。表示部29は、ここに挙げた例に限定されない。
【0038】
コントローラ25(制御部)は、CPU(中央処理装置)、メモリ、及び入出力部を備える汎用のマイクロコンピュータである。コントローラ25は、GPU(Graphics Processing Unit)を備えるものであってもよい。例えば、コントローラ25は、後述する機械学習の処理を、GPUを用いて実行するものであってもよい。コントローラ25には、評価装置20として機能するためのコンピュータプログラム(評価モデル生成プログラム)がインストールされている。コンピュータプログラムを実行することにより、コントローラ25は、評価装置20が備える複数の情報処理回路(251、253、255、257)として機能する。
【0039】
本開示では、ソフトウェアによって複数の情報処理回路(251、253、255、257)を実現する例を示す。ただし、以下に示す各情報処理を実行するための専用のハードウェアを用意して、情報処理回路(251、253、255、257)を構成することも可能である。また、複数の情報処理回路(251、253、255、257)を個別のハードウェアにより構成してもよい。
【0040】
図1に示すように、コントローラ25は、複数の情報処理回路(251、253、255、257)として、抽出部251、算出部253、評価モデル設定部255、推定部257を備える。
【0041】
抽出部251は、第1マップに基づいて、材料に含まれる結晶粒の境界(粒界)の近傍の領域を抽出する。例えば、抽出部251は、隣り合うピクセル同士での、材料の結晶方位の差が所定閾値以上である位置を、粒界として抽出する。そして、抽出部251は、境界から所定距離以内に存在するピクセルの集合を、領域として抽出する。
【0042】
なお、抽出部251は、境界が閉曲面を形成している場合に、閉曲面で囲まれた領域を結晶粒として抽出してもよい。その後、抽出部251は、抽出した結晶粒の粒径を算出し、所定距離として結晶粒の粒径の10~20%の範囲の程度の距離を設定するものであってもよい。そして、粒界から所定距離以内に存在するピクセルの集合を、領域として抽出するものであってもよい。
【0043】
算出部253は、第1マップに基づいて第2マップを生成する。例えば、算出部253は、粒界から所定距離以内の領域を含む所定範囲の第2マップであって、当該領域での結晶方位に基づく指標値に関する第2マップを生成する。ここで、所定範囲の幅は、結晶粒の粒径の5倍以上であってもよい。
【0044】
また、算出部253は、第1マップに含まれるピクセルが属する結晶粒内にあってピクセルに隣接する隣接ピクセルにおける結晶方位とピクセルにおける結晶方位の差の平均を示す値を、指標値として算出するものであってもよい。つまり、指標値は、KAM(Kernel Average Misorientation、局所方位差)であってもよい。KAMによる第2マップ(KAMマップ)は、結晶方位の局所的な変化を示す。
【0045】
さらに、算出部253は、結晶粒に含まれるピクセルにおける結晶方位の平均値を算出し、ピクセルにおける結晶方位の、平均値に対する差の平均を示す値を、指標値として算出するものであってもよい。つまり、指標値は、GOS(Grain Orientation Spread、結晶粒方位分散)であってもよい。GOSによる第2マップは、結晶粒サイズのスケールでの結晶方位の差の分布を示す。
【0046】
また、算出部253は、第1マップに含まれるピクセルが属する結晶粒内にあってピクセルに隣接する隣接ピクセルにおける結晶方位とピクセルにおける結晶方位の差の平均が最小となるピクセルを、結晶粒に含まれる基準ピクセルとして選出するものであってもよい。基準ピクセルにおける結晶方位とピクセルにおける結晶方位の差を示す値を、指標値として算出するものであってもよい。つまり、指標値は、GROD(Grain Reference Orientation Deviation)であってもよい。GRODは、結晶粒内での結晶方位の変化を示す。
【0047】
その他、算出部253は、隣接するピクセルの方位差を結晶粒内にて平均化して得られる値(GAM(Grain Average Misorientation))を、指標値として算出するものであってもよい。算出部253は、第1マップに基づく逆極点図方位マップ(Inverse Pole Figure)におけるコントラスト差を、指標値として算出するものであってもよい。算出部253は、第1マップにおけるコントラスト差を、指標値として算出するものであってもよい。
【0048】
その他、算出部253は、EBSD測定の際に得られる、結晶方位以外にパターンの質を表す指数であるイメージクオリティ(IQ(Image Quality)値)を指標値とするものであってもよい。また、算出部253は、EBSD測定の際に得られる、信頼性指数(CI(Confidence Index)値)を指標値とするものであってもよい。また、算出部253は、EBSD測定の際に得られる、Fit値を指標値とするものであってもよい。Fit値は、IQ値とCI値の両方の意味合いを有し、ひずみの大きいところでは大きな値となる。
【0049】
算出部253によって生成された第2マップは、データベース23に出力され、データベース23によって記憶されるものであってもよい。
【0050】
上述の例では、算出部253は、受信した第1マップに基づいて第2マップを生成するものとして説明したが、これに限定されない。例えば、受信部21は、結晶方位マップ取得装置10で生成した、結晶方位に基づく指標値に関するマップを受信するものであってもよい。そして、算出部253は、結晶方位に基づく指標値に関するマップの中から、粒界から所定距離以内の領域を含む所定範囲の第2マップを切り出すものであってもよい。この場合、算出部253において、結晶方位に基づく指標値を算出する必要はない。
【0051】
評価モデル設定部255は、第1マップと第1マップに対応するラベルを組とする教師データに基づいて機械学習を行って、第1マップとラベルを互いに関連付けた評価モデルを生成する。その際、評価モデル設定部255は、第2マップと第2マップに対応するラベルを組とする教師データに基づいて機械学習を行って、第2マップとラベルを互いに関連付けた評価モデルを生成するものであってもよい。ここで、第2マップに対応するラベルとは、第2マップの生成の元となった第1マップに係る材料の損傷要因を示すラベルである。
【0052】
評価モデルは、入力層及び出力層を含むニューラルネットワークによって構成され、入力層に入力される入力データと、出力層から出力される出力データと、を互いに関連付けて学習させたものである。例えば、評価モデルを構成するニューラルネットワークとして、Residual Networkを用いる。
【0053】
機械学習による評価モデルを生成する手法として、例えば、ニューラルネットワーク、サポートベクターマシンが挙げられる。その他にも、Random Forest、XGBoost、LightGBM、PLS回帰、Ridge回帰、Lasso回帰が挙げられる。また、ここに挙げた手法ののうち、1つまたは2つ以上の組み合わせを用いる手法が挙げられる。機械学習によって評価モデルを生成する手法は、ここに挙げた例に限定されない。
【0054】
評価モデルがニューラルネットワークによって表現される場合を説明する。この場合、評価モデル設定部255は、入力データをニューラルネットワークに入力した際に得られる出力と、入力データに対応する出力データの誤差又は尤度を算出する。そして、評価モデル設定部255は、誤差が最小となるように、又は、尤度が最大化されるように、ニューラルネットワークを定義するパラメータの調整を行う。その結果、ニューラルネットワークは、教師データを表現する特徴を学習する。
【0055】
上記ニューラルネットワークは、入力データが入力される入力層、出力値が出力される出力層、入力層と出力層の間に設けられる少なくとも1層以上の隠れ層とを含み、入力層、隠れ層、出力層の順番に信号が伝搬する。入力層、隠れ層、出力層の各層は、1つ以上のユニットから構成される。層間のユニット同士が結合しており、各ユニットは活性化関数(例えば、シグモイド関数、正規化線形関数、ソフトマックス関数など)を有する。ユニットへの複数の入力に基づいて重み付きの合計が算出され、合計値を変数とする活性化関数の値が、ユニットの出力となる。
【0056】
評価モデル設定部255は、上記ニューラルネットワークを定義するパラメータのうち、各ユニットで重み付き合計を算出する際の重みを調整することにより、ニューラルネットワークの出力とラベルとの間の誤差を最小化し、又は、出力の尤度を最大化する。複数の教師データに対して、ニューラルネットワークの出力に関する誤差の最小化、又は、尤度の最大化を行うためには、最尤推定法などが適用可能である。
【0057】
ニューラルネットワークの出力に関する誤差を最小化するため、例えば、評価モデル設定部255は、勾配降下法、確率的勾配降下法などを用いてもよい。評価モデル設定部255は、勾配降下法、確率的勾配降下法での勾配計算のため、誤差逆伝搬法を用いてもよい。
【0058】
ニューラルネットワークによる機械学習では汎化性能(未知データに対する判別能力)と過適合(教師データに対して適合する一方で汎化性能が改善しない現象)が問題となりうる。
【0059】
そこで、評価モデル設定部255における評価モデルの生成では、過適合を緩和するため、学習時の重みの自由度を制約する正則化などの手法を用いてもよい。その他にも、ニューラルネットワーク中のユニットを確率的に選別してそれ以外のユニットを無効化するドロップアウトなどの手法を用いてもよい。さらには、汎化性能を向上させるため、教師データ中の偏りをなくすデータ正則化、データ標準化、データ拡張などの手法を用いてもよい。
【0060】
評価モデル設定部255は、ニューラルネットワークの代わりに、サポートベクターマシンを用いて評価モデルを生成するものであってもよい。この場合、評価モデルはサポートベクターマシンによって表現される。サポートベクターマシンによる機械学習には、局所解収束の問題がなく汎化性能が向上する傾向にある。
【0061】
評価モデル設定部255によって生成された評価モデルは、推定部257、又は、データベース23に出力され、推定部257での推定に用いられる。
【0062】
その他、評価モデル設定部255は、評価モデルの精度、適合率、再現率、評価指標F値(F-measure)などの、評価モデルを評価する数値を算出し、当該数値が所定の条件を満たすまで、教師データに基づく機械学習を継続するものであってもよい。
【0063】
推定部257は、対象材料に係る対象マップを評価モデルに入力した際に、評価モデルから出力される出力値に基づいて、対象材料の損傷を示す対象ラベルを推定する。
【0064】
ここで、対象マップとは、損傷要因を推定する対象である対象材料の結晶方位に基づく指標値のマップである。対象材料の結晶方位は、対象材料に電子線を照射した際に、対象材料からの反射電子による後方散乱回折のパターンに基づいて決定されるものであってもよい。
【0065】
推定部257は、評価モデル設定部255によって生成した評価モデルのうち、入力層に対象マップを入力する。そして、推定部257は、入力層に対象マップを入力した場合に、評価モデルの出力層の出力値を算出する。そして、算出された出力値に基づいて対象材料の損傷を示す対象ラベルを推定する。
【0066】
例えば、評価モデルの出力層の出力値は、対象ラベルとして可能性のある複数のラベルごとの、確率である。推定部257は、最も確率の高いラベルを抽出して、当該ラベルを推定された対象ラベルとして決定する。
【0067】
その他、推定部257は、評価モデルに基づいて、第1マップを構成するピクセルごとに指標値の単位変化量あたりの出力値の変化量を算出するものであってもよい。そして、推定部257は、ピクセルごとの出力値の変化量に基づいて、推定した対象ラベルの推定根拠となる対象マップを構成するピクセルを出力するものであってもよい。
【0068】
ピクセルごとに指標値の単位変化量あたりの出力値の変化量が大きいところほど、対象ラベルの推定への寄与度が大きいといえる。そのため、出力値の変化量が所定閾値よりも大きくなる、対象マップを構成するピクセルを表示(可視化)することで、推定した対象ラベルの推定根拠となる部位を表示することができる。
【0069】
例えば、推定部257は、Grad-CAM(Gradient-weighted Class Activation Mapping)を用いて、対象マップを構成するピクセルを出力するものであってもよい。Grad-CAMは評価モデルに対してある入力とその予測に対して局所的な説明を与える手法である。
【0070】
推定部257は、対象ラベルを出力する。その他、推定部257は、ピクセルごとの出力値の変化量に基づいて決定した、推定した対象ラベルの推定根拠となる対象マップを構成するピクセルを出力するものであってもよい。
【0071】
[評価モデル生成装置の処理手順]
評価装置20が、評価モデル生成装置として動作する場合の処理手順を、
図2のフローチャートを参照して説明する。
図2は、評価モデル生成装置の処理手順を示すフローチャートである。
【0072】
図2に示されるフローチャートの処理は、複数の教師データ(第1マップと第1マップに対応するラベル)がデータベース23に記憶された時点で開始されるものであってもよい。なお、
図2に示されるフローチャートの処理は、ユーザの指示によって開始されるものであってもよいし、一定の周期で繰り返し開始されるものであってもよい。
【0073】
ステップS101にて、受信部21は、第1マップ、及び、第1マップに係る材料の損傷要因を示すラベルを受信する。
【0074】
ステップS103にて、抽出部251は、第1マップに基づいて、粒界の近傍の領域を抽出する。なお、ステップS103は必須ではなく、省略されてもよい。
【0075】
ステップS105にて、算出部253は、第1マップに基づいて第2マップを生成する。例えば、第1マップに基づいて、粒界から所定距離以内の領域を含む所定範囲の第2マップであって、当該領域での結晶方位に基づく指標値に関する第2マップを生成する。
【0076】
ステップS107にて、評価モデル設定部255は、第2マップと第2マップに対応するラベルを組とする教師データに基づいて機械学習を行って、第2マップとラベルを互いに関連付けた評価モデルを生成する。
【0077】
ステップS109にて、評価モデル設定部255は、生成した評価モデルを出力する。
【0078】
[損傷推定装置の処理手順]
次に、評価装置20が、損傷推定装置として動作する場合の処理手順を、
図3のフローチャートを参照して説明する。
図3は、評価モデルを用いた損傷推定装置の処理手順を示すフローチャートである。
【0079】
図3に示されるフローチャートの処理は、評価モデルが設定された後、ユーザの指示によって開始されるものであってもよいし、一定の周期で繰り返し開始されるものであってもよい。また、
図3に示されるフローチャートの処理は、対象マップを受信した時点で開始されるものであってもよい。
【0080】
ステップS201にて、受信部21は、対象マップを受信する。
【0081】
ステップS203にて、推定部257は、評価モデルに対象マップを入力し、評価モデルからの出力値を算出する。
【0082】
ステップS205にて、推定部257は、評価モデルからの出力値に基づいて、対象ラベルを決定する。
【0083】
ステップS207にて、推定部257は、決定した対象ラベルを出力する。
【0084】
[処理例]
評価装置20の処理例を、
図4~6を参照して説明する。
【0085】
図4は、KAMマップの一例を示す図である。結晶方位マップ取得装置10は、材料に電子線を照射した際の材料からの反射電子による後方散乱回折のパターンに基づいて、材料の損傷を示す情報を取得する。例えば、結晶方位マップ取得装置10は、結晶方位に基づく指標値に関するマップとして、KAMマップを生成してもよい。
【0086】
図4で示されるKAMマップでは、KAMの値が小さい部位ほど黒く、KAMの値が大きい部位ほど白く表現されている。KAMの値が大きい部位は、隣接するピクセル同士での結晶方位の差が大きい。なお、
図4で示されるKAMマップでは、EBSD測定を行った範囲のうち、400×400ピクセル(100×100μm)の範囲におけるKAMの値が示されている。
【0087】
次に、
図5は、
図4で示されるKAMマップのうち粒界の近傍を抽出したマップ(粒界KAMマップ)を示す図である。算出部253は、第1マップに基づいて、粒界から所定距離以内の領域を含む所定範囲の第2マップであって、当該領域での結晶方位に基づく指標値に関する第2マップを生成する。
【0088】
図5で示される粒界KAMマップでは、結晶粒の粒径が40~80ピクセル(10~20μm)程度であることに対応して、粒界から10ピクセル(2.5μm)に相当する距離以内の領域を抽出している。抽出した領域において、
図4に示すKAMマップのピクセルにおけるKAMの値と同じ値を、
図5の粒界KAMマップのピクセルは有している。一方、抽出されなかった領域において、
図5の粒界KAMマップのピクセルの値は輝度値の最小値(黒色)に設定されている。
【0089】
上述の粒界KAMマップを用いて機械学習を行うことにより、材料の損傷を推定するための評価モデルを生成することができる。特に、KAMマップを用いて機械学習を行った場合と比較して、粒界KAMマップを用いて機械学習を行った場合には、材料の損傷をより高精度に推定することができる評価モデルを生成することができる。
【0090】
粒界KAMマップを用いて機械学習を行った場合に、材料の損傷をより高精度に推定することができることから、材料の損傷の蓄積の特徴が結晶粒内の全体的な方位差ではなく、粒界付近の局所的な領域に現れることが示唆される。また、粒界近傍の局所的な領域に着目することで、材料にクリープの損傷が蓄積しているか否かを判定できることが示唆される。
【0091】
また、従来、EBSD測定で得られるパラメータと、ひずみ量の間に相関が見られるといった報告は多数あった。しかしながら、ひずみ量が同等の場合にEBSD測定のパラメータから損傷の種別(「クリープ」、「疲労」、「クリープ疲労」)を判別するのは困難であり、EBSD測定以外の様々な情報を組み合わせて、経験者が定性的な判断をすることが多かった。このような人の目による判断では経験値によって差が出ることも考えられる。
【0092】
一方、本開示のように粒界KAMマップを用いて機械学習を行うことで、損傷の種別(「クリープ」、「疲労」、「クリープ疲労」)を判別することが可能となる。特に、クリープとクリープ疲労の違いを、これまでの方法よりも高精度で判別できるようになる。また、保守、メンテナンス、損傷調査において材料の状態を分析し、材料の損傷の原因を明らかにすることができる。その結果、部品の破壊を未然に防いだり、破壊の再発を防止したりすることが可能となる。
【0093】
図6は、評価モデルによる推定結果に対応する可視化情報の一例を示す図である。
図6では、粒界KAMマップに対して、推定した対象ラベルの推定根拠となる対象マップを構成するピクセルが存在する部分に対してヒートマップ(領域R1,R2)が、可視化情報として付されている。
【0094】
領域R1,R2に存在するヒートマップを参照すると、粒界、かつ、比較的、粒径が小さい結晶粒が存在する領域が、推定した対象ラベルの推定根拠となる対象マップを構成するピクセルが存在する部分となっていることが分かる。したがって、材料の損傷の蓄積の特徴は、結晶粒内の全体的な方位差ではなく、粒界付近の局所的な領域に現れていることが分かる。
【0095】
図6のように、推定した対象ラベルの推定根拠となる対象マップを構成するピクセルが存在する部分を、可視化情報として表示することにより、評価モデルの判断理由をユーザに提示することができる。その結果、ブラックボックスになりがちな機械学習の判定過程を、ユーザに開示して、ユーザはその妥当性を判断することができるようになる。
【0096】
材料の損傷調査では、破面観察もしくはミクロ組織観察を通じて材料の状態を把握し、有識者の知見に基づいて損傷の原因が推定されることが多かった。一方、本開示のように、推定した対象ラベルの推定根拠となる対象マップを構成するピクセルが存在する部分を、可視化情報として表示することにより、有識者の知見を定量的に評価できるようになる。さらには、有識者の知見のうち、一般化できるものを抽出し、作業者の教育などに生かすことが可能となる。
【0097】
[実施形態の効果]
以上詳細に説明したように、本開示に係る評価モデル生成装置、評価モデル生成方法、及び、評価モデル生成プログラムにおいて、受信部は、第1マップ、及び、上記材料の損傷要因を示すラベルを受信する。第1マップは、材料に電子線を照射した際の上記材料からの反射電子による後方散乱回折のパターンに基づいて生成されるマップである。コントローラは、上記第1マップと上記ラベルを組とする教師データに基づいて機械学習を行って、上記第1マップと上記ラベルを互いに関連付けた評価モデルを生成する。
【0098】
これにより、効率的に教師用の画像データを取得して、材料の損傷を推定するための評価モデルを生成することができる。特に、教師用の画像データを取得するために、実際に材料が破断するまで試験を行う必要がない。また、材料の損傷の状態を維持したまま、教師用の画像データを取得できる。その結果、教師用の画像データを取得する際の労力及び時間などを低減することができる。
【0099】
上記コントローラは、上記第1マップに基づいて、上記材料の結晶方位に基づく指標値に関する第2マップを生成するものであってもよい。そして、上記第2マップと上記ラベルを組とする教師データに基づいて機械学習を行って、上記評価モデルを生成するものであってもよい。これにより、材料の損傷の特徴が現れやすい領域である、材料中の粒界の近傍に着目して、機械学習を行うことができる。
【0100】
上記コントローラは、上記第1マップに含まれるピクセルが属し、上記材料に含まれる結晶粒内にあって、上記ピクセルに隣接する隣接ピクセルにおける上記結晶方位と上記ピクセルにおける上記結晶方位の差の平均を示す値を、上記指標値として算出するものであってもよい。これにより、隣接するピクセル間での結晶方位の変化(局所的な変化)に着目して、機械学習を行うことができる。
【0101】
上記コントローラは、上記材料に含まれる結晶粒に含まれるピクセルにおける上記結晶方位の平均値を算出し、上記ピクセルにおける上記結晶方位の、上記平均値に対する差の平均を示す値を、上記指標値として算出するものであってもよい。これにより、結晶粒のサイズのスケールでの結晶方位の差の分布に着目して、機械学習を行うことができる。
【0102】
上記コントローラは、上記第1マップに含まれるピクセルが属し、上記材料に含まれる結晶粒内にあって、上記ピクセルに隣接する隣接ピクセルにおける上記結晶方位と上記ピクセルにおける上記結晶方位の差の平均が最小となる上記ピクセルを、上記結晶粒に含まれる基準ピクセルとして選出するものであってもよい。上記コントローラは、上記基準ピクセルにおける上記結晶方位と上記ピクセルにおける上記結晶方位の差を示す値を、上記指標値として算出するものであってもよい。これにより、結晶粒内での結晶方位の変化に着目して、機械学習を行うことができる。
【0103】
上記第2マップの幅は、上記材料に含まれる結晶粒の粒径の5倍以上であってもよい。材料の損傷の蓄積の特徴が現れやすい領域を、十分に機械学習の対象とすることができる。さらに、材料中の結晶方位の局所的な変化、及び、結晶粒のサイズのスケールでの結晶方位の差の分布の両方に着目して、機械学習を行うことができる。
【0104】
上記コントローラは、上記第1マップに基づいて、上記材料に含まれる結晶粒の境界から所定距離以内の領域を抽出し、上記領域を含むように上記第2マップを生成するものであってもよい。これにより、材料の損傷の特徴が現れやすい領域である、材料中の粒界の近傍に着目して、材料中の結晶方位の局所的な変化に着目して、機械学習を行うことができる。
【0105】
上記所定距離は、上記結晶粒の粒径の10~20%の範囲の距離であってもよい。これにより、結晶粒の境界の近傍のうち、材料の損傷の蓄積の特徴が現れやすい領域を、機械学習の対象とすることができる。さらに、材料の損傷の蓄積の特徴が現れにくい領域を、機械学習の対象としないことで、機械学習によって生成した評価モデルの精度を向上させることができる。
【0106】
本開示に係る評価モデルは、入力層及び出力層を含むニューラルネットワークによって構成され、上記入力層に入力される入力データと、上記出力層から出力される出力データと、を互いに関連付けて学習させている。ここで、材料に電子線を照射した際の上記材料からの反射電子による後方散乱回折のパターンに基づいて生成される第1マップを上記入力データとしている。そして、上記材料の損傷要因を示すラベルを上記出力データとしている。これにより、KAMマップを用いて機械学習を行って得られる評価モデルと比較して、粒界KAMマップを用いて機械学習を行って得られる評価モデルでは、材料の損傷をより高精度に推定することができる。
【0107】
本開示に係る損傷推定装置、損傷推定方法、及び、損傷推定プログラムは、対象材料の結晶方位に基づく指標値の対象マップを受信する。上記評価モデルに上記対象マップを入力した際に、上記評価モデルから出力される出力値に基づいて、上記対象材料の損傷を示す対象ラベルを推定する。これにより、材料の損傷をより高精度に推定することができる。特に、損傷の種別(「クリープ」、「疲労」、「クリープ疲労」)を判別することが可能となる。また、クリープとクリープ疲労の違いを、これまでの方法よりも高精度で判別できるようになる。保守、メンテナンス、損傷調査において材料の状態を分析し、材料の損傷の原因を明らかにすることができ、その結果、部品の破壊を未然に防いだり、破壊の再発を防止したりすることが可能となる。
【0108】
上記評価モデルに基づいて、上記第1マップを構成するピクセルごとに上記指標値の単位変化量あたりの上記出力値の変化量を算出するものであってもよい。上記ピクセルごとの上記出力値の変化量に基づいて、推定した上記対象ラベルの推定根拠となる上記対象マップを構成するピクセルを出力するものであってもよい。これにより、評価モデルの判断理由をユーザに提示することができる。その結果、ブラックボックスになりがちな機械学習の判定過程を、ユーザに開示して、ユーザはその妥当性を判断することができるようになる。
【0109】
材料の損傷調査では、破面観察もしくはミクロ組織観察を通じて材料の状態を把握し、有識者の知見に基づいて損傷の原因が推定されることが多かった。一方、本開示のように、推定した対象ラベルの推定根拠となる対象マップを構成するピクセルが存在する部分を、可視化情報として表示することにより、有識者の知見を定量的に評価できるようになる。さらには、有識者の知見のうち、一般化できるものを抽出し、作業者の教育などに生かすことが可能となる。
【0110】
上述の実施形態で示した各機能は、1又は複数の処理回路によって実装されうる。処理回路には、プログラムされたプロセッサ、電気回路などが含まれ、さらには、特定用途向けの集積回路(ASIC)のような装置、又は、記載された機能を実行するよう配置された回路構成要素なども含まれる。
【0111】
本開示によれば、効率的に教師用の画像データを取得して、材料の損傷を推定するための評価モデルを生成することができ、材料の損傷を容易に判定できるようになる。そのため、例えば、国際連合が主導する持続可能な開発目標(SDGs)の目標12「持続可能な消費と生産のパターンを確保する。」に貢献することができる。
【0112】
いくつかの実施形態を説明したが、上記開示内容に基づいて実施形態の修正または変形をすることが可能である。上記実施形態のすべての構成要素、及び請求の範囲に記載されたすべての特徴は、それらが互いに矛盾しない限り、個々に抜き出して組み合わせてもよい。
【符号の説明】
【0113】
10 結晶方位マップ取得装置
20 評価装置(評価モデル生成装置、損傷推定装置)
21 受信部
23 データベース
25 コントローラ
27 操作部
29 表示部
251 抽出部
253 算出部
255 評価モデル設定部
257 推定部