(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022170652
(43)【公開日】2022-11-10
(54)【発明の名称】材料特性評価方法
(51)【国際特許分類】
G06T 7/00 20170101AFI20221102BHJP
G01N 23/2251 20180101ALI20221102BHJP
【ＦＩ】
G06T7/00 350B
G01N23/2251
【審査請求】未請求
【請求項の数】4
【出願形態】ＯＬ
(21)【出願番号】P 2021182754
(22)【出願日】2021-11-09
(31)【優先権主張番号】P 2021076672
(32)【優先日】2021-04-28
(33)【優先権主張国・地域又は機関】JP
(71)【出願人】
【識別番号】000005083
【氏名又は名称】日立金属株式会社
(72)【発明者】
【氏名】吉岡 貴浩
(72)【発明者】
【氏名】小野 眞
(72)【発明者】
【氏名】守谷 浩志
(72)【発明者】
【氏名】槙 智仁
(72)【発明者】
【氏名】蓬田 貴裕
【テーマコード（参考）】
2G001
5L096
【Ｆターム（参考）】
2G001AA03
2G001BA07
2G001CA03
2G001FA29
2G001HA07
2G001HA13
2G001KA12
2G001LA02
5L096EA07
5L096HA13
5L096JA11
5L096KA04
5L096KA15
(57)【要約】 （修正有）
【課題】撮像した画像を基に材料特性を予測し、元画像の材料特性との比較による材料評価方法を提供する。
【解決手段】方法は、学習用材料を撮像した学習用画像に対し学習用低階調画像を作成する学習用画像処理ステップ、学習用低階調画像と学習用材料の材料特性とを対応付けて学習用低階調画像から学習用特徴量を抽出し、学習用特徴量から学習用材料の材料特性を予測する回帰モデルを学習する機械学習ステップ、評価用材料の評価用画像を入力し、評価用低階調画像と評価用低階調画像から仮想画像とを作成する評価用画像処理ステップ、評価用低階調画像から評価用特徴量を抽出し、評価用特徴量から回帰モデルによって評価用材料の第１の材料特性を予測し、仮想画像から仮想画像特徴量を抽出し、仮想画像特徴量から回帰モデルによって評価用材料の第２の材料特性を予測する品質予測ステップ及び第１の材料特性と第２の材料特性とを比較する評価ステップを有する。
【選択図】図３
【解決手段】方法は、学習用材料を撮像した学習用画像に対し学習用低階調画像を作成する学習用画像処理ステップ、学習用低階調画像と学習用材料の材料特性とを対応付けて学習用低階調画像から学習用特徴量を抽出し、学習用特徴量から学習用材料の材料特性を予測する回帰モデルを学習する機械学習ステップ、評価用材料の評価用画像を入力し、評価用低階調画像と評価用低階調画像から仮想画像とを作成する評価用画像処理ステップ、評価用低階調画像から評価用特徴量を抽出し、評価用特徴量から回帰モデルによって評価用材料の第１の材料特性を予測し、仮想画像から仮想画像特徴量を抽出し、仮想画像特徴量から回帰モデルによって評価用材料の第２の材料特性を予測する品質予測ステップ及び第１の材料特性と第２の材料特性とを比較する評価ステップを有する。
【選択図】図３
【特許請求の範囲】
【請求項1】
一つ以上の評価用材料の評価用画像を読み込み、
前記評価用画像に対して、階調を低くした評価用低階調画像と、
前記評価用低階調画像を加工した仮想画像と、を作成する評価用画像処理ステップと、
前記評価用低階調画像から評価用特徴量を抽出し、
前記評価用特徴量から、回帰モデルによって前記評価用材料の第１の材料特性を予測し、
前記仮想画像から仮想画像特徴量を抽出し、
前記仮想画像特徴量から、前記回帰モデルによって前記評価用材料の第２の材料特性を予測する材料特性予測ステップと、
前記第１の材料特性と、前記第２の材料特性と、を比較する評価ステップと、
を有することを特徴とする材料特性評価方法。
前記評価用画像に対して、階調を低くした評価用低階調画像と、
前記評価用低階調画像を加工した仮想画像と、を作成する評価用画像処理ステップと、
前記評価用低階調画像から評価用特徴量を抽出し、
前記評価用特徴量から、回帰モデルによって前記評価用材料の第１の材料特性を予測し、
前記仮想画像から仮想画像特徴量を抽出し、
前記仮想画像特徴量から、前記回帰モデルによって前記評価用材料の第２の材料特性を予測する材料特性予測ステップと、
前記第１の材料特性と、前記第２の材料特性と、を比較する評価ステップと、
を有することを特徴とする材料特性評価方法。
【請求項2】
一つ以上の評価用材料の評価用画像を読み込み、
前記評価用画像に対して、階調を低くした評価用低階調画像を作成し、
前記評価用低階調画像から評価用特徴量を抽出し、
前記評価用特徴量から、回帰モデルによって前記評価用材料の第１の材料特性を予測する材料特性初期予測ステップと、
前記評価用低階調画像に対する加工条件を変えながら仮想画像を作成し、
前記仮想画像から仮想画像特徴量を抽出し、
前記仮想画像特徴量から、前記回帰モデルによって加工条件ごとの材料特性を予測し、
前記加工条件ごとの材料特性の中から第３の材料特性を決定する仮想材料特性予測ステップと、
前記第１の材料特性と、前記第３の材料特性と、を比較し、
前記第１の材料特性と、前記第３の材料特性の少なくとも一方を第４の材料特性とする材料探索評価ステップと、
を有し、
前記第４の材料特性と、前記第４の材料特性を算出するのに用いた画像とを、
前記第１の材料特性と、前記評価用低階調画像とに置き換えながら、前記仮想材料特性予測ステップと、
前記材料探索評価ステップを繰り返し行うことを特徴とする材料特性評価方法。
前記評価用画像に対して、階調を低くした評価用低階調画像を作成し、
前記評価用低階調画像から評価用特徴量を抽出し、
前記評価用特徴量から、回帰モデルによって前記評価用材料の第１の材料特性を予測する材料特性初期予測ステップと、
前記評価用低階調画像に対する加工条件を変えながら仮想画像を作成し、
前記仮想画像から仮想画像特徴量を抽出し、
前記仮想画像特徴量から、前記回帰モデルによって加工条件ごとの材料特性を予測し、
前記加工条件ごとの材料特性の中から第３の材料特性を決定する仮想材料特性予測ステップと、
前記第１の材料特性と、前記第３の材料特性と、を比較し、
前記第１の材料特性と、前記第３の材料特性の少なくとも一方を第４の材料特性とする材料探索評価ステップと、
を有し、
前記第４の材料特性と、前記第４の材料特性を算出するのに用いた画像とを、
前記第１の材料特性と、前記評価用低階調画像とに置き換えながら、前記仮想材料特性予測ステップと、
前記材料探索評価ステップを繰り返し行うことを特徴とする材料特性評価方法。
【請求項3】
一つ以上の学習用材料を撮像して得られた、複数の学習用画像に対して、階調を低くした学習用低階調画像を作成し、学習用低階調画像群とする学習用画像処理ステップと、
前記学習用低階調画像群と、前記学習用低階調画像群における前記学習用材料の材料特性と、を対応付けて読み込み、
前記学習用低階調画像から学習用特徴量を抽出し、
前記学習用特徴量から前記学習用材料の材料特性を予測する回帰モデルを学習する機械学習ステップと、
をさらに有することを特徴とする請求項１又は請求項２に記載の材料特性評価方法。
前記学習用低階調画像群と、前記学習用低階調画像群における前記学習用材料の材料特性と、を対応付けて読み込み、
前記学習用低階調画像から学習用特徴量を抽出し、
前記学習用特徴量から前記学習用材料の材料特性を予測する回帰モデルを学習する機械学習ステップと、
をさらに有することを特徴とする請求項１又は請求項２に記載の材料特性評価方法。
【請求項4】
前記学習用低階調画像から、前記学習用材料の材料特性を予測するために必要な学習用特徴量を削減する特徴量特定ステップをさらに有することを特徴とする請求項３に記載の材料特性評価方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、材料の画像から材料特性を評価する技術に関する。
【背景技術】
【0002】
近年、データ科学の手法を材料科学に適用するマテリアルズインフォマティクスという技術分野が活用され始めており、革新的な材料の開発や材料開発のスピードアップが期待されている。
材料開発のデータの中でも、材料を電子顕微鏡や光学顕微鏡などで撮影して得た画像は材料特性に関連する有益な情報が含まれている。材料を撮像して得た画像を、材料特性に関連付けて分析することにより、材料特性の向上をめざす事例が報告されている。
材料画像と材料特性を結び付ける方法として、例えば、特許文献１にニューラルネットワークを用いて材料特性を予測する方法が開示されている。また、特許文献２には、材料画像と材料特性の関係を検討するために画像から特徴量を抽出し、評価エリアサイズを決定する方法が開示されている。
材料開発のデータの中でも、材料を電子顕微鏡や光学顕微鏡などで撮影して得た画像は材料特性に関連する有益な情報が含まれている。材料を撮像して得た画像を、材料特性に関連付けて分析することにより、材料特性の向上をめざす事例が報告されている。
材料画像と材料特性を結び付ける方法として、例えば、特許文献１にニューラルネットワークを用いて材料特性を予測する方法が開示されている。また、特許文献２には、材料画像と材料特性の関係を検討するために画像から特徴量を抽出し、評価エリアサイズを決定する方法が開示されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０１８－１３３１７４号公報
【特許文献2】特開２０２０－２０４８２４号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかし、例えば、特許文献１の方法では、実際の材料画像から材料特性を予測できても、材料特性を向上させる施策につなげることは難しい。また、特許文献２の方法では、材料画像と材料特性の関係を考察した後に、目的の特性を得るための仮説を立てて、実際に材料を作成し、特性を測定して検証する必要があり、材料組織や組成の制御技術が確立されていない段階では、多くの手間や時間が掛かるという課題があった。
【0005】
そこで本発明では、特性向上のために想定した材料の特性を、実験による測定を行わなくても、簡便かつ迅速に検証する技術を提供する。
【課題を解決するための手段】
【0006】
本発明の材料特性評価方法は、一つ以上の評価用材料の評価用画像を読み込み、前記評価用画像に対して、階調を低くした評価用低階調画像と、前記評価用低階調画像を加工した仮想画像と、を作成する評価用画像処理ステップと、前記評価用低階調画像から評価用特徴量を抽出し、前記評価用特徴量から、回帰モデルによって前記評価用材料の第１の材料特性を予測し、前記仮想画像から仮想画像特徴量を抽出し、前記仮想画像特徴量から、前記回帰モデルによって前記評価用材料の第２の材料特性を予測する材料特性予測ステップと、 前記第１の材料特性と、前記第２の材料特性と、を比較する評価ステップと、を有することを特徴とする。
【0007】
本発明の材料特性評価方法は、一つ以上の評価用材料の評価用画像を読み込み、 前記評価用画像に対して、階調を低くした評価用低階調画像を作成し、前記評価用低階調画像から評価用特徴量を抽出し、前記評価用特徴量から、回帰モデルによって前記評価用材料の第１の材料特性を予測する材料特性初期予測ステップと、前記評価用低階調画像に対する加工条件を変えながら仮想画像を作成し、前記仮想画像から仮想画像特徴量を抽出し、前記仮想画像特徴量から、前記回帰モデルによって加工条件ごとの材料特性を予測し、前記加工条件ごとの材料特性の中から第３の材料特性を決定する仮想材料特性予測ステップと、前記第１の材料特性と、前記第３の材料特性と、を比較し、前記第１の材料特性と、前記第３の材料特性の少なくとも一方を第４の材料特性とする材料探索評価ステップと、を有し、前記第４の材料特性と、前記第４の材料特性を算出するのに用いた画像とを、前記第１の材料特性と、前記評価用低階調画像とに置き換えながら、前記仮想材料特性予測ステップと、前記材料探索評価ステップを繰り返し行うことを特徴とする。
【0008】
また、本発明の材料特性評価方法では、一つ以上の学習用材料を撮像して得られた、複数の学習用画像に対して、階調を低くした学習用低階調画像を作成し、学習用低階調画像群とする学習用画像処理ステップと、前記学習用低階調画像群と、前記学習用低階調画像群における前記学習用材料の材料特性と、を対応付けて読み込み、前記学習用低階調画像から学習用特徴量を抽出し、前記学習用特徴量から前記学習用材料の材料特性を予測する回帰モデルを学習する機械学習ステップと、をさらに有することが好ましい。
【0009】
また、本発明の材料特性評価方法では、前記学習用低階調画像から、材料特性を予測するために必要な学習用特徴量を削減する特徴量特定ステップをさらに有することが好まし
【発明の効果】
【0010】
本発明によれば、特性向上のために想定した材料組織の特性を、実験による測定を行わなくても、簡便かつ迅速に検証することが可能となる。
【図面の簡単な説明】
【0011】
【図1】本発明の第一の実施形態における材料特性評価方法のフローチャートの例である。
【図2】材料特性予測ステップの手順を示すフローチャートの例である。
【図3】本発明の第二の実施形態の材料特性評価方法に関するフローチャート
【図4】学習用に電子顕微鏡で撮像した磁石の画像と、それを低階調化した画像の例である。
【図5】材料リストの例である。
【図6】機械学習ステップの手順を示すフローチャートの例である。
【図7】特徴量特定ステップを示すフローチャートである。
【図8】特徴量選別手順を示すフローチャートの例である。
【図9】電子顕微鏡で撮像した学習用磁石の電子顕微鏡像群と、それを低階調化した学習用低階調画像群の例である。
【図10】評価用低階調画像と評価用仮想画像から予測した材料特性の例である。
【図11】電子顕微鏡像と低階調画像から予測した残留磁束密度の例である。
【図12】電子顕微鏡像と低階調画像から予測した保磁力の例である。
【図13】本発明における第三の実施形態を示すフローチャートである。
【図14】本発明の第四の実施形態における学習工程のフローチャートである。
【図15】本発明の第四の実施形態における磁気特性の矩形領域毎及び試料毎の予測値と、実測値をプロットしたグラフである。
【図16】本発明の第四の実施形態で生成した材料組織画像とそのＢＨの例である。
【発明を実施するための形態】
【0012】
以下、本発明の材料特性評価方法について、実施形態を用いて詳細に説明する。具体的には、磁石の電子顕微鏡の画像（以下、電子顕微鏡像と示す。）を利用して、磁石の材料特性（以下、磁気特性と示す。）として重要な残留磁束密度と保磁力に関する特性変化を検証した例を説明する。
【0013】
（第一の実施形態）
まず、図１におけるフローチャートに沿って、第一の実施形態における材料特性評価方法について説明する。
まず、図１におけるフローチャートに沿って、第一の実施形態における材料特性評価方法について説明する。
【0014】
（評価用画像処理ステップＳ１）
まず、評価用画像処理ステップＳ１では、評価用の磁石を撮像して得られた、一つ以上の画像を読み込み、読み込んだ画像に対し、低階調化の処理を施して評価用低階調画像を作成する。次に、評価用低階調画像を加工して、評価用仮想画像を作成する。
まず、評価用画像処理ステップＳ１では、評価用の磁石を撮像して得られた、一つ以上の画像を読み込み、読み込んだ画像に対し、低階調化の処理を施して評価用低階調画像を作成する。次に、評価用低階調画像を加工して、評価用仮想画像を作成する。
【0015】
（材料特性予測ステップＳ２）
材料特性予測ステップＳ２では、本実施形態における学習済み回帰モデルを用いて、評価用画像処理ステップＳ１で作成した評価用低階調画像から第１の材料特性（評価用磁石の磁気特性）を、評価用仮想画像から第２の材料特性（仮想的な評価用磁石の磁気特性）を予測することである。
図２は、材料特性予測ステップＳ２の手順を示すフローチャートの例である。
材料特性予測ステップＳ２では、本実施形態における学習済み回帰モデルを用いて、評価用画像処理ステップＳ１で作成した評価用低階調画像から第１の材料特性（評価用磁石の磁気特性）を、評価用仮想画像から第２の材料特性（仮想的な評価用磁石の磁気特性）を予測することである。
図２は、材料特性予測ステップＳ２の手順を示すフローチャートの例である。
【0016】
段階１０１では、本実施形態における学習済みの畳み込みニューラルネットワークの特徴量抽出器であるＶＧＧ１６を読み込む。
段階１０２では、評価用低階調画像と、そこから生成した評価用仮想画像を読み込む。
段階１０３では、読み込んだ特徴量抽出器を用いて、夫々の画像から評価用特徴量及び仮想画像特徴量を抜き出す。
段階１０２では、評価用低階調画像と、そこから生成した評価用仮想画像を読み込む。
段階１０３では、読み込んだ特徴量抽出器を用いて、夫々の画像から評価用特徴量及び仮想画像特徴量を抜き出す。
【0017】
段階１０４では、抽出した評価用特徴量及び仮想画像特徴量から評価用特徴量及び仮想画像特徴量を選別する。ここで、評価用特徴量及び仮想画像特徴量は、回帰モデルを学習する際に利用した学習用特徴量と同じ種類である必要がある。
【0018】
段階１０５では、学習済み回帰モデルを読み込む。
段階１０６では、読み込んだ回帰モデルを利用して、評価用低階調画像に対応する評価用磁石の磁気特性と、評価用仮想画像に対応する仮想的な評価用磁石の磁気特性を、夫々、予測する。
段階１０６では、読み込んだ回帰モデルを利用して、評価用低階調画像に対応する評価用磁石の磁気特性と、評価用仮想画像に対応する仮想的な評価用磁石の磁気特性を、夫々、予測する。
【0019】
（評価ステップＳ３）
評価ステップＳ３では、材料特性予測ステップＳ２で予測した結果を用いて、評価用磁石の磁気特性を評価することである。
評価ステップＳ３では、材料特性予測ステップＳ２で予測した結果を用いて、評価用磁石の磁気特性を評価することである。
【0020】
なお、機械学習の回帰モデルを利用するためには、事前に、少なくとも1回は、回帰モデルを学習させる必要がある。そこで、第一の実施形態として説明した材料特性評価方法前に、特徴量を抽出し回帰モデルを学習する工程（学習工程）を追加することが出来る。
ここで、学習工程は、一つ以上の学習用材料を撮像して得られた、複数の学習用画像に対して、階調を低くした学習用低階調画像を作成し、学習用低階調画像群とする学習用画像処理ステップと、前記学習用低階調画像群と、前記学習用低階調画像群における前記学習用材料の磁気特性と、を対応付けて読み込み、前記学習用低階調画像から学習用特徴量を抽出し、前記学習用特徴量から前記学習用材料の磁気特性を予測する回帰モデルを学習する機械学習ステップからなる。
ここで、学習工程は、一つ以上の学習用材料を撮像して得られた、複数の学習用画像に対して、階調を低くした学習用低階調画像を作成し、学習用低階調画像群とする学習用画像処理ステップと、前記学習用低階調画像群と、前記学習用低階調画像群における前記学習用材料の磁気特性と、を対応付けて読み込み、前記学習用低階調画像から学習用特徴量を抽出し、前記学習用特徴量から前記学習用材料の磁気特性を予測する回帰モデルを学習する機械学習ステップからなる。
【0021】
（第二の実施形態）
次に本発明の第二の実施形態として、上述の学習工程を含む材料特性評価方法について説明する。図３が、本発明の第二の実施形態の材料特性評価方法に関するフローチャートであり、図３のフローチャートに沿って第二の実施形態について説明する。
次に本発明の第二の実施形態として、上述の学習工程を含む材料特性評価方法について説明する。図３が、本発明の第二の実施形態の材料特性評価方法に関するフローチャートであり、図３のフローチャートに沿って第二の実施形態について説明する。
【0022】
（学習用画像処理ステップＳＳ１）
学習用画像処理ステップＳＳ１では、学習用の磁石を撮像して得られた、複数の画像からなる画像群を読み込み、読み込んだ画像群の各々の画像に対し、低階調化の処理を施して学習用低階調画像を作成する。図４は、電子顕微鏡で撮像した学習用磁石の電子顕微鏡像群１１と、本実施形態に基づいて作成した学習用低階調画像群１２の例であり、電子顕微鏡で撮像した学習用磁石の電子顕微鏡像群１１は、複数の断面組織画像である。
ここで、低階調化の処理は、二値化に限らず任意の階調にしてもよく、例えば３種類以上の相が混在している場合は相ごとに異なる輝度を割り当てて、相の数の階調に処理しても良い。また、低階調化の処理は、本実施形態では輝度の閾値による二値化処理を用いたが、所望の低階調画像を得るために、エッジ検出などの画像処理方法や、深層学習によるセグメンテーションなどを用いても良い。
学習用画像処理ステップＳＳ１では、学習用の磁石を撮像して得られた、複数の画像からなる画像群を読み込み、読み込んだ画像群の各々の画像に対し、低階調化の処理を施して学習用低階調画像を作成する。図４は、電子顕微鏡で撮像した学習用磁石の電子顕微鏡像群１１と、本実施形態に基づいて作成した学習用低階調画像群１２の例であり、電子顕微鏡で撮像した学習用磁石の電子顕微鏡像群１１は、複数の断面組織画像である。
ここで、低階調化の処理は、二値化に限らず任意の階調にしてもよく、例えば３種類以上の相が混在している場合は相ごとに異なる輝度を割り当てて、相の数の階調に処理しても良い。また、低階調化の処理は、本実施形態では輝度の閾値による二値化処理を用いたが、所望の低階調画像を得るために、エッジ検出などの画像処理方法や、深層学習によるセグメンテーションなどを用いても良い。
【0023】
（機械学習ステップＳＳ２）
次に、本実施形態における機械学習ステップＳＳ２は、学習用画像処理ステップＳＳ１で作成された、複数の学習用低階調画像からなる学習用低階調画像群と、夫々の学習用低階調画像における学習用材料の磁気特性と、を対応付けて読み込み、読み込んだ学習用低階調画像から学習用特徴量を抽出し、抽出した学習用特徴量から学習用の磁石の磁気特性を予測する回帰モデルを学習することである。
次に、本実施形態における機械学習ステップＳＳ２は、学習用画像処理ステップＳＳ１で作成された、複数の学習用低階調画像からなる学習用低階調画像群と、夫々の学習用低階調画像における学習用材料の磁気特性と、を対応付けて読み込み、読み込んだ学習用低階調画像から学習用特徴量を抽出し、抽出した学習用特徴量から学習用の磁石の磁気特性を予測する回帰モデルを学習することである。
【0024】
ここで、上述のように、材料を撮像した画像とその画像に対する磁気特性の対応付けをするために、材料リストを用いることが好ましい。図５は、本実施形態における材料リストの例である。図５の材料リストには、学習用の磁石を示す材料番号、磁気特性として測定された残留磁束密度と保磁力の実測値、さらに磁石の電子顕微鏡による撮像画像を基に低階調化の処理をした低階調画像の画像ファイル名が記述されている。
縦には各材料に対するデータが記述されている。この例では、一つの画像に対して、一つの磁束密度の測定結果、一つの保磁力の測定結果、一つの画像が管理されている。
縦には各材料に対するデータが記述されている。この例では、一つの画像に対して、一つの磁束密度の測定結果、一つの保磁力の測定結果、一つの画像が管理されている。
【0025】
図６は、本実施形態における回帰モデルを学習する機械学習ステップＳＳ２の学習手順を示すフローチャートの例である。
【0026】
段階２０１では、例えば、インターネット上で公開されている学習済みの畳み込みニューラルネットワーク（ＣＮＮ）の特徴量抽出器であるＶＧＧ１６を読み込む。
この特徴量抽出器は、本発明の対象である磁石やセラミクス、金属などの材料画像を解析するために学習したものではなく、動物や植物、物体の分類のために学習されたものである。例えば、機械学習分野でよく利用される言語Ｐｙｔｈｏｎでは、深層学習用ライブラリＫｅｒａｓに組み込まれている関数ｋｅｒａｓ．ａｐｐｌｉｃａｔｉｏｎを利用して読み込むことができる。
本実施形態では、特徴量抽出器としてＶＧＧ１６を読み込んだが、これに限定されるものではなく、ＶＧＧ１９やＸｃｅｐｔｉｏｎなどでも構わない。
この特徴量抽出器は、本発明の対象である磁石やセラミクス、金属などの材料画像を解析するために学習したものではなく、動物や植物、物体の分類のために学習されたものである。例えば、機械学習分野でよく利用される言語Ｐｙｔｈｏｎでは、深層学習用ライブラリＫｅｒａｓに組み込まれている関数ｋｅｒａｓ．ａｐｐｌｉｃａｔｉｏｎを利用して読み込むことができる。
本実施形態では、特徴量抽出器としてＶＧＧ１６を読み込んだが、これに限定されるものではなく、ＶＧＧ１９やＸｃｅｐｔｉｏｎなどでも構わない。
【0027】
段階２０２では、図５のような学習用の材料リスト（以下、学習用材料リストと示す。）を読み込む。
【0028】
段階２０３から段階２０６の間は、学習用材料リストの行数分、すなわち画像の枚数分、ループで繰り返す。
段階２０４では、学習用材料リストに記載の画像ファイルを読み込む。
段階２０５では、段階２０１で読み込んだ学習済みの畳み込みニューラルネットワークの特徴量抽出器を用いて画像から学習用特徴量を抜き出す。
段階２０４では、学習用材料リストに記載の画像ファイルを読み込む。
段階２０５では、段階２０１で読み込んだ学習済みの畳み込みニューラルネットワークの特徴量抽出器を用いて画像から学習用特徴量を抜き出す。
【0029】
段階２０７では、段階２０５で抜き出した数万種類の学習用特徴量から不要なものを削除する。不要な学習用特徴量として削除する基準は、ゼロ以外の有効な数値が一定以上含まれているか、予測に寄与するもの否かなどが考えられる。
このようにして、読み込んだ学習用低階調画像から学習用特徴量を抽出する。
このようにして、読み込んだ学習用低階調画像から学習用特徴量を抽出する。
【0030】
段階２０８では回帰モデルとして、重回帰分析、ランダムフォレスト、サポートベクターマシンなどのいずれの回帰系の機械学習方式でも適用できる。
これらの機械学習方式は、ニューラルネットワークよりも少ない材料の数でも学習できる利点がある。
本実施形態では、回帰モデルとしてランダムフォレストを用いた。
これらの機械学習方式は、ニューラルネットワークよりも少ない材料の数でも学習できる利点がある。
本実施形態では、回帰モデルとしてランダムフォレストを用いた。
【0031】
このように、機械学習ステップＳＳ２では、画像を入力し、畳み込みニューラルネットワークを経由して、ランダムフォレストで磁気特性、すなわち、ここでは残留磁束密度や保磁力を予測する回帰モデルを作成する。
【0032】
なお、より予測精度が高い回帰モデルを作成するために、学習用特徴量をさらに削減することが有効である場合が多い。そこで、機械学習ステップＳＳ２を行う前に学習準備として、磁気特性を予測するために必要な学習用特徴量を削減する工程（特徴量特定ステップ）を追加することができる。
【0033】
ここで、特徴量特定ステップを機械学習ステップＳＳ２の前に追加して行う場合には、機械学習ステップＳＳ２における段階２０７では、特徴量特定ステップで特定した学習用特徴量以外の学習用特徴量を不要のものとして削減する。
【0034】
図７は、本実施形態における回帰モデルを学習する機械学習ステップの前に追加する、特徴量特定ステップにおける学習準備手順を示すフローチャートの例である。
【0035】
段階３０１では、学習済みの畳み込みニューラルネットワークの特徴量抽出器であるＶＧＧ１６を読み込む。
段階３０２では、図５のような学習用材料リストを読み込む。
段階３０２では、図５のような学習用材料リストを読み込む。
【0036】
段階３０３から段階３０６の間は、学習用材料リストの行数分、すなわち画像の枚数分、ループで繰り返す。段階３０４では、材料リストに記載の画像を１個読み込む。
段階３０５では、段階３０１で読み込んだ学習済みの畳み込みニューラルネットワークの特徴量抽出器を用いて画像から学習用特徴量を抜き出す。
段階３０５では、段階３０１で読み込んだ学習済みの畳み込みニューラルネットワークの特徴量抽出器を用いて画像から学習用特徴量を抜き出す。
【0037】
段階３０７では、学習用特徴量によっては値として０としか入っていない場合が多数あるため、例えば全体の９０％以上に学習用特徴量の値として０が入っているような学習用特徴量は削除する。
【0038】
段階３０８では、学習用特徴量のうち磁気特性を予測するために有効な学習用特徴量を抜き出し、さらに学習用特徴量を削減する。例えば画像サイズが３２０×２４０ピクセルの場合、段階３０７で学習用特徴量を削減したあとでも、学習用特徴量が各画像に対して一万種類程度も残る場合が多い。そこで、段階３０８では例えばランダムフォレストで学習した際に算出される学習用特徴量の重要度や、予測時の決定係数や二乗平均平方根誤差を指標として学習用特徴量を選別し、学習用特徴量を削減する。
本実施形態の残留磁束密度と保磁力を予測する例では、最終的に１０～２０種類程度にまで学習用特徴量が削減される。
本実施形態の残留磁束密度と保磁力を予測する例では、最終的に１０～２０種類程度にまで学習用特徴量が削減される。
【0039】
図８は、段階３０８における磁気特性の予測に有効な学習用特徴量を選別する手順を示すフローチャートの例である。
【0040】
ここで、本実施形態では、学習用特徴量を選別する指標として、ランダムフォレストで学習した際に算出される学習用特徴量の重要度を用いた。
【0041】
段階４０１から段階４０６の間では、学習用特徴量の重要度を指標として、学習用特徴量が１００種類になるまで段階的に学習用特徴量を削減する。
段階４０２では回帰モデルとしてランダムフォレストを用いて交差検定を行う。
段階４０３では、学習用特徴量ごとの重要度を算出する。
段階４０４では、磁気特性の真値（実測値）と交差検定により算出した予測値から二乗平均平方根誤差を計算する。
段階４０５では重要度が下位５％である学習用特徴量を削除する。
段階４０２では回帰モデルとしてランダムフォレストを用いて交差検定を行う。
段階４０３では、学習用特徴量ごとの重要度を算出する。
段階４０４では、磁気特性の真値（実測値）と交差検定により算出した予測値から二乗平均平方根誤差を計算する。
段階４０５では重要度が下位５％である学習用特徴量を削除する。
【0042】
段階４０７から段階４１７の間では、交差検定時の磁気特性の真値と予測値の二乗平均平方根誤差を指標として、学習用特徴量が１種類になるまで段階的に学習用特徴量を削減する。
【0043】
段階４０８から段階４１３の間では、学習用特徴量の数だけループを繰り返し、夫々の学習用特徴量の予測値への影響を検証する。
段階４０９では、１種類の学習用特徴量を一時的に削除した学習用特徴量セットを作成する。
段階４１０では、回帰モデルとしてランダムフォレストを利用して交差検定を行う。
段階４１１で磁気特性の真値と交差検定により算出した予測値から二乗平均平方根誤差を計算する。
段階４１２では、一時的に削除した学習用特徴量を復帰させる。
段階４０９では、１種類の学習用特徴量を一時的に削除した学習用特徴量セットを作成する。
段階４１０では、回帰モデルとしてランダムフォレストを利用して交差検定を行う。
段階４１１で磁気特性の真値と交差検定により算出した予測値から二乗平均平方根誤差を計算する。
段階４１２では、一時的に削除した学習用特徴量を復帰させる。
【0044】
段階４１４では、削除した場合の二乗平均平方根誤差の絶対値が小さい上位５％の学習用特徴量を削除する。すなわち、予測精度に対して負の影響が大きい学習用特徴量を削除する。
【0045】
段階４１５では、回帰モデルとしてランダムフォレストを利用して交差検定を行う。
段階４１６では、磁気特性の真値と交差検定により算出した予測値から二乗平均平方根誤差を計算する。
段階４１６では、磁気特性の真値と交差検定により算出した予測値から二乗平均平方根誤差を計算する。
【0046】
段階４１８では、磁気特性の真値と交差検定により算出した予測値から計算した二乗平均平方根誤差が最小であるような学習用特徴量の組を出力する。
【0047】
（評価用画像処理ステップＳＳ３）
評価用画像処理ステップＳＳ３は、第一の実施形態における材料特性評価方法で説明した評価用画像処理ステップＳ１と同じ処理を行う。つまり、評価用画像処理ステップＳＳ３では、評価用の磁石を撮像して得られた、一つ以上の画像を読み込み、読み込んだ画像に対し、低階調化の処理を施して評価用低階調画像を作成する。次に、評価用低階調画像を加工して、評価用仮想画像を作成する。
図９は、電子顕微鏡で撮像した評価用磁石の電子顕微鏡像２１と、本実施形態に基づいて作成した評価用低階調画像２２と評価用仮想画像２３の例である。
ここで、低階調化の処理は、二値化に限らず任意の階調にしてもよく、例えば３種類以上の相が混在している場合は相ごとに異なる輝度を割り当てて、相の数の階調に処理しても良い。また、低階調化の処理は、本実施形態では輝度の閾値による二値化処理を用いたが、所望の低階調画像を得るために、エッジ検出などの画像処理方法や、深層学習によるセグメンテーションなどを用いても良い。
評価用画像処理ステップＳＳ３は、第一の実施形態における材料特性評価方法で説明した評価用画像処理ステップＳ１と同じ処理を行う。つまり、評価用画像処理ステップＳＳ３では、評価用の磁石を撮像して得られた、一つ以上の画像を読み込み、読み込んだ画像に対し、低階調化の処理を施して評価用低階調画像を作成する。次に、評価用低階調画像を加工して、評価用仮想画像を作成する。
図９は、電子顕微鏡で撮像した評価用磁石の電子顕微鏡像２１と、本実施形態に基づいて作成した評価用低階調画像２２と評価用仮想画像２３の例である。
ここで、低階調化の処理は、二値化に限らず任意の階調にしてもよく、例えば３種類以上の相が混在している場合は相ごとに異なる輝度を割り当てて、相の数の階調に処理しても良い。また、低階調化の処理は、本実施形態では輝度の閾値による二値化処理を用いたが、所望の低階調画像を得るために、エッジ検出などの画像処理方法や、深層学習によるセグメンテーションなどを用いても良い。
【0048】
評価用仮想画像２３は、仮想的な評価用磁石の画像であり、白色と黒色の二階調化により作成した評価用低階調画像２２のうち白色部に相当する画素に対して、膨張処理の加工を施すことで白色部を拡大させた例である。
【0049】
評価用仮想画像２３を、評価用低階調画像２２から白色部に相当する相が拡大したような仮想的な磁石を撮像した画像とみなして評価することで、白色部が拡大したような磁石では磁気特性がどう変化するのかを検証できる。評価用仮想画像２３を作成する際の加工は、膨張処理に限定されるものではなく、収縮処理などの加工も考えられ、さらには画像の一部のみを加工しても良い。
【0050】
（材料特性予測ステップＳＳ４）
材料特性予測ステップＳＳ４は、第一の実施形態における材料特性評価方法で説明した材料特性予測ステップＳ２と同じ処理を行う。つまり。材料特性予測ステップＳＳ４では、本実施形態における学習済み回帰モデルを用いて、評価用画像処理ステップＳＳ３で作成した評価用低階調画像から第１の材料特性（評価用磁石の磁気特性）を、評価用仮想画像から第２の材料特性（仮想的な評価用磁石の磁気特性）を予測することである。
材料特性予測ステップＳＳ４は、前述の材料特性予測ステップＳ２と同じであり、材料特性予測ステップＳ２の手順を示すフローチャート図２を用いて説明する。
材料特性予測ステップＳＳ４は、第一の実施形態における材料特性評価方法で説明した材料特性予測ステップＳ２と同じ処理を行う。つまり。材料特性予測ステップＳＳ４では、本実施形態における学習済み回帰モデルを用いて、評価用画像処理ステップＳＳ３で作成した評価用低階調画像から第１の材料特性（評価用磁石の磁気特性）を、評価用仮想画像から第２の材料特性（仮想的な評価用磁石の磁気特性）を予測することである。
材料特性予測ステップＳＳ４は、前述の材料特性予測ステップＳ２と同じであり、材料特性予測ステップＳ２の手順を示すフローチャート図２を用いて説明する。
【0051】
段階１０１では、本実施形態における学習済みの畳み込みニューラルネットワークの特徴量抽出器であるＶＧＧ１６を読み込む。
段階１０２では、評価用低階調画像と、そこから生成した評価用仮想画像を読み込む。
段階１０３では、読み込んだ特徴量抽出器を用いて、夫々の画像から評価用特徴量及び仮想画像特徴量を抜き出す。
段階１０２では、評価用低階調画像と、そこから生成した評価用仮想画像を読み込む。
段階１０３では、読み込んだ特徴量抽出器を用いて、夫々の画像から評価用特徴量及び仮想画像特徴量を抜き出す。
【0052】
段階１０４では、抽出した評価用特徴量及び仮想画像特徴量から、機械学習ステップＳＳ２の段階２０８回帰モデルを学習する際に利用した学習用特徴量と同じ種類の評価用特徴量及び仮想画像特徴量を選別する。
【0053】
段階１０５では、機械学習ステップＳＳ２の段階２０８で学習した回帰モデルを読み込む。
段階１０６では、読み込んだ回帰モデルを利用して、評価用低階調画像に対応する評価用磁石の磁気特性と、評価用仮想画像に対応する仮想的な評価用磁石の磁気特性を、夫々、予測する。
段階１０６では、読み込んだ回帰モデルを利用して、評価用低階調画像に対応する評価用磁石の磁気特性と、評価用仮想画像に対応する仮想的な評価用磁石の磁気特性を、夫々、予測する。
【0054】
（評価ステップＳＳ５）
評価ステップＳＳ５は、第一の実施形態における材料特性評価方法で説明した評価ステップＳ３と同じ処理を行う。つまり、評価ステップＳＳ５では、材料特性予測ステップＳＳ４で予測した結果を用いて、評価用磁石の磁気特性を評価することである。
図１０は、本実施形態における、評価用仮想画像と、その基となった評価用低階調画像とを用いて予測した残留磁束密度と保磁力を比較したグラフであり、図に示された夫々の点は、１２８個の評価用磁石に関する残留磁束密度または保磁力の予測値である。図１０から、本実施形態の様に、評価用低階調画像の白色部に相当する相が拡大した磁石を仮想した場合には、全体的に残留磁束密度が減少し、保磁力が増加する傾向となることを確認することが出来た。つまり、この評価を行うことで、評価用低階調画像を評価用仮想画像に変化させた際に生じる、磁気特性の変化を検証することが可能となる。
評価ステップＳＳ５は、第一の実施形態における材料特性評価方法で説明した評価ステップＳ３と同じ処理を行う。つまり、評価ステップＳＳ５では、材料特性予測ステップＳＳ４で予測した結果を用いて、評価用磁石の磁気特性を評価することである。
図１０は、本実施形態における、評価用仮想画像と、その基となった評価用低階調画像とを用いて予測した残留磁束密度と保磁力を比較したグラフであり、図に示された夫々の点は、１２８個の評価用磁石に関する残留磁束密度または保磁力の予測値である。図１０から、本実施形態の様に、評価用低階調画像の白色部に相当する相が拡大した磁石を仮想した場合には、全体的に残留磁束密度が減少し、保磁力が増加する傾向となることを確認することが出来た。つまり、この評価を行うことで、評価用低階調画像を評価用仮想画像に変化させた際に生じる、磁気特性の変化を検証することが可能となる。
【0055】
本実施形態では、磁気特性の変化について評価するために、多数の評価用低階調画像と、それに対応する評価用仮想画像との磁気特性を予測して、全体の傾向を観察する方法を用いたが、これに限定されるものではなく、予測した夫々の磁気特性の差分を算出する方法などもある。
【0056】
以上、本実施形態の様に、評価用低階調画像から評価用仮想画像を作成し、その画像に対応するような磁気特性を予測することで、所望の磁気特性を達成するための磁石の組織について、実際に製品を作製することなく検証することができた。
【0057】
次に、磁石の電子顕微鏡像をそのまま利用して予測した残留磁束密度と保磁力の値と、磁石の電子顕微鏡像を低階調化した画像を用いて予測した残留磁束密度と保磁力の値を比較した。
【0058】
電子顕微鏡像と低階調画像から予測される残留磁束密度と保磁力の値は、電子顕微鏡像からなる電子顕微鏡像群と、低階調画像からなる低階調画像群の夫々、図７で示す特徴量特定ステップのフローに用いて計算した。具体的には、電子顕微鏡像からなる電子顕微鏡像群と、低階調画像からなる低階調画像群の夫々に対して、ランダムフォレストを利用した交差検定を行い、残留磁束密度と保磁力の予測値を算出しながら、真値（残留磁束密度と保磁力の実測値）との二乗平均平方根誤差を計算して特徴量を選別し、その二乗平均平方根誤差値が最も小さくなる場合の予測値を、残留磁束密度と保磁力の予測値として用いることとした。
【0059】
図１１、図１２は、１２８個の残留磁束密度と保磁力の真値（残留磁束密度と保磁力の実測値）に対する、電子顕微鏡像群、または低階調画像群の材料夫々の残留磁束密度と保磁力の予測値をプロットしたものである。
電子顕微鏡像群を用いて予測した残留磁束密度と、低階調画像群から予測した残留磁束密度について、統計学で用いられる決定係数（Ｒ２値）を算出すると、夫々、０．７４、０．７６であった。また、電子顕微鏡像群から予測した保磁力と、低階調画像群から予測した保磁力について、同様に決定係数（Ｒ２値）を計算すると、夫々、０．８１、０．８４であった。
この結果から、磁石の電子顕微鏡像を低階調化した画像を利用しても、磁石の電子顕微鏡像をそのまま利用するのと同程度の決定係数で磁気特性を予測できることがわかった
電子顕微鏡像群を用いて予測した残留磁束密度と、低階調画像群から予測した残留磁束密度について、統計学で用いられる決定係数（Ｒ２値）を算出すると、夫々、０．７４、０．７６であった。また、電子顕微鏡像群から予測した保磁力と、低階調画像群から予測した保磁力について、同様に決定係数（Ｒ２値）を計算すると、夫々、０．８１、０．８４であった。
この結果から、磁石の電子顕微鏡像を低階調化した画像を利用しても、磁石の電子顕微鏡像をそのまま利用するのと同程度の決定係数で磁気特性を予測できることがわかった
【0060】
（第三の実施形態）
図１３は、電子顕微鏡像から磁気特性が向上するような材料組織画像を生成する、第三の実施形態に関するフローチャートを示す図であり、具体的には、第一の材料組織画像から、正規化した残留磁束密度と保磁力を乗じた値（ＢＨ）が向上するような材料組織画像を生成するフローチャートである。
図１３は、電子顕微鏡像から磁気特性が向上するような材料組織画像を生成する、第三の実施形態に関するフローチャートを示す図であり、具体的には、第一の材料組織画像から、正規化した残留磁束密度と保磁力を乗じた値（ＢＨ）が向上するような材料組織画像を生成するフローチャートである。
【0061】
段階５０１では、学習用材料リストを読み込む。
段階５０２では、学習済みの回帰モデルを読み込む。
段階５０２では、学習済みの回帰モデルを読み込む。
【0062】
段階５０３では、任意の材料組織画像を第１の組織画像として読み込む。出発画像である第１の組織画像は、回帰モデルを学習した際に使用した画像と同じサイズである必要があり、本実施形態では二値化した電子顕微鏡像から切り取った８０ｘ８０画素の画像を用いた。読み込んだ画像に対し、低階調化の処理を施して評価用低階調画像を作成する。
段階５０４では、評価用低階調画像をコピーして反転させることで、４枚の画像に拡張する。なお、段階５０４は予測精度向上に有効であるが、省略してもよい。
段階５０４では、評価用低階調画像をコピーして反転させることで、４枚の画像に拡張する。なお、段階５０４は予測精度向上に有効であるが、省略してもよい。
【0063】
段階５０５では、評価用低階調画像から特徴量を抜き出す。抜き出した特徴量は、回帰モデルに入力した学習用特徴量と同じ種類のものを残して、それ以外を削除する。
【0064】
段階５０６では、学習した回帰モデルを利用して評価用低階調画像の残留磁束密度と保磁力を予測する。残留磁束密度と保磁力の予測値は、データ拡張した４枚の画像からの予測値の平均値とする。
段階５０７では、学習用材料リストの実測値を正規化した計算式を用いて、予測した残留磁束密度と保磁力を正規化する。正規化した残留磁束密度と保磁力を乗じた値を第１の材料特性（以下、第１のＢＨと示す。）とする。
段階５０７では、学習用材料リストの実測値を正規化した計算式を用いて、予測した残留磁束密度と保磁力を正規化する。正規化した残留磁束密度と保磁力を乗じた値を第１の材料特性（以下、第１のＢＨと示す。）とする。
【0065】
ここで、段階５０３から段階５０７までが、一つ以上の評価用材料の評価用画像を読み込み、評価用画像に対して、階調を低くした評価用低階調画像を作成し、評価用低階調画像から評価用特徴量を抽出し、評価用特徴量から、回帰モデルによって評価用低階調画像に対する第1の材料特性を予測する材料特性初期予測ステップである。
【0066】
段階５０８から５２０の間は、任意の回数繰り返す。本実施形態では、１００００回かＢＨが２００回連続で向上しない場合のいずれか早い回数で終了とした。
【0067】
段階５０９から５１５の間は、変数ｉを任意の回数繰り返す。繰り返し回数は、段階５０８から５２０のループ一回で比較する候補の数であり、繰り返しを省略することもできる。本実施形態では、１０回繰り返した。
【0068】
段階５１０では、評価用低階調画像を何等かのルールでランダムに加工条件を変化させて加工したｉ番目の仮想画像を作成する。本実施形態では、ランダムに画素を一つ選び、白黒を反転させた。
加工条件の変化方法は、これに限定されるものではなく、白黒境界の画素のみ変化対象とする、白から黒の変化のみにする、黒から白のみの変化のみにするなどが考えられる。
加工条件の変化方法は、これに限定されるものではなく、白黒境界の画素のみ変化対象とする、白から黒の変化のみにする、黒から白のみの変化のみにするなどが考えられる。
【0069】
段階５１１では、ｉ番目の仮想画像をコピーして反転させることで、４枚の画像に拡張する。なお、段階５１１は予測精度向上に有効であるが、省略してもよい。
段階５１２では、ｉ番目の仮想画像から特徴量を抜き出す。抜き出した特徴量は、回帰モデルに入力した学習用特徴量と同じ種類のものを残して、それ以外を削除する。
段階５１２では、ｉ番目の仮想画像から特徴量を抜き出す。抜き出した特徴量は、回帰モデルに入力した学習用特徴量と同じ種類のものを残して、それ以外を削除する。
【0070】
段階５１３では、段階５０６と同様に学習済みの回帰モデルを利用してｉ番目の仮想画像の残留磁束密度と保磁力を予測する。
段階５１４では、段階５０７と同様にＢＨを計算する。このＢＨが、加工条件ごとの材料特性（以下、ｉ番目のＢＨと示す。）となる。
段階５１４では、段階５０７と同様にＢＨを計算する。このＢＨが、加工条件ごとの材料特性（以下、ｉ番目のＢＨと示す。）となる。
【0071】
段階５１６では、段階５０９から５１５のループの中で計算した１０個のｉ番目のＢＨ群のうち、最大値を第３の材料特性（以下、第２のＢＨと示す。）とする。また、それに対応するｉ番目の仮想画像を第２の組織画像とする
【0072】
段階５０８から５１６までが、評価用低階調画像に対する加工条件を変えながら仮想画像を作成し、加工条件ごとの仮想画像に対して、加工条件ごとの材料特性を予測し、加工条件ごとの材料特性の中から第３の材料特性を決定する仮想材料特性予測ステップである。
【0073】
段階５１７では、第１のＢＨと第２のＢＨを比較して、特性が高い方のＢＨを第４の材料特性（以下、第３のＢＨと示す。）として出力する。また、出力した第３のＢＨを算出するのに用いた画像（評価用低階調画像か、第２の組織画像のどちらか）も出力する。段階５１７が、第１の材料特性と第３の材料特性とを比較し、前記第１の材料特性と、前記第３の材料特性の少なくとも一方を第４の材料特性とする材料探索評価ステップである。
【0074】
段階５１８では、評価用低階調画像を、段階５１７で出力した画像に更新する。
段階５１９では、第１のＢＨを、段階５１７で出力した第３のＢＨに更新する。
その後、段階５０８に戻り、段階５０８から５２０の間を任意の回数繰り返す。本実施形態では、１００００回かＢＨが２００回連続で向上しない場合のいずれか早い回数で終了とした。
段階５１９では、第１のＢＨを、段階５１７で出力した第３のＢＨに更新する。
その後、段階５０８に戻り、段階５０８から５２０の間を任意の回数繰り返す。本実施形態では、１００００回かＢＨが２００回連続で向上しない場合のいずれか早い回数で終了とした。
【0075】
ここで、回帰モデルを利用するためには、事前に、少なくとも1回は、回帰モデルを学習させる必要がある。そこで、第三の実施形態として説明した材料特性評価方法前に、特徴量を抽出し回帰モデルを学習する工程（学習工程）を追加することが出来る。
学習工程は、一つ以上の学習用材料を撮像して得られた、複数の学習用画像に対して、階調を低くした学習用低階調画像を作成し、学習用低階調画像群とする学習用画像処理ステップと、前記学習用低階調画像群と、前記学習用低階調画像群における前記学習用材料の磁気特性と、を対応付けて読み込み、前記学習用低階調画像から学習用特徴量を抽出し、前記学習用特徴量から前記学習用材料の磁気特性を予測する回帰モデルを学習する機械学習ステップからなる。
学習工程は、一つ以上の学習用材料を撮像して得られた、複数の学習用画像に対して、階調を低くした学習用低階調画像を作成し、学習用低階調画像群とする学習用画像処理ステップと、前記学習用低階調画像群と、前記学習用低階調画像群における前記学習用材料の磁気特性と、を対応付けて読み込み、前記学習用低階調画像から学習用特徴量を抽出し、前記学習用特徴量から前記学習用材料の磁気特性を予測する回帰モデルを学習する機械学習ステップからなる。
【0076】
次に本発明の第四の実施形態として、上述の学習工程を含む材料特性評価方法について説明する。図１４が、本発明の第四の実施形態の材料特性評価方法における学習工程のフローチャートであり、本実施形態では、図１４のフローに沿って学習した学習回帰モデルを用いて材料特性を評価するが、材料特性評価の方法については、図１３に示すフローチャートと同じ手順で行われる。図１４と図１３に沿って第四の実施形態について説明する。
次に上述の学習工程について説明する。図１４が、本発明の学習工程のフローチャートである。図１４と図１３に沿って第四の実施形態について説明する。
次に上述の学習工程について説明する。図１４が、本発明の学習工程のフローチャートである。図１４と図１３に沿って第四の実施形態について説明する。
【0077】
図１４は、本実施形態における回帰モデルを学習する学習手順を示すフローチャートの例である。
段階６０１において、例えば、インターネット上で公開されている学習済みの畳み込みニューラルネットワーク（ＣＮＮ）の特徴量抽出器であるＶＧＧ１６を読み込む。
この特徴量抽出器は、本実施形態の対象である磁石やセラミクス、金属などの材料画像を解析するために学習したものではなく、動物や植物、物体の分類のために学習されたものである。例えば、機械学習分野でよく利用される言語Ｐｙｔｈｏｎでは、深層学習用ライブラリＫｅｒａｓに組み込まれている関数ｋｅｒａｓ．ａｐｐｌｉｃａｔｉｏｎを利用して読み込むことができる。
本実施形態では、特徴量抽出器としてＶＧＧ１６を読み込んだが、これに限定されるものではなく、例えばＶＧＧ１９やＸｃｅｐｔｉｏｎなどでも構わない。
段階６０１において、例えば、インターネット上で公開されている学習済みの畳み込みニューラルネットワーク（ＣＮＮ）の特徴量抽出器であるＶＧＧ１６を読み込む。
この特徴量抽出器は、本実施形態の対象である磁石やセラミクス、金属などの材料画像を解析するために学習したものではなく、動物や植物、物体の分類のために学習されたものである。例えば、機械学習分野でよく利用される言語Ｐｙｔｈｏｎでは、深層学習用ライブラリＫｅｒａｓに組み込まれている関数ｋｅｒａｓ．ａｐｐｌｉｃａｔｉｏｎを利用して読み込むことができる。
本実施形態では、特徴量抽出器としてＶＧＧ１６を読み込んだが、これに限定されるものではなく、例えばＶＧＧ１９やＸｃｅｐｔｉｏｎなどでも構わない。
【0078】
段階６０２では、前述した図５に示すような学習用材料リストを読み込む。材料リストには、学習用の磁石を示す材料番号、磁気特性として測定された残留磁束密度と保磁力の実測値、画像ファイル名が記述されている。残留磁束密度と保磁力の実測値は、最大値が１、最小値が０となるように正規化しておく。
【0079】
段階６０３から段階６１４の間は、学習用材料リストの行数分、すなわち画像の枚数分、ループで繰り返す。
【0080】
段階６０４では、学習用材料リストに記載の画像ファイルを学習用画像として読み込む。本実施形態では、３２０ｘ２４０画素の画像を用いた
段階６０５では、学習用画像に対して階調を低くした学習用低階調画像を作成する。本実施形態では、低階調処理として画像の二値化の方式を採用した。画像の二値化の方式としては、任意の閾値で二値化する方法の他に、大津の二値化や適応的二値化処理などいずれの画像処理方法を利用できる。本実施形態では、ある一定の閾値で白黒に二値化した。
段階６０５では、学習用画像に対して階調を低くした学習用低階調画像を作成する。本実施形態では、低階調処理として画像の二値化の方式を採用した。画像の二値化の方式としては、任意の閾値で二値化する方法の他に、大津の二値化や適応的二値化処理などいずれの画像処理方法を利用できる。本実施形態では、ある一定の閾値で白黒に二値化した。
【0081】
段階６０６から６１３では、画像のｘ座標として０、８０、１６０、２４０の４種類の変数ｘについてループを繰り返す。
段階６０７から６１２では、画像のｙ座標として０、８０、１６０の３種類の変数ｙについてループを繰り返す。
段階６０８では，変数ｘと変数ｙを切り出す矩形領域の始点座標として、ｘ座標がｘ～ｘ＋８０、ｙ座標がｙ～ｙ＋８０の範囲の矩形領域の画像を切り出す。
段階６０７から６１２では、画像のｙ座標として０、８０、１６０の３種類の変数ｙについてループを繰り返す。
段階６０８では，変数ｘと変数ｙを切り出す矩形領域の始点座標として、ｘ座標がｘ～ｘ＋８０、ｙ座標がｙ～ｙ＋８０の範囲の矩形領域の画像を切り出す。
【0082】
段階６０９では、切り出した画像をコピーして、ｘ軸を軸に反転させた画像、ｙ軸を軸に反転させた画像、ｘ軸を軸に反転させさらにｙ軸を軸に反転させた画像を作成する。この処理により、１枚の切り出した画像を４枚の画像に増やす、すなわち疑似的に学習用データの量を増やすことができる。
なお、段階６０９は予測精度を向上させるために役立つが、データ量が十分であれば省略してもよい。
なお、段階６０９は予測精度を向上させるために役立つが、データ量が十分であれば省略してもよい。
【0083】
段階６１０では、段階６０１で読み込んだ学習済みの畳み込みニューラルネットワークの特徴量抽出器を用いて学習用低階調画像から学習用特徴量を抜き出す。
段階６１１では、抜き出した学習用特徴量のうち一部を、段階６１７の予測性能テストのためにテスト用特徴量として取り分ける。テスト用特徴量として取り分けた特徴量は、学習用特徴量からは削除する。
本実施形態では、１枚の３２０ｘ２４０画素の画像から切り出される１２枚の８０ｘ８０画素の画像から抜き出される特徴量のうち、４枚分をテスト用特徴量とした。
段階６１１では、抜き出した学習用特徴量のうち一部を、段階６１７の予測性能テストのためにテスト用特徴量として取り分ける。テスト用特徴量として取り分けた特徴量は、学習用特徴量からは削除する。
本実施形態では、１枚の３２０ｘ２４０画素の画像から切り出される１２枚の８０ｘ８０画素の画像から抜き出される特徴量のうち、４枚分をテスト用特徴量とした。
【0084】
段階６１５では、段階６１０で抜き出した２０４８種類の学習用特徴量から不要なものを削除する。不要な学習用特徴量として削除する基準は、ゼロ以外の有効な数値が一定以上含まれているか、予測に寄与するもの否かなどが考えられる。
本実施形態では、全体の９０％以上に学習用特徴量の値として０が入っているような学習用特徴量は削除した。
このようにして、読み込んだ学習用画像から学習用特徴量を抽出する。
本実施形態では、全体の９０％以上に学習用特徴量の値として０が入っているような学習用特徴量は削除した。
このようにして、読み込んだ学習用画像から学習用特徴量を抽出する。
【0085】
段階６１６では、説明変数として学習用特徴量を、目的変数として残留磁束密度と保磁力を利用して、回帰モデルを学習する。回帰モデルとしては、重回帰分析、ランダムフォレスト、サポートベクターマシン、ニューラルネットワークなどのいずれの回帰系の機械学習方式でも適用できる。
本実施形態では、回帰モデルとしてニューラルネットワークを用いた。
本実施形態では、回帰モデルとしてニューラルネットワークを用いた。
【0086】
段階６１７では、学習した回帰モデルにテスト用特徴量を入力して、磁気特性を予測する。予測した磁気特性と実測値を比較することで、回帰モデルの性能を評価する。本実施形態では、実測値と予測値から統計学で用いられる決定変数Ｒ２を計算した。
図１５は、本実施形態における磁気特性の矩形領域毎及び試料毎の予測値と、実測値をプロットした図である。残留磁束密度の矩形領域毎の予測値と実測値の決定係数Ｒ２と、試料毎に平均した予測値と実測値の決定係数Ｒ２を算出すると、夫々、０．４１、０．５７であった。保磁力の矩形領域毎の予測値と実測値の決定係数Ｒ２と、試料毎に平均した予測値と実測値の決定係数Ｒ２を算出すると、夫々、０．４０、０．５６であった。
図１５は、本実施形態における磁気特性の矩形領域毎及び試料毎の予測値と、実測値をプロットした図である。残留磁束密度の矩形領域毎の予測値と実測値の決定係数Ｒ２と、試料毎に平均した予測値と実測値の決定係数Ｒ２を算出すると、夫々、０．４１、０．５７であった。保磁力の矩形領域毎の予測値と実測値の決定係数Ｒ２と、試料毎に平均した予測値と実測値の決定係数Ｒ２を算出すると、夫々、０．４０、０．５６であった。
【0087】
このように、段階６０１から６１７では、画像を入力し、畳み込みニューラルネットワークを経由して、ニューラルネットワークで磁気特性、すなわち、ここでは残留磁束密度や保磁力を予測する回帰モデルを作成する。
【0088】
次に、段階６１６で学習した回帰モデルを用いた材料特性評価方法を説明する。本材料特性評価方法は、前述の第三の実施形態と同じであり、第三の実施形態に関するフローチャートを示す図１３を用いて説明する。
【0089】
段階５０１では、段階６０２で読み込んだ学習用材料リストを読み込む。
段階５０２では、段階６１６で学習した回帰モデルを読み込む。
段階５０２では、段階６１６で学習した回帰モデルを読み込む。
【0090】
段階５０３では、任意の材料組織画像を第１の組織画像として読み込む。出発画像である第１の組織画像は、回帰モデルを学習した際に使用した画像と同じサイズである必要があり、本実施形態では二値化した電子顕微鏡像から切り取った８０ｘ８０画素の画像を用いた。読み込んだ画像に対し、低階調化の処理を施して評価用低階調画像を作成する。
段階５０４では、段階６０９と同じ方法で画像をコピーして反転させることで、４枚の画像に拡張する。なお、段階５０４は予測精度向上に有効であるが、省略してもよい。
段階５０４では、段階６０９と同じ方法で画像をコピーして反転させることで、４枚の画像に拡張する。なお、段階５０４は予測精度向上に有効であるが、省略してもよい。
【0091】
段階５０５では、段階６１０と同じ方法で評価用低階調画像から特徴量を抜き出す。抜き出した特徴量は、回帰モデルに入力した学習用特徴量と同じ種類のものを残して、それ以外を削除する。
【0092】
段階５０６では、段階６１６で学習した回帰モデルを利用して評価用低階調画像の残留磁束密度と保磁力を予測する。残留磁束密度と保磁力の予測値は、データ拡張した４枚の画像からの予測値の平均値とする。
段階５０７では、段階６０２で学習用材料リストの実測値を正規化した計算式を用いて、予測した残留磁束密度と保磁力を正規化する。正規化した残留磁束密度と保磁力を乗じた値をＢＨとする。
段階５０７では、段階６０２で学習用材料リストの実測値を正規化した計算式を用いて、予測した残留磁束密度と保磁力を正規化する。正規化した残留磁束密度と保磁力を乗じた値をＢＨとする。
【0093】
ここで、段階５０３から段階５０７までが、一つ以上の評価用材料の評価用画像を読み込み、評価用画像に対して、階調を低くした評価用低階調画像を作成し、評価用低階調画像から評価用特徴量を抽出し、評価用特徴量から、回帰モデルによって評価用低階調画像に対する第1の材料特性を予測する材料特性初期予測ステップである。
【0094】
段階５０８から５２０の間は、任意の回数繰り返す。本実施形態では、１００００回かＢＨが２００回連続で向上しない場合のいずれか早い回数で終了とした。
【0095】
段階５０９から５１５の間は、変数ｉを任意の回数繰り返す。繰り返し回数は、段階５０８から５２０のループ一回で比較する候補の数であり、繰り返しを省略することもできる。本実施形態では、１０回繰り返した。
【0096】
段階５１０では、評価用低階調画像を何等かのルールでランダムに加工条件を変化させて加工したｉ番目の仮想画像を作成する。本実施形態では、ランダムに画素を一つ選び、白黒を反転させた。
加工条件の変化方法は、これに限定されるものではなく、白黒境界の画素のみ変化対象とする、白から黒の変化のみにする、黒から白のみの変化のみにするなどが考えられる。
加工条件の変化方法は、これに限定されるものではなく、白黒境界の画素のみ変化対象とする、白から黒の変化のみにする、黒から白のみの変化のみにするなどが考えられる。
【0097】
段階５１１では、段階６０９と同じ方法で画像をコピーして反転させることで、４枚の画像に拡張する。なお、段階５１１は予測精度向上に有効であるが、省略してもよい。
段階５１２では、段階６１０と同じ方法で画像から特徴量を抜き出す。抜き出した特徴量は、回帰モデルに入力した学習用特徴量と同じ種類のものを残して、それ以外を削除する。
段階５１２では、段階６１０と同じ方法で画像から特徴量を抜き出す。抜き出した特徴量は、回帰モデルに入力した学習用特徴量と同じ種類のものを残して、それ以外を削除する。
【0098】
段階５１３では、段階５０６と同様に学習済みの回帰モデルを利用してｉ番目の仮想画像の残留磁束密度と保磁力を予測する。
段階５１４では、段階５０７と同様にＢＨを計算し、加工条件ごとの材料特性（以下、ｉ番目のＢＨと示す。）とする。
段階５１４では、段階５０７と同様にＢＨを計算し、加工条件ごとの材料特性（以下、ｉ番目のＢＨと示す。）とする。
【0099】
段階５１６では、段階５０９から段階５１５のループの中で計算した１０個のｉ番目のＢＨのうち、最大値を第３の材料特性（以下、第２のＢＨと示す。）とする。また、それに対応する画像を第２の組織画像とする
【0100】
段階５０８から段階５１６までが、評価用低階調画像に対する加工条件を変えながら仮想画像を作成し、加工条件ごとの仮想画像に対して、加工条件ごとの材料特性を予測し、加工条件ごとの材料特性の中から第３の材料特性を決定する仮想材料特性予測ステップである。
【0101】
段階５１７では、第１のＢＨと第２のＢＨを比較して、特性が高い方のＢＨを第４の材料特性（以下、第３のＢＨと示す。）として出力する。また、出力した第３のＢＨを算出するのに用いた画像（評価用低階調画像か、第２の組織画像のどちらか）も出力する。段階５１７が、第１の材料特性と第３の材料特性とを比較し、前記第１の材料特性と、前記第３の材料特性の少なくとも一方を第４の材料特性とする材料探索評価ステップである。
【0102】
段階５１８では、評価用低階調画像を、段階５１７で出力した画像に更新する。
段階５１９では、第１のＢＨを、段階５１７で出力した第３のＢＨに更新する。
その後、段階５０８に戻り、段階５０８から５２０の間を任意の回数繰り返す。本実施形態では、１００００回かＢＨが２００回連続で向上しない場合のいずれか早い回数で終了とした。
段階５１９では、第１のＢＨを、段階５１７で出力した第３のＢＨに更新する。
その後、段階５０８に戻り、段階５０８から５２０の間を任意の回数繰り返す。本実施形態では、１００００回かＢＨが２００回連続で向上しない場合のいずれか早い回数で終了とした。
【0103】
図１６は、本実施形態で生成した材料組織画像とそのＢＨである。このように、予測される磁気特性ＢＨが出発画像よりも高いような組織画像を自動的に生成することができた。
図１７は、図１６の画像を生成した際の、ループ回数に対する残留磁束密度、保磁力、ＢＨの変化である。ＢＨが向上するよう画像を変化させることで、残留磁束密度と保磁力が同時に向上するという結果を得ることができた。
図１７は、図１６の画像を生成した際の、ループ回数に対する残留磁束密度、保磁力、ＢＨの変化である。ＢＨが向上するよう画像を変化させることで、残留磁束密度と保磁力が同時に向上するという結果を得ることができた。
【0104】
以上、本実施形態の様に、材料組織画像を自動的させつつ磁気特性ＢＨが向上するように画像を最適化することで、磁気特性ＢＨが向上するような材料組織画像を自動生成できた。
最適化の方法は、本実施形態では山登り法を用いたが、これに限定されるものではなく、例えば焼きなまし法や遺伝的アルゴリズムなどでも構わない。
このように、本実施形態によれば、材料組織の特性を、実験による測定を行わなくても、簡便かつ迅速に検証することが可能となり、更に、材料特性を向上させるような材料組織の仮想画像を入手することができる。
最適化の方法は、本実施形態では山登り法を用いたが、これに限定されるものではなく、例えば焼きなまし法や遺伝的アルゴリズムなどでも構わない。
このように、本実施形態によれば、材料組織の特性を、実験による測定を行わなくても、簡便かつ迅速に検証することが可能となり、更に、材料特性を向上させるような材料組織の仮想画像を入手することができる。
【0105】
本実施形態では、電気顕微鏡で撮像した学習用磁石の断面組織画像を用いて磁気特性を予測したが、撮像される画像は組織画像に限定されるものではなく、例えば、材料の表面を撮像して摩擦係数などの表面状態に関係する特性を予測することも可能である。
【0106】
以上、本発明について、上記実施形態を用いて説明してきたが、本発明は上記実施形態に限定されるものではない。明細書に含まれる技術範囲にて、内容を変更することができる。
【符号の説明】
【0107】
１１ 学習用磁石の電子顕微鏡像群
１２ 学習用低階調画像群
２１ 評価用磁石の電子顕微鏡像
２２ 評価用低階調画像
２３ 評価用仮想画像
１２ 学習用低階調画像群
２１ 評価用磁石の電子顕微鏡像
２２ 評価用低階調画像
２３ 評価用仮想画像
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
