ホーム > 特許ランキング > 株式会社プロテリアル
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B1)
(11)【特許番号】
(24)【登録日】2024-07-02
(45)【発行日】2024-07-10
(54)【発明の名称】予測装置、予測方法、及びプログラム
(51)【国際特許分類】
G16C 60/00 20190101AFI20240703BHJP
G16C 20/70 20190101ALI20240703BHJP
【ＦＩ】
G16C60/00
G16C20/70
【請求項の数】
17
(21)【出願番号】P 2023095375
(22)【出願日】2023-06-09
【審査請求日】2024-01-17
【早期審査対象出願】
(73)【特許権者】
【識別番号】000005083
【氏名又は名称】株式会社プロテリアル
(74)【復代理人】
【識別番号】100193390
【弁理士】
【氏名又は名称】藤田 祐作
(74)【代理人】
【識別番号】100096091
【弁理士】
【氏名又は名称】井上 誠一
(72)【発明者】
【氏名】石田 俊樹
(72)【発明者】
【氏名】小野 眞
【審査官】橋沼 和樹
(56)【参考文献】
【文献】国際公開第２０２０／１５２７５０（ＷＯ，Ａ１）
【文献】国際公開第２０２２／２４９２３２（ＷＯ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ１６Ｃ １０／００－９９／００
(57)【特許請求の範囲】
【請求項1】
材料を撮像して得られた組織画像を学習用データとして、前記材料の組織画像を生成するための生成モデルを構築する生成モデル構築部と、前記材料の組織画像とプロセス条件との対となるデータを学習することにより、任意の組織画像のプロセス条件を予測する回帰モデルであるプロセス条件予測モデルを構築するプロセス条件予測モデル構築部と、
前記生成モデル構築部により構築された生成モデルにサンプリングされた潜在変数を入力することで材料の組織画像を生成し、生成した前記材料の組織画像を、前記プロセス条件予測モデル構築部により構築された前記プロセス条件予測モデルに入力することで、前記材料の組織画像を生成するとともに当該組織画像のプロセス条件を予測する画像生成－予測部と、
を備えることを特徴とする予測装置。
【請求項2】
前記生成モデル構築部及び前記プロセス条件予測モデル構築部におけるエポック数は、前記生成モデルにより生成される組織画像の再構成精度と、前記プロセス条件予測モデルにより予測されるプロセス条件の分布とに基づいて決定されることを特徴とする請求項１に記載の予測装置。
【請求項3】
前記生成モデル構築部及び前記プロセス条件予測モデル構築部における前記エポック数を調整するための調整手段と、を更に備えることを特徴とする請求項２に記載の予測装置。
【請求項4】
前記画像生成－予測部は、前記生成モデルによって生成した前記材料の組織画像に超解像処理を施した画像を前記プロセス条件予測モデルに入力し、プロセス条件を予測することを特徴とする請求項１に記載の予測装置。
【請求項5】
前記プロセス条件予測モデル構築部は、学習する前記材料の組織画像として、当該材料の組織画像を前記生成モデルにより再構成した画像に超解像処理を施した画像を用いることを特徴とする請求項１または請求項４に記載の予測装置。
【請求項6】
前記材料の組織画像と品質特性値との対となるデータを学習することにより、任意の組織画像の品質特性値を予測する回帰モデルである特性予測モデルを構築する特性予測モデル構築部と、を更に備え、前記画像生成－予測部は、前記特性予測モデルを用いて生成した前記材料の組織画像の品質特性値を予測する
ことを特徴とする請求項１に記載の予測装置。
【請求項7】
前記画像生成－予測部により生成された前記材料の組織画像から、目標とする品質特性を有する前記材料の組織画像を取得する目標画像取得部と、を更に備えることを特徴とする請求項６に記載の予測装置。
【請求項8】
前記目標画像取得部は、前記画像生成－予測部が予測した前記生成モデルによって生成した組織画像についての品質特性値が、所定の目標条件を満たすか否かを判定し、前記品質特性値が所定の目標条件を満たす場合に、前記生成した組織画像を前記目標とする品質特性を有する前記材料の組織画像とすることを特徴とする請求項７に記載の予測装置。
【請求項9】
前記目標とする品質特性を有する前記材料の組織画像について、プロセス条件および品質特性値の予測結果を可視化する可視化部と、を更に備えることを特徴とする請求項８に記載の予測装置。
【請求項10】
前記生成モデル構築部及び特性予測モデル構築部におけるエポック数は、前記生成モデルにより生成される組織画像の再構成精度と、前記特性予測モデルにより予測される品質特性値の分布とに基づいて決定されることを特徴とする請求項６に記載の予測装置。
【請求項11】
前記生成モデル構築部及び特性予測モデル構築部における前記エポック数を調整するための調整手段と、を更に備えることを特徴とする請求項１０に記載の予測装置。
【請求項12】
前記画像生成－予測部は、前記生成モデルによって生成した前記材料の組織画像に超解像処理を施した画像を前記特性予測モデルに入力し、品質特性値を予測することを特徴とする請求項６に記載の予測装置。
【請求項13】
前記特性予測モデル構築部は、学習する前記材料の組織画像として、当該材料の組織画像を前記生成モデルにより再構成した画像に超解像処理を施した画像を用いることを特徴とする請求項６または請求項１２に記載の予測装置。
【請求項14】
前記画像生成－予測部は、ランダムに組織画像を生成する場合と比較して、目標とする品質特性と関連が強い組織を含む組織画像をより多く生成するようにする、または、目標とする品質特性と関連が弱い組織を含む組織画像をより少なく生成するようにすることを特徴とする請求項６または請求項７に記載の予測装置。
【請求項15】
前記画像生成－予測部により生成された組織画像の品質特性値の分布が偏りをもっていることを特徴とする請求項６または請求項７に記載の予測装置。
【請求項16】
コンピュータが、材料を撮像して得られた組織画像を学習用データとして、前記材料の組織画像を生成するための生成モデルを構築するステップと、
前記材料の組織画像とプロセス条件との対となるデータを学習することにより、任意の組織画像のプロセス条件を予測する回帰モデルであるプロセス条件予測モデルを構築するステップと、
前記生成モデルを構築するステップにより構築された前記生成モデルにサンプリングされた潜在変数を入力することで材料の組織画像を生成し、生成した前記材料の組織画像を、前記プロセス条件予測モデルを構築するステップにより構築された前記プロセス条件予測モデルに入力することで、前記材料の組織画像を生成するとともに当該組織画像のプロセス条件を予測するステップと、
を含む予測方法。
【請求項17】
コンピュータを、材料を撮像して得られた組織画像を学習用データとして、前記材料の組織画像を生成するための生成モデルを構築する生成モデル構築部、
前記材料の組織画像とプロセス条件との対となるデータを学習することにより、任意の組織画像のプロセス条件を予測する回帰モデルであるプロセス条件予測モデルを構築するプロセス条件予測モデル構築部、
前記生成モデル構築部により構築された生成モデルにサンプリングされた潜在変数を入力することで材料の組織画像を生成し、生成した前記材料の組織画像を、前記プロセス条件予測モデル構築部により構築された前記プロセス条件予測モデルに入力することで、前記材料の組織画像を生成するとともに当該組織画像のプロセス条件を予測する画像生成－予測部、
として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、材料開発を支援する技術に関する。
【背景技術】
【0002】
近年、情報科学、特にデータ科学を効果的に活用して、新材料を開発するマテリアルズインフォマティクスという技術分野が注目されている。マテリアルズインフォマティクスでは、様々な実験条件や実験結果等のデータを関連付けてデータベースに蓄積し、統計解析、機械学習、シミュレーション等を駆使して、新材料の開発に役立つ情報を抽出している。
【0003】
例えば、特許文献１、２では、材料の組成条件や熱処理条件等のプロセス条件と材料の品質特性値とを関係づけて回帰モデルを学習し、回帰モデルを使用して所望の品質特性値から材料のプロセス条件を予測する技術が記載されている。特許文献１、２で開示されるような回帰モデルを学習生成する手法は精度が高く、数値データを基本とする材料設計の分野では適用しやすいと考えられている。
【先行技術文献】
【特許文献】
【0004】
【文献】特許第６６１７８４２号
【文献】特許第６９５０１１９号
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、特許文献１、２のように、材料のプロセス条件と品質特性値の数値データのみに基づき学習させた回帰モデルを使用して予測を行う方法では、プロセス条件の予測精度の更なる向上には限界があった。そのため、より精度の高い予測を実現するために、数値データ以外の情報、例えば、材料の組織情報等を考慮することが考えられる。
【0006】
本発明は、このような課題に鑑みてなされたもので、材料の組織情報を考慮したプロセス条件の予測が可能な予測装置等を提供することを目的とする。
【課題を解決するための手段】
【0007】
前述した課題を解決するための第１の発明は、材料を撮像して得られた組織画像を学習用データとして、前記材料の組織画像を生成するための生成モデルを構築する生成モデル構築部と、前記材料の組織画像とプロセス条件との対となるデータを学習することにより、任意の組織画像のプロセス条件を予測する回帰モデルであるプロセス条件予測モデルを構築するプロセス条件予測モデル構築部と、前記生成モデル構築部により構築された生成モデルにサンプリングされた潜在変数を入力することで材料の組織画像を生成し、生成した前記材料の組織画像を、前記プロセス条件予測モデル構築部により構築された前記プロセス条件予測モデルに入力することで、前記材料の組織画像を生成するとともに当該組織画像のプロセス条件を予測する画像生成－予測部と、を備えることを特徴とする予測装置である。
【0008】
第１の発明によれば、実験で得た組織画像やプロセス条件のデータを用いて生成モデルや回帰モデルを学習することで、材料の組織情報を考慮したプロセス条件の予測が可能となる。
【0009】
第１の発明において、前記生成モデル構築部及び前記プロセス条件予測モデル構築部におけるエポック数は、前記生成モデルにより生成される組織画像の再構成精度と、前記プロセス条件予測モデルにより予測されるプロセス条件の分布とに基づいて決定されることが望ましい。また、前記生成モデル構築部及び前記プロセス条件予測モデル構築部における前記エポック数を調整するための調整手段と、を更に備えることが望ましい。これにより、画像の再構成精度とプロセス条件の予測精度を両立させた学習モデル（生成モデル、プロセス条件予測モデル）を構築することができる。
【0010】
また、前記画像生成－予測部は、前記生成モデルによって生成した前記材料の組織画像に超解像処理を施した画像を前記プロセス条件予測モデルに入力し、プロセス条件を予測することが望ましい。
また、前記プロセス条件予測モデル構築部は、学習する前記材料の組織画像として、当該材料の組織画像を前記生成モデルにより再構成した画像に超解像処理を施した画像を用いることが望ましい。
超解像処理を施した画像を用いてプロセス条件予測モデルの学習や予測を行うことで、学習性能や予測性能を向上させることができる。
また、前記プロセス条件予測モデル構築部は、学習する前記材料の組織画像として、当該材料の組織画像を前記生成モデルにより再構成した画像に超解像処理を施した画像を用いることが望ましい。
超解像処理を施した画像を用いてプロセス条件予測モデルの学習や予測を行うことで、学習性能や予測性能を向上させることができる。
【0011】
第１の発明において、前記材料の組織画像と品質特性値との対となるデータを学習することにより、任意の組織画像の品質特性値を予測する回帰モデルである特性予測モデルを構築する特性予測モデル構築部と、を更に備え、前記画像生成－予測部は、前記特性予測モデルを用いて生成した前記材料の組織画像の品質特性値を予測することが望ましい。これにより、生成した材料の組織画像について、品質特性を更に予測することが可能となる。
【0012】
また、前記画像生成－予測部により生成された前記材料の組織画像から、目標とする品質特性を有する前記材料の組織画像を取得する目標画像取得部と、を更に備えることが望ましい。例えば、前記目標画像取得部は、前記画像生成－予測部が予測した前記生成モデルによって生成した組織画像についての品質特性値が、所定の目標条件を満たすか否かを判定し、前記品質特性値が所定の目標条件を満たす場合に、前記生成した組織画像を前記目標とする品質特性を有する前記材料の組織画像とする。これにより、目標とする品質特性を有する材料の組織画像を得ることが可能となる。
【0013】
また、前記目標とする品質特性を有する前記材料の組織画像について、プロセス条件および品質特性値の予測結果を可視化する可視化部と、を更に備えることが望ましい。これにより、目標とする品質特性を有する材料の組織画像について、プロセス条件や品質特性を評価しやすくなる。
【0014】
また、前記生成モデル構築部及び特性予測モデル構築部におけるエポック数は、前記生成モデルにより生成される組織画像の再構成精度と、前記特性予測モデルにより予測される品質特性値の分布とに基づいて決定されることが望ましい。また、前記生成モデル構築部及び特性予測モデル構築部における前記エポック数を調整するための調整手段と、を更に備えることが望ましい。これにより、画像の再構成精度と品質特性の予測精度を両立させた学習モデル（生成モデル、特性予測モデル）を構築することができる。
【0015】
また、前記画像生成－予測部は、前記生成モデルによって生成した前記材料の組織画像に超解像処理を施した画像を前記特性予測モデルに入力し、品質特性値を予測することが望ましい。
また、前記特性予測モデル構築部は、学習する前記材料の組織画像として、当該材料の組織画像を前記生成モデルにより再構成した画像に超解像処理を施した画像を用いることが望ましい。
超解像処理を施した画像を用いて特性予測モデルの学習や予測を行うことで、学習性能や予測性能を向上させることができる。
また、前記特性予測モデル構築部は、学習する前記材料の組織画像として、当該材料の組織画像を前記生成モデルにより再構成した画像に超解像処理を施した画像を用いることが望ましい。
超解像処理を施した画像を用いて特性予測モデルの学習や予測を行うことで、学習性能や予測性能を向上させることができる。
【0016】
また、前記画像生成－予測部は、ランダムに組織画像を生成する場合と比較して、目標とする品質特性と関連が強い組織を含む組織画像をより多く生成するようにする、または、目標とする品質特性と関連が弱い組織を含む組織画像をより少なく生成するようにすることが望ましい。これにより、目標とする品質特性に近い特性を持つ組織画像を効率的に生成することができる。
【0017】
また、前記画像生成－予測部により生成された組織画像の品質特性値の分布が偏りをもつことが望ましい。特定の品質特性をもつ組織画像がより頻繁に生成され、特定の品質要件に適合する組織画像を優先的に生成することができる。
【0018】
第２の発明は、コンピュータが、材料を撮像して得られた組織画像を学習用データとして、前記材料の組織画像を生成するための生成モデルを構築するステップと、前記材料の組織画像とプロセス条件との対となるデータを学習することにより、任意の組織画像のプロセス条件を予測する回帰モデルであるプロセス条件予測モデルを構築するステップと、前記生成モデルを構築するステップにより構築された前記生成モデルにサンプリングされた潜在変数を入力することで材料の組織画像を生成し、生成した前記材料の組織画像を、前記プロセス条件予測モデルを構築するステップにより構築された前記プロセス条件予測モデルに入力することで、前記材料の組織画像を生成するとともに当該組織画像のプロセス条件を予測するステップと、を含む予測方法である。
【0019】
第３の発明は、コンピュータを、材料を撮像して得られた組織画像を学習用データとして、前記材料の組織画像を生成するための生成モデルを構築する生成モデル構築部、前記材料の組織画像とプロセス条件との対となるデータを学習することにより、任意の組織画像のプロセス条件を予測する回帰モデルであるプロセス条件予測モデルを構築するプロセス条件予測モデル構築部、前記生成モデル構築部により構築された生成モデルにサンプリングされた潜在変数を入力することで材料の組織画像を生成し、生成した前記材料の組織画像を、前記プロセス条件予測モデル構築部により構築された前記プロセス条件予測モデルに入力することで、前記材料の組織画像を生成するとともに当該組織画像のプロセス条件を予測する画像生成－予測部、として機能させるためのプログラムである。
【発明の効果】
【0020】
本発明により、材料の組織情報を考慮したプロセス条件の予測が可能となる。
【図面の簡単な説明】
【0021】
【図1】予測装置１として利用するコンピュータのハードウェア構成を示す図である。
【図2】予測装置１の機能構成を示すブロック図である。
【図3】生成モデル３１としてＶＱＶＡＥを用いた例を示す図である。
【図4】生成モデル３１により生成された希土類磁石の組織画像の例を示す図である。
【図5】生成モデル３１により生成された黒鉛鋳鉄の組織画像の例を示す図である。
【図6】プロセス条件予測モデル構築部２３を説明する図である。
【図7】希土類磁石の製造工程の例を示す図である。
【図8】拡散源塗布の例を示す図である。
【図9】拡散処理における熱処理条件の例を示す図である。
【図10】画像生成－予測部２６における組織画像の生成とプロセス条件の予測について説明する図である。
【図11】予測装置１が実行する処理の流れを示すフローチャートである。
【図12】エポック数に応じた生成画像の違いを示す図である。
【図13】エポック数と再構成ロスとの関係を示すグラフである。
【図14】拡散源組成について、横軸を実測値、縦軸を予測値として表した図である。（ａ）は組成Ｆｅ、（ｂ）は組成Ｇａ、（ｃ）は組成Ｃｕの場合を表す。
【図15】熱処理条件（加熱温度、保持時間）について、横軸を実測値、縦軸を予測値として表した図である。（ａ）は１段階目の熱処理条件（加熱温度、保持時間）、（ｂ）は２段階目の熱処理条件（加熱温度、保持時間）を表す。
【図16】生成画像の鮮明度と生成速度の関係を示す図である。
【図17】生成画像に超解像処理を適用する例を示す図である。
【図18】予測装置１ａの機能構成を示すブロック図である。
【図19】特性予測モデル構築部２２を説明する図である。
【図20】画像生成－予測部２６における組織画像の生成と、品質特性値およびプロセス条件の予測について説明する図である。
【図21】ランダムに生成した生成画像の品質特性値の予測値の分布を示す図である。
【図22】予測装置１ａが実行する処理の流れを示すフローチャートである。
【図23】磁束密度Br［T］について横軸を実測値、縦軸を特性予測モデル３２の予測値として表した図である。（ａ）は学習データの場合、（ｂ）は検証データの場合、（ｃ）はテストデータの場合を示す。
【図24】高Br（磁束密度）－低HcJ（保磁力）を目標特性とした場合の生成画像５ａ、５ｂ、５ｃの例を示す図である。
【図25】低Br（磁束密度）－高HcJ（保磁力）を目標特性とした場合の生成画像５ｄ、５ｅ、５ｆの例を示す図である。
【図26】高Br（磁束密度）－高HcJ（保磁力）を目標特性とした場合の生成画像５ｇ、５ｈ、５ｉの例を示す図である。
【図27】生成した組織画像について品質特性の予測結果を可視化した例を示す図である。（ａ）は生成画像５ｇの磁束密度BrのＳＨＡＰ分布図と保磁力HcJのＳＨＡＰ分布図、（ｂ）は生成画像５ｈの磁束密度BrのＳＨＡＰ分布図と保磁力HcJのＳＨＡＰ分布図、（ｃ）は生成画像５ｉの磁束密度BrのＳＨＡＰ分布図と保磁力HcJのＳＨＡＰ分布図を表す。
【図28】予測装置１ｂの機能構成を示すブロック図である。
【図29】学習用組織画像４１をエンコーダ２１１に入力して潜在変数Ｚを取得する例を説明する図である。
【図30】潜在変数Ｚのデータ列に基いて、条件付き確率分布（自己回帰モデル３４）を学習する例を説明する図である。
【図31】自己回帰モデルソフトマックス関数３４２を、係数Ｔを追加した係数付きソフトマックス関数３４２ａに修正する例を説明する図である。
【図32】ソフトマックス関数３４２ａの係数を変化させた場合の関数の変化を示す図である。
【図33】予測装置１ｂが実行する処理の流れを示すフローチャートである。
【図34】係数Ｔを調整した場合の生成画像の品質特性値の分布を示すグラフである。
【発明を実施するための形態】
【0022】
以下、図面に基づいて本発明の実施形態を詳細に説明する。本実施形態では、予測装置１を用いて希土類磁石の組織画像を生成しプロセス条件等を予測する例を説明する。なお、材料は、希土類磁石に限定されず、例えば、金属、磁石、セラミック、樹脂等を含む各種の材料についても適用可能である。
【0023】
［第１の実施の形態］
図１は本発明の実施形態に係る予測装置１のハードウェア構成の一例を示す図である。例えば、一般的なパーソナルコンピュータを予測装置１として利用する場合、予測装置１は、図１に示すように、制御部１０１、記憶部１０２、通信部１０３、入力部１０４、表示部１０５、周辺機器Ｉ／Ｆ部１０６等がバス１０８を介して接続される。なお、図１に示す構成は一例であり、予測装置１は用途、目的に応じて様々な構成を採ることが可能である。
図１は本発明の実施形態に係る予測装置１のハードウェア構成の一例を示す図である。例えば、一般的なパーソナルコンピュータを予測装置１として利用する場合、予測装置１は、図１に示すように、制御部１０１、記憶部１０２、通信部１０３、入力部１０４、表示部１０５、周辺機器Ｉ／Ｆ部１０６等がバス１０８を介して接続される。なお、図１に示す構成は一例であり、予測装置１は用途、目的に応じて様々な構成を採ることが可能である。
【0024】
制御部１０１は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only
Memory）、ＲＡＭ（Random Access Memory）等を有する。ＣＰＵは、記憶部１０２やＲＯＭ等の記録媒体に格納されるプログラムをＲＡＭ上のワークメモリ領域に呼び出して実行し、バス１０８を介して接続された各部を駆動制御して予測装置１の後述する各処理を実現する。
Memory）、ＲＡＭ（Random Access Memory）等を有する。ＣＰＵは、記憶部１０２やＲＯＭ等の記録媒体に格納されるプログラムをＲＡＭ上のワークメモリ領域に呼び出して実行し、バス１０８を介して接続された各部を駆動制御して予測装置１の後述する各処理を実現する。
【0025】
ＲＯＭは不揮発性メモリであり、コンピュータのブートプログラムやＢＩＯＳ等のプログラム、データ等を恒久的に保持している。ＲＡＭは揮発性メモリであり、記憶部１０２やＲＯＭ等の記録媒体からロードしたプログラムやデータを一時的に保持するとともに、制御部１０１が各種処理を行うために使用するワークエリアを備える。
【0026】
記憶部１０２は、ＨＤＤ（Hard Disc Drive）、ＳＳＤ（Solid State Drive）、フラッシュメモリ等であり、制御部１０１が実行するプログラム、プログラム実行に必要なデータ、ＯＳ（Operation System）等が格納される。特に本実施形態では、後述する処理を予測装置１に実行させるためのアプリケーションプログラムが記憶部１０２に格納される。
【0027】
通信部１０３は、予測装置１の通信を媒介する通信インタフェース及び通信制御回路を含み、ネットワークを介した通信の制御を行う。ネットワークは、ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）、インターネット等を含み、有線、無線を問わない。
【0028】
入力部１０４は、キーボード、マウス、またはタッチパネル等の入力装置、及び各種操作ボタン等を含む。入力部１０４は、入力されたデータや操作指示を制御部１０１に送信する。
【0029】
表示部１０５は、液晶パネル等のディスプレイ等を備え、制御部１０１の指示に従って画像やテキスト等のデータをディスプレイに表示する。
【0030】
周辺機器Ｉ／Ｆ部１０６は、周辺機器を接続するためのポートであり、ＵＳＢ、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の近距離無線通信等を含む。制御部１０１は周辺機器Ｉ／Ｆ部１０６を介して周辺機器とのデータの送受信を行う。周辺機器Ｉ／Ｆ部１０６には、例えばプリンタ等が接続される。
【0031】
次に、予測装置１の機能構成を説明する。
図２は、本実施形態に係る予測装置１の機能構成を示すブロック図である。図に示すように、予測装置１は、生成モデル構築部２１、プロセス条件予測モデル構築部２３、サンプリング部２５、画像生成－予測部２６、及び可視化部２９を備える。予測装置１の制御部１０１が、記憶部１０２またはＲＯＭに記憶されたプログラムを読み出して実行することで、これらの機能を実現する。
図２は、本実施形態に係る予測装置１の機能構成を示すブロック図である。図に示すように、予測装置１は、生成モデル構築部２１、プロセス条件予測モデル構築部２３、サンプリング部２５、画像生成－予測部２６、及び可視化部２９を備える。予測装置１の制御部１０１が、記憶部１０２またはＲＯＭに記憶されたプログラムを読み出して実行することで、これらの機能を実現する。
【0032】
生成モデル構築部２１は、材料を撮像して得られた組織画像４１（以下、学習用組織画像４１ともいう。）を学習用データとして、材料の組織画像を生成するための生成モデル３１を構築する。学習用データとして用いる学習用組織画像４１は、対象とする材料を電子顕微鏡等で撮像した画像である。学習用組織画像４１は、プロセス条件（実測値）と紐づけて記憶部１０２または通信部１０３を介して通信接続可能なストレージ等に記憶されている。
【0033】
図３は、生成モデル構築部２１による生成モデル３１の構築の概念を説明する図である。図３は、ベクトル量子化変分オートエンコーダ（ＶＱＶＡＥ；Vector Quantized Variational Auto-encoder）の例を示している。エンコーダ２１１は、画像を低次元の潜在変数Ｚに圧縮する機能部であり、デコーダ２１２は潜在変数Ｚから元の画像を復元する機能部である。エンコーダ２１１及びデコーダ２１２は、例えば、ＣＮＮ（畳み込みニューラルネットワーク）等のニューラルネットワークで構築される。図に示すように、材料を撮像して得た学習用組織画像４１を学習用データとして、エンコーダ２１１、デコーダ２１２、及び埋め込みベクトルＶを含むＶＱＶＡＥを学習させることで、学習用組織画像４１と似た画像（生成画像）５１を生成する生成モデル３１が構築される。
【0034】
なお、生成モデル３１はＶＱＶＡＥに限定されず、ＶＡＥやＶＱＶＡＥ２、敵対的生成ネットワーク（Generative Adversarial Networks；ＧＡＮ）、ガウシアンコピュラ（Gaussian Copula）、その他の教師なし機械学習を用いてもよい。
【0035】
図４は生成モデル３１により生成された希土類磁石の組織画像（生成画像）の例であり、希土類磁石を撮像して得た組織画像を学習用データとして学習させた生成モデル３１により生成した画像である。
図５は生成モデル３１により生成された黒鉛鋳鉄の組織画像（生成画像）の例であり、黒鉛鋳鉄を撮像して得た組織画像を学習用データとして学習させた生成モデル３１により生成した画像である。
図５は生成モデル３１により生成された黒鉛鋳鉄の組織画像（生成画像）の例であり、黒鉛鋳鉄を撮像して得た組織画像を学習用データとして学習させた生成モデル３１により生成した画像である。
【0036】
次に、図２のプロセス条件予測モデル構築部２３について説明する。プロセス条件予測モデル構築部２３は、材料の組織画像とプロセス条件との対となる学習用データ４３を用いて、任意の組織画像（生成画像）のプロセス条件を予測する回帰モデル（プロセス条件予測モデル３３）を学習し構築する。
【0037】
ここで、学習用データ４３における材料の組織画像とは、生成モデル３１を構築する際に使用した組織画像４１（図３参照）を生成モデル３１により復元（再構成）した画像（以下、学習用生成画像５１ともいう。）である。すなわち、学習用組織画像４１を学習済みのエンコーダ２１１に入力して潜在変数Ｚを得て、その潜在変数Ｚを学習済みのデコーダ２１２に入力して得られる画像である。
【0038】
図６は、プロセス条件予測モデル構築部２３によるプロセス条件予測モデル３３の構築の概念を説明する図である。図に示すように、プロセス条件予測モデル構築部２３は、材料の組織画像（学習用生成画像５１）とそのプロセス条件とを対にした学習用データ４３を学習器２２０に入力し、教師あり学習を行うことでプロセス条件予測モデル３３を構築する。
【0039】
学習器２２０は、学習用データ４３の学習用生成画像５１を説明変数（入力）、その学習用生成画像５１の対となるプロセス条件６０を目的変数（出力）とし、ＣＮＮ（畳み込みニューラルネットワーク）やその他の公知の機械学習によりプロセス条件予測モデル３３を学習する。学習済みのプロセス条件予測モデル３３は、プロセス条件が未知の組織画像（生成画像）を入力すると、その組織画像（生成画像）のプロセス条件６０を予測し、出力する。
【0040】
なお、学習用生成画像５１を説明変数としてプロセス条件予測モデル３３を学習させているが、学習用生成画像５１に替えて、学習用組織画像４１を説明変数としてプロセス条件予測モデル３３を学習させてもよい。また、学習用生成画像５１を生成した際の潜在変数Ｚを説明変数としてプロセス条件予測モデル３３を学習させてもよい。
【0041】
ここで、希土類磁石の製造工程について一例を説明する。図７は、希土類磁石の製造工程を示すフローチャートである。図に示すように、ＳＣ合金の作製（ステップＳ１）、水素処理（ステップＳ２）、ジェットミル粉砕（ステップＳ３）、磁界中成形（ステップＳ４）の工程を経た後、焼結（ステップＳ５）、粗加工（ステップＳ６）が行われる。その後、拡散源塗布（ステップＳ７）、拡散処理（ステップＳ８）の工程を経て、仕上げ研削（ステップＳ９）、表面処理（ステップＳ１０）が行われ、希土類磁石が製造される。本実施形態では、上記の製造工程のうち、拡散源塗布（ステップＳ７）と拡散処理（ステップＳ８）におけるプロセス条件を予測対象とする。
【0042】
図８は、ステップＳ７における拡散源塗布の例を示す図である。図の例では、容器において、ベース磁石であるＮｄ－Ｆｅ－Ｂに拡散源としてＰｒ－Ｆｅ－Ｃｕ－Ｇａを塗布した例を示している（但し、ベース磁石や拡散源は図の例に限定されない）。本実施形態では、拡散源組成を、拡散源塗布における予測対象のプロセス条件とする（図１４）。
【0043】
図９は、ステップＳ８における拡散処理の熱処理条件の例を示す図である。本実施形態では、拡散源をベース磁石に塗布した状態で２段階の熱処理を実施する。熱処理中に、拡散源がベース磁石中に拡散されることで、材料特性が変化する。本実施形態では、１段階目の熱処理条件（加熱温度ＴＨ、保持時間ｔＨ）、及び２段階目の熱処理条件（加熱温度ＴＬ、保持時間ｔＬ）を、拡散処理における予測対象のプロセス条件とする（図１５）。
【0044】
なお、予測対象とするプロセス条件は、上記した例に限定されず、種々のプロセス条件を予測対象とすることができる。また、図７に例示した製造工程は、あくまで一例であり、他の製造工程を採用することができる。
【0045】
サンプリング部２５は、組織画像を生成するために、生成モデル３１のデコーダ２１２に入力する潜在変数Ｚをサンプリングする。
画像生成－予測部２６は、生成モデル構築部２１により構築された生成モデル３１と、プロセス条件予測モデル構築部２３により構築されたプロセス条件予測モデル３３とを連結した画像生成－予測モデルを用いて、任意の組織画像を生成するとともに生成した組織画像のプロセス条件を予測する。具体的には、画像生成－予測部２６は、サンプリング部２５によりサンプリングされた潜在変数Ｚを、図１０に示すように生成モデル３１のデコーダ２１２に入力し、生成画像５１を生成する。また、画像生成－予測部２６は、生成した生成画像５１について、プロセス条件予測モデル３３を用いてプロセス条件６０を予測する。
画像生成－予測部２６は、生成モデル構築部２１により構築された生成モデル３１と、プロセス条件予測モデル構築部２３により構築されたプロセス条件予測モデル３３とを連結した画像生成－予測モデルを用いて、任意の組織画像を生成するとともに生成した組織画像のプロセス条件を予測する。具体的には、画像生成－予測部２６は、サンプリング部２５によりサンプリングされた潜在変数Ｚを、図１０に示すように生成モデル３１のデコーダ２１２に入力し、生成画像５１を生成する。また、画像生成－予測部２６は、生成した生成画像５１について、プロセス条件予測モデル３３を用いてプロセス条件６０を予測する。
【0046】
可視化部２９は、画像生成－予測部２６により生成された生成画像５１とそのプロセス条件６０を表示部１０５（画面）に表示する。また、可視化部２９は、予測したプロセス条件６０をグラフや組織画像５上にプロットしたプロセス条件マップで表示したり、ＳＨＡＰ値をグラフや組織画像５上にプロットしたＳＨＡＰ分布図等で表示してもよい。
【0047】
【0048】
予測装置１の制御部１０１は、ある材料を撮像して得られた組織画像４１（学習用組織画像４１）を学習用データとして記憶部１０２等から取得し、ＶＱＶＡＥ等の生成モデル３１を学習し構築する（ステップＳ１０１）。
【0049】
また、制御部１０１は、組織画像とプロセス条件との対となる学習用データ４３を用いて、任意の組織画像（生成画像）のプロセス条件を予測する回帰モデルであるプロセス条件予測モデル３３を構築する（ステップＳ１０２）。具体的には、制御部１０１は、学習用組織画像４１を生成モデル３１により復元（再構成）した画像である学習用生成画像５１を説明変数（入力）、その対となるプロセス条件６０を目的変数（出力）としてプロセス条件予測モデル３３を学習することで、任意の組織画像（生成画像）からプロセス条件６０を予測するプロセス条件予測モデル３３を構築する。
【0050】
なお、ステップＳ１０１、Ｓ１０２において、学習用データとして用いる学習用組織画像４１及び学習用生成画像５１は所定サイズの矩形画像に分割して用いてもよい。
【0051】
次に、制御部１０１は、ステップＳ１０１で構築した生成モデル３１と、ステップＳ１０２で構築したプロセス条件予測モデル３３とを連結した画像生成－予測モデルを作成する（ステップＳ１０３）。画像生成－予測モデルは、生成モデル３１により任意の生成画像５１を出力するとともに、プロセス条件予測モデル３３により生成画像５１のプロセス条件６０の予測値を出力するものである。
【0052】
ここで、オペレータは、ステップＳ１０３で作成した画像生成－予測モデルを検証データやテストデータを用いて検証／テストを行い、生成した生成画像５１の再構成精度と、プロセス条件６０の予測値の分布が適切であるか否かを判定する（ステップＳ１０４）。不適切な場合は（ステップＳ１０４；Ｎｏ）、オペレータは生成モデル３１のハイパーパラメータを調整し（ステップＳ１０５）、生成モデル３１の構築（ステップＳ１０１）やプロセス条件予測モデル３３の構築（ステップＳ１０２）を再度行う。ハイパーパラメータは、例えばエポック数等である。
【0053】
なお、ステップＳ１０４において、制御部１０１は、オペレータが再構成精度とプロセス条件６０の予測値の分布を目視で確認できるように、元画像と元画像を生成モデル３１により復元した生成画像５１を並べて表示したり、プロセス条件予測モデル３３により予測したプロセス条件６０の分布を表示部１０５に表示することが望ましい。また、ハイパーパラメータ調整画面へ移行するための「調整」ボタンと、次の処理へ移行するための「次へ」ボタンを表示して、適切／不適切の入力を受け付けるようにしてもよい。
【0054】
オペレータは、生成画像５１の再構成精度と、プロセス条件６０の予測値の分布が不適切であると判断すると（ステップＳ１０４；Ｎｏ）、例えば、ハイパーパラメータ調整画面へ移行するための「調整」ボタンを操作する。その場合、制御部１０１は、ハイパーパラメータ調整画面を表示し、オペレータからエポック数等の調整を受け付ける（ステップＳ１０５）。ステップＳ１０５における、制御部１０１が実行する「ハイパーパラメータ調整画面を表示し、オペレータからエポック数等の調整を受け付ける」機能は、本発明に係る「調整手段」の一例である。なお、ハイパーパラメータの調整は、調整画面上ではなく、プログラムの該当箇所を直接書き換えることで行ってもよい。
【0055】
オペレータは、ハイパーパラメータを調整しながら生成モデル３１及びプロセス条件予測モデル３３の学習、検証、テストを繰り返す（ステップＳ１０１～Ｓ１０５）。そして、生成した生成画像５１の再構成精度と、プロセス条件６０の予測値の分布が適切であるとオペレータが判断すると（ステップＳ１０４；Ｙｅｓ）、学習処理を終了し、次のステップＳ２０１へ進む。
【0056】
図１２は、エポック数に応じた生成画像の違いを示す図である。図１２（ａ）は元画像、図１２（ｂ）はエポック数３０の場合における生成画像（元画像を復元した画像）、図１２（ｃ）はエポック数４００における生成画像（元画像を復元した画像）である。図に示すように、エポック数が３０の場合と比較して、エポック数が４００の場合のほうが、細部まで再現できており、再構成精度が高いことが分かる。
【0057】
図１３は、エポック数と再構成ロスとの関係を示すグラフである。再構成ロスは、元画像と元画像を復元した画像（生成画像）の差を表す値である。再構成ロスが小さいほど画像の再構成精度が高いことを表す。
【0058】
図１２、１３に示すように、エポック数を増やすと画像の再構成精度が高くなるが、再構成精度が高すぎると、プロセス条件の分布に適度な広がりが得られなくなり、未知の生成画像に対するプロセス条件の予測精度が低下する可能性がある。そのため、本実施形態では、再構成精度とプロセス条件の予測精度を両立させた最適なエポック数を決定するために、図１１のステップＳ１０４～Ｓ１０５において、再構成精度とプロセス条件の予測値の分布の双方が適切か否かを確認しながらエポック数を調整する処理を設けている。
【0059】
なお、ステップＳ１０４において、制御部１０１が、再構成精度とプロセス条件の予測値の分布を所定の基準で評価し、適切／不適切を自動で判断してもよい。例えば、制御部１０１は、再構成精度については、再構成ロスが所定の閾値未満であれば適切、閾値以上であれば不適切と判断する。また、プロセス条件の予測値の分布については、分布の分散値等の統計指標が所定の条件を満たせば適切、所定の条件を満たさなければ不適切と判断する。そして、再構成精度およびプロセス条件の予測値の分布の双方が適切と判断された場合（ステップＳ１０４；Ｙｅｓ）、学習処理を終了し、ステップＳ２０１へ移行する。
【0060】
図１４、図１５は、学習されたプロセス条件予測モデル３３（回帰モデル）の予測性能を示すグラフである。図１４、図１５ともに、実測値を元に正規化処理を実施している。図１４は、拡散源組成について横軸を実測値、縦軸を予測値として表したグラフであり、（ａ）は組成Ｆｅ、（ｂ）は組成Ｇａ、（ｃ）は組成Ｃｕのグラフである。各グラフには回帰モデルの性能指標である決定係数Ｒ２を示しており、組成Ｆｅ、Ｇａ、Ｇｕについて、それぞれ、決定係数Ｒ２がＲ２＝0.9565、Ｒ２＝0.9895、Ｒ２＝0.9895である。図１５は、熱処理条件（加熱温度、保持時間）について横軸を実測値、縦軸を予測値として表したグラフであり、（ａ）は１段階目の熱処理条件（加熱温度、保持時間）、（ｂ）は２段階目の熱処理条件（加熱温度、保持時間）のグラフである。１段階目の加熱温度、保持時間の決定係数Ｒ２がＲ２＝0.9530、Ｒ２＝0.9640であり、２段階目の加熱温度、保持時間の決定係数Ｒ２がＲ２＝0.9726、Ｒ２＝0.976である。図１４、図１５から、拡散源組成と熱処理条件の両方において高い予測精度が実現されており、良好な予測性能を持つプロセス条件予測モデル３３が作成されていることが分かる。
【0061】
図１１のフローチャートの説明に戻る。
制御部１０１は、画像生成－予測モデルの生成モデル３１（デコーダ２１２）に入力する潜在変数Ｚをサンプリングする（ステップＳ２０１）。本実施形態では、潜在変数Ｚは、例えば、ランダムノイズ等の任意のデータである。
制御部１０１は、画像生成－予測モデルの生成モデル３１（デコーダ２１２）に入力する潜在変数Ｚをサンプリングする（ステップＳ２０１）。本実施形態では、潜在変数Ｚは、例えば、ランダムノイズ等の任意のデータである。
【0062】
制御部１０１は、ステップ２０１でサンプリングした潜在変数Ｚ（ランダムノイズ等の任意のデータ）を入力として画像生成－予測モデルによって組織画像（生成画像５１）を生成し、その生成画像５１についてプロセス条件６０を予測する（ステップＳ２０２）。制御部１０１の出力データは、生成画像５１とその生成画像５１から予測したプロセス条件６０とを含むデータである。
【0063】
次に制御部１０１は、可視化処理を行う（ステップＳ２０３）。可視化処理では、制御部１０１は、生成した生成画像５１（組織画像）とプロセス条件６０の予測結果を表示部１０５に表示する。また、可視化の方法として、特開２０２１－１１１３６０に記載されている品質特性マップの生成方法等を用いてもよい。特開２０２１－１１１３６０では、組織画像を所定サイズの矩形領域に切り出し、切り出し領域毎に磁束密度や保磁力のＳＨＡＰ値を算出し、ＳＨＡＰ値のマップを生成することが記載されている。ＳＨＡＰ（SHapley Additive exPlanations）とは、XAI（Explainable AI）技術の１つであり、予測モデルにて出力された予測結果に対して、それぞれの説明変数が予測結果に対してどのような影響を与えたかを定量的に算出する手法である。この方法を、プロセス条件の場合に適用することで、プロセス条件のマップ生成を行ってもよい。
【0064】
以上説明したように、本実施形態の予測装置１は、材料を撮像して得られた組織画像を学習用データとして生成モデル３１を学習し、材料の組織画像とプロセス条件との対となるデータを学習データとしてプロセス条件予測モデル３３学習し、生成モデル３１とプロセス条件予測モデル３３とを連結することで画像生成－予測モデルを構築する。これにより、任意の組織画像を生成できるとともに、生成した組織画像のプロセス条件を予測する学習モデルが構築されるため、材料の組織情報を考慮したプロセス条件の予測が可能となる。また、理想組織をもつ組織画像が与えられた場合に、その組織画像をプロセス条件予測モデル３３に入力することで、理想組織を実現するプロセス条件を予測することができる。また、異常組織をもつ組織画像が与えられた場合に、その組織画像をプロセス条件予測モデル３３に入力することで、異常組織のプロセス原因を予測することができる。
【0065】
（超解像処理の適用）
生成モデル３１により生成される画像に超解像処理を施してもよい。これにより、計算コストを極端に増加させることなく鮮明度の高い生成画像を得ることができる。
図１６は、生成画像の鮮明度と生成速度の関係を示す図である。図から分かるように、生成画像の鮮明度と生成速度はトレードオフの関係にある。つまり、鮮明度が高い生成画像を生成しようとすると、生成速度は遅くなる。生成モデル３１の複雑性を高めることで、より鮮明度の高い生成画像を得ることは可能であるが、大量の画像を生成する場合は計算コストが膨大になる。そのため、生成モデル３１自体を複雑にするのではなく、生成モデル３１が生成した生成画像に超解像処理を施すことで、鮮明度を高めつつ計算コストの増大を抑制することができる。これにより、生成画像の鮮明度と生成速度のトレードオフが緩和される。
生成モデル３１により生成される画像に超解像処理を施してもよい。これにより、計算コストを極端に増加させることなく鮮明度の高い生成画像を得ることができる。
図１６は、生成画像の鮮明度と生成速度の関係を示す図である。図から分かるように、生成画像の鮮明度と生成速度はトレードオフの関係にある。つまり、鮮明度が高い生成画像を生成しようとすると、生成速度は遅くなる。生成モデル３１の複雑性を高めることで、より鮮明度の高い生成画像を得ることは可能であるが、大量の画像を生成する場合は計算コストが膨大になる。そのため、生成モデル３１自体を複雑にするのではなく、生成モデル３１が生成した生成画像に超解像処理を施すことで、鮮明度を高めつつ計算コストの増大を抑制することができる。これにより、生成画像の鮮明度と生成速度のトレードオフが緩和される。
【0066】
図１７は、生成画像に超解像処理を適用する例を示す図である。図に示すように、学習済みの生成モデル３１のデコーダ２１２から出力された生成画像５１に対して超解像処理を施す。これにより、鮮明化された生成画像５１が得られる。超解像処理には、画像を鮮明化する公知の手法が用いられる。
【0067】
図１１で示した処理のうち、超解像処理は画像生成時（図１１のステップＳ２０２）に適用することができる。具体的には、図１１のステップＳ２０２において、制御部１０１（画像生成－予測部２６）は、画像生成－予測モデルの生成モデル３１によって生成した組織画像（生成画像５１）に対して超解像処理を施して鮮明化した生成画像５１を出力し、鮮明化した生成画像５１を画像生成－予測モデルの特性予測モデル３２に入力して品質特性値６１を予測する。
【0068】
また、特性予測モデル３２の学習時（図１１のステップＳ１０２）に超解像処理を適用することもできる。具体的には、図１１のステップＳ１０２において、制御部１０１（特性予測モデル構築部２２）は、学習用組織画像４１を生成モデル３１により復元（再構成）した学習用生成画像５１に対して超解像処理を施して鮮明化した学習用生成画像５１を説明変数（入力）、その対となる品質特性値６１を目的変数（出力）として特性予測モデル３２を学習する。
【0069】
以上のように、超解像技術を適用することで、生成モデル３１の複雑度を増加させずに、生成画像５１を鮮明化させることができる。その結果、生成画像を大量に生成する場合でも、現実的な生成速度で鮮明度の高い画像を生成することができる。
【0070】
［第２の実施の形態］
次に、第２の実施形態について説明する。第２の実施形態では、生成画像から更に品質特性値を予測する。
図１８は、第２の実施形態に係る予測装置１ａの機能構成を示すブロック図である。予測装置１ａは、予測装置１の機能構成（図２）に加え、特性予測モデル構築部２２、目標画像取得部２８を更に備える。
次に、第２の実施形態について説明する。第２の実施形態では、生成画像から更に品質特性値を予測する。
図１８は、第２の実施形態に係る予測装置１ａの機能構成を示すブロック図である。予測装置１ａは、予測装置１の機能構成（図２）に加え、特性予測モデル構築部２２、目標画像取得部２８を更に備える。
【0071】
生成モデル構築部２１は、第１の実施形態と同様に、材料を撮像して得られた組織画像４１（学習用組織画像４１）を学習用データとして、材料の組織画像を生成するための生成モデル３１を構築する。第２の実施形態では、学習用組織画像４１は、プロセス条件（実測値）に加え、品質特性値（実測値）と紐づけられ、記憶部１０２または通信部１０３を介して通信接続可能なストレージ等に記憶されている。品質特性値は、材料特性値であり、例えば、磁束密度Br、保磁力HcJ等である。
【0072】
特性予測モデル構築部２２は、材料の組織画像と品質特性値との対となる学習用データ４２を用いて、任意の組織画像（生成画像）の品質特性値を予測する回帰モデル（特性予測モデル３２）を学習し構築する。
【0073】
ここで、学習用データ４２における材料の組織画像とは、生成モデル３１を構築する際に使用した組織画像４１（図３参照）を生成モデル３１により復元（再構成）した画像（学習用生成画像５１）である。すなわち、学習用組織画像４１を学習済みのエンコーダ２１１に入力して潜在変数Ｚを得て、その潜在変数Ｚを学習済みのデコーダ２１２に入力して得られる画像である。
【0074】
図１９は、特性予測モデル構築部２２による特性予測モデル３２の構築の概念を説明する図である。図に示すように、特性予測モデル構築部２２は、材料の組織画像（学習用生成画像５１）とその品質特性値とを対にした学習用データ４２を学習器２２１に入力し、教師あり学習を行うことで特性予測モデル３２を構築する。
【0075】
学習器２２１は、学習用データ４２の学習用生成画像５１を説明変数（入力）、その学習用生成画像５１の対となる品質特性値６１を目的変数（出力）とし、ＣＮＮ（畳み込みニューラルネットワーク）やその他の公知の機械学習により特性予測モデル３２を学習する。学習済みの特性予測モデル３２は、品質特性値が未知の組織画像（生成画像）を入力すると、その組織画像（生成画像）の品質特性値６１を予測し、出力する。
【0076】
なお本実施形態では、学習用生成画像５１を説明変数として特性予測モデル３２を学習させているが、学習用組織画像４１（実データ）を説明変数として特性予測モデル３２を学習させることもできる。また、学習用生成画像５１を生成した際の潜在変数Ｚを説明変数として特性予測モデル３２を学習させることもできる。
【0077】
画像生成－予測部２６は、生成モデル構築部２１により構築された生成モデル３１と、プロセス条件予測モデル３３により構築されたプロセス条件予測モデル３３と、特性予測モデル構築部２２により構築された特性予測モデル３２と連結した画像生成－予測モデルを用いて、任意の組織画像を生成するとともに生成した組織画像のプロセス条件と品質特性値を予測する。具体的には、画像生成－予測部２６は、サンプリング部２５によりランダムにサンプリングされた潜在変数Ｚを、図２０に示すように、生成モデル３１のデコーダ２１２に入力し、生成画像５１をランダムに生成する。そして、画像生成－予測部２６は、生成した生成画像５１について、プロセス条件予測モデル３３を用いてプロセス条件６０を予測し、特性予測モデル３２を用いて品質特性値６１を予測する。
【0078】
図２１は、生成モデル３１によってランダムに生成した生成画像５１（希土類磁石の生成画像）の品質特性値６１の予測値の分布を示す図である。グラフの縦軸は磁束密度Br、横軸は保磁力HcJを示す。縦軸、横軸ともに、最小値が０、最大値が１となるよう、実際のデータを用いて正規化処理を実施している。白で表した点「〇」は実験データの品質特性値の分布を示し、黒で表した点「●」はランダムに多数生成した生成画像５１の中からサンプリングした生成画像５１の品質特性値の予測値の分布を示す。図に示すように、生成画像５１の品質特性値の予測値の分布が、実験データの品質特性値の分布の概ね全域をカバーできていることから、生成モデル３１によって様々な特性を有する生成画像５１を生成することができる。例えば、図に示すように、高Br－低HcJの特性を持つ生成画像５１ａ、低Br－高HcJの予測特性を持つ生成画像５１ｃ、中間的な特性を持つ生成画像５１b等を生成することができる。組織構造をみると、生成画像５１ａは粒界が細く、生成画像５１ｃは粒界が太く、生成画像５１ｂの粒界は生成画像５１ａと生成画像５１ｃの中間程度となることが分かる。
【0079】
目標画像取得部２８は、画像生成－予測部２６により生成された組織画像（生成画像５１）の中から、目標とする品質特性を有する材料の組織画像（生成画像５）を取得する。具体的には、目標画像取得部２８は、画像生成－予測部２６が予測した品質特性値６１が所定の目標条件を満たすか否かを判定する。判定の結果、品質特性値６１が所定の目標条件を満たす場合に、その生成画像５１を、目標とする品質特性を有する材料の組織画像５として取得する。
【0080】
可視化部２９は、目標画像取得部２８により取得した目標とする品質特性を有する材料の組織画像５について、そのプロセス条件や品質特性値の予測結果を表示部１０５に表示する。また、可視化部２９は、予測したプロセス条件６０や品質特性値６１をグラフや組織画像５上にプロットしたプロセス条件マップや特性マップで表示したり、ＳＨＡＰ値をグラフや組織画像５上にプロットしたＳＨＡＰ分布図等で表示してもよい。
【0081】
【0082】
予測装置１ａの制御部１０１は、ある材料を撮像して得られた組織画像４１（学習用組織画像４１）を学習用データとして記憶部１０２等から取得し、ＶＱＶＡＥ等の生成モデル３１を学習し構築する（ステップＳ１０１ａ）。
【0083】
次にステップＳ１０２ａにおいて、制御部１０１は、組織画像とプロセス条件との対となる学習用データ４３を用いて、任意の組織画像（生成画像）のプロセス条件を予測する回帰モデルであるプロセス条件予測モデル３３を構築する。具体的には、制御部１０１は、学習用組織画像４１を生成モデル３１により復元（再構成）した画像である学習用生成画像５１を説明変数（入力）、その対となるプロセス条件６０を目的変数（出力）としてプロセス条件予測モデル３３を学習することで、任意の組織画像（生成画像）からプロセス条件６０を予測するプロセス条件予測モデル３３を構築する。
【0084】
またステップＳ１０２ａにおいて、制御部１０１は、組織画像と品質特性値との対となる学習用データ４２を用いて、任意の組織画像（生成画像）の品質特性値を予測する回帰モデルである特性予測モデル３２を構築する。具体的には、制御部１０１は、学習用組織画像４１を生成モデル３１により復元（再構成）した画像である学習用生成画像５１を説明変数（入力）、その対となる品質特性値６１を目的変数（出力）として特性予測モデル３２を学習することで、任意の組織画像（生成画像）から品質特性値６１を予測する特性予測モデル３２を構築する。
【0085】
なお、ステップＳ１０１ａ、Ｓ１０２ａにおいて、学習用データとして用いる学習用組織画像４１及び学習用生成画像５１は所定サイズの矩形画像に分割して用いてもよい。
【0086】
次に、制御部１０１は、ステップＳ１０１ａで構築した生成モデル３１と、ステップＳ１０２ａで構築したプロセス条件予測モデル３３及び特性予測モデル３２とを連結した画像生成－予測モデルを作成する（ステップＳ１０３ａ）。画像生成－予測モデルは、生成モデル３１により任意の生成画像５１を出力するとともに、プロセス条件予測モデル３３により当該生成画像５１のプロセス条件６０の予測値、及び特性予測モデル３２により当該生成画像５１の品質特性値６１の予測値を出力するものである。
【0087】
ここで、オペレータは、ステップＳ１０３ａで作成した画像生成－予測モデルを検証データやテストデータを用いて検証／テストを行い、生成した生成画像５１の再構成精度と、プロセス条件６０や品質特性値６１の予測値の分布が適切であるか否かを判定する（ステップＳ１０４ａ）。不適切な場合は（ステップＳ１０４ａ；Ｎｏ）、オペレータは生成モデル３１のハイパーパラメータを調整し（ステップＳ１０５ａ）、生成モデル３１の構築（ステップＳ１０１ａ）、プロセス条件予測モデル３３や特性予測モデル３２の構築（ステップＳ１０２ａ）を再度行う。ハイパーパラメータは、例えばエポック数等である。
【0088】
なお、ステップＳ１０４ａにおいて、制御部１０１は、オペレータが再構成精度とプロセス条件６０や品質特性値６１の予測値の分布を目視で確認できるように、元画像と元画像を生成モデル３１により復元した生成画像５１を並べて表示したり、プロセス条件予測モデル３３により予測したプロセス条件６０の分布や特性予測モデル３２により予測した品質特性値６１の分布を表示部１０５に表示することが望ましい。また、ハイパーパラメータ調整画面へ移行するための「調整」ボタンと、次の処理へ移行するための「次へ」ボタンを表示して、適切／不適切の入力を受け付けるようにしてもよい。
【0089】
オペレータは、生成画像５１の再構成精度と、プロセス条件６０や品質特性値６１の予測値の分布が不適切であると判断すると（ステップＳ１０４ａ；Ｎｏ）、例えば、ハイパーパラメータ調整画面へ移行するための「調整」ボタンを操作する。その場合、制御部１０１は、ハイパーパラメータ調整画面を表示し、オペレータからエポック数等の調整を受け付ける（ステップＳ１０５ａ）。ステップＳ１０５ａにおける、制御部１０１が実行する「ハイパーパラメータ調整画面を表示し、オペレータからエポック数等の調整を受け付ける」機能は、本発明に係る「調整手段」の一例である。なお、ハイパーパラメータの調整は、調整画面上ではなく、プログラムの該当箇所を直接書き換えることで行ってもよい。
【0090】
オペレータは、ハイパーパラメータを調整しながら生成モデル３１、プロセス条件予測モデル３３、及び特性予測モデル３２の学習、検証、テストを繰り返す（ステップＳ１０１ａ～Ｓ１０５ａ）。そして、生成した生成画像５１の再構成精度と、プロセス条件６０や品質特性値６１の予測値の分布が適切であるとオペレータが判断すると（ステップＳ１０４ａ；Ｙｅｓ）、学習処理を終了し、次のステップＳ２０１ａへ進む。
【0091】
なお、ステップＳ１０４ａにおいて、制御部１０１が、再構成精度とプロセス条件や品質特性値の予測値の分布を所定の基準で評価し、適切／不適切を自動で判断してもよい。例えば、制御部１０１は、再構成精度については、再構成ロスが所定の閾値未満であれば適切、閾値以上であれば不適切と判断する。また、プロセス条件や品質特性値の予測値の分布については、分布の分散値等の統計指標が所定の条件を満たせば適切、所定の条件を満たさなければ不適切と判断する。そして、再構成精度とプロセス条件や品質特性値の予測値の分布の双方が適切と判断された場合（ステップＳ１０４ａ；Ｙｅｓ）、学習処理を終了し、ステップＳ２０１ａへ移行する。
【0092】
図２３は、学習された特性予測モデル３２（回帰モデル）の予測性能を示すグラフであり、磁束密度Brについて横軸を実測値、縦軸を予測値として表した図である。縦軸、横軸ともに、最小値が０、最大値が１となるよう、実測値を元に正規化処理を実施している。（ａ）は学習データを用いた場合、（ｂ）は検証データを用いた場合、（ｃ）はテストデータを用いた場合を示す。回帰モデルの決定係数Ｒ２が、学習データではＲ２＝0.9805、検証データではＲ２＝0.4286、テストデータではＲ２＝0.4485となり、良好な予測性能を有する特性予測モデル３２が作成されていることが分かる。
【0093】
図２２のフローチャートの説明に戻る。
制御部１０１は、画像生成－予測モデルの生成モデル３１（デコーダ２１２）に入力する潜在変数Ｚをサンプリングする（ステップＳ２０１ａ）。本実施形態では、潜在変数Ｚは、例えば、ランダムノイズ等の任意のデータである。
制御部１０１は、画像生成－予測モデルの生成モデル３１（デコーダ２１２）に入力する潜在変数Ｚをサンプリングする（ステップＳ２０１ａ）。本実施形態では、潜在変数Ｚは、例えば、ランダムノイズ等の任意のデータである。
【0094】
制御部１０１は、ステップ２０１ａでサンプリングした潜在変数Ｚ（ランダムノイズ等の任意のデータ）を入力として画像生成－予測モデルによって組織画像（生成画像５１）を生成し、その生成画像５１についてプロセス条件６０と品質特性値６１を予測する（ステップＳ２０２ａ）。制御部１０１の出力データは、生成画像５１とその生成画像５１から予測したプロセス条件６０と品質特性値６１とを含むデータである。制御部１０１は、複数の出力データを生成し、各出力データについて品質特性値６１が目標条件を満たすか（目標特性を満たすか）否かを判定する（ステップＳ２０３ａ）。また、制御部１０１は、目標特性を満たす画像が所定の目標数以上得られたか否かを判定する（ステップＳ２０４ａ）。目標特性を満たす画像が所定の目標数に満たない場合は（ステップＳ２０３ａ、ステップＳ２０４ａのいずれかでＮｏ）、ステップＳ２０１ａへ戻り、画像生成－予測モデルによる出力データの生成を繰り返す。なお、実効性のある時間内で、一定の枚数の目標画像が得られない場合は、STARTに戻ってパラメータチューニングを行うことも有効である。
【0095】
図２４～図２６は、各目標特性に応じた希土類磁石の生成画像５１の例を示す。
図２４は、高Br（磁束密度）－低HcJ（保磁力）を目標特性とした場合の生成画像５ａ、５ｂ、５ｃの例を示している。目標条件は、以下の式（１）である。式中、Brpredは磁束密度の予測値、HcJpredは保磁力の予測値を表す。
図２４は、高Br（磁束密度）－低HcJ（保磁力）を目標特性とした場合の生成画像５ａ、５ｂ、５ｃの例を示している。目標条件は、以下の式（１）である。式中、Brpredは磁束密度の予測値、HcJpredは保磁力の予測値を表す。
【0096】
【数1】
【0097】
図２４の生成画像５ａ、５ｂ、５ｃのサイズは、学習用データと同サイズの矩形小片画像サイズである。生成画像５ａの品質特性の予測値は、Br：0.853［-］、HcJ:0.0805［-］であり、生成画像５ｂの品質特性の予測値は、Br：0.868［-］、HcJ:0.0779［-］であり、生成画像５ｃの品質特性の予測値は、Br：0.888［-］、HcJ:0.0894［-］である。
【0098】
また、図２５は、低Br（磁束密度）－高HcJ（保磁力）を目標特性とした場合の生成画像５ｄ、５ｅ、５ｆの例を示している。目標条件は、以下の式（２）である。
【0099】
【数2】
【0100】
図２５の生成画像５ｄの品質特性の予測値は、Br：0.325［-］、HcJ:0.896［-］であり、生成画像５ｅの品質特性の予測値は、Br：0.345［-］、HcJ:0.915［-］であり、生成画像５ｆの品質特性の予測値は、Br：0.366［-］、HcJ:0.914［-］である。
【0101】
また、図２６は、高Br（磁束密度）－高HcJ（保磁力）を目標特性とした場合の生成画像５ｇ、５ｈ、５ｉの例を示している。目標条件は、以下の式（３）である。
【0102】
【数3】
【0103】
図２６の生成画像５ｇの品質特性の予測値は、Br：0.817［-］、HcJ:0.811［-］であり、生成画像５ｈの品質特性の予測値は、Br：0.868［-］、HcJ:0.821［-］であり、生成画像５ｉの品質特性の予測値は、Br：0.817［-］、HcJ:0.815［-］である。
【0104】
図２２のフローチャートの説明に戻る。
目標特性を満たす組織画像５が所定の目標数に達すると（ステップＳ２０３ａ、ステップＳ２０４ａの双方でＹｅｓ）、次に制御部１０１は、可視化処理を行う（ステップＳ２０５ａ）。
目標特性を満たす組織画像５が所定の目標数に達すると（ステップＳ２０３ａ、ステップＳ２０４ａの双方でＹｅｓ）、次に制御部１０１は、可視化処理を行う（ステップＳ２０５ａ）。
【0105】
可視化処理では、制御部１０１は、組織画像５について、プロセス条件６０や品質特性値６１の予測結果を表示部１０５に表示する。また、制御部１０１は、予測したプロセス条件６０や品質特性値６１をグラフや組織画像５上にプロットしたプロセス条件マップや特性マップで表示したり、ＳＨＡＰ値をグラフや組織画像５上にプロットしたＳＨＡＰ分布図等を表示してもよい。
【0106】
図２７は、品質特性値の可視化処理の一例であるＳＨＡＰ値の分布図を示している。図２７（ａ）は、図２６の生成画像５ｇの磁束密度BrのＳＨＡＰ分布図と保磁力HcJのＳＨＡＰ分布図を表す。図２７（ｂ）は、図２６の生成画像５ｈの磁束密度BrのＳＨＡＰ分布図と保磁力HcJのＳＨＡＰ分布図を表す。図２７（ｃ）は、図２６の生成画像５ｉの磁束密度BrのＳＨＡＰ分布図と保磁力HcJのＳＨＡＰ分布図を表す。このように、生成画像とその品質特性を可視化することにより、材料の組織構造や品質特性を評価しやすくなる。
【0107】
以上説明したように、第２の実施形態の予測装置１ａは、材料を撮像して得られた組織画像を学習用データとして生成モデル３１を学習し、材料の組織画像と品質特性値との対となるデータを学習データとして特性予測モデル３２を学習し、生成モデル３１と特性予測モデル３２とプロセス条件予測モデル３３を連結することで画像生成－予測モデルを構築する。これにより、生成した組織画像について、プロセス条件と品質特性値を予測することができる。また、生成した組織画像の中から目標とする品質特性を有する組織画像５を取得し、その組織画像５、プロセス条件、品質特性値を可視化することで、目標特性をもつ組織構造や、目標特性を達成するためのプロセス条件を把握することができる。
【0108】
なお、第１の実施形態と同様に、画像生成時（図２２のステップＳ２０２ａ）や特性予測モデル３２やプロセス条件予測モデル３３の学習時（図２２のステップＳ１０２ａ）において、生成画像に超解像処理を施してもよい。
［第３の実施の形態］
次に、第３の実施形態について説明する。第２の実施形態では、生成画像をランダムに生成したが、目標となる品質特性に近い生成画像をより多く生成したほうが効率的である。第３の実施形態では、画像生成の方法に改良が加えられている。
［第３の実施の形態］
次に、第３の実施形態について説明する。第２の実施形態では、生成画像をランダムに生成したが、目標となる品質特性に近い生成画像をより多く生成したほうが効率的である。第３の実施形態では、画像生成の方法に改良が加えられている。
【0109】
【0110】
自己回帰モデル構築部２４は、学習用組織画像４１を学習済みの生成モデル３１（エンコーダ２１１）に入力して得られる潜在変数Ｚに基いて、自己回帰モデル３４（条件付き確率分布）を学習し構築する。
【0111】
自己回帰モデル３４の学習について説明する。まず、図３のＶＱＶＡＥにおける埋め込みベクトルＶについて補足する。図３に示すように、１つ１つの埋め込みベクトルＶには、Ｄ個の値が格納されており、この埋め込みベクトルＶはＫ個存在する。ＫとＤはハイパーパラメータであり、ユーザが事前に設定する。ＶＱＶＡＥの学習時には、この１つ１つの埋め込みベクトルＶの中に含まれるＤ個の値が最適化される。図３に示すように、潜在変数Ｚは、埋め込みベクトルＶのインデックスから構成される２次元配列として表せる。例えば、潜在変数Ｚに含まれる「２」は、インデックスが２番目の埋め込みベクトルＶ２を示している。
【0112】
自己回帰モデル構築部２４は、図３のＶＱＶＡＥの学習後（生成モデル３１の構築後）、図２９に示すように、学習用組織画像４１を学習済みの生成モデル３１のエンコーダ２１１に入力することで、潜在変数Ｚの２次元配列を取得する。潜在変数Ｚの２次元配列は、学習用組織画像４１の数だけ取得される。潜在変数の２次元配列は、インデックスがランダムに配置されているわけではなく、一定の法則・パターンに従って配置されている。自己回帰モデル構築部２４は、この法則・パターンを、自己回帰モデルにより学習する。
【0113】
具体的には、自己回帰モデル構築部２４は、図３０に示すように、潜在変数Ｚの２次元配列を１次元のデータ列に変換して、このデータ列を時系列データと見なし、既に埋まっているインデックスの履歴に応じた条件付き確率分布（自己回帰モデル３４）を学習する。図３０に示すように、自己回帰モデル３４は、例えばニューラルネットワーク３４１とソフトマックス関数３４２から構成される構造を持つ。
【0114】
サンプリング部２５は、自己回帰モデル構築部２４により学習された自己回帰モデル３４（条件付き確率分布）を利用して、潜在変数Ｚをサンプリングする。具体的には、潜在変数の２次元配列の左上から、各々の配列に入るインデックスを順番に自己回帰モデル３４（条件付き確率分布）に基いてサンプリングしていく。サンプリング時には、図３０の条件付き確率分布に示されるように、配列に入る確率の高いインデックスと、配列に入る確率の低いインデックスが存在する。
【0115】
特に本実施形態では、サンプリング部２５は、学習済みの自己回帰モデル３４をそのまま用いてサンプリングを行うのではなく、自己回帰モデル３４に含まれる条件付き確率分布の山部分と谷部分の高低を調整した上でサンプリングを行う。これにより、潜在変数Ｚの配列の中に入るインデックスの確率が調整される。
【0116】
一般的に材料組織には、析出物、粒界、ボイド等が存在するが、母相が最も多くの割合を占める。したがって、潜在変数Ｚの配列の中に入る確率の高いインデックス（条件付き確率の山部分）には、母相の割合が多い組織情報が含まれる傾向がある。反対に、潜在変数Ｚの配列の中に入る確率の低いインデックス（条件付確率の谷部分）には、母相の割合が少ない組織情報が含まれる傾向がある。
【0117】
上記のように、条件付き確率分布の山部分と谷部分の高低を調整することで、潜在変数Ｚの配列の中に入るインデックスの確率が調整されるため、特定の材料組織に着目して生成画像を生成することができる。例えば、目標とする品質特性に関連が強い材料組織を含む組織画像を多く生成したり、目標とする品質特性に関連が弱い材料組織を含む組織画像を少なく生成することができる。
【0118】
具体的には、サンプリング部２５は、図３１に示すように、条件付き確率分布を表現するソフトマックス関数３４２を、係数Ｔを追加した係数付きソフトマックス関数３４２ａに修正する。係数付きソフトマックス関数３４２ａは次のように表される。
【0119】
【数4】
【0120】
そして、サンプリング部２５は、係数付きソフトマックス関数３４２ａの係数Ｔを変化させることで条件付き確率分布の山部分と谷部分の高低を調整し、調整した条件付き確率分布（ソフトマックス関数３４２ａ）を有する自己回帰モデル３４ａに基いて、潜在変数Ｚをサンプリングする。
【0121】
図３２は、ソフトマックス関数３４２ａの係数を変化させた場合の関数の変化を示す図である。図３２に示すように、係数Ｔの値が大きいほど、ソフトマックス関数３４２ａ（条件付き確率分布）の山部分が低くなり、谷部分は高くなる。先に述べたように、条件付き確率の山部分には、母相の割合が多い組織情報が含まれる傾向がある。したがって、ソフトマックス関数３４２ａの係数Ｔを大きくした状態でサンプリングを行うと、条件付き確率分布の山部分が低くなり、画像生成時に、母相の割合が多い組織情報が含まれるインデックスが出現しにくくなる。また、条件付き確率分布の谷部分が高くなるので、母相の割合が少ない(粒界、析出物、ボイドの割合が多い)組織情報が含まれるインデックスが出現しやすくなる。逆に、ソフトマックス関数３４２ａの係数Ｔを小さくした状態でサンプリングを行うと、条件付き確率分布の山部分が低くなり、画像生成時に、母相の割合が多い組織情報が含まれるインデックスが出現しやすくなる。また、条件付き確率分布の谷部分が低くなるので、母相の割合が少ない(粒界、析出物、ボイドの割合が多い)組織情報が含まれるインデックスが出現しにくくなる。
【0122】
係数Ｔは目標とする品質特性に応じて適宜設定できる。例えば、高保磁力を目標特性とする場合には、粒界が保磁力と関係しているため（図２１参照）、母相の割合が少ない組織画像を多く生成することが効率的である。すなわち、係数Ｔを大きく設定することが望ましい。係数Ｔを大きくした状態でサンプリングを行うと、条件付き確率分布の谷部分が高くなるので、母相の割合が少ない（粒界の割合が多い）組織情報が含まれるインデックスが出現しやすくなり、母相の割合が少ない（粒界の割合が多い）組織画像が多く生成されるようになる。このように、目標特性に応じて係数Ｔにより母相の割合をコントロールした上で、サンプリングを行う。
【0123】
画像生成－予測部２６は、サンプリング部２５によりサンプリングされた潜在変数Ｚを、生成モデル３１のデコーダ２１２に入力し、生成画像５１を生成する。また画像生成－予測部２６は、生成した生成画像５１について、特性予測モデル３２を用いて品質特性値６１を予測し、プロセス条件予測モデル３３を用いてプロセス条件６０を予測する。画像生成－予測部２６によって生成した生成画像５１の品質特性値６１の分布は均一な分布ではなく、偏りをもつ分布となる（図３４参照）。
【0124】
予測装置１ｂの他の機能構成（生成モデル構築部２１、特性予測モデル構築部２２、プロセス条件予測モデル構築部２３、目標画像取得部２８、可視化部２９）については、予測装置１ａの機能構成（図１８）と同様であるため、説明を省略する。また、予測装置１ｂのハードウェア構成は、予測装置１、１ａのハードウェア構成（図１）と同様である。
【0125】
【0126】
図３３のステップＳ１０１ａ～Ｓ１０５ａは、図２２のステップＳ１０１ａ～Ｓ１０５ａと同様である。すなわち、制御部１０１は、学習用組織画像４１を学習用データとして、ＶＱＶＡＥ等の生成モデル３１を学習し構築する（ステップＳ１０１ａ）。次に、制御部１０１は、学習用組織画像４１を生成モデル３１により復元（再構成）した画像である学習用生成画像５１とプロセス条件との対となる学習用データ４３を用いて、プロセス条件予測モデル３３を学習し構築し、学習用生成画像５１と品質特性値との対となる学習用データ４２を用いて、特性予測モデル３２を学習し構築する（ステップＳ１０２ａ）。そして、制御部１０１は、ステップＳ１０１ａで構築した生成モデル３１と、ステップＳ１０２ａで構築したプロセス条件予測モデル３３及び特性予測モデル３２とを連結した画像生成－予測モデルを作成する（ステップＳ１０３ａ）。
【0127】
オペレータは、ステップＳ１０３ａで作成した画像生成－予測モデルを検証データやテストデータを用いて検証／テストを行い、生成した生成画像５１の再構成精度と、プロセス条件６０や品質特性値６１の予測値の分布が適切であるか否かを判定する（ステップＳ１０４ａ）。不適切な場合は（ステップＳ１０４ａ；Ｎｏ）、オペレータは生成モデル３１のハイパーパラメータを調整し（ステップＳ１０５ａ）、生成モデル３１の構築（ステップＳ１０１ａ）、プロセス条件予測モデル３３や特性予測モデル３２の構築（ステップＳ１０２ａ）を再度行う。
【0128】
オペレータは、生成画像５１の再構成精度と、プロセス条件６０や品質特性値６１の予測値の分布が不適切であると判断すると（ステップＳ１０４ａ；Ｎｏ）、例えば、ハイパーパラメータ調整画面へ移行するための「調整」ボタンを操作する。その場合、制御部１０１は、ハイパーパラメータ調整画面を表示し、オペレータからエポック数等の調整を受け付ける（ステップＳ１０５ａ）。ステップＳ１０５ａにおける、制御部１０１が実行する「ハイパーパラメータ調整画面を表示し、オペレータからエポック数等の調整を受け付ける」機能は、本発明に係る「調整手段」の一例である。なお、ハイパーパラメータの調整は、調整画面上ではなく、プログラムの該当箇所を直接書き換えることで行ってもよい。オペレータは、ハイパーパラメータを調整しながら生成モデル３１、プロセス条件予測モデル３３、及び特性予測モデル３２の学習、検証、テストを繰り返す（ステップＳ１０１ａ～Ｓ１０５ａ）。そして、生成した生成画像５１の再構成精度と、プロセス条件６０や品質特性値６１の予測値の分布が適切であるとオペレータが判断すると（ステップＳ１０４ａ；Ｙｅｓ）、学習処理を終了し、次のステップＳ１０６ａへ進む。
【0129】
ステップＳ１０６ａにおいて、制御部１０１は、自己回帰モデル３４（条件付き確率分布）を学習し構築する。具体的には、制御部１０１は、まず学習用組織画像４１を学習済みの生成モデル３１のエンコーダ２１１に入力することで、潜在変数Ｚの２次元配列を取得する（図２９）。潜在変数Ｚの２次元配列は、学習用組織画像４１の数だけ取得される。次に、制御部１０１は、取得した潜在変数Ｚに基いて、自己回帰モデル３４を学習する。具体的には、制御部１０１は、図３０に示すように、潜在変数Ｚの２次元配列を１次元のデータ列に変換して、このデータ列を時系列データと見なし、既に埋まっているインデックスの履歴に応じた条件付き確率分布（自己回帰モデル３４）を学習する。図３０に示すように、自己回帰モデル３４は、例えばニューラルネットワーク３４１とソフトマックス関数３４２から構成される構造を持つ。
【0130】
次に、制御部１０１は、学習済みの自己回帰モデル３４を利用して、潜在変数Ｚのサンプリングを行う（ステップＳ２０１ａ）。この際、制御部１０１は、自己回帰モデル３４をそのまま用いて、潜在変数Ｚのサンプリングを行うのではなく、学習済みの自己回帰モデル３４に含まれる条件付き確率分布を調整し、調整した条件付き確率分布に基いて、潜在変数Ｚをサンプリングする。具体的には、制御部１０１は、まず条件付き確率分布を表現するソフトマックス関数３４２を、係数Ｔを追加した係数付きソフトマックス関数３４２ａに修正する。そして制御部１０１は、係数付きソフトマックス関数３４２ａの係数Ｔを所定値に設定する。これにより、自己回帰モデル３４に含まれる条件付き確率分布の山部分と谷部分の高低が調整される（図３２）。係数Ｔは目標とする品質特性に応じて適宜設定すればよい。そして制御部１０１は、係数が設定された係数付きソフトマックス関数３４２ａを有する自己回帰モデル３４ａ（図３１）に基いて、潜在変数Ｚをサンプリングする。
【0131】
以降の処理（図３３のステップＳ２０２ａ～Ｓ２０５ａ）は、第２の実施形態の処理（図２２のステップＳ２０２ａ～Ｓ２０５ａ）と同様である。すなわち、制御部１０１は、ステップ２０１でサンプリングした潜在変数Ｚを入力として画像生成－予測モデルによって組織画像（生成画像５１）を生成し、その生成画像５１について品質特性値６１とプロセス条件６０を予測する（ステップＳ２０２ａ）。次に、制御部１０１は、複数の出力データを生成し、各出力データについて品質特性値６１が目標条件を満たすか（目標特性を満たすか）否かを判定し（ステップＳ２０３ａ）、また、目標特性を満たす画像が所定の目標数以上得られたか否かを判定する（ステップＳ２０４ａ）。目標特性を満たす画像が所定の目標数に満たない場合は（ステップＳ２０３ａ、ステップ２０４ａのいずれかでＮｏ）、ステップＳ２０１ａへ戻り、画像生成－予測モデルによる出力データの生成を繰り返す。そして、目標特性を満たす組織画像５が所定の目標数に達すると（ステップＳ２０３ａ、ステップＳ２０４ａの双方でＹｅｓ）、制御部１０１は、可視化処理を行い（ステップＳ２０５ａ）、処理を終了する。可視化処理では、制御部１０１は、目標特性を満たす組織画像５について、プロセス条件６０や品質特性値６１の予測結果を表示部１０５に表示する。
【0132】
図３４は、係数Ｔを調整した場合の品質特性値の分布を示すグラフである。白で表した点「〇」は、自己回帰モデル３４ａの係数付きソフトマックス関数３４２ａの係数Ｔを標準値として潜在変数Ｚをサンプリングして生成画像を生成し、品質特性の予測結果をプロットしたものである。黒で表した点「●」は、自己回帰モデル３４ａの係数付きソフトマックス関数３４２ａの係数Ｔを標準値より大きい所定の値として潜在変数Ｚをサンプリングして生成画像を生成し、品質特性の予測結果をプロットしたものである。図３４から、係数Ｔを大きい値とした点「●」のほうが、高保磁力側に品質特性値の分布が偏っていることが分かる。このように、係数Ｔを調整することで、目的の特性（図２５の場合は「高保磁力」）に近い生成画像をより多く生成することができる。
【0133】
以上、第３の実施形態について説明した。第３の実施形態によれば、学習用組織画像４１を生成モデル３１（エンコーダ２１１）に入力して得られる潜在変数Ｚに基いて自己回帰モデル３４を学習し、自己回帰モデル３４に含まれる条件付き確率分布に基いて潜在変数Ｚをサンプリングし、組織画像を生成する。この際、条件付き確率分布の山部分と谷部分の高低を調整した上で、潜在変数Ｚをサンプリングすることで、目標とする品質特性に近い特性を持つ組織画像を効率的に生成することができる。これにより、目的とする品質特性を持つ材料を効率的に開発することが可能となる。
【0134】
なお、第１、２の実施形態と同様に、画像生成時（図３３のステップＳ２０２ａ）や特性予測モデル３２やプロセス条件予測モデル３３の学習時（図３３のステップＳ１０２ａ）において、生成画像に超解像処理を施してもよい。
【0135】
以上、添付図面を参照して、本発明の好適な実施形態について説明したが、本発明は係る例に限定されない。当業者であれば、本願で開示した技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【符号の説明】
【0136】
１、１ａ、１ｂ……予測装置
２１…………………生成モデル構築部
２２…………………特性予測モデル構築部
２３…………………プロセス条件予測モデル構築部
２４…………………自己回帰モデル構築部
２５…………………サンプリング部
２６…………………画像生成－予測部
２８…………………目標画像取得部
２９…………………可視化部
３１…………………生成モデル
３２…………………特性予測モデル
３３…………………プロセス条件予測モデル
３４…………………自己回帰モデル
３４１………………ニューラルネットワーク
３４２………………ソフトマックス関数
３４２ａ……………係数付きソフトマックス関数
４１…………………組織画像（実データ）
４２…………………組織画像－品質特性値の対となるデータ
４３…………………組織画像－プロセス条件の対となるデータ
５１…………………組織画像（生成画像）
６０…………………プロセス条件
６１…………………品質特性値
５……………………目標特性を有する組織画像
２１…………………生成モデル構築部
２２…………………特性予測モデル構築部
２３…………………プロセス条件予測モデル構築部
２４…………………自己回帰モデル構築部
２５…………………サンプリング部
２６…………………画像生成－予測部
２８…………………目標画像取得部
２９…………………可視化部
３１…………………生成モデル
３２…………………特性予測モデル
３３…………………プロセス条件予測モデル
３４…………………自己回帰モデル
３４１………………ニューラルネットワーク
３４２………………ソフトマックス関数
３４２ａ……………係数付きソフトマックス関数
４１…………………組織画像（実データ）
４２…………………組織画像－品質特性値の対となるデータ
４３…………………組織画像－プロセス条件の対となるデータ
５１…………………組織画像（生成画像）
６０…………………プロセス条件
６１…………………品質特性値
５……………………目標特性を有する組織画像
【要約】
【課題】 材料の組織情報を考慮したプロセス条件の予測が可能な予測装置等を提供する。
【解決手段】 予測装置１は、材料を撮像して得られた組織画像を学習用データとして、材料の組織画像を生成するための生成モデル３１を構築する生成モデル構築部２１と、材料の組織画像とプロセス条件との対となるデータを学習することにより、任意の組織画像のプロセス条件を予測する回帰モデルであるプロセス条件予測モデル３３を構築するプロセス条件予測モデル構築部２３と、生成モデル構築部２１により構築された生成モデル３１とプロセス条件予測モデル構築部２３により構築されたプロセス条件予測モデル３３とを用いて、材料の組織画像を生成するとともに当該組織画像のプロセス条件を予測する画像生成－予測部２６と、を備える。
【選択図】図２
【解決手段】 予測装置１は、材料を撮像して得られた組織画像を学習用データとして、材料の組織画像を生成するための生成モデル３１を構築する生成モデル構築部２１と、材料の組織画像とプロセス条件との対となるデータを学習することにより、任意の組織画像のプロセス条件を予測する回帰モデルであるプロセス条件予測モデル３３を構築するプロセス条件予測モデル構築部２３と、生成モデル構築部２１により構築された生成モデル３１とプロセス条件予測モデル構築部２３により構築されたプロセス条件予測モデル３３とを用いて、材料の組織画像を生成するとともに当該組織画像のプロセス条件を予測する画像生成－予測部２６と、を備える。
【選択図】図２
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31】
【図32】
【図33】
【図34】
