特許 7547954 品質特性マップの生成方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-09-02

(45)【発行日】2024-09-10

(54)【発明の名称】品質特性マップの生成方法

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240903BHJP

   H01J 37/22 20060101ALI20240903BHJP

【ＦＩ】

G06T7/00 350C

H01J37/22 502H

【請求項の数】 7

(21)【出願番号】P 2020192492

(22)【出願日】2020-11-19

(65)【公開番号】P2021111360

(43)【公開日】2021-08-02

【審査請求日】2023-09-11

(31)【優先権主張番号】P 2020000158

(32)【優先日】2020-01-06

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】000005083

【氏名又は名称】株式会社プロテリアル

(72)【発明者】

【氏名】小野 眞

(72)【発明者】

【氏名】吉岡 貴浩

(72)【発明者】

【氏名】守谷 浩志

(72)【発明者】

【氏名】槙 智仁

(72)【発明者】

【氏名】八木 崇志

【審査官】藤原 敬利

(56)【参考文献】

【文献】特開２０１９－０１２０３７（ＪＰ，Ａ）

【文献】特開２０１９－００７９４４（ＪＰ，Ａ）

【文献】特開２０１６－０９５６４０（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００－ ７／９０

Ｇ０６Ｖ １０／００－２０／９０

Ｈ０１Ｊ ３７／２２

(57)【特許請求の範囲】

【請求項1】

一つ以上の学習用材料を撮像して得られた、複数の学習用画像からなる学習用画像群と、前記学習用画像における前記学習用材料の品質特性と、を対応付けて読み込み、
前記学習用画像から複数の学習用領域を切り出して、
前記学習用領域から学習用特徴量を抽出し、前記学習用特徴量から前記学習用材料の品質特性を予測する回帰モデルを学習する機械学習ステップと、
一つ以上の評価用材料の評価用画像を読み込み、
前記評価用画像から複数の評価用領域を切り出して、
前記評価用領域から評価用特徴量を抽出し、
前記評価用特徴量と、前記回帰モデルによって、前記評価用領域毎に、前記評価用材料の品質特性を予測し、
予測した前記評価用材料の品質特性を用いて、前記評価用画像内における前記評価用材料の品質特性の分布のマッピングを行うマップ生成ステップと、
を有することを特徴とする品質特性マップの生成方法。

【請求項2】

前記学習用特徴量及び前記評価用特徴量の抽出は、学習済みの畳み込みニューラルネットワークを用いて行うことを特徴とする請求項１に記載の品質特性マップの生成方法。

【請求項3】

前記回帰モデルの学習は、ランダムフォレストを用いて行うことを特徴とする請求項２に記載の品質特性マップの生成方法。

【請求項4】

前記マップ生成ステップにおける前記マッピングは、等高線図であることを特徴とする請求項１から請求項３のいずれか一項に記載の品質特性マップの生成方法。

【請求項5】

一つ以上の学習用材料を撮像して得られた、複数の学習用画像からなる学習用画像群と、前記学習用画像における前記学習用材料の品質特性と、を対応付けて読み込み、
前記学習用画像から複数の学習用領域を切り出して、
前記学習用領域から学習用特徴量を抽出し、前記学習用特徴量から前記学習用材料の品質特性を予測する回帰モデルを学習する機械学習ステップと、
一つ以上の評価用材料の評価用画像を読み込み、
前記評価用画像から複数の評価用領域を切り出して、
前記評価用領域から第１の評価用特徴量を抽出し、
前記第１の評価用特徴量と、前記回帰モデルによって、前記評価用領域毎に、前記評価用材料の品質特性を予測する第１の予測ステップと、
前記評価用領域の一部の画素の輝度の値を任意の値に置換し、第２の評価用特徴量を抽出し、前記第２の評価用特徴量と、前記回帰モデルによって、前記評価用領域毎に、前記評価用材料の品質特性を予測する第２の予測ステップと、
前記第１の予測ステップと前記第２の予測ステップでそれぞれ予測した前記評価用材料の品質特性の差を前記一部の画素の輝度の値を変化させてマッピングするマップ生成ステップと、
を有することを特徴とする品質特性マップの生成方法。

【請求項6】

前記学習用特徴量、前記第１の評価用特徴量及び前記第２の評価用特徴量の抽出は、学習済みの畳み込みニューラルネットワークを用いて行うことを特徴とする請求項５に記載の品質特性マップの生成方法。

【請求項7】

前記第１の予測ステップと前記第２の予測ステップでそれぞれ予測した前記評価用材料の品質特性の差は、ＳＨＡＰ値であることを特徴とする請求項５又は請求項６に記載の品質特性マップの生成方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、磁石やセラミクスなどの材料を画像撮像装置で撮像し、その画像から品質特性マップを生成する技術に関する。

【背景技術】

【0002】

近年、情報科学、特にデータ科学を効果的に活用して、新材料を開発するマテリアルズインフォマティクスという技術分野が注目されている。
マテリアルズインフォマティクスでは、様々な実験条件や実験結果などのデータを関連付けてデータベースに蓄積し、統計解析、機械学習、シミュレーションなどを駆使して、新材料の開発に役立つ情報を抽出している。
特に、製作した材料を電子顕微鏡や光学顕微鏡などの画像撮像装置で撮像して得た画像や、分析装置で測定した材料の性能を表す品質特性は、有益な情報として蓄積されている。

【0003】

ここで、材料を撮像して得た画像を分析して、有益な情報を得る方法として、たとえば、特許文献１に電子顕微鏡で撮像された画像の強調方法が開示されている。特許文献１の方法では、電子顕微鏡から得られるエネルギー信号や角度信号などと、組成情報や組織構造との関係に準じた、画像の変換処理を予め用意しておき、新材料の開発者が注目したい組成情報や組織構造が写った部位を強調した画像を生成できる。

【0004】

また、材料を撮像して得た画像の分析に、機械学習を応用する方法として、たとえば、特許文献２にニューラルネットワークを用いて品質特性を予測する方法が開示されている。特許文献２の方法は、複数の材料を撮像して得た画像群と夫々の品質特性の対を予め多数用意し、ニューラルネットワークを学習しておくことで、学習済みのニューラルネットワークに新たに撮像して得た画像を入力することで、その材料の品質特性を予測できる。

【先行技術文献】

【特許文献】

【0005】

【文献】特開２０１８－１３３１７４号公報

【文献】特開２０１９－０１２０３７号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

特許文献１の方法で画像を生成するには、予め電子顕微鏡から得られるエネルギー信号や角度信号などと、組成情報や組織構造との関係に準じた画像の変換処理を実行する必要がある。更に、新材料の開発者が電子顕微鏡の原理、組成情報、組織構造などの知識を有ししていなければならない。

【0007】

また、特許文献２の方法は、ニューラルネットワークの学習のために大量な材料、それらの画像、それらの品質特性を予め測定しなければ活用できない問題もある。新材料の開発では、ニューラルネットワークの学習に必要なだけの大量な材料を準備することは難しい。

【0008】

そこで本発明では、大量の材料、画像、品質特性測定がなくても、また、電子顕微鏡などの原理、組成情報、組織構造などの知識を有しなくても、材料の特性、すなわち品質特性の分布を表すマップを生成することが可能な品質特性マップの生成方法を提供する。

【課題を解決するための手段】

【0009】

本発明に係る品質特性マップの生成方法は、一つ以上の学習用材料を撮像して得られた、複数の学習用画像からなる学習用画像群と、学習用画像における学習用材料の品質特性とを対応付けて読み込み、学習用画像から複数の学習用領域を切り出して、学習用領域から学習用特徴量を抽出し、学習用特徴量から学習用材料の品質特性を予測する回帰モデルを学習する機械学習ステップと、一つ以上の評価用材料の評価用画像を読み込み、評価用画像から複数の評価用領域を切り出して、評価用領域から評価用特徴量を抽出し、評価用特徴量と、回帰モデルによって、評価用領域毎に、評価用材料の品質特性を予測し、予測した評価用材料の品質特性を用いて、評価用画像内における評価用材料の品質特性の分布のマッピングを行うマップ生成ステップを有する。

【0010】

また、前記学習用特徴量及び前記評価用特徴量の抽出は、学習済みの畳み込みニューラルネットワークを用いて行うことが好ましい。

【0011】

また、回帰モデルの学習は、ランダムフォレストを用いて行うことが好ましい。

【0012】

また、前記マップ生成ステップにおける前記マッピングは、等高線図であることが好ましい。

【0013】

また、本発明に係る品質特性マップの生成方法は、一つ以上の学習用材料を撮像して得られた、複数の学習用画像からなる学習用画像群と、前記学習用画像における前記学習用材料の品質特性と、を対応付けて読み込み、前記学習用画像から複数の学習用領域を切り出して、前記学習用領域から学習用特徴量を抽出し、前記学習用特徴量から前記学習用材料の品質特性を予測する回帰モデルを学習する機械学習ステップと、一つ以上の評価用材料の評価用画像を読み込み、前記評価用画像から複数の評価用領域を切り出して、前記評価用領域から第１の評価用特徴量を抽出し、前記第１の評価用特徴量と、前記回帰モデルによって、前記評価用領域毎に、前記評価用材料の品質特性を予測する第１の予測ステップと、前記評価用領域の一部の画素の輝度の値を任意の値に置換し、第２の評価用特徴量を抽出し、前記第２の評価用特徴量と、前記回帰モデルによって、前記評価用領域毎に、前記評価用材料の品質特性を予測する第２の予測ステップと、前記第１の予測ステップと前記第２の予測ステップでそれぞれ予測した前記評価用材料の品質特性の差を前記一部の画素の輝度の値を変化させてマッピングするマップ生成ステップと、を有してもよい。

【0014】

また、前記学習用特徴量、前記第１の評価用特徴量及び前記第２の評価用特徴量の抽出は、学習済みの畳み込みニューラルネットワークを用いて行うことが好ましい。

【0015】

また、前記第１の予測ステップと前記第２の予測ステップでそれぞれ予測した前記評価用材料の品質特性の差は、ＳＨＡＰ値であることが好ましい。

【発明の効果】

【0016】

本発明によれば、製作した材料を撮像した画像に対して、前記材料の性能、すなわち品質特性を、例えば一つしか得ることができなくても、画像内における品質特性の分布を表すマップを生成することが可能となり、それらは、新材料の開発における有益な情報として、マテリアルズインフォマティクスにおいて極めて有用となる。
また、画像などの情報が少ない材料でも品質特性マップを描くことができる。

【図面の簡単な説明】

【0017】

【図1】電子顕微鏡の画像と生成した品質特性マップの例である。

【図2】材料リストの例である。

【図3】回帰モデルを学習する機械学習ステップの学習手順を示すフローチャートの例である。

【図4】学習用特徴量データの例である。

【図5】本発明おける、画像と矩形領域の関係を示す図の例である。

【図6】マップ生成ステップの手順を示すフローチャートの例である。

【図7】予測した品質特性データの例である。

【図8】モンテカルロシミュレーションによる、ボロノイ図の画像生成の手順を示すフローチャートの例である。

【図9】ボロノイ図が描画された画像と、それを入力として生成された品質特性マップの例である。

【図10】モンテカルロシミュレーションによる、粒界構造の画像生成の手順を示すフローチャートの例である。

【図11】線分と打点が描画された画像と、それを入力として生成された品質特性マップの例である。

【図12】電子顕微鏡の画像と生成した品質特性マップの例である。

【図13】マップ生成ステップの手順を示すフローチャートの例である。

【図14】ボロノイ図が描画された画像と、それを入力して生成された品質特性マップの例である。

【発明を実施するための形態】

【0018】

以下、本発明の品質特性マップの生成方法について、五つの実施形態を用いて詳細に説明する。第１の実施形態では、磁石の電子顕微鏡の画像から、前記磁石の品質特性として重要な磁束密度と保磁力の分布を表す品質特性マップを生成した例を説明する。第２、第３の実施形態では、本発明の方法の確からしさを検証するために実施したシミュレーションの例を説明する。第４の実施形態では、磁石の電子顕微鏡の画像から、磁束密度と保磁力の分布を示す品質特性マップを、分解能を向上させる方法で生成した例について説明する。そして、第５の実施形態では、第４の実施形態で用いた方法の確からしさを検証するために実施したシミュレーションの例を説明する。

【0019】

（第１の実施形態）
図１は、入力する電子顕微鏡の画像と、本実施形態に基づいて生成した品質特性マップの例である。入力画像１０は、磁石の材料の一部を電子顕微鏡で撮像した画像であり、磁束密度マップ１１、及び保磁力マップ１２は、夫々、本発明を用いて生成した磁束密度のマップと保磁力のマップである。
磁束密度マップ１１や保磁力マップ１２の品質特性マップは、後述のとおり、生成時に用いる矩形領域のサイズに従って、画像の端部は生成することができない。

【0020】

生成した磁束密度マップ１１と保磁力マップ１２は、濃淡が濃い部位ほど予測した品質特性が高く、淡い部位ほど予測した品質特性が低いことを表している。
入力画像１０の電子顕微鏡で撮像した画像と、磁束密度マップ１１や保磁力マップ１２の品質特性マップを視覚的に照らし合わせて、磁束密度が高く予測された部位は、どのような組織構造で、磁束密度が低く予測された部位は、どのような組織構造で、また、保磁力が高く予測された部位は、どのような組織構造で、保磁力が低く予測された部位は、どのような組織構造なのか、比較することができる。

【0021】

磁石は、入力画像１０の濃淡の濃い部位が塊として面積が広いほど磁束密度が高くなることが知られており、磁束密度マップ１１のマップにその現象が現れている。また、入力画像１０の濃淡の淡い部位が込み入っているほど保磁力が高くなることも知られており、保磁力マップ１２にその現象が現れている。

【0022】

なお磁束密度マップ１１や保磁力マップ１２の品質特性マップは、本実施形態では濃淡で図示したが、擬似カラーを用いると品質特性の大小関係がよりわかりやすくなる。

【0023】

図２は、材料リストの例である。材料リストには、材料番号、品質特性として測定された磁束密度と保磁力、さらに電子顕微鏡の画像ファイル名が記述されており、電子顕微鏡で撮像した材料の画像と、その画像に対する品質特性の対応付けに用いられる。
縦に各材料に対するデータが記述されている。この例では、一つの材料に対して、一つの磁束密度の測定結果、一つの保磁力の測定結果、一つの画像が管理されている。

【0024】

本実施形態における回帰モデルを学習する機械学習ステップは、複数の学習用材料を撮像して得られた学習用画像群と、学習用画像群の夫々の学習用画像における学習用材料の品質特性とを対応付けて読み込み、読み込んだ学習用画像から複数の学習用矩形領域を切り出して、切り出した学習用矩形領域を用いて学習用特徴量を抽出し、その学習用特徴量から学習用材料の品質特性を予測する回帰モデルを学習することである。

【0025】

図３は、本実施形態における回帰モデルを学習する機械学習ステップの学習手順を示すフローチャートの例である。

【0026】

段階１０１では、インターネット上に公開されている学習済みの畳み込みニューラルネットワーク（ＣＮＮ）の特徴量抽出器を読み込む。
この特徴量抽出器は、本発明の対象である磁石やセラミクスなどの画像を解析するために学習したものではなく、動物や植物などを識別したり、自動車、歩行者などを識別したりするために学習されたものである。例えば、統計解析の分野で顕著なＲ言語では、深層学習用ライブラリＫｅｒａｓに組み込まれている関数ａｐｐｌｉｃａｔｉｏｎ＿ｖｇｇ１６を実行することで、この特徴量抽出器を読み込むことができる。
段階１０２では、図２に示した材料リストを読み込む。

【0027】

段階１０３から段階１１１の間は、前記材料リストの行数分、すなわち画像の枚数分、ループで繰り返す。
段階１０４では、電子顕微鏡で撮像した画像ファイルを読み込む。
段階１０５から段階１１０の間、段階１０６から段階１０９の間は、読み込んだ画像に対して、学習用矩形領域（以下、矩形領域と略す。）の中心のＸ座標とＹ座標を動かしながら処理する。
段階１０７ではＸ座標、Ｙ座標に基づいて矩形領域のデータを切り出し、段階１０８では、 段階１０１で読み込んだ学習済みの畳み込みニューラルネットワークの特徴量抽出器を用いて、切り出した矩形領域に対する学習用特徴量（以下、特徴量と略す。）を抽出する。

【0028】

段階１１２では、特徴量の種類を削減する。学習済みの畳み込みニューラルネットワークの特徴量抽出器を用いて特徴量を抽出する場合、必ずしも有効な特徴量だけが抽出されるわけではない。切り出す矩形領域のサイズが、２５６画素×２５６画素×３層(ＲＧＢ)の場合、３２７６８種類の特徴量が抽出される。しかし、特徴量の種類によっては、値としてゼロしか入っていない場合も多数あるため、例えば、特徴量の値としてゼロが入っている矩形領域が、全矩形領域に対して９０％以上であるような特徴量は削除する。

【0029】

段階１１３では、磁束密度を予測するための回帰モデルを学習する。また段階１１４では、保磁力を予測するための回帰モデルを学習する。

【0030】

段階１１３、段階１１４ともに回帰モデルとして、重回帰分析、ランダムフォレスト、サポートベクターマシンなどのいずれの回帰系の機械学習方式でも適用できる。
これらの機械学習方式は、ニューラルネットワークよりも少ない材料の数でも学習できる利点がある。
重回帰分析は入力する特徴量の種類の数に制限があるため、主成分分析で事前に次元を削減するとよい。
かかる観点からは、ランダムフォレストが使いやすい。

【0031】

すなわち、画像を入力し、畳み込みニューラルネットワークを経由して、ランダムフォレストで品質特性、すなわち、ここでは磁束密度や保磁力を予測する回帰モデルを生成する。

【0032】

図４は、段階１１２の完了後の特徴量データの例である。この特徴量データは、一つの材料番号に対して、複数のＸ座標とＹ座標の対３０１が付いている。品質特性３０２は、同じ材料番号であれば、項目ごとに同じ値が付いている。特徴量３０３は、特徴量の種類の数だけ、列が並んでいる。

【0033】

学習済みの畳み込みニューラルネットワークの特徴量抽出器は、Ｆ１からＦ３２６８まで、３２７６８種類の特徴量を抽出するが、特徴量の値としてゼロが入っている矩形領域が、全矩形領域に対して９０％以上であるような特徴量を削除した結果、この例で示すように、Ｆ２８、Ｆ５６など数百種類の特徴量に削減される。

【0034】

図５は、入力する画像、矩形領域、座標の関係を説明する図である。
段階１０４で読み込む画像に対して、横方向にＸ座標、縦方向にＹ座標をとり、左上部を原点とした画素数に応じて座標が定まる。同図のように横に２５６０画素、縦に１９２０画素の画像であれば、Ｘ座標は１から２５６０、Ｙ座標は１から１９２０まである。
矩形領域１３は、画像の一部分を切り出した画像の小片である。

【0035】

例えば、図示した矩形領域１３は、中心の座標がＸ＝２３０４、Ｙ＝２５６で、横に２５６画素、縦に２５６画素の領域である。
矩形領域１３のサイズは、横に２５６画素、縦に２５６画素に限ったものではなく、画像のサイズや、画像に写り込んでいる組織のサイズなどに応じて自由に定めてよい。矩形領域１３のサイズが小さいほど、生成される品質特性マップの分解能は高くなる。
しかし、矩形領域１３のサイズが小さいと、品質特性の予測精度が低下し、生成された品質特性マップの信憑性が低下する。
そのため、品質特性の予測精度を確認し、妥当な矩形領域１３のサイズを定めるとよい。

【0036】

本実施形態におけるマップ生成ステップは、少なくとも一つ以上の評価用材料の評価用画像を読み込み、読み込んだ評価用画像から複数の評価用矩形領域を切り出し、切り出した評価用矩形領域から評価用特徴量を抽出し、抽出した評価特徴量と回帰モデルによって、評価用矩形領域毎に、評価用材料の品質特性を予測し、予測した評価用材料の品質特性を用いて、評価用画像内における評価用材料の品質特性の分布をマッピングすることである。

【0037】

図６は、本実施形態におけるマップ生成ステップの手順を示すフローチャートの例である。

【0038】

段階２０１では、段階１０１と同じ学習済みの畳み込みニューラルネットワークの特徴量抽出器を読み込む。
段階２０２では、段階１１３で学習した磁束密度を予測するための回帰モデルを読み込む。
段階２０３では、段階１１４で学習した保磁力を予測するための回帰モデルを読み込む。
段階２０４では、品質特性マップを生成したい材料の画像を読み込む。
ここで読み込む画像は、回帰モデルの学習に用いた学習用材料の画像の一つでもよいし、学習に用いなかった別の材料の画像でもよい。
ただし、倍率やサイズなど画像の撮像条件は、回帰モデルの学習に用いた画像と同等である必要がある。

【0039】

段階２０５から段階２１２の間、段階２０６から段階２１１の間は、読み込んだ画像に対して、評価用矩形領域（以下、矩形領域と略す。）の中心のＸ座標とＹ座標を動かしながら処理する。
段階２０７では、Ｘ座標、Ｙ座標に対する矩形領域を切り出す。
段階２０８では、矩形領域に対する評価用特徴量（以下、特徴量と略す。）を学習済みの畳み込みニューラルネットワークの特徴量抽出器を用いて抽出し、段階１１２で削減した特徴量の種類と同じものを削除する。
段階２０９では、矩形領域の磁束密度を予測する。
段階２１０では、矩形領域の保磁力を予測する。

【0040】

図７は、段階２０９と段階２１０で予測された品質特性データの例である。
Ｘ座標、Ｙ座標の組み合わせ毎に、予測した磁束密度、予測した保磁力が列挙されている。

【0041】

ループが終了したら、段階２１３では、Ｘ座標、Ｙ座標、予測した磁束密度を用いて、磁束密度マップを生成する。
段階２１４では、Ｘ座標、Ｙ座標、予測した保磁力を用いて、保磁力マップを生成する。この例では、回帰モデルを学習するときと同じようにＸ座標とＹ座標を動かしたが、学習ではＸ座標、Ｙ座標を粗く動かし、品質特性マップを生成するときには、学習の場合よりも細かく動かしてもよい。
細かく動かした方が、より分解能の高い品質特性マップを生成することができる。

【0042】

ここで、本発明におけるマッピングとは、上述のように予測された品質特性データから、品質特性の分布を画像化したものである。さらに、マッピングは、等高線図で画像化することが好ましく、その結果が、図１で示した１１の磁束密度マップや１２の保磁力マップである。

【0043】

等高線図は、Ｐｙｔｈｏｎ言語であれば、グラフ描画ライブラリのｍａｔｐｌｏｔｌｉｂやｓｅａｂｏｒｎ、Ｒ言語であれば、基本関数のｃｏｎｔｏｕｒ、ないしはグラフ描画ライブラリのｇｇｐｌｏｔ２を用いれば容易に描くことができる。
ただし、それらを使うことができない場合には、例えば、品質特性データに対して、滑らかなＢスプライン曲面を近似して、画像化してもよい。
さらに単純に、品質特性データのＸ座標、Ｙ座標で散布図を描き、予測した磁束密度や予測した保磁力で各打点に色付けするだけでもよい。
また、マッピングは、２次元表示だけでなく、３次元表示で画像化しても良い。

【0044】

（第２の実施形態）
次に、本実施形態の方法で生成する品質特性マップの確からしさを検証するために、モンテカルロシミュレーションで、磁石の組織構造と類似したボロノイ図を描いた画像を生成し、その画像を入力して品質特性マップを生成した。

【0045】

図８は、モンテカルロシミュレーションによる、ボロノイ図の画像生成の手順を示すフローチャートである。ここでは２５６画素×２５６画素の正方形の画像を生成する例を説明する。

【0046】

段階４０１から段階４０８の間は、組織の個数を変数として繰り返す。
例えば、変数Ｎが４０のとき、一つの画像内に４０個の組織を生成する。
すなわち、組織の平均の面積は、画像サイズの４０分の１となる。
段階４０２から段階４０７の間は、組織の個数が等しい画像を２０枚生成するために２０回繰り返す。
段階４０３では、変数Ｎに基づき、Ｎ個のランダムなＸ，Ｙ座標を生成する。Ｘ座標として１から２５６までの整数をランダムに発生させる。また、Ｙ座標も１から２５６までの整数をランダムに発生させる。
段階４０４では、Ｎ個のランダムな座標からボロノイ図の頂点群を計算する。
段階４０５では計算された頂点群を線分で結びボロノイ図を描画する。
段階４０６でボロノイ図が描画された画像を保存する。このフローチャートの処理を実行することで、異なる組織構造の画像を１００枚生成できる。

【0047】

図９は、ボロノイ図が描画された画像と、それを入力として、生成された品質特性マップの例を示す。
ボロノイ図画像４２１は、段階４０６で保存されたボロノイ図が描画された２５６画素×２５６画素の画像の例である。品質特性マップ４２２は、ボロノイ図画像４２１の画像を入力して、生成された品質特性マップである。
回帰モデルは、目的変数を組織の平均の面積として生成した。

【0048】

この結果、画像毎に組織の平均の面積で回帰モデルを生成しても、品質特性マップ４２２のように、組織の面積が広い部位は、濃淡が濃く、組織の面積が小さい部位は、濃淡が淡く描かれている。
たとえば、ボロノイ図画像４２１の画像の右上端のように面積の広い組織があると、それに対応するように、品質特性マップ４２２の右上端は、濃淡が濃く描かれている。
一方、ボロノイ図画像４２１の画像の右下端のように面積の狭い組織が密集している部位は、それに対応するように、品質特性マップ４２２の右下端は、濃淡が淡く描かれている。
従って、本発明を用いて生成された品質特性マップ４２２は、ボロノイ図画像４２１の面積に関する特徴をよく表していることが分かる。

【0049】

（第３の実施形態）
次に、本実施形態の方法で生成する品質特性マップの確からしさを別の対象で検証するために、モンテカルロシミュレーションでセラミクスの粒界構造と類似した図を描いた画像を生成し、その画像を入力して品質特性マップを生成した。

【0050】

セラミクスの粒界構造として、小さな打点がランダムに散りばめられたような画像が撮像される。
しかし、焼結条件によって、直線状に異常成長する粒体が発生し、それが曲げ強度を低下させる。 そこで、ランダムな打点とランダムな線分を混ぜ合わせた画像を生成して、線分の総長を予測する回帰モデルを生成して検証した。

【0051】

図１０は、モンテカルロシミュレーションによる、粒界構造の画像生成の手順を示すフローチャートである。ここでは２５６画素×２５６画素の正方形の画像を生成する例を説明する。

【0052】

段階５０１から段階５０７の間は、生成する画像数分だけ繰り返す。
段階５０２では、５０組のランダムなＸＹ座標の対を生成する。すなわち座標（Ｘ１，Ｙ１）と座標（Ｘ２，Ｙ２）を生成し、それらを結ぶ線分を異常成長した粒体とする。ただし、あまりに長い異常成長は存在しない。
そこで、段階５０３でそれぞれの線分の長さを計算し、段階５０４では、５０個の線分を整列し、短い方から１０個だけを選び出して、１０本の線分を描画する。
段階５０５では、２００個のランダムな打点を描画する。
段階５０６では、線分と打点が描画された画像を保存する。

【0053】

図１１は、線分と打点が描画された画像と、それを入力として、生成された品質特性マップの例を示す。
擬セラミクス粒界構造画像５２１は、段階５０６で保存された線分と打点が描画された２５６画素×２５６画素の画像の例である。
品質特性マップ５２２は、擬セラミクス粒界構造画像５２１の画像を入力して、生成された品質特性マップである。
回帰モデルは、目的変数を複数の線分の総長として生成した。

【0054】

この結果、複数の線分の総長として回帰モデルを生成しているにもかかわらず、長い線分が存在している部位や、複数の線分が密集している部位で、品質特性マップ５２２の濃淡が濃く描かれていることが確認できる。
従って、本実施形態を用いて生成された品質特性マップ５２２は、擬セラミクス粒界構造画像５２１に関する特徴をよく表していることが分かる。

【0055】

（第４の実施形態）
図１２は、入力する電子顕微鏡の画像と、本実施形態に基づいて生成した品質特性マップの例である。入力画像１５は、磁石の材料の一部を電子顕微鏡で撮像した画像であり、磁束密度マップ１６、及び保磁力マップ１７は、夫々、本発明を用いて生成した磁束密度のマップと保磁力のマップである。
磁束密度マップ１６や保磁力マップ１７の品質特性マップは、磁束密度マップ１１や保磁力マップ１２よりも分解能が高く、画像の端部も生成できる点で、磁束密度マップ１１や保磁力マップ１２と異なる。

【0056】

生成した磁束密度マップ１６と保磁力マップ１７は、濃淡が薄い部位ほど品質特性を高める作用のある組織、濃淡が濃い部位ほど品質特性を下げる作用のある組織であることを表している。
入力画像１５の電子顕微鏡で撮像した画像と、磁束密度マップ１６や保磁力マップ１７の品質特性マップを視覚的に照らし合わせて、磁束密度を高くする作用がある部位は、どのような組織構造で、磁束密度を低くする作用がある部位は、どのような組織構造で、また、保磁力を高くする作用がある部位は、どのような組織構造で、保磁力を低くする作用がある部位は、どのような組織構造なのか、比較することができる。

【0057】

磁石は、入力画像１５の濃淡の濃い部位、すなわち粒子部が塊として面積が広いほど磁束密度が高くなることが知られている。磁束密度マップ１６は、面積が広い粒子部の端部に磁束密度を高める作用があることが現れている。特に、粒子部の左端と右端に磁束密度を高める作用があり、濃淡が淡くなっている。一方、粒子部の端部でも、上端と下端は濃淡が濃くなっていることがわかる。これは、電子顕微鏡画像１５の磁化容易軸の向きが左右になっていることを現わしている。また、入力画像１５の濃淡の淡い部位、すわなち、粒界部ほど保磁力が高くなることも知られている。保磁力マップ１７にはその現象が現れている。これらの品質特性マップから、縦に長めの粒子部を形成できれば、磁束密度と保磁力の両方を高めることができることがわかる。

【0058】

なお磁束密度マップ１６や保磁力マップ１７の品質特性マップは、本実施形態では濃淡で図示したが、擬似カラーを用いると品質特性の大小関係がよりわかりやすくなる。例えば、品質特性を上げる作用がある部分は赤く色づけ、品質特性を下げる作業がある部分は青く色づけるとわかりやすい。

【0059】

磁束密度マップ１６や保磁力マップ１７を生成する手順において、機械学習ステップは、磁束密度マップ１１や保磁力マップ１２を生成するために例示した図３のフローチャートと同じである。一方、マップ生成ステップは若干異なる。

【0060】

図１３は、本実施形態におけるマップ生成ステップの手順を示すフローチャートの例である。
なお、以下に示される段階１１３や段階１１４については、図３のフローチャートを参照する。
段階２０１では、学習済みの畳み込みニューラルネットワークの特徴量抽出器を読み込む。
段階２０２では、段階１１３で学習した磁束密度を予測するための回帰モデルを読み込む。
段階２０３では、段階１１４で学習した保磁力を予測するための回帰モデルを読み込む。
段階２０４では、品質特性マップを生成したい材料の画像を読み込む。
ここで読み込む画像は、回帰モデルの学習に用いた学習用材料の画像の一つでもよいし、学習に用いなかった別の材料の画像でもよい。
ただし、倍率やサイズなど画像の撮像条件は、回帰モデルの学習に用いた画像と同等である必要がある。

【0061】

段階２０５から段階２１２の間、段階２０６から段階２１１の間は、読み込んだ画像に対して、評価用矩形領域（以下、矩形領域と略す。）の中心のＸ座標とＹ座標を動かしながら処理する。
段階２０７では、Ｘ座標、Ｙ座標に対する矩形領域を切り出す。
段階２０８では、矩形領域に対する第１の評価用特徴量（以下、特徴量１と略す。）を学習済みの畳み込みニューラルネットワークの特徴量抽出器を用いて抽出し、段階１１２で削減した特徴量の種類と同じものを削除する。

【0062】

また、矩形領域の一部の画素の輝度の値を任意の値に置換し、矩形領域に対する第２の評価用特徴量（以下、特徴量２と略す。）を学習済みの畳み込みニューラルネットワークの特徴量抽出器を用いて抽出し、段階１１２で削減した特徴量の種類と同じものを削除する。

【0063】

次に、特徴量１と、段階１１３や段階１１４で学習した回帰モデルによって、矩形領域毎に、評価用材料の品質特性を予測し（第１の予測ステップ）、同様に、特徴量２についても回帰モデルによって、矩形領域毎に、評価用材料の品質特性を予測する（第２の予測ステップ）。更に、第１の予測ステップと第２の予測ステップでそれぞれ予測した評価用材料の品質特性の差を一部の画素の輝度の値を変化させてマッピングする（マップ生成ステップ）。

【0064】

ここで、第１の予測ステップと第２の予測ステップでそれぞれ予測した評価用材料の品質特性の差は、例えば、段階１１３や段階１１４で学習した回帰モデルを用いて算出できるＳＨＡＰ値に相当する値である。

【0065】

なお、ＳＨＡＰ値はＸＡＩ（Explainable AI）において算出される数値の一例であり、ＬＩＭＥ(Local Interpretable Model-agnostic Explanations)などのＸＡＩを用いて、予測ステップ１と予測ステップ２でそれぞれ予測した評価用材料の品質特性の差を算出してもよい。

【0066】

そこで、本実施形態における段階２３１では、段階２０２で読み込んだ磁束密度を予測するための回帰モデルを用いて矩形領域の磁束密度のＳＨＡＰ値の行列を算出する。ＳＨＡＰ値は２５６×２５６画素の矩形領域であれば、同様に２５６×２５６個のＳＨＡＰ値が算出される。すなわち、画素毎にＳＨＡＰ値が算出されるため、分解能の高い品質特性マップを生成できる。
段階２３２では、段階２０３で読み込んだ保磁力を予測するための回帰モデルを用いて矩形領域の保磁力のＳＨＡＰ値の行列を算出する。

【0067】

ループが終了したら、段階２３３では、Ｘ座標、Ｙ座標、算出したＳＨＡＰ値の行列を用いて、磁束密度マップを生成する。
段階２３４では、Ｘ座標、Ｙ座標、算出したＳＨＡＰ値の行列を用いて、保磁力マップを生成する。

【0068】

（第５の実施形態）
次に、本実施形態の方法で生成する品質特性マップの確からしさを検証するために、モンテカルロシミュレーションで、磁石の組織構造と類似したボロノイ図を描いた画像を生成し、その画像を入力して品質特性マップを生成した。モンテカルロシミュレーションによるボロノイ図の画像生成の手順は、図８と同じである。

【0069】

図１４は、ボロノイ図が描画された画像と、それを入力として、第４の実施形態を用いて生成された品質特性マップの例を示す。
ボロノイ図画像４３１は、段階４０６で保存されたボロノイ図が描画された２５６画素×２５６画素の画像の例である。品質特性マップ４３２は、ボロノイ図画像４３１の画像を入力して、生成された品質特性マップである。回帰モデルは、目的変数を組織の平均の面積として生成した。

【0070】

この結果、画像毎に組織の平均の面積で回帰モデルを生成しても、品質特性マップ４３２のように、組織の面積が広い部位は、濃淡が濃く、組織の面積が小さい部位は、濃淡が淡く描かれている。特に、組織の面積が小さい部位の粒界部は、濃淡がほぼ白となった。
従って、本実施形態における品質特性マップ４３２は、ボロノイ図画像４３１の面積に関する特徴をよく表していることが分かる。

【0071】

本発明は、電子顕微鏡に限らず、いかなる画像撮像装置にも適用できる。
また、本発明は、画像撮像装置の原理、組成情報、組織構造などの知識を必要としない。
さらに、実験で製作した材料を撮像した画像に対して、その性能、すなわち品質特性が一つしか得られない場合でも、画像内の品質特性の分布を表すマップを生成できる。

【0072】

その結果、生成されたマップから、性能の良い部位と悪い部位を比較することができる。たとえば、セラミクスの強度のような品質特性には、粒界構造の異常成長が最も影響することがわかっている。
しかし、粒界構造の異常成長以外にも強度に影響を与える要因が潜んでいる。

【0073】

本発明は、そのような材料に対しても、材料を撮像して得た画像から、品質特性の分布、すなわち強度分布のマップを生成でき、強度の強い部位と弱い部位を比較することができる。その結果、新材料の開発者が想定していない現象に対して、気づきを与えることができる。

【0074】

また、本発明は、特許文献２の方法のように、多数の材料、それらの画像、それらの品質特性を測定しておかなくても活用できる。

【0075】

以上、本発明について、上記実施形態を用いて説明してきたが、本発明は上記実施形態に限定されるものではない。特許請求の範囲に含まれる技術範囲にて、内容を変更することができる。
例えば、上記実施形態では、磁石の磁束密度と保磁力という品質特性をマッピングしたが、セラミクスの熱伝導率と曲げ強度の品質特性をマッピングすることに用いることも可能である。

【符号の説明】

【0076】

１０ 入力画像
１１ 磁束密度マップ
１２ 保磁力マップ
１３ 矩形領域
４２１ ボロノイ図画像
４２２ 品質特性マップ
５２１ 擬セラミクス粒界構造画像
５２２ 品質特性マップ
１５ 入力画像
１６ 磁束密度マップ
１７ 保磁力マップ
４３１ ボロノイ図画像
４３２ 品質特性マップ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】