特許 7076867 物性値予測方法、物性値予測システム及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2022-05-20

(45)【発行日】2022-05-30

(54)【発明の名称】物性値予測方法、物性値予測システム及びプログラム

(51)【国際特許分類】

   G01N 23/2251 20180101AFI20220523BHJP

   G01N 21/17 20060101ALI20220523BHJP

【ＦＩ】

G01N23/2251

G01N21/17 A

【請求項の数】 7

(21)【出願番号】P 2021206969

(22)【出願日】2021-12-21

【審査請求日】2021-12-24

【早期審査対象出願】

(73)【特許権者】

【識別番号】000114488

【氏名又は名称】メック株式会社

(74)【代理人】

【識別番号】110000729

【氏名又は名称】特許業務法人 ユニアス国際特許事務所

(72)【発明者】

【氏名】赤木 雅子

【審査官】嶋田 行志

(56)【参考文献】

【文献】特開２０２１－１３５１９９（ＪＰ，Ａ）

【文献】特開２０１８－０２９５６８（ＪＰ，Ａ）

【文献】特開２０２１－０６０４５７（ＪＰ，Ａ）

【文献】特開２０２０－１２８９００（ＪＰ，Ａ）

【文献】特開２０２１－１５５９８４（ＪＰ，Ａ）

【文献】特開２０１９－１２４５３９（ＪＰ，Ａ）

【文献】国際公開第２０２０／２６２６１５（ＷＯ，Ａ１）

【文献】特開２０２０－０４１２９０（ＪＰ，Ａ）

【文献】特開２０１４－０３９５０４（ＪＰ，Ａ）

【文献】特開２０２１－１４４４０２（ＪＰ，Ａ）

【文献】特開２０１８－１７１０３９（ＪＰ，Ａ）

【文献】特開２０２１－０５１３８０（ＪＰ，Ａ）

【文献】国際公開第２０２０／１１６０８５（ＷＯ，Ａ１）

【文献】米国特許出願公開第２０１９／０３４７５２６（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｎ ２３／００－Ｇ０１Ｎ ２３／２２７６

Ｇ０１Ｎ ２１／００－Ｇ０１Ｎ ２１／９５８

Ｇ０１Ｂ １１／００－Ｇ０１Ｂ １１／３０

Ｇ０２Ｂ ２１／００－Ｇ０２Ｂ ２１／３６

Ｇ０１Ｎ ３３／００－Ｇ０１Ｎ ３３／４６

Ｇ０１Ｎ ３／００－Ｇ０１Ｎ ３／６２

Ｇ０６Ｔ ７／００

ＪＳＴＰｌｕｓ／ＪＳＴ７５８０／ＪＳＴＣｈｉｎａ（ＪＤｒｅａｍＩＩＩ）

(57)【特許請求の範囲】

【請求項1】

素材を撮像した画像から特徴量マップを出力する特徴量マップ出力部と、前記特徴量マップを前記素材に関する物性値に変換する変換部とを有し前記素材を撮像した画像を説明変数として入力し前記物性値を出力するように機械学習された予測モデルに対して、前記物性値の実測値が既知である複数の予測対象画像を入力して、前記複数の予測対象画像それぞれの予測値及び特徴量マップを出力し、
前記複数の予測対象画像のうち、実測物性値が同程度の画像の予測結果から、前記実測値と前記予測値の誤差が第１閾値以上の予測不良画像と、前記実測値と前記予測値の誤差が前記第１閾値よりも小さい第２閾値以下の予測良好画像とを特定し、
前記予測不良画像の前記特徴量マップを構成する複数の特徴量の頻度分布と、前記予測良好画像の前記特徴量マップを構成する複数の特徴量の頻度分布との差に基づいて、予測不良の要因を表す特徴量群を抽出する、物性値予測方法。

【請求項2】

前記特徴量群の位置を、前記予測不良画像又は前記予測良好画像の少なくとも一方に重ねて表示する重合画像を出力する、請求項１に記載の物性値予測方法。

【請求項3】

撮像される前記素材は、表面処理を施した金属の表面、塗料の塗装面、メッキ処理した金属の表面、フィルムの表面、紙表面、及び成形加工された素材表面のいずれかである、請求項１又は２に記載の物性値予測方法。

【請求項4】

素材を撮像した画像から特徴量マップを出力する特徴量マップ出力部と、前記特徴量マップを前記素材に関する物性値に変換する変換部とを有し前記素材を撮像した画像を説明変数として入力し前記物性値を出力するように機械学習された予測モデルに対して、前記物性値の実測値が既知である複数の予測対象画像を入力して、前記複数の予測対象画像それぞれの予測値及び特徴量マップを出力する予測部と、
前記複数の予測対象画像のうち、実測物性値が同程度の画像の予測結果から、前記実測値と前記予測値の誤差が第１閾値以上の予測不良画像と、前記実測値と前記予測値の誤差が前記第１閾値よりも小さい第２閾値以下の予測良好画像とを特定する特定部と、
前記予測不良画像の前記特徴量マップを構成する複数の特徴量の頻度分布と、前記予測良好画像の前記特徴量マップを構成する複数の特徴量の頻度分布との差に基づいて、予測不良の要因を表す特徴量群を抽出する抽出部と、
を備える、物性値予測システム。

【請求項5】

前記特徴量群の位置を、前記予測不良画像又は前記予測良好画像の少なくとも一方に重ねて表示する重合画像を出力する重合画像出力部を備える、請求項４に記載の物性値予測システム。

【請求項6】

撮像される前記素材は、表面処理を施した金属の表面、塗料の塗装面、メッキ処理した金属の表面、フィルムの表面、紙表面、及び成形加工された素材表面のいずれかである、請求項４又は５に記載の物性値予測システム。

【請求項7】

請求項１～３のいずれかに記載の方法を１又は複数のプロセッサに実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、機械学習を用いた物性値予測方法、物性値予測システム及びプログラムに関する。

【背景技術】

【0002】

電子基板は銅などの金属と樹脂の積層構造であり、電子基板の品質は、金属と樹脂界面の密着度に対応する。薬品で表面処理を施して粗面化した金属表面の形状を評価することで、電子基板の金属の密着度の評価が可能となる。評価項目の一つとして、例えば密着強度を計測することが挙げられるが、工数がかかるという問題がある。

【0003】

例えば、特許文献１には、機械学習を用いてゴム材料の物性値を推定することが記載されている。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０２１－６０４５７号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

機械学習による物性値の予測は、ニューラルネットワーク等のブラックボックス型の予測モデルを用いた場合に、どのような根拠でどのように予測しているのか、予測精度の良否の原因について不明という問題がある。

【0006】

本開示は、機械学習を用いて素材の物性値を予測する予測モデルについて、予測精度に関する説明の可能性を提供する物性値予測方法、物性値予測システム及びプログラムを提供する。

【課題を解決するための手段】

【0007】

本開示の物性値予測方法は、素材を撮像した画像から特徴量マップを出力する特徴量マップ出力部と、前記特徴量マップを前記素材に関する物性値に変換する変換部とを有し前記素材を撮像した画像を説明変数として前記物性値を出力するように機械学習された予測モデルに対して、前記物性値の実測値が既知である複数の予測対象画像を入力して、前記複数の予測対象画像それぞれの予測値及び特徴量マップを出力し、前記複数の予測対象画像のうち、実測物性値が同程度の画像の予測結果から、前記実測値と前記予測値の誤差が第１閾値以上の予測不良画像と、前記実測値と前記予測値の誤差が前記第１閾値よりも小さい第２閾値以下の予測良好画像とを特定し、前記予測不良画像の前記特徴量マップを構成する複数の特徴量の頻度分布と、前記予測良好画像の前記特徴量マップを構成する複数の特徴量の頻度分布との差に基づいて、予測不良の要因を表す特徴量群を抽出する。

【図面の簡単な説明】

【0008】

【図1】第１実施形態の予測システム及び学習システムを示すブロック図。

【図2】薬品処理後の銅箔を電子顕微鏡で撮像したＳＥＭ画像の一例を示す図。

【図3】実施例１の予測値と実測値の組み合わせのデータをプロットした図。

【図4】第１実施形態の予測システムが実行する処理を示すフローチャート。

【図5】第２実施形態の学習システム１及び予測システム２を示すブロック図。

【図6】予測値と実測値の組み合わせのデータをプロットした図であり、予測不良画像及び予測良好画像を特定した例を示す図。

【図7】予測不良画像（ＳＥＭ画像）を示す図。

【図8】予測良好画像（ＳＥＭ画像）を示す図。

【図9】予測不良画像（ＳＥＭ画像）から得た特徴量マップを画像として示す図。

【図10】予測良好画像（ＳＥＭ画像）から得た特徴量マップを画像として示す図。

【図11】予測不良画像の特徴量マップを構成する複数の特徴量の頻度分布（ヒストグラム）と、予測良好画像の特徴量マップを構成する複数の特徴量の頻度分布（ヒストグラム）とを示す図。

【図12】予測不良画像の特徴量マップのうち、抽出した特徴量群のみを示す図。

【図13】予測良好画像の特徴量マップのうち、抽出した特徴量群のみを示す図。

【図14】予測不良画像に、抽出した特徴量群の位置を重ねて表示する重合画像の一例を示す図。

【図15】予測良好画像に、抽出した特徴量群の位置を重ねて表示する重合画像の一例を示す図。

【図16】第２実施形態の予測システムが実行する処理を示すフローチャート。

【発明を実施するための形態】

【0009】

＜第１実施形態＞
以下、本開示の第１実施形態を、図面を参照して説明する。

【0010】

［学習システム、予測システム］
第１実施形態の予測システム２（装置）は、予測モデル２１を用いて、薬品で表面処理を施した金属（銅）の表面を撮像した画像に基づいて、金属の物性値（例えば密着強度）を予測する。学習システム１（装置）は、教師データを用いて予測モデル２１を機械学習で構築する。

【0011】

図１に示すように、予測システム２は、画像取得部２０と、予測部２２と、を有する。学習システム１は、教師データＤ１と、予測モデル２１を学習させる学習部１０とを有する。教師データＤ１は、メモリ１ｂに記憶される。学習部１０は、プロセッサ１ａで実現される。画像取得部２０及び予測部２２は、プロセッサ２ａで実現される。第１実施形態では、１つの装置におけるプロセッサ１ａ，２ａが各部を実現しているが、これに限定されない。例えば、ネットワークを用いて各処理を分散させ、複数のプロセッサが各部の処理を実行するように構成してもよい。すなわち、１又は複数のプロセッサが処理を実行する。

【0012】

画像取得部２０は、予測対象の素材を撮像した画像Ｇ１を取得する。第１実施形態では、画像取得部２０は、表面処理した金属（銅）の表面を電子顕微鏡で撮像したＳＥＭ画像（グレースケール画像）を取得する。予測対象の素材を撮像した画像Ｇ１は、縦ピクセル数ｈ×横ピクセル数ｗの画像データである。

【0013】

予測モデル２１は、素材を撮像した画像（例えばＳＥＭ画像、カメラ画像）とその素材に関する物性値（例えば密着強度）とを関連付けた教師データＤ１を用いて、画像を説明変数として入力し素材に関する物性値を出力するように機械学習で構築されたモデルである。学習システム１の学習部１０は、予測結果と教師データの実測値が一致するように、予測モデル２１のパラメータを更新する。図１において、教師データＤ１は、入力画像１～Ｎ（Ｎは学習用画像の数を示す）と、各々の入力画像１～Ｎに対応する実測値である物理量（Ｘ_１，Ｘ_２，…，Ｘ_Ｎ）とが対応付けられている。

【0014】

予測モデル２１は、種々のモデルが利用可能であるが、第１実施形態では、予測モデル２１は、入力画像から特徴量マップＧ２を出力する特徴量マップ出力部２１ａと、特徴量マップＧ２を物性値（Ｙ）に変換する変換部２１ｂとを有する。第１実施形態では、特徴量マップ出力部２１ａは、ＵＮｅｔを用いている。ＵＮｅｔは、Ｕ字型の畳み込みニューラルネットワーク（ＣＮＮ：Convolutional Neural Network）ベースの学習モデルである。変換部２１ｂは、ＧＡＰ（Global Average Pooling）を用いている。特徴量マップＧ２は、入力画像Ｇ１の縦ピクセルｈに対応するピクセル数ｈ’と、入力画像の横ピクセルｗに対応するピクセル数ｗ’とを乗算した数のピクセル数を有するデータであり、各々のピクセルが特徴量を有する。変換部２１ｂは、特徴量マップＧ２を１つの数である物理量（Ｙ）に変換する。

【実施例】

【0015】

［実施例１］
実施例１は、入力画像Ｇ１を、薬品処理後の銅箔を電子顕微鏡で撮像したＳＥＭ画像とした例である。図２は、ＳＥＭ画像の一例を示す。ＳＥＭ画像の撮像条件は、倍率は３５００倍、チルト角が４５度である。物理量は、密着強度［Ｎ／ｍｍ］とした。薬品Ａを用いて銅表面を処理した例である。９０枚の画像に対して９０個の密着強度を計測した。９０個のデータのうちの半数を学習用データとして使用し、残り半数のデータを予測に用いた。実測密着強度と予測値の平均二乗誤差が０．０００８であった。図３は、横軸が実測密着強度であり、縦軸が予測した密着強度であり、予測値と実測値の組み合わせのデータをプロットした図である。

【0016】

［実施例２］
実施例２は、実施例１と同様にＳＥＭ画像を入力画像Ｇ１とした。薬品Ｂを用いて銅表面を処理した例である。７２枚の画像に対して７２個の密着強度を計測した。７２個のうちの半数を学習用データとし、残り半数を予測用データとした。実測密着強度と予測値の平均二乗誤差が０．００１２であった。ＳＥＭ画像の撮像条件は実施例１と同じである。

【0017】

［実施例３］
実施例３は、実施例１と同様にＳＥＭ画像を入力画像Ｇ１とした。薬品Ｃを用いて銅表面を処理した例である。３９枚の画像に対して３９個の密着強度を計測した。３９個のうちの半数を学習用データとし、残り半数を予測用データとした。実測密着強度と予測値の平均二乗誤差が０．００２１であった。ＳＥＭ画像の撮像条件は実施例１と同じである。

【0018】

［実施例４］
実施例４は、実施例３のＳＥＭ画像を用いて、１枚のＳＥＭ画像から複数の物性値を推測するようにした例である。具体的には、１つのＵＮｅｔの出力を複数クラスに設定することで、同一のＵＮｅｔから複数の物性値を出力（計算）可能となる。複数の物性値は、密着強度、粗さパラメータ（Ｓｄｒ、Ｓｄｑ）である。密着強度を予測するための第１のＵＮｅｔと、Ｓｄｒを予測するための第２のＵＮｅｔと、Ｓｄｑを予測するための第３のＵＮｅｔとを並列化した構成である。密着強度の平均二乗誤差が０．００１であり、Ｓｄｒの平均二乗誤差が０．０００３であり、Ｓｄｑの平均二乗誤差が０．０８６８であった。

【0019】

［実施例５］
実施例５は、薬品Ｄを用いて銅表面を処理した例である。入力画像Ｇ１が、ＳＥＭ画像ではなく、光学カメラで撮像したカメラ画像である。カメラ画像は、黒色の背景を分離する処理のみを行っている。カメラ画像に含まれるＲＧＢ成分ごとに３つの単色画像に分け、３つの単色画像を予測モデル２１に入力する。物性値は、表面粗さＲａ（算術平均）とした。９６０組のデータを用い、半数を教師データとし、残り半数を予測データに用いている。平均二乗誤差は０．０１５３であった。
なお、ＲＧＢ成分を有するカメラ画像をグレースケール画像に変換して、グレースケール画像の強度（明度）を予測モデル２１に入力することも可能である。グレースケール画像を入力した場合と、ＲＧＢ成分ごとに３つの単色画像を入力した場合に特筆すべき違いが見受けられなかったので、実施例５では、ＲＧＢ成分の方を用いた。

【0020】

［実施例６］
実施例６は、実施例５と同様にカメラ画像を入力画像Ｇ１としている。薬品Ｄを用いて銅表面を処理した例である。物性値は、ＣＩＥ１９７６ 明度指数Ｌ＊とした。３２０組のデータを用い、半数を教師データとし、残り半数を予測データに用いている。平均二乗誤差は１１．０５であった。Ｌ＊は、ＪＩＳＺ ８７８１－４に準拠している。

【0021】

［実施例７］
実施例７は、実施例５と同様にカメラ画像を入力画像Ｇ１としている。薬品Ｄを用いて銅表面を処理した例である。物性値は、ＣＩＥ１９７６ 色空間における色座標ａ＊とした。３２０組のデータを用い、半数を教師データとし、残り半数を予測データに用いている。平均二乗誤差は０．００６２であった。ａ＊は、ＪＩＳＺ ８７８１－４に準拠している。

【0022】

［実施例８］
実施例８は、実施例５と同様にカメラ画像を入力画像Ｇ１としている。薬品Ｄを用いて銅表面を処理した例である。物性値は、ＣＩＥ１９７６ 色空間における色座標ｂ＊とした。３２０組のデータを用い、半数を教師データとし、残り半数を予測データに用いている。平均二乗誤差は０．１２９４であった。ｂ＊は、ＪＩＳＺ ８７８１－４に準拠している。

【0023】

［素材の物性値の予測方法］
上記予測システム２が実行する、素材の物性値の予測方法を、図４を用いて説明する。

【0024】

まず、ステップＳＴ１において、画像取得部２０は、予測対象の素材を撮像した予測対象画像を取得する。第１実施形態では、ＳＥＭ画像かカメラ画像を取得する。次のステップＳＴ２，３において、取得した予測対象画像を予測モデル２１に入力して素材に関する物性値を出力する。具体的には、ステップＳＴ２において、特徴量マップ出力部２１ａは、予測対象画像が入力されて特徴量マップＧ２を出力する。ステップＳＴ３において、変換部２１ｂは、特徴量マップＧ２を素材に関する物性値に変換する。

【0025】

＜変形例＞
（１－１）図１に示す実施形態において、予測モデル２１は、特徴量マップＧ２を出力する特徴量マップ出力部２１ａで構成されているが、特徴量マップを出力せずに、物性値を出力するモデルであってもよい。例えば、ニューラルネットワークの一種であるＲｅｓＮｅｔを使用してもよい。もちろん、画像を処理可能な非線形モデルであれば利用可能である。

【0026】

（１－２）上記実施形態において、物性値を予測する予測対象の素材は、薬品（エッチング剤、研磨液（化学、電解））などによる化学的反応処理により表面処理を施した金属（銅）の表面であるが、均一で微細な表面形状を持つ素材であれば、これに限定されない。例えば、研磨や圧延、レーザーなどの外力を作用させる機械加工処理により表面処理を施した金属表面であってもよい。各種顔料を分散・混合した塗料の塗装面であってもよい。またこの場合の塗料の性状（液体、粉体等）は限定されない。電解メッキ、無電解メッキ等によりメッキ処理した金属の表面であってもよい。添加剤を添加・分散させて成形加工を行ったフィルムの表面であってもよい。インク受容のための塗工層やその他機能性を与える塗工層を有した紙表面であってもよい。素材は限定されないが、カレンダー成形やエンボス成形等を用いて成形加工された素材表面であってもよい。

【0027】

（１－３）上記実施形態において、素材に関する物性値として、密着強度を挙げているが、これに限定されない。例えば、密着性、接合性、気密性、撥水性、撥油性、防汚性、摺動性、表面性（光沢、粗度）、色調、感触、熱物性、抗菌性、伝送損失に関する物性値であってもよい。

【0028】

（１－４）上記実施形態において、素材画像の対象としてＳＥＭ及びカメラにより取得した金属表面の画像を挙げているが、これに限定されない。波形やスペクトル、マッピンク画像、数字等、画像として取り込めるデータも対象となりえる。例として、顕微分光法（赤外、ラマン、UV-Vis等）やエネルギー分散型X線分光法（SEM-EDX）、また、非破壊検査に使用するような超音波検査により得られるスペクトルやそれを用いたマッピング画像等が挙げられる。

【0029】

以上のように、第１実施形態の物性値予測方法は、１又は複数のプロセッサが実行する方法であって、予測対象の素材を撮像した予測対象画像Ｇ１を取得し、素材を撮像した画像を説明変数として素材に関する物性値（Ｙ）を出力するように機械学習された予測モデルに対して、予測対象画像Ｇ１を入力して予測対象画像Ｇ１に写る素材に関する物性値（Ｙ）を予測値として出力する、としてもよい。
このように、機械学習された予測モデル２１を用いて予測対象画像Ｇ１に写る素材（金属）に関する物性値を予測できるので、試験などで物性値を計測する場合に比べて、金銭コストや時間コストを削減可能となる。

【0030】

特に限定されないが、第１実施形態のように、予測モデル２１は、入力される画像Ｇ１から特徴量マップＧ２を出力する特徴量マップ出力部２１ａと、特徴量マップＧ２を予測値に変換する変換部２１ｂと、を有する、としてもよい。
これにより、特徴量マップＧ２から予測値が得られるので、予測モデル２１が予測する根拠を特徴量マップＧ２で説明する試みが可能となる。

【0031】

特に限定されないが、第１実施形態のように、撮像される前記素材は、表面処理を施した金属の表面、塗料の塗装面、メッキ処理した金属の表面、フィルムの表面、紙表面、及び成形加工された素材表面のいずれかである、としてもよい。好適な一例である。

【0032】

第１実施形態に係るシステムは、上記方法を実行する１又は複数のプロセッサを備える。
第１実施形態に係るプログラムは、上記方法を１又は複数のプロセッサに実行させるプログラムである。
これらプログラムを実行することによっても、上記方法の奏する作用効果を得ることが可能となる。

【0033】

以上、本開示の実施形態について図面に基づいて説明したが、具体的な構成は、これらの実施形態に限定されるものでないと考えられるべきである。本開示の範囲は、上記した実施形態の説明だけではなく特許請求の範囲によって示され、さらに特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれる。

【0034】

＜第２実施形態＞
図５は、第２実施形態の学習システム１及び予測システム２を示すブロック図である。第２実施形態は、第１実施形態に比べて予測システム２の構成が異なっている。具体的には、第２実施形態の予測システム２は、第１実施形態の予測システム２に対して、特定部２３、抽出部２４及び重合画像出力部２５を追加している。特定部２３、抽出部２４及び重合画像出力部２５はプロセッサ２ａにより実現される。

【0035】

図５に示すように、メモリ２ｂには、複数の予測対象画像と、各々の予測対象画像に写る素材の既知の実測値である物理量（Ｘ）とが関連付けられて記憶されている。画像取得部２０は、メモリ２ｂに記憶されている複数の予測対象画像をそれぞれ予測モデル２１（特徴量マップ出力部２１ａ及び変換部２１ｂ）に入力する。予測モデル２１が算出した予測物性値（Ｙ）及び特徴量マップ出力部２１ａが出力した特徴量マップは、メモリ２ｂにおいて予測対象画像及び実測物性値（Ｘ）に関連付けて記憶される。

【0036】

図５に示す特定部２３は、メモリ２ｂに記憶されている複数の予測対象画像のうち、実測物性値が同程度の画像についての予測結果から予測不良画像と予測良好画像とを特定する。予測不良画像は、実測値と予測値の誤差が第１閾値以上の画像である。図６は、図３に示す予測対象画像群とは異なる予測対象画像群の予測値と実測値の組み合わせのデータをプロットした図であり、横軸が実測密着強度［Ｎ／ｍｍ］であり、縦軸が予測した密着強度［Ｎ／ｍｍ］である。図６に示すように、予測物性値（予測密着強度）と実測物性値（実測密着強度）とが一致する箇所が斜線で示されており、斜線に近いデータ（プロット点）が予測良好画像であり、斜線から遠いデータ（プロット点）が予測不良画像である。予測対象画像の予測精度は、プロット点から斜線に対する垂線の長さで表現できる。垂線の長さが長ければ、予測物性値と実測物性値の差が大きく、予測不良画像と判定でき、垂線の長さが短ければ、予測物性値と実測物性値の差が小さく、予測良好画像と判定できる。人の目でみて、斜線に相対的に近い予測良好画像と、斜線から相対的に遠い予測不要画像とを選択してもよいが、プログラムで自動選択も可能である。特定部２３は、実測値と予測値の誤差（垂線の長さ）が第１閾値以上の画像を予測不良画像と特定し、実測値と予測値の誤差（垂線の長さ）が第２閾値以下の画像を予測良好画像と特定する処理を実行可能に構成されている。第２閾値は第１閾値よりも小さい。第１閾値及び第２閾値は、固定値でもよいし、可変であってもよい。例えば、実測値と予測値の誤差の最大値に応じて第１閾値及び第２閾値を設定してもよい。第１閾値を最大誤差の１００％以下且つ９０％以上とし、第２閾値を最大誤差の０％以上且つ１０％以下に設定してもよい。また、実測値と予測値の誤差が最大である画像を予測不良画像と特定し、実測値と予測値の誤差が最小である画像を予測良好画像としてもよい。

【0037】

図６は、予測値と実測値の組み合わせのデータをプロットした図であり、予測不良画像Ｇ３及び予測良好画像Ｇ４を特定した例を示す図である。図６に示すように、特定部２３が、複数の予測対象画像のうち、実測物性値が同程度の画像について、実測値と予測値の誤差が最大となる画像を予測不良画像Ｇ３と特定し、実測値と予測値の誤差が最小とみなせる画像を予測良好画像Ｇ４と特定している。実測物性値が同程度とは、図６においてグレーで塗りつぶして示すように、実測物性値が同一でなくても、所定範囲内にあればよいことを意味する。所定範囲は、データの分散具合を考慮して適宜設定可能である。図７は、予測不良画像Ｇ３（ＳＥＭ画像）を示す。図８は、予測良好画像Ｇ４（ＳＥＭ画像）を示す。図９は、予測不良画像Ｇ３（ＳＥＭ画像）から得た特徴量マップを画像として示す。図１０は、予測良好画像Ｇ４（ＳＥＭ画像）から得た特徴量マップを画像として示す。図７～図１０を人が見ても、予測精度に差が生じた理由を理解することが難しい。

【0038】

図１１は、予測不良画像Ｇ３の特徴量マップを構成する複数の特徴量の頻度分布（ヒストグラム）と、予測良好画像Ｇ４の特徴量マップを構成する複数の特徴量の頻度分布（ヒストグラム）とを示す図である。図１１の横軸は特徴量を示し、同図の縦軸はピクセル数（つまり頻度）を示している。図１１の実線が予測不良画像Ｇ３のヒストグラムであり、同図の破線が予測良好画像Ｇ４のヒストグラムである。図１１を見ると、双方の特徴量マップの特徴量の分布が似ており、銅表面のＳＥＭ画像の特徴を示していると考えられるが、若干の相違がある。本実施例では、特徴量が－１以上且つ１以下の範囲に大きな頻度分布の差がみられる。これらの特徴量群（特徴量が－１以上且つ１以下）を予測不良の要因を示す特徴量群として抽出した。なお、人の目でみて相違が大きい特徴量群を抽出してもよいし、プログラムで自動的に抽出してもよい。具体的には、２つのヒストグラムで形成される閉領域毎に、２つのヒストグラムの差の積分値を算出し、最も積分値が大きい範囲の特徴量群を抽出することが考えられる。

【0039】

すなわち、抽出部２４は、予測不良画像Ｇ３の特徴量マップを構成する複数の特徴量の頻度分布（図１１の実線）と、予測良好画像Ｇ４の特徴量マップを構成する複数の特徴量の頻度分布（図１１の破線）との差に基づいて、予測不良の要因を表す特徴量群を抽出可能である。図１２は、予測不良画像Ｇ３の特徴量マップのうち、抽出した特徴量群のみを示す図である。図１３は、予測良好画像Ｇ４の特徴量マップのうち、抽出した特徴量群のみを示す図である。図１２及び図１３では、抽出した特徴量部分を黒で示し、それ以外を色で示している。特徴量マップはそれぞれ元の予測不良画像Ｇ３及び予測良好画像Ｇ４と同じサイズの画像であるか、アスペクト比が同じであることが多く、特徴量マップをそのまま又は拡大処理することで元の画像と位置関係を対応させることができ、抽出した特徴量群が存在する元の画像の部分が予測精度に影響を与えていると理解できる。よって、図１２，１３と元のＳＥＭ画像を照らし合わせることで、予測不良の要因の追求に利用可能となり、予測精度に関する説明が可能になる場合がある。

【0040】

重合画像出力部２５は、抽出部２４が抽出した特徴量群の位置を、予測不良画像Ｇ３又は予測良好画像Ｇ４の少なくとも一方に重ねて表示する重合画像を出力する。図１４は、予測不良画像Ｇ３に、抽出した特徴量群の位置を重ねて表示する重合画像の一例を示す図である。図１５は、予測良好画像Ｇ４に、抽出した特徴量群の位置を重ねて表示する重合画像の一例を示す図である。特徴量群の位置は、色で示してもよいし、その他のマークで示してもよい。
これにより、予測対象画像と特徴量群の位置を一度に視認可能となり、有用である。

【0041】

第２実施形態の上記予測システム２が実行する、素材の物性値の予測方法を、図１６を用いて説明する。

【0042】

まず、ステップＳＴ１０１において、予測部２２は、素材の物性値の実測値が既知である複数の予測対象画像を入力して、複数の予測対象画像それぞれの素材の物性値の予測値及び特徴量マップを出力する。
次のステップＳＴ１０２において、特定部２３は、複数の予測対象画像のうち、実測物性値が同程度の画像の予測結果から、実測値と予測値の誤差が第１閾値以上の予測不良画像Ｇ３と、実測値と予測値の誤差が第１閾値よりも小さい第２閾値以下の予測良好画像Ｇ４とを特定する。
次のステップＳＴ１０３において、抽出部２４は、予測不良画像Ｇ３の特徴量マップを構成する複数の特徴量の頻度分布と、予測良好画像Ｇ４の特徴量マップを構成する複数の特徴量の頻度分布との差に基づいて、予測不良の要因を表す特徴量群を抽出する。
次のステップＳＴ１０４において、重合画像出力部２５は、特徴量群の位置を、予測不良画像Ｇ３又は予測良好画像Ｇ４の少なくとも一方に重ねて表示する重合画像を出力する。

【0043】

以上のように、第２実施形態の物性値予測方法は、１又は複数のプロセッサが実行する方法であって、素材を撮像した画像から特徴量マップを出力する特徴量マップ出力部２１ａと、特徴量マップを素材に関する物性値に変換する変換部２１ｂとを有し素材を撮像した画像を説明変数として物性値を出力するように機械学習された予測モデル２１に対して、物性値の実測値が既知である複数の予測対象画像を入力して、複数の予測対象画像それぞれの予測値及び特徴量マップを出力し、複数の予測対象画像のうち、実測物性値が同程度の画像の予測結果から、実測値と前記予測値の誤差が第１閾値以上の予測不良画像Ｇ３と、実測値と予測値の誤差が第１閾値よりも小さい第２閾値以下の予測良好画像Ｇ４とを特定し、予測不良画像Ｇ３の特徴量マップを構成する複数の特徴量の頻度分布と、予測良好画像Ｇ４の特徴量マップを構成する複数の特徴量の頻度分布との差に基づいて、予測不良の要因を表す特徴量群を抽出する、としてもよい。
このようにすれば、予測不良画像Ｇ３の特徴量マップを構成する複数の特徴量の頻度分布と、前記予測良好画像の特徴量マップを構成する複数の特徴量の頻度分布との差が大きい特徴量群は、予測不良の要因を表す可能性が高いため、予測不良の要因の追求に利用可能となり、予測精度に関する説明を可能とする可能性を提供できる。

【0044】

特に限定されないが、第２実施形態のように、特徴量群の位置を、予測不良画像Ｇ３又は予測良好画像Ｇ４の少なくとも一方に重ねて表示する重合画像を出力する、としてもよい。
このようにすれば、特徴量群を、予測不良画像又は予測良好画像に重ねて視認可能であるので、有用である。

【0045】

特に限定されないが、第２実施形態のように、撮像される前記素材は、表面処理を施した金属の表面、塗装した塗料の表面、メッキした金属の表面、フィルム表面、及び紙表面のいずれかである、としてもよい。好適な一例である。

【0046】

第２実施形態に係るシステムは、上記方法を実行する１又は複数のプロセッサを備える。
第２実施形態に係るプログラムは、上記方法を１又は複数のプロセッサに実行させるプログラムである。
これらプログラムを実行することによっても、上記方法の奏する作用効果を得ることが可能となる。

【0047】

［変形例］
（２－１）第２実施形態では、重合画像出力部２５が設けられているが、重合画像出力部２５は省略可能である。

【0048】

（２－２）第２実施形態では、表面処理を施した銅表面を撮像したＳＥＭ画像と、密着強度を予測する例で説明しているが、撮像対象の素材は第１実施形態と同様に種々変更可能である。また、予測対象の物性値も第１実施形態と同様に種々変更可能である。

【0049】

上記の各実施形態で採用している構造を他の任意の実施形態に採用することは可能である。各部の具体的な構成は、上述した実施形態のみに限定されるものではなく、本開示の趣旨を逸脱しない範囲で種々変形が可能である。

【0050】

例えば、特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現できる。特許請求の範囲、明細書、および図面中のフローに関して、便宜上「まず」、「次に」等を用いて説明したとしても、この順で実行することが必須であることを意味するものではない。

【0051】

図１に示す各部は、所定プログラムを１又は複数のプロセッサで実行することで実現しているが、各部を専用メモリや専用回路で構成してもよい。上記実施形態のシステム１（２）は、一つのコンピュータのプロセッサ１ａ（２ａ）において各部が実装されているが、各部を分散させて、複数のコンピュータやクラウドで実装してもよい。すなわち、上記方法を１又は複数のプロセッサで実行してもよい。

【0052】

システム１（２）は、プロセッサ１ａ（２ａ）を含む。例えば、プロセッサ１ａ（２ａ）は、中央処理ユニット（ＣＰＵ）、マイクロプロセッサ、またはコンピュータ実行可能命令の実行が可能なその他の処理ユニットとすることができる。また、システム１（２）は、システム１（２）のデータを格納するためのメモリ１ｂ（２ｂ）を含む。一例では、メモリ１ｂ（２ｂ）は、コンピュータ記憶媒体を含み、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリまたはその他のメモリ技術、ＣＤ－ＲＯＭ、ＤＶＤまたはその他の光ディスクストレージ、磁気カセット、磁気テープ、磁気ディスクストレージまたはその他の磁気記憶デバイス、あるいは所望のデータを格納するために用いることができ、そしてシステム１がアクセスすることができる任意の他の媒体を含む。

【符号の説明】

【0053】

Ｇ１…予測対象画像
Ｇ２…特徴量マップ
２…予測システム
２０…画像取得部
２１…予測モデル
２１ａ…特徴量マップ出力部
２１ｂ…変換部
２２…予測部
２３…特定部
２４…抽出部
２５…重合画像出力部

【要約】

【課題】機械学習を用いて素材の物性値を予測する予測モデルについて、予測精度に関する説明の可能性を提供する。
【解決手段】物性値予測方法は、機械学習された予測モデル２１に対して、物性値の実測値が既知である複数の予測対象画像を入力して、複数の予測対象画像それぞれの予測値及び特徴量マップを出力し、複数の予測対象画像のうち、実測物性値が同程度の画像の予測結果から、実測値と前記予測値の誤差が第１閾値以上の予測不良画像Ｇ３と、実測値と予測値の誤差が第１閾値よりも小さい第２閾値以下の予測良好画像Ｇ４とを特定し、予測不良画像Ｇ３の特徴量マップを構成する複数の特徴量の頻度分布と、予測良好画像Ｇ４の特徴量マップを構成する複数の特徴量の頻度分布との差に基づいて、予測不良の要因を表す特徴量群を抽出する。
【選択図】図５

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】