ホーム > 特許ランキング > 住友ゴム工業株式会社
知財求人 - 知財ポータルサイト「IP Force」
▶ 住友ゴム工業株式会社の特許一覧 ▶ 国立大学法人北海道大学の特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-12-12
(45)【発行日】2024-12-20
(54)【発明の名称】画像生成装置、ゴム組成物の配合推定装置及び学習装置
(51)【国際特許分類】
G06T 7/00 20170101AFI20241213BHJP
G06N 20/00 20190101ALI20241213BHJP
G06N 3/02 20060101ALI20241213BHJP
G01N 33/44 20060101ALI20241213BHJP
G01N 23/2251 20180101ALI20241213BHJP
G01N 23/04 20180101ALI20241213BHJP
【ＦＩ】
G06T7/00 350C
G06N20/00
G06N3/02
G01N33/44
G01N23/2251
G01N23/04
【請求項の数】
12
(21)【出願番号】P 2021019382
(22)【出願日】2021-02-09
(65)【公開番号】P2021136024
(43)【公開日】2021-09-13
【審査請求日】2023-09-04
(31)【優先権主張番号】P 2020029574
(32)【優先日】2020-02-25
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】000183233
【氏名又は名称】住友ゴム工業株式会社
(73)【特許権者】
【識別番号】504173471
【氏名又は名称】国立大学法人北海道大学
(74)【代理人】
【識別番号】100124039
【弁理士】
【氏名又は名称】立花 顕治
(74)【代理人】
【識別番号】100210251
【弁理士】
【氏名又は名称】大古場 ゆう子
(74)【代理人】
【識別番号】100170542
【弁理士】
【氏名又は名称】桝田 剛
(72)【発明者】
【氏名】福地 将志
(72)【発明者】
【氏名】山田 宏明
(72)【発明者】
【氏名】伊藤 和加奈
(72)【発明者】
【氏名】長谷山 美紀
(72)【発明者】
【氏名】小川 貴弘
(72)【発明者】
【氏名】藤後 廉
【審査官】菊池 伸郎
(56)【参考文献】
【文献】特許第６６０９３８７（ＪＰ，Ｂ１）
【文献】金井美岬 外３名，ゴム材料の配合量を用いたAC-GANに基づく電子顕微鏡画像の生成に関する一検討，映像情報メディア学会技術報告，日本，一般社団法人映像情報メディア学会，2020年02月20日，第４４巻, 第６号，pp.107-111
【文献】Tero KARRAS et al.，A Style-Based Generator Architecture for Generative Adversarial Networks，2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)，米国，IEEE，2019年06月20日，pp.4396-4405，DOI: 10.1109/CVPR.2019.00453
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ ７／００
Ｇ０６Ｎ ２０／００
Ｇ０６Ｎ ３／０２
Ｇ０１Ｎ ３３／４４
Ｇ０１Ｎ ２３／２２５１
Ｇ０１Ｎ ２３／０４
(57)【特許請求の範囲】
【請求項1】
ゴム組成物を構成する材料の配合を表す配合データを取得するデータ取得部と、前記取得した配合データをノイズとともに複数の機械学習モデルに入力し、前記複数の機械学習モデルの出力として、前記ゴム組成物を顕微鏡により撮像した顕微鏡画像を模擬する複数の模擬顕微鏡画像を生成する画像生成部と
を備え、
前記複数の機械学習モデルの出力として生成された前記複数の模擬顕微鏡画像は、製造からの経過時間が互いに異なる前記ゴム組成物を顕微鏡により撮像した顕微鏡画像を模擬する、
画像生成装置。
【請求項2】
前記顕微鏡は、電子顕微鏡である、請求項１に記載の画像生成装置。
【請求項3】
前記複数の機械学習モデルは、各々、入力された前記配合データ及び前記ノイズから、前記複数の模擬顕微鏡画像に反映されるべき性質を表す特徴量を算出し、出力する射影ネットワークを含む、請求項１又は２に記載の画像生成装置。
【請求項4】
前記複数の機械学習モデルは、各々、入力されたデータをアップサンプリングすることで、前記入力されたデータよりサイズの大きいデータを生成し、前記複数の模擬顕微鏡画像として出力する生成ネットワークをさらに含み、前記生成ネットワークには、アップサンプリングの都度前記特徴量が取り込まれる、請求項３に記載の画像生成装置。
【請求項5】
ゴム組成物を構成する材料の配合を表す配合データを取得するステップと、前記取得した配合データをノイズとともに複数の機械学習モデルに入力し、前記複数の機械学習モデルの出力として、前記ゴム組成物を顕微鏡により撮像した顕微鏡画像を模擬する複数の模擬顕微鏡画像を生成するステップと
を含み、
前記複数の機械学習モデルの出力として生成された前記複数の模擬顕微鏡画像は、製造からの経過時間が互いに異なる前記ゴム組成物を顕微鏡により撮像した顕微鏡画像を模擬する、
画像生成方法。
【請求項6】
ゴム組成物を構成する材料の配合を表す配合データを取得するステップと、前記取得した配合データをノイズとともに複数の機械学習モデルに入力し、前記複数の機械学習モデルの出力として、前記ゴム組成物を顕微鏡により撮像した顕微鏡画像を模擬する複数の模擬顕微鏡画像を生成するステップと
をコンピュータに実行させ、
前記複数の機械学習モデルの出力として生成された前記複数の模擬顕微鏡画像は、製造からの経過時間が互いに異なる前記ゴム組成物を顕微鏡により撮像した顕微鏡画像を模擬する、
画像生成プログラム。
【請求項7】
製造から第１時間が経過したゴム組成物を顕微鏡により撮像した第１顕微鏡画像と、前記ゴム組成物を構成する材料の配合を表す配合データとが組み合わせられた第１学習用データを用意するステップと、製造から前記第１時間と異なる第２時間が経過した前記ゴム組成物を顕微鏡により撮像した第２顕微鏡画像と、前記配合データとが組み合わせられた第２学習用データを用意するステップと、
前記配合データ及びノイズが入力されると、前記入力された配合データ及びノイズに基づいて、前記第１顕微鏡画像を模擬する第１模擬顕微鏡画像を生成する第１機械学習モデルと、前記第１顕微鏡画像又は前記第１模擬顕微鏡画像が入力されると、前記入力された画像が前記第１顕微鏡画像であるか否かを示す識別結果を出力する第２機械学習モデルとを学習させるステップと、
前記配合データ及びノイズが入力されると、前記入力された配合データ及びノイズに基づいて、前記第２顕微鏡画像を模擬する第２模擬顕微鏡画像を生成する第３機械学習モデルと、前記第２顕微鏡画像又は前記第２模擬顕微鏡画像が入力されると、前記入力された画像が前記第２顕微鏡画像であるか否かを示す識別結果を出力する第４機械学習モデルとを学習させるステップと、
を備え、
前記第１機械学習モデルと、第２機械学習モデルとを学習させるステップは、
前記第１顕微鏡画像又は前記第１模擬顕微鏡画像を前記第２機械学習モデルに入力したときに、前記第２機械学習モデルが出力する前記識別結果の正解確率が高くなるように前記第２機械学習モデルを学習させるステップと、
前記第１模擬顕微鏡画像を前記第２機械学習モデルに入力したときに、前記第２機械学習モデルが出力する前記識別結果の正解確率が低くなるように前記第１機械学習モデルを学習させるステップと
を交互に繰り返し、
前記第３機械学習モデルと、第４機械学習モデルとを学習させるステップは、
前記第２顕微鏡画像又は前記第２模擬顕微鏡画像を前記第４機械学習モデルに入力したときに、前記第４機械学習モデルが出力する前記識別結果の正解確率が高くなるように前記第４機械学習モデルを学習させるステップと、
前記第２模擬顕微鏡画像を前記第４機械学習モデルに入力したときに、前記第４機械学習モデルが出力する前記識別結果の正解確率が低くなるように前記第３機械学習モデルを学習させるステップと
を交互に繰り返す、
学習済みモデルの生成方法。
【請求項8】
前記第１機械学習モデルは、入力されたデータをアップサンプリングすることで、前記入力されたデータよりサイズの大きいデータを生成し、これを所定のサイズの前記第１模擬顕微鏡画像として出力する生成層を含み、前記第２機械学習モデルは、前記生成層と対を為す識別層であって、前記生成層が出力する前記第１模擬顕微鏡画像又は前記第１模擬顕微鏡画像と同じサイズを有する前記第１顕微鏡画像が入力されると、前記入力された画像が前記第１顕微鏡画像であるか否かを示す識別結果を出力する識別層を含み、
前記第１機械学習モデルと、第２機械学習モデルとを学習させるステップの後に、新たな前記生成層を１つ前記第１機械学習モデルに追加するとともに、追加される当該生成層と対を為す新たな前記識別層を１つ前記第２機械学習モデルに追加するステップと、
前記追加するステップの後に、前記第１機械学習モデルと前記第２機械学習モデルとをさらに学習させるステップと、
をさらに備え、
前記追加するステップと、前記さらに学習させるステップとを交互に繰り返し、
前記追加される生成層が出力する前記第１模擬顕微鏡画像のサイズを、前記追加するステップが繰り返されるごとに段階的に大きくする、
請求項７に記載の学習済みモデルの生成方法。
【請求項9】
前記第２機械学習モデルは、入力された前記第１顕微鏡画像又は前記第１模擬顕微鏡画像に対応する配合データを推定するデータをさらに出力し、前記第２機械学習モデルを学習させるステップは、前記第１顕微鏡画像を前記第２機械学習モデルに入力したときに、前記第２機械学習モデルが出力する前記データと前記配合データとの差が小さくなるように前記第２機械学習モデルを学習させるステップを含み、
前記第１機械学習モデルを学習させるステップは、前記第１模擬顕微鏡画像を前記第２機械学習モデルに入力したときに、前記第２機械学習モデルが出力する前記データと、前記第１機械学習モデルに入力された前記配合データとの差が小さくなるように前記第１機械学習モデルを学習させるステップを含む、
請求項７に記載の学習済みモデルの生成方法。
【請求項10】
前記顕微鏡は、電子顕微鏡である、請求項７から９のいずれかに記載の学習済みモデルの生成方法。
【請求項11】
製造から第１時間が経過したゴム組成物を顕微鏡により撮像した第１顕微鏡画像と、前記ゴム組成物を構成する材料の配合を表す配合データとが組み合わせられた第１学習用データを用意するステップと、製造から前記第１時間と異なる第２時間が経過した前記ゴム組成物を顕微鏡により撮像した第２顕微鏡画像と、前記配合データとが組み合わせられた第２学習用データを用意するステップと、
前記配合データ及びノイズが入力されると、前記入力された配合データ及びノイズに基づいて、前記第１顕微鏡画像を模擬する第１模擬顕微鏡画像を出力する第１機械学習モデルと、前記第１顕微鏡画像又は前記第１模擬顕微鏡画像が入力されると、前記入力された画像が前記第１顕微鏡画像であるか否かを示す識別結果を出力する第２機械学習モデルとを学習させるステップと、
前記配合データ及びノイズが入力されると、前記入力された配合データ及びノイズに基づいて、前記第２顕微鏡画像を模擬する第２模擬顕微鏡画像を生成する第３機械学習モデルと、前記第２顕微鏡画像又は前記第２模擬顕微鏡画像が入力されると、前記入力された画像が前記第２顕微鏡画像であるか否かを示す識別結果を出力する第４機械学習モデルとを学習させるステップと、
をコンピュータに実行させ、
前記第１機械学習モデルと、第２機械学習モデルとを学習させるステップは、
前記第１顕微鏡画像又は前記第１模擬顕微鏡画像を前記第２機械学習モデルに入力したときに、前記第２機械学習モデルが出力する前記識別結果の正解確率が高くなるように前記第２機械学習モデルを学習させるステップと、
前記第１模擬顕微鏡画像を前記第２機械学習モデルに入力したときに、前記第２機械学習モデルが出力する前記識別結果の正解確率が低くなるように前記第１機械学習モデルを学習させるステップと
を交互に繰り返し、
前記第３機械学習モデルと、第４機械学習モデルとを学習させるステップは、
前記第２顕微鏡画像又は前記第２模擬顕微鏡画像を前記第４機械学習モデルに入力したときに、前記第４機械学習モデルが出力する前記識別結果の正解確率が高くなるように前記第４機械学習モデルを学習させるステップと、
前記第２模擬顕微鏡画像を前記第４機械学習モデルに入力したときに、前記第４機械学習モデルが出力する前記識別結果の正解確率が低くなるように前記第３機械学習モデルを学習させるステップと
を交互に繰り返す、
学習済みモデルの生成プログラム。
【請求項12】
製造から第１時間が経過したゴム組成物を顕微鏡により撮像した第１顕微鏡画像と、前記ゴム組成物を構成する材料の配合を表す配合データとが組み合わせられた第１学習用データ、及び、製造から前記第１時間と異なる第２時間が経過した前記ゴム組成物を顕微鏡により撮像した第２顕微鏡画像と、前記配合データとが組み合わせられた第２学習用データを記憶する記憶部と、前記配合データ及びノイズが入力されると、前記入力された配合データ及びノイズに基づいて生成される、前記第１顕微鏡画像を模擬する第１模擬顕微鏡画像を出力する第１機械学習モデルと、前記第１顕微鏡画像又は前記第１模擬顕微鏡画像が入力されると、前記入力された画像が前記第１顕微鏡画像であるか否かを示す識別結果を出力する第２機械学習モデルと、前記配合データ及びノイズが入力されると、前記入力された配合データ及びノイズに基づいて、前記第２顕微鏡画像を模擬する第２模擬顕微鏡画像を生成する第３機械学習モデルと、前記第２顕微鏡画像又は前記第２模擬顕微鏡画像が入力されると、前記入力された画像が前記第２顕微鏡画像であるか否かを示す識別結果を出力する第４機械学習モデルとを学習させる学習処理部と
を備え、
前記学習処理部は、
前記第１顕微鏡画像又は前記第１模擬顕微鏡画像を前記第２機械学習モデルに入力したときに、前記第２機械学習モデルが出力する前記識別結果の正解確率が高くなるように前記第２機械学習モデルを学習させるステップと、
前記第１模擬顕微鏡画像を前記第２機械学習モデルに入力したときに、前記第２機械学習モデルが出力する前記識別結果の正解確率が低くなるように前記第１機械学習モデルを学習させるステップと
を交互に繰り返すとともに、
前記第２顕微鏡画像又は前記第２模擬顕微鏡画像を前記第４機械学習モデルに入力したときに、前記第４機械学習モデルが出力する前記識別結果の正解確率が高くなるように前記第４機械学習モデルを学習させるステップと、
前記第２模擬顕微鏡画像を前記第４機械学習モデルに入力したときに、前記第４機械学習モデルが出力する前記識別結果の正解確率が低くなるように前記第３機械学習モデルを学習させるステップと
を交互に繰り返す、
学習装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像生成装置、ゴム組成物の配合推定装置及び学習装置に関する。
【背景技術】
【0002】
特許第６６０９３８７号（特許文献１）は、ゴム材料を顕微鏡により撮像した画像の特徴を示す指標及びゴム材料の配合から、当該ゴム材料の特性を推定する方法を開示する。
【先行技術文献】
【特許文献】
【0003】
【文献】特許第６６０９３８７号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献１によれば、（画像に表現される）ゴム材料の構造、ゴム材料の配合、及びゴム材料の特性は、互いに相関を有する。しかし、特許文献１には、ゴム材料の構造と配合との相関を推定する方法については開示されていない。
【0005】
本発明は、このような課題を解決するためになされたものであり、その目的は、画像に表現されるゴム組成物の構造と配合との相関を推定する技術を提供することである。
【課題を解決するための手段】
【0006】
本発明の一側面に係る画像生成装置は、データ取得部と、画像生成部とを備える。データ取得部は、ゴム組成物を構成する材料の配合を表す配合データを取得する。画像生成部は、前記取得した配合データをノイズとともに機械学習モデルに入力し、前記機械学習モデルの出力として、前記ゴム組成物を顕微鏡により撮像した顕微鏡画像を模擬する模擬顕微鏡画像を生成する。
【0007】
上記画像生成装置によれば、ゴム組成物の配合データを与えると、ゴム組成物の構造を推定する模擬顕微鏡画像が得られる。これにより、配合データから得られるゴム組成物の構造を予測することが可能になる。
【0008】
上記画像生成装置において、前記顕微鏡は、電子顕微鏡であってもよい。
【0009】
本発明の一側面に係るゴム組成物の配合推定装置は、画像取得部と、配合推定部とを備える。画像取得部は、ゴム組成物を顕微鏡により撮像した顕微鏡画像あるいはこれを模擬する模擬顕微鏡画像を取得する。配合推定部は、前記取得した顕微鏡画像あるいは前記取得した模擬顕微鏡画像を機械学習モデルに入力し、前記機械学習モデルの出力として前記ゴム組成物を構成する材料の配合を推定する。
【0010】
上記ゴム組成物の配合推定装置によれば、材料の配合が未知であるゴム組成物の構造を表す画像あるいはゴム組成物の構造を予測する画像に基づいて、ゴム組成物を構成する材料の配合を推定することができる。
【0011】
上記配合推定装置において、前記顕微鏡は、電子顕微鏡であってもよい。
【0012】
本発明の一側面に係る学習済みモデルの生成方法は、以下のステップを備える。
・ゴム組成物を顕微鏡により撮像した顕微鏡画像と、前記ゴム組成物を構成する材料の配合を表す配合データとが組み合わせられた学習用データを用意するステップ。
・前記配合データ及びノイズが入力されると、前記入力された配合データ及びノイズに基づいて、前記顕微鏡画像を模擬する模擬顕微鏡画像を生成する第１機械学習モデルと、前記顕微鏡画像又は前記模擬顕微鏡画像が入力されると、前記入力された画像が前記顕微鏡画像であるか否かを示す識別結果を出力する第２機械学習モデルとを学習させるステップ。
なお、前記学習させるステップは、以下のステップを交互に繰り返す。
・前記顕微鏡画像又は前記模擬顕微鏡画像を前記第２機械学習モデルに入力したときに、前記第２機械学習モデルが出力する前記識別結果の正解確率が高くなるように前記第２機械学習モデルを学習させるステップ。
・前記模擬顕微鏡画像を前記第２機械学習モデルに入力したときに、前記第２機械学習モデルが出力する前記識別結果の正解確率が低くなるように前記第１機械学習モデルを学習させるステップ。
・ゴム組成物を顕微鏡により撮像した顕微鏡画像と、前記ゴム組成物を構成する材料の配合を表す配合データとが組み合わせられた学習用データを用意するステップ。
・前記配合データ及びノイズが入力されると、前記入力された配合データ及びノイズに基づいて、前記顕微鏡画像を模擬する模擬顕微鏡画像を生成する第１機械学習モデルと、前記顕微鏡画像又は前記模擬顕微鏡画像が入力されると、前記入力された画像が前記顕微鏡画像であるか否かを示す識別結果を出力する第２機械学習モデルとを学習させるステップ。
なお、前記学習させるステップは、以下のステップを交互に繰り返す。
・前記顕微鏡画像又は前記模擬顕微鏡画像を前記第２機械学習モデルに入力したときに、前記第２機械学習モデルが出力する前記識別結果の正解確率が高くなるように前記第２機械学習モデルを学習させるステップ。
・前記模擬顕微鏡画像を前記第２機械学習モデルに入力したときに、前記第２機械学習モデルが出力する前記識別結果の正解確率が低くなるように前記第１機械学習モデルを学習させるステップ。
【0013】
上記学習済みモデルの生成方法において、前記第１機械学習モデルは、入力されたデータをアップサンプリングすることで、前記入力されたデータよりサイズの大きいデータを生成し、これを所定のサイズの前記模擬顕微鏡画像として出力する生成層を含んでもよい。前記第２機械学習モデルは、前記生成層と対を為す識別層であって、前記生成層が出力する前記模擬顕微鏡画像又は前記模擬顕微鏡画像と同じサイズを有する前記顕微鏡画像が入力されると、前記入力された画像が前記顕微鏡画像であるか否かを示す識別結果を出力する識別層を含んでもよい。また、上記学習済みモデルの生成方法は、前記学習させるステップの後に、新たな前記生成層を１つ前記第１機械学習モデルに追加するとともに、追加される当該生成層と対を為す新たな前記識別層を１つ前記第２機械学習モデルに追加するステップと、前記追加するステップの後に、前記第１機械学習モデルと前記第２機械学習モデルとをさらに学習させるステップと、をさらに備え、前記追加するステップと、前記さらに学習させるステップとを交互に繰り返し、前記追加される生成層が出力する前記模擬顕微鏡画像のサイズを、前記追加するステップが繰り返されるごとに段階的に大きくしてもよい。
【0014】
上記学習済みモデルの生成方法において、前記第２機械学習モデルは、入力された前記顕微鏡画像又は前記模擬顕微鏡画像に対応する配合データを推定するデータをさらに出力してもよい。前記第２機械学習モデルを学習させるステップは、前記顕微鏡画像を前記第２機械学習モデルに入力したときに、前記第２機械学習モデルが出力する前記データと前記配合データとの差が小さくなるように前記第２機械学習モデルを学習させるステップを含んでもよい。前記第１機械学習モデルを学習させるステップは、前記模擬顕微鏡画像を前記第２機械学習モデルに入力したときに、前記第２機械学習モデルが出力する前記データと、前記第１機械学習モデルに入力された前記配合データとの差が小さくなるように前記第１機械学習モデルを学習させるステップを含んでもよい。
【0015】
上記学習済みモデルの生成方法において、前記顕微鏡は、電子顕微鏡であってもよい。
【発明の効果】
【0016】
本発明によれば、ゴム組成物の構造と配合との相関を推定する技術が提供される。
【図面の簡単な説明】
【0017】
【図1】電子顕微鏡により撮像されたゴム組成物の画像の例。
【図2】第１実施形態に係る学習装置の機械学習モデルの概念図。
【図3】第１実施形態に係る学習装置の電気的構成を示すブロック図。
【図4】第２機械学習モデルの学習処理の流れを示すフローチャート。
【図5】第１機械学習モデルの学習処理の流れを示すフローチャート。
【図6】第１実施形態に係る画像生成装置の電気的構成を示すブロック図。
【図7】第１実施形態に係る画像生成処理の流れを示すフローチャート。
【図8】第１実施形態に係る推定装置の電気的構成を示すブロック図。
【図9】第１実施形態に係る推定処理の流れを示すフローチャート。
【図10】第２実施形態に係る学習装置の電気的構成を示すブロック図。
【図11】第２実施形態に係る学習装置の機械学習モデルの概念図。
【図12】第３機械学習モデルの構成を説明する図。
【図13】第２実施形態に係る学習処理の流れを示すフローチャート。
【図14】第２実施形態に係る学習の方法を説明する図。
【図15】第２実施形態に係る画像生成装置の電気的構成を示すブロック図。
【図16】実施例に係る実験で取得された画像と、生成された画像の例。
【図17】実施例に係る実験結果を示すヒストグラム。
【図18】別の実施例に係る実験で取得された画像と、生成された画像の例。
【図19】別の実施例に係る実験で生成された画像の例。
【発明を実施するための形態】
【0018】
＜１．概要＞
ゴム組成物は、弾性を有する高分子化合物であり、典型的には、複数の配合物が共に混練されることにより生成される。配合物の種類としては、例えばモノマー（ブタジエン、スチレン等）、フィラー（シリカ、カーボン等）及び架橋剤等が挙げられる。ゴム組成物の開発では、目的に合わせて多種多様な原料の中から配合物を選択し、その配合量を決定し、試作を行うということが繰り返されるため、開発コストが嵩みがちである。このため、より効率的にゴム組成物を開発する技術へのニーズが高まっている。
ゴム組成物は、弾性を有する高分子化合物であり、典型的には、複数の配合物が共に混練されることにより生成される。配合物の種類としては、例えばモノマー（ブタジエン、スチレン等）、フィラー（シリカ、カーボン等）及び架橋剤等が挙げられる。ゴム組成物の開発では、目的に合わせて多種多様な原料の中から配合物を選択し、その配合量を決定し、試作を行うということが繰り返されるため、開発コストが嵩みがちである。このため、より効率的にゴム組成物を開発する技術へのニーズが高まっている。
【0019】
ところで、ゴム組成物を顕微鏡により撮像した顕微鏡画像からは、ゴム組成物の構造に関する特徴を抽出し得る。図１は、拡大倍率２万倍でゴム組成物の内部が撮像された走査型電子顕微鏡の画像である。図１の画像では、グレースケールで表された明暗により特定の配合物を判別することができる。例えば、カーボンの凝集体が相対的に暗いエリアとして画像に現れる一方、シリカの凝集体が相対的に明るいエリアとして現れる。すなわち、ゴム組成物が撮像された顕微鏡画像には、フィラー凝集体のサイズや、フィラー凝集体間の距離、フィラーのポリマー相に対する分布（分配）等、ゴム組成物の構造を表現する情報が含まれる。
【0020】
本発明者らは、鋭意検討の結果、画像に表現されるゴム組成物の構造と、ゴム組成物を構成する材料の配合を表す配合データとの相関を推定する技術を発明するに至った。より具体的には、本発明者らは、機械学習モデルを学習させ、ゴム組成物の配合データからはゴム組成物の顕微鏡画像を模擬した画像を生成し、ゴム組成物の顕微鏡画像からはゴム組成物の配合データを推定することを想到した。以下、本発明の一実施形態に係る画像生成装置、ゴム組成物の配合推定装置及び学習装置について説明する。
【0021】
[Ａ．第１実施形態]
＜２－１．学習装置＞
本開示の第１実施形態に係る学習装置１は、条件付き画像生成モデルの１つであるＡＣ－ＧＡＮ（auxiliary classifier generative adversarial network）を学習させる装置である。図２は、本実施形態に係る機械学習モデルを示す概念図である。ＡＣ－ＧＡＮは、第１機械学習モデル２００及び第２機械学習モデル３００の２つの機械学習モデルを含んでいる。学習装置１は、これらの機械学習モデルを競合的に学習させることにより、ゴム組成物の顕微鏡画像と類似した新しい画像である模擬顕微鏡画像を生成する学習済みモデル２００Ａと、入力された画像からゴム組成物の配合データを推定する学習済みモデル３００Ａとを生成する。生成された学習済みモデル２００Ａは、後述する画像生成装置２（以下、単に「生成装置２」と称することがある）に実装され、生成された学習済みモデル３００Ａは、後述するゴム組成物の配合推定装置３（以下、単に「推定装置３」と称することがある）に実装される。
＜２－１．学習装置＞
本開示の第１実施形態に係る学習装置１は、条件付き画像生成モデルの１つであるＡＣ－ＧＡＮ（auxiliary classifier generative adversarial network）を学習させる装置である。図２は、本実施形態に係る機械学習モデルを示す概念図である。ＡＣ－ＧＡＮは、第１機械学習モデル２００及び第２機械学習モデル３００の２つの機械学習モデルを含んでいる。学習装置１は、これらの機械学習モデルを競合的に学習させることにより、ゴム組成物の顕微鏡画像と類似した新しい画像である模擬顕微鏡画像を生成する学習済みモデル２００Ａと、入力された画像からゴム組成物の配合データを推定する学習済みモデル３００Ａとを生成する。生成された学習済みモデル２００Ａは、後述する画像生成装置２（以下、単に「生成装置２」と称することがある）に実装され、生成された学習済みモデル３００Ａは、後述するゴム組成物の配合推定装置３（以下、単に「推定装置３」と称することがある）に実装される。
【0022】
図３は、学習装置１の電気的構成を示すブロック図である。本実施形態の学習装置１は、ハードウェアとしては汎用のコンピュータである。学習装置１は、記憶部１０、制御部１１、通信インターフェース１２、外部インターフェース１３、入力装置１４及び出力装置１５を備えている。これらの部１０～１５は、互いにバス線を介して接続されており、相互に通信可能である。
【0023】
記憶部１０は、ハードディスクやフラッシュメモリ等の不揮発性の記憶装置から構成されており、ＡＣ－ＧＡＮを学習させるために用意された学習用データ１００が格納される。また、記憶部１０には、ＡＣ－ＧＡＮを学習させるための学習プログラム１０１が格納されている。学習用データ１００及び学習プログラム１０１は、ＵＳＢメモリ等の記憶媒体７や、学習装置１が接続されるネットワーク８等から取得され得る。さらに、記憶部１０には、ＡＣ－ＧＡＮの学習を行う過程で更新される、第１機械学習モデル２００及び第２機械学習モデル３００のパラメータ１０２が保存される。
【0024】
制御部１１は、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）等のプロセッサ、ＲＡＭ（Random Access Memory）及びＲＯＭ（Read only memory）等から構成されている。なお、学習プログラム１０１は、ＲＯＭに格納されていてもよい。制御部１１は、記憶部１０から学習プログラム１０１を読み出して実行することにより、学習処理部１１１及び保存処理部１１２として動作する。学習処理部１１１及び保存処理部１１２の動作は、後述する。
【0025】
通信インターフェース１２は、例えば、有線ＬＡＮモジュール、無線ＬＡＮモジュール等から構成されている。通信インターフェース１２は、外部装置とネットワーク８を介した有線又は無線によるデータ通信を行うためのインターフェースである。外部インターフェース１３は、例えばＵＳＢ（Universal Serial Bus）ポートや専用ポートから構成されている。外部インターフェース１３は、外部装置と通信可能な接続を構築するためのインターフェースである。
【0026】
入力装置１４は、マウスやキーボード、音声マイク、操作ボタン等から構成されている。入力装置１４は、制御部１１に対するユーザからの操作を受け付ける。出力装置１５は、ディスプレイ、スピーカ等から構成されており、情報を出力する。入力装置１４及び出力装置１５は、タッチパネルディスプレイ等により一体的に構成されていてもよい。
【0027】
【0028】
学習用データ１００は、サンプルとして実在するゴム組成物に由来するデータである。より具体的には、学習用データ１００は、ゴム組成物を顕微鏡により撮像した顕微鏡画像と、ゴム組成物の材料の配合割合を表す配合データとが組み合わされた多数のデータセットである。顕微鏡画像は、サンプルとなるゴム組成物を顕微鏡で撮像した画像であり、倍率や、電子顕微鏡のモードといった撮像条件は、各サンプルで共通である。ｉ番目の訓練用サンプル（ｉ＝１，２，…，Ｎimage；Ｎimageは訓練用サンプル数）の顕微鏡画像を
とする。本実施形態では、顕微鏡画像として、各顕微鏡画像をＨ×Ｗに予め分割した、パッチ
を用いる。つまり、１種類のサンプルにつき、複数のパッチが取得される。取得された複数のパッチについて、パッチの特徴を示す、特徴量が従う確率分布をｐdataと定義する。
【数1】
【数2】
【0029】
顕微鏡は、本実施形態では走査型電子顕微鏡（ＳＥＭ）である。しかし、顕微鏡はこれに限定されず、その他の種類の電子顕微鏡（ＴＥＭ、ＳＴＥＭ等）及び光学顕微鏡等から適宜選択することができる。また、顕微鏡の分解能の例として、好ましくは１３５ｎｍ／ｐｉｘｅｌ（１画素当たりの撮像される対象物の長さ）の範囲が挙げられる。さらに、ゴム組成物を撮像する拡大倍率の例として、好ましくは２５００～４００００倍の範囲が挙げられる。顕微鏡により撮像されるゴム組成物の部位は特に限定されないが、外部空間との境界となる表面の部位よりは、内側の部位であることが好ましい。
【0030】
配合データは、１種類のサンプルにつき、１通りが存在する。配合データは、例えばモノマー、フィラー及びその他の添加物といった、Ｎcom種類の材料に対する割合を表すデータである。配合データの割合を要素に持つ配合ベクトルを、
とする。ただし、各要素の取り得る値は[０，１]である。
【数3】
【0031】
図４は、第２機械学習モデル３００の学習処理の流れを示すフローチャートである。本実施形態の学習処理部１１１は、まず第１機械学習モデル２００のパラメータを一定にした状態で、第２機械学習モデル３００の学習を行う。学習プログラム１０１がユーザの指示により実行され、ユーザによる学習開始の指示が入力装置１４を介して受け付けられると、図４に示す学習処理がスタートする。
【0032】
ステップＳ１では、学習処理部１１１が配合ベクトルｙfakeとともに、一様分布ｐzに従う乱数ベクトルｚを第１機械学習モデル２００に入力する。乱数ベクトルｚは、乱数から発生させたデータ、つまりノイズを要素に有するベクトルである。乱数は、学習処理部１１１がその都度生成してもよいし、学習プログラム１０１以外のプログラムにより生成されたものを学習処理部１１１が取得してもよい。配合ベクトルｙfakeは、第１機械学習モデル２００を条件付けするために入力される。配合ベクトルｙfakeは、配合ベクトルｙiと同様の次元、及び各要素の取り得る値の範囲を有するベクトルである。本実施形態のステップＳ１では、配合ベクトルｙfakeとして学習用データ１００に由来する配合ベクトルｙiが入力されるが、学習用データ１００に由来しないベクトルも配合ベクトルｙfakeとして入力され得る。
【0033】
第１機械学習モデル２００は、配合ベクトルｙfake及び乱数ベクトルｚが入力されると、これらを特徴量とする画像を生成するように構成されるモデルであって、機械学習により更新されるパラメータを含んでいる。本実施形態では、第１機械学習モデル２００は、ニューラルネットワークであり、各ニューロン間の結合の重み、各ニューロンの閾値等が上述のパラメータに該当する。第１機械学習モデル２００は、入力された配合ベクトルｙfake及び乱数ベクトルｚを用いて、データ空間への写像
を生成し、出力する。これは、顕微鏡画像を模擬する模擬顕微鏡画像である。本実施形態では、１つの配合ベクトルｙfake及び乱数ベクトルｚの組合せから、Ｈ×Ｗ枚の模擬顕微鏡画像（パッチ）が生成される。生成する模擬顕微鏡画像（パッチ）の枚数は、適宜選択されてよい。
【数4】
【0034】
ステップＳ２では、学習処理部１１１が
のいずれかを第２機械学習モデル３００に入力する。つまり、学習処理部１１１は、１回のステップＳ２につき、顕微鏡画像及び模擬顕微鏡画像のいずれかのパッチ群をランダムに選択し、選択したパッチ群を第２機械学習モデル３００に入力する。ステップＳ２では、学習処理部１１１は、入力したパッチ群が顕微鏡画像（real）であるか模擬顕微鏡画像（fake）であるかを認識しているが、「real」であるか「fake」であるかの正解は、第２機械学習モデル３００に与えない。
【数5】
【0035】
第２機械学習モデル３００は、画像が入力されると、入力された画像が学習データに由来するもの（real）か否（fake）かの識別結果を出力するように構成されるモデルであって、機械学習により更新されるパラメータを含んでいる。なお、第２機械学習モデル３００が出力する識別結果は、「real」であるか「fake」であるかを表す確率であってもよいし、この確率に基づいて判定される「real」であるか「fake」であるかを表すデータであってもよい。本実施形態では、第２機械学習モデル３００は、ニューラルネットワークであり、各ニューロン間の結合の重み、各ニューロンの閾値等が上述のパラメータに該当する。本実施形態の第２機械学習モデル３００は、入力されたパッチ群に対し、各パッチが「real」であるか「fake」であるかを表す確率を出力する。また、本実施形態の第２機械学習モデル３００は、パッチ群の特徴量から、入力された画像の配合データとして推定されるデータを識別結果と同時に出力するように構成される。具体的には、第２機械学習モデル３００は、画像が入力されると、
を出力する。ただし、確率分布Ｄ（Ｓ|Ｐ）は入力された画像（パッチＰ）が学習用データ１００のパッチＰj
iであるか否かを表す確率分布であり、
である。また、配合ベクトルｙpred（Ｐ）は、配合データとして推定される値を要素に有するベクトルである。
【数6】
【数7】
【0036】
ステップＳ３では、学習処理部１１１が、出力された識別結果及びy#pred（Ｐ）と、入力が「real」であるか「fake」であるかの正解及び学習用データ１００に含まれる配合データとをそれぞれ照合し、第２機械学習モデル３００のパラメータを調整する。より具体的には、学習処理部１１１は、第２機械学習モデル３００の出力する識別結果の正解確率が高くなると同時に、第２機械学習モデル３００の出力するデータと学習用データ１００に含まれる配合データとの差が小さくなるように第２機械学習モデル３００のパラメータを調整する。本実施形態では、学習処理部１１１は、以下の式（１）及び（２）で表される損失関数ＬC及び損失関数ＬSの和（－ＬC＋ＬS）が最大となるように第２機械学習モデル３００のパラメータを調整する。
（１）
（２）
ただし、式（１）（２）における
は、同一の訓練用サンプルの顕微鏡画像のパッチ及び配合ベクトルである。
【数8】
【数9】
ただし、式（１）（２）における
【数10】
【0037】
学習処理部１１１は、ステップＳ４において、第２機械学習モデル３００の学習が完了したか否かを判断する。学習処理部１１１は、ステップＳ１～Ｓ３の繰り返しが所定の回数に到達したら、学習が完了したと判断してもよいし、（－ＬC＋ＬS）が目標値に到達したら、学習が完了したと判断してもよい。学習処理部１１１は、学習が完了していないと判断した場合、ステップＳ１～Ｓ３をさらに繰り返す。これにより、学習処理部１１１は、第２機械学習モデル３００のパラメータを最適化していく。保存処理部１１２は、１回の学習が行われ、ステップＳ３で第２機械学習モデル３００のパラメータが調整されるごとに、最新のパラメータをパラメータ１０２として記憶部１０に上書き保存する。
【0038】
学習処理部１１１は、第２機械学習モデル３００の学習が完了したと判断すると、第２機械学習モデル３００の学習処理を終える。続いて、学習処理部１１１は、第２機械学習モデル３００のパラメータを一定にした状態で第１機械学習モデル２００の学習をスタートする。図５は、第１機械学習モデル２００の学習処理の流れを示すフローチャートである。このときの第２機械学習モデル３００のパラメータとしては、直近の第２機械学習モデル３００の学習において、最適化されたパラメータを使用することができる。
【0039】
ステップＳ２１では、学習処理部１１１は、配合ベクトルｙfakeとともに乱数ベクトルｚを第１機械学習モデル２００に入力し、出力として模擬顕微鏡画像
を生成させる。本実施形態のステップＳ２１では、配合ベクトルｙfakeとして学習用データ１００に由来する配合ベクトルｙiが入力されるが、学習用データ１００に由来しないベクトルも配合ベクトルｙfakeとして入力され得る。
【数11】
【0040】
ステップＳ２２では、学習処理部１１１が、ステップＳ２１で生成された模擬顕微鏡画像を第２機械学習モデル３００に入力する。第２機械学習モデル３００は、この入力に対し、確率分布Ｄ（Ｓ|Ｐ）及び配合ベクトルｙpred（Ｐ）を出力する。
【0041】
ステップＳ２３では、学習処理部１１１は、第２機械学習モデル３００の識別結果の正解確率が低くなると同時に、配合ベクトルｙfakeと配合ベクトルｙpred（Ｐ）との差が小さくなるように第１機械学習モデル２００のパラメータを調整する。つまり、学習処理部１１１は、模擬顕微鏡画像がより顕微鏡画像により類似し、第２機械学習モデル３００が模擬顕微鏡画像を本来の顕微鏡画像と認識しやすくなるように第１機械学習モデル２００を学習させる。併せて、模擬顕微鏡画像から第２機械学習モデル３００によって推定される配合データが、より本来の配合データに近くなるように第１機械学習モデル２００のパラメータを調整する。本実施形態では、学習処理部１１１は、－（ＬC＋ＬS）が最大となるように第１機械学習モデル２００のパラメータを調整する。
【0042】
学習処理部１１１は、ステップＳ２４において、第１機械学習モデル２００の学習が完了したか否かを判断する。学習処理部１１１は、ステップＳ２１～Ｓ２３の繰り返しが所定の回数に到達したら、学習が完了したと判断してもよいし、－（ＬC＋ＬS）が目標値に到達したら、学習が完了したと判断してもよい。学習処理部１１１は、学習が完了していないと判断した場合、ステップＳ２１～Ｓ２３をさらに繰り返す。これにより、学習処理部１１１は、第１機械学習モデル２００のパラメータを最適化していく。保存処理部１１２は、ステップＳ２３で第１機械学習モデル２００のパラメータが調整されるごとに、最新のパラメータをパラメータ１０２として記憶部１０に上書き保存する。
【0043】
学習処理部１１１は、ステップＳ２４において、第１機械学習モデル２００の学習が完了したと判断すると、第１機械学習モデル２００の学習処理を終える。続いて、上述した第２機械学習モデル３００の学習を再び開始する。このようにして、学習処理部１１１は、第２機械学習モデル３００の学習と第１機械学習モデル２００の学習とを交互に繰り返す。学習を繰り返す回数は、所定の回数であってよい。このようにすることで、配合データを入力すると、これと対を為す模擬顕微鏡画像を出力する学習済みモデル２００Ａが得られる。また、顕微鏡画像又は模擬顕微鏡画像を入力すると、それが顕微鏡画像であるか否かの識別結果を出力するとともに、入力された画像と対を為す配合データを推定するデータを出力する学習済みモデル３００Ａが得られる。
【0044】
＜２－３．画像生成装置＞
以下、学習済みモデル２００Ａを利用した生成装置２の構成と、生成装置２が行う処理について説明する。図６は画像生成装置２の電気的構成を示すブロック図である。本実施形態の生成装置２は、ハードウェアとしては汎用のコンピュータである。生成装置２は、記憶部２０、制御部２１、通信インターフェース２２、外部インターフェース２３、入力装置２４及び出力装置２５を備えている。これらの部２０～２５は、互いにバス線を介して接続されており、相互に通信可能である。
以下、学習済みモデル２００Ａを利用した生成装置２の構成と、生成装置２が行う処理について説明する。図６は画像生成装置２の電気的構成を示すブロック図である。本実施形態の生成装置２は、ハードウェアとしては汎用のコンピュータである。生成装置２は、記憶部２０、制御部２１、通信インターフェース２２、外部インターフェース２３、入力装置２４及び出力装置２５を備えている。これらの部２０～２５は、互いにバス線を介して接続されており、相互に通信可能である。
【0045】
記憶部２０は、ハードディスクやフラッシュメモリ等の不揮発性の記憶装置から構成されており、生成装置２を動作させるためのプログラム２０１が格納されている。プログラム２０１には、学習装置１により学習されたパラメータを含む、学習済みモデル２００Ａが含まれる。プログラム２０１は、ＵＳＢメモリ等の記憶媒体７や、ネットワーク８等から取得され得る。
【0046】
制御部２１は、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）等のプロセッサ、ＲＡＭ（Random Access Memory）及びＲＯＭ（Read only memory）等から構成されている。なお、プログラム２０１は、ＲＯＭに格納されていてもよい。制御部２１は、記憶部２０からプログラム２０１を読み出して実行することにより、データ取得部２１０及び画像生成部２１１として動作する。各部の動作は、後述する。
【0047】
通信インターフェース２２は、例えば、有線ＬＡＮモジュール、無線ＬＡＮモジュール等から構成されている。通信インターフェース２２は、外部装置とネットワーク８を介した有線又は無線によるデータ通信を行うためのインターフェースである。外部インターフェース２３は、例えばＵＳＢ（Universal Serial Bus）ポートや専用ポートから構成されている。外部インターフェース２３は、外部装置と通信可能な接続を構築するためのインターフェースである。
【0048】
入力装置２４は、マウスやキーボード、音声マイク、操作ボタン等から構成されている。入力装置２４は、制御部２１に対するユーザからの操作を受け付ける。出力装置２５は、ディスプレイ、スピーカ等から構成されており、情報を出力する。入力装置２４及び出力装置２５は、タッチパネルディスプレイ等により一体的に構成されていてもよい。
【0049】
図７は、生成装置２が行う画像生成処理の流れを示すフローチャートである。生成装置２は、入力装置２４を介して、ユーザにより画像生成処理開始の指示を受け付けると、画像生成処理をスタートする。
【0050】
ステップＳ４１では、データ取得部２１０が、ゴム組成物を構成する材料の配合を表す配合データを取得する。配合データは、所定の種類の材料について、それぞれの配合割合を[０，１]の範囲で表すデータであり、ベクトルとしても扱うことができる。配合データは、記憶媒体７を介して取得されてもよいし、ネットワーク８を介して取得されてもよいし、通信可能に接続された外部装置から直接取得されてもよい。
【0051】
続くステップＳ４２では、画像生成部２１１が、取得した配合データを、ノイズを表す乱数ベクトルとともに学習済みモデル２００Ａに入力する。一様分布に従うこの乱数ベクトルは、画像生成部２１１がその都度生成してもよいし、プログラム２０１以外のプログラムにより生成されたものを画像生成部２１１がその都度取得してもよい。学習済みモデル２００Ａは、配合データを配合ベクトルと捉え、乱数ベクトルとともにデータ空間へ写像する。その結果、ステップＳ４３では、ゴム組成物を顕微鏡により撮像した顕微鏡画像を模擬する、模擬顕微鏡画像が出力される。
【0052】
出力された画像は、例えば配合データが予め判明しているゴム組成物の構造を予測するのに利用することができる。また、出力された画像は、例えばゴム組成物の顕微鏡画像に基づいて、ゴム組成物の特性を推定する機械学習モデルを学習させるためのデータとして利用することができる。さらに、出力された画像は、例えばゴム組成物の構造の経年変化を予測するのに利用し得る。例えば、製造からの経過時間ごとのゴム組成物の顕微鏡画像が利用できる場合、これを利用して、異なる経過時間ごとに複数の学習用データ１００を用意し、それぞれを学習装置１によって学習させ、学習済みモデル２００Ａを複数生成する。こうして作成された複数の学習済みモデル２００Ａは、それぞれ、所定の経過時間に対応した模擬顕微鏡画像を出力する。
【0053】
＜２－４．推定装置＞
以下、学習済みモデル３００Ａを利用したゴム組成物の推定装置３の構成と、推定装置３が行う処理について説明する。図８は推定装置３の電気的構成を示すブロック図である。本実施形態の推定装置３は、ハードウェアとしては汎用のコンピュータである。推定装置３は、記憶部３０、制御部３１、通信インターフェース３２、外部インターフェース３３、入力装置３４及び出力装置３５を備えている。これらの部３０～３５は、互いにバス線を介して接続されており、相互に通信可能である。
以下、学習済みモデル３００Ａを利用したゴム組成物の推定装置３の構成と、推定装置３が行う処理について説明する。図８は推定装置３の電気的構成を示すブロック図である。本実施形態の推定装置３は、ハードウェアとしては汎用のコンピュータである。推定装置３は、記憶部３０、制御部３１、通信インターフェース３２、外部インターフェース３３、入力装置３４及び出力装置３５を備えている。これらの部３０～３５は、互いにバス線を介して接続されており、相互に通信可能である。
【0054】
記憶部３０は、ハードディスクやフラッシュメモリ等の不揮発性の記憶装置から構成されており、推定装置３を動作させるためのプログラム３０１が格納されている。プログラム３０１には、学習装置１により学習されたパラメータを含む、学習済みモデル３００Ａが含まれる。プログラム３０１は、ＵＳＢメモリ等の記憶媒体７や、ネットワーク８等から取得され得る。
【0055】
制御部３１は、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）等のプロセッサ、ＲＡＭ（Random Access Memory）及びＲＯＭ（Read only memory）等から構成されている。なお、プログラム３０１は、ＲＯＭに格納されていてもよい。制御部３１は、記憶部３０からプログラム３０１を読み出して実行することにより、画像取得部３１０及び配合推定部３１１として動作する。各部の動作は、後述する。
【0056】
通信インターフェース３２は、例えば、有線ＬＡＮモジュール、無線ＬＡＮモジュール等から構成されている。通信インターフェース３２は、外部装置とネットワーク８を介した有線又は無線によるデータ通信を行うためのインターフェースである。外部インターフェース３３は、例えばＵＳＢ（Universal Serial Bus）ポートや専用ポートから構成されている。外部インターフェース３３は、外部装置と通信可能な接続を構築するためのインターフェースである。
【0057】
入力装置３４は、マウスやキーボード、音声マイク、操作ボタン等から構成されている。入力装置３４は、制御部３１に対するユーザからの操作を受け付ける。出力装置３５は、ディスプレイ、スピーカ等から構成されており、情報を出力する。入力装置３４及び出力装置３５は、タッチパネルディスプレイ等により一体的に構成されていてもよい。
【0058】
図９は、推定装置３が行う配合推定処理の流れを示すフローチャートである。推定装置３は、入力装置３４を介して、ユーザにより配合推定処理開始の指示を受け付けると、配合推定処理をスタートする。
【0059】
ステップＳ５１では、画像取得部３１０が、学習済みモデル３００Ａに入力される入力画像を取得する。入力画像は、ゴム組成物を顕微鏡により撮像した顕微鏡画像であってもよいし、顕微鏡画像に類似する画像、例えば顕微鏡画像を模擬する模擬顕微鏡画像であってもよい。入力は、記憶媒体７を介して取得されてもよいし、ネットワーク８を介して取得されてもよいし、通信可能に接続された外部装置から直接取得されてもよい。入力画像が顕微鏡画像であれば、例えば推定装置３とデータ通信可能に接続された顕微鏡から、その撮像画像を推定装置３に取り込んでもよい。
【0060】
続くステップＳ５２では、配合推定部３１１が、取得した入力画像を学習済みモデル３００Ａに入力する。ステップＳ５３では、学習済みモデル３００Ａが、入力画像に基づいて、ゴム組成物を構成する材料の配合を推定する。つまり、学習済みモデル３００Ａは、入力画像と対を為す配合データを出力する。
【0061】
推定装置３により出力される配合データは、例えばそれを構成する材料及びその配合が不明である、ゴム組成物の材料及び配合を推定するのに使用することができる。
【0062】
[Ｂ．第２実施形態]
＜３－１．学習装置＞
以下、図１０～図１４を参照しつつ、本開示の第２実施形態に係る学習装置１Ａについて説明する。図１０は、学習装置１Ａの電気的構成を表すブロック図である。第１実施形態に係る学習装置１は、ＡＣ－ＧＡＮによる機械学習モデルを学習させるように構成されたが、本実施形態に係る学習装置１Ａは、条件付き画像生成モデルの１つである「Conditional Style Generative Adversarial Network：StyleGAN」による機械学習モデルを学習させるように構成される。このため、学習装置１Ａは、ハードウェアとしては学習装置１と同様の構成を有する汎用のパーソナルコンピュータであるが、記憶部１０に格納される学習プログラム１０１Ａ及びパラメータ１０２Ａが学習装置１とは異なっている。学習プログラム１０１Ａには、本実施形態に係る機械学習モデル（ＳｔｙｌｅＧＡＮ）が組み込まれ、その学習の結果に応じてパラメータ１０２Ａが更新され、記憶部１０に保存される。以下の説明では、学習装置１と共通する構成については共通の符号を付して説明を省略し、学習装置１とは相違する学習装置１Ａの構成、つまり機械学習モデルの構成と、その学習処理について説明する。
＜３－１．学習装置＞
以下、図１０～図１４を参照しつつ、本開示の第２実施形態に係る学習装置１Ａについて説明する。図１０は、学習装置１Ａの電気的構成を表すブロック図である。第１実施形態に係る学習装置１は、ＡＣ－ＧＡＮによる機械学習モデルを学習させるように構成されたが、本実施形態に係る学習装置１Ａは、条件付き画像生成モデルの１つである「Conditional Style Generative Adversarial Network：StyleGAN」による機械学習モデルを学習させるように構成される。このため、学習装置１Ａは、ハードウェアとしては学習装置１と同様の構成を有する汎用のパーソナルコンピュータであるが、記憶部１０に格納される学習プログラム１０１Ａ及びパラメータ１０２Ａが学習装置１とは異なっている。学習プログラム１０１Ａには、本実施形態に係る機械学習モデル（ＳｔｙｌｅＧＡＮ）が組み込まれ、その学習の結果に応じてパラメータ１０２Ａが更新され、記憶部１０に保存される。以下の説明では、学習装置１と共通する構成については共通の符号を付して説明を省略し、学習装置１とは相違する学習装置１Ａの構成、つまり機械学習モデルの構成と、その学習処理について説明する。
【0063】
＜３－２．学習処理＞
図１１は、本実施形態に係る機械学習モデルの概略を説明する図である。この機械学習モデルでは、第１実施形態に係る機械学習モデルと同様に、画像を生成する第３機械学習モデル４００と、画像の真偽を識別する第４機械学習モデル５００との競合的な学習が行われる。ただし、ＳｔｙｌｅＧＡＮの学習では、低解像度から中解像度、中解像度から高解像度へと、生成される画像の解像度を段階的に上げるように第３機械学習モデル４００及び第４機械学習モデル５００の学習が行われる。これにより、色等、画像の大まかな情報から、位置や模様といった詳細な情報へと徐々に着目して学習が行えるようになり、最終的に、学習用データの画像との類似度が高い、高解像度の画像を生成することができる。学習済みの第３機械学習モデル４００（以下、「学習済みモデル４００Ａ」と称することがある）は、学習済みモデル２００Ａと同様に、汎用のコンピュータ等に実装されることにより、画像生成装置２Ａ（以下、単に「生成装置２Ａ」と称することがある）を構成することができる。
図１１は、本実施形態に係る機械学習モデルの概略を説明する図である。この機械学習モデルでは、第１実施形態に係る機械学習モデルと同様に、画像を生成する第３機械学習モデル４００と、画像の真偽を識別する第４機械学習モデル５００との競合的な学習が行われる。ただし、ＳｔｙｌｅＧＡＮの学習では、低解像度から中解像度、中解像度から高解像度へと、生成される画像の解像度を段階的に上げるように第３機械学習モデル４００及び第４機械学習モデル５００の学習が行われる。これにより、色等、画像の大まかな情報から、位置や模様といった詳細な情報へと徐々に着目して学習が行えるようになり、最終的に、学習用データの画像との類似度が高い、高解像度の画像を生成することができる。学習済みの第３機械学習モデル４００（以下、「学習済みモデル４００Ａ」と称することがある）は、学習済みモデル２００Ａと同様に、汎用のコンピュータ等に実装されることにより、画像生成装置２Ａ（以下、単に「生成装置２Ａ」と称することがある）を構成することができる。
【0064】
【0065】
本実施形態の学習用データ１００Ａは、顕微鏡画像ＸiをＨ×Ｗに予め分割したパッチ
及び、各顕微鏡画像Ｘiに対応する配合ベクトルｙiが組み合わせられたデータから用意される。パッチＰi
jからは、後述する生成ネットワーク４０２によって生成されるべき模擬顕微鏡画像のサイズに合わせて、４×４ピクセルのパッチＰi
j、８×８ピクセルのパッチＰi
j、１６×１６ピクセルのパッチＰi
j…といったサイズごとのパッチＰi
jが生成される。こうして生成された各サイズのパッチＰi
jと、元の配合ベクトルｙiとをそれぞれ組み合わせたものが学習用データ１００Ａである。つまり、学習用データ１００Ａは、顕微鏡画像のサイズごとに用意された、顕微鏡画像と配合ベクトルとのデータセットであると言うことができる。第１実施形態と同様、各パッチの特徴量は、確率分布ｐdataに従う。
【数12】
【0066】
図１２は、本実施形態に係る第３機械学習モデル４００の構成を説明する図である。図１２に示す通り、第３機械学習モデル４００は、射影ネットワーク４０１と、生成ネットワーク４０２とを含む。射影ネットワーク４０１は、入力されたノイズ及びゴムの配合データから、特徴量
を算出して出力する機械学習モデルであり、微分可能な任意の射影であれば特に限定されない。本実施形態の射影ネットワーク４０１は、８層の全結合層を有するニューラルネットワークであり、「マッピングネットワーク」とも称される。射影ネットワーク４０１の各ニューロン間の結合の重み、各ニューロンの閾値等は、更新可能なパラメータ１０２Ａに含まれ、学習によって調整される。特徴量ｗは、「スタイル情報」とも称され、後述する生成ネットワーク４０２によって生成される模擬顕微鏡画像Ｐfake（正確には、模擬顕微鏡画像のパッチ）に反映されるべき画像の性質が表現された特徴量であって、各要素が独立して単一の性質を表現するベクトルである。
【数13】
【0067】
図１３に示す学習処理のステップＳＴ１では、学習処理部１１１が、射影ネットワーク４０１に、学習用データ１００Ａから所定のバッチサイズだけピックアップした配合ベクトルｙfakeと、ノイズとしての乱数ベクトルｚ～Ｎ（μ，σ2）とを入力し、射影ネットワーク４０１からの出力である特徴量ｗを導出する。
【0068】
ステップＳＴ２では、学習処理部１１１が、射影ネットワーク４０１から出力された特徴量ｗを、アフィン変換を用いて２つのパラメータ
に変換する。ｗsはscaleパラメータであり、ｗbはbiasパラメータである。
【数14】
【0069】
ステップＳＴ３では、学習処理部１１１が、パラメータｗs、ｗb及び乱数ベクトルｚmap～Ｎ（μ，σ2）を下式に代入することにより、特徴量ｗAdaを算出する。ただし、式中の「x（ボールド斜体）」は、乱数ベクトルｚmapを後述する学習の各段階における生成ネットワーク４０２に入力して得られる中間特徴出力である。
【数15】
【0070】
ステップＳＴ３で算出される特徴量
は、ＡｄａＩＮ（Ａｄａｐｔｉｖｅ Ｉｎｓｔａｎｃｅ Ｎｏｒｍａｌｉｚａｔｉｏｎ）モジュールに基づいて変換された特徴量である。ＡｄａＩＮモジュールを使用すると、スタイルごとに機械学習モデルを学習させる必要がなくなり、任意のスタイルに対応することができる。つまり、特徴量ｗAdaを用いることにより、学習用データ１００Ａに含まれない配合ベクトルに対しても適切に模擬顕微鏡画像を生成することが可能となる。
【数16】
【0071】
ステップＳＴ４では、学習処理部１１１が、新たなノイズとしての乱数ベクトルｚmap～Ｎ（μ，σ2）及び特徴量ｗAdaを、生成ネットワーク４０２に入力し、生成ネットワーク４０２から模擬顕微鏡画像Ｐfakeを出力する。ここで、生成ネットワーク４０２は、学習が進行するにつれ、同じ乱数ベクトルｚmap～Ｎ（μ，σ2）及び特徴量ｗAdaの入力から、より高い解像度の、つまりより大きなサイズの画像を生成するように構成される。生成ネットワーク４０２は、まず小さいサイズの画像を出力する生成器４０３として構成される。学習により、生成器４０３が学習用データ１００Ａの同サイズの画像により近い画像を出力できるようになると、生成器４０３にさらに機械学習モデルの層が追加され、一段階大きいサイズの画像を出力する生成器４０３となる。この生成器４０３を再び学習させ、学習用データ１００Ａの同サイズの画像により近い画像を出力できるようにする。この手順を繰り返すことにより、高い解像度の画像を生成可能な生成ネットワーク４０２が最終的に生成される。以下、学習の都度追加される層を、「生成層」と称する。
【0072】
生成器４０３は、入力されたデータから、所定の大きさを有する画像を生成して出力する機械学習モデルであれば、その構造は特に限定されない。本実施形態の生成器４０３は、１つまたは複数のアップサンプリング層４０３０を有する。アップサンプリング層４０３０は、転置畳み込みを行うことで、入力されたデータよりもサイズの大きいデータを生成する。転置畳み込み等のパラメータは、パラメータ１０２Ａに含まれ、学習により調整される。
【0073】
乱数ベクトルｚmap及び特徴量ｗAdaは、生成ネットワーク４０２、つまり生成器４０３に入力される。より詳細には、生成器４０３の各アップサンプリング層４０３０で転置畳み込みが行われる都度、乱数ベクトルｚmap及び特徴量ｗAdaが生成器４０３に取り込まれる。つまり、模擬顕微鏡画像Ｐfakeに反映されるべきスタイル情報が、各解像度の画像の生成過程で取り込まれ、各解像度の画像が有する異なる性質の情報を特徴づける。これにより、高い品質の模擬顕微鏡画像Ｐfakeを出力する学習済みモデル４００Ａを生成することが可能となる。
【0074】
以下、生成ネットワーク４０２が最初に４×４の生成器４０３として構成される場合の例を説明する。４×４の生成器４０３は、４×４ピクセルの画像を出力する機械学習モデルである。ステップＳＴ４において、４×４の生成器４０３に乱数ベクトルｚmap及び特徴量ｗAdaが入力されると、４×４の模擬顕微鏡画像Ｐfakeが４×４の生成器４０３から出力される。
【0075】
ステップＳＴ５では、学習処理部１１１が、生成された４×４の模擬顕微鏡画像Ｐfake及び学習用データ１００Ａに含まれる４×４のパッチ画像を第４機械学習モデル５００に入力する。第４機械学習モデル５００は、生成器４０３と対になる識別器５０１として構成される。識別器５０１は、生成器４０３と同様に、学習が進行するにつれて、次第に高い解像度の画像を識別する識別器５０１となる。つまり、図１４に示すように、生成器４０３に生成層が追加され、より大きなサイズの画像を生成する生成器４０３となるに従って、対になる識別器５０１にもより大きなサイズの画像を識別するための層が追加され、最終的には大きなサイズの画像を識別することができる第４機械学習モデル５００となる。従って、ここでは、４×４の生成器４０３と対になる４×４の識別器５０１に、模擬顕微鏡画像Ｐfake及び４×４のパッチ画像が入力される。以下、生成層が追加されるのに連動して識別器５０１に追加される層を、「識別層」と称する。
【0076】
識別器５０１は、入力された画像が、学習用データ１００Ａに由来する画像（真）か生成ネットワーク４０２により生成された画像か（偽）かを判別する結果を出力する機械学習モデルであれば、その構造は特に限定されない。本実施形態の識別器５０１は、確率出力層を含む。４×４の識別器５０１は、入力された画像それぞれについて、特徴量を抽出し、それが学習用データ１００Ａに含まれる画像（真）である確率または尤度を出力する。
【0077】
ステップＳＴ６では、学習処理部１１１が第３機械学習モデル４００または第４機械学習モデル５００のいずれかのパラメータを調整する。ステップＳＴ１～ステップＳＴ６は所定の回数だけ繰り返されるが、学習処理部１１１は、処理がステップＳＴ６に到達するたびに、第３機械学習モデル４００のパラメータの調整または第４機械学習モデル５００のパラメータの調整を、交互に行う。まず、第４機械学習モデル５００のパラメータを固定したまま第３機械学習モデル４００のパラメータが調整される場合について説明する。この場合のステップＳＴ６では、学習処理部１１１が、以下の式で表される損失関数を計算し、その値が最小化されるように射影ネットワーク４０１及び生成器４０３を含む生成ネットワーク４０２のパラメータを最適化する。式中、ｆ(・)は射影ネットワーク４０１を、ｇ(・)は生成ネットワーク４０２を、ｄ(・)は第４機械学習モデル５００を、λは正則化係数をそれぞれ表す。また、ｐzは乱数ベクトルｚが従う一様分布である。
【数17】
【0078】
上記損失関数は、Wasserstein divergenceに基づく損失関数である。Wasserstein divergenceは、第３機械学習モデル４００が出力するデータと、これに対応する学習用データ１００Ａとの差に注目する点では第１実施形態における損失関数と類似しているが、模擬顕微鏡画像Ｐfakeが従う確率分布を動かして、学習用データ１００ＡのパッチＰj
iが従う確率分布に一致させるときのコストを最小化するという考え方に基づく点が異なる。学習に使用する損失関数はこれに限定されないが、Wasserstein divergenceに基づく損失関数を用いることで、ＳｔｙｌｅＧＡＮの学習をより安定的に行うことができる。
【0079】
学習処理部１１１は、上記損失関数の値が最小化されるように、つまり、第３機械学習モデル４００から出力される模擬顕微鏡画像Ｐfakeが従う確率分布と、学習用データ１００ＡのパッチＰj
iが従う確率分布との一致度が高くなるように、第３機械学習モデル４００のパラメータを調整する。これは、第４機械学習モデル５００の識別結果の正解確率が低くなるように、第３機械学習モデル４００のパラメータを調整するとも言い換えることができる。保存処理部１１２は、パラメータ１０２Ａに含まれる第３機械学習モデル４００のパラメータを、調整後のパラメータに更新する。
【0080】
また、第３機械学習モデル４００のパラメータを固定したまま第４機械学習モデル５００のパラメータが調整される場合、ステップＳＴ６では、学習処理部１１１が上述の損失関数の値が最大化されるように第４機械学習モデル５００のパラメータを最適化する。つまり、第４機械学習モデル５００の識別結果の正解確率が高くなるように、第４機械学習モデル５００のパラメータを調整する。保存処理部１１２は、パラメータ１０２Ａに含まれる第４機械学習モデル５００のパラメータを、調整後のパラメータに更新する。
【0081】
ステップＳＴ７では、学習処理部１１１が、現時点における第３機械学習モデル４００及び第４機械学習モデル５００の学習が完了したか否かを判断する。学習が完了したか否かの判断基準は、適宜決定することができる。例えば、生成層と、これと対になる識別層が最後に追加されてから、ステップＳＴ１からステップＳＴ６までが所定の回数だけ繰り返されると、学習を完了したと判断することができる。あるいは、第４機械学習モデル５００の識別結果の正解確率が低い値で収束し、第３機械学習モデル４００から出力される模擬顕微鏡画像Ｐfakeが学習用データ１００ＡのパッチＰj
iに近づいたと判断できる程度になると、学習を完了したと判断することができる。学習が完了していないと判断されると、処理はステップＳＴ１に戻る。
【0082】
ステップＳＴ１に戻ると、学習処理部１１１は、再び学習用データ１００Ａから所定のバッチサイズだけ配合ベクトルｙfakeをピックアップし、さらにステップＳＴ１～ＳＴ６までを繰り返す。
【0083】
ステップＳＴ７で学習が完了したと判断された場合、処理はステップＳＴ８に移行する。ステップＳＴ８では、学習処理部１１１が、生成ネットワーク４０２に新たな生成層を、第４機械学習モデル５００に新たな識別層を、それぞれ追加するか否かを判断する。生成層及び識別層は、生成器４０３、つまり生成ネットワーク４０２の出力する模擬顕微鏡画像Ｐfakeが、所定のサイズに到達するまで追加される。つまり、ステップＳＴ８では、学習処理部１１１が、生成ネットワーク４０２が所定のサイズの模擬顕微鏡画像Ｐfakeを出力可能になったか否かを判断するとも言える。学習処理部１１１が生成層及び識別層を追加すると判断すると、処理はステップＳＴ９に進む。
【0084】
ステップＳＴ９では、学習が完了した生成器４０３に、１段階高い解像度に対応する生成層が追加され、１段階高い解像度の生成器４０３が生成される。例えば、４×４の生成器４０３の学習が完了した後には、４×４の生成器４０３に８×８の模擬顕微鏡画像Ｐfakeを生成する生成層が追加されて、８×８の模擬顕微鏡画像Ｐfakeを出力する８×８の生成器４０３が生成される。また同様に、ステップＳＴ９では、第４機械学習モデル５００に、学習が完了した識別器５０１に、１段階高い解像度に対応する識別層が追加される。例えば、４×４の識別器５０１の学習が完了した後には、８×８の画像の真偽を識別する、８×８の識別層が第４機械学習モデル５００、つまり４×４の識別器５０１に追加される。このように、各解像度に対応する生成器４０３及び識別器５０１が段階的に生成されつつ学習されることにより、最終的にはノイズ及び配合ベクトルを入力すると、所定の解像度の模擬顕微鏡画像Ｐfakeを出力する生成ネットワーク４０２が生成される。このように、段階的に生成層及び識別層を追加し、学習させていくことにより、解像度の高い画像を出力する機械学習モデルの生成が可能になる。
【0085】
一方、ステップＳＴ８で生成層及び識別層がこれ以上追加されなかった場合、学習処理は終了する。これにより、射影ネットワーク４０１及び生成ネットワーク４０２を含む、学習済みモデル４００Ａが生成される。生成ネットワーク４０２は、各アップサンプリング層４０３０にＡｄａＩＮに基づく特徴量ｗAdaが入力される構造となる。つまり、模擬顕微鏡画像Ｐfakeに反映されるべきスタイル情報が各解像度の画像の生成過程に存在するため、ゴムの配合ベクトルの要素を用いた多様なスタイルの操作が可能となる。
【0086】
＜３－３．画像生成装置及び画像生成処理＞
学習済みモデル４００Ａは、これを１つの学習済みモデルとして捉えた場合、ノイズ及び配合データを入力すると、模擬顕微鏡画像を出力するモデルであるということができる。従って、学習済みモデル４００Ａをハードウェアに実装することにより、ノイズ及び配合データを入力すると模擬顕微鏡画像を生成する生成装置２Ａを製造することができる。図１５は、生成装置２Ａの電気的構成を示すブロック図である。生成装置２Ａは、ハードウェアとしては生成装置２や学習装置１、１Ａ等と同様の構成を有する汎用のパーソナルコンピュータであり、記憶部２０には学習済みモデル４００Ａが組み込まれたプログラム２０１Ａが格納されている。生成装置２Ａのその他の構成は、生成装置２や学習装置１、１Ａ等と共通であるため、同様の符号を付して説明を省略する。
学習済みモデル４００Ａは、これを１つの学習済みモデルとして捉えた場合、ノイズ及び配合データを入力すると、模擬顕微鏡画像を出力するモデルであるということができる。従って、学習済みモデル４００Ａをハードウェアに実装することにより、ノイズ及び配合データを入力すると模擬顕微鏡画像を生成する生成装置２Ａを製造することができる。図１５は、生成装置２Ａの電気的構成を示すブロック図である。生成装置２Ａは、ハードウェアとしては生成装置２や学習装置１、１Ａ等と同様の構成を有する汎用のパーソナルコンピュータであり、記憶部２０には学習済みモデル４００Ａが組み込まれたプログラム２０１Ａが格納されている。生成装置２Ａのその他の構成は、生成装置２や学習装置１、１Ａ等と共通であるため、同様の符号を付して説明を省略する。
【0087】
生成装置２Ａに入力されるデータの種類は、生成装置２に入力されるデータの種類と共通である。また、生成装置２Ａから出力されるデータの種類は、生成装置２から出力されるデータの種類と共通である。従って、生成装置２Ａによる画像生成処理の流れは、図７に示すフローチャートと同様である。ただし、学習済みモデル４００Ａは、解像度ごとに模擬顕微鏡画像Ｐfakeを生成する学習済みの生成層を含んでいるということができる。このため、生成装置２Ａは、各生成層で生成されるデータを、各解像度の模擬顕微鏡画像Ｐfakeとしてそれぞれ出力するように構成されてもよい。このように生成装置２Ａを構成することで、ゴム組成物の配合が各解像度における顕微鏡画像の特徴に、どのように影響するかを検討することができる。
＜４．変形例＞
以上、本発明の一実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて、種々の変更が可能である。そして、以下に示す変形例は、適宜組合せが可能である。
＜４．変形例＞
以上、本発明の一実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて、種々の変更が可能である。そして、以下に示す変形例は、適宜組合せが可能である。
【0088】
＜４－１＞
学習装置１は、ＡＣ－ＧＡＮを利用した機械学習ではなく、他の画像生成モデル、例えばＶＡＥ（Variational Autoencoder）を利用した機械学習を行ってもよい。すなわち、学習済みモデル２００Ａ及び学習済みモデル３００Ａは、ＶＡＥの機械学習や、その他の画像生成モデルの機械学習により生成されてもよい。
学習装置１は、ＡＣ－ＧＡＮを利用した機械学習ではなく、他の画像生成モデル、例えばＶＡＥ（Variational Autoencoder）を利用した機械学習を行ってもよい。すなわち、学習済みモデル２００Ａ及び学習済みモデル３００Ａは、ＶＡＥの機械学習や、その他の画像生成モデルの機械学習により生成されてもよい。
【0089】
＜４－２＞
学習装置１の第１機械学習モデル２００の学習では、後述するＫＬ（Kullback-Leibler）ダイバージェンスを利用してもよい。ＫＬダイバージェンスは、確率分布同士の距離を示す尺度であり、[０、∞]の値をとり得る。ＫＬダイバージェンスの値が小さければ小さいほど、それぞれの確率分布に従うデータの類似度が高いと言える。具体的には、第２機械学習モデル３００が、第１機械学習モデル２００の生成する模擬顕微鏡画像と顕微鏡画像とのＫＬダイバージェンスを出力するように構成され、学習処理部１１１が、ＫＬダイバージェンスの値が小さくなるように第１機械学習モデル２００を学習させてもよい。
学習装置１の第１機械学習モデル２００の学習では、後述するＫＬ（Kullback-Leibler）ダイバージェンスを利用してもよい。ＫＬダイバージェンスは、確率分布同士の距離を示す尺度であり、[０、∞]の値をとり得る。ＫＬダイバージェンスの値が小さければ小さいほど、それぞれの確率分布に従うデータの類似度が高いと言える。具体的には、第２機械学習モデル３００が、第１機械学習モデル２００の生成する模擬顕微鏡画像と顕微鏡画像とのＫＬダイバージェンスを出力するように構成され、学習処理部１１１が、ＫＬダイバージェンスの値が小さくなるように第１機械学習モデル２００を学習させてもよい。
【0090】
＜４－３＞
学習装置１、１Ａ、画像生成装置２，２Ａ及び推定装置３は、プロセッサに代えて又はこれに加えて、ＡＳＩＣ（application specific integrated circuit）、ＰＬＤ（programmable logic device）等を備え、演算に利用するように構成されてもよい。また、学習プログラム１０１，１０１Ａ、プログラム２０１，２０１Ａ、及びプログラム３０１は、それぞれステップＳ１～Ｓ４、Ｓ２１～Ｓ２４、Ｓ４１～Ｓ４３及びＳ５１～Ｓ５３をそれぞれがインストールされる装置に実行させるが、これらのプログラムは、少なくとも一部のステップを別のコンピュータやデバイス、インターネットを介して提供されるサービス等に分散して実行させてもよい。
学習装置１、１Ａ、画像生成装置２，２Ａ及び推定装置３は、プロセッサに代えて又はこれに加えて、ＡＳＩＣ（application specific integrated circuit）、ＰＬＤ（programmable logic device）等を備え、演算に利用するように構成されてもよい。また、学習プログラム１０１，１０１Ａ、プログラム２０１，２０１Ａ、及びプログラム３０１は、それぞれステップＳ１～Ｓ４、Ｓ２１～Ｓ２４、Ｓ４１～Ｓ４３及びＳ５１～Ｓ５３をそれぞれがインストールされる装置に実行させるが、これらのプログラムは、少なくとも一部のステップを別のコンピュータやデバイス、インターネットを介して提供されるサービス等に分散して実行させてもよい。
【0091】
＜４－４＞
ステップＳ１～Ｓ４は、ステップＳ２１～Ｓ２４の後に行われてもよい。つまり、学習装置１は、まず第１機械学習モデル２００の学習を行ってから、第２機械学習モデル３００の学習を行うように構成されてもよい。
ステップＳ１～Ｓ４は、ステップＳ２１～Ｓ２４の後に行われてもよい。つまり、学習装置１は、まず第１機械学習モデル２００の学習を行ってから、第２機械学習モデル３００の学習を行うように構成されてもよい。
【実施例】
【0092】
以下、本発明の実施例について説明する。ただし、以下の実施例は、あくまでも本発明の例示に過ぎず、本発明はこれに限定されない。
【0093】
上記第１，第２実施形態と同様の学習装置を用いてそれぞれ学習させた学習済みモデルを用いて、模擬顕微鏡画像（パッチ）を生成した。生成したパッチと、顕微鏡画像のパッチとの類似度を比較した。
【0094】
[実験１－第１実施形態に係る画像生成方法による実験]
＜実験条件＞
配合データが互いに異なる７２サンプルのゴム組成物を用意した。それぞれのゴム組成物を電子顕微鏡画像で撮像し、計１５６枚の顕微鏡画像を取得した。つまり、各サンプルについて、複数の顕微鏡画像が存在した。顕微鏡画像はグレースケールであり、解像度は１５３６×１０２４ピクセルであった。拡大倍率は、２００００倍であった。
＜実験条件＞
配合データが互いに異なる７２サンプルのゴム組成物を用意した。それぞれのゴム組成物を電子顕微鏡画像で撮像し、計１５６枚の顕微鏡画像を取得した。つまり、各サンプルについて、複数の顕微鏡画像が存在した。顕微鏡画像はグレースケールであり、解像度は１５３６×１０２４ピクセルであった。拡大倍率は、２００００倍であった。
【0095】
各顕微鏡画像を１２８×１２８ピクセルのパッチに分割し、１枚の顕微鏡画像につき５２２枚のパッチを生成した。ただし、パッチ分割時のスライド幅は５０ピクセルであった。配合データの材料の種類Ｎcomは、３２とした。つまり、配合ベクトルは３２次元のベクトルであった。
【0096】
学習時のバッチサイズは６４であり、学習回数であるエポック数は５０であった。ＡＣ－ＧＡＮの学習は、深層学習のフレームワークＴｅｎｓｏｒＦｌｏｗを用いて行った。検証方法は、１０分割公差検定を採用した。つまり、ゴム組成物のサンプルを訓練サンプルと評価用サンプルとに分け、訓練サンプルの顕微鏡画像と配合データとのデータセットを学習用データとして用い、評価用サンプルの顕微鏡画像と配合データとのデータセットを検証に用いた。
【0097】
本実験では、評価用サンプルの配合データから模擬顕微鏡画像のパッチを作成し、生成したパッチが評価用サンプルの顕微鏡画像のパッチとどの程度類似しているかを評価した。類似度の評価方法として、以下のようにＫＬダイバージェンスを用いた。ＫＬダイバージェンスは、値が小さいほど画像が類似することを意味する。
（１－１）１枚の顕微鏡画像を上述の方法で分割し、５２２枚のパッチを生成した。
（１－２）学習装置を用いて学習させた、第１機械学習モデルに評価用サンプルの配合データを入力して、５２２枚のパッチを生成した。
（２）（１－１）及び（１－２）で生成した各パッチについて、画像の特徴量を表す特徴量を算出した。特徴量の算出は、公知のデータセットであるＩｍａｇｅＮｅｔによって学習済みの、Ｉｎｃｅｐｔｉｏｎ－ｖ３（Ｇｏｏｇｌｅ社）を用いた。特徴量は、Ｉｎｃｅｐｔｉｏｎ－ｖ３の第３プーリング層から出力される２０４８次元のベクトルとした。
（３）算出された特徴量に対して主成分分析を行い、次元削減を施し、７８次元のベクトルを得た。
（４）顕微鏡画像のパッチの特徴量が従う確率分布Ｓと、模擬顕微鏡画像のパッチの特徴量が従う確率分布ＴのＫＬダイバージェンスＤKL（Ｓ||Ｔ）を以下の式に基づいて算出した。
ただし、式中のｓ（ｘ）及びｔ（ｘ）は、それぞれ確率分布Ｓ及びＴの確率密度関数である。
（１－１）１枚の顕微鏡画像を上述の方法で分割し、５２２枚のパッチを生成した。
（１－２）学習装置を用いて学習させた、第１機械学習モデルに評価用サンプルの配合データを入力して、５２２枚のパッチを生成した。
（２）（１－１）及び（１－２）で生成した各パッチについて、画像の特徴量を表す特徴量を算出した。特徴量の算出は、公知のデータセットであるＩｍａｇｅＮｅｔによって学習済みの、Ｉｎｃｅｐｔｉｏｎ－ｖ３（Ｇｏｏｇｌｅ社）を用いた。特徴量は、Ｉｎｃｅｐｔｉｏｎ－ｖ３の第３プーリング層から出力される２０４８次元のベクトルとした。
（３）算出された特徴量に対して主成分分析を行い、次元削減を施し、７８次元のベクトルを得た。
（４）顕微鏡画像のパッチの特徴量が従う確率分布Ｓと、模擬顕微鏡画像のパッチの特徴量が従う確率分布ＴのＫＬダイバージェンスＤKL（Ｓ||Ｔ）を以下の式に基づいて算出した。
【数18】
【0098】
なお、同一のサンプルで複数枚の顕微鏡画像が存在する場合には、各顕微鏡画像とのＫＬダイバージェンスの平均値を算出した。全サンプルに対するＫＬダイバージェンスを昇順に並べたときの生成目的のサンプル（模擬顕微鏡画像のパッチの元となった配合データを有するサンプル）の順位を用いて評価を行った。
【0099】
＜実験結果＞
図１６は、あるサンプルの顕微鏡画像と、顕微鏡画像から生成されたパッチ（ａ）と、当該サンプルの配合データから生成された模擬顕微鏡画像のパッチ（ｂ）の一例である。図１６に示すように、パッチ（ａ）及びパッチ（ｂ）が定性的に類似していることが確認された。
図１６は、あるサンプルの顕微鏡画像と、顕微鏡画像から生成されたパッチ（ａ）と、当該サンプルの配合データから生成された模擬顕微鏡画像のパッチ（ｂ）の一例である。図１６に示すように、パッチ（ａ）及びパッチ（ｂ）が定性的に類似していることが確認された。
【0100】
図１７は、全７２サンプルに対するＫＬダイバージェンスを昇順に並べたときの生成目的のサンプルの順位のヒストグラムである。図１７により、類似度が上位となるサンプルの数が一番多くなっており、その後、順位が下がるにつれて該当するサンプルの数が減少している。これにより、配合データから当該ゴム組成物の顕微鏡画像に類似する模擬顕微鏡画像が作成可能なことが確認された。平均順位は、１７．５位であった。
【0101】
[実験２－第２実施形態に係る画像生成方法による実験]
＜実験条件＞
配合データが互いに異なる７２サンプルのゴム組成物を用意した。それぞれのゴム組成物を電子顕微鏡画像で撮像し、計１５６枚の顕微鏡画像を取得した。つまり、各サンプルについて、複数の顕微鏡画像が存在した。顕微鏡画像はグレースケールであり、解像度は１５３６×１０２４ピクセルであった。拡大倍率は、２００００倍であった。配合データとこれに対応する顕微鏡画像とが対になった１５６セットのデータセットを分けて、９割をＳｔｙｌｅＧＡＮの学習を行うための訓練サンプルとし、残りの１割を学習検証用の評価用サンプルとした。
＜実験条件＞
配合データが互いに異なる７２サンプルのゴム組成物を用意した。それぞれのゴム組成物を電子顕微鏡画像で撮像し、計１５６枚の顕微鏡画像を取得した。つまり、各サンプルについて、複数の顕微鏡画像が存在した。顕微鏡画像はグレースケールであり、解像度は１５３６×１０２４ピクセルであった。拡大倍率は、２００００倍であった。配合データとこれに対応する顕微鏡画像とが対になった１５６セットのデータセットを分けて、９割をＳｔｙｌｅＧＡＮの学習を行うための訓練サンプルとし、残りの１割を学習検証用の評価用サンプルとした。
【0102】
各顕微鏡画像を２５６×２５６ピクセルのパッチに分割し、１枚の顕微鏡画像につき４１６枚のパッチを生成した。パッチ分割時のスライド幅は５０ピクセルであった。配合データの材料の種類Ｎcomは、３３とした。つまり、配合ベクトルは３３次元のベクトルであった。学習時のバッチサイズは６４であり、学習回数であるエポック数は１００であった。このような条件で第２実施形態に係る第３機械学習モデル及び第４機械学習モデルを学習させ、２５６×２５６ピクセルの模擬顕微鏡画像（以下、「生成パッチ」と称する）を生成する学習済みモデルを生成した。
【0103】
＜評価＞
学習済みモデルにより生成された生成パッチの分布と、評価用サンプルの顕微鏡画像から生成（分割）されたパッチ（以下、「実パッチ」と称する）の分布との類似度を評価した。まず、ｍ（ｍ＝１，２，…，Ｍ；Ｍは評価用サンプルの配合データの種類）番目の配合データに対応する実パッチ及び生成パッチを、ＩｍａｇｅＮｅｔで学習済みのＤｅｎｓｅＮｅｔ１２１に入力して、それぞれのパッチの特徴量を算出した。実パッチについて算出された特徴量の平均及び共分散を、それぞれμr m及びΣr mと定義した。また、生成パッチについても同様に、特徴量の平均及び共分散を、それぞれμg m及びΣg mと定義した。そして、以下の式に従ってFrechet Inception Distance（ＦＩＤPM）を算出した。ＦＩＤPMは、特定の配合データから生成された生成パッチと、その配合データに対応する実パッチとの類似度を表す指標であって、値が小さいほど分布間の類似度が高いことを表す。
学習済みモデルにより生成された生成パッチの分布と、評価用サンプルの顕微鏡画像から生成（分割）されたパッチ（以下、「実パッチ」と称する）の分布との類似度を評価した。まず、ｍ（ｍ＝１，２，…，Ｍ；Ｍは評価用サンプルの配合データの種類）番目の配合データに対応する実パッチ及び生成パッチを、ＩｍａｇｅＮｅｔで学習済みのＤｅｎｓｅＮｅｔ１２１に入力して、それぞれのパッチの特徴量を算出した。実パッチについて算出された特徴量の平均及び共分散を、それぞれμr m及びΣr mと定義した。また、生成パッチについても同様に、特徴量の平均及び共分散を、それぞれμg m及びΣg mと定義した。そして、以下の式に従ってFrechet Inception Distance（ＦＩＤPM）を算出した。ＦＩＤPMは、特定の配合データから生成された生成パッチと、その配合データに対応する実パッチとの類似度を表す指標であって、値が小さいほど分布間の類似度が高いことを表す。
【数19】
【数20】
【0104】
また、比較指標として、以下の式に基づき、ＦＩＤCMを算出した。ＦＩＤCMは、特定の配合データから生成された生成パッチと、特定の配合データを除く配合データに対応する実パッチとの類似度を表す指標であり、値が小さいほど分布間の類似度が高いことを表す。
【数21】
【数22】
【0105】
それぞれを算出すると、ＦＩＤPM＝１８１．９、ＦＩＤCM＝２３３．６となり、ＦＩＤPMがＦＩＤCMよりも小さい値となった。このことは、特定の配合データに基づいて生成された生成パッチと当該配合データに対応する実パッチとの類似度が、当該生成パッチと当該配合データ以外の配合データに対応する実パッチとの類似度よりも全般的に高いことを示す。これにより、第２実施形態に係る学習済みモデルにより配合データを表現したパッチを生成可能であることが確認された。
【0106】
＜参考１＞
参考として、２５６×２５６の生成パッチと、元の配合データに対応する顕微鏡画像とを比較する画像を図１８に示す。ゴム組成物Ａ及びゴム組成物Ｂは、それぞれ異なる配合データを有するゴム組成物である。ゴム組成物Ａの顕微鏡画像とゴム組成物Ｂの顕微鏡画像とを比較すると、ゴム組成物Ａの顕微鏡画像がより暗く、ゴム組成物Ｂの顕微鏡画像がより明るい。同様に、ゴム組成物Ａの配合データから生成された生成パッチと、ゴム組成物Ｂの配合データから生成された生成パッチとを比較すると、ゴム組成物Ａの配合データから生成された生成パッチの方がより暗くなっている。つまり、生成パッチには元の顕微鏡画像に現れる特徴が反映されていることが確認できる。
参考として、２５６×２５６の生成パッチと、元の配合データに対応する顕微鏡画像とを比較する画像を図１８に示す。ゴム組成物Ａ及びゴム組成物Ｂは、それぞれ異なる配合データを有するゴム組成物である。ゴム組成物Ａの顕微鏡画像とゴム組成物Ｂの顕微鏡画像とを比較すると、ゴム組成物Ａの顕微鏡画像がより暗く、ゴム組成物Ｂの顕微鏡画像がより明るい。同様に、ゴム組成物Ａの配合データから生成された生成パッチと、ゴム組成物Ｂの配合データから生成された生成パッチとを比較すると、ゴム組成物Ａの配合データから生成された生成パッチの方がより暗くなっている。つまり、生成パッチには元の顕微鏡画像に現れる特徴が反映されていることが確認できる。
【0107】
＜参考２＞
また別の参考として、ゴム組成物の材料のうち、特定の２種類のポリマーの配合割合を段階的に変化させた配合データを作成した。これらの配合データを学習済みモデルにそれぞれ入力し、２５６×２５６の生成パッチを出力した。それぞれの生成パッチを図１９に示す。図１９から分かるように、ポリマーの配合割合に応じて、生成パッチに現れる特徴が変化していることが分かる。
また別の参考として、ゴム組成物の材料のうち、特定の２種類のポリマーの配合割合を段階的に変化させた配合データを作成した。これらの配合データを学習済みモデルにそれぞれ入力し、２５６×２５６の生成パッチを出力した。それぞれの生成パッチを図１９に示す。図１９から分かるように、ポリマーの配合割合に応じて、生成パッチに現れる特徴が変化していることが分かる。
【符号の説明】
【0108】
１，１Ａ 学習装置
２，２Ａ 画像生成装置
３ 配合推定装置
１０ 記憶部
１００，１００Ａ 学習用データ
１１１ 学習処理部
２００ 第１機械学習モデル
２１０ データ取得部
２１１ 画像生成部
３００ 第２機械学習モデル
３１０ 画像取得部
３１１ 配合推定部
４００ 第３機械学習モデル
５００ 第４機械学習モデル
２，２Ａ 画像生成装置
３ 配合推定装置
１０ 記憶部
１００，１００Ａ 学習用データ
１１１ 学習処理部
２００ 第１機械学習モデル
２１０ データ取得部
２１１ 画像生成部
３００ 第２機械学習モデル
３１０ 画像取得部
３１１ 配合推定部
４００ 第３機械学習モデル
５００ 第４機械学習モデル
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
