(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-11-13
(45)【発行日】2023-11-21
(54)【発明の名称】予測モデル作成方法、予測方法、予測モデル作成装置、予測装置、予測モデル作成プログラム、予測プログラム
(51)【国際特許分類】
G06N 20/00 20190101AFI20231114BHJP
【FI】
G06N20/00
(21)【出願番号】P 2023524840
(86)(22)【出願日】2022-09-12
(86)【国際出願番号】 JP2022034047
(87)【国際公開番号】W WO2023053918
(87)【国際公開日】2023-04-06
【審査請求日】2023-05-16
(31)【優先権主張番号】P 2021159474
(32)【優先日】2021-09-29
(33)【優先権主張国・地域又は機関】JP
【早期審査対象出願】
(73)【特許権者】
【識別番号】000004455
【氏名又は名称】株式会社レゾナック
(74)【代理人】
【識別番号】100107766
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【氏名又は名称】伊東 忠彦
(72)【発明者】
【氏名】角田 皓亮
(72)【発明者】
【氏名】竹本 真平
(72)【発明者】
【氏名】高 仁子
(72)【発明者】
【氏名】奥野 好成
【審査官】渡辺 順哉
(56)【参考文献】
【文献】国際公開第2020/261449(WO,A1)
【文献】特開2004-086896(JP,A)
【文献】特表2020-533700(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06F 18/23
G06N 3/00-99/00
(57)【特許請求の範囲】
【請求項1】
コンピュータが実行する、材料特性の予測モデル作成方法であって、
学習用データセットを取得するステップと、
前記学習用データセットとクラスタリングモデルを用いて、学習済みクラスタリングモデルを生成するとともに、前記学習用データセットをN個のクラスターに分類するステップと、
前記各クラスターの重心間の距離を算出するステップと、
前記クラスターの重心間の距離と前記学習用データセットの特徴を表すパラメータとを用いて、前記クラスター間の重みを算出するステップと、
前記クラスターごとに、クラスターと前記重みを用いて学習済み予測モデル{M
i}
1≦i≦Nを生成するステップと、を有することを特徴とする材料特性の予測モデル作成方法。
【請求項2】
請求項1に記載の予測モデル作成方法に引き続いて行う材料特性の予測方法であって、
予測用データを取得するステップと、
前記学習済みクラスタリングモデルを用いて、前記予測用データがN個に分類された学習用データセットクラスターのうちクラスターpに属することを特定するステップと、
前記予測用データを入力として、前記クラスターpに対応する学習済み予測モデルM
pを用いて予測値を求めるステップと、を有することを特徴とする材料特性の予測方法。
【請求項3】
請求項1に記載の材料特性の予測モデル作成方法であって、
請求項1に記載のクラスタリングモデルを構築するステップにおいて、K-means法、Nearest Neighbor法、階層的クラスタリング法、混合ガウス法、DBSCAN法、t-SNE法、自己組織化マップ法のうち、いずれか1つまたは複数のクラスタリング手法を用いることを特徴とする材料特性の予測モデル作成方法。
【請求項4】
請求項1に記載の材料特性の予測モデル作成方法であって、
請求項1に記載のクラスターの重心間の距離を算出するステップにおいて、ユークリッド距離法、マンハッタン距離法、マハラノビス距離法、ミンコフスキー距離法、コサイン距離法、最短距離法、最長距離法、重心法、群平均法、ward法、Kullback-Leiblerダイバージェンス、Jensen―Shannonダイバージェンス、Dynamic time warping、Earth mover's distanceのうち、いずれか1つまたは複数の組合せを用いて距離を算出することを特徴とする材料特性の予測モデル作成方法。
【請求項5】
請求項1に記載の材料特性の予測モデル作成方法であって、
前記学習用データセットの特徴を表すパラメータとして、前記学習用データセットの特性値に係る系統誤差、標準偏差、分散、変動係数、分位数、尖度、歪度のうち、いずれか1つまたは複数のパラメータを用いることを特徴とする材料特性の予測モデル作成方法。
【請求項6】
請求項1に記載の材料特性の予測モデル作成方法であって、
前記重みを算出するステップにおいて、指数関数型、逆数型、逆数の累乗型のうち、いずれか1つまたは複数の重み関数を用いることを特徴とする材料特性の予測モデル作成方法。
【請求項7】
材料特性の予測モデル作成装置であって、
学習用データセットが入力されることで、学習済みクラスタリングモデルを生成するとともに、前記学習用データセットをN個のクラスターに分類するクラスタリングモデルと、
分類された前記各クラスターの重心間の距離を算出し、算出された各クラスターの重心間の距離と前記学習用データセットの特徴を表すパラメータとを用いて、前記各クラスター間の重みを算出する重み定義部と、
前記クラスターごとに、クラスターと前記重みを用いて学習済み予測モデルを生成する予測モデル{M
i}
1≦i≦Nと、を有することを特徴とする予測モデル作成装置。
【請求項8】
材料特性の予測装置であって、
予測用データが入力されることで、前記予測用データがN個に分類されたクラスターのうちクラスターpに属することを特定する、請求項7に記載の予測モデル作成装置により作成された学習済みクラスタリングモデルと、
特定された前記クラスターpに対応し、予測用データを入力として予測値を求める、請求項7に記載の予測モデル作成装置により作成された学習済み予測モデルM
pと、
求められた予測値を出力する出力部と、を有することを特徴とする材料特性の予測装置。
【請求項9】
材料特性の予測モデル作成プログラムであって、
学習用データセットを取得する工程と、
前記学習用データセットとクラスタリングモデルを用いて、学習済みクラスタリングモデルを生成するとともに、前記学習用データセットをN個のクラスターに分類する工程と、
前記各クラスターの重心間の距離を算出する工程と、
前記クラスターの重心間の距離と前記学習用データセットの特徴を表すパラメータを用いて、前記クラスター間の重みを算出する工程と、
前記クラスターごとに、クラスターと前記重みを用いて学習済み予測モデル{M
i}
1≦i≦Nを生成する工程と、をコンピュータに実行させるための予測モデル作成プログラム。
【請求項10】
材料特性の予測プログラムであって、
予測用データを取得する工程と、
請求項9に記載の予測モデル作成プログラムにより作成された学習済みクラスタリングモデルを用いて、前記予測用データがN個に分類された学習用データセットクラスターのうちクラスターpに属することを特定する工程と、
前記予測用データを入力として、特定された前記クラスターpに対応し、請求項9に記載の予測モデルM
pを用いて予測値を求める工程と、をコンピュータに実行させるための予測プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本願は、日本特許庁に2021年9月29日に出願された基礎出願2021-159474号の優先権を主張するものであり、その全内容を参照によりここに援用する。
【0002】
本開示は、クラスタリングと重みを考慮した予測モデル作成方法、予測方法、予測モデル作成装置、予測装置、予測モデル作成プログラム、予測プログラムに関する。
【背景技術】
【0003】
従来より、材料の設計は、材料開発者の経験に基づく試作を繰り返すことにより行われてきた。この場合、望ましい特性を得るために膨大な実験を行うことになる。そこで、近年、材料の設計において、機械学習を適用する試みがなされている。例えば、試作時の設計条件と、試作した材料の評価結果(材料の特性値等)とを収集し、学習用データセットとしてモデルの学習を行い、得られた学習済みモデルを用いて新たな設計条件のもとで試作する材料の特性値を予測することが可能になる。これにより望ましい特性を得るための実験を最小回数に抑えることができる。
【先行技術文献】
【特許文献】
【0004】
【発明の概要】
【発明が解決しようとする課題】
【0005】
例えば、特許文献1には、訓練データをクラスタリングし、各クラスターにおける代表ベクトルの近傍にある第1所定数の訓練データを使って物性値を予測するベースモデルと、代表ベクトルの近傍にある第2所定数の訓練データを使ってベースモデルごとの残差の反数を予測する補正モデルを有し、物性予測においては、未知入力ベクトルに対して、未知入力ベクトルに近い代表ベクトルに関するベースモデル及び補正モデルを検索し、ベースモデルの予測値及び補正モデルの予測値を算出し、ベースモデルの予測値と補正モデルの予測値に所定の定数を掛けた値との和によって物性予測値を算出する方法が開示されている。しかしながら、特許文献1に開示された物性予測方法の場合、代表ベクトル近傍にある第1所定数および第2所定数に含まれない訓練データはモデルの学習に用いられないため、物性予測精度の低下につながるおそれがあり、また、過学習しやすい問題もあった。
【0006】
本開示は、以上の点を考慮してなされたもので、訓練データを余すことなく用いて予測精度を向上させる予測モデル作成方法を提供することを目的としている。
【課題を解決するための手段】
【0007】
本発明は、以下の構成を有する。
[1]材料特性の予測モデル作成方法であって、
学習用データセットを取得するステップと、
前記学習用データセットとクラスタリングモデルを用いて、学習済みクラスタリングモデルを生成するとともに、前記学習用データセットをN個のクラスターに分類するステップと、
前記各クラスターの重心間の距離を算出するステップと、
前記クラスターの重心間の距離と前記学習用データセットの特徴を表すパラメータとを用いて、前記クラスター間の重みを算出するステップと、
前記クラスターごとに、クラスターと前記重みを用いて学習済み予測モデル{Mi}1≦i≦Nを生成するステップと、を有することを特徴とする材料特性の予測モデル作成方法。
[2]前項1に記載の予測モデル作成方法に引き続いて行う材料特性の予測方法であって、
予測用データを取得するステップと、
前記学習済みクラスタリングモデルを用いて、前記予測用データがN個に分類された学習用データセットクラスターのうちクラスターpに属することを特定するステップと、
前記予測用データを入力として、前記クラスターpに対応する学習済み予測モデルMpを用いて予測値を求めるステップと、を有することを特徴とする材料特性の予測方法。
[3]前項1に記載の材料特性の予測モデル作成方法であって、
前項1に記載のクラスタリングモデルを構築するステップにおいて、K-means法、Nearest Neighbor法、階層的クラスタリング法、混合ガウス法、DBSCAN法、t-SNE法、自己組織化マップ法のうち、いずれか1つまたは複数のクラスタリング手法を用いることを特徴とする材料特性の予測モデル作成方法。
[4]前項1に記載の材料特性の予測モデル作成方法であって、
前項1に記載のクラスターの重心間の距離を算出するステップにおいて、ユークリッド距離法、マンハッタン距離法、マハラノビス距離法、ミンコフスキー距離法、コサイン距離法、最短距離法、最長距離法、重心法、群平均法、ward法、Kullback-Leiblerダイバージェンス、Jensen―Shannonダイバージェンス、Dynamic time warping、Earth mover's distanceのうち、いずれか1つまたは複数の組合せを用いて距離を算出することを特徴とする材料特性の予測モデル作成方法。
[5]前項1に記載の材料特性の予測モデル作成方法であって、
前記学習用データセットの特徴を表すパラメータとして、前記学習用データセットの特性値に係る系統誤差、標準偏差、分散、変動係数、分位数、尖度、歪度のうち、いずれか1つまたは複数のパラメータを用いることを特徴とする材料特性の予測モデル作成方法。
[6]前項1に記載の材料特性の予測モデル作成方法であって、
前記重みを算出するステップにおいて、指数関数型、逆数型、逆数の累乗型のうち、いずれか1つまたは複数の重み関数を用いることを特徴とする材料特性の予測モデル作成方法。
[7]材料特性の予測モデル作成装置であって、
学習用データセットが入力されることで、学習済みクラスタリングモデルを生成するとともに、前記学習用データセットをN個のクラスターに分類するクラスタリングモデルと、
分類された前記各クラスターの重心間の距離を算出し、算出された各クラスターの重心間の距離と前記学習用データセットの特徴を表すパラメータとを用いて、前記各クラスター間の重みを算出する重み定義部と、
前記クラスターごとに、クラスターと前記重みを用いて学習済み予測モデルを生成する予測モデル{Mi}1≦i≦Nと、を有することを特徴とする予測モデル作成装置。
[8]材料特性の予測装置であって、
予測用データが入力されることで、前記予測用データがN個に分類されたクラスターのうちクラスターpに属することを特定する、前項7に記載の予測モデル作成装置により作成された学習済みクラスタリングモデルと、
特定された前記クラスターpに対応し、予測用データを入力として予測値を求める、前項7に記載の予測モデル作成装置により作成された学習済み予測モデルMpと、
求められた予測値を出力する出力部と、を有することを特徴とする材料特性の予測装置。
[9]材料特性の予測モデル作成プログラムであって、
学習用データセットを取得する工程と、
前記学習用データセットとクラスタリングモデルを用いて、学習済みクラスタリングモデルを生成するとともに、前記学習用データセットをN個のクラスターに分類する工程と、
前記各クラスターの重心間の距離を算出する工程と、
前記クラスターの重心間の距離と前記学習用データセットの特徴を表すパラメータを用いて、前記クラスター間の重みを算出する工程と、
前記クラスターごとに、クラスターと前記重みを用いて学習済み予測モデル{Mi}1≦i≦Nを生成する工程と、をコンピュータに実行させるための予測モデル作成プログラム。
[10]材料特性の予測プログラムであって、
予測用データを取得する工程と、
前項9に記載の予測モデル作成プログラムにより作成された学習済みクラスタリングモデルを用いて、前記予測用データがN個に分類された学習用データセットクラスターのうちクラスターpに属することを特定する工程と、
前記予測用データを入力として、特定された前記クラスターpに対応し、前項9に記載の予測モデルMpを用いて予測値を求める工程と、をコンピュータに実行させるための予測プログラム。
【発明の効果】
【0008】
本開示の予測モデル作成方法を用いて作成された予測モデルは、訓練データを余すことなく用いることによりデータ数の不足による過学習を抑えるとともに、データの傾向を反映した重みを導入することで、予測精度を向上させることができる。
【図面の簡単な説明】
【0009】
【
図1】学習フェーズにおける予測モデル作成装置及び予測フェーズにおける予測装置の機能構成の一例を示す図である。
【
図2】予測モデル作成装置及び予測装置のハードウェア構成の一例を示す図である。
【
図3】学習処理の流れを示すフローチャートである。
【
図4】予測処理の流れを示すフローチャートである。
【
図5】本実施形態に係る予測モデル作成方法における要件設定画面の一例のイメージ図である。
【
図6】比較例のうち通常のランダムフォレストの学習処理の流れを示すフローチャートである。
【
図7】比較例のうち通常のランダムフォレストの予測処理の流れを示すフローチャートである。
【発明を実施するための形態】
【0010】
以下、各実施形態について添付の図面を参照しながら説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省略する。
【0011】
<予測モデル作成装置及び予測装置の機能構成>
はじめに、予測モデル作成装置及び予測装置の機能構成について説明する。予測モデル作成装置は、試作時の設計条件と、試作した材料の特性値とを含む学習用データセットを用いて予測モデルの生成を行う予測モデル作成装置を例に説明する。また、予測装置は、予測モデル作成装置において作成された学習済み予測モデルを用いて新たな設計条件のもとで試作する材料の特性値を予測する予測装置を例に説明する。
【0012】
ただし、実施形態に係る予測モデル作成装置及び予測装置は、上記用途に限定されず、材料の設計以外に用いられてもよい。
【0013】
図1は、学習フェーズにおける予測モデル作成装置及び予測フェーズにおける予測装置の機能構成の一例を示す図である。予測モデル作成装置120には、学習プログラムがインストールされており、当該プログラムが実行されることで、予測モデル作成装置120は、
・クラスタリングモデル121、
・重み定義部122、
・予測モデル123、
として機能する(
図1(a)参照)。
【0014】
予測モデル作成装置120は、材料データ格納部110に格納された学習用データセット111を用いて、クラスタリングモデル121、予測モデル123の学習を行い、学習済みクラスタリングモデル131及び学習済み予測モデル132を生成する。
【0015】
図1(a)に示すように、学習用データセット111には、情報の項目として、"入力データ"と"正解データ"とが含まれる。なお、
図1(a)の例は、"入力データ"として、「設計条件1」~「設計条件n」が格納され、"正解データ"として、「特性値1」~「特性値n」が格納された場合を示している。
【0016】
クラスタリングモデル121は、学習用データセット111の"入力データ"に格納された「設計条件1」~「設計条件n」が入力されることで、出力データとして学習用データセットクラスターを出力する。つまり、学習用データセット111が入力されることで学習済みクラスタリングモデル131およびクラスターiに分類された学習用データセット111が生成される。
【0017】
なお、クラスタリングモデル121で生成されるクラスターの数はNと設定する。
【0018】
なお、予測モデル作成装置120が学習を行うクラスタリングモデル121は、学習手法として、たとえば、"K-means法、Nearest Neighbor法、階層的クラスタリング法、混合ガウス法、DBSCAN法、t-SNE法、自己組織化マップ法"、
のうちのいずれか1つまたは複数の学習手法のもとで学習が行われるモデルであるとする。
【0019】
より具体的には、クラスタリングモデル121は、学習用データセット111の"入力データ"に格納された「設計条件1」~「設計条件n」をいずれかのクラスターi(1≦i≦N)に分類するとともに、クラスターiの重心座標を出力する。
【0020】
重み定義部122は、分類されたクラスター間の距離と学習用データセット111の特徴を表すパラメータを用いて予測モデル123で用いる重み{Wij}1≦i≦N,1≦j≦Nを算出する。
【0021】
分類されたクラスター間の距離{lij}1≦i≦N,1≦j≦Nは、前述した重心座標間の距離で表され、N(N-1)/2通り算出される。
【0022】
なお、重み定義部122で用いる各クラスター間の距離を算出する手法として、たとえば、"ユークリッド距離法、マンハッタン距離法、マハラノビス距離法、ミンコフスキー距離法、コサイン距離法、最短距離法、最長距離法、重心法、群平均法、ward法、Kullback-Leiblerダイバージェンス、Jensen―Shannonダイバージェンス、Dynamic time warping、Earth mover's distance"、
のうちのいずれか1つまたは複数の組合せを用いて距離を算出することができる。
【0023】
重み定義部122で用いる学習用データセット111の特徴を表すパラメータとしては、"正解データ"に格納されている「特性値1」~「特性値n」の"系統誤差、標準偏差、分散、変動係数、分位数、尖度、歪度"、のうちのいずれか1つまたは複数のパラメータを用いて定義することができる。
【0024】
分類されたクラスター間の距離と学習用データセット111の特徴を表すパラメータを用いて算出される重みは重み関数で表され、重み関数としては、たとえば、"指数関数型、逆数型、逆数の累乗型"、
のうちいずれか1つまたは複数を用いて定義される。
【0025】
たとえば、重み関数Wijとしては、
【0026】
【数1】
式(1)で表されるボルツマン型のような指数関数で定義することができる。
【0027】
ここで、lijは各クラスター間の距離であり、τは学習用データセットの特徴を表すパラメータであり、αは任意定数である。
【0028】
予測モデル123は、クラスタリングモデル121で出力される学習用データセットクラスターが含む説明変数と重み定義部122で算出された重みを乗じた値が入力され、入力に用いた説明変数(設計条件)に対応する目的変数(特性値)を出力データとして特性値を出力するように学習することで生成される。
【0029】
なお、予測モデル作成装置120が学習を行う予測モデルは、学習手法として、
"ランダムフォレスト、決定木、勾配ブースティング、アダブースト、バギング、線形、部分最小二乗、ラッソ、線形リッジ、エラスティックネット"、
のうちのいずれか1つまたは複数の組合せを用いることができる。
【0030】
なお、予測モデル作成装置120が予測モデル123の学習を行うにあたり、クラスタリングモデル121で分類されたN個のクラスターに対して、予測モデル123{Mi}1≦i≦Nが学習するものとする。つまり、クラスターiに対して、重みWijを適用した学習が行われ、学習済み予測モデル132{Mi}1≦i≦Nがそれぞれ生成される。
【0031】
重みを適用した学習の方法としては、一例として、例えば、scikit-learnに格納されているランダムフォレスト回帰アルゴリズムのfit関数内のパラメータとして重みを入力する方法を挙げることができる。
【0032】
これにより、予測モデル作成装置120は、学習済みクラスタリングモデル131および学習済み予測モデル132を生成する。また、予測モデル作成装置120は、生成した学習済みクラスタリングモデル131および学習済み予測モデル132を予測装置130に適用する。
【0033】
一方、予測装置130には、予測プログラムがインストールされており、当該プログラムが実行されることで、予測装置130は、
・学習済みクラスタリングモデル131、
・学習済み予測モデル132、
・出力部133、
として機能する(
図1(b)参照)。
【0034】
学習済みクラスタリングモデル131は、予測モデル作成装置120が、学習用データセット111の"入力データ"に格納された「設計条件1」~「設計条件n」を用いてクラスタリングモデル121の学習を行うことで生成される。
【0035】
また、学習済みクラスタリングモデル131は、予測用データ(設計条件x)が入力されることで、学習用データセット111が分類されたN個のクラスターのうち、クラスターpに属することを特定する。
【0036】
学習済み予測モデル132は、予測モデル作成装置120が、学習用データセット111が分類されたN個のクラスター、および重み定義部122で算出した重みを用いて予測モデル123の学習を行うことで生成される。
【0037】
また、学習済み予測モデル132は、設計条件xおよび学習済みクラスタリングモデルが出力するクラスターの所属区分pが入力されることで、所属区分pに対応した学習済み予測モデル132Mpを用いて特性値yを予測し、出力部133は、予測された特性値を予測データとして、出力する。
【0038】
これにより、予測装置130によれば、設計条件xが属するクラスター及びそのクラスターに応じた重みを用いて学習した学習済みモデルを用いて特性値の予測を行うことで、十分な予測精度を得ることができるようになる。つまり、本実施形態によれば、学習済み予測モデルを用いた予測装置において予測精度を向上させることができる。
<予測モデル作成装置及び予測装置のハードウェア構成>
次に、予測モデル作成装置120及び予測装置130のハードウェア構成について説明する。なお、予測モデル作成装置120及び予測装置130は、同様のハードウェア構成を有するため、ここでは、
図2を用いて、予測モデル作成装置120及び予測装置130のハードウェア構成をまとめて説明する。
【0039】
図2は、学習装置及び予測装置のハードウェア構成の一例を示す図である。
図2に示すように、学習装置120及び予測装置130は、プロセッサ201、メモリ202、補助記憶装置203、I/F(Interface)装置204、通信装置205、ドライブ装置206を有する。なお、学習装置120及び予測装置130の各ハードウェアは、バス207を介して相互に接続されている。
【0040】
プロセッサ201は、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)等の各種演算デバイスを有する。プロセッサ201は、各種プログラム(例えば、学習プログラム、予測プログラム等)をメモリ202上に読み出して実行する。
【0041】
メモリ202は、ROM(Read Only Memory)、RAM(Random Access Memory)等の主記憶デバイスを有する。プロセッサ201とメモリ202とは、いわゆるコンピュータを形成し、プロセッサ201が、メモリ202上に読み出した各種プログラムを実行することで、当該コンピュータは各種機能を実現する。
【0042】
補助記憶装置203は、各種プログラムや、各種プログラムがプロセッサ201によって実行される際に用いられる各種データを格納する。
【0043】
I/F装置204は、不図示の外部装置と接続する接続デバイスである。通信装置205は、ネットワークを介して外部装置(例えば、材料データ格納部110)と通信するための通信デバイスである。
【0044】
ドライブ装置206は記録媒体210をセットするためのデバイスである。ここでいう記録媒体210には、CD-ROM、フレキシブルディスク、光磁気ディスク等のように情報を光学的、電気的あるいは磁気的に記録する媒体が含まれる。また、記録媒体210には、ROM、フラッシュメモリ等のように情報を電気的に記録する半導体メモリ等が含まれていてもよい。
【0045】
なお、補助記憶装置203にインストールされる各種プログラムは、例えば、配布された記録媒体210がドライブ装置206にセットされ、該記録媒体210に記録された各種プログラムがドライブ装置206により読み出されることでインストールされる。あるいは、補助記憶装置203にインストールされる各種プログラムは、通信装置205を介してネットワークからダウンロードされることで、インストールされてもよい。
【0046】
<学習処理の流れ>
次に、学習処理の流れについて説明する。
図3は、学習処理の流れを示すフローチャートである。
【0047】
ステップS301において、予測モデル作成装置120は、学習用データセット111を取得する。
【0048】
ステップS302において、予測モデル作成装置120は、取得した学習用データセット111を用いて、クラスタリングモデル121の学習を行い、学習済みクラスタリングモデル131を生成するとともに、各クラスター間の重心座標およびN個にクラスター分類された学習用データセットクラスターを得る。
【0049】
ステップS303において、重み定義部122は、学習用データセットクラスターiについて、各クラスター間の重心間の距離{lij}1≦i≦N,1≦j≦Nを算出する。
【0050】
ステップS304において、重み定義部122は、クラスター間の距離と学習用データセット111の特徴を表すパラメータを用いて予測モデル123で用いる重み{Wij}1≦i≦N,1≦j≦Nを算出する。
【0051】
ステップS305において、予測モデル作成装置120は、N個にクラスター分類された学習用データセット111の全てのクラスターについて重みを算出したか否かを判定する。ステップS305において、重みを算出していないクラスターがあると判定した場合には(ステップS305においてNOの場合には)、ステップS304に戻る。
【0052】
一方、ステップS305において、重みを算出していないクラスターがないと判定した場合には(ステップS305においてYESの場合には)、ステップS306に進む。
【0053】
ステップS306において、予測モデル作成装置120は、前記生成された学習用データセットクラスターおよび対応した重みの組み合わせを用いて、予測モデル123の学習を行い、学習済み予測モデル132を生成する。
【0054】
ステップS307において、予測モデル作成装置120は、N個にクラスター分類された学習用データセット111の全てのクラスターについて予測モデル123の学習を行ったか否かを判定する。ステップS306において、学習済み予測モデル132を生成していないクラスターがあると判定した場合には(ステップS307においてNOの場合には)、ステップS306に戻る。
【0055】
一方、ステップS307において、学習済み予測モデル132を生成していない学習用データセットクラスターがないと判定した場合には(ステップS007においてYESの場合には)、学習処理を終了する。
<予測処理の流れ>
次に、予測処理の流れについて説明する。
図4は、予測処理の流れを示すフローチャートである。
【0056】
ステップS401において、予測装置130は、予測用データ(設計条件x)を取得する。
【0057】
ステップS402において、予測装置130は、取得した予測用データを学習済みクラスタリングモデル131に入力し、学習用データセットクラスターのうちクラスターpに属することを特定する。
【0058】
ステップS403において、予測装置130は、特定されたクラスターpに対応した学習済み予測モデル132Mpを取得し、取得した予測用データを入力として、特性値を予測する
【0059】
ステップS404において、予測装置130は、予測した特性値を、予測対象の入力データ(設計条件x)に対する予測データとして、出力する。
【0060】
図5の画面500は、クラスタリングモデル121の生成を行うにあたって、クラスター数Nの手動設定もしくはエルボー法による自動設定の選択、及び、学習用データセット111の特徴を表すパラメータの種類の選択を行うGUI(グラフィカルユーザインタフェース)を示している。ユーザーは画面から最適なクラスター数の設定を選択するとともに、系統誤差、標準偏差、分散、変動係数、四分位数、尖度、歪度などのパラメータを選択する。例えば、
図5ではクラスター数の設定方法として、エルボー法による自動設定を選択し、学習用データセット111の特徴を表すパラメータとして系統誤差を選択している例を示している。
図5の状態で「予測」ボタンが押下されると、予測モデル作成装置120のクラスタリングモデル121および重み定義部122、予測モデル123は、
図3のフローチャートの手順に従い、学習済みクラスタリングモデル131および学習済み予測モデル132を生成する。
【0061】
<まとめ>
以上の説明から明らかなように、実施形態に係る予測装置130は、
・入力データをクラスタリングするための学習済みクラスタリングモデル131と、クラスターpに対応した学習済み予測モデル132を有する。
・適切な重みのもとで、学習済み予測モデル132により予測された特性値を予測データとして、出力する。
【0062】
これにより、実施形態に係る予測装置130によれば、学習済み予測モデル132を用いた予測装置130において、予測精度を向上させることができる。
【0063】
[実施例]
本発明の予測方法の具体的な実施例を、公知のデータセットを用いて説明する。なお、本発明による特性予測は材料系分野に限らず適用が可能である。
【0064】
実施例の説明に際して、材料データ格納部110には、例えば、scikit-learnのToy datasets(https://scikit-learn.org/stable/datasets/toy_dataset.html)で公開されている506データのボストン住宅価格に関するデータセットが格納されているものとする。
【0065】
当該ボストン住宅価格データセットを用いて予測モデル作成処理及び予測処理を行う場合、例えば、以下の手順により処理が行われる。
【0066】
[学習手順]
(1)手順1
以下で学習手順の説明を行う。
【0067】
ボストン住宅価格データセットを、学習用データセット/予測用データセットに、75%/25%の割合でランダムに分割した。なお、ボストン住宅価格データセットのうち、説明変数として、CRIM(町別の「犯罪率」)、ZN(「広い家の割合」)、INDUS(町別の「非小売業の割合」)、CHAS(「川の隣か」)、NOX(「NOx濃度(0.1ppm単位)」)、RM(1戸当たりの「平均部屋数」)、AGE(「古い家の割合」)、DIS(「主要施設への距離」)、RAD(「主要高速道路へのアクセス性」)、TAX(「固定資産税率」)、PTRATIO(町別の「生徒と先生の比率」)、B(「町ごとの黒人の割合」)、LSTAT(「低所得者人口の割合」)を用い、目的変数としてMEDV(「住宅価格」(1000ドル単位)の中央値)を用いた。
【0068】
(2)手順2
手順1で得た学習用データセットを用いて、scikit-learnに格納されているクラスタリングアルゴリズムであるK―Means法を用いて学習を行い、学習済みクラスタリングモデルを得た。
【0069】
(3)手順3
手順2で学習した学習済みクラスタリングモデルを用い、学習用データセットを入力することで、N個にクラスター分類された学習用データセットクラスターを得た。ここでは、エルボー法で行った結果として、2個のクラスターを得た。
【0070】
(4)手順4
手順3でクラスター分類された学習用データセットクラスターに対し、各クラスター間の重心間の距離{lij}1≦i≦N,1≦j≦NをN(N-1)/2通り算出した。ここでは、各クラスター間の重心間の距離として、ユークリッド距離を用いた。
【0071】
(5)手順5
手順4で算出したクラスター間の距離{lij}1≦i≦N,1≦j≦Nと、学習用データセットの特徴を表すパラメータとを用いて、前記クラスター間の重み{Wij}1≦i≦N,1≦j≦Nを算出した。ここでは、学習用データセットの特徴を表すパラメータとして、学習用データセットのMEDVの標準偏差を用いた。また、クラスター間の重みとして下記式(1)で表される重み関数を用いた。なお、任意定数として、α=1.0を用いた。
【0072】
【0073】
(6)手順6
手順2で生成した学習用データセットクラスターと手順5で生成した各クラスターごとの重みとを、scikit-learnに格納されているランダムフォレスト回帰アルゴリズムを予測モデルとして用い、各クラスターに対して予測モデルMiに学習させ、2つの学習済み予測モデルを得た。なお、ここでは、重みを適用した学習の方法として、scikit-learnに格納されているランダムフォレスト回帰アルゴリズムのfit関数内のパラメータに重みを入力した。
【0074】
[予測手順]
(7)手順7
以下で予測手順の説明を行う。
【0075】
手順1で得た予測用データセットから予測用データを取得した。次いで、手順2で学習した学習済みクラスタリングモデルを用い、予測用データが手順3に記載のクラスターのうち、クラスターpに属するかを特定した。
【0076】
(8)手順8
予測用データを入力として、手順6で作成した、予測用データの属するクラスターpに対応する学習済み予測モデルMpを用いて特性値を予測し、予測された特性値を予測データとして出力した。
【0077】
予測用データセットの残りの各予測用データについても同様にして予測データを出力した。
【0078】
(9)手順9
本発明の予測方法の予測精度を求めた。予測精度は、下記式(2)によって定義されるR2値を評価指標とした。R2値は、1に近いほど予測精度が高い。
【0079】
【0080】
[比較例]
一方、比較例として、手順2のクラスタリングを行わず、手順5にある重みを用いないことを除いて、
図6および
図7のフローチャートに示すように、実施例と同様に予測モデルの作成の予測を行い、R
2値を算出した。
【0081】
実施例の予測精度としてR2=0.879を得た。一方、比較例の予測精度として、R2=0.868を得た。
【0082】
図8に示すように、通常のランダムフォレスト回帰モデルの場合よりも、本実施例のようにクラスター分類を行い、適切な重みを考慮したランダムフォレスト回帰モデルの予測精度の方が、比較例の予測精度よりも高くなっていることがわかる。
【0083】
このように、予測用データを適切なクラスターに分類し、各クラスターごとに適切な重みを考慮したモデルを構築したことで比較例よりも、より精度良く予測することができる。
【0084】
[その他の実施形態]
上記各実施形態において、予測モデル作成装置と予測装置とは別体の装置として説明した。しかしながら、予測モデル作成装置と予測装置とは一体の装置により構成されてもよい。
【0085】
なお、上記の実施形態では、重心間の距離の算出方法はユークリッド距離を用いて行い、他の具体例については言及しなかった。しかしながら、重心間の距離の算出方法は、例えば、マンハッタン距離法、マハラノビス距離法、ミンコフスキー距離法、コサイン距離法、最短距離法、最長距離法、重心法、群平均法、ward法、Kullback-Leiblerダイバージェンス、Jensen―Shannonダイバージェンス、Dynamic time warping、Earth mover's distanceなどであっても良い。
【0086】
また、上記の実施形態では、K―Means法とランダムフォレスト回帰アルゴリズムを用いて行い、他の学習手法の具体例について言及しなかった。しかしながら、クラスタリングモデルの学習を行う際に用いられる学習手法は、例えば、Nearest Neighbor法、階層的クラスタリング法、混合ガウス法、DBSCAN法、t-SNE法、自己組織化マップ法などであっても良い。
【0087】
一方、予測モデルの学習を行う際に用いられる学習手法は、例えば、決定木、勾配ブースティング、アダブースト、バギング、線形、部分最小二乗、ラッソ、線形リッジ、エラスティックネットなどであっても良い。
【0088】
本発明の一実施形態では、本発明の予測方法により特性を予測された材料の設計条件を製造に用いることもできる。例えば、材料を製造する装置は、予測装置130が特性を予測した材料の設計条件の情報を予測装置130から取得し、当該取得した設計条件の情報を用いて、材料を製造することができる。
【0089】
なお、上記実施形態に挙げた構成等に、その他の要素との組み合わせ等、ここで示した構成に本発明が限定されるものではない。これらの点に関しては、本発明の趣旨を逸脱しない範囲で変更することが可能であり、その応用形態に応じて適切に定めることができる。
【符号の説明】
【0090】
111 :学習用データセット
120 :予測モデル作成装置
121 :クラスタリングモデル
122 :重み定義部
123 :予測モデル
130 :予測装置
131 :学習済みクラスタリングモデル
132 :学習済み予測モデル
133 :出力部