特開 2022-23482 予測モデルの学習方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022023482

(43)【公開日】2022-02-08

(54)【発明の名称】予測モデルの学習方法

(51)【国際特許分類】

   G06N 20/00 20190101AFI20220201BHJP

【ＦＩ】

G06N20/00 130

【審査請求】未請求

【請求項の数】9

【出願形態】ＯＬ

(21)【出願番号】P 2020126447

(22)【出願日】2020-07-27

(71)【出願人】

【識別番号】000113470

【氏名又は名称】ポーラ化成工業株式会社

(74)【代理人】

【識別番号】110000800

【氏名又は名称】特許業務法人創成国際特許事務所

(72)【発明者】

【氏名】荒井 俊博

(72)【発明者】

【氏名】大原 夏帆

(72)【発明者】

【氏名】松岡 由希子

(72)【発明者】

【氏名】長谷 武志

(72)【発明者】

【氏名】谷内江 綾子

(57)【要約】

【課題】製剤の物性値を目的変数とする予測モデルの学習を精度よく実行することができる予測モデルの学習方法を提供する。
【解決手段】情報処理装置１のデータ分別部２では、目的変数の実測値及び特徴量を含む１相データ及び２相データがデータベースから分別された状態で読み出される。第１学習部１０では、第１～第５選択部１１～１５における選択手法を組み合わせて実行することにより、学習用特徴量及び目的変数の実測値を含む第４学習データが作成され、予測モデル学習部１８では、第４学習データ及び摸擬学習データからなる学習データを用いて、予測モデルの学習が実行される。
【選択図】図４

【特許請求の範囲】

【請求項1】

複数の原料を配合して作製される製剤の物性値を目的変数として予測する予測モデルの学習方法であって、
前記目的変数の実測値を教師データとして取得する教師データ取得ステップと、
前記複数の原料の配合率を含む特徴量を未選択特徴量として取得する未選択特徴量取得ステップと、
複数の選択手法を組み合わせて実行することにより、前記未選択特徴量から学習用特徴量を選択する学習用特徴量選択ステップと、
当該学習用特徴量及び前記教師データを用いて、学習データを作成する学習データ作成ステップと、
当該学習データを用いて、教師あり機械学習アルゴリズムにより、前記予測モデルの学習を実行する学習ステップと、
を実行することを特徴とする予測モデルの学習方法。

【請求項2】

請求項１に記載の予測モデルの学習方法において、
前記未選択特徴量に含まれる前記配合率は、前記複数の原料の各々における最大配合値を基準として正規化した値であることを特徴とする予測モデルの学習方法。

【請求項3】

請求項１又は２に記載の予測モデルの学習方法において、
前記製剤は、前記複数の原料の配合物を攪拌することによって作製され、
前記未選択特徴量は、前記配合率に加えて、前記配合物の攪拌方法、攪拌時間及び攪拌回転数をさらに含むことを特徴とする予測モデルの学習方法。

【請求項4】

請求項１ないし３のいずれかに記載の予測モデルの学習方法において、
前記配合物の相状態として複数種類の相状態が存在する場合には、前記教師データ取得ステップ、前記未選択特徴量取得ステップ、前記学習用特徴量選択ステップ、前記学習データ作成ステップ及び前記学習ステップはいずれも、相状態ごとに別個に実行されることを特徴とする予測モデルの学習方法。

【請求項5】

請求項１ないし４のいずれかに記載の予測モデルの学習方法において、
前記学習用特徴量選択ステップでは、
前記複数の選択手法として、
当該未選択特徴量及び前記教師データを第１学習データとして用いて、第１機械学習アルゴリズムにより第１機械学習モデルの学習を実行した際の、当該第１機械学習モデルの前記目的変数の予測精度が所定値以上の当該第１機械学習モデルを選択し、当該選択された第１機械学習モデルにおいて重要度の最も高い前記未選択特徴量を第１位とした際の当該第１位以下の前記未選択特徴量を重要度の高い方から順に選択する第１選択手法と、
前記未選択特徴量に対して、第１フィルタ処理を適用することにより、前記目的変数と前記未選択特徴量との相関性を取得するとともに、当該相関性の最も高い前記未選択特徴量を第１位とした際の当該第１位以下の前記未選択特徴量を高い方から順に選択する第２選択手法と、
前記未選択特徴量に対して、前記第１フィルタ処理と異なる第２フィルタ処理を適用することにより、前記目的変数に対する前記未選択特徴量の寄与度を取得するとともに、当該寄与度の最も高い前記未選択特徴量を第１位とした際の当該第１位以下の前記未選択特徴量を当該寄与度の高い方から順に選択する第３選択手法と、
前記第１～３選択手法で選択された前記未選択特徴量の順位の平均値を算出するとともに、当該平均値の最も高い前記未選択特徴量を第１位とした際の当該第１位から所定順位までの前記未選択特徴量を前記学習用特徴量として選択する第４選択手法と、
が実行されることを特徴とする予測モデルの学習方法。

【請求項6】

請求項１ないし５のいずれかに記載の予測モデルの学習方法において、
前記未選択特徴量及び前記教師データを学習データとし、ＧＡＮアルゴリズムを用いて、模擬的な学習データである摸擬学習データを作成する摸擬学習データ作成ステップをさらに実行し、
前記学習データ作成ステップでは、前記学習用特徴量及び前記教師データに加えて、前記摸擬学習データをさらに含むように、前記学習データが作成されることを特徴とする予測モデルの学習方法。

【請求項7】

請求項５に記載の予測モデルの学習方法において、
前記学習用特徴量選択ステップでは、
前記複数の選択手法の１つとして、前記複数の原料の前記特徴量のＶＩＦ値の算出結果が所定値未満であるという条件を満たす前記特徴量を第５特徴量として前記未選択特徴量から選択する第５選択手法がさらに実行され、
前記第１～第４選択手法では、前記未選択特徴量に代えて、前記第５特徴量が用いられることを特徴とする予測モデルの学習方法。

【請求項8】

請求項７に記載の予測モデルの学習方法において、
前記第５特徴量及び前記教師データを学習データとし、ＧＡＮアルゴリズムを用いて、模擬的な学習データである摸擬学習データを作成する摸擬学習データ作成ステップをさらに実行し、
前記学習データ作成ステップでは、前記学習用特徴量及び前記教師データに加えて、前記摸擬学習データをさらに含むように、前記学習データが作成されることを特徴とする予測モデルの学習方法。

【請求項9】

請求項１ないし８のいずれかに記載の予測モデルの学習方法において、
前記目的変数の前記実測値が取得されていない前記製剤である実測値なし製剤が存在する場合には、前記未選択特徴量、前記目的変数の前記実測値及び前記学習ステップで前記学習が実行された前記予測モデルを用いて、半教師あり学習法により、前記予測モデルの学習をさらに実行する追加学習ステップをさらに実行し、
当該半教師あり学習法では、前記未選択特徴量、前記目的変数の前記実測値及び前記予測モデルを用いて、当該実測値なし製剤の前記目的変数の予測値を取得し、当該実測値なし製剤の前記特徴量と当該取得した目的変数の予測値とを追加学習データとして作成するとともに、当該追加学習データ及び前記学習データを用いて、前記予測モデルの学習がさらに実行されることを特徴とする予測モデルの学習方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、製剤の物性値を目的変数として予測する予測モデルの学習方法に関する。

【背景技術】

【0002】

従来、ポリマーの物性値を目的変数として予測する予測モデルの学習方法として、特許文献１に記載されたものが知られている。この学習方法では、ポリマーの構造式から特徴量が算出され、この特徴量及びポリマーの物性の実測値を用いて、予測モデルとしての回帰モデルの学習が実行される。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２０－７１８２７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

従来、複数の原料を配合することによって、化粧品などの製剤を作製する手法が実施されている。この場合、製剤を実際に作製し、製剤の物性値を測定するまでの間、物性値がどのような値になるのかが不明である。そのため、所望の物性値の製剤を実現するまでに、多数の製剤を試作する必要があり、その分、製造コストの上昇を招いてしまう。

【0005】

これを解消する方法として、特許文献１のように、予測モデルを用いて、目的変数として製剤の物性値の予測値を算出することが考えられる。その場合には、複数の原料の配合率などを特徴量とし、製剤の物性値を目的変数とし、特徴量及び目的変数の実測値を学習データとして用いて、予測モデルの学習を実行する必要がある。

【0006】

しかしながら、特許文献１の手法の場合、ポリマーの構造式から特徴量を算出するという単純な手法に過ぎない関係上、上記のように、複数の原料の配合率などを特徴量とした場合には、予測モデルの学習を精度よくかつ適切に実行できるように、特徴量を含む学習データを作成することが困難である。その結果、予測モデルの学習精度が低下し、それに伴い、目的変数の予測精度も低下してしまう。

【0007】

本発明は、上記課題を解決するためになされたもので、製剤の物性値を目的変数とする予測モデルの学習を精度よく実行することができる予測モデルの学習方法を提供することを目的とする。

【課題を解決するための手段】

【0008】

上記目的を達成するために、請求項１に係る発明は、複数の原料を配合して作製される製剤の物性値を目的変数として予測する予測モデルの学習方法であって、目的変数の実測値を教師データとして取得する教師データ取得ステップと、複数の原料の配合率を含む特徴量を未選択特徴量として取得する未選択特徴量取得ステップと、複数の選択手法を組み合わせて実行することにより、未選択特徴量から学習用特徴量を選択する学習用特徴量選択ステップと、学習用特徴量及び教師データを用いて、学習データを作成する学習データ作成ステップと、学習データを用いて、教師あり機械学習アルゴリズムにより、予測モデルの学習を実行する学習ステップと、を実行することを特徴とする。

【0009】

この予測モデルの学習方法によれば、複数の原料の配合率を含む特徴量が未選択特徴量として取得され、複数の選択手法を組み合わせて実行することにより、未選択特徴量から学習用特徴量が選択される。このように、複数の選択手法を組み合わせて実行することにより、学習用特徴量が未選択特徴量から選択されるので、複数の選択手法を適切に設定することにより、学習用特徴量を、予測モデルの学習を精度よくかつ適切に実行できるような値として選択することができる。さらに、そのような学習用特徴量及び教師データを用いて学習データが作成され、この学習データを用いて、教師あり機械学習アルゴリズムにより、予測モデルの学習が実行されるので、予測モデルの学習精度を向上させることができる。

【0010】

請求項２に係る発明は、請求項１に記載の予測モデルの学習方法において、未選択特徴量に含まれる配合率は、複数の原料の各々における最大配合値を基準として正規化した値であることを特徴とする。

【0011】

一般に、正規化していないデータを学習データとして用いた場合、正規化していないデータがノイズ及びばらつきの要因を含んでいることで、正規化したデータを用いた場合と比べて、予測モデルの学習精度の低下を招く可能性がある。これに対して、この予測モデルの学習方法によれば、未選択特徴量に含まれる配合率は、複数の原料の各々における最大配合値を基準として正規化した値であるので、正規化していない配合率を用いる場合と比べて、学習データにおけるノイズ及びばらつきの要因を排除でき、予測モデルの学習精度を向上させることができる。

【0012】

請求項３に係る発明は、請求項１又は２に記載の予測モデルの学習方法において、製剤は、複数の原料の配合物を攪拌することによって作製され、未選択特徴量は、配合率に加えて、配合物の攪拌方法、攪拌時間及び攪拌回転数をさらに含むことを特徴とする。

【0013】

一般に、製剤が複数の原料の配合物を攪拌することによって作製される場合、配合物の攪拌方法、攪拌時間及び攪拌回転数は、目的変数としての物性値に対して及ぼす影響が高いパラメータとなる。これに対して、この予測モデルの学習方法によれば、未選択特徴量が、配合率に加えて、配合物の攪拌方法、攪拌時間及び攪拌回転数をさらに含んでいるので、そのようなパラメータを特徴量として用いることにより、予測モデルの学習精度を向上させることができる。

【0014】

請求項４に係る発明は、請求項１ないし３のいずれかに記載の予測モデルの学習方法において、配合物の相状態として複数種類の相状態が存在する場合には、教師データ取得ステップ、未選択特徴量取得ステップ、学習用特徴量選択ステップ、学習データ作成ステップ及び学習ステップはいずれも、相状態ごとに別個に実行されることを特徴とする。

【0015】

この予測モデルの学習方法によれば、配合物の相状態として複数種類の相状態が存在する場合には、教師データ取得ステップ、未選択特徴量取得ステップ、学習用特徴量選択ステップ、学習データ作成ステップ及び学習ステップはいずれも、相状態ごとに別個に実行されるので、予測モデルを配合物の相状態ごとに別個に学習することができる。それにより、配合物の相状態が複数種類、存在するデータを用いた場合と比べて、予測モデルの学習精度を向上させることができる。

【0016】

請求項５に係る発明は、請求項１ないし４のいずれかに記載の予測モデルの学習方法において、学習用特徴量選択ステップでは、複数の選択手法として、未選択特徴量及び教師データを第１学習データとして用いて、第１機械学習アルゴリズムにより第１機械学習モデルの学習を実行した際の、第１機械学習モデルの目的変数の予測精度が所定値以上の第１機械学習モデルを選択し、選択された第１機械学習モデルにおいて重要度の最も高い未選択特徴量を第１位とした際の第１位以下の未選択特徴量を重要度の高い方から順に選択する第１選択手法と、未選択特徴量に対して、第１フィルタ処理を適用することにより、目的変数と未選択特徴量との相関性を取得するとともに、相関性の最も高い未選択特徴量を第１位とした際の第１位以下の未選択特徴量を高い方から順に選択する第２選択手法と、未選択特徴量に対して、第１フィルタ処理と異なる第２フィルタ処理を適用することにより、目的変数に対する未選択特徴量の寄与度を取得するとともに、寄与度の最も高い未選択特徴量を第１位とした際の第１位以下の未選択特徴量を寄与度の高い方から順に選択する第３選択手法と、第１～３選択手法で選択された未選択特徴量の順位の平均値を算出するとともに、平均値の最も高い未選択特徴量を第１位とした際の第１位から所定順位までの未選択特徴量を学習用特徴量として選択する第４選択手法と、が実行されることを特徴とする。

【0017】

この予測モデルの学習方法によれば、学習用特徴量選択ステップでは、複数の選択手法として、第１～４選択手法が実行される。この第１選択手法では、未選択特徴量及び教師データを第１学習データとして用いて、第１機械学習アルゴリズムにより第１機械学習モデルの学習を実行した際の、第１機械学習モデルの目的変数の予測精度が所定値以上の第１機械学習モデルが選択され、選択された第１機械学習モデルにおいて重要度の最も高い未選択特徴量を第１位とした際の第１位以下の未選択特徴量が使用頻度の高い方から順に選択される。したがって、未選択特徴量を、第１機械学習モデルの学習において最も重要と見なせるものから順に選択することができ、未選択特徴量を適切にかつ精度よく選択することができる。

【0018】

また、第２選択手法では、未選択特徴量に対して、第１フィルタ処理を適用することにより、目的変数と未選択特徴量との相関性が取得されるとともに、相関性の最も高い未選択特徴量を第１位とした際の第１位以下の未選択特徴量が高い方から順に選択される。したがって、未選択特徴量を、目的変数に対して相関性が最も高いものから順に選択することができ、未選択特徴量の選択結果における適格性及び選択精度を向上させることができる。

【0019】

さらに、第３選択手法では、未選択特徴量に対して、第１フィルタ処理と異なる第２フィルタ処理を適用することにより、目的変数に対する未選択特徴量の寄与度が取得されるとともに、寄与度の最も高い未選択特徴量を第１位とした際の第１位以下の未選択特徴量が寄与度の高い方から順に選択される。したがって、未選択特徴量を、目的変数に対して寄与度が最も高いものから順に選択することができ、未選択特徴量の選択結果における適格性及び選択精度を向上させることができる。

【0020】

そして、第４選択手法では、第１～３選択手法で選択された未選択特徴量の順位の平均値が算出されるとともに、平均値の最も高い未選択特徴量を第１位とした際の第１位から所定順位までの未選択特徴量が学習用特徴量として選択されるので、第１～３選択手法での未選択特徴量の選択結果におけるばらつき及びノイズの影響を抑制しながら、学習用特徴量を選択できる。それにより、学習用特徴量の適格性及び選択精度を向上させることができる。そして、学習データ作成ステップでは、以上のような学習用特徴量及び教師データを用いて、学習データが作成されるので、この学習データを用いて、予測モデルの学習を実行することにより、予測モデルの学習精度をさらに向上させることができる。

【0021】

請求項６に係る発明は、請求項１ないし５のいずれかに記載の予測モデルの学習方法において、未選択特徴量及び教師データを学習データとし、ＧＡＮアルゴリズムを用いて、模擬的な学習データである摸擬学習データを作成する摸擬学習データ作成ステップをさらに実行し、学習データ作成ステップでは、学習用特徴量及び教師データに加えて、摸擬学習データをさらに含むように、学習データが作成されることを特徴とする。

【0022】

この予測モデルの学習方法によれば、摸擬学習データ作成ステップがさらに実行される。この摸擬学習データ作成ステップでは、未選択特徴量及び教師データを学習データとし、ＧＡＮアルゴリズムを用いて、模擬的な学習データである摸擬学習データが作成される。さらに、学習データ決定ステップでは、学習用特徴量及び教師データに加えて、摸擬学習データをさらに含むように、学習データが決定される。したがって、学習データを、摸擬学習データの分、増大させることができ、それにより、この学習データを予測モデルの学習に用いることによって、予測モデルの学習効果をさらに向上させることができる。

【0023】

請求項７に係る発明は、請求項５に記載の予測モデルの学習方法において、学習用特徴量選択ステップでは、複数の選択手法の１つとして、複数の原料の特徴量のＶＩＦ値の算出結果が所定値未満であるという条件を満たす特徴量を第５特徴量として未選択特徴量から選択する第５選択手法がさらに実行され、第１～第４選択手法では、未選択特徴量に代えて、第５特徴量が用いられることを特徴とする。

【0024】

この予測モデルの学習方法によれば、学習用特徴量選択ステップでは、複数の選択手法の１つとして、第５選択手法がさらに実行される。この第５選択手法では、複数の原料の特徴量のＶＩＦ値の算出結果が所定値未満であるという条件を満たす特徴量が、第５特徴量として未選択特徴量から選択される。したがって、第５選択手法の実行により、特徴量のＶＩＦ値の算出結果が所定値以上の特徴量、すなわち多重共線性を生じる可能性がある特徴量を排除した状態で第５特徴量を選択することができる。さらに、第１～第４選択手法では、未選択特徴量に代えて、このような第５特徴量が用いられるので、予測モデルの学習精度をより一層、向上させることができる。

【0025】

請求項８に係る発明は、請求項７に記載の予測モデルの学習方法において、第５特徴量及び教師データを学習データとし、ＧＡＮアルゴリズムを用いて、模擬的な学習データである摸擬学習データを作成する摸擬学習データ作成ステップをさらに実行し、学習データ作成ステップでは、学習用特徴量及び教師データに加えて、摸擬学習データをさらに含むように、学習データが作成されることを特徴とする。

【0026】

この予測モデルの学習方法によれば、摸擬学習データ作成ステップがさらに実行される。この摸擬学習データ作成ステップでは、第５特徴量及び教師データを学習データとし、ＧＡＮアルゴリズムを用いて、模擬的な学習データである摸擬学習データが作成される。さらに、学習データ決定ステップでは、学習用特徴量及び教師データに加えて、摸擬学習データをさらに含むように、学習データが決定される。したがって、学習データを、摸擬学習データの分、増大させることができ、それにより、この学習データを予測モデルの学習に用いることによって、予測モデルの学習効果をさらに向上させることができる。

【0027】

請求項９に係る発明は、請求項１ないし８のいずれかに記載の予測モデルの学習方法において、目的変数の実測値が取得されていない製剤である実測値なし製剤が存在する場合には、未選択特徴量、目的変数の実測値及び学習ステップで学習が実行された予測モデルを用いて、半教師あり学習法により、予測モデルの学習をさらに実行する追加学習ステップをさらに実行し、半教師あり学習法では、未選択特徴量、目的変数の実測値及び予測モデルを用いて、実測値なし製剤の目的変数の予測値を取得し、実測値なし製剤の特徴量と取得した目的変数の予測値とを追加学習データとして作成するとともに、追加学習データ及び学習データを用いて、予測モデルの学習がさらに実行されることを特徴とする。

【0028】

この予測モデルの学習方法によれば、追加学習データ作成ステップがさらに実行される。この追加学習データ作成ステップでは、目的変数の実測値が取得されていない製剤である実測値なし製剤が存在する場合には、選択特徴量、目的変数の実測値及び学習ステップで学習が実行された予測モデルを用いて、半教師あり学習法により、学習モデルの学習がさらに実行される。この半教師あり学習法では、未選択特徴量、目的変数の実測値及び予測モデルを用いて、実測値なし製剤の目的変数の予測値が取得され、実測値なし製剤の特徴量と取得した目的変数の予測値とが追加学習データとして作成されるとともに、追加学習データ及び学習データを用いて、予測モデルの学習がさらに実行される。したがって、予測モデルの学習を、追加学習データの分、より多く実行することができ、予測モデルの学習効果をさらに向上させることができる。

【図面の簡単な説明】

【0029】

【図1】本発明の一実施形態に係る予測モデルの学習方法を実行する情報処理装置を示す図である。

【図2】学習に用いるデータベースの一例を示す図である。

【図3】情報処理装置の機能的な構成を示すブロック図である。

【図4】第１学習部の機能的な構成を示すブロック図である。

【発明を実施するための形態】

【0030】

以下、図面を参照しながら、本発明の一実施形態に係る予測モデルの学習方法について説明する。本実施形態では、各種原料の混合物を攪拌することにより、複数の化粧品が複数の製剤として作製される場合において、後述する学習方法により、これらの製剤の物性値を目的変数として予測する予測モデルの学習が実行される。

【0031】

本実施形態の学習方法は、具体的には、図１に示す情報処理装置１によって実行される。この情報処理装置１は、パーソナルコンピュータタイプのものであり、ディスプレイ１ａ、装置本体１ｂ及び入力インターフェース１ｃなどを備えている。装置本体１ｂは、ＨＤＤなどのストレージ、プロセッサ及びメモリ（ＲＡＭ、Ｅ２ＰＲＯＭ、ＲＯＭなど）などを備えている（いずれも図示せず）。

【0032】

この装置本体１ｂのメモリ内には、図２に示すような各種製剤、原料の特徴量（説明変数）及び目的変数（物性値）の実測値を含むデータベースが記憶されている。このデータベースの場合、各種製剤としては、ローション、クリーム及び美容液などが含まれており、それらの特徴量としては、各種原料の配合率（重量％）、作成法、攪拌方法、攪拌時間、攪拌回転数及び相状態などが含まれている。

【0033】

具体的には、各種原料としては、純水、１，３－ＢＧ及びスクラワンなどが含まれている。また、作成法としては、逆乳化法、転相乳化法及びそれら以外の方法が、値「１」，「２」，……で表されている。さらに、攪拌方法としては、手攪拌方法、ホモミキサー攪拌方法及びそれら以外の方法が、値「１」，「２」，……で示されている。

【0034】

また、相状態としては、原料の混合物が１相系（水溶液又は油）及び２相系（水と油の混合物）であるものがそれぞれ、値「１」，「２」で示されている。さらに、原料の混合物が２相系である場合、その状態としては、水中油の状態（水中に油が分散した状態）、油中水の状態（油中に水が分散した状態）、水中に油中水が分散した状態、油中に水中油が分散した状態などが存在するので、図示しないが、２相系の製剤のデータには、これらの状態を示す数値が含まれている。

【0035】

また、配合率は、各種原料の最大配合値を基準として正規化した値に設定されており、この最大配合値は、出願人の過去の実績値から算出したものである。

【0036】

一方、目的変数の実測値としては、ｐＨ及び粘度に加えて、図示しないが、比重、乾燥時残存率、せん断応力、接触角、熱伝導率、剥離力及び摩擦係数が含まれている。この場合、乾燥時残存率は、製剤の乾燥前後の重量比を表しており、剥離力は、製剤の単位面積当たりの剥離力を表している。

【0037】

以上に加えて、このデータベースの場合、製剤のデータとして、原料の特徴量が取得されているものの、製剤の目的変数の実測値が取得されていないデータ（図示せず）が含まれている。さらに、このデータベースにおいては、製剤の原料の用途に基づき、目的変数に対する影響がないと想定される原料のデータが除外されている。例えば、香料及びエキスなどは、目的変数に対する影響がないと想定されるので、これらのデータは除外されている。

【0038】

一方、この装置本体１ｂのストレージには、後述する学習処理を実行するためのアプリケーションソフトがインストールされている。また、入力インターフェース１ｃは、情報処理装置１を操作するためのキーボード及びマウスなどで構成されている。

【0039】

次に、図３を参照しながら、本実施形態の情報処理装置１の機能的な構成と、これらの構成において実行される学習演算処理の内容について説明する。同図に示すように、情報処理装置１は、データ分別部２、第１学習部１０及び第２学習部３０を備えている。

【0040】

このデータ分別部２では、１相データ及び２相データが前述したデータベース（図２参照）から分別された状態で読み出される。この場合、１相データは、製剤の原料の混合物が１相状態になる場合の、原料の特徴量及び目的変数の実測値のデータを表しており、２相データは、製剤の原料の混合物が２相状態になる場合の、原料の特徴量及び目的変数の実測値のデータを表している。そして、１相データがデータ分別部２から第１学習部１０に入力されるとともに、２相データがデータ分別部２から第２学習部３０に入力される。

【0041】

なお、本実施形態では、データ分別部２で実行される演算処理が、教師データ取得ステップ及び未選択特徴量取得ステップに相当し、データベースから読み出された１相データ及び２相データに含まれる特徴量が未選択特徴量に相当する。

【0042】

そして、第１学習部１０では、１相データに基づき、後述する学習手法により、予測モデルの学習が実行される。また、第２学習部３０では、２相データに基づき、第１学習部１０と同じ学習手法により、予測モデルの学習が実行される。このように、第１学習部１０の学習手法と第２学習部３０の学習手法は同一であるので、以下、第１学習部１０の学習手法を例にとって説明する。

【0043】

図４に示すように、第１学習部１０は、第１～第５選択部１１～１５、摸擬学習データ作成部１６、学習データ作成部１７、予測モデル学習部１８及び追加学習部１９を備えている。なお、本実施形態では、第１～第５選択部１１～１５で実行される演算処理が学習用特徴量選択ステップに相当する。

【0044】

まず、第５選択部１５では、１相データにおける特徴量のデータから、下記の条件（ｆ１）を満たす特徴量が第５特徴量として選択される（第５選択手法）。
（ｆ１）特徴量のＶＩＦ（Variance Inflation Factor）値が所定値（例えば値１０）未満であること。

【0045】

この条件（ｆ１）は、多重共線性の要因となる特徴量を除外するためのものである。そして、第５特徴量及び目的変数の実測値を含むデータが、第５学習データとして第５選択部１５から第１～第３選択部１１～１３に入力される。

【0046】

第１選択部１１では、第５学習データを用いて、以下に述べるように、第５学習データにおける第５特徴量の重要度が算出されるとともに、最も重要度の高い第５特徴量を第１位とした際の第１位以下の第５特徴量が重要度の高い方から順に選択される（第１選択手法）。

【0047】

まず、ランダムフォレストアルゴリズムにより、学習器（機械学習モデル）の構築が実行される。この場合、ランダムフォレストアルゴリズムは周知であるので、その詳細な説明は省略するが、以下のように実行される。

【0048】

まず、第５学習データのうちの所定割合（例えば２／３）が標本データとして選択され、残りの第５学習データが評価用データとして設定される。そして、標本データのうちの所定数の第５特徴量がランダムに選択され、これらの第５特徴量を用いて決定木の成長（分岐）を繰り返し実行することにより、学習器が構築される。そして、学習器における決定木の出力の平均値を目的変数の予測値として算出した後、この目的変数の予測値と評価用データの目的変数の実測値との平均二乗誤差（ＭＳＥ）が算出される。

【0049】

以上の学習器の構築を繰り返し実行した後、平均二乗誤差の最も小さいもの、すなわち予測精度が最も高い方から順に所定順位（例えば、数十位）までの学習器が選択される。そして、これらの学習器において、決定木の分岐点における第５特徴量の使用頻度に応じて、第５特徴量の重要度が算出されるとともに、これらの算出結果から、最も重要度の高い第５特徴量を第１位とした際の第１位以下の第５特徴量が重要度の高い方から順に選択される。すなわち、決定木の分岐点において使用頻度の最も高い第５特徴量が、最も重要度の高いものとして算出される。

【0050】

以上のように、第１選択部１１では、第５特徴量がその重要度に関して第１位以下の順位付けされる。そして、これらの順位付けされた第５特徴量及び目的変数の実測値が、第１学習データとして第１選択部１１から第４選択部１４に入力される。

【0051】

また、第２選択部１２では、第５学習データを用いて、以下に述べるように、第５学習データにおける第５特徴量と目的変数の実測値との相関性が第１フィルタ処理によって算出されるとともに、最も相関性の高い第５特徴量を第１位とした際の第１位以下の第５特徴量が、相関性の高い方から順に選択される（第２選択手法）。

【0052】

この第１フィルタ処理は、具体的には、以下に述べるように実行される。まず、第５特徴量及び目的変数の実測値を用いて、両者のPolychoric相関係数及びPolyserial相関係数が算出される。これら２つの相関係数は、順序尺度及び連続尺度それぞれに対応するものである。次いで、２つの相関係数の値が高い第５特徴量をネットワーク上の近くに配置するように、再計算が実行される。

【0053】

以上の計算が第５特徴量及び目的変数の実測値の全ての組合せに対して実行される。その後、ネットワーク上の第５特徴量から、目的変数の実測値に対して最も相関性の高い第５特徴量を第１位とした際の第１位以下の第５特徴量が、相関性の高い方から順に選択される。

【0054】

以上のように、第２選択部１２では、第５特徴量が目的変数の実測値に対する相関性に関して第１位以下の順位付けされる。そして、これらの順位付けされた第５特徴量及び目的変数の実測値が、第２学習データとして第２選択部１２から第４選択部１４に入力される。

【0055】

さらに、第３選択部１３では、第５学習データを用いて、以下に述べるように、第５学習データにおける第５特徴量の、目的変数の実測値に対する寄与度が算出されるとともに、最も寄与度の高い第５特徴量を第１位とした際の第１位以下の第５特徴量が寄与度の高い方から順に選択される（第３選択手法）。

【0056】

具体的には、第５特徴量及び目的変数の実測値を用いて、Ｒｅｌｉｅｆアルゴリズム（第２フィルタ処理）により、第５特徴量の目的変数の実測値に対する寄与度を算出する。この算出処理を第５特徴量及び目的変数の実測値の全ての組合せに対して実行した後、目的変数の実測値に対して最も寄与度の高い第５特徴量を第１位とした際の第１位以下の第５特徴量が、寄与度の高い方から順に選択される。

【0057】

以上のように、第３選択部１３では、第５特徴量が目的変数の実測値に対する寄与度に関して第１位以下の順位付けされる。そして、これらの順位付けされた第５特徴量及び目的変数の実測値が、第３学習データとして第３選択部１３から第４選択部１４に入力される。

【0058】

そして、第４選択部１４では、以上の第１～第３選択部１１～１３で選択された第５特徴量の順位の平均値が算出されるとともに、平均値の最も高い第５特徴量を第１位とした際の第１位から所定順位（例えば、数十位）までの第５特徴量が、学習用特徴量として選択される（第４選択手法）。そして、このように選択された学習用特徴量及び目的変数の実測値が、第４学習データとして第４選択部１４から学習データ作成部１７に入力される。

【0059】

一方、摸擬学習データ作成部１６では、第５学習データを用いて、摸擬学習データが作成される。具体的には、ｔ－ＧＡＮ（Generative adversarial training for synthesizing tabular data）アルゴリズムにより、第５学習データを用いて、摸擬的（擬似的）な学習データとして、摸擬学習データが作成される。

【0060】

そして、このように作成された摸擬学習データが、摸擬学習データ作成部１６から学習データ作成部１７に入力される。なお、本実施形態では、摸擬学習データ作成部１６で実行される演算処理が、摸擬学習データ作成ステップに相当する。

【0061】

次いで、学習データ作成部１７では、前述した第４学習データに摸擬学習データを加えることにより、最終的な学習データが作成される。そして、この学習データが、学習データ作成部１７から予測モデル学習部１８に入力される。なお、本実施形態では、学習データ作成部１７で実行される演算処理が、学習データ作成ステップに相当する。

【0062】

また、予測モデル学習部１８では、以上のように作成された学習データを用いて、教師あり機械学習アルゴリズムとしてのＸＧＢｏｏｓｔアルゴリズムにより、予測モデルの学習が実行される。そして、学習済みの予測モデルが予測モデル学習部１８から追加学習部１９に送られる。なお、本実施形態では、予測モデル学習部１８で実行される演算処理が、学習ステップに相当する。

【0063】

一方、追加学習部１９では、１相データのうちの、原料の特徴量が取得されているものの、製剤の目的変数の実測値が取得されていないデータと、予測モデル学習部１８で学習済みの予測モデルを用いて、半教師あり学習法としての共訓練（co-training）法により、予測モデルの学習がさらに実行される。なお、本実施形態では、追加学習部１９で実行される演算処理が追加学習ステップに相当する。

【0064】

この共訓練法では、目的変数の実測値が取得されていない製剤（以下「実測値なし製剤」という）の特徴量及び他の製剤の目的変数の実測値を、学習済みの予測モデルに入力することにより、実測値なし製剤の目的変数の予測値を取得し、この予測値を実測値なし製剤の目的変数の実測値として代入することにより、追加学習データが作成される。

【0065】

そして、残りの実測値なし製剤の特徴量と、追加学習データ及び学習データの特徴量とを、予測モデルに入力することにより、残りの実測値なし製剤の特徴量の予測値を取得し、この予測値を実測値なし製剤の目的変数の実測値として代入することにより、追加学習データがさらに作成される。追加学習部１９では、以上の演算を繰り返し実行することにより、予測モデルの学習がさらに実行される。

【0066】

第１学習部１０では、以上のように、１相データを用いて、予測モデルの学習が実行される。さらに、第２学習部３０では、図示しないが、以上の第１学習部１０と同様の学習手法により、２相データを用いて、予測モデルの学習が実行される。本出願人のテストによれば、以上のような学習法によって予測モデルの学習を実行した結果、予測モデルの予測誤差として、ｎＲＭＳＥ（Normalized Root Mean Square Error）が値０．１以下になることが確認できた。すなわち、本実施形態の予測モデルの学習法を実行することによって、予測モデルにおいて高い予測精度を確保できることが確認できた。

【0067】

以上のように、本実施形態の予測モデルの学習方法によれば、データ分別部２で、データベースから１相データ及び２相データが分別された状態で読み出される。これら１相データ及び２相データは、特徴量として、各種原料の配合率、作成法、攪拌方法、攪拌時間、攪拌回転数及び相状態などが含まれており、この配合率は、各種原料の最大配合値を基準として正規化した値に設定されている。したがって、正規化していない配合率を含む１相データ及び２相データを用いる場合と比べて、１相データ及び２相データにおけるノイズ及びばらつきの要因を排除することができる。

【0068】

また、製剤が複数の原料の配合物を攪拌することによって作製される場合、作成方法、攪拌方法、攪拌時間及び攪拌回転数は、目的変数としての物性値に対して及ぼす影響が高いパラメータとなる。したがって、そのようなパラメータを特徴量として含む１相データを用いることによって、予測モデルの学習精度を向上させることができる。

【0069】

さらに、第１学習部１０では、１相データを用いて、予測モデルの学習が実行され、第２学習部３０では、２相データを用いて、予測モデルの学習が実行される。このように、予測モデルの学習が、配合物の相状態ごとに別個に実行されるので、１相状態及び２相状態の配合物のデータが混在する特徴量を用いた場合と比べて、予測モデルの学習精度を向上させることができる。

【0070】

さらに、第１学習部１０の第５選択部１５では、１相データにおける特徴量のデータからＶＩＦ値が所定値未満の特徴量が第５特徴量として選択され、第５特徴量及び目的変数の実測値を含むデータが、第５学習データとして第５選択部１５から第１～第３選択部１１～１３に入力される。したがって、第５学習データを、多重共線性の要因となる特徴量が除外されたものとして作成することができる。

【0071】

また、第１選択部１１では、第５学習データにおける第５特徴量の重要度が算出され、最も重要度の高い第５特徴量を第１位とした際の第１位以下の第５特徴量が重要度の高い方から順に選択される。さらに、第２選択部１２では、第５学習データにおける第５特徴量と目的変数の実測値との相関性が算出され、最も相関性の高い第５特徴量を第１位とした際の第１位以下の第５特徴量が、相関性の高い方から順に選択される。

【0072】

一方、第３選択部１３では、第５学習データにおける第５特徴量の、目的変数の実測値に対する寄与度が算出され、最も寄与度の高い第５特徴量を第１位とした際の第１位以下の第５特徴量が寄与度の高い方から順に選択される。

【0073】

そして、第４選択部１４では、以上の第１～第３選択部１１～１３で選択された第５特徴量の順位の平均値が算出されるとともに、平均値の最も高い第５特徴量を第１位とした際の第１位から所定順位までの第５特徴量が、学習用特徴量として選択される。そして、このように選択された学習用特徴量及び目的変数の実測値が、第４学習データとして第４選択部１４から学習データ作成部１７に入力されるので、第１～３選択部での第５特徴量の選択結果におけるばらつき及びノイズの影響を抑制しながら、学習用特徴量を選択することができる。

【0074】

また、摸擬学習データ作成部１６では、ｔ－ＧＡＮアルゴリズムにより、第５学習データを用いて、摸擬学習データが作成され、学習データ作成部１７では、第４学習データに摸擬学習データを加えることにより、最終的な学習データが作成されるとともに、予測モデル学習部１８では、以上のように作成された学習データを用いて、予測モデルの学習が実行される。このように、学習データを、摸擬学習データの分、増大させることができることで、予測モデルの学習効果をさらに向上させることができる。

【0075】

一方、追加学習部１９の共訓練法では、学習済みの学習モデルを用いて、実測値なし製剤の目的変数の予測値を算出し、これを実測値なし製剤の目的変数の実測値として代入することにより、追加学習データが作成される。そして、残りの実測値なし製剤の特徴量と追加学習データ及び学習データとを用いて、予測モデルの学習がさらに実行されるので、予測モデルの学習を、追加学習データの分、より多く実行することができ、予測モデルの学習効果をさらに向上させることができる。

【0076】

なお、実施形態は、データベースに含まれる特徴量として、各種原料の配合率（重量％）、作成法、攪拌方法、攪拌時間、攪拌回転数及び相状態などを用いた例であるが、本発明の特徴量は、これらに限らず、配合率を含むものであればよい。

【0077】

また、実施形態は、配合率として、各種原料の最大配合値を基準として正規化した値を用いた例であるが、これに代えて、正規化する前の配合率を用いてもよい。

【0078】

さらに、実施形態は、データベースとして、製剤の目的変数の実測値が取得されていないデータ（図示せず）が含まれているものを用いた例であるが、データベースとして、製剤の目的変数の実測値がすべて取得されているものを用いる場合には、第１学習部１０の追加学習部１９及びその演算処理が省略される。

【0079】

また、実施形態の第１学習部１０において、第５選択部１５を省略してもよく、その場合には、第１～第３選択部１１～１３の演算において、第５学習データに代えて、１相データを用いるように構成すればよい。

【0080】

一方、実施形態は、化粧品を製剤とした例であるが、本発明の製剤は、これに限らず、複数の原料の混合物を攪拌することにより作成されるものであればよい。例えば、医薬品及び農薬などを製剤としてもよい。

【0081】

また、実施形態の第１学習部１０において、摸擬学習データ作成部１６を省略してもよく、その場合には、学習データ作成部１７の演算において、第４学習データのみを用いるように構成すればよい。

【0082】

さらに、実施形態は、教師あり機械学習アルゴリズムとして、ＸＧＢｏｏｓｔアルゴリズムを用いた例であるが、これに代えて、教師あり機械学習アルゴリズムとして、ニューラルネットワーク又はサポートベクターマシンなどを用いてもよい。

【0083】

一方、実施形態は、ＧＡＮアルゴリズムとして、ｔ－ＧＡＮアルゴリズムを用いた例であるが、これに代えて、ＧＡＮアルゴリズムとして、ＩｎｆｏＧＡＮ、Ｃｏｎｄｉｔｉｏｎａｌ ＧＡＮ、ＷＧＡＮ、又はＣｙｃｌｅＧＡＮなどのアルゴリズムを用いてもよい。

【0084】

また、実施形態は、第１機械学習アルゴリズムとして、ランダムフォレストアルゴリズムを用いた例であるが、本発明の第１機械学習アルゴリズムは、これに限らず、重要度の高い特徴量を選択できるものであればよい。例えば、第１機械学習アルゴリズムとして、一般化線形モデル（ＧＬＭ）及びＬａｓｓｏのような、各特徴量に対する回帰係数を算出できるアルゴリズムを用いてもよい。

【0085】

さらに、実施形態は、第１フィルタ処理として、第５特徴量及び目的変数の実測値のPolychoric相関係数及びPolyserial相関係数を算出し、これらの相関係数の値が高い第５特徴量をネットワーク上で近くに配置するように再計算する手法を用いた例であるが、本発明の第１フィルタ処理は、これに限らず、目的変数と特徴量の相関性を取得できるものであればよい。例えば、第１フィルタ処理として、相関分析アルゴリズム、分散分析アルゴリズム、カイ２乗スコア、フィッシャースコア又はａｎｏｖａなどを用いてもよい。

【0086】

また、実施形態は、第２フィルタ処理として、Ｒｅｌｉｅｆアルゴリズムを用いた例であるが、本発明の第２フィルタ処理は、これに限らず、目的変数に対する特徴量の寄与度を取得できるものであればよい。例えば、第２フィルタ処理として、相関分析アルゴリズム、分散分析アルゴリズム、カイ２乗スコア、フィッシャースコア又はａｎｏｖａなどを用いてもよい。

【0087】

一方、実施形態は、半教師あり学習法として、共訓練法を用いた例であるが、これに代えて、半教師あり学習法として、自己訓練（Self Training）法、半教師ありサポートベクターマシン法、又は能動学習法などを用いてもよい。

【0088】

また、実施形態は、情報処理装置として、パーソナルコンピュータタイプのものを用いた例であるが、これに代えて、情報処理装置として、サーバ又はクラウドサーバなどを用いてもよい。

【符号の説明】

【0089】

１ 情報処理装置
２ データ分別部（教師データ取得ステップ、未選択特徴量取得ステップ）
１０ 第１学習部
１１ 第１選択部（学習特徴量選択ステップ、第１選択手法）
１２ 第２選択部（学習特徴量選択ステップ、第２選択手法）
１３ 第３選択部（学習特徴量選択ステップ、第３選択手法）
１４ 第４選択部（学習特徴量選択ステップ、第４選択手法）
１５ 第５選択部（学習特徴量選択ステップ、第５選択手法）
１６ 摸擬学習データ作成部（摸擬学習データ作成ステップ）
１７ 学習データ作成部（学習データ作成ステップ）
１８ 予測モデル学習部（学習ステップ）
１９ 追加学習部（追加学習ステップ）
３０ 第２学習部

【図1】

【図2】

【図3】

【図4】