知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024173318
(43)【公開日】2024-12-12
(54)【発明の名称】品質予測システム及び予測プログラム
(51)【国際特許分類】
G06N 20/00 20190101AFI20241205BHJP
G06N 20/20 20190101ALI20241205BHJP
G06Q 50/04 20120101ALI20241205BHJP
【ＦＩ】
G06N20/00 130
G06N20/20
G06Q50/04
【審査請求】未請求
【請求項の数】8
【出願形態】ＯＬ
(21)【出願番号】P 2023091662
(22)【出願日】2023-06-02
(71)【出願人】
【識別番号】000000941
【氏名又は名称】株式会社カネカ
(74)【代理人】
【識別番号】100100480
【弁理士】
【氏名又は名称】藤田 隆
(74)【代理人】
【識別番号】100201455
【弁理士】
【氏名又は名称】横尾 宏治
(72)【発明者】
【氏名】山口 貴史
【テーマコード（参考）】
5L049
5L050
【Ｆターム（参考）】
5L049CC04
5L050CC04
(57)【要約】
【課題】本発明は、従来に比べて、高精度の学習モデルを生成でき、製造パラメータから品質パラメータを予測できる品質予測システムを提供する。
【解決手段】品質パラメータの中から抽出パラメータ群を抽出するパラメータ抽出部と、抽出パラメータ群から抽出パラメータ群の各品質パラメータの間の関係性を反映した少なくとも第１合成変数と第２合成変数を算出する第１変数変換部と、過去製品の製造パラメータと第１合成変数のデータセットを用いた教師あり学習によって生成される第１学習モデルと、過去製品の製造パラメータと第２合成変数のデータセットを用いた教師あり学習によって生成される第２学習モデルを生成する学習モデル生成部と、予測対象製品の製造パラメータから合成変数群を予測する予測部と、予測部が予測した合成変数群を抽出パラメータ群の各品質パラメータに変換する第２変数変換部を備える構成とする。
【選択図】図２
【解決手段】品質パラメータの中から抽出パラメータ群を抽出するパラメータ抽出部と、抽出パラメータ群から抽出パラメータ群の各品質パラメータの間の関係性を反映した少なくとも第１合成変数と第２合成変数を算出する第１変数変換部と、過去製品の製造パラメータと第１合成変数のデータセットを用いた教師あり学習によって生成される第１学習モデルと、過去製品の製造パラメータと第２合成変数のデータセットを用いた教師あり学習によって生成される第２学習モデルを生成する学習モデル生成部と、予測対象製品の製造パラメータから合成変数群を予測する予測部と、予測部が予測した合成変数群を抽出パラメータ群の各品質パラメータに変換する第２変数変換部を備える構成とする。
【選択図】図２
【特許請求の範囲】
【請求項1】
予測対象製品の複数種類の製造パラメータを用いて前記予測対象製品の複数種類の品質パラメータを予測する品質予測システムであって、
前記複数種類の品質パラメータの中から少なくとも２種類の品質パラメータを含んだ抽出パラメータ群を抽出するパラメータ抽出部と、
前記抽出パラメータ群の各品質パラメータから前記抽出パラメータ群の各品質パラメータの間の関係性を反映した少なくとも第１合成変数と第２合成変数を含む合成変数群を算出する第１変数変換部と、
過去に製造された過去製品の複数種類の製造パラメータと当該過去製品の第１合成変数のデータセットを用いた教師あり学習によって生成される第１学習モデルと、前記過去製品の複数種類の製造パラメータと前記過去製品の第２合成変数のデータセットを用いた教師あり学習によって生成される第２学習モデルと、を含む学習モデル群を生成する学習モデル生成部と、
前記学習モデル群を用いて前記予測対象製品の複数種類の製造パラメータから合成変数群を予測する予測部と、
前記予測部が予測した前記合成変数群を前記抽出パラメータ群の各品質パラメータに変換する第２変数変換部を備える、品質予測システム。
前記複数種類の品質パラメータの中から少なくとも２種類の品質パラメータを含んだ抽出パラメータ群を抽出するパラメータ抽出部と、
前記抽出パラメータ群の各品質パラメータから前記抽出パラメータ群の各品質パラメータの間の関係性を反映した少なくとも第１合成変数と第２合成変数を含む合成変数群を算出する第１変数変換部と、
過去に製造された過去製品の複数種類の製造パラメータと当該過去製品の第１合成変数のデータセットを用いた教師あり学習によって生成される第１学習モデルと、前記過去製品の複数種類の製造パラメータと前記過去製品の第２合成変数のデータセットを用いた教師あり学習によって生成される第２学習モデルと、を含む学習モデル群を生成する学習モデル生成部と、
前記学習モデル群を用いて前記予測対象製品の複数種類の製造パラメータから合成変数群を予測する予測部と、
前記予測部が予測した前記合成変数群を前記抽出パラメータ群の各品質パラメータに変換する第２変数変換部を備える、品質予測システム。
【請求項2】
前記第１変数変換部は、前記抽出パラメータ群における各品質パラメータを合成関数によって合成変数群を算出するものであり、
前記第２変数変換部は、前記合成関数の逆関数によって、前記第１合成変数及び前記第２合成変数を前記抽出パラメータ群の各品質パラメータに変換する、請求項１に記載の品質予測システム。
前記第２変数変換部は、前記合成関数の逆関数によって、前記第１合成変数及び前記第２合成変数を前記抽出パラメータ群の各品質パラメータに変換する、請求項１に記載の品質予測システム。
【請求項3】
前記第１変数変換部は、前記抽出パラメータ群における各品質パラメータを用いて主成分分析を行うものであり、
前記第１合成変数は、前記主成分分析における第１主成分であり、
前記第２合成変数は、前記主成分分析における第２主成分であり、
前記第２変数変換部は、前記第１変数変換部が行った前記主成分分析における第１主成分係数と第２主成分係数を用いて、前記第１合成変数及び前記第２合成変数を前記抽出パラメータ群の各品質パラメータに変換する、請求項２に記載の品質予測システム。
前記第１合成変数は、前記主成分分析における第１主成分であり、
前記第２合成変数は、前記主成分分析における第２主成分であり、
前記第２変数変換部は、前記第１変数変換部が行った前記主成分分析における第１主成分係数と第２主成分係数を用いて、前記第１合成変数及び前記第２合成変数を前記抽出パラメータ群の各品質パラメータに変換する、請求項２に記載の品質予測システム。
【請求項4】
前記抽出パラメータ群は、前記パラメータ抽出部によって前記複数種類の品質パラメータの中から無作為に抽出された品質パラメータで構成される、請求項１又は２に記載の品質予測システム。
【請求項5】
前記パラメータ抽出部は、複数種類の抽出パラメータ群を抽出するものであって、かつ前記複数種類の品質パラメータのそれぞれが前記複数種類の抽出パラメータ群のいずれかに属するように抽出するものであり、
前記第１変数変換部は、各抽出パラメータ群に対応する合成変数群をそれぞれ算出し、
前記学習モデル生成部は、過去製品の複数種類の製造パラメータと各合成変数群を用いて、各合成変数群に対応する学習モデル群をそれぞれ生成し、
前記予測部は、各学習モデル群を用いて、前記予測対象製品の複数種類の製造パラメータから各学習モデル群に対応する合成変数群をそれぞれ予測し、
前記第２変数変換部は、前記予測部が予測した各合成変数群を用いて前記予測対象製品の複数種類の品質パラメータのそれぞれに変換する、請求項１又は２に記載の品質予測システム。
前記第１変数変換部は、各抽出パラメータ群に対応する合成変数群をそれぞれ算出し、
前記学習モデル生成部は、過去製品の複数種類の製造パラメータと各合成変数群を用いて、各合成変数群に対応する学習モデル群をそれぞれ生成し、
前記予測部は、各学習モデル群を用いて、前記予測対象製品の複数種類の製造パラメータから各学習モデル群に対応する合成変数群をそれぞれ予測し、
前記第２変数変換部は、前記予測部が予測した各合成変数群を用いて前記予測対象製品の複数種類の品質パラメータのそれぞれに変換する、請求項１又は２に記載の品質予測システム。
【請求項6】
前記過去製品の中から所定の過去製品を抽出する製品抽出部を有し、
前記第１変数変換部は、前記製品抽出部が抽出した過去製品の前記抽出パラメータ群の各品質パラメータから、前記抽出パラメータ群の各品質パラメータの間の関係性を反映した合成変数群を生成する、請求項１又は２に記載の品質予測システム。
前記第１変数変換部は、前記製品抽出部が抽出した過去製品の前記抽出パラメータ群の各品質パラメータから、前記抽出パラメータ群の各品質パラメータの間の関係性を反映した合成変数群を生成する、請求項１又は２に記載の品質予測システム。
【請求項7】
前記第１変数変換部は、前記抽出パラメータ群の各品質パラメータから、前記第１合成変数と前記第２合成変数をそれぞれ個別に算出する、請求項１又は２に記載の品質予測システム。
【請求項8】
コンピュータに、予測対象製品の複数種類の製造パラメータを用いて前記予測対象製品の複数種類の品質パラメータを予測させる予測プログラムであって、
前記複数種類の品質パラメータの中から少なくとも２種類の品質パラメータを含んだ抽出パラメータ群を抽出する機能と、
前記抽出パラメータ群の各品質パラメータから前記抽出パラメータ群の各品質パラメータの間の関係性を反映した少なくとも第１合成変数と第２合成変数を含む合成変数群を算出する機能と、
過去に製造された過去製品の複数種類の製造パラメータと当該過去製品の第１合成変数のデータセットを用いた教師あり学習によって生成される第１学習モデルと、前記過去製品の複数種類の製造パラメータと前記過去製品の第２合成変数のデータセットを用いた教師あり学習によって生成される第２学習モデルと、を含む学習モデル群を生成する機能と、
前記学習モデル群を用いて前記予測対象製品の複数種類の製造パラメータから合成変数群を予測する機能と、
予測した前記合成変数群を前記抽出パラメータ群の各品質パラメータに変換する機能を備える、予測プログラム。
前記複数種類の品質パラメータの中から少なくとも２種類の品質パラメータを含んだ抽出パラメータ群を抽出する機能と、
前記抽出パラメータ群の各品質パラメータから前記抽出パラメータ群の各品質パラメータの間の関係性を反映した少なくとも第１合成変数と第２合成変数を含む合成変数群を算出する機能と、
過去に製造された過去製品の複数種類の製造パラメータと当該過去製品の第１合成変数のデータセットを用いた教師あり学習によって生成される第１学習モデルと、前記過去製品の複数種類の製造パラメータと前記過去製品の第２合成変数のデータセットを用いた教師あり学習によって生成される第２学習モデルと、を含む学習モデル群を生成する機能と、
前記学習モデル群を用いて前記予測対象製品の複数種類の製造パラメータから合成変数群を予測する機能と、
予測した前記合成変数群を前記抽出パラメータ群の各品質パラメータに変換する機能を備える、予測プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、製造パラメータから品質パラメータを予測する品質予測システム及び予測プログラムに関する。
【背景技術】
【0002】
従来から複数の説明変数から複数の目的変数を予測する手法として、マルチターゲット回帰（Multi-Target Regression）が知られている（例えば、特許文献１、非特許文献１）。
【0003】
例えば、非特許文献１では、既知の複数の説明変数と複数の目的変数のデータセットを用い、複数の目的変数の中からランダムに２種類の目的変数を抽出し、抽出した２種類の目的変数に対してランダム線形ターゲット結合（Random Linear Target Combinations）を行ってランダムに設定された重みによって合成変数を算出する。
これを複数回、繰り返して多様性を持った複数の合成変数を算出し、複数の説明変数と合成変数のデータセットを用いて教師あり学習し、複数の説明変数から合成変数を予測する学習モデルを合成変数ごとに作成する。
これを複数回、繰り返して多様性を持った複数の合成変数を算出し、複数の説明変数と合成変数のデータセットを用いて教師あり学習し、複数の説明変数から合成変数を予測する学習モデルを合成変数ごとに作成する。
【0004】
そして、非特許文献１では、説明変数を複数の学習モデルに入力することで、合成変数の予測値からなる行列を生成し、当該行列に対してランダム線形ターゲット結合で使用した重みで構成される係数行列の逆行列を掛けて複数の目的変数を同時に予測する。
【0005】
非特許文献１によれば、勾配ブースティングを用いて複数の説明変数から複数の目的変数を直接予測する場合に比べて予測精度が向上するとされている。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特許第７１３７３０３号公報
【非特許文献1】Tsoumakas, G., Spyromitros-Xioufis, E., Vrekou, A., Vlahavas, I., 2014.
【発明の概要】
【発明が解決しようとする課題】
【0007】
しかしながら、非特許文献１は、ランダムに設定された重みによって合成変数を算出するため、抽出した目的変数間で特徴が打ち消し合ったり、ノイズが協調されたりする場合があり、学習モデルの最適化の観点から改良の余地があった。
【0008】
そこで、本発明は、従来に比べて、高精度の学習モデルを生成でき、当該学習モデルを用いて複数の製造パラメータから複数の品質パラメータを予測できる品質予測システム及び予測プログラムを提供することを課題とする。
【課題を解決するための手段】
【0009】
上記した課題を解決するための一つの様相は、予測対象製品の複数種類の製造パラメータを用いて前記予測対象製品の複数種類の品質パラメータを予測する品質予測システムであって、前記複数種類の品質パラメータの中から少なくとも２種類の品質パラメータを含んだ抽出パラメータ群を抽出するパラメータ抽出部と、前記抽出パラメータ群の各品質パラメータから前記抽出パラメータ群の各品質パラメータの間の関係性を反映した少なくとも第１合成変数と第２合成変数を含む合成変数群を算出する第１変数変換部と、過去に製造された過去製品の複数種類の製造パラメータと当該過去製品の第１合成変数のデータセットを用いた教師あり学習によって生成される第１学習モデルと、前記過去製品の複数種類の製造パラメータと前記過去製品の第２合成変数のデータセットを用いた教師あり学習によって生成される第２学習モデルと、を含む学習モデル群を生成する学習モデル生成部と、前記学習モデル群を用いて前記予測対象製品の複数種類の製造パラメータから合成変数群を予測する予測部と、前記予測部が予測した前記合成変数群を前記抽出パラメータ群の各品質パラメータに変換する第２変数変換部を備える、品質予測システムである。
【0010】
本様相によれば、１つの抽出パラメータ群から抽出パラメータ群を構成する各種の品質パラメータの間の関係性を反映した複数の合成変数に変換できるので、従来に比べて高精度の学習モデルが生成できる。
本様相によれば、各製造パラメータから各種の品質パラメータの間の関係性を反映した合成変数群を構成する各合成変数をそれぞれ予測し、予測した各合成変数から各品質パラメータを予測するので、既存のマルチターゲット回帰によって製造パラメータから直接品質パラメータを予測する場合に比べて精度良く品質パラメータを予測することができる。
このように、本様相によれば、品質パラメータ間の関係性を加味したより適切な合成変数を生成できることで、同じデータセットを用いた場合でも従来に比べて高精度の学習モデルを生成でき、当該学習モデルを用いて複数の製造パラメータから複数の品質パラメータを予測できる。
本様相によれば、各製造パラメータから各種の品質パラメータの間の関係性を反映した合成変数群を構成する各合成変数をそれぞれ予測し、予測した各合成変数から各品質パラメータを予測するので、既存のマルチターゲット回帰によって製造パラメータから直接品質パラメータを予測する場合に比べて精度良く品質パラメータを予測することができる。
このように、本様相によれば、品質パラメータ間の関係性を加味したより適切な合成変数を生成できることで、同じデータセットを用いた場合でも従来に比べて高精度の学習モデルを生成でき、当該学習モデルを用いて複数の製造パラメータから複数の品質パラメータを予測できる。
【0011】
好ましい様相は、前記第１変数変換部は、前記抽出パラメータ群における各品質パラメータを合成関数によって合成変数群を算出するものであり、前記第２変数変換部は、前記合成関数の逆関数によって、前記第１合成変数及び前記第２合成変数を前記抽出パラメータ群の各品質パラメータに変換する。
【0012】
より好ましい様相は、前記第１変数変換部は、前記抽出パラメータ群における各品質パラメータを用いて主成分分析を行うものであり、前記第１合成変数は、前記主成分分析における第１主成分であり、前記第２合成変数は、前記主成分分析における第２主成分であり、前記第２変数変換部は、前記第１変数変換部が行った前記主成分分析における第１主成分係数と第２主成分係数を用いて、前記第１合成変数及び前記第２合成変数を前記抽出パラメータ群の各品質パラメータに変換する。
【0013】
好ましい様相は、前記抽出パラメータ群は、前記パラメータ抽出部によって前記複数種類の品質パラメータの中から無作為に抽出された品質パラメータで構成される。
【0014】
好ましい様相は、前記パラメータ抽出部は、複数種類の抽出パラメータ群を抽出するものであって、かつ前記複数種類の品質パラメータのそれぞれが前記複数種類の抽出パラメータ群のいずれかに属するように抽出するものであり、前記第１変数変換部は、各抽出パラメータ群に対応する合成変数群をそれぞれ算出し、前記学習モデル生成部は、過去製品の複数種類の製造パラメータと各合成変数群を用いて、各合成変数群に対応する学習モデル群をそれぞれ生成し、前記予測部は、各学習モデル群を用いて、前記予測対象製品の複数種類の製造パラメータから各学習モデル群に対応する合成変数群をそれぞれ予測し、前記第２変数変換部は、前記予測部が予測した各合成変数群を用いて前記予測対象製品の複数種類の品質パラメータのそれぞれに変換する。
【0015】
好ましい様相は、前記過去製品の中から所定の過去製品を抽出する製品抽出部を有し、
前記第１変数変換部は、前記製品抽出部が抽出した過去製品の前記抽出パラメータ群の各品質パラメータから、前記抽出パラメータ群の各品質パラメータの間の関係性を反映した合成変数群を生成する。
前記第１変数変換部は、前記製品抽出部が抽出した過去製品の前記抽出パラメータ群の各品質パラメータから、前記抽出パラメータ群の各品質パラメータの間の関係性を反映した合成変数群を生成する。
【0016】
好ましい様相は、前記第１変数変換部は、前記抽出パラメータ群の各品質パラメータから、前記第１合成変数と前記第２合成変数をそれぞれ個別に算出する。
【0017】
本発明の一つの様相は、コンピュータに、予測対象製品の複数種類の製造パラメータを用いて前記予測対象製品の複数種類の品質パラメータを予測させる予測プログラムであって、前記複数種類の品質パラメータの中から少なくとも２種類の品質パラメータを含んだ抽出パラメータ群を抽出する機能と、前記抽出パラメータ群の各品質パラメータから前記抽出パラメータ群の各品質パラメータの間の関係性を反映した少なくとも第１合成変数と第２合成変数を含む合成変数群を算出する機能と、過去に製造された過去製品の複数種類の製造パラメータと当該過去製品の第１合成変数のデータセットを用いた教師あり学習によって生成される第１学習モデルと、前記過去製品の複数種類の製造パラメータと前記過去製品の第２合成変数のデータセットを用いた教師あり学習によって生成される第２学習モデルと、を含む学習モデル群を生成する機能と、前記学習モデル群を用いて前記予測対象製品の複数種類の製造パラメータから合成変数群を予測する機能と、予測した前記合成変数群を前記抽出パラメータ群の各品質パラメータに変換する機能を備える、予測プログラムである。
【0018】
本様相によれば、従来に比べて、高精度の学習モデルを生成でき、当該学習モデルを用いて複数の製造パラメータから複数の品質パラメータを予測できる。
【発明の効果】
【0019】
本発明の品質予測システム及び予測プログラムによれば、従来に比べて、高精度の学習モデルを生成でき、当該学習モデルを用いて複数の製造パラメータから複数の品質パラメータを予測できる。
【図面の簡単な説明】
【0020】
【図1】本発明の第１実施形態の品質予測システムを模式的に示したブロック図である。
【図5】実験例１～３に用いた全てのデータセット内の説明変数のすべての組み合わせの相関の分布をまとめたボックスプロットで示したグラフである。
【図6】各データセットの目的変数間の相関係数の中央値とゲインの関係を表すグラフであり、（ａ）は、実験例３をベースラインとした実験例１のゲインを表し、（ｂ）は、実験例２をベースラインとした実験例１のゲインを表す。
【発明を実施するための形態】
【0021】
以下、本発明の実施形態について詳細に説明する。
【0022】
本発明の第１実施形態の品質予測システム１は、予測プログラムによって、マルチターゲット回帰（Multi-Target Regression）により、予測対象となる製品（以下、予測対象製品ともいう）に関する複数種類の製造パラメータＸ１～Ｘｎ（説明変数）から、予測対象製品の複数種類の品質パラメータＹ１～Ｙｍ（目的変数）を同時に予測するものである。
【0023】
品質予測システム１は、ハードウェア構成として、各装置を制御する制御装置とデータに対する演算を行う演算装置で構成される中央処理装置と、データを記憶する記憶装置、外部からデータを入力する入力装置、外部にデータを出力する出力装置を備えたコンピュータである。
品質予測システム１は、図１のように、データ蓄積部２と、パラメータ抽出部３と、製品抽出部５と、第１変数変換部６と、学習モデル生成部７と、予測部８と、第２変数変換部１０を備えている。
品質予測システム１は、図１のように、データ蓄積部２と、パラメータ抽出部３と、製品抽出部５と、第１変数変換部６と、学習モデル生成部７と、予測部８と、第２変数変換部１０を備えている。
【0024】
（データ蓄積部２）
データ蓄積部２は、予測プログラムが格納され、過去に製造された製品（以下、単に過去製品ともいう）において製造に使用した各製造パラメータＸ１～Ｘｎと、当該過去製品の各品質パラメータＹ１～Ｙｍのデータセットを蓄積する部位である。
また、データ蓄積部２は、予測プログラムによって生成された学習モデルＳ１～Ｓｒや予測結果等のデータを蓄積可能となっている。
データ蓄積部２に蓄積された各製品には、図３（ｂ）のように、ロット番号が割り当てられており、各製品の製造パラメータＸ１～Ｘｎ及び品質パラメータＹ１～Ｙｍがロット番号で紐づけられている。
データ蓄積部２は、予測プログラムが格納され、過去に製造された製品（以下、単に過去製品ともいう）において製造に使用した各製造パラメータＸ１～Ｘｎと、当該過去製品の各品質パラメータＹ１～Ｙｍのデータセットを蓄積する部位である。
また、データ蓄積部２は、予測プログラムによって生成された学習モデルＳ１～Ｓｒや予測結果等のデータを蓄積可能となっている。
データ蓄積部２に蓄積された各製品には、図３（ｂ）のように、ロット番号が割り当てられており、各製品の製造パラメータＸ１～Ｘｎ及び品質パラメータＹ１～Ｙｍがロット番号で紐づけられている。
【0025】
（パラメータ抽出部３）
パラメータ抽出部３は、データ蓄積部２に蓄積された製品の品質パラメータＹ１～Ｙｍ中からｑ種類の品質パラメータを含んだ抽出パラメータ群Ｔ１～Ｔｒ／ｋを抽出する部位である。
パラメータ抽出部３による品質パラメータの抽出種類数ｑは、２以上であり、５以下であることが好ましく、２又は３であることがより好ましい。
本実施形態のパラメータ抽出部３は、過去製品の品質パラメータＹ１～Ｙｍ中から無作為に２種類（ｑ＝２）の品質パラメータで構成される抽出パラメータ群Ｔ１～Ｔｒ／ｋを抽出可能となっている。
また、ｋは、第１変数変換部６によって１つの抽出パラメータ群Ｔｉから変換する合成変数の個数であり、本実施形態では２となっている。
パラメータ抽出部３は、データ蓄積部２に蓄積された製品の品質パラメータＹ１～Ｙｍ中からｑ種類の品質パラメータを含んだ抽出パラメータ群Ｔ１～Ｔｒ／ｋを抽出する部位である。
パラメータ抽出部３による品質パラメータの抽出種類数ｑは、２以上であり、５以下であることが好ましく、２又は３であることがより好ましい。
本実施形態のパラメータ抽出部３は、過去製品の品質パラメータＹ１～Ｙｍ中から無作為に２種類（ｑ＝２）の品質パラメータで構成される抽出パラメータ群Ｔ１～Ｔｒ／ｋを抽出可能となっている。
また、ｋは、第１変数変換部６によって１つの抽出パラメータ群Ｔｉから変換する合成変数の個数であり、本実施形態では２となっている。
【0026】
（製品抽出部５）
製品抽出部５は、過去製品の中から所定数ｕの過去製品を抽出する部位である。
製品抽出部５が抽出する過去製品数ｕは、後述する主成分分析において良好に分析する観点から、３０個以上であることが好ましく、１００個以上であることがより好ましい。
製品抽出部５が抽出する過去製品数ｕは、全製品の５０％以上の個数であることが好ましく、７０％以上の個数であることが好ましい。
製品抽出部５が抽出する過去製品数ｕは、全製品の９５％以下の個数であることが好ましく、９０％以下の個数であることが好ましい。
製品抽出部５は、過去製品の中から所定数ｕの過去製品を抽出する部位である。
製品抽出部５が抽出する過去製品数ｕは、後述する主成分分析において良好に分析する観点から、３０個以上であることが好ましく、１００個以上であることがより好ましい。
製品抽出部５が抽出する過去製品数ｕは、全製品の５０％以上の個数であることが好ましく、７０％以上の個数であることが好ましい。
製品抽出部５が抽出する過去製品数ｕは、全製品の９５％以下の個数であることが好ましく、９０％以下の個数であることが好ましい。
【0027】
（第１変数変換部６）
第１変数変換部６は、パラメータ抽出部３が抽出した抽出パラメータ群Ｔ１～Ｔｒ／ｋから抽出パラメータ群Ｔ１～Ｔｒ／ｋを構成する各種の品質パラメータの間の関係性を反映した複数の合成変数Ｚ１～Ｚｒを含む合成変数群Ｚを算出する部位である。
本実施形態の第１変数変換部６は、抽出パラメータ群Ｔｉにおける各種の品質パラメータから対応する合成関数によって、抽出パラメータ群Ｔｉを構成する各種の品質パラメータの間の関係性を反映した第１合成変数Ｚ２ｉ－１と第２合成変数Ｚ２ｉを少なくとも含む合成変数群Ｚを算出可能となっている（ｉは、ｒ以下の自然数である）。
第１変数変換部６は、パラメータ抽出部３が抽出した抽出パラメータ群Ｔ１～Ｔｒ／ｋから抽出パラメータ群Ｔ１～Ｔｒ／ｋを構成する各種の品質パラメータの間の関係性を反映した複数の合成変数Ｚ１～Ｚｒを含む合成変数群Ｚを算出する部位である。
本実施形態の第１変数変換部６は、抽出パラメータ群Ｔｉにおける各種の品質パラメータから対応する合成関数によって、抽出パラメータ群Ｔｉを構成する各種の品質パラメータの間の関係性を反映した第１合成変数Ｚ２ｉ－１と第２合成変数Ｚ２ｉを少なくとも含む合成変数群Ｚを算出可能となっている（ｉは、ｒ以下の自然数である）。
【0028】
（学習モデル生成部７）
学習モデル生成部７は、過去製品の製造パラメータＸ１～Ｘｎと過去製品の第１合成変数Ｚ２ｉ－１のデータセットを用いた教師あり学習によって生成される第１学習モデルＳ２ｉ－１と、過去製品の製造パラメータＸ１～Ｘｎと過去製品の第２合成変数Ｚ２ｉのデータセットを用いた教師あり学習によって生成される第２学習モデルＳ２ｉと、を含む学習モデル群Ｓを生成する部位である。
学習モデル生成部７は、例えば、図２のように、第１学習モデルＳ１を用いて算出した第１合成変数Ｚｓ１と抽出パラメータ群Ｔ１の各種の品質パラメータＹ２，Ｙ４から算出した第１合成変数Ｚ１との誤差関数が０又は０に近づくように第１学習モデルＳ１を生成する。
また、学習モデル生成部７は、例えば、第２学習モデルＳ２を用いて算出した第２合成変数Ｚｓ２と抽出パラメータ群Ｔ１の各種の品質パラメータＹ２，Ｙ４から算出した第２合成変数Ｚ２との誤差関数が０又は０に近づくように第２学習モデルＳ２を生成する。
学習モデル生成部７は、過去製品の製造パラメータＸ１～Ｘｎと過去製品の第１合成変数Ｚ２ｉ－１のデータセットを用いた教師あり学習によって生成される第１学習モデルＳ２ｉ－１と、過去製品の製造パラメータＸ１～Ｘｎと過去製品の第２合成変数Ｚ２ｉのデータセットを用いた教師あり学習によって生成される第２学習モデルＳ２ｉと、を含む学習モデル群Ｓを生成する部位である。
学習モデル生成部７は、例えば、図２のように、第１学習モデルＳ１を用いて算出した第１合成変数Ｚｓ１と抽出パラメータ群Ｔ１の各種の品質パラメータＹ２，Ｙ４から算出した第１合成変数Ｚ１との誤差関数が０又は０に近づくように第１学習モデルＳ１を生成する。
また、学習モデル生成部７は、例えば、第２学習モデルＳ２を用いて算出した第２合成変数Ｚｓ２と抽出パラメータ群Ｔ１の各種の品質パラメータＹ２，Ｙ４から算出した第２合成変数Ｚ２との誤差関数が０又は０に近づくように第２学習モデルＳ２を生成する。
【0029】
（予測部８）
予測部８は、図４のように、学習モデル生成部７が生成した学習モデル群Ｓを用いて予測対象製品の製造パラメータＸ１～Ｘｎから合成変数群Ｚｓを予測する部位である。
予測部８は、図４のように、学習モデル生成部７が生成した学習モデル群Ｓを用いて予測対象製品の製造パラメータＸ１～Ｘｎから合成変数群Ｚｓを予測する部位である。
【0030】
（第２変数変換部１０）
第２変数変換部１０は、予測部８が予測した合成変数群Ｚｓを各種の品質パラメータＹ１～Ｙｍに変換する部位である。
第２変数変換部１０は、第１変数変換部６で用いた合成関数の逆関数によって、合成変数群Ｚｓを予測対象製品の各種の品質パラメータＹ１～Ｙｍに変換可能となっている。
第２変数変換部１０は、予測部８が予測した合成変数群Ｚｓを各種の品質パラメータＹ１～Ｙｍに変換する部位である。
第２変数変換部１０は、第１変数変換部６で用いた合成関数の逆関数によって、合成変数群Ｚｓを予測対象製品の各種の品質パラメータＹ１～Ｙｍに変換可能となっている。
【0031】
（製造パラメータＸ１～Ｘｎ）
製造パラメータＸ１～Ｘｎは、製品の製造時に設定されるパラメータであり、原料や材料、仕掛品に関するパラメータである。
製造パラメータＸ１～Ｘｎは、例えば、製品が弾性シーラント材の場合、各材料ポリマーと、フィラーや安定剤などの副材料の混合比率、材料ポリマー等の反応基の種類、粘度、分子量などが含まれる。
製造パラメータＸ１～Ｘｎは、製品の製造時に設定されるパラメータであり、原料や材料、仕掛品に関するパラメータである。
製造パラメータＸ１～Ｘｎは、例えば、製品が弾性シーラント材の場合、各材料ポリマーと、フィラーや安定剤などの副材料の混合比率、材料ポリマー等の反応基の種類、粘度、分子量などが含まれる。
【0032】
（品質パラメータＹ１～Ｙｍ）
品質パラメータＹ１～Ｙｍは、製品の品質に関するパラメータであり、製品の物性や特性に関するパラメータである。
品質パラメータＹ１～Ｙｍは、例えば、製品が弾性シーラント材の場合、モジュラス５０（Ｍ５０）やモジュラス１００（Ｍ１００）、引張強度（Ｔｂ）、破断伸び（Ｒｂ）などが含まれる。
本実施形態の品質パラメータＹ１～Ｙｍの中には、トレードオフの関係にある品質パラメータが含まれている。
品質パラメータＹ１～Ｙｍは、製品の品質に関するパラメータであり、製品の物性や特性に関するパラメータである。
品質パラメータＹ１～Ｙｍは、例えば、製品が弾性シーラント材の場合、モジュラス５０（Ｍ５０）やモジュラス１００（Ｍ１００）、引張強度（Ｔｂ）、破断伸び（Ｒｂ）などが含まれる。
本実施形態の品質パラメータＹ１～Ｙｍの中には、トレードオフの関係にある品質パラメータが含まれている。
【0033】
本実施形態の品質予測システム１を用いて予測プログラムによって実行される品質予測方法について説明する。
【0034】
品質予測システム１の品質予測方法は、主に学習工程と、予測工程によって構成されている。
【0035】
（学習工程）
学習工程は、準備工程と、訓練工程と、テスト工程から構成されている。
準備工程では、過去製品の各製造パラメータＸ１～Ｘｎと各品質パラメータＹ１～Ｙｍのデータセットを少なくとも訓練工程で使用される訓練データセットと、テスト工程で使用されるテストデータセットに分割する。
訓練データセットとテストデータセットの比率は、特に限定されるものではないが、テストデータセットに比べて訓練データセットが多いことが好ましい。
学習工程は、準備工程と、訓練工程と、テスト工程から構成されている。
準備工程では、過去製品の各製造パラメータＸ１～Ｘｎと各品質パラメータＹ１～Ｙｍのデータセットを少なくとも訓練工程で使用される訓練データセットと、テスト工程で使用されるテストデータセットに分割する。
訓練データセットとテストデータセットの比率は、特に限定されるものではないが、テストデータセットに比べて訓練データセットが多いことが好ましい。
【0036】
訓練工程では、パラメータ抽出部３によって訓練データセットの各種類の品質パラメータＹ１～Ｙｍからｑ種類の品質パラメータを（ｒ／ｋ）回無作為に抽出し、（ｒ／ｋ）個の抽出パラメータ群Ｔ１～Ｔｒ／ｋに分ける。
第１変数変換部６が各抽出パラメータ群Ｔ１～Ｔｒ／ｋの各種の品質パラメータから合成関数によってｋ個の合成変数Ｚｓ１～Ｚｓｒを生成し、学習モデル生成部７が訓練データセットの各種の製造パラメータＸ１～Ｘｎと各合成変数Ｚｓ１～Ｚｓｒのデータセットを用いて、教師あり学習により、訓練データセットの各種の製造パラメータＸ１～Ｘｎから各合成変数Ｚｓ１～Ｚｓｒを予測する学習モデルＳ１～Ｓｒをそれぞれ生成する。
第１変数変換部６が各抽出パラメータ群Ｔ１～Ｔｒ／ｋの各種の品質パラメータから合成関数によってｋ個の合成変数Ｚｓ１～Ｚｓｒを生成し、学習モデル生成部７が訓練データセットの各種の製造パラメータＸ１～Ｘｎと各合成変数Ｚｓ１～Ｚｓｒのデータセットを用いて、教師あり学習により、訓練データセットの各種の製造パラメータＸ１～Ｘｎから各合成変数Ｚｓ１～Ｚｓｒを予測する学習モデルＳ１～Ｓｒをそれぞれ生成する。
【0037】
ここで、本実施形態の訓練工程では、ｑが２に設定され、ｋが２に設定されている。
例えば、図２の抽出パラメータ群Ｔ１の場合、抽出パラメータ群Ｔ１の各種の品質パラメータＹ２，Ｙ４から合成関数によって２個の合成変数Ｚ１，Ｚ２を生成し、訓練データセットの各種の製造パラメータＸ１～Ｘｎと各合成変数Ｚ１，Ｚ２のデータセットを用いて、教師あり学習により、訓練データセットの各種の製造パラメータＸ１～Ｘｎから各合成変数Ｚｓ１，Ｚｓ２を予測する学習モデルＳ１，Ｓ２を生成する。
例えば、図２の抽出パラメータ群Ｔ１の場合、抽出パラメータ群Ｔ１の各種の品質パラメータＹ２，Ｙ４から合成関数によって２個の合成変数Ｚ１，Ｚ２を生成し、訓練データセットの各種の製造パラメータＸ１～Ｘｎと各合成変数Ｚ１，Ｚ２のデータセットを用いて、教師あり学習により、訓練データセットの各種の製造パラメータＸ１～Ｘｎから各合成変数Ｚｓ１，Ｚｓ２を予測する学習モデルＳ１，Ｓ２を生成する。
【0038】
パラメータ抽出部３による抽出パラメータ群Ｔ１～Ｔｒ／ｋの抽出回数ｒ／ｋは、全品質パラメータＹ１～Ｙｍのそれぞれが抽出パラメータ群Ｔ１～Ｔｒ／ｋのいずれかに属するのに十分な回数であり、予測対象となる品質パラメータＹ１～Ｙｍの種類数ｍにより適宜設定される。
パラメータ抽出部３による抽出パラメータ群Ｔ１～Ｔｒ／ｋの抽出回数ｒ／ｋは、ｍ／２よりも多く、２００回以上であることが好ましく、２５０回以上であることが好ましい。
パラメータ抽出部３による抽出パラメータ群Ｔ１～Ｔｒ／ｋの抽出回数ｒ／ｋは、ｍ／２よりも多く、２００回以上であることが好ましく、２５０回以上であることが好ましい。
【0039】
この訓練工程で使用される合成関数は、抽出パラメータ群Ｔ１～Ｔｒ／ｋの各種の品質パラメータから合成変数Ｚ１～Ｚｒを算出でき、かつ合成変数から元の品質パラメータへ戻す逆合成関数をもつものであれば、特に限定されるものではない。合成関数は、主成分分析や、オートエンコーダなどが使用できる。
オートエンコーダとしては、積層オートエンコーダ（Stacked Autoencoder）、変分オートエンコーダ（Variational Autoencoder）、畳み込みオートエンコーダ（Convolutional Autoencoder）などが使用できる。
本実施形態の合成関数は、主成分分析を使用しており、第１主成分を第１合成変数Ｚ２ｉ－１とし、第２主成分を第２合成変数Ｚ２ｉとしている。
すなわち、第１変数変換部６は、抽出パラメータ群Ｔｉにおいて、抽出パラメータ群Ｔｉを構成する各種の品質パラメータＹα，Ｙβを用いて合成関数たる主成分分析を行い、主成分分析における第１主成分である第１合成変数Ｚ２ｉ－１と、主成分分析における第２主成分である第２合成変数Ｚ２ｉをそれぞれ算出する（α、βは、ともに自然数である）。
具体的には、第１変数変換部６は、図３（ａ）のように、ＸＹ平面上に訓練データセットの品質パラメータＹαと品質パラメータＹβを平均が０、標準偏差が１になるように正規化して分布し、射影したデータの分散が最大になる第１主成分軸Ａ１と、第１主成分軸Ａ１と直交しかつ射影したデータの分散が最大となる第２主成分軸Ａ２を算出する。そして、第１主成分軸Ａ１に射影した第１主成分軸Ａ１における座標を第１合成変数Ｚ２ｉ－１とし、第２主成分軸Ａ２に射影した第２主成分軸Ａ２における座標を第２合成変数Ｚ２ｉとする。
オートエンコーダとしては、積層オートエンコーダ（Stacked Autoencoder）、変分オートエンコーダ（Variational Autoencoder）、畳み込みオートエンコーダ（Convolutional Autoencoder）などが使用できる。
本実施形態の合成関数は、主成分分析を使用しており、第１主成分を第１合成変数Ｚ２ｉ－１とし、第２主成分を第２合成変数Ｚ２ｉとしている。
すなわち、第１変数変換部６は、抽出パラメータ群Ｔｉにおいて、抽出パラメータ群Ｔｉを構成する各種の品質パラメータＹα，Ｙβを用いて合成関数たる主成分分析を行い、主成分分析における第１主成分である第１合成変数Ｚ２ｉ－１と、主成分分析における第２主成分である第２合成変数Ｚ２ｉをそれぞれ算出する（α、βは、ともに自然数である）。
具体的には、第１変数変換部６は、図３（ａ）のように、ＸＹ平面上に訓練データセットの品質パラメータＹαと品質パラメータＹβを平均が０、標準偏差が１になるように正規化して分布し、射影したデータの分散が最大になる第１主成分軸Ａ１と、第１主成分軸Ａ１と直交しかつ射影したデータの分散が最大となる第２主成分軸Ａ２を算出する。そして、第１主成分軸Ａ１に射影した第１主成分軸Ａ１における座標を第１合成変数Ｚ２ｉ－１とし、第２主成分軸Ａ２に射影した第２主成分軸Ａ２における座標を第２合成変数Ｚ２ｉとする。
【0040】
また、本実施形態では、データの多様性の観点から、ブーストトラップサンプリング（bootstrap sampling）によって、合成変数Ｚ２ｉ－１，Ｚ２ｉの生成に使用する抽出パラメータ群Ｔｉの各種の品質パラメータを選別している。
すなわち、本実施形態では、合成変数Ｚ２ｉ－１，Ｚ２ｉの生成に使用する抽出パラメータ群Ｔｉの各種の品質パラメータを、過去製品の抽出パラメータ群Ｔｉを構成する各種の品質パラメータを全て使用するのではなく、製品抽出部５が過去製品の中からｐ個の過去製品を無作為に抽出し、当該抽出したｐ個の過去製品の各種の品質パラメータをＸＹ平面上にプロットして合成変数Ｚ２ｉ－１，Ｚ２ｉの生成に使用している。
例えば、図３（ｂ）の太線のように製品抽出部５が過去製品Ｐ１～Ｐｐの中から過去製品Ｐ１，Ｐ２，Ｐ４を抽出したとき、抽出パラメータ群Ｔ１の場合、抽出パラメータ群Ｔ１各種の品質パラメータＹ２，Ｙ４として、ＸＹ平面上に（Ｂ２１，Ｂ４１）、（Ｂ２２，Ｂ４２）、（Ｂ２４，Ｂ４４）を分布して主成分分析を行うことになる。
そのため、各抽出パラメータ群Ｔ１～Ｔｒ／ｋを構成する品質パラメータの種類の組み合わせが同じものであっても、主成分分析によって求められる合成変数Ｚ２ｉ－１（Ｚ２ｉ）の値が異なるものになり、合成変数Ｚ２ｉ－１（Ｚ２ｉ）に多様性が得られる。
すなわち、本実施形態では、合成変数Ｚ２ｉ－１，Ｚ２ｉの生成に使用する抽出パラメータ群Ｔｉの各種の品質パラメータを、過去製品の抽出パラメータ群Ｔｉを構成する各種の品質パラメータを全て使用するのではなく、製品抽出部５が過去製品の中からｐ個の過去製品を無作為に抽出し、当該抽出したｐ個の過去製品の各種の品質パラメータをＸＹ平面上にプロットして合成変数Ｚ２ｉ－１，Ｚ２ｉの生成に使用している。
例えば、図３（ｂ）の太線のように製品抽出部５が過去製品Ｐ１～Ｐｐの中から過去製品Ｐ１，Ｐ２，Ｐ４を抽出したとき、抽出パラメータ群Ｔ１の場合、抽出パラメータ群Ｔ１各種の品質パラメータＹ２，Ｙ４として、ＸＹ平面上に（Ｂ２１，Ｂ４１）、（Ｂ２２，Ｂ４２）、（Ｂ２４，Ｂ４４）を分布して主成分分析を行うことになる。
そのため、各抽出パラメータ群Ｔ１～Ｔｒ／ｋを構成する品質パラメータの種類の組み合わせが同じものであっても、主成分分析によって求められる合成変数Ｚ２ｉ－１（Ｚ２ｉ）の値が異なるものになり、合成変数Ｚ２ｉ－１（Ｚ２ｉ）に多様性が得られる。
【0041】
この訓練工程における学習モデルＳ１～Ｓｒは、一又は複数の説明変数から一つの目的変数を算出する単一ターゲット回帰（single-target regression）のアルゴリズムを使用して構築される回帰モデルである。
単一ターゲット回帰（single-target regression）としては、例えば、線形回帰（Linear Regression）、ロジスティック回帰（Logistic Regression）、ランダムフォレスト（Random Forest）、ブースティング（Boosting）、サポートベクターマシン（Support Vector Machine）、ニューラルネットワーク（Neural Network）などが採用できる。
本実施形態では、単一ターゲット回帰として、アンサンブル学習の一つである勾配ブースティング（Gradient Boosting）を使用している。
単一ターゲット回帰（single-target regression）としては、例えば、線形回帰（Linear Regression）、ロジスティック回帰（Logistic Regression）、ランダムフォレスト（Random Forest）、ブースティング（Boosting）、サポートベクターマシン（Support Vector Machine）、ニューラルネットワーク（Neural Network）などが採用できる。
本実施形態では、単一ターゲット回帰として、アンサンブル学習の一つである勾配ブースティング（Gradient Boosting）を使用している。
【0042】
テスト工程では、図４のように、予測部８が各学習モデルＳ１～Ｓｒを用いてテストデータセットの製造パラメータＸ１～Ｘｎから合成変数Ｚｓ１～Ｚｓｒを算出し、合成変数Ｚｓ１～Ｚｓｒで構成される合成変数ベクトル、すなわち、１行ｒ列の行列を生成する。
別途、各合成変数Ｚｓ１～Ｚｓｒに対応する各主成分軸の主成分係数ｗ（重み）で構成されるｍ行ｒ列の係数行列Ｃを生成する。
係数行列Ｃは、例えば、第１列では、図４のように、抽出パラメータ群Ｔ１を構成する品質パラメータＹ２，Ｙ４から合成変数Ｚ１に変換する際に使用した第１主成分軸Ａ１の主成分係数（ｗ１，２，ｗ１，４）を２行目と４行目とし、残りを０とする。
また、係数行列Ｃは、第２列では、抽出パラメータ群Ｔ２を構成する品質パラメータＹ２，Ｙ４から合成変数Ｚ２に変換する際に使用した第２主成分軸Ａ２の主成分係数（ｗ２，２，ｗ２，４）を２行目と４行目とし、残りを０とする。
すなわち、係数行列Ｃは、第（２ｉ－１）列では、抽出パラメータ群Ｔｉを構成する品質パラメータＹα，Ｙβから合成変数Ｚ２ｉ－１に変換する際に使用した第１主成分軸Ａ１の主成分係数（ｗ２ｉ－１，α，ｗ２ｉ－１，β）をα行目とβ行目とし、残りを０とする。
また、係数行列Ｃは、第（２ｉ）列では、抽出パラメータ群Ｔｉを構成する品質パラメータＹα，Ｙβから合成変数Ｚ２ｉに変換する際に使用した第２主成分軸Ｌ２の主成分係数（ｗ２ｉ，α，ｗ２ｉ－１，β）をα行目とβ行目とし、残りを０とする。
別途、各合成変数Ｚｓ１～Ｚｓｒに対応する各主成分軸の主成分係数ｗ（重み）で構成されるｍ行ｒ列の係数行列Ｃを生成する。
係数行列Ｃは、例えば、第１列では、図４のように、抽出パラメータ群Ｔ１を構成する品質パラメータＹ２，Ｙ４から合成変数Ｚ１に変換する際に使用した第１主成分軸Ａ１の主成分係数（ｗ１，２，ｗ１，４）を２行目と４行目とし、残りを０とする。
また、係数行列Ｃは、第２列では、抽出パラメータ群Ｔ２を構成する品質パラメータＹ２，Ｙ４から合成変数Ｚ２に変換する際に使用した第２主成分軸Ａ２の主成分係数（ｗ２，２，ｗ２，４）を２行目と４行目とし、残りを０とする。
すなわち、係数行列Ｃは、第（２ｉ－１）列では、抽出パラメータ群Ｔｉを構成する品質パラメータＹα，Ｙβから合成変数Ｚ２ｉ－１に変換する際に使用した第１主成分軸Ａ１の主成分係数（ｗ２ｉ－１，α，ｗ２ｉ－１，β）をα行目とβ行目とし、残りを０とする。
また、係数行列Ｃは、第（２ｉ）列では、抽出パラメータ群Ｔｉを構成する品質パラメータＹα，Ｙβから合成変数Ｚ２ｉに変換する際に使用した第２主成分軸Ｌ２の主成分係数（ｗ２ｉ，α，ｗ２ｉ－１，β）をα行目とβ行目とし、残りを０とする。
【0043】
第２変数変換部１０が各学習モデルＳ１～Ｓｒから算出した合成変数Ｚｓ１～Ｚｓｒで構成される行列に対して係数行列Ｃの逆行列を掛けて各種の品質パラメータＹ１～Ｙｍの予測値を算出する。すなわち、各合成変数Ｚｓ１～Ｚｓｒに対して対応する合成関数の逆関数を用いて各種の品質パラメータＹ１～Ｙｍの予測値を算出する。
【0044】
そして、品質パラメータＹ１～Ｙｍの予測値と品質パラメータＹ１～Ｙｍの実測値を比較して精度を算出する。
品質パラメータＹ１～Ｙｍの予測値が所定以上の精度を持つ場合には、学習工程を終了し、予測工程に移行し、所定以上の精度を持たない場合には、再度訓練工程を行う。
品質パラメータＹ１～Ｙｍの予測値が所定以上の精度を持つ場合には、学習工程を終了し、予測工程に移行し、所定以上の精度を持たない場合には、再度訓練工程を行う。
【0045】
（予測工程）
予測工程は、テスト工程と同様、予測部８が予測対象製品の各種の製造パラメータＸ１～Ｘｎから各学習モデルＳ１～Ｓｒを用いて各合成変数Ｚｓ１～Ｚｓｒを生成する。そして、第２変数変換部１０が各合成変数Ｚｓ１～Ｚｓｒで構成される１行ｒ列の行列（合成変数ベクトル）と、係数行列Ｃの逆行列との積によって品質パラメータＹ１～Ｙｍの予測値を同時に算出する。
予測工程は、テスト工程と同様、予測部８が予測対象製品の各種の製造パラメータＸ１～Ｘｎから各学習モデルＳ１～Ｓｒを用いて各合成変数Ｚｓ１～Ｚｓｒを生成する。そして、第２変数変換部１０が各合成変数Ｚｓ１～Ｚｓｒで構成される１行ｒ列の行列（合成変数ベクトル）と、係数行列Ｃの逆行列との積によって品質パラメータＹ１～Ｙｍの予測値を同時に算出する。
【0046】
本実施形態の品質予測システム１によれば、１つの抽出パラメータ群Ｔｉから抽出パラメータ群Ｔｉの各種の品質パラメータＹα，Ｙβの間の関係性を反映した複数の合成変数Ｚ２ｉ－１，Ｚ２ｉに変換できるので、高精度の学習モデルを生成できる。
本実施形態の品質予測システム１によれば、予測対象製品の各種の製造パラメータＸ１～Ｘｎから合成変数群Ｚを構成する各合成変数Ｚｓ１～Ｚｓｒをそれぞれ予測し、予測した各合成変数Ｚｓ１～Ｚｓｒから予測対象製品の各品質パラメータＹ１～Ｙｍを予測するので、従来のマルチターゲット回帰によって予測対象製品の各種の製造パラメータＸ１～Ｘｎから直接予測対象製品の各種の品質パラメータＹ１～Ｙｍを予測する場合に比べて精度良く品質パラメータＹ１～Ｙｍを予測することができる。
本実施形態の品質予測システム１によれば、予測対象製品の各種の製造パラメータＸ１～Ｘｎから合成変数群Ｚを構成する各合成変数Ｚｓ１～Ｚｓｒをそれぞれ予測し、予測した各合成変数Ｚｓ１～Ｚｓｒから予測対象製品の各品質パラメータＹ１～Ｙｍを予測するので、従来のマルチターゲット回帰によって予測対象製品の各種の製造パラメータＸ１～Ｘｎから直接予測対象製品の各種の品質パラメータＹ１～Ｙｍを予測する場合に比べて精度良く品質パラメータＹ１～Ｙｍを予測することができる。
【0047】
本実施形態の品質予測システム１によれば、第１変数変換部６が抽出パラメータ群Ｔｉにおける各品質パラメータＹα，Ｙβを合成関数によって各合成変数Ｚ２ｉ－１，Ｚ２ｉを算出し、第２変数変換部１０が、合成関数の逆関数によって、各合成変数Ｚ２ｉ－１，Ｚ２ｉを抽出パラメータ群Ｔ１の各品質パラメータＹα，Ｙβに変換する。そのため、各品質パラメータＹα，Ｙβ間の関係性が反映された品質パラメータＹα，Ｙβを予測できる。
【0048】
本実施形態の品質予測システム１によれば、第２変数変換部１０が、第１変数変換部６が行った主成分分析における第１主成分係数（ｗ２ｉ－１，α，ｗ２ｉ－１，β）と第２主成分係数（ｗ２ｉ，α，ｗ２ｉ－１，β）を用いて、第１合成変数Ｚ２ｉ－１及び第２合成変数Ｚ２ｉを抽出パラメータ群Ｔｉの各品質パラメータＹα，Ｙβに変換する。そのため、より各品質パラメータＹα，Ｙβ間の関係性が反映された品質パラメータＹα，Ｙβを予測できる。
【0049】
本実施形態の品質予測システム１によれば、抽出パラメータ群Ｔ１～Ｔｒ／ｋは、パラメータ抽出部３によって複数種類の品質パラメータＹ１～Ｙｍの中から無作為に抽出された品質パラメータで構成される。そのため、学習モデルＳ１～Ｓｒに多様性を持たせることができる。
【0050】
本実施形態の品質予測システム１によれば、パラメータ抽出部３は、複数種類の抽出パラメータ群Ｔ１～Ｔｒ／ｋを抽出し、かつ品質パラメータＹ１～Ｙｍのそれぞれが複数種類の抽出パラメータ群Ｔ１～Ｔｒ／ｋのいずれかに属するように抽出する。そのため、予測対象の全品質パラメータＹ１～Ｙｍが必ず合成変数Ｚ１～Ｚｒのいずれかに変換されるので、品質パラメータＹ１～Ｙｍの予測精度をより向上できる。
【0051】
本実施形態の品質予測システム１によれば、第１変数変換部６は、製品抽出部５が無作為に抽出した過去製品の抽出パラメータ群Ｔ１～Ｔｒ／ｋの各種の品質パラメータから、抽出パラメータ群Ｔ１～Ｔｒ／ｋの各種の品質パラメータの間の関係性を反映した合成変数群Ｚｓを生成するので、抽出パラメータ群Ｔ１～Ｔｒ／ｋ間で品質パラメータの組み合わせが重複しても、異なる合成変数Ｚ２ｉ－１（Ｚ２ｉ）に変換でき、機械学習に多様性を持たせることができる。
【0052】
本実施形態の品質予測システム１によれば、複数の学習モデルＳ１～Ｓｒによって予測された合成変数Ｚｓ１～Ｚｓｒで構成される合成変数群Ｚｓの行列と、合成変数Ｚｓ１～Ｚｓｒに対応する各主成分係数で構成される係数行列Ｃの逆行列との内積により、品質パラメータＹ１～Ｙｍを予測するので、アンサンブル効果が期待でき、予測精度をより向上できる。
【0053】
上記した実施形態では、第１変数変換部６は、抽出パラメータ群Ｔｉを構成する各種の品質パラメータから、第１合成変数Ｚ２ｉ－１と第２合成変数Ｚ２ｉをそれぞれ同時に算出したが、本発明はこれに限定されるものではない。第１変数変換部６は、抽出パラメータ群Ｔｉを構成する各種の品質パラメータから、第１合成変数Ｚ２ｉ－１と第２合成変数Ｚ２ｉをそれぞれ個別に算出してもよい。
【0054】
上記した実施形態では、抽出パラメータ群から変換する合成変数の個数ｋが２であったが、本発明はこれに限定されるものではない。抽出パラメータ群から変換する合成変数の個数ｋは３以上であってもよい。抽出パラメータ群から変換する合成変数の個数ｋはｑ未満であり、５以下であることが好ましい。
【0055】
上記した実施形態では、パラメータ抽出部３は、過去製品の品質パラメータＹ１～Ｙｍ中から無作為にｑ種類の品質パラメータを抽出していたが、本発明はこれに限定されるものではない。パラメータ抽出部３は、過去製品の品質パラメータＹ１～Ｙｍ中から作為的にｑ種類の品質パラメータを抽出してもよい。
【0056】
上記した実施形態では、各抽出パラメータ群Ｔ１～Ｔｒ／ｋは、２種類の品質パラメータで構成されていたが、本発明はこれに限定されるものではない。各抽出パラメータ群Ｔ１～Ｔｒ／ｋは、３種類以上の品質パラメータで構成されていてもよい。
【0057】
上記した実施形態では、各抽出パラメータ群Ｔ１～Ｔｒ／ｋに属する品質パラメータの種類数はいずれも同数であったが、本発明はこれに限定されるものではない。各抽出パラメータ群Ｔ１～Ｔｒ／ｋに属する品質パラメータの種類数は異なっていてもよい。
【0058】
上記した実施形態では、各学習モデルＳ１～Ｓｒをいずれも勾配ブースティングによって生成していたが、本発明はこれに限定されるものではない。各学習モデルＳ１～Ｓｒを異なるアルゴリズムによって生成してもよい。例えば、学習モデルＳ１を勾配ブースティングで生成し、学習モデルＳ２を他の単一ターゲット回帰によって生成してもよい。
【0059】
上記した実施形態では、合成関数として主成分分析を使用していたが、本発明はこれに限定されるものではない。合成関数としてオートエンコーダを使用してもよい。この場合、合成関数に多様性を持たせるために、ブーストトラップサンプリング以外にもハイパーパラメータを合成変数の生成ごとに変化させてもよい。また、この場合、テスト工程及び予測工程において、合成変数群Ｚｓに訓練工程の順方向のオートエンコーダとは逆方向のオートエンコーダ、すなわち、オートエンコーダの逆関数を掛けることになる。
【0060】
上記した実施形態では、品質予測システム１は、１台のコンピュータによって構成されていたが、本発明はこれに限定されるものではない。複数台のコンピュータで構成されていてもよい。このとき、品質予測システム１を構成するコンピュータ間は、無線又は有線で接続されていてもよいし、インターネットやイントラネット等のネットワークを介して接続されていてもよい。
【0061】
上記した実施形態は、本発明の技術的範囲に含まれる限り、各実施形態間で各構成部材を自由に置換や付加できる。
【実施例0062】
以下、実施例により本発明を具体的に説明する。なお、本発明は、以下の実施例に限定されるものではなく、その要旨を変更しない範囲で適宜変更して実施できる。
【0063】
（データセット）
説明変数と目的変数のデータセットとして、非特許文献１（Tsoumakas, G., Spyromitros-Xioufis, E., Vrekou, A., Vlahavas, I., 2014.）に倣って表１及び図５のデータセットを使用した。
説明変数と目的変数のデータセットとして、非特許文献１（Tsoumakas, G., Spyromitros-Xioufis, E., Vrekou, A., Vlahavas, I., 2014.）に倣って表１及び図５のデータセットを使用した。
【0064】
【表1】
【0065】
（実験例１）
抽出パラメータ群として目的変数の中からランダムに２種類の目的変数を抽出し、データセットの中からブーストトラップサンプリングによって複数のデータセットを無作為に抽出し、抽出したデータセットを用いて２種類の目的変数に対して合成関数たる主成分分析を行い、第１主成分を第１合成変数、第２主成分を第２合成変数として算出した。
これを２５０回繰り返して５００個の合成変数を作成した。
また、別途工程にて、各種の説明変数と５００個の合成変数とのデータセットをそれぞれ用いて機械学習を行い、各種の説明変数から合成変数を予測する５００個の学習モデルを生成した。
このとき、各学習モデルは、４つのターミナルノード、学習率０．１、及び反復数１００回の条件で勾配ブースティングによって行った。なお、ハイパーパラメータ等の設定は、非特許文献１と同様にした。
そして、各種の説明変数から各学習モデルを用いて合成変数をそれぞれ予測して合成変数の行列を作成するとともに、各合成変数に対応する各主成分係数を用いて係数行列を作成し、合成変数の行列と係数行列の逆行列の積によって各種の目的変数を予測する予想モデルを生成し、これを実験例１とした。
抽出パラメータ群として目的変数の中からランダムに２種類の目的変数を抽出し、データセットの中からブーストトラップサンプリングによって複数のデータセットを無作為に抽出し、抽出したデータセットを用いて２種類の目的変数に対して合成関数たる主成分分析を行い、第１主成分を第１合成変数、第２主成分を第２合成変数として算出した。
これを２５０回繰り返して５００個の合成変数を作成した。
また、別途工程にて、各種の説明変数と５００個の合成変数とのデータセットをそれぞれ用いて機械学習を行い、各種の説明変数から合成変数を予測する５００個の学習モデルを生成した。
このとき、各学習モデルは、４つのターミナルノード、学習率０．１、及び反復数１００回の条件で勾配ブースティングによって行った。なお、ハイパーパラメータ等の設定は、非特許文献１と同様にした。
そして、各種の説明変数から各学習モデルを用いて合成変数をそれぞれ予測して合成変数の行列を作成するとともに、各合成変数に対応する各主成分係数を用いて係数行列を作成し、合成変数の行列と係数行列の逆行列の積によって各種の目的変数を予測する予想モデルを生成し、これを実験例１とした。
【0066】
（実験例２）
非特許文献１に準じて予測モデルを作成した。
具体的には、目的変数の中からランダムに２種類の目的変数を抽出し、抽出した２種類の目的変数に対してランダム線形ターゲット結合（Random Linear Target Combinations）を行ってランダムに設定された重みにより、一つの合成変数を算出した。
これを５００回繰り返して５００個の合成変数を算出した。
また、各種の説明変数と５００個の合成変数とのデータセットをそれぞれ用いて機械学習を行い、各種の説明変数から合成変数を予測する５００個の学習モデルを生成した。
そして、各種の説明変数から各学習モデルを用いて合成変数を予測して合成変数の行列を作成するとともに、各合成変数に対応するランダム線形ターゲット結合の際に設定された重みを用いて係数行列を作成し、合成変数の行列と係数行列の逆行列の積によって各種の目的変数を予測する予測モデルを生成し、これを実験例２とした。
非特許文献１に準じて予測モデルを作成した。
具体的には、目的変数の中からランダムに２種類の目的変数を抽出し、抽出した２種類の目的変数に対してランダム線形ターゲット結合（Random Linear Target Combinations）を行ってランダムに設定された重みにより、一つの合成変数を算出した。
これを５００回繰り返して５００個の合成変数を算出した。
また、各種の説明変数と５００個の合成変数とのデータセットをそれぞれ用いて機械学習を行い、各種の説明変数から合成変数を予測する５００個の学習モデルを生成した。
そして、各種の説明変数から各学習モデルを用いて合成変数を予測して合成変数の行列を作成するとともに、各合成変数に対応するランダム線形ターゲット結合の際に設定された重みを用いて係数行列を作成し、合成変数の行列と係数行列の逆行列の積によって各種の目的変数を予測する予測モデルを生成し、これを実験例２とした。
【0067】
（実験例３）
各種の説明変数と各種の目的変数のデータセットから直接勾配ブースティングによって予測モデルを生成した。当該予測モデルは、４つのターミナルノード、学習率０．１、及び反復数１００回の条件で生成した。これを実験例３とした。
各種の説明変数と各種の目的変数のデータセットから直接勾配ブースティングによって予測モデルを生成した。当該予測モデルは、４つのターミナルノード、学習率０．１、及び反復数１００回の条件で生成した。これを実験例３とした。
【0068】
（予測精度評価）
下記の数式（１）に示される平均相対二乗平均平方根誤差（ａＲＲＭＳＥ）を用いて予測精度を評価した。
すなわち、平均相対二乗平均平方根誤差（ａＲＲＭＳＥ）は、各目的変数の相対二乗平均平方根誤差（ＲＲＭＳＥ）の値の平均値であり、相対二乗平均平方根誤差（ＲＲＭＳＥ）は、訓練データセット内のその目的変数の平均値を、特定の目的変数を予測する二乗平均平方根誤差（ＲＭＳＥ）で割ることで算出する。
下記の数式（１）に示される平均相対二乗平均平方根誤差（ａＲＲＭＳＥ）を用いて予測精度を評価した。
すなわち、平均相対二乗平均平方根誤差（ａＲＲＭＳＥ）は、各目的変数の相対二乗平均平方根誤差（ＲＲＭＳＥ）の値の平均値であり、相対二乗平均平方根誤差（ＲＲＭＳＥ）は、訓練データセット内のその目的変数の平均値を、特定の目的変数を予測する二乗平均平方根誤差（ＲＭＳＥ）で割ることで算出する。
【0069】
【数1】
【0070】
ａＲＲＭＳＥは、ホールドアウト検証又は５分割交差検証を使用して評価した。
表１のＥｘａｍｐｌｅの項目においてスラッシュで区切られたデータセット（サンプル１０、１１）は、ホールドアウト検証によって評価した。
表１のスラッシュの左側が訓練データセットであり、右側がテストデータセットである。
表１のＥｘａｍｐｌｅの項目においてスラッシュで区切られていない残りのデータセットは、５分割交差検証によって評価した。
表１のＥｘａｍｐｌｅの項目においてスラッシュで区切られたデータセット（サンプル１０、１１）は、ホールドアウト検証によって評価した。
表１のスラッシュの左側が訓練データセットであり、右側がテストデータセットである。
表１のＥｘａｍｐｌｅの項目においてスラッシュで区切られていない残りのデータセットは、５分割交差検証によって評価した。
【0071】
改善率を示す評価指数であるゲイン値を以下の数式（２）で算出した。
【0072】
【数2】
【0073】
数式（２）において、ゲイン値が１より大きい場合、モデルはベースラインモデルよりも改善されており、ゲイン値が高いほど予測精度が優れていることを示している。
【0074】
実験例１～３の評価結果を図５及び表２，表３に示す。
【0075】
【表2】
【0076】
なお、表２において、コロンの左側は予測精度が優れた数を表し、コロンの右側は予測精度が劣った数である。
【0077】
【表3】
【0078】
実験例２は、表２のように、１２データセットのうち１０データセットで予測精度が実験例３を上回り、２データセットで実験例３を下回ったのに対して、実験例１は、予測精度が１２データセット全てで実験例３を上回った。
また、実験例１は、実験例２に比較しても、１２データセットのうち１０データセットで予測精度が上回った。
また、実験例１は、実験例２に比較しても、１２データセットのうち１０データセットで予測精度が上回った。
【0079】
また、ゲイン（実験例３，実験例１）及びゲイン（実験例２，実験例１）は、表３及び図５のように相関係数とともに単調に増加した。
実験例１は、図６（ａ）のように、相関係数にかかわらず、実験例３よりも優れていた。
実験例１は、図６（ｂ）のように、相関係数が低いデータセットでは実験例２とほぼ同じように機能し、相関係数が高いデータセットでは実験例２よりも優れていた。
これは、実験例１において主成分分析によって目的変数間の関係が学習モデルに反映されたためと考えられる。
実験例１は、図６（ａ）のように、相関係数にかかわらず、実験例３よりも優れていた。
実験例１は、図６（ｂ）のように、相関係数が低いデータセットでは実験例２とほぼ同じように機能し、相関係数が高いデータセットでは実験例２よりも優れていた。
これは、実験例１において主成分分析によって目的変数間の関係が学習モデルに反映されたためと考えられる。
【0080】
実験例１は、実験例３に比べて全てのデータセットでａＲＲＭＳＥが平均３．１６％改善した。
また、実験例１は、実験例２に比べて多くのデータセットでａＲＲＭＳＥが平均２．０％改善し、最大１１．３％改善した。
また、実験例１は、実験例２に比べて多くのデータセットでａＲＲＭＳＥが平均２．０％改善し、最大１１．３％改善した。
【0081】
以上のことから、目的変数から合成関数によって合成変数に変換させ、説明変数と合成変数のデータセットを用いて学習モデルを生成することで説明変数と目的変数のデータセットから学習モデルを生成する場合に比べて精度が向上することがわかった。
１つの抽出パラメータ群から抽出パラメータ群の各種の品質パラメータの間の関係性を反映した２つの合成変数に変換することで、学習に必要なデータセット数を半分にできるとともに予測精度を同等かそれ以上にできることがわかった。また、説明変数間で関係性が大きいほど、すなわち、相関係数が大きいほど、予測精度が向上することがわかった。
１つの抽出パラメータ群から抽出パラメータ群の各種の品質パラメータの間の関係性を反映した２つの合成変数に変換することで、学習に必要なデータセット数を半分にできるとともに予測精度を同等かそれ以上にできることがわかった。また、説明変数間で関係性が大きいほど、すなわち、相関係数が大きいほど、予測精度が向上することがわかった。
【0082】
（弾性シーラント材評価）
実験例１～実験例３において、弾性シーラント材を用いて予測精度の評価を行った。
具体的には、説明変数として、各材料ポリマーと、フィラーや安定剤などの副材料の混合比率、材料ポリマー等の反応基の種類、粘度、分子量などを含む５３４種類の製造パラメータを用い、目的変数として、モジュラス５０（Ｍ５０）やモジュラス１００（Ｍ１００）、引張強度（Ｔｂ）、破断伸び（Ｒｂ）の４つの品質パラメータを用い、５分割交差検証を用いて評価した。
各品質パラメータの相関係数は、表４の通りであり、予測精度評価の結果を表５、表６に示す。
実験例１～実験例３において、弾性シーラント材を用いて予測精度の評価を行った。
具体的には、説明変数として、各材料ポリマーと、フィラーや安定剤などの副材料の混合比率、材料ポリマー等の反応基の種類、粘度、分子量などを含む５３４種類の製造パラメータを用い、目的変数として、モジュラス５０（Ｍ５０）やモジュラス１００（Ｍ１００）、引張強度（Ｔｂ）、破断伸び（Ｒｂ）の４つの品質パラメータを用い、５分割交差検証を用いて評価した。
各品質パラメータの相関係数は、表４の通りであり、予測精度評価の結果を表５、表６に示す。
【0083】
【表4】
【0084】
【表5】
【0085】
【表6】
【0086】
なお、表５において、コロンの左側は予測精度が優れた数を表し、コロンの右側は予測精度が劣った数である。
【0087】
実験例１，２は、表５のように、４つ全ての品質パラメータで実験例３よりも予測精度が優れていた。
実験例１は、実験例２に比べて引張強度（Ｔｂ）以外の品質パラメータで予測精度が優れていた。
また、実験例１は、表６のように、実験例３に比べてａＲＲＭＳＥが平均２．３％高く、実験例２に比べてａＲＲＭＳＥが平均０．４％高かった。
実験例１は、実験例２に比べて引張強度（Ｔｂ）以外の品質パラメータで予測精度が優れていた。
また、実験例１は、表６のように、実験例３に比べてａＲＲＭＳＥが平均２．３％高く、実験例２に比べてａＲＲＭＳＥが平均０．４％高かった。
【0088】
これらのことから、弾性シーラント材などの工業製品においても、同量のデータセットでもより高精度の学習モデルを生成でき、当該学習モデルを用いて複数の製造パラメータから複数の品質パラメータを予測できることがわかった。
【符号の説明】
【0089】
１ 品質予測システム
２ データ蓄積部
３ パラメータ抽出部
５ 製品抽出部
６ 第１変数変換部
７ 学習モデル生成部
８ 予測部
１０ 第２変数変換部
２ データ蓄積部
３ パラメータ抽出部
５ 製品抽出部
６ 第１変数変換部
７ 学習モデル生成部
８ 予測部
１０ 第２変数変換部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】