知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2025027249
(43)【公開日】2025-02-27
(54)【発明の名称】情報処理装置、情報処理方法およびプログラム
(51)【国際特許分類】
G06N 20/00 20190101AFI20250219BHJP
G06F 18/27 20230101ALI20250219BHJP
【ＦＩ】
G06N20/00
G06F18/27
【審査請求】未請求
【請求項の数】14
【出願形態】ＯＬ
(21)【出願番号】P 2023131894
(22)【出願日】2023-08-14
(71)【出願人】
【識別番号】000003078
【氏名又は名称】株式会社東芝
(71)【出願人】
【識別番号】317011920
【氏名又は名称】東芝デバイス＆ストレージ株式会社
(74)【代理人】
【識別番号】110002147
【氏名又は名称】弁理士法人酒井国際特許事務所
(72)【発明者】
【氏名】高田 正彬
(72)【発明者】
【氏名】李 根
(72)【発明者】
【氏名】大室 泰久
(72)【発明者】
【氏名】菊池 一哉
(72)【発明者】
【氏名】王 雪テイ
(72)【発明者】
【氏名】伊藤 匠
(72)【発明者】
【氏名】木下 浩三
(72)【発明者】
【氏名】芝野 稔基
(57)【要約】
【課題】回帰モデルをより効率的に管理する。
【解決手段】情報処理装置は、処理部を備える。処理部は、複数の説明変数に対する１つ以上の目的変数を予測する回帰モデルを学習するタイミングを定めた１つ以上の条件が満たされるか否かを検知する。処理部は、満たされることが検知された条件に応じて、複数の説明変数それぞれの優先度を決定する。処理部は、優先度に応じて正則化の強さが変化する正則化項を含む目的関数および学習データを用いて回帰モデルを学習する。
【選択図】図１
【解決手段】情報処理装置は、処理部を備える。処理部は、複数の説明変数に対する１つ以上の目的変数を予測する回帰モデルを学習するタイミングを定めた１つ以上の条件が満たされるか否かを検知する。処理部は、満たされることが検知された条件に応じて、複数の説明変数それぞれの優先度を決定する。処理部は、優先度に応じて正則化の強さが変化する正則化項を含む目的関数および学習データを用いて回帰モデルを学習する。
【選択図】図１
【特許請求の範囲】
【請求項1】
複数の説明変数に対する１つ以上の目的変数を予測する回帰モデルを学習するタイミングを定めた１つ以上の条件が満たされるか否かを検知し、
満たされることが検知された前記条件に応じて、複数の前記説明変数それぞれの優先度を決定し、
前記優先度に応じて正則化の強さが変化する正則化項を含む目的関数および学習データを用いて前記回帰モデルを学習する、
処理部、
を備える情報処理装置。
満たされることが検知された前記条件に応じて、複数の前記説明変数それぞれの優先度を決定し、
前記優先度に応じて正則化の強さが変化する正則化項を含む目的関数および学習データを用いて前記回帰モデルを学習する、
処理部、
を備える情報処理装置。
【請求項2】
前記回帰モデルは、複数の目的変数を予測し、
前記処理部は、
１つ以上の第１変数と、複数の前記目的変数それぞれに対応する複数のダミー変数と、を乗じることにより複数の前記説明変数を算出し、算出した複数の前記説明変数を含む前記学習データを生成し、
生成された前記学習データを用いて前記回帰モデルを学習する、
請求項１に記載の情報処理装置。
前記処理部は、
１つ以上の第１変数と、複数の前記目的変数それぞれに対応する複数のダミー変数と、を乗じることにより複数の前記説明変数を算出し、算出した複数の前記説明変数を含む前記学習データを生成し、
生成された前記学習データを用いて前記回帰モデルを学習する、
請求項１に記載の情報処理装置。
【請求項3】
前記処理部は、
前記ダミー変数に対応する前記目的変数の種別を前記説明変数の種別として特定し、特定した前記説明変数の種別と、前記説明変数と、を対応づけた第１対応情報を生成し、
前記第１対応情報と、前記条件の種別と前記説明変数の種別と前記優先度とを対応づけた第２対応情報と、を用いて、検知された前記条件の種別に対応する前記説明変数の種別に含まれる前記説明変数に対して、検知された前記条件の種別に対応する前記優先度を決定する、
請求項２に記載の情報処理装置。
前記ダミー変数に対応する前記目的変数の種別を前記説明変数の種別として特定し、特定した前記説明変数の種別と、前記説明変数と、を対応づけた第１対応情報を生成し、
前記第１対応情報と、前記条件の種別と前記説明変数の種別と前記優先度とを対応づけた第２対応情報と、を用いて、検知された前記条件の種別に対応する前記説明変数の種別に含まれる前記説明変数に対して、検知された前記条件の種別に対応する前記優先度を決定する、
請求項２に記載の情報処理装置。
【請求項4】
前記処理部は、
複数の前記目的変数のうち、学習された前記回帰モデルによる予測誤差の大小により、前記目的変数に対応する前記説明変数の優先度を決定する、
請求項２に記載の情報処理装置。
複数の前記目的変数のうち、学習された前記回帰モデルによる予測誤差の大小により、前記目的変数に対応する前記説明変数の優先度を決定する、
請求項２に記載の情報処理装置。
【請求項5】
前記処理部は、
前記条件と前記説明変数と前記優先度とを対応づけた対応情報を用いて、検知された前記条件に対応する前記説明変数に対して、検知された前記条件に対応する前記優先度を決定する、
請求項１に記載の情報処理装置。
前記条件と前記説明変数と前記優先度とを対応づけた対応情報を用いて、検知された前記条件に対応する前記説明変数に対して、検知された前記条件に対応する前記優先度を決定する、
請求項１に記載の情報処理装置。
【請求項6】
前記処理部は、
複数の前記説明変数のうち前記優先度が他の前記説明変数より高い１つ以上の前記説明変数と、１つ以上の前記目的変数と、を含む前記学習データを生成し、
生成された前記学習データを用いて前記回帰モデルを学習する、
請求項１に記載の情報処理装置。
複数の前記説明変数のうち前記優先度が他の前記説明変数より高い１つ以上の前記説明変数と、１つ以上の前記目的変数と、を含む前記学習データを生成し、
生成された前記学習データを用いて前記回帰モデルを学習する、
請求項１に記載の情報処理装置。
【請求項7】
前記処理部は、
前記学習データと、学習された前記回帰モデルを用いた予測の入力となるテストデータと、の間で、複数の前記説明変数それぞれの変化を求め、前記変化の大小により、前記説明変数の優先度を決定する、
請求項１に記載の情報処理装置。
前記学習データと、学習された前記回帰モデルを用いた予測の入力となるテストデータと、の間で、複数の前記説明変数それぞれの変化を求め、前記変化の大小により、前記説明変数の優先度を決定する、
請求項１に記載の情報処理装置。
【請求項8】
前記優先度は、前記説明変数を選択する優先度を表す選択優先度と、前記説明変数を更新する優先度を表す更新優先度と、を含み、
前記目的関数は、
予測結果と正解データとの適合性を評価する項と、
前記説明変数に対応するパラメータを正則化するための項に前記選択優先度に基づく重みを乗じた第１正則化項と、
更新前の前記パラメータに対する変化を正則化するための項に前記更新優先度に基づく重みを乗じた第２正則化項と、
を含む、
請求項１に記載の情報処理装置。
前記目的関数は、
予測結果と正解データとの適合性を評価する項と、
前記説明変数に対応するパラメータを正則化するための項に前記選択優先度に基づく重みを乗じた第１正則化項と、
更新前の前記パラメータに対する変化を正則化するための項に前記更新優先度に基づく重みを乗じた第２正則化項と、
を含む、
請求項１に記載の情報処理装置。
【請求項9】
前記処理部は、
学習された前記回帰モデルを用いて、複数の前記説明変数を含むテストデータに対する１つ以上の前記目的変数を予測する、
請求項１に記載の情報処理装置。
学習された前記回帰モデルを用いて、複数の前記説明変数を含むテストデータに対する１つ以上の前記目的変数を予測する、
請求項１に記載の情報処理装置。
【請求項10】
前記処理部は、
予測した前記目的変数の予測誤差に基づいて、前記テストデータに関連する対象が特定の状態にあるか否かを推定する、
請求項９に記載の情報処理装置。
予測した前記目的変数の予測誤差に基づいて、前記テストデータに関連する対象が特定の状態にあるか否かを推定する、
請求項９に記載の情報処理装置。
【請求項11】
前記処理部は、
前記目的関数を最適化するように、前記学習データを用いて前記回帰モデルを学習する、
請求項１に記載の情報処理装置。
前記目的関数を最適化するように、前記学習データを用いて前記回帰モデルを学習する、
請求項１に記載の情報処理装置。
【請求項12】
前記処理部は、
前記条件が満たされるか否かを検知する検知部と、
前記優先度を決定する決定部と、
前記回帰モデルを学習する学習部と、
を備える、
請求項１に記載の情報処理装置。
前記条件が満たされるか否かを検知する検知部と、
前記優先度を決定する決定部と、
前記回帰モデルを学習する学習部と、
を備える、
請求項１に記載の情報処理装置。
【請求項13】
情報処理装置が実行する情報処理方法であって、
複数の説明変数に対する１つ以上の目的変数を予測する回帰モデルを学習するタイミングを定めた１つ以上の条件が満たされるか否かを検知する検知ステップと、
満たされることが検知された前記条件に応じて、複数の前記説明変数それぞれの優先度を決定する決定ステップと、
前記優先度に応じて正則化の強さが変化する正則化項を含む目的関数および学習データを用いて前記回帰モデルを学習する学習ステップと、
を含む情報処理方法。
複数の説明変数に対する１つ以上の目的変数を予測する回帰モデルを学習するタイミングを定めた１つ以上の条件が満たされるか否かを検知する検知ステップと、
満たされることが検知された前記条件に応じて、複数の前記説明変数それぞれの優先度を決定する決定ステップと、
前記優先度に応じて正則化の強さが変化する正則化項を含む目的関数および学習データを用いて前記回帰モデルを学習する学習ステップと、
を含む情報処理方法。
【請求項14】
コンピュータに、
複数の説明変数に対する１つ以上の目的変数を予測する回帰モデルを学習するタイミングを定めた１つ以上の条件が満たされるか否かを検知する検知ステップと、
満たされることが検知された前記条件に応じて、複数の前記説明変数それぞれの優先度を決定する決定ステップと、
前記優先度に応じて正則化の強さが変化する正則化項を含む目的関数および学習データを用いて前記回帰モデルを学習する学習ステップと、
を実行させるためのプログラム。
複数の説明変数に対する１つ以上の目的変数を予測する回帰モデルを学習するタイミングを定めた１つ以上の条件が満たされるか否かを検知する検知ステップと、
満たされることが検知された前記条件に応じて、複数の前記説明変数それぞれの優先度を決定する決定ステップと、
前記優先度に応じて正則化の強さが変化する正則化項を含む目的関数および学習データを用いて前記回帰モデルを学習する学習ステップと、
を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明の実施形態は、情報処理装置、情報処理方法およびプログラムに関する。
【背景技術】
【0002】
工場（半導体工場など）およびプラント（化学プラントなど）では、製造に関するビッグデータを活用することで、品質特性の監視、傾向変化または異常の把握、および、対応策の検討などが実行され、生産性、歩留および信頼性の向上が図られている。
【0003】
ビッグデータの分析手法として、例えば回帰モデルが用いられる。回帰モデルは、例えば、センサ値、制御値および設定値などのプロセスデータを説明変数とし、品質特性を目的変数とするモデルである。工場およびプラントでは、機器のメンテナンスなどのイベント、および、プロセスデータなどの傾向の変化などに応じて、回帰モデルの更新が必要になる場合があり、回帰モデルを効率的に管理することが望まれている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特許第６４８００２２号公報
【特許文献2】特許第７１３５０２５号公報
【非特許文献】
【0005】
【非特許文献1】Tibshirani, R., & Friedman, J. （2020）. “A pliable Lasso.” Journal of Computational and Graphical Statistics, 29（1）, 215-225.
【非特許文献2】Tibshirani, R. （1996）. Regression shrinkage and selection via the Lasso. Journal of the Royal Statistical Society: Series B （Methodological）, 58（1）, 267-288.
【非特許文献3】M. Takada et al.,“Transfer Learning via $ell_1$ Regularization”, Advances in Neural Information Processing Systems （NeurIPS2020）, 33, 14266-14277.
【非特許文献4】Yuan, M., & Lin, Y. （2006）. “Model selection and estimation in regression with grouped variables.” Journal of the Royal Statistical Society: Series B （Statistical Methodology）, 68（1）, 49-67.
【非特許文献5】Obozinski, G., Wainwright, M. J., & Jordan, M. I. （2008）. “High-dimensional union support recovery in multivariate regression.” Advances in Neural Information Processing Systems, 21（3）.
【非特許文献6】Lee, S., Zhu, J., & Xing, E. （2010）. “Adaptive multi-task Lasso: with application to eqtl detection.” Advances in neural information processing systems, 23.
【非特許文献7】Zhang, K., Zhe, S., Cheng, C., Wei, Z., Chen, Z., Chen, H., ... & Ye, J. （2016, August）. “Annealed sparsity via adaptive and dynamic shrinking.” In Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining （pp. 1325-1334）.
【発明の概要】
【発明が解決しようとする課題】
【0006】
本発明は、回帰モデルをより効率的に管理することができる情報処理装置、情報処理方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【0007】
実施形態の情報処理装置は、処理部を備える。処理部は、複数の説明変数に対する１つ以上の目的変数を予測する回帰モデルを学習するタイミングを定めた１つ以上の条件が満たされるか否かを検知する。処理部は、満たされることが検知された条件に応じて、複数の説明変数それぞれの優先度を決定する。処理部は、優先度に応じて正則化の強さが変化する正則化項を含む目的関数および学習データを用いて回帰モデルを学習する。
【図面の簡単な説明】
【0008】
【図1】実施形態の情報処理装置のブロック図。
【図2】イベント情報のデータ構造の一例を示す図。
【図3】対応情報のデータ構造の一例を示す図。
【図4】センサデータのデータ構造の一例を示す図。
【図5】測定ポイントの例を説明するための図。
【図6】重みの例を示す図。
【図7】実施形態における学習処理のフローチャート。
【図8】センサデータのデータ構造の一例を示す図。
【図9】イベント情報のデータ構造の一例を示す図。
【図10】対応情報のデータ構造の一例を示す図。
【図11】実施形態の情報処理装置のハードウェア構成図。
【発明を実施するための形態】
【0009】
以下に添付図面を参照して、この発明にかかる情報処理装置の好適な実施形態を詳細に説明する。
【0010】
本実施形態の情報処理装置は、例えば、工場およびプラントにおける品質管理を行うシステムに用いるモデルの管理（構築、更新、学習などを含む）に適用できる。適用可能なシステムはこれらに限られるものではない。
【0011】
工場およびプラントなどでは、生産性、歩留および信頼性の向上のために、例えば以下の４つの用途で回帰モデルが活用されている。
（１）不良要因分析：プロセスが品質特性に与える影響性を把握し、歩留低下および品質ばらつきの要因を同定することができる。
（２）ソフトセンサ：測定が困難である、または、物理的な測定が不可能である品質特性を、プロセスデータから推定することができる。
（３）制御および調整：所望の品質特性になるように、特定のプロセスを制御および調整することができる。
（４）異常および変化の検知：回帰モデルの予測誤差（予測残差）または回帰モデル自身の変化を監視し、異常および変化を検知することができる。
（１）不良要因分析：プロセスが品質特性に与える影響性を把握し、歩留低下および品質ばらつきの要因を同定することができる。
（２）ソフトセンサ：測定が困難である、または、物理的な測定が不可能である品質特性を、プロセスデータから推定することができる。
（３）制御および調整：所望の品質特性になるように、特定のプロセスを制御および調整することができる。
（４）異常および変化の検知：回帰モデルの予測誤差（予測残差）または回帰モデル自身の変化を監視し、異常および変化を検知することができる。
【0012】
回帰モデルは、複数の説明変数に対する１つ以上の目的変数を予測するモデルである。回帰モデルは、例えば、線形回帰モデル、ロジスティック回帰モデル、ポアソン回帰モデル、一般化線形回帰モデル、スプライン回帰モデル、一般化加法モデル、ニューラルネットワークなど、パラメトリックな回帰モデルであればどのようなモデルであってもよい。ここで、予測とは、説明変数から目的変数を推測すること（prediction）を表しており、必ずしも将来の予測（forecasting）に限らず、過去の値の推測であってもよい。
【0013】
目的変数は、例えば、品質特性、不良率、および、良品であるか不良品であるかを示す変数などである。目的変数は、センサにより検知されるセンサ値であってもよい。説明変数は、その他のセンサ値、設定値、および、制御値などである。説明変数は、予め前処理が実行されてもよい。前処理は、例えば、標準化、基準化、特定の関数による変換、交互作用項の追加、タイムラグ、タイムリード、ダミー変数化、エンコーディング、外れ値処理、および、欠損値処理などである。
【0014】
目的変数および説明変数を含むデータ（プロセスデータなど）は、データ管理システム、および、データベースなどに格納される。
【0015】
最初に、回帰モデルの目的変数が１つである場合を説明する。データが全部でｎ個（ｎは２以上の整数）あり、各データには、ｐ個の説明変数と１個の目的変数が含まれているとする。すなわち、データは、（ｘｉ，ｙｉ）、ｘｉ∈Ｒｐ、ｘｉ∈Ｒ、ｉ＝１，・・・，ｎで表される。ただし、ｘｉはｐ次元ベクトルの説明変数、ｙｉはスカラーの目的変数、Ｒは実数全体である。
【0016】
このとき、回帰モデルβ０＾∈Ｒ、β＾∈Ｒｐは、以下の（１）式のように最小二乗法により推定できる。なおハット記号「＾」が付された変数は、推定値であることを示す。以下の変数も同様である。また記号「Ｔ」は転置を表す。
【数1】
【0017】
また、ｐ＞＞ｎの場合、回帰モデルβ０＾、β＾は、以下の（２）式に示すようにＬ１正則化付きの二乗誤差（損失関数の一例）を最小化することで推定できる。なおλは正則化パラメータを表す。
【数2】
【0018】
（２）式に示す方法はＬａｓｓｏと呼ばれ（例えば、非特許文献２）、多くの回帰係数がゼロと推定されてスパースな回帰係数が得られる。このため、高次元データにおける汎化性能、および、モデルの解釈性を向上させることができる。
【0019】
損失関数は、上記のような二乗誤差を表す関数に限られず、その他のどのような損失関数であってもよい。また、正則化は、Ｌ１正則化に限られず、その他のどのような正則化が用いられてもよい。
【0020】
工場およびプラントなどの品質管理では、回帰モデルは一度構築すれば終わりではない。予め定められた条件が満たされた場合に、回帰モデルの再構築（更新）が必要になる。条件は、例えば、回帰モデルを学習するタイミングを定めた１つ以上の条件であり、例えば、以下のような条件である。
・イベントの発生（機器のメンテナンス、加工条件の変更など）
・プロセスデータの傾向の変化（値が大きくなる、値が小さくなる、ばらつきが大きくなる、など）
・回帰モデルによる予測結果の傾向の変化（予測誤差が大きくなる、など）
・イベントの発生（機器のメンテナンス、加工条件の変更など）
・プロセスデータの傾向の変化（値が大きくなる、値が小さくなる、ばらつきが大きくなる、など）
・回帰モデルによる予測結果の傾向の変化（予測誤差が大きくなる、など）
【0021】
回帰モデルを更新する手法として、新しいデータを収集し、一から回帰モデルを推定する手法が考えられる。しかし、このような手法では、計算処理の負荷が増加する、変数選択の結果が大きく変化する、回帰係数が不安定に変化する、および、回帰モデルの確認のための負荷が増加する、などの問題が生じうる。
【0022】
そこで、必要な箇所だけモデルを更新する手法（例えば非特許文献３。以下、方式ＭＡという）が活用できる。方式ＭＡは、更新前の回帰モデルβ～∈Ｒｐを用いて、以下の（３）式に示すように回帰モデルを推定および更新する方法である。なおαは新たな正則化パラメータを表す。
【数3】
【0023】
この定式化により、必要最小限のパラメータのみを更新し、それ以外のパラメータは更新しない更新手法を実現できる。
【0024】
方式ＭＡを用いた場合、更新されるパラメータはデータから自動的に決定される。このため、データに含まれるノイズが大きい場合、データの共線性が強い場合、および、データが高次元である場合には、適切でないパラメータが更新されることがある。
【0025】
例えば、特定の号機にメンテナンスがあった場合、当該号機に関連するパラメータ（回帰係数）のみが更新されるべきであるが、当該号機に関連しないパラメータが更新されることがある。また、特定の加工条件が変更された場合、当該加工条件に関連するパラメータのみが更新されることが望ましいが、それ以外のパラメータが更新されることがある。
【0026】
そこで、本実施形態では、回帰モデルを学習（更新）するタイミングを定めた条件（イベントの発生など）が満たされたとき、条件に応じて更新が必要なパラメータ（回帰係数、説明変数に対応）が特定され、特定されたパラメータが優先的に更新される。これにより、必要な箇所（パラメータ）のみをより適切に特定して更新できる。すなわち、回帰モデルをより効率的に管理することができる。
【0027】
より具体的には、本実施形態では、条件に応じてパラメータ（説明変数）の優先度が変更され、優先度に基づいて回帰モデルが更新される。これにより、ドメイン知識と合致した回帰モデルの更新を実現しつつ、安定的かつ効率的な回帰モデルの管理（運用）が可能となる。以下では、イベントが発生したことを示す条件を用いる例を主に説明するが、イベントの発生以外の条件についても同様の手法を適用できる。
【0028】
なお、本実施形態は、既に構築された回帰モデルを更新するときのみでなく、新たに回帰モデルを構築するときにも適用できる。以下では、回帰モデルの学習は、既に構築済（学習済）の回帰モデルの更新と、新たな回帰モデルの構築と、の両方を含むものとする。
【0029】
図１は、実施形態の情報処理装置１００の構成の一例を示すブロック図である。図１に示すように、情報処理装置１００は、モデル記憶部１２１と、イベント記憶部１２２と、対応情報記憶部１２３と、センサデータ記憶部１２４と、生成データ記憶部１２５と、モデル取得部１０１と、イベント検知部１０２（検知部の一例）と、優先度決定部１０３（決定部の一例）と、データ生成部１０４と、モデル学習部１０５（学習部の一例）と、予測部１１１と、出力制御部１１２と、を備えている。
【0030】
モデル記憶部１２１は、回帰モデルのパラメータ（回帰係数など）などの回帰モデルに関する情報を記憶する。例えばモデル記憶部１２１は、過去に学習（構築または更新）された回帰モデルの情報を記憶する。
【0031】
イベント記憶部１２２は、発生したイベントを示すイベント情報を記憶する。図２は、イベント情報のデータ構造の一例を示す図である。図２に示すように、イベント情報は、日時と、イベントと、イベント種別と、を含む。日時は、イベントが発生した日時（年月日、時刻など）を表す。イベントは、発生したイベントを表す。イベント種別は、イベントの種別を表す。イベント種別は、例えば、管理者などにより事前に設定される。図２では、例えば、「加工ステップ１の加工条件変更」のイベントに対して、「加工ステップ１関連」というイベント種別が対応づけられる。
【0032】
１つのイベントは、複数のイベント種別に対応づけられてもよい。同様に、１つのイベント種別は、複数のイベントに対応づけられてもよい。すなわち、イベントとイベント種別とは、１対１、１対多、多対１、および、多対多の関係になりうる。
【0033】
図１に戻り、対応情報記憶部１２３は、優先度決定部１０３が優先度を決定するときに参照する対応情報を記憶する。対応情報は、条件と説明変数と優先度と、を対応づけた情報である。対応情報は、これらが対応づけられていれば、どのような構造で表されてもよい。
【0034】
図３は、対応情報のデータ構造の一例を示す図である。なお、図３は、対応情報を、対応情報１２３ａと、対応情報１２３ｂと、の２つに分けて管理する例である。対応情報は、２つに分けずに１つに統合されて管理されてもよい。
【0035】
図３に示すように、対応情報１２３ａは、イベント種別と、変数種別と、選択優先度と、更新優先度と、を含む。この例では、優先度は、選択優先度および更新優先度の２つの優先度を含む。選択優先度は、説明変数を選択する優先度を表す。更新優先度は、説明変数を更新する優先度を表す。
【0036】
選択優先度は、例えば、方式ＭＡを示す（３）式の右辺の第２項に対する優先度に相当する。第２項は、ｐ個の説明変数ｘｉｊ（１≦ｊ≦ｐ）それぞれに対応する、推定するｐ個の回帰係数βｊにより表されるためである。更新優先度は、例えば、（３）式の右辺の第３項に対する優先度に相当する。第３項は、推定するｐ個の回帰係数βｊと、前回推定されたｐ個の回帰係数β～
ｊと、の差分により表されるためである。
【0037】
優先度は、選択優先度および更新優先度のうちいずれか一方であってもよい。例えば、（３）式の代わりに（２）式を用いる場合は、（２）式の右辺の第２項に相当する選択優先度のみが用いられてもよい。
【0038】
図３の対応情報１２３ａの例では、イベント種別「加工ステップ１関連」と変数種別「加工ステップ１関連」とが対応づけられ、その組み合わせに対して、選択優先度として「０．５（大）」および更新優先度として「０．５（大）」が対応づけられる。
【0039】
各優先度はどのように表現されてもよいが、「大、中、小」のように複数のレベルで表現されてもよいし、数値の大小により表現されてもよい。
【0040】
図３に示すように、対応情報１２３ｂは、変数と、変数種別と、を含む。変数は、説明変数のいずれかを表す。各変数（説明変数）の変数種別は、例えば、管理者などにより事前に設定される。この例では、「センサ１」という変数に対して、「加工ステップ１関連」という変数種別が対応づけられる。
【0041】
図３に示す対応情報１２３ａ、１２３ｂを参照することにより、例えば検知されたイベントのイベント種別に対応する説明変数と、優先度（選択優先度、更新優先度）を決定することができる。なお、対応情報は、イベント記憶部１２２のイベント情報も含むと解釈されてもよい。イベント情報により、イベントに対応するイベント種別が特定されるためである。
【0042】
対応情報１２３ａのイベント種別と変数種別とは、１対１、１対多、多対１、および、多対多の関係になりうる。同様に、対応情報１２３ｂの変数と変数種別とは、１対１、１対多、多対１、および、多対多の関係になりうる。
【0043】
なお、図３に示す対応情報は一例であり、これに限られるものではない。例えば、イベント種別および変数種別は、それぞれイベントおよび変数と同一であってもよい。この場合、対応情報１２３ａと対応情報１２３ｂとが統合された１つの対応情報、例えば、イベントと変数（説明変数）と優先度とを対応づけた対応情報が用いられてもよい。
【0044】
また、優先度を陽に定義しない対応情報が用いられてもよい。例えば、イベント種別と変数種別とを対応づけた対応情報が、対応情報１２３ａの代わりに用いられてもよい。または、イベントと変数とを対応づけた対応情報が、対応情報１２３ａ、１２３ｂの代わりに用いられてもよい。この場合、対応情報に記載されているか否かに応じて、異なる優先度が決定されてもよい。例えば、対応情報に記載されている変数に対しては、高い（または低い）優先度が決定され、対応情報に記載されていない変数に対しては、低い（または高い）優先度が決定されてもよい。
【0045】
図１に戻り、センサデータ記憶部１２４は、各種のセンサで検知された複数のセンサデータを記憶する。センサデータは、工場またはプラントなどでの製造の履歴を示すデータと解釈することもできる。
【0046】
例えばセンサデータは、目的変数に相当する１つのセンサデータと、説明変数に相当する複数のセンサデータと、を含む。上記のように説明変数はセンサデータ（センサ値）に限られず、設定値および制御値などであってもよい。以下では、センサデータを説明変数として用いる例を主に説明する。
【0047】
図４は、センサデータのデータ構造の一例を示す図である。図４の例では、Ｙは目的変数に相当するセンサデータを表す。センサ１は、「センサ１」で識別されるセンサで測定されたセンサデータであり、説明変数に相当するセンサデータを表す。図４では１つのセンサによるセンサデータのみが示されているが、２つ以上のセンサによるセンサデータが測定されてもよい。
【0048】
測定ポイントＷ１、Ｗ２は、センサデータと対応する位置を示す情報である。図４の例では、値が「１」である場合に、対応するセンサデータ（センサ１）が当該測定ポイントで測定されたことを表し、値が「０」である場合に、対応するセンサデータ（センサ１）が当該測定ポイントで測定されていないことを表す。
【0049】
図５は、測定ポイントの例を説明するための図である。図５は、半導体工場でトレンチ（溝や穴）構造を加工するときに、トレンチのサイズ（トレンチ寸法）を複数の測定ポイントで測定する例を示す。また図５は、トレンチの断面を側方から観察した状態の図を表す。Ｗｋは、トレンチの幅を測定した深さを表す。
【0050】
図４に戻り、センサ１×測定ポイントＷ１は、センサ１の値と、測定ポイントＷ１の値との乗算により得られる値が設定される。同様に、センサ１×測定ポイントＷ２は、センサ１の値と、測定ポイントＷ２の値との乗算により得られる値が設定される。本実施形態では、このように乗算により得られた値が、回帰モデルを学習するときに説明変数として用いられる。
【0051】
なお、図４に示すセンサデータは一例であり、センサデータのデータ構造はこれに限られない。例えばセンサデータは、各測定ポイントで測定されたセンサデータを、測定ポイントそれぞれに対応する列に設定するデータ構造であってもよい。
【0052】
図１に戻り、生成データ記憶部１２５は、データ生成部１０４により生成された学習データを記憶する。学習データは、回帰モデルの学習に用いられるデータである。例えば、学習データは、複数の説明変数と、１つの目的変数と、を含むデータである。このため、図４に示すセンサデータは、学習データとして使用することができる。
【0053】
なお、各記憶部（モデル記憶部１２１、イベント記憶部１２２、対応情報記憶部１２３、センサデータ記憶部１２４、生成データ記憶部１２５）は、フラッシュメモリ、メモリカード、ＲＡＭ（Random Access Memory）、ＨＤＤ（Hard Disk Drive）、および、光ディスクなどの一般的に利用されているあらゆる記憶媒体により構成することができる。
【0054】
各記憶部は、物理的に異なる記憶媒体としてもよいし、物理的に同一の記憶媒体の異なる記憶領域として実現してもよい。さらに記憶部のそれぞれは、物理的に異なる複数の記憶媒体により実現してもよい。
【0055】
モデル取得部１０１は、学習（構築、更新）の対象となる回帰モデルに関する情報をモデル記憶部１２１から取得する。
【0056】
イベント検知部１０２は、回帰モデルを学習するタイミングを定めた１つ以上の条件が満たされるか否かを検知する。例えばイベント検知部１０２は、予め定められたイベントが発生したか否かを検知する。検知方法はどのような方法でもよいが、例えば以下のような方法を用いることができる。
・ユーザ等による、イベントの発生を示す情報の入力を検知する。
・他のシステムからのイベント発生の通知を検知する。
・他のシステムにイベント発生の有無を問い合わせ、問い合わせに対する応答により検知する。
・ユーザ等による、イベントの発生を示す情報の入力を検知する。
・他のシステムからのイベント発生の通知を検知する。
・他のシステムにイベント発生の有無を問い合わせ、問い合わせに対する応答により検知する。
【0057】
イベント検知部１０２は、例えば他のシステムなどによりイベント記憶部１２２にイベント情報が記憶された場合に、イベントが発生したことを検知してもよい。イベント検知部１０２は、イベント記憶部１２２に記憶されたイベント情報を定期的に、または、指定されたときに読み出し、読み出したイベント情報から予め定められたイベントを検知してもよい。
【0058】
優先度決定部１０３は、満たされることが検知された条件に応じて、複数の説明変数それぞれの優先度を決定する。例えば優先度決定部１０３は、イベント検知部１０２によりイベントが検知された場合、検知されたイベントに応じて、当該イベントに関連する説明変数と、当該説明変数の優先度を決定する。
【0059】
優先度決定部１０３は、イベント記憶部１２２に記憶されたイベント情報、および、対応情報記憶部１２３に記憶された対応情報（対応情報１２３ａ、１２３ｂ）を用いて、説明変数の優先度を決定することができる。まず、優先度決定部１０３は、イベント情報を参照して、検知されたイベントに対応するイベント種別を抽出する。優先度決定部１０３は、対応情報１２３ａを参照して、抽出したイベント種別に対応する変数種別と、優先度（選択優先度、更新優先度）を抽出する。優先度決定部１０３は、対応情報１２３ｂを参照して、抽出した変数種別に対応する変数（説明変数）を抽出する。優先度決定部１０３は、抽出した変数に対して、当該変数の変数種別に対応する優先度を決定する。
【0060】
このように、優先度決定部１０３は、条件（イベント）と説明変数と優先度とを対応づけた対応情報を用いて、検知された条件（イベント）に対応する説明変数に対して、検知された条件（イベント）に対応する優先度を決定する。
【0061】
優先度決定部１０３は、さらに、検知されたイベント以外を考慮して優先度を決定してもよい。例えば優先度決定部１０３は、学習データとテストデータとの間で、複数の説明変数それぞれの変化を求める。説明変数の変化は、説明変数の分布の変化と解釈することもできる。優先度決定部１０３は、求めた変化の大小により、優先度の高低を決定する。例えば優先度決定部１０３は、求めた変化が他の説明変数より大きい説明変数の優先度を、他の説明変数の優先度より大きい値に決定する。優先度決定部１０３は、求めた変化が他の説明変数より大きい説明変数の優先度を、他の説明変数の優先度より小さい値に決定してもよい。
【0062】
テストデータは、学習された回帰モデルを用いた予測の入力となるデータである。テストデータは、例えば、学習データとは異なるセンサデータ（学習データによる学習の後に検知されたセンサデータなど）である。
【0063】
データ生成部１０４は、学習データを生成する。例えばデータ生成部１０４は、センサデータ記憶部１２４に記憶されたセンサデータの一部を、学習データとして生成する。センサデータをそのまま学習データとして使用する場合は、生成データ記憶部１２５およびデータ生成部１０４は、備えられなくてもよい。
【0064】
データ生成部１０４は、優先度を考慮して学習データを生成してもよい。例えばデータ生成部１０４は、複数の説明変数のうち優先度が他の説明変数より高い１つ以上の説明変数と目的変数とを含む学習データを生成する。優先度は、例えば、次の学習に用いる学習データの生成より前に優先度決定部１０３により決定された値を参照することができる。
【0065】
モデル学習部１０５は、学習データを用いて回帰モデルを学習する。データ生成部１０４により学習データが生成される場合は、モデル学習部１０５は、生成された学習データを用いて回帰モデルを学習する。また、モデル学習部１０５は、優先度に応じて正則化の強さが変化する正則化項（罰則項）を含む目的関数を最適化するように回帰モデルを学習する。モデル学習部１０５は、学習した回帰モデルに関する情報を、モデル記憶部１２１に記憶する。
【0066】
以下、モデル学習部１０５による回帰モデルの学習の詳細について説明する。学習データを（ｘｉ，ｙｉ）、ｘｉ∈Ｒｐ、ｘｉ∈Ｒ、ｉ＝１，・・・，ｎと表す。また、過去に学習済の回帰モデルをβ～∈Ｒｐと表す。選択優先度に基づく重み、および更新優先度に基づく重み、を、それぞれｕｊ、ｖｊ（ｊ＝１，・・・，ｐ）と表す。
【0067】
選択優先度および更新優先度が数値で表されている場合、モデル学習部１０５は、その数値自体、または、その数値を用いて算出される値を、重みｕｊおよび重みｖｊとして使用することができる。選択優先度および更新優先度が数値で表されていない場合、モデル学習部１０５は、選択優先度および更新優先度を、それぞれ数値に変換した値を重みｕｊおよび重みｖｊとして求めておく。重みが示す数値は、０以上の実数であり、数値が大きいほど優先度が小さいことを表す。
【0068】
図６は、重みの例を示す図である。図６の例では、選択優先度に基づく重みｕｊは、１／４、１／２、１、２、４のいずれかの値に設定される。これらの値は、それぞれ、説明変数が、「ほぼ常に選択」、「積極的に選択」、「通常通り」、「積極的に非選択」、「ほぼ常に非選択」となることに対応する。
【0069】
同様に、更新優先度に基づく重みｖｊは、１／４、１／２、１、２、４のいずれかの値に設定される。これらの値は、それぞれ、説明変数が、「ほぼ常に変化」、「積極的に変化」、「通常通り」、「積極的に一定」、「ほぼ常に一定」となることに対応する。
【0070】
モデル学習部１０５は、学習データ（ｘｉ，ｙｉ）、回帰モデルβ～、重みｕｊ、および、重みｖｊを用いて、回帰モデルを学習する。本実施形態では、優先度に基づく重みを方式ＭＡに付加した方式（以下、方式ＭＢという）を採用する。方式ＭＢは、以下の（４）式で表される。
【数4】
【0071】
方式ＭＢでは、方式ＭＡに比べて、選択優先度に基づく重みｕｊおよび更新優先度に基づく重みｖｊが、正則化項に追加されている。これらの重みによって、変数選択および変数更新の優先度が調整される。
【0072】
このように、方式ＭＢでは、目的関数は、以下の３つの項を含む。
・予測結果と正解データとの適合性を評価する項：（４）式の右辺の第１項
・説明変数に対応するパラメータを正則化するための項に選択優先度に基づく重みを乗じた正則化項（第１正則化項）：（４）式の右辺の第２項
・更新前のパラメータに対する変化を正則化するための項に更新優先度に基づく重みを乗じた正則化項（第２正則化項）：（４）式の右辺の第３項
・予測結果と正解データとの適合性を評価する項：（４）式の右辺の第１項
・説明変数に対応するパラメータを正則化するための項に選択優先度に基づく重みを乗じた正則化項（第１正則化項）：（４）式の右辺の第２項
・更新前のパラメータに対する変化を正則化するための項に更新優先度に基づく重みを乗じた正則化項（第２正則化項）：（４）式の右辺の第３項
【0073】
なお、すべて説明変数（すべてのｊ）についてｕｊ＝１、ｖｊ＝１のとき、方式ＭＢは方式ＭＡと一致する。
【0074】
ｕｊの値が大きいとき、回帰係数が非ゼロになることに対して大きな罰則が加わることになり、変数が選択されることが抑制される。同様に、ｖｊの値が大きいとき、回帰係数が、更新前の回帰モデルβ～から更新されることに対して大きな罰則が加わることになり、回帰係数が更新されることが抑制される。
【0075】
優先度は、検知されたイベント（条件）に応じて調整されるため、イベントに対して適切な説明変数の選択および更新が可能となる。必要な説明変数のみが選択される、または、必要な説明変数のみが更新されるようになるため、例えば、各記憶部へのアクセス負荷、ネットワークの負荷、または、計算処理の負荷を軽減することができる。また、ノイズが大きい場合やデータの共線性が高い場合、データ数が少ない場合であっても、安定的にモデルを更新することができる。さらに、モデル更新がイベント情報と整合的であるため、モデル更新にかかる管理コストを下げることができる。
【0076】
なお、最初に回帰モデルを構築する場合は、学習済の回帰モデルβ～が存在しないため、モデル学習部１０５は、例えば、上記の（２）式のように学習済の回帰モデルβ～を用いない手法で回帰モデルを学習してもよい。
【0077】
予測部１１１は、学習された回帰モデルを用いた予測処理を実行する。例えば予測部１１１は、学習された回帰モデルを用いて、テストデータに対する目的変数を予測する予測処理を実行する。
【0078】
予測部１１１は、回帰モデルの予測結果（予測値）を用いて、テストデータに関連する対象が特定の状態（例えば異常）にあるか否かを推定してもよい。対象は、例えば工場またはプラントの特定の設備である。予測部１１１は、回帰モデルを用いて予測した目的変数の予測誤差に基づいて対象の異常を検知してもよい。予測部１１１は、例えば、予測誤差が閾値より大きくなった場合に、対象に異常が生じたと推定する。
【0079】
なお、予測処理は、情報処理装置１００の外部の装置（予測装置）で実行されてもよい。この場合、情報処理装置１００は、予測部１１１を備えなくてもよい。
【0080】
出力制御部１１２は、情報処理装置１００で用いられる各種情報の出力を制御する。例えば出力制御部１１２は、予測部１１１による予測処理の結果を出力する。出力方法はどのような方法でもよいが、例えば、ネットワークを介して外部の装置に送信する方法、および、液晶ディスプレイなどの表示装置に表示する方法を適用できる。
【0081】
上記各部（モデル取得部１０１、イベント検知部１０２、優先度決定部１０３、データ生成部１０４、モデル学習部１０５、予測部１１１、および、出力制御部１１２）の少なくとも一部は、１つの処理部により実現されてもよい。上記各部は、例えば、１または複数のプロセッサにより実現される。例えば上記各部は、ＣＰＵ（Central Processing Unit）およびＧＰＵ（Graphics Processing Unit）などのプロセッサにプログラムを実行させること、すなわちソフトウェアにより実現してもよい。上記各部は、専用のＩＣ（Integrated Circuit）などのプロセッサ、すなわちハードウェアにより実現してもよい。上記各部は、ソフトウェアおよびハードウェアを併用して実現してもよい。複数のプロセッサを用いる場合、各プロセッサは、各部のうち１つを実現してもよいし、各部のうち２つ以上を実現してもよい。
【0082】
また情報処理装置１００は、物理的に１つの装置によって構成されてもよいし、物理的に複数の装置によって構成されてもよい。例えば情報処理装置１００は、クラウド環境上で構築されてもよい。
【0083】
次に、実施形態の情報処理装置１００による学習処理について説明する。図７は、実施形態における学習処理の一例を示すフローチャートである。
【0084】
イベント検知部１０２がイベントを検知した場合に、学習処理が開始される（ステップＳ１０１）。優先度決定部１０３は、検知されたイベントに応じて、対応情報を用いて、説明変数の優先度を決定する（ステップＳ１０２）。
【0085】
データ生成部１０４は、回帰モデルの学習に用いる学習データを生成する（ステップＳ１０３）。モデル取得部１０１は、学習済の回帰モデルの情報を例えばモデル記憶部１２１から取得する（ステップＳ１０４）。モデル学習部１０５は、ステップＳ１０２で決定された優先度を用いた目的関数を最小化するように、ステップＳ１０３で生成された学習データを用いて、回帰モデルのパラメータを学習する（ステップＳ１０５）。
【0086】
このように、実施形態の情報処理装置では、回帰モデルを学習するタイミングを定めた条件が満たされたとき、条件に応じて説明変数の優先度が決定され、優先度に応じた正則化項を含む目的関数を用いて、回帰モデルが学習される。これにより、回帰モデルをより効率的に管理することができる。
【0087】
（変形例）
工場およびプラントでは、多くの回帰モデルが必要になる場合がある。例えば半導体工場では、１つの製品だけでなく、様々な製品が同じラインで生産されており、製造する製品（品種、型番）ごとに傾向が異なる。また、１つの製品に対して、様々な品質特性が存在する。回帰モデルの目的変数として用いられる半導体における品質特性には、例えば、電気特性値およびトレンチ寸法などがある。さらに、これらの品質特性は、装置、チャンバー、ウェハおよびチップなどのうち、いずれの位置で測定したかによって、傾向が異なる。このため、それぞれの品質特性を表す回帰モデルが必要となる。
工場およびプラントでは、多くの回帰モデルが必要になる場合がある。例えば半導体工場では、１つの製品だけでなく、様々な製品が同じラインで生産されており、製造する製品（品種、型番）ごとに傾向が異なる。また、１つの製品に対して、様々な品質特性が存在する。回帰モデルの目的変数として用いられる半導体における品質特性には、例えば、電気特性値およびトレンチ寸法などがある。さらに、これらの品質特性は、装置、チャンバー、ウェハおよびチップなどのうち、いずれの位置で測定したかによって、傾向が異なる。このため、それぞれの品質特性を表す回帰モデルが必要となる。
【0088】
そこで、複数の回帰モデルを統合した統合モデルを構築する技術が提案されている。このような技術により、複数のデータを用いて統合モデルを推定することが可能となる。しかし、従来の技術では、構築したモデルを更新する手段がないため、更新が必要になった場合には、再度、統合モデルを作り直す必要があった。統合モデルを作り直す手法では、統合モデルが不安定に変化する、構築処理（作り直す処理）に時間がかかる、および、構築または検証にかかる作業者の負荷が増加する、などの問題が生じうる。
【0089】
複数の回帰モデルを統合した統合モデルは、複数の目的変数を予測するモデルであると解釈することができる。そこで、変形例では、複数の目的変数を予測する回帰モデルを管理する例を説明する。基本的には上記実施形態と同様の方法で回帰モデルを学習（構築、更新）することができる。
【0090】
複数の回帰モデルの例について説明する。目的変数がＫ個（Ｋは２以上の整数）あるとすると、目的変数および説明変数を含むデータは、（ｘｉ，ｙｉ）、ｘｉ∈Ｒｐ、ｙｉ∈ＲＫ、ｉ＝１，・・・，ｎで表される。回帰モデルは、以下の（５）式のように推定される。
【数5】
【0091】
回帰モデルはＫ個あり、切片を含む回帰係数の数（パラメータの数）は（ｐ＋１）×Ｋ個である。このように、複数の回帰モデルそれぞれを個別に構築すると、回帰係数が膨大な数になり、その構築および管理が煩雑になる。
【0092】
そこで、スパース性を導入することで、パラメータの数を減らして汎化性能の向上および安定化を図ることが行われている。
【0093】
例えば、目的変数の種別がＫ個あるとき、ｉ番目のデータの種別を表すＫ次元のダミー変数ｚｉ∈｛０，１｝Ｋが導入される。このダミー変数は、カテゴリ変数のワンホット・エンコーディング（one-hot encoding）と呼ばれるダミー変数化であるが、Ｋ－１次元のダミー変数化を用いてもよいし、その他のエンコーディング法が用いられてもよい。
【0094】
カテゴリ変数は、あるカテゴリについて複数の水準（値）を取り得る変数である。カテゴリおよび水準はどのような組み合わせでもよいが、例えば以下のような組み合わせを用いることができる。
（Ａ１）カテゴリ：トレンチ内での測定位置、水準：深さ（図５の例では、Ｗ１～Ｗ４４段階の水準）
（Ａ２）カテゴリ：ウェハ内での測定位置、水準：上部、中央、下部の３段階の水準
（Ａ３）カテゴリ：測定対象、水準：装置、チャンバーなど
（Ａ１）カテゴリ：トレンチ内での測定位置、水準：深さ（図５の例では、Ｗ１～Ｗ４４段階の水準）
（Ａ２）カテゴリ：ウェハ内での測定位置、水準：上部、中央、下部の３段階の水準
（Ａ３）カテゴリ：測定対象、水準：装置、チャンバーなど
【0095】
ダミー変数化は、例えば、以下のように実行される。
・複数のカテゴリのうちいずれかに対して各水準をダミー変数化する。
・複数のカテゴリの組み合わせに対して、各水準をダミー変数化する。
・複数のカテゴリそれぞれをダミー変数化する。
・複数のカテゴリのうちいずれかに対して各水準をダミー変数化する。
・複数のカテゴリの組み合わせに対して、各水準をダミー変数化する。
・複数のカテゴリそれぞれをダミー変数化する。
【0096】
このとき、種別共通の回帰係数と種別ごとに異なる切片を持つとすれば、回帰モデルは以下の（６）式で表される。
【数6】
【0097】
ここで、γＴ∈ＲＫであり、ｋ番目の要素γｋは、目的変数の種別がｋであるときの切片を表している。これにより、パラメータの数は（１＋ｐ＋Ｋ）個となる。さらに、種別ごとに異なる回帰係数を持つとすれば、回帰モデルとして以下の（７）式で表されるモデルを考えることができる。
【数7】
【0098】
このとき、パラメータの数は（１＋ｐ＋Ｋ＋ｐＫ）個となる。このままではパラメータの個数は多くなるが、以下の（８）式に示すように、適切な正則化を加えて多くのパラメータをゼロに推定することで、有効なパラメータの数を少なくすることができる（例えば非特許文献１）。
【数8】
【0099】
ここで、（８）式の右辺に相当する目的関数の第１項は二乗誤差であり、第２項は共通の回帰係数と個別の回帰係数を各変数ｊでスパース化する項（正則化項）であり、第３項は個別の回帰係数をそれぞれスパース化する項（正則化項）である。
【0100】
特に、第２項は、「βｊが非ゼロのときに限ってγｊｋが非ゼロになりうる（γｊｋが非ゼロであるのにβｊがゼロであることはない）」ことを制約する定式化となっている。このような正則化を用いることで、有効な（非ゼロになる）パラメータが少なくなり、汎化性能、安定化、および、解釈性を向上させることができる。
【0101】
このような方法は、目的変数が複数あるという意味でマルチタスク学習とも呼ばれ、上記以外にも様々な手法が提案されている（例えば、特許文献１、非特許文献４～７）。
【0102】
また、このような方法は、元の学習データ（ｘｉｊ）に対して、ダミー変数を用いて新たに学習データ（ｘｉｊ，ｚｉｋ，ｘｉｊｚｉｋ）を拡張し、その拡張された学習データに対してスパース正則化を用いて統合的な回帰モデルを推定している、と解釈することができる。
【0103】
例えば、ｚｉ１は、目的変数がチャンバー１の品質特性であるか否かを１または０で表した変数であり、ｘｉ１がセンサ１の変数であるとする。この場合、ｘｉ１ｚｉ１という新たな変数は、「センサ１×チャンバー１」を表す変数であり、チャンバー１以外であれば値は０、チャンバー１であればセンサ１の値そのものを表す変数となる。
【0104】
すなわち、データを拡張しておくことで、複数の回帰モデルを統合した統合モデルを構築できる。アルゴリズムを実装する上では、前処理として学習データを拡張しておけば、一般の正則化付き最適化問題の手法およびパッケージが利用できる。
【0105】
【0106】
Ｙは目的変数に相当するセンサデータ（品質特性など）を表す。センサ１は、「センサ１」で識別されるセンサで測定されたセンサデータである。「チャンバー１」、「チャンバー２」は、目的変数であるＹの種別を表すダミー変数に相当する。例えば「チャンバー１」の値が１である場合、半導体である製品が、「チャンバー１」に対応するチャンバーで製造されたことを表す。「チャンバー２」の値が１である場合、半導体である製品が、「チャンバー２」に対応するチャンバーで製造されたことを表す。すなわち、この例は、２つの異なるチャンバーで製造した製品の２つの品質特性を予測するための統合モデルに対するデータの例であると解釈することができる。なお、この統合モデルでは、２つの品質特性は、１つの目的変数Ｙで表される。
【0107】
データの拡張は、例えばデータ生成部１０４により実行される。すなわち、データ生成部１０４は、１つ以上の変数ＶＡ（第１変数）と、複数の目的変数それぞれに対応する複数のダミー変数と、を乗じることにより複数の説明変数を算出する。図８の例では、例えば「センサ１」で測定されたセンサデータが変数ＶＡに相当する。また、「チャンバー１」、「チャンバー２」が複数のダミー変数に相当する。データ生成部１０４は、算出した複数の説明変数を含むデータを生成する。
【0108】
変形例では、拡張されたデータの説明変数および回帰モデル（統合モデル）をｐ次元とみなすことにより、上記実施形態と同様の統合モデルの学習手法が適用される。例えば図８の例では、チャンバー１に固有の変数として拡張された変数「センサ１×チャンバー１」と、チャンバー２に固有の変数として拡張された変数「センサ１×チャンバー２」とが、ｐ次元の説明変数の少なくとも一部と解釈される。
【0109】
上記のようにして構築される統合モデルに対しても、モデルの更新が必要になる場合がある。特に、統合モデルは複数の品質特性を対象とするため、１つの品質特性の回帰モデルに比べてモデルの更新頻度は高くなる。
【0110】
統合モデルの更新についても、必要な箇所だけ更新する方式ＭＡが活用できる。統合モデルに対して方式ＭＡを適用するには、ｘｉｊ，ｚｉｋ，ｘｉｊｚｉｋ（ｊ＝１，・・・，ｐ、ｋ＝１，・・・，Ｋ）を並べたベクトルを改めてｘｉとおいて予めデータを拡張しておけばよい。
【0111】
ただし、統合モデルは、複数の品質特性を含むため、ノイズも大きくなりやすく、また、データの次元も大きくなることが多いため、方式ＭＡによる自動的なパラメータ更新が必ずしも適切でないことがある。
【0112】
そこで、本変形例では、統合モデルを学習（更新）するタイミングを定めた条件（イベントの発生など）が満たされたとき、条件に応じて更新が必要なパラメータが特定され、特定されたパラメータが優先的に更新される。
【0113】
変形例による優先度の決定方法の例について説明する。
【0114】
変形例においても、優先度決定部１０３は、イベント記憶部１２２に記憶されたイベント情報、および、対応情報記憶部１２３に記憶された対応情報（対応情報１２３ａ、１２３ｂ）を用いて、説明変数の優先度を決定することができる。
【0115】
【0116】
図１０は、変形例で用いられる対応情報のデータ構造の一例を示す図である。図１０の対応情報１２３ａの例では、イベント種別「チャンバー１関連」と変数種別「チャンバー１関連」とが対応づけられ、その組み合わせに対して、選択優先度として「０．５（大）」および更新優先度として「０．５（大）」が対応づけられる。また、図１０の対応情報１２３ｂの例では、チャンバー１に固有の変数として拡張された変数「センサ１×チャンバー１」に対して、「チャンバー１関連」という変数種別が対応づけられる。
【0117】
変数と変数種別との対応情報１２３ｂは、例えば、管理者などにより手動で設定されてもよい。対応情報１２３ｂは、拡張されたデータを参照して、例えば優先度決定部１０３（データ生成部１０４、モデル学習部１０５などでもよい）により生成されてもよい。
【0118】
例えば優先度決定部１０３は、ダミー変数に対応する目的変数の種別を特定する。図８の例では、ダミー変数「チャンバー１」については、優先度決定部１０３は、目的変数の種別が「チャンバー１関連」であることを特定する。優先度決定部１０３は、特定した目的変数の種別を説明変数の種別（変数種別）として特定する。優先度決定部１０３は、特定した説明変数の種別と、説明変数と、を対応づけた対応情報１２３ｂ（第１対応情報）を生成する。
【0119】
これにより、優先度決定部１０３は、生成した対応情報１２３ｂと、対応情報１２３ａ（第２対応情報）と、用いて、検知された条件の種別（イベント種別）に対応する変数種別に含まれる説明変数に対して、検知された条件の種別に対応する優先度を決定することができる。
【0120】
優先度決定部１０３は、さらに、学習されたモデルによる予測処理の予測誤差を考慮して、優先度を決定してもよい。例えば優先度決定部１０３は、複数の目的変数のうち、学習された回帰モデルによる予測誤差の大小によって、対応する説明変数の優先度の高低を決定する。例えば、チャンバー２に関連する品質特性（目的変数）の予測誤差が他の品質特性（例えばチャンバー１に関連する品質特性）より大きい場合、優先度決定部１０３は、例えば、チャンバー２に関連する品質特性（目的変数）に関連する説明変数（例えばセンサ１×チャンバー２）の優先度を、他の説明変数より大きい値に決定する。逆に、優先度決定部１０３は、予測誤差が他の説明変数より大きい説明変数の優先度を、他の説明変数の優先度より小さい値に決定してもよい。
【0121】
モデル学習部１０５は、決定された優先度に応じて正則化の強さが変化する正則化項（罰則項）を含む目的関数を最適化するように回帰モデルを学習する。上記のように、変形例では、拡張されたデータの説明変数を改めてｐ次元の学習データｘｉであるとみなすことにより、上記実施形態と同様の統合モデル（回帰モデル）の学習手法を適用できる。
【0122】
このように、変形例では、品質特性が複数あるような統合モデルに対しても、イベントに応じて優先度を変えてモデルを更新することで、モデルを安定的に更新するとともに、モデルの更新にかかる負荷を減らして効率的に管理することが可能となる。
【0123】
【0124】
実施形態の情報処理装置は、ＣＰＵ５１などの制御装置と、ＲＯＭ（Read Only Memory）５２やＲＡＭ５３などの記憶装置と、ネットワークに接続して通信を行う通信Ｉ／Ｆ５４と、各部を接続するバス６１を備えている。
【0125】
実施形態の情報処理装置で実行されるプログラムは、ＲＯＭ５２等に予め組み込まれて提供される。
【0126】
実施形態の情報処理装置で実行されるプログラムは、インストール可能な形式または実行可能な形式のファイルでＣＤ－ＲＯＭ（Compact Disk Read Only Memory）、フレキシブルディスク（ＦＤ）、ＣＤ－Ｒ（Compact Disk Recordable）、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録してコンピュータプログラムプロダクトとして提供されるように構成してもよい。
【0127】
さらに、実施形態の情報処理装置で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、実施形態の情報処理装置で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。
【0128】
実施形態の情報処理装置で実行されるプログラムは、コンピュータを上述した情報処理装置の各部として機能させうる。このコンピュータは、ＣＰＵ５１がコンピュータ読取可能な記憶媒体からプログラムを主記憶装置上に読み出して実行することができる。
【0129】
実施形態の構成例について以下に記載する。
（構成例１）
複数の説明変数に対する１つ以上の目的変数を予測する回帰モデルを学習するタイミングを定めた１つ以上の条件が満たされるか否かを検知し、
満たされることが検知された前記条件に応じて、複数の前記説明変数それぞれの優先度を決定し、
前記優先度に応じて正則化の強さが変化する正則化項を含む目的関数および学習データを用いて前記回帰モデルを学習する、
処理部、
を備える情報処理装置。
（構成例２）
前記回帰モデルは、複数の目的変数を予測し、
前記処理部は、
１つ以上の第１変数と、複数の前記目的変数それぞれに対応する複数のダミー変数と、を乗じることにより複数の前記説明変数を算出し、算出した複数の前記説明変数を含む前記学習データを生成し、
生成された前記学習データを用いて前記回帰モデルを学習する、
構成例１に記載の情報処理装置。
（構成例３）
前記処理部は、
前記ダミー変数に対応する前記目的変数の種別を前記説明変数の種別として特定し、特定した前記説明変数の種別と、前記説明変数と、を対応づけた第１対応情報を生成し、
前記第１対応情報と、前記条件の種別と前記説明変数の種別と前記優先度とを対応づけた第２対応情報と、を用いて、検知された前記条件の種別に対応する前記説明変数の種別に含まれる前記説明変数に対して、検知された前記条件の種別に対応する前記優先度を決定する、
構成例２に記載の情報処理装置。
（構成例４）
前記処理部は、
複数の前記目的変数のうち、学習された前記回帰モデルによる予測誤差が他の前記目的変数より大きい前記目的変数に対応する前記説明変数の優先度を、他の前記説明変数の優先度より大きい値に決定する、
構成例２に記載の情報処理装置。
（構成例５）
前記処理部は、
前記条件と前記説明変数と前記優先度とを対応づけた対応情報を用いて、検知された前記条件に対応する前記説明変数に対して、検知された前記条件に対応する前記優先度を決定する、
構成例１から４のいずれか１つに記載の情報処理装置。
（構成例６）
前記処理部は、
複数の前記説明変数のうち前記優先度が他の前記説明変数より高い１つ以上の前記説明変数と、１つ以上の前記目的変数と、を含む前記学習データを生成し、
生成された前記学習データを用いて前記回帰モデルを学習する、
構成例１から５のいずれか１つに記載の情報処理装置。
（構成例７）
前記処理部は、
前記学習データと、学習された前記回帰モデルを用いた予測の入力となるテストデータと、の間で、複数の前記説明変数それぞれの変化を求め、前記変化が他の前記説明変数より大きい前記説明変数の優先度を、他の前記説明変数の優先度より大きい値に決定する、
構成例１から６のいずれか１つに記載の情報処理装置。
（構成例８）
前記優先度は、前記説明変数を選択する優先度を表す選択優先度と、前記説明変数を更新する優先度を表す更新優先度と、を含み、
前記目的関数は、
予測結果と正解データとの適合性を評価する項と、
前記説明変数に対応するパラメータを正則化するための項に前記選択優先度に基づく重みを乗じた第１正則化項と、
更新前の前記パラメータに対する変化を正則化するための項に前記更新優先度に基づく重みを乗じた第２正則化項と、
を含む、
構成例１から７のいずれか１つに記載の情報処理装置。
（構成例９）
前記処理部は、
学習された前記回帰モデルを用いて、複数の前記説明変数を含むテストデータに対する１つ以上の前記目的変数を予測する、
構成例１から８のいずれか１つに記載の情報処理装置。
（構成例１０）
前記処理部は、
予測した前記目的変数の予測誤差に基づいて、前記テストデータに関連する対象が特定の状態にあるか否かを推定する、
構成例９に記載の情報処理装置。
（構成例１１）
前記処理部は、
前記目的関数を最適化するように、前記学習データを用いて前記回帰モデルを学習する、
構成例１から１０のいずれか１つに記載の情報処理装置。
（構成例１２）
前記処理部は、
前記条件が満たされるか否かを検知する検知部と、
前記優先度を決定する決定部と、
前記回帰モデルを学習する学習部と、
を備える、
構成例１から１１のいずれか１つに記載の情報処理装置。
（構成例１３）
情報処理装置が実行する情報処理方法であって、
複数の説明変数に対する１つ以上の目的変数を予測する回帰モデルを学習するタイミングを定めた１つ以上の条件が満たされるか否かを検知する検知ステップと、
満たされることが検知された前記条件に応じて、複数の前記説明変数それぞれの優先度を決定する決定ステップと、
前記優先度に応じて正則化の強さが変化する正則化項を含む目的関数および学習データを用いて前記回帰モデルを学習する学習ステップと、
を含む情報処理方法。
（構成例１４）
コンピュータに、
複数の説明変数に対する１つ以上の目的変数を予測する回帰モデルを学習するタイミングを定めた１つ以上の条件が満たされるか否かを検知する検知ステップと、
満たされることが検知された前記条件に応じて、複数の前記説明変数それぞれの優先度を決定する決定ステップと、
前記優先度に応じて正則化の強さが変化する正則化項を含む目的関数および学習データを用いて前記回帰モデルを学習する学習ステップと、
を実行させるためのプログラム。
（構成例１）
複数の説明変数に対する１つ以上の目的変数を予測する回帰モデルを学習するタイミングを定めた１つ以上の条件が満たされるか否かを検知し、
満たされることが検知された前記条件に応じて、複数の前記説明変数それぞれの優先度を決定し、
前記優先度に応じて正則化の強さが変化する正則化項を含む目的関数および学習データを用いて前記回帰モデルを学習する、
処理部、
を備える情報処理装置。
（構成例２）
前記回帰モデルは、複数の目的変数を予測し、
前記処理部は、
１つ以上の第１変数と、複数の前記目的変数それぞれに対応する複数のダミー変数と、を乗じることにより複数の前記説明変数を算出し、算出した複数の前記説明変数を含む前記学習データを生成し、
生成された前記学習データを用いて前記回帰モデルを学習する、
構成例１に記載の情報処理装置。
（構成例３）
前記処理部は、
前記ダミー変数に対応する前記目的変数の種別を前記説明変数の種別として特定し、特定した前記説明変数の種別と、前記説明変数と、を対応づけた第１対応情報を生成し、
前記第１対応情報と、前記条件の種別と前記説明変数の種別と前記優先度とを対応づけた第２対応情報と、を用いて、検知された前記条件の種別に対応する前記説明変数の種別に含まれる前記説明変数に対して、検知された前記条件の種別に対応する前記優先度を決定する、
構成例２に記載の情報処理装置。
（構成例４）
前記処理部は、
複数の前記目的変数のうち、学習された前記回帰モデルによる予測誤差が他の前記目的変数より大きい前記目的変数に対応する前記説明変数の優先度を、他の前記説明変数の優先度より大きい値に決定する、
構成例２に記載の情報処理装置。
（構成例５）
前記処理部は、
前記条件と前記説明変数と前記優先度とを対応づけた対応情報を用いて、検知された前記条件に対応する前記説明変数に対して、検知された前記条件に対応する前記優先度を決定する、
構成例１から４のいずれか１つに記載の情報処理装置。
（構成例６）
前記処理部は、
複数の前記説明変数のうち前記優先度が他の前記説明変数より高い１つ以上の前記説明変数と、１つ以上の前記目的変数と、を含む前記学習データを生成し、
生成された前記学習データを用いて前記回帰モデルを学習する、
構成例１から５のいずれか１つに記載の情報処理装置。
（構成例７）
前記処理部は、
前記学習データと、学習された前記回帰モデルを用いた予測の入力となるテストデータと、の間で、複数の前記説明変数それぞれの変化を求め、前記変化が他の前記説明変数より大きい前記説明変数の優先度を、他の前記説明変数の優先度より大きい値に決定する、
構成例１から６のいずれか１つに記載の情報処理装置。
（構成例８）
前記優先度は、前記説明変数を選択する優先度を表す選択優先度と、前記説明変数を更新する優先度を表す更新優先度と、を含み、
前記目的関数は、
予測結果と正解データとの適合性を評価する項と、
前記説明変数に対応するパラメータを正則化するための項に前記選択優先度に基づく重みを乗じた第１正則化項と、
更新前の前記パラメータに対する変化を正則化するための項に前記更新優先度に基づく重みを乗じた第２正則化項と、
を含む、
構成例１から７のいずれか１つに記載の情報処理装置。
（構成例９）
前記処理部は、
学習された前記回帰モデルを用いて、複数の前記説明変数を含むテストデータに対する１つ以上の前記目的変数を予測する、
構成例１から８のいずれか１つに記載の情報処理装置。
（構成例１０）
前記処理部は、
予測した前記目的変数の予測誤差に基づいて、前記テストデータに関連する対象が特定の状態にあるか否かを推定する、
構成例９に記載の情報処理装置。
（構成例１１）
前記処理部は、
前記目的関数を最適化するように、前記学習データを用いて前記回帰モデルを学習する、
構成例１から１０のいずれか１つに記載の情報処理装置。
（構成例１２）
前記処理部は、
前記条件が満たされるか否かを検知する検知部と、
前記優先度を決定する決定部と、
前記回帰モデルを学習する学習部と、
を備える、
構成例１から１１のいずれか１つに記載の情報処理装置。
（構成例１３）
情報処理装置が実行する情報処理方法であって、
複数の説明変数に対する１つ以上の目的変数を予測する回帰モデルを学習するタイミングを定めた１つ以上の条件が満たされるか否かを検知する検知ステップと、
満たされることが検知された前記条件に応じて、複数の前記説明変数それぞれの優先度を決定する決定ステップと、
前記優先度に応じて正則化の強さが変化する正則化項を含む目的関数および学習データを用いて前記回帰モデルを学習する学習ステップと、
を含む情報処理方法。
（構成例１４）
コンピュータに、
複数の説明変数に対する１つ以上の目的変数を予測する回帰モデルを学習するタイミングを定めた１つ以上の条件が満たされるか否かを検知する検知ステップと、
満たされることが検知された前記条件に応じて、複数の前記説明変数それぞれの優先度を決定する決定ステップと、
前記優先度に応じて正則化の強さが変化する正則化項を含む目的関数および学習データを用いて前記回帰モデルを学習する学習ステップと、
を実行させるためのプログラム。
【0130】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【0131】
１００ 情報処理装置
１０１ モデル取得部
１０２ イベント検知部
１０３ 優先度決定部
１０４ データ生成部
１０５ モデル学習部
１１１ 予測部
１１２ 出力制御部
１２１ モデル記憶部
１２２ イベント記憶部
１２３ 対応情報記憶部
１２４ センサデータ記憶部
１２５ 生成データ記憶部
１０１ モデル取得部
１０２ イベント検知部
１０３ 優先度決定部
１０４ データ生成部
１０５ モデル学習部
１１１ 予測部
１１２ 出力制御部
１２１ モデル記憶部
１２２ イベント記憶部
１２３ 対応情報記憶部
１２４ センサデータ記憶部
１２５ 生成データ記憶部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】