特許 7500499 情報処理装置、情報処理方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-06-07

(45)【発行日】2024-06-17

(54)【発明の名称】情報処理装置、情報処理方法およびプログラム

(51)【国際特許分類】

   G06Q 50/04 20120101AFI20240610BHJP

   G05B 19/418 20060101ALI20240610BHJP

   G05B 23/02 20060101ALI20240610BHJP

   G06Q 10/04 20230101ALI20240610BHJP

【ＦＩ】

G06Q50/04

G05B19/418 Z

G05B23/02 G

G06Q10/04

【請求項の数】 14

(21)【出願番号】P 2021091198

(22)【出願日】2021-05-31

(65)【公開番号】P2022183731

(43)【公開日】2022-12-13

【審査請求日】2023-03-13

(73)【特許権者】

【識別番号】000003078

【氏名又は名称】株式会社東芝

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】高田 正彬

(72)【発明者】

【氏名】李 根

【審査官】貝塚 涼

(56)【参考文献】

【文献】特開２０２０－１９４３７７（ＪＰ，Ａ）

【文献】特開２００８－００８７７２（ＪＰ，Ａ）

【文献】特開２０１９－０７９１２０（ＪＰ，Ａ）

【文献】岩田具治，外３名，分布が変化するデータにおけるモデル学習法，電子情報通信学会論文誌，一般社団法人電子情報通信学会，2009年03月01日，第Ｊ９２－Ｄ巻，第３号，第３６１－３７０頁，ＩＳＳＮ １８８０－４５３５

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｑ １０／００ － ９９／００

Ｇ０５Ｂ １９／４１８

Ｇ０５Ｂ ２３／０２

(57)【特許請求の範囲】

【請求項1】

Ｋ個（Ｋは２以上の整数）の期間に得られる複数の入力データであって、時間に応じて傾向が変化する、製造に関する１つ以上の説明変数および１つ以上の目的変数を含む複数の前記入力データの入力を受け付ける受付部と、
Ｋ個の前記期間ごとに、前記期間に得られる複数の前記入力データを用いた機械学習により、前記説明変数を入力して前記目的変数を出力する第１モデルのパラメータを推定する第１モデル推定部と、
推定されたＫ個の前記第１モデルのパラメータを用いた機械学習により、前記第１モデルのパラメータごとに、前記期間の時間に関する第１時間パラメータを入力して前記期間に対応する第１モデルのパラメータを出力する第２モデルを推定し、推定した前記第２モデルに基づいて、指定された第２時間パラメータに対応する第１モデルのパラメータを推定する第２モデル推定部と、
を備える情報処理装置。

【請求項2】

前記第１時間パラメータは、期間の長さ、期間の開始時刻、および、期間の終了時刻のいずれかである、
請求項１に記載の情報処理装置。

【請求項3】

前記第２時間パラメータは、Ｋ個の前記期間の終了時刻以降の時刻を示す、
請求項２に記載の情報処理装置。

【請求項4】

前記第１モデル推定部は、前記第１モデルのパラメータがスパース性を有するように前記第１モデルを推定する、
請求項１～３のいずれか１項に記載の情報処理装置。

【請求項5】

前記第１モデル推定部は、第１期間に対して推定された第１モデルを初期値として第２期間に対する第１モデルを推定する転移学習を行う、
請求項１～４のいずれか１項に記載の情報処理装置。

【請求項6】

Ｋ個の前記期間の長さは、前記第１モデルの精度に基づいて決定される、
請求項１～５のいずれか１項に記載の情報処理装置。

【請求項7】

複数の前記入力データは、電子機器の状態に応じて変化するデータであり、
Ｋ個の前記期間の長さは、前記電子機器のメンテナンスの間隔に基づいて決定される、
請求項１～５のいずれか１項に記載の情報処理装置。

【請求項8】

前記第１モデルは、線形回帰モデル、多項式回帰モデル、ロジスティック回帰モデル、ポアソン回帰モデル、一般化線形モデル、一般化加法モデル、および、ニューラルネットワークモデルのいずれかである、
請求項１～７のいずれか１項に記載の情報処理装置。

【請求項9】

前記第１モデル推定部により推定された第１モデルと、前記第２モデル推定部により推定された第１モデルと、を表示装置に表示する出力制御部をさらに備える、
請求項１～８のいずれか１項に記載の情報処理装置。

【請求項10】

前記第２モデルは、前記第１時間パラメータと、Ｋ個の第１モデルのパラメータとの関係を示す回帰モデルであり、
前記出力制御部は、さらに、前記回帰モデルを示す情報を前記表示装置に表示する、
請求項９に記載の情報処理装置。

【請求項11】

Ｋ個の前記期間は、前記第１時間パラメータが相互に異なる、
請求項１～１０のいずれか１項に記載の情報処理装置。

【請求項12】

前記説明変数は、センサ値、加工条件を含む設定値、および、制御値のうち少なくとも一部を含み、
前記目的変数は、品質特性、不良率、並びに、良品および不良品のいずれかを示す情報のいずれかである、
請求項１～１１のいずれか１項に記載の情報処理装置。

【請求項13】

情報処理装置が実行する情報処理方法であって、
Ｋ個（Ｋは２以上の整数）の期間に得られる複数の入力データであって、時間に応じて傾向が変化する、製造に関する１つ以上の説明変数および１つ以上の目的変数を含む複数の前記入力データの入力を受け付ける受付ステップと、
Ｋ個の前記期間ごとに、前記期間に得られる複数の前記入力データを用いた機械学習により、前記説明変数を入力して前記目的変数を出力する第１モデルのパラメータを推定する第１モデル推定ステップと、
推定されたＫ個の前記第１モデルのパラメータを用いた機械学習により、前記第１モデルのパラメータごとに、前記期間の時間に関する第１時間パラメータを入力して前記期間に対応する第１モデルのパラメータを出力する第２モデルを推定し、推定した前記第２モデルに基づいて、指定された第２時間パラメータに対応する第１モデルのパラメータを推定する第２モデル推定ステップと、
を含む情報処理方法。

【請求項14】

コンピュータに、
Ｋ個（Ｋは２以上の整数）の期間に得られる複数の入力データであって、時間に応じて傾向が変化する、製造に関する１つ以上の説明変数および１つ以上の目的変数を含む複数の前記入力データの入力を受け付ける受付ステップと、
Ｋ個の前記期間ごとに、前記期間に得られる複数の前記入力データを用いた機械学習により、前記説明変数を入力して前記目的変数を出力する第１モデルのパラメータを推定する第１モデル推定ステップと、
推定されたＫ個の前記第１モデルのパラメータを用いた機械学習により、前記第１モデルのパラメータごとに、前記期間の時間に関する第１時間パラメータを入力して前記期間に対応する第１モデルのパラメータを出力する第２モデルを推定し、推定した前記第２モデルに基づいて、指定された第２時間パラメータに対応する第１モデルのパラメータを推定する第２モデル推定ステップと、
を実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施形態は、情報処理装置、情報処理方法およびプログラムに関する。

【背景技術】

【0002】

例えば半導体工場および化学プラントでは、生産性、歩留および信頼性の向上のために、品質特性を監視して傾向の変化を捉え、品質のばらつきを低減する取り組みが日々行われている。ばらつきを低減するには、ばらつきの原因を正確に把握することが必要である。このために、統計および機械学習を用いたモデル（回帰モデル、分類モデルなど）が活用されている。モデルの説明変数をセンサ値、制御値および設定値などのプロセスデータとし、目的変数を品質特性とすることで、品質特性のばらつきの原因を分析することができる。

【0003】

正確な分析には、より正確（高精度）にモデルを推定することが必要である。モデルの推定には、過去の一定期間のデータが用いられる。この期間（以下、データ期間）が短すぎるとデータ不足のため正確なモデルを推定することができない場合がある。逆にデータ期間が長すぎると、推定されたモデルによって最近の傾向を捉えることができない場合がある。

【先行技術文献】

【特許文献】

【0004】

【文献】特許第６２９９１７２号公報

【文献】米国特許第１０４５３０２６号明細書

【非特許文献】

【0005】

【文献】A. Okuno et al.、“Extrapolation Towards Imaginary 0-Nearest Neighbour and Its Improved Convergence Rate”、 34th Conference on Neural Information Processing Systems （NeurIPS 2020）, Vancouver, Canada．

【文献】M. Takada et al.,“Transfer Learning via $ell_1$ Regularization”, Advances in Neural Information Processing Systems （NeurIPS2020）, 33, 14266-14277.

【発明の概要】

【発明が解決しようとする課題】

【0006】

本発明が解決しようとする課題は、より高精度なモデルを推定することができる情報処理装置、情報処理方法およびプログラムを提供することである。

【課題を解決するための手段】

【0007】

実施形態の情報処理装置は、受付部と第１モデル推定部と第２モデル推定部とを備える。受付部は、Ｋ個（Ｋは２以上の整数）の期間に得られる複数の入力データの入力を受け付ける。第１モデル推定部は、Ｋ個の期間ごとに、期間に得られる複数の入力データを用いて、入力データを入力して出力データを出力する第１モデルを推定する。第２モデル推定部は、期間の時間に関する第１時間パラメータと、第１モデルとの関係を表す第２モデルを推定し、推定した第２モデルに基づいて、指定された第２時間パラメータに対応する第１モデルを推定する。

【図面の簡単な説明】

【0008】

【図1】第１の実施形態の情報処理システムのブロック図。

【図2】第１の実施形態におけるモデル推定処理のフローチャート。

【図3】線形回帰モデルによるモデル推定の例を示す図。

【図4】二次関数を用いたモデル推定の例を示す図。

【図5】モデルの推定方法を指定するための指定画面の例を示す図。

【図6】モデルが推定された後の指定画面の例を示す図。

【図7】第２の実施形態の情報処理システムのブロック図。

【図8】第２の実施形態での回帰モデルの推定処理の概要を示す図。

【図9】第１または第２の実施形態にかかる情報処理装置のハードウェア構成図。

【発明を実施するための形態】

【0009】

以下に添付図面を参照して、この発明にかかる情報処理装置の好適な実施形態を詳細に説明する。

【0010】

上記のように、従来技術では、データ期間を適切に設定しなければ、より高精度なモデルを推定することができない場合がある。特に、半導体工場および化学プラントなどでは、データ傾向が時々刻々と変化し（非定常性）、また、その挙動に曜日および季節などの周期性が乏しい（非周期的）。このため、データ期間が長すぎるとデータ傾向がなまり、適切に直近の傾向を反映したモデルが推定できない。通常は、それらのバランスを考慮してデータ期間の長さが設定される。

【0011】

他の方法として、データ期間の長さを設定する代わりに、現在からデータ取得時点の時間の長さに応じて重みを付与してモデル（時変係数モデル、変化係数モデル）を推定する方法が提案されている。この方法によれば、例えば直近のデータは重みを大きく、遠い過去のデータは重みを小さくするように目的関数を設計することで、より新しい傾向を捉えることができるモデルを推定することが可能となる。

【0012】

しかし上記の方法では、いずれも「現時点での傾向が捉えられない」という問題がある。すなわち、データ期間を適切に設定したとしても、データが得られているデータ期間の傾向しか捉えられないため、例えばデータが存在しない時点、または、極めて少ないデータしか得られていない時点の傾向を正確に捉えることができない。

【0013】

そこで、以下の実施形態では、現時点などのようにデータが不足している時点に対してもより正確に分析することができるモデルを推定する方式を実現する。

【0014】

（第１の実施形態）
第１の実施形態にかかる情報処理装置は、データ期間を様々に変えて複数のモデルを推定（構築）し、複数のモデルの時間軸方向の変化をさらにモデル化することで、データが不足する時点での傾向をより正確に分析できるモデルを推定する。これにより、例えばデータの急な傾向の変化を素早く検知することが可能となる。

【0015】

図１は、本実施形態の情報処理装置を含む情報処理システムの構成の一例を示すブロック図である。図１に示すように、情報処理システムは、情報処理装置１００と、管理システム２００とが、ネットワーク３００を介して接続された構成となっている。

【0016】

情報処理装置１００および管理システム２００それぞれは、例えばサーバ装置として構成することができる。情報処理装置１００および管理システム２００は、物理的に独立した複数の装置（システム）として実現されてもよいし、物理的に１つの装置内にそれぞれの機能が構成されてもよい。後者の場合、ネットワーク３００は備えらえなくてもよい。情報処理装置１００および管理システム２００の少なくとも一方は、クラウド環境上で構築されてもよい。

【0017】

ネットワーク３００は、例えば、ＬＡＮ（ローカルエリアネットワーク）およびインターネットなどのネットワークである。ネットワーク３００は、有線ネットワークおよび無線ネットワークのいずれであってもよい。情報処理装置１００と、管理システム２００とは、ネットワーク３００を介することなく、コンポーネント間の直接的な有線接続または無線接続を用いてデータを送受信してもよい。

【0018】

管理システム２００は、情報処理装置１００が処理するモデル、および、モデルの学習（推定）および解析などに用いられるデータを管理するシステムである。管理システム２００は、記憶部２２１と、通信制御部２０１と、を備えている。

【0019】

記憶部２２１は、管理システム２００で実行される各種処理で用いられる各種情報を記憶する。例えば記憶部２２１は、モデルの推定に用いる入力データなどを記憶する。記憶部２２１は、フラッシュメモリ、メモリカード、ＲＡＭ（Random Access Memory）、ＨＤＤ（Hard Disk Drive）、および、光ディスクなどの一般的に利用されているあらゆる記憶媒体により構成することができる。

【0020】

モデルは、説明変数を入力して目的変数の推論結果を出力する。モデルは、例えば、線形回帰モデル、多項式回帰モデル、ロジスティック回帰モデル、ポアソン回帰モデル、一般化線形モデル、一般化加法モデル、および、ニューラルネットワークモデルなどである。モデルは、これらに限られるものではなく、パラメータを用いて表現されるモデルであればどのようなモデルであってもよい。

【0021】

モデルは、目的変数および説明変数を含む入力データを用いて学習することにより推定される。目的変数は、例えば、品質特性、不良率、並びに、良品および不良品のいずれかを示す情報などである。説明変数は、その他のセンサ値、加工条件などの設定値、および、制御値などである。

【0022】

通信制御部２０１は、情報処理装置１００などの外部装置との間の通信を制御する。例えば通信制御部２０１は、入力データを情報処理装置１００に送信する。

【0023】

上記各部（通信制御部２０１）は、例えば、１または複数のプロセッサにより実現される。例えば上記各部は、ＣＰＵ（Central Processing Unit）などのプロセッサにプログラムを実行させること、すなわちソフトウェアにより実現してもよい。上記各部は、専用のＩＣ（Integrated Circuit）などのプロセッサ、すなわちハードウェアにより実現してもよい。上記各部は、ソフトウェアおよびハードウェアを併用して実現してもよい。複数のプロセッサを用いる場合、各プロセッサは、各部のうち１つを実現してもよいし、各部のうち２以上を実現してもよい。

【0024】

情報処理装置１００は、記憶部１２１と、入力デバイス１２２と、ディスプレイ１２３と、通信制御部１０１と、受付部１０２と、モデル推定部１０３（第１モデル推定部）と、モデル推定部１０４（第２モデル推定部）と、出力制御部１０５と、を備えている。

【0025】

記憶部１２１は、情報処理装置１００で実行される各種処理で用いられる各種情報を記憶する。例えば記憶部１２１は、通信制御部１０１および受付部１０２を介して管理システム２００から取得された情報（入力データなど）、モデル推定部１０３により推定されたモデルのパラメータ、および、モデル推定部１０４により推定されたモデルのパラメータなどを記憶する。記憶部１２１は、フラッシュメモリ、メモリカード、ＲＡＭ、ＨＤＤ、および、光ディスクなどの一般的に利用されているあらゆる記憶媒体により構成することができる。

【0026】

入力デバイス１２２は、ユーザなどにより情報を入力するためのデバイスである。入力デバイス１２２は、例えば、キーボードおよびマウスである。ディスプレイ１２３は、情報を出力する出力デバイスの一例であり、例えば液晶ディスプレイである。入力デバイス１２２およびディスプレイ１２３は、例えばタッチパネルのように一体化されてもよい。

【0027】

通信制御部１０１は、管理システム２００などの外部装置との間の通信を制御する。例えば通信制御部１０１は、管理システム２００から入力データなどを受信する。

【0028】

受付部１０２は、各種情報の入力を受け付ける。例えば受付部１０２は、通信制御部２０１および通信制御部１０１を介して管理システム２００から受信された複数の入力データを受け付ける。複数の入力データは、例えば、時間に関する時間パラメータ（第１時間パラメータ）が相互に異なるＫ個（Ｋは２以上の整数）のデータ期間に得られる複数のデータである。この時間パラメータは、例えば、データ期間の長さ、データ期間の開始時刻（起点）、および、期間の終了時刻（終点）のいずれかである。

【0029】

データ期間は、予め定められてもよいし、ユーザ等により指定された値が用いられてもよい。またモデル推定部１０３が推定するモデルの精度に基づいてデータ期間が決定されてもよい。

【0030】

受付部１０２は、例えば、指定（決定）されたデータ期間の送信を管理システム２００に要求し、要求に応じて管理システム２００から送信された入力データを受け付ける。管理システム２００から受信された複数の入力データから、指定されたデータ期間の入力データを受付部１０２またはモデル推定部１０３が抽出するように構成してもよい。

【0031】

モデル推定部１０３は、複数の入力データを用いて複数のモデルを推定する。例えばモデル推定部１０３は、Ｋ個のデータ期間ごとに、データ期間内に得られる複数の入力データを用いて、入力データを入力して出力データを出力するモデル（第１モデル）を推定する。

【0032】

モデル推定部１０４は、モデル推定部１０３により推定されたＫ個のモデルを用いて、指定された時間パラメータに対応するモデルを推定するための別のモデル（第２モデル）を推定する。例えばモデル推定部１０４は、時間パラメータと、推定されたＫ個のモデルとの関係を表すモデルを推定し、推定したモデルに基づいて、指定された時間パラメータ（第２時間パラメータ）に対応するモデルを推定する。この時間パラメータは、例えば、モデルを推定する時刻（現時点など）である。

【0033】

出力制御部１０５は、情報処理装置１００により処理される各種情報の出力を制御する。例えば出力制御部１０５は、モデル推定部１０３により推定されたモデルと、モデル推定部１０４により推定されたモデルと、をディスプレイ１２３に表示する。

【0034】

出力制御部１０５は、情報処理装置１００の外部の装置に情報を出力してもよい。例えば出力制御部１０５は、各モデルを表示するための情報を、表示装置を備える外部の装置に送信してもよい。

【0035】

上記各部（通信制御部１０１、受付部１０２、モデル推定部１０３、モデル推定部１０４、出力制御部１０５）は、例えば、１または複数のプロセッサにより実現される。例えば上記各部は、ＣＰＵなどのプロセッサにプログラムを実行させること、すなわちソフトウェアにより実現してもよい。上記各部は、専用のＩＣなどのプロセッサ、すなわちハードウェアにより実現してもよい。上記各部は、ソフトウェアおよびハードウェアを併用して実現してもよい。複数のプロセッサを用いる場合、各プロセッサは、各部のうち１つを実現してもよいし、各部のうち２以上を実現してもよい。

【0036】

次に、このように構成された第１の実施形態にかかる情報処理装置１００によるモデル推定処理について説明する。図２は、第１の実施形態におけるモデル推定処理の一例を示すフローチャートである。

【0037】

受付部１０２は、管理システム２００から複数のデータ期間に対応する複数の入力データを受け付ける（ステップＳ１０１）。モデル推定部１０３は、複数のデータ期間ごとに、このデータ期間に取得された複数の入力データを用いてモデルを推定する（ステップＳ１０２）。ここでは、モデル推定部１０３は、データ期間ごとに回帰モデルを推定するものとする。

【0038】

モデル推定部１０４は、複数のデータ期間に対応する複数の回帰モデルを用いて、これらの回帰モデルの時間変化を表すモデルを推定する（ステップＳ１０３）。またモデル推定部１０４は、推定したモデルを用いて、指定された時点（例えば現時点）の回帰モデルを推定する（ステップＳ１０４）。出力制御部１０５は、推定された回帰モデルを例えばディスプレイ１２３に表示し（ステップＳ１０５）、モデル推定処理を終了する。

【0039】

次に、モデル推定処理の詳細についてさらに説明する。以下では、工場（半導体工場）およびプラント（化学プラント）などにおける品質管理に適用するモデルの推定処理の例を主に説明する。

【0040】

半導体工場および化学プラントでは、品質特性のばらつきおよび変動を抑え、不良を低減することで、歩留を向上させることが求められる。そして、品質特性のばらつきおよび変動の要因を解明するために、回帰モデルおよび分類モデルなどのモデルが用いられる。これらのモデルは、目的変数と説明変数と日時とを含む入力データから推定される。

【0041】

上記のように、目的変数は例えば品質特性、不良率、および、良品／不良品などを示す情報である。説明変数は例えばその他のセンサ値、設定値および制御値などである。日時は、製造開始日時、製造完了日時、および、特定の装置での加工日時などである。

【0042】

説明変数は、予め前処理が実行されてもよい。前処理は、例えば、標準化、基準化、特定の関数による変換、交互作用項の追加、タイムラグ、タイムリード、ダミー変数化、エンコーディング、外れ値処理、および、欠損値処理などである。

【0043】

入力データは、管理システム２００の記憶部２２１に記憶されている。受付部１０２は、通信制御部１０１を介して管理システム２００から受信された入力データの入力を受け付ける。

【0044】

以下では、入力データの個数がｎ個（ｎは１以上の整数）であり、各入力データは、ｐ個の説明変数ｘ、１個の目的変数ｙ、１個の日時を表す数値ｔを含むものとする。ｉ番目（１≦ｉ≦ｎ）の入力データ（ｘ_ｉ，ｙ_ｉ，ｔ_ｉ）は、以下の（１）式で表される。

【数1】

【0045】

ｘ_ｉは説明変数を表すｐ次元ベクトル、ｙ_ｉは目的変数を表すスカラー、ｔ_ｉは日時を表すスカラーである。ｔ_ｉは、いずれかの日時を起点として数えた時間の長さ（日数、時間、分、秒など）を用いればよい。ここでは表記を簡単にするため、０＝ｔ_１≦ｔ_２≦・・・≦ｔ_ｎ＝Ｔとする。起点とする日時はどのように定められてもよい。また時刻が順番に並んでいない場合は予めソートすればよい。

【0046】

以下、現時点（時刻Ｔ）での回帰モデルを推定する場合を例に説明する。従来の方法では、直近の入力データが収集されて、回帰モデルが推定される。例えばｉ_０（１≦ｉ_０≦ｎ）番目以降の入力データを用いて最小二乗法によりモデル化する場合、以下の（２）式で表される最適化問題を解くことにより回帰モデルが推定される。＾β_０は１次元ベクトル、＾βはｐ次元ベクトルを表す。記号「＾」は、右の変数（この例ではβ）の上部に付されるハットを表す。β^Ｔの「Ｔ」は転置を表す。

【数2】

【0047】

このような方法で得られた回帰モデルは、時刻ｔ＿ｉ_０からＴまでの期間の傾向を把握することはできるが、例えば時刻Ｔの時点での傾向をより正確に推定することができない。

【0048】

そこで、本実施形態では、複数のデータ期間の入力データから推定される複数の回帰モデルを活用する。まず、モデル推定部１０３は、Ｋ個の入力データとして、ｉ_１，ｉ_２，・・・，ｉ_Ｋ（１≦ｉ_１＜ｉ_２＜・・・＜ｉ_Ｋ≦ｎ）番目の入力データを用いる。

【0049】

次に、モデル推定部１０３は、以下の（３）式に示すように、時刻ｔ＿ｉ_Ｋから時刻Ｔまでの入力データを用いた回帰モデルをＫ個推定する。この例では、データ期間の開示時刻（時刻ｔ＿ｉ_Ｋ）が時間パラメータとして用いられると解釈することができる。

【数3】

【0050】

これにより、Ｋ個の回帰モデルと時刻の組（＾β_０ ^（ｋ）,＾β^（ｋ）,ｔ＿ｉ_Ｋ），ｋ＝１，・・・，Ｋが得られる。

【0051】

次に、モデル推定部１０４は、＾β_ｊ ^（ｋ）（ｊ＝０，１，・・・，ｐ）とｔ＿ｉ_Ｋとの関係を表す別の回帰モデルを推定し、この回帰モデルを用いて、ｔ＝Ｔとしたときの回帰モデル＾β_ｊを求める。例えばモデル推定部１０４は、ｊ＝０，１，・・・，ｐに対して以下の（４）式で表される最適化問題を解くことにより、回帰モデルの回帰係数＾α_ｊ０、＾α_ｊ１を求める。ここで、＾α_ｊ０、＾α_ｊ１はいずれもスカラー値である。

【数4】

【0052】

このように、複数のデータ期間の入力データを用いて複数の回帰モデルを推定した後、複数の回帰モデルの時間変化を再びモデル化し、現時点での回帰係数の予測値を算出することで、現時点の回帰モデルをより正確に推定することができる。

【0053】

（４）式は時刻Ｔの回帰モデルの推定方法を示すが、以下の（５）式に示すように、時刻Ｔより後、または時刻Ｔより前の時刻Ｔ’に対しても、同様に回帰モデルを推定することができる。

【数5】

【0054】

モデルの推定方法は（３）式のように最小二乗法を用いる方法に限られず、どのような方法であってもよい。例えば、Ｒｉｄｇｅ、Ｌａｓｓｏ、ＳＣＡＤ（Smoothly Clipped Absolute Derivation）、ＭＣＰ（Minimax Concave Penalty）、Ｌｑ（０≦ｑ＜１）ノルム、Ｅｌａｓｔｉｃ Ｎｅｔ、Ｌ１／２ノルムなどのような罰則付き回帰を用いてもよい。これらの罰則付き回帰は、パラメータがスパース性を有するようにモデルを推定する方法であると解釈することができる。

【0055】

またモデル推定部１０３は、（３）式などで＾β_０ ^（ｋ）,＾β^（ｋ）を求めるときに、時刻ｔ＿ｉ_Ｋとから時刻Ｔまで（第１期間）の入力データを用いた回帰モデル＾β^（ｋ）を初期推定量（初期値）として、時刻ｔ＿ｉ_Ｋ＋１から時刻Ｔまで（第２期間）の入力データでの回帰モデルに転移学習を行うＴｒａｎｓｆｅｒ Ｌａｓｓｏ（非特許文献２）を用いてもよい。

【0056】

また、損失関数は二乗誤差に限られず、どのような関数が用いられてもよい。例えば、絶対値損失、分位損失、フーバー損失、イプシロン感度損失、ロジスティック損失、指数損失、ヒンジ損失、および、平滑化ヒンジ損失などのうち、採用するモデルの推定方法に適用可能などのような損失関数が用いられてもよい。

【0057】

また、モデル推定部１０３は、各入力データの信頼度および日時に応じて重みづけした損失関数を用いてもよい。

【0058】

また、推定するモデルは線形回帰モデルに限られず、多項式回帰モデル、ロジスティック回帰モデル、ポアソン回帰モデル、一般化線形モデル、一般化加法モデル、および、ニューラルネットワークモデルなどであってもよい。

【0059】

また、入力データの終点をＴとしている（時刻ｔ＿ｉ_Ｋから時刻Ｔまでの入力データを用いている）が、Ｔ以外の入力データを終点としてもよい。

【0060】

モデル推定部１０４によるモデルの推定方法についても、（４）式のように最小二乗法を用いる方法に限られず、モデル推定部１０３によるモデルの推定方法に対して説明したような他の方法であってもよい。

【0061】

また、＾α_ｊ０、＾α_ｊ１をｊごとに求める方法を説明したが、モデル推定部１０４は、各ｊを１つのタスクとして捉えて全タスクを同時に最適化するマルチタスク学習を用いてもよい。さらに、モデルの推定を安定化させるために、モデル推定部１０４は、Ｒｉｄｇｅ、Ｌａｓｓｏ、ＳＣＡＤ、ＭＣＰ、Ｌｑ（０≦ｑ＜１）ノルム、Ｅｌａｓｔｉｃ Ｎｅｔ、Ｌ１／２ノルムなどのような罰則付き回帰を用いてもよい。

【0062】

また、モデル推定部１０４は、（４）式の代わりに、以下の（６）式のような二次関数を用いたモデル化を行ってもよい。

【数6】

【0063】

例えば、品質特性に悪影響を与え始めたセンサ項目（説明変数）をユーザがより早期に捉えたい場合がある。例えば、現在の製造工程が安定しており、品質のわずかな低下を捉えて早期に対策する場合が考えられる。このとき、説明変数から目的変数を推定するモデル（第１モデル）を線形回帰モデルとすると、変化傾向を早期に捉えられない可能性がある。このような場合に、上記の（６）式のような二次関数を用いたモデル化を適用すれば、傾向の変化の加速度を考慮することができ、緊急性の高い項目を逃さずに監視することができる。

【0064】

図３は、線形回帰モデルによるモデル推定の例を示す図である。図３の左のグラフは、以下のような３つの異なるデータ期間の入力データが用いられることを示す。この例では、データ期間は終了時点が現時点で共通するが、起点が相互に異なる。すなわちこの例では、起点が、相互に異なる時間パラメータに相当する。なお、この例では、共通の時点（終了時点）を基準とする期間の長さが、相互に異なる時間パラメータに相当すると解釈することもできる。
（Ａ１）３か月前から現時点までの３か月
（Ｂ１）１か月前から現時点までの１か月
（Ｃ１）１週間前から現時点までの１週間

【0065】

図３の右のグラフは、データ期間の長さごとの回帰係数の変化を表す図である。なお回帰係数はベクトルであるが、説明の便宜のため図３では１つの要素の変化が表されている。また図３では、（Ａ１）（Ｂ１）（Ｃ１）以外のデータ期間に対する回帰係数を表す点も示されている。

【0066】

右のグラフ内に記載された直線は、例えば（４）式により推定される線形回帰モデル（第２モデル）に相当する。モデル推定部１０４は、このような線形回帰モデルを用いて、例えば時刻Ｔに相当する期間０での回帰係数３０１、言い換えると、時刻Ｔでの回帰モデル（第１モデル）を推定することができる。この場合、回帰モデルを推定する時点が、指定された時間パラメータ（第２時間パラメータ）に相当する。図３の例では、データ期間の長さが０である現時点（時刻Ｔ）が、指定された時間パラメータに相当する。

【0067】

時間パラメータは上記の例に限られない。例えば、相互に異なる時間パラメータは、ある時点を中心とする期間の長さ（幅）であってもよい。例えば、以下のような３つの異なるデータ期間を用いることができる。
（Ａ２）１．５か月前の時点を中心とする３か月（３か月前から現時点まで）
（Ｂ２）１．５か月前の時点を中心とする１か月（２か月前から１か月前まで）
（Ｃ２）１．５か月前の時点を中心とする１週間

【0068】

このようなデータ期間は、例えば、現時点から１．５か月前の時点のデータが不足しており、この時点のモデルを推定するような場合に適している。

【0069】

また、例えば、以下のような３つの異なるデータ期間を用いることができる。この例は、長さが共通する期間の起点、または、終点が、相互に異なる時間パラメータに相当する。
（Ａ３）３か月前から２か月前までの１か月
（Ｂ３）２か月前から１か月前までの１か月
（Ｃ３）１か月前から現時点までの１か月

【0070】

図４は、例えば（６）式のような二次関数を用いたモデル推定の例を示す図である。上述のように、二次関数を用いるモデルによれば、傾向の変化の加速度を考慮することができるため、変化の傾向をより早期に把握することが可能となる。

【0071】

モデル推定部１０３によるモデルの推定方法、および、モデル推定部１０４によるモデルの推定方法は、例えばユーザにより指定可能とされてもよい。図５は、モデルの推定方法を指定するための指定画面の例を示す図である。

【0072】

図５に示すように、指定画面は、モデル表示欄５０１、選択欄５０２、実行ボタン５１１、および、キャンセルボタン５１２を含む。モデル表示欄５０１は、モデル推定部１０３により推定されたモデルを表示するための領域である。例えば出力制御部１０５は、モデル推定部１０３により推定されたモデルをモデル表示欄５０１に表示する。

【0073】

選択欄５０２は、モデル推定方法をユーザが選択（指定）するための領域である。ユーザがモデル推定方法を選択して実行ボタン５１１を押下すると、モデル推定部１０４は、選択されたモデル推定方法に従いモデルを推定する。なおキャンセルボタン５１２が押下された場合は、処理が中断される。

【0074】

図６は、モデルが推定された後の指定画面の例を示す図である。図６に示すように、指定画面は、直線６０１と、回帰係数６０２と、を含む。直線６０１は、複数の回帰モデルから推定されたモデル（第２モデル）を示す情報に相当する。回帰係数６０２は、時刻Ｔでの回帰係数を表し、推定されたモデル（第１モデル）に相当する。例えば出力制御部１０５は、複数の回帰モデルから推定されたモデル（第２モデル）を示す情報、および、このモデルにより推定されたモデルをディスプレイ１２３に表示する。

【0075】

説明変数から目的変数を推定するモデル（第１モデル）が可視化された後、ユーザは、指定された時点でのモデルの推定に用いる推定方法を選択することができる。これにより、ユーザの納得性を向上させ、システムの柔軟性を上げることができる。

【0076】

ユーザが指定可能な項目は、モデル推定部１０４によるモデル推定方法に限られない。例えば出力制御部１０５は、以下のような項目を指定（選択）できるような画面をディスプレイ１２３に表示する機能を備えてもよい。
・モデル推定部１０３によるモデル推定方法
・モデル推定部１０３によるモデル推定に用いるデータ期間
・推定するモデルの説明変数

【0077】

このように、第１の実施形態では、データが不足する時点の分析も可能な、より高精度なモデルを推定することができる。

【0078】

（第２の実施形態）
製品を製造する製造装置（電子機器の一例）は、定期的にメンテナンスされる場合がある。例えば半導体製造装置は、製造加工に伴いダストが発生するため、定期的なメンテナンスが行われている。メンテナンスにより、製造装置の状態が変化するため、回帰モデルも大きく変化する場合がある。そこで、第２の実施形態にかかる情報処理装置は、メンテナンスの日時を利用してデータ期間を決定することにより、より正確な回帰モデルの推定を可能とする。

【0079】

図７は、本実施形態の情報処理装置１００－２を含む情報処理システムの構成の一例を示すブロック図である。管理システム２００およびネットワーク３００は、第１の実施形態と同様であるため同一の符号を付し、説明を省略する。図７に示すように、情報処理装置１００－２は、記憶部１２１と、入力デバイス１２２と、ディスプレイ１２３と、通信制御部１０１と、受付部１０２と、モデル推定部１０３－２と、モデル推定部１０４と、出力制御部１０５と、を備えている。

【0080】

第２の実施形態では、モデル推定部１０３－２の機能が第１の実施形態と異なっている。その他の構成および機能は、第１の実施形態にかかる情報処理装置１００のブロック図である図１と同様であるので、同一符号を付し、ここでの説明は省略する。

【0081】

モデル推定部１０３－２は、メンテナンスの日時を考慮してデータ期間を決定する点が、第１の実施形態のモデル推定部１０３と異なっている。メンテナンスが行われると、製造装置の状態が変化し、複数の入力データは、製造装置の状態に応じて変化しうる。そこで、モデル推定部１０３－２は、メンテナンスの間隔に基づいて、Ｋ個のデータ期間を決定する。

【0082】

以下、メンテナンスの間隔に応じたモデル推定処理の詳細について説明する。

【0083】

各入力データのｔ_ｉは、製造装置による加工が行われた日時を表すものとする。また、ｉ＝ｉ＿ｍ_１，・・・，ｉ＿ｍ_Ｍの直後に、それぞれメンテナンスが行われたとする（合計Ｍ回）。便宜上、ｉ＿ｍ_０＝１，ｉ＿ｍ_Ｍ＋１＝Ｔとする。

【0084】

モデル推定部１０３－２は、ｉ＿ｍ_ｈ－１からｉ＿ｍ_ｈ（１≦ｈ≦Ｍ＋１）までの（Ｍ＋１）個の期間をデータ期間として決定する。これらのデータ期間は、メンテナンス間隔ごと期間に相当すると解釈することができる。そしてモデル推定部１０３－２は、以下の（７）式に示すように、メンテナンス間隔ごとの（Ｍ＋１）個の回帰モデルを推定する。

【数7】

【0085】

なお、＾β^{（Ｍ＋１）}は、直近（Ｍ回目）のメンテナンス以降の入力データを用いて得られる回帰モデルを表す。＾β^{（Ｍ＋１）}をそのまま現在の回帰モデルとしてもよいが、メンテナンスが頻繁に実行される場合、および、メンテナンスからの経過日数が少ない場合、データ不足で正確に現時点の回帰モデルを推定できない可能性がある。

【0086】

そこで、第１の実施形態と同様に、（Ｍ＋１）個のデータ期間の回帰モデルと時刻との組み（＾β_０ ^（ｋ）,＾β^（ｋ）,ｔ＿ｉ_Ｋ），ｋ＝１，・・・，Ｍ＋１を用いて、現時点（時刻Ｔ）での回帰モデルを推定する。

【0087】

なお（Ｍ＋１）個のデータ期間は、起点（開始時刻）または終点（終了時刻）である時間パラメータが相互に異なると解釈することができる。この例ではデータ期間が（Ｍ＋１）個であるため、第１の実施形態のＫ個を（Ｍ＋１）個に置き換えることにより、第１の実施形態と同様の手法を適用できる。

【0088】

すなわち、モデル推定部１０４は、上記の（４）式の「Ｋ」を「Ｍ＋１」に置き換えた式により、時間パラメータと、（Ｍ＋１）個のモデルとの関係を表すモデルを推定することができる。

【0089】

図８は、本実施形態での回帰モデルの推定処理の概要を示す図である。横軸のデータ期間の長さは、現時点を基準としたデータ期間の起点までの長さに相当する。図８では、約１．５か月前に行われたメンテナンスにより入力データの傾向が断続的に変化した例が示されている。本実施の形態では、メンテナンスが行われた日時で区分したデータ期間を用いてモデルが推定される。

【0090】

このように、第２の実施形態では、単にメンテナンス間隔ごとに１つの回帰モデルを推定するのではなく、メンテナンス間隔に相当する複数のデータ期間でそれぞれ複数のモデルを推定し、複数のモデルの時間軸方向の変化をさらにモデル化する。これにより、メンテナンスによる断続的な変動を考慮したより高精度な回帰モデルを推定することができる。

【0091】

以上説明したとおり、第１から第２の実施形態によれば、より高精度なモデルを推定することができる。

【0092】

次に、第１または第２の実施形態にかかる情報処理装置のハードウェア構成について図９を用いて説明する。図９は、第１または第２の実施形態にかかる情報処理装置のハードウェア構成例を示す説明図である。

【0093】

第１または第２の実施形態にかかる情報処理装置は、ＣＰＵ５１などの制御装置と、ＲＯＭ（Read Only Memory）５２やＲＡＭ５３などの記憶装置と、ネットワークに接続して通信を行う通信Ｉ／Ｆ５４と、各部を接続するバス６１を備えている。

【0094】

第１または第２の実施形態にかかる情報処理装置で実行されるプログラムは、ＲＯＭ５２等に予め組み込まれて提供される。

【0095】

第１または第２の実施形態にかかる情報処理装置で実行されるプログラムは、インストール可能な形式または実行可能な形式のファイルでＣＤ－ＲＯＭ（Compact Disk Read Only Memory）、フレキシブルディスク（ＦＤ）、ＣＤ－Ｒ（Compact Disk Recordable）、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録してコンピュータプログラムプロダクトとして提供されるように構成してもよい。

【0096】

さらに、第１または第２の実施形態にかかる情報処理装置で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、第１または第２の実施形態にかかる情報処理装置で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。

【0097】

第１または第２の実施形態にかかる情報処理装置で実行されるプログラムは、コンピュータを上述した情報処理装置の各部として機能させうる。このコンピュータは、ＣＰＵ５１がコンピュータ読取可能な記憶媒体からプログラムを主記憶装置上に読み出して実行することができる。

【0098】

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

【符号の説明】

【0099】

１００ 情報処理装置
１０１ 通信制御部
１０２ 受付部
１０３ モデル推定部
１０４ モデル推定部
１０５ 出力制御部
１２１ 記憶部
１２２ 入力デバイス
１２３ ディスプレイ
２００ 管理システム
２０１ 通信制御部
２２１ 記憶部
３００ ネットワーク

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】