ホーム > 特許ランキング > 国立大学法人 東京大学
知財求人 - 知財ポータルサイト「IP Force」
▶ 国立大学法人 東京大学の特許一覧 ▶ 株式会社ダイセルの特許一覧
特開2024-102632回帰分析方法、回帰分析システム及び回帰分析プログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024102632
(43)【公開日】2024-07-31
(54)【発明の名称】回帰分析方法、回帰分析システム及び回帰分析プログラム
(51)【国際特許分類】
G06Q 10/04 20230101AFI20240724BHJP
【ＦＩ】
G06Q10/04
【審査請求】未請求
【請求項の数】7
【出願形態】ＯＬ
(21)【出願番号】P 2023006647
(22)【出願日】2023-01-19
(71)【出願人】
【識別番号】504137912
【氏名又は名称】国立大学法人 東京大学
(71)【出願人】
【識別番号】000002901
【氏名又は名称】株式会社ダイセル
(74)【代理人】
【識別番号】110002860
【氏名又は名称】弁理士法人秀和特許事務所
(72)【発明者】
【氏名】岡本 洋
(72)【発明者】
【氏名】高橋 麻里奈
(72)【発明者】
【氏名】篠原 修二
(72)【発明者】
【氏名】灰塚 真浩
(72)【発明者】
【氏名】熊田 健司
(72)【発明者】
【氏名】小峰 佑介
(72)【発明者】
【氏名】武次 祐樹
(72)【発明者】
【氏名】仲井 義人
【テーマコード（参考）】
5L010
5L049
【Ｆターム（参考）】
5L010AA04
5L049AA04
(57)【要約】
【課題】説明変数の変動と目的変数の変動とに対応関係を有する回帰モデルを構築するための、より汎用的な技術を提供する。
【解決手段】回帰分析方法は、コンピュータが、回帰モデルの目的変数及び説明変数として用いられる訓練データを格納する記憶装置から、訓練データを読み出し、正則化項を含むコスト関数を最小化させるように、訓練データを用いて回帰モデルによる機械学習を行う。正則化項は、係数が正の区間において係数が負の区間よりもコストを増大させる第１の項と、係数が負の区間において係数が正の区間よりもコストを増大させる第２の項とを含む。
【選択図】図６
【解決手段】回帰分析方法は、コンピュータが、回帰モデルの目的変数及び説明変数として用いられる訓練データを格納する記憶装置から、訓練データを読み出し、正則化項を含むコスト関数を最小化させるように、訓練データを用いて回帰モデルによる機械学習を行う。正則化項は、係数が正の区間において係数が負の区間よりもコストを増大させる第１の項と、係数が負の区間において係数が正の区間よりもコストを増大させる第２の項とを含む。
【選択図】図６
【特許請求の範囲】
【請求項1】
コンピュータが、
回帰モデルの目的変数及び説明変数として用いられる訓練データを格納する記憶装置から、前記訓練データを読み出し、
正則化項を含むコスト関数を最小化させるように、前記訓練データを用いて前記回帰モデルによる機械学習を行う
回帰分析方法であって、
前記正則化項は、前記説明変数の係数が正の区間において前記係数が負の区間よりもコストを増大させる第１の項と、前記係数が負の区間において前記係数が正の区間よりもコストを増大させる第２の項とを含む
回帰分析方法。
回帰モデルの目的変数及び説明変数として用いられる訓練データを格納する記憶装置から、前記訓練データを読み出し、
正則化項を含むコスト関数を最小化させるように、前記訓練データを用いて前記回帰モデルによる機械学習を行う
回帰分析方法であって、
前記正則化項は、前記説明変数の係数が正の区間において前記係数が負の区間よりもコストを増大させる第１の項と、前記係数が負の区間において前記係数が正の区間よりもコストを増大させる第２の項とを含む
回帰分析方法。
【請求項2】
前記第１の項及び前記第２の項は、前記第１の項及び前記第２の項のいずれかをゼロにする又はゼロに近似するためのパラメータを含み、
前記機械学習において、前記回帰モデルにおける回帰係数と、前記パラメータとを繰り返し更新する
請求項１に記載の回帰分析方法。
前記機械学習において、前記回帰モデルにおける回帰係数と、前記パラメータとを繰り返し更新する
請求項１に記載の回帰分析方法。
【請求項3】
前記パラメータは二値変数であり、且つ当該パラメータは、一方の値をとる場合に前記第１の項においてゼロになる因数を構成し、他方の値をとる場合に前記第２の項においてゼロになる因数を構成する
請求項２に記載の回帰分析方法。
請求項２に記載の回帰分析方法。
【請求項4】
前記二値変数は成長曲線を近似した値として、前記コスト関数を最小化させるように前記回帰係数と、前記パラメータとが計算される
請求項３に記載の回帰分析方法。
請求項３に記載の回帰分析方法。
【請求項5】
前記二値変数は、前記回帰係数を用いて表される所定値と、確率変数との大小関係に基づいて決まる値として、前記コスト関数を最小化させるように前記回帰係数と、前記パラメータとが計算される
請求項３に記載の回帰分析方法。
請求項３に記載の回帰分析方法。
【請求項6】
請求項１から５の何れか一項に記載の回帰分析方法を実行する１以上のコンピュータを含む回帰分析システム。
【請求項7】
請求項１から５の何れか一項に記載の回帰分析方法を１以上のコンピュータに実行させるための回帰分析プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、回帰分析方法、回帰分析システム及び回帰分析プログラムに関する。
【背景技術】
【0002】
従来、回帰モデルのパラメータを最小二乗法で推定するとき、例えばデータのサンプル数が少ないと適切な最小二乗推定量が求められないという問題があった。そこで、Ｌ１ノルムと呼ばれる制約条件を与える手法が提案されていた（例えば、非特許文献１）。Ｌ１ノルムを制約条件とするパラメータ推定手法であるＬＡＳＳＯ（Least Absolute Shrinkage and Selection Operator）によれば、目的変数を説明するために適した説明変数の選
択及び係数の決定が併せて行われる。
択及び係数の決定が併せて行われる。
【0003】
また、回帰モデルの目的変数及び説明変数として用いられる訓練データと、目的変数を正又は負の方向に変動させるために、説明変数を正及び負のいずれに変動させるべきかを予め定義する制約条件とを格納する記憶装置から、訓練データ及び制約条件を読み出すデータ取得部と、制約条件に反する場合にコストを増大させる正則化項を含むコスト関数を最小化させる（符号制約正則化）ように、訓練データを用いて、回帰モデルにおける説明変数の係数を繰り返し更新する係数更新部とを備える回帰分析装置も提案されている（例えば、特許文献１）。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】国際公開第２０２１／１５７６７０号
【非特許文献】
【0005】
【非特許文献1】Robert Tibshirani, “Regression Shrinkage and Selection via the Lasso”, Journal of the Royal Statistical Society. Series B (Methodological) Vol. 58, No. 1 (1996), pp. 267-288
【発明の概要】
【発明が解決しようとする課題】
【0006】
従来、目的変数を正又は負の方向に変動させるために、説明変数を正及び負のいずれに変動させるべきかを予め定義する制約条件を定めておくことで、訓練データが比較的少ない場合にも精度よく機械学習を行うことができる回帰分析装置が提案されていた。しかしながら、回帰分析を行う対象に応じて適切な制約条件を準備するために手間がかかる。そこで、本技術は、説明変数の変動と目的変数の変動とに対応関係を有する回帰モデルを構築するための、より汎用的な技術を提供することを目的とする。
【課題を解決するための手段】
【0007】
（態様１）
回帰分析方法は、コンピュータが、回帰モデルの目的変数及び説明変数として用いられる訓練データを格納する記憶装置から、訓練データを読み出し、正則化項を含むコスト関数を最小化させるように、訓練データを用いて回帰モデルによる機械学習を行う。正則化項は、説明変数の係数が正の区間において係数が負の区間よりもコストを増大させる第１の項と、係数が負の区間において係数が正の区間よりもコストを増大させる第２の項とを含む。
回帰分析方法は、コンピュータが、回帰モデルの目的変数及び説明変数として用いられる訓練データを格納する記憶装置から、訓練データを読み出し、正則化項を含むコスト関数を最小化させるように、訓練データを用いて回帰モデルによる機械学習を行う。正則化項は、説明変数の係数が正の区間において係数が負の区間よりもコストを増大させる第１の項と、係数が負の区間において係数が正の区間よりもコストを増大させる第２の項とを含む。
【0008】
（態様２）
上記態様１において、第１の項及び第２の項は、第１の項及び第２の項のいずれかをゼロにする又はゼロに近似するためのパラメータを含み、機械学習において、回帰モデルにおける回帰係数と、パラメータとを繰り返し更新するようにしてもよい。
上記態様１において、第１の項及び第２の項は、第１の項及び第２の項のいずれかをゼロにする又はゼロに近似するためのパラメータを含み、機械学習において、回帰モデルにおける回帰係数と、パラメータとを繰り返し更新するようにしてもよい。
【0009】
（態様３）
上記態様２において、パラメータは二値変数であり、且つ当該パラメータは、一方の値をとる場合に第１の項においてゼロになる因数を構成し、他方の値をとる場合に第２の項においてゼロになる因数を構成するようにしてもよい。
上記態様２において、パラメータは二値変数であり、且つ当該パラメータは、一方の値をとる場合に第１の項においてゼロになる因数を構成し、他方の値をとる場合に第２の項においてゼロになる因数を構成するようにしてもよい。
【0010】
（態様４）
上記態様３において、二値変数は成長曲線を近似した値として、コスト関数を最小化させるように回帰係数と、パラメータとが計算されるようにしてもよい。
上記態様３において、二値変数は成長曲線を近似した値として、コスト関数を最小化させるように回帰係数と、パラメータとが計算されるようにしてもよい。
【0011】
（態様５）
上記態様３又は４において、二値変数は、回帰係数を用いて表される所定値と、確率変数との大小関係に基づいて決まる値として、コスト関数を最小化させるように回帰係数と、パラメータとが計算されるようにしてもよい。
上記態様３又は４において、二値変数は、回帰係数を用いて表される所定値と、確率変数との大小関係に基づいて決まる値として、コスト関数を最小化させるように回帰係数と、パラメータとが計算されるようにしてもよい。
【0012】
回帰分析方法を適用する対象は、製造業又は非製造業における設備であってもよい。説明変数は、生産設備が出力するセンシングデータであってもよい。また、目的変数は、設備の運転条件、又は所定の特性値若しくは異常度であってもよい。なお、課題を解決するための手段に記載の内容は、本開示の課題や技術的思想を逸脱しない範囲で可能な限り組み合わせることができる。また、上記態様１から５は、コンピュータ等の装置若しくは複数の装置を含むシステム、コンピュータ若しくはシステムが実行する方法、又はコンピュータ若しくはシステムに実行させるためのプログラムとして提供することができる。なお、プログラムを保持する記録媒体を提供するようにしてもよい。
【発明の効果】
【0013】
開示の技術によれば、説明変数の変動と目的変数の変動とに対応関係を有する回帰モデルを構築するための、より汎用的な技術を提供することができる。
【図面の簡単な説明】
【0014】
【発明を実施するための形態】
【0015】
以下、図面を参照しつつ回帰分析装置の実施形態について説明する。
【0016】
＜第１の実施形態＞
本実施形態に係る回帰分析装置は、１以上の説明変数（独立変数）と、１つの目的変数（従属変数）との関係を表す回帰式（回帰モデル）を構築する。回帰式の回帰係数を定める過程を、「学習」と呼ぶ。また、本実施形態においては、説明変数の変動の方向（正又は負）と、目的変数の変動の方向（正又は負）とが、所定の対応関係を有するような制約（「符号制約」と呼ぶ）が適応的に課されるように、回帰式を構築する。すなわち、回帰係数の符号が適切なものとなるように、学習を行う。なお、一般的に、訓練データの数が
十分存在すれば、これを用いて構築される回帰式は、説明変数の変動の方向と、目的変数の変動の方向とが、所定の対応関係を有するように回帰係数が収束する。一方、訓練データの数が比較的少ない場合は、対応関係が逆になるような回帰式が作成されることがある。本実施形態における「符号制約」は、訓練データの数が比較的少ない場合においても、作成される回帰式が適切な対応関係を有するように課せられる。
本実施形態に係る回帰分析装置は、１以上の説明変数（独立変数）と、１つの目的変数（従属変数）との関係を表す回帰式（回帰モデル）を構築する。回帰式の回帰係数を定める過程を、「学習」と呼ぶ。また、本実施形態においては、説明変数の変動の方向（正又は負）と、目的変数の変動の方向（正又は負）とが、所定の対応関係を有するような制約（「符号制約」と呼ぶ）が適応的に課されるように、回帰式を構築する。すなわち、回帰係数の符号が適切なものとなるように、学習を行う。なお、一般的に、訓練データの数が
十分存在すれば、これを用いて構築される回帰式は、説明変数の変動の方向と、目的変数の変動の方向とが、所定の対応関係を有するように回帰係数が収束する。一方、訓練データの数が比較的少ない場合は、対応関係が逆になるような回帰式が作成されることがある。本実施形態における「符号制約」は、訓練データの数が比較的少ない場合においても、作成される回帰式が適切な対応関係を有するように課せられる。
【0017】
図１は、回帰式の作成に用いる観測値の一例を示す図である。図１の表は、Ｋ個の入力ｘ（ｘ１～ｘＫ）の列と、出力ｙの列とを含む。入力ｘは説明変数として用いられ、出力ｙは目的変数として用いられる。また、個々の標本であるデータポイントｔ（ｔ１～ｔＴ，・・・）を表す複数のレコードのうち、Ｔ個のレコード（訓練データ）を用いて回帰式を作成するとともに、作成された回帰式にデータポイントｔＴ＋１の値を入力し、未知である出力ｙを予測するものとする。
【0018】
回帰式は、例えば次の式（１）で表される。
回帰式は線形モデルであり、出力ｙは、入力ｘの線形和として表される。ｗｋは回帰係数、ｗ０は定数項であり、それぞれ学習により定められる。
【数1】
回帰式は線形モデルであり、出力ｙは、入力ｘの線形和として表される。ｗｋは回帰係数、ｗ０は定数項であり、それぞれ学習により定められる。
【0019】
回帰係数及び定数項の決定には、次の式（２）で表されるコスト関数（誤差関数）Ｅ（ｗ，ｓ）を用いることができる。
コスト関数Ｅ（ｗ，ｓ）は、二乗誤差Ｌ（ｗ）に正則化項（罰則項）Ｓ（ｗ，ｓ）を加えたものである。
【数2】
コスト関数Ｅ（ｗ，ｓ）は、二乗誤差Ｌ（ｗ）に正則化項（罰則項）Ｓ（ｗ，ｓ）を加えたものである。
【0020】
また、正則化項Ｓ（ｗ，ｓ）は、次の式（３）で表される。
ＲＡＳＬ（ｗｋ，ｓｋ）は、２つの項を含む。すなわち、ＲＡＳＬ（ｗｋ，ｓｋ）は、第１の項「（１／２）（１＋ｓｋ）Ｒ＋（ｗｋ）」と、第２の項「（１／２）（１－ｓｋ）Ｒ－（ｗｋ）」との和で表される。また、ｓｋは、スピン変数であり、＋１（ｕｐ）又は－１（ｄｏｗｎ）の二値をとり得る。Ｓｋ＝＋１の場合、上述した第２の項の因数「（１－ｓｋ）」はゼロになるため、第１の項のみが残り、ＲＡＳＬ（ｗｋ，ｓｋ）＝Ｒ＋（ｗｋ）となる。Ｓｋ＝－１の場合、上述した第１の項の因数「（１＋ｓｋ）」はゼロになるため、第２の項のみが残り、ＲＡＳＬ（ｗｋ，ｓｋ）＝Ｒ－（ｗｋ）となる。換言すれば、第１の項及び第２の項は、第１の項及び第２の項のいずれかをゼロにするためのパラメータｓｋを含む。また、二値変数であるパラメータｓｋは、一方の値をとる場合に第１の項においてゼロになる因数を構成し、他方の値をとる場合に第２の項においてゼロになる因数を構成する。また、Ｌは、無限大の近似値である、有限の十分に大きな値とする。
【数3】
ＲＡＳＬ（ｗｋ，ｓｋ）は、２つの項を含む。すなわち、ＲＡＳＬ（ｗｋ，ｓｋ）は、第１の項「（１／２）（１＋ｓｋ）Ｒ＋（ｗｋ）」と、第２の項「（１／２）（１－ｓｋ）Ｒ－（ｗｋ）」との和で表される。また、ｓｋは、スピン変数であり、＋１（ｕｐ）又は－１（ｄｏｗｎ）の二値をとり得る。Ｓｋ＝＋１の場合、上述した第２の項の因数「（１－ｓｋ）」はゼロになるため、第１の項のみが残り、ＲＡＳＬ（ｗｋ，ｓｋ）＝Ｒ＋（ｗｋ）となる。Ｓｋ＝－１の場合、上述した第１の項の因数「（１＋ｓｋ）」はゼロになるため、第２の項のみが残り、ＲＡＳＬ（ｗｋ，ｓｋ）＝Ｒ－（ｗｋ）となる。換言すれば、第１の項及び第２の項は、第１の項及び第２の項のいずれかをゼロにするためのパラメータｓｋを含む。また、二値変数であるパラメータｓｋは、一方の値をとる場合に第１の項においてゼロになる因数を構成し、他方の値をとる場合に第２の項においてゼロになる因数を構成する。また、Ｌは、無限大の近似値である、有限の十分に大きな値とする。
【0021】
図２は、因数「Ｒ＋（ｗ）」を説明するための模式的な図である。図２のグラフは、縦軸がＲ＋（ｗ）を、横軸がｗを表す。上述の式（３）は、入力ｘｋの係数ｗｋがゼロ以上のときはＲ＋（ｗ）＝ｗであり、ｗの増加に応じてＥ（ｗ，ｓ）も増加させる。一方、入力ｘｋの係数ｗｋがゼロ未満のときはＲ＋（ｗ）＝＋∞でありコストを正の無限大に発散させる。すなわち、本実施形態の正則化項は、スピン変数Ｓｋ＝＋１の場合、入力ｘｋの係数ｗｋがゼロ未満のときはコストを無限大に発散させる。回帰分析装置による処理上は、十分大きな値とすればよい。一方、入力ｘｋの係数ｗｋがゼロ以上のときは回帰係数ｗの大きさに応じてコストを増大させる。すなわち、Ｒ＋（ｗ）を含む第１の項は、係数が負の区間において係数が正の区間よりもコストを増大させる。ここで、係数ｗｋがゼロ以上のときは、式（１）に示した回帰式の入力ｘｋが増加するほど回帰式による予測値ｙも増加する。すなわち、スピン変数Ｓｋ＝＋１の場合は、入力ｘｋの値が増加するほど予測値ｙの値も増加するときに正則化項が小さく、入力ｘｋの値が増加するほど予測値ｙの値が減少するときに正則化項が大きくなるように、コスト関数が定義されている。
【0022】
図３は、因数「Ｒ－（ｗ）」を説明するための模式的な図である。図３のグラフは、縦軸がＲ－（ｗ）を、横軸がｗを表す。上述の式（３）は、入力ｘｋの係数ｗｋがゼロ以上のときはＲ－（ｗ）＝＋∞でありコストを正の無限大に発散させる。回帰分析装置による処理上は、十分大きな値とすればよい。一方、入力ｘｋの係数ｗｋがゼロ未満のときはＲ
－（ｗ）＝－ｗであり、ｗの減少に応じてＥ（ｗ，ｓ）を増加させる。すなわち、Ｒ－（ｗ）を含む第２の項は、係数が正の区間において係数が負の区間よりもコストを増大させる。ここで、係数ｗｋがゼロ未満のときは、式（１）に示した回帰式の入力ｘｋが増加するほど回帰式による予測値ｙは減少する。すなわち、スピン変数Ｓｋ＝－１の場合は、入力ｘｋの値が増加するほど予測値ｙの値が減少するときに正則化項が小さく、入力ｘｋの値が増加するほど予測値ｙの値が増加するときに正則化項が大きくなるように、コスト関数が定義されている。
－（ｗ）＝－ｗであり、ｗの減少に応じてＥ（ｗ，ｓ）を増加させる。すなわち、Ｒ－（ｗ）を含む第２の項は、係数が正の区間において係数が負の区間よりもコストを増大させる。ここで、係数ｗｋがゼロ未満のときは、式（１）に示した回帰式の入力ｘｋが増加するほど回帰式による予測値ｙは減少する。すなわち、スピン変数Ｓｋ＝－１の場合は、入力ｘｋの値が増加するほど予測値ｙの値が減少するときに正則化項が小さく、入力ｘｋの値が増加するほど予測値ｙの値が増加するときに正則化項が大きくなるように、コスト関数が定義されている。
【0023】
すなわち、式（３）は、スピン変数Ｓｋの値に応じて、回帰係数ｗｋが非負又は非正をとる場合に十分大きな値をとる。そして、スピン変数Ｓｋの最適化は、式（２）をｗ＝｛Ｗ０，Ｗ１，・・・，ＷＫ｝及びｓ＝｛Ｓ１，Ｓ２，・・・，ＳＫ｝について最小化することにより達成される。Ｅ（ｗ，ｓ）を最小化するようなパラメータｗ等の更新は、例えば勾配法により行うことができる。すなわち、あるステップにおけるコスト関数Ｅ（ｗ，ｓ）の変数ｗ等についての勾配に基づいて、後のステップにおける変数ｗ等を更新し、このような処理をｗ等が収束するまで繰り返す。このようにすれば、事前に係数ｗｋの符号が定められていなくても、スピン変数Ｓｋの値が適切に定められ、適応的に符号制約が課せられる。以上のような正則化項によれば、説明変数の変動の方向と、目的変数の変動の方向とに、一定の対応関係を有するような制約を課して回帰分析を行うことができる。
【0024】
スピン変数Ｓｋは、連続変数ｕｋ（－∞＜ｕｋ＜＋∞）により近似する。スピン変数Ｓｋは、以下の式（４）で近似することができる。
スピン変数Ｓｋは、双曲線正接（ハイパボリックタンジェント）関数で表される。β（＞０）は「逆温度パラメータ」である。図４は、スピン変数Ｓｋの近似を説明するための図である。図４のグラフは、縦軸がスピン変数Ｓｋ、横軸が連続変数ｕｋを表す。また、破線のグラフはβ＝０．２５、一点鎖線のグラフはβ＝０．５、二点鎖線のグラフはβ＝１．０、実線のグラフはβ＝２である。βが＋∞のとき、式（４）のスピン変数Ｓｋは＋１または－１の二値をとる。βが有限のときは、スピン変数Ｓｋは原点付近で－１から＋１までの間の値を連続的にとる
【数4】
スピン変数Ｓｋは、双曲線正接（ハイパボリックタンジェント）関数で表される。β（＞０）は「逆温度パラメータ」である。図４は、スピン変数Ｓｋの近似を説明するための図である。図４のグラフは、縦軸がスピン変数Ｓｋ、横軸が連続変数ｕｋを表す。また、破線のグラフはβ＝０．２５、一点鎖線のグラフはβ＝０．５、二点鎖線のグラフはβ＝１．０、実線のグラフはβ＝２である。βが＋∞のとき、式（４）のスピン変数Ｓｋは＋１または－１の二値をとる。βが有限のときは、スピン変数Ｓｋは原点付近で－１から＋１までの間の値を連続的にとる
【0025】
式（３）に示した誤差関数は、ｗとｕ＝｛ｕ１，ｕ２，・・・，ｕｋ｝を用いて以下のように書き直すことができる。
正則化の強さを表すパラメータαの値は、交差検証等により定めることができる。式（５）はｗ及びｕについて微分することができ、以下の勾配法（最急勾配法）の式を導くことができる。
ηは１ステップ（１反復）において係数ｗを更新する大きさを決めるステップ幅である。Ｒ±（ｗｋ）は、ｗｋ＝０で微分不能である。そこで、以下に示すような「劣微分」の値ｇ＋（ｗｋ）及びｇ－（ｗｋ）を用いる。なお、Ｌは十分に大きな値である。
【数5】
正則化の強さを表すパラメータαの値は、交差検証等により定めることができる。式（５）はｗ及びｕについて微分することができ、以下の勾配法（最急勾配法）の式を導くことができる。
【数6】
ηは１ステップ（１反復）において係数ｗを更新する大きさを決めるステップ幅である。Ｒ±（ｗｋ）は、ｗｋ＝０で微分不能である。そこで、以下に示すような「劣微分」の値ｇ＋（ｗｋ）及びｇ－（ｗｋ）を用いる。なお、Ｌは十分に大きな値である。
【数7】
【0026】
最急勾配法の式に基づいてｗｋ及びｕｋの更新を繰り返し、ｗｋ及びｕｋの値が変化しなくなったところ（最小化達成）で繰り返しを終了する。このとき、逆温度パラメータβの値は、「焼きなまし法（simulated annealing）」に従って調整する。すなわち、最急
勾配法の繰り返し計算において、図４に示したβを、はじめは十分小さな値に設定し、繰り返しを進めるにつれて徐々に値を大きくしてゆき、最終的には式（４）のスピン変数Ｓｋがほぼ±１の二値のみをとるようにする。βの値をどのように増加させるか（焼きなましスケジュール）は、例えば、繰り返しのステップごとに１より大きい固定の数γを乗じる（β←γβ）という方法を用いることができる。βの値を十分緩やかに増加させれば、確率１で局所解に陥らずに最適解が得られることが知られている。
勾配法の繰り返し計算において、図４に示したβを、はじめは十分小さな値に設定し、繰り返しを進めるにつれて徐々に値を大きくしてゆき、最終的には式（４）のスピン変数Ｓｋがほぼ±１の二値のみをとるようにする。βの値をどのように増加させるか（焼きなましスケジュール）は、例えば、繰り返しのステップごとに１より大きい固定の数γを乗じる（β←γβ）という方法を用いることができる。βの値を十分緩やかに増加させれば、確率１で局所解に陥らずに最適解が得られることが知られている。
【0027】
以上のようにすれば、係数ｗには適切な符号制約が課せられ、且つ目的変数に寄与する値に収束し、そのような値がなければ係数ｗはゼロに近づいてゆく。すなわち、符号制約を満たす値がない場合は、図２及び図３に示したように正則化による罰則効果が働いて符号制約に反する値を引き戻すことにより、結果的にゼロに収束してゆく。よって、いわゆるＬＡＳＳＯと同様に回帰係数の一部をゼロと推定し得る。このように、誤差関数（５）の最小化の解として、ｓｋ（ｋ＝１，２，・・・，Ｋ）及びｗｋ（ｋ＝１，２，・・・，Ｋ）が求められる。
【0028】
また、求められたｗｋを、回帰式（１）の回帰係数として使用することで、新たな入力ｘＫ＋１に対する出力ｙを予測することができる。なお、誤差関数（５）の最小化の解として求められたｓｋ（ｋ＝１，２，・・・，Ｋ）に基づいて符号制約を定め、従来技術の符号制約正則化によりｗｋ（ｋ＝１，２，・・・，Ｋ）を求めるようにしてもよい。すなわち、スピン変数Ｓｋ＞０ならば図２に示した非負の制約を課し、スピン変数Ｓｋ＜０ならば図３に示した非正の制約を課して、回帰係数ｗｋを求める。
【0029】
＜装置構成＞
図５は、上述した回帰分析を行う回帰分析装置１の構成の一例を示すブロック図である。回帰分析装置１はコンピュータであり、通信インターフェース（Ｉ／Ｆ）１１と、記憶装置１２と、入出力装置１３と、プロセッサ１４とを備えており、以上の構成要素がバス等を介して接続されている。通信Ｉ／Ｆ１１は、例えばネットワークカードや通信モジュールであってもよく、所定のプロトコルに基づき、他のコンピュータと通信を行う。記憶装置１２は、ＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）等の主記憶装置、及びＨＤＤ（Hard-Disk Drive）やＳＳＤ（Solid State Drive）、フラッシュメモリ等の補助記憶装置（二次記憶装置）であってもよい。主記憶装置は、プロセッサ１４が読み出すプログラムや当該プログラムが処理する情報を一時的に記憶する。補助記憶装置は、プロセッサ１４が実行するプログラムや当該プログラムが処理する情報等を記憶する。本実施形態では、記憶装置１２には、訓練データ及び制約条件を表す情報が、一時的に又は永続的に記憶されているものとする。入出力装置１３は、例えば、キーボード、ポイ
ンティングデバイス等の入力装置、モニタ等の出力装置、タッチパネルのような入出力装置等のユーザインターフェースである。プロセッサ１４は、ＣＰＵ（Central Processing
Unit）等の演算処理装置であり、プログラムを実行することにより本実施形態に係る各
処理を行う。図１の例では、プロセッサ１４内に機能ブロックを示している。すなわち、プロセッサ１４は、所定のプログラムを実行することにより、データ取得部１４１、回帰分析部１４２、検証処理部１４３及び運用処理部１４４として機能する。
図５は、上述した回帰分析を行う回帰分析装置１の構成の一例を示すブロック図である。回帰分析装置１はコンピュータであり、通信インターフェース（Ｉ／Ｆ）１１と、記憶装置１２と、入出力装置１３と、プロセッサ１４とを備えており、以上の構成要素がバス等を介して接続されている。通信Ｉ／Ｆ１１は、例えばネットワークカードや通信モジュールであってもよく、所定のプロトコルに基づき、他のコンピュータと通信を行う。記憶装置１２は、ＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）等の主記憶装置、及びＨＤＤ（Hard-Disk Drive）やＳＳＤ（Solid State Drive）、フラッシュメモリ等の補助記憶装置（二次記憶装置）であってもよい。主記憶装置は、プロセッサ１４が読み出すプログラムや当該プログラムが処理する情報を一時的に記憶する。補助記憶装置は、プロセッサ１４が実行するプログラムや当該プログラムが処理する情報等を記憶する。本実施形態では、記憶装置１２には、訓練データ及び制約条件を表す情報が、一時的に又は永続的に記憶されているものとする。入出力装置１３は、例えば、キーボード、ポイ
ンティングデバイス等の入力装置、モニタ等の出力装置、タッチパネルのような入出力装置等のユーザインターフェースである。プロセッサ１４は、ＣＰＵ（Central Processing
Unit）等の演算処理装置であり、プログラムを実行することにより本実施形態に係る各
処理を行う。図１の例では、プロセッサ１４内に機能ブロックを示している。すなわち、プロセッサ１４は、所定のプログラムを実行することにより、データ取得部１４１、回帰分析部１４２、検証処理部１４３及び運用処理部１４４として機能する。
【0030】
データ取得部１４１は、記憶装置１２から、訓練データ及び制約条件を表す情報を取得する。回帰分析部１４２は、回帰係数を上述した誤差関数の最小化の解として更新し、更新された回帰係数の値が収束したか判定する。なお、収束していないと判定された場合、回帰分析部１４２は、係数の更新を繰り返す。収束したと判定された場合、例えば回帰分析部１４２は、最終的に生成される係数を記憶装置１２に記憶させる。また、検証処理部１４３は、所定の評価指標に基づいて作成された回帰式を評価する。例えば、検証処理部１４３は、交差検証を行った結果に付いて、決定係数Ｒ２を算出する。運用処理部１４４は、作成された回帰式と例えば新たに取得される観測値（例えば、図１のＫ＋１番目のデータ）とを用いて、予測値を算出する。また、運用処理部１４４は、作成された回帰式と任意の値とを用いて、条件を変更した場合の予測値を算出してもよい。ここで、任意の値は、例えば通信Ｉ／Ｆ１１又は入出力装置１３を介してユーザが入力する値であってもよい。例えば、プラントの運転条件を変更する場合に、変更後のプロセス状態を予測することができるようになる。
【0031】
＜回帰分析処理＞
図６は、回帰分析装置が実行する回帰分析処理の一例を示す処理フロー図である。回帰分析装置１のデータ取得部１４１は、訓練データと制約条件を表す情報と記憶装置１２から読み出す（図６：Ｓ１）。本ステップでは、例えば図１に示したような入力ｘ及び出力ｙの値が訓練データとして読み出される。なお、入力ｘを説明変数として扱い、出力ｙを目的変数として扱うものとする。また、図１において、入力ｘに対応付けて登録されている正又は負の符号が、制約条件を表す情報として読み出される。回帰分析装置１は、読み出される符号を、上述した制約符号として用いる。なお、本実施形態では、式（１）に示したような回帰式を用いる。
図６は、回帰分析装置が実行する回帰分析処理の一例を示す処理フロー図である。回帰分析装置１のデータ取得部１４１は、訓練データと制約条件を表す情報と記憶装置１２から読み出す（図６：Ｓ１）。本ステップでは、例えば図１に示したような入力ｘ及び出力ｙの値が訓練データとして読み出される。なお、入力ｘを説明変数として扱い、出力ｙを目的変数として扱うものとする。また、図１において、入力ｘに対応付けて登録されている正又は負の符号が、制約条件を表す情報として読み出される。回帰分析装置１は、読み出される符号を、上述した制約符号として用いる。なお、本実施形態では、式（１）に示したような回帰式を用いる。
【0032】
また、回帰分析装置１の回帰分析部１４２は、上述した符号制約の下で回帰係数を更新する（図６：Ｓ２）。本ステップでは、回帰分析部１４２は、例えば式（２）に示したコスト関数Ｅ（ｗ，ｓ）を最小化するように係数ｗ及びパラメータｓ（具体的には例えば式（５）のパラメータ「ｕ」）を更新する。具体的には、回帰分析部１４２は、上述した最急勾配法の式に基づいて係数ｗ等を更新することができる。
【0033】
本実施形態に係るコスト関数Ｅ（ｗ，ｓ）の正則化項は、適応的に課される制約条件を満たさない場合にコストが増加するように定義されている。すなわち、正則化項は、説明変数の変動の方向と、目的変数の変動の方向とが、尤もらしい対応関係を有するときにコスト関数Ｅ（ｗ，ｓ）の値を減少させるものである。また、回帰分析部１４２は、係数ｗについては制約条件を満たす値に収束しない場合、係数をゼロにする。このように、説明変数の選択を行うようにしてもよい。
【0034】
また、回帰分析装置１の回帰分析部１４２は、すべての係数ｗ等について収束したか又はゼロにされたか判定する（図６：Ｓ３）。本ステップでは、回帰分析部１４２は、更新される係数ｗ等の勾配が充分ゼロに近づいた場合に収束したと判断する。具体的には、回帰分析部１４２は、上述した最急勾配法の式において係数ｗ、パラメータｕの値が変化しなくなったときに、収束したと判断する。
【0035】
係数ｗ等が収束しておらず、ゼロにされてもいないと判定された場合（Ｓ３：ＮＯ）、Ｓ２に戻って処理を繰り返す。一方、係数ｗ等が収束した、又はゼロにされたと判定された場合（Ｓ３：ＹＥＳ）、回帰分析部１４２は、回帰式を記憶装置１２に格納する（図６：Ｓ４）。本ステップでは、回帰分析部１４２は、更新後の係数ｗ等を記憶装置１２に記憶させる。
【0036】
また、回帰分析装置１の検証処理部１４３は、作成された回帰式の精度を検証するようにしてもよい（図６：Ｓ５）。本ステップでは、検証処理部１４３は、例えば交差検証により、テストデータを用いて回帰式の精度を検証する。検証処理部１４３は、相関係数や決定係数等、所定の評価指標に基づいて検証することができる。なお、本ステップは省略してもよい。
【0037】
また、回帰分析装置１の運用処理部１４４は、作成された回帰式を用いて、運用処理を行う（図６：Ｓ６）。本ステップでは、運用処理部１４４は、例えば図１に示したデータ番号がｔＴ＋１のレコードのように、新たな入力ｘに対する出力ｙの予測値を算出する。なお、本ステップは、Ｓ４で記憶された回帰式を用いて、回帰分析装置１以外の装置（図示せず）が行うようにしてもよい。
【0038】
＜実施例＞
本技術に係る回帰分析処理を、化学プロセスプラントから得られるセンシングデータに適用した。学習データ数Ｎは１４とし、１４組の入力ｘおよび出力ｙを用意した。各組は、１２個の入力ｘ及び１つの出力ｙを含む。また、構築される回帰式を、一個抜き交差検証（leave-one-out cross validation, ＬＯＯＣＶ）で評価した。すなわち、Ｎ個のうちＮ－１個を訓練データとして、残り１個を評価データとして用いた。１４組のデータがすべて１回ずつ評価データとなるように検証をＮ回繰り返す。そして、Ｎ回の結果から、決定係数（Ｒ２）を算出する。決定係数（Ｒ２）は、予測の精度を表す一つの指標であり、次の式（８）で与えられる。
ｗ０（ｎ），ｗ１（ｎ），・・・，ｗＫ（ｎ）は、ｎ番目のデータを評価データとしたときに学習で定められた回帰係数である。
本技術に係る回帰分析処理を、化学プロセスプラントから得られるセンシングデータに適用した。学習データ数Ｎは１４とし、１４組の入力ｘおよび出力ｙを用意した。各組は、１２個の入力ｘ及び１つの出力ｙを含む。また、構築される回帰式を、一個抜き交差検証（leave-one-out cross validation, ＬＯＯＣＶ）で評価した。すなわち、Ｎ個のうちＮ－１個を訓練データとして、残り１個を評価データとして用いた。１４組のデータがすべて１回ずつ評価データとなるように検証をＮ回繰り返す。そして、Ｎ回の結果から、決定係数（Ｒ２）を算出する。決定係数（Ｒ２）は、予測の精度を表す一つの指標であり、次の式（８）で与えられる。
【数8】
ｗ０（ｎ），ｗ１（ｎ），・・・，ｗＫ（ｎ）は、ｎ番目のデータを評価データとしたときに学習で定められた回帰係数である。
【0039】
様々なαの値に対して、本実施形態を適用し、ＬＯＯＣＶで決定係数Ｒ２を算出した。また、同様の検証をＬ１正則化（Ｌａｓｓｏ）及び最小二乗法により行った。図７は、検証結果を示す図である。実線は、本実施形態により作成された回帰式の決定係数Ｒ２を示す。一点鎖線は、Ｌ１正則化により作成された回帰式の決定係数Ｒ２を示す。水平の破線は最小二乗法（パラメータαを含まない）による決定係数Ｒ２を示す。本実施形態の場合は、αが０．０００１以下のときには、０．６以上という高いＲ２値が得られた。Ｌ１正則化の場合はαが０．０００１のときには、本実施形態と同等なＲ２値（約０．８）が得られた。しかしながら、αがこれよりも大きい場合又は小さい場合は、Ｌ１正則化によるＲ２値は急激にゼロ付近に落ち込む。以上から、本実施形態は、Ｌ１正則化よりも、高い予測性能（汎化性能）を安定に保証できることがわかる。また、本実施形態及びＬ１正則化は、最小二乗法よりも高い予測性能を得られた。
【0040】
なお、図７が示すように、Ｌ１正則化による予測性能は、αが特定の値（図７の例では０．０００１1付近）のときに最大になり、αの値がそれより大きく又は小さくなると、
急激に下がる。これは、Ｌ１正則化を用いた場合の予測性能がαの値に敏感に左右されることを意味する。このため、Ｌ１正則化により効果を得るためには交差検証等によるパラメータαのチューニングが不可欠といえる。
急激に下がる。これは、Ｌ１正則化を用いた場合の予測性能がαの値に敏感に左右されることを意味する。このため、Ｌ１正則化により効果を得るためには交差検証等によるパラメータαのチューニングが不可欠といえる。
【0041】
一方、本実施形態を用いた場合の予測性能は、αが特定の値（図７の例では０．０００１１付近）のときに最大になるが、αの値をこれより小さくしても、Ｌ１正則化の場合ほどは下がらない。したがって、αの値を、交差検証を経ずに先験的にゼロにおいたとしても、十分に高い予測性能が担保できる。交差検証は多大な計算を要する手続きであるところ、本実施形態によれば、はじめからαの値をゼロにおくことにより、交差検証を経ずに十分な予測性能を得ることができるといえる。
【0042】
＜第２の実施形態＞
本実施形態においては、スピン変数ｓｋを連続変数により近似するのではなく、確率変数として扱う。すなわち、第１の実施形態における式（４）に代えて、スピン変数ｓｋは厳格に＋１又は－１の値のみをとるものとし、何れの値をとるかは確率的に定めるものとする。以下では、第１の実施形態との相違点を説明する。
本実施形態においては、スピン変数ｓｋを連続変数により近似するのではなく、確率変数として扱う。すなわち、第１の実施形態における式（４）に代えて、スピン変数ｓｋは厳格に＋１又は－１の値のみをとるものとし、何れの値をとるかは確率的に定めるものとする。以下では、第１の実施形態との相違点を説明する。
【0043】
最急降下法による学習において、次の式（９）で定められる量を定義する。
ただし、β（＞０）は「逆温度パラメータ」を表す。
【数9】
ただし、β（＞０）は「逆温度パラメータ」を表す。
【0044】
また、以下の規則でスピン変数ｓｋ（ｋ＝１，２，・・・，Ｋ）を更新する。
（i）［０，１］の範囲で一様乱数ｒを発生させる。
（ii）Ｉｆ ρ≧ｒ， ｓｋ＝１；
（iii）ｅｌｓｅ ｉｆ ρ＜ｒ， ｓｋ＝－１．
すなわち、第１に、０以上１以下の範囲で一様乱数ｒを生成する。第２に、式（９）で定められるρの値がｒ以上である場合、スピン変数ｓｋを＋１とする。第３に、式（９）で定められるρの値がｒ未満である場合、スピン変数ｓｋを－１とする。
（i）［０，１］の範囲で一様乱数ｒを発生させる。
（ii）Ｉｆ ρ≧ｒ， ｓｋ＝１；
（iii）ｅｌｓｅ ｉｆ ρ＜ｒ， ｓｋ＝－１．
すなわち、第１に、０以上１以下の範囲で一様乱数ｒを生成する。第２に、式（９）で定められるρの値がｒ以上である場合、スピン変数ｓｋを＋１とする。第３に、式（９）で定められるρの値がｒ未満である場合、スピン変数ｓｋを－１とする。
【0045】
また、式（２）に示した誤差関数の最小化（学習）を、以下の手順で行う。回帰係数ｗｋの最小化は、再急降下法で行うことができる。各ステップにおいて、回帰係数ｗｋは次の式（１０）により更新する。これは、通常の最急降下法と同様である。
ここで、ｇ＋（ｗｋ）及びｇ－（ｗｋ）は、第１の実施形態に示した「劣微分」である。次に、スピン変数ｓｋを上記規則（i）から（iii）に基づいて更新する。式（１０）による回帰係数ｗｋの更新と、規則（i）から（iii）によるスピン変数ｓｋの更新をもって１回のステップ（図６におけるステップＳ２）とし、これを繰り返すことにより学習を実行する。
【数10】
ここで、ｇ＋（ｗｋ）及びｇ－（ｗｋ）は、第１の実施形態に示した「劣微分」である。次に、スピン変数ｓｋを上記規則（i）から（iii）に基づいて更新する。式（１０）による回帰係数ｗｋの更新と、規則（i）から（iii）によるスピン変数ｓｋの更新をもって１回のステップ（図６におけるステップＳ２）とし、これを繰り返すことにより学習を実行する。
【0046】
なお、第１の実施形態と同様に、逆温度パラメータβの値は「焼きなまし法」に従って調整する。
【0047】
以上のような第２の実施形態も、予め制約条件を定めておく必要はなく、説明変数の変動と目的変数の変動とに対応関係を有する回帰モデルを構築するための、より汎用的な技術を提供することができるといえる。
【0048】
＜変形例＞
図５に示したコンピュータの構成は一例であり、このような例には限定されない。例えば、回帰分析装置１の機能の少なくとも一部を複数の装置に分散させ、上述した処理を全体として実現する回帰分析システムを提供するようにしてもよい。また、回帰分析装置１の機能の少なくとも一部について、同一の機能を複数の装置が並列に実行する回帰分析システムを提供するようにしてもよい。また、回帰分析装置１の機能の少なくとも一部は、いわゆるクラウド上に設けるようにしてもよい。また、回帰分析装置１は、例えば検証処理部１４３等、一部の構成を備えていなくてもよい。また、作成された学習済みモデルを保持し、運用処理部１４４のみを備えるシステムを提供するようにしてもよい。
図５に示したコンピュータの構成は一例であり、このような例には限定されない。例えば、回帰分析装置１の機能の少なくとも一部を複数の装置に分散させ、上述した処理を全体として実現する回帰分析システムを提供するようにしてもよい。また、回帰分析装置１の機能の少なくとも一部について、同一の機能を複数の装置が並列に実行する回帰分析システムを提供するようにしてもよい。また、回帰分析装置１の機能の少なくとも一部は、いわゆるクラウド上に設けるようにしてもよい。また、回帰分析装置１は、例えば検証処理部１４３等、一部の構成を備えていなくてもよい。また、作成された学習済みモデルを保持し、運用処理部１４４のみを備えるシステムを提供するようにしてもよい。
【0049】
また、式（２）に示したコスト関数は、正又は負の片側でＬ１正則化を行うものとしたが、Ｌ２ノルムやその他の凸関数によっても動作する。すなわち、係数の絶対値の和に代えて、正又は負の片側で係数の二乗和やその他のペナルティを課す項を用いるようにしてもよい。
【0050】
正則化項に含まれるパラメータＳｋは、スピン変数には限定されず、正則化項に含まれ
る第１の項「（１／２）（１＋ｓｋ）Ｒ＋（ｗｋ）」と、第２の項「（１／２）（１－ｓｋ）Ｒ－（ｗｋ）」の一方をゼロにする又はゼロに近似するための二値変数であればよい。例えば、パラメータＳｋは０及び＋１の何れかをとる二値変数であってもよい。この場合は、式（３）のＲＡＳＬ（ｗｋ，ｓｋ）を以下のように定義すればよい。
この場合、二値変数を近似するための連続変数は、シグモイド関数を利用することができる。また、これ以外の２値をとる二値変数の場合も、例えばＳ字状の成長曲線を表す関数で近似することができる。ただし、上述した実施形態のように＋１又は－１をとるスピン変数を用いた方が数式変形上の見通しがよく、本機能を実装するためのコードの可読性も向上する。
る第１の項「（１／２）（１＋ｓｋ）Ｒ＋（ｗｋ）」と、第２の項「（１／２）（１－ｓｋ）Ｒ－（ｗｋ）」の一方をゼロにする又はゼロに近似するための二値変数であればよい。例えば、パラメータＳｋは０及び＋１の何れかをとる二値変数であってもよい。この場合は、式（３）のＲＡＳＬ（ｗｋ，ｓｋ）を以下のように定義すればよい。
【数11】
この場合、二値変数を近似するための連続変数は、シグモイド関数を利用することができる。また、これ以外の２値をとる二値変数の場合も、例えばＳ字状の成長曲線を表す関数で近似することができる。ただし、上述した実施形態のように＋１又は－１をとるスピン変数を用いた方が数式変形上の見通しがよく、本機能を実装するためのコードの可読性も向上する。
【0051】
また、回帰分析装置１によって分析されるデータの内容は、特に限定されない。実施例で述べた化学品その他を生産する製造業における品質等の特性値の予測のほか、加工などのプロセス制御、診断等に適用してもよいし、発電、排水処理などの非製造業やその他の様々な分野に適用してもよい。例えば、生産設備が出力するセンシングデータ等を含む情報を説明変数として、機械的、物理的又は化学的性質を表す所定の特性値や、状況に応じた好ましい運転条件、異常度等を目的変数として予測できるようにすることができる。また、非製造業においては、様々な情報を説明変数として、設備の好ましい運転条件等を予測できるようにしてもよい。
【0052】
また、本開示は、上述した処理を実行する方法やコンピュータプログラム、当該プログラムを記録した、コンピュータ読み取り可能な記録媒体を含む。当該プログラムが記録された記録媒体は、プログラムをコンピュータに実行させることにより、上述の処理が可能となる。
【0053】
ここで、コンピュータ読み取り可能な記録媒体とは、データやプログラム等の情報を電気的、磁気的、光学的、機械的、または化学的作用によって蓄積し、コンピュータから読み取ることができる記録媒体をいう。このような記録媒体のうちコンピュータから取り外し可能なものとしては、フレキシブルディスク、光磁気ディスク、光ディスク、磁気テープ、メモリカード等がある。また、コンピュータに固定された記録媒体としては、ＨＤＤやＳＳＤ（Solid State Drive）、ＲＯＭ等がある。
【0054】
各実施形態における各構成及びそれらの組み合わせ等は、一例であって、本開示の主旨から逸脱しない範囲内で、適宜、構成の付加、省略、置換、及びその他の変更が可能である。本開示は、実施形態によって限定されることはなく、クレームの範囲によってのみ限定される。また、本明細書に開示された各々の態様は、本明細書に開示された他のいかなる特徴とも組み合わせることができる。
【符号の説明】
【0055】
１： 回帰分析装置
１１： 通信Ｉ／Ｆ
１２： 記憶装置
１３： 入出力装置
１４： プロセッサ
１４１： データ取得部
１４２： 回帰分析部
１４３： 検証処理部
１４４： 運用処理部
１１： 通信Ｉ／Ｆ
１２： 記憶装置
１３： 入出力装置
１４： プロセッサ
１４１： データ取得部
１４２： 回帰分析部
１４３： 検証処理部
１４４： 運用処理部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】