特許 6235347 予測精度評価装置および該方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6235347

(24)【登録日】2017年11月2日

(45)【発行日】2017年11月22日

(54)【発明の名称】予測精度評価装置および該方法

(51)【国際特許分類】

   G06N 5/04 20060101AFI20171113BHJP

   G06F 17/18 20060101ALI20171113BHJP

【ＦＩ】

   G06N5/04

   G06F17/18 Z

【請求項の数】6

【全頁数】16

(21)【出願番号】特願2014-3053(P2014-3053)

(22)【出願日】2014年1月10日

(65)【公開番号】特開2015-132914(P2015-132914A)

(43)【公開日】2015年7月23日

【審査請求日】2016年9月1日

(73)【特許権者】

【識別番号】000001199

【氏名又は名称】株式会社神戸製鋼所

(74)【代理人】

【識別番号】100067828

【弁理士】

【氏名又は名称】小谷 悦司

(74)【代理人】

【識別番号】100115381

【弁理士】

【氏名又は名称】小谷 昌崇

(74)【代理人】

【識別番号】100111453

【弁理士】

【氏名又は名称】櫻井 智

(72)【発明者】

【氏名】友近 信行

【審査官】 多賀 実

(56)【参考文献】

【文献】 特開２００９−２４５１４１（ＪＰ，Ａ）

【文献】 特開２０１２−２２６７３１（ＪＰ，Ａ）

【文献】 特開２００３−１４３７５７（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｎ ５／０４

Ｇ０６Ｆ １７／１８

Ｇ０６Ｆ １９／００

Ｇ０６Ｑ １０／０４

Ｇ０５Ｂ ２３／０２

(57)【特許請求の範囲】

【請求項1】

複数の実測値、および、所定の数値範囲内における複数の予測値と前記複数の予測値の出現度合いとの関係を表す、前記複数の実測値それぞれに対応する予測値のバラツキを取得するバラツキ取得部と、
前記バラツキ取得部で取得された各前記予測値のバラツキに基づいて、各前記予測値のバラツキの予測精度における良否の度合いを表す評価指標を求める評価指標演算部と、
前記評価指標演算部で求めた前記評価指標を出力する出力部とを備えること
を特徴とする予測精度評価装置。

【請求項2】

前記評価指標演算部は、前記複数の実測値それぞれに対し、前記所定の数値範囲における最小値から最大値まで前記出現度合いの累積値を全体累積値として求め、前記所定の数値範囲における前記最小値から当該実測値まで前記出現度合いの累積値を部分累積値として求め、前記求めた部分累積値を前記全体累積値で除算し、前記複数の実測値に対応する各除算結果のヒストグラムを前記評価指標として求めること
を特徴とする請求項１に記載の予測精度評価装置。

【請求項3】

前記バラツキ取得部は、新たに予測したい予測対象データに対する第２の予測値のバラツキを新たに取得し、
前記評価指標演算部で求めた前記評価指標に基づいて前記バラツキ取得部で新たに取得した前記第２の予測値のバラツキを調整するバラツキ調整部をさらに備えること
を特徴とする請求項１または請求項２に記載の予測精度評価装置。

【請求項4】

前記予測値のバラツキを求めるために必要な所定の予測依拠情報を予め記憶するデータ記憶部をさらに備え、
前記バラツキ取得部は、前記データ記憶部に記憶されている前記所定の予測依拠情報に基づいて前記予測値のバラツキを演算することによって各前記予測値のバラツキを取得すること
を特徴とする請求項１ないし請求項３のいずれか１項に記載の予測精度評価装置。

【請求項5】

所定の情報を入力する入力部をさらに備え、
前記バラツキ取得部は、前記入力部から前記予測値のバラツキを取得すること
を特徴とする請求項１ないし請求項３のいずれか１項に記載の予測精度評価装置。

【請求項6】

複数の実測値、および、所定の数値範囲内における複数の予測値と前記複数の予測値それぞれに対する出現度合いとの関係を表す、前記複数の実測値それぞれに対応する予測値のバラツキを取得するバラツキ取得工程と、
前記バラツキ取得工程で取得された前記予測値のバラツキに基づいて、各前記予測値のバラツキの予測精度における良否の度合いを表す評価指標を求める評価指標演算工程と、
前記評価指標演算工程で求めた前記評価指標を出力部に出力する出力工程とを備えること
を特徴とする予測精度評価方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、所与のデータに基づいて予測した予測結果の精度を評価する予測精度評価装置および予測精度評価方法に関する。

【背景技術】

【0002】

様々な分野において、今後の行動を決定する際に、将来の予測がしばしば行われる。特に、例えば鉄鋼製品の製造や化学製品の製造のように、比較的大規模な製造プラントで様々な製造プロセスを経て製造される製品では、例えば投入量、操作入力量および時間経過等に応じて、各製造プロセスにおける出力値や製品に直結する最終プロセスの出力値が刻々と変化することが多い。このため、その出力値を制御するために、出力値の予測は、重要である。

【0003】

このような予測は、一般に、予測対象に関わる要因を分析し、要因の過去の実績データを例えば統計的に分析することによって行われる。

【0004】

例えば、特許文献１に開示の鋼材の材質推定装置は、過去に製造された製品ごとに、素材成分実績、操業実績および材質実績を蓄積する材質記憶手段と、多数の入力変数の中から製品の材質に与える影響の大きい入力変数を選択するためのルールが格納されている入力変数限定ルール格納手段と、入力される素材成分情報および操業情報を用いて、入力変数を前記ルールに従って限定する入力変数限定手段と、該限定した入力変数を用いて前記材質記憶手段内の各データと入力値との距離を計算するための、入力値が出力値に与える影響を重み係数とする距離関数を定義し、この距離関数を用いて計算した距離に基づいて入力値に近いデータを抽出し、該抽出したデータから材質の推定値を計算し、出力する材質推定計算手段とを備えている。このような構成の材質推定装置は、モデルの構造と対象の構造との乖離によって生じる推定誤差の発生を防止し、入力空間の全ての領域での推定精度を向上することが可能となる。

【0005】

ところで、上記特許文献１に開示された技術では、予測値を１点のデータで予測している。このため、この予測値が的中している場合はよいが、この予測値が真値からずれていると、この予測値に基づいて行われる操作や判断等が誤ったものとなって、適切な出力値を得ることができない。

【0006】

このため、例えば特許文献２や特許文献３に開示された技術では、予測値をそのバラツキや確率密度分布で求めている。すなわち、特許文献２に開示された出力値予測装置は、所定の出力と前記出力に関わる数値化可能な要因とから成り過去に取得された複数の過去実績データを記憶する実測データ記憶部と、予測したい予測対象データと前記過去実績データとの類似度を、前記予測対象データの要因および前記過去実績データの要因に基づいて前記複数の過去実績データのそれぞれについて算出する類似度算出部と、前記所定の出力を出力変数とすると共に前記要因の一部または全部を入力変数とした際に、前記入力変数を用いて前記出力変数と前記入力変数との関係を表す第１モデルを生成した場合に、前記入力変数の入力値を前記第１モデルに与えることによって得られる値と前記入力変数の入力値に対応する前記出力変数の出力値との差に基づく誤差パラメータを、前記過去実績データの入力変数および出力変数に基づいて前記複数の過去実績データのそれぞれについて算出するパラメータ算出部と、前記入力変数および前記誤差パラメータを用いて前記出力変数と前記入力変数との関係を表す第２モデルを生成し、前記予測対象データの要因のうちの前記入力変数に対応する要因の値および前記誤差パラメータの値を前記第２モデルに与えることによって前記予測対象データの出力値を予測値として、前記パラメータ算出部によって算出された複数の誤差パラメータのそれぞれについて算出する予測値算出部と、前記類似度算出部によって算出された複数の類似度および前記予測値算出部によって算出された複数の予測値に基づいて、前記予測対象データの出力値のばらつきを算出するばらつき算出部とを備える。

【0007】

特許文献３に開示された出力値予測装置は、所定の出力と前記出力に関わる数値化可能な要因とから成り過去に取得された複数の過去実績データを記憶する実測データ記憶部と、予測したい予測対象データと前記過去実績データとの類似度を、前記予測対象データの要因および前記過去実績データの要因に基づいて前記複数の過去実績データのそれぞれについて算出する第１算出部と、前記第１算出部によって算出された複数の類似度および前記過去実績データに基づいて、前記予測対象データの出力値のばらつきを算出する第２算出部とを備え、前記第１算出部は、前記予測対象データと前記過去実績データとの所定の距離を、前記予測対象データの要因および前記過去実績データの要因に基づいて、前記複数の過去実績データのそれぞれについて算出する距離算出部と、前記予測対象データと前記過去実績データとの前記類似度を、前記距離算出部で算出された距離に基づいて、前記複数の過去実績データのそれぞれについて算出する類似度算出部とを備え、前記距離算出部は、前記要因が前記所定の出力におけるばらつきの大きさに寄与する程度を第Ａ重みとして前記要因について算出する重み算出部を備え、前記重み算出部で算出された第Ａ重みを用いて前記所定の距離を算出する。そして、前記第２算出部は、前記所定の出力を出力変数とすると共に前記要因の一部または全部を入力変数とした際に、前記入力変数を用いて前記出力変数と前記入力変数との関係を表す第２モデルを生成した場合に、前記入力変数の入力値を前記第２モデルに与えることによって得られる値と前記入力変数の入力値に対応する前記出力変数の出力値との差である誤差パラメータを、前記過去実績データの入力変数および出力変数に基づいて前記複数の過去実績データのそれぞれについて算出するパラメータ算出工程と、前記入力変数および前記誤差パラメータを用いて前記出力変数と前記入力変数との関係を表す第３モデルを生成し、前記予測対象データの要因のうちの前記入力変数に対応する要因の値および前記誤差パラメータの値を前記第３モデルに与えることによって前記予測対象データの出力値を予測値として、前記パラメータ算出工程によって算出された複数の誤差パラメータのそれぞれについて算出する予測値算出工程と、前記類似度算出工程によって算出された複数の類似度および前記予測値算出工程によって算出された複数の予測値に基づいて、前記予測対象データの出力値のばらつきを算出するばらつき算出工程とを備える。

【先行技術文献】

【特許文献】

【0008】

【特許文献1】特許第３９４３８４１号公報

【特許文献2】特許５２２０４５８号公報

【特許文献3】特開２０１０−２３１４４７号公報

【発明の概要】

【発明が解決しようとする課題】

【0009】

このように前記特許文献２および特許文献３に開示された出力値予測装置によって、予測値のバラツキが求められるので、オペレータ（ユーザ）は、その求められた予測値のバラツキを参照することで、予測値の収まる範囲を認識でき、今後の行動を決定する際に有益な情報を得ることができる。しかしながら、このように求められる予測値のバラツキは、予測に用いられる入力変数の数値が異なると、その分布の形状が異なる。例えば、鋼板を製造する場合において、例えば、成分や溶鋼量、通過行程、使用される取鍋の使用履歴や取鍋温度等の入力変数の数値がチャージごとに異なるため、出鋼温度のバラツキにおける分布の形状は、チャージごとに異なったものとなる。このため、実測値に対しこの求めた予測値のバラツキが良い予測であったか、悪い予測であったか分からないという不都合があった。例えば、実測値が予測値のバラツキの分布における中央付近に位置した場合、一見、前記予測値のバラツキの精度が良かったと考えられるが、前記予測値のバラツキの分布が広く求められていれば、実測値が前記予測値のバラツキの分布における中央付近に位置することになるので、前記予測値のバラツキの精度が良くなかったとも考えられる。すなわち、予測値のバラツキの予測精度における良否が分からないという不都合があった。

【0010】

本発明は、上述の事情に鑑みて為された発明であり、その目的は、予測値のバラツキの予測精度をオペレータ（ユーザ）に認識させ得る予測精度評価装置および予測精度評価方法を提供することである。

【課題を解決するための手段】

【0011】

本発明者は、種々検討した結果、上記目的は、以下の本発明により達成されることを見出した。すなわち、本発明の一態様にかかる予測精度評価装置は、複数の実測値、および、所定の数値範囲内における複数の予測値と前記複数の予測値それぞれに対する出現度合いとの関係を表す、前記複数の実測値それぞれに対応する予測値のバラツキを取得するバラツキ取得部と、前記バラツキ取得部で取得された前記予測値のバラツキに基づいて、各前記予測値のバラツキの予測精度における良否の度合いを表す評価指標を求める評価指標演算部と、前記評価指標演算部で求めた前記評価指標を出力する出力部とを備えることを特徴とする。

【0012】

このような予測精度評価装置では、複数の実測値、および、前記複数の実測値それぞれに対応する予測値のバラツキが取得され、これら取得された各予測値のバラツキに対する１つの評価指標が求められ、そして、この求められた評価指標が出力部に出力される。このため、このような予測精度評価装置では、出力部に出力された評価指標を参照することで、オペレータ（ユーザ）は、各予測値のバラツキにおける予測精度を認識できる。

【0013】

また、他の一態様では、上述の予測精度評価装置において、前記評価指標演算部は、前記複数の実測値それぞれに対し、前記所定の数値範囲における最小値から最大値まで前記出現度合いの累積値を全体累積値として求め、前記所定の数値範囲における前記最小値から当該実測値まで前記出現度合いの累積値を部分累積値として求め、前記求めた部分累積値を前記全体累積値で除算し、前記複数の実測値に対応する各除算結果のヒストグラムを前記評価指標として求めることを特徴とする。

【0014】

このような予測精度評価装置は、各前記予測値のバラツキにおける分布の形状と複数の実測値とに基づいたヒストグラムを前記評価指標として求めるので、より適切な評価指標を生成できる。

【0015】

また、他の一態様では、これら上述の予測精度評価装置において、前記バラツキ取得部は、新たに予測したい予測対象データに対する第２の予測値のバラツキを新たに取得し、前記評価指標演算部で求めた前記評価指標に基づいて前記バラツキ取得部で取得した新たに前記第２の予測値のバラツキを調整するバラツキ調整部をさらに備えることを特徴とする。そして、好ましくは、上述の予測精度評価装置において、前記バラツキ調整部は、前記バラツキ取得部で新たに取得した前記第２の予測値のバラツキに前記評価指標演算部で求めた前記評価指標を乗算することによって、前記第２の予測値のバラツキを調整するものである。

【0016】

このような予測精度評価装置は、前記評価指標に基づいて前記第２の予測値のバラツキを調整するので、前記第２の予測値のバラツキをより適正化できる。したがって、より適切な前記第２の予測値のバラツキが得られる。

【0017】

また、他の一態様では、これら上述の予測精度評価装置において、前記予測値のバラツキを求めるために必要な所定の予測依拠情報を予め記憶するデータ記憶部をさらに備え、前記バラツキ取得部は、前記データ記憶部に記憶されている前記所定の予測依拠情報に基づいて前記予測値のバラツキを演算することによって各前記予測値のバラツキを取得することを特徴とする。

【0018】

このような予測精度評価装置は、前記所定の予測依拠情報に基づいて前記予測値のバラツキを演算するので、前記所定の予測依拠情報を予測精度評価装置に与えることで、予測値のバラツキを取得できる。

【0019】

また、他の一態様では、これら上述の予測精度評価装置において、所定の情報を入力する入力部をさらに備え、前記バラツキ取得部は、前記入力部から前記予測値のバラツキを取得することを特徴とする。そして、上述の予測精度評価装置において、前記入力部で受け付けた前記予測値のバラツキは、データ記憶部に記憶され、前記バラツキ取得部は、前記データ記憶部に記憶された前記予測値のバラツキを取得することによって、前記入力部から前記予測値のバラツキを取得してもよい。

【0020】

このような予測精度評価装置は、複数の予測値のバラツキを入力部から入力できるので、前記複数の予測値のバラツキを求める他の装置で求められた前記複数の予測値のバラツキに対しても評価でき、様々な組の予測値のバラツキを取り扱うことができる。

【0021】

そして、他の一態様にかかる予測精度評価方法は、複数の実測値、および、所定の数値範囲内における複数の予測値と前記複数の予測値それぞれに対する出現度合いとの関係を表す、前記複数の実測値それぞれに対応する予測値のバラツキを取得するバラツキ取得工程と、前記バラツキ取得工程で取得された前記予測値のバラツキに基づいて、各前記予測値のバラツキの予測精度における良否の度合いを表す評価指標を求める評価指標演算工程と、前記評価指標演算工程で求めた前記評価指標を出力部に出力する出力工程とを備えることを特徴とする。

【0022】

このような予測精度評価方法では、複数の実測値、および、前記複数の実測値それぞれに対応する予測値のバラツキが取得され、これら取得された各予測値のバラツキに対する１つの評価指標が求められ、そして、この求められた評価指標が出力部に出力される。このため、このような予測精度評価方法では、出力部に出力された評価指標を参照することで、オペレータ（ユーザ）は、各予測値のバラツキにおける予測精度を認識できる。

【発明の効果】

【0023】

本発明にかかる予測精度評価装置および予測精度評価方法は、予測値のバラツキの予測精度をオペレータ（ユーザ）に認識させ得る。

【図面の簡単な説明】

【0024】

【図1】実施形態における予測精度評価装置の構成を示すブロック図である。

【図2】実施形態における予測精度評価装置の動作を示すフローチャートである。

【図3】実施形態の予測精度評価装置における予測値のバラツキの演算方法を説明するための図である。

【図4】予測値の確率密度分布の一例を示す図である。

【図5】予測値の確率密度分布に対する予測精度の評価指標の一例を示す図である。

【図6】予測値の確率密度分布に対する予測精度の評価指標の一具体例を示す図である。

【発明を実施するための形態】

【0025】

以下、本発明にかかる実施の一形態を図面に基づいて説明する。なお、各図において同一の符号を付した構成は、同一の構成であることを示し、適宜、その説明を省略する。本明細書において、総称する場合には添え字を省略した参照符号で示し、個別の構成を指す場合には添え字を付した参照符号で示す。

【0026】

図１は、実施形態における予測精度評価装置の構成を示すブロック図である。実施形態における予測精度評価装置Ｓは、複数の予測値のバラツキに対する１つの評価指標を出力し、オペレータ（ユーザ）に前記評価指標を提示することで予測精度の評価をアシスト（助力）する装置であり、例えば、図１に示すように、演算制御部１と、入力部２と、出力部３と、記憶部４と、インターフェース部（以下、「ＩＦ部」と略記する。）５と、バス６とを備える。

【0027】

入力部２は、複数の予測値のバラツキに対する１つの評価指標の出力を指示するコマンド等の各種コマンド、および、所定の情報（データ）や前記評価指標を求める上で必要な情報（実測値およびその予測値のバラツキ、または、実測値およびその予測依拠情報、を含む）等の各種データを予測精度評価装置Ｓに入力する機器であり、例えば、キーボードやマウス等である。出力部３は、入力部２から入力されたコマンドやデータ、および、予測精度評価装置Ｓによって求められた前記評価指標等を出力する機器であり、例えばＣＲＴディスプレイ、ＬＣＤおよび有機ＥＬディスプレイ等の表示装置やプリンタ等の印刷装置等である。

【0028】

記憶部４は、予測精度評価装置Ｓに必要な各種データを記憶するものであり、機能的に、前記予測値のバラツキを求めるために必要な所定の情報である予測依拠情報（例えば過去実績データや予測すべき予測対象データ等）を予め記憶する予測依拠データ記憶部４１と、複数の実測値と前記複数の実測値それぞれに対応する複数の予測値のばらつき（例えば予測値のヒストグラムや予測値の確率密度分布等）を記憶する予測データ記憶部４２と、複数の前記予測値のバラツキにおける評価指標を記憶する評価指標記憶部４３とを備え、予測依拠情報（予測依拠データ）から前記予測値のバラツキを予測する出力値予測プログラム、複数の前記予測値のバラツキに対する１つの評価指標を求める予測精度評価プログラム等の各種プログラム、および、各種プログラムの実行に必要なデータやその実行中に生じるデータ等の各種データを記憶する装置である。記憶部４は、例えば、演算制御部１の所謂ワーキングメモリとなるＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の揮発性の記憶素子、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）や書換え可能なＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等の不揮発性の記憶素子、および、各種プログラムや各種データを格納するハードディスク装置等の大容量記憶装置等を備えて構成される。

【0029】

演算制御部１は、例えば、マイクロプロセッサおよびその周辺回路等を備えて構成され、機能的に、制御部１１と、バラツキ取得部１２と、評価指標演算部１３と、ばらつき調整部１４とを備える。

【0030】

制御部１１は、制御プログラムに従い入力部２、出力部３、記憶部４およびＩＦ部５を当該機能に応じてそれぞれ制御し、予測精度評価装置Ｓ全体の制御を司るものである。

【0031】

バラツキ取得部１２は、複数の実測値、および、前記複数の実測値それぞれに対応する予測値のバラツキを取得するものである。予測値は、入力変数と出力値との関係を表す、予め与えられた所定のモデルに、予測したい予測対象データを前記入力変数として入力した場合に得られる出力値である。本実施形態では、前記所定のモデルに含まれる誤差等を考慮することによって、１個の予測対象データに対し、出力値は、その出現度合い（出現頻度、出現確率、発生頻度、発生確率）を伴う数値範囲で与えられる。すなわち、予測対象データの出力値は、その出現度合いを伴う数値範囲である予測値のバラツキで与えられる。したがって、予測値のバラツキは、所定の数値範囲内における複数の予測値（各数値、各予測値）と前記複数の予測値それぞれに対する出現度合いとの関係を表すものと、定義される。前記所定の数値範囲は、前記予測値の取り得る範囲であり、前記複数の予測値における最大値および最小値を含む範囲で、前記予測値を予測するために用いられる前記所定のモデルに応じて設定される。

【0032】

より具体的には、バラツキ取得部１２は、前記予測値のバラツキの入力を入力部２で受け付けることによって、入力部２から前記複数の予測値のバラツキを取得するものである。この構成によれば、複数の予測値のバラツキを入力部２から入力できるので、前記複数の予測値のバラツキを求める他の装置で求められた前記複数の予測値のバラツキに対しても本予測精度評価装置Ｓで評価でき、様々な組の予測値のバラツキを取り扱うことができる。なお、このような場合に、入力部２で受け付けた前記予測値のバラツキは、記憶部４における予測データ記憶部４２に記憶され、バラツキ取得部１２は、この予測データ記憶部４２に記憶された前記予測値のバラツキを取得することによって、入力部２から前記予測値のバラツキを取得してもよい。この構成によれば、複数の予測値のバラツキの入力とその評価指標の出力とを個別に実施することが可能となり、これら前記入力と前記出力との間に時間差（タイムラグ）を設けることが可能となり、そして、過去に入力した前記複数の予測値のバラツキにおける評価指標の再出力も可能となる。

【0033】

そして、本実施形態では、バラツキ取得部１２は、記憶部４における予測依拠データ記憶部４１に記憶されている前記所定の予測依拠情報に基づいて前記予測値のバラツキを演算するバラツキ演算部１２１を各前記予測値のバラツキを取得するために備えている。この構成によれば、前記所定の情報として前記予測依拠情報に基づいて前記予測値のバラツキを演算するので、前記予測依拠情報を予測精度評価装置Ｓに与えることで、前記予測値のバラツキが取得される。

【0034】

評価指標演算部１３は、バラツキ取得部１２で取得された各前記予測値のバラツキに基づいて、各前記予測値のバラツキに対する１つの評価指標を求めるものである。前記評価指標は、前記予測値のバラツキの予測精度における良否の度合いを表す指標である。より具体的には、例えば、評価指標演算部１３は、予め与えられた前記複数の実測値それぞれに対し、前記予測値のバラツキにおける前記所定の数値範囲の最小値から最大値まで前記出現度合いの累積値を全体累積値として求め、前記所定の数値範囲における前記最小値から当該実測値まで前記出現度合いの累積値を部分累積値として求め、前記求めた部分累積値を前記全体累積値で除算し、前記複数の実測値に対応する各除算結果のヒストグラムを前記評価指標として求める。予め与えられた前記複数の実測値は、例えば過去に実測されることで過去に取得された過去実績データ等である。

【0035】

ＩＦ部５は、予測精度評価装置Ｓと外部の他の装置との間で互いにデータを交換するための通信インターフェースであり、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）規格に対応した装置やＲＳ２３２Ｃ規格に対応した装置である。

【0036】

これら演算制御部１、入力部２、出力部３、記憶部４およびＩＦ部５は、信号を相互に交換することができるようにバス６でそれぞれ接続される。

【0037】

このような演算制御部１、入力部２、出力部３、記憶部４、ＩＦ部５およびバス６は、例えば、コンピュータ、より具体的にはノート型やディスクトップ型等のパーソナルコンピュータ等によって構成可能である。

【0038】

なお、必要に応じて予測精度評価装置Ｓは、外部記憶部をさらに備えてもよい。外部記憶部は、例えば、フレキシブルディスク、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＣＤ−Ｒ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅｃｏｒｄａｂｌｅ）、ＤＶＤ−Ｒ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ Ｒｅｃｏｒｄａｂｌｅ）およびブルーレイディスク（Ｂｌｕ−ｒａｙ（登録商標） Ｄｉｓｃ）等の記録媒体との間でデータを読み込みおよび／または書き込みを行う装置であり、例えば、フレキシブルディスクドライブ、ＣＤ−ＲＯＭドライブ、ＣＤ−Ｒドライブ、ＤＶＤ−Ｒドライブおよびブルーレイディスクドライブ等である。

【0039】

ここで、出力値予測プログラム、予測精度評価プログラムおよび調整プログラム等が格納されていない場合には、これら出力値予測プログラム、予測精度評価プログラムおよび調整プログラム等を記録した記録媒体から前記外部記憶部を介してこれら出力値予測プログラム、予測精度評価プログラムおよび調整プログラム等が記憶部４にインストールされるように、予測精度評価装置Ｓが構成されてもよい。あるいは、過去実績データや出力値を予測するためのデータや評価指標等のデータが外部記憶部を介して記録媒体に記録されるように、予測精度評価装置Ｓが構成されてもよい。

【0040】

次に、本実施形態の動作について説明する。図２は、実施形態における予測精度評価装置の動作を示すフローチャートである。図３は、実施形態の予測精度評価装置における予測値のバラツキの演算方法を説明するための図である。図３（Ａ）は、類似度ｗと出力の予測値ｙ_０との関係を示し、その横軸は、類似度ｗであり、その縦軸は、予測値ｙ_０である。図３（Ｂ）は、前記予測値のバラツキとして予測値ｙ_０のヒストグラムを示し、その横軸は、重み付き度数Ｆｗであり、その縦軸は、予測値ｙ_０である。図３（Ｃ）は、前記予測値のバラツキとして予測値ｙ_０の確率密度分布を示し、その横軸は、確率密度Ｐ（ｙ_０）であり、その縦軸は、予測値ｙ_０である。図４は、予測値の確率密度分布の一例を示す図である。図５は、予測値の確率密度分布に対する予測精度の評価指標の一例を示す図である。図５（Ａ）は、確率密度分布の精度が良い場合の評価指標を示し、図５（Ｂ）は、確率密度分布が広くその精度が劣化している場合（悪い場合）の評価指標を示し、図５（Ｃ）は、確率密度分布が狭くその精度が劣化している場合（悪い場合）の評価指標を示し、そして、図５（Ｄ）は、確率密度分布の精度がより劣化している場合（より悪い場合）の評価指標を示す。図６は、予測値の確率密度分布に対する予測精度の評価指標の一具体例を示す図である。図６（Ａ）は、溶鋼処理前温度の評価指標の一具体例を示し、図６（Ｂ）は、タンディッシュ測温１回目の評価指標の一具体例を示す。

【0041】

予測精度評価装置Ｓは、例えば、ユーザの操作によって入力部２から起動コマンドを受け付けると、予測精度評価プログラムを実行する。この予測精度評価プログラムの実行によって、演算制御部１にバラツキ取得部１２（バラツキ演算部１２１を含む）、評価指標演算部１３およびバラツキ調整部１４が機能的に構成される。そして、予測精度評価装置Ｓは、以下の動作によって、複数の実測値、および、前記複数の実測値それぞれに対応する複数の予測値のバラツキを取得し、これら取得した各予測値のバラツキに対する１つの評価指標を求め、そして、この求めた評価指標を出力部３から出力する。

【0042】

より具体的には、図２において、まず、演算制御部１のバラツキ取得部１２は、前記複数の実測値、および、前記複数の予測値のバラツキを取得する（Ｓ１１）。上述したように、バラツキ取得部１２は、前記複数の予測値のバラツキの入力を入力部２で受け付けることによって、入力部２から前記複数の予測値のバラツキを取得する。あるいは、バラツキ取得部１２のバラツキ演算部１２１が記憶部４の予測依拠データ記憶部４１に記憶されている前記所定の予測依拠情報に基づいて前記複数の予測値のバラツキをそれぞれ演算することによって、バラツキ取得部１２は、前記複数の予測値のバラツキを取得する。

【0043】

この前記予測値のバラツキの演算手法には、任意な、公知の常套手段が用いられてよい。前記予測値のバラツキの演算手法として、例えば、特許５２２０４５８号公報、特開２０１０−２３１４４７号公報および特開２０１１−３９７６２号公報等に開示された方法が挙げられる。

【0044】

より具体的な一例では、バラツキ演算部１２１によって前記予測値のバラツキが次のように演算される。まず、予測したい予測対象データと、所定の出力と前記出力に関わる数値化可能な要因とから成り過去に取得された複数の過去実績データとの類似度が、前記予測対象データの要因および前記過去実績データの要因に基づいて前記複数の過去実績データのそれぞれについて算出される。次に、前記所定の出力を出力変数とすると共に前記要因の一部または全部を入力変数とした際に、前記入力変数を用いて前記出力変数と前記入力変数との関係を表す第１モデルを生成した場合に、前記入力変数の入力値を前記第１モデルに与えることによって得られる値と前記入力変数の入力値に対応する前記出力変数の出力値との差に基づく誤差パラメータが、前記過去実績データの入力変数および出力変数に基づいて前記複数の過去実績データのそれぞれについて算出される。次に、前記入力変数および前記誤差パラメータを用いて前記出力変数と前記入力変数との関係を表す第２モデルが生成され、前記予測対象データの要因のうちの前記入力変数に対応する要因の値および前記誤差パラメータの値を前記第２モデルに与えることによって、前記予測対象データの出力値が、予測値として、前記算出された複数の誤差パラメータのそれぞれについて算出される。そして、図３に示すように、前記算出された複数の類似度および前記算出された複数の予測値に基づいて、前記予測対象データの出力値のばらつきが前記予測値のバラツキとして算出される。

【0045】

すなわち、図３（Ａ）に示すように、縦軸に予測値ｙ_０をとると共に横軸に類似度ｗをとることによって、バラツキ演算部１２１は、まず、Ｍ個の各過去実績データ（Ｘ、ｙ）からそれぞれ算出されたＭ個の各誤差パラメータα_ｊ（ｊ＝１〜Ｍ）にそれぞれ対応するＭ個の各予測値ｙ_０ｊに対し、その類似度ｗ_ｊを対応させる。次に、バラツキ演算部１２１は、図３（Ａ）の縦軸ｙ_０の少なくとも各予測値を含む範囲ｙ_０ｊを有限個の複数の区間（クラス、等級）に分割し、各区間に含まれる予測値ｙ_０ｊの類似度ｗ_ｊを全て足し合わせることによって重み付き度数Ｆｗを生成し、図３（Ｂ）に示すように、予測値ｙ_０のバラツキを表す予測値ｙ_０のヒストグラムを生成する。このように予測値ｙ_０のバラツキがヒストグラムによって示され、予測値ｙ_０の出現度合いを容易に知ることが可能となる。

【0046】

図３（Ｂ）に示すヒストグラムが予測値ｙ_０のばらつきとされてもよいが、本実施形態では、さらに、バラツキ演算部１２１は、図３（Ｂ）に示すヒストグラムの面積が１となるように正規化する。この正規化されたヒストグラムが予測対象データＸ_０における予測値ｙ_０の確率密度分布とされ、予測値ｙ_０のばらつきとされる。さらに、バラツキ演算部１２１は、面積を１に維持したまま図３（Ｂ）に示すヒストグラムを、公知の常套手段によって、図３（Ｃ）に示すように曲線で表してもよい。この曲線が予測対象データＸ_０における予測値ｙ_０の確率密度分布とされ、予測値ｙ_０のバラツキとされる。

【0047】

このように前記予測値ｙ_０のバラツキが求められる場合、記憶部４の予測依拠データ記憶部４１には、予測依拠データとして、所定の出力とこの出力に関わる数値化可能な要因とから成り過去に取得された複数の過去実績データおよび出力値を予測したい予測対象データが予め記憶される。

【0048】

想定される要因であって前記所定の出力に関わる数値化可能な要因の一部または全部によって前記所定の出力を予測したとしても、例えばゆらぎや外乱や現時点では解明できていない要因等の想定外の不確定な要素あるいはモデル化誤差等の不確定な要素によって、予測値と真値との間には、誤差αが存在してしまう。すなわち、想定される要因Ｘであって前記所定の出力ｙに関わる数値化可能な要因Ｘの一部Ｚまたは全部Ｚによって前記所定の出力ｙを、第１モデル；ｙ＝ｆ（Ｚ、Θ）でモデル化したとしても、ＺおよびΘだけで出力ｙを表現しきれない不確定な要素によって、予測値と真値との間には、誤差αが存在してしまう。ここで、Θは、Ｚの係数であり、Ｚ０の項（定数項）を含む。

【0049】

この不確定な要素は、ばらつきの要因であり、上述の予測方法では、この不確定な要素に関連する誤差αが誤差パラメータαとされ、この誤差パラメータαが前記過去実績データに基づいて前記複数の過去実績データのそれぞれについて算出され、誤差パラメータαを加味した第２モデルが作成され、この第２モデルによって予測対象データの出力値が予測値として複数の誤差パラメータのそれぞれについて算出される。そして、複数の類似度および複数の予測値に基づいて予測対象データの出力値のばらつきが算出される。

【0050】

したがって、上述の予測方法では、予測値ｙ_０のバラツキがより高精度に算出され、ひいては予測値ｙ_０に基づいて操作や判断等を行う場合に予測値ｙ_０のばらつきも考慮することが可能となる。

【0051】

ここで、前記数値化可能な要因には、測定器によって測定可能な物理量だけでなく、例えばプロセスを実行する操業班の各個体やプロセスの実行に使用される設備の各個体等も含まれる。このような各個体の数値化は、例えば、プロセスに関与する場合に１とされると共にプロセスに関与しない場合に０とされることによって実行される。例えば、Ａ、Ｂ、Ｃ、Ｄの４班があって、Ａ班が関与している場合には、Ａ班のデータが１となって他のＢないしＤ班の各データが０となる。

【0052】

このように前記複数の予測値のバラツキが取得されると、次に、演算制御部１の評価指標演算部１３は、バラツキ取得部１２で取得された前記複数の予測値のバラツキに基づいて、前記複数の予測値のバラツキに対する１つの評価指標を求め、この求めた評価指標を評価指標記憶部４３に記憶する（Ｓ１２）。

【0053】

より具体的には、例えば、本実施形態では、評価指標演算部１３は、予め与えられた複数の実測値それぞれに対し、全体累積値を求め、部分累積値を求め、そして、この求めた部分累積値を前記全体累積値で除算する。前記全体累積値は、前記予測値のバラツキにおける前記所定の数値範囲における最小値から最大値まで前記出現度合いを累積することで評価指標演算部１３によって求められる。部分累積値は、前記所定の数値範囲における前記最小値から当該実測値まで前記出現度合いを累積することで評価指標演算部１３によって求められる。そして、評価指標演算部１３は、このように求めた複数の実測値に対応する各除算結果のヒストグラムを前記評価指標として求める。

【0054】

一例を挙げて、より具体的に説明すると、例えば、図４に示すように、前記予測値のバラツキが折れ線で示す確率密度分布で示される場合、まず、評価指標演算部１３は、前記予測値のバラツキにおける前記所定の数値範囲における最小値ｙ_ｍｉｎから最大値ｙ_ｍａｘまで前記出現度合いの累積値を全体累積値Ｓｈとして求める。すなわち、評価指標演算部１３は、前記最小値ｙ_ｍｉｎから最大値ｙ_ｍａｘまでの縦軸と確率密度分布の折れ線とによって囲まれた面積を全体累積値Ｓｈとして求める。ここでは、前記予測値のバラツキは、確率密度分布によって表されているので、全体累積値Ｓｈは、１となる。次に、評価指標演算部１３は、実測値ｙ_ｍの場合では、前記所定の数値範囲における前記最小値ｙ_ｍｉｎから当該実測値ｙ_ｍまで前記出現度合いの累積値を部分累積値Ｓｐとして求める。すなわち、評価指標演算部１３は、前記最小値ｙ_ｍｉｎから当該実測値ｙ_ｍまでの縦軸と当該実測値ｙ_ｍを通る横軸に平行な直線と確率密度分布の折れ線とによって囲まれた面積（図４でハッチングした部分の面積）を部分累積値Ｓｐとして求める。評価指標演算部１３は、これら求めた部分累積値Ｓｐを全体累積値Ｓｈで除算する。上述のようにＳｈ＝１である場合では、前記除算の結果（除算結果）Ｄは、Ｄ＝Ｓｐ／Ｓｈ＝Ｓｐ／１＝Ｓｐであり、部分累積値Ｓｐで表される。評価指標演算部１３は、このような演算を、予め与えられた複数Ｎ個の実測値ｙ_ｍ（ｍは１からＮまでの整数）それぞれに対し、実行し、これによって複数の実測値ｙ_ｍにそれぞれ対応する複数の除算結果Ｄ_ｍを求める。ここでは、前記予測値のバラツキは、確率密度分布によって表されているので、除算結果Ｄ_ｍは、０以上１以下の範囲におけるいずれかの値となる（０≦Ｄ_ｍ≦１）。実測値ｙ_ｍが最小値より下側に外れた場合には、便宜上Ｄ_ｍに０より小さな値が割り当てられ（例えばＤ_ｍ＝−０．０５とする）、実測値ｙ_ｍが最大値より上側に外れた場合には、便宜上Ｄ_ｍに１より大きな値が割り当てられる（例えばＤ_ｍ＝１．０５とする）。そして、評価指標演算部１３は、このように求めた複数の実測値に対応する各除算結果Ｄ_ｍのヒストグラムを前記評価指標として求める。すなわち、評価指標演算部１３は、前記複数の除算結果Ｄ_ｍを少なくとも含む範囲を有限個の複数の区間（クラス、等級）に分割し、各区間に含まれる除算結果Ｄ_ｍの個数を計数し、除算結果Ｄ_ｍのヒストグラムを生成する。例えば、評価指標演算部１３は、０以上１以下の範囲を０．１ずつの１０個の区間に分割し、各区間に含まれる除算結果Ｄ_ｍの個数を計数し、除算結果Ｄ_ｍのヒストグラムを生成する。このように生成された除算結果Ｄ_ｍのヒストグラムの一例が図５および図６にそれぞれ示されている。このように除算結果Ｄ_ｍのヒストグラムを生成するので、前記予め与えられる複数の実測値ｙ_ｍは、この除算結果Ｄ_ｍのヒストグラムが統計的に有意となる個数である。

【0055】

次に、演算制御部１は、このように求められた評価指標を出力部３から出力し（Ｓ１３）、処理を終了する。

【0056】

オペレータ（ユーザ）は、このように出力部３から出力された前記評価指標を参照することによって、前記予測値のバラツキにおける予測精度を判断する。例えば、図５（Ａ）に示すように、評価指標が０以上１以下の全区間に亘って略均一な度数を持つヒストグラムである場合は、予測精度が良好であると、オペレータは、判断する。また例えば、図５（Ｂ）に示すように、評価指標が各区間で略均一な度数を持つが０以上１以下より狭い区間で度数を持つヒストグラムである場合は、予測精度が図５（Ａ）に示す場合よりも悪く、前記予測値のバラツキにおける分布の範囲が広すぎたと、オペレータは、判断する。また例えば、図５（Ｃ）に示すように、評価指標が各区間で略均一な度数を持つが０以上１以下より広い区間で度数を持つヒストグラムである場合は、予測精度が図５（Ａ）に示す場合よりも悪く、前記予測値のバラツキにおける分布の範囲が狭すぎたと、オペレータは、判断する。なお、図５（Ｃ）に示すヒストグラムは、前記予測値のバラツキにおける分布の範囲外の値で実測値が存在する場合に、生成される。例えば、前記ヒストグラムを生成する場合に、前記予測値のバラツキにおける前記所定の数値範囲における最小値ｙ_ｍｉｎよりも小さい値の実測値が１つに纏められ、その頻度が０より小さい区間に割り当てられ、前記所定の数値範囲における最大値ｙ_ｍａｘよりも大きい値の実測値が１つに纏められ、その頻度が１より大きい区間に割り当てられる。これによって図５（Ｃ）に示すヒストグラムが生成される。また例えば、図５（Ｄ）に示すように、評価指標が互いに隣接する区間で異なる度数を持ち０以上１以下の全区間に亘って不均一な度数を持つヒストグラムである場合は、予測精度が図５（Ｂ）や図５（Ｃ）に示す場合よりも悪く（図５（Ａ）に示す場合よりもさらにより悪く）、前記予測値のバラツキが不適切であったと、オペレータは、判断する。

【0057】

ここで、評価指標の一具体例を図６に示す。この図６に示す評価指標は、過去実績データに基づいて上述した前記予測値のバラツキの演算手法によって求めた予測値の確率密度分布に対する予測精度の評価指標である。図６（Ａ）は、溶鋼処理前温度に対する評価指標を示し、図６（Ｂ）は、タンディッシュ測温１回目に対する評価指標を示す。図６（Ａ）および図６（Ｂ）それぞれに示すように、これら評価指標は、略０以上１以下の範囲で度数を持ち前記範囲の全区間に亘って比較的均一な度数を持つヒストグラムであり、予測精度は、比較的良好であった。

【0058】

このように本実施形態における予測精度評価装置Ｓおよびこれに実装された予測精度評価方法では、出力部３に出力された前記評価指標を参照することで、オペレータ（ユーザ）は、予測値のバラツキにおける予測精度を認識できる。

【0059】

すなわち、所定の演算手法によって求められる予測値のバラツキは、予測に用いられる入力変数の数値が異なると、その分布の形状が異なる。例えば、鋼板を製造する場合において、例えば、成分や溶鋼量、通過行程、使用される取鍋の使用履歴や取鍋温度等の入力変数の数値がチャージごとに異なるため、出鋼温度のバラツキにおける分布の形状は、チャージごとに異なったものとなる。このため、実測値ｙ_ｍに対しこの求めた予測値のバラツキが良い予測であったか、悪い予測であったか分からない。例えば、実測値ｙ_ｍが予測値のバラツキの分布における中央付近に位置した場合、一見、前記予測値のバラツキの精度が良かったと考えられるが、前記予測値のバラツキの分布が広く求められていれば、実測値ｙ_ｍが前記予測値のバラツキの分布における中央付近に位置することになるので、前記予測値のバラツキの精度が良くなかったとも考えられる。

【0060】

そこで、本実施形態における予測精度評価装置Ｓおよびこれに実装された予測精度評価方法では、複数の実測値、および、前記複数の実測値それぞれに対応する予測値のバラツキが取得され、これら取得された各予測値のバラツキに対する前記評価指標が前記予測値のバラツキにおける分布の形状と複数の実測値とに基づいて求められ、そして、この求められた評価指標が出力部３に出力される。このため、本実施形態における予測精度評価装置Ｓおよびこれに実装された予測精度評価方法は、より適切な評価指標を生成でき、出力部３に出力された前記評価指標を参照することで、オペレータ（ユーザ）は、予測値のバラツキにおける予測精度を認識できる。例えば、オペレータ（ユーザ）は、図５（Ａ）に示すように、出力部３に出力された前記評価指標がより一様であれば、予測値のバラツキにおける予測精度がより良かったと、認識できる。

【0061】

なお、上述の実施形態において、予測精度評価装置Ｓは、新たに予測したい予測対象データに対する第２の予測値のバラツキ（今回、予測した予測値のバラツキ）を評価指標で調整（補正）するように構成されても良い。この場合において、記憶部４には、複数の予測値のバラツキに対する評価指標に基づいて新たな前記第２の予測値のバラツキを調整する調整プログラムが前記各種プログラムの１つとしてさらに記憶される。バラツキ取得部１２は、さらに、前記第２の予測値のバラツキを取得する。そして、演算制御部１は、図１に破線で示すように、ばらつき調整部１４を機能的にさらに備える。このバラツキ調整部１４は、評価指標演算部１３で求めた評価指標に基づいてバラツキ取得部１２で新たに取得した前記第２の予測値のバラツキを調整（補正）するものである。より具体的には、例えば、バラツキ調整部１４は、バラツキ取得部１２で新たに取得した前記第２の予測値のバラツキに評価指標演算部１３で求めた前記評価指標を乗算することによって、前記第２の予測値のバラツキを調整する。

【0062】

このような構成の予測精度評価装置Ｓでは、前記第２の予測値のバラツキが新たに取得されている場合には、演算制御部１のバラツキ調整部１４は、評価指標演算部１３で求めた評価指標に基づいてバラツキ取得部１２で取得した新たな前記第２の予測値のバラツキを調整（補正）し、この調整した前記第２の予測値のバラツキを予測データ記憶部４２に記憶する。より具体的には、バラツキ調整部１４は、例えば、バラツキ取得部１２で取得した前記第２の予測値のバラツキに、評価指標演算部１３で求めた前記評価指標を乗算することによって、前記予測値のバラツキを調整する。例えば、バラツキ調整部１４は、前記第２の予測値のバラツキにおける前記所定の数値範囲（またはその最小値ｙ_ｍｉｎから最大値ｙ_ｍａｘまでの範囲）を、除算結果Ｄ_ｍのヒストグラムにおける区間数と同数の区間に分割し、小さい方から順に（または大きい方から順に）、互いに対応する区間同士で、バラツキ取得部１２で取得した前記第２の予測値のバラツキに、評価指標演算部１３で求めた前記評価指標を乗算することによって、前記第２の予測値のバラツキを調整する。上述の例では、バラツキ調整部１４は、前記第２の予測値のバラツキにおける前記所定の数値範囲を１０個に分割し、第１番目の区間における前記第２の予測値のバラツキに０〜０．１の前記評価指標を乗算することによって、前記第１番目の区間における前記第２の予測値のバラツキを調整し、第２番目の区間における前記第２の予測値のバラツキに０．１〜０．２の前記評価指標を乗算することによって、前記第２番目の区間における前記第２の予測値のバラツキを調整する。以下同様に、第３ないし第１０番目の各区間における前記第２の予測値のバラツキに対し、その調整が行われる。そして、０〜０．１、０．１〜０．２、・・・、０．９〜１．０の各区分における各値の合計が１となるように、乗算後の予測値のバラツキが正規化される。また例えば、バラツキ調整部１４は、予測値を求めるために用いたモデル（上述の例では、第１モデルおよび第２モデルのうちの少なくとも１つのモデル）におけるパラメータの値を、評価指標演算部１３で求めた前記評価指標に基づいて増減させることによって、前記第２の予測値のバラツキを調整する。そして、演算制御部１は、このように調整された前記予測値のバラツキを出力部３から出力し、この調整処理を終了する。

【0063】

このような構成の予測精度評価装置Ｓおよびこれに実装された予測精度評価方法は、前記評価指標に基づいて前記予測値のバラツキを調整（補正）するので、予測値のバラツキをより適正化できる。したがって、より適切な予測値のバラツキが得られる。

【0064】

本発明を表現するために、上述において図面を参照しながら実施形態を通して本発明を適切且つ十分に説明したが、当業者であれば上述の実施形態を変更および／または改良することは容易に為し得ることであると認識すべきである。したがって、当業者が実施する変更形態または改良形態が、請求の範囲に記載された請求項の権利範囲を離脱するレベルのものでない限り、当該変更形態または当該改良形態は、当該請求項の権利範囲に包括されると解釈される。

【符号の説明】

【0065】

Ｓ 予測精度評価装置
１ 演算制御部
３ 出力部
４ 記憶部
１２ バラツキ取得部
１３ 評価指標演算部
１４ バラツキ調整部
４１ 予測依拠データ記憶部
４２ 予測データ記憶部
４３ 評価指標記憶部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】