特開 2024-108225 モデル評価装置、方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024108225

(43)【公開日】2024-08-13

(54)【発明の名称】モデル評価装置、方法及びプログラム

(51)【国際特許分類】

   G06N 20/00 20190101AFI20240805BHJP

【ＦＩ】

G06N20/00

【審査請求】未請求

【請求項の数】6

【出願形態】ＯＬ

(21)【出願番号】P 2023012477

(22)【出願日】2023-01-31

(71)【出願人】

【識別番号】000004226

【氏名又は名称】日本電信電話株式会社

(74)【代理人】

【識別番号】100121706

【弁理士】

【氏名又は名称】中尾 直樹

(74)【代理人】

【識別番号】100128705

【弁理士】

【氏名又は名称】中村 幸雄

(74)【代理人】

【識別番号】100147773

【弁理士】

【氏名又は名称】義村 宗洋

(72)【発明者】

【氏名】熊野 史朗

(72)【発明者】

【氏名】成松 宏美

(72)【発明者】

【氏名】大澤 まゆ子

(57)【要約】

【課題】背景技術とは異なる評価が可能になるモデル評価技術を提供する。
【解決手段】推定モデル学習部１は、推定モデルから得られる各状況に対応する応答とシステムの各状況に対応する応答とが一致する確率を示す指標と、推定モデルから得られる各状況に対応する第１回目の応答と第２回目の応答とが一致する確率を示す指標とが近くなるように推定モデルを学習する。評価値計算部２は、システムの各状況に対応する第１回目の応答と第２回目の応答とが一致する確率を示す指標の値を第一の値とし、推定モデルから得られる各状況に対応する応答とシステムの各状況に対応する応答とが一致する確率を示す指標（第一指標）の値、推定モデルから得られる各状況に対応する第１回目の応答と第２回目の応答とが一致する確率を示す指標（第二指標）の値、又は、第一指標及び第二指標の平均値を第二の値として、第一の値と第二の値との差を計算する。
【選択図】図１

【特許請求の範囲】

【請求項1】

システムの各状況に対応する応答が学習データとして得られているとして、前記学習データを用いて、学習により得られるモデルである推定モデルから得られる各状況に対応する応答と前記システムの前記各状況に対応する応答とが一致する確率を示す指標と、前記推定モデルから得られる各状況に対応する第１回目の応答と第２回目の応答とが一致する確率を示す指標とが近くなるように前記推定モデルを学習する推定モデル学習部と、
前記システムの各状況に対応する第１回目の応答と第２回目の応答とが一致する確率を示す指標の値を第一の値とし、前記推定モデルから得られる各状況に対応する応答と前記システムの前記各状況に対応する応答とが一致する確率を示す指標（以下、第一指標とする。）の値、前記推定モデルから得られる各状況に対応する第１回目の応答と第２回目の応答とが一致する確率を示す指標（以下、第二指標とする。）の値、又は、前記第一指標と前記第二指標の平均値を第二の値として、前記第一の値と前記第二の値との差に基づく値を、前記推定モデルの評価値とする評価値計算部と、
を含むモデル評価装置。

【請求項2】

請求項１のモデル評価装置であって、
前記推定モデル学習部は、前記学習データを用いて仮推定モデルを生成し、前記推定モデルから得られる各状況に対応する応答と前記システムの前記各状況に対応する応答とが一致する確率を示す指標と、前記推定モデルから得られる各状況に対応する第１回目の応答と第２回目の応答とが一致する確率を示す指標とが近くなるように前記仮推定モデルの出力を補正することで前記推定モデルを学習する、
モデル評価装置。

【請求項3】

システムの各状況に対応する応答が学習データとして得られているとして、前記学習データを用いて、学習により得られるモデルである推定モデルから得られる各状況に対応する応答と前記システムの前記各状況に対応する応答とが一致する確率を示す指標と、前記推定モデルから得られる各状況に対応する第１回目の応答と第２回目の応答とが一致する確率を示す指標とが近くなるように前記推定モデルを学習する推定モデル学習部、
を含むモデル評価装置。

【請求項4】

推定モデル学習部が、システムの各状況に対応する応答が学習データとして得られているとして、前記学習データを用いて、学習により得られるモデルである推定モデルから得られる各状況に対応する応答と前記システムの前記各状況に対応する応答とが一致する確率を示す指標と、前記推定モデルから得られる各状況に対応する第１回目の応答と第２回目の応答とが一致する確率を示す指標とが近くなるように前記推定モデルを学習する推定モデル学習ステップと、
評価値計算部が、前記システムの各状況に対応する第１回目の応答と第２回目の応答とが一致する確率を示す指標の値を第一の値とし、前記推定モデルから得られる各状況に対応する応答と前記システムの前記各状況に対応する応答とが一致する確率を示す指標（以下、第一指標とする。）の値、前記推定モデルから得られる各状況に対応する第１回目の応答と第２回目の応答とが一致する確率を示す指標（以下、第二指標とする。）の値、又は、前記第一指標と前記第二指標の平均値を第二の値として、前記第一の値と前記第二の値との差に基づく値を、前記推定モデルの評価値とする評価値計算ステップと、
を含むモデル評価方法。

【請求項5】

推定モデル学習部が、システムの各状況に対応する応答が学習データとして得られているとして、前記学習データを用いて、学習により得られるモデルである推定モデルから得られる各状況に対応する応答と前記システムの前記各状況に対応する応答とが一致する確率を示す指標と、前記推定モデルから得られる各状況に対応する第１回目の応答と第２回目の応答とが一致する確率を示す指標とが近くなるように前記推定モデルを学習する推定モデル学習ステップと、
を含むモデル評価方法。

【請求項6】

請求項１から３の何れかのモデル評価装置の各部としてコンピュータを機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

開示の技術は、モデルを評価する技術に関する。

【背景技術】

【0002】

不確定性を含むシステムの離散的な応答を確率分布として推定するモデルを評価する技術として、Confidence Calibrationと呼ばれる技術が知られている（例えば、非特許文献１参照。）。

【0003】

Confidence Calibrationは、モデルの正答率（Machine Accuracy）とモデルの確信度（Machine Confidence）を一致させる方法である。

【先行技術文献】

【非特許文献】

【0004】

【非特許文献1】Chuan Guo, Geoff Pleiss, Yu Sun, Kilian Q. Weinberger, "On Calibration of Modern Neural Networks", ICML'17: Proceedings of the 34th International Conference on Machine Learning, Volume 70, pp.1321-1330, 2017.

【非特許文献2】Li HH., Ma W.J., "Confidence reports in decision-making with multiple alternatives violate the Bayesian confidence hypothesis", Nat Commun 11, 2004, 2020.

【非特許文献3】Shiro Kumano, Ryo Ishii, Kazuhiro Otsuka, "Computational Model of Idiosyncratic Perception of Others' Emotions", In Proc. Int'l Conf. Affective Computing and Intelligent Interaction (ACII 2017), pp. 42-49, 2017.

【非特許文献4】Samejima F., "Estimation of Latent Ability Using a Response Pattern of Graded Scores", Psychometric Monograph No. 17, Richmond, VA: Psychometric Society, 1969.

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかし、背景技術に記載された方法では、モデルの評価値の上限がわからないため、モデルの向上の余地があとどの位あるのかはわからないという問題があった。また、背景技術に記載された方法では、分布全体の推定のよさを評価できないという問題があった。

【0006】

開示の技術は、背景技術とは異なる評価が可能になるモデル評価装置、方法及びプログラムを提供することを目的とする。

【課題を解決するための手段】

【0007】

開示の技術の一態様は、システムの各状況に対応する応答が学習データとして得られているとして、学習データを用いて、学習により得られるモデルである推定モデルから得られる各状況に対応する応答とシステムの各状況に対応する応答とが一致する確率を示す指標と、推定モデルから得られる各状況に対応する第１回目の応答と第２回目の応答とが一致する確率を示す指標とが近くなるように推定モデルを学習する推定モデル学習部と、システムの各状況に対応する第１回目の応答と第２回目の応答とが一致する確率を示す指標の値を第一の値とし、推定モデルから得られる各状況に対応する応答とシステムの各状況に対応する応答とが一致する確率を示す指標（以下、第一指標とする。）の値、推定モデルから得られる各状況に対応する第１回目の応答と第２回目の応答とが一致する確率を示す指標（以下、第二指標とする。）の値、又は、第一指標と第二指標の平均値を第二の値として、第一の値と第二の値との差に基づく値を、推定モデルの評価値とする評価値計算部と、を備えている。

【0008】

開示の技術の一態様は、システムの各状況に対応する応答が学習データとして得られているとして、学習データを用いて、学習により得られるモデルである推定モデルから得られる各状況に対応する応答とシステムの各状況に対応する応答とが一致する確率を示す指標と、推定モデルから得られる各状況に対応する第１回目の応答と第２回目の応答とが一致する確率を示す指標とが近くなるように推定モデルを学習する推定モデル学習部、を備えている。

【発明の効果】

【0009】

開示の技術では、背景技術とは異なる評価が可能になる。

【図面の簡単な説明】

【0010】

【図1】図１は、モデル評価装置の機能構成の例を示す図である。

【図2】図２は、モデル評価方法の処理手続きの例を示す図である。

【図3】図３は、実験例を説明するための図である。

【図4】図４は、実験例を説明するための図である。

【図5】図５は、コンピュータの機能構成例を示す図である。

【発明を実施するための形態】

【0011】

以下、図面を参照して開示の技術の実施形態を説明する。なお、図面中において同じ機能を有する構成部には同じ番号を付し、重複説明を省略する。

【0012】

[モデル評価装置及び方法]
モデル評価装置は、図１に示すように、推定モデル学習部１と、評価値計算部２とを例えば備えている。

【0013】

モデル評価方法は、モデル評価装置の各構成部が、図２に示すステップＳ１からステップＳ２の処理を行うことにより例えば実現される。

【0014】

以下、モデル評価装置の各構成部について説明する。

【0015】

<推定モデル学習部１>
推定モデル学習部１には、学習データが入力される。

【0016】

学習データは、システムの各状況に対応する応答である。各状況mに対応する応答をy^(m)∈{1,…,C}とする。Mは状況の総数であり、mは状況を示すインデックスであり、m∈{1,…,M}である。Cは応答の総数であり、cは応答を示すインデックスであり、c∈{1,…,C}である。学習データには、同じ状況mに対応する第１回目の応答y^(m)及び第２回目の応答y’^(m)が含まれていてもよい。第１回目の応答y^(m)及び第２回目の応答y’^(m)が得られている状況mの集合をM’とする。M’はM個の状況の全部又は一部である。

【0017】

推定モデル学習部１は、入力された学習データを用いて、学習により得られるモデルである推定モデルから得られる各状況に対応する応答とシステムの各状況に対応する応答とが一致する確率を示す指標と、推定モデルから得られる各状況に対応する第１回目の応答と第２回目の応答とが一致する確率を示す指標とが近くなるように推定モデルを学習する（ステップＳ１）。

【0018】

学習により得られた推定モデルは、評価値計算部２に出力される。

【0019】

推定モデルから得られる各状況に対応する応答とシステムの各状況に対応する応答とが一致する確率を示す指標の例は、以下に示すCCPである。この指標は、学習データ及び推定モデルを用いて計算される。

【数1】

q_y(m) ^(m)は、ベクトルq^(m)のy_(m)番目の要素であり、推定モデルから得られる各状況mに対応する応答がy^(m)となる確率を示す。ここで、q^(m)は、推定モデルから得られる各状況mに対応する応答の確率分布を示すC次元ベクトルである。すなわち、q^(m)=(q₁ ^(m),…,q_C ^(m))である。c∈{1,…,C}として、q_c ^(m)は、推定モデルから得られる各状況mに対応する応答がcとなる確率を示す。

【0020】

なお、「確率を示す指標」は、確率自体であってもよいし、確率に応じて大きくなる値であってもよい。

【0021】

推定モデルから得られる各状況に対応する第１回目の応答と第２回目の応答とが一致する確率を示す指標の例は、以下に示すPCPである。この指標は、推定モデルを用いて計算される。

【数2】

推定モデル学習部１は、例えば、以下のコスト関数Lを最小化するようにモデルを学習する。

【数3】

y_c ^(m)は、y^(m)に対応するワンホットベクトルのc番目の要素である。y^(m)に対応するワンホットベクトルは、y^(m)=dである場合には、d番目の要素が1であり、他の要素が0のベクトルである。wは重みであり、予め定められた実数である。

【0022】

背景技術のConfidence Calibrationではq（確率を示す指標）のピーク（頂上）しか見ておらずC次元のqの分布全体の形を見た指標になっていない。これに対して、推定モデル学習部１で計算される指標は分布全体に影響を受ける指標になっているため、分布全体の推定のよさを評価できる指標になっている。このため、推定モデル学習部１で計算される指標により、分布全体の推定のよさを評価できるという点で、背景技術とは異なる評価が可能になる。

【0023】

推定モデル学習部１で計算される指標は、推定モデル学習部１から出力されてもよい。

【0024】

なお、推定モデル学習部１は、以下のコスト関数Lを最小化するようにモデルを学習してもよい。ここで、Nは模擬しようとするシステムの総数であり、nはシステムを示すインデックスであり、n∈{1,…,N}である。例えば、複数の人（N人）の各状況に対応する応答を模擬したシステムを統合したシステムモデル化したい場合に、このようにモデルが学習される。

【数4】

この場合、学習データとして、各状況mに対応する各システムnの応答y^(mn)∈{1,…,C}が入力される。

【0025】

y_c ^(mn)は、y^(mn)に対応するワンホットベクトルのc番目の要素である。y^(mn)に対応するワンホットベクトルは、y^(mn)=dである場合には、d番目の要素が1であり、他の要素が0のベクトルである。

【0026】

CCP⁽ⁿ⁾は、推定モデルから得られる各状況に対応する応答とシステムの各状況に対応する応答とが一致する確率を示す指標の例であり、例えば以下に示される。この指標は、学習データ及び推定モデルを用いて計算される。

【数5】

q_y(mn) ^(mn)は、ベクトルq^(mn)のy_(mn)番目の要素であり、推定モデルから得られる各状況mに対応するシステムnの応答がy^(mn)となる確率を示す。ここで、q^(mn)は、推定モデルから得られる各状況mに対応するシステムnの応答の確率分布を示すC次元ベクトルである。すなわち、q^(mn)=(q₁ ^(mn),…,q_C ^(mn))である。c∈{1,…,C}として、q_c ^(mn)は、推定モデルから得られる各状況mに対応するシステムnの応答がcとなる確率を示す。

【0027】

推定モデルから得られる各状況に対応する第１回目の応答と第２回目の応答とが一致する確率を示す指標の例は、以下に示すPCP⁽ⁿ⁾である。この指標は、推定モデルを用いて計算される。

【数6】

なお、推定モデル学習部１は、学習データを用いて仮推定モデルを生成し、推定モデルから得られる各状況に対応する応答とシステムの各状況に対応する応答とが一致する確率を示す指標と、推定モデルから得られる各状況に対応する第１回目の応答と第２回目の応答とが一致する確率を示す指標とが近くなるように仮推定モデルの出力を補正することで推定モデルを学習してもよい。

【0028】

この場合、推定モデル学習部１は、まず、例えば上記式（１）及び上記式（２）の右辺の第一項のみからなるコスト関数を最小化するようにモデルを学習する。すなわち、推定モデル学習部１は、例えば、以下の式の何れかにより定義されるコスト関数Lを最小化するようにモデルを学習することで、仮推定モデルを生成する。

【数7】

【数8】

そして、推定モデル学習部１は、例えば、いわゆるTemperature Scaling(TS)により、推定モデルから得られる各状況に対応する応答とシステムの各状況に対応する応答とが一致する確率を示す指標と、推定モデルから得られる各状況に対応する第１回目の応答と第２回目の応答とが一致する確率を示す指標とが近くなるように仮推定モデルの出力を補正する。

【0029】

Temperature Scaling(TS)については、例えば非特許文献１を参照のこと。

【0030】

例えば、仮推定モデルの出力をq=(q₁,…,q_C)とし、補正後の出力をq’=(q₁’,…,q_C’)とし、σをソフトマックス関数とし、Temperature Scaling(TS)における温度をTとし、q_c’=σ(q_c/T)として、推定モデル学習部１は、補正後の出力q’=(q₁’,…,q_C’)により定まるCCP及びPCPがCCP=PCPとなるように、温度Tを推定する。そして、推定モデル学習部１は、推定された温度Tを用いて、q_c’=σ(q_c/T)と補正された仮推定モデルを最終的な推定モデルとして得てもよい。

【0031】

<評価値計算部２>
評価値計算部２には、学習データと、推定モデル学習部１で学習された推定モデルとが入力される。

【0032】

評価値計算部２は、システムの各状況に対応する第１回目の応答と第２回目の応答とが一致する確率を示す指標の値第一の値とし、推定モデルから得られる各状況に対応する応答とシステムの各状況に対応する応答とが一致する確率を示す指標（以下、第一指標とする。）の値、推定モデルから得られる各状況に対応する第１回目の応答と第２回目の応答とが一致する確率を示す指標（以下、第二指標とする。）の値、又は、第一指標と第二指標の平均値を第二の値として、第一の値と第二の値との差に基づく値を、推定モデルの評価値とする（ステップＳ２）。

【0033】

第一の値と第二の値との差に基づく値の例は、第一の値から第二の値を引いた値である。

【0034】

システムの各状況に対応する第１回目の応答と第２回目の応答とが一致する確率を示す指標の例は、以下に示すTCPである。この指標は、学習データを用いて計算される。(y^(m)=y’^(m))は、y^(m)=y’^(m)であれば1であり、y^(m)=y’^(m)でなければ0である。|M’|は、集合M’の要素の個数である。

【数9】

推定モデルから得られる各状況に対応する応答とシステムの各状況に対応する応答とが一致する確率を示す指標（第一指標）の例は、先に示したCCP又はCCP⁽ⁿ⁾である。この指標は、学習データ及び推定モデルを用いて計算される。

【0035】

推定モデルから得られる各状況に対応する第１回目の応答と第２回目の応答とが一致する確率を示す指標（第二指標）の例は、先に示したPCP又はPCP⁽ⁿ⁾である。この指標は、推定モデルを用いて計算される。

【0036】

推定モデル学習部１の処理により、推定モデルから得られる各状況に対応する応答とシステムの各状況に対応する応答とが一致する確率を示す指標（第一指標）と、推定モデルから得られる各状況に対応する第１回目の応答と第２回目の応答とが一致する確率を示す指標（第二指標）とが近づくようにされている。このため、評価値計算部２は、第一指標の値、第二指標の値、第一指標と第二指標の平均値の何れを第二の値としてもよい。

【0037】

システムの各状況に対応する第１回目の応答と第２回目の応答とが一致する確率を示す指標（例えば、TCP）は、真の分布から得られる真の衝突確率であると考えられる。

【0038】

このため、推定モデルから得られる各状況に対応する応答とシステムの各状況に対応する応答とが一致する確率を示す指標（例えば、CCP）と、推定モデルから得られる各状況に対応する第１回目の応答と第２回目の応答とが一致する確率を示す指標（例えば、PCP）とが近づくように推定モデルを学習すると、第一の値と第二の値との差（例えば、TCPの値から、CCPの値又はPCPの値を引いた値）は、真の分布と、推定モデルから得られる分布との二乗誤差となる。二乗誤差であるので、第一の値と第二の値との差＝０が推定モデルの性能の上限となる。

【0039】

したがって、第一の値と第二の値との差に基づく値を推定モデルの評価値として求めることで、モデル（推定モデル）の向上の余地があとどの位あるのかがわかる。この点において、背景技術とは異なる評価が可能になる。

【0040】

<実験例>
日本人学生50名（男女同数）に、120枚の顔のCG画像からランダムに選択した30枚の顔のCG画像のそれぞれを１秒間提示して、(i)感情価：不快(1)～快(5)、及び、(ii)覚醒度：鎮静(1)～興奮(5)について２回評定してもらった。この評定結果を学習データとして、顔のCG画像の提示を「状況」とし、日本人学生を「システム」とし、感情価及び覚醒度を「応答」としたときの第一の推定モデル（段階反応モデル）を開示の技術により学習した。M=120であり、|M’|=30、N=50である。学習アルゴリズムには、Hamiltonian Monte Carloアルゴリズムを用いた。このように学習した第一の推定モデルは、真の分布とも考えることができる。

【0041】

第一の推定モデルから、ランダムに評定値を算出して、算出した評定値から、PyTourchにおいてAdam最適器を学習率2e^-4、ミニバッチサイズ6000で使用して開示の技術により第二の推定モデルを学習した。

【0042】

このときの第二の推定モデルの学習における繰り返し回数と、MA,CCP,PCP,MC,TCPの値との関係を図３（ａ）、図３（ｂ）に示す。図３（ａ）は、感情価におけるこの関係を示す。図３（ｂ）は、覚醒度におけるこの関係を示す。図３（ａ）、図３（ｂ）において、横軸は第二の推定モデルの学習における繰り返し回数を示し、縦軸はMA,CCP,PCP,MC,TCPの値を示す。

【0043】

なお、MAはMachine Accuracyであり、MCはMachine Confidenceである。

【0044】

図３（ａ）及び図３（ｂ）から、感情価と覚醒度の両方に対して、ほぼCCP＝PCPが満たされていることがわかる。また、副産物としてMA＝MCもほぼみたされていることがわかる。

【0045】

なお、全120状況のうち一部をランダムに抽出して、同様に第二の推定モデルを学習（10試行）した場合の、ランダムに抽出した状況の個数と、真の分布と考えられる第一の推定モデルから直接算出したεと第二の推定モデルを用いて算出したεの差（誤差）との関係を図４（ａ）及び図４（ｂ）に示す。図４（ａ）は、感情価におけるこの関係を示す。図４（ｂ）は、覚醒度におけるこの関係を示す。図４（ａ）、図４（ｂ）において、横軸はランダムに抽出した状況の個数を示し、縦軸は誤差を示す。

【0046】

図４（ａ）及び図４（ｂ）から、状況の個数120付近でεの誤差がほぼ0になっていることがわかる。すなわち、十分な状況の数があれば、開示の技術により理論通りの結果が得られていることがわかる。

【0047】

[変形例]
以上、開示の技術の実施形態の具体的な構成は、これまで説明した構成に限られるものではない。開示の技術の実施形態の具体的な構成は、開示の技術の実施形態の趣旨を逸脱しない範囲で適宜設計の変更等が可能である。

【0048】

開示の技術の実施形態において説明した各種の処理は、記載の順に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。

【0049】

例えば、モデル評価装置の構成部間のデータのやり取りは直接行われてもよいし、図示していない記憶部を介して行われてもよい。

【0050】

[プログラム、記録媒体]
上述した各装置の各部の処理をコンピュータにより実現してもよく、この場合は各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムを図５に示すコンピュータ１０００の記憶部１０２０に読み込ませ、演算処理部１０１０、入力部１０３０、出力部１０４０、表示部１０６０などに動作させることにより、上記各装置における各種の処理機能がコンピュータ上で実現される。

【0051】

この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体は、例えば、非一時的な記録媒体であり、具体的には、磁気記録装置、光ディスク、等である。

【0052】

また、このプログラムの流通は、例えば、そのプログラムを記録したDVD、CD-ROM等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。

【0053】

このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の非一時的な記憶装置である補助記録部１０５０に格納する。そして、処理の実行時、このコンピュータは、自己の非一時的な記憶装置である補助記録部１０５０に格納されたプログラムを記憶部１０２０に読み込み、読み込んだプログラムに従った処理を実行する。また、このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを記憶部１０２０に読み込み、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるASP（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。なお、本形態におけるプログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。

【0054】

また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、本装置を構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。例えば、推定モデル学習部１、評価値計算部２は、処理回路により構成されてもよい。

【0055】

その他、この発明の趣旨を逸脱しない範囲で適宜変更が可能であることはいうまでもない。

【0056】

本明細書に記載された全ての文献、特許出願、及び技術規格は、個々の文献、特許出願、及び技術規格が参照により取り込まれることが具体的かつ個々に記載された場合と同程度に、本明細書中に参照により取り込まれる。

【図1】

【図2】

【図3】

【図4】

【図5】