特許 7251590 機械学習の評価方法及び機械学習による推定モデルの生成方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2023-03-27

(45)【発行日】2023-04-04

(54)【発明の名称】機械学習の評価方法及び機械学習による推定モデルの生成方法

(51)【国際特許分類】

   G06N 20/00 20190101AFI20230328BHJP

【ＦＩ】

G06N20/00

【請求項の数】 8

(21)【出願番号】P 2021165284

(22)【出願日】2021-10-07

【審査請求日】2021-10-14

(73)【特許権者】

【識別番号】302006854

【氏名又は名称】株式会社ＳＵＭＣＯ

(74)【代理人】

【識別番号】110000486

【氏名又は名称】弁理士法人とこしえ特許事務所

(72)【発明者】

【氏名】村松 祐

(72)【発明者】

【氏名】横山 竜介

【審査官】武田 広太郎

(56)【参考文献】

【文献】特開２０１９－１５２９４８（ＪＰ，Ａ）

【文献】特開２０１６－０５７７０１（ＪＰ，Ａ）

【文献】特開２００５－２４２８０３（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｎ ２０／００

(57)【特許請求の範囲】

【請求項1】

未学習の機械学習プログラムに対し、複数の入力値と当該複数の入力値から経験的に得られた既知の出力値とを訓練データとして機械学習法による学習処理を実行し、入力値から出力値を得る学習済みの推定モデルを複数生成するステップと、
生成した複数の学習済みの推定モデルのそれぞれに同じ入力値を入力し、それぞれの推定モデルから出力値を得るステップと、
得られた複数の出力値の平均値と標準偏差とを求めるステップと、
前記標準偏差を用いて機械学習の評価を行うステップと、を含む機械学習の評価方法。

【請求項2】

前記推定モデルは、回帰推定モデル又は分類推定モデルである請求項１に記載の機械学習の評価方法。

【請求項3】

未学習の機械学習プログラムに対し、複数の入力値と当該複数の入力値から経験的に得られた既知の出力値とを訓練データとして機械学習法による学習処理を実行し、入力値から出力値を得る学習済みの推定モデルを複数生成するステップと、
生成した複数の学習済みの推定モデルのそれぞれに同じ入力値を入力し、それぞれの推定モデルから出力値を得るステップと、
得られた複数の出力値の平均値と標準偏差とを求めるステップと、
前記標準偏差が小さい出力値ほど、入力値に対する出力値の信頼性が高いと評価するステップと、を含む機械学習による推定値評価方法。

【請求項4】

前記推定モデルは、回帰推定モデル又は分類推定モデルである請求項３に記載の機械学習による推定値評価方法。

【請求項5】

未学習の機械学習プログラムに対し、複数の入力値と当該複数の入力値から経験的に得られた既知の出力値とを訓練データとして機械学習法による学習処理を実行し、入力値から出力値を得る学習済みの推定モデルを複数生成するステップと、
生成した複数の学習済みの推定モデルのそれぞれに同じ入力値を入力し、それぞれの推定モデルから出力値を得るステップと、
得られた複数の出力値の平均値と標準偏差とを求めるステップと、
前記標準偏差が小さい出力値の推定モデルほど、入力値に対する出力値の信頼性が高いと評価するステップと、を含む機械学習による推定モデルの信頼性評価方法。

【請求項6】

前記推定モデルは、回帰推定モデル又は分類推定モデルである請求項５に記載の機械学習による推定モデルの信頼性評価方法。

【請求項7】

未学習の機械学習プログラムに対し、複数の入力値と当該複数の入力値から経験的に得られた既知の出力値とを訓練データとして機械学習法による学習処理を実行し、入力値から出力値を得る学習済み推定モデルを複数生成するステップと、
生成した複数の学習済みの推定モデルのそれぞれに同じ入力値を入力し、それぞれの推定モデルから出力値を得るステップと、
得られた複数の出力値の平均値と標準偏差とを求めるステップと、
前記標準偏差が所定値以下となる出力値の推定モデルを抽出するステップと、を含む機械学習による推定モデルの生成方法。

【請求項8】

前記推定モデルは、回帰推定モデル又は分類推定モデルである請求項７に記載の機械学習による推定モデルの生成方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、機械学習の評価方法、機械学習による推定値の評価方法、機械学習による推定モデルの信頼性の評価方法及び機械学習による推定モデルの生成方法に関するものである。

【背景技術】

【0002】

機械学習プログラムを用いた熱伝導率等の物理特性の推定方法として、半導体結晶製品の製造装置の構成部材を測定試料として準備するステップと、測定試料の一部を所定の加熱条件で加熱して、定常状態における前記測定試料の表面の温度分布を測定するステップと、前記測定試料と同じ形状の試料モデルの仮の熱伝導率および加熱条件の複数の組み合わせについて伝熱シミュレーションを実施して、前記複数の組み合わせのそれぞれについて前記試料モデルの表面の温度分布を計算するステップと、前記伝熱シミュレーションで用いた前記複数の組み合わせおよび当該複数の組み合わせから得られた温度分布の計算結果を訓練データとして、入力を前記測定試料の表面の温度分布とし、出力を前記測定試料の熱伝導率とする推定モデルを、機械学習法を用いて作成するステップと、前記測定試料の表面の温度分布測定結果を前記回帰モデルに入力して、前記測定試料の熱伝導率を推定するステップとを備えた熱伝導率推定方法が知られている（特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０２０－８５７３７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

このように、機械学習プログラムは、高精度な分類や推定をするための推定装置として活用されることがあるが、その分類又は推定において、なぜその結果になったのかという理由を示すことは難しく、したがって、その結果にどの程度の信頼性があるかを示すことは困難である。

【0005】

上記従来技術では、機械学習で用いる訓練データ（目標とするネットワークの関数を定めるために、「ある入力ｘに対する望ましい出力ｄ」というような、関数の入力と出力のペアの集合であり、機械学習法を利用した回帰モデル等の生成に用いられる。学習データともいう。）とは異なるテストデータを用いて推定値、あるいは推定モデルの信頼性を評価している。すなわち、答えの分かったテストデータに対して推定を行い、推定値を答えと比較するという評価方法であり、多くのテストデータに対して高い成績を収めた推定モデルは、信頼性が高いと評価する。

【0006】

確かに、多くのテストデータに対して高い成績を収めた推定モデルは、出力値が未知である入力値を推定させても、出力値の推定信頼性は高い可能性はあるといえる。しかしながら、テストデータとは異なる新規な分類又は推定においては、入力値に対する出力値が、どの程度の信頼性を有するのか、精度よく評価できないという問題があった。

【0007】

本発明が解決しようとする課題は、精度が良い、機械学習の評価方法、機械学習による推定値の評価方法、機械学習による推定モデルの信頼性の評価方法及び機械学習による推定モデルの生成方法を提供することである。

【課題を解決するための手段】

【0008】

本発明は、未学習の機械学習プログラムに対し、複数の入力値と当該複数の入力値から経験的に得られた既知の出力値とを訓練データとして機械学習法による学習処理を実行し、入力値から出力値を得る学習済みの推定モデルを複数生成するステップと、
生成した複数の学習済みの推定モデルのそれぞれに同じ入力値を入力し、それぞれの推定モデルから出力値を得るステップと、
得られた複数の出力値の平均値と標準偏差とを求めるステップと、
前記標準偏差を用いて機械学習の評価を行うステップと、を含む機械学習の評価方法によって、上記課題を解決する。

【0009】

また本発明は、未学習の機械学習プログラムに対し、複数の入力値と当該複数の入力値から経験的に得られた既知の出力値とを訓練データとして機械学習法による学習処理を実行し、入力値から出力値を得る学習済みの推定モデルを複数生成するステップと、
生成した複数の学習済みの推定モデルのそれぞれに同じ入力値を入力し、それぞれの推定モデルから出力値を得るステップと、
得られた複数の出力値の平均値と標準偏差とを求めるステップと、
前記標準偏差が小さい出力値ほど、入力値に対する出力値の信頼性が高いと評価するステップと、を含む機械学習による推定値評価方法によって、上記課題を解決する。

【0010】

さらに本発明は、未学習の機械学習プログラムに対し、複数の入力値と当該複数の入力値から経験的に得られた既知の出力値とを訓練データとして機械学習法による学習処理を実行し、入力値から出力値を得る学習済みの推定モデルを複数生成するステップと、
生成した複数の学習済みの推定モデルのそれぞれに同じ入力値を入力し、それぞれの推定モデルから出力値を得るステップと、
得られた複数の出力値の平均値と標準偏差とを求めるステップと、
前記標準偏差が小さい出力値の推定モデルほど、入力値に対する出力値の信頼性が高いと評価するステップと、を含む機械学習プログラムの信頼性評価方法によって、上記課題を解決する。

【0011】

さらにまた本発明は、未学習の機械学習プログラムに対し、数の入力値と当該複数の入力値から経験的に得られた既知の出力値とを訓練データとして機械学習法による学習処理を実行し、入力値から出力値を得る学習済みの推定モデルを複数生成するステップと、
生成した複数の学習済みの推定モデルのそれぞれに同じ入力値を入力し、それぞれの推定モデルから出力値を得るステップと、
得られた複数の出力値の平均値と標準偏差とを求めるステップと、
前記標準偏差が所定値以下となる出力値の推定モデルを抽出するステップと、を含む機械学習プログラムの生成方法によって、上記課題を解決する。

【0012】

上記発明において、前記推定モデルは、回帰推定モデル又は分類推定モデルであることがより好ましい。

【発明の効果】

【0013】

本発明によれば、精度が良い、機械学習の評価方法、機械学習による推定値の評価方法、機械学習による推定モデルの信頼性の評価方法及び機械学習による推定モデルの生成方法を提供することができる。

【図面の簡単な説明】

【0014】

【図1】本発明に係る機械学習による推定値の評価方法を示す工程図である。

【図2】図１のステップＳ１を説明するための図である。

【図3A】図１のステップＳ２を説明するための図（その１）である。

【図3B】図１のステップＳ２を説明するための図（その２）である。

【図4】本発明に係る機械学習による推定値の評価方法の実施例を示すグラフである。

【図5】本発明に係る機械学習による推定値の評価方法の他の実施例を示すグラフである。

【図6】本発明に係る学習済み機械学習による推定モデルの信頼性評価方法を示す工程図である。

【図7A】図６のステップＳ１１を説明するための図である。

【図7B】図６のステップＳ１１を説明するための図である。

【図8】図６のステップＳ１２を説明するための図である。

【発明を実施するための形態】

【0015】

《機械学習による推定値の評価方法》
以下、図面を参照して本発明の実施の形態を説明する。図１は、本発明に係る機械学習による推定値の評価方法を示す工程図、図２は、図１のステップＳ１を説明するための図、図３は、図１のステップＳ２を説明するための図である。本実施形態は、学習済み機械学習プログラムの入力値に対する推定値の信頼性を評価する方法であり、訓練データとは異なる答えの分かったテストデータを用いて評価する方法に代わる新たな評価方法である。

【0016】

本実施形態の機械学習による推定値評価方法は、図１に示すように、未学習の機械学習プログラムＰに対し、複数の入力値と当該複数の入力値から経験的に得られた既知の出力値とを訓練データＴＤとして機械学習法による学習処理を実行し、入力値から出力値を得る学習済みの推定モデルＭ_１～Ｍ_ｎを複数生成するステップＳ１と、生成した複数の学習済みの推定モデルＭ_１～Ｍ_ｎのそれぞれに同じ入力値ａを入力し、それぞれの推定モデルＭ_１～Ｍ_ｎから出力値Ｘ_１～Ｘ_ｎを得るステップＳ２と、得られた複数の出力値Ｘ_ａ１～Ｘ_ａｎの平均値Ｘ_ａと標準偏差δＸ_ａとを求めるステップＳ３と、前記標準偏差δＸ_ａが小さいほど、入力値に対する出力値（推定値）X_ａｎの信頼性が高いと評価するステップＳ４と、を含む。以下、各ステップＳ１～Ｓ４について説明する。なお、機械学習プログラムを用いて入力値から出力値を推定する場合、出力値が推定値になることから、以下においては推定された出力値は推定値を意味するものとする。

【0017】

ステップＳ１では、まず一つの未学習の機械学習プログラムＰと、訓練データＴＤとを準備する。本実施形態で用いることができる機械学習プログラムは、そのモデル構造など特に限定されない。また訓練データＴＤは、入力値に対する出力値が経験的に既知である、関数の入力と出力のペアの集合であれば、データの種類や数量など特に限定されない。そして、図２に示すように、準備した一つの未学習の機械学習プログラムＰに対し、訓練データＴＤを用いて機械学習法による学習処理をｎ回実行し、ｎ個の学習済み推定モデルＭ_１～Ｍ_ｎを生成する。

【0018】

訓練データＴＤを用いて機械学習プログラムを学習処理した後の学習済みモデルの性能は、学習したデータとモデルの構造によって決まる。モデルの構造は、ハイパーパラメータで示され、ニューラルネットワーク型機械学習では、ネットワークの構造と同等である。ここで、機械学習プログラムの学習処理には、ランダム性があるため、同じ訓練データと同じハイパーパラメータを使用しても、学習処理するごとに生成される学習済みの推定モデルＭ_１～Ｍ_ｎは、互いに異なるモデルになる。したがって、ステップＳ２において、異なる複数の学習済みの推定モデルＭ_１～Ｍ_ｎを生成する場合、同じ訓練データＴＤを同じハイパーパラメータで学習しても、異なる訓練データＴＤや異なるハイパーパラメータで学習処理してもよい。

【0019】

ステップＳ３では、ステップＳ２で生成したｎ個の学習済み推定モデルＭ_１～Ｍ_ｎのそれぞれに、同じ入力値ａを入力し、それぞれの推定モデルＭ_１～Ｍ_ｎから出力値Ｘ_ａ１～Ｘ_anを得る。すなわち、図３Ａに示すように、学習済み推定モデルＭ_１に入力値ａを入力して出力値Ｘ_ａ１を算出し、学習済み推定モデルＭ_２に同じ入力値ａを入力して出力値Ｘ_ａ２を算出し、これを学習済み推定モデルＭ_ｎまで行う。

【0020】

ステップＳ４では、入力値ａに対して得られたｎ個の出力値Ｘ_ａ１～Ｘ_ａｎの平均値Ｘ_ａと標準偏差δＸ_ａとを求める。ここで求められた平均値Ｘ_ａを真の出力値とし、標準偏差δＸ_ａを誤差として扱う。そして、ステップＳ５では、真の出力値と見做した平均値Ｘ_ａに対し、誤差と見做した標準偏差δＸ_ａが小さいほど、入力値に対する出力値X_ａｎの信頼性が高いと評価する。

【0021】

たとえば、入力値ａとは異なる入力値ｂについて、同じ推定モデルＭ_１～Ｍ_ｎを用いてステップＳ３の処理を行い、それぞれの推定モデルＭ_１～Ｍ_ｎから出力値Ｘ_ｂ１～Ｘ_ｂｎを得る。すなわち、図３Ｂに示すように、学習済み推定モデルＭ_１に入力値ｂを入力して出力値Ｘ_ｂ１を算出し、学習済み推定モデルＭ_２に同じ入力値ｂを入力して出力値Ｘ_ｂ２を算出し、これを学習済み推定モデルＭ_ｎまで行う。そして、ステップＳ４において、入力値ｂに対して得られたｎ個の出力値Ｘ_ｂ１～Ｘ_ｂｎの平均値Ｘ_ｂと標準偏差δＸ_ｂとを求める。ここで、入力値ａに対して求められた標準偏差δＸ_ａが、入力値ｂに対して求められた標準偏差δＸ_ｂより小さければ、入力値ａに対する出力値（推定値）Ｘ_ａ１～Ｘ_ａｎの信頼性が、入力値ｂに対する出力値（推定値）Ｘ_ｂ１～Ｘ_ｂｎの信頼性に比べて高いと評価する。逆に、入力値ｂに対して求められた標準偏差δＸ_ｂが、入力値ａに対して求められた標準偏差δＸ_ａより小さければ、入力値ｂに対する出力値（推定値）Ｘ_ｂ１～Ｘ_ｂｎの信頼性が、入力値ａに対する出力値（推定値）Ｘ_ａ１～Ｘ_ａｎの信頼性に比べて高いと評価する。すなわち、本実施形態では、入力値ａ，ｂ，ｃ…に対する標準偏差δＸ_ａ，δＸ_ｂ，δＸ_ｃ，…が小さいほど、その入力値に対する出力値（推定値）の信頼性が高いと評価する。

【0022】

機械学習プログラムは、訓練データＴＤを用いた学習処理によって、入力値と出力値の間の関係を発見しそれを推定処理に活用する。推定した出力値が、学習済みの推定モデルＭ_１～Ｍ_ｎによって相違するのは、この学習処理した関係が相違するからである。つまり、推定した出力値が大きく違う場合、すなわちステップＳ４で求めた標準偏差δＸ_ｍが大きい場合には、推定モデルＭ_１～Ｍ_ｎごとに相違する関係を求めていて、学習結果に迷いがあると考えられる。そのため、推定した出力値Ｘ_ｍの標準偏差δＸ_ｍが大きいほど、推定した出力値Ｘ_ｅの信頼性が低いと言え、逆に推定した出力値Ｘ_ｍの標準偏差δＸ_ｍが小さいほど、推定した出力値Ｘ_ｅの信頼性が高いと言える。

【0023】

次に、本発明に係る機械学習による推定値の評価方法をより具体化した実施例を挙げて説明する。

【0024】

《実施例１》（熱伝導率の推定）
本実施例１では、熱伝導率が不明な部材を含む実験系の温度分布を測定し、これを学習済みの機械学習プログラムに入力することで熱伝導率を推定する。本例の機械学習プログラムは、既知の熱伝導率を有する部材を実験系に含めたときの温度分布と熱伝導率を含む訓練データを用いて学習処理されている。また、訓練データとは独立なテストデータに対して所定値以上の推定精度を有することも確認されている。

【0025】

ここで、推定した温度依存性を示す熱伝導率をｋ（Ｔ）とすると、推定精度Δは、熱伝導率の実測値ｋ_Ｔと機械学習プログラムの推定値ｋを複数の温度Ｔ_ｉを用いて次式の様に比較することで求めることができる。次式は、推定された出力値が答えとどの程度相違するのかを比率で示した式である。一般的には、熱伝導率の推定は、１０％程度の誤差があると言われているため、Δ≦０．１を目標とする。

【数1】

【0026】

本実施例１で使用する機械学習プログラムの学習済み推定モデルは、所定のテストデータに対してΔ≦０．１の精度を実現したものである。この機械学習プログラムを使用して複数の部材１～３の熱伝導率を推定し、実測値と比較してその精度を算出した。下表１が３つの部材１～３の推定結果である。

【表1】

【0027】

上記表１に示すように、部材１及び部材２は、目標とする０．１以下の推定精度を実現できたが、部材３は実現できなかった。よって、たとえテストデータに対して精度が良かったとしても、実際には推定される出力値が大きく間違える可能性があることが確認された。

【0028】

これらの部材１～３に対し、異なる学習済みモデルを５０個生成し、これら５０個の学習済み推定モデルを使用して熱伝導率ｋを推定した。本実施例１では、学習処理に使用する訓練データとハイパーパラメータは全てのモデルで同じものにした。ここでは機械学習プログラムの推定値ｋはある温度Ｔ_０での熱伝導率である。そして５０個の熱伝導率ｋに対して、その平均ｋ_Ｍと標準偏差δｋとから規格化された標準偏差δｋ／ｋ_Ｍを計算した結果、次の表２のとおりになった。これら表１及び表２の結果から、規格化された標準偏差δｋ／ｋ_Ｍが小さい部材ほど熱伝導率の推定精度Δが良いという傾向が確認された。

【表2】

【0029】

同様のことを３０個の部材１～３０に対して実施した。得られた結果から、推定精度Δと規格化した標準偏差δｋ／ｋ_Ｍの関係を抽出し、その結果を図４に示す。図４において、横軸が推定精度Δを示し、縦軸が規格化された標準偏差δｋ／ｋ_Ｍを示す。図４に示す結果からも、規格化された標準偏差δｋ／ｋ_Ｍが小さい部材ほど熱伝導率の推定精度Δが良いという傾向があることが確認された。

【0030】

《実施例２》（輻射率の推定）
上述した実施例１と同様の実験を輻射率の推定に対して行った。推定する輻射率εは温度依存性を無視した。このため、推定精度Δは、実測値ε_Ｔと、機械学習プログラムにより推定した出力値εとを次式の様に比較することで求めることができる。

【数2】

【0031】

そして、異なる学習済み推定モデルを５０個生成し、これら５０個の推定モデルを使用して輻射率εを推定し、その平均ε_Ｍと標準偏差δεとから規格化された標準偏差δε／ε_Ｍを計算した結果、図５に示すとおりになった。図５において、横軸が推定精度Δを示し、縦軸が規格化された標準偏差δε／ε_Ｍを示す。図５に示す結果からも、規格化された標準偏差δε／ε_Ｍが小さい部材ほど熱伝導率の推定精度Δが良いという傾向があることが確認された。

【0032】

《機械学習による推定モデルの信頼性評価方法》
上述した実施形態は、入力値に対する出力値（推定値）の信頼性を評価する方法であるが、本発明は、機械学習による推定モデルの信頼性を評価する方法にも具現化することができる。すなわち、本実施形態の機械学習による推定モデルの信頼性評価方法は、図６に示すように、未学習の機械学習プログラムＰに対し、複数の入力値と当該複数の入力値から経験的に得られた既知の出力値とを訓練データＴＤとして機械学習法による学習処理を実行し、入力値から出力値を得る学習済みの推定モデル群Ｍ_ｎ（Ｍ_１～Ｍ_ｎ），Ｍ´_ｎ（Ｍ´_１～Ｍ´_ｎ）…を複数生成するステップＳ１１と、生成した複数の学習済みの推定モデル群Ｍ_ｎ，Ｍ´_ｎ…のそれぞれに同じ入力値ａを入力し、それぞれの推定モデル群Ｍ_ｎ，Ｍ´_ｎ…から出力値Ｘ，Ｘ´…を得るステップＳ１２と、得られた複数の出力値Ｘ，Ｘ´…の平均値Ｘ_ｍと標準偏差δＸ，δＸ´…とを求めるステップＳ１３と、前記標準偏差δＸ，δＸ´…が小さい出力値の推定モデル群ほど、入力値に対する出力値の信頼性が高いと評価するステップＳ１４と、を含む。以下、各ステップＳ１１～Ｓ１４について説明する。

【0033】

ステップＳ１１では、まず一つの未学習の機械学習プログラムＰと、訓練データＴＤとを準備する。本実施形態で用いることができる機械学習プログラムは、そのモデル構造など特に限定されない。また訓練データＴＤは、入力値に対する出力値が経験的に既知である、関数の入力と出力のペアの集合であれば、データの種類や数量など特に限定されない。そして、図７Ａに示すように、準備した一つの未学習の機械学習プログラムＰに対し、訓練データＴＤを用いて機械学習法による学習処理をｎ回実行し、ｎ個の学習済み推定モデルＭ_１～Ｍ_ｎを生成する。また、訓練データＴＤとは異なる訓練データＴＤ´を準備し、図７Ｂに示すように、準備した一つの未学習の機械学習プログラムＰに対し、訓練データＴＤ´を用いて機械学習法による学習処理をｎ回実行し、ｎ個の学習済み推定モデルＭ´_１～Ｍ´_ｎを生成する。これにより複数の学習済みの推定モデル群Ｍ_ｎ，Ｍ´_ｎ…が生成される。

【0034】

訓練データＴＤ，ＴＤ´，…を用いて機械学習プログラムを学習処理した後の学習済みモデルの性能は、学習したデータとモデルの構造によって決まる。モデルの構造は、ハイパーパラメータで示され、ニューラルネットワーク型機械学習では、ネットワークの構造と同等である。ここで、機械学習プログラムの学習処理には、ランダム性があるため、同じ訓練データと同じハイパーパラメータを使用しても、学習処理するごとに生成される学習済みの推定モデルＭ_１～Ｍ_ｎは、互いに異なるモデルになる。したがって、ステップＳ１２において、異なる複数の学習済みの推定モデルＭ_１～Ｍ_ｎを生成する場合、同じ訓練データＴＤ，ＴＤ´，…を同じハイパーパラメータで学習しても、異なる訓練データＴＤや異なるハイパーパラメータで学習処理してもよい。

【0035】

ステップＳ１３では、ステップＳ１２で生成したｎ個の学習済み推定モデル群Ｍ_ｎ，Ｍ´_ｎ…のそれぞれに、同じ入力値ａを入力し、それぞれの推定モデル群Ｍ_ｎ，Ｍ´_ｎ…から出力値Ｘ，Ｘ´，…を得る。すなわち、図８に示すように、学習済み推定モデル群Ｍ_ｎに入力値ａを入力して出力値Ｘを算出し、学習済み推定モデルＭ´_ｎに同じ入力値ａを入力して出力値Ｘ´を算出し、これを全ての学習済み推定モデル群まで行う。

【0036】

ステップＳ１４では、得られた複数個の出力値Ｘ，Ｘ´…の平均値Ｘ_ｍと標準偏差δＸ，δＸ´，…とを求める。ここで求められた平均値Ｘ_ｍを真の出力値とし、標準偏差δＸ，δＸ´，…を誤差として扱う。そして、ステップＳ１５では、真の出力値と見做した平均値Ｘ_ｍに対し、誤差と見做した標準偏差δＸ，δＸ´，…が小さい出力値の推定モデル群ほど、入力値に対する出力値の信頼性が高いと評価する。

【0037】

上述したとおり、機械学習プログラムは、訓練データＴＤを用いた学習処理によって、入力値と出力値の間の関係を発見しそれを推定処理に活用する。推定した出力値が、学習済みの推定モデル群によって相違するのは、この学習処理した関係が相違するからである。つまり、推定した出力値が大きく違う場合、すなわちステップＳ１４で求めた標準偏差δＸ…が大きい場合には、推定モデル群ごとに相違する関係を求めていて、学習結果に迷いがあると考えられる。そのため、推定した出力値の標準偏差δＸ…が大きい推定モデル群は、推定した出力値の信頼性が低いと言える。

【0038】

なお、上述した実施形態では、入力値から、当該入力値に対応する出力値を推定する回帰の機械学習プログラムを対象にした信頼性の評価方法を例示した。しかし、本発明に係る信頼性評価方法は、入力が何に分類されるかを出力する分類の機械学習プログラムにも適用することができる。分類の機械学習プログラムでも適用できる理由は、回帰と同様に、図３Ａなどに示す一つの学習済み推定モデルのような学習済みモデルを有することと、分類が各対象に分類される確率値を推定するからである。そして、この確率の標準偏差から、分類の推定モデルの信頼性を評価することができる。すなわち、各対象に分類される確率が小さい推定モデルほど、信頼性が高いと評価することができる。ただし、回帰と違い、分類の推定モデルでは、推定した出力値の平均値からも推定モデルの信頼性を評価することができる。これは推定された出力値自体が、分類される確率だからである。

【符号の説明】

【0039】

Ｐ…未学習の機械学習プログラム
Ｍ_１～Ｍ_ｎ…推定モデル
ＴＤ，ＴＤ´…訓練データ
ａ，ｂ…入力値
Ｘ…出力値
δＸ…出力値の標準偏差

【要約】

【課題】機械学習による入力値に対する推定値の信頼性を精度よく評価する方法及び生成方法を提供する。
【解決手段】未学習の機械学習プログラムＰに対し、複数の入力値と当該複数の入力値から経験的に得られた既知の出力値とを訓練データＴＤとして機械学習法による学習処理を実行し、入力値から出力値を得る学習済みの推定モデルＭ１～Ｍｎを複数生成するステップＳ１と、生成した複数の学習済みの推定モデルＭ１～Ｍｎのそれぞれに同じ入力値ａを入力し、それぞれの推定モデルから出力値Ｘ１～Ｘｎを得るステップＳ２と、得られた複数の出力値の平均値Ｘｍと標準偏差出るＸｍとを求めるステップＳ３と、前記標準偏差δＸｍが小さい出力値ほど、入力値に対する出力値の信頼性が高いと評価するステップＳ４と、を含む。
【選択図】 図１

【図1】

【図2】

【図3A】

【図3B】

【図4】

【図5】

【図6】

【図7A】

【図7B】

【図8】