特開 2024-164413 評価装置、評価方法、及び、評価プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024164413

(43)【公開日】2024-11-27

(54)【発明の名称】評価装置、評価方法、及び、評価プログラム

(51)【国際特許分類】

   G06N 20/00 20190101AFI20241120BHJP

【ＦＩ】

G06N20/00

【審査請求】未請求

【請求項の数】11

【出願形態】ＯＬ

(21)【出願番号】P 2023079867

(22)【出願日】2023-05-15

(71)【出願人】

【識別番号】000000099

【氏名又は名称】株式会社ＩＨＩ

(74)【代理人】

【識別番号】100083806

【弁理士】

【氏名又は名称】三好 秀和

(74)【代理人】

【識別番号】100111235

【弁理士】

【氏名又は名称】原 裕子

(74)【代理人】

【識別番号】100170575

【弁理士】

【氏名又は名称】森 太士

(72)【発明者】

【氏名】斉藤 弘樹

(57)【要約】

【課題】任意の機械学習によって生成された学習モデルに対して、学習モデルが有する不確かさを評価することが可能な評価装置、評価方法、及び、評価プログラムを提供する。
【解決手段】評価装置、評価方法、及び、評価プログラムは、第１変数及び第２変数の組である複数のデータに基づく機械学習を行って、第１変数に対応する第２変数を近似する第１予測関数とは異なる、第２予測関数を生成し、第２変数に関する所定有意水準での予測区間の上限及び下限に対して、第２変数の確率分布に対する累積分布関数の上限での値から下限での値を差し引いて得られる第１計算値と、１から所定有意水準を差し引いて得られる第２計算値の絶対差が最小となる場合の、第２予測関数と第１予測関数の間の誤差を示す指標を示す指標値を算出する。
【選択図】図１

【特許請求の範囲】

【請求項1】

入力部と、コントローラと、を備える評価装置であって、
前記入力部は、
第１変数、及び、第２変数の組である複数のデータと、
前記データに基づいて生成され、前記第１変数に対応する前記第２変数を近似する第１予測関数と、
を取得し、
前記コントローラは、
前記データに基づく機械学習を行って、前記第１変数に対応する前記第２変数を近似する、前記第１予測関数とは異なる第２予測関数を生成し、
第１指標値を、前記第２変数と前記第２予測関数の間の誤差を示す指標とし、
第２指標値を、前記第２予測関数と前記第１予測関数の間の誤差を示す指標として、
前記第２指標値を変動させた際に、
前記第１指標値及び前記第２指標値に基づいて定まる、前記第２変数に関する所定有意水準での予測区間の上限及び下限に対して、前記第２変数の確率分布に対する累積分布関数の前記上限での値から前記下限での値を差し引いて得られる第１計算値と、
１から前記所定有意水準を差し引いて得られる第２計算値
の絶対差が最小となる場合の前記第２指標値を算出する、評価装置。

【請求項2】

前記第１変数をｘ、
前記第１予測関数をＦ（ｘ）、
前記第２予測関数をＧ（ｘ）、
前記所定有意水準をα、
標準偏差１及び平均値０となるよう前記第２変数を標準化して得られる変数ｔに関する確率分布における（１－α／２）分位点をｋ、
前記変数ｔに関する確率分布に対する累積分布関数をΦ（ｔ）、
前記第１指標値をσ_ａ（ｘ）、
前記第２指標値をσ_ｅ（ｘ）、
前記上限をＰＩ^＋（ｘ）、前記下限をＰＩ^－（ｘ）と表記した場合に、
前記コントローラは、
式（１）に基づいて前記上限及び前記下限を算出し、
式（２）に基づいて前記絶対差を算出する、請求項１に記載の評価装置。

【数1】

【請求項3】

前記第１予測関数は、前記データに基づいて、深層学習とは異なる機械学習によって生成された、請求項１に記載の評価装置。

【請求項4】

前記コントローラは、前記データに基づく深層学習を行って、前記第２予測関数を生成する、請求項１に記載の評価装置。

【請求項5】

前記コントローラは、前記データに基づく機械学習を行って、前記第１指標値を生成する、請求項１に記載の評価装置。

【請求項6】

前記コントローラは、前記第１変数の値の近傍における、前記第２変数と前記第２予測関数の間の不偏標準偏差を、前記第１指標値として生成する、請求項１に記載の評価装置。

【請求項7】

前記コントローラは、前記第１指標値及び前記第２指標値を変動させた際に、前記絶対差が最小となる場合の前記第１指標値及び前記第２指標値を算出する、請求項１に記載の評価装置。

【請求項8】

前記確率分布は正規分布である、請求項１に記載の評価装置。

【請求項9】

前記第２変数と前記第１予測関数の間の誤差よりも、前記第２変数と前記第２予測関数の間の誤差が小さい、請求項１～８のいずれか一項に記載の評価装置。

【請求項10】

第１変数、及び、第２変数の組である複数のデータと、
前記データに基づいて生成され、前記第１変数に対応する前記第２変数を近似する第１予測関数と、
を取得する入力部と接続されたコントローラを制御する評価方法であって、
前記コントローラは、
前記データに基づく機械学習を行って、前記第１変数に対応する前記第２変数を近似する、前記第１予測関数とは異なる第２予測関数を生成し、
第１指標値を、前記第２変数と前記第２予測関数の間の誤差を示す指標とし、
第２指標値を、前記第２予測関数と前記第１予測関数の間の誤差を示す指標として、
前記第２指標値を変動させた際に、
前記第１指標値及び前記第２指標値に基づいて定まる、前記第２変数に関する所定有意水準での予測区間の上限及び下限に対して、前記第２変数の確率分布に対する累積分布関数の前記上限での値から前記下限での値を差し引いて得られる第１計算値と、
１から前記所定有意水準を差し引いて得られる第２計算値
の絶対差が最小となる場合の前記第２指標値を算出する、評価方法。

【請求項11】

第１変数、及び、第２変数の組である複数のデータと、
前記データに基づいて生成され、前記第１変数に対応する前記第２変数を近似する第１予測関数と、
を処理する評価プログラムであって、
コンピュータに、
前記データに基づく機械学習を行って、前記第１変数に対応する前記第２変数を近似する、前記第１予測関数とは異なる第２予測関数を生成するステップと、
第１指標値を、前記第２変数と前記第２予測関数の間の誤差を示す指標とし、
第２指標値を、前記第２予測関数と前記第１予測関数の間の誤差を示す指標として、
前記第２指標値を変動させた際に、
前記第１指標値及び前記第２指標値に基づいて定まる、前記第２変数に関する所定有意水準での予測区間の上限及び下限に対して、前記第２変数の確率分布に対する累積分布関数の前記上限での値から前記下限での値を差し引いて得られる第１計算値と、
１から前記所定有意水準を差し引いて得られる第２計算値
の絶対差が最小となる場合の前記第２指標値を算出するステップと、
を実行させる評価プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、評価装置、評価方法、及び、評価プログラムに関する。

【背景技術】

【0002】

特許文献１には、入力データと正解データを入力として学習して推論を行う際の信頼性を評価する技術が開示されている。特に、当該技術によれば、入力データに関する情報に基づくクラスタリングの結果をもとに推論時の入力データについてクラスタリングを行って複数のクラスタが抽出される。そして、評価の結果と抽出された複数のクラスタの情報を元に推論の信頼性を評価する信頼性評価値が決定される。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２２－０８８１７４号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１に記載された技術によれば、入力データにおけるデータ間の距離を基づいて信頼性が算出される。一方で、入力データ及び正解データの間の関係を表す真の関数、及び、データに含まれるノイズに対する評価は行われていないという問題がある。

【0005】

本開示は、上記問題に鑑みてなされたものである。その目的とするところは、任意の機械学習によって生成された学習モデルに対して、学習モデルが有する不確かさを評価することが可能な評価装置、評価方法、及び、評価プログラムを提供することにある。

【課題を解決するための手段】

【0006】

本開示に係る評価装置は、入力部と、コントローラと、を備える。入力部は、第１変数、及び、第２変数の組である複数のデータと、データに基づいて生成され、第１変数に対応する第２変数を近似する第１予測関数と、を取得する。コントローラは、データに基づく機械学習を行って、第１変数に対応する第２変数を近似する、第１予測関数とは異なる第２予測関数を生成する。

【0007】

第１指標値を、第２変数と第２予測関数の間の誤差を示す指標とする。第２指標値を、第２予測関数と第１予測関数の間の誤差を示す指標とする。コントローラは、第２指標値を変動させた際に、第１計算値と第２計算値の絶対差が最小となる場合の第２指標値を算出する。ここで、第１指標値及び第２指標値に基づいて定まる、第２変数に関する所定有意水準での予測区間の上限及び下限に対して、第２変数の確率分布に対する累積分布関数の上限での値から下限での値を差し引くことで、第１計算値は得られる。第２計算値は、１から所定有意水準を差し引いて得られる。

【0008】

第１変数をｘ、第１予測関数をＦ（ｘ）、第２予測関数をＧ（ｘ）、所定有意水準をαと表記するものであってもよい。標準偏差１及び平均値０となるよう第２変数を標準化して得られる変数ｔに関する確率分布における（１－α／２）分位点をｋ、変数ｔに関する確率分布に対する累積分布関数をΦ（ｔ）と表記するものであってもよい。第１指標値をσ_ａ（ｘ）、第２指標値をσ_ｅ（ｘ）、上限をＰＩ^＋（ｘ）、下限をＰＩ^－（ｘ）と表記するものであってもよい。

【0009】

コントローラは、式（１）に基づいて上限及び下限を算出し、式（２）に基づいて絶対差を算出するものであってもよい。

【0010】

【数1】

【0011】

第１予測関数は、データに基づいて、深層学習とは異なる機械学習によって生成されたものであってもよい。

【0012】

コントローラは、データに基づく深層学習を行って、第２予測関数を生成するものであってもよい。

【0013】

コントローラは、データに基づく機械学習を行って、第１指標値を生成するものであってもよい。

【0014】

コントローラは、第１変数の値の近傍における、第２変数と第２予測関数の間の不偏標準偏差を、第１指標値として生成するものであってもよい。

【0015】

コントローラは、第１指標値及び第２指標値を変動させた際に、絶対差が最小となる場合の第１指標値及び第２指標値を算出するものであってもよい。

【0016】

確率分布は正規分布であってもよい。

【0017】

第２変数と第１予測関数の間の誤差よりも、第２変数と第２予測関数の間の誤差が小さいものであってもよい。

【0018】

本開示に係る評価方法は、入力部と接続されたコントローラを制御する。入力部は、第１変数、及び、第２変数の組である複数のデータと、データに基づいて生成され、第１変数に対応する第２変数を近似する第１予測関数と、を取得する。コントローラは、データに基づく機械学習を行って、第１変数に対応する第２変数を近似する、第１予測関数とは異なる第２予測関数を生成する。

【0019】

第１指標値を、第２変数と第２予測関数の間の誤差を示す指標とする。第２指標値を、第２予測関数と第１予測関数の間の誤差を示す指標とする。コントローラは、第２指標値を変動させた際に、第１計算値と第２計算値の絶対差が最小となる場合の第２指標値を算出する。ここで、第１指標値及び第２指標値に基づいて定まる、第２変数に関する所定有意水準での予測区間の上限及び下限に対して、第２変数の確率分布に対する累積分布関数の上限での値から下限での値を差し引くことで、第１計算値は得られる。第２計算値は、１から所定有意水準を差し引いて得られる。

【0020】

本開示に係る評価プログラムは、第１変数、及び、第２変数の組である複数のデータと、データに基づいて生成され、第１変数に対応する第２変数を近似する第１予測関数と、を処理する。コンピュータに、データに基づく機械学習を行って、第１変数に対応する第２変数を近似する、第１予測関数とは異なる第２予測関数を生成するステップを実行させる。

【0021】

第１指標値を、第２変数と第２予測関数の間の誤差を示す指標とする。第２指標値を、第２予測関数と第１予測関数の間の誤差を示す指標とする。コンピュータに、第２指標値を変動させた際に、第１計算値と第２計算値の絶対差が最小となる場合の第２指標値を算出するステップを実行させる。ここで、第１指標値及び第２指標値に基づいて定まる、第２変数に関する所定有意水準での予測区間の上限及び下限に対して、第２変数の確率分布に対する累積分布関数の上限での値から下限での値を差し引くことで、第１計算値は得られる。第２計算値は、１から所定有意水準を差し引いて得られる。

【発明の効果】

【0022】

本開示によれば、任意の機械学習によって生成された学習モデルに対して、学習モデルが有する不確かさを評価することが可能な評価装置、評価方法、及び、評価プログラムを提供することができる。

【図面の簡単な説明】

【0023】

【図1】本開示の実施形態に係る評価装置の構成を示すブロック図である。

【図2】本開示の実施形態に係る評価装置の処理手順を示すフローチャートである。

【発明を実施するための形態】

【0024】

以下、いくつかの例示的な実施形態について、図面を参照して説明する。なお、各図において共通する部分には同一の符号を付し、重複する説明を省略する。

【0025】

［評価装置の構成］
図１は、本開示の実施形態に係る評価装置の構成を示すブロック図である。図１に示すように、評価装置２０は、入力部２１と、コントローラ２５と、を備える。その他、評価装置２０は、データベース２３と、操作部２７と、表示部２９と、を備えるものであってもよい。コントローラ２５は、入力部２１、データベース２３、操作部２７、表示部２９と通信可能なように接続される。

【0026】

その他、データベース２３、操作部２７、表示部２９は、評価装置２０自体が備えていてもよいし、評価装置２０の外部に設置されて、評価装置２０と接続されるものであってもよい。

【0027】

入力部２１は、第１変数、及び、第２変数の組である複数のデータを取得する。また、入力部２１は、データに基づいて生成され、第１変数に対応する第２変数を近似する第１予測関数を取得する。なお、評価装置２０は、複数のデータ及び第１予測関数を生成するコンピュータなどと共通化されていてもよい。その場合、評価装置２０は、入力部２１を備えないものであってもよい。

【0028】

なお、第１予測関数は、複数のデータに基づいて機械学習によって生成されたものであってもよい。特に、第１予測関数は、深層学習とは異なる機械学習によって生成されたものであってもよい。例えば、第１変数に対応する第２変数を近似する第１予測関数は、説明性が高い学習モデルによって表現されるものであってもよい。その際、後述する第２予測関数と比較して、第１予測関数は、予測精度を犠牲にして、説明性の高い学習モデルによって表現されるものであってもよい。

【0029】

なお、学習モデルの「説明性」とは、第１変数に対して第２変数が対応付けられる根拠が、学習モデルにおいて人間が理解できる形で表現されていることを意味する。例えば、深層学習によって得られる、ニューラルネットワークで表現される学習モデルによれば、予測精度が高くなる一方で、ニューラルネットワークに含まれるパラメータの意味合いが不明確となることがある。したがって、ニューラルネットワークでは「説明性」が低い場合が起こりうる。つまり、本開示によれば、人間が理解できる形で学習モデルが表現されていることを、予測精度よりも優先させた、第１予測関数が与えられるものであってもよい。

【0030】

データベース２３は、入力部２１が取得した複数のデータ、及び、第１予測関数を記憶する。また、データベース２３は、後述するコントローラ２５によって行われる機械学習に係る各種のパラメータ、機械学習によって生成される学習モデルを表現するニューラルネットワークを定義するパラメータなどを記憶するものであってもよい。

【0031】

操作部２７は、評価装置２０のユーザが操作を行うことができる入力装置である。例えば、操作部２７は、キーボード、マウス、トラックボール、タッチパネルなどである。操作部２７は、ここに挙げた例に限定されない。操作部２７を介して入力されたユーザの操作内容は、コントローラ２５に送信される。

【0032】

表示部２９は、コントローラ２５から受信した情報を表示する。例えば、表示部２９は、後述するコントローラ２５によって行われる機械学習に係る指標を表示するものであってもよい。

【0033】

表示部２９は、複数の表示画素の組合せにより図形、文字を表示するディスプレイであってもよい。表示部２９は、ここに挙げた例に限定されない。

【0034】

コントローラ２５（制御部）は、ＣＰＵ（中央処理装置）、メモリ、及び入出力部を備える汎用のコンピュータである。コントローラ２５は、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を備えるものであってもよい。例えば、コントローラ２５は、後述する機械学習の処理を、ＧＰＵを用いて実行するものであってもよい。コントローラ２５には、評価装置２０として機能するためのコンピュータプログラム（評価プログラム）がインストールされている。コンピュータプログラムを実行することにより、コントローラ２５は、評価装置２０が備える複数の情報処理回路（２５１、２５３、２５５）として機能する。

【0035】

本開示では、ソフトウェアによって複数の情報処理回路（２５１、２５３、２５５）を実現する例を示す。ただし、以下に示す各情報処理を実行するための専用のハードウェアを用意して、情報処理回路（２５１、２５３、２５５）を構成することも可能である。また、複数の情報処理回路（２５１、２５３、２５５）を個別のハードウェアにより構成してもよい。

【0036】

図１に示すように、コントローラ２５は、複数の情報処理回路（２５１、２５３、２５５）として、予測関数生成部２５１、指標値設定部２５３、絶対差算出部２５５と、を備える。

【0037】

予測関数生成部２５１は、データに基づく機械学習を行って、第１変数に対応する第２変数を近似する、第１予測関数とは異なる第２予測関数を生成する。例えば、予測関数生成部２５１は、第１変数及び第２変数を組とするデータを教師データとして機械学習を行い、第１変数及び第２変数を互いに関連付けた学習モデルを生成する。予測関数生成部２５１は、データに基づく深層学習を行って、第２予測関数を生成するものであってもよい。

【0038】

例えば、学習モデルは、入力層及び出力層を含むニューラルネットワークによって構成され、入力層に入力される入力データと、出力層から出力される出力データと、を互いに関連付けて学習させたものである。例えば、学習モデルを構成するニューラルネットワークとして、Ｒｅｓｉｄｕａｌ Ｎｅｔｗｏｒｋを用いる。

【0039】

学習モデルを生成する手法として、例えば、ニューラルネットワーク、サポートベクターマシンが挙げられる。その他にも、Ｒａｎｄｏｍ Ｆｏｒｅｓｔ、ＸＧＢｏｏｓｔ、ＬｉｇｈｔＧＢＭ、ＰＬＳ回帰、Ｒｉｄｇｅ回帰、Ｌａｓｓｏ回帰が挙げられる。また、ここに挙げた手法のうち、１つまたは２つ以上の組み合わせを用いる手法が挙げられる。機械学習によって学習モデルを生成する手法は、ここに挙げた例に限定されない。

【0040】

学習モデルがニューラルネットワークによって表現される場合を説明する。この場合、予測関数生成部２５１は、入力データをニューラルネットワークに入力した際に得られる出力と、入力データに対応する出力データの誤差又は尤度を算出する。そして、予測関数生成部２５１は、誤差が最小となるように、又は、尤度が最大化されるように、ニューラルネットワークを定義するパラメータの調整を行う。その結果、ニューラルネットワークは、教師データを表現する特徴を学習する。

【0041】

上記ニューラルネットワークは、入力データが入力される入力層、出力値が出力される出力層、入力層と出力層の間に設けられる少なくとも１層以上の隠れ層とを含み、入力層、隠れ層、出力層の順番に信号が伝搬する。入力層、隠れ層、出力層の各層は、１つ以上のユニットから構成される。層間のユニット同士が結合しており、各ユニットは活性化関数（例えば、シグモイド関数、正規化線形関数、ソフトマックス関数など）を有する。ユニットへの複数の入力に基づいて重み付きの合計が算出され、合計値を変数とする活性化関数の値が、ユニットの出力となる。

【0042】

予測関数生成部２５１は、上記ニューラルネットワークを定義するパラメータのうち、各ユニットで重み付き合計を算出する際の重みを調整することにより、ニューラルネットワークの出力とラベルとの間の誤差を最小化し、又は、出力の尤度を最大化する。複数の教師データに対して、ニューラルネットワークの出力に関する誤差の最小化、又は、尤度の最大化を行うためには、最尤推定法などが適用可能である。

【0043】

ニューラルネットワークの出力に関する誤差を最小化するため、例えば、予測関数生成部２５１は、勾配降下法、確率的勾配降下法などを用いてもよい。予測関数生成部２５１は、勾配降下法、確率的勾配降下法での勾配計算のため、誤差逆伝搬法を用いてもよい。

【0044】

ニューラルネットワークによる機械学習では汎化性能（未知データに対する判別能力）と過適合（教師データに対して適合する一方で汎化性能が改善しない現象）が問題となりうる。

【0045】

そこで、予測関数生成部２５１における学習モデルの生成では、過適合を緩和するため、学習時の重みの自由度を制約する正則化などの手法を用いてもよい。その他にも、ニューラルネットワーク中のユニットを確率的に選別してそれ以外のユニットを無効化する手法を用いてもよい。さらには、汎化性能を向上させるため、教師データ中の偏りをなくすデータ正則化、データ標準化、データ拡張などの手法を用いてもよい。

【0046】

予測関数生成部２５１は、ニューラルネットワークの代わりに、サポートベクターマシンを用いて学習モデルを生成するものであってもよい。サポートベクターマシンによる機械学習には、局所解収束の問題がなく汎化性能が向上する傾向にある。

【0047】

予測関数生成部２５１によって生成された学習モデルは、指標値設定部２５３、又は、データベース２３に出力される。

【0048】

予測関数生成部２５１が、深層学習を行って第２予測関数を生成する場合、生成される第２予測関数は、第１予測関数よりも予測精度が高いものであってもよい。例えば、データ中の第２変数と第１予測関数の間の誤差よりも、第２変数と第２予測関数の間の誤差が小さいものであってもよい。

【0049】

指標値設定部２５３は、第２変数と第２予測関数の間の誤差を示す指標である第１指標値を設定する。また、指標値設定部２５３は、第２予測関数と第１予測関数の間の誤差を示す指標である第２指標値を設定する。

【0050】

ここで、第２予測関数が変化することで、第１指標値及び第２指標値が変動することに留意する。指標値設定部２５３は、予測関数生成部２５１で生成された第２予測関数に基づいて、第１指標値及び第２指標値を設定する。

【0051】

第２予測関数の予測精度が十分に高い場合、第２予測関数は、第１変数に対応して定まる第２変数の真の値を示していることになる。そのため、第２予測関数の予測精度が十分に高い場合において、第１指標値は、第２変数に含まれるデータノイズ（“Aleatoric Uncertainty”）の大きさを示す指標となる。また、第２指標値は、第１変数に対応して定まる第２変数を表す「真の関数」と、第１予測関数の間の誤差を示す指標となる。つまり、第２指標値は、第１予測関数が有する不確かさ（“Epistemic Uncertainty”）を示す指標となる。

【0052】

本開示では、任意の機械学習によって生成された学習モデルに対して、学習モデルが有する不確かさを評価することを目的としているため、第２予測関数の予測精度は高いことが望ましい。そこで、予測関数生成部２５１によって生成される第２予測関数は、第１予測関数よりも予測精度が高いものであってもよい。

【0053】

なお、指標値設定部２５３は、データに基づく機械学習を行って、第１指標値を生成するものであってもよい。つまり、指標値設定部２５３は、第１変数に対応して定まる第２変数が有するデータノイズの大きさを、機械学習によって生成するものであってもよい。

【0054】

より具体的には、指標値設定部２５３は、第１変数、及び、第２変数と第２予測関数の間の誤差を組とするデータを教師データとして機械学習を行って、第１指標値を生成するものであってもよい。ここで、第２変数と第２予測関数の間の誤差は、第２変数と第２予測関数の差で評価されてもよいし、差の２乗で評価されてもよい。

【0055】

その他、指標値設定部２５３は、第１変数の値の近傍における、第２変数と第２予測関数の間の不偏標準偏差を、第１指標値として生成するものであってもよい。なお、データに含まれる第１変数の範囲全体が含まれるように「近傍」を設定した場合、算出される第１指標値は、一定量のノイズである“Homoscedastic Uncertainty”に近づく。一方、「近傍」を十分に狭く設定した場合、算出される第１指標値は、第１変数に依存して変化するノイズである“Heteroscedastic Uncertainty”に近づく。

【0056】

指標値設定部２５３は、後述する絶対差算出部２５５によって算出される絶対差が最小（極小）に近づく方向で第２指標値を変動させる。その際、第１指標値は固定されていてもよい。また、第２指標値を変動させる際に第１指標値を変動させてもよい。絶対差を最小（極小）とする方法として、例えば、指標値設定部２５３は、Nelder-Mead法を用いてもよい。

【0057】

その他、指標値設定部２５３は、第１指標値及び第２指標値の変動によって、絶対差が最小値付近で収束したか否かを判定するものであってもよい。

【0058】

絶対差算出部２５５は、第１指標値及び第２指標値に基づいて定まる、第２変数に関する所定有意水準での予測区間の上限及び下限を算出する。絶対差算出部２５５は、第２変数の確率分布に対する累積分布関数の上限での値から下限での値を差し引いて第１計算値を算出する。また、絶対差算出部２５５は、１から所定有意水準を差し引いて第２計算値を算出する。そして、絶対差算出部２５５は、第１計算値と第２計算値の絶対差を算出する。

【0059】

より具体的に、絶対差算出部２５５の処理を、数式を用いて説明する。ここで、第１変数をｘ、第１予測関数をＦ（ｘ）、第２予測関数をＧ（ｘ）、所定有意水準をαと表記する。また、標準偏差１及び平均値０となるよう第２変数を標準化して得られる変数ｔに関する確率分布における（１－α／２）分位点をｋ、変数ｔに関する確率分布に対する累積分布関数をΦ（ｔ）と表記する。第１指標値をσ_ａ（ｘ）、第２指標値をσ_ｅ（ｘ）、上限をＰＩ^＋（ｘ）、下限をＰＩ^－（ｘ）と表記する。

【0060】

上記の表記の下で、絶対差算出部２５５は、次の式（１）に基づいて、予測区間の上限及び下限を算出し、式（２）に基づいて絶対差を算出する。

【0061】

【数2】

【0062】

なお、絶対差算出部２５５は、式（１）の他、式（１）と同値な式に基づいて、予測区間の上限及び下限を算出するものであってもよい。また、絶対差算出部２５５は、式（２）の他、式（２）と同値な式に基づいて、第１計算値と第２計算値の絶対差を算出するものであってもよい。

【0063】

なお、第２変数の確率分布として、正規分布が仮定されてもよい。すなわち、第１変数に対応して定まる第２変数に含まれるデータノイズが、正規分布に従って分布するものと仮定されてもよい。その他、第２変数の確率分布は、指数分布、ガンマ分布、ベータ分布、一様分布、超幾何分布、二項分布、ポアソン分布、離散一様分布など、種々の確率分布であってもよい。一様分布／離散一様分布は、値域が定められたものであれば使用可能である。第２変数の確率分布は、連続型の確率分布であってもよいし、離散型の確率分布であってもよい。なお、第２変数の確率分布は、累積分布関数を定義できるものであればよく、ここに挙げた例に限定されない。

【0064】

絶対差算出部２５５によって算出された絶対差は、指標値設定部２５３に送信される。

【0065】

［評価装置の処理手順］
次に、評価装置の処理手順を、図２のフローチャートを参照して説明する。図２は、本開示の実施形態に係る評価装置の処理手順を示すフローチャートである。

【0066】

例えば、図２に示されるフローチャートの処理は、ユーザの指示によって開始されるものであってもよい。

【0067】

ステップＳ１０１にて、入力部２１は、第１変数及び第２変数の組である複数のデータと、第１予測関数を取得する。

【0068】

ステップＳ１０３にて、予測関数生成部２５１は、データに基づく機械学習を行って、第１変数に対応する第２変数を近似する、第１予測関数とは異なる第２予測関数を生成する。

【0069】

ステップＳ１０５にて、指標値設定部２５３は、第１指標値及び第２指標値を設定する。

【0070】

ステップＳ１０７にて、絶対差算出部２５５は、第１計算値と第２計算値の絶対差を算出する。

【0071】

ステップＳ１０９にて、絶対差を最小（極小）にするため、指標値設定部２５３は、第１指標値及び第２指標値を変動させる。

【0072】

ステップＳ１１１にて、絶対差算出部２５５は、変動させた後の第１指標値及び第２指標値に基づいて、第１計算値と第２計算値の絶対差（変動後の絶対差）を算出する。

【0073】

ステップＳ１１３にて、指標値設定部２５３は、第１指標値及び第２指標値の変動前後での、絶対差の変動量を算出し、絶対差の変動量の大きさが所定閾値以下となったか否かを判定する。すなわち、絶対差が最小値付近で収束したか否かを判定する。

【0074】

絶対差の変動量の大きさが所定閾値以下となっていない場合（ステップＳ１１３でＮＯの場合）、ステップＳ１０９に戻る。

【0075】

一方、絶対差の変動量の大きさが所定閾値以下となった場合（ステップＳ１１３でＹＥＳの場合）、ステップＳ１１５にて、コントローラ２５は、絶対差が最小値付近で収束した時点での第１指標値及び第２指標値を出力する。

【0076】

［実施形態の効果］
以上詳細に説明したように、本開示に係る評価装置、評価方法、及び、評価プログラムは、入力部と、コントローラと、を備える評価装置に係る。入力部は、第１変数、及び、第２変数の組である複数のデータと、データに基づいて生成され、第１変数に対応する第２変数を近似する第１予測関数と、を取得する。コントローラは、データに基づく機械学習を行って、第１変数に対応する第２変数を近似する、第１予測関数とは異なる第２予測関数を生成する。

【0077】

第１指標値を、第２変数と第２予測関数の間の誤差を示す指標とする。第２指標値を、第２予測関数と第１予測関数の間の誤差を示す指標とする。コントローラは、第２指標値を変動させた際に、第１計算値と第２計算値の絶対差が最小となる場合の第２指標値を算出する。ここで、第１指標値及び第２指標値に基づいて定まる、第２変数に関する所定有意水準での予測区間の上限及び下限に対して、第２変数の確率分布に対する累積分布関数の上限での値から下限での値を差し引くことで、第１計算値は得られる。第２計算値は、１から所定有意水準を差し引いて得られる。

【0078】

これにより、任意の機械学習によって生成された学習モデル（第１予測関数）に対して、学習モデルが有する不確かさ（第２指標値）を評価することができる。特に、得られた不確かさが、信頼区間および予測区間の性質を正しく反映していることを保証することができる。

【0079】

ここで、第２予測関数の予測精度が十分に高い場合、第２予測関数は、第１変数に対応して定まる第２変数の真の値を示していることになる。そのため、第２予測関数の予測精度が十分に高い場合において、第２指標値は、第１変数に対応して定まる第２変数を表す真の関数と、第１予測関数の間の誤差を示す指標となる。したがって、真の関数の代わりに第２予測関数を基準として用いて、第１予測関数が有する不確かさを、第２指標値によって評価することができる。

【0080】

また、本開示に係る評価装置、評価方法、及び、評価プログラムにおいて、第１変数をｘ、第１予測関数をＦ（ｘ）、第２予測関数をＧ（ｘ）、所定有意水準をαと表記するものであってもよい。標準偏差１及び平均値０となるよう第２変数を標準化して得られる変数ｔに関する確率分布における（１－α／２）分位点をｋ、変数ｔに関する確率分布に対する累積分布関数をΦ（ｔ）と表記するものであってもよい。第１指標値をσ_ａ（ｘ）、第２指標値をσ_ｅ（ｘ）、上限をＰＩ^＋（ｘ）、下限をＰＩ^－（ｘ）と表記するものであってもよい。

【0081】

そして、コントローラは、式（１）に基づいて上限及び下限を算出し、式（２）に基づいて絶対差を算出するものであってもよい。

【0082】

これにより、予測区間の範囲内に、（１－α）の確率でデータに登場する第２変数の値が含まれることが保証される。よって、算出された学習モデルが有する不確かさ（第２指標値）が、信頼区間および予測区間の性質を正しく反映していることが保証される。

【0083】

また、本開示に係る評価装置、評価方法、及び、評価プログラムにおいて、第１予測関数は、データに基づいて、深層学習とは異なる機械学習によって生成されたものであってもよい。これにより、予測精度を犠牲にして、説明性の高い学習モデルによって表現された第１予測関数についても、第１予測関数が有する不確かさを評価することができる。

【0084】

また、本開示に係る評価装置、評価方法、及び、評価プログラムにおいて、コントローラは、データに基づく深層学習を行って、第２予測関数を生成するものであってもよい。これにより、第２予測関数によって、データノイズを含まない真の関数を精度良く表現することができ、第１予測関数が有する不確かさを評価することができる。

【0085】

また、本開示に係る評価装置、評価方法、及び、評価プログラムにおいて、コントローラは、データに基づく機械学習を行って、第１指標値を生成するものであってもよい。これにより、第２変数と第２予測関数の間の誤差を評価することができる。特に、複数のデータにおいて、第１変数の値の分布が疎となっている領域においても、データ数が少ないことに起因して誤差の評価が悪化してしまうことが抑制される。

【0086】

また、本開示に係る評価装置、評価方法、及び、評価プログラムにおいて、コントローラは、第１変数の値の近傍における、第２変数と第２予測関数の間の不偏標準偏差を、第１指標値として生成するものであってもよい。これにより、ノイズが第１変数に依存して緩やかに変化する場合に、誤差の評価を精度よく行うことができる。

【0087】

また、本開示に係る評価装置、評価方法、及び、評価プログラムにおいて、コントローラは、第１指標値及び第２指標値を変動させた際に、絶対差が最小となる場合の第１指標値及び第２指標値を算出するものであってもよい。これにより、第１指標値及び第２指標値を同時に変動させて絶対差が最小となる場合を探索することができる。その結果、第１予測関数が有する不確かさに加えて、第２変数に含まれるデータノイズの大きさを精度よく評価することができる。

【0088】

また、本開示に係る評価装置、評価方法、及び、評価プログラムにおいて、確率分布は正規分布であってもよい。これにより、第２変数に含まれるデータノイズが正規分布である場合に、第１予測関数が有する不確かさを評価することができる。特に、データノイズの分布の性質を用いることができ、第１予測関数が有する不確かさの評価をより精度良く行うことができる。

【0089】

また、本開示に係る評価装置、評価方法、及び、評価プログラムにおいて、第２変数と第１予測関数の間の誤差よりも、第２変数と第２予測関数の間の誤差が小さいものであってもよい。これにより、第１予測関数と比較して、第２予測関数が、データノイズを含まない真の関数をよりよく説明するモデルとなっていることが保証される。

【0090】

上述の実施形態で示した各機能は、１又は複数の処理回路によって実装されうる。処理回路には、プログラムされたプロセッサ、電気回路などが含まれ、さらには、特定用途向けの集積回路（ＡＳＩＣ）のような装置、又は、記載された機能を実行するよう配置された回路構成要素なども含まれる。

【0091】

いくつかの実施形態を説明したが、上記開示内容に基づいて実施形態の修正または変形をすることが可能である。上記実施形態のすべての構成要素、及び請求の範囲に記載されたすべての特徴は、それらが互いに矛盾しない限り、個々に抜き出して組み合わせてもよい。

【符号の説明】

【0092】

２０ 評価装置
２１ 入力部
２３ データベース
２５ コントローラ
２７ 操作部
２９ 表示部
２５１ 予測関数生成部
２５３ 指標値設定部
２５５ 絶対差算出部

【図1】

【図2】