特許 7352369 予測モデル評価システム、予測モデル評価方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-09-20

(45)【発行日】2023-09-28

(54)【発明の名称】予測モデル評価システム、予測モデル評価方法

(51)【国際特許分類】

   G06Q 10/04 20230101AFI20230921BHJP

【ＦＩ】

G06Q10/04

【請求項の数】 6

(21)【出願番号】P 2019067430

(22)【出願日】2019-03-29

(65)【公開番号】P2020166645

(43)【公開日】2020-10-08

【審査請求日】2022-03-17

(73)【特許権者】

【識別番号】000233491

【氏名又は名称】株式会社日立システムズ

(74)【代理人】

【識別番号】110001689

【氏名又は名称】青稜弁理士法人

(72)【発明者】

【氏名】津嶋 紀宏

【審査官】毛利 太郎

(56)【参考文献】

【文献】特開２００５－３２８９２４（ＪＰ，Ａ）

【文献】国際公開第２０１７／１６８４５８（ＷＯ，Ａ１）

【文献】特開２０１９－０１２５５５（ＪＰ，Ａ）

【文献】特表２０２０－５３３７０９（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｑ １０／００－９９／００

(57)【特許請求の範囲】

【請求項1】

評価対象となる学習データの中から、説明変数と、目的変数と、前記説明変数のうち従来予測モデルによる予測結果が設定された従来予測変数とを設定する変数設定部と、
前記説明変数と前記目的変数と前記従来予測変数とを含む前記学習データを所定の基準に基づいて訓練データと検証データとに分け、前記訓練データから予測モデルを生成し、
前記検証データを前記予測モデルに入力して予測結果を出力する学習部と、
前記予測モデルによる予測結果として得られた予測値と、学習データに含まれる目的変数の値と、前記従来予測変数の値との関係を、所定の指標を用いて評価するモデル評価部と、を備え、
前記モデル評価部は、前記所定の指標として、前記従来予測変数の値と前記目的変数の値が異なるもののうち、前記予測値と前記目的変数の値が同じ値である割合を意味する改善率を用いて、前記評価を行う、
ことを特徴とするモデル評価システム。

【請求項2】

評価対象となる学習データの中から、説明変数と、目的変数と、前記説明変数のうち従来予測モデルによる予測結果が設定された従来予測変数とを設定する変数設定部と、
前記説明変数と前記目的変数と前記従来予測変数とを含む前記学習データを所定の基準に基づいて訓練データと検証データとに分け、前記訓練データから予測モデルを生成し、
前記検証データを前記予測モデルに入力して予測結果を出力する学習部と、
前記予測モデルによる予測結果として得られた予測値と、学習データに含まれる目的変数の値と、前記従来予測変数の値との関係を、所定の指標を用いて評価するモデル評価部と、を備え、
前記モデル評価部は、前記所定の指標として、前記学習データの項目のうち、設定された前記従来予測変数以外の項目がどの程度効果を発揮しなかったかを示す非改善率を用いて、前記評価を行う、
ことを特徴とするモデル評価システム。

【請求項3】

評価対象となる学習データの中から、説明変数と、目的変数と、前記説明変数のうち従来予測モデルによる予測結果が設定された従来予測変数とを設定する変数設定部と、
前記説明変数と前記目的変数と前記従来予測変数とを含む前記学習データを所定の基準に基づいて訓練データと検証データとに分け、前記訓練データから予測モデルを生成し、
前記検証データを前記予測モデルに入力して予測結果を出力する学習部と、
前記予測モデルによる予測結果として得られた予測値と、学習データに含まれる目的変数の値と、前記従来予測変数の値との関係を、所定の指標を用いて評価するモデル評価部と、を備え、
前記モデル評価部は、前記所定の指標として、前記従来予測変数の値と前記目的変数の値が同じもののうち、前記予測値と前記目的変数の値が異なる値である割合を意味する失格率を用いて、前記評価を行う、
ことを特徴とするモデル評価システム。

【請求項4】

変数設定部が、評価対象となる学習データの中から、説明変数と、目的変数と、前記説明変数のうち従来予測モデルによる予測結果が設定された従来予測変数とを設定し、
学習部が、前記説明変数と前記目的変数と前記従来予測変数とを含む前記学習データを、所定の基準に基づいて訓練データと検証データとに分け、前記訓練データから予測モデルを生成し、前記検証データを前記予測モデルに入力して予測結果を出力し、
モデル評価部が、前記予測モデルによる予測結果として得られた予測値と、学習データに含まれる目的変数の値と、前記従来予測変数の値との関係を、所定の指標を用いて評価する場合において、
前記モデル評価部は、前記所定の指標として、前記従来予測変数の値と前記目的変数の値が異なるもののうち、前記予測値と前記目的変数の値が同じ値である割合を意味する改善率を用いて、前記評価を行う、
ことを特徴とするモデル評価方法。

【請求項5】

変数設定部が、評価対象となる学習データの中から、説明変数と、目的変数と、前記説明変数のうち従来予測モデルによる予測結果が設定された従来予測変数とを設定し、
学習部が、前記説明変数と前記目的変数と前記従来予測変数とを含む前記学習データを、所定の基準に基づいて訓練データと検証データとに分け、前記訓練データから予測モデルを生成し、前記検証データを前記予測モデルに入力して予測結果を出力し、
モデル評価部が、前記予測モデルによる予測結果として得られた予測値と、学習データに含まれる目的変数の値と、前記従来予測変数の値との関係を、所定の指標を用いて評価する場合において、
前記モデル評価部は、前記所定の指標として、前記学習データの項目のうち、設定された前記従来予測変数以外の項目がどの程度効果を発揮しなかったかを示す非改善率を用いて、前記評価を行う、
ことを特徴とするモデル評価方法。

【請求項6】

変数設定部が、評価対象となる学習データの中から、説明変数と、目的変数と、前記説明変数のうち従来予測モデルによる予測結果が設定された従来予測変数とを設定し、
学習部が、前記説明変数と前記目的変数と前記従来予測変数とを含む前記学習データを、所定の基準に基づいて訓練データと検証データとに分け、前記訓練データから予測モデルを生成し、前記検証データを前記予測モデルに入力して予測結果を出力し、
モデル評価部が、前記予測モデルによる予測結果として得られた予測値と、学習データに含まれる目的変数の値と、前記従来予測変数の値との関係を、所定の指標を用いて評価する場合において、
前記モデル評価部は、前記所定の指標として、前記従来予測変数の値と前記目的変数の値が同じもののうち、前記予測値と前記目的変数の値が異なる値である割合を意味する失格率を用いて、前記評価を行う、
ことを特徴とするモデル評価方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、予測モデル評価システム、予測モデル評価方法に関する。

【背景技術】

【0002】

従来から、機械学習（ＭＬ：Machine Learning）や深層学習（ＤＬ：Deep Learning）をはじめとする人工知能（ＡＩ：Artificial Intelligence）を用いた学習において、予測モデルの精度や予測結果を説明する手法やアルゴリズムがある。例えば、特許文献１では、機械学習において、説明変数をシミュレーションすることにより、説明変数毎に目的変数に対する影響の度合いを算出している。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１８－１４７２８０号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、特許文献１では、シミュレーションという仮想的な実験に基づいて説明変数と目的変数との関係性を算出するため、必ずしも事実を再現しているとは限らない。一般に、人工知能による学習により得られる予測モデルでは、説明変数を入力して目的変数を出力するが、当該予測モデルによってどのような過程を経て目的変数が得られるのかがブラックボックスとなっている。予測モデルの入力となる学習データ自体に、従来の予測モデルの結果となる目的変数が説明変数として設定されていることがあるが、上記のように予測過程がブラックボックスとなっているため、人工知能により学習した予測モデルが事実をどの程度再現しているのか等、予測モデルの再現性について正しく評価できなかった。

【0005】

本発明は、従来よりも予測モデルの再現性について正しく評価することが可能な予測モデル評価システム、予測モデル評価方法を提供することを目的とする。

【課題を解決するための手段】

【0006】

本発明にかかる予測モデル評価システムは、評価対象となる学習データの中から、説明変数と、目的変数と、前記説明変数のうち従来予測モデルによる予測結果が設定された従来予測変数とを設定する変数設定部と、前記説明変数と前記目的変数と前記従来予測変数とを含む前記学習データを所定の基準に基づいて訓練データと検証データとに分け、前記訓練データから予測モデルを生成し、前記検証データを前記予測モデルに入力して予測結果を出力する学習部と、前記予測モデルによる予測結果として得られた予測値と、学習データに含まれる目的変数の値と、前記従来予測変数の値との関係を、所定の指標を用いて評価するモデル評価部と、を備えることを特徴とするモデル評価システムとして構成される。

【0007】

また、本発明は、上記予測モデル評価システムで実行される予測モデル評価方法としても把握される。

【発明の効果】

【0008】

本発明によれば、従来よりも予測モデルの再現性について正しく評価することができる。

【図面の簡単な説明】

【0009】

【図1】本実施の形態における予測モデル評価システムの構成例を示す図である。

【図2】本システムにおける処理の流れを示す概念図である。

【図3】学習データの例を示す図である。

【図4】端末から設定される、説明変数、従来予測変数、目的変数の各項目の例を示す図である。

【図5】訓練データの例を示す図である。

【図6】検証データの例を示す図である。

【図7】モデル評価部による評価結果を表示する画面（評価結果画面）の例を示す図である。

【図8】本システムで行われる処理（予測モデル評価処理）の処理手順を示すフローチャートである。

【発明を実施するための形態】

【0010】

以下に添付図面を参照して、本発明にかかる予測モデル評価システム、予測モデル評価方法の実施の形態を詳細に説明する。

【0011】

図１は、本実施の形態における予測モデル評価システムの構成例を示す図である。図１に示すように、予測モデル評価システム１０００は、サーバ１００と、端末２００とがネットワークＮを介して接続された構成となっている。図１では、サーバ１００、端末２００が、それぞれ１台ずつである構成を例示しているが、サーバ１００が複数のサーバによって構成されたり、クラウドとして構成されていてもよい。また、端末２００がネットワークＮを介してサーバ１００に複数接続されていてもよい。

【0012】

サーバ１００は、予測モデルを学習し、学習した予測モデルによる予測結果を評価するためのサーバであり、ハードウェアとしては一般的なコンピュータから構成される。端末２００は、上記予測結果を評価するためにユーザが操作するための端末であり、ハードウェアとしては一般的なコンピュータから構成される。ネットワークＮは、有線、無線を問わず、インターネット等の一般的な公衆回線網から構成される。なお、以下では、ユーザが端末２００を操作して上記予測結果を評価しているが、サーバ１００に端末２００と同様の機能を備え、サーバ１００を操作することで上記予測結果を評価してもよい。また、以下では、各処理をサーバ１００が実行する前提で説明しているが、１または複数のサーバがこれらの処理を実行してもよいし、サーバ１００の機能を有したクラウドがこれらの処理を実行してもよい。

【0013】

サーバ１００、端末２００における各処理は、プログラムの実行により実現される。サーバ１００、端末２００は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＨＤＤ(Hard Disk Drive)、ＮＩＣ（Network Interface Card）といった、通信可能なコンピュータが備える一般的な構成を有し、ＣＰＵが、ＲＯＭからプログラムを読み出して実行することにより、各処理を実行する各機能部の機能が実現される。上記プログラムは、ＵＳＢ(Universal Serial Bus)メモリ等の記憶媒体から読み出されたり、ネットワークを介した他のコンピュータからダウンロードする等して、サーバ１００や端末２００に提供されてもよい。

【0014】

サーバ１００は、送受信部１０１と、変数設定部１０２と、学習部１０３と、モデル評価部１０４と、表示データ生成部１０５と、記憶部１０６とを有している。

【0015】

送受信部１０１は、端末２００から学習データを受信したり、サーバ１００が実行した予測モデルによる予測結果や評価結果を端末２００に送信する等、本システムで行われる処理に必要な情報を送受信する。

【0016】

変数設定部１０２は、端末２００から指定された学習データの項目のうち、説明変数とする項目、目的変数とする項目を学習データに設定する。また、変数設定部１０２は、説明変数のうち、従来の予測モデルにより得られた予測結果が設定されている説明変数を、従来予測変数として学習データの項目に設定する。本実施例において、従来予測変数を設定する理由は、学習データ自体がすでに何らかの予測モデルを用いて得られたものである場合が多いことに着目し、従来予測変数を設定することにより、当該従来予測変数が、学習して得られた予測モデルによる予測結果にどのように影響を与えたのかを判断したり、あるいは学習して得られた予測モデルによる予測結果を従来予測変数の違いにより評価するためである。

【0017】

学習部１０３は、端末２００から受信された学習データを、所定の基準で訓練データと検証データとに分類し、訓練データから予測モデルを生成するとともに、生成した予測モデルに検証データを入力して得られた予測結果である予測値を出力する。学習モデルの生成については、従来から知られている各種手法を用いることができる。

【0018】

モデル評価部１０４は、上記予測値と、上記目的変数の値と、従来予測変数の値とを比較し、これらの関係性を評価する。当該比較、評価の例については後述する。

【0019】

表示データ生成部１０５は、モデル評価部１０４による比較結果、評価結果を端末２００に表示させるためのデータを生成する。当該データの例や端末２００への表示例については後述する。

【0020】

記憶部１０６は、本システムで用いられる学習データ、訓練データ、検証データをはじめ、設定された説明変数、従来予測変数、目的変数の各項目やこれらの値を記憶する。各データの具体例については後述する。

【0021】

端末２００は、入出力部２０１と、制御部２０２と、通信部２０３とを有して構成されている。

【0022】

入出力部２０１は、ユーザから学習データの入力、説明変数、従来予測変数、目的変数の指定を受け付けたり、サーバ１００による上記比較結果や評価結果を表示部に出力する。

【0023】

制御部２０２は、端末２００の各部の動作を制御する。

【0024】

通信部２０３は、サーバ１００との間で本システムに必要な各種データの送受信を司る。

【0025】

図２は、本システムにおける処理の流れを示す概念図である。まず、サーバ１００の送受信部１０１は、端末２００から入力された学習データを受信して、記憶部１０６に格納２１する。

【0026】

図３は、学習データの例を示す図である。図３に示すように、学習データ１０６１は、学習データのレコード番号（＃）と、項目１～Ｎ（図３では項目７）までのＮ個の項目とが対応付けて記憶されている。例えば、学習データは「与信」を扱うデータである場合、項目１は年収に関する項目、項目２は既婚・未婚の別に関する項目、項目３は年齢に関する項目、項目４は他の借入に関する項目、項目５は会社規模に関する項目、項目６は与信に関する項目、項目７は返済状況（完済したか否か）に関する項目が挙げられる。

【0027】

端末２００の制御部２０２は、入出力部２０１がユーザから受け付けた説明変数とする項目、目的変数とする項目をサーバ１００に送信２２し、サーバ１００の変数設定部１０２は、送受信部１０１が受信した、端末２００から設定された説明変数となる項目、目的変数となる項目を、学習データに対応付けて記憶部１０６に記憶２３する。

【0028】

図４は、端末２００から設定される、説明変数、従来予測変数、目的変数の各項目の例を示す図である。図４では、端末２００の入出力部２０１がタッチパネル等の画面（変数設定画面）４０１から入力を受け付けて、その結果を表示する様子を示している。

【0029】

図４に示すように、変数設定画面には、学習データを構成する項目のうち、ユーザが指定した説明変数となる項目１～６と、目的変数となる項目７とが対応付けて表示されている。また、ユーザの判断により、説明変数となる項目のうち、項目６を従来予測変数として設定していることを示している。従来予測変数の設定は、例えば、変数設定画面４０１の従来予測変数設定欄４０２を選択（クリック）することにより行われる。

【0030】

サーバ１００の変数設定部１０２は、記憶部１０６に記憶された学習データの項目として従来予測変数が設定されているか否かを判定２４し、従来予測変数が設定されていると判定した場合、その項目を従来予測変数に設定２５し、ユーザに確認させるために、上記変数設定画面を端末２００に送信し、端末２００の入出力部２０１が当該画面を表示２６ａするとともに、設定された従来予測変数を、学習データ、説明変数となる項目、目的変数となる項目に対応付けて記憶部１０６に記憶２６ｂする。

【0031】

サーバ１００の学習部１０３は、記憶部１０６に記憶した学習データ１０６１を読み出して、訓練データ１０６２と検証データ１０６３とに分類し、予測モデルを生成するとともに、当該予測モデルを記憶２７する。分類の方法は、処理する学習データの内容等に応じて適宜定めればよい。例えば、学習データのうち全レコードからランダムに7割のレコードを選んで訓練データにして、残りの3割のレコードを検証データに分類すればよい。

【0032】

図５は、訓練データ１０６２の例を示す図である。図５に示すように、訓練データ１０６２は、図３に示した学習データ１０６１と同様の項目を有している。図５では、レコード番号（＃）１～ｎまでのレコードが訓練データ１０６２として学習データ１０６１から抽出されたことを示している。

【0033】

図６は、検証データ１０６３の例を示す図である。図６に示すように、検証データ１０６３は、図３に示した学習データ１０６１と同様の項目を有している。図６では、レコード番号（＃）ｎ＋１～Ｐまでのレコードが検証データ１０６３として学習データ１０６１から抽出されたことを示している。

【0034】

学習部１０３は、学習データ１０６１から得られた訓練データ１０６２を用いてAI学習して生成した予測モデルに、検証データを入力して得られた予測結果である予測値を出力２８する。

【0035】

学習部１０３は、出力した予測値を記憶部１０６に記憶２９する。その後、モデル評価部１０４は、学習部１０３が記憶した予測値の読み出し３０を行い、予測モデルによる予測結果の値と目的変数の値と従来予測変数の値とを比較してモデル評価３１を開始する。当該評価の具体的な内容については後述する。

【0036】

モデル評価部１０４が上記モデル評価３１を開始すると、表示データ生成部１０５は、設定された従来予測変数と、予測モデルに検証データを入力して得られた予測結果である予測値と、目的変数の値とを比較して表示するための表示用データを生成３１１する。さらに、モデル評価部１０４は、所定の手法を用いて、上記モデル評価３１の値を計算３１２する。その後、モデル評価部１０４は、表示データ生成部１０５が生成した当該評価の結果の表示用データを端末２００に送信し、端末２００の入出力部２０１が、当該評価の結果を表示部に表示３２する。

【0037】

図７は、モデル評価部３１による評価結果を表示する画面（評価結果画面）の例を示す図である。本例では、評価結果画面を表形式で表示する場合を例示しているが、設定された従来予測変数の値と、目的変数の値と、予測モデルに検証データを入力して得られた予測結果である予測値とを各軸とした３次元空間上にプロットした画面を表示してもよい。これにより、ユーザは、一見して各項目の相関を把握することができる。

【0038】

図７に示すように、評価結果画面７０１には、設定された従来予測変数の値と、目的変数の値と、予測結果として得られた予測値と、これらの値がとられたパターンを示す件数とが対応付けられている。図７では、ＴＴＴが１０００件、ＴＴＦが６０件、ＴＦＴが８０件、ＴＦＦが６００件、ＦＴＴが７００件、ＦＴＦが５０件、ＦＦＴが７０件、ＦＦＦが１２００件として集計されていることがわかる。

【0039】

例えば、評価対象となる予測モデルが「与信」に関するモデルである場合、従来予測変数の値において、「○」は、従来の予測方法で「ＯＫ（返済能力有り）」と判断されたことを表している。また、「×」は、従来の予測方法で「ＮＧ（返済能力無し）」と判断されたことを表している。

【0040】

さらに、目的変数の値において、「○」は、実際に「ＯＫ（借金を返済した）」であったという結果を表している。また、「×」は、実際に「ＮＧ（借金を返済できなかった）」であったという結果を表している。

【0041】

さらに、予測値において、「○」は、検証データを予測モデルに入力して得られた予測結果が「ＯＫ（返済能力有り）」と判断されたことを表している。また、「×」は、上記予測結果が「ＮＧ（返済能力無し）」と判断されたことを表している。

【0042】

このような結果が得られると、モデル評価部１０４は、例えば、従来から知られている評価方法、例えば、正解率、適合率、検出率、Ｆ値を算出してその評価を実行し、結果を上記評価結果画面に出力することができる。

【0043】

例えば、モデル評価部１０４は、以下の方法により正解率Ａを算出することができる。正解率は、目的変数の値と予測値が同じである割合を意味する。

【0044】

Ａ＝（TTT＋TFF＋FTT＋FFF）÷（TTT＋TTF＋TFT＋TFF＋FTT＋FTF＋FFT＋FFF）
＝（1,000＋600＋700＋1,200）÷（1,000＋60＋80＋600＋700＋50＋70＋1,200）
＝2,500÷3,760≒0.665＝66.5%

【0045】

また、例えば、モデル評価部１０４は、以下の方法により適合率Ｐを算出することができる。適合率は、予測値が「○」と予測したもののうち、目的変数の値が「○」である割合を意味する。

【0046】

P＝（TTT＋FTT）÷（TTT＋TFT＋FTT＋FFT）
＝（1,000＋700）÷（1,000＋80＋700＋70）
＝1,700÷1,850≒0.919＝91.1％

【0047】

また、例えば、モデル評価部１０４は、以下の方法により検出率Ｒを算出することができる。検出率は、目的変数の値が「○」のもののうち、予測値も「○」と予測した割合を意味する。

【0048】

Ｒ＝ （TTT＋FTT）÷（TTT＋TTF＋FTT＋FTF）
＝（1,000＋700）÷（1,000＋60＋700＋50）
＝1,700÷1,810≒0.939＝93.9％

【0049】

また、例えば、モデル評価部１０４は、以下の方法によりＦ値（適合率と検出率の調和平均）を算出することができる。Ｆ値は、適合率と検出率の平均値（率）を計算する方法の一つであり、率の平均は調和平均で計算されるのが一般的であるため、当該手法により算出することができる。

【0050】

１÷Ｆ値＝｛（１÷適合率）＋（１÷検出率）｝÷２
∴ Ｆ値＝２÷｛（１÷適合率）＋（１÷検出率）｝
＝２÷｛（１÷0.919）＋（１÷0.939）｝＝0.929＝92.9%

【0051】

さらに、本実施例では、改善率、非改善率、失格率を算出することも可能である。これらの指標は、本システムにおいて新たな評価指標として定義して計算するものであり、主に、予測値を評価する指標を計算することが可能となる。

【0052】

即ち、予測値がブラックボックスであることに起因する利用者の不安や説明責任について、従来予測変数を利用する本例は、予測値の信頼性を以下のように数値化して説明することができ、また、それによって不安を軽減させる効果がある。モデル評価部１０４は、上記従来から知られている評価指標の場合と同様に、これらの指標の値を算出してその評価を実行し、結果を上記評価結果画面に出力することができる。

【0053】

例えば、モデル評価部１０４は、以下の方法により改善率ＩＲを算出することができる。改善率は、従来予測変数の値と目的変数の値が異なるもののうち、目的変数の値と予測値が同じ値である割合を意味するものとして定義する。これにより、ＡＩ学習する際のデータセットの項目のうち、従来予測変数を算出した項目以外の項目が、どの程度効果を発揮したかを把握することができる。

【0054】

ＩＲ＝（TFF＋FTT）÷（TFT＋TFF＋FTT＋FTF）
＝（600＋700）÷（80＋600＋700＋50）＝1,300÷1,430≒0.91＝91％

【0055】

また、例えば、モデル評価部１０４は、以下の方法により非改善率ＮＩＲを算出することができる。非改善率は、ＡＩ学習する際のデータセットの項目のうち、従来予測変数を算出した項目以外の項目が、どの程度効果を発揮しなかったかを示す指標として定義する。これにより、例えば、改善率（ＩＲ）と非改善率（ＮＩＲ）を比して、改善率（ＩＲ）が大きい値（率）なら、ＡＩ予測モデルは信用できる（改善している）と判断することができる。
ＮＩＲ＝１－IR＝１－0.91＝0.09＝9％

【0056】

また、例えば、モデル評価部３１は、以下の方法により失格率ＤＲを算出することができる。失格率は、従来予測変数の値と目的変数の値が同じもののうち、目的変数の値と予測値が異なる値である割合を意味する指標として定義する。これにより、ＡＩ学習する際のアルゴリズム良否や学習データセットの項目不足、もしくはデータ量不足の可能性を判断することができる。

【0057】

ＤＲ＝（TTF＋FFT）÷（TTT＋TTF＋FFT＋FFF）
＝（60＋70）÷（1,000＋60＋70＋1,200）
＝130÷2,330≒0.056＝5.6％

【0058】

なお、上述した各指標は一例に過ぎず、他の指標を定義することも可能である。例えば、真陰性率、特異度を新たな指標として定義し、算出してもよい。

【0059】

例えば、適合率Ｐが、予測値が「○」と予測したもののうち、目的変数の値が「○」である割合であることに対して、真陰性率を、予測値が「×」と予測したもののうち、目的変数の値が「×」である割合として定義してもよい。

【0060】

さらに、検出率Ｒが、目的変数の値が「○」のもののうち、予測値も「○」と予測した割合であることに対して、目的変数の値が「×」のもののうち、予測値も「×」と予測した割合として定義してもよい。

【0061】

続いて、本システムで行われる処理について、フローチャートを用いて説明する。図８は、本システムで行われる処理（予測モデル評価処理）の処理手順を示すフローチャートである。

【0062】

サーバ１００の送受信部１０１は、端末２００から入力された学習データを受信して、記憶部１０６に格納する（Ｓ８０１）。学習データについては図３において既に説明したため、ここではその説明を省略する。

【0063】

端末２００の制御部２０２は、入出力部２０１がユーザから受け付けた説明変数とする項目、目的変数とする項目をサーバ１００に送信し、サーバ１００の変数設定部１０２は、送受信部１０１が受信した、端末２００から設定された説明変数となる項目、従来予測変数となる項目、目的変数となる項目を、学習データに対応付けて記憶部１０６に記憶する（Ｓ８０２）。

【0064】

サーバ１００の変数設定部１０２は、記憶部１０６に記憶された学習データの項目として従来予測変数が設定されているか否かを判定し（Ｓ８０３）、従来予測変数が設定されていると判定した場合（Ｓ８０３；Ｙｅｓ）、その項目を従来予測変数として、目的変数の値に対応付けて記憶する（Ｓ８０４、Ｓ８０５）。なお、サーバ１００の変数設定部１０２が、従来予測変数が設定されていると判定した場合は（Ｓ８０３；Ｎｏ）、Ｓ８０４、Ｓ８０５の処理を行わずにＳ８０６に進む。

【0065】

サーバ１００の学習部１０３は、記憶部１０６に記憶した学習データ１０６１を読み出して、訓練データ１０６２と検証データ１０６３とに分類し、予測モデルを生成するとともに、当該予測モデルを記憶する（Ｓ８０６）。

【0066】

学習部１０３は、学習データ１０６１から得られた訓練データ１０６２から生成した予測モデルに検証データを入力して予測結果である予測値を出力し（Ｓ８０７）、当該予測値を記憶部１０６に記憶する（Ｓ８０８）。モデル評価部１０４は、学習部１０３が記憶した予測値を読み出し、モデル評価を開始する（Ｓ８０９）。

【0067】

その後、表示データ生成部１０５が、設定された従来予測変数と、上記予測値と、目的変数の値とを比較して表示するための表示用データを生成し、モデル評価部１０４が、上記の各指標を用いた評価値を計算し、当該評価の結果を端末２００に送信し、端末２００の入出力部２０１が、当該評価の結果を表示部に表示する（Ｓ８１０）。

【0068】

このように、本実施例では、上記のような各処理を実行することにより、従来よりも予測モデルの再現性について正しく評価することができる。例えば、予測モデルの入力となる学習データ自体に、従来の予測モデルの結果が説明変数として設定されているような場合でも、従来予測変数の値、目的変数の値、予測値の間の相関関係を可視化することができ、その結果、ＡＩ予測の効果や新たな発見（例えば、項目間の新たな相関）の支援を行うことができる。

【符号の説明】

【0069】

１０００ 予測モデル評価システム
１００ サーバ
２００ 端末
Ｎ ネットワーク
１０１ 送受信部
１０２ 変数設定部
１０３ 学習部
１０４ モデル評価部
１０５ 表示データ生成部
１０６ 記憶部
２００ 端末
２０１ 入出力部
２０２ 制御部
２０３ 通信部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】