特許 7563569 分析装置、分析方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-09-30

(45)【発行日】2024-10-08

(54)【発明の名称】分析装置、分析方法、及びプログラム

(51)【国際特許分類】

   G06N 5/045 20230101AFI20241001BHJP

   G06N 20/00 20190101ALI20241001BHJP

【ＦＩ】

G06N5/045

G06N20/00

【請求項の数】 10

(21)【出願番号】P 2023501926

(86)(22)【出願日】2021-02-25

(86)【国際出願番号】 JP2021007191

(87)【国際公開番号】W WO2022180749

(87)【国際公開日】2022-09-01

【審査請求日】2023-08-02

(73)【特許権者】

【識別番号】000004237

【氏名又は名称】日本電気株式会社

(74)【代理人】

【識別番号】100103894

【弁理士】

【氏名又は名称】家入 健

(72)【発明者】

【氏名】佐久間 啓太

(72)【発明者】

【氏名】坂井 智哉

(72)【発明者】

【氏名】亀田 義男

(72)【発明者】

【氏名】玉野 浩嗣

【審査官】真木 健彦

(56)【参考文献】

【文献】特開２０２０－０４２７３７（ＪＰ，Ａ）

【文献】特開平０９－２３３７００（ＪＰ，Ａ）

【文献】国際公開第２０２０／２５５４１４（ＷＯ，Ａ１）

【文献】特開２０２０－２０１７２７（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｎ ５／０４

Ｇ０６Ｎ ２０／００

(57)【特許請求の範囲】

【請求項1】

予測モデル、前記予測モデルで用いられる説明変数のデータ、又は、前記予測モデルで用いられる目的変数のデータについての指標を複数種類算出して、それぞれを評価する指標評価手段と、
複数種類の前記指標のそれぞれの評価結果の組み合わせに応じて、前記予測モデルによる予測のミスの要因を特定する要因特定手段と
を有し、
複数種類の前記指標は、
（１）平均二乗誤差を用いた前記予測モデルの精度、
（２）異常検知手法を用いて計算される、訓練データに対する予測ミスサンプルの異常度、
（３）前記訓練データの分布と運用データの分布の分布間距離から計算されるデータ分布変化量、
の少なくとも一つを含み、
前記訓練データは、前記予測モデルの訓練に用いられた説明変数のデータ又は目的変数のデータであり、
前記運用データは、前記予測モデルの運用時に得られたデータであり、前記予測モデルによる予測に用いられた説明変数のデータ又は目的変数の実績値のデータである
分析装置。

【請求項2】

前記要因特定手段は、複数種類の前記指標の評価結果の組み合わせと要因とを対応付ける規則にしたがって、前記予測モデルによる予測のミスの要因を特定する
請求項１に記載の分析装置。

【請求項3】

前記要因特定手段は、複数種類の前記指標のうちの所定の指標の評価結果と、当該所定の指標の評価結果に応じて選択される前記指標の評価結果との組み合わせに応じて、前記予測モデルによる予測のミスの要因を特定する
請求項２に記載の分析装置。

【請求項4】

前記指標の算出アルゴリズム又は評価アルゴリズムを指定する指示を受付ける指示受付部をさらに有し、
前記指標評価手段は、前記指示で指定された前記算出アルゴリズム又は前記評価アルゴリズムにより前記指標の算出又は評価を行う
請求項１乃至３のいずれか一項に記載の分析装置。

【請求項5】

前記規則を指定する指示を受付ける指示受付部をさらに有し、
前記要因特定手段は、前記指示で指定された前記規則にしたがって、前記予測モデルによる予測のミスの要因を特定する
請求項２に記載の分析装置。

【請求項6】

前記要因特定手段により特定された前記要因を解消するための作業を決定する作業決定手段をさらに有する
請求項１乃至５のいずれか一項に記載の分析装置。

【請求項7】

前記指標に応じた所定のグラフの画像データを生成する可視化手段をさらに有する
請求項１乃至６のいずれか一項に記載の分析装置。

【請求項8】

前記異常度又は前記データ分布変化量の少なくとも一方は、目的変数に対して算出される前記指標である
請求項１乃至７のいずれか一項に記載の分析装置。

【請求項9】

予測モデル、前記予測モデルで用いられる説明変数のデータ、又は、前記予測モデルで用いられる目的変数のデータについての指標を複数種類算出して、それぞれを評価し、
複数種類の前記指標のそれぞれの評価結果の組み合わせに応じて、前記予測モデルによる予測のミスの要因を特定し、
複数種類の前記指標は、
（１）平均二乗誤差を用いた前記予測モデルの精度、
（２）異常検知手法を用いて計算される、訓練データに対する予測ミスサンプルの異常度、
（３）前記訓練データの分布と運用データの分布の分布間距離から計算されるデータ分布変化量、
の少なくとも一つを含み、
前記訓練データは、前記予測モデルの訓練に用いられた説明変数のデータ又は目的変数のデータであり、
前記運用データは、前記予測モデルの運用時に得られたデータであり、前記予測モデルによる予測に用いられた説明変数のデータ又は目的変数の実績値のデータである
分析方法。

【請求項10】

予測モデル、前記予測モデルで用いられる説明変数のデータ、又は、前記予測モデルで用いられる目的変数のデータについての指標を複数種類算出して、それぞれを評価する指標評価ステップと、
複数種類の前記指標のそれぞれの評価結果の組み合わせに応じて、前記予測モデルによる予測のミスの要因を特定する要因特定ステップと
をコンピュータに実行させ、
複数種類の前記指標は、
（１）平均二乗誤差を用いた前記予測モデルの精度、
（２）異常検知手法を用いて計算される、訓練データに対する予測ミスサンプルの異常度、
（３）前記訓練データの分布と運用データの分布の分布間距離から計算されるデータ分布変化量、
の少なくとも一つを含み、
前記訓練データは、前記予測モデルの訓練に用いられた説明変数のデータ又は目的変数のデータであり、
前記運用データは、前記予測モデルの運用時に得られたデータであり、前記予測モデルによる予測に用いられた説明変数のデータ又は目的変数の実績値のデータである
プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は分析装置、分析方法、及びプログラムが格納された非一時的なコンピュータ可読媒体に関する。

【背景技術】

【0002】

訓練データに対する過学習又は過少学習、データの分布の変化等の要因により、あるデータ点に対する予測モデルの予測値が実績値から大きく外れることがある。これを予測ミスと呼ぶ。予測ミスの分析と予測ミスの要因を解消するための作業を人手で行う場合、分析担当者は、まず、予測モデル及び訓練データ等を用いた複数の指標に基づく多角的な分析をともなう専門的な検討を行い、要因を特定する。次に、分析担当者は、判明した要因を解消するための作業を考案し、それを実行する。

【0003】

予測モデルの評価に関する技術として、いくつかの技術が知られている。例えば、非特許文献１に記載された指標監視システムは、複数の指標に対する継続的な評価を行い、評価結果をシステムの利用者に提示する。また、特許文献１に記載された予測モデル維持システムは、予測精度とデータ分布変化量を継続的に評価し、評価結果より予測モデルの劣化状態を検知すると自動で再学習を行い、モデルを更新する。

【先行技術文献】

【非特許文献】

【0004】

【文献】Polyzotis, N., Zinkevich, M., Roy, S., Breck, E., & Whang, S. "Data validation for machine learning." Proceedings of Machine Learning and Systems 1 (2019): 334-347.

【特許文献】

【0005】

【文献】特開2019-87101号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

非特許文献１の指標監視システムは、複数の指標を個別に計算し、各指標の判定結果を指標ごとに個別に提示するのみである。そのため、依然として、予測ミスの要因の特定には、分析担当者による専門的な検討が必要とされる。また、特許文献１の予測モデル維持システムも、複数の指標についての評価結果に基づく予測ミスの要因の特定は行われない。

【0007】

そこで、本開示は上記課題を鑑みて、予測モデルを用いた予測における予測ミスの要因を様々な観点に基づいて容易に特定することができる分析装置、分析方法、及びプログラムを提供することを主な目的とする。

【課題を解決するための手段】

【0008】

本開示の第１の態様にかかる分析装置は、
予測モデル、前記予測モデルで用いられる説明変数のデータ、又は、前記予測モデルで用いられる目的変数のデータについての指標を複数種類算出して、それぞれを評価する指標評価手段と、
複数種類の前記指標のそれぞれの評価結果の組み合わせに応じて、前記予測モデルによる予測のミスの要因を特定する要因特定手段と
を有する。

【0009】

本開示の第２の態様にかかる分析方法では、
予測モデル、前記予測モデルで用いられる説明変数のデータ、又は、前記予測モデルで用いられる目的変数のデータについての指標を複数種類算出して、それぞれを評価し、
複数種類の前記指標のそれぞれの評価結果の組み合わせに応じて、前記予測モデルによる予測のミスの要因を特定する。

【0010】

本開示の第３の態様にかかるプログラムは、
予測モデル、前記予測モデルで用いられる説明変数のデータ、又は、前記予測モデルで用いられる目的変数のデータについての指標を複数種類算出して、それぞれを評価する指標評価ステップと、
複数種類の前記指標のそれぞれの評価結果の組み合わせに応じて、前記予測モデルによる予測のミスの要因を特定する要因特定ステップと
をコンピュータに実行させる。

【発明の効果】

【0011】

本開示によれば、予測モデルを用いた予測における予測ミスの要因を様々な観点に基づいて容易に特定することができる分析装置、分析方法、及びプログラムを提供できる。

【図面の簡単な説明】

【0012】

【図1】実施形態の概要にかかる分析装置の構成の一例を示すブロック図である。

【図2】実施の形態にかかる分析装置の構成の一例を示すブロック図である。

【図3】記憶部に記憶される情報の例を表す模式図である。

【図4】指標に対する判定結果の組み合わせの例を示す説明図である。

【図5】表形式の要因決定規則の例を示す説明図である。

【図6】フローチャート形式の要因決定規則の例を示す説明図である。

【図7】作業決定規則の例を示す説明図である。

【図8】可視化部が生成する画像データの例を示す模式図である。

【図9】可視化部が生成する画像データの例を示す模式図である。

【図10】可視化部が生成する画像データの例を示す模式図である。

【図11】可視化部が生成する画像データの例を示す模式図である。

【図12A】ユーザーインターフェースの例を示す模式図である。

【図12B】ユーザーインターフェースの例を示す模式図である。

【図12C】ユーザーインターフェースの例を示す模式図である。

【図12D】ユーザーインターフェースの例を示す模式図である。

【図13】実施の形態にかかる分析装置のハードウェア構成の一例を示す模式図である。

【図14】実施の形態の分析装置の動作例を示すフローチャートである。

【図15】要因決定規則及び作業決定規則の例を示す模式図である。

【発明を実施するための形態】

【0013】

＜実施の形態の概要＞
実施形態の詳細を説明する前に、まず、実施形態の概要について説明する。図１は、実施形態の概要にかかる分析装置１の構成の一例を示すブロック図である。図１に示すように、分析装置１は、指標評価部２と、要因特定部３とを有する。

【0014】

指標評価部２は、予測モデル、予測モデルで用いられる説明変数のデータ、又は、予測モデルで用いられる目的変数のデータについての指標を複数種類算出する。そして、指標評価部２は、算出した複数種類の指標のそれぞれを評価する。指標評価部２は、所定の任意の指標を算出する。例えば、指標は、予測モデルの精度であってもよいし、予測モデルを用いた予測にミスしたデータ（以下、予測ミスサンプルと称す）における説明変数又は目的変数の値の異常度であってもよいし、説明変数又は目的変数の分布の時間的な変化量であってもよい。なお、これらは例に過ぎず、指標評価部２は、他の指標を算出してもよい。

【0015】

要因特定部３は、複数種類の指標のそれぞれの指標評価部２による評価結果の組み合わせに応じて、予測モデルによる予測のミスの要因を特定する。要因特定部３は、例えば、評価結果の組み合わせと要因とを対応付ける予め定められた規則を用いて、要因を特定する。

【0016】

分析装置１によれば、複数種類の指標について評価が行われ、それらの評価結果の組み合わせに応じた要因が自動的に特定される。このため、分析装置１によれば、予測モデルを用いた予測における予測ミスの要因を様々な観点に基づいて容易に特定することができる。

【0017】

＜実施の形態の詳細＞
以下、実施形態を、図面を参照して詳細に説明する。本実施形態の分析装置は、予測モデルが予測ミスを起こした時、つまり、ある１つのデータ点に対する予測モデルによる予測が外れたときに、予測ミスを複数の指標を用いて分析することで、そのデータ点（予測ミスサンプル）に対する予測ミス要因を特定する。なお、対象とする予測モデルは任意であり、例えば、回帰モデルあってもよいし、分類モデルであってもよい。対象とするモデルが回帰モデルである場合、本実施形態の分析装置は、例えば、目的変数の予測値が適切でない要因を特定する。また、対象とする予測モデルが分類モデルである場合、本実施形態の分析装置は、例えば、ラベルの予測値又は分類スコア等が適切でない要因を特定する。

【0018】

本実施形態の分析装置は、予測ミスサンプル及び訓練データ等を用いて、複数の指標を計算し、複数指標を用いた分析を行うことで予測ミス要因を特定する。用いられる指標の例として、平均二乗誤差などの予測モデルの評価指標（予測モデルの精度）、異常検知手法を用いて計算される予測ミスサンプルの異常度、訓練データと運用データの説明変数の分布の分布間距離から計算されるデータ分布変化量などが挙げられる。

【0019】

図２は実施の形態にかかる分析装置１０の構成の一例を示すブロック図である。図２に示すように、分析装置１０は、記憶部２０と、診断部３０と、作業決定部４０、可視化部５０と、結果出力部６０と、指示受付部７０とを備える。

【0020】

まず、記憶部２０について説明する。記憶部２０は、予測ミス要因の分析に必要な情報を記憶している。具体的には、図３に示すように、記憶部２０は、予測モデル２１と、訓練データ２２と、訓練テストデータ２３と、運用データ２４と、分析制御情報２６を記憶している。

【0021】

予測モデル２１は訓練データ２２を用いて訓練された予測モデルである。すなわち、予測モデル２１は、学習済みモデルである。予測モデル２１は、入力データ（説明変数のデータ）を入力されると、目的変数の予測値を出力する関数としての機能を有する。上述の通り、予測モデル２１のモデルの種類は、特に限定されない。

【0022】

訓練データ２２は、予測モデル２１の訓練及びパラメータチューニング等に用いられたデータであり、説明変数のデータと目的変数のデータのセットである。

【0023】

訓練テストデータ２３は、予測モデル２１の訓練時に、予測モデル２１の汎化性能を評価するために使用されたデータであり、説明変数のデータと、目的変数のデータのセットである。訓練データ２２及び訓練テストデータ２３は、予測モデル２１についての訓練フェーズにおけるデータといえる。

【0024】

運用データ２４は、予測モデル２１の運用時に得られたデータであり、予測モデル２１による予測を得るために用いられた説明変数のデータと、説明変数のデータに対応する目的変数の実績値を含むデータである。運用データ２４は、説明変数のデータに対応する目的変数の実績値の他に、予測モデル２１により予測された、説明変数のデータに対応する目的変数の予測値を含んでもよい。

【0025】

運用データ２４は、予測ミスサンプル２５を含んでいる。予測ミスサンプル２５は、予測ミスが起きたサンプルとして運用データ２４の中から、例えば分析装置１０の利用者によって指定されるものである。本実施の形態では、分析装置１０は、後述する指示受付部７０が受付けた指示により指定された運用データ２４を予測ミスサンプル２５として用いる。指定される予測ミスサンプル２５は１つに限らず、複数であってもよい。複数の予測ミスサンプル２５が指定された場合、分析装置１０は、予測ミスサンプル一つ一つについて順番に予測ミス要因を特定する。

【0026】

分析制御情報２６は、分析装置１０の処理を制御する情報である。分析制御情報２６としては、例えば、診断部３０が指標の評価に用いるアルゴリズムを実装したプログラム、診断部３０が指標の評価に用いる閾値の設定値、診断部３０又は作業決定部４０が用いる規則を定義する情報などが挙げられる。なお、記憶部２０は、互いに代替可能な複数の分析制御情報２６を記憶していてもよい。例えば、記憶部２０は、分析制御情報２６として、同種の指標の算出のための様々なアルゴリズムを記憶してもよいし、指標の評価に用いる閾値の様々な設定値（様々な評価アルゴリズム）を記憶してもよい。また、例えば、記憶部２０は、分析制御情報２６として、診断部３０又は作業決定部４０が用いる規則の様々な定義情報を記憶してもよい。分析装置１０は、互いに代替可能な複数の分析制御情報２６を記憶している場合、指示受付部７０が受付けた指示により指定された分析制御情報２６を用いて処理を行う。このような構成により、分析装置１０は、様々な分析方法により、分析を実行することができる。

【0027】

次に、診断部３０について説明する。診断部３０は、記憶部２０に記憶された情報を用いて、予測ミスサンプル２５に対する予測ミス要因の特定を行う。具体的には、診断部３０は、複数の指標それぞれについて、指標の計算と、指標の計算結果に対する評価とを行う。そして、診断部３０は、それぞれの指標に対して得られた各評価結果を用いて、予測ミス要因を特定する。

【0028】

診断部３０は、図２に示すように、指標評価部３１及び要因特定部３２を備える。指標評価部３１は、図１の指標評価部２に相当する。また、要因特定部３２は、図１の要因特定部３に相当する。したがって、指標評価部３１は、指標を複数種類算出して、それぞれを評価する。また、要因特定部３２は、指標評価部３１による複数種類の指標のそれぞれの評価結果の組み合わせに応じて、予測モデル２１による予測のミスの要因を特定する。以下、指標評価部３１及び要因特定部３２の詳細について説明する。

【0029】

指標評価部３１は、記憶部２０の情報を用いて、予測ミス要因の分析に必要な複数の指標について、指標の計算と、指標の計算結果に対する判定を行う。例えば、指標評価部３１は、訓練データ２２に対する予測ミスサンプル２５の説明変数の異常度を計算し、計算された異常度を評価する。この場合、指標評価部３１は、計算された異常度の値が、予測ミスサンプル２５が異常なサンプルであると認定される値であるかを判定することにより、指標を評価する。すなわち、この場合、指標評価部３１は、計算された異常度を用いて、予測ミスサンプル２５が異常なサンプルであるかを判定する。別の例として、指標評価部３１は、訓練データ２２と運用データ２４との間の分布間距離（以下、データ分布変化量とも称す）を計算し、計算された分布間距離を評価する。この場合、指標評価部３１は、計算された分布間距離の値が、訓練時と運用時とでデータの分布に変化があると認定される値であるかを判定することにより、指標を評価する。すなわち、この場合、指標評価部３１は、計算された分布間距離を用いて、訓練時と運用時とでデータの分布の変化が発生しているか否かを判定する。なお、これらは、例に過ぎず、指標評価部３１は、様々な種類の指標について算出及び評価を実行することができる。このように、本実施の形態では、指標評価部３１は、指標に対する評価として、指標に対して所定の判定を行う。それぞれの指標に対する判定は、例えば、分析制御情報２６として記憶された閾値を用いて行われる。なお、分析制御情報２６として、閾値自体の代わりに、閾値を特定するためのパラメータが記憶されていてもよい。

【0030】

ここで、一つの予測ミスサンプル２５についての予測ミスの要因を特定するために計算される指標の種類と数は任意であるが、２つより多い指標を用いることが好ましい。これは、多数の指標を用いることで、より多角的な分析が可能となり、特定可能な予測ミス要因の種類を増やすことができるためである。

【0031】

また、指標評価部３１における各指標についての評価手法は任意である。例えば、予測ミスサンプル２５の説明変数の異常度を計算し、予測ミスサンプルが異常なサンプルかどうかの判定を行う際は、ホテリング法やｋ近傍法といった様々な異常検知手法を用いることができる。各指標に対して指標評価部３１が用いる評価手法（アルゴリズム）を実現するためのプログラムは、上述した通り、例えば分析制御情報２６として記憶部２０に記憶されている。また、上述の通り、分析制御情報２６は、同種の指標について、異なるアルゴリズムが実装された複数のプログラムを含んでもよい。例えば、分析制御情報２６は、予測ミスサンプル２５の説明変数の異常度に関する評価手法（アルゴリズム）を実装するプログラムとして、ホテリング法を実装したプログラムとｋ近傍法を実装したプログラムの二つを含んでもよい。このような構成によれば、診断部３０は、使用する分析制御情報２６を切り替えることで、様々な評価手法を用いた指標の評価が可能となる。

【0032】

要因特定部３２は、指標評価部３１による複数種類の指標のそれぞれの評価結果の組み合わせに応じて、予測ミス要因を特定する。本実施の形態では、要因特定部３２は、指標毎の所定の判定の判定結果の組み合わせに応じて、予測ミス要因を特定する。具体的には、要因特定部３２は、複数の判定結果の組み合わせに予測ミス要因を対応させる所定の規則（以下、要因決定規則）を用いることで予測ミス要因を特定する。図４は二つの異なる判定（Ｙｅｓ、Ｎｏ）を行った場合の判定結果の組み合わせを示している。すなわち、図４は、指標評価部３１による第一の指標に対する判定結果と第二の指標に対する判定結果の組み合わせを示している。本実施の形態では、図４に示すように、いずれかの指標についての判定結果が異なれば、異なる組み合わせとして要因決定規則が適用される。このように、複数の判定結果を個別に考慮するのではなく、判定結果の組み合わせとして統合的に考慮することで、複数の指標を用いた多角的な分析による予測ミス要因の特定が可能となる。結果として、利用者が各指標それぞれについての判定結果を分析することで予測ミス要因を特定するという過程が不要になる。

【0033】

このように、要因特定部３２は、複数種類の指標の評価結果（判定結果）の組み合わせと要因とを対応付ける規則にしたがって、予測モデル２１による予測のミスの要因を特定する。要因特定部３２が用いる要因決定規則の内容は任意である。また、要因決定規則は、上述の通り、例えば分析制御情報２６として記憶部２０に記憶されている。また、上述の通り、分析制御情報２６は、分析対象とする判定結果の種類又は数が異なる複数の要因決定規則を含んでもよい。このような構成によれば、診断部３０は、使用する分析制御情報２６を切り替えることで、異なる要因決定規則を用いた予測ミスの分析が可能となる。なお、用いられる要因決定規則に対応した判定結果を得る必要があるため、指標評価部３１で評価すべき指標の種類及び数は、要因決定規則に依存する。

【0034】

また、要因決定規則の形式も任意である。要因特定部３２が用いる要因決定規則は、例えば、判定結果の組み合わせを、表を用いて予測ミス要因に割り当てる要因決定規則であってもよいし、判定結果の組み合わせを、フローチャートを用いて予測ミス要因に割り当てる要因決定規則であってもよい。要因決定規則のこれらの形式について以下で説明する。

【0035】

図５は、要因特定部３２が用いる表形式の要因決定規則の一例を示したものである。この例では、指標評価部３１は、記憶部２０に記憶された情報を用いて、３種類の異なる指標に対応する３つの問Ｑ１、Ｑ２、Ｑ３についてＹｅｓまたはＮｏの判定結果を生成する。問Ｑ１では、訓練データ２２に対する予測ミスサンプル２５の説明変数の異常度から、予測ミスサンプル２５が正常なサンプルであるかを判定している。問Ｑ２では、近傍訓練サンプルと、予測モデル２１とを用いて平均二乗誤差などの評価指標を計算することで、訓練データ２２に対する予測モデル２１の近傍領域での当てはまりの良さを判定している。ここで、近傍訓練サンプルとは、近傍領域内に位置する、訓練データ２２におけるサンプルをいう。また、近傍領域とは、予測ミスサンプル２５の説明変数の値に近いと判断される説明変数の値の範囲をいう。このとき、近傍領域の具体的な定義方法は任意であり、例えば、説明変数の値を用いて計算される予測ミスサンプル２５からの距離（ユークリッド距離等）が所定の距離以下である領域を近傍領域としてもよい。問Ｑ３では、訓練データ２２の説明変数の分布と運用データ２４の説明変数の分布とのデータ分布変化量を用いて、訓練時と運用時でデータの分布が変化しているかを判定している。

【0036】

要因特定部３２は、指標評価部３１による判定結果と図５の要因決定規則を用いて予測ミス要因を特定する。３種類の判定結果の組み合わせは８種類あり、表形式の要因決定規則では、この８種類のそれぞれに対して予測ミス要因を割り当てている。図５の場合、８種類の組み合わせを４種類の予測ミス要因に割り当てている。

【0037】

上述した通り、要因特定部３２が用いる要因決定規則として、フローチャート形式の要因決定規則が用いられてもよい。図６は、要因特定部３２が用いるフローチャート形式の要因決定規則の一例を示したものである。なお、図５に示した要因決定規則と図６に示した要因決定規則は、形式が異なるものの、判定結果に対する要因の割り当てについての規則は同じである。フローチャート形式の要因決定規則では、各指標の判定の依存関係を考慮して各判定をフローチャート上に配置することができる。これを、図６のＱ１とＱ２とＱ３の関係に着目して説明する。

【0038】

図６のフローチャート形式の要因決定規則は、最初にＱ１を判定し、Ｑ１の判定結果がＹｅｓの場合はＱ２を判定し、Ｎｏの場合はＱ３を判定するという構造になっている。なお、図６の要因決定規則におけるＱ１、Ｑ２、Ｑ３は図５の要因決定規則におけるＱ１、Ｑ２、Ｑ３と同様である。このように、要因特定部３２が用いる要因決定規則として、フローチャート形式の要因決定規則が用いられてもよい。すなわち、要因特定部３２は、複数種類の指標のうちの所定の指標の評価結果（判定結果）と、当該所定の指標の評価結果に応じて選択される指標の評価結果との組み合わせに応じて、予測モデル２１による予測のミスの要因を特定してもよい。つまり、要因特定部３２は、要因の特定に用いる指標を指標の評価結果（判定結果）に基づいて順番に特定するフローチャートを用いてもよい。

【0039】

Ｑ１の判定結果がＹｅｓの場合は、予測ミスサンプル２５の説明変数が正常であり、予測ミスサンプル２５と説明変数が似ているサンプルは高頻度で発生しうることを意味する。よって訓練データ２２において近傍訓練サンプルは多数存在していることが想定される。この場合、これらの近傍訓練サンプルの目的変数の実績値を適切に学習すると、予測モデル２１は予測精度の高い予測モデルとなる。また、Ｑ１の判定結果がＹｅｓの場合は、予測ミスサンプル２５が正常なサンプルであるため、訓練時と運用時でデータ分布が変化している可能性は低い。したがって、Ｑ１の判定結果がＹｅｓの場合は、Ｑ３の判定をあえて行う意義は乏しい。

【0040】

もしＱ１の判定結果がＹｅｓであった場合は、次にＱ２で、予測モデル２１が近傍訓練サンプルの目的変数の実績値を適切に学習していたかを判定する。Ｑ２の判定結果がＹｅｓの場合は、予測モデル２１は予測精度の高い予測モデルであると想定されるので、予測ミスを起こさないことが期待される。従って、分析装置１０の誤動作（ユーザーインターフェースの誤動作等）、または、システムの利用者の誤操作によって予測ミスのないサンプルが予測ミスサンプル２５として分析された等の、予測モデルやデータ以外の要因が考えられる。このため、この場合、要因特定部３２は、要因決定規則を参照して、予測ミスの要因は、予測モデル及びデータ以外のエラーであると決定する。また、Ｑ２の判定結果がＮｏであるとき、これは過少学習等により、予測モデル２１が近傍訓練サンプルの目的変数の実績値を適切に学習できていないことが考えられる。このため、この場合は、予測モデル２１は予測ミスサンプル２５の周辺で局所的なエラーを持つモデルであったと結論づけられる。このため、この場合、要因特定部３２は、要因決定規則を参照して、予測ミスの要因は、局所的なエラーであると決定する。このように、Ｑ１の判定結果がＹｅｓであった場合に初めてＱ２の判定が意味を持つので、Ｑ１の後にＱ２が配置されている。

【0041】

一方でＱ１の判定結果がＮｏであった場合は、訓練データ２２内に近傍訓練サンプルが十分に存在しないことを意味しており、この場合はＱ２で予測モデル２１の近傍訓練サンプルに対する当てはまりの良さを精度よく判定することは不可能である。そのため、Ｑ１の判定結果がＮｏの場合は、予測ミスサンプル２５のような異常度の高いサンプルが発生した理由を特定することが重要となる。そこでＱ３では、データの分布が時間の経過による変化をしているかを判定している。以下、時間の経過による変化を時間変化と称す。Ｑ３の判定結果がＹｅｓの場合は、次のように結論付けられる。すなわち、データの分布の時間変化により、訓練データ２２と比較して異常度の高いサンプルが発生する頻度が増加したため、結果として、訓練データ２２と比較して高い異常度を持つ予測ミスサンプル２５が発生し、予測ミスが起きたと結論付けられる。このため、この場合、要因特定部３２は、要因決定規則を参照して、予測ミスの要因は、データ分布の変化であると決定する。また、Ｑ３の判定結果がＮｏの場合は、データの分布は時間変化していないので、予測ミスサンプル２５はデータ分布の時間変化以外の要因によって発生した異常なサンプルであったと結論付けられる。このため、この場合、要因特定部３２は、要因決定規則を参照して、予測ミスの要因は、何らかの理由による説明変数の異常であると決定する。このように、フローチャート形式の要因決定規則では、Ｑ１の判定結果がＮｏである理由の詳細をＱ３で判断するという構造になっており、Ｑ１の後にＱ３が配置されている。

【0042】

上述の通り、図５で示した要因決定規則と図６で示した要因決定規則は、問Ｑの内容と最終的に特定される予測ミス要因が共通しており、規則としては同一のものである。しかし、フローチャート形式の要因決定規則のような各指標の判定結果の依存関係を明示的に考慮した要因決定規則を用いると、特定された予測ミス要因に対する利用者の解釈が容易になるとともに、計算機資源の節約にもつながる。このことについて、図６に示した要因決定規則を例に説明する。

【0043】

図６のようなフローチャート形式の要因決定規則を用いると、フローチャートにおける分岐があるため、全ての問Ｑについて判定する必要がなく、判定すべき問Ｑが絞られる。このため、図５に示した表形式の要因決定規則のようにすべての指標についての判定結果の組み合わせを考慮する場合と比べて、分析装置１０が分析時に考慮すべき組み合わせの数が少なくなる。つまり、一部の指標の算出及び評価を省略することが可能となる。このため、計算機資源の節約につながる。また、フローチャート形式の要因決定規則を用いて決定される予測ミス要因は、フローチャートに沿って、判定結果を順番に追っていくと、なぜそのような予測ミス要因と決定されたのかが説明できる。このため、フローチャート形式の要因決定規則を用いた場合、特定された予測ミス要因の意味を利用者が理解しやすい。

【0044】

次に、作業決定部４０について説明する。作業決定部４０は、診断部３０の要因特定部３２により特定された要因を解消するための作業を決定する。本実施の形態では、作業決定部４０は、診断部３０によって特定された予測ミス要因に対して、その予測ミス要因を解消するための作業の提案文（以下、作業提案）を作成する。この時、作業決定部４０は、予測ミス要因に対して作業提案を割り当てる所定の規則（以下、作業決定規則）を用いることで、作業提案を作成する。

【0045】

ここで、作業決定規則の一例を図７に示す。図７に例示された作業決定規則は、特定された要因に一対一対応で作業提案を割り当てる規則である。特定された予測ミス要因が「予測モデル及びデータ以外のエラー」であった場合は、システム（分析装置１０）の動作テスト等を行うことで、システムの誤動作や利用者の誤操作等の問題が発生していないかを調べる必要がある。したがって、この場合、作業決定部４０は、作業決定規則を参照して、そのような作業の実施を勧める作業提案を作成する。また、特定された予測ミス要因が「局所的なエラー」の場合は、過少学習等の可能性が高いため、予測モデルの学習時のハイパーパラメータを調節した上で再学習する必要がある。したがって、この場合、作業決定部４０は、作業決定規則を参照して、そのような作業の実施を勧める作業提案を作成する。また、特定された予測ミス要因が「データ分布の変化」の場合は、予測モデル２１が学習していなかった説明変数の領域に運用データが多数存在していることを意味している。このため、運用データを訓練データに加えて再学習することで、予測モデルの精度を向上させることができる。したがって、この場合、作業決定部４０は、作業決定規則を参照して、そのような作業の実施を勧める作業提案を作成する。また、予測ミス要因が「説明変数の異常」であった場合は、予測ミスサンプル２５が分布の変化とは無関係に異常な説明変数の値を持っていることを意味する。このため、そのようなサンプルが発生した理由を調査し、今後同じようなサンプルが発生したときのための対処方法を決める必要がある。したがって、この場合、作業決定部４０は、作業決定規則を参照して、そのような作業の実施を勧める作業提案を作成する。

【0046】

このように、作業決定部４０により、要因特定部３２により特定された予測ミス要因を解消するために行うべき作業が決定される。これにより、予測ミス要因を解消するための作業提案を出力することが可能となるため、利用者は、すぐに改善に必要な作業に取り掛かることができる。つまり、利用者は、特定された要因から作業を決定するための検討を行わなくてもよい。

【0047】

次に、可視化部５０について説明する。可視化部５０は、診断部３０における各判定結果を説明する情報の可視化を行う。各判定結果を説明する情報の可視化方法は任意である。例えば、予測ミスサンプルの異常度に関する可視化の場合、可視化部５０は、図８のようなグラフの画像データを生成してもよい。図８では、訓練データ２２の説明変数のデータから推定された説明変数に関する確率密度関数と予測ミスサンプル２５の説明変数の実績値とがプロットされたグラフが図示されている。また、予測ミスサンプルの異常度に関する可視化の場合、可視化部５０は、図９のようなグラフの画像データを生成してもよい。図９では、訓練データ２２に対する訓練データ２２内の個々のサンプルの異常度のヒストグラムと、訓練データ２２に対する予測ミスサンプル２５の説明変数の異常度とが示されたグラフが図示されている。これらのような可視化を行うことで、予測ミスサンプル２５がどの程度異常なサンプルであるのかを視覚的に説明することができる。

【0048】

判定結果を説明する情報（画像データ）を生成するためのプログラムは、分析制御情報２６として記憶部２０に記憶されていてもよい。この場合、分析制御情報２６は、図８及び図９により例示した異なる可視化を行うために、ある指標について異なる可視化方法を実現する複数のプログラムを保持していてもよい。このような構成によれば、可視化部５０は、各判定結果を説明する可視化を行う際に、使用する分析制御情報２６を切り替えることで、異なる可視化を実現することができる。

【0049】

なお、上記では、予測ミスサンプルの異常度についての可視化を例に挙げたが、可視化部５０は、他の判定結果を説明する情報の可視化を行ってもよい。例えば、可視化部５０は、データに対するモデルの当てはまりの良さに関する可視化のために、図１０のようなグラフの画像データを生成してもよい。図１０では、予測ミスサンプル２５の近傍領域における、予測モデル２１による目的変数の予測値と、訓練データ２２の目的変数の実績値とが示されたグラフが図示されている。このような可視化を行うことで、予測モデル２１が訓練データ２２に対してどのように当てはまっているのかを視覚的に説明することができる。

【0050】

このように、可視化部５０は、指標に応じた所定のグラフの画像データを生成してもよい。このような可視化により、利用者は、各指標についての判定結果の妥当性を視覚的に確認することができる。

【0051】

また、可視化部５０は、要因決定規則がフローチャート形式だった場合に、図１１のような、フローチャートにおける判定結果の流れを説明する画像データを生成してもよい。すなわち、可視化部５０は、要因の特定に用いる指標と当該指標を用いる順序とを定義するフローチャートと、当該フローチャートにおける遷移の履歴とを表す画像データを生成してもよい。このような可視化を行うことで、利用者は特定された予測ミス要因の意味を理解しやすくなる。

【0052】

次に、結果出力部６０について説明する。結果出力部６０は、指標評価部３１による指標の計算結果、指標評価部３１による指標の判定結果、要因特定部３２が特定した予測ミス要因、作業決定部４０が作成した作業提案、及び、可視化部５０が作成した画像データ等を出力する。なお、結果出力部６０は、これらの全てを出力してもよいし、これらの一部だけを出力してもよい。結果出力部６０の出力方法は任意であり、結果出力部６０は、例えば、モニター（ディスプレイ）等に上述した情報を表示してもよい。また、結果出力部６０は、他の装置に対して上述した情報を送信してもよい。

【0053】

次に、指示受付部７０について説明する。指示受付部７０は、分析装置１０の利用者からの指示を受付ける。例えば、指示受付部７０は、運用データ２４のどのサンプルが予測ミスサンプル２５であるかを指定する指示を受付ける。これにより、利用者は、分析対象のサンプルを容易に変更することが可能となる。指示受付部７０のユーザーインターフェースは例えば、モニター（ディスプレイ）に表示されてもよい。すなわち、指示受付部７０は、指示を受付けるための画面をモニターに表示してもよい。指示受付部７０は、例えば、分析装置１０に接続された入力装置（例えば、マウス、キーボードなど）を介して、利用者からの指示を受付ける。

【0054】

なお、上述した通り、指示受付部７０は、指標の算出アルゴリズム又は評価アルゴリズムを指定する指示を受付けてもよい。この場合、指標評価部３１は、指示で指定された算出アルゴリズム又は評価アルゴリズムにより指標の算出又は評価を行う。また、指示受付部７０は、要因決定規則を指定する指示を受付けてもよい。この場合、要因特定部３２は、指示で指定された要因決定規則にしたがって、予測モデル２１による予測のミスの要因を特定する。このような構成とすることにより、利用者は、分析方法を容易に変更することが可能となる。なお、指示受付部７０は、上述した指定に限らず、作業決定規則を指定する指示を受付けてもよいし、可視化方法を指定する指示を受付けてもよい。

【0055】

図１２Ａから図１２Ｄは本実施形態の分析装置１０における結果出力部６０と指示受付部７０が提供するユーザーインターフェースの一例を示す模式図である。図１２Ａは、分析対象のサンプル、すなわち予測ミスサンプル２５を指定するための分析対象選択画面９０１と、予測ミスサンプル２５に対する予測ミス要因についての分析結果を表示するための分析結果画面９０２とを含むウィンドウ９００Ａの例を示している。例示したユーザーインターフェースは、分析対象選択画面９０１で分析対象の予測ミスサンプルが選択されると、分析結果画面９０２に予測ミス要因と作業提案が出力されるというユーザーインターフェースとなっている。また、ウィンドウ９００Ａは、ウィンドウ９００Ｂを表示するためのボタン９０３＿１と、ウィンドウ９００Ｃを表示するためのボタン９０３＿２と、ウィンドウ９００Ｄを表示するためのボタン９０３＿３とを含んでいる。ここで、ウィンドウ９００Ｂ（図１２Ｂ参照）は、指標評価部３１による判定の詳細について表示するウィンドウである。また、ウィンドウ９００Ｃ（図１２Ｃ参照）は、図１１で示したようなフローチャートを用いた説明の画像を表示するウィンドウである。また、ウィンドウ９００Ｄ（図１２Ｄ参照）は、図８乃至図１０で示したようなグラフを用いた説明の画像を表示するウィンドウである。このように、利用者は必要に応じて、様々な内容を確認することができる。

【0056】

次に、分析装置１０のハードウェア構成について説明する。図１３は、分析装置１０のハードウェア構成の一例を示す模式図である。図１３に示すように、分析装置１０は、入出力インタフェース１５０、ネットワークインタフェース１５１、メモリ１５２、及びプロセッサ１５３を含む。

【0057】

入出力インタフェース１５０は、分析装置１０と入出力デバイスとを接続するためのインタフェースである。例えば入出力インタフェース１５０には、マウス及びキーボードなどの入力装置、並びに、モニター（ディスプレイ）などの出力装置が接続される。

【0058】

ネットワークインタフェース１５１は、必要に応じて他の任意の装置と通信するために使用される。ネットワークインタフェース１５１は、例えば、ネットワークインタフェースカード（ＮＩＣ）を含んでもよい。

【0059】

メモリ１５２は、例えば、揮発性メモリ及び不揮発性メモリの組み合わせによって構成される。メモリ１５２は、プロセッサ１５３により実行される、１以上の命令を含むソフトウェア（コンピュータプログラム）、及び分析装置１０の各種処理に用いるデータなどを格納するために使用される。例えば、上述した記憶部２０は、メモリ１５２などの記憶装置により実現されてもよい。

【0060】

プロセッサ１５３は、メモリ１５２からソフトウェア（コンピュータプログラム）を読み出して実行することで、診断部３０、作業決定部４０、可視化部５０、結果出力部６０、及び指示受付部７０の処理を行う。プロセッサ１５３は、例えば、マイクロプロセッサ、ＭＰＵ(Micro Processor Unit)、又はＣＰＵ(Central Processing Unit)などであってもよい。プロセッサ１５３は、複数のプロセッサを含んでもよい。
このように、分析装置１０は、コンピュータとしての機能を備えている。

【0061】

また、上述したプログラムは、様々なタイプの非一時的なコンピュータ可読媒体（ｎｏｎ－ｔｒａｎｓｉｔｏｒｙ ｃｏｍｐｕｔｅｒ ｒｅａｄａｂｌｅ ｍｅｄｉｕｍ）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（ｔａｎｇｉｂｌｅ ｓｔｏｒａｇｅ ｍｅｄｉｕｍ）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ－ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ ＰＲＯＭ）、フラッシュＲＯＭ、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（ｔｒａｎｓｉｔｏｒｙ ｃｏｍｐｕｔｅｒ ｒｅａｄａｂｌｅ ｍｅｄｉｕｍ）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。

【0062】

次に、本実施形態の分析装置１０の動作を説明する。図１４は、本実施形態の分析装置１０の動作例を示すフローチャートである。

【0063】

まず、分析装置１０による分析処理を行う前の準備として、記憶部２０に、予測モデル２１と訓練データ２２と訓練テストデータ２３と運用データ２４が記憶される（ステップＳ１１）。例えば、利用者による操作により、記憶部２０にこれらの情報が記憶される。なお、分析制御情報２６については、予め記憶部２０に記憶されている。次に、利用者が分析対象の予測ミスサンプル２５を指定する指示を分析装置１０に入力し、指示受付部７０がこの指示を受付ける（ステップＳ１２）。次に、診断部３０は、複数の指標の計算と、各指標に対する判定を行い、要因決定規則を用いて予測ミス要因を特定する（ステップＳ１３）。次に、作業決定部４０は特定された予測ミス要因を解消するための作業提案を作成する（ステップＳ１４）。次に、可視化部５０は、分析過程を説明する情報の可視化を行う（ステップＳ１５）。そして、結果出力部６０は、予測ミス要因の特定結果、作業提案、及び可視化された情報を表示する（ステップＳ１６）。

【0064】

以上、分析装置１０について説明した。分析装置１０によれば、複数種類の指標について評価が行われ、それらの評価結果の組み合わせに応じた要因が自動的に特定される。このため、分析装置１０によれば、予測モデルを用いた予測における予測ミスの要因を様々な観点に基づいて容易に特定することができる。また、特に、分析装置１０では、作業決定部４０により、予測ミス要因を解消するために行うべき作業が決定されるため、利用者はどのような作業をすべきかについて検討を省略することができる。さらに、分析装置１０は、可視化部５０を備えているため、分析装置１０における分析過程を説明する情報を可視化することができる。なお、上述した分析装置１０の構成は一例に過ぎず、種々の変更が可能である。例えば、分析装置１０は、予測モデル２１を用いて予測を行う処理部をさらに有していてもよい。

【0065】

ところで、上述した説明では、理解を助けるために、要因決定規則及び作業決定規則について具体例を示したが、これらは上記の具体例に限られない。例えば、次のような規則が用いられてもよい。

【0066】

以下では、要因決定規則と、作業決定規則について、上記の例とは異なる具体例をあげる。図１５は、要因決定規則及び作業決定規則の他の具体例を示す模式図である。なお、図１５では、フローチャート形式の要因決定規則が図示されている。図１５に示した要因決定規則は図５及び図６に示した要因決定規則より、扱う指標の数が多いため、より多角的な分析が可能となる。

【0067】

図１５の例では、指標評価部３１が最大で５つの指標の計算と、それらに対応するＱ１からＱ５の５つの判定を行い、要因特定部３２が、フローチャート形式の要因決定規則に従って予測ミス要因を特定している。そして、作業決定部４０が、予測ミス要因と、それを解決するための作業提案を一対一に対応させる作業決定規則を用いて作業提案を作成している。以下で、図１５に示したフローチャート形式の要因決定規則の構成と、この要因決定規則に登場する各問Ｑに対応する指標の評価について説明する。

【0068】

Ｑ１では、訓練データ２２に対する予測ミスサンプル２５の説明変数の異常度から、予測ミスサンプル２５が正常なサンプルであるかを判定している。また、Ｑ２では、Ｑ１の判定結果がＹｅｓの場合に、予測ミスサンプル２５の目的変数の実績値が、近傍訓練サンプルの目的変数の実績値と同程度の値であるかを判定している。Ｑ１とＱ２の判定を行うことにより、予測ミスサンプル２５が、訓練データ２２と比較されたときに説明変数と目的変数に関して正常なサンプルであるのかを判断することができる。Ｑ１及びＱ２に対応する指標評価部３１の処理は、異常検知技術を用いて実装可能である。例えば、ホテリング法と呼ばれる異常検知技術を用いる場合は、Ｑ１を判定するために、指標評価部３１は、訓練データ２２の説明変数の分布を用いて予測ミスサンプル２５のマハラノビス距離を計算し、これを異常度とする。同様に、この場合、Ｑ２を判定するために、指標評価部３１は、近傍訓練サンプルの目的変数の分布を用いて予測ミスサンプル２５のマハラノビス距離を計算し、これを異常度とする。そして、計算された異常度に対して、指標評価部３１は、分析制御情報２６として記憶された閾値を用いて、予測ミスサンプル２５が正常なサンプルであるかを判定する。異常なサンプルと判定された場合は、Ｑ１又はＱ２の判定結果はＮｏとなる。

【0069】

Ｑ４では、Ｑ１の判定結果がＮｏの場合に、訓練データ２２と運用データ２４の説明変数に着目して、データの分布に時間変化が起きているかを判定している。また、Ｑ５では、Ｑ２の判定結果がＮｏの場合に、近傍訓練サンプルと、近傍領域内に位置する運用データ２４におけるサンプル（以下、近傍運用サンプル）の目的変数の分布に着目して、データの分布に時間変化が起きているかを判定している。このように、Ｑ５で、近傍領域のサンプルだけに注目することで、説明変数と目的変数の相関の影響を取り除くことが可能となり、目的変数のノイズの分布の時間変化を計算しやすくなる。診断部３０は、Ｑ４とＱ５の判定を行うことにより、予測ミスサンプル２５が異常なサンプルである場合に、このような異常なサンプルが出現した理由がデータの分布の時間変化にあるかを判断している。Ｑ４及びＱ５に対応する指標評価部３１の処理は、分布間距離の推定技術又は変化点検知技術を用いて実装可能である。例えば、分布間距離の推定技術を用いる場合、Ｑ４を判定するために、指標評価部３１は、訓練データ２２と運用データ２４の説明変数の実績値の分布を用いてカルバック・ライブラー距離などの分布間距離を計算し、これをデータの分布変化量とする。同様に、この場合、Ｑ５を判定するために、指標評価部３１は、近傍訓練サンプルと近傍運用サンプルの目的変数の実績値の分布を用いてカルバック・ライブラー距離などの分布間距離を計算し、これをデータの分布変化量とする。そして、計算されたデータの分布変化量に対して、指標評価部３１は、分析制御情報２６として記憶された閾値を用いて、データの分布に時間変化が起きているか否かを判定する。

【0070】

Ｑ３は、Ｑ１とＱ２の判定結果がともにＹｅｓだった場合（つまり、予測ミスサンプル２５が訓練データ２２との比較において正常なサンプルであると判定された場合）に判定される。Ｑ３は、予測ミスサンプル２５の近傍で、予測モデル２１が訓練データ２２を過少学習も過学習もしていないかを判定する問である。Ｑ３の判定結果を出すことによって、予測ミスの原因が予測モデル２１にあるのかを判断することができる。Ｑ３に対応する指標評価部３１の処理は、予測モデルの様々な評価手法を用いて実装可能である。例として平均二乗誤差等の予測モデルの評価指標を用いる手法が挙げられる。具体的には、Ｑ３を判定するために、指標評価部３１は、近傍訓練サンプルと予測モデル２１を用いて、平均二乗誤差を計算し、分析制御情報２６として記憶された第一の閾値と比較することで、近傍訓練サンプルへの過少学習の有無を判定する。さらに、指標評価部３１は、近傍領域内に位置する訓練テストデータ２３におけるサンプル（近傍テストサンプル）と、予測モデル２１とを用いて平均二乗誤差を計算し、分析制御情報２６として記憶された第二の閾値と比較する。これにより、指標評価部３１は、近傍訓練サンプルへの過学習の有無を判定する。なお、第一の閾値と第二の閾値は同じであってもよいし、異なってもよい。このようにして、過少学習と過学習がともに起きていないかが判定される。過少学習も過学習もいずれも起きていない場合、訓練データ及び訓練テストデータに対する予測モデル２１の当てはまりが良いと判定され、Ｑ３の判定結果は、Ｙｅｓとなる。

【0071】

図１５に示した要因決定規則と図６に示した要因決定規則の大きな違いとして、図１５の要因決定規則では目的変数に関するＱ２とＱ５の判定が追加されている点が挙げられる。Ｑ２では、近傍訓練サンプルの目的変数と比較して、予測ミスサンプル２５の目的変数の実績値が通常の値であるかを判定している。また、Ｑ５では、予測ミスサンプル２５の目的変数の実績値が異常なときに、そのような異常なサンプルが発生した理由が近傍運用サンプルの目的変数の分布の時間変化にあるかを判定している。これら２つの判定を増やすことで、目的変数の値に着目した分析が可能となり、図６に示した要因決定規則を用いた場合よりも詳細な予測ミス要因の特定が可能となる。

【0072】

次に、図１５の要因決定規則における各問Ｑの依存関係と、決定される予測ミス要因について説明する。まず、Ｑ１の判定結果がＮｏの場合は、訓練データ２２における近傍訓練サンプルが十分に存在しないことを意味している。このとき、仮に予測モデル２１が近傍訓練サンプルに対して当てはまりが良くても、予測モデル２１は予測ミスサンプル２５に対する精度の高い予測は困難である。そのため、次にＱ４では、予測ミスサンプル２５のような予測が困難なサンプルが発生した理由が、説明変数のデータの分布の変化にあるかを判定している。Ｑ４の判定結果がＮｏである場合は、予測ミスサンプル２５がデータの分布の変化とは無関係に発生した異常な説明変数の値を持つサンプルであったことが予測ミス要因と結論付けられる。つまり、予測ミスの要因は、何らかの理由による説明変数の異常であると結論付けられる。Ｑ４の判定結果がＹｅｓの場合は、説明変数についての分布の時間変化により、異常な説明変数の値を持つサンプルが発生する頻度が増加したため、結果として、異常な説明変数の値を持つ予測ミスサンプル２５が発生し、予測ミスが起きたと結論付けられる。

【0073】

Ｑ１の判定結果がＹｅｓの場合は、次にＱ２で、予測モデル２１が近傍訓練サンプルの実測値を適切に学習したときに予測ミスサンプル２５の目的変数の実測値を精度よく予測可能であるかを判定している。Ｑ２の判定結果がＮｏの場合、予測ミスサンプル２５の目的変数の値は近傍訓練サンプルの目的変数の値に対して異常な値であり、精度の高い予測が困難であることを意味する。そこで次に、Ｑ５で、このような異常な目的変数を持つサンプルが発生した理由が目的変数のデータの分布の変化にあるかを判定している。Ｑ５の判定結果がＮｏである場合は、予測ミスサンプル２５がデータの分布の変化とは無関係に発生した異常な目的変数の値を持つサンプルであったことが予測ミス要因と結論付けられる。つまり、予測ミスの要因は、何らかの理由による目的変数の異常であると結論付けられる。Ｑ５の判定結果がＹｅｓの場合は、目的変数について分布の時間変化により、異常な目的変数の値を持つサンプルが発生する頻度が増加したため、結果として、異常な目的変数の値を持つ予測ミスサンプル２５が発生し、予測ミスが起きたと結論付けられる。

【0074】

Ｑ２の判定結果がＹｅｓの場合は、次にＱ３で予測モデル２１が近傍訓練サンプルの目的変数の実績値を適切に学習していたかを判定する。Ｑ３の判定結果がＹｅｓの場合は、予測モデル２１は予測精度の高い予測モデルであると想定されるので、予測ミスを起こさないことが期待される。従って、システム（分析装置１０）の誤動作（ユーザーインターフェースの誤動作等）または、システムの利用者の誤操作によって、予測ミスのないサンプルが予測ミスサンプル２５として分析された等の、予測モデル及びデータ以外の要因が考えられる。また、Ｑ３の判定結果がＮｏであるとき、これは過学習又は過少学習により、予測モデル２１が近傍訓練サンプルの目的変数の実績値を適切に学習できていない場合に相当する。このため、この場合、予測モデル２１は予測ミスサンプル２５の周辺で局所的なエラーを持つモデルであったと結論づけられる。

【0075】

続いて、図１５の作業決定規則について説明する。まず、予測ミス要因が「予測モデル及びデータ以外のエラー」であった場合は、システム（分析装置１０）の動作テスト等を行うことで、システムの誤動作や利用者の誤操作等の問題が発生していないかを調べる必要がある。したがって、この場合、作業決定部４０は、作業決定規則を参照して、そのような作業の実施を勧める作業提案を作成する。予測ミス要因が「局所的なエラー」の場合は、過学習または過少学習の可能性が高いため、予測モデルの学習時のハイパーパラメータを調節した上で再学習する必要がある。したがって、この場合、作業決定部４０は、作業決定規則を参照して、そのような作業の実施を勧める作業提案を作成する。予測ミス要因が「目的変数についての分布の変化」の場合は、予測モデルを、変化した目的変数の分布に適合させるために、古いデータを捨てて新しいデータだけで予測モデルを再学習する必要がある。したがって、この場合、作業決定部４０は、作業決定規則を参照して、そのような作業の実施を勧める作業提案を作成する。予測ミス要因が「目的変数の異常」の場合は、予測ミスサンプル２５は分布の変化とは無関係に異常な目的変数の値を持っていることを意味し、このようなサンプルが発生した原因を調査する必要がある。したがって、この場合、作業決定部４０は、作業決定規則を参照して、そのような作業の実施を勧める作業提案を作成する。予測ミス要因が「説明変数についての分布の変化」の場合、予測モデル２１が学習していなかった説明変数の領域に運用データが多数存在していることを意味している。このため、運用データを訓練データに加えて再学習することで、予測モデルの精度を向上させることができる。したがって、この場合、作業決定部４０は、作業決定規則を参照して、そのような作業の実施を勧める作業提案を作成する。予測ミス要因が「説明変数の異常」であった場合は、予測ミスサンプル２５が分布変化とは無関係に異常な説明変数の値を持っていることを意味する。このため、そのようなサンプルが発生した理由を調査し、今後同じようなサンプルが発生したときのための対処方法を決める必要がある。したがって、この場合、作業決定部４０は、作業決定規則を参照して、そのような作業の実施を勧める作業提案を作成する。

【0076】

以上、実施の形態を参照して本願発明を説明したが、本願発明は上記によって限定されるものではない。本願発明の構成や詳細には、発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

【0077】

上記の実施形態の一部又は全部は、以下の付記のようにも記載され得るが、以下には限られない。
（付記１）
予測モデル、前記予測モデルで用いられる説明変数のデータ、又は、前記予測モデルで用いられる目的変数のデータについての指標を複数種類算出して、それぞれを評価する指標評価手段と、
複数種類の前記指標のそれぞれの評価結果の組み合わせに応じて、前記予測モデルによる予測のミスの要因を特定する要因特定手段と
を有する分析装置。
（付記２）
前記要因特定手段は、複数種類の前記指標の評価結果の組み合わせと要因とを対応付ける規則にしたがって、前記予測モデルによる予測のミスの要因を特定する
付記１に記載の分析装置。
（付記３）
前記要因特定手段は、複数種類の前記指標のうちの所定の指標の評価結果と、当該所定の指標の評価結果に応じて選択される前記指標の評価結果との組み合わせに応じて、前記予測モデルによる予測のミスの要因を特定する
付記２に記載の分析装置。
（付記４）
前記指標の算出アルゴリズム又は評価アルゴリズムを指定する指示を受付ける指示受付部をさらに有し、
前記指標評価手段は、前記指示で指定された前記算出アルゴリズム又は前記評価アルゴリズムにより前記指標の算出又は評価を行う
付記１乃至３のいずれか一項に記載の分析装置。
（付記５）
前記規則を指定する指示を受付ける指示受付部をさらに有し、
前記要因特定手段は、前記指示で指定された前記規則にしたがって、前記予測モデルによる予測のミスの要因を特定する
付記２に記載の分析装置。
（付記６）
前記要因特定手段により特定された前記要因を解消するための作業を決定する作業決定手段をさらに有する
付記１乃至５のいずれか一項に記載の分析装置。
（付記７）
前記指標に応じた所定のグラフの画像データを生成する可視化手段をさらに有する
付記１乃至６のいずれか一項に記載の分析装置。
（付記８）
前記要因の特定に用いる前記指標と前記指標を用いる順序とを定義するフローチャートと、当該フローチャートにおける遷移の履歴とを表す画像データを生成する可視化手段をさらに有する
付記３に記載の分析装置。
（付記９）
予測モデル、前記予測モデルで用いられる説明変数のデータ、又は、前記予測モデルで用いられる目的変数のデータについての指標を複数種類算出して、それぞれを評価し、
複数種類の前記指標のそれぞれの評価結果の組み合わせに応じて、前記予測モデルによる予測のミスの要因を特定する
分析方法。
（付記１０）
予測モデル、前記予測モデルで用いられる説明変数のデータ、又は、前記予測モデルで用いられる目的変数のデータについての指標を複数種類算出して、それぞれを評価する指標評価ステップと、
複数種類の前記指標のそれぞれの評価結果の組み合わせに応じて、前記予測モデルによる予測のミスの要因を特定する要因特定ステップと
をコンピュータに実行させるプログラムが格納された非一時的なコンピュータ可読媒体。

【符号の説明】

【0078】

１ 分析装置
２ 指標評価部
３ 要因特定部
１０ 分析装置
２０ 記憶部
２１ 予測モデル
２２ 訓練データ
２３ 訓練テストデータ
２４ 運用データ
２５ 予測ミスサンプル
２６ 分析制御情報
３０ 診断部
３１ 指標評価部
３２ 要因特定部
４０ 作業決定部
５０ 可視化部
６０ 結果出力部
７０ 指示受付部
１５０ 入出力インタフェース
１５１ ネットワークインタフェース
１５２ メモリ
１５３ プロセッサ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12A】

【図12B】

【図12C】

【図12D】

【図13】

【図14】

【図15】