特許 7395960 予測モデル説明方法、予測モデル説明プログラム、予測モデル説明装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-12-04

(45)【発行日】2023-12-12

(54)【発明の名称】予測モデル説明方法、予測モデル説明プログラム、予測モデル説明装置

(51)【国際特許分類】

   G06N 99/00 20190101AFI20231205BHJP

【ＦＩ】

G06N99/00 180

【請求項の数】 6

(21)【出願番号】P 2019196929

(22)【出願日】2019-10-30

(65)【公開番号】P2021071823

(43)【公開日】2021-05-06

【審査請求日】2022-07-08

(73)【特許権者】

【識別番号】000005223

【氏名又は名称】富士通株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】渡邉 俊一

(72)【発明者】

【氏名】大木 雄介

【審査官】渡辺 順哉

(56)【参考文献】

【文献】特開平０８－２７８９０１（ＪＰ，Ａ）

【文献】特開２０１９－１２５２４０（ＪＰ，Ａ）

【文献】国際公開第２０２０／００８９１９（ＷＯ，Ａ１）

【文献】米国特許出願公開第２００７／０１８５８９６（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｎ ３／００－９９／００

(57)【特許請求の範囲】

【請求項1】

予測モデルに入力されたデータセットと、当該データセットに対する前記予測モデルの予測結果とに基づいて前記データセットに含まれるデータを線形分離可能な複数のモデルを選択し、
選択した前記複数のモデルそれぞれを葉とし、前記データセットに含まれるデータを根から前記葉に至る間で分類する論理それぞれを節とする決定木を作成し、
作成した前記決定木の葉に属するデータのばらつきに基づいて、前記決定木の剪定する枝を特定し、
特定した前記枝を剪定した決定木に対応するデータセットに基づいて前記決定木を再作成し、
再作成した前記決定木の各節に対応する論理それぞれを、前記予測モデルの説明結果として出力する、
処理をコンピュータが実行することを特徴とする予測モデル説明方法。

【請求項2】

前記特定する処理は、前記決定木の葉に属するデータにばらつきのある枝について剪定した場合のコストを計算し、計算した前記コストを最小とする枝を剪定する枝として特定する、
ことを特徴とする請求項１に記載の予測モデル説明方法。

【請求項3】

今回再作成した決定木について計算した前記コストと、前回再作成した決定木について計算した前記コストとの差が所定値未満となるまで前記特定する処理と、前記再作成する処理とを繰り返す、
ことを特徴とする請求項２に記載の予測モデル説明方法。

【請求項4】

前記データセットは、前記予測結果が正解として付与された前記予測モデルの生成に用いられるデータセットであり、
前記選択する処理は、前記データセットと、当該データセットに付与された前記予測結果とに基づいて前記データセットに含まれるデータを線形分離可能な複数のモデルを選択する、
ことを特徴とする請求項１乃至３のいずれか一項に記載の予測モデル説明方法。

【請求項5】

予測モデルに入力されたデータセットと、当該データセットに対する前記予測モデルの予測結果とに基づいて前記データセットに含まれるデータを線形分離可能な複数のモデルを選択し、
選択した前記複数のモデルそれぞれを葉とし、前記データセットに含まれるデータを根から前記葉に至る間で分類する論理それぞれを節とする決定木を作成し、
作成した前記決定木の葉に属するデータのばらつきに基づいて、前記決定木の剪定する枝を特定し、
特定した前記枝を剪定した決定木に対応するデータセットに基づいて前記決定木を再作成し、
再作成した前記決定木の各節に対応する論理それぞれを、前記予測モデルの説明結果として出力する、
処理をコンピュータに実行させることを特徴とする予測モデル説明プログラム。

【請求項6】

予測モデルに入力されたデータセットと、当該データセットに対する前記予測モデルの予測結果とに基づいて前記データセットに含まれるデータを線形分離可能な複数のモデルを選択する選択部と、
選択した前記複数のモデルそれぞれを葉とし、前記データセットに含まれるデータを根から前記葉に至る間で分類する論理それぞれを節とする決定木を作成し、作成した前記決定木の葉に属するデータのばらつきに基づいて、前記決定木の剪定する枝を特定し、特定した前記枝を剪定した決定木に対応するデータセットに基づいて前記決定木を再作成して前記予測モデルの説明木を生成する生成部と、
生成した前記説明木の各節に対応する論理それぞれを、前記予測モデルの説明結果として出力する出力部と、
を有することを特徴とする予測モデル説明装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施形態は、予測モデル説明方法、予測モデル説明プログラム、予測モデル説明装置に関する。

【背景技術】

【0002】

従来、機械学習などにより生成した予測モデルについて、ブラックボックス化しがちである予測結果の解釈を容易とする技術がある。このような予測結果の解釈については、学習用のデータセットから線形分離可能なモデルの回帰係数の重みを特定し、特定した重みを用いて説明している技術が知られている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１６－９１３０６号公報

【文献】特開２００５－２２２４４５号公報

【文献】特開２００９－３０１５５７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、上記の従来技術では、予測モデルに対する十分な説明性能を得ることが困難であるという問題がある。例えば、線形分離可能なモデルは、学習用のデータセットの中の１つのデータに対して理由を示しており、他のデータについての理由は不明である。このため、複数の線形分離可能なモデルを用いて学習用のデータセット全体の説明を試みるように線形分離可能なモデルの数を単純に増やすと、計算量が増大する。一方で、線形分離可能なモデルの数を少なくすると、予測モデルに対する説明性が十分でなくなることとなる。

【0005】

１つの側面では、予測モデルを精度よく説明することを可能とする予測モデル説明方法、予測モデル説明プログラム、予測モデル説明装置を提供することを目的とする。

【課題を解決するための手段】

【0006】

１つの案では、予測モデル説明方法は、選択する処理と、作成する処理と、特定する処理と、再作成する処理と、出力する処理とをコンピュータが実行する。選択する処理は、予測モデルに入力されたデータセットと、当該データセットに対する予測モデルの予測結果とに基づいてデータセットに含まれるデータを線形分離可能な複数のモデルを選択する。作成する処理は、選択した複数のモデルそれぞれを葉とし、データセットに含まれるデータを根から葉に至る間で分類する論理それぞれを節とする決定木を作成する。特定する処理は、作成した決定木の葉に属するデータのばらつきに基づいて、決定木の剪定する枝を特定する。再作成する処理は、特定した枝を剪定した決定木に対応するデータセットに基づいて決定木を再作成する。出力する処理は、再作成した決定木の各節に対応する論理それぞれを、予測モデルの説明結果として出力する。

【発明の効果】

【0007】

本発明の１実施態様によれば、予測モデルを精度よく説明することができる。

【図面の簡単な説明】

【0008】

【図1】図１は、実施形態にかかる情報処理装置の機能構成例を示すブロック図である。

【図2】図２は、実施形態にかかる情報処理装置の動作例を示すフローチャートである。

【図3】図３は、解釈可能モデルの生成、選択を説明する説明図である。

【図4】図４は、決定木の生成を説明する説明図である。

【図5】図５は、決定木の枝刈りを説明する説明図である。

【図6】図６は、再度作成した決定木を説明する説明図である。

【図7】図７は、出力結果を例示する説明図である。

【図8】図８は、解釈可能モデル数の違いを説明する説明図である。

【図9】図９は、予測モデル説明プログラムを実行するコンピュータの一例を示すブロック図である。

【発明を実施するための形態】

【0009】

以下、図面を参照して、実施形態にかかる予測モデル説明方法、予測モデル説明プログラム、予測モデル説明装置を説明する。実施形態において同一の機能を有する構成には同一の符号を付し、重複する説明は省略する。なお、以下の実施形態で説明する予測モデル説明方法、予測モデル説明プログラム、予測モデル説明装置は、一例を示すに過ぎず、実施形態を限定するものではない。また、以下の各実施形態は、矛盾しない範囲内で適宜組みあわせてもよい。

【0010】

図１は、実施形態にかかる情報処理装置の機能構成例を示すブロック図である。図１に示すように、情報処理装置１は、機械学習などにより生成した予測モデル１２へ入力するデータの入力データセット１１と、入力データセット１１をもとに予測モデル１２が予測した予測結果１３の入力を受け付ける。次いで、情報処理装置１は、入力データセット１１および予測結果１３に基づき、決定木手法を用いて予測モデル１２が入力データセット１１に含まれるデータからラベルの予測（分類）を行う論理を求め、予測モデル１２の説明結果として出力する。すなわち、情報処理装置１は、予測モデル説明装置の一例である。情報処理装置１としては、例えばパーソナルコンピュータ等を適用できる。

【0011】

具体的には、情報処理装置１は、入力データセット１１に含まれるデータから予測モデル１２が予測したラベルなどの予測結果１３をもとに、入力データセット１１に含まれるデータを線形分離可能な複数のモデルを選択する。なお、線形分離可能なモデルとは、各要素（例えばデータの項目）を次元とする空間において、予測モデル１２により予測されたラベルの集合（例えばＣｌａｓｓＡ、ＣｌａｓｓＢのラベルに分類する場合のＣｌａｓｓＡ、ＣｌａｓｓＢの集合）を分離する直線（ｎ次元空間におけるｎ－１次元の超平面）である。一例として、線形分離可能なモデルは、ラベルの分離面に近い（分離面に沿った）重回帰モデルである。

【0012】

このような線形分離可能なモデルは、予測モデル１２により予測されたラベルの集合を分離するために重要なモデルとみなせることから、予測モデル１２を解釈可能なモデル（以下、解釈可能モデルとも呼ぶ）と言える。決定木手法では、入力データセット１１に含まれるデータをもとに、選択した複数の線形分離可能なモデルを葉とし、入力データセット１１に含まれるデータを根から葉に至る間で分類する論理それぞれを節（中間ノード）とする決定木を生成する。

【0013】

この決定木における各中間ノードの論理は、所定の項目における条件式として表現できる。決定木の生成では、所定の項目について、データを二分割するように条件式の閾値を定めることで、根から順に中間ノードを求めていく。例えば、情報処理装置１は、入力データセット１１の中の１つの項目（次元）に着目し、入力データセット１１の集合が二分割されるようにその項目の条件式における閾値を決定すること（中間ノードの決定）を根から順に繰り返すことで、決定木を生成する。このとき、情報処理装置１は、決定木の葉において、線形分離可能なモデルに対して直近するデータが可能な限り属するように、中間ノードを生成する。このように決定木手法を用いて生成した決定木において、予測モデル１２の説明結果として用いる最終的な決定木のことは、説明木と称する場合がある。

【0014】

具体的には、情報処理装置１は、入力部１０と、モデル生成部２０と、説明木生成部３０と、出力部４０とを有する。

【0015】

入力部１０は、入力データセット１１および予測結果１３の入力を受け付ける処理部である。入力部１０は、受け付けた入力データセット１１および予測結果１３をモデル生成部２０へ出力する。

【0016】

モデル生成部２０は、入力データセット１１および予測結果１３に基づき、入力データセット１１に含まれるデータについて、複数の解釈可能モデルを選択する処理部である。モデル生成部２０は、解釈可能モデル作成部２１と、モデル選択部２２とを有する。

【0017】

解釈可能モデル作成部２１は、入力データセット１１をプロットした空間において予測モデル１２の予測結果１３に示されたラベルの集合を分離する直線（ｎ次元空間場合はｎ－１次元の超平面）、すなわち線形分離可能なモデルを重回帰計算などにより複数生成する。モデル選択部２２は、複数のモデルを組み合わせて分離面を近似するように、生成したモデルの中から分離面により近いものを複数選択する。

【0018】

説明木生成部３０は、予測モデル１２の説明結果として用いる説明木（決定木）を生成する処理部である。説明木生成部３０は、決定木生成部３１と、評価部３２と、データセット修正部３３とを有する。

【0019】

決定木生成部３１は、モデル選択部２２が選択した複数のモデルそれぞれを葉とし、入力データセット１１に含まれるデータを根から葉に至る間で分類する論理それぞれを節とする決定木を生成する。

【0020】

具体的には、決定木生成部３１は、モデル選択部２２が選択した複数のモデルそれぞれを決定木の葉として定義する。次いで、決定木生成部３１は、入力データセット１１に含まれるデータの所定の項目について、データを二分割するように条件式の閾値を定めることで、データを分類する論理（中間ノード）を根から順に求める。このとき、決定木生成部３１は、データをプロットした点とモデルとの距離を求め、決定木の葉において解釈可能モデルに直近するデータが可能な限り属するように、中間ノードにおける論理の内容を定める。

【0021】

評価部３２は、決定木生成部３１が作成した決定木の葉に属するデータのばらつきを評価する処理部である。決定木生成部３１が生成した決定木では、各葉において、解釈可能モデルに直近するデータが可能な限り属するようにしているが、葉のモデルとは別のモデルを直近とするデータが含まれる場合がある。評価部３２は、決定木の各葉に属するデータについて、葉のモデルに直近するデータの数に対する、葉のモデルとは別のモデルを直近とするデータ量を計量することで、データのばらつきを評価する。

【0022】

決定木において、データにばらつきのある箇所（葉）は、決定木手法によるモデル説明時に解釈が困難な箇所である。すなわち、データにばらつきのある葉に属するデータは、決定木手法において解釈困難なデータに対応する。本実施形態では、このような解釈困難なデータを入力データセット１１より除いて決定木を再作成することで、より信頼度の高い決定木（解釈困難な箇所（葉）がない、もしくは少ない）を生成する。

【0023】

具体的には、評価部３２は、データにばらつきのある葉への枝を剪定し、その葉に属するデータを削除する場合に決定木へ与える影響度（剪定した場合のコスト（修正コスト関数））を求める。そして、評価部３２は、剪定した場合の修正コスト関数を最小とする枝を剪定する枝として特定する。

【0024】

例えば、評価部３２は、ｍｉｎＣ＝Ｒ（Ｔ）＋αＥ（Ｔ）とする修正コスト関数により、コストを最小（ｍｉｎＣ）とする枝を特定する。ここで、Ｔは決定木であり、Ｒ（Ｔ）は決定木の信頼度を評価した値、Ｅ（Ｔ）は決定木における枝のデータ範囲を評価した値、αは正則化パラメータ（罰則値）である。

【0025】

データセット修正部３３は、決定木生成部３１が決定木を生成するデータセットを修正する処理部である。具体的には、データセット修正部３３は、入力データセット１１に含まれるデータより評価部３２が剪定する枝として特定した枝の葉に属するデータを除外する。これにより、データセット修正部３３は、評価部３２が特定した枝を剪定した決定木に対応するデータセットを得る。決定木生成部３１は、データセット修正部３３が修正したデータセットを用いて決定木を再作成する。

【0026】

出力部４０は、説明木生成部３０が生成した決定木（説明木）の各節（中間ノード）に対応する論理それぞれを予測モデル１２の説明結果として出力する処理部である。具体的には、出力部４０は、説明木の根から葉に至る中間ノードの論理（所定の項目の条件式）を読み出し、ディスプレイやファイルなどに出力する。これにより、ユーザは、予測モデル１２による予測結果１３の解釈を容易に行うことができる。

【0027】

図２は、実施形態にかかる情報処理装置１の動作例を示すフローチャートである。図２に示すように、処理が開始されると、モデル生成部２０は、解釈可能モデルを複数生成し、生成したモデルの中から分離面に近いものを複数選択する処理を行う（Ｓ１）。

【0028】

図３は、解釈可能モデルの生成、選択を説明する説明図である。図３に示すように、予測モデル１２は、「Ｃｌａｓｓ Ａ」のラベル１３Ａと、「Ｃｌａｓｓ Ｂ」のラベル１３Ｂとの二値に分類するものとする。

【0029】

解釈可能モデル作成部２１は、重会計計算などによりラベル１３Ａ、１３Ｂの集合を分離する直線（解釈可能モデル）を複数求める。モデル選択部２２は、求めた複数の解釈可能モデルを組み合わせ、分離面を最大限近似可能な解釈可能モデルを少数選択する（図示例ではＭ１～Ｍ６）。

【0030】

図２に戻り、Ｓ１に次いで、決定木生成部３１は、モデル選択部２２が選択した複数のモデル（解釈可能モデルＭ１～Ｍ６）それぞれを葉とし、入力データセット１１に含まれるデータを根から葉に至る間で分類する論理それぞれを節とする決定木Ｔ_ｎを生成する（Ｓ２）。

【0031】

図４は、決定木Ｔ_ｎの生成を説明する説明図である。図４に示すように、決定木生成部３１は、解釈可能モデルＭ１～Ｍ６それぞれを葉Ｌ１～Ｌ６とし、入力データセット１１に含まれるデータをノードｎ０～ｎ４で分類する決定木Ｔ_ｎを生成する。なお、葉Ｌ１～Ｌ６におけるカッコ内の数値は、左から順に解釈可能モデルＭ１～Ｍ６に直近するデータ量を示している。このデータ量より、葉Ｌ２では、［５，１０，５，０，０，０］であることから、データにばらつきが生じている。

【0032】

次いで、評価部３２は、決定木Ｔ_ｎについて、各葉に繋がる枝を剪定した枝刈り時の修正コスト関数（ｍｉｎＣ＝Ｒ（Ｔ）＋αＥ（Ｔ））を評価する（Ｓ３）。

【0033】

例えば、評価部３２は、α＝０．１、Ｅ（Ｔ）＝１－（Ｄ_ｎ＋１／Ｄ_ｎ）として各葉のｍｉｎＣ＝Ｒ（Ｔ）＋αＥ（Ｔ）を計算する。なお、Ｄ_ｎは、決定木Ｔ_ｎにおける分類対象のデータセットを示し、Ｄ_ｎ＋１は、対処とする枝を剪定した場合の決定木Ｔ_ｎ＋１におけるデータセットを示す。

【0034】

一例として、図４に例示した葉Ｌ２に繋がる枝（Ｎｏｄｅ ＃３＿ｎ）の剪定時のコスト（Ｃ）の計算は、次のとおりとなる。
Ｃ=（１－１５／２０）＊（２０／１００）＋０．１＊（１－（８０／１００））＝０．０７０

【0035】

同様に、葉Ｌ４に繋がる枝（Ｎｏｄｅ ＃４＿ｎ）の剪定時のコスト（Ｃ）の計算は、次のとおりとなる。
Ｃ=（１－１０／２０）＊（２０／１００）＋０．１＊（１－（８０／１００））＝０．１２０

【0036】

次いで、評価部３２は、決定木Ｔ_ｎについて、修正コスト関数を最小（ｍｉｎ）にする枝を特定する。次いで、データセット修正部３３は、特定した枝を剪定した修正木をＴ_ｎ’とし、データセット修正部３３が特定した枝の葉に属するデータを入力データセット１１より除外する。そして、データセット修正部３３は、データセット修正部３３が特定した枝の葉に属するデータを除外したデータセット、すなわちＴ_ｎ’の分類対象であるデータセットをＤ_ｎとする（Ｓ４）。

【0037】

図５は、決定木Ｔ_ｎの枝刈りを説明する説明図である。図５に示すように、ノードｎ３におけるｎ側の分類（葉Ｌ２）は、データにばらつきがあることから、信頼性に欠け、解釈が困難となっている。そこで、データセット修正部３３は、修正コスト関数を最小（図示例では０．０７）とする葉Ｌ２に繋がる枝を剪定し、修正木Ｔ_ｎ’のデータセットＤ_ｎを得る。

【0038】

次いで、決定木生成部３１は、データセットＤ_ｎで決定木Ｔ_ｎ＋１を生成する（Ｓ５）。次いで、評価部３２は、決定木Ｔ_ｎ＋１について、Ｓ３と同様に、各葉に繋がる枝を剪定した枝刈り時の修正コスト関数を評価する（Ｓ６）。

【0039】

次いで、評価部３２は、決定木Ｔ_ｎ＋１について、修正コスト関数を最小（ｍｉｎ）にする枝を特定する。次いで、データセット修正部３３は、特定した枝を剪定した修正木をＴ_ｎ＋１’とし、データセット修正部３３が特定した枝の葉に属するデータをデータセットＤ_ｎより除外する。そして、データセット修正部３３は、データセット修正部３３が特定した枝の葉に属するデータを除外したデータセット、すなわちＴ_ｎ＋１’の分類対象であるデータセットをＤ_ｎ＋１とする（Ｓ７）。

【0040】

図６は、再度作成した決定木Ｔ_ｎ＋１を説明する説明図である。図６に示すように、決定木生成部３１は、解釈可能モデルＭ１～Ｍ６それぞれを葉Ｌ１～Ｌ６とし、データセットＤ_ｎに含まれるデータをノードｎ０～ｎ４で分類する決定木Ｔ_ｎ＋１を生成する。このように再作成した決定木Ｔ_ｎ＋１では、葉Ｌ２におけるデータのばらつきが、［０，１５，５，０，０，０］であることから、前回に比べて小さくなっている。

【0041】

なお、図６に例示した葉Ｌ２に繋がる枝（Ｎｏｄｅ ＃３＿ｎ）の剪定時のコスト（Ｃ）の計算は、次のとおりとなる。
Ｃ=０＋０．１＊（１－（６０／８０））＝０．０２５

【0042】

次いで、説明木生成部３０は、剪定した枝における修正コスト関数の評価価値（Ｃ）について、前回との差が所定値（ε）未満であるか否かを判定する（Ｓ８）。この所定値（ε）については、任意の値を設定することができる。

【0043】

所定値（ε）未満であり、修正コスト関数の評価価値の変化が十分に小さい場合（Ｓ８：Ｙｅｓ）、説明木生成部３０は、修正木Ｔ_ｎ’のデータセットＤ_ｎで生成した決定木Ｔ_ｎ＋１を説明木として採用する（Ｓ９）。

【0044】

例えば、図５に例示した葉Ｌ２に繋がる枝を剪定する場合の修正コスト関数の値（前回の値）は０．０７０であり、図６に例示した葉Ｌ２に繋がる枝を剪定する場合の修正コスト関数の値（今回の値）は０．０２５である。よって、説明木生成部３０は、０．０７０－０．０２５＜εである場合、Ｓ５で生成した決定木Ｔ_ｎ＋１を説明木とする。

【0045】

所定値（ε）未満でない場合（Ｓ８：Ｎｏ）、説明木生成部３０は、Ｓ７のデータセットＤ_ｎ＋１での決定木の再作成を行うように、Ｓ５へ処理を戻す。これにより、剪定した場合のコストの変化が十分に小さくなるまで剪定・枝刈りを繰り返すこととなる。

【0046】

Ｓ９に次いで、出力部４０は、説明木生成部３０が生成した説明木の結果をディスプレイやファイルなどに出力する（Ｓ１０）。

【0047】

図７は、出力結果を例示する説明図である。図７に示すように、出力部４０による出力結果画面４１には、説明木生成部３０が生成した説明木の各節に対応する論理（例えば年次＞１０日，代休＞５日，残業＜５ｈ）が列挙される。また、出力部４０は、論理の内容が所定の条件（例えば代休数、残業数が所定値以上など）を満たすか否かの判定結果（代休取得多、残業多など）を出力結果画面４１に出力してもよい。これにより、ユーザは、予測モデル１２による予測結果１３の解釈を容易に行うことができる。

【0048】

図８は、解釈可能モデル数の違いを説明する説明図である。図８のケースＣ１に示すように、解釈可能モデルＭが多くなる場合は、解釈可能モデルＭの数に応じて計算量が増大する。また、ケースＣ２に示すように、解釈可能モデルＭが少ない場合は、予測結果１３における学習空間の説明性が十分でなくなる。本実施形態では、ラベル１３Ａ、１３Ｂの分離面に近い解釈可能モデルＭを選択することで、適切な計算コストで十分な説明性を得ることができる。

【0049】

以上のように、情報処理装置１は、モデル生成部２０と、説明木生成部３０と、出力部４０とを有する。モデル生成部２０は、予測モデル１２に入力された入力データセット１１と、入力データセット１１に対する予測モデル１２の予測結果１３とに基づいて入力データセット１１に含まれるデータを線形分離可能な複数のモデルを選択する。説明木生成部３０は、選択した複数のモデルそれぞれを葉とし、入力データセット１１に含まれるデータを根から葉に至る間で分類する論理それぞれを節とする決定木を作成する。また、説明木生成部３０は、作成した決定木の葉に属するデータのばらつきに基づいて、決定木の剪定する枝を特定する。また、説明木生成部３０は、特定した枝を剪定した決定木に対応するデータセットに基づいて決定木を再作成する。出力部４０は、再作成した決定木の各節に対応する論理それぞれを、予測モデル１２の説明結果として出力する。

【0050】

入力データセット１１を用いた決定木手法による予測モデル１２の説明では、入力データセット１１の中に解釈困難なデータが含まれる場合があり、このような解釈困難なデータが信頼度の高い決定木の作成に妨げとなることがある。情報処理装置１では、解釈困難なデータに対応する決定木の枝を剪定してデータの枝刈りを行った上で再作成した決定木の各節に対応する論理それぞれを予測モデル１２の説明結果として出力するので、予測モデル１２を精度よく説明することができる。

【0051】

また、説明木生成部３０は、決定木の葉に属するデータにばらつきのある枝について剪定した場合のコストを計算し、計算したコストを最小とする枝を剪定する枝として特定する。これにより、情報処理装置１では、剪定した場合のコストが最小となるようにデータの枝刈りを行うことができ、剪定により解釈困難なデータ以外に与える影響をより小さくすることができる。

【0052】

また、説明木生成部３０は、今回再作成した決定木について計算したコストと、前回再作成した決定木について計算したコストとの差が所定値未満となるまで、剪定する枝を特定し、特定した枝を剪定した決定木を再作成する処理を繰り返す。このように、情報処理装置１では、剪定した場合のコストの変化が十分に小さくなるまで剪定・枝刈りを繰り返すことで、決定木における解釈性を向上させることができる。

【0053】

また、入力データセット１１は、予測結果が正解として付与された予測モデル１２の生成に用いられるデータセットとしてもよい。モデル生成部２０は、このデータセットと、データセットに付与された予測結果とに基づいてデータセットに含まれるデータを線形分離可能な複数のモデルを選択する。このように、情報処理装置１では、予測モデル１２の生成に用いられるデータセット、すなわち教師データより線形分離可能な複数のモデルを求めてもよい。これにより、情報処理装置１は、教師データにより生成された予測モデル１２に関する説明結果を得ることができる。

【0054】

また、図示した各部の各構成要素は、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各部の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況等に応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。例えば、モデル生成部２０と説明木生成部３０とを統合してもよい。また、図示した各処理は、上記の順番に限定されるものでなく、処理内容を矛盾させない範囲において、同時に実施してもよく、順序を入れ替えて実施してもよい。

【0055】

さらに、各装置で行われる各種処理機能は、ＣＰＵ（またはＭＰＵ、ＭＣＵ（Micro Controller Unit）等のマイクロ・コンピュータ）上で、その全部または任意の一部を実行するようにしてもよい。また、各種処理機能は、ＣＰＵ（またはＭＰＵ、ＭＣＵ等のマイクロ・コンピュータ）で解析実行されるプログラム上、またはワイヤードロジックによるハードウエア上で、その全部または任意の一部を実行するようにしてもよいことは言うまでもない。

【0056】

ところで、上記の各実施形態で説明した各種の処理は、予め用意されたプログラムをコンピュータで実行することで実現できる。そこで、以下では、上記の各実施形態と同様の機能を有する予測モデル説明プログラムを実行するコンピュータの一例を説明する。図９は、予測モデル説明プログラムを実行するコンピュータの一例を示すブロック図である。

【0057】

図９に示すように、コンピュータ１００は、各種演算処理を実行するＣＰＵ１０１と、データ入力を受け付ける入力装置１０２と、モニタ１０３とを有する。また、コンピュータ１００は、記憶媒体からプログラム等を読み取る媒体読取装置１０４と、各種装置と接続するためのインタフェース装置１０５と、他の情報処理装置等と有線または無線により接続するための通信装置１０６とを有する。また、コンピュータ１００は、各種情報を一時記憶するＲＡＭ１０７と、ハードディスク装置１０８とを有する。また、各装置１０１～１０８は、バス１０９に接続される。

【0058】

ハードディスク装置１０８には、図１に示した入力部１０、モデル生成部２０、説明木生成部３０および出力部４０の各処理部と同様の機能を有する予測モデル説明プログラム１０８Ａが記憶される。また、ハードディスク装置１０８には、入力部１０、モデル生成部２０、説明木生成部３０および出力部４０を実現するための各種データが記憶される。入力装置１０２は、例えば、コンピュータ１００の利用者から操作情報等の各種情報の入力を受け付ける。モニタ１０３は、例えば、コンピュータ１００の利用者に対して表示画面等の各種画面を表示する。インタフェース装置１０５は、例えば印刷装置等が接続される。通信装置１０６は、図示しないネットワークと接続され、他の情報処理装置と各種情報をやりとりする。

【0059】

ＣＰＵ１０１は、ハードディスク装置１０８に記憶された予測モデル説明プログラム１０８Ａを読み出して、ＲＡＭ１０７に展開して実行することで、各種の処理を行う。また、これらのプログラムは、コンピュータ１００を図１に示した入力部１０、モデル生成部２０、説明木生成部３０および出力部４０として機能させることができる。

【0060】

なお、上記の予測モデル説明プログラム１０８Ａは、ハードディスク装置１０８に記憶されていなくてもよい。例えば、コンピュータ１００が読み取り可能な記憶媒体に記憶された予測モデル説明プログラム１０８Ａを、コンピュータ１００が読み出して実行するようにしてもよい。コンピュータ１００が読み取り可能な記憶媒体は、例えば、ＣＤ－ＲＯＭやＤＶＤ（Digital Versatile Disc）、ＵＳＢ（Universal Serial Bus）メモリ等の可搬型記録媒体、フラッシュメモリ等の半導体メモリ、ハードディスクドライブ等が対応する。また、公衆回線、インターネット、ＬＡＮ等に接続された装置に予測モデル説明プログラム１０８Ａを記憶させておき、コンピュータ１００がこれらから予測モデル説明プログラム１０８Ａを読み出して実行するようにしてもよい。

【0061】

以上の実施形態に関し、さらに以下の付記を開示する。

【0062】

（付記１）予測モデルに入力されたデータセットと、当該データセットに対する前記予測モデルの予測結果とに基づいて前記データセットに含まれるデータを線形分離可能な複数のモデルを選択し、
選択した前記複数のモデルそれぞれを葉とし、前記データセットに含まれるデータを根から前記葉に至る間で分類する論理それぞれを節とする決定木を作成し、
作成した前記決定木の葉に属するデータのばらつきに基づいて、前記決定木の剪定する枝を特定し、
特定した前記枝を剪定した決定木に対応するデータセットに基づいて前記決定木を再作成し、
再作成した前記決定木の各節に対応する論理それぞれを、前記予測モデルの説明結果として出力する、
処理をコンピュータが実行することを特徴とする予測モデル説明方法。

【0063】

（付記２）前記特定する処理は、前記決定木の葉に属するデータにばらつきのある枝について剪定した場合のコストを計算し、計算した前記コストを最小とする枝を剪定する枝として特定する、
ことを特徴とする付記１に記載の予測モデル説明方法。

【0064】

（付記３）今回再作成した決定木について計算した前記コストと、前回再作成した決定木について計算した前記コストとの差が所定値未満となるまで前記特定する処理と、前記再作成する処理とを繰り返す、
ことを特徴とする付記２に記載の予測モデル説明方法。

【0065】

（付記４）前記データセットは、前記予測結果が正解として付与された前記予測モデルの生成に用いられるデータセットであり、
前記選択する処理は、前記データセットと、当該データセットに付与された前記予測結果とに基づいて前記データセットに含まれるデータを線形分離可能な複数のモデルを選択する、
ことを特徴とする付記１乃至３のいずれか一に記載の予測モデル説明方法。

【0066】

（付記５）予測モデルに入力されたデータセットと、当該データセットに対する前記予測モデルの予測結果とに基づいて前記データセットに含まれるデータを線形分離可能な複数のモデルを選択し、
選択した前記複数のモデルそれぞれを葉とし、前記データセットに含まれるデータを根から前記葉に至る間で分類する論理それぞれを節とする決定木を作成し、
作成した前記決定木の葉に属するデータのばらつきに基づいて、決定木の剪定する枝を特定し、
特定した前記枝を剪定した決定木に対応するデータセットに基づいて前記決定木を再作成し、
再作成した前記決定木の各節に対応する論理それぞれを、前記予測モデルの説明結果として出力する、
処理をコンピュータに実行させることを特徴とする予測モデル説明プログラム。

【0067】

（付記６）前記特定する処理は、前記決定木の葉に属するデータにばらつきのある枝について剪定した場合のコストを計算し、計算した前記コストを最小とする枝を剪定する枝として特定する、
ことを特徴とする付記５に記載の予測モデル説明プログラム。

【0068】

（付記７）今回再作成した決定木について計算した前記コストと、前回再作成した決定木について計算した前記コストとの差が所定値未満となるまで前記特定する処理と、前記再作成する処理とを繰り返す、
ことを特徴とする付記６に記載の予測モデル説明プログラム。

【0069】

（付記８）前記データセットは、前記予測結果が正解として付与された前記予測モデルの生成に用いられるデータセットであり、
前記選択する処理は、前記データセットと、当該データセットに付与された前記予測結果とに基づいて前記データセットに含まれるデータを線形分離可能な複数のモデルを選択する、
ことを特徴とする付記５乃至７のいずれか一に記載の予測モデル説明プログラム。

【0070】

（付記９）予測モデルに入力されたデータセットと、当該データセットに対する前記予測モデルの予測結果とに基づいて前記データセットに含まれるデータを線形分離可能な複数のモデルを選択する選択部と、
選択した前記複数のモデルそれぞれを葉とし、前記データセットに含まれるデータを根から前記葉に至る間で分類する論理それぞれを節とする決定木を作成し、作成した前記決定木の葉に属するデータのばらつきに基づいて、決定木の剪定する枝を特定し、特定した前記枝を剪定した決定木に対応するデータセットに基づいて前記決定木を再作成して前記予測モデルの説明木を生成する生成部と、
生成した前記説明木の各節に対応する論理それぞれを、前記予測モデルの説明結果として出力する出力部と、
を有することを特徴とする予測モデル説明装置。

【0071】

（付記１０）前記生成部は、前記決定木の葉に属するデータにばらつきのある枝について剪定した場合のコストを計算し、計算した前記コストを最小とする枝を剪定する枝として特定する、
ことを特徴とする付記９に記載の予測モデル説明装置。

【0072】

（付記１１）前記生成部は、今回再作成した決定木について計算した前記コストと、前回再作成した決定木について計算した前記コストとの差が所定値未満となるまで特定する処理と、再作成する処理とを繰り返す、
ことを特徴とする付記１０に記載の予測モデル説明装置。

【0073】

（付記１２）前記データセットは、前記予測結果が正解として付与された前記予測モデルの生成に用いられるデータセットであり、
前記選択部は、前記データセットと、当該データセットに付与された前記予測結果とに基づいて前記データセットに含まれるデータを線形分離可能な複数のモデルを選択する、
ことを特徴とする付記９乃至１１のいずれか一に記載の予測モデル説明装置。

【符号の説明】

【0074】

１…情報処理装置
１０…入力部
１１…入力データセット
１２…予測モデル
１３…予測結果
１３Ａ、１３Ｂ…ラベル
２０…モデル生成部
２１…解釈可能モデル作成部
２２…モデル選択部
３０…説明木生成部
３１…決定木生成部
３２…評価部
３３…データセット修正部
４０…出力部
４１…出力結果画面
１００…コンピュータ
１０１…ＣＰＵ
１０２…入力装置
１０３…モニタ
１０４…媒体読取装置
１０５…インタフェース装置
１０６…通信装置
１０７…ＲＡＭ
１０８…ハードディスク装置
１０８Ａ…予測モデル説明プログラム
１０９…バス
Ｃ１、Ｃ２…ケース
Ｍ、Ｍ１～Ｍ６…解釈可能モデル
ｎ０～ｎ４…ノード
Ｌ１～Ｌ６…葉

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】