知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-02-13
(45)【発行日】2024-02-21
(54)【発明の名称】情報処理装置、情報処理方法、及び、プログラム
(51)【国際特許分類】
G06N 5/00 20230101AFI20240214BHJP
G06N 20/00 20190101ALI20240214BHJP
【ＦＩ】
G06N5/00
G06N20/00
【請求項の数】
9
(21)【出願番号】P 2022545168
(86)(22)【出願日】2020-08-27
(86)【国際出願番号】 JP2020032454
(87)【国際公開番号】W WO2022044221
(87)【国際公開日】2022-03-03
【審査請求日】2023-02-20
(73)【特許権者】
【識別番号】000004237
【氏名又は名称】日本電気株式会社
(74)【代理人】
【識別番号】100107331
【弁理士】
【氏名又は名称】中村 聡延
(74)【代理人】
【識別番号】100104765
【弁理士】
【氏名又は名称】江上 達夫
(74)【代理人】
【識別番号】100131015
【弁理士】
【氏名又は名称】三輪 浩誉
(72)【発明者】
【氏名】岡嶋 穣
(72)【発明者】
【氏名】佐々木 耀一
(72)【発明者】
【氏名】定政 邦彦
【審査官】小太刀 慶明
(56)【参考文献】
【文献】特開平０５－２２５１６６（ＪＰ，Ａ）
【文献】特開２０２０－１２６５１０（ＪＰ，Ａ）
【文献】Rudy Setiono et al.，Understanding Neural Networks via Rule Extraction，IJCAI'95，Vol. 1，1995年08月，pp. 480-485
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｎ ５／００
Ｇ０６Ｎ ２０／００
(57)【特許請求の範囲】
【請求項1】
観測データと、当該観測データに対する対象モデルの予測値とのペアを受け取る観測データ入力手段と、条件と、当該条件に対応する予測値とのペアで構成されるルールを複数含むルール集合を受け取るルール集合入力手段と、
前記ルール集合から、前記観測データに対して条件が真になるルールである充足ルールを選別する充足ルール選別手段と、
前記観測データに対する前記充足ルールの予測値と、前記対象モデルの予測値との誤差を計算する誤差計算手段と、
前記充足ルールのうち、前記誤差が最小となるルールを前記対象モデルに対する代理ルールとして前記観測データに関連付ける代理ルール決定手段と、
を備える情報処理装置。
【請求項2】
前記ルール集合入力手段は、前記ルール集合として、事前に決定された代理ルール候補集合を受け取り、前記代理ルール決定手段は、前記観測データに関連付けられた代理ルールを出力する請求項１に記載の情報処理装置。
【請求項3】
前記代理ルール決定手段は、前記代理ルールの予測値と、前記対象モデルの予測値とを出力する請求項１又は２に記載の情報処理装置。
【請求項4】
前記観測データ入力手段は、前記観測データと前記対象モデルの予測値のペアを複数受け取り、前記代理ルール決定手段は、前記複数の観測データに関連付けられた複数の代理ルールを代理ルール候補集合として出力する請求項１に記載の情報処理装置。
【請求項5】
前記代理ルール決定手段は、前記充足ルールを採用する場合のコストの合計と、前記複数の観測データについての前記誤差の合計との和が最小となる充足ルールを前記代理ルールと決定する請求項４に記載の情報処理装置。
【請求項6】
前記代理ルール決定手段は、前記観測データに対して前記和が最小となるようにルールを割り当てる最適化問題を解くことで、前記代理ルールを決定する請求項５に記載の情報処理装置。
【請求項7】
前記ルール集合入力手段は、予め用意された元ルール集合を受け取り、前記コストは、前記元ルール集合に属するルール毎に予め決められている請求項５又は６に記載の情報処理装置。
【請求項8】
コンピュータにより実行される情報処理方法であって、
観測データと、当該観測データに対する対象モデルの予測値とのペアを受け取り、
条件と、当該条件に対応する予測値とのペアで構成されるルールを複数含むルール集合を受け取り、
前記ルール集合から、前記観測データに対して条件が真になるルールである充足ルールを選別し、
前記観測データに対する前記充足ルールの予測値と、前記対象モデルの予測値との誤差を計算し、
前記充足ルールのうち、前記誤差が最小となるルールを前記対象モデルに対する代理ルールとして前記観測データに関連付ける情報処理方法。
【請求項9】
観測データと、当該観測データに対する対象モデルの予測値とのペアを受け取り、条件と、当該条件に対応する予測値とのペアで構成されるルールを複数含むルール集合を受け取り、
前記ルール集合から、前記観測データに対して条件が真になるルールである充足ルールを選別し、
前記観測データに対する前記充足ルールの予測値と、前記対象モデルの予測値との誤差を計算し、
前記充足ルールのうち、前記誤差が最小となるルールを前記対象モデルに対する代理ルールとして前記観測データに関連付ける処理をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、機械学習モデルを利用した予測に関する。
【背景技術】
【0002】
機械学習分野において、単純な条件を複数組み合わせるルールベースのモデルは、解釈が容易であるという利点がある。その代表例は決定木である。決定木のひとつひとつのノードは単純な条件を表しており、決定木をルートから葉に辿ることは、複数の単純な条件を組み合わせた判定ルールを用いて予測することに相当する。
【0003】
一方、ニューラルネットワークやアンサンブルモデルのような複雑なモデルを用いた機械学習が高い予測性能を示し、注目を集めている。これらのモデルは、決定木のようなルールベースのモデルに比べて高い予測性能を示すことができるが、内部構造が複雑で、何故そのように予測するのか人間には理解できないという欠点がある。そのため、このような解釈性が低いモデルは「ブラックボックスモデル」と呼ばれる。この欠点に対処するため、解釈性が低いモデルが予測を出力する際に、その予測に関する説明を出力することが求められている。
【0004】
説明を出力する方法が、特定のブラックボックスモデルの内部構造に依存すると、それ以外のモデルには適用できなくなってしまう。そのため、説明を出力する方法は、モデルの内部構造に依存せず、任意のモデルに対して適用できる、モデル非依存（ｍｏｄｅｌ－ａｇｎｏｓｔｉｃ）な方法であることが望ましい。
【0005】
上記技術分野において、非特許文献１には、ある用例が入力されたときに、その用例に対して解釈性が低いモデルが出力する予測について、その用例の近傍に存在する用例を訓練データと見なして解釈性が高いモデルを新たに訓練し、そのモデルをその予測の説明として提示する技術が開示されている。この技術を用いることで、解釈性が低いモデルが出力する予測についての説明を人間に提示することができる。
【先行技術文献】
【非特許文献】
【0006】
【文献】Marco Tulio Ribeiro, Sameer Singh, Carlos Guestrin, "Why Should I Trust You?": Explaining the Predictions of Any Classifier, Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, August 2016, Pages 1135-1144, https://doi.org/10.1145/2939672.2939778
【発明の概要】
【発明が解決しようとする課題】
【0007】
非特許文献１に開示されている技術では、人間が受け入れづらい説明が出力される恐れがある。なぜなら、非特許文献１に開示されている技術は、入力された用例の近傍に存在する用例を用いて再訓練するだけであり、２つのモデルの予測が近いものになることは保証されていないからである。この場合、説明として出力される解釈性が高いモデルによる予測が、元のモデルの予測と大きく異なるものになる恐れがある。その場合、いくら元のモデルが高い精度を持つモデルであったとしても、説明として出されるモデルは精度が低くなってしまい、人間はその説明に納得することが困難になる。
【0008】
本発明の１つの目的は、機械学習モデルが出力する予測について、人間が受け入れやすいルールを説明として提示することである。
【課題を解決するための手段】
【0009】
本発明の一つの観点では、情報処理装置は、
観測データと、当該観測データに対する対象モデルの予測値とのペアを受け取る観測データ入力手段と、
条件と、当該条件に対応する予測値とのペアで構成されるルールを複数含むルール集合を受け取るルール集合入力手段と、
前記ルール集合から、前記観測データに対して条件が真になるルールである充足ルールを選別する充足ルール選別手段と、
前記観測データに対する前記充足ルールの予測値と、前記対象モデルの予測値との誤差を計算する誤差計算手段と、
前記充足ルールのうち、前記誤差が最小となるルールを前記対象モデルに対する代理ルールとして前記観測データに関連付ける代理ルール決定手段と、を備える。
観測データと、当該観測データに対する対象モデルの予測値とのペアを受け取る観測データ入力手段と、
条件と、当該条件に対応する予測値とのペアで構成されるルールを複数含むルール集合を受け取るルール集合入力手段と、
前記ルール集合から、前記観測データに対して条件が真になるルールである充足ルールを選別する充足ルール選別手段と、
前記観測データに対する前記充足ルールの予測値と、前記対象モデルの予測値との誤差を計算する誤差計算手段と、
前記充足ルールのうち、前記誤差が最小となるルールを前記対象モデルに対する代理ルールとして前記観測データに関連付ける代理ルール決定手段と、を備える。
【0010】
本発明の他の観点では、コンピュータにより実行される情報処理方法は、
観測データと、当該観測データに対する対象モデルの予測値とのペアを受け取り、
条件と、当該条件に対応する予測値とのペアで構成されるルールを複数含むルール集合を受け取り、
前記ルール集合から、前記観測データに対して条件が真になるルールである充足ルールを選別し、
前記観測データに対する前記充足ルールの予測値と、前記対象モデルの予測値との誤差を計算し、
前記充足ルールのうち、前記誤差が最小となるルールを前記対象モデルに対する代理ルールとして前記観測データに関連付ける。
観測データと、当該観測データに対する対象モデルの予測値とのペアを受け取り、
条件と、当該条件に対応する予測値とのペアで構成されるルールを複数含むルール集合を受け取り、
前記ルール集合から、前記観測データに対して条件が真になるルールである充足ルールを選別し、
前記観測データに対する前記充足ルールの予測値と、前記対象モデルの予測値との誤差を計算し、
前記充足ルールのうち、前記誤差が最小となるルールを前記対象モデルに対する代理ルールとして前記観測データに関連付ける。
【0011】
本発明のさらに他の観点では、プログラムは、
観測データと、当該観測データに対する対象モデルの予測値とのペアを受け取り、
条件と、当該条件に対応する予測値とのペアで構成されるルールを複数含むルール集合を受け取り、
前記ルール集合から、前記観測データに対して条件が真になるルールである充足ルールを選別し、
前記観測データに対する前記充足ルールの予測値と、前記対象モデルの予測値との誤差を計算し、
前記充足ルールのうち、前記誤差が最小となるルールを前記対象モデルに対する代理ルールとして前記観測データに関連付ける処理をコンピュータに実行させる。
観測データと、当該観測データに対する対象モデルの予測値とのペアを受け取り、
条件と、当該条件に対応する予測値とのペアで構成されるルールを複数含むルール集合を受け取り、
前記ルール集合から、前記観測データに対して条件が真になるルールである充足ルールを選別し、
前記観測データに対する前記充足ルールの予測値と、前記対象モデルの予測値との誤差を計算し、
前記充足ルールのうち、前記誤差が最小となるルールを前記対象モデルに対する代理ルールとして前記観測データに関連付ける処理をコンピュータに実行させる。
【図面の簡単な説明】
【0012】
【図1】本実施形態の手法を概念的に説明する図である。
【図2】ランダムフォレストを用いた元ルール集合の作成例を示す。
【図3】第１実施形態に係る情報処理装置のハードウェア構成を示すブロック図である。
【図4】情報処理装置の訓練時の機能構成を示すブロック図である。
【図5】情報処理装置の訓練時の処理例を示す図である。
【図6】情報処理装置による訓練時の処理のフローチャートである。
【図7】情報処理装置の実運用時の構成を示すブロック図である。
【図8】情報処理装置による実運用時の処理のフローチャートである。
【図9】ブラックボックスモデル及び元ルール集合の例を示す。
【図10】３つの代理ルール候補を選ぶ例を示す。
【図12】各観測データに対する代理ルールの割り当て表である。
【図13】訓練データ及び元ルール集合の例を示す。
【図14】連続最適化により決定された割り当ての表の例を示す。
【図15】第３実施形態の情報処理装置の機能構成を示すブロック図である。
【図16】第３実施形態の情報処理装置による処理のフローチャートである。
【発明を実施するための形態】
【0013】
＜第１実施形態＞
［基本発想］
本実施形態は、ブラックボックスモデルによる処理を、予め用意されたルールを用いて説明することにより、ブラックボックスモデルによる予測結果の信頼性を人間が確認できるようにする点に特徴を有する。図１は、本実施形態の手法を概念的に説明する図である。ある訓練済みのブラックボックスモデルＢＭがあるとする。ブラックボックスモデルＢＭは、入力ｘに対して予測結果ｙを出力するが、人間にはブラックボックスモデルＢＭの中身が不明であるため、予測結果ｙの信頼性に疑問が生じる。
［基本発想］
本実施形態は、ブラックボックスモデルによる処理を、予め用意されたルールを用いて説明することにより、ブラックボックスモデルによる予測結果の信頼性を人間が確認できるようにする点に特徴を有する。図１は、本実施形態の手法を概念的に説明する図である。ある訓練済みのブラックボックスモデルＢＭがあるとする。ブラックボックスモデルＢＭは、入力ｘに対して予測結果ｙを出力するが、人間にはブラックボックスモデルＢＭの中身が不明であるため、予測結果ｙの信頼性に疑問が生じる。
【0014】
そこで、本実施形態の情報処理装置１００は、人間が理解可能な単純なルールにより構成されるルールセットＲＳを予め用意し、ルールセットＲＳの中から、ブラックボックスモデルＢＭに対する代理ルールＲＲを求める。代理ルールＲＲは、ブラックボックスモデルＢＭに最も近い予測結果ｙ＾を出力するルールとする。即ち、代理ルールＲＲは、ブラックボックスモデルＢＭとほぼ同じ予測結果を出力する、解釈性の高いルールである。こうすると、人間は、ブラックボックスモデルＢＭの中身を理解することはできないが、ブラックボックスモデルＢＭとほぼ同じ予測結果を出力する代理ルールＲＲの中身を理解することにより、間接的にブラックボックスモデルＢＭの予測結果を信頼することが可能となる。こうして、ブラックボックスモデルＢＭの信頼性を高めることができる。
【0015】
また、情報処理装置１００では、さらなる工夫として、ルールセットＲＳに含まれるルール（以下、「代理ルール候補」とも呼ぶ。）を事前に選別し、人間が確認できるようにする。言い換えると、代理ルール候補は、いずれも人間が信頼できる単純なルールとしておく。これにより、人間が信頼できないような代理ルールが決定されることが防止できる。
【0016】
以上の効果を得るためには、ルールセットＲＳ、即ち、代理ルール候補集合ＲＳについて、以下の２つの条件が満足される必要がある。
（条件１）様々な入力ｘに対して、ブラックボックスモデルＢＭの予測結果ｙとほぼ同じ予測結果ｙ＾を出力するルールが常に存在している。
（条件２）人間が代理ルール候補をチェックするので、ルールセットＲＳのサイズ、即ち、代理ルール候補の数を極力小さくする。
（条件１）様々な入力ｘに対して、ブラックボックスモデルＢＭの予測結果ｙとほぼ同じ予測結果ｙ＾を出力するルールが常に存在している。
（条件２）人間が代理ルール候補をチェックするので、ルールセットＲＳのサイズ、即ち、代理ルール候補の数を極力小さくする。
【0017】
代理ルール候補集合ＲＳを決定する問題は、用意された複数のルールから、ブラックボックスモデルＢＭの予測結果ｙと代理ルールＲＲの予測結果ｙ＾との誤差をできるだけ小さくし、かつ、代理ルール候補の数をできるだけ小さくする代理ルール候補集合を選ぶという最適化問題と考えることができる。
【0018】
［モデル化］
次に、具体的に代理ルールのモデルを考える。代理ルールは、以下の条件を満たす。
「入力ｘに対して、ブラックボックスモデルが予測結果ｙを出力するとき、入力ｘに対して条件が真となり、予測結果ｙ＾が予測結果ｙに最も近いルールを代理ルールとする。このとき、ルール数を一定以下に抑えつつ、予測結果ｙとｙ＾の差を最小化する。」
次に、具体的に代理ルールのモデルを考える。代理ルールは、以下の条件を満たす。
「入力ｘに対して、ブラックボックスモデルが予測結果ｙを出力するとき、入力ｘに対して条件が真となり、予測結果ｙ＾が予測結果ｙに最も近いルールを代理ルールとする。このとき、ルール数を一定以下に抑えつつ、予測結果ｙとｙ＾の差を最小化する。」
【0019】
まず、ブラックボックスモデルを式（１．１）で示し、訓練データＤを式（１．２）で示す。
【0020】
【数1】
【0021】
次に、元ルール集合Ｒ０を式（１．３）で示し、ルールを式（１．４）で示す。
【0022】
【数2】
【0023】
元ルール集合Ｒ０の作り方は、特定の手法に限定されず、例えば人手で作ってもよい。また、大量の決定木を生成する手法であるランダムフォレスト（Ｒａｎｄｏｍ Ｆｏｒｅｓｔ：ＲＦ）を用いてもよい。図２は、ランダムフォレストを用いた元ルール集合Ｒ０の作成例を示す。ランダムフォレストを用いる場合、決定木の根ノードから葉ノードを一つのルールとみなすことができる。ランダムフォレストに訓練データＤを入力し、得られたルールを元ルール集合Ｒ０とすればよい。また、回帰問題の場合には、葉ノードに当てはまる用例の予測結果ｙの平均値を予測結果ｙ＾として使うことができる。
【0024】
次に、ブラックボックスモデルの予測結果ｙと、代理ルールの予測結果ｙ＾との誤差を測る損失関数を定義する。解きたい問題が分類問題の場合、損失関数として交差エントロピーを用いることができる。また、解きたい問題が回帰問題である場合、損失関数として以下のような二乗誤差を用いることができる。
【0025】
【数3】
【0026】
次に、目的関数を定義する。初期のルール集合である元ルール集合Ｒ０から、その部分集合である代理ルール候補集合Ｒ⊂Ｒ０を求める。具体的に、代理ルール候補集合Ｒは以下の式で表される。
【0027】
【数4】
【0028】
代理ルールは、代理ルール候補集合Ｒから以下のように選ばれる。
【0029】
【数5】
【0030】
次に、式（１．６）に示されるルール採用コストλｒの設定方法について説明する。前述のように、ルール採用コストは、予測結果ｙとｙ＾の間の誤差と、代理ルール候補数とのバランスを調節するために導入される。よって、ルール採用コストを変えることで、代理ルールの精度と説明性のバランスを変更することができる。
【0031】
具体的に、ルール採用コストが高いと、そのルールを代理ルール候補集合Ｒに追加するためのコストが高くなるため、代理ルール候補集合Ｒはできるだけ少ないルール数となるように最適化される。その結果、代理ルールの説明性が高くなる。一方、ルール採用コストが低いと、代理ルール候補集合Ｒはより多くのルールを含むようになるため、代理ルールの精度が高くなる。なお、ルール採用コストが低すぎると、過度に複雑なルールが使われて、過学習が発生する可能性があるが、ルール採用コストを高くなりすぎないように調整することで、過学習を防ぐ効果が期待できる。
【0032】
ルール採用コストは、人間が指定してもよく、何らかの方法で機械的に設定してもよい。例えば、ルール採用コストを小刻みに変化させてルール数が１００個以下になる値に設定してもよい。同様に、検証用のデータセットを実際に代理ルールに適用して代理ルールの予測精度を測り、得られる予測精度が適切な値となるように、ルール採用コストを調整してもよい。
【0033】
ルール採用コストは、全ルールについて共通の値としてもよく、個々のルール毎に異なる値を割り当ててもよい。例えば、個々のルールで使用している条件の数、即ち、ＩＦ－ＴＨＥＮルールにおける「ＡＮＤ」の数を考慮してもよい。例えば、条件の数が多いルールには高い値を割り当て、条件の数が少ないルールには低い値を割り当ててもよい。これにより、代理ルール候補集合Ｒは、複雑なルールをできるだけ使わず、単純なルールを使うように最適化される。
【0034】
［ハードウェア構成］
図３は、第１実施形態に係る情報処理装置のハードウェア構成を示すブロック図である。図示のように、情報処理装置１００は、インタフェース（ＩＦ）１１と、プロセッサ１２と、メモリ１３と、記録媒体１４と、データベース（ＤＢ）１５と、を備える。
図３は、第１実施形態に係る情報処理装置のハードウェア構成を示すブロック図である。図示のように、情報処理装置１００は、インタフェース（ＩＦ）１１と、プロセッサ１２と、メモリ１３と、記録媒体１４と、データベース（ＤＢ）１５と、を備える。
【0035】
インタフェース１１は、外部装置との通信を行う。具体的に、インタフェース１１は、観測データや、観測データに対するブラックボックスモデルの予測結果を取得する。また、インタフェース１１は、情報処理装置１００により得られた代理ルール候補集合、代理ルール、代理ルールによる予測結果などを外部装置へ出力する。
【0036】
プロセッサ１２は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などのコンピュータであり、予め用意されたプログラムを実行することにより、情報処理装置１００の全体を制御する。なお、プロセッサ１１２は、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）またはＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）であってもよい。具体的に、プロセッサ１２は、入力された観測データ及びその観測データに対するブラックボックスモデルの予測結果を用いて、代理ルール候補集合を生成する処理や、代理ルールを決定する処理を実行する。
【0037】
メモリ１３は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などにより構成される。メモリ１３は、プロセッサ１２により実行される各種のプログラムを記憶する。また、メモリ１３は、プロセッサ１２による各種の処理の実行中に作業メモリとしても使用される。
【0038】
記録媒体１４は、ディスク状記録媒体、半導体メモリなどの不揮発性で非一時的な記録媒体であり、情報処理装置１００に対して着脱可能に構成される。記録媒体１４は、プロセッサ１２が実行する各種のプログラムを記録している。情報処理装置１００が後述する訓練処理及び推論処理を実行する際には、記録媒体１４に記録されているプログラムがメモリ１３にロードされ、プロセッサ１２により実行される。
【0039】
データベース１５は、情報処理装置１００に入力される観測データや、訓練時の処理で使用される訓練データを記憶する。また、データベース１５は、前述の元ルール集合Ｒ０、代理ルール候補集合Ｒなどを記憶する。なお、上記に加えて、情報処理装置１００は、キーボード、マウスなどの入力機器や、表示装置などを備えていても良い。
【0040】
［訓練時の構成］
図４は、情報処理装置の訓練時の機能構成を示すブロック図である。訓練時の情報処理装置１００ａは、予測取得部２及びブラックボックスモデル３とともに使用される。訓練時の処理は、観測データとブラックボックスモデルを用いて、そのブラックボックスモデルに対する代理ルール候補集合Ｒを生成する処理である。訓練時における観測データは、前述の訓練データＤに相当する。情報処理装置１００ａは、観測データ入力部２１と、ルール集合入力部２２と、充足ルール選別部２３と、誤差計算部２４と、代理ルール決定部２５とを備える。
図４は、情報処理装置の訓練時の機能構成を示すブロック図である。訓練時の情報処理装置１００ａは、予測取得部２及びブラックボックスモデル３とともに使用される。訓練時の処理は、観測データとブラックボックスモデルを用いて、そのブラックボックスモデルに対する代理ルール候補集合Ｒを生成する処理である。訓練時における観測データは、前述の訓練データＤに相当する。情報処理装置１００ａは、観測データ入力部２１と、ルール集合入力部２２と、充足ルール選別部２３と、誤差計算部２４と、代理ルール決定部２５とを備える。
【0041】
予測取得部２は、ブラックボックスモデル３による予測の対象となる観測データを取得し、ブラックボックスモデル３へ入力する。ブラックボックスモデル３は、入力された観測データに対する予測を行い、予測結果を予測取得部２へ出力する。予測取得部２は、観測データと、ブラックボックスモデル３による予測結果とを情報処理装置１００ａの観測データ入力部２１へ出力する。
【0042】
観測データ入力部２１は、観測データと、それに対するブラックボックスモデル３の予測結果とのペアを受け取り、充足ルール選別部２３へ出力する。また、ルール集合入力部２２は、予め用意された元ルール集合Ｒ０を取得し、充足ルール選別部２３へ出力する。
【0043】
充足ルール選別部２３は、ルール集合入力部２２が取得した元ルール集合Ｒ０から、各観測データについて条件が真になるルール（以下、「充足ルール」とも呼ぶ。）を選別し、誤差計算部２４へ出力する。
【0044】
誤差計算部２４は、各充足ルールに観測データを入力して充足ルールによる予測結果を生成する。そして、誤差計算部２４は、観測データとペアで入力されたブラックボックスモデル３の予測結果と、充足ルールによる予測結果とから、前述の損失関数Ｌを用いて誤差を算出し、代理ルール決定部２５へ出力する。
【0045】
代理ルール決定部２５は、観測データ毎に、各充足ルールについての誤差の合計と、各充足ルールについてのルール採用コストの合計との和が最小となるルールを代理ルール候補と決定する。こうして、代理ルール決定部２５は、各観測データに対する代理ルール候補を決定し、それらの集合を代理ルール候補集合Ｒとして出力する。
【0046】
次に、情報処理装置１００の訓練時の処理を具体例を挙げて説明する。図５は、情報処理装置１００の訓練時の処理例を示す図である。まず、観測データが予測取得部２に入力される。本例では、観測ＩＤ「０」～「２」の３つの観測データが入力される。以下、説明の便宜上、観測ＩＤが「Ａ」である観測データを「観測データＡ」と呼ぶ。各観測データは、３つの値Ｘ０～Ｘ２を含む。予測取得部２は、入力された観測データをブラックボックスモデル３に出力する。ブラックボックスモデル３は、３つの観測データについて予測を行い、予測結果ｙを予測取得部２へ出力する。
【0047】
予測取得部２は、観測データと、その観測データについてのブラックボックスモデル３による予測結果ｙとのペアを生成する。そして、予測取得部２は、観測データと予測結果ｙとのペアを観測データ入力部２１へ出力する。観測データ入力部２１は、入力された観測データと予測結果ｙとのペアを充足ルール選別部２３へ出力する。
【0048】
一方、訓練時には、ルール集合入力部２２に元ルール集合Ｒ０が入力される。ルール集合入力部２２は、入力された元ルール集合Ｒ０を充足ルール選別部２３へ出力する。本例では、元ルール集合Ｒ０は、ルールＩＤが「０」～「３」の４つのルールを含む。なお、説明の便宜上、ルールＩＤが「Ｂ」であるルールを「ルールＢ」と呼ぶ。
【0049】
充足ルール選別部２３は、元ルール集合Ｒ０に含まれる複数のルールのうち、観測データを入力したときに条件が真になるルールを充足ルールとして選択する。例えば、観測データ０は、Ｘ０＝５、Ｘ１＝１５、Ｘ２＝１０であり、ルール０の条件は「Ｘ０＜１２ ＡＮＤ Ｘ１＞１０」であるので、観測データ０はルール０の条件を満たす。即ち、観測データ０についてルール０の条件は真となる。よって、ルール０は、観測データ０についての充足ルールとして選択される。また、ルール１の条件は「ｘ０＜１２」であり、観測データ０についてルール１の条件は真となる。よって、ルール１は、観測データ０についての充足ルールとして選択される。一方、ルール２及びルール３の条件は、観測データ０について真とならない。よって、観測データ０について、ルール２及び３は充足ルールとはならない。
【0050】
こうして、充足ルール選別部２３は、各観測データについて条件が真となるルールを充足ルールとして選択する。その結果、図５の例では、観測データ０についてはルール０とルール１が充足ルールとして選択され、観測データ１についてはルール１とルール２が充足ルールとして選択され、観測データ２についてはルール２とルール３が充足ルールとして選択される。そして、充足ルール選別部２３は、各観測データと、その観測データについて選択された充足ルールとのペアを誤差計算部２４へ出力する。
【0051】
誤差計算部２４は、入力された観測データと充足ルールのペアの各々について、ブラックボックスモデル３の予測結果ｙと、充足ルールによる予測結果との誤差を計算する。ブラックボックスモデル３の予測結果ｙは、予測取得部２から観測データ入力部２１に入力されたものを用いる。また、各充足ルールの予測結果は、元ルール集合Ｒ０で規定されている値を用いる。なお、ここでは前述のように解決すべき問題は回帰問題であるとし、誤差計算部２４は式（１．５）に示す二乗誤差の式を用いて誤差を算出する。例えば、観測データ０については、ブラックボックスモデルの予測結果Ｙは「１５」であり、ルール０による予測結果は「１２」であるので、誤差Ｌ＝（１５－１２）２＝９となる。こうして、誤差計算部２４は、観測データと充足ルールのペアの各々について誤差を計算し、代理ルール決定部２５へ出力する。
【0052】
代理ルール決定部２５は、誤差計算部２４が出力した誤差と、各充足ルールを採用する際のルール採用コストとに基づいて、代理ルール候補集合Ｒを生成する。具体的には、代理ルール決定部２５は、先の式（１．６）に示すように、各観測データについて、誤差計算部２４が計算した誤差の合計と、各充足ルールを採用する際のルール採用コストの合計との和が最小となる充足ルールを代理ルール候補とする。こうして、代理ルール決定部２５は、各観測データについて代理ルール候補を決定し、代理ルール候補の集合である代理ルール候補集合Ｒを出力する。なお、代理ルール決定部２５は、上記の代理ルール候補を、最適化問題を解くことにより決定する。
【0053】
［訓練処理］
図６は、情報処理装置１００ａによる訓練時の処理のフローチャートである。この処理は、図３に示すプロセッサ１２が予め用意されたプログラムを実行し、図４に示す各要素として動作することにより実現される。
図６は、情報処理装置１００ａによる訓練時の処理のフローチャートである。この処理は、図３に示すプロセッサ１２が予め用意されたプログラムを実行し、図４に示す各要素として動作することにより実現される。
【0054】
まず、事前処理として、予測取得部２は、訓練データである観測データを取得し、ブラックボックスモデル３に入力する。そして、予測取得部２は、ブラックボックスモデル３による予測結果ｙを取得し、観測データと予測結果ｙとのペアを情報処理装置１００ａに入力する。また、任意のルールで構成される元ルール集合Ｒ０が予め用意されている。
【0055】
情報処理装置１００ａの観測データ入力部２１は、観測データと予測結果ｙのペアを予測取得部２から取得する（ステップＳ１１）。また、ルール集合入力部２２は、元ルール集合Ｒ０を取得する（ステップＳ１２）。そして、充足ルール選別部２３は、観測データ毎に、元ルール集合Ｒ０に含まれるルールのうち、条件が真となるルールを充足ルールとして選択する（ステップＳ１３）。
【0056】
次に、誤差計算部２４は、観測データ毎に、ブラックボックスモデル３の予測結果ｙと、充足ルールの予測結果ｙ＾との誤差を算出する（ステップＳ１４）。そして、代理ルール決定部２５は、誤差計算部２４が計算した観測データ毎の誤差の合計と、各観測データについての充足ルールのルール採用コストの合計の和が最小となるルールを、各観測データについての代理ルール候補と決定し、それらの代理ルールを含む代理ルール候補集合Ｒを生成する（ステップＳ１５）。そして、処理は終了する。
【0057】
このように訓練時においては、情報処理装置１００ａは、訓練データとしての観測データと、予め用意された元ルール集合Ｒ０とを用いて、各観測データに対する代理ルール候補を含む代理ルール候補集合Ｒを生成する。この代理ルール候補集合Ｒは、実運用に時にルール集合として使用される。
【0058】
訓練時の処理では、様々な訓練データについて、ブラックボックスモデルの予測結果との誤差の合計、及び、ルール採用コストの合計が小さくなるように、代理ルール候補集合Ｒが生成される。よって、ブラックボックスモデルとほぼ同じ予測結果を出力するルールが代理ルール候補として選択されるので、ブラックボックスモデルの代理説明として受け入れやすい代理ルールを得ることが可能となる。また、ルール採用コストの合計が小さくなるように代理ルール候補集合Ｒが生成されるので、代理ルール候補数が抑えられ、人間が事前に代理ルール候補の信頼性をチェックすることが容易となる。
【0059】
［実運用時の構成］
図７は、本実施形態に係る情報処理装置の実運用時の構成を示すブロック図である。実運用時の情報処理装置１００ｂは、基本的に図４に示す訓練時の情報処理装置１００ａと同様の構成を有する。但し、実運用時には、訓練データではなく、実際にブラックボックスモデル３による予測の対象となる観測データが入力される。また、ルール集合入力部２２には、上記の訓練時の処理により生成された代理ルール候補集合Ｒが入力される。
図７は、本実施形態に係る情報処理装置の実運用時の構成を示すブロック図である。実運用時の情報処理装置１００ｂは、基本的に図４に示す訓練時の情報処理装置１００ａと同様の構成を有する。但し、実運用時には、訓練データではなく、実際にブラックボックスモデル３による予測の対象となる観測データが入力される。また、ルール集合入力部２２には、上記の訓練時の処理により生成された代理ルール候補集合Ｒが入力される。
【0060】
実運用時には、入力された観測データについて、代理ルール候補集合Ｒに含まれる代理ルール候補から複数の充足ルールが選択され、ブラックボックスモデル３による予測結果ｙと、その充足ルールによる予測結果ｙ＾との誤差が計算される。そして、その誤差が最小となる充足ルールが代理ルールとして出力される。
【0061】
［実運用時の処理］
図８は、情報処理装置１００ｂによる実運用時の処理のフローチャートである。この処理は、図３に示すプロセッサ１２が予め用意されたプログラムを実行し、図７に示す各要素として動作することにより実現される。
図８は、情報処理装置１００ｂによる実運用時の処理のフローチャートである。この処理は、図３に示すプロセッサ１２が予め用意されたプログラムを実行し、図７に示す各要素として動作することにより実現される。
【0062】
まず、事前処理として、予測取得部２は、対象となる観測データを取得し、ブラックボックスモデル３に入力する。そして、予測取得部２は、ブラックボックスモデル３による予測結果ｙを取得し、観測データと予測結果ｙとのペアを情報処理装置１００ｂに入力する。また、前述の訓練時の処理により生成された代理ルール候補集合Ｒが情報処理装置１００ｂに入力される。
【0063】
情報処理装置１００ｂの観測データ入力部２１は、観測データと予測結果ｙのペアを予測取得部２から取得する（ステップＳ２１）。また、ルール集合入力部２２は、代理ルール候補集合Ｒを取得する（ステップＳ２２）。そして、充足ルール選別部２３は、代理ルール候補集合Ｒに含まれるルールのうち、観測データについて条件が真となるルールを充足ルールとして選択する（ステップＳ２３）。
【0064】
次に、誤差計算部２４は、観測データについて、ブラックボックスモデル３の予測結果ｙと、充足ルールの予測結果ｙ＾との誤差を算出する（ステップＳ２４）。そして、代理ルール決定部２５は、充足ルールのうち、誤差計算部２４が計算した誤差が最小となるルールを、その観測データについての代理ルールと決定し、出力する（ステップＳ２５）。そして、処理は終了する。
【0065】
このように、実運用時においては、情報処理装置１００ｂは、事前に行った訓練により得られた代理ルール候補集合Ｒを用いて、観測データに対する代理ルールを決定する。この代理ルールは、観測データについてブラックボックスモデルとほぼ同一の予測結果を出力するルールであるため、ブラックボックスモデルによる予測の代理説明に用いることができる。これにより、ブラックボックスモデルの解釈性と信頼性を向上させることができる。
【0066】
［本実施形態による効果］
以上説明したように、本実施形態では、実運用時にブラックボックスモデルの予測結果との誤差を最小とする代理ルールが出力されるので、代理ルールがブラックボックスモデルによる予測の説明として人間にとって受け入れやすいものとなる。なお、実運用時には、ブラックボックスモデルによる予測結果ｙの代わりに、得られた代理ルールによる予測結果ｙ＾を採用してもよい。これは、ブラックボックスモデルの予測は根拠を示せないが、代理ルールによる予測は代理ルールの条件部を根拠として示すことができるので、より解釈性が高く、人間が受け入れやすいためである。
以上説明したように、本実施形態では、実運用時にブラックボックスモデルの予測結果との誤差を最小とする代理ルールが出力されるので、代理ルールがブラックボックスモデルによる予測の説明として人間にとって受け入れやすいものとなる。なお、実運用時には、ブラックボックスモデルによる予測結果ｙの代わりに、得られた代理ルールによる予測結果ｙ＾を採用してもよい。これは、ブラックボックスモデルの予測は根拠を示せないが、代理ルールによる予測は代理ルールの条件部を根拠として示すことができるので、より解釈性が高く、人間が受け入れやすいためである。
【0067】
また、本実施形態では、代理ルールの決定に使用される代理ルール候補集合Ｒが予め生成されており、人間が代理ルール候補集合Ｒを事前にチェックすることができるので、実運用時にどのような予測が出力されるかを事前に把握することができる。言い換えると、代理ルール候補集合Ｒに含まれないルールを用いた予測が出力されることは無いので、代理ルールによる予測を安心して使用することができる。
【0068】
［代理ルール決定部による最適化処理］
次に、代理ルール決定部２５による最適化処理について説明する。前述のように、情報処理装置１００ａによる訓練時には、代理ルール決定部２５は、最適化問題を解くことにより代理ルール候補集合Ｒを生成する。具体的には、代理ルール決定部２５は、訓練データとしての各観測データについて、ブラックボックスモデル３による予測結果ｙと充足ルールによる予測結果ｙ＾との誤差の合計と、各充足ルールについてのルール採用コストλｒの合計との和が最小となるように、元ルール集合Ｒ０から代理ルール候補を決定する。これは、観測データに対してルールを割り当てる割り当ての問題とみなすことができる。まずは単純な例を挙げて、代理ルール候補を決定する方法を説明する。
次に、代理ルール決定部２５による最適化処理について説明する。前述のように、情報処理装置１００ａによる訓練時には、代理ルール決定部２５は、最適化問題を解くことにより代理ルール候補集合Ｒを生成する。具体的には、代理ルール決定部２５は、訓練データとしての各観測データについて、ブラックボックスモデル３による予測結果ｙと充足ルールによる予測結果ｙ＾との誤差の合計と、各充足ルールについてのルール採用コストλｒの合計との和が最小となるように、元ルール集合Ｒ０から代理ルール候補を決定する。これは、観測データに対してルールを割り当てる割り当ての問題とみなすことができる。まずは単純な例を挙げて、代理ルール候補を決定する方法を説明する。
【0069】
いま、ブラックボックスモデルをｙ＝ｘとし、観測データｘとして５つのデータ（０．１，０．３，０．５，０．７，０．９）が与えられているとする。この場合、観測データｘに対する、ブラックボックスモデルの予測値ｙは、図９（Ａ）で示される。
【0070】
また、５つの観測データに対して、図９（Ｂ）に示す９個のルールｒ１～ｒ９が元ルール集合Ｒ０として与えられているものとする。なお、ルールｒ１～ｒ８は、「０．２」、「０．４」、「０．６」、「０．８」のいずれかを閾値とする大小判定を条件（ＩＦ）とする。但し、ルールｒ９は、一切の条件を付けず、全てに当てはまるデフォルトルールである。デフォルトルールを設けることにより、当てはまるルールが１個もなくなることが防止できる。各ルールｒ１～ｒ９の予測値（ＴＨＥＮ）は、そのルールに当てはまる観測データｘの平均値となっている。
【0071】
まずは、わかりやすさのため、仮に代理ルール候補集合Ｒのサイズ、即ち、代理ルール候補の数を「３」に固定する。即ち、９個のルールｒ１～ｒ９の中から、３個のルールで誤差とルール採用コストの和が最小となる組み合わせを考えてみる。但し、３個のルールのうちの１個はデフォルトルールｒ９であり、常に５つの観測データの平均値「０．５」を予測するものとする。この場合、図１０に示すように、予測結果の誤差の合計とルール採用コストの合計との和が最小となる代理ルール候補集合は、ｒ２、ｒ７、ｒ９となる。
【0072】
これを、誤差行列を用いて表現する。図１１（Ａ）は、各ルールｒ１～ｒ９についての誤差行列を示す。予測値の列は５つの観測データについてのブラックボックスモデルの予測結果ｙを示し、予測値の行は各ルールｒ１～ｒ９による予測結果ｙ＾を示す。行列のセルのうち、グレーのセルは、観測データがルールｒの条件（ＩＦ）を具備しない場合を示し、この場合は誤差を計算しない。一方、白色のセルは、ブラックボックスモデルの予測結果ｙと、各ルールによる予測結果ｙ＾とを用いて計算した二乗誤差を示す。
【0073】
図１１（Ａ）の誤差行列に基づき、誤差の合計とルール採用コストの合計の和が最小となるように３個のルールを選択すると、図１１（Ｂ）に示すように、ルールｒ２、ｒ７、ｒ９が選択される。このように、代理ルール候補集合Ｒが選ばれると、各観測データと代理ルールとの割り当てが同時に決定される。
【0074】
図１２は、各観測データに対する代理ルールの割り当て表である。各ルールが割り当てられているセルには「１」が記入されている。この例では、３個のルールのうち、観測データ「０．１」と「０．３」にはルールｒ２が割り当てられ、観測データ「０．５」にはルールｒ９が割り当てられ、観測データ「０．７」と「０．９」にはルールｒ７が割り当てられている。
【0075】
［最適化問題の解法］
以上のような割り当て問題を解く方法としては、離散最適化として解く方法と、連続最適化に近似して解く方法の少なくとも２つが考えられる。以下、順に説明する。
以上のような割り当て問題を解く方法としては、離散最適化として解く方法と、連続最適化に近似して解く方法の少なくとも２つが考えられる。以下、順に説明する。
【0076】
（離散最適化による解法）
観測データに対して代理ルール候補を割り当てる問題を、最適化問題として解く例を説明する。以下の例では、上記の割り当て問題を、重み付き最大充足割当問題（Ｗｅｉｇｈｔｅｄ ＭａｘＳＡＴ）と呼ばれる問題に変換し、離散最適化問題として解く。
観測データに対して代理ルール候補を割り当てる問題を、最適化問題として解く例を説明する。以下の例では、上記の割り当て問題を、重み付き最大充足割当問題（Ｗｅｉｇｈｔｅｄ ＭａｘＳＡＴ）と呼ばれる問題に変換し、離散最適化問題として解く。
【0077】
（１）前提
（１．１）充足可能性問題
充足可能性問題（ＳＡＴ）とは、与えられた論理式を満たすような各論理変数に対する真偽値（Ｔｒｕｅ，Ｆａｌｓｅ）割り当てが存在するか（ＹＥＳ／ＮＯ）を問う決定問題である。ここで与えられる論理式は連言標準形（ＣＮＦ，Conjunctive Normal Form）で与えられる。連言標準形とは、論理変数または論理変数の否定ｘｉ，ｊに対し、∧ｉ∨ｊｘｉ，ｊの形で表され、内側の選言部分（∨ｊｘｉ，ｊ）を節と呼ぶ。例えば、ＣＮＦ論理式（Ａ∨￢Ｂ）（￢Ａ∨Ｂ∨Ｃ）が与えられたとき、各論理変数に対しＡ＝Ｔｒｕｅ，Ｂ＝Ｆａｌｓｅ、Ｃ＝Ｔｒｕｅと真偽値を割り当てると与えられた論理式が満たされるためＹＥＳとなる。
（１．１）充足可能性問題
充足可能性問題（ＳＡＴ）とは、与えられた論理式を満たすような各論理変数に対する真偽値（Ｔｒｕｅ，Ｆａｌｓｅ）割り当てが存在するか（ＹＥＳ／ＮＯ）を問う決定問題である。ここで与えられる論理式は連言標準形（ＣＮＦ，Conjunctive Normal Form）で与えられる。連言標準形とは、論理変数または論理変数の否定ｘｉ，ｊに対し、∧ｉ∨ｊｘｉ，ｊの形で表され、内側の選言部分（∨ｊｘｉ，ｊ）を節と呼ぶ。例えば、ＣＮＦ論理式（Ａ∨￢Ｂ）（￢Ａ∨Ｂ∨Ｃ）が与えられたとき、各論理変数に対しＡ＝Ｔｒｕｅ，Ｂ＝Ｆａｌｓｅ、Ｃ＝Ｔｒｕｅと真偽値を割り当てると与えられた論理式が満たされるためＹＥＳとなる。
【0078】
次に、最大充足割当問題（ＭａｘＳＡＴ）とは、与えられたＣＮＦ論理式に対して、満たす節の数が最も多くなるような真偽値割り当てを求める問題である。また、重み付き最大充足割当問題（Ｗｅｉｇｈｔｅｄ ＭａｘＳＡＴ）とは、各節に重みがついたＣＮＦ論理式が与えられ、満たす節の重みの和が最大となるような真偽値割り当てを求める問題である。これは、満たさない節の重みの和を最小にする問題と等価である。特に、重みが有限の節をＳｏｆｔ節、無限（＝∞）の節をＨａｒｄ節と呼び、Ｈａｒｄ節は必ず満たす必要がある。
【0079】
（２）代理ルールに基づくモデル
（２．１）提案モデルの概要
元ルール集合をＲ０＝｛ｒｊ｝ｍ ｊ＝１で与える。任意のルールｒｊは、条件ｃｒｊと結果ｙ＾ｒｊのタプル（ｃｒｊ，ｙ＾ｒｊ）で表現され、ある入力データｘ∈Ｘに対し、ルールｒｊはｘが条件ｃｒｊを満たすとき、ｙ＾ｒｊを出力する。
（２．１）提案モデルの概要
元ルール集合をＲ０＝｛ｒｊ｝ｍ ｊ＝１で与える。任意のルールｒｊは、条件ｃｒｊと結果ｙ＾ｒｊのタプル（ｃｒｊ，ｙ＾ｒｊ）で表現され、ある入力データｘ∈Ｘに対し、ルールｒｊはｘが条件ｃｒｊを満たすとき、ｙ＾ｒｊを出力する。
【0080】
提案モデル：ｆrule_s
入力データｘと、元ルール集合Ｒ０＝｛ｒｊ｝ｍ ｊ＝１と任意のブラックボックスモデルｆ：Ｘ→Ｙに対し、以下の代理ルールｒsur＝ｆrule_s（ｘ，Ｒ，ｆ）を出力する。
入力データｘと、元ルール集合Ｒ０＝｛ｒｊ｝ｍ ｊ＝１と任意のブラックボックスモデルｆ：Ｘ→Ｙに対し、以下の代理ルールｒsur＝ｆrule_s（ｘ，Ｒ，ｆ）を出力する。
【0081】
【数6】
【0082】
【数7】
【0083】
（問題）
入力：訓練データＤ＝｛（ｘｉ，ｙｉ）｝ｎ ｉ＝１、元ルール集合Ｒ０、ルール採用コストΛ＝｛λｒ｝ｒ∈Ｒ
出力：以下を満たす代理ルール候補集合Ｒ
入力：訓練データＤ＝｛（ｘｉ，ｙｉ）｝ｎ ｉ＝１、元ルール集合Ｒ０、ルール採用コストΛ＝｛λｒ｝ｒ∈Ｒ
出力：以下を満たす代理ルール候補集合Ｒ
【0084】
【数8】
【0085】
（２．２） ｗｅｉｇｈｔｅｄ Ｍａｘ Ｈｏｒｎ ＳＡＴによるルールセットの最適化
代理ルール候補集合Ｒの最適化を行うために、式（２．４）を重み付きＭａｘＳＡＴに変換する手法を提案する。始めに、２種類の論理変数ｏｊとｅｉ，ｊを導入する。ここで、すべての１≦ｊ≦｜Ｒ０｜に対し、ルールｒｊに対応する論理変数ｏｊを生成し、これらの論理変数の∈をＯで与える。また、すべての１≦ｉ≦ｎかつ１≦ｊ≦｜Ｒ０｜に対し、訓練データｘｉがルールｒｊの条件ｃｊを満たす時のみ対応する論理変数ｅｉ，ｊを生成し、これらの集合をＥで与える。これらの論理変数に対して以下の条件で真偽値が割り当てられる。
・ｏｊ＝Ｔｒｕｅ ｉｆ出力する代理ルール候補集合Ｒがルールｒｊを含んでいる。
・ｅｉ，ｊ＝Ｔｒｕｅ ｉｆデータｘｉに対する代理ルールがｒｊである。
代理ルール候補集合Ｒの最適化を行うために、式（２．４）を重み付きＭａｘＳＡＴに変換する手法を提案する。始めに、２種類の論理変数ｏｊとｅｉ，ｊを導入する。ここで、すべての１≦ｊ≦｜Ｒ０｜に対し、ルールｒｊに対応する論理変数ｏｊを生成し、これらの論理変数の∈をＯで与える。また、すべての１≦ｉ≦ｎかつ１≦ｊ≦｜Ｒ０｜に対し、訓練データｘｉがルールｒｊの条件ｃｊを満たす時のみ対応する論理変数ｅｉ，ｊを生成し、これらの集合をＥで与える。これらの論理変数に対して以下の条件で真偽値が割り当てられる。
・ｏｊ＝Ｔｒｕｅ ｉｆ出力する代理ルール候補集合Ｒがルールｒｊを含んでいる。
・ｅｉ，ｊ＝Ｔｒｕｅ ｉｆデータｘｉに対する代理ルールがｒｊである。
【0086】
（Ｈａｒｄ節）
上で与えた論理変数ｏｊとｅｉ，ｊに対して、以下の２つの制約を表す論理式を与える。
上で与えた論理変数ｏｊとｅｉ，ｊに対して、以下の２つの制約を表す論理式を与える。
【0087】
【数9】
【0088】
（Ｓｏｆｔ節）
式（２．４）で示したように、代理ルール候補集合Ｒの最適化は、与えられた訓練データに対して、ブラックボックスモデルの予測値と代理ルールの予測値の誤差の和
式（２．４）で示したように、代理ルール候補集合Ｒの最適化は、与えられた訓練データに対して、ブラックボックスモデルの予測値と代理ルールの予測値の誤差の和
【0089】
【数10】
【0090】
【数11】
【0091】
【数12】
【0092】
【数13】
【0093】
上記の項目（１．１）で述べたように、充足しない節の重みの和が最小になるように論理変数への真偽値が割り当てられる。ルールｒｊが最適解として出力される代理ルール候補集合に含まれるときに、￢ｏｊがＦａｌｓｅとなるため、λｒｊがコストとして支払われる。
【0094】
（実施例）
例として、図１３（Ａ）のテーブル１に示す訓練データと、図１３（Ｂ）のテーブル２に示すルール集合を考える。また、ブラックボックスモデルｆ（ｘ）としてｙ＝ｘを与え、全てのルールｒｊについて同一のルール採用コストλｒｊ＝０．５を与えるものとする。
例として、図１３（Ａ）のテーブル１に示す訓練データと、図１３（Ｂ）のテーブル２に示すルール集合を考える。また、ブラックボックスモデルｆ（ｘ）としてｙ＝ｘを与え、全てのルールｒｊについて同一のルール採用コストλｒｊ＝０．５を与えるものとする。
【0095】
まず始めに、本実施例に対し導入する論理変数について述べる。ｏｉについては、ｏ１，．．．，ｏ９の９個の論理変数が生成される。ｅｉ，ｊについては、ｘｉがｒｊの条件を満たす場合のみ論理変数が生成される。例えば、訓練データｘ１＝０．１は、ルールｒ２の条件ｘ≦０．４を満たすので論理変数ｅ１，２は生成されるが、訓練データｘ３＝０．５はルールｒ２の条件を満たさないため、変数ｅ３，２は生成されない。
【0096】
式（２．８）より、Ｓｏｆｔ節として、￢ｏ１∧．．．∧￢ｏ９∧￢ｅ１，１∧￢ｅ１，２∧．．．∧￢ｅ５，９を与える。ここで、式（２．９）より、各￢ｏｊには重みｗ（ｏｊ）＝λｒｊ＝０．５が割り当てられる。また、各￢ｅｉ，ｊには、Ｌ（ｆ（ｘｉ），ｙ＾
ｊ）が割り当てられるため、誤差関数Ｌを二乗誤差としたときには、例えばｅ１，２に重みｗ（ｅ１，２）＝Ｌ（ｆ（ｘ１），ｙ＾
２）＝（０．１－０．４）２＝０．０９が割り当てられる。
【0097】
次に、式（２．６）に対応するＨａｒｄ節は以下のように与えられる。
（ｅ１，１⇒ｏ１）∧（ｅ１，２⇒ｏ２）∧．．．∧（ｅ５，９⇒ｏ９）
例えば、（ｅ１，２⇒ｏ２）は、訓練データｘ１を説明する代理ルールがｒ２のときは、ルールｒ２は出力される代理ルール候補集合に含まれていなければならないことを示している。
（ｅ１，１⇒ｏ１）∧（ｅ１，２⇒ｏ２）∧．．．∧（ｅ５，９⇒ｏ９）
例えば、（ｅ１，２⇒ｏ２）は、訓練データｘ１を説明する代理ルールがｒ２のときは、ルールｒ２は出力される代理ルール候補集合に含まれていなければならないことを示している。
【0098】
最後に、式（２．７）に対応するＨａｒｄ節は以下のように与えられる。
（ｅ１，１∨ｅ１，２∨ｅ１，３∨e１，４∨ｅ１，９）∧．．．∧（ｅ５，５∨ｅ５，６∨ｅ５，７∨e５，８∨ｅ５，９）
例えば、最初の節（ｅ１，１∨ｅ１，２∨ｅ１，３∨e１，４∨ｅ１，９）は、訓練データｘ１を説明する代理ルールの存在があることを保証している。
（ｅ１，１∨ｅ１，２∨ｅ１，３∨e１，４∨ｅ１，９）∧．．．∧（ｅ５，５∨ｅ５，６∨ｅ５，７∨e５，８∨ｅ５，９）
例えば、最初の節（ｅ１，１∨ｅ１，２∨ｅ１，３∨e１，４∨ｅ１，９）は、訓練データｘ１を説明する代理ルールの存在があることを保証している。
【0099】
これらの論理式をＭａｘＳＡＴソルバに入力することで、全ての論理変数ｏｊ、ｅｉ，ｊに対する真偽値（Ｔｒｕｅ／Ｆａｌｓｅ）の割り当てがソルバから返ってくる。ここでＭａｘＳＡＴソルバは任意のものを使用できる。例えば、ｏｐｅｎｗｂｏやＭａｘＨＳなどが代表的なものとして挙げられる。
【0100】
具体的に、ソルバからの返り値としてのｏｊに注目する。ｏ１＝Ｔｒｕｅ，ｏ２＝Ｆａｌｓｅ、ｏ３＝Ｆａｌｓｅ、ｏ４＝Ｆａｌｓｅ、ｏ５＝Ｔｒｕｅ、ｏ６＝Ｆａｌｓｅ、ｏ７＝Ｆａｌｓｅ、ｏ８＝Ｔｒｕｅ、ｏ９＝Ｔｒｕｅと返ってきたとすると、代理ルール候補集合Ｒとしてルールｒ１、ｒ５、ｒ８、ｒ９をルール集合の最適化結果として出力する。
【0101】
（連続最適化による解法）
上記の離散最適化による解法では、ある用例に対してあるルールを使うか否かの割り当てを「０」か「１」で決定している。これに対し、連続最適化による解法では、割り当てを「０」か「１」で離散的に決定する代わりに、「０」～「１」の範囲の連続的な変数とみなして連続最適化する。これにより、連続最適化の手法を適用することができる。
上記の離散最適化による解法では、ある用例に対してあるルールを使うか否かの割り当てを「０」か「１」で決定している。これに対し、連続最適化による解法では、割り当てを「０」か「１」で離散的に決定する代わりに、「０」～「１」の範囲の連続的な変数とみなして連続最適化する。これにより、連続最適化の手法を適用することができる。
【0102】
図１４は、連続最適化により決定された割り当ての表の例を示す。なお、事例は離散最適化の場合と同様であり、図１４は離散最適化の場合の図１２に対応する割り当て表である。図１２との比較により理解されるように、各用例に対するルールの割り当てが連続値で示されている。なお、各行の割り当て値の合計は「１」となる。
【0103】
こうして、連続最適化の手法により割り当てを示す値を算出した後、例えば「０．５」を閾値として、「０」に近い値は「０」に、「１」に近い値は「１」に強制的に変換することで、最終的な用例とルールとの割り当てを得ることができる。
【0104】
＜第３実施形態＞
図１５は、第３実施形態の情報処理装置の機能構成を示すブロック図である。情報処理装置５０は、観測データ入力手段５１と、ルール集合入力手段５２と、充足ルール選別手段５３と、誤差計算手段５４と、代理ルール決定手段５５とを備える。観測データ入力手段５１は、観測データと、当該観測データに対する対象モデルの予測値とのペアを受け取る。ルール集合入力手段５２は、条件と、当該条件に対応する予測値とのペアで構成されるルールを複数含むルール集合を受け取る。充足ルール選別手段５３は、ルール集合から、観測データに対して条件が真になるルールである充足ルールを選別する。誤差計算手段５４は、観測データに対する充足ルールの予測値と、対象モデルの予測値との誤差を計算する。代理ルール決定手段５５は、充足ルールのうち、誤差が最小となるルールを対象モデルに対する代理ルールとして観測データに関連付ける。
図１５は、第３実施形態の情報処理装置の機能構成を示すブロック図である。情報処理装置５０は、観測データ入力手段５１と、ルール集合入力手段５２と、充足ルール選別手段５３と、誤差計算手段５４と、代理ルール決定手段５５とを備える。観測データ入力手段５１は、観測データと、当該観測データに対する対象モデルの予測値とのペアを受け取る。ルール集合入力手段５２は、条件と、当該条件に対応する予測値とのペアで構成されるルールを複数含むルール集合を受け取る。充足ルール選別手段５３は、ルール集合から、観測データに対して条件が真になるルールである充足ルールを選別する。誤差計算手段５４は、観測データに対する充足ルールの予測値と、対象モデルの予測値との誤差を計算する。代理ルール決定手段５５は、充足ルールのうち、誤差が最小となるルールを対象モデルに対する代理ルールとして観測データに関連付ける。
【0105】
図１６は、第３実施形態の情報処理装置による処理のフローチャートである。まず、観測データ入力手段５１は、観測データと、当該観測データに対する対象モデルの予測値とのペアを受け取る（ステップＳ５１）。また、ルール集合入力手段５２は、条件と、当該条件に対応する予測値とのペアで構成されるルールを複数含むルール集合を受け取る（ステップＳ５２）。なお、ステップＳ５１とＳ５２の順序は逆でもよく、並列に行ってもよい。充足ルール選別手段５３は、ルール集合から、観測データに対して条件が真になるルールである充足ルールを選別する（ステップＳ５３）。誤差計算手段５４は、観測データに対する充足ルールの予測値と、対象モデルの予測値との誤差を計算する（ステップＳ５４）。そして、代理ルール決定手段５５は、充足ルールのうち、誤差が最小となるルールを対象モデルに対する代理ルールとして観測データに関連付ける（ステップＳ５５）。
【0106】
第３実施形態の情報処理装置によれば、観測データについて条件を充足するルールのうち、対象モデルの予測値に最も近い予測値を出力するルールが代理ルールとして決定されるので、代理ルールを対象モデルの説明に使用することができる。
【0107】
上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
【0108】
（付記１）
観測データと、当該観測データに対する対象モデルの予測値とのペアを受け取る観測データ入力手段と、
条件と、当該条件に対応する予測値とのペアで構成されるルールを複数含むルール集合を受け取るルール集合入力手段と、
前記ルール集合から、前記観測データに対して条件が真になるルールである充足ルールを選別する充足ルール選別手段と、
前記観測データに対する前記充足ルールの予測値と、前記対象モデルの予測値との誤差を計算する誤差計算手段と、
前記充足ルールのうち、前記誤差が最小となるルールを前記対象モデルに対する代理ルールとして前記観測データに関連付ける代理ルール決定手段と、
を備える情報処理装置。
観測データと、当該観測データに対する対象モデルの予測値とのペアを受け取る観測データ入力手段と、
条件と、当該条件に対応する予測値とのペアで構成されるルールを複数含むルール集合を受け取るルール集合入力手段と、
前記ルール集合から、前記観測データに対して条件が真になるルールである充足ルールを選別する充足ルール選別手段と、
前記観測データに対する前記充足ルールの予測値と、前記対象モデルの予測値との誤差を計算する誤差計算手段と、
前記充足ルールのうち、前記誤差が最小となるルールを前記対象モデルに対する代理ルールとして前記観測データに関連付ける代理ルール決定手段と、
を備える情報処理装置。
【0109】
（付記２）
前記ルール集合入力手段は、前記ルール集合として、事前に決定された代理ルール候補集合を受け取り、
前記代理ルール決定手段は、前記観測データに関連付けられた代理ルールを出力する付記１に記載の情報処理装置。
前記ルール集合入力手段は、前記ルール集合として、事前に決定された代理ルール候補集合を受け取り、
前記代理ルール決定手段は、前記観測データに関連付けられた代理ルールを出力する付記１に記載の情報処理装置。
【0110】
（付記３）
前記代理ルール決定手段は、前記代理ルールの予測値と、前記対象モデルの予測値とを出力する付記１又は２に記載の情報処理装置。
前記代理ルール決定手段は、前記代理ルールの予測値と、前記対象モデルの予測値とを出力する付記１又は２に記載の情報処理装置。
【0111】
（付記４）
前記観測データ入力手段は、前記観測データと前記対象モデルの予測値のペアを複数受け取り、
前記代理ルール決定手段は、前記複数の観測データに関連付けられた複数の代理ルールを代理ルール候補集合として出力する付記１に記載の情報処理装置。
前記観測データ入力手段は、前記観測データと前記対象モデルの予測値のペアを複数受け取り、
前記代理ルール決定手段は、前記複数の観測データに関連付けられた複数の代理ルールを代理ルール候補集合として出力する付記１に記載の情報処理装置。
【0112】
（付記５）
前記代理ルール決定手段は、前記充足ルールを採用する場合のコストの合計と、前記複数の観測データについての前記誤差の合計との和が最小となる充足ルールを前記代理ルールと決定する付記４に記載の情報処理装置。
前記代理ルール決定手段は、前記充足ルールを採用する場合のコストの合計と、前記複数の観測データについての前記誤差の合計との和が最小となる充足ルールを前記代理ルールと決定する付記４に記載の情報処理装置。
【0113】
（付記６）
前記代理ルール決定手段は、前記観測データに対して前記和が最小となるようにルールを割り当てる最適化問題を解くことで、前記代理ルールを決定する付記５に記載の情報処理装置。
前記代理ルール決定手段は、前記観測データに対して前記和が最小となるようにルールを割り当てる最適化問題を解くことで、前記代理ルールを決定する付記５に記載の情報処理装置。
【0114】
（付記７）
前記ルール集合入力手段は、予め用意された元ルール集合を受け取り、
前記コストは、前記元ルール集合に属するルール毎に予め決められている付記５又は６に記載の情報処理装置。
前記ルール集合入力手段は、予め用意された元ルール集合を受け取り、
前記コストは、前記元ルール集合に属するルール毎に予め決められている付記５又は６に記載の情報処理装置。
【0115】
（付記８）
観測データと、当該観測データに対する対象モデルの予測値とのペアを受け取り、
条件と、当該条件に対応する予測値とのペアで構成されるルールを複数含むルール集合を受け取り、
前記ルール集合から、前記観測データに対して条件が真になるルールである充足ルールを選別し、
前記観測データに対する前記充足ルールの予測値と、前記対象モデルの予測値との誤差を計算し、
前記充足ルールのうち、前記誤差が最小となるルールを前記対象モデルに対する代理ルールとして前記観測データに関連付ける情報処理方法。
観測データと、当該観測データに対する対象モデルの予測値とのペアを受け取り、
条件と、当該条件に対応する予測値とのペアで構成されるルールを複数含むルール集合を受け取り、
前記ルール集合から、前記観測データに対して条件が真になるルールである充足ルールを選別し、
前記観測データに対する前記充足ルールの予測値と、前記対象モデルの予測値との誤差を計算し、
前記充足ルールのうち、前記誤差が最小となるルールを前記対象モデルに対する代理ルールとして前記観測データに関連付ける情報処理方法。
【0116】
（付記９）
観測データと、当該観測データに対する対象モデルの予測値とのペアを受け取り、
条件と、当該条件に対応する予測値とのペアで構成されるルールを複数含むルール集合を受け取り、
前記ルール集合から、前記観測データに対して条件が真になるルールである充足ルールを選別し、
前記観測データに対する前記充足ルールの予測値と、前記対象モデルの予測値との誤差を計算し、
前記充足ルールのうち、前記誤差が最小となるルールを前記対象モデルに対する代理ルールとして前記観測データに関連付ける処理をコンピュータに実行させるプログラムを記録した記録媒体。
観測データと、当該観測データに対する対象モデルの予測値とのペアを受け取り、
条件と、当該条件に対応する予測値とのペアで構成されるルールを複数含むルール集合を受け取り、
前記ルール集合から、前記観測データに対して条件が真になるルールである充足ルールを選別し、
前記観測データに対する前記充足ルールの予測値と、前記対象モデルの予測値との誤差を計算し、
前記充足ルールのうち、前記誤差が最小となるルールを前記対象モデルに対する代理ルールとして前記観測データに関連付ける処理をコンピュータに実行させるプログラムを記録した記録媒体。
【0117】
以上、実施形態及び実施例を参照して本発明を説明したが、本発明は上記実施形態及び実施例に限定されるものではない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
【符号の説明】
【0118】
２ 予測取得部
３、ＢＭ ブラックボックスモデル
２１ 観測データ入力部
２２ ルール集合入力部
２３ 充足ルール選別部
２４ 誤差計算部
２５ 代理ルール決定部
１００、１００ａ、１００ｂ 情報処理装置
ＲＲ 代理ルール
ＲＳ ルールセット
３、ＢＭ ブラックボックスモデル
２１ 観測データ入力部
２２ ルール集合入力部
２３ 充足ルール選別部
２４ 誤差計算部
２５ 代理ルール決定部
１００、１００ａ、１００ｂ 情報処理装置
ＲＲ 代理ルール
ＲＳ ルールセット
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】