特開 2023-125741 人工知能の説明方法、人工知能の説明プログラム、及び人工知能の説明システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023125741

(43)【公開日】2023-09-07

(54)【発明の名称】人工知能の説明方法、人工知能の説明プログラム、及び人工知能の説明システム

(51)【国際特許分類】

   G06N 3/02 20060101AFI20230831BHJP

【ＦＩ】

G06N3/02

【審査請求】未請求

【請求項の数】14

【出願形態】ＯＬ

(21)【出願番号】P 2022030008

(22)【出願日】2022-02-28

(71)【出願人】

【識別番号】000005108

【氏名又は名称】株式会社日立製作所

(74)【代理人】

【識別番号】110002365

【氏名又は名称】弁理士法人サンネクスト国際特許事務所

(72)【発明者】

【氏名】小澤 遼

(72)【発明者】

【氏名】森 靖英

(57)【要約】

【課題】人工知能の説明の合理性を担保しながら、人工知能の出力の揺らぎを抑制する人工知能の説明技術を提供する。
【解決手段】人工知能の説明方法では、所定次元の説明変数を含んでなるデータ空間における人工知能の予測器へ入力する説明対象データに対する人工知能の予測器の出力への各説明変数の寄与値を、各説明変数に関する出力の偏微分値を、予測器の学習データの代表点と説明対象データの説明対象点とを結ぶ経路に沿って線積分した積分値に基づいて算出する際に、予測器の出力の揺らぎに基づく積分値のバラつき度合いを評価する評価指標を最適化する経路を選択する。
【選択図】図２

【特許請求の範囲】

【請求項1】

コンピュータが実行する人工知能の説明方法であって、
前記コンピュータが、
所定次元の説明変数を含んでなるデータ空間における前記人工知能の予測器へ入力する説明対象データに対する前記人工知能の予測器の出力への各説明変数の寄与値を、各説明変数に関する該出力の偏微分値を、該予測器の学習データの代表点と該説明対象データの説明対象点とを結ぶ経路に沿って線積分した積分値に基づいて算出する際に、
前記予測器の出力の揺らぎに基づく前記積分値のバラつき度合いを評価する評価指標を最適化する前記経路を選択する
ことを特徴とする人工知能の説明方法。

【請求項2】

請求項１に記載の人工知能の説明方法であって、
前記コンピュータが、
前記人工知能の説明対象の予測器を取得する説明対象予測器取得ステップと、
前記データ空間における前記予測器の学習データ及び前記予測器へ入力する説明対象データを取得する説明対象データ取得ステップと、
前記データ空間において前記学習データの代表点と前記説明対象データの説明対象点とを単一曲線で結ぶ前記経路を複数探索する経路探索ステップと、
前記経路ごとに該経路上の各内分点を入力として前記予測器によって出力された該内分点ごとの複数の予測値に基づく前記予測器の出力の不確実性を算出し、前記経路探索ステップによって探索された複数の前記経路のなかから該不確実性が最小となる最適化経路を選択する経路上不確実性評価ステップと、
各説明変数に関する前記予測器の出力の偏微分値を前記最適化経路に沿って線積分した積分値に基づいて前記寄与値を算出する寄与値算出ステップと
を実行することを特徴とする人工知能の説明方法。

【請求項3】

請求項２に記載の人工知能の説明方法であって、
前記経路上不確実性評価ステップでは、
前記コンピュータが、
前記所定次元の説明変数のうちの任意の２つを交換しても前記予測器の出力が不変である対称性を持つ前記最適化経路を選択する
ことを特徴とする人工知能の説明方法。

【請求項4】

請求項２に記載の人工知能の説明方法であって、
前記経路探索ステップでは、
前記コンピュータが、
前記データ空間におけるグリッドで近似した前記最適化経路を探索する
ことを特徴とする人工知能の説明方法。

【請求項5】

請求項２に記載の人工知能の説明方法であって、
前記経路上不確実性評価ステップでは、
前記コンピュータが、
前記データ空間における前記学習データの分布密度が閾値以上の領域では、該学習データを通過する前記最適化経路を選択する
ことを特徴とする人工知能の説明方法。

【請求項6】

請求項２に記載の人工知能の説明方法であって、
前記不確実性は、前記予測器の出力の不確実性を含む
ことを特徴とする人工知能の説明方法。

【請求項7】

請求項６に記載の人工知能の説明方法であって、
前記不確実性は、前記学習データのノイズによる前記予測器の不確実性を含む
ことを特徴とする人工知能の説明方法。

【請求項8】

請求項２に記載の人工知能の説明方法であって、
前記コンピュータが、
前記説明変数ごとの前記寄与値の平均値を表示する表示ステップ
を実行することを特徴とする人工知能の説明方法。

【請求項9】

請求項８に記載の人工知能の説明方法であって、
前記表示ステップでは、
前記コンピュータが、
前記説明変数ごとの前記寄与値のバラつきの範囲を表示する
ことを特徴とする人工知能の説明方法。

【請求項10】

請求項２に記載の人工知能の説明方法であって、
前記コンピュータが、
前記最適化経路を、前記データ空間における前記学習データのデータ密度と共に表示する表示ステップ
を実行することを特徴とする人工知能の説明方法。

【請求項11】

コンピュータを、
所定次元の説明変数を含んでなるデータ空間における人工知能の予測器へ入力する説明対象データに対する前記人工知能の予測器の出力への各説明変数の寄与値を、各説明変数に関する該出力の偏微分値を、該予測器の学習データの代表点と該説明対象データの説明対象点とを結ぶ経路に沿って線積分した積分値に基づいて算出する際に、
前記予測器の出力の揺らぎに基づく前記積分値のバラつき度合いを評価する評価指標を最適化する前記経路を選択する
人工知能の説明システムとして機能させるための人工知能の説明プログラム。

【請求項12】

請求項１１に記載の人工知能の説明プログラムであって、
前記コンピュータを、
前記人工知能の説明対象の予測器を取得する説明対象予測器取得部、
前記データ空間における前記予測器の学習データ及び前記予測器へ入力する説明対象データを取得する説明対象データ取得部、
前記データ空間において前記学習データの代表点と前記説明対象データの説明対象点とを単一曲線で結ぶ前記経路を複数探索する経路探索部、
前記経路ごとに該経路上の各内分点を入力として前記予測器によって出力された該内分点ごとの複数の予測値に基づく前記予測器の出力の不確実性を算出し、前記経路探索部によって探索された複数の前記経路のなかから該不確実性が最小となる最適化経路を選択する経路上不確実性評価部、
各説明変数に関する前記予測器の出力の偏微分値を前記最適化経路に沿って線積分した積分値に基づいて前記寄与値を算出する寄与値算出部
として機能させるための人工知能の説明プログラム。

【請求項13】

人工知能の説明システムであって、
所定次元の説明変数を含んでなるデータ空間における前記人工知能の予測器へ入力する説明対象データに対する前記人工知能の予測器の出力への各説明変数の寄与値を、各説明変数に関する該出力の偏微分値を、該予測器の学習データの代表点と該説明対象データの説明対象点とを結ぶ経路に沿って線積分した積分値に基づいて算出する際に、
前記予測器の出力の揺らぎに基づく前記積分値のバラつき度合いを評価する評価指標を最適化する前記経路を選択する
ことを特徴とする人工知能の説明システム。

【請求項14】

請求項１３に記載の人工知能の説明システムであって、
前記人工知能の説明対象の予測器を取得する説明対象予測器取得部と、
前記データ空間における前記予測器の学習データ及び前記予測器へ入力する説明対象データを取得する説明対象データ取得部と、
前記データ空間において前記学習データの代表点と前記説明対象データの説明対象点とを単一曲線で結ぶ前記経路を複数探索する経路探索部と、
前記経路ごとに該経路上の各内分点を入力として前記予測器によって出力された該内分点ごとの複数の予測値に基づく前記予測器の出力の不確実性を算出し、前記経路探索部によって探索された複数の前記経路のなかから該不確実性が最小となる最適化経路を選択する経路上不確実性評価部と、
各説明変数に関する前記予測器の出力の偏微分値を前記最適化経路に沿って線積分した積分値に基づいて前記寄与値を算出する寄与値算出部と
を有することを特徴とする人工知能の説明システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、人工知能の説明方法、人工知能の説明プログラム、及び人工知能の説明システムに関する。

【背景技術】

【0002】

近年、金融や医療、公共などの様々な分野でＡＩ（Artificial Intelligence）の予測結果や予測過程を活用したシステムが提供されている。例えば金融の分野では、ＡＩを活用して与信審査や不正監査などが行われる。

【0003】

そしてＡＩの統計的な予測値の精度向上のために、ＡＩの内部アルゴリズムが複雑化してきている。ＡＩの内部アルゴリズムの複雑さのために、ＡＩの予測過程が人間にとって理解困難になっている。そのため、ＡＩを活用するユーザが、ＡＩの予測値を信頼してよいかを安定的に判断できないという問題が生じてきている。

【0004】

この問題に対するアプローチとして、説明可能なＡＩ（eXplainable AI（ＸＡＩ））の手法、すなわち統計的な予測の根拠を定量化して信頼性を担保する説明手法が注目されている。その説明手法の中でも、とりわけ、深層学習モデル向けに計算コストが低く、かつ、説明が満たすべき要件（人工知能の説明手法における公理）を満たすことで知られる説明手法ＩＧ（Integrated Gradients）が、説明に合理性を与えるとして、現在の主流の１つになっている。

【0005】

ここで、説明手法ＩＧで算出される算出値（寄与値φ_i（寄与度ともいう））は、ＡＩの学習済みモデルの出力f(x)（x=（x_1，x_2，…，x_F））に対して、説明変数x_i（i＝｛1，2，…，F｝）に関する偏微分値∂f(x)/∂x_iを、式（１）に示すように、学習データ空間の直線経路Ｐ上で線積分したものである。
φ_i＝（x_target-x_ref）∫₀ ¹(∂f(x)/∂x_i)(P(α))dα（i＝｛1，2，…，F｝)
（１）

【0006】

ただしαは閉区間［０，１］上のパラメタであり、その閉区間上のαと経路Ｐ上の点P(α)は、１：１かつ連続に対応する。つまり、点P(α＝０)が経路Ｐの始点、点P(α＝１)が経路Ｐの終点を表す。

【0007】

直線経路Ｐは、始点P(α＝０)を参照点x_refと呼ばれる学習データの代表点（あるいは代表点の集合）とし、終点P(α＝１)を説明対象点x_targetと呼ばれる説明対象のＡＩの出力に対応する入力データ（あるいは入力データの集合）として、参照点x_refと説明対象点x_targetを一筆書きで結んだ滑らかな曲線（あるいは曲線の集合）である。

【0008】

なお、以降では、記述の簡便化のため、始点である参照点x_refと終点である説明対象点x_targetがそれぞれ単一の点であると仮定して議論を進める。ただし、この議論は始点と終点が複数の点からなる集合である場合に対しても容易に拡張可能である。

【先行技術文献】

【非特許文献】

【0009】

【非特許文献1】MukundSundararajan, Ankur Taly, Qiqi Yan, “Axiomatic Attribution for Deep Networks”,Proceedings of the 34th International Conference on Machine Learning, mar 2017.

【発明の概要】

【発明が解決しようとする課題】

【0010】

例えば、学習済みモデルの学習データのデータ空間において学習データの分布に偏りがあるケースや、学習済みモデルの学習データのデータ分布が疎なデータ領域を対象とするケースにおいては、直線経路Ｐ上のＡＩの出力f(x)の不確実性が大きくなる傾向がある。学習済みモデルの学習データのデータ空間において学習データの分布に偏りがあるケースには、例えば与信審査においてデフォルトデータが十分に存在しないなどがある。学習済みモデルの学習データのデータ分布が疎なデータ領域を対象とするケースには、例えば不正監査において異常検知を行う場合などがある。

【0011】

直線経路Ｐ上のＡＩの出力f(x)の不確実性が被積分関数として内包される式（１）に基づく説明手法ＩＧの寄与値φ_iもまた不確実性が大きくなり、その結果、わずかなパラメタやＡＩの学習条件の違いなどで寄与値φ_iにも大きな揺らぎが生じる。

【0012】

このような説明手法ＩＧの寄与値φ_iの揺らぎは、説明内容の信頼性を損なうものである。そのため、上述の公理を満たす合理性を担保しながら、揺らぎを抑制することが望まれる。

【0013】

ところが、非特許文献１によると、説明手法ＩＧでは与えられた始点と終点に対して単一かつデータ空間（x_1，x_2，…，x_F）上で単調増加する経路を考慮するという一見自然な前提のもとでは、上述の公理を満たす説明手法ＩＧの経路は直線に一意に定まることが数学的に証明されている。その結果、説明の合理性を担保する算出方法が一意に定まっており、揺らぎを抑制するための工夫の余地が一見ないようにみえる。

【0014】

本発明は上述の背景に鑑みてなされたもので、人工知能の説明の合理性を担保しながら、人工知能の出力の揺らぎを抑制する人工知能の説明技術の提供を目的とする。

【課題を解決するための手段】

【0015】

上述した課題を解決するため、本発明の一態様では、コンピュータが実行する人工知能の説明方法であって、前記コンピュータが、所定次元の説明変数を含んでなるデータ空間における前記人工知能の予測器へ入力する説明対象データに対する前記人工知能の予測器の出力への各説明変数の寄与値を、各説明変数に関する該出力の偏微分値を、該予測器の学習データの代表点と該説明対象データの説明対象点とを結ぶ経路に沿って線積分した積分値に基づいて算出する際に、前記予測器の出力の揺らぎに基づく前記積分値のバラつき度合いを評価する評価指標を最適化する前記経路を選択することを特徴とする。

【発明の効果】

【0016】

本発明によれば、人工知能の説明の合理性を担保しながら、人工知能の出力の揺らぎを抑制する人工知能の説明技術を提供できる。
上記した以外の課題、構成及び効果は、以下の発明を実施するための形態の説明により明らかにされる。

【図面の簡単な説明】

【0017】

【図1】実施形態に係る全体システムの構成例を示す図。

【図2】実施形態に係る情報処理装置における情報処理フローの例を示すフローチャート。

【図3】実施形態に係る学習データ、テストデータ、及び説明対象データの構造例を示す図。

【図4】実施形態に係るデータ空間上の経路の概念の例を示す図。

【図5】実施形態に係る経路上の経路データの例を示す図。

【図6】実施形態に係る予測器出力データの例を示す図。

【図7】実施形態に係る不確実性評価部出力データの例を示す図。

【図8】実施形態に係る経路上の不確実性データの例を示す図。

【図9】実施形態に係る寄与値算出データの例を示す図。

【図10】実施形態に係る端末上のデータ入力画面の例を示す図。

【図11】実施形態に係る端末上の説明内容提示画面の例を示す図。

【図12】実施形態に係る情報処理及び端末を実現するコンピュータのハードウェア例を示す図。

【発明を実施するための形態】

【0018】

以下、図面を参照して本発明の実施形態を説明する。実施形態は、本発明を説明するための例示であって、説明の明確化のため、適宜、省略及び簡略化がなされている。本発明は、他の種々の形態でも実施することが可能である。特に限定しない限り、各構成要素は単数でも複数でもよい。

【0019】

同一あるいは同様の機能を有する構成要素が複数ある場合には、同一の符号に異なる添字を付して説明する場合がある。また、これらの複数の構成要素を区別する必要がない場合には、添字を省略して説明する場合がある。

【0020】

実施形態において、プログラムを実行して行う処理について説明する場合がある。ここで、計算機は、プロセッサ（例えばＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit））によりプログラムを実行し、記憶資源（例えばメモリ）やインターフェースデバイス（例えば通信ポート）等を用いながら、プログラムで定められた処理を行う。そのため、プログラムを実行して行う処理の主体を、プロセッサとしてもよい。同様に、プログラムを実行して行う処理の主体が、プロセッサを有するコントローラ、装置、システム、計算機、ノードであってもよい。プログラムを実行して行う処理の主体は、演算部であればよく、特定の処理を行う専用回路を含んでいてもよい。ここで、専用回路とは、例えばＦＰＧＡ（Field Programmable Gate Array）やＡＳＩＣ（Application Specific Integrated Circuit）、ＣＰＬＤ（Complex Programmable Logic Device）、量子コンピュータ等である。

【0021】

プログラムは、プログラムソースから計算機にインストールされてもよい。プログラムソースは、例えば、プログラム配布サーバ又は計算機が読み取り可能な記憶メディアであってもよい。プログラムソースがプログラム配布サーバの場合、プログラム配布サーバはプロセッサと配布対象のプログラムを記憶する記憶資源を含み、プログラム配布サーバのプロセッサが配布対象のプログラムを他の計算機に配布してもよい。また、実施形態において、２以上のプログラムが１つのプログラムとして実現されてもよいし、１つのプログラムが２以上のプログラムとして実現されてもよい。

【0022】

（実施形態に係る全体システムＳの構成）
図１は、実施形態に係る全体システムの構成例を示す図である。図１において、全体システムＳは、情報処理装置１００及び端末１０１を含んで構成される。情報処理装置１００及び端末１０１はネットワーク１０２を介して互いに接続される。

【0023】

情報処理装置１００は、入力器１００－１、不確実性付予測器１００－２、経路最適化器１００－３、及び説明生成器１００－４を含んで構成される。端末１０１は、ユーザが操作する画面などのインタフェースを有する装置である。

【0024】

入力器１００－１は、説明対象予測器取得器１１０及び説明対象データ取得器１１１を含んで構成される。

【0025】

説明対象予測器取得器１１０は、ユーザが説明を求める対象の情報を出力する予測器１２０を、端末１０１を通じてユーザから取得する。説明対象データ取得器１１１は、予測器１２０の学習データとテストデータ、及び説明対象点を取得する。学習データは、予測器１２０が機械学習などの枠組みを通じて学習したデータあるいはこれから学習するデータである。テストデータは、予測器１２０の精度を検証するためのデータである。説明対象点は、予測器１２０の出力に対応する予測器１２０の入力データである。

【0026】

不確実性付予測器１００－２は、例えば予測器１２０及び不確実性評価部１２１を含んで構成される。予測器１２０は、ユーザが関心を持つ対象の事象を予測するためのモデル（アルゴリズム）に基づいて、説明対象データ取得器で取得した学習データ及びテストデータ（入力データ）に対する処理を実行する。予測器１２０は、既存のＡＩであると共に、本実施形態のＡＩの説明手法による説明対象のＡＩである。

【0027】

不確実性評価部１２１は、既存のＡＩであって、予測器１２０の出力に対する不確実性を出力する。不確実性には、例えば予測器１２０が出力する予測値の標準偏差や、同等の複数の入力データに対する予測器１２０の出力データの分布に関して算出される標準偏差などを用いる。標準偏差は、不確実性を表す指標の一例であり、バラつきを表す他の統計指標を用いることもできる。

【0028】

なお、不確実性付予測器１００－２の構成としては、ある単一で不可分なアルゴリズムが予測器１２０と不確実性評価部１２１を機能的に内包することで単一の機能ブロックからなってもよい。

【0029】

経路最適化器１００－３は、経路探索部１３０、経路上不確実性評価部１３１、経路不確実性ＤＢ１３２、及び探索継続判定部１３３を含んで構成される。

【0030】

経路探索部１３０は、説明対象データ取得器１１１が取得した学習データ、テストデータ、及び説明対象点（説明対象データ）から上記式（１）における曲線の経路Ｐの候補を探索し、出力する。経路Ｐの候補は、後述の経路パラメタ欄１００４（図１０）の設定に応じて例えば「直線」「説明の揺らぎ最小化曲線」「説明の揺らぎ最小化曲線（グリッド近似）」「学習データ通過直線」の何れかの手法に基づく。これらの詳細は図１０を参照して後述する。

【0031】

不確実性付予測器１００－２は、経路探索部１３０によって出力された経路Ｐ上の各内分点における予測器１２０の不確実性を出力する。

【0032】

経路上不確実性評価部１３１は、不確実性付予測器１００－２から出力された経路Ｐ上の各内分点の不確実性から、経路Ｐ全体に関する不確実性である経路上不確実性を算出する。経路上不確実性ＤＢ１３２は、経路上不確実性を経路上不確実性情報として格納する。経路上不確実性の算出方法は、図８を参照して後述する。

【0033】

探索継続判定部１３３は、経路上不確実性ＤＢ１３２に格納された値の分布と、最新の経路上不確実性評価部１３１の経路上不確実性の値から経路上不確実性が十分最小化されたかどうかを判定する。十分最小化されていないと判定された場合には、経路探索部１３０は、再び経路Ｐの候補を探索し、出力する。十分最小化されていると判定された場合には、寄与値算出部１４０の処理に移る。

【0034】

説明生成器１００－４は、寄与値算出部１４０及び寄与値結果表示部１４１を含んで構成される。

【0035】

寄与値算出部１４０は、既存のＸＡＩ（eXplainable AI）であって、予測器１２０から出力される予測値から、説明対象点に含まれる各特徴量について、上記式（１） を用いて特徴量の予測値への影響の大きさを表す寄与値を算出する。同等の計算を繰り返しサンプリングすることによってその寄与値の偏差も算出できる。寄与値結果表示部１４１は、算出された寄与値をグラフなどで可視化して表示する。

【0036】

（実施形態に係る情報処理フロー）
図２は、実施形態に係る情報処理装置における情報処理フローの例を示すフローチャートである。図２は、入力器１００－１と不確実性付予測器１００－２と経路最適化器１００－３における処理フローを示す。

【0037】

図２において、ステップＳ１００では、説明対象予測器取得器１１０は、ユーザの入力から説明対象の予測器を取得する。説明対象予測器取得器１１０は、取得した説明対象予測器を予測器１２０として取り込む。

【0038】

次にステップＳ１０１では、説明対象データ取得器１１１は、ユーザの入力に基づいて学習データ、テストデータ、及び説明対象データを取得する。

【0039】

次にステップＳ１０２からＳ１１０の間で、経路上不確実性ＤＢ１３２に格納する経路上不確実性に関する、ステップＳ１０３からＳ１０９のループ処理を行う。

【0040】

ステップＳ１０３では、経路探索部１３０は、新しい候補になる経路Ｐを探索し、出力する。

【0041】

次にステップＳ１０４では、予測器１２０は、経路探索部１３０で出力された経路Ｐ上の複数点を抽出し、その複数点（あるいは同等のサンプル）に対する予測器１２０の出力の分布を取得する。次にステップＳ１０５では、不確実性評価部１２１は、予測器１２０の出力及びその分布を入力として、経路Ｐ上の複数点（あるいは同等のサンプル）の各点における予測器１２０の不確実性を出力する。

【0042】

ここで、予測器１２０の不確実性とは、学習データの不足により予測器１２０が不安定な予測値を出力するという最も一般的な不確実性（モデルの不確実性（Epistemic Uncertainty））である。しかし、予測器１２０の不確実性は、モデルの不確実性に限らず、学習データの観測ノイズなどにより予測器１２０の学習そのものが不安定になり、その結果、予測器１２０の予測値が揺らぐという不確実性（ノイズの不確実性（Aleatoric Uncertainty）であってもよい。

【0043】

次にステップＳ１０６では、経路上不確実性評価部１３１は、不確実性評価部１２１から出力されたデータを基に、経路探索部１３０で出力された経路Ｐ上の全体の不確実性を算出する。“経路探索部１３０で出力された経路Ｐ上の全体の不確実性”は、例えば後述の経路上不確実性８０２（図８）であり、同一学習データ及び同一学習条件で学習した予測器１２０の出力の揺らぎに基づく式（１）の積分値のバラつき度合いを評価する評価指標の一例である。

【0044】

次にステップＳ１０７では、経路上不確実性は、経路上不確実性ＤＢ１３２に含まれる経路Ｐ上の不確実性と、ステップＳ１０６で算出された経路Ｐ上の不確実性を比較し、ステップＳ１０６で算出された経路上不確実性が最小かを判定する。経路上不確実性は、ステップＳ１０６で算出された経路上不確実性が最小と判定した場合にステップＳ１０８へ処理を移し、最小でないと判定した場合にステップＳ１０９へ処理を移す。

【0045】

ステップＳ１０８では、経路上不確実性評価部１３１は、ステップＳ１０７で最小と判定した経路上不確実性を経路上不確実性ＤＢ１３２に格納する。ステップＳ１０９では、探索継続判定部１３３は、ステップＳ１０３からＳ１０９の処理ループを継続するかを判定する。探索継続判定部１３３は、継続と判定した場合にステップＳ１０３に処理を戻し、継続しないと判定した場合にステップＳ１１０に処理を移し、ループ処理を終了する。次にステップＳ１１１では、寄与値算出部１４０は、経路上不確実性ＤＢ１３２に格納されている経路上不確実性が最小の経路（最適化された経路）に基づき、上記式（１）に基づいて寄与値φ_iを算出する。この最適化された経路Ｐに沿って上記式（１）を計算した場合、入力xに対する出力f(x)に揺らぎがあることから、偏微分値∂f(x)/∂x_i及びその積分値に基づく寄与値φ_iもバラつきがあることになる。よって、説明変数ごとの寄与値φ_iのＭ個のサンプルの平均及び分散を算出して、寄与値φ_iの算出データとする。

【0046】

（学習データ、テストデータ、及び説明対象データのデータ構造）
図３は、実施形態に係る学習データ、テストデータ、及び説明対象データの構造例を示す図である。説明対象データ取得器１１１（図１）は、ステップＳ１０１（図２）でデータ構造３００の学習データ、テストデータ、及び説明対象データを読み込む。データ構造３００は、データＩＤ３０１、特徴量３０２、及び予測値３０３から構成されるエントリを複数格納する。

【0047】

データＩＤ３０１は、データ個別の識別子であり、番号が格納される。特徴量３０２は、ユーザが解析対象とするデータを構成する項目の値である特徴量を格納する。これらの各項目は説明変数１、説明変数２のように番号付けされる。予測値３０３はユーザが解析対象とするデータの正解値を格納する。

【0048】

予測器１２０は、特徴量３０２を入力として予測値３０３を再構成する演算を行う。また、説明対象点（予測器１２０の入力データ）は、特徴量３０２のエントリの集合である。

【0049】

（実施形態に係るデータ空間上の経路）
図４は、実施形態に係るデータ空間上の経路の概念の例を示す図である。図４は、経路最適化器１００－３（図１）によって最適化される経路、あるいは、寄与値算出部１４０（図１）が寄与値を算出する際の線積分の積分経路として用いる経路、の概念図である。

【0050】

経路探索部１３０（図１）は、ステップＳ１０３（図２）で最適な経路Ｐの候補を算出する。経路（経路ＩＤ＝ｐ、経路内部ＩＤ＝ｍ）４００は、特徴量３０２（図３）を構成する各説明変数を独立変数とみなし、全ての説明変数（説明変数３２０－ｉ（ｉ＝１，２，…，Ｆ（Ｆは、特徴量を構成する説明変数の次元））を座標軸４０１－１，４０１－２，…，４０１－Ｆが張るＦ次元空間における始点（参照点）a_1と終点（説明対象点）a_Sを結ぶ、一筆書きで結んだ滑らかな曲線の形態をとる。経路ＩＤ及び経路内部ＩＤに関しては、図６で説明する。“始点と終点を一筆書きで結んだ滑らかな曲線”とは、例えば始点と終点を結ぶ数学的に滑らかな単一曲線（直線を含む）をいう。

【0051】

図４において、経路上内分点a_1_４０２－１，a_2_０２－２，…，a_S_４０２－Sは、上記式（１）における総和を取る点として、参照点a_1と説明対象点a_Sの両端を含むＳ個の内分点を表す。

【0052】

（実施形態に係る経路Ｐ上の経路データ）
図５は、実施形態に係る経路Ｐ上の経路データの例を示す図である。図５は、図２のループ処理（ステップＳ１０２からＳ１１０）におけるステップＳ１０３で生成される、図４で概念的に示した経路の候補のデータ構造５００の例を表す。

【0053】

経路ＩＤ５０１は、図２のループ処理の回数に対応する、ループごとにステップＳ１０３で経路探索部１３０から出力される経路の個別の識別子である。

【0054】

経路内部ＩＤ５０２は、特定の経路ＩＤに対して図４に概念的に示した一筆書きの経路の本数に対する個別の識別子である。

【0055】

経路上サンプルデータＩＤ５０３は、経路上内分点a_1_４０２－１，a_2_４０２－２，…，a_S_４０２－Ｓのエントリを格納する。

【0056】

特徴量５０４は、経路上サンプルデータＩＤ５０３の各内分点に対応するＦ次元空間における座標のエントリを格納する。

【0057】

（実施形態に係る予測器出力データ）
図６は、実施形態に係る予測器出力データの例を示す図である。図６は、ステップＳ１０４（図２）で経路Ｐの各内分点（a_1_４０２－１，a_2_４０２－２，…，a_S_４０２－Ｓ）（図４）に対する予測器１２０のパフォーマンス情報のデータ構造６００の例を表す。

【0058】

経路ＩＤ６０１は、経路ＩＤ５０１と同様である。経路内部ＩＤ６０２は、経路内部ＩＤ５０２と同様である。経路上サンプルデータＩＤ６０３は、経路上サンプルデータＩＤ５０３と同様である。

【0059】

予測器パフォーマンス６０４は、特徴量５０４（図５）を予測器１２０に入力して出力された予測値、あるいは、その予測値の集合を格納する。本実施形態では、予測器１２０は、学習結果に基づき同一の入力に対して出力する値が従うと推定される確率分布からランダムに選択した値を出力するものとする。他にも予測器１２０は、確率分布そのものを出力するものであっても、決定論的にある値を出力するものでもよい。本実施形態では、Ｍ個の各サンプルｊ（ｊ＝｛１，２，…，Ｍ｝）に対する予測器１２０の出力を６０４－ｊに格納する。

【0060】

（実施形態に係る不確実性評価部出力データ）
図７は、実施形態に係る不確実性評価部出力データの例を示す図である。図７は、不確実性評価部１２１（図１）が、ステップＳ１０５（図２）で評価した、経路Ｐの各内分点に対する予測器１２０の出力値の不確実性に関する統計量を格納するデータ構造７００の例を表す。

【0061】

経路ＩＤ７０１は、経路ＩＤ５０１、経路ＩＤ６０１と同様である。経路内部ＩＤ７０２は、経路内部ＩＤ５０２、経路内部ＩＤ６０２と同様である。経路上サンプルデータＩＤ７０３は、経路上サンプルデータＩＤ５０３、経路上サンプルデータＩＤ６０３と同様である。予測器パフォーマンス統計量７０４は、予測器パフォーマンス６０４のＭ個のサンプルのバラつきに関する統計量を格納する。バラつきに関する統計量は、例えば、Ｍ個のサンプルの平均値（平均７０４－１）、Ｍ個のサンプルの分散値（平均７０４－１）を格納する。

【0062】

（実施形態に係る経路Ｐ上の不確実性データ）
図８は、実施形態に係る経路Ｐ上の不確実性データの例を示す図である。図８は、経路上不確実性評価部１３１（図１）が、ステップＳ１０６（図２）で、各経路Ｐ全体に関する予測器１２０の出力値の不確実性の情報（経路上不確実性情報）のデータ構造８００の例を表す。

【0063】

経路ＩＤ８０１は、経路ＩＤ５０１、経路ＩＤ６０１、経路ＩＤ７０１と同様である。経路上不確実性８０２は、経路ＩＤ８０１ごとの全経路の全内分点全体での不確実性を分散値の誤差伝搬によって求めた値を格納する。経路上不確実性８０２に格納される不確実性は、分散値の誤差伝搬に限らず、予測器１２０の出力の不安定性を直接的あるいは間接的に定量化したものでもよい。

【0064】

（実施形態に係る寄与値算出データ）
図９は、実施形態に係る寄与値算出データの例を示す図である。図９は、寄与値算出部１４０（図１）が、ステップＳ１１１（図２）で算出する寄与値のデータ構造９００の例を表す。

【0065】

特徴量９０１は、特徴量３０２（図３）のＦ個の説明変数を項目として格納する。説明内容９０２は、Ｆ個の各説明変数が説明対象点a_S_４０２－Ｓの出力に対してどのような影響があるかを表す。寄与値の平均９０２－１は、例えば予測器パフォーマンス６０４と同様であり、Ｍ個のサンプルの寄与値の平均値を格納する。寄与値の分散９０２－２は、寄与値の平均９０２－１と同様であり、Ｍ個のサンプルの分散値を格納する。

【0066】

（端末１０１上のデータ入力画面１０００）
図１０は、実施形態に係る端末１０１上のデータ入力画面１０００の例を示す図である。データ入力画面１０００は、入力器１００－１が情報を取得するために、ユーザに対して端末１０１に表示される画面である。

【0067】

説明対象予測器欄１００１は、予測器１２０の格納パス及びファイル名を入力する欄である。学習データ欄１００２は、予測器１２０の学習データの格納パス及びファイル名を入力する欄である。説明対象データ欄１００３は、説明対象点４０２－Ｓの格納パス及びファイル名を入力する欄である。

【0068】

経路パラメタ欄１００４は、上記式（１）の線積分を行う積分経路を最適化する上でのポリシーを設定する。図１０に示す例では、項目「直線」では、経路４００を従来手法に従う直線とする。項目「説明の揺らぎ最小化曲線」では、経路４００を本実施形態の手法に従う経路とする。項目「説明の揺らぎ最小化曲線（グリッド近似）」では、経路４００をＦ次元のデータ空間での格子点上のグリッドで近似した経路とする（すなわち経路４００を何れかの座標軸に平行な線分の集合に限定する）。“グリッド近似”によって、経路の探索時間を短縮できる。項目「学習データ通過直線」では、データ空間における学習データの分布密度が閾値以上の領域において経路４００を学習データを結ぶ経路の集合とする。このように不確実性を直接最適化する代わりに、学習データを結んで経路を生成することで、経路探索の時間を短縮できる。

【0069】

経路探索試行回数欄１００５は、ループ処理Ｓ１０２からＳ１１０（図２）のループ回数を設定する欄である。つまり、ステップＳ１０９の継続探索の判定は、ステップＳ１０９の実行回数が、設定された回数に至ったか否かで行われる。他にも探索継続の判定は、探索の履歴に応じた条件式などにしてもよく、判定アルゴリズムのパラメタのうちユーザに設定させるパラメタが入力欄に入力又は選択可能になる。

【0070】

経路上サンプル点数欄１００５は、経路上内分点の数Ｓを設定する欄である。

【0071】

なお、ユーザに設定させないやり方などにより、経路パラメタ欄１００４、経路探索試行回数欄１００５、及び経路上サンプル点数欄１００６の少なくとも何れかを省略してもよい。

【0072】

表示方法欄１００７は、説明内容の表示に際し、どのような経路が最適化の結果として選択されたのかに対しての可視化の方法を設定する欄である。この可視化の方法には、「多次元表示」、「経路上のデータ点表示」がある。

【0073】

項目「多次元表示」では、図４に示すような、Ｆ次元空間上の経路Ｐを表示する。必要に応じて次元削減などを行う。項目「経路上のデータ点表示」では、経路上内分点４０２－１，…，４０２－Ｓのデータ点及びその一部を表示する。こちらの項目は、例えば画像データなどに有効である。説明内容の数値情報のみにニーズがある場合などは、該当欄が無くてもよい。

【0074】

計算実行ボタン１００８は、入力を終えて、処理の開始を促す操作ボタンである。

【0075】

図１１は、実施形態に係る端末１０１上の説明内容提示画面１１００の例を示す図である。説明内容提示画面１１００は、寄与値結果表示部１４１（図１）が作成した情報をユーザに対して端末１０１上で表示する方法を提供するための画面である。

【0076】

説明内容１１０１は、各説明変数が説明対象データに対してどのような影響があったかを示す。影響度の大きさを表す貢献度１１０１－１を軸にして、各説明変数１１０１－２の貢献度（寄与値）の大きさを棒グラフ１１０１－３などで表す。必要に応じて、貢献度（寄与値）の揺らぎの範囲をエラーバー１１０１－４などで表す。貢献度（寄与値）の揺らぎ（バラつき）の範囲は、例えは貢献度（寄与値）の平均をμ_０、貢献度（寄与値）の分散をσ_０ ^２としてμ_０－ασ_０≦貢献度（寄与値）≦μ_０＋ασ_０（αは所定正数）と表される。

【0077】

表示方法欄１００７によってユーザによる表示方法の選択が可能である場合やユーザの意思に関わらず経路の可視化の仕組みが用意されている場合は、その内容に沿った経路情報（データ分布と説明用の経路）が多次元表示１１０２で可視化される。

【0078】

一例として、図１１では、表示方法欄１００７で項目「多次元表示」が選択された場合を示している。ここでは、説明変数はＦ＝２、つまり説明変数１と説明変数２の２次元のデータ空間を考える。

【0079】

多次元表示１１０２の背景表示として、色の濃淡で学習データのデータ密度を表現する学習データ分布１１０２－１をプロットする。さらに、その上で、参照点a_1，説明対象点a_S及びそれらを結ぶ経路１１０２－２を図示する。学習データ分布１１０２－１の表示は省略可能である。

【0080】

経路タイプ選択欄１１０３は、経路パラメタ欄１００４（図１０）の項目の選択内容に対応する。ユーザによって、経路パラメタ欄１００４の項目が複数選択された場合は、経路タイプ選択欄１１０３での選択に応じて、項目ごとの経路１１０２－２を切り替えて表示する。複数の経路パラメタ欄１００４の項目ごとの経路１１０２－２は、色分けするなど識別可能にして同時にして表示されてもよい。

【0081】

本実施形態では、説明手法ＩＧのような学習済みＡＩの出力f(x)の説明変数x=(x_1，x_2，…，x_F)に対する偏微分値∇f(P(x))をデータ空間の経路Ｐに沿って線積分した寄与値φ_iを用いる説明手法において、経路Ｐを次のように選択する。統計的に同等のデータ、同等の学習条件、同等のパラメタで学習したモデルの出力のばらつき度合に起因する積分値の揺らぎを評価する指標を求め、この指標を最小化する単一曲線の経路Ｐを選択する。

【0082】

そして、人工知能の説明手法における説明の対称性の公理を満たすための、経路Ｐが与えられた始点と終点に対して単一でデータ空間上で単調増加する経路であるという一見すると自然に見える前提を廃止する。その代わりに、本実施形態では、“出力f(x)がx_iとx_jとに関して対称性を持つ最適化経路”に沿って寄与値φ_iを算出する。このようにすることで、対称性の公理を満たすことができる。ここで“出力f(x)がx_iとx_jとに関して対称性を持つ最適化経路”とは、経路上の内分点について、f(x_1，…，x_i，…，x_j，…，x_F)＝f(x_1，…，x_j，…，x_i，…，x_F)が任意のx_i，x_j（ｉ,ｊ∈｛1，2，…，F｝かつｉ≠ｊ）について成立する経路である。

【0083】

このように、学習済みＡＩの出力の揺らぎを考慮した経路を選択することで、説明変数への寄与度をロバストに算出することが可能になる。

【0084】

（コンピュータ１２００のハードウェア）
図１２は、コンピュータ１２００の構成例を示すハードウェア図である。例えば、情報処理装置１００及び端末１０１は、コンピュータ１２００によって実現される。

【0085】

コンピュータ１２００は、バス等の内部通信線１２０９を介して相互に接続されたＣＰＵをはじめとするプロセッサ１２０１、主記憶装置１２０２、補助記憶装置１２０３、ネットワークインタフェース１２０４、入力装置１２０５、及び出力装置１２０６を備えるコンピュータである。

【0086】

プロセッサ１２０１は、コンピュータ１２００全体の動作制御を司る。また主記憶装置１２０２は、例えば揮発性の半導体メモリから構成され、プロセッサ１２０１のワークメモリとして利用される。補助記憶装置１２０３は、ハードディスク装置、ＳＳＤ（Solid State Drive）、またはフラッシュメモリ等の大容量の不揮発性の記憶装置から構成され、各種プログラムやデータを長期間保持するために利用される。

【0087】

補助記憶装置１２０３に格納された実行可能プログラム１２０３ａがコンピュータ１２００の起動時や必要時に主記憶装置１２０２にロードされ、主記憶装置１２０２にロードされた実行可能プログラム１２０３ａをプロセッサ１２０１が実行することにより、各種処理を実行する装置が実現される。

【0088】

なお、実行可能プログラム１２０３ａは、非一時的記録媒体に記録され、媒体読み取り装置によって非一時的記録媒体から読み出されて、主記憶装置１２０２にロードされてもよい。または、実行可能プログラム１２０３ａは、ネットワークを介して外部のコンピュータから取得されて、主記憶装置１２０２にロードされてもよい。

【0089】

ネットワークインタフェース１２０４は、コンピュータ１２００をシステム内の各ネットワークに接続する、あるいは他のコンピュータと通信するためのインタフェース装置である。ネットワークインタフェース１２０４は、例えば、有線ＬＡＮ（Local Area Network）や無線ＬＡＮ等のＮＩＣ（Network Interface Card）から構成される。

【0090】

入力装置１２０５は、キーボードや、マウス等のポインティングデバイス等から構成され、ユーザがコンピュータ１２００に各種指示や情報を入力するために利用される。出力装置１２０６は、例えば、液晶ディスプレイ又は有機ＥＬ（Electro Luminescence）ディスプレイ等の表示装置や、スピーカ等の音声出力装置から構成され、必要時に必要な情報をユーザに提示するために利用される。

【0091】

本発明は上述の実施形態に限定されるものではなく、様々な変形例を含む。例えば、上記した実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、矛盾しない限りにおいて、ある実施形態の構成の一部を他の実施形態の構成で置き換え、ある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、構成の追加、削除、置換、統合、又は分散をすることが可能である。また、実施形態で示した構成及び処理は、処理効率又は実装効率に基づいて適宜分散、統合、又は入れ替えることが可能である。

【符号の説明】

【0092】

１００：情報処理装置、１２００：コンピュータ。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】