特許 7533997 情報処理方法、プログラムおよび情報処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2024-08-05

(45)【発行日】2024-08-14

(54)【発明の名称】情報処理方法、プログラムおよび情報処理装置

(51)【国際特許分類】

   G06N 20/00 20190101AFI20240806BHJP

   G06F 18/27 20230101ALI20240806BHJP

【ＦＩ】

G06N20/00

G06F18/27

【請求項の数】 9

(21)【出願番号】P 2023184980

(22)【出願日】2023-10-27

【審査請求日】2024-01-22

(31)【優先権主張番号】63/529836

(32)【優先日】2023-07-31

(33)【優先権主張国・地域又は機関】US

【早期審査対象出願】

(73)【特許権者】

【識別番号】523409751

【氏名又は名称】合同会社ＥｉｇｅｎＢｅａｔｓ

(74)【代理人】

【識別番号】100114557

【弁理士】

【氏名又は名称】河野 英仁

(74)【代理人】

【識別番号】100078868

【弁理士】

【氏名又は名称】河野 登夫

(72)【発明者】

【氏名】中西 崇文

【審査官】佐藤 直樹

(56)【参考文献】

【文献】特開２０２３－１０４７０１（ＪＰ，Ａ）

【文献】特開２０２２－０１０７４９（ＪＰ，Ａ）

【文献】特開２０１９－０９６２４７（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｎ ２０／００

Ｇ０６Ｆ １８／２７

(57)【特許請求の範囲】

【請求項1】

既存の機械学習モデルに入力された説明データベクトルと、前記機械学習モデルから出力された目的データベクトルとを関連づけて複数組記録し、
前記説明データベクトルを複数組配列した説明行列と、前記目的データベクトルを前記説明データベクトルと対応する順番で配列した目的行列の一般化逆行列とのベクトル積である解釈行列を算出し、
前記解釈行列に関する図表を出力する
処理をコンピュータが実行する情報処理方法。

【請求項2】

前記目的行列の一般化逆行列は、前記目的行列のムーア・ペンローズの一般化逆行列である
請求項１に記載の情報処理方法。

【請求項3】

前記図表は、前記説明データベクトルの個々の要素に対応する項目名を第１軸に、前記解釈行列を構成する列ごとの要素の値を第２軸に使用したグラフである
請求項１に記載の情報処理方法。

【請求項4】

説明データベクトルを取得し、
前記目的データベクトルのうち、局所的特徴重要度を表示する対象である一つの要素が１、他の要素が０である単位目的ベクトルを生成し、
前記図表は、前記説明データベクトルの個々の要素に対応する項目名を第１軸に、（１）式により算出される局所的特徴重要度ベクトルを構成する要素の値を第２軸に使用して表示したグラフである
請求項１に記載の情報処理方法。

【数1】

【請求項5】

前記解釈行列と、前記目的データベクトルの一つの要素が１、他の要素が０である第１単位ベクトルとのベクトル積である第１典型例ベクトルを算出し、
前記解釈行列と、前記目的データベクトルの他の要素が１、他の要素が０である第２単位ベクトルとのベクトル積である第２典型例ベクトルを算出し、
前記図表は、前記説明行列から選択されたそれぞれの前記説明データベクトルについて、前記第１典型例ベクトルとの類似度を横軸に、前記第２典型例ベクトルとの類似度を縦軸にプロットした後にカーネル密度推定を行なった分布図である
請求項１に記載の情報処理方法。

【請求項6】

前記説明データベクトルは、前記機械学習モデルの機械学習に使用した訓練データにおける説明データと同一であり、
前記図表は、
前記訓練データにおける正解データが前記第１典型例ベクトルを算出した際の一つの要素に対応する説明データを使用して作成した第１分布図と、前記訓練データにおける正解データが前記第２典型例ベクトルを算出した際の一つの要素に対応する説明データを使用して作成した第２分布図とを、重畳表示した図である
請求項５に記載の情報処理方法。

【請求項7】

前記説明データベクトルは、前記機械学習モデルの機械学習に使用した訓練データにおける説明データと同一である
請求項１から請求項５のいずれか一つに記載の情報処理方法。

【請求項8】

既存の機械学習モデルに入力された説明データベクトルと、前記機械学習モデルから出力された目的データベクトルとを関連づけて複数組記録し、
前記説明データベクトルを複数組配列した説明行列と、前記目的データベクトルを前記説明データベクトルと対応する順番で配列した目的行列の一般化逆行列とのベクトル積である解釈行列を算出し、
前記解釈行列に関する図表を出力する
処理をコンピュータに実行させるプログラム。

【請求項9】

制御部を備える情報処理装置であって、
前記制御部は、
既存の機械学習モデルに入力された説明データベクトルと、前記機械学習モデルから出力された目的データベクトルとを関連づけて複数組記録し、
前記説明データベクトルを複数組配列した説明行列と、前記目的データベクトルを前記説明データベクトルと対応する順番で配列した目的行列の一般化逆行列とのベクトル積である解釈行列を算出し、
前記解釈行列に関する図表を出力する
情報処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理方法、プログラムおよび情報処理装置に関する。

【背景技術】

【0002】

機械学習モデルを用いて画像を分類するとともに、分類に寄与した領域がどこであるかをヒートマップにより表示するシステムが提案されている（特許文献１）。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０２３－８３５５５号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

機械学習により生成された機械学習モデルはブラックボックスになっており、ユーザが振る舞いを解釈することは難しい。

【0005】

一つの側面では、生成済の機械学習モデルの振る舞いをユーザが解釈することを支援する情報処理方法等の提供を目的とする。

【課題を解決するための手段】

【0006】

情報処理方法は、既存の機械学習モデルに入力された説明データベクトルと、前記機械学習モデルから出力された目的データベクトルとを関連づけて複数組記録し、前記説明データベクトルを複数組配列した説明行列と、前記目的データベクトルを前記説明データベクトルと対応する順番で配列した目的行列の一般化逆行列とのベクトル積である解釈行列を算出し、前記解釈行列に関する図表を出力する処理をコンピュータが実行する。

【発明の効果】

【0007】

一つの側面では、生成済の機械学習モデルの振る舞いをユーザが解釈することを支援する情報処理方法等を提供できる。

【図面の簡単な説明】

【0008】

【図1】ＡＩＭＥの概要を説明する説明図である。

【図2】解釈行列Ａ†の算出方法を説明する説明図である。

【図3】情報処理装置の構成を説明する説明図である。

【図4】解釈行列Ａ†を算出するプログラムの処理の流れを説明するフローチャートである。

【図5】類似性分布図の作成方法の概要を説明する説明図である。

【図6】類似性分布図を生成するプログラムの処理の流れを説明するフローチャートである。

【図7】説明－目的ＤＢのレコードレイアウトを説明する説明図である。

【図8】大局的特徴重要度グラフを説明する説明図である。

【図9】局所的特徴重要度グラフの例である。

【図10】類似性分布図の例である。

【図11】類似性分布図の例である。

【図12】類似性分布図の例である。

【図13】既存モデルに関する局所的特徴重要度を説明する説明図である。

【図14】既存モデルに関する類似度分布図の例である。

【発明を実施するための形態】

【0009】

［実施の形態１］
様々な機械学習アルゴリズムを利用して、説明データの入力を受け付けて目的データを出力する機械学習モデルが生成されている。生成された機械学習モデルは通常はブラックボックスであり、説明データの入力から目的データの出力に至る判断過程を人間が解釈することは困難である。

【0010】

しかしながら、機械学習モデルを実社会での意思決定に活用するにあたっては、機械学習モデルの判断過程を人間が解釈できることが重要である。たとえば、出力された目的データが人間の常識とは大きく乖離しているように見える場合、機械学習モデルの判断過程を人間が適切に解釈できれば、その目的データおよび機械学習モデルをどのように扱うべきであるかも人間が適切に判断できる。

【0011】

機械学習モデルから出力された目的データに関して、出力された理由を説明する技術はＸＡＩ（Explainable AI：説明可能なＡＩ）と呼ばれている。たとえば機械学習モデルの局所的な挙動の説明に適したＬＩＭＥ（Local Interpretable Model Agnostic Explanations）、および、説明変数の重要度の評価に適したＳＨＡＰ（Shapley Additive Explanation）等のＸＡＩ技術が知られている。

【0012】

本実施の形態においては、機械学習モデルの振る舞いを様々な観点で解釈できるようにユーザを支援する情報処理方法を説明する。以下に説明する情報処理方法を、ＡＩＭＥ（Approximate Inverse Model Explanations）と称する。

【0013】

図１は、ＡＩＭＥの概要を説明する説明図である。図１を使用して、生成済の機械学習モデルである既存モデル２１の振る舞いを、ＡＩＭＥを用いて解釈する手順を説明する。既存モデル２１は、説明データベクトルｘnの入力を受け付けて、目的データベクトルｙnを出力する機械学習モデルである。

【0014】

既存モデル２１は、たとえばＣＮＮ（Convolutional Neural Network）、ＲＮＮ（Recurrent Neural Network）または、ランダムフォレスト等の任意の教師あり機械学習アルゴリズムを用いて生成された機械学習モデルである。既存モデル２１は、たとえば強化学習またはＧＡＮ（Generative Adversarial Network）等の任意の教師無し機械学習アルゴリズムを用いて生成された機械学習モデルであってもよい。

【0015】

説明データベクトルｘnを既存モデル２１に入力して、目的データベクトルｙnを取得する手順が複数回繰り返される。既存モデル２１が教師あり機械学習により生成された場合、説明データベクトルｘnには機械学習に使用された訓練データの一部または全部が使用されてもよい。説明データベクトルｘnは、ランダムに、または所定のルールに基づいて生成されてもよい。

【0016】

複数の説明データベクトルｘnを行方向に並べることにより、二次元行列である説明行列Ｘが生成される。同様に、複数の目的データベクトルｙnを行方向に並べることにより、二次元行列である目的行列Ｙが生成される。ここで、説明データベクトルｘnの配列順序と、対応する目的データベクトルｙnの配列順序とは、同一である。

【0017】

なお、以後のプロセスを実行するためには、目的データベクトルｙnは線形独立である必要がある。すなわち、目的行列Ｙと、目的行列Ｙの転置行列とのベクトル積は、正則行列である必要がある。

【0018】

説明行列Ｘと目的行列Ｙとに基づいて、（１）式に示す様に目的行列Ｙとのベクトル積が説明行列Ｘに等しい行列である解釈行列Ａ†が算出される。解釈行列Ａ†を算出する方法の詳細については後述する。
Ｘ ＝ Ａ† Ｙ ‥‥‥ （１）

【0019】

解釈行列Ａ†を図表化することにより、既存モデル２１の全般的な振る舞いを示す大局的特徴重要度グラフ４１、個々の目的データベクトルｙnの解釈を示す局所的特徴重要度グラフ４２、および、説明データベクトルｘn同士の類似度の分布を示す類似性分布図４３等の図表が作成される。ユーザは、これらの図表を用いることにより、既存モデル２１の振る舞いを解釈できる。大局的特徴重要度グラフ４１、局所的特徴重要度グラフ４２および類似性分布図４３の詳細については、後述する。

【0020】

図２は、解釈行列Ａ†の算出方法を説明する説明図である。以下の説明において、Ｎは、既存モデル２１に説明データベクトルｘnを入力して目的データベクトルｙnを取得する処理を繰り返した回数を示す自然数である。ｎは何回目に既存モデル２１に入力、または既存モデル２１から出力されたベクトルであるかを示す自然数である。

【0021】

説明データベクトルｘnは、Ex1nからExLnまでのＬ個の要素を有する。目的データベクトルｙnは、Ob1nからObMnまでのＭ個の要素を有する。ここで、ＬおよびＭは自然数である。図２においては、ｎ＝２である説明データベクトルｘnおよび目的データベクトルｙnを破線で囲んで示す。

【0022】

前述の通り、Ｎ回の処理で得られたＮ個の説明データベクトルｘnを行方向に並べることにより、二次元行列である説明行列Ｘが作成される。説明行列Ｘは、Ｌ行Ｎ列の二次元行列である。同様に、Ｎ個の目的データベクトルｙnを行方向に並べることにより、二次元行列である目的行列Ｙが生成される。目的行列Ｙ†は、Ｍ行Ｎ列の二次元行列である。

【0023】

目的行列Ｙに関しては、ムーア・ペンローズの一般化逆行列であるＹ†が算出される。以下の説明ではＹ†を目的逆行列Ｙ†と記載する場合がある。目的逆行列Ｙ†は、（２）式により算出される。目的逆行列Ｙ†は、Ｎ行Ｍ列の行列である。
Ｙ†＝Ｙ^T（Ｙ Ｙ^T）^-1 ‥‥‥ （２）

【0024】

解釈行列Ａ†は、説明行列Ｘと目的逆行列Ｙ†とのベクトル積である。解釈行列Ａ†を算出する式を（３）式に示す。
Ａ† ＝ Ｘ Ｙ† ‥‥‥ （３）

【0025】

解釈行列Ａ†は、Ｌ行Ｍ列、すなわち説明データベクトルｘnの要素数と同一の行数と、目的データベクトルｙnの要素数と同一の列数を有する二次元行列である。解釈行列Ａ†のａ行ｂ列の要素は、目的データベクトルｙnのｂ番目の要素に対する説明データベクトルｘnのａ番目の要素の影響力を示す。

【0026】

以上により、既存モデル２１を生成したアルゴリズムおよび訓練データ等の情報が無くても、既存モデル２１を利用できる環境があれば解釈行列Ａ†を生成できる。すなわち、第３者が生成したブラックボックス状態の既存モデル２１であっても、解釈行列Ａ†を生成できる。

【0027】

参考のため、（１）式および（２）式から（３）式を導出する式変形の概要を下記に示す。まず、（１）式の両辺に目的行列Ｙの転置行列を右から掛けて（４）式を得る。
Ｘ Ｙ^T ＝ Ａ† Ｙ Ｙ^T ‥‥‥ （４）

【0028】

前述のとおり、目的行列Ｙと、目的行列Ｙの転置行列とのベクトル積は、正則行列であるため、逆行列を算出できる。この逆行列を（４）式の両辺に右から掛けて（５）式を得る。
Ｘ Ｙ^T（Ｙ Ｙ^T）^-1 ＝ Ａ†（Ｙ Ｙ^T）（Ｙ Ｙ^T）^-1 ＝ Ａ† ‥‥‥ （５）

【0029】

（５）式の左辺と右辺とを入れ替えた後に、右辺に（２）式を代入すると、（６）式が得られる。（６）式の両端より、（２）式が導出されている。
Ａ† ＝ Ｘ Ｙ^T（Ｙ Ｙ^T）^-1 ＝ Ｘ Ｙ† ‥‥‥ （６）

【0030】

図３は、情報処理装置１０の構成を説明する説明図である。情報処理装置１０は、制御部１１、主記憶装置１２、補助記憶装置１３、通信部１４、表示部１５、入力部１６、読取部１９およびバスを備える。

【0031】

制御部１１は、本実施の形態のプログラムを実行する演算制御装置である。制御部１１には、一または複数のＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＴＰＵ（Tensor Processing Unit）またはマルチコアＣＰＵ等が使用される。制御部１１は、バスを介して情報処理装置１０を構成するハードウェア各部と接続されている。

【0032】

主記憶装置１２は、ＳＲＡＭ（Static Random Access Memory）、ＤＲＡＭ（Dynamic Random Access Memory）、フラッシュメモリ等の記憶装置である。主記憶装置１２には、制御部１１が行なう処理の途中で必要な情報および制御部１１で実行中のプログラムが一時的に保存される。

【0033】

補助記憶装置１３は、ＳＲＡＭ、フラッシュメモリ、ハードディスクまたは磁気テープ等の記憶装置である。補助記憶装置１３には、既存モデル２１、制御部１１に実行させるプログラム、およびプログラムの実行に必要な各種データが保存される。既存モデル２１は、ネットワークを介して接続された外部の記憶装置に保存されていてもよい。

【0034】

通信部１４は、情報処理装置１０とネットワークとの間の通信を行なうインターフェイスである。表示部１５は、たとえば液晶表示装置または有機ＥＬ（Electro Luminescence）表示装置である。入力部１６は、たとえばキーボード、マウス、トラックボールまたはマイク等の入力デバイスである。

【0035】

可搬型記録媒体９６は、たとえばＵＳＢ（Universal Serial Bus）メモリ、ＣＤ－ＲＯＭ（Compact Disc Read only memory）、光磁気ディスク媒体、その他の光ディスク媒体またはＳＤメモリカード等である。可搬型記録媒体９６には、ＡＩＭＥを実現するプログラム９７が記憶されている。

【0036】

読取部１９は、たとえばＵＳＢコネクタ、ＣＤ－ＲＯＭドライブまたはＳＤメモリリーダ等の、可搬型記録媒体９６を接続可能なインターフェイスである。半導体メモリ９８は、プログラム９７を記憶しており、情報処理装置１０の内部に取り付け可能なメモリである。

【0037】

情報処理装置１０は、汎用のパソコン、タブレット、大型計算機、大型計算機上で動作する仮想マシン、または、量子コンピュータである。情報処理装置１０は、分散処理を行なう複数のパソコン、または大型計算機等のハードウェアにより構成されても良い。情報処理装置１０は、クラウドコンピューティングシステムにより構成されても良い。情報処理装置１０は、連携して動作する複数のパソコン、または大型計算機等のハードウェアにより構成されてもよい。

【0038】

プログラム９７は、可搬型記録媒体９６に記録されている。制御部１１は、読取部１９を介してプログラム９７を読み込み、補助記憶装置１３に保存する。また制御部１１は、半導体メモリ９８に記憶されたプログラム９７を読出してもよい。さらに、制御部１１は、通信部１４および図示しないネットワークを介して接続される図示しない他のサーバコンピュータからプログラム９７をダウンロードして補助記憶装置１３に保存してもよい。

【0039】

プログラム９７は、情報処理装置１０の制御プログラムとしてインストールされ、主記憶装置１２にロードして実行される。本実施の形態のプログラム９７は、プログラム製品の例示である。

【0040】

図４は、解釈行列Ａ†を算出するプログラムの処理の流れを説明するフローチャートである。制御部１１は、ｎ番目に既存モデル２１に入力する説明データベクトルｘnを決定する（ステップＳ５０１）。既存モデル２１の機械学習に使用された訓練データを入手できる場合、既存モデル２１は訓練データから説明データベクトルｘnを抽出してもよい。

【0041】

制御部１１は、ランダムに、または所定のルールに基づいて説明データベクトルｘnを生成してもよい。制御部１１が説明データベクトルｘnを生成する場合には、既存モデル２１の利用が想定されている範囲で説明データベクトルｘnを生成することが望ましい。たとえば、「人間の年齢が２００歳」などの、想定外の要素を含む説明データベクトルｘnを生成した場合には、既存モデル２１の振る舞いを正しく解釈することはできなくなる。

【0042】

同様に複数の説明データベクトルｘnの分布は、既存モデル２１の利用が想定されている範囲と一致させることが望ましい。たとえば一般的な成人の行動を予測する既存モデル２１である場合、「人間の年齢」の要素は人口動態などのデータの分布に近付けることが望ましい。

【0043】

制御部１１は、ステップＳ５０１で取得した説明データベクトルｘnを既存モデル２１に入力して、目的データベクトルｙnを取得する（ステップＳ５０２）。制御部１１は、説明データベクトルｘnと目的データベクトルｙnとを関連づけて、主記憶装置１２または補助記憶装置１３に記録する（ステップＳ５０３）。

【0044】

制御部１１は、説明データベクトルｘnと目的データベクトルｙnとの組の生成を終了するか否かを判定する（ステップＳ５０４）。たとえば制御部１１は、訓練データに記録された説明データベクトルｘnの処理を終了した場合に、ステップＳ５０４で終了すると判定する。制御部１１は、あらかじめ定められた所定の数の組を生成した場合に、処理を終了すると判定してもよい。

【0045】

終了しないと判定した場合（ステップＳ５０４でＮＯ）、制御部１１はステップＳ５０１に戻る。終了すると判定した場合（ステップＳ５０４でＹＥＳ）、制御部１１は、ステップＳ５０３で記録したデータに基づいて説明行列Ｘを生成する（ステップＳ５０５）。制御部１１は、ステップＳ５０３で記録したデータに基づいて目的行列Ｙを生成する（ステップＳ５０６）。制御部１１は、目的行列Ｙに基づいてムーア・ペンローズの一般化逆行列である目的逆行列Ｙ†を算出する（ステップＳ５０７）。制御部１１は、説明行列Ｘと目的逆行列Ｙ†とのベクトル積である解釈行列Ａ†を算出する（ステップＳ５０８）。制御部１１は処理を終了する。

【0046】

生成した解釈行列Ａ†を図表化して、既存モデル２１の振る舞いを解釈する方法の概要を以下に説明する。

【0047】

［大局的特徴重要度］
大局的特徴重要度は、既存モデル２１から出力される特定の予測結果に対して、説明データベクトルｘnを構成する各要素が寄与する程度を意味する。ユーザは、可視化された大局的特徴重要度に基づいて、既存モデル２１の全般的な振る舞いを把握できる。

【0048】

前述の通り解釈行列Ａ†のａ行ｂ列の要素は、目的データベクトルｙnのｂ番目の要素に対する説明データベクトルｘnのａ番目の要素の影響力を示す。たとえば説明データベクトルｘnを構成する各要素に対応する項目名を第１の軸に、解釈行列Ａ†の任意の列の値を第２の軸にそれぞれ使用した棒グラフまたは折れ線グラフ等により、説明データベクトルｘnを構成する各要素が目的データベクトルｙnのうちの特定の項目に与える影響の度合いを可視化できる。大局的特徴重要度を可視化する図表の具体例については後述する。

【0049】

［代表推定インスタンス］
代表推定インスタンスｘ*は、既存モデル２１から出力される目的データベクトルｙnが特定の状態になる理想的な、または、典型的な説明データベクトルｘnを意味する。代表推定インスタンスｘ*は、説明データベクトルｘnと同一の要素数を有するベクトルである。

【0050】

代表推定インスタンスｘ*は、解釈行列Ａ†と目的データベクトルｙnとのベクトル積により算出される。代表推定インスタンスｘ*を算出する式を（７）式に示す。
ｘ* ＝ Ａ† ｙn ‥‥‥ （７）

【0051】

以下の説明においては、目的データベクトルｙnが、ｋ番目の要素は１、他の要素は０である単位目的ベクトルｙukである場合を例にして説明する。ｋは、目的データベクトルｙnの要素数以下の自然数である。目的データベクトルｙnが単位目的ベクトルｙukである場合の代表推定インスタンスｘ*を算出する式を（８）式に、単位目的ベクトルｙukのｉ番目の要素ｙuk（ｉ）の定義を（９）式にそれぞれ示す。

【0052】

【数1】

【0053】

ユーザは、代表推定インスタンスｘ*に基づいて、特定の目的データベクトルｙnが出力される場合の説明データベクトルｘnの各項目の重要度を把握できる。さらにユーザは、代表推定インスタンスｘ*に基づいて、既存モデル２１の振る舞いを解釈するための手がかりを得ることができる。代表推定インスタンスｘ*の具体例については、後述する。

【0054】

［局所的特徴重要度］
局所的特徴重要度ベクトルＬは、特定の説明データベクトルｘnを構成する各要素が、既存モデル２１から出力された目的データベクトルｙnに寄与する程度を意味する。局所的特徴重要度ベクトルＬは、説明データベクトルｘnと同一の要素数を有するベクトルである。

【0055】

以下の説明では、特定の説明データベクトルｘnを対象説明ベクトルｘoと記載する。対象説明ベクトルｘoは、訓練データに含まれているデータであっても、訓練データとは別に創作されたデータであってもよい。目的データベクトルｙnが単位目的ベクトルｙukである場合を例にして説明する。局所的特徴重要度ベクトルＬは、（１０）式により算出される。

【0056】

【数2】

【0057】

たとえば局所的特徴重要度ベクトルＬを構成する各要素に対応する項目名、すなわち、説明データベクトルｘnを構成する各要素に対応する項目名を第１の軸に、局所的特徴重要度ベクトルＬを構成する各要素の値を第２の軸にそれぞれ使用した棒グラフまたは折れ線グラフ等により、局所的特徴重要度ベクトルＬを可視化できる。局所的特徴重要度ベクトルＬを可視化する図表の具体例については後述する。

【0058】

ユーザは局所的特徴重要度ベクトルＬに基づいて説明データベクトルｘnの入力を受け付けた既存モデル２１から目的データベクトルｙnが出力された理由を解釈できる。ユーザは、局所的特徴重要度ベクトルＬに基づいて目的データベクトルｙnに影響を与える説明データベクトルｘnの要素を把握することもできる。局所的特徴重要度ベクトルＬの具体例については、後述する。

【0059】

［類似性分布図］
図５は、類似性分布図４３の作成方法の概要を説明する説明図である。最初に、（８）式に基づいて、第１典型例ベクトルと第２典型例ベクトルとの２つの代表推定インスタンスｘ*が算出される。第１典型例ベクトルを算出する際と、第２典型例ベクトルを算出する際とでは、異なるｋが用いられる。

【0060】

説明行列Ｘから特定の条件を満たす説明データベクトルｘnが選択される。たとえば、説明データベクトルｘnに機械学習に使用された訓練データが使用されている場合、正解データが第１典型例ベクトルを算出した際の単位目的ベクトルｙukに対応する説明データベクトルｘnが選択されることが望ましい。既存モデル２１から出力される目的データベクトルｙnのうち、ｋ番目の要素が所定の閾値よりも大きくなるような説明データベクトルｘnが選択されてもよい。

【0061】

選択された説明データベクトルｘnについて、第１典型例ベクトルとの類似度である第１類似度が算出される。類似度には、たとえば説明データベクトルｘnと第１典型例ベクトルとのユークリッド距離、マンハッタン距離またはハミング距離等の任意の定義によるベクトル間距離の逆数を使用できる。類似度には、たとえばコサイン類似度が使用されてもよい。

【0062】

同様にして、選択された説明データベクトルｘnと、第２典型例ベクトルとの類似度である第２類似度とが算出される。第１類似度の値をｘ軸に、第２類似度の値をｙ軸に使用して、それぞれの説明データベクトルｘnが二次元のグラフ上にプロットされる。

【0063】

プロットされたデータに対してたとえばＲＢＦカーネルを適用するカーネル密度推定が行なわれ、滑らかな類似性分布図４３が生成される。ユーザは類似性分布図４３により、選択された説明データベクトルｘnに関する既存モデル２１の振る舞いを直感的に認識できる。なお、カーネル密度推定は行なわれず、個々のプロットが直接表示されてもよい。

【0064】

個々の説明データベクトルｘnのプロットを行なう際に、カーネル密度推定が行なわれてもよい。それぞれのプロットを重ね合わせることにより、滑らかな類似性分布図４３が生成される。

【0065】

複数の条件でそれぞれ選択された説明データベクトルｘnを用いて作成された類似性分布図４３が重畳表示されてもよい。３つの代表推定インスタンスｘ*を使用して、立体的な類似性分布図４３が生成されてもよい。類似性分布図４３の具体例については、後述する。

【0066】

図６は、類似性分布図４３を生成するプログラムの処理の流れを説明するフローチャートである。制御部１１は、第１の説明データベクトルｘnに関する指定を受け付ける（ステップＳ５２１）。たとえば制御部１１は、ｋの指定を受け付けて、単位目的ベクトルｙukを第１の説明データベクトルｘnに使用する。この単位目的ベクトルｙukは、第１単位ベクトルの例示である。制御部１１は、（７）式に基づいて代表推定インスタンスｘ*を算出する。制御部１１は、算出した代表推定インスタンスｘ*を第１典型例ベクトルに使用する（ステップＳ５２２）。

【0067】

制御部１１は、第２の説明データベクトルｘnに関する指定を受け付ける（ステップＳ５２３）。たとえば制御部１１は、ｋの指定を受け付けて、単位目的ベクトルｙukを第２の説明データベクトルｘnに使用する。この単位目的ベクトルｙukは、第２単位ベクトルの例示である。制御部１１は、（７）式に基づいて代表推定インスタンスｘ*を算出する。制御部１１は、算出した代表推定インスタンスｘ*を第２典型例ベクトルに使用する（ステップＳ５２４）。

【0068】

制御部１１は、説明行列Ｘから所定の条件に合う説明データベクトルｘnを一つ選択する（ステップＳ５２５）。制御部１１は、ステップＳ５２５で選択した説明データベクトルｘnと、ステップＳ５２２で算出した第１典型例ベクトルとの類似度を算出する（ステップＳ５２６）。制御部１１は、ステップＳ５２５で選択した説明データベクトルｘnと、ステップＳ５２４で算出した第２典型例ベクトルとの類似度を算出する（ステップＳ５２７）。制御部１１は、ステップＳ５２６で算出した類似度と、ステップＳ５２７で算出した類似度とを関連づけて、主記憶装置１２または補助記憶装置１３に記録する（ステップＳ５２８）。

【0069】

制御部１１は、類似度の算出を終了するか否かを判定する（ステップＳ５２９）。具体的には、たとえば制御部１１は説明行列Ｘのうち、所定の条件を満たす説明データベクトルｘnの処理を終了した場合に、類似度の算出を終了すると判定する。制御部１１は、類似度の算出を所定の回数繰り返した場合に、類似度の算出を終了すると判定してもよい。

【0070】

終了しないと判定した場合（ステップＳ５２９でＮＯ）、制御部１１はステップＳ５２５に戻る。終了すると判定した場合（ステップＳ５２９でＹＥＳ）、制御部１１は、ステップＳ５２８で記録したそれぞれのデータについて、第１典型例ベクトルとの類似度を第１軸に、第２典型例ベクトルとの類似度を第２軸に使用した散布図を作成する（ステップＳ５３０）。

【0071】

制御部１１は、ステップＳ５３０で作成した散布図に対してカーネル密度推定を行ない、散布図の各プロットの分布を滑らかにする（ステップＳ５３１）。以上により、類似性分布図４３が完成する。制御部１１は、完成した類似性分布図４３を表示する（ステップＳ５３２）。その後、制御部１１は処理を終了する。

【0072】

［具体例１：タイタニックデータセット］
「１９１２年に北大西洋で氷山に沈没したタイタニック号への乗客者の生存状況」をまとめた、タイタニックデータセットを訓練データに使用して生成された既存モデル２１を解釈する例を説明する。

【0073】

既存モデル２１は、乗客に関する１２要素の説明データベクトルｘnを入力した場合に、その乗客の生存確率および非生存確率をそれぞれ出力するように訓練された学習モデルである。教師あり機械学習による機械学習モデルの生成手法は公知であるため、生成方法については説明を省略する。説明データベクトルｘnの要素を表１に示す。

【0074】

【表1】

【0075】

表１において、一等船室からＳ港発までの八項目は、ＹＥＳが１、ＮＯが０の二値で表現されている。

【0076】

図７は、説明－目的ＤＢ３１のレコードレイアウトを説明する説明図である。説明-目的ＤＢ３１は、Ｎｏ．フィールド、説明データベクトルフィールド、および、目的データベクトルフィールドを有する。説明データベクトルフィールドは、Ａｇｅフィールド、ＳｉｂＳｐフィールドおよびＰａｒｃｈフィールド等、表１に示す説明データベクトルｘnの各要素に対応するサブフィールドを有する。目的データベクトルフィールドは、生存確率フィールドおよび非生存確率フィールドを有する。

【0077】

Ｎｏ．フィールドには、１からＮまでの連番が記録されている。説明データフィールドの各サブフィールドには、説明データベクトルｘnの要素が記録されている。生存確率フィールドには、説明データベクトルｘnの属性を有する乗客が生存する確率が記録されている。非生存確率フィールドには、説明データベクトルｘnの属性を有する乗客が生存しない確率が記録されている。それぞれのレコードについて、生存確率フィールドに記録された値と、非生存確率フィールドに記録された値の合計は１である。

【0078】

制御部１１は、図４を使用して説明したプログラムのステップＳ５０３において、説明-目的ＤＢ３１に一つのレコードを追加する。図７の破線で囲んだ部分は、図２に示す説明行列Ｘの転置行列になっている。図７の実線で囲んだ部分は、図２に示す目的行列Ｙの転置行列になっている。

【0079】

図８は、大局的特徴重要度グラフ４１を説明する説明図である。図８の上側に、図４を使用して説明したプログラムのステップＳ５０８で算出された解釈行列Ａ†を模式的に示す。解釈行列Ａ†は、１２行２列の行列である。解釈行列Ａ†の要素の縦方向の番号、すなわち３文字目は、１６進数で示す。すなわちＡは１０を、Ｂは１１を、Ｃは１２を示す。

【0080】

前述の通り解釈行列Ａ†のａ行ｂ列の要素は、目的データベクトルｙnのｂ番目の要素に対する説明データベクトルｘnのａ番目の要素の影響力を示す。したがって、ＡＤ１１は乗客が生存することに対する乗客の年齢の影響力を示し、ＡＤ１２は乗客が生存しないことに対する乗客の年齢の影響力を示す。

【0081】

図８の下側は、大局的特徴重要度グラフ４１を示す。縦軸は、説明データベクトルｘnの項目名を示す。横軸は、解釈行列Ａ†のそれぞれの要素の値を示す。左下がりのハッチングは、解釈行列Ａ†の左側の列の値、すなわち乗客が生存することに対する各要素の影響力を示す。右下がりのハッチングは、解釈行列Ａ†の右側の列の値、すなわち乗客が生存しないことに対する各要素の影響力を示す。

【0082】

図８より、同乗者数Ａは乗客の生存可否に殆ど影響していない。したがって、乗客が生存するか否かを予測するためには、同乗者数Ａのデータは不要であることがわかる。ユーザは、たとえば説明変数から同乗者数Ａを削除することにより、予測精度に影響を与えることなく既存モデル２１の計算量を削減できる。

【0083】

同じく図８より、乗客が生存することに大きく影響する要素は、乗客が女性であることであり、乗客が生存しないことに大きく影響する要素は、乗客が男性であることである。乗客の性別は、それ以外の要素にくらべて生存するか否かに大きく影響していることがわかる。

【0084】

表２は、（８）式に基づいて算出された生存者および非生存者のそれぞれに関する代表推定インスタンスを示す。

【0085】

【表2】

【0086】

表２より、典型的な生存者は比較的高い旅客運賃の女性であり、典型的な非生存者は比較的安い旅客運賃の男性であることがわかる。

【0087】

次に、局所的特徴重要度の例を説明する。局所的特徴重要度を算出するにあたり、１９９７年公開の映画タイタニックの登場人物にちなんで生存者であるＲｏｓｅおよび非生存者であるＪａｃｋの二人の対象説明ベクトルｘoを創作した。創作した対象説明ベクトルｘoを表３に示す。

【0088】

【表3】

【0089】

図９は、局所的特徴重要度グラフ４２の例である。（１０）式に基づいて算出した、Ｒｏｓｅが生存することに関する局所的特徴重要度ベクトルＬを図９Ａの局所的特徴重要度グラフ４２に示す。単位目的ベクトルｙukには、（１，０）の転置行列を使用した。縦軸は、対象説明ベクトルｘoの項目名を示す。横軸は、局所的特徴重要度ベクトルＬのそれぞれの要素の値を示す。図９Ａによると、Ｒｏｓｅが生存する第１の理由は女性であることであり、第２の理由は一等船室の乗客であることである。

【0090】

（１０）式に基づいて算出した、Ｊａｃｋが生存しないことに関する局所的特徴重要度ベクトルＬを図９Ｂの局所的特徴重要度グラフ４２に示す。単位目的ベクトルｙukには、（０，１）の転置行列を使用した。縦軸は、対象説明ベクトルｘoの項目名を示す。横軸は、局所的特徴重要度ベクトルＬのそれぞれの要素の値を示す。図９Ｂによると、Ｊａｃｋが生存しない第１の理由は男性であることであり、第２の理由は三等船室の乗客であることである。

【0091】

図９Ａおよび図９Ｂに示すように、解釈行列Ａ†を使用して任意の対象説明ベクトルｘoに関する局所的特徴重要度グラフ４２を作成できる。ユーザは、局所的特徴重要度グラフ４２を使用して説明行列Ｘに含まれていない説明データベクトルｘnに関しても解釈できる。

【0092】

図１０から図１２は、類似性分布図４３の例である。図１０は、生存者に関する類似性分布図４３を示す。図１０を作成する際の処理の概要を説明する。図６を使用して説明したプログラムのステップＳ５２２で制御部１１が算出した第１典型例ベクトルは表２に示す非生存者の代表推定インスタンスと等しい。ステップＳ５２４で制御部１１が算出した第２典型例ベクトルは表２に示す生存者の代表推定インスタンスと等しい。ステップＳ５２５において、制御部１１は説明行列Ｘから生存者に関する説明データベクトルｘnを選択した。

【0093】

図１０の横軸は、非生存者の代表推定インスタンスとの類似度に対応する非生存スコアを示す。非生存スコアが大きいほど、非生存者の代表推定インスタンスに類似していることを意味する。図１０の縦軸は、生存者の代表推定インスタンスとの類似度に対応する生存スコアを示す。生存スコアが大きいほど、生存者の代表推定インスタンスに類似していることを意味する。左下がりのハッチングが細かい部分ほど、生存者に関する説明データベクトルｘnの分布が濃いことを意味する。図１０は、第１分布図の例示である。

【0094】

図１１は、非生存者に関する類似性分布図４３を示す。図１１を作成する処理の概要を説明する。図６を使用して説明したプログラムのステップＳ５２２およびステップＳ５２４の処理は、図１０を作成する際と同一である。ステップＳ５２５において、制御部１１は説明行列Ｘから非生存者に関する説明データベクトルｘnを選択した。

【0095】

図１１の縦軸および横軸は、図１０と同一であるため、説明を省略する。右下がりのハッチングが細かい部分ほど、非生存者に関する説明データベクトルｘnの分布が濃いことを意味する。図１１は、第２分布図の例示である。

【0096】

図１２は、図１０と図１１とを重畳した類似性分布図４３を示す。すなわち、生存者に関する分布と、非生存者に関する分布が、１枚の図に重畳表示されている。白丸は、表３で説明したＲｏｓｅに関する非生存スコアおよび生存スコアを示す。黒丸は、表３で説明したＪａｃｋに関する非生存スコアおよび生存スコアを示す。

【0097】

図１２より、生存者の分布と非生存者の分布とが重なっている領域がある。ユーザは、この領域においては、乗客が生存するか生存しないかの予測が困難であることを理解できる。図１２は、第１分布図と第２分布図とを重畳表示した類似性分布図４３の例示である。

【0098】

既存モデル２１の中間層の値を取得可能である場合、説明データベクトルｘnを受け付ける入力層から中間層までの部分と、中間層から目的データベクトルｙnを出力する出力層までの部分とで、それぞれ解釈行列Ａ†が生成されてもよい。解釈行列Ａ†が重層的に生成されることにより、既存モデル２１の解釈可能性を高められる可能性がある。

【0099】

［具体例２：ＭＮＩＳＴ（Mixed National Institute of Standards and Technology database）データセット］
「ＭＮＩＳＴデータセット」を訓練データに使用して生成された、手書きの数字を分類する既存モデル２１を解釈する例を説明する。ＭＮＩＳＴデータセットは、８ｂｉｔグレースケールの画素を縦横各２８個の合計７８４個配置して構成された手書きの数字画像と、正解データである数字とを関連づけて記録したデータセットである。

【0100】

既存モデル２１は、縦横各２８画素のグレースケールの画像を入力した場合に、０から９までのそれぞれの数字である確率を出力するように訓練された学習モデルである。説明データベクトルｘnは、７８４個の画素の輝度を所定の順番で並べた、７８４要素のベクトルである。目的データベクトルｙnは、０から９までのそれぞれの数字である確率を並べた、１０要素のベクトルである。

【0101】

図１３は、既存モデル２１に関する局所的特徴重要度を説明する説明図である。図１３の上部に示すように、説明データベクトルｘnを既存モデル２１に入力して、目的データベクトルｙnを取得する処理を繰り返し、図２を使用して説明した手順で解釈行列Ａ†を算出する。解釈行列Ａ†は、７８４行１０列の行列である。

【0102】

図１３の下側に、表形式で３通りの局所的特徴重要度ベクトルＬを例示する。対象説明ベクトルｘoの数字画像を既存モデル２１に入力した場合に、０、３および８であると判定される場合の局所的特徴重要度ベクトルＬをそれぞれ示す。なお、図１３においては、各手書き文字および局所的特徴重要度ベクトルＬを白黒二値に変換して図示している。それぞれの数字であると判定される場合に、重視されている画素が、黒で表示されている。

【0103】

局所的特徴重要度ベクトルＬによりユーザは、対象説明ベクトルｘoが０であると判定される場合には、手書き文字の上下の部分が寄与しており、３であると判定される場合には、手書き文字の右側の部分が寄与しており、８であると判定される場合には、手書き文字のほぼ全体が寄与していることを認識できる。

【0104】

図１４は、既存モデル２１に関する類似性分布図４３の例である。横軸は、「３」であると判定される代表推定インスタンスｘ*との類似度スコアである。縦軸は、「８」であると判定される代表推定インスタンスｘ*との類似度スコアである。白丸は、図１３の、右下に示した対象説明ベクトルｘoがプロットされる位置を示す。

【0105】

ＭＮＩＳＴデータセットにおいて、正解データが「８」である説明データベクトルｘnの分布を左下がりのハッチングで、正解データが「３」である説明データベクトルｘnの分布を右下がりのハッチングでそれぞれ示す。ハッチングの濃い部分は、分布が濃いことを意味する。

【0106】

「３」の領域と「８」の領域とが重なる部分が多いことから、ユーザは３と８とは誤って判定されやすいことを認識できる。図示を省略するが、たとえば「０」の領域と「１」の領域とは重ならず、ユーザは、「０」と「１」とは誤って判定されにくいことも認識できる。

【0107】

既存モデル２１は、たとえば文章の入力を受け付けてキーワードを出力する学習モデルであってもよい。既存モデル２１は、たとえば画像の入力を受け付けて被写体の名称を出力する学習モデルであってもよい。そのほか任意の既存モデル２１について、解釈行列Ａ†を算出して、振る舞いの解釈に利用できる。

【0108】

［変形例１］
本変形例は、解釈行列Ａ†を速やかに生成する方法に関する。実施の形態１と共通する部分については、説明を省略する。本変形例においては、既存モデル２１は教師あり機械学習により生成される。

【0109】

制御部１１は、説明データベクトルｘnを既存モデル２１に入力して目的データベクトルｙnを取得する作業を繰り返す代わりに、訓練データから説明データベクトルｘnと目的データベクトルｙnとの組を抽出して、説明行列Ｘと目的行列Ｙとを生成する。

【0110】

本変形例によると、既存モデル２１の生成が完了する前に、解釈行列Ａ†を算出できる。たとえばユーザは、既存モデル２１を生成する前に解釈行列Ａ†を用いて既存モデル２１の振る舞いを予測し、既存モデル２１が所望の特性を有さない場合には訓練データを増やす等の措置を行なえる。

【0111】

［変形例２］
本変形例は、Ridge回帰、すなわちＬ２ノルム正則化を用いて目的行列Ｙを正則化する方法に関する。実施の形態１と共通する部分については、説明を省略する。

【0112】

本変形例においては、制御部１１は図４を使用して説明したフローチャートのステップＳ５０７において、（２）式の代わりに（１１）式を用いてＹの一般化逆行列Ｙ†を算出する。
Ｙ†＝Ｙ^T（Ｙ Ｙ^T－λＥ）^-1 ‥‥‥ （１１）
λは正の実数である。
Ｅは、Ｍ行Ｍ列の単位行列である。

【0113】

本変形例によると、多数のパラメータ、または、パラメータ間の相互作用を有する複雑な既存モデル２１に対しても、適切な解釈行列Ａ†を算出できる。

【0114】

［変形例３］
本変形例は、Lasso回帰、すなわちＬ１ノルム正則化を用いて目的行列Ｙを正則化する方法に関する。実施の形態１と共通する部分については、説明を省略する。

【0115】

本変形例においては、制御部１１は図４を使用して説明したフローチャートのステップＳ５０７において、Ｙの一般化逆行列Ｙ†を算出した後に、公知の反復アルゴリズムを用いてＹの一般化逆行列Ｙ†を正則化する。

【0116】

本変形例によっても、多数のパラメータ、または、パラメータ間の相互作用を有する複雑な既存モデル２１に対しても、適切な解釈行列Ａ†を算出できる。なお、正則化の手法は、変形例２のRidge回帰と、本変形例のLasso回帰とに限定しない。正則化には、たとえば、ElasticNet等の公知の手法も利用できる。

【0117】

プログラムは、プログラム製品の例示である。コンピュータプログラムは、単一のコンピュータ上で、または一つのサイトにおいて配置されるか、もしくは複数のサイトにわたって分散され、通信ネットワークによって相互接続された複数のコンピュータ上で実行されるように展開することができる。

【0118】

各実施例で記載されている技術的特徴（構成要件）はお互いに組合せ可能であり、組み合わせすることにより、新しい技術的特徴を形成することができる。
今回開示された実施の形態はすべての点で例示であって、制限的なものでは無いと考えられるべきである。本発明の範囲は、上記した意味では無く、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

【0119】

特許請求の範囲に記載した独立請求項および従属請求項は、引用形式に関わらずあらゆる組み合わせにおいて、相互に組み合わせることが可能である。さらに、特許請求の範囲には他の２以上のクレームを引用するクレームを記載する形式（マルチクレーム形式）を用いているが、これに限るものではない。マルチクレームを少なくとも一つ引用するマルチクレーム（マルチマルチクレーム）を記載する形式を用いて記載しても良い。

【符号の説明】

【0120】

１０ 情報処理装置
１１ 制御部
１２ 主記憶装置
１３ 補助記憶装置
１４ 通信部
１５ 表示部
１６ 入力部
１９ 読取部
２１ 既存モデル（既存の機械学習モデル）
３１ 説明－目的ＤＢ
４１ 大局的特徴重要度グラフ（図表）
４２ 局所的特徴重要度グラフ（図表）
４３ 類似性分布図（図表）
９６ 可搬型記録媒体
９７ プログラム
９８ 半導体メモリ

【要約】

【課題】生成済の機械学習モデルの振る舞いをユーザが解釈することを支援する情報処理方法等を提供すること。
【解決手段】情報処理方法は、既存の機械学習モデル２１に入力された説明データベクトルｘnと、前記機械学習モデル２１から出力された目的データベクトルｙnとを関連づけて複数組記録し、前記説明データベクトルｘnを複数組配列した説明行列Ｘと、前記目的データベクトルｙnを前記説明データベクトルＸと対応する順番で配列した目的行列Ｙの一般化逆行列とのベクトル積である解釈行列Ａ†を算出し、前記解釈行列Ａ†に関する図表４１、４２、４３を出力する処理をコンピュータが実行する。
【選択図】図１

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】