特表 2023-546021 機械学習モデルにおける反実仮想説明のためのシステム及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2023-11-01

(54)【発明の名称】機械学習モデルにおける反実仮想説明のためのシステム及び方法

(51)【国際特許分類】

   G06N 5/045 20230101AFI20231025BHJP

【ＦＩ】

G06N5/045

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2023521466

(86)(22)【出願日】2021-10-07

(85)【翻訳文提出日】2023-06-07

(86)【国際出願番号】 US2021053955

(87)【国際公開番号】W WO2022076676

(87)【国際公開日】2022-04-14

(31)【優先権主張番号】63/089,473

(32)【優先日】2020-10-08

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】17/162,931

(32)【優先日】2021-01-29

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】17/162,967

(32)【優先日】2021-01-29

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】506332063

【氏名又は名称】セールスフォース インコーポレイテッド

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100135079

【弁理士】

【氏名又は名称】宮崎 修

(72)【発明者】

【氏名】ヤン，ウェンヂュオ

(72)【発明者】

【氏名】リー，ジア

(72)【発明者】

【氏名】ホイ，チュー，ホン

(72)【発明者】

【氏名】ション，カイミング

(57)【要約】

本明細書で説明される実施形態は、反実仮想特徴選択と反実仮想特徴最適化を介して反実仮想説明を生成するための二段階モデル非依存アプローチを提供する。クエリインスタンスが与えられると、反実仮想特徴選択は、予測を潜在的に変化させる可能性がある特徴列と値のサブセットを選択し、その後、反実仮想特徴最適化は、選択された特徴に対する最良の特徴値を反実仮想例として決定する。

【特許請求の範囲】

【請求項1】

機械学習モデルにおける反実仮想説明のための反実仮想例を生成する方法であって、
複数の特徴列と、対応する特徴値とを含むクエリインスタンスを受信するステップと、
前記クエリインスタンスに応答して、機械学習モデルによって、予測ラベルを生成するステップと、
トレーニングデータセットから構築された最近傍探索ツリーを介して、前記クエリインスタンスに対する最近傍クエリインスタンスの数を識別するステップであって、前記最近傍クエリインスタンスの数の各々は、前記予測ラベルとは異なるラベルに対応する、ステップと、
前記クエリインスタンスと最近傍クエリインスタンスとの間の特徴列と、対応する特徴値を比較するステップと、
前記比較からの特徴列変化の頻度に基づいて、前記複数の特徴列から特徴列のサブセットを選択するステップと、
前記機械学習モデルによって、前記予測ラベルに付随する反実仮想説明を出力するステップであって、前記反実仮想説明は前記特徴列のサブセットに基づいて生成される、ステップと、
を含む、方法。

【請求項2】

前記最近傍クエリインスタンスの数は、
前記異なるラベルで注釈が付けられたトレーニングクエリインスタンスに基づいて、前記異なるラベルの探索インデックスを構築するステップと、
前記探索インデックスを介して、前記最近傍クエリインスタンスの数を見つけるステップと、
によって識別される、請求項１に記載の方法。

【請求項3】

前記比較に基づいて、特徴列変化の第１頻度と特徴値変化の第２頻度を計算するステップと、
最も高い変化の頻度を有する前記特徴列のサブセットを選択するステップと、
前記特徴列のサブセット内の選択された特徴列ごとに、前記特徴値変化の第２頻度に基づいて特徴値のそれぞれのサブセットを選択するステップと、
を更に含む、請求項１に記載の方法。

【請求項4】

前記反実仮想説明は、前記特徴列のサブセットに基づいて、反実仮想特徴最適化を通じて反実仮想例を構築することによって生成される、
請求項１に記載の方法。

【請求項5】

前記反実仮想特徴最適化は、修正されたクエリインスタンスによって引き起こされる予測フィードバック報酬を含む目的を最大化する最適ポリシーを決定することを含む、
請求項４に記載の方法。

【請求項6】

機械学習モデルにおける反実仮想説明のための反実仮想例を生成する方法であって、
複数の特徴列と、対応する特徴値とを含むクエリインスタンスを受信するステップと、
前記クエリインスタンスに応答して、機械学習モデルによって、予測ラベルを生成するステップと、
前記クエリインスタンスの入力と前記予測ラベルに応答する推奨モデルに基づいて、予測結果を変更する可能性のある代替特徴値に関連付けられる特徴列を有する特徴列のサブセットを識別するステップと、
前記クエリインスタンスと最近傍クエリインスタンスとの間の特徴列と、対応する特徴値を比較するステップと、
前記比較からの特徴列変化の頻度に基づいて、前記複数の特徴列から特徴列のサブセットを選択するステップと、
前記機械学習モデルによって、前記予測ラベルに付随する反実仮想説明を出力するステップであって、前記反実仮想説明は前記特徴列のサブセットに基づいて生成される、ステップと、
を含む、方法。

【請求項7】

前記推奨モデルは、前記機械学習モデルに基づいて構築されたデータセットと、クエリインスタンスとそれぞれのラベルのトレーニングデータセットによってトレーニングされる、
請求項６に記載の方法。

【請求項8】

前記データセットは、前記トレーニングデータセット内のトレーニングクエリインスタンスの最近傍の数を微細化することによって構築される、
請求項７に記載の方法。

【請求項9】

特徴のサブセットは、前記推奨モデルから生成された最も高い確率を有する特徴列を選択することによって識別される、
請求項６に記載の方法。

【請求項10】

前記反実仮想説明は、前記特徴列のサブセットに基づいて反実仮想特徴最適化を通じて反実仮想例を構築することによって生成される、
請求項６に記載の方法。

【請求項11】

機械学習モデルにおける反実仮想説明のための反実仮想例を生成するシステムであって、
前記機械学習モデルを記憶するメモリと、
複数の特徴列と対応する特徴値とを含むクエリインスタンスを受け取るデータインタフェースと、
前記メモリから命令を読み出して、
前記クエリインスタンスに応答して、機械学習モデルによって、予測ラベルを生成するステップと、
トレーニングデータセットから構築された最近傍探索ツリーを介して、前記クエリインスタンスに対する最近傍クエリインスタンスの数を識別するステップであって、前記最近傍クエリインスタンスの数の各々は、前記予測ラベルとは異なるラベルに対応する、ステップと、
前記クエリインスタンスと最近傍クエリインスタンスとの間の特徴列と、対応する特徴値を比較するステップと、
前記比較からの特徴列変化の頻度に基づいて、前記複数の特徴列から特徴列のサブセットを選択するステップと、
前記機械学習モデルによって、前記予測ラベルに付随する反実仮想説明を出力するステップであって、前記反実仮想説明は前記特徴列のサブセットに基づいて生成される、ステップと、
を実行する、プロセッサと、
を備える、システム。

【請求項12】

前記最近傍クエリインスタンスの数は、
前記異なるラベルで注釈が付けられたトレーニングクエリインスタンスに基づいて、前記異なるラベルの探索インデックスを構築するステップと、
前記探索インデックスを介して、前記最近傍クエリインスタンスの数を見つけるステップと、
によって識別される、請求項１１に記載のシステム。

【請求項13】

前記プロセッサは更に、前記メモリから命令を読み出して、
前記比較に基づいて、特徴列変化の第１頻度と特徴値変化の第２頻度を計算するステップと、
最も高い変化の頻度を有する前記特徴列のサブセットを選択するステップと、
前記特徴列のサブセット内の選択された特徴列ごとに、前記特徴値変化の第２頻度に基づいて特徴値のそれぞれのサブセットを選択するステップと、
を更に含む、請求項１１に記載のシステム。

【請求項14】

前記反実仮想説明は、前記特徴列のサブセットに基づいて、反実仮想特徴最適化を通じて反実仮想例を構築することによって生成される、
請求項１１に記載のシステム。

【請求項15】

前記反実仮想特徴最適化は、修正されたクエリインスタンスによって引き起こされる予測フィードバック報酬を含む目的を最大化する最適ポリシーを決定することを含む、
請求項１４に記載のシステム。

【請求項16】

機械学習モデルにおける反実仮想説明のための反実仮想例を生成するシステムであって、
機械学習モデルを記憶するメモリと、
複数の特徴列と対応する特徴値とを含むクエリインスタンスを受け取るデータインタフェースと、
前記メモリから命令を読み出して、
前記クエリインスタンスに応答して、前記機械学習モデルによって、予測ラベルを生成するステップと、
前記クエリインスタンスの入力と前記予測ラベルに応答する推奨モデルに基づいて、予測結果を変化させる可能性のある代替特徴値に関連付けられる特徴列を有する特徴列のサブセットを識別するステップと、
前記クエリインスタンスと最近傍クエリインスタンスとの間の特徴列と、対応する特徴値を比較するステップと、
前記比較からの特徴列変化の頻度に基づいて、前記複数の特徴列から特徴列のサブセットを選択するステップと、
前記機械学習モデルによって、前記予測ラベルに付随する反実仮想説明を出力するステップであって、前記反実仮想説明は前記特徴列のサブセットに基づいて生成される、ステップと、
を実行するプロセッサと、
を備える、システム。

【請求項17】

前記推奨モデルは、前記機械学習モデルに基づいて構築されたデータセットと、クエリインスタンスとそれぞれのラベルのトレーニングデータセットによってトレーニングされる、
請求項１６に記載のシステム。

【請求項18】

前記データセットは、前記トレーニングデータセット内のトレーニングクエリインスタンスの最近傍の数を微細化することによって構築される、
請求項１７に記載のシステム。

【請求項19】

特徴のサブセットは、前記推奨モデルから生成された最も高い確率を有する特徴列を選択することによって識別される、
請求項１６に記載のシステム。

【請求項20】

前記反実仮想説明は、前記特徴列のサブセットに基づいて反実仮想特徴最適化を通じて反実仮想例を構築することによって生成される、
請求項１６に記載のシステム。

【請求項21】

機械学習モデルにおける反実仮想説明のための反実仮想例を生成する方法であって、
複数の特徴列と、対応する特徴値とを含むクエリインスタンスを受信するステップと、
前記クエリインスタンスに応答して、機械学習モデルによって予測結果を生成するステップと、
前記複数の特徴列から、前記予測結果を変化させる可能性のある代替特徴値に関連付けられる特徴列を有する特徴列のサブセットを識別するステップと、
修正されたクエリインスタンスによって引き起こされる予測フィードバック報酬を含む目的を最大化する最適ポリシーを決定するステップと、
前記決定された最適ポリシーに従って、最も高い特徴値に対応する特徴列の数と、関連付けられる特徴値の数を選択するステップと、
前記選択された特徴列の数と、前記関連付けられる特徴値の数とを使用して、反実仮想例を構築するステップと、
前記機械学習モデルによって、前記反実仮想例を、前記クエリインスタンスに応答する前記予測結果の反実仮想説明として出力するステップと、
を含む、方法。

【請求項22】

前記目的は、強化学習（ＲＬ）によって決定され、この場合、
修正される特徴列と値が、前記ＲＬにおけるアクションとして扱われ、
前記クエリインスタンスに対して前記アクションを取る反実仮想例候補が、前記ＲＬにおける状態として扱われ、
前記ＲＬの報酬関数が、前記予測結果以外の異なるラベルの予測スコアである、
請求項２１に記載の方法。

【請求項23】

前記目的は、前記アクションを選択するための確率的ポリシーに課されるスパース性制約を受ける、
請求項２２に記載の方法。

【請求項24】

前記確率的ポリシーは、前記機械学習モデルのパラメータによってパラメータ化された確率分布によって計算される、
請求項２３に記載の方法。

【請求項25】

前記目的は、前記予測結果以外の異なるラベルに対応する前記機械学習モデルの出力に基づく第一項と、特定の特徴列が修正されるかどうかを示す変数とを含む、
請求項２１に記載の方法。

【請求項26】

前記目的は、スパース解を促進する勾配なし降下法によって最適化される、
請求項２５に記載の方法。

【請求項27】

前記最適ポリシーから多様な反実仮想例を生成するステップ、
を更に含む、請求項２１に記載の方法。

【請求項28】

前記多様な反実仮想例は、
前記最適ポリシーから反実仮想例の集合を構築するステップと、
それぞれの目的関数値に基づいて前記反実仮想例の集合をソートするステップと、
重複する反実仮想例を前記反実仮想例の集合から除去するステップと、
によって生成される、請求項２７に記載の方法。

【請求項29】

前記機械学習モデルは、入力シーケンスの時系列のクエリインスタンスを受け取る多変量時系列分類子である、
請求項２１に記載の方法。

【請求項30】

代替特徴値に関連付けられる特徴列を有する前記特徴列のサブセットは、トレーニングデータセットから構築された最近傍探索ツリーを介して、前記クエリインスタンスに対する最近傍クエリインスタンスの数から識別される、
請求項２１に記載の方法。

【請求項31】

機械学習モデルにおける反実仮想説明のための反実仮想例を生成するシステムであって、
前記機械学習モデルを記憶するメモリと、
複数の特徴列と、対応する特徴値とを含むクエリインスタンスを受信するデータインタフェースと、
前記メモリから命令を読み出して、
前記クエリインスタンスに応答して、前記機械学習モデルによって、予測結果を生成するステップと、
前記複数の特徴列から、前記予測結果を変化させる可能性のある代替特徴値に関連付けられる特徴列を有する特徴列のサブセットを識別するステップと、
修正されたクエリインスタンスによって引き起こされる予測フィードバック報酬を含む目的を最大化する最適ポリシーを決定するステップと、
前記決定された最適ポリシーに従って、最も高い特徴値に対応する特徴列の数と、関連付けられる特徴値の数を選択するステップと、
前記選択された特徴列の数と、前記関連付けられる特徴値の数とを使用して、反実仮想例を構築するステップと、
前記機械学習モデルによって、前記反実仮想例を、前記クエリインスタンスに応答する前記予測結果の反実仮想説明として出力するステップと、
を実行する、プロセッサと、
を備える、システム。

【請求項32】

前記目的は、強化学習（ＲＬ）によって決定され、この場合、
修正される特徴列と値が、前記ＲＬにおけるアクションとして扱われ、
前記クエリインスタンスに対して前記アクションを取る反実仮想例候補が、前記ＲＬにおける状態として扱われ、
前記ＲＬの報酬関数が、前記予測結果以外の異なるラベルの予測スコアである、
請求項３１に記載のシステム。

【請求項33】

前記目的は、前記アクションを選択するための確率的ポリシーに課されるスパース性制約を受ける、
請求項３２に記載のシステム。

【請求項34】

前記確率的ポリシーは、前記機械学習モデルのパラメータによってパラメータ化された確率分布によって計算される、
請求項３３に記載のシステム。

【請求項35】

前記目的は、前記予測結果以外の異なるラベルに対応する前記機械学習モデルの出力に基づく第一項と、特定の特徴列が修正されるかどうかを示す変数とを含む、
請求項３１に記載のシステム。

【請求項36】

前記目的は、スパース解を促進する勾配なし降下法によって最適化される、
請求項３５に記載のシステム。

【請求項37】

前記プロセッサは更に、前記メモリから命令を読み出して、
前記最適ポリシーから多様な反実仮想例を生成するステップ、
を実行する、請求項３１に記載のシステム。

【請求項38】

前記多様な反実仮想例は、
前記最適ポリシーから反実仮想例の集合を構築するステップと、
それぞれの目的関数値に基づいて前記反実仮想例の集合をソートするステップと、
重複する反実仮想例を前記反実仮想例の集合から除去するステップと、
によって生成される、請求項３７に記載のシステム。

【請求項39】

前記機械学習モデルは、入力シーケンスの時系列のクエリインスタンスを受け取る多変量時系列分類子である、
請求項３１に記載のシステム。

【請求項40】

機械学習モデルにおける反実仮想説明のための反実仮想例を生成するプロセッサ読取可能な命令を記憶するプロセッサ読取可能な非一時的記憶媒体であって、前記命令は、プロセッサによって実行されて、
複数の特徴列と、対応する特徴値とを含むクエリインスタンスを受信するステップと、
前記クエリインスタンスに応答して、機械学習モデルによって予測結果を生成するステップと、
前記複数の特徴列から、前記予測結果を変化させる可能性のある代替特徴値に関連付けられる特徴列を有する特徴列のサブセットを識別するステップと、
修正されたクエリインスタンスによって引き起こされる予測フィードバック報酬を含む目的を最大化する最適ポリシーを決定するステップと、
前記決定された最適ポリシーに従って、最も高い特徴値に対応する特徴列の数と、関連付けられる特徴値の数を選択するステップと、
前記選択された特徴列の数と、前記関連付けられる特徴値の数とを使用して、反実仮想例を構築するステップと、
前記機械学習モデルによって、前記反実仮想例を、前記クエリインスタンスに応答する前記予測結果の反実仮想説明として出力するステップと、
を実行する、プロセッサ読取可能な非一時的記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

相互参照
本開示は、２０２１年１月２９日に出願された米国特許出願第１７／１６２９３１号及び２０２１年１月２９日に出願された米国特許出願第１７／１６２９６７号に対する優先権を主張するが、これらは２０２０年１０月８日に出願された米国仮出願第６３／０８９，４７３号の非仮出願であり、３５ Ｕ．Ｓ．Ｃ．１１９の下でこれに対する優先権を主張するものであり、これらのすべては、参照によってその全体が本明細書に明示的に組み込まれる。

【0002】

技術分野
本開示は、一般的に機械学習モデル及びニューラルネットワークに関連し、より具体的には、機械学習モデルのための候補反実仮想特徴（counterfactual feature）の選択と最適化を介した反実仮想説明（counterfactual explanation）システムに関する。

【背景技術】

【0003】

機械学習モデルは様々な用途で広く応用されており、特にコンピュータビジョン、自然言語処理及び推奨システムにおいて有望な結果をもたらしている。これらのモデルの採用が急速に拡大するにつれて、医療、教育及び金融におけるこれらのアルゴリズムによる決定は、一般の人々に大きな社会的影響を持つ可能性がある。しかしながら、多くの機械学習モデル、特にディープラーニングモデルは、一般的にブラックボックスモデルとして機能し、特定の決定が行われる理由についての可視性と知識をほとんど提供しない。説明可能性の欠如は、多くの用途で依然として重要な懸念事項のままであり、したがって、完全な信頼性と信用のある機械学習／人工知能（ＡＩ）システムの更なる実装を妨げる。

【図面の簡単な説明】

【0004】

【図1】本明細書で説明される実施形態による、機械学習モデルの反実仮想説明を生成する概要を示す簡略図である。

【0005】

【図2】本明細書で説明される実施形態による、図１に示される反実仮想例生成モジュールの概要を提供する図である。

【0006】

【図3】いくつかの実施形態による、反実仮想説明を生成するためのコンピューティングデバイスの簡略図である。

【0007】

【図4】本明細書で説明される実施形態による、反実仮想例生成の方法を示す例示的な論理フロー図を提供する図である。

【0008】

【図5】本明細書で説明される実施形態による、反実仮想特徴を生成するための最近傍探索（nearest neighbor search）アプローチのアルゴリズムを示す例示の擬似コードセグメントを提供する図である。

【0009】

【図6】本明細書で説明される実施形態による、反実仮想特徴を生成するための推奨モデルを構築するアルゴリズムを示す例示の擬似コードセグメントを提供する図である。

【0010】

【図7】本明細書で説明される実施形態による、推奨モデルに基づいて反実仮想特徴選択を生成するアルゴリズムを示す例示の擬似コードセグメントを提供する図である。

【0011】

【図8】本明細書で説明される実施形態による、特徴選択のための推奨モデルのニューラルネットワークモデル構造を示す簡略図である。

【0012】

【図9】本明細書で説明される実施形態による、選択された反実仮想特徴を所与として反実仮想例を生成するための強化学習ベースの反実仮想特徴最適化のアルゴリズムを示す例示の擬似コードセグメントを提供する図である。

【0013】

【図10A】本明細書で説明される実施形態による、選択された反実仮想特徴を所与として反実仮想例を生成するための勾配なし降下（gradientless descent）ベースの反実仮想特徴最適化のアルゴリズムを示す代替の例示の擬似コードセグメントを提供する図である。

【図10B】本明細書で説明される実施形態による、選択された反実仮想特徴を所与として反実仮想例を生成するための勾配なし降下ベースの反実仮想特徴最適化のアルゴリズムを示す代替の例示的な擬似コードセグメントを提供する図である。

【0014】

【図11】本明細書で説明される実施形態による、多様な反実仮想例を生成するアルゴリズムを示す例示の擬似コードセグメントを提供する図である。

【0015】

【図12】一実施形態による、反実仮想例生成のデータ実験結果を示す例示のデータテーブルを提供する図である。

【図13】一実施形態による、反実仮想例生成のデータ実験結果を示す例示のデータテーブルを提供する図である。

【図14】一実施形態による、反実仮想例生成のデータ実験結果を示す例示のデータテーブルを提供する図である。

【図15】一実施形態による、反実仮想例生成のデータ実験結果を示す例示のデータテーブルを提供する図である。

【図16】一実施形態による、反実仮想例生成のデータ実験結果を示す例示のデータテーブルを提供する図である。

【図17】一実施形態による、反実仮想例生成のデータ実験結果を示す例示のデータテーブルを提供する図である。

【図18】一実施形態による、反実仮想例生成のデータ実験結果を示す例示のデータテーブルを提供する図である。

【図19】一実施形態による、反実仮想例生成のデータ実験結を示す例示のデータテーブルを提供する図である。

【図20】一実施形態による、反実仮想例生成のデータ実験結果を示す例示のデータテーブルを提供する図である。

【図21】一実施形態による、反実仮想例生成のデータ実験結果を示す例示のデータテーブルを提供する図である。

【図22】一実施形態による、反実仮想例生成のデータ実験結果を示す例示のデータテーブルを提供する図である。

【図23】一実施形態による、反実仮想例生成のデータ実験結果を示す例示のデータテーブルを提供する図である。

【図24】一実施形態による、反実仮想例生成のデータ実験結果を示す例示のデータテーブルを提供する図である。

【図25】一実施形態による、反実仮想例生成のデータ実験結果を示す例示のデータテーブルを提供する図である。

【図26】一実施形態による、反実仮想例生成のデータ実験結果を示す例示のデータテーブルを提供する図である。

【図27】一実施形態による、反実仮想例生成のデータ実験結果を示す例示のデータテーブルを提供する図である。

【0016】

図及び付録では、同じ名称を有する要素は同じ又は類似の機能を有する。

【発明を実施するための形態】

【0017】

説明可能なＡＩ（Explainable AI、ＸＡＩ）は、ＡＩシステムのこれらのブラックボックス決定がどのように行われるかについての説明を提供する。このような説明は、ＡＩシステムの透明性、説得力及び信頼性を向上させ、ＡＩ開発者がモデルの性能をデバッグ及び改善するのに役立つことができる。反実仮想説明は、ＡＩシステムの様々な説明のうちの１つであり、所定の出力を持つために元のインスタンスの特徴に最小限の変更を行うことによって取得される、生成された例として定義される。具体的には、因果的状況は「モデルにＹを予測させたのは入力Ｘであるか」又は「Ｘが発生していなければＹは発生しなかったであろう」という形式で記述される。

【0018】

例えばクレジットカードの申請を提出した人が、金融会社のＡＩシステムによって拒否されたことを考える。申請者は、その決定について会社に説明を求めることがある。反実仮想は、申請が却下された理由の説明を提供するだけでなく、例えば「収入が年間５０００ドル以上であれば、申請は承認されていたでしょう」等、申請者がこの決定を変えるために何ができたかを理解することにも役立つ。一部の既存のシステムによって採用されている機能の重要性に基づく説明とは異なり、反実仮想説明は、ユーザが「ｗｈａｔ－ｉｆ」シナリオを探索して、基礎となるＡＩモデルについてより深い理解を取得することを可能にする。

【0019】

反実仮想説明のための既存のアプローチは、一般に最適化ベースであり、たいていは、基礎となるＡＩモデルが微分可能かつ静的であること、すなわち、モデルが固定されており、入力に対する勾配を計算するのが容易であると仮定している。この仮定は、ニューラルネットワークベースのモデルには有効な可能性があるが、広く適用されているモデルＸＧＢｏｏｓｔのようなツリーブーストモデルにはほとんど無効である。加えて、これらの方法では、多くの異なる値（例えば数値以外の値）を有するカテゴリ特徴をうまく処理できない。例えば既存の方法は、カテゴリ特徴をワンホット（one-hot）符号化表現に変換し、次いで、これらを連続特徴（continuous features）として扱う。この緩和により、多くの新しい変数が導入され、これは、元の最適化問題が複雑にし、生成された反実仮想例のスパース性を低下させる。反実仮想例の現実世界の実現可能性を確保するために、特に連続特徴について、特徴に追加の制約を課す必要があり、元の最適化問題の複雑さが大幅に高まる。

【0020】

したがって、既存の反実仮想説明システムの問題を考慮して、本明細書で説明される実施形態は、反実仮想特徴選択と反実仮想特徴最適化を介して反実仮想説明を生成するための二段階モデル非依存アプローチ（two-stage model-agnostic approach）を提供する。具体的には、反実仮想特徴選択は、クエリインスタンス内の特徴列と値を大まかに見つけるために採用されるので、それらを修正することにより、その予測ラベルを変更することができる可能性が高い。特徴は、データ例の各特徴の特徴空間における最近傍（nearest-neighbor、ＮＮ）探索を介して識別され得る。あるいは、特徴推奨モデルが反実仮想特徴選択のために開発され、反実仮想例を見つけるための探索空間を縮小し、次のステップ、すなわち反実仮想特徴最適化のための計算時間を短縮することができる。

【0021】

次いで、反実仮想特徴最適化が、事反実仮想特徴選択から抽出された候補反実仮想特徴を所与としてファインチューニング手順として採用される。反実仮想特徴最適化は、最良の反実仮想特徴を見つけるための強化学習（reinforcement learning、ＲＬ）問題として扱われることがある。あるいは、連続的な反実仮想特徴を更にファインチューニングするために、勾配なし降下法（gradientless descent、ＧＬＤ）を採用することもできる。

【0022】

したがって、このようにして、取得された最適な反実仮想特徴を、機械学習の決定の背後にある理由をユーザが説明するためのより詳細な情報を提供する説明として使用することができる。加えて、ＲＬベースの方法で取得された最適なポリシーは、ユーザが「ｗｈａｔ－ｉｆ」シナリオを探索し、データセットにバイアスが存在するかどうかを発見するためのより詳細な情報を提供することができる。

【0023】

本明細書で使用されるとき、「ネットワーク」という用語は、任意の人工知能ネットワーク又はシステム、ニューラルネットワーク又はシステム、及び／又はそれらの上に又はそれらとともに実装される任意のトレーニング又は学習モデルを含む、任意のハードウェア又はソフトウェアベースのフレームワークを含むことがある。

【0024】

本明細書で使用されるとき、「モジュール」という用語は、１つ以上の機能を実行するハードウェア又はソフトウェアベースのフレームワークを含むことがある。いくつかの実施形態では、モジュールは、１つ以上のニューラルネットワークにおいて実装されることがある。

【0025】

概要
図１は、本明細書で説明される実施形態による、機械学習モデルの反実仮想説明を生成する概要を示す簡略図１００を示している。図１００は、トレーニングされた機械学習モデル１１０f( )、例えばＸＧＢｏｏｓｔ又はディープラーニングモデルとともに実装され得るフレームワークを示す。

【数1】

によって表されるクエリ１０１に応答して、トレーニングされた機械学習モデル１１０は、予測ラベル１０６yを生成し得る。目的（objective）は、機械学習モデルｆ( )１１０からの予測ラベルy’が予測ラベル１０６yと異なるように、反実仮想例１１２

【数2】

を生成することである。

【0026】

例えば機械学習モデル１１０は、ある人の収入が年間５万ドルを超えるかどうかを、年齢、学歴（education）、労働時間等のような、彼女の属性に基づいて予測する、バイナリクラス分類問題であり得る。分類子は、国勢調査の収入データでトレーニングされる。基本的な統計分析から、彼女の年齢が３０歳超であるか、彼女の学歴が学士号より高いか又は彼女がより長い労働時間を有する場合、彼女はおそらく年間５万ドルを超える収入がある。説明するために「年齢＝２０歳、学歴＝高校、労働時間＝３０、予測収入＜年間５万ドル」を有するクエリインスタンス１０２が与えられると、反実仮想例生成１２０は、異なる予測ラベル「収入＞年間５万ドル」を有する「年齢＝３０、学歴＝修士、労働時間＝３０、予測収入＞年間５万ドル」の反実仮想例１１２を生成することができる。したがって、クエリインスタンス１０２と反実仮想例１１２との間の属性を比較することによって、属性「年齢＝２０」及び「学歴＝高校」が、予測「収入＜年間５万ドル」を引き起こす属性を決定している可能性があるという説明が提供され得る。

【0027】

図２は、本明細書で説明される実施形態による、図１に示される反実仮想例生成モジュール１２０の概要を提供する。従来、反実仮想例生成は、f(x')≠yの対象となるxとx′との間の距離を最小化することによって最適化問題として定式化されてきた。この最適化問題は通常、機械学習モデルf(・)の複雑さ、x内のカテゴリ特徴及びx′に対する現実世界の実現可能性の制約に起因して、解くことが困難である。反実仮想例生成モジュール１２０は、以下で更に説明されるように、反実仮想特徴選択１３１と反実仮想特徴最適化１３２を含む、二段階アプローチを採用する。

【0028】

クエリインスタンス１０２が与えられると、反実仮想特徴選択モジュール１３１は、潜在的に予測を変える可能性がある特徴列と値のサブセットを選択する。年齢、学歴及び労働時間を所与として、ある人の収入が年間５万ドルを超えるかどうかを予測するバイナリ分類子の例では、反実仮想例を生成するときに、年齢、学歴、労働時間のドメイン全体を考慮する代わりに、反実仮想特徴選択モジュール１３１は、ドメインを「年齢≧３０、学歴∈［学士、修士、博士］、労働時間≧４０」に絞り込む。探索空間が縮小され、絞り込まれたドメインは、可能な反実仮想例の現実世界の実現可能性を既に考慮しているので、絞り込まれたドメインを使用して、最適化手順を簡略化し、より信頼性の高い説明に導くことができる。

【0029】

ドメインを絞り込むことに加えて、反実仮想例x′の連続特徴についての大まかな推定値は、反実仮想例で示されることが多い、例えばx′における「労働時間＝範囲［４５，５０］は許容可能であるので、「労働時間＝４８．５」のような属性に対する正確な値を計算する必要がない。したがって、従来の最適化アプローチによってカテゴリ特徴を連続特徴に変換する代わりに、連続特徴は、反実仮想特徴選択の前にこれらをk個のビン（bin）に離散化することによってカテゴリ特徴に変換される。

【0030】

したがって、図２に示されるように、反実仮想特徴選択モジュール１３１は、列「年齢」と値「３０」、「３５」、「４０」、列「学歴」と値「学士」、「修士」、「ＰｈＤ」等のような特徴列と離散値のサブセット２０４を選ぶ。反実仮想特徴選択モジュール１３１によって実行される特徴選択のアルゴリズムの更なる詳細は、図５～図７に関連して以下に説明される。例えば反実仮想特徴選択は、図５のアルゴリズム１で説明されるような最近傍探索を採用し得る。

【0031】

次に、クエリインスタンス１０２とその予測ラベルy（収入＜年間５万ドル）及び選択された反実仮想特徴２０４が与えられると、反実仮想特徴最適化モジュール１３２は、修正されたインスタンスx′の予測ラベルがyと異なるように、２０４のうちのどの特徴を操作し、どの値を設定するかを決定する。

【0032】

反実仮想特徴最適化は、次いで、選択された特徴列ごとに最良の特徴値を決定する、例えば「年齢＝３０歳、教育＝修士、労働時間＝４５」等。その後、最適化された特徴値に基づいて、反実仮想例２０６のバッチを構築することができる。反実仮想特徴最適化モジュール１３１によって実行される特徴最適化のアルゴリズムの更なる詳細は、図９～図１０に関連して以下に説明される。例えば反実仮想特徴最適化モジュール１３２は図９のアルゴリズム９を採用し得る。

【0033】

反実仮想特徴最適化１３２から生成された反実仮想例２０６のセットが与えられると、反実仮想例選択１３３は、各反実仮想例の近接性が可能な限り高くなる（又は各反実仮想例と元のクエリとの間の距離が可能な限り小さくなる）ように、多様な反実仮想例のセットを選ぶように構成される。多様な反実仮想例を生成することは、機械学習予測のより良い理解を得るのに役立つことができる。反実仮想例選択１３３は、図１１のアルゴリズム６によって実装されてよく、このアルゴリズムは、近接性と多様性に基づいて上位ｋ個の反実仮想例を生成する貪欲アルゴリズムを含む。

【0034】

より実行可能な説明を生成するために、連続近接性（continuous proximity）を更に最適化したい場合、連続特徴ファインチューニングモジュール１３４が適用される。具体的には、連続特徴を離散化することに関する１つの懸念は、生成された反実仮想例が、順序符号化を介して離散化される代わりに、直接最適化される場合、それらの連続特徴に対してより良好な又はより実行可能な値を有する可能性があることである。したがって、連続特徴ファインチューニングモジュール１３４は、近接性を改善するために、連続反実仮想特徴を更に最適化することがある。一実装では、連続特徴ファインチューニングモジュール１３４は、図１０Ｂのアルゴリズム５、例えば連続反実仮想特徴を洗練するための勾配なし降下（gradient-less descent、ＧＬＤ）方法を実装し得る。

【0035】

したがって、連続特徴ファインチューニングの後、最終的な反実仮想例２０８、例えば「年齢＝２５、ワーククラス（work class）＝プライベート、学歴＝学士、労働時間＝４２.５」等を生成することができる。

【0036】

コンピュータ環境
図３は、いくつかの実施形態による、反実仮想説明を生成するためのコンピューティングデバイスの簡略図である。図３に示されるように、コンピューティングデバイス３００は、メモリ３２０に結合されたプロセッサ３１０を含む。コンピューティングデバイス３００の動作はプロセッサ３１０によって制御される。また、コンピューティングデバイス３００は、１つのプロセッサ３１０のみを有するように示されているが、プロセッサ３１０は、コンピューティングデバイス３００における１つ以上の中央演算処理ユニット、マルチコアプロセッサ、マイクロプロセッサ、マイクロコントローラ、デジタル信号プロセッサ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、グラフィクス処理ユニット（ＧＰＵ）等を表してもよいことが理解される。コンピューティングデバイス３００は、スタンドアロンサブシステムとして、コンピューティングデバイスに追加されるボードとして及び／又は仮想マシンとして実装されてもよい。

【0037】

メモリ３２０は、コンピューティングデバイス３００によって実行されるソフトウェア及び／又はコンピューティングデバイス３００の動作中に使用される１つ以上のデータ構造を記憶するために使用されてもよい。メモリ３２０は、１つ以上のタイプの機械読取可能媒体を含んでもよい。いくつかの一般的な形式の機械読取可能媒体は、フロッピーディスク、フレキシブルディスク、ハードディスク、磁気テープ、任意の他の磁気媒体、ＣＤ－ＲＯＭ、任意の他の光媒体、パンチカード、紙テープ、穴のパターンを有する任意の他の物理媒体、ＲＡＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＦＬＡＳＨ－ＥＰＲＯＭ、任意の他のメモリチップ又はカートリッジ、及び／又はプロセッサ又はコンピュータが読み取りに適応される任意の他の媒体を含んでよい。

【0038】

プロセッサ３１０及び／又はメモリ３２０は、任意の適切な物理的配置で配置されてよい。いくつかの実施形態では、プロセッサ３１０及び／又はメモリ３２０は、同じボード上に、同じパッケージ内に（例えばシステムインパッケージ）、同じチップ上に（例えばシステムオンチップ）実装されてよい。いくつかの実施形態では、プロセッサ３１０及び／又はメモリ３２０は、分散コンピューティングリソース、仮想化コンピューティングリソース及び／又はコンテナ化コンピューティングリソースを含んでよい。このような実施形態と一貫して、プロセッサ３１０及び／又はメモリ３２０は、１つ以上のデータセンタ及び／又はクラウドコンピューティング施設に配置されてもよい。

【0039】

いくつかの例では、メモリ３２０は、１つ以上のプロセッサ（例えばプロセッサ３１０）によって実行されると、該１つ以上のプロセッサに、本明細書で更に詳細に説明される方法を実行させ得る実行可能コードを含む、非一時的な有形の機械読取可能媒体を含んでよい。例えば示されるように、メモリ３２０は、システム及びモデルを実装及び／又はエミュレートし、かつ／又は本明細書で更に説明される方法のいずれかを実装するために使用され得る、反実仮想説明モジュール３３０のための命令を含む。いくつかの例では、反実仮想説明モジュール３３０は、データインタフェース３１５を介して、例えばクエリインスタンスのような入力３４０を受け取ることができる。データインタフェース３１５は、ユーザクエリを受信するユーザインタフェース又は以前に記憶されたクエリサンプルをデータベースから受け取る又は取り出すことができる通信インタフェースのいずれかであってよい。反実仮想説明モジュール３３０は、反実仮想例のような出力３５０を生成することができる。

【0040】

いくつかの実施形態では、反実仮想説明モジュール３３０は、反実仮想特徴選択モジュール１３１、反実仮想特徴最適化モジュール１３２、反実仮想例選択モジュール１３３及び連続特徴ファインチューニングモジュール１３４を更に含んでよく、これらは、図２に関連して説明されるものと同様の動作を実行する。いくつかの例では、反実仮想説明モジュール３３０及びサブモジュール１３１～１３４は、ハードウェア、ソフトウェア及び／又はハードウェアとソフトウェアの組合せを使用して実装されてよい。例えば反実仮想特徴選択モジュール１３１は、図８の８００に示されている構造を含み、図６～図７に関連して説明されるアルゴリズム及び／又はプロセスを実装することができる。反実仮想特徴最適化モジュール１３２は、図９～図１０に関連して説明されるアルゴリズム及び／又はプロセスを実装することができる。反実仮想例選択モジュール１３３は、図１１に関連して説明されるアルゴリズム及び／又はプロセスを実装することができる。連続特徴ファインチューニングモジュール１３４は、図１０Ｂに関連して説明されるアルゴリズム及び／又はプロセスを実装することができる。

【0041】

反実仮想例生成の例示的な実施形態
図４は、本明細書で説明される実施形態による、反実仮想例生成の方法を示す例示的論理フロー図を提供する。方法４００のプロセス４０２～４１４のうちの１つ以上は、少なくとも部分的に、１つ以上のプロセッサによって実行されると、該１つ以上のプロセッサにプロセス４０２～４１４のうちの１つ以上を実行させる、非一時的な有形の機械読取可能媒体に記憶された実行可能コードの形式で実装されてよい。いくつかの実施形態では、方法４００は、モジュール３３０によって使用される方法に対応してよい。

【0042】

プロセス４０２において、クエリインスタンス（例えば図２の１０２）が、例えば図３のデータインタフェース３１５を介して受信され得る。クエリインスタンスは、複数の特徴列（例えば「年齢」、「労働時間」、「学歴」等）と、対応する特徴値（例えば年齢＝「２０」、労働時間＝「３０」等）を含み得る。

【0043】

プロセス４０４において、機械学習モデル（例えば図１の１１０）は、クエリインスタンスに応答して予測ラベルを生成することができる。例えば入力クエリインスタンスの予測収入レベルの予測バイナリラベル「年間５万ドル超でない（not＞$50K/yr）」。

【0044】

プロセス４０６において、特徴列と特徴値のサブセットが潜在的に異なる予測ラベルをもたらす可能性があるように、各特徴列が特徴値のそれぞれのサブセットに関連付けられる、特徴列のサブセットを識別する。例えばプロセス４０６は、K-最近傍探索（図５に関連して更に説明される）又は推奨モデル（図６～図８に関連して更に説明される）に基づいて、反実仮想特徴選択モジュール１３１によって実装されてよい。

【0045】

プロセス４０８において、プロセス４０６から、選択された特徴列と特徴値が与えられると、クエリインスタンス内の操作すべき最適特徴を決定し、特徴列と値の識別されたサブセットからこれらの特徴に対して値が設定される。このように、プロセス４１０において、決定された最適特徴と値に基づいて、反実仮想例が構築される。プロセス４０８～４１０は、図９で更に説明されるような強化学習法を使用するか、あるいは図１０Ａで更に説明されるような勾配なし降下法を使用して、反実仮想特徴最適化モジュール１３２によって実行され得る。反実仮想例は、機械学習モデルの勾配なしで生成されてよく、したがって、すべての種類の分類モデルに適用され得る。

【0046】

プロセス４１２において、最適化された反実仮想例が与えられると、近接性及び多様性を提供するために、反実仮想例のサブセットが選択され得る。例えば選択は図１１のアルゴリズム６を介して実行されてよい。選択された多様な反実仮想例は、次いで、連続特徴についてファインチューニングされてよく、これは、図１０ＢのＧＬＤアルゴリズムを介して実行され得る。

【0047】

プロセス４１４において、特定のクエリインスタンスに応答して、生成された反実仮想例を、予測ラベルとともに、予測ラベルが生成される理由の説明として出力することができる。

【0048】

図５は、本明細書で説明される実施形態による、反実仮想特徴を生成するための最近傍探索アプローチのアルゴリズムを示す例示の擬似コードセグメントを提供する。機械学習モデル１１０をトレーニングするためのデータ、例えばバイナリ分類子は、ラベルに従って２つのクラスに分割される。アルゴリズム１のステップ（１）において、各クラスラベルlについて、ラベルlに関連付けられる分割されたデータセット、例えば{x_i|y_i＝l、ただし、(x_i, y_i）∈D}を用いて、探索インデックスtree_lが高速な最近傍探索のために構築される。例えばトレーニングデータセットDは、機械学習モデル１１０をトレーニングするための例のサブセット又は例の全体のいずれかである可能性がある。

【0049】

アルゴリズム１のステップ（２）において、反実仮想特徴選択モジュール１３１は、探索インデックスツリーtree_y’を使用して、異なるクラスラベルy’＝1－yにおけるxのK個の最近傍を見つける。具体的には、本明細書で適用される距離メトリックはユークリッド距離である。クエリインスタンスxの連続特徴は、ビンに離散化されていることに留意されたい。ワンホット符号化がカテゴリ特徴に適用され、一方、順序符号化を連続特徴に適用し、それにより、近さの情報、例えば２０～２５歳は４５～５０歳より２５～３０歳に近い等を保存することができる。

【0050】

アルゴリズム１のステップ（３）～（６）において、元のクエリインスタンスxと比較した、変化された特徴列の頻度（frequency）と、k個の最近傍の変化した特徴値の頻度が計算される。

【0051】

アルゴリズム１のステップ（７）において、反実仮想特徴選択モジュール１３１は、変化した特徴列の計算された頻度に関して、特徴列を降順にソートする。モジュール１３１は、次いで、上位s個の特徴列を選択する。

【0052】

アルゴリズム１のステップ（８）において、モジュール１３１は、変化した特徴値の計算された頻度に関して、変化した値の要素を降順にソートする。モジュール１３１は、次いで、各特徴列の上位m個の値を選択する。

【0053】

アルゴリズム１のステップ（９）において、Cで示される、選択された上位s個の特徴列と、V(C)で示される、選択された上位m個の特徴値が、モジュール１３１によって選択された反実仮想特徴として出力される。

【0054】

アルゴリズム１は、最大でs×mの候補特徴を生成するように効率的に実装されることができる。アルゴリズム１はまた、ユーザが、実行可能な機能列又は最も関心のある列を指定することも可能にする。このように、探索インデックスを構築する前に、x内のすべての特徴を考慮する代わりに、モジュール１３１は、ユーザを指定した特徴のサブセットのみを考慮し、このサブセットに基づいて探索インデックスを構築し、これは計算コストを大幅に削減する。

【0055】

図６は、本明細書で説明される実施形態による、反実仮想特徴を生成するための推奨モデルを構築するアルゴリズムを示す例示の擬似コードセグメントを提供する。図６に示されるアルゴリズム２は、推奨モデルに基づいて反実仮想特徴を生成する代替的なアプローチを示す。具体的には、モジュール１３１の目的は、予測ラベルを潜在的に変えるいくつかの特徴を選択することであるので、この問題は推奨問題と言い換えることができる、すなわち、d個の異なる特徴と予測ラベルyを有する入力xが与えられると、推奨モデルは、以下を推奨するようにトレーニングされる：（１）これらの特徴の値を変化させることが、潜在的に、予測ラベルをyからy′＝１－yに変える可能性があるような、k個の特徴列と；（２）これらの値に設定することが、潜在的に、予測ラベルを反転させる可能性があるような、前のステップで選択された各特徴についてのm個の候補値。

【0056】

したがって、機械学習モデル１１０、例えば分類子f(・)と、トレーニングデータDが与えられると、別の機械学習モデルg(・)が、この推奨タスクを実行するようにトレーニングされ得る。アルゴリズム２は、高い推奨精度で機械学習モデルg()を設計するために、反実仮想特徴推奨タスクのためのトレーニングデータセットを構築する例示的な方法を示す。

【0057】

アルゴリズム２のステップ（１）において、各クエリインスタンスx_i∈Dについて、予測ラベルf(x_i)が生成され、結果として、集合（set）X＝{(x_i, f(x_i))、ただしi＝1,…,n}が得られる。反実仮想説明は、トレーニングされた分類子f(・)に基づいているので、トレーニングデータセットを構築するために使用されるデータは、分類子の予測結果Xである。

【0058】

アルゴリズム２のステップ（２）において、各クラスラベルlについて、探索インデックスtree_lが、ラベルlに関連付けられる分割されたデータセット、例えば｛x_i|y_i＝l、ただし(x_i,y_i)∈X｝を用いて、高速な最近傍探索のために構築される。

【0059】

アルゴリズム２のステップ（３）～（４）において、X内の各インスタンス(x_i, y_i)について、ラベルl-y_iを有するクラス内のx_iの集合Zとして示されるK個の最近傍を、例えば探索インデックスtree_l-yiを介して見つける。

【0060】

アルゴリズム２のステップ（５）において、Zから、x_iのものとは異なる特徴列cと特徴値vを、推奨モデルのためのトレーニングデータセットであるデータセットRに入れる。

【0061】

したがって、(x, y, c, v)∈Rについて、推奨モデルの目的は、インスタンスxとその予測ラベルyが与えられると、特徴列cと特徴値vを予測することである。Rにはいくつかの重複インスタンスが存在する可能性があること留意されたい。すなわち、同じ(x, y, c, v)∈Rが複数回現れる可能性がある。インスタンス(x, y, c, v)が繰り返し現れる場合、(c, v)はxの候補特徴である可能性が高く、これは、推奨モデルをトレーニングする間にこのインスタンスにより多くの重みを課すことと同等であるので、重複するインスタンスを除去する必要はない。

【0062】

図７は、本明細書で説明される実施形態による、推奨モデルに基づいて反実仮想特徴選択を生成するアルゴリズムを示す例示の擬似コードセグメントを提供する。図６のアルゴリズム２によって生成されたトレーニングデータセットRが与えられると、R内にr個のインスタンスがある、

【数3】

と仮定する。

【0063】

アルゴリズム３のステップ（１）において、推奨モデルは、(x_i, y_i)を入力として取り、以下を生成する：１）特徴列選択の確率

【数4】

例えばより高い確率を有する特徴列は、その値を変更することが、予測ラベルを反転させる可能性がより高いことを意味する。２）各特徴列についての特徴値選択の確率

【数5】

ここで、n_cは、特徴列cについての候補値の数であり、例えば特徴列cについて、Q(c)によって示されるより高い確率を有する特徴値vは、値cをvに設定することが、予測ラベルを反転させる可能性がより高いことを意味する。

【0064】

アルゴリズム３のステップ（２）において、確率Pを降順にソートし、最も高い確率を有する上位のs個の特徴列を選択して、集合Cによって表す。

【0065】

アルゴリズム３のステップ（３）において、各列c∈Cについて、確率Q(c)を降順にソートして、上位m個の特徴値を選択して、V(c)によって表す。

【0066】

アルゴリズム３のステップ（４）において、特徴列Cの集合と特徴値V(C)の対応する集合が、選択された反実仮想特徴として返される。

【0067】

図５のアルゴリズム１と比較すると、アルゴリズム３は、最悪の場合、d×mではなく、s×mの候補特徴しか生成しない。sがdよりはるかに小さいとき、アルゴリズム３は、反実仮想例を見つけるための探索空間を大幅に削減する可能性がある。

【0068】

図８は、本明細書で説明される実施形態による、特徴選択のための推奨モデルのニューラルネットワークモデル構造を示す簡略図８００を示す。図８００は、クエリインスタンスx内の任意の連続特徴が、ネットワークに供給される前に、x₁，…，x_dに離散化されることを示す。例えば各特徴と予測ラベル８０２ａ～ｎは、低次元で密な実数値埋め込みベクトル（dense real-valued embedding vectors）８０４ａ～ｎに変換される。次いで、２つの埋め込み８０４ａ～ｎを加算し、それぞれレイヤ正規化８０６ａ～ｎに続く。異なる特徴間の相関をモデル化するために、トランスフォーマレイヤは、Ｓｅｌｆ－Ａｔｔｅｎｔｉｏｎ（自己注意）サブレイヤ８０８、Ｆｅｅｄ－Ｆｏｒｗａｒｄ（フィードフォワード）サブレイヤ８１０及び正規化レイヤ８１２を含む。

【0069】

トランスフォーマレイヤの出力の隠れ状態（hidden states）が次いで、モジュール８１４において連結され、次に、２つのマルチレイヤ・パーセプトロン（multi-layer perceptrons、ＭＬＰ）８１５ａ～ｂに供給される。すなわち、一方は特徴列選択用であり、他方は特徴値選択用である。各ＭＬＰ８１５ａ又は８１５ｂはその後、そのそれぞれのｓｏｆｔｍａｘモジュールに出力し、図７のアルゴリズム３で説明されるような、それぞれの確率P又はQ(c)を生成する。

【0070】

一実施形態では、図８００で示されるモデルは、隠れ特徴表現をモデリングするための複数のトランスフォーマレイヤを有してよい。

【0071】

図９は、本明細書で説明される実施形態による、選択された反実仮想特徴を所与として、反実仮想例を生成するためのＲＬベースの反実仮想特徴最適化のアルゴリズムを示す例示の擬似コードセグメントを提供する。反実仮想特徴最適化問題を、強化学習問題として定式化することができる。具体的には、C＝{c₁,…,c_s}及びV(c_i)＝{v₁,…,v_m}、ただしi＝1,…,sであると仮定する。強化学習環境は、分類子f(・)、インスタンス(x, y)、候補特徴C及びV(C)によって定義される。アクションは、反実仮想例x′を構築するために修正される特徴列と値によって定義される。状態は、xに対してアクションを取ることによってx′になる。報酬関数（reward function）は、ラベルy’＝1－yの予測スコアである。ラウンドtごとに、アクションa_tをとってx’_tを構築し、次いで環境は、フィードバック報酬（feedback reward）r_t＝f_1-y(x’_t)を送信する。π_θ(・)を、θによってパラメータ化されるアクションを選択するための確率的ポリシー（stochastic policy）とする。その後、目的は、累積報酬を最大化する最適ポリシーを見つけることである：

【数6】

ここで、wは、修正すべき選択された特徴列の数が定数wより大きくならないように、ポリシーπ_θに対するスパース性制約（sparsity constraint）を示す。

【0072】

ポリシーπ_θは次のように定式化され得る。μ＝(μ₁,…,μ_s)∈{0,1}^sを、i番目の特徴列が選択されているか否かをi番目の要素が示すランダムベクトルとする、例えばμ_i＝1は、それが選択されることを意味し、Pをμの確率分布とする。各c∈Cについて、v_c∈{1,…,m}を、c番目の特徴に対してどの特徴値が選択されるかを示すランダム変数とし、vをランダムベクトル(v1,…,vc)とし、Qcを、v_cの確率分布とする。μ,v₁,…,v_cに対する条件は、相互に独立である。ここで、反実仮想例x′を構成することは、２つのステップを伴う、すなわち、修正すべき特徴を選択する一方のステップと、選択された特徴のために値を選ぶ他方のステップを伴う。したがって、特徴cの値を選択するステップは、他の特徴に依存することなく、cのみに依存する。

【0073】

アクションは、μとνによって表すことができる。例えばa＝{(μ₁＝1, v₁＝2)，(μ₂＝0, v₂＝None)，(μ₃＝1, v₃＝1)}であり、これは１番目の特徴と３番目の特徴がそれぞれ値２と１に設定されることを意味する。その後、ポリシーπ_θを次のように定義することができる：

【数7】

ここで、１[ ]は、条件が満たされる場合は１に等しく、そうでない場合は０に等しいインジケータ関数である。Pは、p_cによってパラメータ化されたs個の独立ベルヌーイ分布によって構築され、Qcは、

【数8】

によってパラメータ化されたｓｏｆｔｍａｘ関数によって定義される、すなわち：

【数9】

であり、ここで、q_c,iはq_cのi番目の要素であり、θ＝(p₁,.,p_s q₁,…q_s)である。この仮定の下では、スパース性制約wは、||p||₀≦wに等しく、ここで、p＝(p₁,…,p_s))であり、|| ||₀は、非ゼロの要素の数である。したがって、最適化問題（１）は、以下のように再定式化することができる：

【数10】

ここで、ポリシーπ_θは（２）によって定義される。

【0074】

l₀ノルム制約がある最適化問題は、計算が難しいことがあるので、緩和された形式の最適化問題を得ることがある：

【数11】

ここで、λ_１とλ_２は定数である。第１の正則化項（regularization term）||p||₁は、スパース解（sparse solutions）を促進するために使用され、第２の正則化項は、ポリシー勾配を介して最小化の間に探索を行うことを促進する確率エントロピーである。

【0075】

図９のアルゴリズム４のステップ（１）において、REINFORCEアルゴリズムを介して最適ポリシーπ_θ ^*、例えばθ^*＝(p^* ₁,…,p^* _s, q^* ₁,…,q^* _s)を見つけることによって、式（５）に示される緩和された問題を解く。REINFORCEアルゴリズムの更なる詳細を、[33, 36]において見つけることができ、これは、参照によってその全体が本明細書に明示的に組み込まれる。

【0076】

アルゴリズム４のステップ（２）において、取得された(p^* ₁,…,p^* _s）は、降順でソートされる。最も高いp^*を有する上記w個の特徴が選択されてよく、ここで、wは、スパース性の上限である。選択された特徴の集合は、C*によって示される。

【0077】

アルゴリズム４のステップ（３）において、C*内の選択された特徴cごとに、最も高いq_cの値を有する上位特徴値v_c ^*が選択される。

【0078】

アルゴリズム４のステップ（４）において、選択された特徴と選択された特徴値の集合

【数12】

が、対応するp_c ^*に従って降順にソートされる。

【0079】

アルゴリズム４のステップ（５）において、反実仮想例を構築するために貪欲法が適用される。例えばソートされた集合F^*内のすべての(c,v)に対して、x’[c]＝vをセットし、f_1-y(x’)＞0.5の場合、反実仮想例x’と、最適特徴F^*が返される。

【0080】

アルゴリズム４のステップ（６）～（７）において、最適ポリシーπ_θ ^*に基づいてアクションがサンプリングされ、反実仮想例のバッチが生成される。したがって、生成された反実仮想例が提供される。

【0081】

このように、生成された反実仮想例x'に加えて、選択された特徴（及び値）集合F^*を利用して、C*の特徴ごとに反実仮想特徴値を提供する説明を提供することもできる。

【0082】

加えて、式（３）におけるPとQ_cの定義は、以下のように一般化される：

【数13】

説明するためのインスタンス(x, y)と、反実仮想特徴選択から生成されたCとV(C)によって定義されたドメインが与えられると、式（２）及び式（６）によって定義されるπ_θを用いる式（４）からの最適ポリシーによって構築される反実仮想例x^*は、以下の最適化問題の最適な解でもある：

【数14】

したがって、式（６）によって定義されるPとQ_cで式（４）を最適化することは、ＮＰ困難（NP hard）である可能性があるが、式（６）をその「ソフトな」定式化の式（３）で置き換えることによる緩和（relaxation）を実行することができる。これは、式（５）を解くアルゴリズム４が、実質的に式（７）を近似的に解くことを意味する。

【0083】

図１０Ａは、本明細書で説明される実施形態による、選択された反実仮想特徴を所与として、反実仮想例を生成するためのＧＬＤベースの反実仮想特徴最適化のアルゴリズムを示す例示の擬似コードセグメントを提供する。制約を目的関数に移すことによる最適化問題（７）の緩和は、次のように与えられる。

【数15】

ここで、xはクエリインスタンスであり、yは、その対応するラベルであり、dは特徴の数であり、λ＞０は正規化重みである。したがって、反実仮想特徴最適化モジュール１３２は、式（８）を最小化する反実仮想例x′を見つけるように構成される。

【0084】

したがって、前のステップから選択されたC＝{c_1,…,c_s}及びV(c_i)＝{v₁,…v_m}、ただしi＝1,…,sが与えられると、x′＝g(x,μ,v₁,…v_s)となるように、

【数16】

を定義し、ここでgは、以下を満たす。

【数17】

【0085】

言い換えると、x′は{μ,v1,…vs}の値によって構築される、すなわち、各インデックスi＝1,…,sについて、対応する特徴列c_i∈C、μ[i]≦0.5は、「この特徴を修正せず」を意味する、すなわち、x′[c_i]がx[c_i]に設定され、一方、μ[i]＞0.5は、「この特徴を修正する」を意味する、すなわち、x′[c_i]がv_j∈V(c_i）に設定され、そのインデックスjは、v_i内の値の間で最も高い値を有する。次いで、問題（８）を、以下のように再定式化することができる。

【数18】

【0086】

図１０のアルゴリズム５は、最適化問題（９）を解く。具体的には、アルゴリズム５のステップ（１）において、内部ループ限界Kは、K＝log(R/r)となるように設定され、ここで、Rは最大探索半径を示し、rは最小探索半径を示す。

【0087】

アルゴリズム５のステップ（４）～（８）において、ループ１００１は、k=1,…,Kについて、f_1-y(x’_k)＞0.5の場合、計算された(x’_k, μ_k, v_1,k, …, v_s,k)を加算することによって集合T_tを計算する。現在の時間ステップtにおいて、結果として得られるx’, μ, v_1,…,v_sがT_tにおける式（９）の最良の解として記憶される。

【0088】

アルゴリズム５のステップ（３）～（１０）において、ループ１００２はすべての時間ステップt＝1,…,Tについてループ１００１を繰り返す。よりスパースな解が取得される、すなわち、μ[i]がオンに切り替わる場合（μ[i]＞0.5）、μ[i]は0.5より少し大きい数、例えば0.55にリセットされ、次のループでオフに切り替わる（μ[i]≦0.5）可能性が高くなる。

【0089】

アルゴリズム５のステップ（２）～（１１）において、ループ１００３は、すべてのトレーニングエポックに対してループ１００２を繰り返す。次に、反実仮想例x’が、式（８）を最小化するものとして選択される。

【0090】

多変量時系列分類を説明するために、ＲＬベース法（図９のアルゴリズム４）及びＧＬＤ法（図１０のアルゴリズム５）も適用され得る。具体的には、クエリインスタンス

【数19】

（長さtのd時系列）、分類子f（・）及び所望のラベルy'が与えられると、その目的は、トレーニングデータセットxから選択されたディストラクタサンプル（distractor sample）

【数20】

（以下、「x^~」と表記することがある。）から時系列全体の置換によって構築された反実仮想例x′を見つけ、置換の数を最小化することである、すなわち、min_C－λf_y’(x’)+|C|/dであり、ここでi∈Cの場合、x′[i, :]はx^~[i, :]に等しく、そうでない場合、x[i, :]である。ディストラクタサンプルx^~を、図５のアルゴリズム１において議論される最近傍探索法によって見つけることができ、ここで、最近傍の数はK＝1であり、選択された値の数はm＝1である。次いでどの時系列を置換するかを決定するために、ＲＬベース法又はＧＬＤ法は、特徴列選択のみを考慮することによって、すなわち、μを最適化することによって適用され得る。なぜなら、各特徴について１つの候補値しかないからである、

【0091】

代替的に、図１０Ｂは、本明細書で説明される実施形態による、モジュール１３３における連続特徴ファインチューニングのためのＧＬＤ方法を示す例示の擬似コードセグメントを提供する。

【0092】

前の段階によって生成された反実仮想例x′が与えられると、Cを、各i∈Cに対してx′[i]≠x[i]となるような連続特徴の集合とする、すなわち、x′を構築するように修正される連続特徴の集合とする。一般性を失うことなく、各連続特徴の値が[0,1]にあると仮定する。目的は、新しい反実仮想例

【数21】

（以下、「x^{^}」と表記することがある。）がf_1-y(x^{^})＞0.5dを満たし、連続特徴におけるx^{^}とxとの間の差、すなわち

【数22】

が可能な限り小さくなるように、i∈Cについて値x′[i]を最適化することである。したがって、式（８）の別の形式を以下のように表すことができる：

【数23】

【0093】

式（８）のこの代替的な形式は、連続特徴ファインチューニングのための図１０Ａの適応形式である、図１０Ｂのアルゴリズム５を介して近似的に解くことができる。

【0094】

図１１は、本明細書で説明される実施形態による、反実仮想例選択のための多様な反実仮想例を生成するアルゴリズムを示す例示の擬似コードセグメントを提供する。多様な反実仮想例は、機械学習予測のより良い理解を得るのに役立ち得る。一実装では、図１１に示されるアルゴリズム６は、ＲＬベース（図９のアルゴリズム４）法とＧＬＤ（図１０のアルゴリズム５）法で多様な反実仮想例を生成するための簡略化されたアルゴリズムを提供する。

【0095】

別の実装では、アルゴリズム６は、モジュール１３３によって反実仮想例を選択するために適用され得る。

【0096】

アルゴリズム６のステップ（１ａ）又は（１ｂ）において、反実仮想例の集合εを構築する。例えば図９のアルゴリズム４に示されているＲＬベース法では、集合εは、最適ポリシーによって、すなわち、最適ポリシーを介してアクションをサンプリングし、対応する反実仮想例x′を構築し、f_1-y(x′）＞0.5の場合x′をεに追加することによって、構築され得る。図１０のアルゴリズム５に示されるＧＬＤ法では、集合εは、各ステップtで構築されたTtの和集合である。

【0097】

アルゴリズム６のステップ（２）において、集合ε内の例を、値－λf_1-y(x’)＋||x’－x||₀/d、すなわち式（８）の目的関数に基づいて昇順にソートする。この関数は、所望のラベル１－yのスパース性と予測スコアとの間のトレードオフを行う。

【0098】

別の例では、集合ε内の例は、カテゴリ近接性と連続近接性の和に基づいて降順にソートされる。例えば
近接性＝－||x’_cat－x_cat||₀－||(x’_con－x_con)/m_con||₁
ここで、x_cat及びx_conは、それぞれ、カテゴリ特徴と連続特徴であり、m_conは、トレーニングデータに対するx_conの中央値（media）である。

【0099】

アルゴリズム６のステップ（３）～（５）において、ソートされた集合から「重複する」例を貪欲的に除去して、選択された例の反実仮想特徴列（これらの特徴値はxと異なる）が互いに重ならないようにする。具体的には、ステップ（４）において、ソートされた集合内の各例x′について、D(x′)を、xと異なるx′の特徴の集合とする。ステップ（５）において、D(x′)にK個超の集合D(z)にも属する特徴が存在する場合、zが、ソートされた集合内でx′よりも上位にランク付けされている場合、次いで、例x′はスキップされる。そうではなく、K個より多い集合D(z)が存在しない場合、zが、ソートされた集合内でx′よりも上位にランク付けされている場合、x′は多様な集合に加算される。

【0100】

したがって、アルゴリズム６のステップ（６）において、ソートされた集合内の各x′が反復された後、多様な集合が返される。

【0101】

例示的性能
図１２～図２７は、一実施形態による、反実仮想例生成のデータ実験結果を示す例示のデータ表を提供する。５つの表形式データセットと１つの時系列分類データセットが、本明細書で説明される反実仮想例生成モジュールを評価するためのデータ実験を行うために使用される。

【0102】

データセットAdult Income（成人収入）は、国勢調査の収入データに基づいて収入が年間５万ドルを超えるかどうかを予測するために使用され、ＵＣＩ機械学習リポジトリにおいて利用可能である。８つの特徴、すなわち、年齢、労働時間、労働クラス、学歴、婚姻状況、職業、人種及び性別が抽出される。データクリーニング後、データセットは３２５６１のインスタンスを有する。

【0103】

Breast Cancer（乳がん）データセットは、Mangasarian等著のBreast Cancer Diagnosis and Prognosis Via Linear Programming. Operations Research 43, 4 (1995), pp. 570-577, 1995に記載されている「Breast Cancer Wisconsin (Original)Dataset」である。６９９のインスタンスがあり、各インスタンスは９つの特徴、例えば塊の厚さ（clump thickness）、細胞サイズの均一性、細胞形状の均一性を有する。タスクは、インスタンスが悪性であるか良性であるかを分類することである。

【0104】

COMPASデータセットは６１７２のインスタンスを含む。６つの特徴、すなわち、前科の数（number of priors）、スコアファクタ、軽罪、性別、年齢及び人種が抽出される。タスクは、保釈申請者のうち誰が今後２年間に再犯するかを予測することである。

【0105】

Australian Credit（オーストラリアのクレジット）データセットは、クレジットカード申請に関するものであり、６９０のインスタンスがあり、インスタンスは各々、１４の特徴（６つの連続特徴と８つのカテゴリ特徴）と、承認決定を定量化する１つのクラスラベルで構成される。タスクは、クレジット申請が特定の顧客に対して承認されたか拒否されたかを予測することである。

【0106】

Titanic（タイタニック）のデータセットは、タイタニック号の沈没事故で生存した乗客を予測するために使用される。データクリーニング後に８９１のインスタンスがある。７つの特徴、すなわち、年齢、料金、チケットクラス、性別、ｓｉｂｓｐ（兄弟／配偶者の乗船人数）、ｐａｒｃｈ（親／子の乗船人数）及び乗船（embarked）が抽出される。

【0107】

Taxonomist（分類学者）データセットは、様々な入力セットと構成を持つ１１の異なるアプリケーション（applications）の実行を含む。目的は様々なアプリケーションを分類することである。４７２８のサンプルがあり、各サンプルは５６３の時系列を有する。

【0108】

各データセットは、機械学習分類子を評価するために、８０％のトレーニングデータと２０％のテストデータに分割される。３つの一般的に使用される分類子、表形式分類のためのＸＧＢｏｏｓｔモデル及びＭＬＰモデルと、時系列分類のためのランダムフォレストモデルがある。カテゴリ特徴はワンホット符号化に変換され、連続特徴は０と１の間でスケールされる。ＭＬＰの隠れ層サイズと活性化関数は、それぞれＲｅＬＵである。ＸＧＢｏｏｓｔの最大深度は８である。ランダムフォレストの推定器の数は２０である。

【0109】

アルゴリズム１において、最近傍の数Kを３０に設定し、選択された特徴列の数sを８に設定し、各特徴mに対して選択された値の数を３に設定する。反実仮想特徴最適化は、REINFORCEアルゴリズムを介して実行される。ADAM（Kingma等著、A Adam: A Method for Stochastic Optimization, arXiv:cs.LG/1412.6980, 2017）が、学習率０．１、バッチサイズ４０及び１５エポックでオプティマイザとして使用される。REINFORCEアルゴリズムを安定させるために、ここで使用される報酬関数はr＝f_1-y(x′)－bであり、ここで、bは、分散削減のために、r＝f_1-y(x′)ではなく、１回のバッチにおけるf_1-y(・)の中央値である。正規化重みλ₁及びλ₂は２に設定される。ＲＬ法の場合、スパース性パラメータwは６に設定される。ＧＬＤ法の場合、E＝３、T＝２０、R＝０．２５、r＝０．０００５及びλ＝０．１であり、すべての実験でうまく機能する。

【0110】

以下のアプローチが、実験で反実仮想例を生成するためのベースラインとして使用される。

【0111】

Ｇｒｅｅｄｙは、Ates等著、Counter-factual Explanations for Machine Learning on Multivariate Time Series Data, arXiv:cs.LG/2008.10781で提案された逐次貪欲法（sequential greedy method）を示す。最近傍探索（アルゴリズム１）から選択された候補反実仮想特徴が与えられると、貪欲法は、予測ラベルが反転するまでxの特徴を逐次的に修正する。

【0112】

ＳＨＡＰ値ベース（SHAP-value based）法は、Rathi, Generating Counterfactual and Contrastive Explanations using SHAP. arXiv:cs.LG/1906.09293で提案されている。最初にx内のすべての特徴のSHAP値を計算し、次に、所望のクラスy’＝1－yのＳＨＡＰ値が負である特徴を変更することによって、反実仮想例を構築する。

【0113】

ＤｉＣＥ法は、Mothilal等著のExplaining Machine Learning Classifiers through Diverse Counterfactual Explanations. In Proceedings of the 2020 Conference on Fairness, Accountability, and Transparency, Association for Computing Machinery, pp.607-617, and Rathi 2019で提案されている。

【0114】

ＣＥＲＴＩＦＡＩは、Sharma等著、CERTIFAI: A Common Framework to Provide Explanations and Analyse the Fairness and Robustness of Black-Box Models, in Proceedings of the AAAI/ACM Conference on AI, Ethics, and Society, pp. 166-172, 2020.によって提案された反実仮想を生成するためのカスタム遺伝的アルゴリズムである。これは、モデル非依存方法（model-agnostic method）であり、ブラックボックス分類モデルに適用することができる。

【0115】

Ｆｏｉｌ Ｔｒｅｅｓは、Waa等著、Contrastive Explanations with Local Foil Trees, arXiv:stat.ML/1806.07470, 2018によって提案され、ローカルにトレーニングされた一対すべての決定木を使用して、ツリーに、データポイントをファクト（fact）としてではなくフォイル（foil）として分類させる、互いに素なルールのセット（disjoint set of rules）を識別する。

【0116】

図９～図１０で説明したＲＬ法及びＧＬＤ法が適用される。候補反実仮想特徴は、アルゴリズム１によって生成される。

【0117】

反実仮想例を生成する方法、有効性、スパース性及び多様性メトリック、並びに所望のクラスの予測スコアを評価する。有効性は、有効な反実仮想である、方法によって返される例の割合であり、例えばf_1-y(x′)＞0.5である。スパース性は、元の入力xと生成された反実仮想例x'との間の変更の数を示す。多様性は、任意の２つのペアの反実仮想例（例えばクエリインスタンスごとにK個の反実仮想を生成する）の間で異なる特徴の割合を測定する。スパース性の場合、低いほど良好である。有効性、多様性及び予測スコアの場合、高いほど良好である。

【0118】

図１２の表１と図１３の表２は、ＸＧＢｏｏｓｔ分類子による、Ｇｒｅｅｄｙ、ＳＨＡＰ－ｂａｓｅｄ、ＣＥＲＴＩＦＡＩ、Ｆｏｉｌ Ｔｒｅｅｓ、ＲＬ及びＧＬＤについての有効性とスパース性を示している。ＤｉＣＥはここには含まれていない。なぜなら、ＸＧＢｏｏｓｔ分類子を扱うのが難しいからである。ＲＬ及びＧＬＤ法が最も高い有効性を有する。ＲＬは、他のアプローチと比べて、「Adult」以外のすべてのデータセットに対して最も低いスパース性が得られ、ＧＬＤは「Adult」に対して最も低いスパース性を有する。Ｆｏｉｌ Ｔｒｅｅｓの有効性は他の方法と比べて非常に低く、「Breast」と「Credit」で失敗することに留意されたい。図１４の表３は、ＲＬ法が所望のラベルの最も高い予測スコアを達成することを示しており、これは、ＲＬ法によって生成される反実仮想が所望のクラスにより近いことを意味する。

【0119】

図１５の表４と図１６の表５は、ＭＬＰ分類子による、Ｇｒｅｅｄｙ、ＳＨＡＰ－ｂａｓｅｄ、ＣＥＲＴＩＦＡＩ、ＤｉＣＥ、Ｆｏｉｌ Ｔｒｅｅｓ、ＲＬ及びＧＬＤの有効性とスパース性を示している。ＤｉＣＥ、ＲＬ及びＧＬＤは、すべてのテストインスタンスに対して、有効な反実仮想例を見つけることができ、他のアプローチより優れている。しかし、スパース性の点に関しては、ＤｉＣＥは、提案されている方法よりもはるかに大きなスパース性を持ち、例えば「Adult」の場合は２．９３、「COMPAS」の場合は２．１０であるが、ＲＬ／ＧＬＤは「Adult」の場合は１．４７／１．５０、「COMPAS」の場合は１．４３／１．４９を達成する。「Credit」と「Titanic」の場合、Ｇｒｅｅｄｙ、ＳＨＡＰ－ｂａｓｅｄ及びＲＬ／ＧＬＤは、ＭＬＰ分類子では、同様の性能を有しており、ＸＧＢｏｏｓｔ分類子によるものとは異なる。これらすべての方法についてのクエリごとの実行時間が図１８の表７に示されている。Ｆｏｉｌ Ｔｒｅｅｓ法が最も早いが、最も悪い性能を得る。ＤｉＣＥは最も遅い方法であり、クエリごとに約３秒かかるため、実際の適用では実用的ではない。ＲＬ／ＧＬＤ法は、有効性、スパース性及び予測スコアの観点でより良好な性能を得ながら、Ｇｒｅｅｄｙ及びＳＨＡＰ－ｂａｓｅｄと同等の速度を実現する。

【0120】

図１９の表８及び図２０の表９は、本明細書で説明される反実仮想例生成アプローチによって生成された、いくつかの反実仮想例を与える。Adultデータセットの場合、反実仮想例は、高度な学位を取得するために勉強すること又は仕事により多くの時間を費やすことが、より高い収入につながる可能性があることを示している。また、より高い収入を得るために結婚することのような、あまり明白ではない反実仮想例も示している。この種類の反実仮想例は、既婚の人々の収入が高いというデータセットの相関関係により生成される。Titanicのデータセットでは、結果は、女性であるかチケットクラスが高い人は、惨事から生き残る可能性がより高いことを示している。

【0121】

反実仮想例の他に、提案されたアプローチは、他のアプローチでは容易に達成できない「ｗｈａｔ－ｉｆ」シナリオを調査するための説明として、ＲＬ法によって学習されたポリシーから抽出された反実仮想特徴も取ることができる。表８及び表９では、各例について、上位４つの選択された特徴列と上位１つの特徴値が列挙されている。表８の最初の例では、これらの反実仮想特徴「学歴→博士号、労働時間→３７．５時間、ワーククラス→個人、職業→専門職」が取得され、これは、学位が高く、労働時間が長く、専門的な職業に就いている場合、収入がより高くなることを意味する。表９の最初の例では、「性別→女性、チケットクラス→１、乗船→Ｃ、ＳｉｂＳｐ→０」が取得され、これは、性別が女性であるか、より高いクラスであるか、兄弟／配偶者がいないことが、より高い生存機会につながることを意味する。これらの反実仮想説明は、特定のシナリオ下での我々の社会のバイアスを反映する可能性がある、データセットにおけるバイアスを検出するのに役立つ。例えば社会の価値観は女性と子供を最初に救うべきだと定めているため、女性は生き残る可能性がより高かった。また、裕福な乗客は、より簡単にボートに行く特権を得るために、船のより高いクラスに部屋があったので、生き残る可能性が高かった。

【0122】

追加の実験では、反実仮想例x′を構築するために各特徴の変化の平均数を計算し、元の入力xの特徴の重要性と比較する。特徴の重要性は、テストデータセット内のサンプルのＳＨＡＰ値の平均を取ることによって計算される。図２１は、特徴０から７がそれぞれ「年齢」、「学歴」、「性別」、「労働時間」、「婚姻」、「職業」、「人種」及び「ワーククラス」であるAdultデータセットにおけるこの比較を示している。明らかに、平均的な特徴の変化は特徴の重要性と一致しており、例えば「年齢」、「学歴」、「婚姻」はより重要であり、「性別」、「人種」及び「ワーククラス」はそれほど重要ではない。

【0123】

この実験では、クエリインスタンスごとに多様な反実仮想例を生成するために、ＣＥＲＴＩＦＡＩ、ＤｉＣＥ、ＲＬ及びＧＬＤを比較する。アルゴリズム６がＲＬとＧＬＤに適用される。Ｇｒｅｅｄｙ、ＳＨＡＰ－ｂａｓｅｄ及びＦｏｉｌ ｔｒｅｅｓは多様な反実仮想を生成することができないので、これらはここでは比較されない。図２４の表１２と図２５の表１３は、スパース性と多様性のメトリックを示している。ＲＬ及びＧＬＤ法が最も低いスパース性を取得するが、ＤｉＣＥが最も高い多様性を実現する。図２６の表１４は、これらの方法の実行時間を与える。ＤｉＣＥは、ＣＥＲＴＩＦＡＩ及び提案される方法よりもはるかに遅い。提案される方法は、クエリごとのはるかに短い実行時間で、スパース性と多様性の間の良好なトレードオフをもたらす。実用的な適用では、ＲＬ又はＧＬＤ、あるいはその両方をアンサンブルとして適用することができる。図２２の表１０と図２３の表１１は、ＲＬ法によって生成される様々な反実仮想例を与え、クエリインスタンスに対する多様な説明を生成する。

【0124】

追加の実験は、本明細書で提案される方法を時系列分類問題にも適用することができることを示している。この実験は、Taxonomistデータセットに対して実施され、ここでは、クエリラベルは「ft」であり、他のラベルを所望のラベルとして取り、すべての所望のラベルについて反実仮想例を生成する。反実仮想例は、いくつかの時系列（特徴）によって構築され、他の方法では時系列データを直接処理することができないので、これはＧｒｅｅｄｙと比較される。図２７の表１５は、これらの方法のスパース性と実行時間を示しており、これは、提案される方法がＧｒｅｅｄｙよりも１０倍以上速いが、異なる設定に対して同様のスパース性メトリックを達成することを示している。この結果は、提案される方法が高次元データを効率的に処理することができることも示す。

【0125】

コンピューティングデバイス１００のようなコンピューティングデバイスのいくつかの例は、１つ以上のプロセッサ（例えばプロセッサ１１０）によって実行されると、該１つ以上のプロセッサに方法４００のプロセスを実行させることができる実行可能コードを含む、非一時的な有形の機械読取可能媒体を含んでよい。方法４００のプロセスを含むことがある機械読取可能媒体のいくつかの一般的な形式は、例えばフロッピーディスク、フレキシブルディスク、ハードディスク、磁気テープ、任意の他の磁気媒体、ＣＤ－ＲＯＭ、任意の他の光媒体、パンチカード、紙テープ、穴のパターンを有する任意の他の物理媒体、ＲＡＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＦＬＡＳＨ－ＥＰＲＯＭ、任意の他のメモリチップ又はカートリッジ、及び／又はプロセッサ又はコンピュータが読み取るように適合される他の媒体である。

【0126】

この説明及び発明的態様、実施形態、実装又は適用を図示する添付の図面は、制限として見なされるべきではない。この説明及び特許請求の範囲の精神及び範囲から逸脱することなく、様々な機械的、構成的、構造的、電気的及び動作的変更が行われてよい。場合によっては、本開示の実施形態を不明瞭にしないために、周知の回路、構造又は技術が詳細に示されていないか又は説明されていない。２つ以上の図における同様の数字は、同じ又は類似の要素を表す。

【0127】

この説明では、本開示と一貫性のあるいくつかの実施形態を説明する具体的詳細が示されている。様々な具体的詳細は、実施形態の完全な理解を提供するために説明されている。しかしながら、いくつかの実施形態は、これらの具体的詳細の一部又は全部を伴わずに実施されてよいことが当業者には明らかであろう。本明細書に開示される具体的な実施形態は、例示的であるように意図され、限定的ではない。当業者は、本明細書において具体的に記載されていないが、本開示の範囲及び精神内にある他の要素を実現することができる。加えて、不必要な繰り返しを避けるために、一実施形態に関連して示され説明された１つ以上の特徴は、特に説明されていない限り、あるいは１つ以上の特徴が実施形態を機能しないようにする場合を除いて、他の実施形態に組み込まれてよい。

【0128】

例示的な実施形態が示され説明されているが、前述の開示では、広範囲の修正、変更及び置換が考慮されており、場合によっては、実施形態のいくつかの特徴が、他の特徴の対応する使用なしに採用されることがある。当業者は、多くの変形、代替及び変更を認識するであろう。したがって、本発明の範囲は、以下の特許請求の範囲によってのみ限定されるべきであり、特許請求の範囲は、本明細書に開示される実施形態の範囲と一貫性があるように、広く解釈されることが適切である。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10A】

【図10B】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】

【図27】

【手続補正書】

【提出日】2023-06-07

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

機械学習モデルにおける反実仮想説明のための反実仮想例を生成する方法であって、
複数の特徴列と、対応する特徴値とを含むクエリインスタンスを受信するステップと、
前記クエリインスタンスに応答して、機械学習モデルによって予測ラベルを生成するステップと、
トレーニングデータセットから構築された最近傍探索ツリーを介して、前記クエリインスタンスに対する最近傍クエリインスタンスの数を識別するステップであって、前記最近傍クエリインスタンスの数の各々は、前記予測ラベルとは異なるラベルに対応する、ステップと、
前記クエリインスタンスと最近傍クエリインスタンスとの間の特徴列と、対応する特徴値を比較するステップと、
前記比較からの特徴列変化の頻度に基づいて、前記複数の特徴列から特徴列のサブセットを選択するステップと、
前記機械学習モデルによって、前記予測ラベルに付随する反実仮想説明を出力するステップであって、前記反実仮想説明は前記特徴列のサブセットに基づいて生成される、ステップと、
を含む、方法。

【請求項2】

前記最近傍クエリインスタンスの数は、
前記異なるラベルで注釈が付けられたトレーニングクエリインスタンスに基づいて、前記異なるラベルの探索インデックスを構築するステップと、
前記探索インデックスを介して、前記最近傍クエリインスタンスの数を見つけるステップと、
によって識別される、請求項１に記載の方法。

【請求項3】

前記比較に基づいて、特徴列変化の第１頻度と特徴値変化の第２頻度を計算するステップと、
最も高い変化の頻度を有する前記特徴列のサブセットを選択するステップと、
前記特徴列のサブセット内の選択された特徴列ごとに、前記特徴値変化の第２頻度に基づいて特徴値のそれぞれのサブセットを選択するステップと、
を更に含む、請求項１に記載の方法。

【請求項4】

前記反実仮想説明は、前記特徴列のサブセットに基づいて、反実仮想特徴最適化を通じて反実仮想例を構築することによって生成される、
請求項１に記載の方法。

【請求項5】

前記反実仮想特徴最適化は、修正されたクエリインスタンスによって引き起こされる予測フィードバック報酬を含む目的を最大化する最適ポリシーを決定することを含む、
請求項４に記載の方法。

【請求項6】

機械学習モデルにおける反実仮想説明のための反実仮想例を生成する方法であって、
複数の特徴列と、対応する特徴値とを含むクエリインスタンスを受信するステップと、
前記クエリインスタンスに応答して、機械学習モデルによって予測ラベルを生成するステップと、
前記クエリインスタンスの入力と前記予測ラベルに応答する推奨モデルに基づいて、予測結果を変更する可能性のある代替特徴値に関連付けられる特徴列を有する特徴列のサブセットを識別するステップと、
前記クエリインスタンスと最近傍クエリインスタンスとの間の特徴列と、対応する特徴値を比較するステップと、
前記比較からの特徴列変化の頻度に基づいて、前記複数の特徴列から特徴列のサブセットを選択するステップと、
前記機械学習モデルによって、前記予測ラベルに付随する反実仮想説明を出力するステップであって、前記反実仮想説明は前記特徴列のサブセットに基づいて生成される、ステップと、
を含む、方法。

【請求項7】

前記推奨モデルは、前記機械学習モデルに基づいて構築されたデータセットと、クエリインスタンスとそれぞれのラベルのトレーニングデータセットによってトレーニングされる、
請求項６に記載の方法。

【請求項8】

前記データセットは、前記トレーニングデータセット内のトレーニングクエリインスタンスの最近傍の数をファインチューニングすることによって構築される、
請求項７に記載の方法。

【請求項9】

前記特徴列のサブセットは、前記推奨モデルから生成された最も高い確率を有する特徴列を選択することによって識別される、
請求項６に記載の方法。

【請求項10】

前記反実仮想説明は、前記特徴列のサブセットに基づいて反実仮想特徴最適化を通じて反実仮想例を構築することによって生成される、
請求項６に記載の方法。

【請求項11】

機械学習モデルにおける反実仮想説明のための反実仮想例を生成するシステムであって、
前記機械学習モデルを記憶するメモリと、
複数の特徴列と、対応する特徴値とを含むクエリインスタンスを受け取るデータインタフェースと、
前記メモリから命令を読み出して、
前記クエリインスタンスに応答して、前記機械学習モデルによって予測結果を生成するステップと、
前記複数の特徴列から、前記予測結果を変化させる可能性のある代替特徴値に関連付けられる特徴列を有する特徴列のサブセットを識別するステップと、
修正されたクエリインスタンスによって引き起こされる予測フィードバック報酬を含む目的を最大化する最適ポリシーを決定するステップと、
前記決定された最適ポリシーに従って、最も高い特徴値に対応する特徴列の数と、関連付けられる特徴値の数を選択するステップと、
前記選択された特徴列の数と、前記関連付けられる特徴値の数とを使用して、反実仮想例を構築するステップと、
前記機械学習モデルによって、前記反実仮想例を、前記クエリインスタンスに応答する前記予測結果の反実仮想説明として出力するステップと、
を実行するプロセッサと、
を含む、システム。

【請求項12】

前記目的は、強化学習（ＲＬ）によって決定され、この場合、
修正される特徴列と値が、前記ＲＬにおけるアクションとして扱われ、
前記クエリインスタンスに対して前記アクションを取る反実仮想例候補が、前記ＲＬにおける状態として扱われ、
前記ＲＬの報酬関数が、前記予測結果以外の異なるラベルの予測スコアである、
請求項１１に記載のシステム。

【請求項13】

前記目的は、前記アクションを選択するための確率的ポリシーに課されるスパース性制約を受ける、
請求項１２に記載のシステム。

【請求項14】

前記確率的ポリシーは、前記機械学習モデルのパラメータによってパラメータ化された確率分布によって計算される、
請求項１３に記載のシステム。

【請求項15】

前記目的は、前記予測結果以外の異なるラベルに対応する前記機械学習モデルの出力に基づく第一項と、特定の特徴列が修正されるかどうかを示す変数とを含む、
請求項１１に記載のシステム。

【国際調査報告】