特許 7563620 機械学習説明プログラム、装置、及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-09-30

(45)【発行日】2024-10-08

(54)【発明の名称】機械学習説明プログラム、装置、及び方法

(51)【国際特許分類】

   G06N 5/045 20230101AFI20241001BHJP

   G06N 20/00 20190101ALI20241001BHJP

【ＦＩ】

G06N5/045

G06N20/00

【請求項の数】 8

(21)【出願番号】P 2023549284

(86)(22)【出願日】2021-09-27

(86)【国際出願番号】 JP2021035299

(87)【国際公開番号】W WO2023047565

(87)【国際公開日】2023-03-30

【審査請求日】2024-01-11

(73)【特許権者】

【識別番号】000005223

【氏名又は名称】富士通株式会社

(74)【代理人】

【識別番号】110001519

【氏名又は名称】弁理士法人太陽国際特許事務所

(72)【発明者】

【氏名】福田 貴三郎

【審査官】福西 章人

(56)【参考文献】

【文献】特開２０２０－８７３３８（ＪＰ，Ａ）

【文献】福田 貴三郎 ほか，説明可能AIにおける上位概念を考慮したナレッジグラフからの説明変数選択，人工知能学会研究会資料，2021年03月15日，第05-01 ～ 05-07ページ，インターネット<URL：http://id.nii.ac.jp/1004/00011003/>，[検索日：2021/11/16]

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｎ ３／００－９９／００

Ｇ０６Ｆ １８／００－１８／４０

(57)【特許請求の範囲】

【請求項1】

機械学習モデルの訓練に用いられた訓練データに基づいて、条件と前記条件を満たす場合の結論とをそれぞれが含む第１の複数のルールを生成し、
前記訓練データのうち前記第１の複数のルールの中の第１のルールに含まれる第１の条件を満たす第１の複数のデータと、前記訓練データのうち前記第１の複数のルールの中の第２の複数のルールに含まれる複数の条件の少なくとも１つを満たす第２の複数のデータとが一致する場合、前記訓練データに基づく前記第１のルールの成立可能性を示す値と前記第２の複数のルールのそれぞれの成立可能性を示す複数の値との比較結果に基づいて、前記第２の複数のルールから一又は複数のルールを選択し、
前記第２の複数のルールのうち前記一又は複数のルール以外の他のルールと前記第１のルールとを含む説明情報を前記機械学習モデルの推論結果用に出力する、
処理をコンピュータに実行させる機械学習説明プログラム。

【請求項2】

前記一又は複数のルールを選択する処理は、前記第２の複数のルールの数が、前記第１のルール及び前記第２の複数のルールの各々の成立可能性を示す値のパターン数に所定値を加えた値より多い場合に実行される、
請求項１に記載の機械学習説明プログラム。

【請求項3】

前記一又は複数のルールを選択する処理は、前記第１のルールの成立可能性を示す値と前記第２の複数のルールに含まれる第２のルールの成立可能性を示す値との差が所定の閾値未満の場合に、前記第２のルールを含む前記一又は複数のルールを選択することを含む、
請求項１又は請求項２に記載の機械学習説明プログラム。

【請求項4】

前記成立可能性を示す値は、前記訓練データのうち、ルールに含まれる条件を満たす訓練データの数、及びルールに含まれる条件を満たし、かつルールに含まれる結論が所定の結論である訓練データの数に基づく値である、
請求項１～請求項３のいずれか１項に記載の機械学習説明プログラム。

【請求項5】

前記説明情報は、前記説明情報に含まれる前記第１のルール及び前記他のルールの各々の成立可能性を示す値を含む、
請求項１～請求項４のいずれか１項に記載の機械学習説明プログラム。

【請求項6】

前記説明情報を出力する処理は、前記第１のルールを原則のルール、前記他のルールを例外のルールとして出力することを含む、
請求項１～請求項５のいずれか１項に記載の機械学習説明プログラム。

【請求項7】

機械学習モデルの訓練に用いられた訓練データに基づいて、条件と前記条件を満たす場合の結論とをそれぞれが含む第１の複数のルールを生成し、
前記訓練データのうち第１のルールに含まれる第１の条件を満たす第１の複数のデータと、前記訓練データのうち第２の複数のルールに含まれる複数の条件の少なくとも１つを満たす第２の複数のデータとが一致する場合、前記訓練データに基づく前記第１のルールの成立可能性を示す値と前記第２の複数のルールのそれぞれの成立可能性を示す複数の値との比較結果に基づいて、前記第２の複数のルールから一又は複数のルールを選択し、
前記第１のルールと前記第２の複数のルールのうち前記一又は複数のルール以外の他のルールとを含む説明情報を前記機械学習モデルの推論結果用に出力する、
処理を実行する制御部を含む機械学習説明装置。

【請求項8】

機械学習モデルの訓練に用いられた訓練データに基づいて、条件と前記条件を満たす場合の結論とをそれぞれが含む第１の複数のルールを生成し、
前記訓練データのうち第１のルールに含まれる第１の条件を満たす第１の複数のデータと、前記訓練データのうち第２の複数のルールに含まれる複数の条件の少なくとも１つを満たす第２の複数のデータとが一致する場合、前記訓練データに基づく前記第１のルールの成立可能性を示す値と前記第２の複数のルールのそれぞれの成立可能性を示す複数の値との比較結果に基づいて、前記第２の複数のルールから一又は複数のルールを選択し、
前記第１のルールと前記第２の複数のルールのうち前記一又は複数のルール以外の他のルールとを含む説明情報を前記機械学習モデルの推論結果用に出力する、
処理をコンピュータが実行する機械学習説明方法。

【発明の詳細な説明】

【技術分野】

【0001】

開示の技術は、機械学習説明プログラム、機械学習説明装置、及び機械学習説明方法に関する。

【背景技術】

【0002】

説明可能ＡＩの分野では、機械学習モデルの推論結果と共に、その推論結果に関する説明情報が提供される。このような説明可能ＡＩの分野において、機械学習モデルの機械学習に利用した訓練データから、例えばＩｆ－ｔｈｅｎ記述の構文であるルールを抽出及び列挙し、ユーザに提示する技術が存在する。例えば、教師ありの設定での様々な制約の下で、高次元データセットから最小限の出現パターンをマイニングする技術が提案されている。この技術では、バイナリ化された入力データに対して、任意の制約を満たすルールが効率良く列挙される。

【先行技術文献】

【非特許文献】

【0003】

【文献】Hiroaki Iwashita, Takuya Takagi, Hirofumi Suzuki, Keisuke Goto, Kotaro Ohori, Hiroki Arimura, "Efficient Constrained Pattern Mining Using Dynamic Item Ordering for Explainable Classification," arXiv:2004.08015v1 [cs.DB] 17 Apr 2020.

【発明の概要】

【発明が解決しようとする課題】

【0004】

機械学習モデルの推論結果の説明情報として、データから取り出せるルールを提示する際、冗長なルールが生成され、解釈がし易い説明情報を提供できない場合がある。

【0005】

一つの側面として、開示の技術は、機械学習モデルの推論結果の説明情報として、解釈がし易い説明情報を提供することを目的とする。

【課題を解決するための手段】

【0006】

一つの態様として、開示の技術は、機械学習モデルの訓練に用いられた訓練データに基づいて、条件と前記条件を満たす場合の結論とをそれぞれが含む第１の複数のルールを生成する。また、開示の技術は、第１の複数のデータと、第２の複数のデータとが一致するか判定する。第１の複数のデータは、前記訓練データのうち前記第１の複数のルールの中の第１のルールに含まれる第１の条件を満たすデータである。第２の複数のデータは、前記訓練データのうち前記第１の複数のルールの中の第２の複数のルールに含まれる複数の条件の少なくとも１つを満たすデータである。一致する場合、開示の技術は、前記訓練データに基づく前記第１のルールの成立可能性を示す値と前記第２の複数のルールのそれぞれの成立可能性を示す複数の値との比較結果に基づいて、前記第２の複数のルールから一又は複数のルールを選択する。そして、開示の技術は、前記第２の複数のルールのうち前記一又は複数のルール以外の他のルールと前記第１のルールとを含む説明情報を前記機械学習モデルの推論結果用に出力する。

【発明の効果】

【0007】

一つの側面として、機械学習モデルの推論結果の説明情報として、解釈がし易い説明情報を提供することができる、という効果を有する。

【図面の簡単な説明】

【0008】

【図1】機械学習説明装置の機能ブロック図である。

【図2】訓練データ及び機械学習モデルとルールとの関係を説明するための図である。

【図3】訓練データの一例を示す図である。

【図4】バイナリ化された訓練データの一例を示す図である。

【図5】ルールの記述形式を説明するための図である。

【図6】列挙されたルールの一例を示す図である。

【図7】ルールが表す変数域の一例を示す図である。

【図8】部分的な例外となるルールを含むルールが表す変数域の一例を示す図である。

【図9】ルールの被覆関係の一例を示す図である。

【図10】機械学習説明装置として機能するコンピュータの概略構成を示すブロック図である。

【図11】機械学習説明処理の一例を示すフローチャートである。

【発明を実施するための形態】

【0009】

以下、図面を参照して、開示の技術に係る実施形態の一例を説明する。

【0010】

図１に示すように、機械学習説明装置１０には、機械学習モデルの訓練に用いられた訓練データが入力される。機械学習説明装置１０は、訓練データから取り出されるルールに基づいて、機械学習モデルの推論結果の説明情報を生成して出力する。ここで、図２を参照して、訓練データ及び機械学習モデルとルールとの関係について説明する。ルールは訓練データから生成され、生成されたルールを用いて機械学習モデルが生成されてもよいし、訓練データを用いて機械学習モデルを生成し、生成された機械学習モデルの説明情報としてルールを用いてもよい。本実施形態は、後者の場合に相当する。

【0011】

機械学習説明装置１０は、機能的には、図１に示すように、生成部１２と、抽出部１４と、選択部１６と、出力部１８とを含む。

【0012】

生成部１２は、機械学習モデルの訓練に用いられた訓練データに基づいて、条件と条件を満たす場合の結論とをそれぞれが含む第１の複数のルールを生成する。図３に、訓練データの一例を示す。図３において、各行（各レコード）が１つの訓練データに相当する。「ＩＤ」は、訓練データの識別情報である。各訓練データは、項目「Ａ」、項目「Ｂ」、・・・等の各項目についての値と、所定のタスクに対する各訓練データの結論を示す「ラベル」とを含む。生成部１２は、各項目と、その項目の取り得る値又は値の範囲との組み合わせで表現される条件を設定する。例えば、生成部１２は、項目名、等号又は不等号、及び値で表される説明変数を、項目毎に複数設定する。生成部１２は、図４に示すように、訓練データの各項目の値を、設定した各説明変数に該当するか否かによりバイナリ化する。図４の例では、訓練データの各項目の値が、説明変数に該当する場合は「１」、該当しない場合は「０」に変換されている。

【0013】

生成部１２は、説明変数の網羅的な組み合わせのそれぞれを条件として生成し、生成した各条件に結論を対応付ける。例えば、生成部１２は、条件を満たす訓練データのラベルのうち、最多のラベルの値をその条件の結論として対応付ける。より具体的には、生成部１２は、「Ａ＜５ ∧ Ｂ＜３」という条件を満たす訓練データが１０件あり、そのうち９件のラベルが「ｎｅｇａｔｉｖｅ」、１件のラベルが「ｐｏｓｉｔｉｖｅ」であった場合、その条件に結論「ｎｅｇａｔｉｖｅ」を対応付ける。生成部１２は、このように、条件と結論とを対応付けたものをルールとして生成する。以下では、図５に示すように、矢印の左に条件、矢印の右に結論を記述した形式でルールを表す。

【0014】

また、生成部１２は、各ルールについて、ルールの成立可能性を示す値を算出する。ルールの成立可能性を満たす値とは、そのルールが機械学習モデルの推論結果に与える影響を示す値であり、あるデータがルールの条件を満たす場合に、そのルールの結論が成立する可能性を示す値である。生成部１２は、訓練データのうち、条件を満たす訓練データの数、及びラベルが示す結論が所定の結論である訓練データの数に基づいて、ルールの成立可能性を満たす値を算出する。具体的には、生成部１２は、バイナリ化された訓練データを用いて、条件に含まれる全ての説明変数に対する値が「１」である訓練データをカウントすることにより、条件を満たす訓練データの数を取得する。

【0015】

より具体的に、図３及び図４の例のように、訓練データの「ラベル」が、「ｐｏｓｉｔｉｖｅ」又は「ｎｅｇａｔｉｖｅ」の２値であるとする。この場合において、生成部１２は、下記（１）式に示す確信度（confidential、以下「ｃｏｎｆ」ともいう）を、ルールの成立可能性を満たす値として算出してよい。
ｃｏｎｆ
＝条件を満たし、かつラベルが「ｐｏｓｉｔｉｖｅ」である訓練データの数
／条件を満たす訓練データの数 （１）
（１）式の場合、ｃｏｎｆの値が大きいほど、すなわち１に近いほど、そのルールの条件を満たした場合に、結論が「ｐｏｓｉｔｉｖｅ」になる可能性が高いことを表す。一方、ｃｏｎｆの値が小さいほど、すなわち０に近いほど、そのルールの条件を満たした場合に、結論が「ｎｅｇａｔｉｖｅ」になる可能性が高いことを表す。

【0016】

以下では、ルールの成立可能性を満たす値として、（１）式に示すｃｏｎｆを用いる場合を例に説明するが、ルールの成立可能性を満たす値は、これに限定されない。例えば、生成部１２は、訓練データの全正例数に対する、条件を満たす正例数で表されるカバレッジを、ルールの成立可能性を満たす値として算出してもよい。なお、正例とは、ラベルが「ｐｏｓｉｔｉｖｅ」の訓練データである。

【0017】

生成部１２は、生成したルールのうち、算出したｃｏｎｆが所定の制約を満たすルールを抽出して列挙する。所定の制約は、そのルールが機械学習モデルの推論結果に与える影響が大きいことを表す制約とする。例えば、生成部１２は、ｃｏｎｆが０．７以上、又はｃｏｎｆが０．３以下のルールを抽出し、図６に示すように列挙する。なお、図６では、ルールに併記したかっこ内に、そのルールについて算出されたｃｏｎｆも表記している。

【0018】

なお、上記では、各項目の値が数値である訓練データから生成されるルールについて説明したが、項目の値がカテゴリカルな訓練データであっても、下記ルール１及びルール２に示すように、ルールを生成可能である。
ルール１：ｃｉｔｙ＝ＮＹＣ → ｃｌａｓｓ＝Ｘ
ルール２：ｒａｃｅ＝ｂｌａｃｋ，ｃｉｔｙ＝ＮＹＣ → ｃｌａｓｓ＝Ｙ

【0019】

また、結論も「ｐｏｓｉｔｉｖｅ」及び「ｎｅｇａｔｉｖｅ」の２値に限定されるものではなく、３以上のクラスに分類される結論を対応付けてもよい。結論が３つ以上の場合、下記（２）式に示すようなｃｏｎｆを算出すればよい。
ｃｏｎｆ＝条件を満たし、かつルールの結論と同じラベルの訓練データの数
／条件を満たす訓練データの数 （２）

【0020】

ここで、本実施形態における、ユーザに説明情報として提示するルールの要件について説明する。例えば、条件とｃｏｎｆとの関係が図７で表されるようなルールが列挙されたとする。図７の例では、条件が、項目「Ａ」及び「Ｂ」を用いた説明変数の組み合わせで表される場合において、横軸に項目「Ａ」を用いた説明変数の値、縦軸に項目「Ｂ」を用いた説明変数の値を対応させている。また、図７の例では、項目「Ａ」を用いた説明変数と、項目「Ｂ」を用いた説明変数との組み合わせで表される領域内に、その組み合わせに対応する条件を含むルールについて算出されたｃｏｎｆを表記している。

【0021】

基本の要件としては、機械学習モデルの推論結果へ影響を及ぼす変数域がどこかを読み取れることである。図７の例で、ルール「Ａ＞５ ∧ Ｂ＜５ → ｎｅｇａｔｉｖｅ （ｃｏｎｆ＝０．１）」は、データがＡ＞５かつＢ＜５の場合、機械学習モデルの推論結果が「ｎｅｇａｔｉｖｅ」になる可能性が高いことを示している。すなわち、このルールの条件が示す変数域では、機械学習モデルの推論結果に対して負の影響があることを表している。

【0022】

次の要件は、変数域の変化に伴い、機械学習モデルの推論結果への影響がどう変わるかを読み取れることである。図７の例の下記３つのルールからは、データがＡ＞５かつＢ＜５の場合は負の影響であるが、Ｂ＞５になると正の影響へと変わり、Ｂ＞７．５になると正の影響度合いがさらに上昇するという、変数域の変化に伴う影響が読み取れる。
Ａ＞５ ∧ Ｂ＜５ → ｎｅｇａｔｉｖｅ （ｃｏｎｆ＝０．１）
Ａ＞５ ∧ Ｂ＞５ → ｐｏｓｉｔｉｖｅ （ｃｏｎｆ＝０．７）
Ａ＞５ ∧ Ｂ＞７．５ → ｐｏｓｉｔｉｖｅ （ｃｏｎｆ＝０．８）

【0023】

次の要件は、ユーザに提示する情報量にほとんど差異がない場合、提示するルールはなるべく少なくすることである。図７の例で、下記３つのルールが列挙されている場合、「Ａ＞５ ∧ Ｂ＜５ → ｎｅｇａｔｉｖｅ （ｃｏｎｆ＝０．１）」というルールにまとめて提示した方が良い。
Ａ＞５ ∧ Ｂ＜３ → ｎｅｇａｔｉｖｅ （ｃｏｎｆ＝０．１）
Ａ＞５ ∧ Ｂ＜４ → ｎｅｇａｔｉｖｅ （ｃｏｎｆ＝０．１）
Ａ＞５ ∧ Ｂ＜５ → ｎｅｇａｔｉｖｅ （ｃｏｎｆ＝０．１）

【0024】

生成部１２で列挙したルールをそのまま提示した場合、部分的な例外を説明しようとした際にユーザへのルールの提示が冗長になる場合がある。部分的な例外について、抽象的な例で説明する。例えば、果物＝｛メロン、ブドウ、スイカ、モモ、レモン｝が甘いか酸っぱいか説明する場合、「メロンは甘い、ブドウは甘い、スイカは甘い、モモは甘い、レモンは酸っぱい」のようなルールの積み上げ的な説明では、説明が冗長になってしまう。そこで、「レモンは酸っぱい」というルールを部分的な例外とし、「果物は甘い、ただしレモンは酸っぱい」のように、全体の説明に加え、部分的な例外を説明することで、冗長さを解消することができる。

【0025】

図６のように列挙されたルールが表す変数域について、図７と同様に表した図を図８に示す。図８に示すように、Ａ＜５かつＢ＜５の変数域に、部分的な例外を示す変数域が含まれる。図６に示すルールで、この変数域を説明する場合、上から順に５つ目までのルールの積み上げ的な説明となるため、冗長な説明になる。例えば、図６に示すルールの上から順に５つ目までのルールを提示した場合、ユーザは下記のような解釈を行うことが想定される。
Ａ＜５かつＢ＜５の変数域に対するユーザの解釈：
Ａ＜５かつＢ＜３、Ａ＜３かつＢ＜５、￢Ａ＜４かつＡ＜５かつＢ＜５、￢Ｂ＜４かつＢ＜５、Ａ＜５かつＢ＜５の場合はｎｅｇａｔｉｖｅ、￢Ａ＜３かつＡ＜４かつ￢Ｂ＜３かつＢ＜４の場合はｐｏｓｉｔｉｖｅ

【0026】

上述の「変数域の変化に伴い、機械学習モデルの推論結果への影響がどう変わるかを読み取れる」という要件を満たしたうえで、「ユーザに提示する情報量にほとんど差異がない場合、提示するルールはなるべく少なくする」という要件を満たすことを考える。この場合、図６に示すように列挙されたルールから、部分的な例外を考慮して、以下の２つのルールを選択することで、下記のような解釈が可能となる。
選択するルール：
・Ａ＜５ ∧ Ｂ＜５ → ｎｅｇａｔｉｖｅ （ｃｏｎｆ＝０．２）
・￢Ａ＜３ ∧ Ａ＜４ ∧ ￢Ｂ＜３ ∧ Ｂ＜４ → ｐｏｓｉｔｉｖｅ （ｃｏｎｆ＝０．８）
Ａ＜５かつＢ＜５の変数域に対するユーザの解釈：
Ａ＜５かつＢ＜５の場合はｎｅｇａｔｉｖｅだが、￢Ａ＜３かつＡ＜４かつ￢Ｂ＜３かつＢ＜４の場合は例外的にｐｏｓｉｔｉｖｅ

【0027】

本実施形態では、生成部１２により列挙されたルールから、抽出部１４及び選択部１６により、部分的な例外を考慮して、上記のような解釈が可能なルールを選択する。以下、抽出部１４及び選択部１６について詳述する。

【0028】

抽出部１４は、訓練データに基づいて、ルールの被覆関係を抽出する。第１のルールと第２の複数のルールとが被覆関係にある場合、訓練データのうち第１のルールに含まれる条件を満たす第１の複数のデータと、訓練データのうち第２の複数のルールに含まれる複数の条件の少なくとも１つを満たす第２の複数のデータとが一致する。

【0029】

具体的には、抽出部１４は、生成部１２により列挙されたルールの集合から、あるルールＫを満たす訓練データの集合をＳ、その部分集合族を構成するルールＲ_ｉの集合を｛Ｒ_ｉ｝（ｉ∈Ｉ）、ルールの集合｛Ｒ_ｉ｝を満たす訓練データの集合を｛Ｕ_ｉ｝（ｉ∈Ｉ）とする。ルールＫは「第１のルール」の一例であり、ルールの集合｛Ｒ_ｉ｝は「第２の複数のルール」の一例であり、データＳは「第１の複数のデータ」の一例であり、データ｛Ｕ_ｉ｝は「第２の複数のデータ」の一例である。そして、抽出部１４は、下記（３）式を満たす訓練データ、及び（４）式に示すルールとデータとの対応関係に基づいて、ルールＫとルールの集合｛Ｒ_ｉ｝との関係を被覆関係として抽出する。

【0030】

【数1】

【0031】

より具体的には、抽出部１４は、生成部１２により列挙されたルールの集合から選択した１つのルールをルールＫに設定し、ルールＫを満たす訓練データをデータＳとして抽出する。また、抽出部１４は、残りのルールから選択される１以上のルールの全ての組み合わせのそれぞれをルールの集合｛Ｒ_ｉ｝に設定し、ルールの集合｛Ｒ_ｉ｝を満たす訓練データをデータ｛Ｕ_ｉ｝として抽出する。そして、抽出部１４は、抽出したデータＳとデータ｛Ｕ_ｉ｝とが（３）式を満たすか否かを判定し、満たす場合に、データＳに対応するルールＫとデータ｛Ｕ_ｉ｝に対応するルールの集合｛Ｒ_ｉ｝とを被覆関係として抽出する。図９に、ルールＫとルールの集合｛Ｒ_ｉ｝との被覆関係の一例を示す。

【0032】

選択部１６は、ルールＫのｃｏｎｆと、ルールＲ_ｉの各々のｃｏｎｆとの比較結果に基づいて、ルールの集合｛Ｒ_ｉ｝から一又は複数のルールを選択する。具体的には、選択部１６は、ルールの集合｛Ｒ_ｉ｝に含まれるルールＲ_ｉの数に応じて、ルールの集合｛Ｒ_ｉ｝から一又は複数のルールを選択する処理を実行するか否かを判定する。例えば、選択部１６は、ルールの集合｛Ｒ_ｉ｝に含まれるルールの数が、ルールＫ及びルールＲ_ｉの各々のｃｏｎｆのパターン数に所定値λを加えた値より多い場合に、ルールの集合｛Ｒ_ｉ｝から一又は複数のルールを選択する処理を実行する。これは、ある変数域を説明するためのルールの数は、その変数域におけるｃｏｎｆのパターン数程度あれば十分であるとの思想に基づくものである。図９の例の場合、ルールの集合｛Ｒ_ｉ｝に含まれるルールの数は５、ルールＫ及びルールＲ_ｉの各々のｃｏｎｆのパターン数は、０．１、０．２、及び０．８の３パターンである。この場合、λ＝１とすると、選択部１６は、ルールの集合｛Ｒ_ｉ｝から一又は複数のルールを選択する処理を実行すると判定する。

【0033】

また、選択部１６は、機械学習モデルの推論結果への影響がルールＫと近いルールＲ_ｉをルールの集合｛Ｒ_ｉ｝から選択する。例えば、選択部１６は、ルールＫのｃｏｎｆと、ルールＲ_ｉのｃｏｎｆとの差が所定の閾値未満の場合に、影響が近いと判定してよい。例えば、図９の例において、閾値を０．２とすると、選択部１６は、ルールＫのｃｏｎｆ＝０．２との差が０．１となるルールＲ_１、ルールＲ_２、ルールＲ_４、及びルールＲ_５を選択する。

【0034】

出力部１８は、ルールＫと、ルールの集合｛Ｒ_ｉ｝に含まれるルールＲ_ｉのうち、選択部１６により選択された一又は複数のルールＲ_ｉ以外の他のルールＲ_ｉとを含む説明情報を、機械学習モデルの推論結果用に出力する。選択部１６により、一又は複数のルールを選択する処理が実行されていない場合、出力部１８は、抽出部１４で被覆関係として抽出されたルールＫと、ルールの集合｛Ｒ_ｉ｝とを含む説明情報を、機械学習モデルの推論結果用に出力する。

【0035】

選択部１６で選択されたルールＲ_ｉは、機械学習モデルの推論結果への影響がルールＫと近いルールである。すなわち、選択部１６で選択されたルールＲ_ｉは以外のルールＲ_ｉは、ルールＫを被覆するルールの中で例外となるルールであるといえる。なお、説明情報には、ルールに、各ルールのｃｏｎｆを加えてもよい。図９の上記の例の場合、選択部１６によりルールＲ_１、ルールＲ_２、ルールＲ_４、及びルールＲ_５が選択されているため、出力部１８は、ルールＫとルールＲ_３とを説明情報として出力する（図９左下のルールの太字部分）。これにより、上述した「Ａ＜５かつＢ＜５の場合はｎｅｇａｔｉｖｅだが、￢Ａ＜３かつＡ＜４かつ￢Ｂ＜３かつＢ＜４の場合は例外的にｐｏｓｉｔｉｖｅ」のような解釈が可能な説明情報を出力することができる。なお、出力部１８は、説明情報に含めるルールＫに原則のルールであることを示す付加情報、ルールの集合｛Ｒ_ｉ｝から残ったルールに例外のルールであることを示す付加情報を付して出力してもよい。

【0036】

機械学習説明装置１０は、例えば図１０に示すコンピュータ４０で実現されてよい。コンピュータ４０は、ＣＰＵ（Central Processing Unit）４１と、一時記憶領域としてのメモリ４２と、不揮発性の記憶部４３とを備える。また、コンピュータ４０は、入力部、表示部等の入出力装置４４と、記憶媒体４９に対するデータの読み込み及び書き込みを制御するＲ／Ｗ（Read/Write）部４５とを備える。また、コンピュータ４０は、インターネット等のネットワークに接続される通信Ｉ／Ｆ（Interface）４６を備える。ＣＰＵ４１、メモリ４２、記憶部４３、入出力装置４４、Ｒ／Ｗ部４５、及び通信Ｉ／Ｆ４６は、バス４７を介して互いに接続される。

【0037】

記憶部４３は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、フラッシュメモリ等によって実現されてよい。記憶媒体としての記憶部４３には、コンピュータ４０を、機械学習説明装置１０として機能させるための機械学習説明プログラム５０が記憶される。機械学習説明プログラム５０は、生成プロセス５２と、抽出プロセス５４と、選択プロセス５６と、出力プロセス５８とを有する。

【0038】

ＣＰＵ４１は、機械学習説明プログラム５０を記憶部４３から読み出してメモリ４２に展開し、機械学習説明プログラム５０が有するプロセスを順次実行する。ＣＰＵ４１は、生成プロセス５２を実行することで、図１に示す生成部１２として動作する。また、ＣＰＵ４１は、抽出プロセス５４を実行することで、図１に示す抽出部１４として動作する。また、ＣＰＵ４１は、選択プロセス５６を実行することで、図１に示す選択部１６として動作する。また、ＣＰＵ４１は、出力プロセス５８を実行することで、図１に示す出力部１８として動作する。これにより、機械学習説明プログラム５０を実行したコンピュータ４０が、機械学習説明装置１０として機能することになる。なお、プログラムを実行するＣＰＵ４１はハードウェアである。

【0039】

なお、機械学習説明プログラム５０により実現される機能は、例えば半導体集積回路、より詳しくはＡＳＩＣ（Application Specific Integrated Circuit）等で実現することも可能である。

【0040】

次に、本実施形態に係る機械学習説明装置１０の作用について説明する。機械学習説明装置１０に訓練データが入力され、説明情報の出力が指示されると、機械学習説明装置１０において、図１１に示す機械学習説明処理が実行される。なお、機械学習説明処理は、開示の技術の機械学習説明方法の一例である。

【0041】

ステップＳ１０で、生成部１２が、機械学習説明装置１０に入力された訓練データを取得する。そして、生成部１２が、訓練データに含まれる各項目の値で表される説明変数の網羅的な組み合わせのそれぞれを条件として生成し、生成した各条件を満たす訓練データのラベルに基づいて、各条件に結論を対応付けてルールを生成する。さらに、生成部１２が、各ルールについて、ルールの成立可能性を示す値として、例えば（１）式のｃｏｎｆを算出する。そして、生成部１２が、生成した条件のうち、算出したｃｏｎｆの値が所定範囲内であるなどの所定の制約を満たすルールを抽出して列挙する。

【0042】

次に、ステップＳ１２で、抽出部１４が、上記ステップＳ１０で列挙されたルールの集合において、ルールＫを満たす訓練データの集合Ｓと、ルールの集合｛Ｒ_ｉ｝を満たす訓練データの集合｛Ｕ_ｉ｝とが（３）式を満たすか否かを判定する。抽出部１４は、（３）式を満たすＳと｛Ｒ_ｉ｝とに対応するルールＫとルールの集合｛Ｒ_ｉ｝との関係を被覆関係として抽出する。

【0043】

次に、ステップＳ１４で、選択部１６が、上記ステップＳ１２で被覆関係として抽出されたルールＫ及びルールの集合｛Ｒ_ｉ｝に含まれるｃｏｎｆのパターン数を算出する。次に、ステップＳ１６で、選択部１６が、ルールの集合｛Ｒ_ｉ｝に含まれるルールＲｉの数が、上記ステップＳ１４で算出したパターン数に所定値λを加えた値より多いか否かを判定する。ルールＲ_ｉの数＞パターン数＋λの場合には、ステップＳ１８へ移行し、ルールＲ_ｉの数≦パターン数＋λの場合には、ステップＳ２２へ移行する。

【0044】

ステップＳ１８では、選択部１６が、ルールＫのｃｏｎｆと、ルールＲ_ｉのｃｏｎｆとの差が所定の閾値未満のルールＲ_ｉを選択する。次に、ステップＳ２０で、出力部１８が、ルールＫと、ルールの集合｛Ｒ_ｉ｝に含まれるルールＲ_ｉのうち、上記ステップＳ１８で選択されたルールＲ_ｉ以外のルールＲ_ｉとを含む説明情報を、機械学習モデルの推論結果用に出力する。一方、ステップＳ２２では、出力部１８が、上記ステップＳ１２で被覆関係として抽出されたルールＫと、ルールの集合｛Ｒ_ｉ｝とを含む説明情報を、機械学習モデルの推論結果用に出力する。そして、機械学習説明処理は終了する。

【0045】

以上説明したように、本実施形態に係る機械学習説明装置は、機械学習モデルの訓練に用いられた訓練データに基づいて、条件と条件を満たす場合の結論とをそれぞれが含む第１の複数のルールを生成する。また、機械学習説明装置は、訓練データのうち第１のルールに含まれる第１の条件を満たす第１の複数のデータと、訓練データのうち第２の複数のルールに含まれる複数の条件の少なくとも１つを満たす第２の複数のデータとが一致するルールの被覆関係を抽出する。さらに、機械学習説明装置は、訓練データに基づく第１のルールの成立可能性を示す値と第２の複数のルールのそれぞれの成立可能性を示す複数の値との比較結果に基づいて、第２の複数のルールから一又は複数のルールを選択する。そして、機械学習説明装置は、第１のルールと第２の複数のルールのうち一又は複数のルール以外の他のルールとを含む説明情報を機械学習モデルの推論結果用に出力する。これにより、全体とその例外となるルールが説明情報として出力されるため、機械学習モデルの推論結果の説明情報として、解釈がし易い説明情報を提供することができる。

【0046】

なお、上記実施形態では、機械学習説明プログラムが記憶部に予め記憶（インストール）されている態様を説明したが、これに限定されない。開示の技術に係るプログラムは、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、ＵＳＢメモリ等の記憶媒体に記憶された形態で提供することも可能である。

【符号の説明】

【0047】

１０ 機械学習説明装置
１２ 生成部
１４ 抽出部
１６ 選択部
１８ 出力部
４０ コンピュータ
４１ ＣＰＵ
４２ メモリ
４３ 記憶部
４９ 記憶媒体
５０ 機械学習説明プログラム

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】