ホーム > 特許ランキング > 国立大学法人電気通信大学
知財求人 - 知財ポータルサイト「IP Force」
特開2024-85839深層学習モデルの複数判断ルール獲得システム及び深層学習モデルの複数判断ルール獲得方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024085839
(43)【公開日】2024-06-27
(54)【発明の名称】深層学習モデルの複数判断ルール獲得システム及び深層学習モデルの複数判断ルール獲得方法
(51)【国際特許分類】
G06N 3/042 20230101AFI20240620BHJP
G06N 5/046 20230101ALI20240620BHJP
G06N 3/0455 20230101ALN20240620BHJP
【ＦＩ】
G06N3/042
G06N5/046
G06N3/0455
【審査請求】未請求
【請求項の数】5
【出願形態】ＯＬ
(21)【出願番号】P 2022200597
(22)【出願日】2022-12-15
(71)【出願人】
【識別番号】504133110
【氏名又は名称】国立大学法人電気通信大学
(74)【代理人】
【識別番号】110000925
【氏名又は名称】弁理士法人信友国際特許事務所
(72)【発明者】
【氏名】▲高▼玉 圭樹
(72)【発明者】
【氏名】新谷 大樹
(57)【要約】
【課題】深層学習モデルの性能はそのままで、１つの入力データに対する説明ではなく、モデルの判断を説明する複数のルールを獲得する。
【解決手段】入力データに対してIF-THENルールで分類する分類システムを深層学習モデルに適用して、複数判断ルールを獲得する、深層学習モデルの複数判断ルール獲得システムであり、深層学習モデルが持つ複数の層により分類又は圧縮された出力データが入力されるデコーダと、深層学習モデルが持つ複数の層の内、中間層の出力データ又は入力層の出力データと、深層学習モデルによる分類結果の関係をルールとして学習する分類システムと、を備える。デコーダは、分類システムで得られたルールを復元して獲得するようにした。
【選択図】図１
【解決手段】入力データに対してIF-THENルールで分類する分類システムを深層学習モデルに適用して、複数判断ルールを獲得する、深層学習モデルの複数判断ルール獲得システムであり、深層学習モデルが持つ複数の層により分類又は圧縮された出力データが入力されるデコーダと、深層学習モデルが持つ複数の層の内、中間層の出力データ又は入力層の出力データと、深層学習モデルによる分類結果の関係をルールとして学習する分類システムと、を備える。デコーダは、分類システムで得られたルールを復元して獲得するようにした。
【選択図】図１
【特許請求の範囲】
【請求項1】
入力データに対してIF-THENルールで分類する分類システムを深層学習モデルに適用して、複数判断ルールを獲得する、深層学習モデルの複数判断ルール獲得システムであり、
前記深層学習モデルが持つ複数の層により分類又は圧縮された出力データが入力されるデコーダと、
前記深層学習モデルが持つ複数の層の内、中間層の出力データ又は入力層の出力データと、前記深層学習モデルによる分類結果の関係をルールとして学習する分類システムと、を備え、
前記デコーダは、前記分類システムで得られたルールを復元して獲得する
深層学習モデルの複数判断ルール獲得システム。
前記深層学習モデルが持つ複数の層により分類又は圧縮された出力データが入力されるデコーダと、
前記深層学習モデルが持つ複数の層の内、中間層の出力データ又は入力層の出力データと、前記深層学習モデルによる分類結果の関係をルールとして学習する分類システムと、を備え、
前記デコーダは、前記分類システムで得られたルールを復元して獲得する
深層学習モデルの複数判断ルール獲得システム。
【請求項2】
前記中間層の出力データは、最終層の１つ前の中間層の出力データである
請求項１に記載の深層学習モデルの複数判断ルール獲得システム。
請求項１に記載の深層学習モデルの複数判断ルール獲得システム。
【請求項3】
前記分類システムは、ルールの条件領域が狭くなる処理を行い、獲得されるルールが過剰汎化されたルールとならないようにした
請求項１に記載の深層学習モデルの複数判断ルール獲得システム。
請求項１に記載の深層学習モデルの複数判断ルール獲得システム。
【請求項4】
前記デコーダは、学習済の前記深層学習モデルの前記出力データから前記学習済の深層学習モデルへの入力データを復元できるよう、前記深層学習モデルへの前記入力データと前記デコーダによる復元データとの差が少なくなるように、前記デコーダの重みを学習する
請求項１に記載の深層学習モデルの複数判断ルール獲得システム。
請求項１に記載の深層学習モデルの複数判断ルール獲得システム。
【請求項5】
入力データに対してIF-THENルールで分類する分類システムを深層学習モデルに適用して、複数判断ルールを獲得する、深層学習モデルの複数判断ルール獲得方法であり、
前記深層学習モデルが持つ複数の層により分類又は圧縮された出力データが入力されるデコード処理と、
前記深層学習モデルが持つ複数の層の内、中間層の出力データ又は入力層の出力データと、前記深層学習モデルによる分類結果の関係をルールとして得る分類処理と、を含み、
前記デコード処理では、前記分類処理により得られたルールを復元して獲得する
深層学習モデルの複数判断ルール獲得方法。
前記深層学習モデルが持つ複数の層により分類又は圧縮された出力データが入力されるデコード処理と、
前記深層学習モデルが持つ複数の層の内、中間層の出力データ又は入力層の出力データと、前記深層学習モデルによる分類結果の関係をルールとして得る分類処理と、を含み、
前記デコード処理では、前記分類処理により得られたルールを復元して獲得する
深層学習モデルの複数判断ルール獲得方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、例えば学習分類子システムによる深層学習モデルの複数判断ルールの獲得を実現するのに好適な、深層学習モデルの複数判断ルール獲得システム及び深層学習モデルの複数判断ルール獲得方法に関する。
【背景技術】
【0002】
様々な分野で高い精度の結果を導いている深層学習モデル(Deep Learning)は、ネットワーク構造の複雑さから、その学習内容は人間に理解困難なブラックボックスモデルであり、どのような判断ルールで結果を獲得しているのかを取得することは困難であった。
【0003】
例えば、図１０に示すような学習済深層学習モデル１０に、複数の手書き数字１ａ，１ｂ，１ｃを入力させて、その手書き数字１ａ，１ｂ，１ｃが、どの数字を書いたものかを、学習済深層学習モデル１０の複数の層で分類して、最終的に出力データ１１を得るようにしたとする。
図１０の例では、手書き数字１ａ，１ｂ，１ｃが、「７」を書いたものであるが、手書き数字１ａ，１ｂ，１ｃの形状は全く相違しており、手書き数字１ａ，１ｂ，１ｃのどの形状に着目して、「７」の出力データ１１と判断したのかは、不明である。
図１０の例では、手書き数字１ａ，１ｂ，１ｃが、「７」を書いたものであるが、手書き数字１ａ，１ｂ，１ｃの形状は全く相違しており、手書き数字１ａ，１ｂ，１ｃのどの形状に着目して、「７」の出力データ１１と判断したのかは、不明である。
【0004】
このため、深層学習モデルの判断ルールを得るために、従来から様々な研究がなされ、提案されてきた。例えば、畳み込みニューラルネットワークモデルの特徴マップを利用した方法（非特許文献１）や、勾配を用いた方法（非特許文献２）が提案されている。
【先行技術文献】
【特許文献】
【0005】
【非特許文献1】R.R.Selvaraju, et al, "Grad-CAM: Visual Explanations from Deep Networks via Gradient-Based Localization," 2017 IEEE International Conference on Computer Vision (ICCV), pp. 618-626, 2017.
【非特許文献2】J.T.Springenberg, et al, “Striving for simplicity: The all convolutional net. In B. Yoshua and L. Yann, editors”, 3rd International Conference on Learning Representations (ICLR), 2015.
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、これらの従来技術は、ある１つの入力データに対する影響範囲を可視化する局所的な説明にとどまっており、モデルそのものが学習した判断根拠を多数の入力画像をもとに人間が発見する必要がある。
【0007】
また、深層学習モデル全体を説明する方法として、決定木を用いてブラックボックスモデルを近似した解釈可能なモデルを学習する方法がある。しかしながら、決定木を用いてブラックボックスモデルを近似した解釈可能なモデルを学習する手法は、表現力が高い複雑なモデルを人間が理解可能な単純なモデルで表現しているので、深層学習モデルに比べて性能が低く、かつ性能を上げるためには木が深くなり理解が困難になるという問題があった。
【0008】
本発明は、深層学習モデルの性能はそのままで、１つの入力データに対する説明ではなく、モデルの判断を説明する複数のルールを獲得できる深層学習モデルの複数判断ルール獲得システム及び深層学習モデルの複数判断ルール獲得方法を提供することを目的とする。
【課題を解決するための手段】
【0009】
本発明の深層学習モデルの複数判断ルール獲得システムは、入力データに対してIF-THENルールで分類する分類システムを深層学習モデルに適用して、複数判断ルールを獲得する、深層学習モデルの複数判断ルール獲得システムである。
そして、深層学習モデルの複数判断ルール獲得システムは、深層学習モデルが持つ複数の層により分類又は圧縮された出力データが入力されるデコーダと、深層学習モデルが持つ複数の層の内、中間層の出力データ又は入力層の出力データと、深層学習モデルによる分類結果の関係をルールとして学習する分類システムと、を備える。
デコーダは、分類システムで得られたルールを復元して獲得するものである。
そして、深層学習モデルの複数判断ルール獲得システムは、深層学習モデルが持つ複数の層により分類又は圧縮された出力データが入力されるデコーダと、深層学習モデルが持つ複数の層の内、中間層の出力データ又は入力層の出力データと、深層学習モデルによる分類結果の関係をルールとして学習する分類システムと、を備える。
デコーダは、分類システムで得られたルールを復元して獲得するものである。
【0010】
また、本発明の深層学習モデルの複数判断ルール獲得方法は、入力データに対してIF-THENルールで分類する分類システムを深層学習モデルに適用して、複数判断ルールを獲得する、深層学習モデルの複数判断ルール獲得方法である。
そして、深層学習モデルの複数判断ルール獲得方法は、深層学習モデルが持つ複数の層により分類又は圧縮された出力データが入力されるデコード処理と、深層学習モデルが持つ複数の層の内、中間層の出力データ又は入力層の出力データと、前記深層学習モデルによる分類結果の関係をルールとして得る分類処理と、を含む。
デコード処理では、分類処理により得られたルールを復元して獲得するものである。
そして、深層学習モデルの複数判断ルール獲得方法は、深層学習モデルが持つ複数の層により分類又は圧縮された出力データが入力されるデコード処理と、深層学習モデルが持つ複数の層の内、中間層の出力データ又は入力層の出力データと、前記深層学習モデルによる分類結果の関係をルールとして得る分類処理と、を含む。
デコード処理では、分類処理により得られたルールを復元して獲得するものである。
【発明の効果】
【0011】
本発明によれば、深層学習モデルの性能はそのままで、１つの入力データに対する説明ではなく、モデルの判断を説明する複数のルールを獲得できるようになる。
【図面の簡単な説明】
【0012】
【図1】本発明の一実施の形態例による深層学習モデルの複数判断ルール獲得システムの例を示す構成図である。
【図2】本発明の一実施の形態例による深層学習モデルの複数判断ルール獲得システムによる処理例を示す図である。
【図3】オートエンコーダ及びＡＥデコーダを示す図である。
【図4】教師あり学習（深層学習モデル）と教師なし学習（ＡＥデコーダ）を示す図である。
【図5】本発明の一実施の形態例による教師あり学習（深層学習モデル）と教師なし学習（ＡＥデコーダ）と強化学習（学習分類子システム）の組み合わせを示す図である。
【図6】本発明の一実施の形態例による深層学習とＡＥデコーダとサンプリングの組み合わせを示す図である。
【図7】本発明の一実施の形態例によるIF-THENルールの区間を小さくする処理を示す図である。
【図8】本発明の一実施の形態例による複数ルール獲得例を示す図である。
【図9】本発明の一実施の形態例によるデコードしたルールの例を示す図である。
【図10】深層学習モデルによる入力と出力の例を示す図である。
【発明を実施するための形態】
【0013】
【0014】
［システム全体の構成］
図１は、本例の深層学習モデルの複数判断ルール獲得システムの構成を示す図である。
図１において、学習済深層学習モデル１０は、入力データに対してIF-THENルールで分類する深層学習モデル(Deep Learning)である。この学習済深層学習モデル１０に、入力データ３１を与えることで、複数の層で分類が行われ、最終層（出力層）において、分類結果としての出力データ１１が得られる。図１に示す層１０ｉｎは、複数の層の内の最初の層である入力層あり、層１０ｏｕｔは、出力層である。
学習済深層学習モデル１０への入力データ３１は、環境（データセット）３０から与えられる。
本例の深層学習モデルの複数判断ルール獲得システムは、この学習済深層学習モデル１０における判断ルールを複数獲得するものである。
図１は、本例の深層学習モデルの複数判断ルール獲得システムの構成を示す図である。
図１において、学習済深層学習モデル１０は、入力データに対してIF-THENルールで分類する深層学習モデル(Deep Learning)である。この学習済深層学習モデル１０に、入力データ３１を与えることで、複数の層で分類が行われ、最終層（出力層）において、分類結果としての出力データ１１が得られる。図１に示す層１０ｉｎは、複数の層の内の最初の層である入力層あり、層１０ｏｕｔは、出力層である。
学習済深層学習モデル１０への入力データ３１は、環境（データセット）３０から与えられる。
本例の深層学習モデルの複数判断ルール獲得システムは、この学習済深層学習モデル１０における判断ルールを複数獲得するものである。
【0015】
学習済深層学習モデル１０の出力データは、オートエンコーダ用デコーダ２０によりデコードされる。以下の説明では、オートエンコーダ用デコーダをＡＥデコーダと称する。
ＡＥデコーダ２０は、学習済深層学習モデル１０に入力したデータを復元できるように学習する。
これにより、例えば図２に示すように、学習済深層学習モデル１０に、複数の入力データ３１ａ，３１ｂ，３１ｃが供給されるとき、学習済深層学習モデル１０における複数層での分類により出力データ(「７」という分類結果)が得られる。図２の例は、各入力データ３１ａ，３１ｂ，３１ｃが、「７」の手書き文字を読み取ったデータであり、入力データ３１ａ，３１ｂ，３１ｃは、それぞれ異なる書体で書かれている。
ＡＥデコーダ２０は、学習済深層学習モデル１０に入力したデータを復元できるように学習する。
これにより、例えば図２に示すように、学習済深層学習モデル１０に、複数の入力データ３１ａ，３１ｂ，３１ｃが供給されるとき、学習済深層学習モデル１０における複数層での分類により出力データ(「７」という分類結果)が得られる。図２の例は、各入力データ３１ａ，３１ｂ，３１ｃが、「７」の手書き文字を読み取ったデータであり、入力データ３１ａ，３１ｂ，３１ｃは、それぞれ異なる書体で書かれている。
【0016】
学習済深層学習モデル１０における分類では、入力データがどの数字であるかを分類し、その分類結果をＡＥデコーダ２０でデコード処理することで、出力結果２１が得られる。
出力結果２１は、深層学習モデルの複数の判断ルールを獲得したデータになっている。例えば図２の例では、入力データ３１ａの特徴部分１０１（図２の出力において丸で囲った箇所）、入力データ３１ｂの特徴部分１０２、及び入力データ３１ｃの特徴部分１０３から、数字「７」と判断した判断ルールが獲得される。
出力結果２１は、深層学習モデルの複数の判断ルールを獲得したデータになっている。例えば図２の例では、入力データ３１ａの特徴部分１０１（図２の出力において丸で囲った箇所）、入力データ３１ｂの特徴部分１０２、及び入力データ３１ｃの特徴部分１０３から、数字「７」と判断した判断ルールが獲得される。
【0017】
図１の説明に戻ると、本例の深層学習モデルの複数判断ルール獲得システムは、学習済深層学習モデル１０が持つ複数の層の内、少なくとも出力層１０ｏｕｔの入力データ(出力層１０ｏｕｔの１層前の出力データ)と、学習済深層学習モデル１０による分類結果の関係をルールとして学習する学習分類子システム４０を備える。また、出力層１０ｏｕｔの入力データの代わりに出力層１０ｏｕｔの出力データでもよい。
学習分類子システム４０は、ＸＣＳ(Accuracy-based Learning Classifier System)を実数値入力に拡張したＸＣＳＲ(ＸＣＳ for Real Value)として構成され、学習済深層学習モデル１０の少なくとも出力層１０ｏｕｔの入力データ１２を取得する。出力層１０ｏｕｔの入力データ１２は、出力層１０ｏｕｔの１つ前の層の出力データである。
学習分類子システム４０は、ＸＣＳ(Accuracy-based Learning Classifier System)を実数値入力に拡張したＸＣＳＲ(ＸＣＳ for Real Value)として構成され、学習済深層学習モデル１０の少なくとも出力層１０ｏｕｔの入力データ１２を取得する。出力層１０ｏｕｔの入力データ１２は、出力層１０ｏｕｔの１つ前の層の出力データである。
【0018】
学習分類子システム４０は、出力層１０ｏｕｔの入力データ１２から、IF-THENルールを生成し、更新する。すなわち、学習分類子システム４０は、IF-THENルールのIF部についての区間を持ち、入力データ１２がその区間に含まれた場合に、照合したとみなす。
この学習分類子システム４０は、深層学習モデル１０の出力層１０ｏｕｔの入力データ１２と分類結果の関係をルールとして学習して、得られた結果としてのルール４１を、ＡＥデコーダ２０に供給して、学習済深層学習モデル１０の判断ルールを復元させる。
なお、学習分類子システム４０は、分類結果４２を環境３０（データセット）に送り、その分類結果４２が正しいか否かに応じて、環境３０から適切な報酬３２を取得して、学習を行う。
この学習分類子システム４０は、深層学習モデル１０の出力層１０ｏｕｔの入力データ１２と分類結果の関係をルールとして学習して、得られた結果としてのルール４１を、ＡＥデコーダ２０に供給して、学習済深層学習モデル１０の判断ルールを復元させる。
なお、学習分類子システム４０は、分類結果４２を環境３０（データセット）に送り、その分類結果４２が正しいか否かに応じて、環境３０から適切な報酬３２を取得して、学習を行う。
【0019】
これにより、ＡＥデコーダ２０は、深層学習モデルの複数の判断ルールとしての出力結果２１を生成する。この出力結果は、このシステムの利用者が解釈可能なルールである。
【0020】
［ＡＥデコーダの構成］
図３は、ＡＥデコーダ２０が復元を行う一般的な例を示す図である。
ＡＥデコーダ２０は、本来は、図３に示すように、オートエンコーダ（ＡＥエンコーダ）５０により入力データ３１ａをエンコードした出力５１を取得し、この出力５１を復元することで、復元データ２１ｘを得ている。ここで、ＡＥデコーダ２０は、入力データ３１ａ（入力画像）と復元データ２１ｘ（復元画像）との差が少なくなるように、ＡＥエンコーダ５０とＡＥデコーダ２０の重みを学習する。
本例の場合、ＡＥデコーダ２０は、図４で後述するように、学習済深層学習モデル１０の中間表現から復元できるように学習を行っている。
図３は、ＡＥデコーダ２０が復元を行う一般的な例を示す図である。
ＡＥデコーダ２０は、本来は、図３に示すように、オートエンコーダ（ＡＥエンコーダ）５０により入力データ３１ａをエンコードした出力５１を取得し、この出力５１を復元することで、復元データ２１ｘを得ている。ここで、ＡＥデコーダ２０は、入力データ３１ａ（入力画像）と復元データ２１ｘ（復元画像）との差が少なくなるように、ＡＥエンコーダ５０とＡＥデコーダ２０の重みを学習する。
本例の場合、ＡＥデコーダ２０は、図４で後述するように、学習済深層学習モデル１０の中間表現から復元できるように学習を行っている。
【0021】
［教師あり学習と教師なし学習の組み合わせ］
図４は、本例のＡＥデコーダ２０が、学習済深層学習モデル１０の中間表現から学習を行う処理を示す。
学習済深層学習モデル１０は、教師あり学習（深層学習）を行うものであるが、ＡＥデコーダ２０は、教師なし学習を行うものである。
図４に示すように、学習済深層学習モデル１０は、入力データを分類(圧縮)する複数の層を備え、入力層１０ｉｎ、出力層１０ｏｕｔの他に、１つ又は複数の中間層１０ｍを有する。なお、各層で入力データを分類する処理では、入力データを圧縮する処理が行われることになる。
図４は、本例のＡＥデコーダ２０が、学習済深層学習モデル１０の中間表現から学習を行う処理を示す。
学習済深層学習モデル１０は、教師あり学習（深層学習）を行うものであるが、ＡＥデコーダ２０は、教師なし学習を行うものである。
図４に示すように、学習済深層学習モデル１０は、入力データを分類(圧縮)する複数の層を備え、入力層１０ｉｎ、出力層１０ｏｕｔの他に、１つ又は複数の中間層１０ｍを有する。なお、各層で入力データを分類する処理では、入力データを圧縮する処理が行われることになる。
【0022】
ここで、ＡＥデコーダ２０は、少なくとも出力層１０ｏｕｔの入力データ、つまり出力層１０ｏｕｔの直前の中間層１０ｍの出力データを使用して、学習を行う。すなわち、ＡＥデコーダ２０の入力層２０ｉｎには、出力層１０ｏｕｔの入力データが供給されて、ＡＥデコーダ２０の学習が行われる。ここで行われる学習は、学習済深層学習モデル１０への入力データ（入力画像）３１ａと、ＡＥデコーダ２０の復元データ（出力画像）２１との相違が少なくなるような学習である。
このように、出力層１０ｏｕｔの入力データを使用するのは、学習済深層学習モデル１０の中間表現として、出力層１０ｏｕｔに近いほど大局的な特徴を捉えているためである。但し、出力層１０ｏｕｔの入力データである、出力層１０ｏｕｔの１つ前の中間層の出力データを使用するのは一例であり、ＡＥデコーダ２０は、その他の中間層の出力データを使用して学習してもよい。また、学習済深層学習モデル１０は、入力層と出力層の２層のみで構成さえる場合もあり、その場合には入力層１０ｉｎの出力データをＡＥデコーダ２０に供給する。
このように、出力層１０ｏｕｔの入力データを使用するのは、学習済深層学習モデル１０の中間表現として、出力層１０ｏｕｔに近いほど大局的な特徴を捉えているためである。但し、出力層１０ｏｕｔの入力データである、出力層１０ｏｕｔの１つ前の中間層の出力データを使用するのは一例であり、ＡＥデコーダ２０は、その他の中間層の出力データを使用して学習してもよい。また、学習済深層学習モデル１０は、入力層と出力層の２層のみで構成さえる場合もあり、その場合には入力層１０ｉｎの出力データをＡＥデコーダ２０に供給する。
【0023】
なお、ＡＥデコーダ２０に出力層１０ｏｕｔの入力データを供給する際には、データの各次元間のスケールを合わせるために、正規化部６０により正規化処理を行う。さらに、この正規化処理を行う際には、正規化部６０は、ノイズ６１を加えて正規化処理を行うようにする。
【0024】
この正規化処理を行うのは、学習済深層学習モデル１０の中間表現において各次元間のスケールが大きく異なる可能性があり、パラメータの更新幅に偏りができて、ＡＥデコーダ２０が学習しづらくなるからである。
また、学習済深層学習モデル１０の中間表現をそのままＡＥデコーダ２０に学習させるだけでは、ＡＥデコーダ２０が潜在空間の１点からの写像を学習するため、入力データと僅かに違う値であった場合には、未知の入力に対して適切に復元できないという問題が発生する可能性がある。このため、正規化部６０にノイズ６１を加える処理を行うことにより、このような問題の発生を解決するようにしている。
また、学習済深層学習モデル１０の中間表現をそのままＡＥデコーダ２０に学習させるだけでは、ＡＥデコーダ２０が潜在空間の１点からの写像を学習するため、入力データと僅かに違う値であった場合には、未知の入力に対して適切に復元できないという問題が発生する可能性がある。このため、正規化部６０にノイズ６１を加える処理を行うことにより、このような問題の発生を解決するようにしている。
【0025】
図４における、正規化とノイズを加える処理をより詳細に説明すると、学習済深層学習モデル１０から得られた中間表現に対して、正規化部６０において各次元で例えば［－１，１］の範囲で正規化する。さらに、ＡＥデコーダ２０は、正規化部６０で正規化した値に ［－ｄｎｏｉｓｅ，ｄｎｏｉｓｅ］の範囲で正規分布に基づくノイズを加えて、正規化とノイズが加えられたデータを学習する。
ここでのＡＥデコーダ２０による学習としては、例えば、学習済の深層学習モデル１０の出力データから、その学習済の深層学習モデル１０への入力データを復元できるように学習すればよい。すなわち、学習済深層学習モデル１０への入力データとＡＥデコーダ２０による復元データとの差が少なくなるように、ＡＥデコーダ２０の重みを学習してもよい。これにより、ＡＥデコーダ２０が、学習済の深層学習モデル１０への入力データを復元できるように学習することができる。
ここでのＡＥデコーダ２０による学習としては、例えば、学習済の深層学習モデル１０の出力データから、その学習済の深層学習モデル１０への入力データを復元できるように学習すればよい。すなわち、学習済深層学習モデル１０への入力データとＡＥデコーダ２０による復元データとの差が少なくなるように、ＡＥデコーダ２０の重みを学習してもよい。これにより、ＡＥデコーダ２０が、学習済の深層学習モデル１０への入力データを復元できるように学習することができる。
【0026】
なお、図４に示す例では、学習分類子システム４０とＡＥレコーダ２０を組み合わせる構成で深層学習モデルの判断ルールを獲得・可視化(復元)するようしたが、学習分類子システム４０を使用するのは一例である。すなわち、学習済深層学習モデル１０とＡＥデコーダ２０とを接続した構成として、ＡＥデコーダ２０が学習済深層学習モデル１０の判断ルールを獲得・可視化(復元)することが可能であれば、学習分類子システム４０などの分類システムを使用しない構成としてもよい。
【0027】
［教師あり学習と教師なし学習と強化学習の組み合わせ］
図５は、本例の深層学習モデルの複数判断ルール獲得システムが行う処理である、教師あり学習（学習済深層学習モデル１０）と教師なし学習（ＡＥデコーダ２０）と強化学習（学習分類子システム４０）の組み合わせを示す。
既に説明したように、ＡＥデコーダ２０は、出力層１０ｏｕｔの１つ前の中間層の出力データを、正規化部６０で正規化すると共に、ノイズ６１を加えた上で、学習するように構成されている。
図５は、本例の深層学習モデルの複数判断ルール獲得システムが行う処理である、教師あり学習（学習済深層学習モデル１０）と教師なし学習（ＡＥデコーダ２０）と強化学習（学習分類子システム４０）の組み合わせを示す。
既に説明したように、ＡＥデコーダ２０は、出力層１０ｏｕｔの１つ前の中間層の出力データを、正規化部６０で正規化すると共に、ノイズ６１を加えた上で、学習するように構成されている。
【0028】
ここで、学習分類子システム４０は、例えば出力層１０ｏｕｔの１つ前の中間層の出力データＺｉと、出力層１０ｏｕｔの出力データＺｉ＋１とを使って、分類結果４２を出力して、報酬３２を得る。
具体的には、図５に示すように、「７」を手書きした文字画像のデータ３１ａ，３１ｂ，３１ｃが学習済深層学習モデル１０に入力され、出力層１０ｏｕｔの１つ前の中間層の出力データＺｉが特定の範囲にあり、かつ出力層１０ｏｕｔの出力データＺｉ＋１が数字「７」と認識した結果であるときに、学習分類子システム４０は、「７」と認識するIF-THENルールを取得する。
具体的には、図５に示すように、「７」を手書きした文字画像のデータ３１ａ，３１ｂ，３１ｃが学習済深層学習モデル１０に入力され、出力層１０ｏｕｔの１つ前の中間層の出力データＺｉが特定の範囲にあり、かつ出力層１０ｏｕｔの出力データＺｉ＋１が数字「７」と認識した結果であるときに、学習分類子システム４０は、「７」と認識するIF-THENルールを取得する。
【0029】
ここで、図には示していないが、本例の学習分類子システム４０は、実行部と強化部と発見部からなる。
実行部は、環境からの状態に照合する分類子(IF-THENルール)集合から行動を選択する。
強化部は、実行部で選択された行動と同じ行動部を持つ分類子から行動集合を形成し、獲得した報酬に基づいて行動集合内の分類子の評価値を更新する。
発見部は、遺伝的アルゴリズムによる交叉と突然変異を行うことで、分類子の生成と削除を行う。
そして、学習分類子システム４０は、実行部と強化部と発見部での操作を繰り返し実行して、IF-THENルールを学習する。
実行部は、環境からの状態に照合する分類子(IF-THENルール)集合から行動を選択する。
強化部は、実行部で選択された行動と同じ行動部を持つ分類子から行動集合を形成し、獲得した報酬に基づいて行動集合内の分類子の評価値を更新する。
発見部は、遺伝的アルゴリズムによる交叉と突然変異を行うことで、分類子の生成と削除を行う。
そして、学習分類子システム４０は、実行部と強化部と発見部での操作を繰り返し実行して、IF-THENルールを学習する。
【0030】
既に説明したように、出力層１０ｏｕｔの１つ前の中間層の出力データＺｉを使用するのは、出力層１０ｏｕｔに近いデータであるほど大局的な特徴を捉えているためであるが、学習分類子システム４０は、その他の中間層の出力データを使用してIF-THENルールを取得する学習を行ってもよい。
【0031】
学習分類子システム４０が学習したIF-THENルールを可視化(復元)する際には、サンプリング処理を行うようにしている。
図６は、教師なし学習（ＡＥデコーダ２０）と強化学習（学習分類子システム４０）を組み合わせる際に、ＡＥデコーダ２０がサンプリングを行うことを説明するための図である。
学習分類子システム４０で得られたIF-THENルールを示す分類子は、潜在空間上(深層学習を用いて圧縮された空間上)で得られたルールであるため、それを観測空間上(復元された空間上)で再構成(再現)する必要がある。このため、ＡＥデコーダ２０は、学習分類子システム４０で得られた分類子の条件部からランダムサンプリングし、ランダムサンプリングした値を復元する。ここで、ＡＥデコーダ２０は、復元後の各次元について、生成サンプリング回数Ｎｓ，潜在空間からサンプリングし、同一とみなす最小割合が一定値以上を持つ場合はその値を使用し、それ以外の値を持つ場合には使用しない。
これにより、ＡＥデコーダ２０は、人間が解釈可能な表現によりルールを出力することができる。
図６は、教師なし学習（ＡＥデコーダ２０）と強化学習（学習分類子システム４０）を組み合わせる際に、ＡＥデコーダ２０がサンプリングを行うことを説明するための図である。
学習分類子システム４０で得られたIF-THENルールを示す分類子は、潜在空間上(深層学習を用いて圧縮された空間上)で得られたルールであるため、それを観測空間上(復元された空間上)で再構成(再現)する必要がある。このため、ＡＥデコーダ２０は、学習分類子システム４０で得られた分類子の条件部からランダムサンプリングし、ランダムサンプリングした値を復元する。ここで、ＡＥデコーダ２０は、復元後の各次元について、生成サンプリング回数Ｎｓ，潜在空間からサンプリングし、同一とみなす最小割合が一定値以上を持つ場合はその値を使用し、それ以外の値を持つ場合には使用しない。
これにより、ＡＥデコーダ２０は、人間が解釈可能な表現によりルールを出力することができる。
【0032】
［IF-THENルールの区間を小さくする処理］
学習分類子システム４０がIF-THENルールを学習する際には、IF-THENルールの区間を狭くして、IF-THENルールの精度を上げるようにしている。
具体的には、学習分類子システム４０は、IF-THENルールを学習する際に、予測報酬ｐがある精度以上で、区間がある範囲より大きいルールを対象とする。例えば、予測報酬ｐが５０％以上で、かつ区間が行動集合内のルールの±標準偏差×２より大きいルールを対象にする。
学習分類子システム４０がIF-THENルールを学習する際には、IF-THENルールの区間を狭くして、IF-THENルールの精度を上げるようにしている。
具体的には、学習分類子システム４０は、IF-THENルールを学習する際に、予測報酬ｐがある精度以上で、区間がある範囲より大きいルールを対象とする。例えば、予測報酬ｐが５０％以上で、かつ区間が行動集合内のルールの±標準偏差×２より大きいルールを対象にする。
【0033】
図７は、このIF-THENルールの区間を小さくする処理の例を示す。
図７Ａは、区間の両端ｐｉ，ｑｉを、それぞれパラメータＳｓｈｒｉｎｋ／２ずつ小さくした例である。
図７Ｂは、区間の両端ｐｉ，ｑｉと、環境からの入力σｉの比率に基づいて小さくした例である。
図７Ｂの場合、一方の端ｐｉは、数１式で示され、他方の端ｑｉは、数２式で示される。
図７Ａは、区間の両端ｐｉ，ｑｉを、それぞれパラメータＳｓｈｒｉｎｋ／２ずつ小さくした例である。
図７Ｂは、区間の両端ｐｉ，ｑｉと、環境からの入力σｉの比率に基づいて小さくした例である。
図７Ｂの場合、一方の端ｐｉは、数１式で示され、他方の端ｑｉは、数２式で示される。
【0034】
［数１］
Ｓｓｈｒｉｎｋ×［（σｉ－ｐｉ）／（ｑｉ－ｐｉ）］
Ｓｓｈｒｉｎｋ×［（σｉ－ｐｉ）／（ｑｉ－ｐｉ）］
【0035】
［数２］
Ｓｓｈｒｉｎｋ×［（ｑｉ－σｉ）／（ｑｉ－ｐｉ）］
Ｓｓｈｒｉｎｋ×［（ｑｉ－σｉ）／（ｑｉ－ｐｉ）］
【0036】
このようにIF-THENルールの区間を小さくすることで、IF-THENルールの精度を上げることができる。
【0037】
［IF-THENルールを復元した例］
図８は、本例の学習済深層学習モデル１０の中間表現を学習分類子システム４０で学習したルールに基づいて、手書き数字「７」の画像を、ＡＥデコーダ２０で復元した例を示す。
すなわち、図８の上段は３種類の手書き数字「７」の入力画像を示し、中段及び下段は、その手書き数字「７」の画像のどの部分から数字「７」と判断するかというルールを示す図である。ここでは、中段に示す判断ルールと、下段に示す判断ルールの２つが示されている。
図８は、本例の学習済深層学習モデル１０の中間表現を学習分類子システム４０で学習したルールに基づいて、手書き数字「７」の画像を、ＡＥデコーダ２０で復元した例を示す。
すなわち、図８の上段は３種類の手書き数字「７」の入力画像を示し、中段及び下段は、その手書き数字「７」の画像のどの部分から数字「７」と判断するかというルールを示す図である。ここでは、中段に示す判断ルールと、下段に示す判断ルールの２つが示されている。
【0038】
それぞれの判断ルールを示す画像の内で、白色の箇所が、数字「７」と筆記具で書かれたと判断できる領域であり、黒色の箇所が、筆記具で書かれていないと判断できる領域である。また、グレーの箇所は、数字「７」が書かれた区間と書かれていない区間のいずれでもよいと判断される領域である。
図８に示す３種類の手書き数字「７」の場合、いずれの画像についても、丸で囲った領域から、それぞれの判断ルールに基づいて、数字「７」と分類されている。
図８に示す３種類の手書き数字「７」の場合、いずれの画像についても、丸で囲った領域から、それぞれの判断ルールに基づいて、数字「７」と分類されている。
【0039】
図９は、図７で説明した、IF-THENルールの区間を小さくする処理を行った場合に得られる判断ルールの例を示す。
図９Ａは、図７に示す区間の両端ｐｉ，ｑｉを、それぞれパラメータＳｓｈｒｉｎｋ／２ずつ小さくした例（図７Ａ）であり、数字「７」の手書き画像から判断ルールを獲得した例である。この図９Ａの例では、８個の判断ルールを示している。
図９Ｂは、図７に示す区間の両端ｐｉ，ｑｉと、環境からの入力σｉの比率に基づいて小さくした例（図７Ｂ）で、数字「７」の手書き画像から判断ルールを獲得した例である。この図９Ｂの例では、９個の判断ルールを示している。
図９Ａは、図７に示す区間の両端ｐｉ，ｑｉを、それぞれパラメータＳｓｈｒｉｎｋ／２ずつ小さくした例（図７Ａ）であり、数字「７」の手書き画像から判断ルールを獲得した例である。この図９Ａの例では、８個の判断ルールを示している。
図９Ｂは、図７に示す区間の両端ｐｉ，ｑｉと、環境からの入力σｉの比率に基づいて小さくした例（図７Ｂ）で、数字「７」の手書き画像から判断ルールを獲得した例である。この図９Ｂの例では、９個の判断ルールを示している。
【0040】
図９に示す判断ルールは、図８の例と同様に、白色の箇所が、数字「７」と筆記具で書かれたと判断できる領域であり、黒色の箇所が、筆記具で書かれていないと判断できる領域である。また、グレーの箇所が、書かれた区間と書かれていない区間のいずれでもよいと判断される領域である。
この８個の判断ルール、あるいは９個の判断ルールから、様々な筆跡の手書き数字「７」を、数字「７」と正しく認識するルールを獲得することが可能になる。すなわち、手書き数字「７」を判定する１つのルールではなく、手書き数字の異なる筆跡毎のルールを獲得することが可能になる。
図９Ａと図９Ｂを比較するとわかるように、IF-THENルールの区間を小さくする２つの処理で大きな差はないが、図８よりは鮮明な判断ルールの獲得ができていることがわかる。
この８個の判断ルール、あるいは９個の判断ルールから、様々な筆跡の手書き数字「７」を、数字「７」と正しく認識するルールを獲得することが可能になる。すなわち、手書き数字「７」を判定する１つのルールではなく、手書き数字の異なる筆跡毎のルールを獲得することが可能になる。
図９Ａと図９Ｂを比較するとわかるように、IF-THENルールの区間を小さくする２つの処理で大きな差はないが、図８よりは鮮明な判断ルールの獲得ができていることがわかる。
【0041】
なお、ここまで説明した実施の形態例では、IF-THENルールで分類する分類システムの一つの例としての学習分類子システム４０を用意して、デコーダが学習分類子システムで得られたルールを復元して獲得する例について説明した。
このように学習分類子システム４０を使用するのは一例であり、IF-THENルールで分類するその他の分類システムを使用してもよい。
例えば、本発明は、決定木を適用してIF-THENルールで分類する分類システムや、ランダムフォレストを適用してIF-THENルールで分類する分類システムを使用してもよい。デコーダ（ＡＥデコーダ）では、これらの決定木やランダムフォレストを適用した分類システムで得られたルールを復元して獲得する処理を行う。
このように学習分類子システム４０を使用するのは一例であり、IF-THENルールで分類するその他の分類システムを使用してもよい。
例えば、本発明は、決定木を適用してIF-THENルールで分類する分類システムや、ランダムフォレストを適用してIF-THENルールで分類する分類システムを使用してもよい。デコーダ（ＡＥデコーダ）では、これらの決定木やランダムフォレストを適用した分類システムで得られたルールを復元して獲得する処理を行う。
【0042】
また、ここまで説明した実施の形態例では、手書き数字から数字を認識する処理に適用した例としたが、本発明は、深層学習モデルで様々な分類処理を行う場合に適用が可能である。
例えば、生体を撮影した画像（ＣＴ画像、ＭＲＩ画像、超音波画像など）から、特定の疾患に相当するか否かを、深層学習モデルで判断する場合に適用が可能である。このような特定の疾患に相当するか否かの判断に適用することで、疾患の有無を判断する根拠が明確化（可視化）し、深層学習モデルに対する大域的な説明が可能になる。
また、カメラが撮影した画像から、画像内の物体を深層学習モデルで認識する処理など、その他の様々な認識処理にも本発明は適用が可能である。
例えば、生体を撮影した画像（ＣＴ画像、ＭＲＩ画像、超音波画像など）から、特定の疾患に相当するか否かを、深層学習モデルで判断する場合に適用が可能である。このような特定の疾患に相当するか否かの判断に適用することで、疾患の有無を判断する根拠が明確化（可視化）し、深層学習モデルに対する大域的な説明が可能になる。
また、カメラが撮影した画像から、画像内の物体を深層学習モデルで認識する処理など、その他の様々な認識処理にも本発明は適用が可能である。
【0043】
また、本発明を実現する図１に示す構成は、実施の形態例で説明した処理を行うプログラムを実装したコンピュータ、あるいは図１に示す構成を実行するように組まれた専用のハードウェアで実現が可能である。
コンピュータで構成する場合には、本発明の各処理を実行するプログラムを、メモリや記録媒体に記憶させた上で、そのプログラムをコンピュータに実装することで、図１に示す構成とすることができる。
コンピュータで構成する場合には、本発明の各処理を実行するプログラムを、メモリや記録媒体に記憶させた上で、そのプログラムをコンピュータに実装することで、図１に示す構成とすることができる。
【符号の説明】
【0044】
１０…学習済深層学習モデル、１０ｉｎ…入力層、１０ｍ…中間層、１０ｏｕｔ…出力層、１１…出力データ、１２…入力データ、２０…ＡＥデコーダ、２０ｉｎ…入力層、２１…出力結果（復元データ）、３０…環境（データセット）、３１…入力データ、３２…報酬、
４０…学習分類子システム、４１…ルール、４２…分類結果、５０…ＡＥエンコーダ、５１…出力、６０…正規化部、６１…ノイズ、１０１，１０２，１０３…特徴部分
４０…学習分類子システム、４１…ルール、４２…分類結果、５０…ＡＥエンコーダ、５１…出力、６０…正規化部、６１…ノイズ、１０１，１０２，１０３…特徴部分
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
