特許 7293988 学習プログラム、判定処理プログラム、学習装置、判定処理装置、学習方法および判定処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-06-12

(45)【発行日】2023-06-20

(54)【発明の名称】学習プログラム、判定処理プログラム、学習装置、判定処理装置、学習方法および判定処理方法

(51)【国際特許分類】

   G06N 20/00 20190101AFI20230613BHJP

【ＦＩ】

G06N20/00 130

【請求項の数】 9

(21)【出願番号】P 2019155085

(22)【出願日】2019-08-27

(65)【公開番号】P2021033792

(43)【公開日】2021-03-01

【審査請求日】2022-05-17

(73)【特許権者】

【識別番号】000005223

【氏名又は名称】富士通株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】工藤 淳真

(72)【発明者】

【氏名】山越 幸太

(72)【発明者】

【氏名】宮城 俊秀

(72)【発明者】

【氏名】江原 那美加

(72)【発明者】

【氏名】塙 大紀

【審査官】武田 広太郎

(56)【参考文献】

【文献】特開２００６－２３６３６７（ＪＰ，Ａ）

【文献】特開２０１７－１５７２１３（ＪＰ，Ａ）

【文献】特開２０１９－１１４３０８（ＪＰ，Ａ）

【文献】特開平１０－０７４１８８（ＪＰ，Ａ）

【文献】特開２０１７－０６２７１３（ＪＰ，Ａ）

【文献】国際公開第２０１３／００１８９３（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｎ ２０／００

(57)【特許請求の範囲】

【請求項1】

複数の特徴量を含む訓練データと判定結果とを対応付けた学習データを基にして、第１機械学習モデルを訓練することで、前記複数の特徴量それぞれの重要度を示す重要度ベクトルを算出し、
前記訓練データに含まれる前記複数の特徴量のそれぞれと前記重要度ベクトルが示す前記複数の特徴量それぞれの重要度をそれぞれ乗算した結果を用いてｋ近傍法の第２機械学習モデルを生成する
処理をコンピュータに実行させることを特徴とする学習プログラム。

【請求項2】

訓練データに含まれる複数の特徴量のそれぞれに、前記複数の特徴量を含む前記訓練データと判定結果とを対応付けた学習データを用いて第１機械学習モデルを訓練することで算出された重要度ベクトルが示す前記複数の特徴量それぞれの重要度を乗算した結果を用いて生成されたｋ近傍法の第２機械学習モデルと、
予測対象データと、
を基にして、前記予測対象データに類似するデータを判定する
処理をコンピュータに実行させることを特徴とする判定処理プログラム。

【請求項3】

前記判定する処理は、前記重要度ベクトルと、前記予測対象データとを乗算した値を、前記第２機械学習モデルに入力することで、前記類似するデータを判定し、
前記予測対象データを前記第１機械学習モデルに入力した場合の判定結果と、前記類似するデータとを関連付けて出力する処理を更に実行することを特徴とする請求項２に記載の判定処理プログラム。

【請求項4】

前記コンピュータに、更に、
前記訓練データを前記第１機械学習モデルに入力した場合の第１判定結果の確信度と、前記訓練データの複数の特徴量を前記重要度ベクトルで補正した補正訓練データを前記第２機械学習モデルに入力した場合の第２判定結果の確信度との差分が最小となるように、前記重要度ベクトルを調整する処理を実行させることを特徴とする請求項２または３に記載の判定処理プログラム。

【請求項5】

前記学習データに含まれる複数の訓練データのうち、前記予測対象データの近傍に存在する複数の訓練データを含むデータ集合を抽出する処理を更に実行し、
前記調整する処理は、前記データ集合を前記第１機械学習モデルに入力した場合の判定結果と、前記データ集合の複数の特徴量に前記重要度ベクトルを乗算したデータ集合を前記第２機械学習モデルに入力した場合の判定結果とを基にして、重要度ベクトルを調整することを特徴とする請求項４に記載の判定処理プログラム。

【請求項6】

複数の特徴量を含む訓練データと判定結果とを対応付けた学習データを基にして、第１機械学習モデルを訓練することで、前記複数の特徴量それぞれの重要度を示す重要度ベクトルを算出する第１学習部と、
前記訓練データに含まれる前記複数の特徴量のそれぞれと前記重要度ベクトルが示す前記複数の特徴量それぞれの重要度をそれぞれ乗算した結果を用いてｋ近傍法の第２機械学習モデルを生成する第２学習部と、
を有することを特徴とする学習装置。

【請求項7】

訓練データに含まれる複数の特徴量のそれぞれに、前記複数の特徴量を含む前記訓練データと判定結果とを対応付けた学習データを用いて第１機械学習モデルを訓練することで算出された重要度ベクトルが示す前記複数の特徴量それぞれの重要度を乗算した結果を用いて生成されたｋ近傍法の第２機械学習モデルと、予測対象データと、を基にして、前記予測対象データに類似するデータを判定する判定部
を有することを特徴とする判定処理装置。

【請求項8】

コンピュータが実行する学習方法であって、
複数の特徴量を含む訓練データと判定結果とを対応付けた学習データを基にして、第１機械学習モデルを訓練することで、前記複数の特徴量それぞれの重要度を示す重要度ベクトルを算出し、
前記訓練データに含まれる前記複数の特徴量のそれぞれと前記重要度ベクトルが示す前記複数の特徴量それぞれの重要度をそれぞれ乗算した結果を用いてｋ近傍法の第２機械学習モデルを生成する
処理を実行することを特徴とする学習方法。

【請求項9】

コンピュータが実行する判定処理方法であって、
訓練データに含まれる複数の特徴量のそれぞれに、前記複数の特徴量を含む前記訓練データと判定結果とを対応付けた学習データを用いて第１機械学習モデルを訓練することで算出された重要度ベクトルが示す前記複数の特徴量それぞれの重要度を乗算した結果を用いて生成されたｋ近傍法の第２機械学習モデルと、
予測対象データと、
を基にして、前記予測対象データに類似するデータを判定する
処理を実行することを特徴とする判定処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、判定処理プログラム等に関する。

【背景技術】

【0002】

難病法に基づき指定される指定難病について、効果的な治療法が確立されるまでの間、医療費の経済的な負担の大きい患者を支援する制度がある。

【0003】

たとえば、県庁の職員は、患者の申請内容と、重症度分類等とを照らし合わせて、患者の病状の程度が一定程度以上であるか否かに応じて、指定難病に対する補助金を認定するか否かを判断する作業を行っている。

【0004】

ここで、指定難病に対する補助金認定の作業では、要求される作業量に対して適切に判断できるスキルを有する人が少ないという現状がある。このような問題は、指定難病に対する補助金認定の作業に限定されるものではなく、各種の申請内容に対して、他の認定を行う場合にも発生し得る問題である。

【0005】

上記の状況に対して、コンピュータによるデータ解析（人工知能等）を用いて、患者の申請内容のデータから、補助金を認定するか否かを自動で判定させる試みがある。

【0006】

補助金の認定に限らず、コンピュータを用いることで、入力データに対して何らかの判定結果を得ることができるが、判定結果の根拠を説明することが求められている。

【先行技術文献】

【非特許文献】

【0007】

【文献】”Explainable artificial intelligence”、[令和１年８月９日検索]、インターネット＜URL：https://en.wikipedia.org/wiki/Explainable_artificial_intelligence＞

【発明の概要】

【発明が解決しようとする課題】

【0008】

入力データに基づく判定を行う手法として、ｋ近傍法がある。図１４、図１５は、ｋ近傍法を説明するための図である。ｋ近傍法では、学習データの集合Ｄ、新規データＴがあったとき、入力データＴに最も近いデータを学習データＤからｋ個選択して、判定を行うものである。

【0009】

図１４について説明する。学習データＤには、認定データ１ａ～１ｄと、不認定データ２ａ～２ｅが含まれる。ｋ＝３とすると、入力データＴとの距離に基づいて、認定データ１ｂ～１ｄが選択される。選択されたデータが全て認定データであるため、入力データＴは「認定データ」であると予測される。

【0010】

図１５について説明する。学習データＤには、認定データ１ａ～１ｄと、不認定データ２ａ～２ｅが含まれる。ｋ＝３とすると、入力データＴとの距離に基づいて、認定データ１ｄと、不認定データ２ａ，２ｂが選択される。選択されたデータにおいて、認定データよりも不認定データの数が多いため、入力データＴは、「不認定データ」であると予測される。

【0011】

上記のように、説明性に関して言えば、ｋ近傍法は、入力データに類似するデータを判定結果の根拠として提示できるというメリットがある。たとえば、図１４で説明した例では、入力データＴを「認定データ」であると予測した根拠として、認定データ１ｂ～１ｄを提示することができる。図１５で説明した例では、入力データＴを「不認定データ」であると予測した根拠として、不認定データ２ａ，２ｂを提示することができる。

【0012】

しかしながら、発明者による検証の結果、ランダムフォレストやＮＮ（Neural Network）等の学習モデルを利用した判定手法と比較すると、ｋ近傍法を用いた判定の精度には優位性があるとは言い難い場合があることがわかった。

【0013】

ただし、ランダムフォレストやＮＮ等の学習モデルを利用した判定手法の場合、判定結果と合わせて、入力データに類似するデータを提示することは難しい。このため、従来では、判定結果の精度と説明性とがトレードオフの関係となっており、判定結果の精度と説明性とを両立を図ることが難しい。

【0014】

１つの側面では、本発明は、判定結果の精度と説明性との両立を図ることができる判定処理プログラム、判定処理方法および判定処理装置を提供することを目的とする。

【課題を解決するための手段】

【0015】

第１の案では、コンピュータは、次の処理を実行する。コンピュータは、複数の特徴量を含む訓練データと判定結果とを対応付けた学習データを基にして、第１機械学習モデルを学習することで、複数の特徴量に対する重要度ベクトルを算出する。コンピュータは、学習データと重要度ベクトルとを基にして、ｋ近傍法の第２機械学習モデルを学習する。コンピュータは、学習済みの第２機械学習モデルと、予測対象データとを基にして、訓練データから予測対象データに類似するデータを判定する。

【発明の効果】

【0016】

判定結果の精度と説明性との両立を図ることができる。

【図面の簡単な説明】

【0017】

【図1】図１は、本実施例１に係る判定処理装置の構成を示す機能ブロック図である。

【図2】図２は、学習データのデータ構造の一例を示す図である。

【図3】図３は、訓練データのデータ構造の一例を示す図である。

【図4】図４は、第１機械学習モデルの一例を示す図である。

【図5】図５は、決定木の一例を示す図である。

【図6】図６は、データ集合Ｄとデータ集合ｗＤとの関係を示す図である。

【図7】図７は、本実施例１に係る判定処理装置の処理手順を示すフローチャートである。

【図8】図８は、本実施例２に係る判定処理装置の構成を示す機能ブロック図である。

【図9】図９は、本実施例２に係る判定処理装置の処理手順を示すフローチャートである。

【図10】図１０は、機械学習モデルのわかりやすさと精度との関係を示す図である。

【図11】図１１は、本実施例３に係る判定処理装置の構成を示す機能ブロック図である。

【図12】図１２は、本実施例３に係る判定処理装置の処理手順を示すフローチャートである。

【図13】図１３は、判定処理装置と同様の機能を実現するコンピュータのハードウェア構成の一例を示す図である。

【図14】図１４は、ｋ近傍法を説明するための図（１）である。

【図15】図１５は、ｋ近傍法を説明するための図（２）である。

【発明を実施するための形態】

【0018】

以下に、本願の開示する判定処理プログラム、判定処理方法および判定処理装置の実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。

【実施例1】

【0019】

図１は、本実施例１に係る判定処理装置の構成を示す機能ブロック図である。図１に示すように、この判定処理装置１００は、通信部１１０と、入力部１２０と、表示部１３０と、記憶部１４０と、制御部１５０とを有する。

【0020】

通信部１１０は、ネットワークを介して、外部装置（図示略）とデータ通信を実行する処理部である。通信部１１０は、通信装置の一例である。判定処理装置１００は、後述する学習データ１４０ａを、外部装置から取得してもよい。

【0021】

入力部１２０は、各種の情報を判定処理装置１００に入力するための入力装置である。たとえば、入力部１２０は、キーボードやマウス、タッチパネル等に対応する。ユーザは、入力部１２０を操作して、予測対象データを入力してもよい。予測対象データの説明は後述する。

【0022】

表示部１３０は、制御部１５０から出力される情報を表示する表示装置である。たとえば、制御部１５０から出力される情報は、予測対象データに対する判定結果と判定結果の根拠とを対応付けた情報を含む。表示部１３０は、液晶ディスプレイ、有機ＥＬ（Electro-Luminescence）ディスプレイ、タッチパネル等に対応する。

【0023】

記憶部１４０は、学習データ１４０ａ、第１機械学習モデル１４０ｂ、第２機械学習モデル１４０ｃ、重要度ベクトルデータ１４０ｄを有する。記憶部１４０は、ＲＡＭ（Random Access Memory）、フラッシュメモリ（Flash Memory）などの半導体メモリ素子や、ＨＤＤ（Hard Disk Drive）などの記憶装置に対応する。

【0024】

学習データ１４０ａは、訓練データと、ラベルとを対応付けるデータである。図２は、学習データのデータ構造の一例を示す図である。図２に示すように、この学習データは、訓練データｄと、ラベルｙとを対応付ける。本実施例では一例として、訓練データｄを、患者の申請内容のデータとする。ラベルｙを、指定難病として、認定するか否か（認定または不認定）を示すラベル（正解ラベル）とする。各訓練データｄの集合を、「データ集合Ｄ」とする。

【0025】

図３は、訓練データのデータ構造の一例を示す図である。図３に示すように、一つの訓練データには、項番と、項目と、特徴量とが対応付けられる。項番は、項目、特徴量を識別する番号である。項目は、申請内容の項目である。特徴量は、項目に対応する値である。

【0026】

たとえば、項目には、重症度分類、発熱、体温、頻脈、脈拍、貧血、ヘモグロビン等が含まれる。項目「重症度分類」の特徴量は「中等症」、項目「発熱」の特徴量は「なし」、項目「体温」の特徴量は「３６．６」、項目「頻脈」の特徴量は「なし」である。項目「脈拍」の特徴量は「６５」、項目「貧血」の特徴量は「なし」、項目「ヘモグロビン」の特徴量は「１５．３」である。訓練データに含まれる項目が特徴に対応し、項目に対応する値が、特徴量に対応する。

【0027】

訓練データｄと、ラベルｙとの組み合わせにより、後述する第１機械学習モデル１４０ｂ、第２機械学習モデル１４０ｃが学習される。

【0028】

第１機械学習モデル１４０ｂは、アンサンブル学習によって学習される学習モデルである。図４は、第１機械学習モデルの一例を示す図である。図４に示すように、第１機械学習モデル１４０ｂは、入力部３０ａと、出力部３０ｂと、決定木３１ａ，３１ｂ，３１ｃとを有する。本実施例では、一例として、決定木３１ａ～３１ｃを示すが、第１機械学習モデル１４０ｂは、他の決定木を含んでいてもよい。以下の説明では、特に区別しない場合、決定木３１ａ～３１ｃをまとめて、決定木３１と表記する。

【0029】

入力部３０ａは、データを決定木３１に入力するものである。入力部３０ａが、決定木３１に入力するデータには、訓練データ、予測対象データが含まれる。

【0030】

出力部３０ｂは、決定木３１の判定結果を取得し、最終的な判定結果を判定して出力する。出力部３０ｂは、決定木３１からそれぞれ出力される判定結果の多数決を行って、最終的な判定結果を特定してもよいし、各判定結果の確信度を出力してもよい。

【0031】

たとえば、決定木３１は、入力されたデータを基にして、「認定」か「不認定」かを判定する決定木であるものとする。決定木３１ａ，３１ｂの出力が「認定」、決定木３１ｃの出力が「不認定」の場合、出力部３０ｂは、最終的な判定結果「認定」を出力する。または、出力部３０ｂは、認定の確信度（２／３）と、不認定の確信度（１／３）とを出力してもよい。

【0032】

決定木３１は、入力部３０ａから入力されるデータを基にして、認定か、不認定かを判定する決定木（分類木）である。図５は、決定木の一例を示す図である。図５に示す例では、説明の便宜上、決定木のノード４０ａ～４０ｄと、葉４１ａ～４１ｃを示す。決定木は、ノード４０ａ～４０ｄ以外のノード、葉４１ａ～４１ｅ以外の葉を更に含んでいてもよい。以下の説明では、ノード４０ａ～４０ｄ（他のノード）をまとめて、「ノード４０」と表記する。葉４１ａ～４１ｅ（他の葉）をまとめて、「葉４１」と表記する。

【0033】

ノード４０は、訓練データ（予測対象データ）の項目に対応するノードである。該当する項目に応じて、条件はそれぞれ異なる。たとえば、ノード４０に対応する項目が、発熱である場合には、ノード４０に設定される条件は、発熱の有無によって分岐する条件となる。ノード４０に対応する項目が、体温である場合には、ノード４０に設定される条件は、数値が閾値以上であるか否かで分岐する条件となる。

【0034】

葉４１は、判定結果を示すものである。たとえば、データとノード４０の条件とを比較して、決定木３１を辿り、「認定」の葉４１に到達した場合には、判定結果は「認定」となる。データとノード４０の条件とを比較して、決定木３１を辿り、「不認定」の葉４１に到達した場合には、判定結果は「不認定」となる。

【0035】

決定木３１は、学習データ１４０ａを基に学習される場合、認定、不認定を判定するうえで、重要度の大きい項目ほど、上層のノード４０に設定される。決定木３１を学習することで、各項目（各項目の特徴量）の重要度が決定される。

【0036】

図１の説明に戻る。第２機械学習モデル１４０ｃは、ｋ近傍法によって、「認定」または「不認定」の判定結果を出力するモデルである。たとえば、第２機械学習モデル１４０ｃは、学習データ１４０ａの重み付けを行った各訓練データの位置と、各訓練データのラベルとを対応付ける。以下の説明では、重み付けを行った訓練データを、「重み付け訓練データ」と表記する。重み付け訓練データの説明は後述する。

【0037】

なお、第２学習部１５０ｃは、データ（訓練データ、予測対象データ）の特徴量が数値以外の場合には、特徴量を数値に変更して処理を行ってもよい。たとえば、発熱の特徴量は「ある」または「なし」であるが、これを、「１（ある）」、「０（なし）」として、処理を行ってもよい。

【0038】

第２機械学習モデル１４０ｃは、判定結果を出力する場合に、判定結果の確信度を合わせて出力してもよい。たとえば、ｋ＝３とし、入力されたデータに最も近い訓練データについて、ラベル「認定」が付与された訓練データが２個、ラベル「不認定」が付与された訓練データが１個であるものとする。この場合、第２機械学習モデル１４０ｃは、判定結果「認定」、確信度「２／３」を出力する。

【0039】

重要度ベクトルデータ１４０ｄは、データ（訓練データ、予測対象データ）に含まれる各特徴量の重要度を示す。各特徴量の重要度は、第１機械学習モデル１４０ｂを学習する過程において、決定される。重要度ベクトルｗは、式（１）によって定義される。重要度ベクトルｗは、各特徴量の重要度を、項番の順に配列したベクトルである。項番は、図３に示した、項目、特徴量を識別するものである。

【0040】

ｗ＝（ｗ_１，・・・，ｗ_ｎ）・・・（１）

【0041】

図１の説明に戻る。制御部１５０は、取得部１５０ａと、第１学習部１５０ｂと、第２学習部１５０ｃと、判定部１５０ｄとを有する。制御部１５０は、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）などによって実現できる。また、制御部１５０は、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）などのハードワイヤードロジックによっても実現できる。

【0042】

取得部１５０ａは、外部装置（図示略）等から、学習データ１４０ａを取得する処理部である。取得部１５０ａは、取得した学習データ１４０ａを、記憶部１４０に格納する。また、取得部１５０ａは、予測対象データを取得した場合、予測対象データを、判定部１５０ｄに出力する。

【0043】

第１学習部１５０ｂは、学習データ１４０ａを基にして、アンサンブル学習を実行し、第１機械学習モデル１４０ｂを生成する処理部である。第１機械学習モデル１４０ｂに、３つの決定木３１ａ～３１ｃが含まれる場合、第１学習部１５０ｂは、学習データ１４０ａを３つに分割し、分割した各学習データを基にして、決定木３１ａ～３１ｃをそれぞれ学習する。

【0044】

第１学習部１５０ｂは、どのようなアルゴリズムを用いて、決定木３１を学習してもよい。たとえば、第１学習部１５０ｂは、ジニ不純度または情報エントロピーを用いて、親ノードと子ノードとの不純度を算出する。親ノードの不純度と、子ノードの不純度との差分が最大となるように、子ノードを分ける処理を繰り返し実行し、決定木３１を生成する。

【0045】

第１学習部１５０ｂは、第１機械学習モデル１４０ｂを生成した場合に、決定木３１の各ノードに対応する項目を基にして、各特徴量の重要度を特定し、重要度ベクトルデータ１４０ｄを生成する。一つの特徴量（項目）の重要度が、各決定木３１ａ～３１ｃで異なる場合には、第１学習部１５０ｂは、異なる重要度を基にして、一つの重要度を特定する。第１学習部１５０ｂは、各重要度を平均してもよいし、各重要度の中央値を選択してもよい。

【0046】

第２学習部１５０ｃは、学習データ１４０ａを基にして、第２機械学習モデル１４０ｃを生成する処理部である。たとえば、第２学習部１５０ｃは、学習データ１４０ａに含まれる訓練データのデータ集合Ｄと、重要度ベクトルｗとの積「ｗＤ」を算出する。ｗＤは、式（２）のように定義される。式（２）のｗｄは、重み付け訓練データである。

【0047】

ｗＤ＝｛ｗｄ＝（ｗ_１ｄ_１，・・・，ｗ_ｎｄ_ｎ）：ｄ∈Ｄ｝・・・（２）

【0048】

図６は、データ集合Ｄとデータ集合ｗＤとの関係を示す図である。図６において、グラフ５０ａは、データ集合Ｄのグラフを示し、グラフ５０ｂは、データ集合ｗＤのグラフを示す。グラフ５０ａ，５０ｂの横軸は、第１特徴量に対応する軸である。グラフ５０ａ，５０ｂの縦軸は、第２特徴量に対応する軸である。たとえば、第１特徴量、第２特徴量は、図３に示した各項目に対応する特徴量のいずれかに対応するものである。

【0049】

たとえば、第１特徴量の重要度が大きく、第２特徴量の重要度が小さいものとする。この場合には、グラフ５０ａと５０ｂとを比較すると、グラフ５０ｂの各データにおける縦方向の差が縮む。グラフ５０ｂに示すようなデータ集合ｗＤに対して、ｋ近傍法を行うことで、重要度の小さい特徴量は差が考慮されず、重要度の大きい特徴量は差が考慮される用になり、ｋ近傍法の精度が向上する。

【0050】

第２学習部１５０ｃは、重み付け訓練データの位置と、重み付けを行う前の訓練データのラベルとを対応付けることで、第２機械学習モデル１４０ｃを生成する。

【0051】

判定部１５０ｄは、予測対象データの判定結果を予測する処理部である。判定部１５０ｄは、予測対象データを取得すると、式（３）を基にして、「重み付けデータ」を算出する。式（３）において、Ｔは、予測対象データである。ｗは、式（１）で説明した重要度ベクトルである。

【0052】

Ｔ’＝ｗ＊Ｔ・・・（３）

【0053】

判定部１５０ｄは、重み付けデータを、第２機械学習モデル１４０ｃに入力することで、ｋ近傍法による判定結果を得る。また、判定部１５０ｄは、重み付けデータに類似する訓練データを、第２機械学習モデル１４０ｃを基にして判定する。たとえば、判定部１５０ｄは、重み付けデータと各重み付け訓練データとの距離をそれぞれ算出し、重み付けデータとの距離が小さいものから順に、各重み付け訓練データをソートする。判定部１５０ｄは、先頭からｋ個の重み付け訓練データを選択する。判定部１５０ｄは、選択した重み付け訓練データに対して、重要度ベクトルを乗算する前の訓練データを、予測対象データに類似するデータとして判定する。以下の説明では、予測対象データに類似するデータを、「類似データ」と表記する。

【0054】

判定部１５０ｄは、第２機械学習モデル１４０ｃによる判定結果と、判定の根拠となる情報とを対応付けて、表示部１３０に出力して表示させる。判定の根拠となる情報は、類似データである。

【0055】

なお、判定部１５０ｄは、予測対象データを、第１機械学習モデル１４０ｂに入力して、判定結果を取得してもよい。この場合、判定部１５０ｄは、第１機械学習モデル１４０ｂによる判定結果と、判定の根拠となる情報とを対応付けて、表示部１３０に出力して表示させてもよい。判定の根拠となる情報は、上記の類似データである。

【0056】

次に、本実施例１に係る判定処理装置１００の処理手順の一例について説明する。図７は、本実施例１に係る判定処理装置の処理手順を示すフローチャートである。図７に示すように、判定処理装置１００の取得部１５０ａは、学習データ１４０ａを取得し、記憶部１４０に格納する（ステップＳ１０１）。

【0057】

判定処理装置１００の第１学習部１５０ｂは、学習データ１４０ａを基にして、アンサンブル学習を実行し、第１機械学習モデル１４０ｂを生成する（ステップＳ１０２）。第１学習部１５０ｂは、第１機械学習モデル１４０ｂを基にして、重要度ベクトルデータ１４０ｄを生成する（ステップＳ１０３）。

【0058】

判定処理装置１００の第２学習部１５０ｃは、学習データ１４０ａを基にして、ｋ近傍法学習を実行し、第２機械学習モデル１４０ｃを生成する（ステップＳ１０４）。ステップＳ１０４において、第２学習部１５０ｃは、学習データ１４０ａのデータ集合Ｄと、重要度ベクトルｗとの積「ｗＤ」を用いて、第２機械学習モデル１４０ｃを生成する。

【0059】

判定処理装置１００の取得部１５０ａは、予測対象データを取得する（ステップＳ１０５）。判定処理装置１００の判定部１５０ｄは、重要度ベクトルと予測対象データとの積によって、重み付けデータを算出する（ステップＳ１０６）。

【0060】

判定部１５０ｄは、重み付けデータを、第２機械学習モデル１４０ｃに入力することで、判定結果および類似データを判定する（ステップＳ１０７）。判定部１５０ｄは、判定結果と、類似データ（判定結果の根拠となる情報）とを対応付けた情報を表示部に出力して表示させる（ステップＳ１０８）。

【0061】

次に、本実施例１に係る判定処理装置１００の効果について説明する。判定処理装置１００は、学習データ１４０ａのデータ集合Ｄと、重要度ベクトルとの積ｗＤを基にして、第２機械学習モデル１４０ｃを生成する。判定処理装置１００は、予測対象データＴと、重要度ベクトルｗとの積によって、重み付けデータＴ’を算出する。判定処理装置１００は、かかる重み付けデータＴ’を、第２機械学習モデル１４０ｃに入力することで、判定結果と、類似データとを取得し、判定結果の根拠として、類似データを出力する。これによって、重要度が大きい項目は、特徴量の差が考慮され、重要度の小さい項目は、特徴量の差が考慮されなくなるため、ｋ近傍法による判定精度が向上する。また、ｋ近傍法は説明性が優れているため、判定結果の精度と説明性との両立を図ることができる。

【実施例2】

【0062】

図８は、本実施例２に係る判定処理装置の構成を示す機能ブロック図である。図８に示すように、この判定処理装置２００は、通信部２１０と、表示部２３０と、記憶部２４０と、制御部２５０とを有する。

【0063】

通信部２１０は、ネットワークを介して、外部装置（図示略）とデータ通信を実行する処理部である。通信部２１０は、通信装置の一例である。判定処理装置２００は、後述する学習データ２４０ａを、外部装置から取得してもよい。

【0064】

入力部２２０は、各種の情報を判定処理装置２００に入力するための入力装置である。たとえば、入力部２２０は、キーボードやマウス、タッチパネル等に対応する。ユーザは、入力部２２０を操作して、予測対象データを入力してもよい。

【0065】

表示部２３０は、制御部２５０から出力される情報を表示する表示装置である。たとえば、制御部２５０から出力される情報は、予測対象データに対する判定結果と判定結果の根拠とを対応付けた情報を含む。表示部２３０は、液晶ディスプレイ、有機ＥＬディスプレイ、タッチパネル等に対応する。

【0066】

記憶部２４０は、学習データ２４０ａ、第１機械学習モデル２４０ｂ、第２機械学習モデル２４０ｃ、重要度ベクトルデータ２４０ｄを有する。記憶部２４０は、ＲＡＭ、フラッシュメモリなどの半導体メモリ素子や、ＨＤＤなどの記憶装置に対応する。

【0067】

学習データ２４０ａは、訓練データと、ラベルとを対応付けるデータである。学習データ２４０ａのデータ構造は、図２で説明した、学習データ１４０ａのデータ構造と同様であるため、説明を省略する。訓練データのデータ構造は、図３で説明した訓練データのデータ構造と同様である。

【0068】

第１機械学習モデル２４０ｂは、アンサンブル学習によって学習される学習モデルである。第１機械学習モデル２４０ｂの説明は、図４で説明した、第１機械学習モデル１４０ｂの説明と同様である。第１機械学習モデル２４０ｂは、入力されたデータに対する判定結果と、判定結果の確信度とを出力する。判定結果は、「認定」または「不認定」となる。

【0069】

第２機械学習モデル２４０ｃは、ｋ近傍法によって、「認定」または「不認定」の判定結果を出力するモデルである。たとえば、第２機械学習モデル２４０ｃは、各重み付け訓練データと、各訓練データのラベルとを対応付ける。第２機械学習モデル２４０ｃは、判定結果を出力する場合に、判定結果の確信度を合わせて出力する。

【0070】

重要度ベクトルデータ２４０ｄは、データ（訓練データ、予測対象データ）に含まれる各特徴量の重要度を示す。各特徴量の重要度は、第１機械学習モデル２４０ｂを学習する過程において、決定される。重要度ベクトルｗは、式（１）によって定義される。

【0071】

制御部２５０は、取得部２５０ａと、第１学習部２５０ｂと、第２学習部２５０ｃと、調整部２５０ｄと、判定部２５０ｅとを有する。制御部２５０は、ＣＰＵやＭＰＵなどによって実現できる。また、制御部２５０は、ＡＳＩＣやＦＰＧＡなどのハードワイヤードロジックによっても実現できる。

【0072】

取得部２５０ａは、外部装置（図示略）等から、学習データ２４０ａを取得する処理部である。取得部２５０ａは、取得した学習データ２４０ａを、記憶部２４０に格納する。また、取得部２５０ａは、予測対象データを取得した場合、予測対象データを、判定部２５０ｅに出力する。

【0073】

第１学習部２５０ｂは、学習データ２４０ａを基にして、アンサンブル学習を実行し、第１機械学習モデル２４０ｂを生成する処理部である。第１機械学習モデル２４０ｂに、３つの決定木３１ａ～３１ｃが含まれる場合、第１学習部２５０ｂは、学習データ２４０ａを３つに分割し、分割した各学習データを基にして、決定木３１ａ～３１ｃをそれぞれ学習する。第１学習部２５０ｂが、決定木３１を学習する処理は、実施例１で説明した第１学習部２５０ｂと同様である。

【0074】

なお、第１学習部２５０ｂは、後述する調整部２５０ｄと協働して、重要度ベクトルｗを調整する。

【0075】

第２学習部２５０ｃは、学習データ２４０ａを基にして、第２機械学習モデル２４０ｃを生成する処理部である。たとえば、第２学習部２５０ｃは、学習データ２４０ａに含まれる訓練データのデータ集合Ｄと、重要度ベクトルｗとの積「ｗＤ」を算出する。ｗＤは、実施例１で説明したように、式（２）のように定義される。

【0076】

第２学習部２５０ｃは、重み付け訓練データの位置と、（重み付けを行う前の）訓練データのラベルとを対応付けることで、第２機械学習モデル２４０ｃを生成する。

【0077】

調整部２５０ｄは、データ集合Ｄを、第１機械学習モデル２４０ｂに入力した場合の判定結果と、データ集合Ｄと重要度ベクトルｗとの積ｗＤを第２機械学習モデル２４０ｃに入力した場合の判定結果とを基にして、重要度ベクトルｗを調整する処理部である。調整部２５０ｄは、調整した重要度ベクトルｗによって、重要度ベクトルデータ２４０ｄを更新する。

【0078】

データ集合Ｄを、第１機械学習モデル２４０ｂに入力した場合の判定結果は、第１判定結果に対応する。積ｗＤを第２機械学習モデル２４０ｃに入力した場合の判定結果は、第２判定結果に対応する。調整部２５０ｄは、第１判定結果の確信度と、第２判定結果の確信度との差が最小となるような重要度ベクトルｗを探索する。

【0079】

調整部２５０ｄは、式（４）の目的関数の値が最小となるように、重要度ベクトルｗを調整する。式（４）は、Ｍ（Ｄ）とＫ（ｗＤ）との差分が最小になるというものである。最小化する目的関数は、行列のノルム（フロベニウスノルム）である。

【0080】

【数1】

【0081】

式（４）において、Ｍ（Ｄ）は、データ集合Ｄに含まれる各訓練データｄを、第１機械学習モデル２４０ｂに入力した場合に出力される予測確率の行列（各ラベルについての確信度）を示すものである。

【0082】

ｋ（ｗＤ）は、積ｗＤに含まれる各訓練データｗｄを、第２機械学習モデル２４０ｃに入力した場合に出力される予測確率の行列を示すものである。

【0083】

たとえば、調整部２５０ｄは、第１学習部２５０ｂと協働し、重要度ベクトルｗを更新し、更新した重要度ベクトルｗに応じて、第１機械学習モデル２４０ｂの決定木３１を更新し、式（４）の値を求める処理を繰り返し実行することで、式（４）の目的関数が最小化するような重要度ベクトルｗを探索する。調整部２５０ｄは、どのような探索方法を用いてもよいが、たとえばブラックボックス最適化手法の「hyperopt」を用いてもよい。

【0084】

判定部２５０ｅは、予測対象データの判定結果を予測する処理部である。判定部２５０ｅは、実施例１で説明した、式（３）を基にして、「重み付けデータ」を算出する。

【0085】

判定部２５０ｅは、重み付けデータを、第２機械学習モデル２４０ｃに入力することで、ｋ近傍法による判定結果を得る。また、判定部２５０ｅは、重み付けデータに類似する訓練データを、第２機械学習モデル２４０ｃを基にして判定する。たとえば、判定部２５０ｅは、重み付けデータと各重み付け訓練データとの距離をそれぞれ算出し、重み付けデータとの距離が小さいものから順に、各重み付け訓練データをソートする。判定部２５０ｅは、先頭からｋ個の重み付け訓練データを選択する。判定部２５０ｅは、選択した重み付け訓練データに対して、重要度ベクトルを乗算する前の訓練データを、予測対象データに類似するデータ（類似データ）として判定する。

【0086】

判定部２５０ｅは、第２機械学習モデル２４０ｃによる判定結果と、判定の根拠となる情報とを対応付けて、表示部２３０に出力して表示させる。判定の根拠となる情報は、類似データである。

【0087】

なお、判定部２５０ｅは、予測対象データを、第１機械学習モデル２４０ｂに入力して、判定結果を取得してもよい。この場合、判定部２５０ｅは、第１機械学習モデル２４０ｂによる判定結果と、判定の根拠となる情報とを対応付けて、表示部２３０に出力して表示させてもよい。判定の根拠となる情報は、上記の類似データである。

【0088】

次に、本実施例２に係る判定処理装置２００の処理手順の一例について説明する。図９は、本実施例２に係る判定処理装置の処理手順を示すフローチャートである。図９に示すように、判定処理装置２００の取得部２５０ａは、学習データ２４０ａを取得し、記憶部２４０に格納する（ステップＳ２０１）。

【0089】

判定処理装置２００の第１学習部２５０ｂは、学習データ２４０ａを基にして、アンサンブル学習を実行し、第１機械学習モデル２４０ｂを生成する（ステップＳ２０２）。第１学習部２５０ｂは、第１機械学習モデル２４０ｂを基にして、重要度ベクトルデータ２４０ｄを生成する（ステップＳ２０３）。

【0090】

判定処理装置２００の第２学習部２５０ｃは、学習データ２４０ａを基にして、ｋ近傍法学習を実行し、第２機械学習モデル２４０ｃを生成する（ステップＳ２０４）。ステップＳ２０４において、第２学習部２５０ｃは、学習データ２４０ａのデータ集合Ｄと、重要度ベクトルｗとの積「ｗＤ」を用いて、第２機械学習モデル２４０ｃを生成する。

【0091】

判定処理装置２００の調整部２５０ｄは、式（４）の目的関数を最小化する重要度ベクトルを探索する（ステップＳ２０５）。取得部２５０ａは、予測対象データを取得する（ステップＳ２０６）。判定処理装置２００の判定部２５０ｅは、重要度ベクトルと予測対象データとの積によって、重み付けデータを算出する（ステップＳ２０７）。

【0092】

判定部２５０ｅは、重み付けデータを、第２機械学習モデル２４０ｃに入力することで、判定結果および類似データを判定する（ステップＳ２０８）。判定部２５０ｅは、判定結果と、類似データ（判定結果の根拠となる情報）とを対応付けた情報を表示部２３０に出力して表示させる（ステップＳ２０９）。

【0093】

次に、本実施例２に係る判定処理装置２００の効果について説明する。判定処理装置２００は、第１判定結果の確信度と、第２判定結果の確信度との差が最小となるような重要度ベクトルｗを探索する。判定処理装置２００は、探索した重要度ベクトルｗを用いて、予測対象データに重み付けを行い、第２機械学習モデル２４０ｃに入力して、判定結果および判定結果の根拠を特定し、表示させる。実施例１で説明したアンサンブル学習のみによって特定される重要度ベクトルｗは、必ずしも各特徴量に対する重要度を最適に表していない場合がある。これに対して、本実施例２では、式（４）に示す目的関数を最小化するような重要度ベクトルｗを探索することで、各特徴量に対する重要度を適切に求めることができ、判定精度が向上する。

【実施例3】

【0094】

機械学習の説明性という点において、上述した実施例１、２は、ｋ近傍法を用いた局所説明である。図１０は、機械学習モデルのわかりやすさと精度との関係を示す図である。図１０において、横軸はわかりやすさに対応する軸であり、右に行くほど、よりわかりやすく、判定結果の判定の根拠を示しやすいことを示す。縦軸は精度に対応する軸であり、上に行くほど、より判定精度が高いことを示す。

【0095】

一般的に、機械学習モデルのわかりやすさと精度とはトレードオフの関係にある。たとえば、ディープラーニングは、判定結果の精度が高いが、そのような判定結果に至る仕組みを人間がモデルから把握することは難しい。一方、ｋ近傍法は、ディープラーニングと比べると、判定結果の精度が低いが、そのような判定結果に至る仕組みを人間が理解することは容易である。このため、実施例３では、予測用のモデルと、説明用のモデルとを用意することで、判定結果の精度と説明性との両立を図る。

【0096】

ここで、検索技術のＢＭ２５は、与えられたクエリによって、単語における重要度重みを変えたｋ近傍法と見なすことができる。単語ｑ_１、・・・、ｑ_ｎを含むクエリＱが与えられた場合、文書ＤのＢＭ２５スコアは、式（５）によって算出される。

【0097】

【数2】

【0098】

式（５）において、ＴＦ（ｑ_ｉ）は、文書Ｄに含まれる単語ｑ_ｉの出現数を、文書Ｄの全単語の出現数で除算した値を示す。ＩＤＦ（ｑ_ｉ）は、式（６）によって算出される。ｂ、ｋ_１は、パラメータである。ａｖｇｄｌは、各文書の平均単語数である。

【0099】

ＩＤＦ（ｑ_ｉ）＝ｌｏｇ（文書Ｄに含まれる文書の総数／単語ｑ_ｉを含む文書の数）・・・（６）

【0100】

上記のＢＭ２５では、与えられたデータに対して、その付近では考える重要度が異なるという考え方に基づく。

【0101】

本実施例３に係る判定処理装置は、与えられた予測対象データＴ毎に、重要度ベクトルを算出する。図１１は、本実施例３に係る判定処理装置の構成を示す機能ブロック図である。図１１に示すように、判定処理装置３００は、通信部３１０と、表示部３３０と、記憶部３４０と、制御部３５０とを有する。

【0102】

通信部３１０は、ネットワークを介して、外部装置（図示略）とデータ通信を実行する処理部である。通信部３１０は、通信装置の一例である。判定処理装置３００は、後述する学習データ３４０ａを、外部装置から取得してもよい。

【0103】

入力部３２０は、各種の情報を判定処理装置３００に入力するための入力装置である。たとえば、入力部３２０は、キーボードやマウス、タッチパネル等に対応する。ユーザは、入力部３２０を操作して、予測対象データを入力してもよい。

【0104】

表示部３３０は、制御部３５０から出力される情報を表示する表示装置である。たとえば、制御部３５０から出力される情報は、予測対象データに対する判定結果と判定結果の根拠とを対応付けた情報を含む。表示部３３０は、液晶ディスプレイ、有機ＥＬディスプレイ、タッチパネル等に対応する。

【0105】

記憶部３４０は、学習データ３４０ａ、第１機械学習モデル３４０ｂ、第２機械学習モデル３４０ｃ、重要度ベクトルデータ３４０ｄを有する。記憶部３４０は、ＲＡＭ、フラッシュメモリなどの半導体メモリ素子や、ＨＤＤなどの記憶装置に対応する。

【0106】

学習データ３４０ａは、訓練データと、ラベルとを対応付けるデータである。学習データ３４０ａのデータ構造は、図２で説明した、学習データ１４０ａのデータ構造と同様であるため、説明を省略する。訓練データのデータ構造は、図３で説明した訓練データのデータ構造と同様である。

【0107】

第１機械学習モデル３４０ｂは、アンサンブル学習によって学習される学習モデルである。第１機械学習モデル３４０ｂの説明は、図４で説明した、第１機械学習モデル１４０ｂの説明と同様である。第１機械学習モデル３４０ｂは、入力されたデータに対する判定結果と、判定結果の確信度とを出力する。判定結果は、「認定」または「不認定」となる。

【0108】

第２機械学習モデル３４０ｃは、ｋ近傍法によって、「認定」または「不認定」の判定結果を出力するモデルである。たとえば、第２機械学習モデル３４０ｃは、各重み付け訓練データと、各訓練データのラベルとを対応付ける。第２機械学習モデル３４０ｃは、判定結果を出力する場合に、判定結果の確信度を合わせて出力する。

【0109】

重要度ベクトルデータ３４０ｄは、データ（訓練データ、予測対象データ）に含まれる各特徴量の重要度を示す。各特徴量の重要度は、第１機械学習モデル３４０ｂを学習する過程において、決定される。重要度ベクトルｗは、式（１）によって定義される。

【0110】

制御部３５０は、取得部３５０ａと、第１学習部３５０ｂと、第２学習部３５０ｃと、調整部３５０ｄと、判定部３５０ｅとを有する。制御部３５０は、ＣＰＵやＭＰＵなどによって実現できる。また、制御部３５０は、ＡＳＩＣやＦＰＧＡなどのハードワイヤードロジックによっても実現できる。

【0111】

取得部３５０ａは、外部装置（図示略）等から、学習データ３４０ａを取得する処理部である。取得部３５０ａは、取得した学習データ３４０ａを、記憶部３４０に格納する。また、取得部３５０ａは、予測対象データを取得した場合、予測対象データを、判定部３５０ｅに出力する。

【0112】

また、取得部３５０ａは、学習データ３４０ａに含まれるデータ集合Ｄと、予測対象データとを比較し、データ集合Ｄに含まれる訓練データのうち、予測対象データの近傍に存在する訓練データをサンプリングする。予測対象データの近傍を、予測対象データの位置から所定範囲内とする。取得部３５０ａは、サンプリングした訓練データの集合を、データ集合Ｚと表記する。

【0113】

取得部３５０ａは、データ集合Ｚと、データ集合Ｚに含まれる各訓練データのラベルとを対応付けた情報（以下、近傍学習データ）を、第１学習部３５０ｂおよび第２学習部３５０ｃに出力する。取得部３５０ａは、データ集合Ｚの情報を、調整部３５０ｄに出力する。

【0114】

第１学習部３５０ｂは、たとえば、近傍学習データを基にして、アンサンブル学習を実行し、第１機械学習モデル３４０ｂを生成する処理部である。第１機械学習モデル３４０ｂに、３つの決定木３１ａ～３１ｃが含まれる場合、第１学習部３５０ｂは、近傍学習データを３つに分割し、分割した各近傍学習データを基にして、決定木３１ａ～３１ｃをそれぞれ学習する。第１学習部３５０ｂが、決定木３１を学習する処理は、実施例１で説明した第１学習部３５０ｂと同様である。

【0115】

なお、第１学習部３５０ｂは、後述する調整部３５０ｄと協働して、重要度ベクトルｗを調整する。

【0116】

第２学習部３５０ｃは、近傍学習データを基にして、第２機械学習モデル３４０ｃを生成する処理部である。たとえば、第２学習部３５０ｃは、近傍学習データに含まれる訓練データのデータ集合Ｚと、重要度ベクトルｗとの積「ｗＺ」を算出する。

【0117】

第２学習部３５０ｃは、重み付け訓練データ（訓練データは、データ集合Ｚに含まれる訓練データ）の位置と、（重み付けを行う前の）訓練データのラベルとを対応付けることで、第２機械学習モデル３４０ｃを生成する。

【0118】

調整部３５０ｄは、データ集合Ｚを、第１機械学習モデル３４０ｂに入力した場合の判定結果と、データ集合Ｚと重要度ベクトルｗとの積ｗＺを第２機械学習モデル２４０ｃに入力した場合の判定結果とを基にして、重要度ベクトルｗを調整する処理部である。調整部３５０ｄは、調整した重要度ベクトルｗによって、重要度ベクトルデータ３４０ｄを更新する。

【0119】

データ集合Ｚを、第１機械学習モデル３４０ｂに入力した場合の判定結果は、第１判定結果に対応する。積ｗＺを第２機械学習モデル３４０ｃに入力した場合の判定結果は、第２判定結果に対応する。調整部３５０ｄは、第１判定結果の確信度と、第２判定結果の確信度との差が最小となるような重要度ベクトルｗを探索する。

【0120】

調整部３５０ｄは、式（７）の目的関数の値が最小となるように、重要度ベクトルｗを調整する。式（７）は、Ｍ（Ｚ）とＫ（ｗＺ）との差分が最小になるというものである。最小化する目的関数は、行列のノルム（フロベニウスノルム）である。

【0121】

【数3】

【0122】

式（７）において、Ｍ（Ｚ）は、データ集合Ｚに含まれる各訓練データｄを、第１機械学習モデル３４０ｂに入力した場合に出力される予測確率の行列（各ラベルについての確信度）を示すものである。

【0123】

ｋ（ｗＺ）は、積ｗＺに含まれる各訓練データｗｄを、第２機械学習モデル３４０ｃに入力した場合に出力される予測確率の行列を示すものである。

【0124】

たとえば、調整部３５０ｄは、第１学習部３５０ｂと協働し、重要度ベクトルｗを更新し、更新した重要度ベクトルｗに応じて、第１機械学習モデル３４０ｂの決定木３１を更新し、式（７）の値を求める処理を繰り返し実行することで、式（７）の目的関数が最小化するような重要度ベクトルｗを探索する。調整部３５０ｄは、どのような探索方法を用いてもよいが、たとえばブラックボックス最適化手法の「hyperopt」を用いてもよい。

【0125】

判定部３５０ｅは、予測対象データの判定結果を予測する処理部である。判定部３５０ｅは、判定結果を予測するモデルとして、第１機械学習モデル３４０ｂを用いる。判定部３５０ｅは、判定結果の判定の根拠となる類似データを特定するための解釈用のモデルとして、第２機械学習モデル２３０ｃを用いる。

【0126】

判定部３５０ｅが、予測対象データの判定結果を予測する処理について説明する。判定部３５０ｅは、第１機械学習モデル３４０ｂに、予測対象データを入力し、第１機械学習モデル３４０ｂから出力される判定結果を取得する。

【0127】

判定部３５０ｅが、判定結果の判定の根拠となる類似データを特定する処理について説明する。判定部３５０ｅは、実施例１で説明した、式（３）を基にして、「重み付けデータ」を算出する。

【0128】

判定部３５０ｅは、重み付けデータと各重み付け訓練データとの距離をそれぞれ算出し、重み付けデータとの距離が小さいものから順に、各重み付け訓練データをソートする。判定部３５０ｅは、先頭からｋ個の重み付け訓練データを選択する。判定部３５０ｅは、選択した重み付け訓練データに対して、重要度ベクトルを乗算する前の訓練データを、予測対象データに類似するデータ（類似データ）として判定する。

【0129】

判定部３５０ｅは、第１機械学習モデル３４０ｂによる判定結果と、判定の根拠となる情報とを対応付けて、表示部３３０に出力して表示させる。判定の根拠となる情報は、上記の類似データである。

【0130】

次に、本実施例３に係る判定処理装置３００の処理手順の一例について説明する。図１２は、本実施例３に係る判定処理装置の処理手順を示すフローチャートである。図１２に示すように、判定処理装置２００の取得部３５０ａは、学習データ３４０ａを取得し、記憶部２４０に格納する（ステップＳ３０１）。取得部３５０ａは、予測対象データを取得する（ステップＳ３０２）。取得部３５０ａは、データ集合Ｄと、予測対象データとを比較し、予測対象データ近傍の訓練データの集合（データ集合Ｚ）を抽出する（ステップＳ３０３）。

【0131】

判定処理装置３００の第１学習部３５０ｂは、近傍学習データを基にして、アンサンブル学習を実行し、第１機械学習モデル３４０ｂを生成する（ステップＳ３０４）。第１学習部３５０ｂは、第１機械学習モデル３４０ｂを基にして、重要度ベクトルデータ３４０ｄを生成する（ステップＳ３０５）。

【0132】

判定処理装置３００の第２学習部３５０ｃは、近傍学習データを基にして、ｋ近傍法学習を実行し、第２機械学習モデル３４０ｃを生成する（ステップＳ３０６）。ステップＳ３０６において、第２学習部３５０ｃは、データ集合Ｚと、重要度ベクトルｗとの積「ｗＺ」を用いて、第２機械学習モデル２４０ｃを生成する。

【0133】

判定処理装置３００の調整部３５０ｄは、式（７）の目的関数を最小化する重要度ベクトルを探索する（ステップＳ３０７）。判定処理装置２００の判定部３５０ｅは、予測対象データを、第１機械学習モデル３４０ｂに入力することで、判定結果を予測する（ステップＳ３０８）。

【0134】

判定部３５０ｅは、重要度ベクトルと予測対象データとの積によって、重み付けデータを算出する（ステップＳ３０９）。判定部２５０ｅは、重み付けデータを、第２機械学習モデルに入力することで、類似データを判定する（ステップＳ３１０）。判定部３５０ｅは、判定結果と類似データ（判定結果の根拠となる情報）とを対応付けた情報を表示部３３０に出力して表示させる（ステップＳ３１１）。

【0135】

次に、本実施例３に係る判定処理装置３００の効果について説明する。判定処理装置３００は、データ集合Ｄに含まれる訓練データのうち、予測対象データの近傍に存在する訓練データをサンプリングすることで、データ集合Ｚを抽出する。判定処理装置３００は、データ集合Ｚを、第１機械学習モデル３４０ｂに入力した場合の判定結果と、ｗ＊Ｚを第２機械学習モデル３４０ｃに入力した場合の判定結果との差分が、最小になるように、重要度ベクトルを調整する。これによって、予測対象データの近傍の訓練データを基にして、重要度ベクトルを調整することができる。

【0136】

判定処理装置３００は、判定結果を予測するモデルとして、第１機械学習モデル３４０ｂを用い、判定結果の判定の根拠となる類似データを特定するための解釈用のモデルとして、第２機械学習モデル２３０ｃを用いる。これによって、判定結果の精度を高めつつ、判定結果の根拠を示すことができる。

【0137】

次に、上記実施例に示した判定処理装置１００（２００，３００）と同様の機能を実現するコンピュータのハードウェア構成の一例について順に説明する。

【0138】

図１３は、判定処理装置と同様の機能を実現するコンピュータのハードウェア構成の一例を示す図である。図１３に示すように、コンピュータ４００は、各種演算処理を実行するＣＰＵ４０１と、ユーザからのデータの入力を受け付ける入力装置４０２と、ディスプレイ４０３と、読み取り装置４０４とを有する。また、コンピュータ４００は、ネットワークを介して、外部装置との間でデータの授受を行うインタフェース装置４０５とを有する。コンピュータ４００は、各種情報を一時記憶するＲＡＭ４０６と、ハードディスク装置４０７とを有する。そして、各装置４０１～４０７は、バス４０８に接続される。

【0139】

ハードディスク装置４０７は、取得プログラム４０７ａ、第１学習プログラム４０７ｂ、第２学習プログラム４０７ｃと、調整プログラム４０７ｄと、判定プログラム４０７ｅとを有する。ＣＰＵ４０１は、取得プログラム４０７ａ、第１学習プログラム４０７ｂ、第２学習プログラム４０７ｃと、調整プログラム４０７ｄと、判定プログラム４０７ｅとを読み出してＲＡＭ４０６に展開する。

【0140】

取得プログラム４０７ａは、取得プロセス４０６ａとして機能する。第１学習プログラム４０７ｂは、第１学習プロセス４０６ｂとして機能する。第２学習プログラム４０７ｃは、第２学習プロセス４０６ｃとして機能する。調整プログラム４０７ｄは、調整プロセス４０６ｄとして機能する。判定プログラム４０７ｅは、判定プロセス４０６ｅとして機能する。

【0141】

取得プロセス４０６ａの処理は、取得部１５０ａ，２５０ａ，３５０ａの処理に対応する。第１学習プロセス４０６ｂの処理は、第１学習部１５０ｂ，２５０ｂ，３５０ｂの処理に対応する。第２学習プロセス４０６ｃの処理は、第２学習部１５０ｃ，２５０ｃ，３５０ｃの処理に対応する。調整プロセス４０６ｄの処理は、調整部２５０ｄ，３５０ｄの処理に対応する。判定プロセス４０６ｅの処理は、判定部１５０ｄ，２５０ｅ，３５０ｅの処理に対応する。

【0142】

なお、各プログラム４０７ａ～４０７ｅについては、必ずしも最初からハードディスク装置４０７に記憶させておかなくてもよい。例えば、コンピュータ４００に挿入されるフレキシブルディスク（ＦＤ）、ＣＤ－ＲＯＭ、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」に各プログラムを記憶させておく。そして、コンピュータ４００が各プログラム４０７ａ～４０７ｅを読み出して実行するようにしてもよい。

【0143】

以上の各実施例を含む実施形態に関し、さらに以下の付記を開示する。

【0144】

（付記１）複数の特徴量を含む訓練データと判定結果とを対応付けた学習データを基にして、第１機械学習モデルを学習することで、前記複数の特徴量に対する重要度ベクトルを算出し、
前記学習データと前記重要度ベクトルとを基にして、ｋ近傍法の第２機械学習モデルを学習し、
学習済みの前記第２機械学習モデルと、予測対象データとを基にして、前記訓練データから前記予測対象データに類似するデータを判定する
処理をコンピュータに実行させることを特徴とする判定処理プログラム。

【0145】

（付記２）前記判定する処理は、前記重要度ベクトルと、前記予測対象データとを乗算した値を、前記第２機械学習モデルに入力することで、前記類似するデータを判定し、
前記予測対象データを前記第１機械学習モデルに入力した場合の判定結果と、前記類似するデータとを関連付けて出力する処理を更に実行することを特徴とする付記１に記載の判定処理プログラム。

【0146】

（付記３）前記コンピュータに、更に、
前記訓練データを前記第１機械学習モデルに入力した場合の第１判定結果の確信度と、前記訓練データの複数の特徴量を前記重要度ベクトルで補正した補正訓練データを前記第２機械学習モデルに入力した場合の第２判定結果の確信度との差分が最小となるように、前記重要度ベクトルを調整する処理を実行させることを特徴とする付記１または２に記載の判定処理プログラム。

【0147】

（付記４）前記学習データに含まれる複数の訓練データのうち、前記予測対象データの近傍に存在する複数の訓練データを含むデータ集合を抽出する処理を更に実行し、
前記調整する処理は、前記データ集合を前記第１機械学習モデルに入力した場合の判定結果と、前記データ集合の複数の特徴量に前記重要度ベクトルを乗算したデータ集合を前記第２機械学習モデルに入力した場合の判定結果とを基にして、重要度ベクトルを調整することを特徴とする付記１、２または３に記載の判定処理プログラム。

【0148】

（付記５）複数の特徴量を含む訓練データと判定結果とを対応付けた学習データを基にして、第１機械学習モデルを学習することで、前記複数の特徴量に対する重要度ベクトルを算出する第１学習部と、
前記学習データと前記重要度ベクトルとを基にして、ｋ近傍法の第２機械学習モデルを学習する第２学習部と、
学習済みの前記第２機械学習モデルと、予測対象データとを基にして、前記訓練データから前記予測対象データに類似するデータを判定する判定部と
を有することを特徴とする判定処理装置。

【0149】

（付記６）前記判定部は、前記重要度ベクトルと、前記予測対象データとを乗算した値を、前記第２機械学習モデルに入力することで、前記類似するデータを判定し、前記予測対象データを前記第１機械学習モデルに入力した場合の判定結果と、前記類似するデータとを関連付けて出力する処理を更に実行することを特徴とする付記５に記載の判定処理装置。

【0150】

（付記７）前記訓練データを前記第１機械学習モデルに入力した場合の第１判定結果の確信度と、前記訓練データの複数の特徴量を前記重要度ベクトルで補正した補正訓練データを前記第２機械学習モデルに入力した場合の第２判定結果の確信度との差分が最小となるように、前記重要度ベクトルを調整する調整部を更に有することを特徴とする付記５または６に記載の判定処理装置。

【0151】

（付記８）前記学習データに含まれる複数の訓練データのうち、前記予測対象データの近傍に存在する複数の訓練データを含むデータ集合を抽出する取得部を更に有し、
前記調整部は、前記データ集合を前記第１機械学習モデルに入力した場合の判定結果と、前記データ集合の複数の特徴量に前記重要度ベクトルを乗算したデータ集合を前記第２機械学習モデルに入力した場合の判定結果とを基にして、重要度ベクトルを調整することを特徴とする付記７に記載の判定処理装置。

【0152】

（付記９）コンピュータが実行する判定処理方法であって、
複数の特徴量を含む訓練データと判定結果とを対応付けた学習データを基にして、第１機械学習モデルを学習することで、前記複数の特徴量に対する重要度ベクトルを算出し、
前記学習データと前記重要度ベクトルとを基にして、ｋ近傍法の第２機械学習モデルを学習し、
学習済みの前記第２機械学習モデルと、予測対象データとを基にして、前記訓練データから前記予測対象データに類似するデータを判定する
処理を実行することを特徴とする判定処理方法。

【0153】

（付記１０）前記判定する処理は、前記重要度ベクトルと、前記予測対象データとを乗算した値を、前記第２機械学習モデルに入力することで、前記類似するデータを判定し、
前記予測対象データを前記第１機械学習モデルに入力した場合の判定結果と、前記類似するデータとを関連付けて出力する処理を更に実行することを特徴とする付記９に記載の判定処理方法。

【0154】

（付記１１）前記訓練データを前記第１機械学習モデルに入力した場合の第１判定結果の確信度と、前記訓練データの複数の特徴量を前記重要度ベクトルで補正した補正訓練データを前記第２機械学習モデルに入力した場合の第２判定結果の確信度との差分が最小となるように、前記重要度ベクトルを調整する処理を更に実行することを特徴とする付記９または１０に記載の判定処理方法。

【0155】

（付記１２）前記学習データに含まれる複数の訓練データのうち、前記予測対象データの近傍に存在する複数の訓練データを含むデータ集合を抽出する処理を更に実行し、
前記調整する処理は、前記データ集合を前記第１機械学習モデルに入力した場合の判定結果と、前記データ集合の複数の特徴量に前記重要度ベクトルを乗算したデータ集合を前記第２機械学習モデルに入力した場合の判定結果とを基にして、重要度ベクトルを調整することを特徴とする付記１１に記載の判定処理方法。

【符号の説明】

【0156】

１００，２００ 判定処理装置
１１０，２１０ 通信部
１２０，２２０ 入力部
１３０，２３０ 表示部
１４０，２４０ 記憶部
１４０ａ，２４０ａ，３４０ａ 学習データ
１４０ｂ，２４０ｂ，３４０ｂ 第１機械学習モデル
１４０ｃ，２４０ｃ，３４０ｃ 第２機械学習モデル
１４０ｄ，２４０ｄ，３４０ｄ 重要度ベクトルデータ
１５０，２５０，３５０ 制御部
１５０ａ，２５０ａ，３５０ａ 取得部
１５０ｂ，２５０ｂ，３５０ｂ 第１学習部
１５０ｃ，２５０ｃ，３５０ｃ 第２学習部
１５０ｄ，２５０ｅ，３５０ｅ 判定部
２５０ｄ，３５０ｄ 調整部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】