特許 7396478 モデル訓練プログラム、モデル訓練方法および情報処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-12-04

(45)【発行日】2023-12-12

(54)【発明の名称】モデル訓練プログラム、モデル訓練方法および情報処理装置

(51)【国際特許分類】

   G06N 20/00 20190101AFI20231205BHJP

【ＦＩ】

G06N20/00

【請求項の数】 7

(21)【出願番号】P 2022527336

(86)(22)【出願日】2020-05-26

(86)【国際出願番号】 JP2020020814

(87)【国際公開番号】W WO2021240664

(87)【国際公開日】2021-12-02

【審査請求日】2022-08-03

(73)【特許権者】

【識別番号】000005223

【氏名又は名称】富士通株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】鈴木 浩史

(72)【発明者】

【氏名】後藤 啓介

【審査官】渡辺 順哉

(56)【参考文献】

【文献】特開２０１２－０７３７６１（ＪＰ，Ａ）

【文献】特開２０２０－０１７１１２（ＪＰ，Ａ）

【文献】鈴木浩史ほか，ユーザーの納得感を考慮した線形モデルの重み付きLassoによる定式化と一解法，第112回人工知能基本問題研究会資料，一般社団法人人工知能学会，2020年03月01日，pp.67-72

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｎ ３／００－９９／００

(57)【特許請求の範囲】

【請求項1】

コンピュータに、
判定モデルの訓練に利用された訓練データセットに含まれる複数の訓練データのうち、前記判定モデルが正しく判定できた訓練データを選択し、
選択された前記訓練データに含まれるデータ項目のうち判定に寄与したデータ項目と判定結果とをユーザに提示し、
提示された前記データ項目に対する解釈のしやすさの評価を受付け、
評価結果に基づいて調整されたロス関数をもとに、前記訓練データセットを用いて前記判定モデルの訓練を実行する
処理を実行させることを特徴とするモデル訓練プログラム。

【請求項2】

訓練された前記判定モデルがユーザ要件を満たすまで、前記判定に寄与したデータ項目と判定結果とのユーザへの提示、前記データ項目に対する解釈のしやすさの評価の受付、前記ロス関数の調整、前記評価結果に応じた前記判定モデルの訓練、を繰り返し実行し、
訓練された前記判定モデルがユーザ要件を満たした場合に、訓練された前記判定モデルを出力する、処理を前記コンピュータに実行させることを特徴とする請求項１に記載のモデル訓練プログラム。

【請求項3】

前記選択する処理は、前記訓練データセットに含まれる前記複数の訓練データのうち、前記判定モデルによる判定結果とラベルが一致し、評価対象として前記ユーザに提示されたデータ項目の数が少なく、前記判定結果に基づく予測値の絶対値が最大である訓練データを優先的に選択することを特徴とする請求項２に記載のモデル訓練プログラム。

【請求項4】

前記提示する処理は、選択された前記訓練データに含まれるデータ項目のうち、前記判定モデルに含まれる重みの符号がラベルと一致し、評価対象として前記ユーザに提示された評価回数が少ないデータ項目を優先的に前記ユーザに提示することを特徴とする請求項２に記載のモデル訓練プログラム。

【請求項5】

前記訓練を実行する処理は、前記ロス関数に含まれる分類誤差と重みペナルティに対して、解釈しやすいと評価された前記データ項目について重みペナルティを小さい値に変更し、解釈しにくいと評価された前記データ項目について重みペナルティを大きい値に変更して、変更後の前記ロス関数の最適化により、前記判定モデルの訓練を実行することを特徴とする請求項１に記載のモデル訓練プログラム。

【請求項6】

コンピュータが、
判定モデルの訓練に利用された訓練データセットに含まれる複数の訓練データのうち、前記判定モデルが正しく判定できた訓練データを選択し、
選択された前記訓練データに含まれるデータ項目のうち判定に寄与したデータ項目と判定結果とをユーザに提示し、
提示されたデータ項目に対する解釈のしやすさの評価を受付け、
評価結果に基づいて調整されたロス関数をもとに、前記訓練データセットを用いて前記判定モデルの訓練を実行する
処理を実行することを特徴とするモデル訓練方法。

【請求項7】

判定モデルの訓練に利用された訓練データセットに含まれる複数の訓練データのうち、前記判定モデルが正しく判定できた訓練データを選択する選択部と、
選択された前記訓練データに含まれるデータ項目のうち判定に寄与したデータ項目と判定結果とをユーザに提示する提示部と、
提示されたデータ項目に対する解釈のしやすさの評価を受付ける受付部と、
評価結果に基づいて調整されたロス関数をもとに、前記訓練データセットを用いて前記判定モデルの訓練を実行する実行部と
を有することを特徴とする情報処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、モデル訓練プログラム、モデル訓練方法および情報処理装置に関する。

【背景技術】

【0002】

ＡＩ（Artificial Intelligence）技術が普及し、ブラックボックスなモデルの判断を鵜呑みにできない、人間にとって解釈可能な判断の根拠を示してほしいなど、説明可能な機械学習モデルの需要が増加している。このことから、ルールリスト、決定木、線形モデルなどのホワイトボックスモデルを予め用いることも行われるが、ホワイトボックスなモデルを単に用いるだけでは、人間にとって解釈可能なモデルとは限らない。

【0003】

そのため、近年では、モデル生成と人間へのフィードバックとを繰り返す対話型アプローチにより、人間が納得できて精度がよいモデルを生成することが行われている。例えば、「ある入力に対するモデルの出力を予測する」タスクをユーザに表示し、反応時間により解釈可能性を評価する。そして、評価にしたがって、モデルを最適化する際のパラメータを変更してモデルを更新する。このような処理を繰り返すことで、人間が納得できて精度がよいモデルを生成することが行われている。

【先行技術文献】

【非特許文献】

【0004】

【文献】Isaac Lage，et al．，“Human－in－the－loop interpretability prior”，In proceedings of the 32nd International Conference on Neural Information Processing Systems （NIPS‘18），pages 10180－10189，2018

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、上記技術は、決定木やルールリストなど、人間が分岐を追うことで出力を予測できるモデルが対象であり、線形モデルへの適用が困難である。例えば、１００個のデータ項目がモデルに出現する場合、ユーザが１００個のデータ項目すべてに目を通してモデルの予測値を概算するのは、ユーザにとって負担が大きく、非現実的である。

【0006】

また、線形モデルの解釈可能性は、出力の説明として提示されるデータ項目の解釈しやすさにより決まるので、上記タスクへの応答時間の長さからは解釈可能性を評価できない。

【0007】

一つの側面では、モデルの解釈のしやすさの向上を図ることができるモデル訓練プログラム、モデル訓練方法および情報処理装置を提供することを目的とする。

【課題を解決するための手段】

【0008】

第１の案では、モデル訓練プログラムは、コンピュータに、判定モデルの訓練に利用された訓練データセットに含まれる複数の訓練データのうち、前記判定モデルが正しく判定できた訓練データを選択する処理を実行させる。モデル訓練プログラムは、コンピュータに、選択された前記訓練データに含まれるデータ項目のうち判定に寄与したデータ項目と判定結果とをユーザに提示し、提示された前記データ項目に対する解釈のしやすさの評価を受付ける処理を実行させる。モデル訓練プログラムは、コンピュータに、評価結果に基づいて調整されたロス関数をもとに、前記訓練データセットを用いて前記判定モデルの訓練を実行する処理を実行させる。

【発明の効果】

【0009】

一実施形態によれば、モデルの解釈のしやすさの向上を図ることができる。

【図面の簡単な説明】

【0010】

【図1】図１は、実施例１にかかる情報処理装置を説明する図である。

【図2】図２は、一般技術の問題点を説明する図である。

【図3】図３は、実施例１にかかる情報処理装置の機能構成を示す機能ブロック図である。

【図4】図４は、訓練データセットの一例を説明する図である。

【図5】図５は、ロス関数を説明する図である。

【図6】図６は、データ項目の推薦を説明する図である。

【図7】図７は、具体例のループ１回目を説明する図である。

【図8】図８は、問い合わせ画面例を説明する図である。

【図9】図９は、具体例のループ２回目を説明する図である。

【図10】図１０は、具体例のループ２回目を説明する図である。

【図11】図１１は、具体例のループ３回目を説明する図である。

【図12】図１２は、具体例のループ３回目を説明する図である。

【図13】図１３は、具体例のループ４回目を説明する図である。

【図14】図１４は、具体例のループ４回目を説明する図である。

【図15】図１５は、具体例のループ５回目を説明する図である。

【図16】図１６は、具体例のループ５回目を説明する図である。

【図17】図１７は、処理の流れを示すフローチャートである。

【図18】図１８は、ハードウェア構成例を説明する図である。

【発明を実施するための形態】

【0011】

以下に、本発明にかかるモデル訓練プログラム、モデル訓練方法および情報処理装置の実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。また、各実施例は、矛盾のない範囲内で適宜組み合わせることができる。

【実施例1】

【0012】

［情報処理装置の説明］
図１は、実施例１にかかる情報処理装置１０を説明する図である。図１に示す情報処理装置１０は、解釈可能性の高い判定モデルを生成するコンピュータ装置である。この情報処理装置１０は、ユーザ（人間）との対話により、人間による評価のフィードバックとモデル生成を繰り返し、なるべく人間に手間をかけさせないで、人が納得できて精度良いモデルを生成する。実施例１にかかる情報処理装置１０は、説明可能な機械学習モデルとして、ホワイトボックスモデルの一例である線形モデルを例にして説明する。

【0013】

ここで、線形モデルの一例としては、式（１）に示すロス関数を最小化して得られる回帰式（式（２）参照）による判定モデル（学習モデル）が考えられる。なお、ロス関数は、訓練データと分類誤差（判定誤差）と重みペナルティを含む目的関数の一例であり、回帰式は、データ項目がｄ個あると仮定した例を示している。回帰式は、ｍ（ｘ）＞０のとき正例、それ以外では負例と判定するモデルである。

【0014】

【数1】

【数2】

【0015】

一般的に、訓練された判定モデルにおいて、入力データに合致して重みが「０」でないデータ項目を説明としてユーザに提示する。例えば、判定モデルがｍ（ｘ）＝７ｘ_１－２ｘ_３－６ｘ_５であるときに、入力ｘ＝（０,１,１,０,１）を入力した場合、判定モデルによる予測値ｍ（ｘ）は「－８」となる。このとき、ｘ_３とｘ_５に起因して負例と判定されていることから、特に「ｘ_５」が重要としてユーザに提示することができる。このように、対話的アプローチにより訓練が進むと、ロス関数内のペナルティの調整により重みが「０」のデータ項目が増えて簡潔な説明になるが、説明の簡潔さと判定精度はトレードオフの関係にある。

【0016】

図２は、一般技術の問題点を説明する図である。図２に示すように、データ項目を増やせば判定精度は向上するが、回帰式が長くなるので、ユーザによる「ある入力に対するモデルの出力を予測する」タスクにかかる時間が長くなる。つまり、ユーザが各データ項目について解釈可能か否かを判定し、ユーザによる評価を取得するまでの時間が長くなり、判定モデルの生成に時間がかかる。一方、回帰式を短くすると、ユーザが解釈することが難しいデータ項目ｘ_２、ｘ_５、ｘ_８（解釈しやすさ＝×）などが多く使用されることもあり、ユーザによるタスクの処理時間が短縮できるとも限らない。

【0017】

そこで、実施例１にかかる情報処理装置１０は、各データ項目にモデル生成時のペナルティ係数を用意し、「提示されたデータ項目を評価する」タスクの結果に応じてペナルティ係数を更新する。そして、情報処理装置１０は、更新されたペナルティ係数を用いてモデルの最適化を実行することで、ロス関数の更新とモデルの訓練を実行する。

【0018】

具体的には、情報処理装置１０は、判定モデルの訓練に利用された訓練データセットに含まれる訓練データのうち、判定モデルが正しく判定できた訓練データを選択する。そして、情報処理装置１０は、選択された訓練データに含まれるデータ項目のうち判定に寄与したデータ項目と判定結果とをユーザに提示し、提示されたデータ項目に対する解釈のしやすさの評価を受付ける。その後、情報処理装置１０は、評価結果に基づいて調整されたロス関数をもとに、訓練データセットを用いて前記判定モデルの訓練を実行する。

【0019】

つまり、図１に示すように、情報処理装置１０は、訓練済みの線形モデル（判定モデル）を用いて、ユーザに推薦するデータ項目の探索を実行し、探索されたデータ項目をユーザに推薦する。そして、情報処理装置１０は、推薦されたデータ項目に対するユーザ評価を取得して、ユーザ評価を考慮して判定モデル（線形モデル）の訓練を実行し、ユーザに提示する。また、情報処理装置１０は、提案された判定モデルに対するユーザ評価を取得して、ユーザに提案するデータ項目の探索を再度実行する。

【0020】

つまり、情報処理装置１０は、訓練履歴に基づいてデータ項目をユーザに推薦する際に、データ項目数を減らしてタスクを平易化し、ユーザ評価とその評価に基づく訓練を繰り返すことで、データ項目の解釈しやすさを考慮したモデル生成を実現する。このようにして、情報処理装置１０は、モデルの解釈のしやすさの向上を図ることができる。なお、本実施例で使用する「データ項目が解釈しやすい」とは、「モデルへの出現しやすさ」と同義である。

【0021】

［機能構成］
図３は、実施例１にかかる情報処理装置１０の機能構成を示す機能ブロック図である。図３に示すように、情報処理装置１０は、通信部１１、表示部１２、記憶部１３、制御部２０を有する。

【0022】

通信部１１は、他の装置との間の通信を制御する処理部であり、例えば通信インタフェースにより実現される。例えば、通信部１１は、管理者端末などから訓練データセットや処理開始などの各種指示を受信し、訓練後の判定モデルを管理者端末に送信する。

【0023】

表示部１２は、制御部２０により生成される各種情報を出力する処理部であり、例えばディスプレイやタッチパネルなどにより実現される。

【0024】

記憶部１３は、各種データや制御部２０が実行するプログラムなどを記憶する記憶装置の一例であり、例えばメモリやハードディスクにより実現される。この記憶部１３は、訓練データセット１４と判定モデル１５を記憶する。

【0025】

訓練データセット１４は、判定モデル１５の訓練に使用された訓練データである。図４は、訓練データセット１４の一例を説明する図である。図４に示すように、訓練データセット１４は、説明変数である複数のデータ項目と目的変数である正解情報（ラベル）とが対応付けられた複数の訓練データから構成される。

【0026】

具体的には、図４に示すように、訓練データの一例であるデータａ、ｂ、ｃ、ｄ、ｅ、ｆのそれぞれは、特徴を示すデータ項目ｘ_ｉ（ｉ＝１から８）とラベルとから構成される。例えば、データａは、「データ項目ｘ_１，ｘ_２，ｘ_３，ｘ_４，ｘ_５，ｘ_６，ｘ_７，ｘ_８」として「１，０，０，０，０，０，１，１」が設定されており、ラベルとして「正例」が設定されている。

【0027】

判定モデル１５は、訓練データセット１４を用いて訓練された訓練済みのモデルである。例えば、判定モデル１５は、式（３）等に示される線形モデルｍ（ｘ）であり、入力に対する予測値ｍ（ｘ）が０より大きければ「正例」、予測値ｍ（ｘ）が０以下であれば「負例」と判定（分類）される。なお、判定モデル１５は、後述する訓練部２１によって生成される。

【0028】

【数3】

【0029】

制御部２０は、情報処理装置１０全体を司る処理部であり、例えばプロセッサなどにより実現される。この制御部２０は、訓練部２１、対話処理部２２、出力部２６を有する。なお、訓練部２１、対話処理部２２、出力部２６は、プロセッサなどの電子回路として実現することもでき、プロセッサが実行するプロセスとして実現することもできる。

【0030】

訓練部２１は、判定モデル１５の訓練（学習）を実行する処理部である。具体的には、訓練部２１は、訓練データセット１４を用いて判定モデル１５を訓練し、訓練が完了すると、訓練済みである判定モデル１５を記憶部１３に格納する。

【0031】

ここで、訓練に使用するロス関数と分類モデルについて説明する。式（４）に示すロス関数Ｌは、分類誤差（判定誤差）と重みペナルティとの和により定義される。ここで、Ｘは、訓練データの説明変数であり、ｙは、訓練データの目的変数（ラベル）である。また、ρ_ｉは、ｄ個の各データ項目に対して設定される係数であり、初期値はユーザ指定のひとつの実数値パラメータで統一する。なお、データ項目ｉが解釈しやすい場合、モデルに出現しやすくなるようにρ_ｉをγρ_ｉで更新され、データ項目ｉが解釈しにくい場合、モデルに出現しにくくなるようにρ_ｉをδρ_ｉで更新されて、訓練が実行される。ここで、γおよびδは、ユーザが設定可能な実数値パラメータであり、例えば０＜γ＜１、１＜δである。

【0032】

【数4】

【0033】

図５は、ロス関数を説明する図である。図５に示すように、訓練部２１は、ロス関数Ｌの「Ｘ」に、訓練データセット１４の各データの説明変数（データ項目）を行とする６行８列の行列を代入する。例えば、Ｘの１行目にデータａの「ｘ_１，ｘ_２，ｘ_３，ｘ_４，ｘ_５，ｘ_６，ｘ_７，ｘ_８＝１，０，０，０，０，０，１，１」、２行目にデータｂの「ｘ_１，ｘ_２，ｘ_３，ｘ_４，ｘ_５，ｘ_６，ｘ_７，ｘ_８＝１，１，１，１，０，０，１，１」、３行目にデータｃの「ｘ_１，ｘ_２，ｘ_３，ｘ_４，ｘ_５，ｘ_６，ｘ_７，ｘ_８＝０，０，０，０，１，１，１，１」、４行目にデータｄの「ｘ_１，ｘ_２，ｘ_３，ｘ_４，ｘ_５，ｘ_６，ｘ_７，ｘ_８＝１，１，１，１，０，０，０，０」、５行目にデータｅの「ｘ_１，ｘ_２，ｘ_３，ｘ_４，ｘ_５，ｘ_６，ｘ_７，ｘ_８＝０，１，１，１，１，１，０，０」、６行目にデータｆの「ｘ_１，ｘ_２，ｘ_３，ｘ_４，ｘ_５，ｘ_６，ｘ_７，ｘ_８＝０，１，１，１，１，１，１，１」が設定される。

【0034】

また、ロス関数Ｌの「ｙ」には、訓練データセット１４の各データのラベルを行とする６行１列の行列が代入される。例えば、ｙの１行目にデータａの「ラベル＝正例」、２行目にデータｂの「ラベル＝正例」、３行目にデータｃの「ラベル＝正例」、４行目にデータｄの「ラベル＝負例」、５行目にデータｅの「ラベル＝負例」、６行目にデータｆの「ラベル＝負例」が設定される。計算上、正例は「１」、負例は「０」に変換される。

【0035】

また、ρ_ｉは、データ項目ごとに設定される値（重み）であり、各データ項目の解釈しやすさにより定義される。例えば、データ項目ｘ_１に対してρ_１が設定され、データ項目ｘ_２に対してρ_２が設定され、データ項目ｘ_３に対してρ_３が設定され、データ項目ρ_４に対してρ_４が設定され、データ項目ｘ_５に対してρ_５が設定され、データ項目ｘ_６に対してρ_６が設定され、データ項目ｘ_７に対してρ_７が設定され、データ項目ｘ_８に対してρ_８が設定されて、ロス関数の最適化（最小化）が計算される。なお、訓練部２１による訓練時は、ρ_ｉに対して任意の値を設定する。

【0036】

そして、訓練部２１は、上述したように各変数に値を設定したロス関数Ｌの最適化を実行し、最適化して得られるａ_ｉを用いた、式（２）に示す判定モデルｍ（ｘ）を生成する。すなわち、訓練部２１は、ロス関数Ｌを最小化して得られる回帰式による判定モデルを生成して、判定モデル１５として記憶部１３に格納する。なお、ここでは、データ項目数がｄ個である例を示しているが、実施例１では、ｄ＝８となる。

【0037】

対話処理部２２は、推薦部２３、再訓練部２４、画面表示部２５を有し、ユーザとの対話アプローチによるデータ項目に対するユーザ評価の取得、および、ユーザ評価を考慮した判定モデル１５の再訓練を実行する処理部である。

【0038】

具体的には、対話処理部２２は、訓練データセット１４の各訓練データに含まれる各データ項目の評価回数を管理し、訓練データ中から所定の優先基準で１つの訓練データを推薦対象に決定する。そして、対話処理部２２は、推薦対象の訓練データ内のデータ項目のうち、入力（ラベル）に合致するデータ項目から任意のｋ個をユーザに提示して、提示されたデータ項目に対する評価を受け付ける。

【0039】

その後、対話処理部２２は、ユーザ評価に応じて、ロス関数の重みペナルティを更新した上で、訓練データセット１４を用いた判定モデル１５の再訓練を実行して、判定モデル１５の最適化を実行する。つまり、対話処理部２２は、データ項目の推薦、ユーザ評価を反映したロス関数により再訓練、判定モデル１５の生成を繰り返し、効果的にタスクを課すことで、少ないタスク回数で判定モデル１５の最適化を実現する。

【0040】

推薦部２３は、訓練済みの判定モデル１５と訓練データセット１４と用いて、訓練データが有する複数のデータ項目から、ユーザの評価対象のデータ項目を探索してユーザに提示（推薦）する処理部である。

【0041】

ここで、データ項目の推薦について詳細に説明する。図６は、データ項目の推薦を説明する図である。図６に示すように、推薦部２３は、訓練データである各データａからデータｆそれぞれいついて、「データ項目とラベル」に加えて、「予測値」、「平均評価回数」、「ペナルティ」、「評価回数」を管理する。

【0042】

「予測値」は、訓練データを判定モデル１５に入力したときに、判定モデル１５が出力した出力値である。「平均評価回数」は、モデルに含まれる各データ項目が評価された回数や割合であり、判定モデル１５が再訓練されるたびに更新される。「ペナルティ」は、ロス関数の重みペナルティの「ρ_ｉ」に設定するに設定する値であり、例えば初期値が「１．０」で、ユーザ評価により更新される。「評価回数」は、各データ項目が評価された回数である。例えば、推薦部２３は、ｄ個のデータ項目に対してｃ_１，ｃ_２，ｃ_３・・・ｃ_ｄとしてそれぞれを初期化し、データ項目ｉがユーザによって選択されたときに「ｃ_ｉ」を「ｃ_ｉ＋１」で更新する。

【0043】

このような情報を管理するとこで、推薦部２３は、判定モデル１５が再訓練されるたびに、推薦するデータ項目を決定してユーザに提示する。例えば、まず、推薦部２３は、推薦対象のデータ項目を絞り込む。具体的には、推薦部２３は、訓練データの中から、判定モデル１５による判定結果が正しく、平均評価回数が最小で、判定モデル１５による予測値の絶対値が最大である訓練データを、ユーザへの推薦対象として選択する。つまり、推薦部２３は、正しく訓練された訓練データのうち評価回数が少なく重みが大きいデータ項目が多いものを優先的にユーザに推薦する。なお、推薦部２３は、該当する訓練データが存在しない場合は、ランダムに選択する。

【0044】

次に、推薦部２３は、入力に合致するデータ項目から所定の優先基準で選択したｋ個のデータ項目をユーザに提示して推薦する。具体的には、推薦部２３は、重みの符号がラベルと一致しており、評価回数が少なく、重みの絶対値が大きいデータ項目をｋ個選択してユーザに推薦する。つまり、推薦部２３は、判定結果に寄与しており、評価回数が少なく重みが大きいデータ項目を優先してユーザに提示する。そして、推薦部２３は、提示したデータ項目が「解釈しやすい」、「解釈しにくい」、または、「どちらでもない」のいずれに該当するかの評価をユーザから受け付ける。

【0045】

再訓練部２４は、推薦部２３により得られたユーザの評価を考慮して、判定モデル１５の再訓練を実行する処理部である。具体的には、再訓練部２４は、訓練部２１と同様の手法により、訓練データセット１４と式（４）とを用いて、ロス関数Ｌを最小化して得られる回帰式による判定モデル１５を生成する。

【0046】

このとき、再訓練部２４は、推薦部２３により取得されたユーザ評価をロス関数の「ρ_ｉ」に反映させて最小化を実行する。具体的には、再訓練部２４は、ユーザ評価に応じて、データ項目ｉが「解釈しやすい」と評価された場合には、データ項目ｉに対応する「ρ_ｉ」を「γρ_ｉ」で更新して、ロス関数の最適化を実行する。一方、再訓練部２４は、ユーザ評価に応じて、データ項目ｉが「解釈しにくい」と評価された場合には、データ項目ｉに対応する「ρ_ｉ」を「δρ_ｉ」で更新して、ロス関数の最適化を実行する。

【0047】

例えば、γ＝１／２、δ＝０．５、各ρ_ｉの初期値が１．０の状態を例にして説明すると、再訓練部２４は、データ項目ｘ_３が「解釈しやすい」と評価された場合は「ρ_３」を「１．０」から「１．０×１／２＝０．５」に更新し、他のデータ項目の「ρ_ｉ」については「１．０」を設定したロス関数の最小化を計算する。一方、再訓練部２４は、データ項目ｘ_３が「解釈しにくい」と評価された場合は「ρ_３」を「１．０」から「１．０×２＝２．０」に更新し、他のデータ項目の「ρ_ｉ」については「１．０」を設定したロス関数の最小化を計算する。

【0048】

そして、再訓練部２４は、ユーザ評価を「ρ_ｉ」に反映させたロス関数を最小化して得られる回帰式による判定モデル１５をユーザに提示して、判定モデル１５そのものが解釈しやすいか否かを評価させる。

【0049】

ここで、判定モデル１５そのものが解釈しやすいと評価された場合は、そのときの判定モデル１５が最終的に得られた判定モデルと決定される。一方、判定モデル１５そのものが解釈しにくいと評価された場合は、推薦部２３によるデータ項目の探索および推薦と、再訓練部２４による再訓練とが再度実行される。

【0050】

図３に戻り、画面表示部２５は、ユーザの評価を受け付けるための問い合わせ画面を生成してユーザに表示する処理部である。例えば、画面表示部２５は、推薦部２３により探索されたデータ項目が「解釈しやすい」か「解釈しにくい」か「どちらでもない」かを問い合わせるための問い合わせ画面を生成してユーザに表示する。また、画面表示部２５は、再訓練部２４により生成された判定モデル１５が「解釈しやすい」か「解釈しにくい」かを問い合わせるための問い合わせ画面を生成してユーザに表示する。

【0051】

なお、推薦部２３や再訓練部２４は、画面表示部２５により生成される問い合わせ画面上でユーザ評価を受け付ける。また、画面表示部２５は、問い合わせ画面を情報処理装置１０の表示部１２に画面を表示することもでき、ユーザ端末に送信することもできる。

【0052】

出力部２６は、解釈しやすいと最終的に判定された判定モデル１５を出力する処理部である。例えば、出力部２６は、画面表示部２５により生成された問い合わせ画面上で、表示されている判定モデル１５が「解釈しやすい」と判定された場合、表示されている判定モデル１５を記憶部１３に格納したり、ユーザ端末に出力したり、任意の出力先に出力する。

【0053】

［具体例］
次に、図７から図１６を用いて、ユーザ評価を考慮した判定モデル１５の再訓練の具体例を説明する。ここでは、ｋ＝２、γ＝１／２、δ＝２とする。

【0054】

（ループ１回目）
図７は、具体例のループ１回目を説明する図である。図７に示すように、対話処理部２２は、図４に示した訓練データセット１４を、式（４）に代入し、再訓練を実行することで、判定モデル１５「ｍ（ｘ）＝ｘ_１－２ｘ_２－ｘ_５＋２ｘ_８」を生成する。なお、図７に示す「潜在評価」とは、各データ項目の潜在的な解釈のしやすさを表すものであり、具体例では説明を分かりやすくするために記載しているが、実際の処理においては不明な情報である。

【0055】

この状態で、対話処理部２２は、データ項目のユーザ提示を実行する。例えば、対話処理部２２は、各データａからデータｆについてラベルと予測値が一致するので、すべての判定が正しい判定する。続いて、対話処理部２２は、予測値が正しいデータのうち、平均評価回数が小さいデータを選択するが、ループ１回目であり平均評価回数がすべて等しいと判定する。そして、対話処理部２２は、平均評価回数が小さいデータのうち、予測値の絶対値が大きいデータａとデータｅとを特定し、ランダムにデータａを選択する。

【0056】

その後、対話処理部２２は、データａの各データ項目ｘ_１からｘ_８のうち、判定モデル１５「ｍ（ｘ）＝ｘ_１－２ｘ_２－ｘ_５＋２ｘ_８」に含まれる「ｘ_１，ｘ_２，ｘ_５，ｘ_８」のうち、データａと合致するとともに、ラベルと重みが一致するデータ項目ｘ_１とデータ項目ｘ_８を特定する。例えば、対話処理部２２は、判定モデル１５に含まれる「ｘ_１，ｘ_２，ｘ_５，ｘ_８」のうち、データａのデータ項目で「１」が設定されるデータ項目ｘ_１とデータ項目ｘ_８を特定する。そして、対話処理部２２は、特定したデータ項目ｘ_１に対応する判定モデル１５の重みが「１」、データ項目ｘ_８に対応する判定モデル１５の重みが「２」であり、いずれもデータａのラベル「正例」と一致するので、データ項目ｘ_１およびｘ_８を推薦対象に決定する。すなわち、対話処理部２２は、データａがデータ項目ｘ_１およびｘ_８に起因（寄与）して正例と判定されたと推定する。

【0057】

そして、対話処理部２２は、現在の判定モデル１５と推薦対象のデータ項目とを表示する問い合わせ画面を生成して、ユーザに提示する。図８は、問い合わせ画面例を説明する図である。図８に示すように、対話処理部２２は、現在のモデルを示す領域５１と、データ項目の評価を受け付ける領域５２と、データ詳細の領域５３を有する問い合わせ画面５０を生成してユーザに表示する。

【0058】

具体的には、対話処理部２２は、現在のモデルを示す領域５１には、現時点での判定モデル１５（ｍ（ｘ））を表示するとともに、モデルを出力するか否かを選択させるボタンを表示する。また、対話処理部２２は、データ項目の評価を受け付ける領域５２には、推薦対象に決定された「データ項目」を表示するとともに、そのデータ項目が「解釈しやすい」か「解釈しにくい」か「どちらでもない」かを選択させるボタン等を表示する。また、対話処理部２２は、データ詳細の領域５３には、訓練データセット１４を表示する。

【0059】

なお、この具体例においては、対話処理部２２は、推薦されたデータ項目ｘ_１に対して、ユーザから「どちらでもない」との評価を取得し、データ項目ｘ_８に対して、ユーザから「解釈しにくい」との評価を取得したものとする。また、対話処理部２２は、判定モデル１５「ｍ（ｘ）＝ｘ_１－２ｘ_２－ｘ_５＋２ｘ_８」については、ユーザから「モデルを出力」の選択は受付けておらず、解釈しやすいモデルではないと判定したものとする。なお、ここでは、モデルとデータ項目との両方を同時に問い合わせる例で説明したが、モデルの評価を問い合わせて「解釈しにくい」と評価された後に、データ項目の推薦を実行することもできる。

【0060】

（ループ２）
図９と図１０は、具体例のループ２回目を説明する図である。図９に示すように、対話処理部２２は、データ項目ｘ_１とデータ項目ｘ_８がユーザに推薦されたので、評価回数を１だけ増加させて、それぞれの評価回数を「１」に変更する。また、対話処理部２２は、データ項目ｘ_８が「解釈しにくい」と評価されたことから、データ項目ｘ_８のペナルティ「ρ_８」を、「δρ_ｉ」に基づき「現在値（１．０）×２＝２．０」に変更する。その後、対話処理部２２は、各データ項目ｘ_ｉのペナルティ「ρ_ｉ」の値を設定したロス関数を用いて、判定モデル１５の再訓練を実行して、判定モデル１５「ｍ（ｘ）＝ｘ_１－２ｘ_２－ｘ_５＋２ｘ_７」を生成する。

【0061】

そして、対話処理部２２は、問い合わせ画面５０の現在のモデルを示す領域５１を更新して、再訓練後の判定モデル１５「ｍ（ｘ）＝ｘ_１－２ｘ_２－ｘ_５＋２ｘ_７」を表示してユーザ評価を問い合わせる。ここでは、対話処理部２２は、判定モデル１５について、ユーザから「モデルを出力」の選択は受付けておらず、解釈しやすいモデルではないと判定したものとする。

【0062】

再訓練後のモデルが解釈しにくい場合、図１０に示すように、対話処理部２２は、平均評価回数の更新を実行する。具体的には、対話処理部２２は、データａについて、判定モデル１５に存在するデータ項目「ｘ_１」、「ｘ_２」、「ｘ_５」、「ｘ_７」のうち、データａと合致する２つのデータ項目ｘ_１とｘ_７のうち、データ項目ｘ_１に対してユーザ評価済みであることから、平均評価回数を「１／２＝０．５」と算出して設定する。なお、合致するとは、判定モデル１５に登場するデータ項目のうち、データａにおいて「１」が設定されるデータ項目を指す。

【0063】

同様に、対話処理部２２は、データｂについて、判定モデル１５に存在するデータ項目「ｘ_１」、「ｘ_２」、「ｘ_５」、「ｘ_７」のうち、データｂと合致する３つのデータ項目ｘ_１とｘ_５とｘ_７のうち、データ項目ｘ_１に対してユーザ評価済みであることから、平均評価回数を「１／３＝０．３３」と算出して設定する。

【0064】

また、対話処理部２２は、データｃについて、判定モデル１５に存在するデータ項目のうち、データｃと合致する２つのデータ項目ｘ_５とｘ_７が未評価であることから、平均評価回数を「０／２＝０」と算出して設定する。同様に、対話処理部２２は、データｄについて、判定モデル１５に存在するデータ項目のうち、データｄと合致する２つのデータ項目ｘ_１とｘ_２のうち、データ項目ｘ_１に対してユーザ評価済みであることから、平均評価回数を「１／２＝０．５」と算出して設定する。

【0065】

また、対話処理部２２は、データｅについて、判定モデル１５に存在するデータ項目のうち、データｅと合致する２つのデータ項目ｘ_２とｘ_５のうち、いずれも未評価であることから、平均評価回数を「０／２＝０」と算出して設定する。同様に、対話処理部２２は、データｆについて、判定モデル１５に存在するデータ項目のうち、データｆと合致する３つのデータ項目ｘ_２とｘ_５とｘ_７のうち、いずれも未評価であることから、平均評価回数を「０／２＝０」と算出して設定する。

【0066】

この状態で、対話処理部２２は、データ項目のユーザ提示を実行する。例えば、対話処理部２２は、各データａからデータｆについてラベルと予測値が一致するので、すべての判定が正しい判定する。続いて、対話処理部２２は、予測値が正しいデータのうち、平均評価回数が小さいデータであるデータｃ、データｅ、データｆを特定する。そして、対話処理部２２は、平均評価回数が小さいデータのうち、予測値の絶対値が大きいデータｅを選択する。

【0067】

その後、対話処理部２２は、データｅの各データ項目ｘ_１からｘ_８のうち、判定モデル１５「ｍ（ｘ）＝ｘ_１－２ｘ_２－ｘ_５＋２ｘ_７」に含まれる「ｘ_１，ｘ_２，ｘ_５，ｘ_７」のうち、データｅと合致するとともに、ラベルと重みが一致するデータ項目ｘ_２とデータ項目ｘ_５を特定する。例えば、対話処理部２２は、特定したデータ項目ｘ_２に対応する判定モデル１５の重みが「－２」、データ項目ｘ_７に対応する判定モデル１５の重みが「－１」であり、いずれもデータｅのラベル「負例」と一致するとともに、一致した数がｋ（＝２）以下であることから、データ項目ｘ_２およびｘ_５を推薦対象に決定する。すなわち、対話処理部２２は、データｅがデータ項目ｘ_２およびｘ_５に起因して負例と判定されたと推定する。

【0068】

そして、対話処理部２２は、問い合わせ画面５０を更新して、推薦対象のデータ項目を表示する問い合わせ画面５０をユーザに提示する。ここでは、対話処理部２２は、推薦されたデータ項目ｘ_２とデータ項目ｘ_５のそれぞれに対して、ユーザから「解釈しにくい」との評価を取得したものとする。

【0069】

（ループ３）
図１１と図１２は、具体例のループ３回目を説明する図である。図１１に示すように、対話処理部２２は、データ項目ｘ_２とデータ項目ｘ_５がユーザに推薦されたので、評価回数を１だけ増加させて、それぞれの評価回数を「１」に変更する。また、対話処理部２２は、データ項目ｘ_２およびｘ_８の両方が「解釈しにくい」と評価されたことから、データ項目ｘ_２のペナルティ「ρ_２」とデータ項目ｘ_８のペナルティ「ρ_８」を、「δρ_ｉ」に基づき「現在値（１．０）×２＝２．０」に変更する。その後、対話処理部２２は、各データ項目ｘ_ｉのペナルティ「ρ_ｉ」の値を設定したロス関数を用いて、判定モデル１５の再訓練を実行して、判定モデル１５「ｍ（ｘ）＝ｘ_１－２ｘ_３－ｘ_６＋２ｘ_７」を生成する。

【0070】

そして、対話処理部２２は、問い合わせ画面５０の現在のモデルを示す領域５１を更新して、再訓練後の判定モデル１５「ｍ（ｘ）＝ｘ_１－２ｘ_３－ｘ_６＋２ｘ_７」を表示してユーザ評価を問い合わせる。ここでは、対話処理部２２は、判定モデル１５については、ユーザから「モデルを出力」の選択は受付けておらず、解釈しやすいモデルではないと判定したものとする。

【0071】

再訓練後のモデルが解釈しにくい場合、図１２に示すように、対話処理部２２は、平均評価回数の更新を実行する。具体的には、対話処理部２２は、データａについて、判定モデル１５に存在するデータ項目「ｘ_１」、「ｘ_３」、「ｘ_６」、「ｘ_７」のうち、データａと合致する２つのデータ項目ｘ_１とｘ_７を特定する。そして、対話処理部２２は、特定した２つのデータ項目ｘ_１とｘ_７のうち、データ項目ｘ_１が現在までで評価済みであるデータ項目ｘ_１、ｘ_８、ｘ_２、ｘ_５に含まれていることから平均評価回数を「１／２＝０．５」と算出して、データａに設定する。

【0072】

同様に、対話処理部２２は、データｂについて、判定モデル１５に存在するデータ項目「ｘ_１」、「ｘ_３」、「ｘ_６」、「ｘ_７」のうち、データｂと合致する３つのデータ項目ｘ_１とｘ_３とｘ_７を特定する。そして、対話処理部２２は、特定した３つのデータ項目ｘ_１とｘ_３とｘ_７のうち、データ項目ｘ_１が現在までで評価済みであるデータ項目ｘ_１、ｘ_８、ｘ_２、ｘ_５に含まれていることから平均評価回数を「１／３＝０．３３」と算出して、データｂに設定する。

【0073】

また、対話処理部２２は、データｃについて、判定モデル１５に存在するデータ項目「ｘ_１」、「ｘ_３」、「ｘ_６」、「ｘ_７」のうち、データｃと合致する２つのデータ項目ｘ_６とｘ_７を特定する。そして、対話処理部２２は、これらが現在までで評価済みであるデータ項目ｘ_１、ｘ_８、ｘ_２、ｘ_５に含まれていないことから平均評価回数を「０／２＝０」と算出して、データｃに設定する。

【0074】

また、対話処理部２２は、データｄについて、判定モデル１５に存在するデータ項目「ｘ_１」、「ｘ_３」、「ｘ_６」、「ｘ_７」のうち、データｄと合致する２つのデータ項目ｘ_１とｘ_３を特定する。そして、対話処理部２２は、特定した２つのデータ項目ｘ_１とｘ_３のうち、データ項目ｘ_１が現在までで評価済みであるデータ項目ｘ_１、ｘ_８、ｘ_２、ｘ_５に含まれていることから平均評価回数を「１／２＝０．５」と算出して、データｄに設定する。

【0075】

また、対話処理部２２は、データｅについて、判定モデル１５に存在するデータ項目「ｘ_１」、「ｘ_３」、「ｘ_６」、「ｘ_７」のうち、データｅと合致する２つのデータ項目ｘ_３とｘ_６を特定する。そして、対話処理部２２は、これらが現在までで評価済みであるデータ項目ｘ_１、ｘ_８、ｘ_２、ｘ_５に含まれていないことから平均評価回数を「０／２＝０」と算出して、データｅに設定する。

【0076】

また、対話処理部２２は、データｆについて、判定モデル１５に存在するデータ項目「ｘ_１」、「ｘ_３」、「ｘ_６」、「ｘ_７」のうち、データｆと合致する３つのデータ項目ｘ_３とｘ_６とｘ_７を特定する。そして、対話処理部２２は、これらが現在までで評価済みであるデータ項目ｘ_１、ｘ_８、ｘ_２、ｘ_５に含まれていないことから平均評価回数を「０／３＝０」と算出して、データｆに設定する。

【0077】

この状態で、対話処理部２２は、データ項目のユーザ提示を実行する。例えば、対話処理部２２は、各データａからデータｆについてラベルと予測値が一致するので、すべての判定が正しい判定する。続いて、対話処理部２２は、予測値が正しいデータのうち、平均評価回数が小さいデータであるデータｃ、データｅ、データｆを特定する。そして、対話処理部２２は、平均評価回数が小さいデータのうち、予測値の絶対値が大きいデータｅを選択する。

【0078】

その後、対話処理部２２は、データｅの各データ項目ｘ_１からｘ_８のうち、判定モデル１５「ｍ（ｘ）＝ｘ_１－２ｘ_３－ｘ_６＋２ｘ_７」に含まれる「ｘ_１，ｘ_３，ｘ_６，ｘ_７」のうち、データｅと合致するとともに、ラベルと重みが一致するデータ項目ｘ_３とデータ項目ｘ_６を特定する。例えば、対話処理部２２は、特定したデータ項目ｘ_３に対応する判定モデル１５の重みが「－２」、データ項目ｘ_６に対応する判定モデル１５の重みが「－１」であり、いずれもデータｅのラベル「負例」と一致するとともに、一致した数がｋ（＝２）以下であることから、データ項目ｘ_３およびｘ_６を推薦対象に決定する。すなわち、対話処理部２２は、データｅがデータ項目ｘ_３およびｘ_６に起因して負例と判定されたと推定する。

【0079】

そして、対話処理部２２は、問い合わせ画面５０を更新して、推薦対象のデータ項目を表示する問い合わせ画面をユーザに提示する。ここでは、対話処理部２２は、推薦されたデータ項目ｘ_３に対して、ユーザから「解釈しにくい」との評価を取得し、データ項目ｘ_６に対して、ユーザから「どちらでもない」との評価を取得したものとする。

【0080】

（ループ４）
図１３と図１４は、具体例のループ４回目を説明する図である。図１３に示すように、対話処理部２２は、データ項目ｘ_３とデータ項目ｘ_６がユーザに推薦されたので、評価回数を１だけ増加させて、それぞれの評価回数を「１」に変更する。また、対話処理部２２は、データ項目ｘ_３が「解釈しにくい」と評価されたことから、データ項目ｘ_３のペナルティ「ρ_３」を、「δρ_ｉ」に基づき「現在値（１．０）×２＝２．０」に変更する。その後、対話処理部２２は、各データ項目ｘ_ｉのペナルティ「ρ_ｉ」の値を設定したロス関数を用いて、判定モデル１５の再訓練を実行して、判定モデル１５「ｍ（ｘ）＝ｘ_１－２ｘ_４－ｘ_６＋２ｘ_７」を生成する。

【0081】

そして、対話処理部２２は、問い合わせ画面５０の現在のモデルを示す領域５１を更新して、再訓練後の判定モデル１５「ｍ（ｘ）＝ｘ_１－２ｘ_４－ｘ_６＋２ｘ_７」を表示してユーザ評価を問い合わせる。ここでは、対話処理部２２は、判定モデル１５について、ユーザから「モデルを出力」の選択は受付けておらず、解釈しやすいモデルではないと判定したものとする。

【0082】

再訓練後のモデルが解釈しにくい場合、図１４に示すように、対話処理部２２は、平均評価回数の更新を実行する。具体的には、対話処理部２２は、データａについて、判定モデル１５に存在するデータ項目「ｘ_１」、「ｘ_４」、「ｘ_６」、「ｘ_７」のうち、データａと合致する２つのデータ項目ｘ_１とｘ_７を特定する。そして、対話処理部２２は、特定した２つのデータ項目ｘ_１とｘ_７のうち、データ項目ｘ_１が現在までで評価済みであるデータ項目ｘ_１、ｘ_８、ｘ_２、ｘ_５、ｘ_３、ｘ_６に含まれていることから平均評価回数を「１／２＝０．５」と算出して、データａに設定する。

【0083】

同様に、対話処理部２２は、データｂについて、判定モデル１５に存在するデータ項目「ｘ_１」、「ｘ_４」、「ｘ_６」、「ｘ_７」のうち、データｂと合致する３つのデータ項目ｘ_１とｘ_４とｘ_７を特定する。そして、対話処理部２２は、特定した３つのデータ項目ｘ_１とｘ_４とｘ_７のうち、データ項目ｘ_１が現在までで評価済みであるデータ項目ｘ_１、ｘ_８、ｘ_２、ｘ_５、ｘ_３、ｘ_６に含まれていることから平均評価回数を「１／３＝０．３３」と算出して、データｂに設定する。

【0084】

また、対話処理部２２は、データｃについて、判定モデル１５に存在するデータ項目「ｘ_１」、「ｘ_４」、「ｘ_６」、「ｘ_７」のうち、データｃと合致する２つのデータ項目ｘ_６とｘ_７を特定する。そして、対話処理部２２は、特定した２つのデータ項目ｘ_６とｘ_７のうち、データ項目ｘ_６が現在までで評価済みであるデータ項目ｘ_１、ｘ_８、ｘ_２、ｘ_５、ｘ_３、ｘ_６に含まれていることから平均評価回数を「１／２＝０．５」と算出して、データｃに設定する。

【0085】

また、対話処理部２２は、データｄについて、判定モデル１５に存在するデータ項目「ｘ_１」、「ｘ_４」、「ｘ_６」、「ｘ_７」のうち、データｄと合致する２つのデータ項目ｘ_１とｘ_４を特定する。そして、対話処理部２２は、特定した２つのデータ項目ｘ_１とｘ_４のうち、データ項目ｘ_１が現在までで評価済みであるデータ項目ｘ_１、ｘ_８、ｘ_２、ｘ_５、ｘ_３、ｘ_６に含まれていることから平均評価回数を「１／２＝０．５」と算出して、データｄに設定する。

【0086】

また、対話処理部２２は、データｅについて、判定モデル１５に存在するデータ項目「ｘ_１」、「ｘ_４」、「ｘ_６」、「ｘ_７」のうち、データｅと合致する２つのデータ項目ｘ_４、ｘ_６を特定する。そして、対話処理部２２は、特定した２つのデータ項目ｘ_４、ｘ_６のうち、データ項目ｘ_６が現在までで評価済みであるデータ項目ｘ_１、ｘ_８、ｘ_２、ｘ_５、ｘ_３、ｘ_６に含まれていることから平均評価回数を「１／２＝０．５」と算出して、データｅに設定する。

【0087】

また、対話処理部２２は、データｆについて、判定モデル１５に存在するデータ項目「ｘ_１」、「ｘ_４」、「ｘ_６」、「ｘ_７」のうち、データｆと合致する３つのデータ項目ｘ_４、ｘ_６、ｘ_７を特定する。そして、対話処理部２２は、特定した３つのデータ項目ｘ_４、ｘ_６、ｘ_７のうち、データ項目ｘ_６が現在までで評価済みであるデータ項目ｘ_１、ｘ_８、ｘ_２、ｘ_５、ｘ_３、ｘ_６に含まれていることから平均評価回数を「１／３＝０．３３」と算出して、データｅに設定する。

【0088】

この状態で、対話処理部２２は、データ項目のユーザ提示を実行する。例えば、対話処理部２２は、各データａからデータｆについてラベルと予測値が一致するので、すべての判定が正しい判定する。続いて、対話処理部２２は、予測値が正しいデータのうち、平均評価回数が小さいデータであるデータｂ、データｆを特定する。そして、対話処理部２２は、平均評価回数が小さいデータｂ、データｆの予測値の絶対値が等しいことから、ランダムにデータｂを選択する。

【0089】

その後、対話処理部２２は、データｂの各データ項目ｘ_１からｘ_８のうち、判定モデル１５「ｍ（ｘ）＝ｘ_１－２ｘ_４－ｘ_６＋２ｘ_７」に含まれる「ｘ_１，ｘ_４，ｘ_６，ｘ_７」のうち、データｂと合致するとともに、ラベルと重みが一致するデータ項目ｘ_１、ｘ_７を特定する。例えば、対話処理部２２は、特定したデータ項目ｘ_１に対応する判定モデル１５の重みが「１」、データ項目ｘ_４に対応する判定モデル１５の重みが「－２」、データ項目ｘ_７に対応する判定モデル１５の重みが「２」であり、これらのうちデータｂのラベル「正例」と一致するデータ項目ｘ_１とｘ_７を特定する。そして、対話処理部２２は、特定したデータ項目の数がｋ（＝２）以下であることから、データ項目ｘ_１およびｘ_７を推薦対象に決定する。すなわち、対話処理部２２は、データｂがデータ項目ｘ_１およびｘ_７に起因して正例と判定されたと推定する。

【0090】

そして、対話処理部２２は、問い合わせ画面５０を更新して、推薦対象のデータ項目を表示する問い合わせ画面５０をユーザに提示する。ここでは、対話処理部２２は、推薦されたデータ項目ｘ_１に対して、ユーザから「どちらでもない」との評価を取得し、データ項目ｘ_７に対して、ユーザから「解釈しやすい」との評価を取得したものとする。

【0091】

（ループ５）
図１５と図１６は、具体例のループ５回目を説明する図である。図１５に示すように、対話処理部２２は、データ項目ｘ_１とデータ項目ｘ_７がユーザに推薦されたので、評価回数を１だけ増加させて、それぞれの評価回数を「２」と「１」に変更する。また、対話処理部２２は、データ項目ｘ_７が「解釈しやすい」と評価されたことから、データ項目ｘ_７のペナルティ「ρ_７」を、「γρ_ｉ」に基づき「現在値（１．０）×１／２＝０．５」に変更する。その後、対話処理部２２は、各データ項目ｘ_ｉのペナルティ「ρ_ｉ」の値を設定したロス関数を用いて、判定モデル１５の再訓練を実行して、判定モデル１５「ｍ（ｘ）＝ｘ_１－２．５ｘ_４－ｘ_６＋３ｘ_７」を生成する。

【0092】

その後、図１６に示すように、対話処理部２２は、問い合わせ画面５０の現在のモデルを示す領域５１を更新して、再訓練後の判定モデル１５「ｍ（ｘ）＝ｘ_１－２．５ｘ_４－ｘ_６＋３ｘ_７」を表示してユーザ評価を問い合わせる。ここでは、対話処理部２２は、判定モデル１５について、ユーザから「モデルを出力」の選択を受付けたので、解釈しやすいモデルが生成されたと判定し、現在の判定モデル１５「ｍ（ｘ）＝ｘ_１－２．５ｘ_４－ｘ_６＋３ｘ_７」を出力する。なお、図１６に示す各平均評価回数は、ループ１からループ４と同様の手法により更新される。

【0093】

［処理の流れ］
次に、上述したモデル生成の処理について説明する。図１７は、処理の流れを示すフローチャートである。図１７に示すように、訓練部２１は、モデル（判定モデル）の訓練を実行して記憶部１３に格納する（Ｓ１０１）。続いて、対話処理部２２は、モデルの再訓練に用いるペナルティ更新のための係数設定や推薦するデータ項目数の設定などの初期化を実行する（Ｓ１０２）。

【0094】

そして、対話処理部２２は、推薦対象のデータ項目を選択してユーザに提示し（Ｓ１０３）、提示したデータ項目に対するユーザ評価を取得する（Ｓ１０４）。続いて、対話処理部２２は、ユーザ評価を反映させたロス関数を用いて、モデルの再訓練を実行する（Ｓ１０５）。

【0095】

その後、対話処理部２２は、再訓練後のモデルをユーザに提示して、モデルがユーザの条件を満たすと判定された場合（Ｓ１０６：Ｙｅｓ）、現在のモデルを出力する（Ｓ１０７）。一方、対話処理部２２は、モデルがユーザの条件を満たさないと判定された場合（Ｓ１０６：Ｎｏ）、ユーザ評価の取得およびモデルの再訓練を実行（Ｓ１０８）、Ｓ１０３以降を繰り返して実行する。

【0096】

［効果］
上述したように、情報処理装置１０は、人間に「ある入力に対するモデルの出力に寄与したデータ項目を評価する」というタスクを課す際に、タスクにおいて人間が見なければならないデータ項目数を減らしてタスクを平易化することができる。また、情報処理装置１０は、タスクを介した人間の評価から、各データ項目の解釈しやすさを測りモデルへの出現しやすさを調整し、各データ項目の解釈しやすさを考慮してモデルを最適化することができる。この結果、情報処理装置１０は、人間にとって少ない負担で、解釈可能性が高い分類モデルを生成することができる。

【実施例2】

【0097】

さて、これまで本発明の実施例について説明したが、本発明は上述した実施例以外にも、種々の異なる形態にて実施されてよいものである。

【0098】

［数値等］
上記実施例で用いた数値例、ロス関数、データ項目数、訓練データ数等は、あくまで一例であり、任意に変更することができる。また、モデルの生成に用いるロス関数は、式（４）に示したものに限らず、「解釈しやすい」または「解釈しにくい」により変化する重みペナルティを含む他の目的関数を採用することもできる。また、処理の流れも矛盾のない範囲内で適宜変更することができる。また、訓練部２１を実行する装置と、対話処理部２２および出力部２６を実行する装置とを別々の装置で実現することもできる。

【0099】

［モデル等］
上記実施例では、一度訓練されたモデルに対して、ユーザ評価を反映させて再訓練する例を説明したが、これに限定されるものではなく、訓練前のモデルに対して、上記実施例の手法によりユーザ評価を反映させて訓練することもできる。また、線形モデルの生成（再訓練）を終了するタイミングは、ユーザ評価に限らず、所定回数実行した場合など任意に設定することができる。また、上記実施例では、目的関数の一例としてロス関数（損失関数）を用いた例で説明したが、これに限定されるものではなく、コスト関数など他の目的関数を採用することができる。

【0100】

［システム］
上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。なお、推薦部２３は、選択部と提示部と受付部の一例であり、再訓練部２４は、実行部の一例である。また、ユーザ評価を受け付ける処理は、ユーザ要件の一例であり、ユーザ要件を予め定義しておき、自動でユーザ評価を受け付けることもできる。

【0101】

また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散や統合の具体的形態は図示のものに限られない。つまり、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。

【0102】

さらに、各装置にて行なわれる各処理機能は、その全部または任意の一部が、ＣＰＵおよび当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。

【0103】

［ハードウェア］
次に、情報処理装置１０のハードウェア構成例を説明する。図１８は、ハードウェア構成例を説明する図である。図１８に示すように、情報処理装置１０は、通信装置１０ａ、ＨＤＤ（Hard Disk Drive）１０ｂ、メモリ１０ｃ、プロセッサ１０ｄを有する。また、図１９に示した各部は、バス等で相互に接続される。

【0104】

プロセッサ１０ｄは、図３に示した各処理部と同様の処理を実行するプログラムをＨＤＤ１０ｂ等から読み出してメモリ１０ｃに展開することで、図３等で説明した各機能を実行するプロセスを動作させる。例えば、このプロセスは、情報処理装置１０が有する各処理部と同様の機能を実行する。具体的には、プロセッサ１０ｄは、訓練部２１、対話処理部２２、出力部２６等と同様の機能を有するプログラムをＨＤＤ１０ｂ等から読み出す。そして、プロセッサ１０ｄは、訓練部２１、対話処理部２２、出力部２６等と同様の処理を実行するプロセスを実行する。

【0105】

このように、情報処理装置１０は、プログラムを読み出して実行することでモデル生成方法を実行する情報処理装置として動作する。また、情報処理装置１０は、媒体読取装置によって記録媒体から上記プログラムを読み出し、読み出された上記プログラムを実行することで上記した実施例と同様の機能を実現することもできる。なお、この他の実施例でいうプログラムは、情報処理装置１０によって実行されることに限定されるものではない。例えば、他のコンピュータまたはサーバがプログラムを実行する場合や、これらが協働してプログラムを実行するような場合にも、本発明を同様に適用することができる。

【符号の説明】

【0106】

１０ 情報処理装置
１１ 通信部
１２ 表示部
１３ 記憶部
１４ 訓練データセット
１５ 判定モデル
２０ 制御部
２１ 訓練部
２２ 対話処理部
２３ 推薦部
２４ 再訓練部
２５ 画面表示部
２６ 出力部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】