特許 7560794 情報処理プログラム、情報処理方法、および情報処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-09-25

(45)【発行日】2024-10-03

(54)【発明の名称】情報処理プログラム、情報処理方法、および情報処理装置

(51)【国際特許分類】

   G06N 20/00 20190101AFI20240926BHJP

   G06N 5/025 20230101ALI20240926BHJP

【ＦＩ】

G06N20/00

G06N5/025

【請求項の数】 10

(21)【出願番号】P 2023548015

(86)(22)【出願日】2021-09-15

(86)【国際出願番号】 JP2021033991

(87)【国際公開番号】W WO2023042318

(87)【国際公開日】2023-03-23

【審査請求日】2023-12-27

(73)【特許権者】

【識別番号】000005223

【氏名又は名称】富士通株式会社

(74)【代理人】

【識別番号】100104190

【弁理士】

【氏名又は名称】酒井 昭徳

(72)【発明者】

【氏名】岩下 洋哲

(72)【発明者】

【氏名】後藤 啓介

(72)【発明者】

【氏名】大堀 耕太郎

【審査官】佐藤 直樹

(56)【参考文献】

【文献】国際公開第２０２１／０７９４５１（ＷＯ，Ａ１）

【文献】国際公開第２０２０／０５９７５３（ＷＯ，Ａ１）

【文献】福田貴三郎 ほか，説明可能AIにおける上位概念を考慮したナレッジグラフからの説明変数選択，人工知能学会研究会資料 [online]，第53巻, 第5号，人工知能学会 セマンティックウェブとオントロジー研，2021年03月15日，pp.01-07（SIG-SWO-053-05），[検索日 2021.11.22], インターネット：<URL：https://jsai.ixsq.nii.ac.jp/ej/?action=pages_view_main&active_action=repository_view_main_item_detail&item_id=11108&item_no=1&page_id=13&block_id=23>

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｎ ２０／００

Ｇ０６Ｎ ５／０２５

(57)【特許請求の範囲】

【請求項1】

それぞれ異なる複数の属性値パターンのそれぞれの属性値パターンのデータを分類器で分類する場合において分類結果が正解となるデータの数の多さを示す指標値を取得し、
取得した前記指標値に基づいて、前記複数の属性値パターンのうち、分類結果が正解となるデータの数が相対的に少ない第１の属性値パターンを特定し、
対象のデータを分類する場合、特定した前記第１の属性値パターンのうち、前記対象のデータに対応する第１の属性値パターンが存在するか否かを判定し、
判定した結果を出力する、
処理をコンピュータに実行させることを特徴とする情報処理プログラム。

【請求項2】

前記特定する処理は、
さらに、取得した前記指標値に基づいて、前記複数の属性値パターンのうち、分類結果が正解となるデータの数が相対的に多い第２の属性値パターンを特定し、
前記判定する処理は、
前記対象のデータを分類する場合、特定した前記第２の属性値パターンのうち、前記対象のデータに対応する第２の属性値パターンが存在するか否かを判定する、ことを特徴とする請求項１に記載の情報処理プログラム。

【請求項3】

特定した前記第１の属性値パターンのうち、前記対象のデータに対応する第１の属性値パターンが存在せず、かつ、特定した前記第２の属性値パターンのうち、前記対象のデータに対応する第２の属性値パターンが存在すれば、前記分類器による前記対象のデータの分類結果を肯定することを示す第１の情報を出力する、
処理を前記コンピュータに実行させることを特徴とする請求項２に記載の情報処理プログラム。

【請求項4】

特定した前記第１の属性値パターンのうち、前記対象のデータに対応する第１の属性値パターンが存在すれば、前記分類器による前記対象のデータの分類結果を否定することを示す第２の情報を出力する、
処理を前記コンピュータに実行させることを特徴とする請求項１～３のいずれか一つに記載の情報処理プログラム。

【請求項5】

前記対象のデータを分類する場合、特定した前記第１の属性値パターンのうち、前記対象のデータに対応する第１の属性値パターンが存在すれば、前記対象のデータに対応する第１の属性値パターンを出力する、
処理を前記コンピュータに実行させることを特徴とする請求項１～４のいずれか一つに記載の情報処理プログラム。

【請求項6】

前記対象のデータを分類する場合、特定した前記第２の属性値パターンのうち、前記対象のデータに対応する第２の属性値パターンが存在すれば、前記対象のデータに対応する第２の属性値パターンを出力する、
処理を前記コンピュータに実行させることを特徴とする請求項２に記載の情報処理プログラム。

【請求項7】

前記取得する処理は、
前記複数の属性値パターンのそれぞれの属性値パターンのデータを、複数の分類器のそれぞれの分類器で分類する場合において、当該分類器による分類結果が正解となるデータの数の多さを示す指標値を取得し、
前記特定する処理は、
取得した前記指標値に基づいて、前記それぞれの分類器について、前記複数の属性値パターンのうち、当該分類器による分類結果が正解となるデータの数が相対的に少ない第１の属性値パターンを特定し、
前記対象のデータを分類する場合、前記複数の分類器のうち、前記対象のデータに対応する第１の属性値パターンが存在しない分類器を選択して出力する、
処理を前記コンピュータに実行させることを特徴とする請求項１～６のいずれか一つに記載の情報処理プログラム。

【請求項8】

前記取得する処理は、
前記複数の属性値パターンのそれぞれの属性値パターンのデータを、複数の分類器のそれぞれの分類器で分類する場合において、当該分類器による分類結果が正解となるデータの数の多さを示す指標値を取得し、
前記特定する処理は、
取得した前記指標値に基づいて、前記それぞれの分類器について、前記複数の属性値パターンのうち、当該分類器による分類結果が正解となるデータの数が相対的に多い第２の属性値パターンを特定し、
前記対象のデータを分類する場合、前記複数の分類器のうち、前記対象のデータに対応する第２の属性値パターンが存在する分類器を選択して出力する、
処理を前記コンピュータに実行させることを特徴とする請求項１～７のいずれか一つに記載の情報処理プログラム。

【請求項9】

それぞれ異なる複数の属性値パターンのそれぞれの属性値パターンのデータを分類器で分類する場合において分類結果が正解となるデータの数の多さを示す指標値を取得し、
取得した前記指標値に基づいて、前記複数の属性値パターンのうち、分類結果が正解となるデータの数が相対的に少ない第１の属性値パターンを特定し、
対象のデータを分類する場合、特定した前記第１の属性値パターンのうち、前記対象のデータに対応する第１の属性値パターンが存在するか否かを判定し、
判定した結果を出力する、
処理をコンピュータが実行することを特徴とする情報処理方法。

【請求項10】

それぞれ異なる複数の属性値パターンのそれぞれの属性値パターンのデータを分類器で分類する場合において分類結果が正解となるデータの数の多さを示す指標値を取得し、
取得した前記指標値に基づいて、前記複数の属性値パターンのうち、分類結果が正解となるデータの数が相対的に少ない第１の属性値パターンを特定し、
対象のデータを分類する場合、特定した前記第１の属性値パターンのうち、前記対象のデータに対応する第１の属性値パターンが存在するか否かを判定し、
判定した結果を出力する、
制御部を有することを特徴とする情報処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理プログラム、情報処理方法、および情報処理装置に関する。

【背景技術】

【0002】

従来、入力されたデータを分類する分類器がある。

【0003】

先行技術としては、例えば、分類器を、利用者が解釈し易いモデルで近似するものがある。

【先行技術文献】

【非特許文献】

【0004】

【文献】Ｂｒｅｉｍａｎ， Ｌｅｏ， ａｎｄ Ｎｏｎｇ Ｓｈａｎｇ． “Ｂｏｒｎ ａｇａｉｎ ｔｒｅｅｓ．” Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ｃａｌｉｆｏｒｎｉａ， Ｂｅｒｋｅｌｅｙ， Ｂｅｒｋｅｌｅｙ， ＣＡ， Ｔｅｃｈｎｉｃａｌ Ｒｅｐｏｒｔ １．２ （１９９６）： ４．

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、従来技術では、利用者は、分類器によるデータの分類結果をどの程度信頼可能であるのかを把握することが難しい。例えば、深層学習により得られる分類器が、ブラックボックスモデルであることがあり、利用者は、分類器のパラメータを参照したとしても、分類器によるデータの分類結果をどの程度信頼可能であるのかを把握することができない場合がある。

【0006】

１つの側面では、本発明は、分類器によるデータの分類結果の信頼性を評価可能にする情報を出力することを目的とする。

【課題を解決するための手段】

【0007】

１つの実施態様によれば、それぞれ異なる複数の属性値パターンのそれぞれの属性値パターンのデータを分類器で分類する場合において分類結果が正解となるデータの数の多さを示す指標値を取得し、取得した前記指標値に基づいて、前記複数の属性値パターンのうち、分類結果が正解となるデータの数が相対的に少ない第１の属性値パターンを特定し、対象のデータを分類する場合、特定した前記第１の属性値パターンのうち、前記対象のデータに対応する第１の属性値パターンが存在するか否かを判定し、判定した結果を出力する情報処理プログラム、情報処理方法、および情報処理装置が提案される。

【発明の効果】

【0008】

一態様によれば、分類器によるデータの分類結果の信頼性を評価可能にする情報を出力することが可能になる。

【図面の簡単な説明】

【0009】

【図1】図１は、実施の形態にかかる情報処理方法の一実施例を示す説明図である。

【図2】図２は、信頼性評価システム２００の一例を示す説明図である。

【図3】図３は、情報処理装置１００のハードウェア構成例を示すブロック図である。

【図4】図４は、情報処理装置１００の機能的構成例を示すブロック図である。

【図5】図５は、サンプルとなる複数のデータの一例を示す説明図である。

【図6】図６は、分類器の一例を示す説明図である。

【図7】図７は、属性値パターンごとに、正解数と不正解数とを算出する一例を示す説明図である。

【図8】図８は、分類結果が正解となるデータの数が相対的に多い属性値パターンを特定する一例を示す説明図である。

【図9】図９は、分類結果が正解となるデータの数が相対的に少ない属性値パターンを特定する一例を示す説明図である。

【図10】図１０は、対象のデータの分類結果の信頼性を評価する一例を示す説明図（その１）である。

【図11】図１１は、対象のデータの分類結果の信頼性を評価する一例を示す説明図（その２）である。

【図12】図１２は、判定処理手順の一例を示すフローチャートである。

【図13】図１３は、分類処理手順の一例を示すフローチャートである。

【図14】図１４は、選択処理手順の一例を示すフローチャートである。

【発明を実施するための形態】

【0010】

以下に、図面を参照して、本発明にかかる情報処理プログラム、情報処理方法、および情報処理装置の実施の形態を詳細に説明する。

【0011】

（実施の形態にかかる情報処理方法の一実施例）
図１は、実施の形態にかかる情報処理方法の一実施例を示す説明図である。情報処理装置１００は、分類器によるデータの分類結果の信頼性を評価可能にする情報を出力するためのコンピュータである。情報処理装置１００は、例えば、サーバ、または、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）などである。

【0012】

分類器は、入力されたデータを分類する機能を有する。分類器は、例えば、入力されたデータを、複数のクラスのいずれかのクラスに分類する。分類器は、例えば、ニューラルネットワーク、ツリー、または、数式などである。分類器は、例えば、専門家などの人間であってもよい。

【0013】

ここで、利用者は、分類器によるデータの分類結果をどの程度信頼可能であるのかを把握することを望む場合がある。

【0014】

しかしながら、従来では、利用者が、分類器によるデータの分類結果をどの程度信頼可能であるのかを把握することは難しい。例えば、分類器が、深層学習により得られたブラックボックスモデルであると、利用者は、分類器のパラメータを参照したとしても、分類器によるデータの分類結果をどの程度信頼可能であるのかを把握することは難しい。

【0015】

具体的には、利用者が、パラメータなどを含む分類器の構造を参照しても、分類器がデータを分類する根拠または仕組みなどを解釈することが難しい場合、分類器は、ブラックボックスモデルと呼ばれる。具体的には、分類器が、ニューラルネットワークである場合、ブラックボックスモデルである傾向がある。具体的には、利用者は、分類器となるニューラルネットワークに含まれるノードと、当該ノード間のエッジと、当該エッジのパラメータとを参照しても、分類器となるニューラルネットワークがデータを分類する根拠または仕組みなどを解釈することは難しい。

【0016】

これに対し、あるデータ点について、ブラックボックスモデルを、ブラックボックスモデルの挙動を表すモデルで近似し、近似したモデルで用いられる特徴量の貢献度を出力する第１の手法が考えられる。第１の手法では、ブラックボックスモデルの挙動を近似するものの、ブラックボックスモデルの挙動が、分類器としてどの程度信頼可能であるのかを表していない。このため、第１の手法では、利用者は、分類器によるデータの分類結果を信頼可能である理由または根拠などを把握することが難しい場合がある。例えば、第１の手法については、具体的には、下記参考文献１および下記参考文献２などを参照することができる。

【0017】

参考文献１ ： Ｒｉｂｅｉｒｏ， Ｍａｒｃｏ Ｔｕｌｉｏ， Ｓａｍｅｅｒ Ｓｉｎｇｈ， ａｎｄ Ｃａｒｌｏｓ Ｇｕｅｓｔｒｉｎ． ““ Ｗｈｙ ｓｈｏｕｌｄ ｉ ｔｒｕｓｔ ｙｏｕ？” Ｅｘｐｌａｉｎｉｎｇ ｔｈｅ ｐｒｅｄｉｃｔｉｏｎｓ ｏｆ ａｎｙ ｃｌａｓｓｉｆｉｅｒ．” Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ２２ｎｄ ＡＣＭ ＳＩＧＫＤＤ ｉｎｔｅｒｎａｔｉｏｎａｌ ｃｏｎｆｅｒｅｎｃｅ ｏｎ ｋｎｏｗｌｅｄｇｅ ｄｉｓｃｏｖｅｒｙ ａｎｄ ｄａｔａ ｍｉｎｉｎｇ． ２０１６．

【0018】

参考文献２ ： Ｌｕｎｄｂｅｒｇ， Ｓｃｏｔｔ Ｍ．， ａｎｄ Ｓｕ－Ｉｎ Ｌｅｅ． “Ａ ｕｎｉｆｉｅｄ ａｐｐｒｏａｃｈ ｔｏ ｉｎｔｅｒｐｒｅｔｉｎｇ ｍｏｄｅｌ ｐｒｅｄｉｃｔｉｏｎｓ．” Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ３１ｓｔ ｉｎｔｅｒｎａｔｉｏｎａｌ ｃｏｎｆｅｒｅｎｃｅ ｏｎ ｎｅｕｒａｌ ｉｎｆｏｒｍａｔｉｏｎ ｐｒｏｃｅｓｓｉｎｇ ｓｙｓｔｅｍｓ． ２０１７．

【0019】

また、分類器を、利用者が解釈し易いモデルで近似する第２の手法が考えられる。モデルは、例えば、ツリー、または、ルールリストなどである。第２の手法では、利用者は、近似されたモデルを参照して、分類器によるデータの分類結果を信頼可能である理由または根拠などを把握しようと試みることになる。第２の手法では、近似されたモデルが、分類器によるデータの分類結果を信頼可能である理由または根拠などを、正確に、または、解釈し易く表しているとは限らない。このため、第２の手法では、利用者は、分類器によるデータの分類結果を信頼可能である理由または根拠などを把握することが難しい場合がある。例えば、第２の手法については、具体的には、上記非特許文献１などを参照することができる。

【0020】

そこで、本実施の形態では、分類器によるデータの分類結果の信頼性を評価可能にする情報を出力することができる情報処理方法について説明する。

【0021】

図１において、分類器１１０により、それぞれ異なる複数の属性値パターンのそれぞれの属性値パターンを有するデータ１１１が、複数のクラスのいずれかのクラスに分類されたとする。属性値パターンは、１以上の属性のそれぞれの属性に関する属性値を組み合わせたパターンである。属性値は、何らかの属性に関する値である。

【0022】

属性値パターンは、１以上の属性のそれぞれの属性に関する属性値に対する条件を組み合わせたパターンであってもよい。条件は、例えば、属性値となり得る複数の値を示す。条件は、例えば、属性値が取り得る値の範囲を示す。換言すれば、属性値パターンは、１以上の属性のそれぞれの属性に関する属性値が取り得る範囲を組み合わせたパターンであってもよい。

【0023】

図１の例では、属性値パターンは、具体的には、｛早朝，住宅街｝、｛真夏，雨天｝、または、｛道路沿い｝などである。早朝は、時間の属性に関する属性値である。住宅街および道路沿いは、場所の属性に関する属性値である。真夏は、例えば、時期の属性に関する属性値である。雨天は、例えば、天気の属性に関する属性値である。データ１１１は、例えば、音声を表す。音声は、例えば、鳴き声を示す。複数のクラスは、例えば、音声が鳩の鳴き声であることを示すクラスと、音声がカラスの鳴き声であることを示すクラスと、音声が雀の鳴き声であることを示すクラスとなどを含む。

【0024】

（１－１）情報処理装置１００は、複数の属性値パターンのそれぞれの属性値パターンを有するデータ１１１を分類器１１０で分類する場合において分類結果が正解となるデータ１１１の数の多さを示す指標値を取得する。指標値は、例えば、分類結果が正解となるデータ１１１の数を示す正解数である。指標値は、例えば、分類結果が不正解となるデータ１１１の数を示す不正解数であってもよい。

【0025】

指標値は、例えば、ある属性値パターンを有するデータ１１１のうち、分類結果が正解となるデータ１１１の割合を示す正解率であってもよい。指標値は、例えば、ある属性値パターンを有するデータ１１１のうち、分類結果が不正解となるデータ１１１の割合を示す不正解率であってもよい。

【0026】

図１の例では、情報処理装置１００は、例えば、属性値パターン｛早朝，住宅街｝を有するデータ１１１に関する正解率９５％を取得する。図１の例では、情報処理装置１００は、例えば、属性値パターン｛真夏，雨天｝を有するデータ１１１に関する正解率４０％を取得する。図１の例では、情報処理装置１００は、例えば、属性値パターン｛道路沿い｝を有するデータ１１１に関する正解率４０％を取得する。

【0027】

（１－２）情報処理装置１００は、取得した指標値に基づいて、複数の属性値パターンのうち、分類結果が正解となるデータ１１１の数が相対的に少ない第１の属性値パターンを特定する。情報処理装置１００は、例えば、複数の属性値パターンのうち、正解率が閾値以下である属性値パターンを、第１の属性値パターンとして特定する。閾値は、例えば、５０％である。

【0028】

図１の例では、情報処理装置１００は、具体的には、正解率が５０％以下である属性値パターン｛真夏，雨天｝を、第１の属性値パターンとして特定する。図１の例では、情報処理装置１００は、具体的には、正解率が５０％以下である属性値パターン｛道路沿い｝を、第１の属性値パターンとして特定する。これにより、情報処理装置１００は、分類器１１０により分類困難なデータ１１１が、どのような属性値パターンを有する傾向があるのかを特定することができる。

【0029】

（１－３）情報処理装置１００は、対象のデータを分類する場合、特定した第１の属性値パターンのうち、対象のデータに対応する第１の属性値パターンが存在するか否かを判定する。情報処理装置１００は、判定した結果を出力する。出力形式は、例えば、ディスプレイへの表示、プリンタへの印刷出力、他のコンピュータへの送信、または、記憶領域への記憶などである。図１の例では、対象のデータは、属性値パターン｛真夏，雨天｝を有するとする。情報処理装置１００は、例えば、対象のデータに対応する第１の属性値パターン｛真夏，雨天｝が存在すると判定する。

【0030】

これにより、情報処理装置１００は、利用者が、分類器１１０による対象のデータの分類結果をどの程度信頼可能であるのかを把握し易くすることができる。また、情報処理装置１００は、利用者が、分類器１１０による対象のデータの分類結果をどの程度信頼可能であるのかを納得し易くすることができる。情報処理装置１００は、例えば、利用者が、対象のデータに対応する第１の属性値パターンが存在することを把握可能にすることができる。利用者は、例えば、対象のデータに対応する第１の属性値パターンが存在することを考慮し、対象のデータとは、分類器１１０により正しく分類することが難しいデータであると判断することができる。

【0031】

このため、利用者は、例えば、対象のデータに対応する第１の属性値パターンが存在することを考慮し、分類器１１０による対象のデータの分類結果の信頼性が比較的低い状況であると判断することができる。利用者は、分類器１１０がブラックボックスモデルであっても、分類器１１０による対象のデータの分類結果をどの程度信頼可能であるのかを比較的容易に把握することができる。

【0032】

利用者は、分類器１１０の挙動自体ではなく、対象のデータに対応する第１の属性値パターンが存在するという、対象のデータの分類結果の信頼性が比較的低い状況であることの根拠を把握することができる。このため、利用者は、対象のデータの分類結果の信頼性が比較的低い状況であることを納得することができる。

【0033】

情報処理装置１００は、対象のデータに対応する第１の属性値パターンが存在すれば、対象のデータに対応する第１の属性値パターンを出力してもよい。出力形式は、例えば、ディスプレイへの表示、プリンタへの印刷出力、他のコンピュータへの送信、または、記憶領域への記憶などである。情報処理装置１００は、例えば、対象のデータに対応する第１の属性値パターン｛真夏，雨天｝を出力する。

【0034】

これにより、情報処理装置１００は、利用者が、分類器１１０による対象のデータの分類結果をどの程度信頼可能であるのかをさらに把握し易くすることができる。また、情報処理装置１００は、利用者が、分類器１１０による対象のデータの分類結果をどの程度信頼可能であるのかを納得し易くすることができる。情報処理装置１００は、例えば、利用者が、分類器１１０による対象のデータの分類結果の信頼性が比較的低い状況である根拠として、対象のデータに対応する第１の属性値パターンを参照可能にすることができる。

【0035】

このため、利用者は、対象のデータに対応する第１の属性値パターンを考慮し、分類器１１０による対象のデータの分類結果の信頼性が比較的低い状況であると判断することができる。利用者は、分類器１１０がブラックボックスモデルであっても、分類器１１０による対象のデータの分類結果をどの程度信頼可能であるのかを比較的容易に把握することができる。

【0036】

利用者は、分類器１１０の挙動自体ではなく、対象のデータに対応する第１の属性値パターンという、対象のデータの分類結果の信頼性が比較的低い状況であることの根拠を把握することができる。このため、利用者は、対象のデータの分類結果の信頼性が比較的低い状況であることを納得することができる。

【0037】

ここでは、情報処理装置１００が、指標値に基づいて、第１の属性値パターンを特定する場合について説明したが、これに限らない。例えば、情報処理装置１００が、指標値に基づいて、複数の属性値パターンのうち、分類結果が正解となるデータ１１１の数が相対的に多い第２の属性値パターンを特定する場合があってもよい。これにより、情報処理装置１００は、分類器１１０により分類し易いデータ１１１が、どのような属性値パターンを有する傾向があるのかを特定することができる。

【0038】

ここで、情報処理装置１００は、対象のデータを分類する場合、特定した第２の属性値パターンのうち、対象のデータに対応する第２の属性値パターンが存在するか否かを判定してもよい。情報処理装置１００は、判定した結果を出力してもよい。出力形式は、例えば、ディスプレイへの表示、プリンタへの印刷出力、他のコンピュータへの送信、または、記憶領域への記憶などである。対象のデータが、属性値パターン｛早朝，住宅街｝を有するとすれば、情報処理装置１００は、例えば、対象のデータに対応する第２の属性値パターン｛早朝，住宅街｝が存在すると判定してもよい。

【0039】

これにより、情報処理装置１００は、利用者が、分類器１１０による対象のデータの分類結果をどの程度信頼可能であるのかを把握し易くすることができる。また、情報処理装置１００は、利用者が、分類器１１０による対象のデータの分類結果をどの程度信頼可能であるのかを納得し易くすることができる。情報処理装置１００は、例えば、利用者が、対象のデータに対応する第２の属性値パターンが存在することを把握可能にすることができる。利用者は、例えば、対象のデータに対応する第２の属性値パターンが存在することを考慮し、対象のデータとは、分類器１１０により正しく分類し易いデータであると判断することができる。

【0040】

このため、利用者は、例えば、対象のデータに対応する第２の属性値パターンが存在することを考慮し、分類器１１０による対象のデータの分類結果の信頼性が比較的高い状況であると判断することができる。利用者は、分類器１１０がブラックボックスモデルであっても、分類器１１０による対象のデータの分類結果をどの程度信頼可能であるのかを比較的容易に把握することができる。

【0041】

利用者は、分類器１１０の挙動自体ではなく、対象のデータに対応する第２の属性値パターンが存在するという、対象のデータの分類結果の信頼性が比較的高い状況であることの根拠を把握することができる。このため、利用者は、対象のデータの分類結果の信頼性が比較的高い状況であることを納得することができる。

【0042】

情報処理装置１００は、対象のデータに対応する第２の属性値パターンが存在すれば、対象のデータに対応する第２の属性値パターンを出力してもよい。出力形式は、例えば、ディスプレイへの表示、プリンタへの印刷出力、他のコンピュータへの送信、または、記憶領域への記憶などである。情報処理装置１００は、例えば、対象のデータに対応する第２の属性値パターン｛早朝，住宅街｝を出力する。

【0043】

これにより、情報処理装置１００は、利用者が、分類器１１０による対象のデータの分類結果をどの程度信頼可能であるのかをさらに把握し易くすることができる。また、情報処理装置１００は、利用者が、分類器１１０による対象のデータの分類結果をどの程度信頼可能であるのかを納得し易くすることができる。情報処理装置１００は、例えば、利用者が、分類器１１０による対象のデータの分類結果の信頼性が比較的高い状況である根拠として、対象のデータに対応する第２の属性値パターンを参照可能にすることができる。

【0044】

このため、利用者は、対象のデータに対応する第２の属性値パターンを考慮し、分類器１１０による対象のデータの分類結果の信頼性が比較的高い状況であると判断することができる。利用者は、分類器１１０がブラックボックスモデルであっても、分類器１１０による対象のデータの分類結果をどの程度信頼可能であるのかを比較的容易に把握することができる。

【0045】

利用者は、分類器１１０の挙動自体ではなく、対象のデータに対応する第２の属性値パターンという、対象のデータの分類結果の信頼性が比較的高い状況であることの根拠を把握することができる。このため、利用者は、対象のデータの分類結果の信頼性が比較的高い状況であることを納得することができる。

【0046】

ここでは、情報処理装置１００が、単独で動作する場合について説明したが、これに限らない。例えば、情報処理装置１００が、他のコンピュータと協働する場合があってもよい。具体的には、情報処理装置１００が、対象のデータを、他のコンピュータから受信する場合があってもよい。情報処理装置１００が、他のコンピュータと協働する場合の一例については、具体的には、図２を用いて後述する。

【0047】

（信頼性評価システム２００の一例）
次に、図２を用いて、図１に示した情報処理装置１００を適用した、信頼性評価システム２００の一例について説明する。

【0048】

図２は、信頼性評価システム２００の一例を示す説明図である。図２において、信頼性評価システム２００は、情報処理装置１００と、情報蓄積装置２０１と、クライアント装置２０２とを含む。

【0049】

信頼性評価システム２００において、情報処理装置１００と情報蓄積装置２０１とは、有線または無線のネットワーク２１０を介して接続される。ネットワーク２１０は、例えば、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットなどである。また、信頼性評価システム２００において、情報処理装置１００とクライアント装置２０２とは、有線または無線のネットワーク２１０を介して接続される。

【0050】

情報処理装置１００は、対象の分類器を有するコンピュータである。対象の分類器は、例えば、１つ存在する。情報処理装置１００は、情報蓄積装置２０１から、対象の分類器で分類可能な、サンプルとなる複数のデータを収集する。それぞれのデータは、例えば、異なる属性値パターンを有することが好ましい。情報処理装置１００は、収集した複数のデータを、対象の分類器により、複数のクラスのいずれかのクラスに分類する。

【0051】

情報処理装置１００は、それぞれのデータの分類結果に基づいて、複数の属性値パターンのうち、分類結果が正解となるデータの数が相対的に少ない第１の属性値パターンを特定する。情報処理装置１００は、それぞれのデータの分類結果に基づいて、複数の属性値パターンのうち、分類結果が正解となるデータの数が相対的に多い第２の属性値パターンを特定する。

【0052】

情報処理装置１００は、クライアント装置２０２から、対象のデータを受信する。情報処理装置１００は、対象のデータを、対象の分類器により、複数のクラスのいずれかのクラスに分類する。情報処理装置１００は、特定した第１の属性値パターンのうち、対象のデータに対応する第１の属性値パターンが存在するか否かを判定する。情報処理装置１００は、特定した第２の属性値パターンのうち、対象のデータに対応する第２の属性値パターンが存在するか否かを判定する。

【0053】

情報処理装置１００は、判定した結果に基づいて、対象のデータの分類結果の信頼性を評価可能にする評価情報を生成する。情報処理装置１００は、対象のデータの分類結果と、生成した評価情報とを対応付けて、クライアント装置２０２に送信する。情報処理装置１００は、例えば、サーバ、または、ＰＣなどである。

【0054】

情報蓄積装置２０１は、サンプルとなるデータを、情報処理装置１００に送信するコンピュータである。情報蓄積装置２０１は、例えば、センサで計測した特徴量に基づいて、サンプルとなるデータを生成し、情報処理装置１００に送信する。情報蓄積装置２０１は、例えば、ＰＣ、タブレット端末、スマートフォン、ウェアラブル端末、または、センサ装置などである。センサ装置は、例えば、カメラ装置、または、レコーダーなどである。

【0055】

クライアント装置２０２は、利用者によって用いられるコンピュータである。クライアント装置２０２は、対象のデータを、情報処理装置１００に送信する。クライアント装置２０２は、例えば、センサで計測した特徴量に基づいて、対象のデータを生成し、情報処理装置１００に送信する。クライアント装置２０２は、対象のデータの分類結果と、評価情報とを、情報処理装置１００から受信する。クライアント装置２０２は、対象のデータの分類結果と、評価情報とを、利用者が参照可能に出力する。クライアント装置２０２は、例えば、ＰＣ、タブレット端末、スマートフォン、または、ウェアラブル端末などである。

【0056】

これにより、信頼性評価システム２００は、対象のデータを分類器により分類すると共に、対象のデータの分類結果の信頼性を評価可能にする評価情報を、クライアント装置２０２を利用する利用者に提供するという信頼性評価サービスを実施することができる。

【0057】

信頼性評価サービスは、例えば、医療分野に適用される場合が考えられる。この場合、例えば、データは、患者のバイタルを示すことが考えられる。クラスは、患者がかかっている病気を示すことが考えられる。また、信頼性評価サービスは、例えば、音声解析に適用される場合が考えられる。この場合、例えば、データは、鳴き声の音声を示すことが考えられる。クラスは、鳴き声に対応する動物を示すことが考えられる。

【0058】

また、信頼性評価サービスは、例えば、文字解析に適用される場合が考えられる。この場合、例えば、データは、筆跡を示すことが考えられる。クラスは、筆跡の属する文字を示すことが考えられる。また、信頼性評価サービスは、例えば、天候予測に適用される場合が考えられる。この場合、例えば、データは、気圧または風速などの属性値を示すことが考えられる。クラスは、天候を示すことが考えられる。

【0059】

ここでは、対象の分類器が、１つ存在する場合について説明したが、これに限らない。例えば、対象の分類器が、複数存在する場合があってもよい。この場合、情報処理装置１００は、例えば、複数の分類器のうち、対象のデータに適した分類器を選択し、選択した分類器により、対象のデータを複数のクラスのいずれかのクラスに分類してもよい。情報処理装置１００は、具体的には、複数の分類器のうち、第１の属性値パターンが存在しないと判定し、第２の属性値パターンが存在すると判定した分類器を、対象のデータに適した分類器として選択することが考えられる。また、情報処理装置１００は、選択した分類器を、クライアント装置２０２に提供し、自装置では、対象のデータを分類せずに済ませる場合があってもよい。

【0060】

（情報処理装置１００のハードウェア構成例）
次に、図３を用いて、情報処理装置１００のハードウェア構成例について説明する。

【0061】

図３は、情報処理装置１００のハードウェア構成例を示すブロック図である。図３において、情報処理装置１００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）３０１と、メモリ３０２と、ネットワークＩ／Ｆ（Ｉｎｔｅｒｆａｃｅ）３０３と、記録媒体Ｉ／Ｆ３０４と、記録媒体３０５とを有する。また、各構成部は、バス３００によってそれぞれ接続される。

【0062】

ここで、ＣＰＵ３０１は、情報処理装置１００の全体の制御を司る。メモリ３０２は、例えば、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）およびフラッシュＲＯＭなどを有する。具体的には、例えば、フラッシュＲＯＭやＲＯＭが各種プログラムを記憶し、ＲＡＭがＣＰＵ３０１のワークエリアとして使用される。メモリ３０２に記憶されるプログラムは、ＣＰＵ３０１にロードされることにより、コーディングされている処理をＣＰＵ３０１に実行させる。

【0063】

ネットワークＩ／Ｆ３０３は、通信回線を通じてネットワーク２１０に接続され、ネットワーク２１０を介して他のコンピュータに接続される。そして、ネットワークＩ／Ｆ３０３は、ネットワーク２１０と内部のインターフェースを司り、他のコンピュータからのデータの入出力を制御する。ネットワークＩ／Ｆ３０３は、例えば、モデムやＬＡＮアダプタなどである。

【0064】

記録媒体Ｉ／Ｆ３０４は、ＣＰＵ３０１の制御に従って記録媒体３０５に対するデータのリード／ライトを制御する。記録媒体Ｉ／Ｆ３０４は、例えば、ディスクドライブ、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）ポートなどである。記録媒体３０５は、記録媒体Ｉ／Ｆ３０４の制御で書き込まれたデータを記憶する不揮発メモリである。記録媒体３０５は、例えば、ディスク、半導体メモリ、ＵＳＢメモリなどである。記録媒体３０５は、情報処理装置１００から着脱可能であってもよい。

【0065】

情報処理装置１００は、上述した構成部の他、例えば、キーボード、マウス、ディスプレイ、プリンタ、スキャナ、マイク、スピーカーなどを有してもよい。また、情報処理装置１００は、記録媒体Ｉ／Ｆ３０４や記録媒体３０５を複数有していてもよい。また、情報処理装置１００は、記録媒体Ｉ／Ｆ３０４や記録媒体３０５を有していなくてもよい。

【0066】

（情報蓄積装置２０１のハードウェア構成例）
情報蓄積装置２０１のハードウェア構成例は、具体的には、図３に示した情報処理装置１００のハードウェア構成例と同様であるため、説明を省略する。

【0067】

（クライアント装置２０２のハードウェア構成例）
クライアント装置２０２のハードウェア構成例は、具体的には、図３に示した情報処理装置１００のハードウェア構成例と同様であるため、説明を省略する。

【0068】

（情報処理装置１００の機能的構成例）
次に、図４を用いて、情報処理装置１００の機能的構成例について説明する。

【0069】

図４は、情報処理装置１００の機能的構成例を示すブロック図である。情報処理装置１００は、記憶部４００と、取得部４０１と、特定部４０２と、判定部４０３と、分類部４０４と、出力部４０５とを含む。

【0070】

記憶部４００は、例えば、図３に示したメモリ３０２や記録媒体３０５などの記憶領域によって実現される。以下では、記憶部４００が、情報処理装置１００に含まれる場合について説明するが、これに限らない。例えば、記憶部４００が、情報処理装置１００とは異なる装置に含まれ、記憶部４００の記憶内容が情報処理装置１００から参照可能である場合があってもよい。

【0071】

取得部４０１～出力部４０５は、制御部の一例として機能する。取得部４０１～出力部４０５は、具体的には、例えば、図３に示したメモリ３０２や記録媒体３０５などの記憶領域に記憶されたプログラムをＣＰＵ３０１に実行させることにより、または、ネットワークＩ／Ｆ３０３により、その機能を実現する。各機能部の処理結果は、例えば、図３に示したメモリ３０２や記録媒体３０５などの記憶領域に記憶される。

【0072】

記憶部４００は、各機能部の処理において参照され、または更新される各種情報を記憶する。記憶部４００は、分類器を記憶する。分類器は、例えば、ブラックボックスモデルである。分類器は、具体的には、ニューラルネットワークである。記憶部４００は、分類器を複数記憶していてもよい。記憶部４００は、例えば、分類器の構造と、分類器のパラメータとを記憶する。

【0073】

記憶部４００は、サンプルとなる複数のデータを記憶する。サンプルとなる複数のデータは、それぞれ、分類器の分類対象として用いられる。サンプルとなる複数のデータは、それぞれ、属性値パターンを有する。属性値パターンは、１以上の属性のそれぞれの属性に関する属性値を組み合わせたパターンである。属性値は、何らかの属性に関する値である。

【0074】

属性値パターンは、１以上の属性のそれぞれの属性に関する属性値に対する条件を組み合わせたパターンであってもよい。条件は、例えば、属性値となり得る複数の値を示す。条件は、例えば、属性値が取り得る値の範囲を示す。換言すれば、属性値パターンは、１以上の属性のそれぞれの属性に関する属性値が取り得る範囲を組み合わせたパターンであってもよい。サンプルとなる複数のデータは、例えば、取得部４０１によって取得され、記憶部４００によって記憶される。サンプルとなる複数のデータは、例えば、記憶部４００によって予め記憶されていてもよい。

【0075】

記憶部４００は、対象のデータを記憶する。対象のデータは、分類器の分類対象として用いられる。対象のデータは、属性値パターンを有する。対象のデータは、例えば、取得部４０１によって取得され、記憶部４００によって記憶される。記憶部４００は、それぞれ異なる複数の属性値パターンを記憶する。属性値パターンは、例えば、取得部４０１によって取得され、記憶部４００によって記憶される。属性値パターンは、例えば、記憶部４００によって予め記憶されていてもよい。

【0076】

記憶部４００は、それぞれの属性値パターンのデータを分類器で分類する場合において分類結果が正解となるデータの数の多さを示す指標値を記憶する。指標値は、例えば、分類結果が正解となるデータの数を示す正解数である。指標値は、例えば、分類結果が不正解となるデータの数を示す不正解数であってもよい。

【0077】

指標値は、例えば、ある属性値パターンを有するデータのうち、分類結果が正解となるデータの割合を示す正解率であってもよい。指標値は、例えば、ある属性値パターンを有するデータのうち、分類結果が不正解となるデータの割合を示す不正解率であってもよい。指標値は、例えば、取得部４０１によって取得され、記憶部４００によって記憶される。指標値は、例えば、記憶部４００によって予め記憶されていてもよい。

【0078】

記憶部４００は、複数の属性値パターンのそれぞれの属性値パターンのデータを、複数の分類器のそれぞれの分類器で分類する場合において、当該分類器による分類結果が正解となるデータの数の多さを示す指標値を記憶していてもよい。指標値は、例えば、取得部４０１によって取得され、記憶部４００によって記憶される。指標値は、例えば、記憶部４００によって予め記憶されていてもよい。

【0079】

取得部４０１は、各機能部の処理に用いられる各種情報を取得する。取得部４０１は、取得した各種情報を、記憶部４００に記憶し、または、各機能部に出力する。また、取得部４０１は、記憶部４００に記憶しておいた各種情報を、各機能部に出力してもよい。取得部４０１は、例えば、利用者の操作入力に基づき、各種情報を取得する。取得部４０１は、例えば、情報処理装置１００とは異なる装置から、各種情報を受信してもよい。

【0080】

取得部４０１は、分類器を取得する。取得部４０１は、例えば、利用者の操作入力に基づき、分類器の入力を受け付けることにより、分類器を取得する。取得部４０１は、例えば、分類器を、他のコンピュータから受信することにより取得してもよい。取得部４０１は、複数の分類器を取得してもよい。

【0081】

取得部４０１は、サンプルとなる複数のデータを取得する。取得部４０１は、例えば、利用者の操作入力に基づき、サンプルとなる複数のデータの入力を受け付けることにより、サンプルとなる複数のデータを取得する。取得部４０１は、例えば、サンプルとなる複数のデータを、他のコンピュータから受信することにより取得してもよい。取得部４０１は、それぞれの分類器で分類可能なサンプルとなる複数のデータを取得してもよい。

【0082】

取得部４０１は、複数の属性値パターンを取得する。取得部４０１は、例えば、取得した複数のデータに基づいて、複数の属性値パターンを特定することにより、複数の属性値パターンを取得する。取得部４０１は、例えば、利用者の操作入力に基づき、複数の属性値パターンの入力を受け付けることにより、複数の属性値パターンを取得してもよい。

【0083】

取得部４０１は、それぞれの属性値パターンのデータを分類器で分類する場合において分類結果が正解となるデータの数の多さを示す指標値を取得する。取得部４０１は、例えば、利用者の操作入力に基づき、それぞれの属性値パターンのデータを分類器で分類する場合において分類結果が正解となるデータの数の多さを示す指標値の入力を受け付けることにより、指標値を取得する。取得部４０１は、例えば、取得した複数のデータを分類器で実際に分類した結果に基づいて、それぞれの属性値パターンのデータを分類器で分類する場合において分類結果が正解となるデータの数の多さを示す指標値を算出することにより取得してもよい。

【0084】

取得部４０１は、それぞれの属性値パターンのデータを、複数の分類器のそれぞれの分類器で分類する場合において、当該分類器による分類結果が正解となるデータの数の多さを示す指標値を取得してもよい。取得部４０１は、例えば、利用者の操作入力に基づき、それぞれの属性値パターンのデータを、それぞれの分類器で分類する場合において分類結果が正解となるデータの数の多さを示す指標値の入力を受け付けることにより、指標値を取得する。取得部４０１は、例えば、それぞれの分類器に対応するサンプルとなる複数のデータを、当該分類器で実際に分類してもよい。そして、取得部４０１は、例えば、分類した結果に基づいて、それぞれの属性値パターンのデータを、それぞれの分類器で分類する場合において分類結果が正解となるデータの数の多さを示す指標値を算出することにより取得する。

【0085】

取得部４０１は、対象のデータを取得する。取得部４０１は、例えば、利用者の操作入力に基づき、対象のデータの入力を受け付けることにより、対象のデータを取得する。取得部４０１は、例えば、対象のデータを、他のコンピュータから受信することにより取得してもよい。

【0086】

取得部４０１は、いずれかの機能部の処理を開始する開始トリガーを受け付けてもよい。開始トリガーは、例えば、利用者による所定の操作入力があったことである。開始トリガーは、例えば、他のコンピュータから、所定の情報を受信したことであってもよい。開始トリガーは、例えば、いずれかの機能部が所定の情報を出力したことであってもよい。取得部４０１は、指標値を取得したことを、特定部４０２の処理を開始する開始トリガーとして受け付ける。取得部４０１は、例えば、対象のデータを取得したことを、判定部４０３と分類部４０４との処理を開始する開始トリガーとして受け付ける。

【0087】

特定部４０２は、取得した指標値に基づいて、複数の属性値パターンのうち、分類結果が正解となるデータの数が相対的に少ない第１の属性値パターンを特定する。特定部４０２は、例えば、指標値として取得した正解率に基づいて、複数の属性値パターンのうち、正解率が閾値以下である属性値パターンを、第１の属性値パターンとして特定する。ここでは、閾値は、例えば、８０％である。閾値は、例えば、予め設定される。これにより、特定部４０２は、分類器により分類困難なデータが、どのような属性値パターンを有する傾向があるのかを特定することができる。

【0088】

特定部４０２は、例えば、指標値として取得した正解数に基づいて、複数の属性値パターンのうち、正解数が閾値以下である属性値パターンを、第１の属性値パターンとして特定してもよい。閾値は、例えば、固定値である。閾値は、例えば、可変値であってもよい。閾値は、例えば、２０である。閾値は、例えば、サンプルとなるデータの数の何割かに対応する数であってもよい。閾値は、例えば、予め設定される。これにより、特定部４０２は、分類器により分類困難なデータが、どのような属性値パターンを有する傾向があるのかを特定することができる。

【0089】

特定部４０２は、例えば、指標値として取得した正解率および正解数に基づいて、第１の属性値パターンを特定してもよい。特定部４０２は、具体的には、複数の属性値パターンのうち、正解率が第１の閾値以下、かつ、正解数が第２の閾値以下である属性値パターンを、第１の属性値パターンとして特定してもよい。特定部４０２は、具体的には、正解率が第１の閾値以下、または、正解数が第２の閾値以下である属性値パターンを、第１の属性値パターンとして特定してもよい。これにより、特定部４０２は、分類器により分類困難なデータが、どのような属性値パターンを有する傾向があるのかを特定することができる。

【0090】

特定部４０２は、例えば、指標値として取得した不正解率に基づいて、複数の属性値パターンのうち、不正解率が閾値以上である属性値パターンを、第１の属性値パターンとして特定してもよい。ここでは、閾値は、例えば、２０％である。閾値は、例えば、予め設定される。これにより、特定部４０２は、分類器により分類困難なデータが、どのような属性値パターンを有する傾向があるのかを特定することができる。

【0091】

特定部４０２は、例えば、指標値として取得した不正解数に基づいて、複数の属性値パターンのうち、不正解数が閾値以上である属性値パターンを、第１の属性値パターンとして特定してもよい。閾値は、例えば、固定値である。閾値は、例えば、可変値であってもよい。閾値は、例えば、１０である。閾値は、例えば、サンプルとなるデータの数の何割かに対応する数であってもよい。閾値は、例えば、予め設定される。これにより、特定部４０２は、分類器により分類困難なデータが、どのような属性値パターンを有する傾向があるのかを特定することができる。

【0092】

特定部４０２は、例えば、取得した指標値に基づいて、それぞれの分類器について、複数の属性値パターンのうち、当該分類器による分類結果が正解となるデータの数が相対的に少ない第１の属性値パターンを特定してもよい。これにより、特定部４０２は、それぞれの分類器により分類困難なデータが、どのような属性値パターンを有する傾向があるのかを特定することができる。

【0093】

特定部４０２は、取得した指標値に基づいて、複数の属性値パターンのうち、分類結果が正解となるデータの数が相対的に多い第２の属性値パターンを特定する。特定部４０２は、例えば、指標値として取得した正解率に基づいて、複数の属性値パターンのうち、正解率が閾値以上である属性値パターンを、第２の属性値パターンとして特定する。ここでは、閾値は、例えば、９０％である。閾値は、例えば、予め設定される。これにより、特定部４０２は、分類器により分類し易いデータが、どのような属性値パターンを有する傾向があるのかを特定することができる。

【0094】

特定部４０２は、例えば、指標値として取得した正解数に基づいて、複数の属性値パターンのうち、正解数が閾値以上である属性値パターンを、第２の属性値パターンとして特定してもよい。閾値は、例えば、固定値である。閾値は、例えば、可変値であってもよい。閾値は、例えば、５０である。閾値は、例えば、サンプルとなるデータの数の何割かに対応する数であってもよい。閾値は、例えば、予め設定される。これにより、特定部４０２は、分類器により分類し易いデータが、どのような属性値パターンを有する傾向があるのかを特定することができる。

【0095】

特定部４０２は、例えば、指標値として取得した正解率および正解数に基づいて、第２の属性値パターンを特定してもよい。特定部４０２は、具体的には、複数の属性値パターンのうち、正解率が第３の閾値以上、かつ、正解数が第４の閾値以上である属性値パターンを、第２の属性値パターンとして特定してもよい。特定部４０２は、具体的には、正解率が第３の閾値以上、または、正解数が第４の閾値以上である属性値パターンを、第２の属性値パターンとして特定してもよい。これにより、特定部４０２は、分類器により分類し易いデータが、どのような属性値パターンを有する傾向があるのかを特定することができる。

【0096】

特定部４０２は、例えば、指標値として取得した不正解率に基づいて、複数の属性値パターンのうち、不正解率が閾値以下である属性値パターンを、第２の属性値パターンとして特定してもよい。ここでは、閾値は、例えば、１０％である。閾値は、例えば、予め設定される。これにより、特定部４０２は、分類器により分類し易いデータが、どのような属性値パターンを有する傾向があるのかを特定することができる。

【0097】

特定部４０２は、例えば、指標値として取得した不正解数に基づいて、複数の属性値パターンのうち、不正解数が閾値以下である属性値パターンを、第２の属性値パターンとして特定してもよい。閾値は、例えば、固定値である。閾値は、例えば、可変値であってもよい。閾値は、例えば、１０である。閾値は、例えば、サンプルとなるデータの数の何割かに対応する数であってもよい。閾値は、例えば、予め設定される。これにより、特定部４０２は、分類器により分類し易いデータが、どのような属性値パターンを有する傾向があるのかを特定することができる。

【0098】

特定部４０２は、例えば、取得した指標値に基づいて、それぞれの分類器について、複数の属性値パターンのうち、当該分類器による分類結果が正解となるデータの数が相対的に多い第２の属性値パターンを特定してもよい。これにより、特定部４０２は、分類器により分類し易いデータが、どのような属性値パターンを有する傾向があるのかを特定することができる。

【0099】

判定部４０３は、ある分類器について特定した第１の属性値パターンのうち、対象のデータに対応する第１の属性値パターンが存在するか否かを判定する。これにより、判定部４０３は、対象のデータが、当該分類器により正しく分類することが難しいデータであると判定することができる。

【0100】

判定部４０３は、ある分類器について特定した第２の属性値パターンのうち、対象のデータに対応する第２の属性値パターンが存在するか否かを判定する。これにより、判定部４０３は、対象のデータが、当該分類器により正しく分類することが容易なデータであると判定することができる。

【0101】

判定部４０３は、対象のデータの分類結果の信頼性を評価可能にする評価情報を生成してもよい。判定部４０３は、例えば、ある分類器について、対象のデータに対応する第１の属性値パターンが存在せず、かつ、対象のデータに対応する第２の属性値パターンが存在すれば、評価情報として第１の情報を生成する。第１の情報は、例えば、当該分類器による対象のデータの分類結果を肯定することを示す情報である。第１の情報は、具体的には、当該分類器による対象のデータの分類結果が信頼可能である確率が比較的高いと判断したことを示すメッセージを含む。これにより、判定部４０３は、外部で、対象のデータの分類結果の信頼性を評価可能にすることができる。

【0102】

判定部４０３は、例えば、ある分類器について、対象のデータに対応する第１の属性値パターンが存在すれば、評価情報として第２の情報を生成する。第２の情報は、例えば、当該分類器による対象のデータの分類結果を否定することを示す情報である。第２の情報は、具体的には、当該分類器による対象のデータの分類結果が信頼可能である確率が比較的低いと判断したことを示すメッセージを含む。これにより、判定部４０３は、外部で、対象のデータの分類結果の信頼性を評価可能にすることができる。

【0103】

判定部４０３は、複数の分類器のうち、対象のデータに適した分類器を選択してもよい。対象のデータに適した分類器は、例えば、対象のデータを精度よく分類可能と判断される分類器である。判定部４０３は、例えば、複数の分類器のうち、対象のデータに対応する第１の属性値パターンが存在しない分類器を選択する。

【0104】

判定部４０３は、例えば、複数の分類器のうち、対象のデータに対応する第２の属性値パターンが存在する分類器を選択してもよい。判定部４０３は、例えば、複数の分類器のうち、対象のデータに対応する第１の属性値パターンが存在せず、かつ、対象のデータに対応する第２の属性値パターンが存在する分類器を選択してもよい。これにより、判定部４０３は、複数の分類器の中から、対象のデータに適した分類器を選択的に利用可能にすることができる。

【0105】

判定部４０３は、対象のデータに対応する第１の属性値パターンと、対象のデータに対応する第２の属性値パターンとに基づいて、分類器による対象のデータの分類結果の尤もらしさを評価してもよい。判定部４０３は、例えば、対象のデータに対応する第１の属性値パターンが少ないほど、または、対象のデータに対応する第２の属性値パターンが多いほど、値が大きくなる評価値を、分類器による対象のデータの分類結果の尤もらしさを示す指標値として算出する。

【0106】

判定部４０３は、対象のデータに対応する第１の属性値パターンと、対象のデータに対応する第２の属性値パターンとに基づいて、それぞれの分類器による対象のデータの分類結果の尤もらしさを評価してもよい。これにより、判定部４０３は、外部で、対象のデータの分類結果の信頼性を評価可能にすることができる。

【0107】

分類部４０４は、分類器により対象のデータを分類する。分類部４０４は、分類器により対象のデータを複数のクラスのいずれかのクラスに分類する。分類部４０４は、複数の分類器のうち、選択した分類器により対象のデータを分類してもよい。これにより、分類部４０４は、対象のデータの分類結果を利用可能にすることができる。

【0108】

出力部４０５は、少なくともいずれかの機能部の処理結果を出力する。出力形式は、例えば、ディスプレイへの表示、プリンタへの印刷出力、ネットワークＩ／Ｆ３０３による外部装置への送信、または、メモリ３０２や記録媒体３０５などの記憶領域への記憶である。これにより、出力部４０５は、少なくともいずれかの機能部の処理結果を利用者に通知可能にし、情報処理装置１００の利便性の向上を図ることができる。

【0109】

出力部４０５は、評価情報を出力する。出力部４０５は、例えば、分類器による対象のデータの分類結果を肯定することを示す第１の情報を出力する。出力部４０５は、具体的には、第１の情報を、対象のデータの分類結果に対応付けて、利用者が参照可能に出力する。これにより、出力部４０５は、外部で、対象のデータの分類結果の信頼性を評価可能にすることができる。

【0110】

出力部４０５は、例えば、分類器による対象のデータの分類結果を否定することを示す第２の情報を出力する。出力部４０５は、具体的には、第２の情報を、対象のデータの分類結果に対応付けて、利用者が参照可能に出力する。これにより、出力部４０５は、外部で、対象のデータの分類結果の信頼性を評価可能にすることができる。

【0111】

出力部４０５は、特定した第１の属性値パターンのうち、対象のデータに対応する第１の属性値パターンが存在すれば、対象のデータに対応する第１の属性値パターンを出力する。出力部４０５は、例えば、対象のデータに対応する第１の属性値パターンを、対象のデータの分類結果に対応付けて、利用者が参照可能に出力する。これにより、出力部４０５は、外部で、対象のデータの分類結果の信頼性を評価可能にすることができる。

【0112】

出力部４０５は、特定した第２の属性値パターンのうち、対象のデータに対応する第２の属性値パターンが存在すれば、対象のデータに対応する第２の属性値パターンを出力する。出力部４０５は、例えば、対象のデータに対応する第２の属性値パターンを、対象のデータの分類結果に対応付けて、利用者が参照可能に出力する。これにより、出力部４０５は、外部で、対象のデータの分類結果の信頼性を評価可能にすることができる。

【0113】

出力部４０５は、複数の分類器のいずれかの分類器を出力する。出力部４０５は、例えば、選択した分類器を、利用者が参照可能に出力する。これにより、出力部４０５は、外部で、対象のデータに適した分類器を利用可能にすることができる。このため、出力部４０５は、外部で、対象のデータを正しく分類し易くすることができる。

【0114】

ここでは、情報処理装置１００が、分類部４０４を含む場合について説明したが、これに限らない。例えば、情報処理装置１００が、分類部４０４を含まない場合があってもよい。この場合、出力部４０５は、例えば、対象のデータに対応する第１の属性値パターン、または、対象のデータに対応する第２の属性値パターンを、対象のデータの分類結果に対応付けずに、利用者が参照可能に出力してもよい。これにより、出力部４０５は、外部で、分類器による分類前に、当該分類器による対象のデータの分類結果の信頼性を予測可能にすることができる。

【0115】

（情報処理装置１００の動作例）
次に、図５～図１１を用いて、情報処理装置１００の動作例について説明する。まず、図５を用いて、情報処理装置１００が、サンプルとなる複数のデータを取得したとして、サンプルとなる複数のデータの一例について説明する。

【0116】

図５は、サンプルとなる複数のデータの一例を示す説明図である。図５のベン図５００は、複数の条件集合の関係を示す。情報処理装置１００は、少なくともいずれかの条件集合に対応するサンプルとなるデータを取得したとする。

【0117】

例えば、条件集合５０１は、（｛Ａ，￢Ｂ，￢Ｃ｝）に対応する。￢は、否定の記号であり、条件がＦａｌｓｅであることを示す。情報処理装置１００は、（｛Ａ，￢Ｂ，￢Ｃ｝）のデータを、２０個取得したとする。１０個の（｛Ａ，￢Ｂ，￢Ｃ｝）のデータは、ｐｏｓに分類されることが正解となるデータである。一方で、残りの１０個の（｛Ａ，￢Ｂ，￢Ｃ｝）のデータは、ｎｅｇに分類されることが正解となるデータである。

【0118】

例えば、条件集合５０２は、（｛￢Ａ，Ｂ，￢Ｃ｝）に対応する。（｛￢Ａ，Ｂ，￢Ｃ｝）のデータを、２０個取得したとする。２０個の（｛￢Ａ，Ｂ，￢Ｃ｝）のデータは、ｎｅｇに分類されることが正解となるデータである。ｐｏｓに分類されることが正解となる（｛￢Ａ，Ｂ，￢Ｃ｝）のデータは、存在しない。

【0119】

例えば、条件集合５０３は、（｛￢Ａ，￢Ｂ，Ｃ｝）に対応する。（｛￢Ａ，￢Ｂ，Ｃ｝）のデータを、２０個取得したとする。２０個の（｛￢Ａ，￢Ｂ，Ｃ｝）のデータは、ｎｅｇに分類されることが正解となるデータである。ｐｏｓに分類されることが正解となる（｛￢Ａ，￢Ｂ，Ｃ｝）のデータは、存在しない。

【0120】

例えば、条件集合５１２は、（｛Ａ，Ｂ，￢Ｃ｝）に対応する。（｛Ａ，Ｂ，￢Ｃ｝）のデータを、１００個取得したとする。９０個の（｛Ａ，Ｂ，￢Ｃ｝）のデータは、ｐｏｓに分類されることが正解となるデータである。一方で、残りの１０個の（｛Ａ，Ｂ，￢Ｃ｝）のデータは、ｎｅｇに分類されることが正解となるデータである。

【0121】

例えば、条件集合５２３は、（｛￢Ａ，Ｂ，Ｃ｝）に対応する。（｛￢Ａ，Ｂ，Ｃ｝）のデータを、２０個取得したとする。２０個の（｛￢Ａ，Ｂ，Ｃ｝）のデータは、ｎｅｇに分類されることが正解となるデータである。ｐｏｓに分類されることが正解となる（｛￢Ａ，Ｂ，Ｃ｝）のデータは、存在しない。

【0122】

例えば、条件集合５１３は、（｛Ａ，￢Ｂ，Ｃ｝）に対応する。（｛Ａ，￢Ｂ，Ｃ｝）のデータを、５０個取得したとする。１０個の（｛Ａ，￢Ｂ，Ｃ｝）のデータは、ｐｏｓに分類されることが正解となるデータである。一方で、残りの４０個の（｛Ａ，￢Ｂ，Ｃ｝）のデータは、ｎｅｇに分類されることが正解となるデータである。

【0123】

例えば、条件集合５０４は、（｛Ａ，Ｂ，Ｃ｝）に対応する。情報処理装置１００は、（｛Ａ，Ｂ，Ｃ｝）のデータを取得していないとする。

【0124】

例えば、条件集合５０５は、（｛￢Ａ，￢Ｂ，￢Ｃ｝）に対応する。情報処理装置１００は、（｛￢Ａ，￢Ｂ，￢Ｃ｝）のデータを、２０個取得したとする。２０個の（｛￢Ａ，￢Ｂ，￢Ｃ｝）のデータは、ｎｅｇに分類されることが正解となるデータである。ｐｏｓに分類されることが正解となる（｛￢Ａ，￢Ｂ，￢Ｃ｝）のデータは、存在しない。

【0125】

次に、図６を用いて、情報処理装置１００が有する分類器の一例について説明する。

【0126】

図６は、分類器の一例を示す説明図である。図６の例では、説明の簡略化のため、分類器が、ツリー６００であるとする。ツリー６００は、第１の属性に関する属性値に対する条件Ａに対応するノード６０１を含む。ノード６０１は、エッジ６１２により、クラス６０２に接続される。エッジ６１２は、条件ＡがＦａｌｓｅであることに対応する。

【0127】

ノード６０１は、エッジ６１３により、第２の属性に関する属性値に対する条件Ｂに対応するノード６０３に接続される。エッジ６１３は、条件ＡがＴｒｕｅであることに対応する。ノード６０３は、エッジ６３４により、クラス６０４に接続される。エッジ６３４は、条件ＢがＴｒｕｅであることに対応する。ノード６０３は、エッジ６３５により、クラス６０５に接続される。エッジ６３５は、条件ＢがＦａｌｓｅであることに対応する。

【0128】

次に、図７を用いて、情報処理装置１００が、分類器を利用して、取得したサンプルとなる複数のデータを分類し、属性値パターンごとに、正解数と不正解数とを算出する一例について説明する。

【0129】

図７は、属性値パターンごとに、正解数と不正解数とを算出する一例を示す説明図である。図７において、情報処理装置１００は、属性値パターンを特定する。情報処理装置１００は、条件集合に含まれる部分集合に対応する属性値パターンを特定する。部分集合は、条件集合全体であってもよい。

【0130】

情報処理装置１００は、例えば、部分集合（｛Ａ｝）に対応する属性値パターンと、部分集合（｛Ｂ｝）に対応する属性値パターンと、部分集合（｛Ｃ｝）に対応する属性値パターンとを特定する。情報処理装置１００は、例えば、部分集合（｛Ａ，Ｂ｝）に対応する属性値パターンと、部分集合（｛Ｂ，Ｃ｝）に対応する属性値パターンと、部分集合（｛Ａ，Ｃ｝）に対応する属性値パターンとを特定する。情報処理装置１００は、例えば、部分集合（｛Ａ，Ｂ，Ｃ｝）に対応する属性値パターンを特定する。

【0131】

情報処理装置１００は、例えば、部分集合（｛￢Ａ，Ｂ，Ｃ｝）に対応する属性値パターンと、部分集合（｛Ａ，￢Ｂ，Ｃ｝）に対応する属性値パターンと、部分集合（｛Ａ，Ｂ，￢Ｃ｝）に対応する属性値パターンとを特定する。情報処理装置１００は、例えば、部分集合（｛Ａ，￢Ｂ，￢Ｃ｝）に対応する属性値パターンと、部分集合（｛￢Ａ，Ｂ，￢Ｃ｝）に対応する属性値パターンと、部分集合（｛￢Ａ，￢Ｂ，Ｃ｝）に対応する属性値パターンとを特定する。情報処理装置１００は、例えば、部分集合（｛￢Ａ，￢Ｂ，￢Ｃ｝）に対応する属性値パターンを特定する。

【0132】

情報処理装置１００は、分類器を利用して、取得したサンプルとなる複数のデータを、ｐｏｓまたはｎｅｇのクラスに分類する。情報処理装置１００は、サンプルとなる複数のデータのそれぞれのデータの分類結果が、正解であるか否かを判定する。

【0133】

情報処理装置１００は、判定した結果に基づいて、属性値パターンごとに、当該属性値パターンを有し、分類結果が正解であるデータの数を、正解数として算出する。情報処理装置１００は、判定した結果に基づいて、属性値パターンごとに、当該属性値パターンを有し、分類結果が正解ではないデータの数を、不正解数として算出する。

【0134】

情報処理装置１００は、属性値パターンと、当該属性値パターンを有するデータの分類結果の正解と、当該属性値パターンについて算出した正解数および不正解数とを、集計情報管理テーブル７００に記憶する。集計情報管理テーブル７００は、例えば、図３に示した情報処理装置１００のメモリ３０２や記録媒体３０５などの記憶領域により実現される。

【0135】

図７に示すように、集計情報管理テーブル７００は、条件判定と、正解と、正解数と、不正解数とのフィールドを有する。集計情報管理テーブル７００は、属性値パターンごとに各フィールドに情報を設定することにより、集計情報がレコード７００－ａとして記憶される。ａは、任意の整数である。

【0136】

条件判定のフィールドには、属性値パターンを形成する要素である条件判定の結果が設定される。条件判定のフィールドは、例えば、Ａと、Ｂと、Ｃとのフィールドを有する。Ａのフィールドには、属性値パターンを形成する要素として、条件ＡがＴｒｕｅであるかＦａｌｓｅであるかを示すフラグ情報が設定される。Ｂのフィールドには、属性値パターンを形成する要素として、条件ＢがＴｒｕｅであるかＦａｌｓｅであるかを示すフラグ情報が設定される。Ｃのフィールドには、属性値パターンを形成する要素として、条件ＣがＴｒｕｅであるかＦａｌｓｅであるかを示すフラグ情報が設定される。

【0137】

正解のフィールドには、上記属性値パターンを有するデータの分類結果の正解が設定される。正解数のフィールドには、上記属性値パターンを有するデータのうち、分類結果が上記正解であるデータの数を示す正解数が設定される。不正解数のフィールドには、上記属性値パターンを有するデータのうち、分類結果が上記正解ではないデータの数を示す不正解数が設定される。

【0138】

次に、図８を用いて、情報処理装置１００が、集計情報管理テーブル７００を参照して、分類結果が正解となるデータの数が相対的に多い属性値パターンを、肯定的パターンとして特定する一例について説明する。

【0139】

図８は、分類結果が正解となるデータの数が相対的に多い属性値パターンを特定する一例を示す説明図である。図８において、情報処理装置１００は、それぞれの属性値パターンについて、当該属性値パターンを有するデータのうち、分類結果が正解であるデータの割合を示す正解率を算出する。

【0140】

情報処理装置１００は、それぞれの属性値パターンについて、算出した正解数が閾値＝５０以上であるか否かを判定する。また、情報処理装置１００は、それぞれの属性値パターンについて、算出した正解率が閾値＝９０％以上であるか否かを判定する。情報処理装置１００は、正解数が閾値＝５０以上であり、かつ、正解率が閾値＝９０％以上であると判定した属性値パターンを、肯定的パターンとして特定する。

【0141】

情報処理装置１００は、特定した肯定的パターンと、正解数と、不正解数と、正解率とを対応付けて、肯定的パターン管理テーブル８００に記憶する。肯定的パターン管理テーブル８００は、例えば、図３に示した情報処理装置１００のメモリ３０２や記録媒体３０５などの記憶領域により実現される。

【0142】

図８に示すように、肯定的パターン管理テーブル８００は、パターンと、正解数と、不正解数と、正解率とのフィールドを有する。肯定的パターン管理テーブル８００は、肯定的パターンごとに各フィールドに情報を設定することにより、肯定的パターン情報がレコード８００－ｂとして記憶される。ｂは、任意の整数である。

【0143】

パターンのフィールドには、肯定的パターンが設定される。正解数のフィールドには、上記肯定的パターンについて算出された正解数が設定される。不正解数のフィールドには、上記肯定的パターンについて算出された不正解数が設定される。正解率のフィールドには、上記肯定的パターンについて算出された正解率が設定される。

【0144】

これにより、情報処理装置１００は、分類器により分類し易いデータが、どのような属性値パターンを有する傾向があるのかを特定することができる。換言すれば、情報処理装置１００は、分類器が、どのような属性値パターンを有するデータを分類することを得意とするのかを特定することができる。情報処理装置１００は、分類器が、どのような属性値パターンを有するデータを分類することに向くのかを特定することができる。

【0145】

次に、図９を用いて、情報処理装置１００が、集計情報管理テーブル７００を参照して、分類結果が正解となるデータの数が相対的に少ない属性値パターンを、否定的パターンとして特定する一例について説明する。

【0146】

図９は、分類結果が正解となるデータの数が相対的に少ない属性値パターンを特定する一例を示す説明図である。図９において、情報処理装置１００は、それぞれの属性値パターンについて、当該属性値パターンを有するデータのうち、分類結果が正解ではないデータの割合を示す不正解率を算出する。

【0147】

情報処理装置１００は、それぞれの属性値パターンについて、算出した不正解率が閾値＝２０％以上であるか否かを判定する。情報処理装置１００は、不正解率が閾値＝２０％以上であると判定した属性値パターンを、否定的パターンとして特定する。

【0148】

情報処理装置１００は、特定した否定的パターンと、正解数と、不正解数と、不正解率とを対応付けて、否定的パターン管理テーブル９００に記憶する。否定的パターン管理テーブル９００は、例えば、図３に示した情報処理装置１００のメモリ３０２や記録媒体３０５などの記憶領域により実現される。

【0149】

図９に示すように、否定的パターン管理テーブル９００は、パターンと、正解数と、不正解数と、不正解率とのフィールドを有する。否定的パターン管理テーブル９００は、否定的パターンごとに各フィールドに情報を設定することにより、否定的パターン情報がレコード９００－ｃとして記憶される。ｃは、任意の整数である。

【0150】

パターンのフィールドには、否定的パターンが設定される。正解数のフィールドには、上記否定的パターンについて算出された正解数が設定される。不正解数のフィールドには、上記否定的パターンについて算出された不正解数が設定される。不正解率のフィールドには、上記否定的パターンについて算出された不正解率が設定される。

【0151】

これにより、情報処理装置１００は、分類器により分類困難なデータが、どのような属性値パターンを有する傾向があるのかを特定することができる。換言すれば、情報処理装置１００は、分類器が、どのような属性値パターンを有するデータを分類することを苦手とするのかを特定することができる。情報処理装置１００は、分類器が、どのような属性値パターンを有するデータを分類することに不向きであるのかを特定することができる。

【0152】

次に、図１０および図１１を用いて、情報処理装置１００が、分類器により対象のデータを複数のクラスのいずれかのクラスに分類し、対象のデータの分類結果の信頼性を評価する一例について説明する。

【0153】

図１０および図１１は、対象のデータの分類結果の信頼性を評価する一例を示す説明図である。図１０において、情報処理装置１００は、対象のデータを受け付ける。図１０の例では、対象のデータは、具体的には、（｛Ａ，Ｂ，￢Ｃ｝）に対応する属性値パターンのデータである。情報処理装置１００は、分類器により対象のデータを複数のクラスのいずれかのクラスに分類する。

【0154】

情報処理装置１００は、肯定的パターン管理テーブル８００を参照して、対象のデータに対応する肯定的パターンが存在するか否かを判定する。図１０の例では、情報処理装置１００は、肯定的パターン（｛Ａ，Ｂ｝）と、肯定的パターン（｛Ａ，Ｂ，￢Ｃ｝）と、肯定的パターン（｛Ｂ｝）と、肯定的パターン（｛Ｂ，￢Ｃ｝）とが存在すると判定する。情報処理装置１００は、否定的パターン管理テーブル９００を参照して、対象のデータに対応する否定的パターンが存在するか否かを判定する。図１０の例では、情報処理装置１００は、否定的パターンが存在しないと判定する。

【0155】

これにより、情報処理装置１００は、分類器が、対象のデータの分類を得意とするのか、または、対象のデータの分類を苦手とするのかを特定し、対象のデータの分類結果の信頼性を評価する指針とすることができる。情報処理装置１００は、肯定的パターンが存在すれば、分類器が対象のデータの分類を得意としており、対象のデータの分類結果の信頼性が比較的高いと評価することができる。情報処理装置１００は、否定的パターンが存在しなければ、分類器が対象のデータの分類を得意としており、対象のデータの分類結果の信頼性が比較的高いと評価することができる。

【0156】

情報処理装置１００は、肯定的パターンが存在し、かつ、否定的パターンが存在しなければ、対象のデータの分類結果を肯定的に評価する。肯定的に評価するとは、例えば、対象のデータの分類結果の信頼性が比較的高いと評価することである。情報処理装置１００は、対象のデータの分類結果を肯定的に評価することを示すメッセージを生成する。メッセージは、例えば、「分類結果を疑う理由はない」である。情報処理装置１００は、生成したメッセージを、利用者が参照可能に出力する。

【0157】

情報処理装置１００は、具体的には、評価画面１０００を、利用者が参照可能に表示する。評価画面１０００は、例えば、対象のデータが、条件Ａ，Ｂを満たし、条件Ｃを満たさないことの通知を含む。評価画面１０００は、例えば、対象のデータの分類結果を含む。評価画面１０００は、例えば、対象のデータの分類結果を肯定的に評価する根拠として、対象のデータに対応する肯定的パターンを含む。評価画面１０００は、例えば、対象のデータの分類結果を肯定的に評価する根拠として、対象のデータに対応する否定的パターンが存在しないことの通知を含む。評価画面１０００は、例えば、生成したメッセージを含む。

【0158】

これにより、情報処理装置１００は、利用者が、分類器による対象のデータの分類結果をどの程度信頼可能であるのかを把握し易くすることができる。情報処理装置１００は、例えば、利用者が、対象のデータに対応する肯定的パターンが存在し、対象のデータに対応する否定的パターンが存在しないことを把握可能にすることができる。

【0159】

このため、利用者は、例えば、対象のデータが、分類器により正しく分類し易いデータであり、対象のデータの分類結果を、肯定的に評価することができる。また、利用者は、例えば、対象のデータの分類結果が、肯定的に評価される理由として、対象のデータに対応する肯定的パターンを参照することができ、肯定的に評価されたことを納得し易くすることができる。また、利用者は、例えば、肯定的に評価される理由として、対象のデータに対応する否定的パターンが存在しないことを参照することができ、肯定的に評価されたことを納得し易くすることができる。次に、図１１の説明に移行する。

【0160】

図１１において、情報処理装置１００は、対象のデータを受け付ける。図１１の例では、対象のデータは、具体的には、（｛Ａ，Ｂ，Ｃ｝）に対応する属性値パターンのデータである。情報処理装置１００は、分類器により対象のデータを複数のクラスのいずれかのクラスに分類する。

【0161】

情報処理装置１００は、肯定的パターン管理テーブル８００を参照して、対象のデータに対応する肯定的パターンが存在するか否かを判定する。図１１の例では、情報処理装置１００は、肯定的パターン（｛Ａ，Ｂ｝）と、肯定的パターン（｛Ｂ｝）とが存在すると判定する。情報処理装置１００は、否定的パターン管理テーブル９００を参照して、対象のデータに対応する否定的パターンが存在するか否かを判定する。図１１の例では、情報処理装置１００は、否定的パターン（｛Ａ，Ｃ｝）が存在すると判定する。

【0162】

これにより、情報処理装置１００は、分類器が、対象のデータの分類を得意とするのか、または、対象のデータの分類を苦手とするのかを特定し、対象のデータの分類結果の信頼性を評価する指針とすることができる。情報処理装置１００は、否定的パターンが存在すれば、分類器が対象のデータの分類を苦手としており、対象のデータの分類結果の信頼性が比較的低いと評価することができる。

【0163】

情報処理装置１００は、肯定的パターンが存在しても、否定的パターンが存在すれば、対象のデータの分類結果を否定的に評価する。否定的に評価するとは、例えば、対象のデータの分類結果の信頼性が比較的低いと評価することである。情報処理装置１００は、対象のデータの分類結果を否定的に評価することを示すメッセージを生成する。メッセージは、例えば、「不正解率が高い（｛Ａ，Ｃ｝）に該当することに注意が必要」である。情報処理装置１００は、生成したメッセージを、利用者が参照可能に出力する。

【0164】

情報処理装置１００は、具体的には、評価画面１１００を、利用者が参照可能に表示する。評価画面１１００は、例えば、対象のデータが、条件Ａ，Ｂ，Ｃを満たすことの通知を含む。評価画面１１００は、例えば、対象のデータの分類結果を含む。評価画面１１００は、例えば、対象のデータに対応する肯定的パターンを含む。評価画面１１００は、例えば、対象のデータの分類結果を否定的に評価する根拠として、対象のデータに対応する否定的パターンを含む。評価画面１１００は、例えば、生成したメッセージを含む。

【0165】

これにより、情報処理装置１００は、利用者が、分類器による対象のデータの分類結果をどの程度信頼可能であるのかを把握し易くすることができる。情報処理装置１００は、例えば、利用者が、対象のデータに対応する否定的パターンが存在することを把握可能にすることができる。

【0166】

このため、利用者は、例えば、対象のデータが、分類器により正しく分類困難なデータであり、対象のデータの分類結果を、否定的に評価することができる。また、利用者は、例えば、対象のデータの分類結果が、否定的に評価される理由として、対象のデータに対応する否定的パターンを参照することができ、否定的に評価されたことを納得し易くすることができる。

【0167】

（判定処理手順）
次に、図１２を用いて、情報処理装置１００が実行する、判定処理手順の一例について説明する。判定処理は、例えば、図３に示したＣＰＵ３０１と、メモリ３０２や記録媒体３０５などの記憶領域と、ネットワークＩ／Ｆ３０３とによって実現される。

【0168】

図１２は、判定処理手順の一例を示すフローチャートである。図１２において、情報処理装置１００は、条件集合において、まだ処理対象として選択していない部分集合Ｓのうち、いずれかの部分集合Ｓを選択する（ステップＳ１２０１）。条件集合は、例えば、（｛Ａ，Ｂ，Ｃ｝）などである。部分集合Ｓは、例えば、（｛Ａ，Ｂ｝）などである。

【0169】

次に、情報処理装置１００は、選択した部分集合Ｓを表すパターンＰと、選択した部分集合Ｓに含まれる１以上の要素を否定して形成可能な１以上の部分集合Ｔのそれぞれの部分集合Ｔを表すパターンＰとを特定する（ステップＳ１２０２）。部分集合Ｔは、例えば、（｛￢Ａ，Ｂ｝）などである。

【0170】

次に、情報処理装置１００は、特定したパターンＰに含まれる、まだ処理対象として選択していないパターンＰのうち、いずれかのパターンＰを選択する（ステップＳ１２０３）。そして、情報処理装置１００は、選択したパターンＰに対応するサンプルについて、対象の分類器による正解数および不正解数を集計する（ステップＳ１２０４）。

【0171】

次に、情報処理装置１００は、集計した正解数および不正解数に基づいて、選択したパターンＰが肯定的条件を満たすか否かを判定する（ステップＳ１２０５）。肯定的条件は、例えば、正解数が閾値以上、かつ、正解率が閾値以上であることである。ここで、肯定的条件を満たさない場合（ステップＳ１２０５：Ｎｏ）、情報処理装置１００は、ステップＳ１２０７の処理に移行する。肯定的条件を満たす場合（ステップＳ１２０５：Ｙｅｓ）、情報処理装置１００は、ステップＳ１２０６の処理に移行する。

【0172】

ステップＳ１２０６では、情報処理装置１００は、集計した正解数および不正解数に、選択したパターンＰを対応付けたレコードを、肯定的パターン管理テーブル８００に記憶する（ステップＳ１２０６）。次に、情報処理装置１００は、ステップＳ１２０７の処理に移行する。

【0173】

ステップＳ１２０７では、情報処理装置１００は、集計した不正解数に基づいて、選択したパターンＰが否定的条件を満たすか否かを判定する（ステップＳ１２０７）。否定的条件は、例えば、不正解数が閾値以上であることである。ここで、否定的条件を満たさない場合（ステップＳ１２０７：Ｎｏ）、情報処理装置１００は、ステップＳ１２０９の処理に移行する。一方で、否定的条件を満たす場合（ステップＳ１２０７：Ｙｅｓ）、情報処理装置１００は、ステップＳ１２０８の処理に移行する。

【0174】

ステップＳ１２０８では、情報処理装置１００は、集計した正解数および不正解数に、選択したパターンＰを対応付けたレコードを、否定的パターン管理テーブル９００に記憶する（ステップＳ１２０８）。次に、情報処理装置１００は、ステップＳ１２０９の処理に移行する。

【0175】

ステップＳ１２０９では、情報処理装置１００は、すべてのパターンＰを処理対象として選択したか否かを判定する（ステップＳ１２０９）。ここで、まだ選択していないパターンＰが残っている場合（ステップＳ１２０９：Ｎｏ）、情報処理装置１００は、ステップＳ１２０３の処理に戻る。一方で、すべてのパターンＰを選択している場合（ステップＳ１２０９：Ｙｅｓ）、情報処理装置１００は、ステップＳ１２１０の処理に移行する。

【0176】

ステップＳ１２１０では、情報処理装置１００は、すべての部分集合Ｓを処理対象として選択したか否かを判定する（ステップＳ１２１０）。ここで、まだ選択していない部分集合Ｓが残っている場合（ステップＳ１２１０：Ｎｏ）、情報処理装置１００は、ステップＳ１２０１の処理に戻る。一方で、すべての部分集合Ｓを選択している場合（ステップＳ１２１０：Ｙｅｓ）、情報処理装置１００は、判定処理を終了する。

【0177】

（分類処理手順）
次に、図１３を用いて、情報処理装置１００が実行する、分類処理手順の一例について説明する。分類処理は、例えば、図３に示したＣＰＵ３０１と、メモリ３０２や記録媒体３０５などの記憶領域と、ネットワークＩ／Ｆ３０３とによって実現される。

【0178】

図１３は、分類処理手順の一例を示すフローチャートである。図１３において、情報処理装置１００は、対象のデータを取得する（ステップＳ１３０１）。

【0179】

次に、情報処理装置１００は、対象のデータを対象の分類器により分類する（ステップＳ１３０２）。そして、情報処理装置１００は、否定的パターン管理テーブル９００に基づいて、対象のデータに対応する否定的パターンを検索する（ステップＳ１３０３）。また、情報処理装置１００は、肯定的パターン管理テーブル８００に基づいて、対象のデータに対応する肯定的パターンを検索する（ステップＳ１３０４）。

【0180】

次に、情報処理装置１００は、対象のデータに対応する否定的パターンを発見したか否かを判定する（ステップＳ１３０５）。ここで、否定的パターンを発見していない場合（ステップＳ１３０５：Ｎｏ）、情報処理装置１００は、ステップＳ１３０７の処理に移行する。一方で、否定的パターンを発見している場合（ステップＳ１３０５：Ｙｅｓ）、情報処理装置１００は、ステップＳ１３０６の処理に移行する。

【0181】

ステップＳ１３０６では、情報処理装置１００は、対象のデータの分類結果と、当該分類結果を否定的に示すメッセージと、発見した否定的パターンと、発見した肯定的パターンとを対応付けて出力する（ステップＳ１３０６）。そして、情報処理装置１００は、分類処理を終了する。

【0182】

ステップＳ１３０７では、情報処理装置１００は、対象のデータに対応する肯定的パターンを発見したか否かを判定する（ステップＳ１３０７）。ここで、肯定的パターンを発見していない場合（ステップＳ１３０７：Ｎｏ）、情報処理装置１００は、ステップＳ１３０９の処理に移行する。一方で、肯定的パターンを発見している場合（ステップＳ１３０７：Ｙｅｓ）、情報処理装置１００は、ステップＳ１３０８の処理に移行する。

【0183】

ステップＳ１３０８では、情報処理装置１００は、対象のデータの分類結果と、当該分類結果を肯定的に示すメッセージと、発見した肯定的パターンとを対応付けて出力する（ステップＳ１３０８）。そして、情報処理装置１００は、分類処理を終了する。

【0184】

ステップＳ１３０９では、情報処理装置１００は、対象のデータの分類結果を出力する（ステップＳ１３０９）。そして、情報処理装置１００は、分類処理を終了する。

【0185】

（選択処理手順）
次に、図１４を用いて、情報処理装置１００が実行する、選択処理手順の一例について説明する。選択処理は、例えば、図３に示したＣＰＵ３０１と、メモリ３０２や記録媒体３０５などの記憶領域と、ネットワークＩ／Ｆ３０３とによって実現される。

【0186】

図１４は、選択処理手順の一例を示すフローチャートである。図１４において、情報処理装置１００は、複数の分類器のそれぞれの分類器を、対象の分類器として、図１２に示した判定処理を実行する（ステップＳ１４０１）。

【0187】

次に、情報処理装置１００は、対象のデータを取得する（ステップＳ１４０２）。そして、情報処理装置１００は、それぞれの分類器に関する否定的パターン管理テーブル９００に基づいて、それぞれの分類器に関する否定的パターンのうち、対象のデータに対応する否定的パターンを検索する（ステップＳ１４０３）。また、情報処理装置１００は、それぞれの分類器に関する肯定的パターン管理テーブル８００に基づいて、それぞれの分類器に関する肯定的パターンのうち、対象のデータに対応する肯定的パターンを検索する（ステップＳ１４０４）。

【0188】

次に、情報処理装置１００は、複数の分類器のうち、対象のデータに対応する否定的パターンを発見せず、対象のデータに対応する肯定的パターンを発見した分類器を選択する（ステップＳ１４０５）。そして、情報処理装置１００は、選択した分類器を出力する（ステップＳ１４０６）。その後、情報処理装置１００は、選択処理を終了する。

【0189】

ここで、情報処理装置１００は、図１２～図１４の各フローチャートの一部ステップの処理の順序を入れ替えて実行してもよい。例えば、ステップＳ１３０３，Ｓ１３０４の処理の順序は入れ替え可能である。また、情報処理装置１００は、図１２～図１４の各フローチャートの一部ステップの処理を省略してもよい。

【0190】

以上説明したように、情報処理装置１００によれば、複数の属性値パターンのそれぞれの属性値パターンのデータを分類器で分類する場合において分類結果が正解となるデータの数の多さを示す指標値を取得することができる。情報処理装置１００によれば、取得した指標値に基づいて、複数の属性値パターンのうち、分類結果が正解となるデータの数が相対的に少ない第１の属性値パターンを特定することができる。情報処理装置１００によれば、対象のデータを分類する場合、特定した第１の属性値パターンのうち、対象のデータに対応する第１の属性値パターンが存在するか否かを判定することができる。これにより、情報処理装置１００は、分類器により分類し易いデータが、どのような属性値パターンを有する傾向があるのかを特定することができる。換言すれば、情報処理装置１００は、分類器が、どのような属性値パターンを有するデータを分類することを得意とするのかを特定することができる。

【0191】

情報処理装置１００によれば、取得した指標値に基づいて、複数の属性値パターンのうち、分類結果が正解となるデータの数が相対的に多い第２の属性値パターンを特定することができる。情報処理装置１００によれば、対象のデータを分類する場合、特定した第２の属性値パターンのうち、対象のデータに対応する第２の属性値パターンが存在するか否かを判定することができる。これにより、情報処理装置１００は、分類器により分類困難なデータが、どのような属性値パターンを有する傾向があるのかを特定することができる。換言すれば、情報処理装置１００は、分類器が、どのような属性値パターンを有するデータを分類することを苦手とするのかを特定することができる。

【0192】

情報処理装置１００によれば、対象のデータに対応する第１の属性値パターンが存在せず、かつ、対象のデータに対応する第２の属性値パターンが存在すれば、分類器による対象のデータの分類結果を肯定することを示す第１の情報を出力することができる。これにより、情報処理装置１００は、分類器による対象のデータの分類結果をどの程度信頼可能であるのかを把握し易く、かつ、納得し易くすることができる。

【0193】

情報処理装置１００によれば、特定した第１の属性値パターンのうち、対象のデータに対応する第１の属性値パターンが存在すれば、分類器による対象のデータの分類結果を否定することを示す第２の情報を出力することができる。これにより、情報処理装置１００は、分類器による対象のデータの分類結果をどの程度信頼可能であるのかを把握し易く、かつ、納得し易くすることができる。

【0194】

情報処理装置１００によれば、対象のデータを分類する場合、特定した第１の属性値パターンのうち、対象のデータに対応する第１の属性値パターンが存在すれば、対象のデータに対応する第１の属性値パターンを出力することができる。これにより、情報処理装置１００は、分類器による対象のデータの分類結果をどの程度信頼可能であるのかを把握し易く、かつ、納得し易くすることができる。

【0195】

情報処理装置１００によれば、対象のデータを分類する場合、特定した第２の属性値パターンのうち、対象のデータに対応する第２の属性値パターンが存在すれば、対象のデータに対応する第２の属性値パターンを出力することができる。これにより、情報処理装置１００は、分類器による対象のデータの分類結果をどの程度信頼可能であるのかを把握し易く、かつ、納得し易くすることができる。

【0196】

情報処理装置１００によれば、分類器による対象のデータの分類結果に対応付けて、当該分類結果を肯定することを示す第１の情報を出力することができる。これにより、情報処理装置１００は、分類器による対象のデータの分類結果をどの程度信頼可能であるのかを把握し易く、かつ、納得し易くすることができる。

【0197】

情報処理装置１００によれば、分類器による対象のデータの分類結果に対応付けて、当該分類結果を否定することを示す第２の情報を出力することができる。これにより、情報処理装置１００は、分類器による対象のデータの分類結果をどの程度信頼可能であるのかを把握し易く、かつ、納得し易くすることができる。

【0198】

情報処理装置１００によれば、複数の属性値パターンのそれぞれの属性値パターンのデータを、複数の分類器のそれぞれの分類器で分類する場合において、当該分類器による分類結果が正解となるデータの数の多さを示す指標値を取得することができる。情報処理装置１００によれば、取得した指標値に基づいて、それぞれの分類器について、複数の属性値パターンのうち、当該分類器による分類結果が正解となるデータの数が相対的に少ない第１の属性値パターンを特定することができる。情報処理装置１００によれば、対象のデータを分類する場合、複数の分類器のうち、対象のデータに対応する第１の属性値パターンが存在しない分類器を選択して出力することができる。これにより、情報処理装置１００は、複数の分類器のうち、対象のデータに適した分類器を選択して利用可能にすることができる。

【0199】

情報処理装置１００によれば、複数の属性値パターンのそれぞれの属性値パターンのデータを、複数の分類器のそれぞれの分類器で分類する場合において、当該分類器による分類結果が正解となるデータの数の多さを示す指標値を取得することができる。情報処理装置１００によれば、取得した指標値に基づいて、それぞれの分類器について、複数の属性値パターンのうち、当該分類器による分類結果が正解となるデータの数が相対的に多い第２の属性値パターンを特定することができる。情報処理装置１００によれば、対象のデータを分類する場合、複数の分類器のうち、対象のデータに対応する第２の属性値パターンが存在する分類器を選択して出力することができる。これにより、情報処理装置１００は、複数の分類器のうち、対象のデータに適した分類器を選択して利用可能にすることができる。

【0200】

情報処理装置１００によれば、対象のデータに対応する第１の属性値パターンと、対象のデータに対応する第２の属性値パターンとに基づいて、それぞれの分類器による対象のデータの分類結果の尤もらしさを評価した結果を出力することができる。これにより、情報処理装置１００は、分類器による対象のデータの分類結果をどの程度信頼可能であるのかを把握し易く、かつ、納得し易くすることができる。

【0201】

なお、本実施の形態で説明した情報処理方法は、予め用意されたプログラムをＰＣやワークステーションなどのコンピュータで実行することにより実現することができる。本実施の形態で説明した情報処理プログラムは、コンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行される。記録媒体は、ハードディスク、フレキシブルディスク、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）－ＲＯＭ、ＭＯ（Ｍａｇｎｅｔｏ Ｏｐｔｉｃａｌ ｄｉｓｃ）、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）などである。また、本実施の形態で説明した情報処理プログラムは、インターネットなどのネットワークを介して配布してもよい。

【0202】

上述した実施の形態に関し、さらに以下の付記を開示する。

【0203】

（付記１）それぞれ異なる複数の属性値パターンのそれぞれの属性値パターンのデータを分類器で分類する場合において分類結果が正解となるデータの数の多さを示す指標値を取得し、
取得した前記指標値に基づいて、前記複数の属性値パターンのうち、分類結果が正解となるデータの数が相対的に少ない第１の属性値パターンを特定し、
対象のデータを分類する場合、特定した前記第１の属性値パターンのうち、前記対象のデータに対応する第１の属性値パターンが存在するか否かを判定し、
判定した結果を出力する、
処理をコンピュータに実行させることを特徴とする情報処理プログラム。

【0204】

（付記２）前記特定する処理は、
さらに、取得した前記指標値に基づいて、前記複数の属性値パターンのうち、分類結果が正解となるデータの数が相対的に多い第２の属性値パターンを特定し、
前記判定する処理は、
前記対象のデータを分類する場合、特定した前記第２の属性値パターンのうち、前記対象のデータに対応する第２の属性値パターンが存在するか否かを判定する、ことを特徴とする付記１に記載の情報処理プログラム。

【0205】

（付記３）特定した前記第１の属性値パターンのうち、前記対象のデータに対応する第１の属性値パターンが存在せず、かつ、特定した前記第２の属性値パターンのうち、前記対象のデータに対応する第２の属性値パターンが存在すれば、前記分類器による前記対象のデータの分類結果を肯定することを示す第１の情報を出力する、
処理を前記コンピュータに実行させることを特徴とする付記２に記載の情報処理プログラム。

【0206】

（付記４）特定した前記第１の属性値パターンのうち、前記対象のデータに対応する第１の属性値パターンが存在すれば、前記分類器による前記対象のデータの分類結果を否定することを示す第２の情報を出力する、
処理を前記コンピュータに実行させることを特徴とする付記１～３のいずれか一つに記載の情報処理プログラム。

【0207】

（付記５）前記対象のデータを分類する場合、特定した前記第１の属性値パターンのうち、前記対象のデータに対応する第１の属性値パターンが存在すれば、前記対象のデータに対応する第１の属性値パターンを出力する、
処理を前記コンピュータに実行させることを特徴とする付記１～４のいずれか一つに記載の情報処理プログラム。

【0208】

（付記６）前記対象のデータを分類する場合、特定した前記第２の属性値パターンのうち、前記対象のデータに対応する第２の属性値パターンが存在すれば、前記対象のデータに対応する第２の属性値パターンを出力する、
処理を前記コンピュータに実行させることを特徴とする付記２に記載の情報処理プログラム。

【0209】

（付記７）特定した前記第１の属性値パターンのうち、前記対象のデータに対応する第１の属性値パターンが存在せず、かつ、特定した前記第２の属性値パターンのうち、前記対象のデータに対応する第２の属性値パターンが存在すれば、前記分類器による前記対象のデータの分類結果に対応付けて、当該分類結果を肯定することを示す第１の情報を出力する、
処理を前記コンピュータに実行させることを特徴とする付記２に記載の情報処理プログラム。

【0210】

（付記８）特定した前記第１の属性値パターンのうち、前記対象のデータに対応する第１の属性値パターンが存在すれば、前記分類器による前記対象のデータの分類結果に対応付けて、当該分類結果を否定することを示す第２の情報を出力する、
処理を前記コンピュータに実行させることを特徴とする付記１～７のいずれか一つに記載の情報処理プログラム。

【0211】

（付記９）前記取得する処理は、
前記複数の属性値パターンのそれぞれの属性値パターンのデータを、複数の分類器のそれぞれの分類器で分類する場合において、当該分類器による分類結果が正解となるデータの数の多さを示す指標値を取得し、
前記特定する処理は、
取得した前記指標値に基づいて、前記それぞれの分類器について、前記複数の属性値パターンのうち、当該分類器による分類結果が正解となるデータの数が相対的に少ない第１の属性値パターンを特定し、
前記対象のデータを分類する場合、前記複数の分類器のうち、前記対象のデータに対応する第１の属性値パターンが存在しない分類器を選択して出力する、
処理を前記コンピュータに実行させることを特徴とする付記１～８のいずれか一つに記載の情報処理プログラム。

【0212】

（付記１０）前記取得する処理は、
前記複数の属性値パターンのそれぞれの属性値パターンのデータを、複数の分類器のそれぞれの分類器で分類する場合において、当該分類器による分類結果が正解となるデータの数の多さを示す指標値を取得し、
前記特定する処理は、
取得した前記指標値に基づいて、前記それぞれの分類器について、前記複数の属性値パターンのうち、当該分類器による分類結果が正解となるデータの数が相対的に多い第２の属性値パターンを特定し、
前記対象のデータを分類する場合、前記複数の分類器のうち、前記対象のデータに対応する第２の属性値パターンが存在する分類器を選択して出力する、
処理を前記コンピュータに実行させることを特徴とする付記１～９のいずれか一つに記載の情報処理プログラム。

【0213】

（付記１１）前記取得する処理は、
前記複数の属性値パターンのそれぞれの属性値パターンのデータを、複数の分類器のそれぞれの分類器で分類する場合において、当該分類器による分類結果が正解となるデータの数の多さを示す指標値を取得し、
前記特定する処理は、
取得した前記指標値に基づいて、前記それぞれの分類器について、前記複数の属性値パターンのうち、当該分類器による分類結果が正解となるデータの数が相対的に少ない第１の属性値パターンと、当該分類器による分類結果が正解となるデータの数が相対的に多い第２の属性値パターンとを特定し、
前記対象のデータを分類する場合、前記対象のデータに対応する第１の属性値パターンと、前記対象のデータに対応する第２の属性値パターンとに基づいて、前記それぞれの分類器による前記対象のデータの分類結果の尤もらしさを評価した結果を出力する、
処理を前記コンピュータに実行させることを特徴とする付記１～１０のいずれか一つに記載の情報処理プログラム。

【0214】

（付記１２）それぞれ異なる複数の属性値パターンのそれぞれの属性値パターンのデータを分類器で分類する場合において分類結果が正解となるデータの数の多さを示す指標値を取得し、
取得した前記指標値に基づいて、前記複数の属性値パターンのうち、分類結果が正解となるデータの数が相対的に少ない第１の属性値パターンを特定し、
対象のデータを分類する場合、特定した前記第１の属性値パターンのうち、前記対象のデータに対応する第１の属性値パターンが存在するか否かを判定し、
判定した結果を出力する、
処理をコンピュータが実行することを特徴とする情報処理方法。

【0215】

（付記１３）それぞれ異なる複数の属性値パターンのそれぞれの属性値パターンのデータを分類器で分類する場合において分類結果が正解となるデータの数の多さを示す指標値を取得し、
取得した前記指標値に基づいて、前記複数の属性値パターンのうち、分類結果が正解となるデータの数が相対的に少ない第１の属性値パターンを特定し、
対象のデータを分類する場合、特定した前記第１の属性値パターンのうち、前記対象のデータに対応する第１の属性値パターンが存在するか否かを判定し、
判定した結果を出力する、
制御部を有することを特徴とする情報処理装置。

【符号の説明】

【0216】

１００ 情報処理装置
１１０ 分類器
１１１ データ
２００ 信頼性評価システム
２０１ 情報蓄積装置
２０２ クライアント装置
２１０ ネットワーク
３００ バス
３０１ ＣＰＵ
３０２ メモリ
３０３ ネットワークＩ／Ｆ
３０４ 記録媒体Ｉ／Ｆ
３０５ 記録媒体
４００ 記憶部
４０１ 取得部
４０２ 特定部
４０３ 判定部
４０４ 分類部
４０５ 出力部
５００ ベン図
５０１，５０２，５０３，５０４，５０５，５１２，５１３，５２３ 条件集合
６００ ツリー
６０１，６０３ ノード
６０２，６０４，６０５ クラス
６１２，６１３，６３４，６３５，６３６ エッジ
７００ 集計情報管理テーブル
８００ 肯定的パターン管理テーブル
９００ 否定的パターン管理テーブル
１０００，１１００ 評価画面

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】