知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-11-11
(45)【発行日】2024-11-19
(54)【発明の名称】情報処理装置、学習方法、および学習プログラム
(51)【国際特許分類】
G06N 20/00 20190101AFI20241112BHJP
G06N 5/045 20230101ALI20241112BHJP
【ＦＩ】
G06N20/00 130
G06N5/045
【請求項の数】
10
(21)【出願番号】P 2023527153
(86)(22)【出願日】2021-06-07
(86)【国際出願番号】 JP2021021561
(87)【国際公開番号】W WO2022259309
(87)【国際公開日】2022-12-15
【審査請求日】2023-12-05
(73)【特許権者】
【識別番号】000004237
【氏名又は名称】日本電気株式会社
(74)【代理人】
【識別番号】110000338
【氏名又は名称】弁理士法人 ＨＡＲＡＫＥＮＺＯ ＷＯＲＬＤ ＰＡＴＥＮＴ ＆ ＴＲＡＤＥＭＡＲＫ
(72)【発明者】
【氏名】佐々木 耀一
(72)【発明者】
【氏名】岡嶋 穣
【審査官】千葉 久博
(56)【参考文献】
【文献】特開２００１－２２９１６３（ＪＰ，Ａ）
【文献】国際公開第２０２０／０５９１３６（ＷＯ，Ａ１）
【文献】skoperules [online]，Release 0.1.0，2018年02月13日，[検索日 2021.07.14], Internet: <URL: https://buildmedia.readthedocs.org/media/pdf/skope-rules/latest/skope-rules.pdf>
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｎ ２０／００
Ｇ０６Ｎ ５／０４５
(57)【特許請求の範囲】
【請求項1】
条件と該条件を満たす場合の予測値とを組み合わせた決定ルールの集合である決定ルール集合から抽出された複数の前記決定ルールからなる決定リストに含まれる前記決定ルールのうち、訓練用例集合に含まれる訓練用例が前記条件を満たす上位Ｋ個（Ｋは２以上の自然数）の決定ルールの予測値を用いて予測結果を算出する予測手段と、前記決定ルール集合から生成された複数の前記決定リストのそれぞれを対象として、前記訓練用例集合に含まれる各訓練用例について算出された前記予測結果に基づいて、出力すべき前記決定リストを決定するリスト決定手段と、を備える情報処理装置。
【請求項2】
前記予測手段は、前記予測結果の誤差を示す誤差項を含む目的関数の値を、前記決定リストの何れの位置に前記決定ルール集合に含まれる何れの決定ルールが位置するかを示す変数を用いて表現される前記決定リストを用いて算出し、前記リスト決定手段は、算出された前記目的関数の値に基づいて前記変数を更新する処理を、前記目的関数の値が所定の条件を満たすまで繰り返すことにより、出力すべき前記決定リストを決定する、請求項１に記載の情報処理装置。
【請求項3】
前記予測手段は、前記決定リストに含まれる前記決定ルールの数に関する制約項、または前記決定リストに含まれる前記決定ルールに含まれる前記条件の数に関する制約項を含む前記目的関数の値を算出する、請求項２に記載の情報処理装置。
【請求項4】
前記変数には、前記訓練用例集合に含まれる各訓練用例について、前記決定リストにおいて当該訓練用例が前記条件を満たす１番目からＫ番目までのＫ個の前記決定ルールを表す変数が含まれる、請求項２または３に記載の情報処理装置。
【請求項5】
前記Ｋの値の設定を受け付ける受付手段を備え、前記予測手段は、前記受付手段が受け付けた前記Ｋの値を用いて前記予測結果を算出する、請求項１から４の何れか１項に記載の情報処理装置。
【請求項6】
少なくとも１つの決定木を含む決定木集合に含まれる前記決定木から、当該決定木の根から葉に至る経路上に出現する各条件を抽出して前記決定ルールを生成し、生成した決定ルールを含む前記決定ルール集合を生成する決定ルール集合生成手段を備える、請求項１から５の何れか１項に記載の情報処理装置。
【請求項7】
前記決定ルール集合に含まれる各決定ルールを順位づけする順位設定手段を備え、前記予測手段は、前記順位が上位のＫ個の予測値を用いて前記予測結果を算出する、請求項１から３の何れか１項に記載の情報処理装置。
【請求項8】
予測の対象となる入力データを取得する入力データ取得手段を備え、
前記予測手段は、前記リスト決定手段が決定した前記決定リストに含まれる前記決定ルールのうち、前記入力データが前記条件を満たす上位Ｋ個（Ｋは２以上の自然数）の決定ルールの予測値を用いて予測結果を算出する、請求項１に記載の情報処理装置。
【請求項9】
少なくとも１つのプロセッサが、条件と該条件を満たす場合の予測値とを組み合わせた決定ルールの集合である決定ルール集合から抽出された複数の前記決定ルールからなる決定リストに含まれる前記決定ルールのうち、訓練用例集合に含まれる訓練用例が前記条件を満たす上位Ｋ個（Ｋは２以上の自然数）の決定ルールの予測値を用いて予測結果を算出することと、
前記決定ルール集合から生成された複数の前記決定リストのそれぞれを対象として、前記訓練用例集合に含まれる各訓練用例について算出された前記予測結果に基づいて、出力すべき前記決定リストを決定することと、を含む学習方法。
【請求項10】
コンピュータを、条件と該条件を満たす場合の予測値とを組み合わせた決定ルールの集合である決定ルール集合から抽出された複数の前記決定ルールからなる決定リストに含まれる前記決定ルールのうち、訓練用例集合に含まれる訓練用例が前記条件を満たす上位Ｋ個（Ｋは２以上の自然数）の決定ルールの予測値を用いて予測結果を算出する予測手段、および
前記決定ルール集合から生成された複数の前記決定リストのそれぞれを対象として、前記訓練用例集合に含まれる各訓練用例について算出された前記予測結果に基づいて、出力すべき前記決定リストを決定するリスト決定手段、として機能させる学習プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、機械学習により決定リストを出力する情報処理装置等に関する。
【背景技術】
【0002】
ディープニューラルネットワークやランダムフォレストなどのブラックボックスモデルを用いたＡＩ（Artificial Intelligence）による予測においては、その予測の根拠を説明することができないという難点がある。
【0003】
このため、予測の根拠を説明可能なＡＩの一つとして、決定リストと呼ばれる予測モデルが再注目されている。決定リストは、下記の非特許文献１に記載されているように、複数のＩｆ－Ｔｈｅｎルールから構成されるリストである。決定リストを用いた予測においては、観測が条件（Ｉｆ－Ｔｈｅｎルールの「Ｉｆ」）を満たすルールの中で、決定リストの最も上位に位置するルールを適用して予測が行われる。このため、予測結果は１つのルールで説明することができ、また、そのルールがどのように選ばれたのかが人間にもわかりやすい。このように、決定リストには、予測の根拠を説明可能であるという利点がある。
【先行技術文献】
【非特許文献】
【0004】
【文献】Cynthia Rudin, Seyda Ertekin、“Learning customized and optimized lists of rules with mathematical programming”、Math. Program. Comput.、2018年
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、非特許文献１の技術は、ディープニューラルネットワークやランダムフォレストなどのブラックボックスモデルと比べると予測性能が劣るという問題点がある。本発明は、決定リストを用いた予測の予測性能を向上させることができる情報処理装置等を提供することを目的としている。
【課題を解決するための手段】
【0006】
本発明の一側面に係る情報処理装置は、条件と該条件を満たす場合の予測値とを組み合わせた決定ルールの集合である決定ルール集合から抽出された複数の決定ルールからなる決定リストに含まれる決定ルールのうち、訓練用例集合に含まれる訓練用例が前記条件を満たす上位Ｋ個（Ｋは２以上の自然数）の決定ルールの予測値を用いて予測結果を算出する予測手段と、前記決定ルール集合から生成された複数の決定リストのそれぞれを対象として、前記訓練用例集合に含まれる各訓練用例について算出された前記予測結果に基づいて、出力すべき決定リストを決定するリスト決定手段と、を備える。
【0007】
本発明の一側面に係る情報処理装置は、予測の対象となる入力データを取得する入力データ取得手段と、条件と該条件を満たす場合の予測値とを組み合わせた複数の決定ルールからなる決定リストに含まれる決定ルールのうち、前記入力データが前記条件を満たす上位Ｋ個（Ｋは２以上の自然数）の決定ルールの予測値を用いて予測結果を算出する予測手段と、を備える。
【0008】
本発明の一側面に係る学習方法は、少なくとも１つのプロセッサが、条件と該条件を満たす場合の予測値とを組み合わせた決定ルールの集合である決定ルール集合から抽出された複数の決定ルールからなる決定リストに含まれる決定ルールのうち、訓練用例集合に含まれる訓練用例が前記条件を満たす上位Ｋ個（Ｋは２以上の自然数）の決定ルールの予測値を用いて予測結果を算出することと、前記決定ルール集合から生成された複数の前記決定リストのそれぞれを対象として、前記訓練用例集合に含まれる各訓練用例について算出された前記予測結果に基づいて、出力すべき決定リストを決定することと、を含む。
【0009】
本発明の一側面に係る学習プログラムは、コンピュータを、条件と該条件を満たす場合の予測値とを組み合わせた決定ルールの集合である決定ルール集合から抽出された複数の決定ルールからなる決定リストに含まれる決定ルールのうち、訓練用例集合に含まれる訓練用例が前記条件を満たす上位Ｋ個（Ｋは２以上の自然数）の決定ルールの予測値を用いて予測結果を算出する予測手段、および前記決定ルール集合から生成された複数の前記決定リストのそれぞれを対象として、前記訓練用例集合に含まれる各訓練用例について算出された前記予測結果に基づいて、出力すべき決定リストを決定するリスト決定手段、として機能させる。
【発明の効果】
【0010】
本発明の一態様によれば、決定リストを用いた予測の予測性能を向上させることができる。
【図面の簡単な説明】
【0011】
【図1】本発明の例示的実施形態１に係る情報処理装置の構成を示すブロック図である。
【図2】本発明の例示的実施形態１に係る学習方法および予測方法の流れを示すフロー図である。
【図3】本発明の例示的実施形態２に係る学習方法の概要を示す図である。
【図4】本発明の例示的実施形態２に係る情報処理装置の構成例を示すブロック図である。
【図5】上記情報処理装置が実行する学習方法の流れを示すフロー図である。
【図6】本発明の例示的実施形態３に係る学習方法の概要を示す図である。
【図7】本発明の例示的実施形態３に係る情報処理装置の構成例を示すブロック図である。
【図8】上記情報処理装置が実行する学習方法の流れを示すフロー図である。
【図9】本発明の例示的実施形態４に係る情報処理装置の構成例を示すブロック図である。
【図10】参考例に係る情報処理装置の構成を示すブロック図である。
【図11】本発明の各例示的実施形態および参考例に係る情報処理装置の各機能を実現するソフトウェアであるプログラムの命令を実行するコンピュータの一例を示す図である。
【発明を実施するための形態】
【0012】
〔例示的実施形態１〕
本発明の第１の例示的実施形態について、図面を参照して詳細に説明する。本例示的実施形態は、後述する例示的実施形態の基本となる形態である。
本発明の第１の例示的実施形態について、図面を参照して詳細に説明する。本例示的実施形態は、後述する例示的実施形態の基本となる形態である。
【0013】
（情報処理装置１の構成）
本例示的実施形態に係る情報処理装置１の構成について、図１を参照して説明する。図１は、情報処理装置１と情報処理装置２の構成を示すブロック図である。なお、情報処理装置２については後で説明する。図示のように、情報処理装置１は、予測部（予測手段）１１とリスト決定部（リスト決定手段）１２を備えている。
本例示的実施形態に係る情報処理装置１の構成について、図１を参照して説明する。図１は、情報処理装置１と情報処理装置２の構成を示すブロック図である。なお、情報処理装置２については後で説明する。図示のように、情報処理装置１は、予測部（予測手段）１１とリスト決定部（リスト決定手段）１２を備えている。
【0014】
予測部１１は、条件と該条件を満たす場合の予測値とを組み合わせた決定ルールの集合である決定ルール集合から抽出された複数の決定ルールからなる決定リストに含まれる決定ルールのうち、訓練用例集合に含まれる訓練用例が前記条件を満たす上位Ｋ個（Ｋは２以上の自然数）の決定ルールの予測値を用いて予測結果を算出する。
【0015】
リスト決定部１２は、前記決定ルール集合から生成された複数の決定リストのそれぞれを対象として、前記訓練用例集合に含まれる各訓練用例について算出された予測結果に基づいて、出力すべき決定リストを決定する。
【0016】
以上のように、本例示的実施形態に係る情報処理装置１においては、決定ルール集合から抽出された複数の決定ルールからなる決定リストに含まれる決定ルールのうち、訓練用例集合に含まれる訓練用例が条件を満たす上位Ｋ個（Ｋは２以上の自然数）の決定ルールの予測値を用いて予測結果を算出する予測部１１と、決定ルール集合から生成された複数の決定リストのそれぞれを対象として、訓練用例集合に含まれる各訓練用例について算出された予測結果に基づいて、出力すべき決定リストを決定するリスト決定部１２と、を備えるという構成が採用されている。
【0017】
上記の構成によれば、条件を満たす上位Ｋ個（Ｋは２以上の自然数）の予測値を用いて算出した予測結果に基づいて出力すべき決定リストを決定する。これにより、上位Ｋ個の予測値を用いて予測を行うために出力すべき決定リストを決定することができる。そして、このような決定リストによれば、予測リストの最上位の予測値のみを用いる従来手法と比べて予測性能の向上が期待できる。つまり、上記の構成によれば、決定リストを用いた予測の予測性能を向上させることができるという効果を奏する。
【0018】
（情報処理装置２の構成）
次に、情報処理装置２について説明する。図１に示すように、情報処理装置２は、入力データ取得部（入力データ取得手段）２１と予測部（予測手段）２２を備えている。
次に、情報処理装置２について説明する。図１に示すように、情報処理装置２は、入力データ取得部（入力データ取得手段）２１と予測部（予測手段）２２を備えている。
【0019】
入力データ取得部２１は、予測の対象となる入力データを取得する。
【0020】
予測部２２は、条件と該条件を満たす場合の予測値とを組み合わせた複数の決定ルールからなる決定リストに含まれる決定ルールのうち、入力データが条件を満たす上位Ｋ個（Ｋは２以上の自然数）の決定ルールの予測値を用いて予測結果を算出する。
【0021】
以上のように、本例示的実施形態に係る情報処理装置２においては、予測の対象となる入力データを取得する入力データ取得部２１と、条件と該条件を満たす場合の予測値とを組み合わせた複数の決定ルールからなる決定リストに含まれる前記決定ルールのうち、入力データが条件を満たす上位Ｋ個（Ｋは２以上の自然数）の決定ルールの予測値を用いて予測結果を算出する予測部２２と、を備えるという構成が採用されている。これにより、予測リストの最上位の予測値のみを用いる従来手法と比べて、予測性能を向上させることができるという効果が得られる。
【0022】
（プログラム）
上述の情報処理装置１の機能は、学習プログラムによって実現することもできる。本例示的実施形態に係る学習プログラムは、コンピュータを、条件と該条件を満たす場合の予測値とを組み合わせた決定ルールの集合である決定ルール集合から抽出された複数の決定ルールからなる決定リストに含まれる決定ルールのうち、訓練用例集合に含まれる訓練用例が前記条件を満たす上位Ｋ個（Ｋは２以上の自然数）の決定ルールの予測値を用いて予測結果を算出する予測手段、および前記決定ルール集合から生成された複数の前記決定リストのそれぞれを対象として、前記訓練用例集合に含まれる各訓練用例について算出された前記予測結果に基づいて、出力すべき決定リストを決定するリスト決定手段として機能させる。このため、本例示的実施形態に係る学習プログラムによれば、決定リストを用いた予測の予測性能を向上させることができる、という効果が得られる。
上述の情報処理装置１の機能は、学習プログラムによって実現することもできる。本例示的実施形態に係る学習プログラムは、コンピュータを、条件と該条件を満たす場合の予測値とを組み合わせた決定ルールの集合である決定ルール集合から抽出された複数の決定ルールからなる決定リストに含まれる決定ルールのうち、訓練用例集合に含まれる訓練用例が前記条件を満たす上位Ｋ個（Ｋは２以上の自然数）の決定ルールの予測値を用いて予測結果を算出する予測手段、および前記決定ルール集合から生成された複数の前記決定リストのそれぞれを対象として、前記訓練用例集合に含まれる各訓練用例について算出された前記予測結果に基づいて、出力すべき決定リストを決定するリスト決定手段として機能させる。このため、本例示的実施形態に係る学習プログラムによれば、決定リストを用いた予測の予測性能を向上させることができる、という効果が得られる。
【0023】
また、上述の情報処理装置２の機能は、予測プログラムによって実現することもできる。本例示的実施形態に係る予測プログラムは、コンピュータを、予測の対象となる入力データを取得する入力データ取得手段、および、条件と該条件を満たす場合の予測値とを組み合わせた複数の決定ルールからなる決定リストに含まれる決定ルールのうち、入力データが条件を満たす上位Ｋ個（Ｋは２以上の自然数）の決定ルールの予測値を用いて予測結果を算出する予測手段として機能させる。このため、本例示的実施形態に係る予測プログラムによれば、予測リストの最上位の予測値のみを用いる従来手法と比べて、予測性能を向上させることができる、という効果が得られる。
【0024】
【0025】
図２の学習方法における各ステップの実行主体は、情報処理装置１が備えるプロセッサであってもよいし、他の装置が備えるプロセッサであってもよく、各ステップの実行主体がそれぞれ異なる装置に設けられたプロセッサであってもよい。
【0026】
Ｓ１１では、少なくとも１つのプロセッサが、条件と該条件を満たす場合の予測値とを組み合わせた決定ルールの集合である決定ルール集合から抽出された複数の決定ルールからなる決定リストに含まれる決定ルールのうち、訓練用例集合に含まれる訓練用例が前記条件を満たす上位Ｋ個（Ｋは２以上の自然数）の決定ルールの予測値を用いて予測結果を算出する。
【0027】
Ｓ１２では、少なくとも１つのプロセッサが、前記決定ルール集合から生成された複数の決定リストのそれぞれを対象として、前記訓練用例集合に含まれる各訓練用例について算出された前記予測結果に基づいて、出力すべき決定リストを決定する。
【0028】
以上のように、本例示的実施形態に係る学習方法においては、少なくとも１つのプロセッサが、条件と該条件を満たす場合の予測値とを組み合わせた決定ルールの集合である決定ルール集合から抽出された複数の決定ルールからなる決定リストに含まれる決定ルールのうち、訓練用例集合に含まれる訓練用例が前記条件を満たす上位Ｋ個（Ｋは２以上の自然数）の決定ルールの予測値を用いて予測結果を算出することと、前記決定ルール集合から生成された複数の決定リストのそれぞれを対象として、前記訓練用例集合に含まれる各訓練用例について算出された前記予測結果に基づいて、出力すべき決定リストを決定することと、を含む、という構成が採用されている。このため、本例示的実施形態に係る学習方法によれば、決定リストを用いた予測の予測性能を向上させることができる、という効果が得られる。
【0029】
（予測方法の流れ）
次に、本例示的実施形態に係る予測方法の流れについて、図２を参照して説明する。なお、図２の予測方法における各ステップの実行主体は、情報処理装置２が備えるプロセッサであってもよいし、他の装置が備えるプロセッサであってもよく、各ステップの実行主体がそれぞれ異なる装置に設けられたプロセッサであってもよい。
次に、本例示的実施形態に係る予測方法の流れについて、図２を参照して説明する。なお、図２の予測方法における各ステップの実行主体は、情報処理装置２が備えるプロセッサであってもよいし、他の装置が備えるプロセッサであってもよく、各ステップの実行主体がそれぞれ異なる装置に設けられたプロセッサであってもよい。
【0030】
Ｓ２１では、少なくとも１つのプロセッサが、予測の対象となる入力データを取得する。
【0031】
Ｓ２２では、少なくとも１つのプロセッサが、条件と該条件を満たす場合の予測値とを組み合わせた複数の決定ルールからなる決定リストに含まれる決定ルールのうち、入力データが条件を満たす上位Ｋ個（Ｋは２以上の自然数）の決定ルールの予測値を用いて予測結果を算出する。
【0032】
以上のように、本例示的実施形態に係る予測方法においては、少なくとも１つのプロセッサが、予測の対象となる入力データを取得することと、条件と該条件を満たす場合の予測値とを組み合わせた複数の決定ルールからなる決定リストに含まれる前記決定ルールのうち、入力データが条件を満たす上位Ｋ個（Ｋは２以上の自然数）の決定ルールの予測値を用いて予測結果を算出することと、を含む、という構成が採用されている。このため、本例示的実施形態に係る予測方法によれば、予測リストの最上位の予測値のみを用いる従来手法と比べて、予測性能を向上させることができる、という効果が得られる。なお、上記予測方法で使用する予測リストは、Ｓ１２で決定された予測リストであってもよい。
【0033】
〔例示的実施形態２〕
本発明の第２の例示的実施形態について、図面を参照して詳細に説明する。なお、例示的実施形態１にて説明した構成要素と同じ機能を有する構成要素については、同じ符号を付し、その説明を適宜省略する。これは、例示的実施形態３以降についても同様である。
本発明の第２の例示的実施形態について、図面を参照して詳細に説明する。なお、例示的実施形態１にて説明した構成要素と同じ機能を有する構成要素については、同じ符号を付し、その説明を適宜省略する。これは、例示的実施形態３以降についても同様である。
【0034】
（概要）
図３は、本例示的実施形態に係る学習方法の概要を示す図である。第１の例示的実施形態と同様に、本例示的実施形態に係る学習方法においても、決定ルール集合から抽出した複数の決定ルールからなる、出力すべき決定リストを決定する。
図３は、本例示的実施形態に係る学習方法の概要を示す図である。第１の例示的実施形態と同様に、本例示的実施形態に係る学習方法においても、決定ルール集合から抽出した複数の決定ルールからなる、出力すべき決定リストを決定する。
【0035】
より詳細には、本例示的実施形態に係る学習方法においては、決定ルール集合から決定リストの候補（以下、候補リストと呼ぶ）を複数生成する。次に、生成した各候補リストを用いて、訓練用例集合に含まれる各訓練用例について予測を行う。そして、この予測結果に基づいて、各候補リストの中から出力すべき決定リストを決定する。
【0036】
例えば、図３に示す決定ルール集合には、ｒ１～ｒＲまでのＲ個の決定ルールが含まれている。各決定ルールは、条件（ＩＦ）と、その条件が満たされたときの予測値（ＴＨＥＮ）とを対応付けたものである。
【0037】
図３には、決定ルール集合に含まれる決定ルールｒ１～ｒＲを用いて生成される候補リストのうち、決定ルールｒ４、ｒ６、ｒ２、…、ｒＲをこの順序で並べたものを示している。決定ルールｒ４の条件は「ｘ０＞１．０ ＡＮＤ ｘ２＜２．０」であり、予測値は「８０％」である。また、決定ルールｒ６の条件は「ｘ１＞２．０」であり、予測値は「２０％」である。また、決定ルールｒ２の条件は「ｘ２＜３．０」であり、予測値は「７０％」である。そして、決定ルールｒＲの条件は「ＴＲＵＥ」であり、予測値は「５０％」である。決定ルールｒＲは、どのような入力に対しても常に同じ予測値（この例では５０％）を出力するものであり、デフォルトルールと呼ばれる。
【0038】
この候補リストを用いて、訓練用例集合に含まれる各訓練用例について予測を行う。図３に示す訓練用例は、観測ＩＤと、入力を示すｘ０～ｘ２の数値と、出力を示すｙの数値とが対応付けられたものである。入力は観測値であるともいえる。また、出力ｙは、観測に対するラベルまたは正解データであるともいえる。なお、観測値は、数値に限られず、例えば「ＴＲＵＥ」（所定の条件を満たす）と「ＦＡＬＳＥ」（所定の条件を満たさない）等であってもよい。また、図３の例では出力ｙの単位が％であるが、出力ｙは実数値で表されるものであればよく、単位は任意である。
【0039】
なお、決定リストを用いた予測は、回帰問題の解の予測にも、分類問題の解の予測にも用いることができる。回帰問題の解の予測を行う決定リストの場合、図３の例のように出力ｙは実数値となる。一方、分類問題の解の予測を行う決定リストの場合、出力ｙは分類先の各クラスへの所属確率を表す確率ベクトルとなる。
【0040】
ここで、図３における観測ＩＤ＝０の訓練用例について予測を行うとする。この場合、候補リストに含まれる条件を、訓練用例の入力値「ｘ０＝１．８、ｘ１＝１．５、ｘ２＝１．０」が満たすか否かについて、上位の決定ルールから順に確認する。この処理は、条件を満たす決定ルールの数がＫ個（Ｋは２以上の自然数）に達するまで行う。
【0041】
ここでは、Ｋ＝２であるとする。この場合、図３に示すように、最初の決定ルールｒ４が条件を満たし、次の決定ルールｒ６は条件を満たさず、３つ目の決定ルールｒ２が決定ルールを満たすので、この時点で確認は終了となる。そして、条件を満たす決定ルールｒ４およびｒ６の予測値を用いて、最終的な予測結果を算出する。
【0042】
例えば、図３の例では、決定ルールｒ４の予測値である「８０％」と決定ルールｒ６の予測値である「７０％」の平均値（７５％）を最終的な予測結果としている。この予測結果の妥当性は、訓練用例集合に示されるラベルｙの値と比較することにより評価することができる。また、同様の処理を、観測ＩＤが「１」以降の各訓練用例についても行うことにより、訓練用例集合の全体に対する、候補リストの予測精度を評価することができる。
【0043】
以上のような候補リストの予測精度を評価する処理を、複数の候補リストのそれぞれについて行うことにより、最も予測精度の高い候補リストを特定することができ、その候補リストを出力すべき決定リストと決定することができる。これにより、簡潔なルールで構成され、しかも予測性能が高い決定リストを出力することができる。
【0044】
（情報処理装置３の構成）
図４は、本例示的実施形態に係る情報処理装置３の構成例を示すブロック図である。図示のように、情報処理装置３は、情報処理装置３の各部を統括して制御する制御部３０と、情報処理装置３が使用する各種データを記憶する記憶部３１を備えている。また、情報処理装置３は、情報処理装置３に対する入力を受け付ける入力部３３と、情報処理装置３がデータを出力するための出力部３４を備えている。
図４は、本例示的実施形態に係る情報処理装置３の構成例を示すブロック図である。図示のように、情報処理装置３は、情報処理装置３の各部を統括して制御する制御部３０と、情報処理装置３が使用する各種データを記憶する記憶部３１を備えている。また、情報処理装置３は、情報処理装置３に対する入力を受け付ける入力部３３と、情報処理装置３がデータを出力するための出力部３４を備えている。
【0045】
制御部３０には、候補生成部３０１、予測部３０２、リスト決定部３０３、および入力データ取得部３０４が含まれている。また、記憶部３１には、決定ルール集合３１１、訓練用例集合３１２、および決定リスト３１３が記憶されている。
【0046】
決定ルール集合３１１は、上述のように、決定リストの生成に用いることができる複数の決定ルールを含む集合である。また、訓練用例集合３１２は、学習すなわち最適な決定リストの決定に用いる複数の訓練用例を含む集合である。各訓練用例は、入力ｘと出力ｙの組み合わせからなる。決定リスト３１３は、リスト決定部３０３によって出力すべきものとして決定された決定リストである。
【0047】
候補生成部３０１は、決定ルール集合３１１に含まれる決定ルールを用いて決定リストの候補である候補リストを生成する。より詳細には、候補生成部３０１は、含まれる決定ルールの数とその配列順の少なくとも何れかが異なる複数の候補リストを生成する。例えば、候補生成部３０１は、決定ルール集合３１１に含まれる決定ルールを用いて生成し得る全てのパターンの候補リストを生成してもよい。
【0048】
予測部３０２は、候補生成部３０１が生成する候補リストに含まれる決定ルールのうち、訓練用例集合３１２に含まれる訓練用例が条件を満たす上位Ｋ個（Ｋは２以上の自然数）の決定ルールの予測値を用いて予測結果を算出する。また、リスト決定部３０３が出力すべき決定リストを決定し、それが決定リスト３１３として記憶部３１に記憶された後には、予測部３０２は、決定リスト３１３を用いて予測を行う。
【0049】
リスト決定部３０３は、訓練用例集合３１２に含まれる各訓練用例について、候補生成部３０１が生成する複数の候補リストのそれぞれを対象として予測部３０２が算出する予測結果に基づいて、出力すべき決定リストを決定する。出力すべき決定リストは、決定リスト３１３として記憶部３１に記憶される。
【0050】
入力データ取得部３０４は、決定リスト３１３を用いた予測の対象となる入力データを取得する。このため、入力データは、決定リスト３１３の学習に用いた訓練用例と同様の形式のデータとする。例えば、図３の例のように、入力がｘ０、ｘ１、およびｘ２の訓練用例を用いた学習により出力された決定リスト３１３を用いる場合、入力データ取得部３０４は、ｘ０、ｘ１、およびｘ２の少なくとも何れかの値を示す入力データを取得する。
【0051】
【0052】
Ｓ３１では、候補生成部３０１が、候補リストのサイズＬを初期化する。なお、Ｌは、候補リストに含まれる決定ルールの数を示す。Ｌの初期値はＬの最小値とすればよく、例えば１としてもよい。
【0053】
Ｓ３２では、候補生成部３０１は、Ｌ個の決定ルールからなる候補リストを生成する。例えば、候補生成部３０１は、決定ルール集合３１１からＬ個の決定ルールを任意に抽出し、任意の並べ替えを行うことにより、候補リストを生成してもよい。
【0054】
Ｓ３３では、予測部３０２が、Ｓ３２で生成された候補リストを用い、訓練用例集合３１２に含まれる各訓練用例についての予測結果を算出する。予測結果は、候補リストに含まれる複数の決定ルールのうち、訓練用例の条件を満たす上位Ｋ個の予測値を用いて算出される。例えば、予測部３０２は、上位Ｋ個の予測値の平均値を予測結果としてもよい。
【0055】
Ｓ３４では、リスト決定部３０３が、訓練用例集合３１２に示される出力値ｙと、Ｓ３３で算出された予測結果との誤差を算出する。誤差の算出方法は任意であり、リスト決定部３０３は、例えば二乗誤差を算出してもよい。この場合、リスト決定部３０３は、予測部３０２の予測結果と出力値ｙの差を算出し、それを二乗して誤差とする。
【0056】
Ｓ３５では、リスト決定部３０３は、試行すべき全てのパターンの候補リストについての誤差を算出済であるか否かを判定する。Ｓ３５でＮＯと判定された場合にはＳ３２に戻り、これまでに生成されていない候補リストの生成が行われる。一方、Ｓ３５でＹＥＳと判定された場合にはＳ３６に進む。
【0057】
なお、試行すべき全てのパターンは、予め定めておけばよい。例えば、決定ルール集合３１１に含まれる決定ルールから生成可能な、サイズＬの候補リストの全てのパターンを試行対象としてもよい。
【0058】
Ｓ３６では、リスト決定部３０３は、現在のサイズＬが、決定ルール集合３１１に含まれる決定ルールの数｜Ｒ｜よりも小さいか否かを判定する。Ｓ３６でＹＥＳと判定された場合にはＳ３７に進む。Ｓ３７では、リスト決定部３０３は、Ｌを１インクリメントする。この後、処理はＳ３２に戻り、インクリメント後のＬに基づいて候補リストの生成が行われる。一方、Ｓ３６でＮＯと判定された場合にはＳ３８に進む。
【0059】
Ｓ３８では、リスト決定部３０３は、出力すべき決定リストを決定する。具体的には、リスト決定部３０３は、Ｓ３４で算出された誤差が最も小さかった候補リストを、出力すべき決定リストと決定する。そして、リスト決定部３０３は、決定した決定リストを記憶部３１に決定リスト３１３として記憶させ、これにより図５の処理は終了となる。
【0060】
なお、サイズＬの各値について、全てのパターンの候補リストを生成する代わりに、一部のパターンの候補リストを生成し、それらの候補リストのうち誤差が最も小さかった候補リストを、出力すべき決定リストと決定してもよい。この場合、出力すべきと決定された決定リストが、最適な決定リストではない可能性があるが、学習に要する時間と計算量を抑えることができる。
【0061】
また、Ｓ３４で算出した誤差が予め定めた閾値以下となった段階で学習を終了し、誤差が閾値以下となった候補リストを、出力すべき決定リストと決定してもよい。この場合も、最適な決定リストが出力すべき決定リストに選ばれない可能性があるが、学習に要する時間と計算量を抑えることができる。
【0062】
（予測方法の流れ）
情報処理装置３が実行する予測方法は、図２に示した予測方法と同様である。具体的には、まず、入力データ取得部３０４が、予測の対象となる入力データを取得する（Ｓ２１）。次に、予測部３０２が、決定リスト３１３に含まれる決定ルールのうち、Ｓ２１で取得された入力データが条件を満たす上位Ｋ個の決定ルールの予測値を算出し、それらの予測値を用いて予測結果を算出する。
情報処理装置３が実行する予測方法は、図２に示した予測方法と同様である。具体的には、まず、入力データ取得部３０４が、予測の対象となる入力データを取得する（Ｓ２１）。次に、予測部３０２が、決定リスト３１３に含まれる決定ルールのうち、Ｓ２１で取得された入力データが条件を満たす上位Ｋ個の決定ルールの予測値を算出し、それらの予測値を用いて予測結果を算出する。
【0063】
〔例示的実施形態３〕
（概要）
図６は、本例示的実施形態に係る学習方法の概要を示す図である。第１および第２の例示的実施形態と同様に、本例示的実施形態に係る学習方法においても、決定ルール集合から抽出した複数の決定ルールからなる、出力すべき決定リストを決定する。
（概要）
図６は、本例示的実施形態に係る学習方法の概要を示す図である。第１および第２の例示的実施形態と同様に、本例示的実施形態に係る学習方法においても、決定ルール集合から抽出した複数の決定ルールからなる、出力すべき決定リストを決定する。
【0064】
より詳細には、本例示的実施形態に係る学習方法においては、訓練用例集合に含まれる訓練用例と、決定ルール集合に含まれる決定ルールとの間に４つの変数、Ａｊ，ｕ、Ｄｊ，ｕ，ｋ、Ｍｊ，ｕ、およびＨｉ，ｋを導入する。また、決定ルールの順番を表す変数πｕとδｕ，ｊを導入する。
【0065】
詳細は後述するが、これらの変数を導入することにより、決定リストの最適化問題を整数線形計画問題（以下ＩＬＰ：Integer Linear Programmingと呼ぶ）とすることができる。ＩＬＰは、公知の最適化ソルバを用いて効率的かつ高速に解くことができ、その解をデコードすることにより最適な決定リストが決定される。最適化ソルバとしては、例えばＧｕｒｏｂｉやＣＰＬＥＸ等を適用することもできる。
【0066】
また、本例示的実施形態では、決定木の集合から訓練用例集合を生成する処理についても説明する。なお、本例示的実施形態に係る学習方法において、決定木の集合から訓練用例集合を生成することは必須ではなく、また、当該学習方法で用いる訓練用例集合は決定木の集合から生成されたものに限られず、任意の方法で生成された任意の訓練用例集合を用いることができる。
【0067】
（情報処理装置４の構成）
図７は、本例示的実施形態に係る情報処理装置４の構成例を示すブロック図である。図示のように、情報処理装置４は、情報処理装置４の各部を統括して制御する制御部４０と、情報処理装置４が使用する各種データを記憶する記憶部４１を備えている。また、情報処理装置４は、入力部３３と出力部３４を備えている。
図７は、本例示的実施形態に係る情報処理装置４の構成例を示すブロック図である。図示のように、情報処理装置４は、情報処理装置４の各部を統括して制御する制御部４０と、情報処理装置４が使用する各種データを記憶する記憶部４１を備えている。また、情報処理装置４は、入力部３３と出力部３４を備えている。
【0068】
制御部４０には、受付部４０１、決定ルール集合生成部４０２、予測部４０３、リスト決定部４０４、および入力データ取得部４０５が含まれている。また、記憶部４１には、決定木集合４１１、決定ルール集合４１２、訓練用例集合４１３、および決定リスト４１４が記憶されている。なお、入力データ取得部４０５および訓練用例集合４１３は、例示的実施形態２の同名の要素と同様である。
【0069】
受付部４０１は、パラメタＫの値の設定を受け付ける。パラメタＫは、最終的な予測結果の算出に用いる決定ルールの数を示す。例えば、受付部４０１は、入力部３３を介して入力されたＫの値を、パラメタＫの設定値として受け付けてもよい。
【0070】
決定ルール集合生成部４０２は、少なくとも１つの決定木を含む決定木集合４１１に含まれる決定木から、当該決定木の根から葉に至る経路上に出現する各条件を抽出して決定ルールを生成し、生成した決定ルールを含む決定ルール集合を生成する。言い換えれば、決定ルール集合生成部４０２は、決定木の葉（端点）の値を出力値ｙとし、その決定木の根から上記の葉に至る経路上に出現する各条件を入力値ｘとする決定ルールを生成する。そして、決定ルール集合生成部４０２は、この処理を決定木の葉（端点）のそれぞれについて行うことにより決定ルール集合を生成する。また、決定ルール集合生成部４０２は、生成した決定ルール集合を決定ルール集合４１２として記憶部４１に記憶させる。
【0071】
なお、情報処理装置４において、決定ルール集合生成部４０２は必須の構成ではない。決定ルール集合生成部４０２は省略することもでき、この場合、情報処理装置４は、例示的実施形態２と同様に予め記憶された決定ルール集合３１１を用いて、出力する決定リストを決定する。
【0072】
予測部４０３は、決定ルール集合４１２から抽出された複数の決定ルールからなる決定リストに含まれる決定ルールのうち、訓練用例集合４１３に含まれる訓練用例が条件を満たす上位Ｋ個（Ｋは２以上の自然数）の決定ルールの予測値を用いて予測結果を算出する。
【0073】
リスト決定部４０４は、決定ルール集合４１２から生成された複数の決定リストのそれぞれを対象として、訓練用例集合４１３に含まれる各訓練用例について算出された予測結果に基づいて、出力すべき決定リストを決定する。
【0074】
以上のように、情報処理装置４は、最終的な予測結果の算出に用いる決定ルールの数を示すパラメタＫの値の設定を受け付ける受付部４０１を備え、予測部４０３は、受付部４０１が受け付けたＫの値を用いて予測結果を算出する。
【0075】
上記の構成によれば、例示的実施形態１に係る情報処理装置１の奏する効果に加えて、ユーザはＫの値を所望の値に設定することにより、そのＫの値を用いて予測結果を算出するのに適した決定リストを決定させることができるという効果が得られる。これにより、ユーザは、例えば、予測性能を重視したいときにはＫを大きい値に設定し、予測結果の説明性を重視したいときにはＫを小さい値に設定することができる。つまり、上記の構成によれば、ユーザは、予測性能と説明性のトレードオフを自由に選択することができる。
【0076】
なお、本例示的実施形態では、Ｋを２以上の値に設定することを想定しているが、Ｋを１に設定することも可能である。また、上述した例示的実施形態２においても受付部４０１を採用してＫの値の設定を受け付けるようにしてもよい。
【0077】
また、以上のように、情報処理装置４は、少なくとも１つの決定木を含む決定木集合４１１に含まれる決定木から、当該決定木の根から葉に至る経路上に出現する各条件を抽出して決定ルールを生成し、生成した決定ルールを含む決定ルール集合４１２を生成する決定ルール集合生成部４０２を備えている。
【0078】
上記の構成によれば、例示的実施形態１に係る情報処理装置１の奏する効果に加えて、決定木に基づく決定ルール集合を自動で生成することができるという効果が得られる。
【0079】
また、上記決定木集合は、ランダムフォレストで使用する決定木の集合であってもよい。ランダムフォレストは、訓練用例から決定木の集合を生成して、その集合に含まれる各決定木で予測を行い、各決定木の予想結果を総合して最終的な予測結果とする手法である。このため、ランダムフォレストで使用する決定木の集合から決定ルール集合を生成し、この決定ルール集合から生成した予測リストを用いれば、ランダムフォレストと類似した手法による予測を行うことができる。これにより、ランダムフォレストのような高い予測性能が実現可能となる。
【0080】
（決定リストの最適化問題）
予測部４０３およびリスト決定部４０４は、決定リストの最適化問題を解くことにより出力すべき決定リストを決定する。概要で説明したように、予測部４０３およびリスト決定部４０４が解く最適化問題はＩＬＰである。以下では、決定リストの最適化問題をＩＬＰとするための手法について説明する。
予測部４０３およびリスト決定部４０４は、決定リストの最適化問題を解くことにより出力すべき決定リストを決定する。概要で説明したように、予測部４０３およびリスト決定部４０４が解く最適化問題はＩＬＰである。以下では、決定リストの最適化問題をＩＬＰとするための手法について説明する。
【0081】
条件を満たす上位Ｋ個の決定ルールの予測値を用いて最終的な予測結果とする決定リストＬＫの最適化問題は、以下の目的関数を最小とする決定リストＬＫを見つける問題として定義することができる。なお、正規化パラメタをλ（実数）とする。また、決定リストＬＫは決定ルール集合Ｒに含まれる決定ルールからなる。
【0082】
ｆｏｐｔ＿ｋ＝ｌｅｒｒ（Ｌｋ，Ｔ）＋λ｜Ｌｋ｜
訓練用例は、入力ｘ（ｘは実数）と出力ｙの組（ｘ，ｙ）で表すことができ、これにより、ｍ個の訓練用例からなる訓練用例集合Ｔは、下記のように表される。
訓練用例は、入力ｘ（ｘは実数）と出力ｙの組（ｘ，ｙ）で表すことができ、これにより、ｍ個の訓練用例からなる訓練用例集合Ｔは、下記のように表される。
【0083】
【数1】
【0084】
ここで、ｌｅｒｒ（Ｌｋ，Ｔ）は、訓練用例集合Ｔ上での決定リストＬｋを用いた予測に対する誤差関数であり、λ｜Ｌｋ｜はサイズが大きい決定リストＬｋに対して罰則を与える正規化項である。
【0085】
回帰問題の場合、ｌｅｒｒ（Ｌｋ，Ｔ）としては例えば、代表的な誤差関数の１つである平均二乗誤差（Mean Squared Error，ＭＳＥ）を用いることができる。また、分類問題の場合は、真の値と、決定リストが出力する予測値との間のＫＬ情報量（Kullback-Leibler divergence）を計算し、訓練用例全体でのＫＬ情報量の和を誤差関数として用いてもよい。ＫＬ情報量は情報利得とも呼ばれる。
【0086】
決定リストＬＫは、下記のように定義することができる。
この決定リストＬＫにおける
はデフォルトルールであり、すべて同一のデフォルトルールｌ０とする。
【数2】
【数3】
【0087】
決定リストＬＫを用いた予測時には、用例ｘに対して、その決定リストＬＫにおける順位が上位の決定ルールから順に、ｌ＝ｐ→ｑ∈ＬＫを見ていき、ｘが条件ｐを満たす上位Ｋ個の決定ルールのそれぞれの後件ｑの平均値を予測値ＬＫ（ｘ）として出力する。また、１≦ｋ≦Ｋに対し、ｘがリスト順でｋ番目に条件ｐを満たす決定ルールｌをｘに対する決定リストＬＫ上のｋ番目の決定ルールと呼ぶ。
【0088】
最適化後の決定リストＬＫに含まれるデフォルトルールは事前に与えられており、与えられるルール集合Ｒ＝｛ｒ１，…，ｒ｜Ｒ｜｝内のＫ個の決定ルールｒ｜Ｒ｜－Ｋ＋１，…，ｒ｜Ｒ｜がデフォルトルールに対応する。
【0089】
最適化後の決定リストＬＫは、下記のように出力される。
【0090】
【数4】
【0091】
決定リストＬＫにおけるあるルールｌｕの高さ（順位）は、｜Ｒ｜－ｕ＋１で定義される。また、Ｒと、決定リストＬＫに含まれる決定ルールｒとの関係は、後述する並び替えベクトルπを用いて、決定ルールｒｕ＝ｌ｜Ｒ｜－πｕ＋１と表される。
【0092】
ここで、ＩＬＰ変換を行うため、以下の変数を導入する。
【0093】
Ａ：ｍ×｜Ｒ｜のバイナリ行列。行列の要素Ａｉｕは以下を満たす。つまり、観測ｘ（ｉ）が決定ルールｒｕの条件を満たすときにＡｉｕは１となり、それ以外のときには０となる。
【0094】
【数5】
【0095】
【数6】
【0096】
Ｈ：サイズｍ×Ｋの整数行列。要素Ｈｉｋでｘ（ｉ）に対するｋ番目の決定ルールの決定リストＬＫにおける高さ（順位）を示す。
【0097】
π：サイズ｜Ｒ｜の整数ベクトル。要素πｕ∈｛１，…，｜Ｒ｜｝であり、決定ルールｒｕの決定リストＬＫにおける高さ（順位）を示す。
【0098】
δ：｜Ｒ｜×｜Ｒ｜のバイナリ行列。δｕｊ＝１のとき、決定ルールｒｕの決定リストＬＫにおける高さ（順位）がｊであることを表す。
【0099】
以上の変数を用いることにより、決定リストＬＫの最適化問題を以下のとおりＩＬＰで定式化することができる。
【数7】
【数8】
【数9】
【数10】
【数11】
【数12】
【数13】
【0100】
【数14】
【数15】
【0101】
また、数式（１）の第二項は、上述した目的関数：ｆｏｐｔ＿ｋ＝ｌｅｒｒ（Ｌｋ，Ｔ）＋λ｜Ｌｋ｜の第二項に対応しており、サイズが大きい決定リストＬｋに対して罰則を与える正規化項である。例えば、この第二項は、決定リストに含まれる決定ルールの数が多いほど大きい罰則値を与えるものとしてもよいし、決定リストに含まれる決定ルールに含まれる条件の数が多いほど大きい罰則値を与えるものとしてもよい。
【0102】
上記数式（２）～（６）は、最適化時における制約を表す。具体的には、数式（２）と（３）は、ある用例に対して、あるルールがｋ番目の決定ルールとなるとき、そのルールはｋ，…，Ｋ番目の決定ルールの中で最も決定リストＬＫ内の優先順が高いことを表している。
【0103】
また、数式（４）は、ある用例に対してある決定ルールがｋ番目の決定ルールとなるとき、そのルールは１，…，ｋ－１番目の決定ルールより決定リストＬＫ内の優先順が低いことを表している。よって、数式（２）～（４）により、ある決定ルールがある用例に対し、ｋ番目の決定ルールである条件を表すことができる。
【0104】
数式（５）は、ある用例の条件を満たすＫ個の決定ルールのうち、ｋ番目の決定ルールになるものは一つであることを保証している。また、数式（６）は、デフォルトルールが決定リストＬＫ中にＫ個連続していることを保証する。
【0105】
数式（７）は、πとδの関係性を与える制約である。また、数式（８）は、各ルールが決定リストＬＫ中に複数存在することがないことを保証する。
【0106】
上述の計算手法は、非特許文献１の技術と比べて、変数Ｄを、Ｋを表すための次元を追加したテンソルとし、また、変数Ｈを、Ｋを表すための次元を追加した行列とした点で相違している。また、変数Ｄ、Ｈを上記のように変更したことに伴い、制約式も非特許文献１の技術とは異なるものとなっている。非特許文献１ではこのような拡張について記載も示唆もされておらず、非特許文献１から本例示的実施形態の構成に至ることは自明ではない。
【0107】
（出力すべき決定リストの決定方法）
予測部４０３およびリスト決定部４０４は、以上の数式（２）～（８）を用いて、数式（１）の目的関数の値が所定の条件を満たすときの、変数、Ａｊ，ｕ、Ｄｊ，ｕ，ｋ、Ｍｊ，ｕ、Ｈｉ，ｋ、πｕ、およびδｕ，ｊを探索する。なお、これらの変数により、決定リストの何れの位置に決定ルール集合に含まれる何れの決定ルールが位置するか表される。また、所定の条件は、最適化を終了するか否かを判定するための条件であり、予め定められている。
予測部４０３およびリスト決定部４０４は、以上の数式（２）～（８）を用いて、数式（１）の目的関数の値が所定の条件を満たすときの、変数、Ａｊ，ｕ、Ｄｊ，ｕ，ｋ、Ｍｊ，ｕ、Ｈｉ，ｋ、πｕ、およびδｕ，ｊを探索する。なお、これらの変数により、決定リストの何れの位置に決定ルール集合に含まれる何れの決定ルールが位置するか表される。また、所定の条件は、最適化を終了するか否かを判定するための条件であり、予め定められている。
【0108】
具体的には、まず、リスト決定部４０４が上述の各変数を初期値に設定する。そして、予測部４０３は、それらの各変数で表現される決定リストを用いて目的関数の値を算出する。ここで算出された値が所定の条件を満たさない場合には、リスト決定部４０４が上述の各変数を更新する。予測部４０３およびリスト決定部４０４は、上記所定の条件が満たされるまで、各変数の更新および目的関数の値の算出を繰り返す。これにより、最適な決定リストを示す各変数の値が特定される。
【0109】
このように、予測部４０３は、予測結果の誤差を示す誤差項（数式（１）の第一項）を含む目的関数（数式（１））の値を、決定リストの何れの位置に決定ルール集合に含まれる何れの決定ルールが位置するかを示す変数を用いて表現される決定リストを用いて算出する。また、リスト決定部４０４は、算出された目的関数の値に基づいて変数を更新する処理を、目的関数の値が所定の条件を満たすまで繰り返すことにより、出力すべき決定リストを決定する。
【0110】
上記の構成によれば、例示的実施形態１に係る情報処理装置１の奏する効果に加えて、目的関数を用いた最適化計算により出力すべき決定リストを決定することができるという効果が得られる。
【0111】
また、上述の例のように、目的関数を線形関数とし、線形関数の等式または不等式で最適化の制約条件を記述するようにしてもよい。これにより、最適な前記決定リストを決定する問題をＩＬＰとし、最適化ソルバを用いて効率的に出力すべき決定リストを決定することができる。
【0112】
また、以上のように、予測部４０３は、決定リストに含まれる決定ルールの数に関する制約項（（数式（１）の第二項））を含む目的関数の値を算出する。また、この制約項は、決定リストに含まれる決定ルールに含まれる条件の数に関する制約項であってもよい。
【0113】
上記の構成によれば、決定リストに含まれる決定ルールの数、または決定リストに含まれる決定ルールに含まれる条件の数に関する制約項を含む目的関数を用いる。これにより、例示的実施形態１に係る情報処理装置１の奏する効果に加えて、決定リストに含まれる決定ルールの数、または決定リストに含まれる決定ルールに含まれる条件の数を制約とした決定リストを決定することができるという効果が得られる。例えば、決定ルールの数が少ないあるいは条件の数が少ない決定リスト、つまり簡潔な決定ルールで構成されたユーザにとって解釈性が高い決定リストを決定することも可能になる。
【0114】
また、以上のように、訓練用例集合４１３に含まれる訓練用例と、決定ルール集合４１２に含まれる決定ルールとの間に導入した変数には、訓練用例集合４１３に含まれる各訓練用例について、決定リストにおいて当該訓練用例が条件を満たす１番目からＫ番目までのＫ個の決定ルールを表す変数Ｄｊ，ｕ，ｋおよびＨｉ，ｋが含まれる。
【0115】
上記の構成によれば、各訓練用例が条件を満たす１番目からＫ番目までのＫ個の決定ルール、つまり各訓練用例の予測値の算出に用いられるＫ個の決定ルールが変数Ｄｊ，ｕ，ｋおよびＨｉ，ｋで表される。よって、これらの変数で各訓練用例の予測結果とその誤差を表すことができ、これにより目的関数の値も表すことができる。そして、決定リストが最適となるような変数の値を求めることができる。したがって、上記の構成によれば、例示的実施形態１に係る情報処理装置１の奏する効果に加えて、目的関数を用いた最適化計算により出力すべき決定リストを決定することができるという効果が得られる。
【0116】
【0117】
Ｓ４１では、決定ルール集合生成部４０２が、決定木集合４１１から決定ルール集合を生成する。そして、決定ルール集合生成部４０２は、生成した決定ルール集合を、決定ルール集合４１２として記憶部４１に記憶させる。
【0118】
なお、上述のように、決定木集合４１１は、ランダムフォレストにより生成されたものであってもよい。また、この場合、情報処理装置４は、Ｓ４１に先立って、ランダムフォレストにより決定木集合を生成する処理を行ってもよい。
【0119】
Ｓ４２では、受付部４０１が、パラメタＫの値の設定を受け付ける。情報処理装置４のユーザは、例えば入力部３３を介してパラメタＫの所望の値を入力することができる。そして、受付部４０１は、このようにして入力された値をパラメタＫの値に設定する。
【0120】
Ｓ４３では、リスト決定部４０４が、各種変数を初期値に設定する。具体的には、リスト決定部４０４は、上述した６つの変数、すなわちＡｊ，ｕ、Ｄｊ，ｕ，ｋ、Ｍｊ，ｕ、Ｈｉ，ｋ、πｕ、およびδｕ，ｊの値を初期値に設定する。
【0121】
Ｓ４４では、予測部４０３が、Ｓ４３で初期値に設定された各変数を用いて、訓練用例集合４１３に含まれる各訓練用例についての予測結果を算出する。予測結果は、上記各変数を用いて表現される決定リストに含まれる複数の決定ルールのうち、訓練用例の条件を満たす上位Ｋ個の予測値を用いて算出される。
【0122】
Ｓ４５では、リスト決定部４０４が、Ｓ４４で算出された予測結果を用いて目的関数の値を算出する。具体的には、リスト決定部４０４は、目的関数である上述の数式（１）の値を算出する。
【0123】
Ｓ４６では、リスト決定部４０４は、Ｓ４５の計算結果が所定の条件を充足しているか否かを判定する。Ｓ４６でＹＥＳと判定された場合にはＳ４８に進む。一方、Ｓ４６でＮＯと判定された場合にはＳ４７に進む。
【0124】
Ｓ４７では、リスト決定部４０４は、Ｓ４５で算出した目的関数の値に基づいて、上述した６つの変数の値を更新する。更新は、目的関数の値が所定の条件を満たす方向に変化し得るような方法で行えばよい。この後、処理はＳ４４に戻る。
【0125】
Ｓ４８では、リスト決定部４０４は、Ｓ４６で条件を充足したと判定したときの６つの変数の値により特定される決定リストを、出力すべき決定リストと決定する。これにより、簡潔なルールで構成され、しかも予測性能が高い決定リストを出力することができる。そして、リスト決定部４０４は、決定した決定リストを記憶部４１に決定リスト４１４として記憶させ、これにより図８の処理は終了となる。
【0126】
なお、上述の処理では、Ｓ４７で変数が更新されることにより、それら変数で特定される決定リストが更新される。そして、更新後の決定リストについてＳ４４で予測結果が算出される。このため、Ｓ４８では、決定ルール集合から生成された複数の決定リストのそれぞれを対象として、訓練用例集合に含まれる各訓練用例について算出された予測結果に基づいて、出力すべき決定リストを決定しているといえる。また、上述の処理（特にＳ４３～Ｓ４８）は、最適化ソルバに実行させることもできる。
【0127】
（予測方法の流れ）
情報処理装置４が実行する予測方法は、図２に示した予測方法と同様である。具体的には、まず、入力データ取得部４０５が、予測の対象となる入力データを取得する（Ｓ２１）。次に、予測部４０３が、決定リスト４１４に含まれる決定ルールのうち、Ｓ２１で取得された入力データが条件を満たす上位Ｋ個の決定ルールの予測値を算出し、それらの予測値を用いて予測結果を算出する。
情報処理装置４が実行する予測方法は、図２に示した予測方法と同様である。具体的には、まず、入力データ取得部４０５が、予測の対象となる入力データを取得する（Ｓ２１）。次に、予測部４０３が、決定リスト４１４に含まれる決定ルールのうち、Ｓ２１で取得された入力データが条件を満たす上位Ｋ個の決定ルールの予測値を算出し、それらの予測値を用いて予測結果を算出する。
【0128】
〔例示的実施形態４〕
（情報処理装置５の構成）
図９は、本例示的実施形態に係る情報処理装置５の構成例を示すブロック図である。図示のように、情報処理装置５は、情報処理装置５の各部を統括して制御する制御部５０と、情報処理装置５が使用する各種データを記憶する記憶部５１を備えている。また、情報処理装置５は、入力部３３と出力部３４を備えている。
（情報処理装置５の構成）
図９は、本例示的実施形態に係る情報処理装置５の構成例を示すブロック図である。図示のように、情報処理装置５は、情報処理装置５の各部を統括して制御する制御部５０と、情報処理装置５が使用する各種データを記憶する記憶部５１を備えている。また、情報処理装置５は、入力部３３と出力部３４を備えている。
【0129】
制御部５０には、受付部５０１、順位設定部５０２、予測部５０３、リスト決定部５０４、および入力データ取得部５０５が含まれている。また、記憶部５１には、決定ルール集合５１２、訓練用例集合５１３、および決定リスト５１４が記憶されている。なお、受付部５０１、入力データ取得部５０５、決定ルール集合５１２、および訓練用例集合５１３は、例示的実施形態３の同名の要素とそれぞれ同様である。
【0130】
順位設定部５０２は、決定ルール集合５１２に含まれる各決定ルールを順位づけする。順位づけの方法は後述する。
【0131】
予測部５０３は、決定ルール集合５１２から抽出された複数の決定ルールからなる決定リストに含まれる決定ルールのうち、訓練用例集合５１３に含まれる訓練用例が条件を満たす上位Ｋ個（Ｋは２以上の自然数）の決定ルールの予測値を用いて予測結果を算出する。この予測結果の算出の際、予測部５０３は、順位設定部５０２が設定した順位が上位のＫ個の予測値を用いて予測結果を算出する。
【0132】
リスト決定部５０４は、決定ルール集合５１２から生成された複数の決定リストのそれぞれを対象として、訓練用例集合５１３に含まれる各訓練用例について算出された予測結果に基づいて、出力すべき決定リストを決定する。なお、予測部５０３による予測結果の算出方法、およびリスト決定部５０４による決定リストの決定方法の詳細は後述する。
【0133】
以上のように、情報処理装置５は、決定ルール集合に含まれる各決定ルールを順位づけする順位設定部５０２を備え、予測部５０３は、順位が上位のＫ個の予測値を用いて予測結果を算出する。
【0134】
上記の構成によれば、決定ルールを順位づけして、その順位が上位のＫ個の予測値を用いて予測結果を算出する。これにより、出力すべき決定リストを決定する際に、決定リスト内における決定ルールの並び順を考慮する必要がなくなる。
【0135】
例えば、Ａ～Ｃの３つの決定ルールを含む決定リストについて、決定ルールの並び順を考慮すれば、Ａ－Ｂ－Ｃ、Ａ－Ｃ－Ｂ、Ｂ－Ａ－Ｃ、Ｂ－Ｃ－Ａ、Ｃ－Ａ－Ｂ、およびＣ－Ｂ－Ａの６通りの中から１つを選ぶ必要がある。
【0136】
一方、Ａ～Ｃの決定ルールが順位づけされていればその順位に従って出力すべき１通りを決定することができる。例えば、Ａ－Ｂ－Ｃの順に順位づけされていれば、出力すべき決定リストに含める決定ルールをＡ－Ｂ－Ｃの順にすればよい。
【0137】
このように、上記の構成によれば、例示的実施形態１に係る情報処理装置１の奏する効果に加えて、出力すべき決定リストを決定する処理を、並び順を考慮する場合と比べて短時間で完了させることが可能になるという効果が得られる。
【0138】
（順位づけの具体例）
上述のように、決定リストを用いた予測においては、決定ルールを順位が上のものから順にチェックして、条件を充足する上位Ｋ個の決定ルールを見出し、それらの決定ルールの予測値から最終的な予測結果を算出する。
上述のように、決定リストを用いた予測においては、決定ルールを順位が上のものから順にチェックして、条件を充足する上位Ｋ個の決定ルールを見出し、それらの決定ルールの予測値から最終的な予測結果を算出する。
【0139】
このため、多くの用例に当てはまる一般的な決定ルールほど決定リストにおける順位が下位になるようにし、少数の用例にのみ当てはまる特殊な決定ルールほど決定リストにおける順位が上位になるようにすることが好ましい。
【0140】
そこで、順位設定部５０２は、例えば、決定ルール集合５１２に含まれる各決定ルールについて、当該決定ルールの条件を充足する訓練用例の数をカウントし、その数が少ない順に決定ルールを順位づけしてもよい。
【0141】
また、決定リストにおいては、予測結果が曖昧な決定ルールよりも、予測結果の確実性が高い決定ルールが上位に位置することが望ましい。
【0142】
そこで、順位設定部５０２は、回帰問題の解を予測する決定ルールについての順位を設定する場合には、決定ルール集合５１２に含まれる各決定ルールについて、当該決定ルールの条件を充足する訓練用例の予測値（出力ｙ）の標準偏差を算出してもよい。そして、順位設定部５０２は、算出した標準偏差が小さい順に決定ルールを順位づけしてもよい。
【0143】
また、順位設定部５０２は、分類問題の解を予測する決定ルールについての順位を設定する場合には、決定ルールの条件を満たす訓練用例についての予測値と、比較対象の予測値との差異に基づいて順位づけを行ってもよい。
【0144】
比較対象の予測値は、例えば上述したデフォルトルールの予測値であってもよい。この場合、順位設定部５０２は、デフォルトルールの予測を基準とし、デフォルトルールの予測よりも予測がうまく絞り込まれている順に決定ルールを順位づけする。
【0145】
予測がうまく絞り込まれているか否かを評価するための指標としては、例えばＫＬ情報量を用いることもできる。ＫＬ情報量を用いて順位づけを行う場合、順位設定部５０２は、デフォルトルールの予測値と、決定ルール集合５１２に含まれる各決定ルールの予測値についてＫＬ情報量を算出し、ＫＬ情報量の値が大きい順に決定ルールを順位づけする。
【0146】
このように、順位設定部５０２は、決定ルールを、当該決定ルールの条件を満たす訓練用例についての予測値と、比較対象の予測値との差異に基づいて順位づけしてもよい。この構成によれば、例示的実施形態１に係る情報処理装置１の奏する効果に加えて、より妥当な予測値を算出できる可能性が高い順に決定ルールを順位づけすることができるという効果が得られる。なお、この場合、目的関数を用いた最適化計算において、ＫＬ情報量等のヒューリスティックな要素が入るため、近似的な最適化となる。
【0147】
（決定リストの最適化問題）
上述のように、情報処理装置５は、順位設定部５０２を備えている。このため、リスト決定部５０４は、決定ルールの並べ替えを考慮する必要はなく、個々の決定ルールを決定リストに含めるか否かだけを決定すればよい。このため、本例示的実施形態では、決定リストの最適化問題が例示的実施形態３よりも簡易化される。
上述のように、情報処理装置５は、順位設定部５０２を備えている。このため、リスト決定部５０４は、決定ルールの並べ替えを考慮する必要はなく、個々の決定ルールを決定リストに含めるか否かだけを決定すればよい。このため、本例示的実施形態では、決定リストの最適化問題が例示的実施形態３よりも簡易化される。
【0148】
具体的には、例示的実施形態３で用いたπの代わりに、サイズ｜Ｒ｜のバイナリベクトルγを導入する。γの要素γｕが１のとき、決定ルールｒｕは決定リストＬＫに含まれることを表す。よって、初期化された空の決定リストを用意し、全ての１≦ｕ≦｜Ｒ｜に対して１から｜Ｒ｜まで順番にγｕを確認して、γｕ＝１のときのみ決定ルールｒｕを決定リストＬＫの最後尾に順に加えていくことで、最適化された決定リストＬＫを得ることができる。
【0149】
それに伴い、数式（１）の目的関数は以下の数式（９）のように変更される。数式（１）と比べて、数式（２）では、サイズが大きい決定リストＬｋに対して罰則を与える正則化項である第二項が変わっている。なお、第二項は制約項でもある。
【0150】
【数16】
【数17】
【0151】
また、制約条件を表す数式（２）～（４）、（６）は、それぞれ以下のように変更される。
【数18】
【数19】
【数20】
【0152】
【数21】
【0153】
以上の数式を用いた最適化計算では、サイズ｜Ｒ｜の整数ベクトルであるπの代わりに、サイズ｜Ｒ｜のバイナリベクトルγを用いるので、πを用いる例示的実施形態３の例と比べて探索空間が狭くなっている。また、例示的実施形態３ではπを表現するために数式（７）（８）が必要であったが、本例示的実施形態ではそれらの数式は不要となり、数式（５）と数式（１０）～（１３）のみでＩＬＰ表現を実現することが可能である。
【0154】
（学習方法の流れ）
情報処理装置５が実行する学習方法は、図８に示した学習方法と概ね同様である。主な相違点は、Ｓ４１の処理が行われない点、Ｓ４３で設定の対象となり、Ｓ４７で更新の対象となる変数にπおよびδが含まれない点、およびＳ４４で予測結果を算出するよりも前の段階で順位設定部５０２による順位の設定が行われる点である。また、Ｓ４５における目的関数が上述の数式（９）に変わる等、出力する決定リストを決定するために用いる各種数式も図８で説明した学習方法と異なっている。
情報処理装置５が実行する学習方法は、図８に示した学習方法と概ね同様である。主な相違点は、Ｓ４１の処理が行われない点、Ｓ４３で設定の対象となり、Ｓ４７で更新の対象となる変数にπおよびδが含まれない点、およびＳ４４で予測結果を算出するよりも前の段階で順位設定部５０２による順位の設定が行われる点である。また、Ｓ４５における目的関数が上述の数式（９）に変わる等、出力する決定リストを決定するために用いる各種数式も図８で説明した学習方法と異なっている。
【0155】
（予測方法の流れ）
情報処理装置５が実行する予測方法は、図２に示した予測方法と同様である。具体的には、まず、入力データ取得部５０５が、予測の対象となる入力データを取得する（Ｓ２１）。次に、予測部５０３が、決定リスト５１４に含まれる決定ルールのうち、Ｓ２１で取得された入力データが条件を満たす上位Ｋ個の決定ルールの予測値を算出し、それらの予測値を用いて予測結果を算出する。
情報処理装置５が実行する予測方法は、図２に示した予測方法と同様である。具体的には、まず、入力データ取得部５０５が、予測の対象となる入力データを取得する（Ｓ２１）。次に、予測部５０３が、決定リスト５１４に含まれる決定ルールのうち、Ｓ２１で取得された入力データが条件を満たす上位Ｋ個の決定ルールの予測値を算出し、それらの予測値を用いて予測結果を算出する。
【0156】
〔参考例〕
上述の各例示的実施形態では、最終的な予測結果の算出に用いる決定ルールの数を示すパラメタＫが２以上である場合について説明した。しかし、決定ルール集合に含まれる各決定ルールを順位づけすることにより、出力すべき決定リストを決定する処理に要する時間を短縮する手法は、パラメタＫが１の場合にも有効である。
上述の各例示的実施形態では、最終的な予測結果の算出に用いる決定ルールの数を示すパラメタＫが２以上である場合について説明した。しかし、決定ルール集合に含まれる各決定ルールを順位づけすることにより、出力すべき決定リストを決定する処理に要する時間を短縮する手法は、パラメタＫが１の場合にも有効である。
【0157】
本参考例では、パラメタＫが１以上の値である場合に、最適な決定リストを出力する情報処理装置６について説明する。図１０は、本参考例に係る情報処理装置６の構成を示すブロック図である。図示のように、情報処理装置６は、順位設定部６１と、予測部６２と、リスト決定部６３を備えている。
【0158】
順位設定部６１は、上述の順位設定部５０２と同様にして、決定ルール集合に含まれる各決定ルールを順位づけする。
【0159】
予測部６２は、決定ルール集合から抽出された複数の決定ルールからなる決定リストに含まれる決定ルールのうち、訓練用例集合に含まれる訓練用例が条件を満たす１または複数の決定ルールの予測値に基づいて予測結果を算出する。このように、本参考例では、条件を満たす決定ルールは１つであってもよい。これは、パラメタＫが１以上の値であることを想定しているためである。
【0160】
なお、パラメタＫが２以上の値である場合の処理は例示的実施形態４と同様であるから、以下ではパラメタＫが１である場合について説明する。この場合、予測部６２は、決定ルール集合から抽出された複数の決定ルールからなる決定リストに含まれる決定ルールのうち、訓練用例集合に含まれる訓練用例が条件を満たす最初の決定ルール（条件を満たす決定ルールのうち順位が最も上の決定ルール）の予測値に基づいて予測結果を算出する。
【0161】
リスト決定部６３は、決定ルール集合から生成された複数の決定リストのそれぞれを対象として、訓練用例集合に含まれる各訓練用例について算出された予測結果と、順位設定部６１が設定する順位とに基づいて、出力すべき決定リストを決定する。
【0162】
以上のように、情報処理装置６は、条件と該条件を満たす場合の予測値とを組み合わせた決定ルールの集合である決定ルール集合から抽出された複数の決定ルールからなる決定リストに含まれる決定ルールのうち、訓練用例集合に含まれる訓練用例が前記条件を満たす最初の決定ルールの予測値に基づいて予測結果を算出する予測部６２と、決定ルール集合に含まれる各決定ルールを順位づけする順位設定部６１と、決定ルール集合から生成された複数の前記決定リストのそれぞれを対象として、前記訓練用例集合に含まれる各訓練用例について算出された前記予測結果と前記順位とに基づいて、出力すべき前記決定リストを決定するリスト決定部６３と、を備えている。
【0163】
上記の構成によれば、決定ルールを順位づけして、訓練用例が条件を満たす最初の決定ルールの予測値に基づいて予測結果を算出する。これにより、出力すべき決定リストを決定する際に、決定リスト内における決定ルールの並び順を考慮する必要がなくなる。よって、上記の構成によれば、出力すべき決定リストを決定する処理を、並び順を考慮する場合と比べて短時間で完了させることが可能になるという効果が得られる。
【0164】
情報処理装置６が実行する学習方法は、Ｋ＝１とする点を除けば、例示的実施形態４の学習方法と同様である。
【0165】
また、情報処理装置６は、入力データ取得部２１（図１参照）を備えていてもよい。この場合、入力データ取得部２１が入力データを取得する。そして、予測部６２が、リスト決定部６３が出力した決定リストに含まれる決定ルールのうち、入力データ取得部２１が取得した入力データが条件を満たす最上位の決定ルールの予測値を用いて予測結果を算出する。
【0166】
〔変形例〕
上述の各例示的実施形態および参考例で説明した各処理の実行主体は任意であり、上述の例に限られない。つまり、相互に通信可能な複数の装置により、情報処理装置１～６と同様の機能を有する情報処理システムを構築することができる。
上述の各例示的実施形態および参考例で説明した各処理の実行主体は任意であり、上述の例に限られない。つまり、相互に通信可能な複数の装置により、情報処理装置１～６と同様の機能を有する情報処理システムを構築することができる。
【0167】
〔ソフトウェアによる実現例〕
情報処理装置１～６の一部又は全部の機能は、集積回路（ＩＣチップ）等のハードウェアによって実現してもよいし、ソフトウェアによって実現してもよい。
情報処理装置１～６の一部又は全部の機能は、集積回路（ＩＣチップ）等のハードウェアによって実現してもよいし、ソフトウェアによって実現してもよい。
【0168】
後者の場合、情報処理装置１～６は、例えば、各機能を実現するソフトウェアであるプログラムの命令を実行するコンピュータによって実現される。このようなコンピュータの一例（以下、コンピュータＣと記載する）を図１１に示す。コンピュータＣは、少なくとも１つのプロセッサＣ１と、少なくとも１つのメモリＣ２と、を備えている。メモリＣ２には、コンピュータＣを情報処理装置１～６として動作させるためのプログラムＰが記録されている。コンピュータＣにおいて、プロセッサＣ１は、プログラムＰをメモリＣ２から読み取って実行することにより、情報処理装置１～６の各機能が実現される。
【0169】
プロセッサＣ１としては、例えば、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphic Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＭＰＵ（Micro Processing Unit）、ＦＰＵ（Floating point number Processing Unit）、ＰＰＵ（Physics Processing Unit）、マイクロコントローラ、又は、これらの組み合わせなどを用いることができる。メモリＣ２としては、例えば、フラッシュメモリ、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、又は、これらの組み合わせなどを用いることができる。
【0170】
なお、コンピュータＣは、プログラムＰを実行時に展開したり、各種データを一時的に記憶したりするためのＲＡＭ（Random Access Memory）を更に備えていてもよい。また、コンピュータＣは、他の装置との間でデータを送受信するための通信インタフェースを更に備えていてもよい。また、コンピュータＣは、キーボードやマウス、ディスプレイやプリンタなどの入出力機器を接続するための入出力インタフェースを更に備えていてもよい。
【0171】
また、プログラムＰは、コンピュータＣが読み取り可能な、一時的でない有形の記録媒体Ｍに記録することができる。このような記録媒体Ｍとしては、例えば、テープ、ディスク、カード、半導体メモリ、又はプログラマブルな論理回路などを用いることができる。コンピュータＣは、このような記録媒体Ｍを介してプログラムＰを取得することができる。また、プログラムＰは、伝送媒体を介して伝送することができる。このような伝送媒体としては、例えば、通信ネットワーク、又は放送波などを用いることができる。コンピュータＣは、このような伝送媒体を介してプログラムＰを取得することもできる。
【0172】
〔付記事項１〕
本発明は、上述した実施形態に限定されるものでなく、請求項に示した範囲で種々の変更が可能である。例えば、上述した実施形態に開示された技術的手段を適宜組み合わせて得られる実施形態についても、本発明の技術的範囲に含まれる。
本発明は、上述した実施形態に限定されるものでなく、請求項に示した範囲で種々の変更が可能である。例えば、上述した実施形態に開示された技術的手段を適宜組み合わせて得られる実施形態についても、本発明の技術的範囲に含まれる。
【0173】
〔付記事項２〕
上述した実施形態の一部又は全部は、以下のようにも記載され得る。ただし、本発明は、以下の記載する態様に限定されるものではない。
上述した実施形態の一部又は全部は、以下のようにも記載され得る。ただし、本発明は、以下の記載する態様に限定されるものではない。
【0174】
（付記１）
条件と該条件を満たす場合の予測値とを組み合わせた決定ルールの集合である決定ルール集合から抽出された複数の前記決定ルールからなる決定リストに含まれる前記決定ルールのうち、訓練用例集合に含まれる訓練用例が前記条件を満たす上位Ｋ個（Ｋは２以上の自然数）の決定ルールの予測値を用いて予測結果を算出する予測手段と、前記決定ルール集合から生成された複数の前記決定リストのそれぞれを対象として、前記訓練用例集合に含まれる各訓練用例について算出された前記予測結果に基づいて、出力すべき前記決定リストを決定するリスト決定手段と、を備える情報処理装置。この構成によれば、決定リストを用いた予測の予測性能を向上させることができる。
条件と該条件を満たす場合の予測値とを組み合わせた決定ルールの集合である決定ルール集合から抽出された複数の前記決定ルールからなる決定リストに含まれる前記決定ルールのうち、訓練用例集合に含まれる訓練用例が前記条件を満たす上位Ｋ個（Ｋは２以上の自然数）の決定ルールの予測値を用いて予測結果を算出する予測手段と、前記決定ルール集合から生成された複数の前記決定リストのそれぞれを対象として、前記訓練用例集合に含まれる各訓練用例について算出された前記予測結果に基づいて、出力すべき前記決定リストを決定するリスト決定手段と、を備える情報処理装置。この構成によれば、決定リストを用いた予測の予測性能を向上させることができる。
【0175】
（付記２）
前記予測手段は、前記予測結果の誤差を示す誤差項を含む目的関数の値を、前記決定リストの何れの位置に前記決定ルール集合に含まれる何れの決定ルールが位置するかを示す変数を用いて表現される前記決定リストを用いて算出し、前記リスト決定手段は、算出された前記目的関数の値に基づいて前記変数を更新する処理を、前記目的関数の値が所定の条件を満たすまで繰り返すことにより、出力すべき前記決定リストを決定する、付記１に記載の情報処理装置。この構成によれば、目的関数を用いた最適化計算により出力すべき決定リストを決定することができる。
前記予測手段は、前記予測結果の誤差を示す誤差項を含む目的関数の値を、前記決定リストの何れの位置に前記決定ルール集合に含まれる何れの決定ルールが位置するかを示す変数を用いて表現される前記決定リストを用いて算出し、前記リスト決定手段は、算出された前記目的関数の値に基づいて前記変数を更新する処理を、前記目的関数の値が所定の条件を満たすまで繰り返すことにより、出力すべき前記決定リストを決定する、付記１に記載の情報処理装置。この構成によれば、目的関数を用いた最適化計算により出力すべき決定リストを決定することができる。
【0176】
（付記３）
前記予測手段は、前記決定リストに含まれる前記決定ルールの数に関する制約項、または前記決定リストに含まれる前記決定ルールに含まれる前記条件の数に関する制約項を含む前記目的関数の値を算出する、付記２に記載の情報処理装置。この構成によれば、決定リストに含まれる決定ルールの数、または決定リストに含まれる決定ルールに含まれる条件の数を制約とした決定リストを決定することができる。
前記予測手段は、前記決定リストに含まれる前記決定ルールの数に関する制約項、または前記決定リストに含まれる前記決定ルールに含まれる前記条件の数に関する制約項を含む前記目的関数の値を算出する、付記２に記載の情報処理装置。この構成によれば、決定リストに含まれる決定ルールの数、または決定リストに含まれる決定ルールに含まれる条件の数を制約とした決定リストを決定することができる。
【0177】
（付記４）
前記変数には、前記訓練用例集合に含まれる各訓練用例について、前記決定リストにおいて当該訓練用例が前記条件を満たす１番目からＫ番目までのＫ個の前記決定ルールを表す変数が含まれる、付記２または３に記載の情報処理装置。この構成によれば、目的関数を用いた最適化計算により出力すべき決定リストを決定することができる。
前記変数には、前記訓練用例集合に含まれる各訓練用例について、前記決定リストにおいて当該訓練用例が前記条件を満たす１番目からＫ番目までのＫ個の前記決定ルールを表す変数が含まれる、付記２または３に記載の情報処理装置。この構成によれば、目的関数を用いた最適化計算により出力すべき決定リストを決定することができる。
【0178】
（付記５）
前記Ｋの値の設定を受け付ける受付手段を備え、前記予測手段は、前記受付手段が受け付けた前記Ｋの値を用いて前記予測結果を算出する、付記１から４の何れか１項に記載の情報処理装置。この構成によれば、ユーザはＫの値を所望の値に設定することにより、そのＫの値を用いて予測結果を算出するのに適した決定リストを決定させることができる。
前記Ｋの値の設定を受け付ける受付手段を備え、前記予測手段は、前記受付手段が受け付けた前記Ｋの値を用いて前記予測結果を算出する、付記１から４の何れか１項に記載の情報処理装置。この構成によれば、ユーザはＫの値を所望の値に設定することにより、そのＫの値を用いて予測結果を算出するのに適した決定リストを決定させることができる。
【0179】
（付記６）
少なくとも１つの決定木を含む決定木集合に含まれる前記決定木から、当該決定木の根から葉に至る経路上に出現する各条件を抽出して前記決定ルールを生成し、生成した決定ルールを含む前記決定ルール集合を生成する決定ルール集合生成手段を備える、付記１から５の何れか１項に記載の情報処理装置。この構成によれば、決定木に基づく決定ルール集合を自動で生成することができる。
少なくとも１つの決定木を含む決定木集合に含まれる前記決定木から、当該決定木の根から葉に至る経路上に出現する各条件を抽出して前記決定ルールを生成し、生成した決定ルールを含む前記決定ルール集合を生成する決定ルール集合生成手段を備える、付記１から５の何れか１項に記載の情報処理装置。この構成によれば、決定木に基づく決定ルール集合を自動で生成することができる。
【0180】
（付記７）
前記決定ルール集合に含まれる各決定ルールを順位づけする順位設定手段を備え、前記予測手段は、前記順位が上位のＫ個の予測値を用いて前記予測結果を算出する、付記１から３の何れか１項に記載の情報処理装置。この構成によれば、出力すべき決定リストを決定する処理を、並び順を考慮する場合と比べて短時間で完了させることが可能になる。
前記決定ルール集合に含まれる各決定ルールを順位づけする順位設定手段を備え、前記予測手段は、前記順位が上位のＫ個の予測値を用いて前記予測結果を算出する、付記１から３の何れか１項に記載の情報処理装置。この構成によれば、出力すべき決定リストを決定する処理を、並び順を考慮する場合と比べて短時間で完了させることが可能になる。
【0181】
（付記８）
前記順位設定手段は、前記決定ルールを、当該決定ルールの条件を満たす前記訓練用例についての予測値と、比較対象の予測値との差異に基づいて順位づけする、付記７に記載の情報処理装置。この構成によれば、より妥当な予測値を算出できる可能性が高い順に決定ルールを順位づけすることができる。
前記順位設定手段は、前記決定ルールを、当該決定ルールの条件を満たす前記訓練用例についての予測値と、比較対象の予測値との差異に基づいて順位づけする、付記７に記載の情報処理装置。この構成によれば、より妥当な予測値を算出できる可能性が高い順に決定ルールを順位づけすることができる。
【0182】
（付記９）
予測の対象となる入力データを取得する入力データ取得手段と、条件と該条件を満たす場合の予測値とを組み合わせた複数の決定ルールからなる決定リストに含まれる前記決定ルールのうち、前記入力データが前記条件を満たす上位Ｋ個（Ｋは２以上の自然数）の決定ルールの予測値を用いて予測結果を算出する予測手段と、を備える情報処理装置。この構成によれば、予測リストの最上位の予測値のみを用いる従来手法と比べて、予測性能を向上させることができる。
予測の対象となる入力データを取得する入力データ取得手段と、条件と該条件を満たす場合の予測値とを組み合わせた複数の決定ルールからなる決定リストに含まれる前記決定ルールのうち、前記入力データが前記条件を満たす上位Ｋ個（Ｋは２以上の自然数）の決定ルールの予測値を用いて予測結果を算出する予測手段と、を備える情報処理装置。この構成によれば、予測リストの最上位の予測値のみを用いる従来手法と比べて、予測性能を向上させることができる。
【0183】
（付記１０）
少なくとも１つのプロセッサが、条件と該条件を満たす場合の予測値とを組み合わせた決定ルールの集合である決定ルール集合から抽出された複数の前記決定ルールからなる決定リストに含まれる前記決定ルールのうち、訓練用例集合に含まれる訓練用例が前記条件を満たす上位Ｋ個（Ｋは２以上の自然数）の決定ルールの予測値を用いて予測結果を算出することと、前記決定ルール集合から生成された複数の前記決定リストのそれぞれを対象として、前記訓練用例集合に含まれる各訓練用例について算出された前記予測結果に基づいて、出力すべき前記決定リストを決定することと、を含む学習方法。この構成によれば、決定リストを用いた予測の予測性能を向上させることができる。
少なくとも１つのプロセッサが、条件と該条件を満たす場合の予測値とを組み合わせた決定ルールの集合である決定ルール集合から抽出された複数の前記決定ルールからなる決定リストに含まれる前記決定ルールのうち、訓練用例集合に含まれる訓練用例が前記条件を満たす上位Ｋ個（Ｋは２以上の自然数）の決定ルールの予測値を用いて予測結果を算出することと、前記決定ルール集合から生成された複数の前記決定リストのそれぞれを対象として、前記訓練用例集合に含まれる各訓練用例について算出された前記予測結果に基づいて、出力すべき前記決定リストを決定することと、を含む学習方法。この構成によれば、決定リストを用いた予測の予測性能を向上させることができる。
【0184】
（付記１１）
コンピュータを、条件と該条件を満たす場合の予測値とを組み合わせた決定ルールの集合である決定ルール集合から抽出された複数の前記決定ルールからなる決定リストに含まれる前記決定ルールのうち、訓練用例集合に含まれる訓練用例が前記条件を満たす上位Ｋ個（Ｋは２以上の自然数）の決定ルールの予測値を用いて予測結果を算出する予測手段、および前記決定ルール集合から生成された複数の前記決定リストのそれぞれを対象として、前記訓練用例集合に含まれる各訓練用例について算出された前記予測結果に基づいて、出力すべき前記決定リストを決定するリスト決定手段、として機能させる学習プログラム。この構成によれば、決定リストを用いた予測の予測性能を向上させることができる。
コンピュータを、条件と該条件を満たす場合の予測値とを組み合わせた決定ルールの集合である決定ルール集合から抽出された複数の前記決定ルールからなる決定リストに含まれる前記決定ルールのうち、訓練用例集合に含まれる訓練用例が前記条件を満たす上位Ｋ個（Ｋは２以上の自然数）の決定ルールの予測値を用いて予測結果を算出する予測手段、および前記決定ルール集合から生成された複数の前記決定リストのそれぞれを対象として、前記訓練用例集合に含まれる各訓練用例について算出された前記予測結果に基づいて、出力すべき前記決定リストを決定するリスト決定手段、として機能させる学習プログラム。この構成によれば、決定リストを用いた予測の予測性能を向上させることができる。
【0185】
〔付記事項３〕
上述した実施形態の一部又は全部は、更に、以下のように表現することもできる。少なくとも１つのプロセッサを備え、前記プロセッサは、条件と該条件を満たす場合の予測値とを組み合わせた決定ルールの集合である決定ルール集合から抽出された複数の前記決定ルールからなる決定リストに含まれる前記決定ルールのうち、訓練用例集合に含まれる訓練用例が前記条件を満たす上位Ｋ個（Ｋは２以上の自然数）の決定ルールの予測値を用いて予測結果を算出する予測処理と、前記決定ルール集合から生成された複数の前記決定リストのそれぞれを対象として、前記訓練用例集合に含まれる各訓練用例について算出された前記予測結果に基づいて、出力すべき前記決定リストを決定するリスト決定処理と、を実行する情報処理装置。
上述した実施形態の一部又は全部は、更に、以下のように表現することもできる。少なくとも１つのプロセッサを備え、前記プロセッサは、条件と該条件を満たす場合の予測値とを組み合わせた決定ルールの集合である決定ルール集合から抽出された複数の前記決定ルールからなる決定リストに含まれる前記決定ルールのうち、訓練用例集合に含まれる訓練用例が前記条件を満たす上位Ｋ個（Ｋは２以上の自然数）の決定ルールの予測値を用いて予測結果を算出する予測処理と、前記決定ルール集合から生成された複数の前記決定リストのそれぞれを対象として、前記訓練用例集合に含まれる各訓練用例について算出された前記予測結果に基づいて、出力すべき前記決定リストを決定するリスト決定処理と、を実行する情報処理装置。
【0186】
少なくとも１つのプロセッサを備え、前記プロセッサは、予測の対象となる入力データを取得するデータ取得処理と、条件と該条件を満たす場合の予測値とを組み合わせた複数の決定ルールからなる決定リストに含まれる前記決定ルールのうち、前記入力データが前記条件を満たす上位Ｋ個（Ｋは２以上の自然数）の決定ルールの予測値を用いて予測結果を算出する予測処理と、を実行する情報処理装置。
【0187】
なお、これらの情報処理装置は、更にメモリを備えていてもよく、このメモリには、前記予測処理と前記リスト決定処理とを前記プロセッサに実行させるための学習プログラム、あるいは前記データ取得処理と前記予測処理とを前記プロセッサに実行させるための予測プログラムが記憶されていてもよい。また、これらのプログラムは、コンピュータ読み取り可能な一時的でない有形の記録媒体に記録されていてもよい。
【符号の説明】
【0188】
１ 情報処理装置 ２ 情報処理装置
１１ 予測部 ２１ 入力データ取得部
１２ リスト決定部 ２２ 予測部
３ 情報処理装置
３０２ 予測部
３０３ リスト決定部
３１１ 決定ルール集合
３１２ 訓練用例集合
３１３ 決定リスト
４ 情報処理装置 ５ 情報処理装置
４０１ 受付部 ５０１ 受付部
５０２ 順位設定部
４０２ 決定ルール集合生成部
４０３ 予測部 ５０３ 予測部
４０４ リスト決定部 ５０４ リスト決定部
４０５ 入力データ取得部 ５０５ 入力データ取得部
４１１ 決定木集合
４１２ 決定ルール集合 ５１２ 決定ルール集合
４１３ 訓練用例集合 ５１３ 訓練用例集合
４１４ 決定リスト ５１４ 決定リスト
１１ 予測部 ２１ 入力データ取得部
１２ リスト決定部 ２２ 予測部
３ 情報処理装置
３０２ 予測部
３０３ リスト決定部
３１１ 決定ルール集合
３１２ 訓練用例集合
３１３ 決定リスト
４ 情報処理装置 ５ 情報処理装置
４０１ 受付部 ５０１ 受付部
５０２ 順位設定部
４０２ 決定ルール集合生成部
４０３ 予測部 ５０３ 予測部
４０４ リスト決定部 ５０４ リスト決定部
４０５ 入力データ取得部 ５０５ 入力データ取得部
４１１ 決定木集合
４１２ 決定ルール集合 ５１２ 決定ルール集合
４１３ 訓練用例集合 ５１３ 訓練用例集合
４１４ 決定リスト ５１４ 決定リスト
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】