特開 2024-44008 情報処理装置、情報処理方法、プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024044008

(43)【公開日】2024-04-02

(54)【発明の名称】情報処理装置、情報処理方法、プログラム

(51)【国際特許分類】

   G06N 20/00 20190101AFI20240326BHJP

【ＦＩ】

G06N20/00

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2022149300

(22)【出願日】2022-09-20

(71)【出願人】

【識別番号】000004237

【氏名又は名称】日本電気株式会社

(74)【代理人】

【識別番号】100124811

【弁理士】

【氏名又は名称】馬場 資博

(74)【代理人】

【識別番号】100088959

【弁理士】

【氏名又は名称】境 廣巳

(74)【代理人】

【識別番号】100097157

【弁理士】

【氏名又は名称】桂木 雄二

(74)【代理人】

【識別番号】100187724

【弁理士】

【氏名又は名称】唐鎌 睦

(72)【発明者】

【氏名】畠山 優太

(72)【発明者】

【氏名】岡嶋 穣

(57)【要約】

【課題】機械学習モデルの精度の向上を図ることができないこと。
【解決手段】本開示の情報処理装置１００は、複数の機械学習モデルにおける事例の入力空間をそれぞれ複数の領域に分割し、各分割領域に対して確率を付与する領域分割部１２１と、分割領域に付与された確率に基づいて、分割領域に属する所定の事例のサンプリング確率を算出する確率算出部１２２と、所定の事例のサンプリング確率に基づいて、所定の事例を選択する事例選択部１２３と、を備える。
【選択図】図９

【特許請求の範囲】

【請求項1】

複数の機械学習モデルにおける事例の入力空間をそれぞれ複数の領域に分割し、各分割領域に対して確率を付与する領域分割部と、
前記分割領域に付与された前記確率に基づいて、当該分割領域に属する所定の事例のサンプリング確率を算出する確率算出部と、
前記所定の事例の前記サンプリング確率に基づいて、当該所定の事例を選択する事例選択部と、
を備えた情報処理装置。

【請求項2】

請求項１に記載の情報処理装置であって、
前記確率算出部は、異なる前記機械学習モデル毎に設定された前記分割領域に付与された前記確率に基づいて、前記所定の事例の前記サンプリング確率を算出する、
情報処理装置。

【請求項3】

請求項１に記載の情報処理装置であって、
前記確率算出部は、同一の前記所定の事例が属する、異なる前記機械学習モデル毎に設定された複数の前記分割領域に付与された前記確率に基づいて、前記所定の事例の前記サンプリング確率を算出する、
情報処理装置。

【請求項4】

請求項１に記載の情報処理装置であって、
前記領域分割部は、入力事例に対する、複数の前記機械学習モデルとは異なる他の機械学習モデルの予測結果と、複数の前記機械学習モデル毎の予測結果と、に基づいて、複数の前記機械学習モデルの前記分割領域に前記確率を付与する、
情報処理装置。

【請求項5】

請求項４に記載の情報処理装置であって、
前記領域分割部は、前記入力事例に対する、前記他の機械学習モデルに設定された前記分割領域における予測確率と、複数の前記機械学習モデル毎に設定された前記分割領域における予測確率と、の差異に基づいて、複数の前記機械学習モデルの前記分割領域に前記確率を付与する、
情報処理装置。

【請求項6】

請求項５に記載の情報処理装置であって、
前記領域分割部は、前記差異が大きくなるほど、複数の前記機械学習モデルの前記分割領域に付与する前記確率の値が大きくなるよう設定する、
情報処理装置。

【請求項7】

請求項４に記載の情報処理装置であって、
前記領域分割部は、前記入力事例に対する、複数の前記機械学習モデルに基づいて生成された新たな機械学習モデルである前記他の機械学習モデルの予測結果と、複数の前記機械学習モデル毎の予測結果と、に基づいて、複数の前記機械学習モデルの前記分割領域に前記確率を付与する、
情報処理装置。

【請求項8】

請求項１に記載の情報処理装置であって、
複数の前記機械学習モデルは、決定木もしくは決定リストである、
情報処理装置。

【請求項9】

複数の機械学習モデルにおける事例の入力空間をそれぞれ複数の領域に分割し、各分割領域に対して確率を付与し、
前記分割領域に付与された前記確率に基づいて、当該分割領域に属する所定の事例のサンプリング確率を算出し、
前記所定の事例の前記サンプリング確率に基づいて、当該所定の事例を選択する、
情報処理方法。

【請求項10】

複数の機械学習モデルにおける事例の入力空間をそれぞれ複数の領域に分割し、各分割領域に対して確率を付与し、
前記分割領域に付与された前記確率に基づいて、当該分割領域に属する所定の事例のサンプリング確率を算出し、
前記所定の事例の前記サンプリング確率に基づいて、当該所定の事例を選択する、
処理をコンピュータに実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、情報処理装置、情報処理方法、プログラムに関する。

【背景技術】

【0002】

機械学習によって構築されるモデルとして、特許文献１に記載されているようなルールベース型の機械学習モデルがある。そして、ルールベース型の機械学習モデルの精度を向上させるために、能動学習（Ａｃｔｉｖｅ Ｌｅａｒｎｉｎｇ）が行われる。能動学習では、モデルの予測が不確かなラベル無し事例を選択し、ラベルを付けて訓練事例に加え、この訓練事例を用いてモデルを再学習させる。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２０－１９８０４１号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、上述した能動学習では、決定境界付近の事例を重点的に訓練事例に加えようとするため、分布に対して訓練事例が偏ってしまう。その結果、ルールベース型の機械学習モデルの精度の向上を図ることができない、という問題が生じる。また、かかる問題は、ルールベース型の機械学習モデルに限らず、あらゆる機械学習モデルに対しても生じうる。

【0005】

このため、本開示の目的は、上述した課題である、機械学習モデルの精度の向上を図ることができない、ことを解決することができる情報処理装置を提供することにある。

【課題を解決するための手段】

【0006】

本開示の一形態である情報処理装置は、
複数の機械学習モデルにおける事例の入力空間をそれぞれ複数の領域に分割し、各分割領域に対して確率を付与する領域分割部と、
前記分割領域に付与された前記確率に基づいて、当該分割領域に属する所定の事例のサンプリング確率を算出する確率算出部と、
前記所定の事例の前記サンプリング確率に基づいて、当該所定の事例を選択する事例選択部と、
を備えた、
という構成をとる。

【0007】

また、本開示の一形態である情報処理方法は、
複数の機械学習モデルにおける事例の入力空間をそれぞれ複数の領域に分割し、各分割領域に対して確率を付与し、
前記分割領域に付与された前記確率に基づいて、当該分割領域に属する所定の事例のサンプリング確率を算出し、
前記所定の事例の前記サンプリング確率に基づいて、当該所定の事例を選択する、
という構成をとる。

【0008】

また、本開示の一形態であるプログラムは、
複数の機械学習モデルにおける事例の入力空間をそれぞれ複数の領域に分割し、各分割領域に対して確率を付与し、
前記分割領域に付与された前記確率に基づいて、当該分割領域に属する所定の事例のサンプリング確率を算出し、
前記所定の事例の前記サンプリング確率に基づいて、当該所定の事例を選択する、
処理をコンピュータに実行させる、
という構成をとる。

【発明の効果】

【0009】

本開示は、以上のように構成されることにより、機械学習モデルの精度の向上を図ることができる。

【図面の簡単な説明】

【0010】

【図1】本開示の実施形態１における情報処理装置の構成を示すブロック図である。

【図2】図１に開示した情報処理装置による処理の様子を示す図である。

【図3】図１に開示した情報処理装置による処理の様子を示す図である。

【図4】図１に開示した情報処理装置による処理の様子を示す図である。

【図5】図１に開示した情報処理装置による処理の様子を示す図である。

【図6】図１に開示した情報処理装置による他の処理の様子を示す図である。

【図7】図１に開示した情報処理装置の動作を示すフローチャートである。

【図8】本開示の実施形態２における情報処理装置のハードウェア構成を示すブロック図である。

【図9】本開示の実施形態２における情報処理装置の構成を示すブロック図である。

【発明を実施するための形態】

【0011】

＜実施形態１＞
本開示の第１の実施形態を、図１乃至図７を参照して説明する。図１は、情報処理装置の構成を説明するための図であり、図２乃至図７は、情報処理装置の処理動作を説明するための図である。

【0012】

［構成］
本実施形態における情報処理装置１０は、機械学習によって構築される機械学習モデルの精度を向上させるために、訓練効率の良いラベル無し事例を選択することに好適である。ここで、本実施形態では、訓練する機械学習モデルとして、入力値から決定木や決定リストによって予測値を出力するルールベース型の機械学習モデルを一例に挙げて説明する。但し、本開示の情報処理装置１０が対象とする機械学習モデルは、ルールベース型の機械学習モデルに限定されず、いかなる機械学習モデルを対象としてもよい。

【0013】

情報処理装置１０は、演算装置と記憶装置とを備えた１台又は複数台の情報処理装置にて構成される。そして、情報処理装置１０は、図２に示すように、入力部１１、領域分割部１２、確率算出部１３、事例選択部１４、出力部１５、を備える。入力部１１、領域分割部１２、確率算出部１３、事例選択部１４、出力部１５の各機能は、演算装置が記憶装置に格納された各機能を実現するためのプログラムを実行することにより実現することができる。また、情報処理装置１０は、事例記憶部１６、モデル記憶部１７、選択事例記憶部１８、を備える。事例記憶部１６、モデル記憶部１７、選択事例記憶部１８は、記憶装置により構成される。以下、各構成について、図２乃至図５に示す処理の様子を示す図を参照して詳述する。なお、図２は、情報処理装置１０による全体的な処理の概要を示す図である。

【0014】

入力部１１は、事前に正解ラベルが付与された訓練事例Ｄ１の集合からなるデータセットの入力を受け付けて、図２の符号Ｓ１に示すように、訓練事例Ｄ１から複数の訓練事例Ｄ１１，Ｄ１２，Ｄ１３の集合を生成して事例記憶部１６に記憶する。このとき、入力部１１は、例えば、訓練事例Ｄ１の集合から、重複ありサンプリングにより複数の訓練事例Ｄ１１，Ｄ１２，Ｄ１３の集合を生成する。但し、入力部１１は、必ずしも１つの訓練事例の集合から複数の訓練事例の集合を生成することに限定されず、予め生成された複数の訓練事例の集合を取得してもよい。また、複数の訓練事例の集合は、図２に示す３つであることに限定されず、いかなる数であってもよい。

【0015】

続いて、入力部１１は、図２の符号Ｓ１に示すように、各訓練事例Ｄ１１，Ｄ１２，Ｄ１３の集合をそれぞれ学習することで、複数の機械学習モデルｄｔ１，ｄｔ２，ｄｔ３を生成し、モデル記憶部１７に記憶する。ここでは、入力部１１は、入力値から決定木や決定リストによって予測値を出力する機械学習モデルを生成するが、いかなる構成の機械学習モデルを生成してもよい。また、生成する機械学習モデルの数は、図２に示す３つであることに限定されず、いかなる数であってもよい。

【0016】

なお、本実施形態では、上述したように入力部１１によって入力を受け付けた訓練事例Ｄ１から、複数の機械学習モデルｄｔ１，ｄｔ２，ｄｔ３を生成することとしているが、予め生成された複数の機械学習モデルｄｔ１，ｄｔ２，ｄｔ３を、モデル記憶部１７に記憶していてもよい。

【0017】

領域分割部１２は、複数の機械学習モデルｄｔ１，ｄｔ２，ｄｔ３それぞれにおいて、各機械学習モデルに対する入力値となる事例の入力空間を複数の領域に分割する。ここで、機械学習モデルｄｔ１，ｄｔ２，ｄｔ３の一例を図３に示すが、決定木からなる機械学習モデルの場合、事例の入力空間の分割領域は、決定木による予測値（予測ラベル）となり、決定木を図で表した場合における各葉ノードが相当する。例えば、図３に示すように、機械学習モデルｄｔ１の場合には、２つの葉ノードｌｅａｆ（１，１），ｌｅａｆ（１，２）が分割領域となり、機械学習モデルｄｔ２の場合には、２つの葉ノードｌｅａｆ（２，１），ｌｅａｆ（２，２）が分割領域となり、機械学習モデルｄｔ３の場合には、２つの葉ノードｌｅａｆ（３，１），ｌｅａｆ（３，２）が分割領域となる。なお、機械学習モデルが決定リストからなる機械学習モデルの場合には、一連の決定リストによる条件（前件）が分割領域つまり上述した葉ノードに相当することとなる。

【0018】

また、図４に、領域分割部１２による機械学習モデルの入力空間の他の分割例を示す。図４左図は、機械学習モデルｄｔ１の入力空間を示しており、符号Ｂは決定境界を示している。そして、機械学習モデルｄｔ１の葉ノードが３つの場合には、領域分割部１２は、入力空間を３つの分割領域ｌｅａｆ（１，１），ｌｅａｆ（１，２），ｌｅａｆ（１，３）に分割することとなる。また、図４右図は、機械学習モデルｄｔ２の入力空間を示しており、符号Ｂは決定境界を示している。そして、機械学習モデルｄｔ１の葉ノードが４つである場合には、領域分割部１２は、入力空間を４つの分割領域ｌｅａｆ（２，１），ｌｅａｆ（２，２），ｌｅａｆ（２，３），ｌｅａｆ（２，４）に分割することとなる。このように、領域分割部１２は、機械学習モデルの入力空間をいかなる数の分割領域に分割してもよい。

【0019】

さらに、領域分割部１２は、上述したように各機械学習モデルにおいてそれぞれ入力空間を分割して設定した分割領域に対して、確率を付与する。例えば、領域分割部１２は、上述した図３の例では、機械学習モデルｄｔ１の葉ノードつまり分割領域ｌｅａｆ（１，１）には「確率ｐ_１，１」、葉ノードつまり分割領域ｌｅａｆ（１，２）には「確率ｐ_１，２」、を付与する。同様に、機械学習モデルｄｔ２の各分割領域ｌｅａｆ（２，１），ｌｅａｆ（２，２）には、それぞれ「確率ｐ_２，１」，「確率ｐ_２，２」を付与し、機械学習モデルｄｔ３の各分割領域ｌｅａｆ（３，１），ｌｅａｆ（３，２）には、それぞれ「確率ｐ_３，１」，「確率ｐ_３，２」を付与する。また、領域分割部１２は、上述した図４の例では、機械学習モデルｄｔ１の分割領域ｌｅａｆ（１，１）には「確率ｐ_１，１」、分割領域ｌｅａｆ（１，２）には「確率ｐ_１，２」、分割領域ｌｅａｆ（１，３）には「確率ｐ_１，３」を付与する。同様に、機械学習モデルｄｔ２の各分割領域ｌｅａｆ（２，１），ｌｅａｆ（２，２），ｌｅａｆ（２，３），ｌｅａｆ（２，４）には、それぞれ「確率ｐ_２，１」，「確率ｐ_２，２」，「確率ｐ_２，３」，「確率ｐ_２，４」を付与する。

【0020】

ここで、上述した領域分割部１２による分割領域に対して付与する確率の算出例を説明する。まず、領域分割部１２は、図５の上図に示す複数の機械学習モデルｄｔ１，ｄｔ２，ｄｔ３からなるアンサンブルモデルＴを、図５の下図のように設定する。そして、領域分割部１２は、入力事例となるラベル無しデータ集合Ｕを用意し、アンサンブルモデルＴと、各機械学習モデルｄｔ１，ｄｔ２，ｄｔ３とに入力し、アンサンブルモデルＴによる予測結果と、各機械学習モデルｄｔ１，ｄｔ２，ｄｔ３による予測結果と、に基づいて、各機械学習モデルｄｔ１，ｄｔ２，ｄｔ３の各分割領域に対する確率を算出して付与する。具体的に、領域分割部１２は、入力事例に対するアンサンブルモデルＴの予測確率が最も高いラベルを正解ラベルとみなし、入力事例に対してアンサンブルモデルＴにより正解ラベルとなる予測確率と、入力事例に対して各機械学習モデルｄｔ１，ｄｔ２，ｄｔ３により上記正解ラベルとなる分割領域つまり葉ノードにおける予測確率と、の差異に基づいて、各機械学習モデルｄｔ１，ｄｔ２，ｄｔ３の各分割領域に対する確率を算出して付与する。つまり、アンサンブルモデルＴの予測確率と、各機械学習モデルｄｔ１，ｄｔ２，ｄｔ３の予測確率と、の差異を、分割領域である葉ノード毎に評価して、評価結果に基づいて確率を算出する。以下、さらなる具体的な処理の一例を説明する。

【0021】

まず、各機械学習モデルをｄｔｉ（ｉはモデルの数：ｉ＝１～Ｋ）とし、各機械学習モデルの予測確率をｐ_ｄｔｉ、ラベル空間をＬ、入力事例となるラベル無しデータ集合Ｕ、を考える。ここでは、ラベル無しの入力事例ｘ∈Ｕに対し、アンサンブルモデルＴが予測するラベルをｙ_ｅｎｓ（ｘ）とし、アンサンブルモデルＴがラベルｙと予測する確率をｐ_ｅｎｓ（ｙ｜ｘ）、各機械学習モデルがラベルｙと予測する確率をｐ_ｄｔｉ（ｙ｜ｘ）、とし、それぞれ以下の数１式、数２式で表すこととする。

【数1】

【数2】

【0022】

そして、データ集合Ｕ内の入力事例で、機械学習モデルｄｔｉの葉ノードｊ（ｌｅａｆ（ｉ，ｊ））に分割される事例の集合をＵ_ｉ，ｊとし（Ｕ_ｉ，ｊ⊂Ｕ）、機械学習モデルｄｔｉの葉ノードｊにおける、予測確率の差異の平均ｄｉｆｆ（ｉ，ｊ）を、次の数３式及び数４式で定義する。

【数3】

【数4】

【0023】

そして、上記数３式におけるｄｉｆｆ（ｉ，ｊ）は、各機械学習モデルｄｔｉの葉ノードｊ毎に定義され、機械学習モデルｄｔｉの全葉ノード数をＮ_ｉとしたとき、葉ノードｊの「確率ｐ_ｉ，ｊ」を、数５式で定義する。

【数5】

【0024】

なお、上記では、領域分割部１２が、アンサンブルモデルＴと各機械学習モデルｄｔｉとの予測確率の差異に基づいて、各葉ノードである分割領域の確率を算出する場合を例示したが、アンサンブルモデルＴに替えて、他の機械学習モデルを用いてもよい。この場合、アンサンブルモデルＴの替わりに用いる他の機械学習モデルは、事前に生成された所定の事例に対して予測精度の高い機械学習モデルであると望ましい。

【0025】

また、上述した領域分割部１２による各分割領域の確率の算出方法は一例であって、いかなる方法により各分割領域に確率を付与してもよい。例えば、領域分割部１２は、各分割領域に、予め設定された算出式による値や任意の値を付与してもよい。

【0026】

確率算出部１３は、上述したように各機械学習モデルｄｔ１，ｄｔ２，ｄｔ３の各分割領域に付与した確率に基づいて、図２の符号Ｓ２に示すように、ラベル無しの入力事例Ｄ２を各機械学習モデルｄｔ１，ｄｔ２，ｄｔ３に入力した場合における当該入力事例Ｄ２のサンプリング確率を算出する。このとき、確率算出部１３は、各機械学習モデルｄｔ１，ｄｔ２，ｄｔ３において入力事例Ｄ２が属する分割領域に付与された確率に基づいて、当該入力事例Ｄ２のサンプリング確率を算出する。

【0027】

ここで、入力事例が、ラベル無しの入力事例ｘ∈Ｕであることとし、かかる入力事例ｘが、図３に示す各機械学習モデルｄｔ１，ｄｔ２，ｄｔ３のそれぞれの分割領域である各葉ノードｌｅａｆ（１，１），ｌｅａｆ（２，１），ｌｅａｆ（３，１）に属していたとする。この場合、確率算出部１３は、まず、機械学習モデルｄｔ１，ｄｔ２，ｄｔ３毎における入力事例ｘのサンプリング確率ｐ_ｉ（ｘ）を数６のように求める。すると、入力事例ｘに対する各機械学習モデルｄｔ１，ｄｔ２，ｄｔ３におけるそれぞれの確率は、「確率ｐ_１，１」，「確率ｐ_２，１」，「確率ｐ_３，１」となる。

【数6】

【0028】

そして、確率算出部１３は、入力事例ｘに対する各機械学習モデルｄｔ１，ｄｔ２，ｄｔ３におけるそれぞれの確率の平均値を、図７、具体的には図８のように算出する。

【数7】

【数8】

【0029】

さらに、確率算出部１３は、上記平均値を、数９式に示すように、確率の和が１となるように正規化して、「サンプリング確率ｐ（ｘ）」を算出する。

【数9】

【0030】

なお、上記では、確率算出部１３は、入力事例ｘが属する複数の分割領域にそれぞれ付与された確率を平均してサンプリング確率を算出しているが、必ずしも複数の分割領域の確率の平均を用いてサンプリング確率を算出することに限定されない。例えば、入力事例ｘが属する複数の分割領域にそれぞれ付与された確率に対して予め設定された基準により重みを付与して、重み付き平均でサンプリング確率を算出してもよい。また、別の例として、例えば、図６に示すように、入力事例ｘ１,ｘ２がそれぞれ各機械学習モデルｄｔ１，ｄｔ２の各分割領域に属している場合を考える。この場合、入力事例ｘ１については、属する分割領域のうち１つの分割領域、つまり、機械学習モデルｄｔ１の分割領域ｌｅａｆ（１，１）を選択して、その確率ｐ_１，１を用いてサンプリング確率を算出してもよい。同様に、入力事例ｘ２については、属する分割領域のうち１つの分割領域、つまり、機械学習モデルｄｔ２の分割領域ｌｅａｆ（２，４）の確率ｐ_２，４を用いてサンプリング確率を算出してもよい。このように、確率算出部１３は、各入力事例について、それぞれ異なる機械学習モデルの分割領域に付与された確率を用いて、サンプリング確率を算出してもよい。但し、上記の例では、確率算出部１３は、確率の和が１となるように、入力事例ｘ１のサンプリング確率をｐ_１，１／（ｐ_１，１＋ｐ_２，４）、入力事例ｘ２のサンプリング確率をｐ_２，４／（ｐ_１，１＋ｐ_２，４）、と算出してもよい。また、確率算出部１３は、上述した例に限らず、入力事例のサンプリング確率を、いかなる機械学習モデルのいかなる分割領域の確率を用いて算出してもよい。

【0031】

事例選択部１４は、上述したように入力事例について算出したサンプリング確率に基づいて、入力事例を選択する。例えば、事例選択部１４は、サンプリング確率の値が高いほど選択される確率を高くして、かかる入力事例を選択する。そして、事例選択部１４は、図２の符号Ｓ２に示すように、選択した入力事例に対するラベルの付与を、オラクルＯに問い合わせる。なお、オラクルＯは、他の機械学習モデルであってもよく、人間であってもよい。そして、事例選択部１４は、オラクルＯによってラベルが付与された入力事例Ｄ２１を選択事例記憶部１８に記憶する。

【0032】

出力部１５は、選択事例記憶部１８に記憶されているラベルが付与された入力事例Ｄ２１を、図２の符号Ｓ３に示すように、任意のタイミングで利用者に対して出力したり、図２の符号Ｓ４に示すように、機械学習モデルの学習用の訓練事例Ｄ１として出力してもよい。

【0033】

［動作］
次に、上述した情報処理装置１０の動作を、主に図７のフローチャートを参照して説明する。

【0034】

まず、情報処理装置１０は、事前に正解ラベルが付与された訓練事例を学習して、複数の機械学習モデルｄｔ１，ｄｔ２，ｄｔ３を生成する（ステップＳ１１）。但し、情報処理装置１０は、予め生成された複数の機械学習モデルｄｔ１，ｄｔ２，ｄｔ３を記憶していてもよい。

【0035】

続いて、情報処理装置１０は、複数の機械学習モデルｄｔ１，ｄｔ２，ｄｔ３それぞれにおいて、各機械学習モデルに対する入力値となる事例の入力空間を複数の領域に分割して、各分割領域に確率を付与する（ステップＳ１２）。例えば、情報処理装置１０は、図３に示す決定木からなる機械学習モデルの場合、各葉ノードに相当する各分割領域に、それぞれ確率を付与する。このとき、情報処理装置１０は、図５に示すように、複数の機械学習モデルｄｔ１，ｄｔ２，ｄｔ３からなるアンサンブルモデルＴを設定し、アンサンブルモデルＴの予測と、各機械学習モデルｄｔ１，ｄｔ２，ｄｔ３の予測の差異を、分割領域である葉ノード毎に評価して、評価結果に基づいて算出した確率を付与する。但し、情報処理装置１０は、複数の機械学習モデルｄｔ１，ｄｔ２，ｄｔ３の分割領域に対して、いかなる方法で確率を付与してもよい。

【0036】

続いて、情報処理装置１０は、各機械学習モデルｄｔ１，ｄｔ２，ｄｔ３の各分割領域に付与した確率に基づいて、ラベル無しの入力事例を各機械学習モデルｄｔ１，ｄｔ２，ｄｔ３に入力した場合における、当該入力事例のサンプリング確率を算出する（ステップＳ１３）。このとき、情報処理装置１０は、各機械学習モデルｄｔ１，ｄｔ２，ｄｔ３において入力事例が属する分割領域に付与された確率に基づいて、当該入力事例のサンプリング確率を算出する。例えば、情報処理装置１０は、入力事例が属する各機械学習モデルｄｔ１，ｄｔ２，ｄｔ３の各分割領域に付与された確率の平均値を、サンプリング確率として算出する。但し、情報処理装置１０は、いかなる方法でサンプリング確率を算出してもよい。

【0037】

続いて、情報処理装置１０は、入力事例について算出したサンプリング確率に基づいて、入力事例を選択する（ステップＳ１４）。例えば、情報処理装置１０は、サンプリング確率の値が高いほど選択される確率を高くして、かかる入力事例を選択する。そして、情報処理装置１０は、選択した入力事例に対するラベルの付与をオラクルＯに問い合わせ、ラベルが付与された入力事例を選択事例記憶部１８に記憶する（ステップＳ１５）。

【0038】

その後、情報処理装置１０は、選択されてラベルが付与された入力事例を、任意のタイミングで利用者に対して出力したり、機械学習モデルの学習用の訓練事例Ｄ１として出力する。

【0039】

以上のように、本実施形態における情報処理装置１０では、複数の機械学習モデルｄｔ１，ｄｔ２，ｄｔ３それぞれに複数の分割空間を設定して、各分割空間に確率を付与し、さらに、各分割空間に付与された確率を用いて、所定の事例に対するサンプリング確率を算出している。このため、かかるサンプリング確率に基づいて事例を選択することにより、選択された事例が機械学習モデルの入力空間において偏ることを抑制でき、後に訓練事例として利用した場合に機械学習モデルの精度の向上を図ることができる

【0040】

特に、本実施形態では、アンサンブルモデルのような他の機械学習モデルの予測確率と、複数の機械学習モデルとの予測確率と、の差異が大きい分割領域ほど確率が高く設定され、かかる分割領域に属する入力事例のサンプリング確率が高く算出されることとなる。このため、機械学習モデルに対して訓練効率のよい事例を選択する確率が高まり、さらなる機械学習モデルの精度の向上を図ることができる。

【0041】

＜実施形態２＞
次に、本開示の第２の実施形態を、図８乃至図９を参照して説明する。図８乃至図９は、実施形態２における情報処理装置の構成を示すブロック図である。なお、本実施形態では、上述した実施形態で説明した情報処理装置の構成の概略を示している。

【0042】

まず、図８を参照して、本実施形態における情報処理装置１００のハードウェア構成を説明する。情報処理装置１００は、一般的な情報処理装置にて構成されており、一例として、以下のようなハードウェア構成を装備している。
・ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０１（演算装置）
・ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１０２（記憶装置）
・ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１０３（記憶装置）
・ＲＡＭ１０３にロードされるプログラム群１０４
・プログラム群１０４を格納する記憶装置１０５
・情報処理装置外部の記憶媒体１１０の読み書きを行うドライブ装置１０６
・情報処理装置外部の通信ネットワーク１１１と接続する通信インタフェース１０７
・データの入出力を行う入出力インタフェース１０８
・各構成要素を接続するバス１０９

【0043】

なお、図８は、情報処理装置１００である情報処理装置のハードウェア構成の一例を示しており、情報処理装置のハードウェア構成は上述した場合に限定されない。例えば、情報処理装置は、ドライブ装置１０６を有さないなど、上述した構成の一部から構成されてもよい。また、情報処理装置は、上述したＣＰＵの代わりに、ＧＰＵ（Ｇｒａｐｈｉｃ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、ＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＦＰＵ（Ｆｌｏａｔｉｎｇ ｐｏｉｎｔ ｎｕｍｂｅｒ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＰＰＵ（Ｐｈｙｓｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＴＰＵ（ＴｅｎｓｏｒＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）、量子プロセッサ、マイクロコントローラ、又は、これらの組み合わせなどを用いることができる。

【0044】

そして、情報処理装置１００は、プログラム群１０４をＣＰＵ１０１が取得して当該ＣＰＵ１０１が実行することで、図９に示す領域分割部１２１と確率算出部１２２と選択部１２３とを構築して装備することができる。なお、プログラム群１０４は、例えば、予め記憶装置１０５やＲＯＭ１０２に格納されており、必要に応じてＣＰＵ１０１がＲＡＭ１０３にロードして実行する。また、プログラム群１０４は、通信ネットワーク１１１を介してＣＰＵ１０１に供給されてもよいし、予め記憶媒体１１０に格納されており、ドライブ装置１０６が該プログラムを読み出してＣＰＵ１０１に供給してもよい。但し、上述した領域分割部１２１と確率算出部１２２と選択部１２３とは、かかる手段を実現させるための専用の電子回路で構築されるものであってもよい。

【0045】

上記領域分割部１２１は、複数の機械学習モデルにおける事例の入力空間をそれぞれ複数の領域に分割し、各分割領域に対して確率を付与する。例えば、予測部１２１は、入力事例に対する、他の機械学習モデルの予測結果と、複数の機械学習モデル毎の予測結果と、の差異に基づいて各分割領域に確率を付与し、一例として、差異が大きい分割領域ほど大きな値の確率を付与する。

【0046】

上記確率算出部１２２は、分割領域に付与された確率に基づいて、分割領域に属する所定の事例のサンプリング確率を算出する。例えば、確率算出部１２２は、異なる機械学習モデル毎の分割領域に付与された確率をそれぞれ用いて、所定の事例のサンプリング確率を算出する。

【0047】

上記事例選択部１２３は、所定の事例のサンプリング確率に基づいて、所定の事例を選択する。その後、選択された事例には、ラベルが付与されて出力されたり、さらなる訓練事例として使用されうる。

【0048】

本開示は、以上のように構成されることにより、複数の機械学習モデルそれぞれに複数の分割空間を設定して、各分割空間に確率を付与し、さらに、各分割空間に付与された確率を用いて、所定の事例に対するサンプリング確率を算出している。このため、かかるサンプリング確率に基づいて事例を選択することにより、選択された事例が機械学習モデルの入力空間において偏ることを抑制でき、後に訓練事例として利用した場合に機械学習モデルの精度の向上を図ることができる。

【0049】

なお、上述したプログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ－ＲＯＭ（Read Only Memory）、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（Random Access Memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。

【0050】

以上、上記実施形態等を参照して本開示を説明したが、本開示は、上述した実施形態に限定されるものではない。本開示の構成や詳細には、本開示の範囲内で当業者が理解しうる様々な変更をすることができる。また、上述した領域分割部１２１と確率算出部１２２と選択部１２３との機能のうちの少なくとも一以上の機能は、ネットワーク上のいかなる場所に設置され接続された情報処理装置で実行されてもよく、つまり、いわゆるクラウドコンピューティングで実行されてもよい。

【0051】

＜付記＞
上記実施形態の一部又は全部は、以下の付記のようにも記載されうる。以下、本開示における情報処理装置、情報処理方法、プログラムの構成の概略を説明する。但し、本開示は、以下の構成に限定されない。
（付記１）
複数の機械学習モデルにおける事例の入力空間をそれぞれ複数の領域に分割し、各分割領域に対して確率を付与する領域分割部と、
前記分割領域に付与された前記確率に基づいて、当該分割領域に属する所定の事例のサンプリング確率を算出する確率算出部と、
前記所定の事例の前記サンプリング確率に基づいて、当該所定の事例を選択する事例選択部と、
を備えた情報処理装置。
（付記２）
付記１に記載の情報処理装置であって、
前記確率算出部は、異なる前記機械学習モデル毎に設定された前記分割領域に付与された前記確率に基づいて、前記所定の事例の前記サンプリング確率を算出する、
情報処理装置。
（付記３）
付記１に記載の情報処理装置であって、
前記確率算出部は、同一の前記所定の事例が属する、異なる前記機械学習モデル毎に設定された複数の前記分割領域に付与された前記確率に基づいて、前記所定の事例の前記サンプリング確率を算出する、
情報処理装置。
（付記４）
付記１に記載の情報処理装置であって、
前記領域分割部は、入力事例に対する、複数の前記機械学習モデルとは異なる他の機械学習モデルの予測結果と、複数の前記機械学習モデル毎の予測結果と、に基づいて、複数の前記機械学習モデルの前記分割領域に前記確率を付与する、
情報処理装置。
（付記５）
付記４に記載の情報処理装置であって、
前記領域分割部は、前記入力事例に対する、前記他の機械学習モデルに設定された前記分割領域における予測確率と、複数の前記機械学習モデル毎に設定された前記分割領域における予測確率と、の差異に基づいて、複数の前記機械学習モデルの前記分割領域に前記確率を付与する、
情報処理装置。
（付記６）
付記５に記載の情報処理装置であって、
前記領域分割部は、前記差異が大きくなるほど、複数の前記機械学習モデルの前記分割領域に付与する前記確率の値が大きくなるよう設定する、
情報処理装置。
（付記７）
付記４に記載の情報処理装置であって、
前記領域分割部は、前記入力事例に対する、複数の前記機械学習モデルに基づいて生成された新たな機械学習モデルである前記他の機械学習モデルの予測結果と、複数の前記機械学習モデル毎の予測結果と、に基づいて、複数の前記機械学習モデルの前記分割領域に前記確率を付与する、
情報処理装置。
（付記８）
付記１に記載の情報処理装置であって、
複数の前記機械学習モデルは、決定木もしくは決定リストである、
情報処理装置。
（付記９）
複数の機械学習モデルにおける事例の入力空間をそれぞれ複数の領域に分割し、各分割領域に対して確率を付与し、
前記分割領域に付与された前記確率に基づいて、当該分割領域に属する所定の事例のサンプリング確率を算出し、
前記所定の事例の前記サンプリング確率に基づいて、当該所定の事例を選択する、
情報処理方法。
（付記１０）
複数の機械学習モデルにおける事例の入力空間をそれぞれ複数の領域に分割し、各分割領域に対して確率を付与し、
前記分割領域に付与された前記確率に基づいて、当該分割領域に属する所定の事例のサンプリング確率を算出し、
前記所定の事例の前記サンプリング確率に基づいて、当該所定の事例を選択する、
処理をコンピュータに実行させるためのプログラム。

【符号の説明】

【0052】

１０ 情報処理装置
１１ 入力部
１２ 領域分割部
１３ 確率算出部
１４ 事例選択部
１５ 出力部
１６ 事例記憶部
１７ モデル記憶部
１８ 選択事例記憶部
１００ 情報処理装置
１０１ ＣＰＵ
１０２ ＲＯＭ
１０３ ＲＡＭ
１０４ プログラム群
１０５ 記憶装置
１０６ ドライブ装置
１０７ 通信インタフェース
１０８ 入出力インタフェース
１０９ バス
１１０ 記憶媒体
１１１ 通信ネットワーク
１２１ 領域分割部
１２２ 確率算出部
１２３ 選択部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】