特許 7597230 決定木生成システム、情報処理装置、サーバ、決定木生成方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-12-02

(45)【発行日】2024-12-10

(54)【発明の名称】決定木生成システム、情報処理装置、サーバ、決定木生成方法およびプログラム

(51)【国際特許分類】

   G06N 20/20 20190101AFI20241203BHJP

【ＦＩ】

G06N20/20

【請求項の数】 10

(21)【出願番号】P 2023544800

(86)(22)【出願日】2021-08-30

(86)【国際出願番号】 JP2021031697

(87)【国際公開番号】W WO2023031992

(87)【国際公開日】2023-03-09

【審査請求日】2024-02-08

(73)【特許権者】

【識別番号】000004237

【氏名又は名称】日本電気株式会社

(74)【代理人】

【識別番号】100109313

【弁理士】

【氏名又は名称】机 昌彦

(74)【代理人】

【識別番号】100149618

【弁理士】

【氏名又は名称】北嶋 啓至

(72)【発明者】

【氏名】エンケタイワン バトニヤマ

【審査官】今城 朋彬

(56)【参考文献】

【文献】米国特許出願公開第２０２０／０２９３９５２（ＵＳ，Ａ１）

【文献】ONG, Y.J., ET AL.，Adaptive Histogram-Based Gradient Boosted Trees for Federated Learning，arXiv.org [online]，2020年12月11日，[retrieved on 2021-11-02], Retrieved from the Internet: <URL: https://arxiv.org/abs/2012.06670>，arXiv:2012.06670

【文献】TIAN, Z., ET AL，FederBoost: Private Federated Learning for GBDT，arXiv.org [online]，2020年11月05日，[retrieved on 2021-11-02], Retrieved from the Internet: <URL: https://arxiv.org/abs/2011.02796>，arXiv:2011.02796

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｎ ２０／００－２０／２０

(57)【特許請求の範囲】

【請求項1】

複数の情報処理装置と連携して勾配ブースティング決定木を生成する際に、前記複数の情報処理装置それぞれから取得したデータの分布を示す情報に基づいて、ノードの分割条件の候補を分割候補として決定する分割候補決定手段と、
前記複数の情報処理装置に、前記分割候補を出力するデータ出力手段と、
前記分割候補を基にした分割によって生じる子ノードに入るデータ数を調整して前記分割候補を評価した評価結果を、前記複数の情報処理装置から取得するデータ取得手段と、
前記複数の情報処理装置から取得した前記分割候補の評価結果を基に、前記勾配ブースティング決定木を生成する決定木生成手段と
を備えるサーバと、
前記サーバからノードの分割条件の候補を前記分割候補として取得する取得手段と、
保持しているデータのうち、前記分割候補を基にした分割により生じる２つの子ノードそれぞれに入るデータの数を計算するデータ数計算手段と、
前記子ノードに入るデータ数があらかじめ決めた数より少ない場合、前記子ノードに入るデータを調整する調整手段と、
前記調整後の前記２つの子ノードのデータを用いて、前記分割候補を評価する評価手段と、
前記分割候補の評価結果を前記サーバに出力する出力手段と
を備える複数の情報処理装置と
を備える決定木生成システム。

【請求項2】

前記情報処理装置は、
保持しているデータから合成データを生成する生成モデルを用いて、前記合成データを生成するデータ生成手段をさらに備え、
前記調整手段は、前記分割候補を基にした分割により生じる子ノードに入るデータ数があらかじめ決められた数より少ない場合、前記合成データによって前記子ノードのデータを調整する、
請求項１に記載の決定木生成システム。

【請求項3】

前記調整手段は、いずれかの子ノードに入るデータの数が第１基準未満の場合に、前記第１基準の数よりも少ない子ノードに入るデータを削除し、前記第１基準以上でかつ第２基準未満の場合に、前記合成データによって前記子ノードのデータを調整する、
請求項２に記載の決定木生成システム。

【請求項4】

前記調整手段は、いずれか一方の子ノードに入るデータを調整した場合に、２つの子ノードのデータの数の比が維持されるように、もう一方の子ノードに入るデータを前記合成データによって調整する、
請求項２または３に記載の決定木生成システム。

【請求項5】

勾配ブースティング決定木を生成するサーバからノードの分割条件の候補を分割候補として取得する取得手段と、
保持しているデータのうち、前記分割候補を基にした分割により生じる２つの子ノードそれぞれに入るデータ数を計算するデータ数計算手段と、
前記分割候補を基にした分割により生じる子ノードに入るデータ数があらかじめ決めた数より少ない場合、該子ノードに入るデータを調整する調整手段と、
前記調整後の前記２つの子ノードのデータを用いて、前記分割候補を評価する評価手段と、
前記分割候補の評価結果を前記サーバに出力する出力手段と
を備える情報処理装置。

【請求項6】

複数の情報処理装置との連携によって、勾配ブースティング決定木を生成する際に、前記複数の情報処理装置から取得したデータの分布を示す情報に基づいて、ノードの分割条件の候補を分割候補として決定する分割候補決定手段と、
前記複数の情報処理装置に前記分割候補を出力するデータ出力手段と、
前記分割候補を基にした分割により生じる子ノードに入るデータを調整して前記分割候補を評価した評価結果を、前記複数の情報処理装置から取得するデータ取得手段と、
前記複数の情報処理装置から取得した前記分割候補の評価結果を基に、勾配ブースティング決定木を生成する決定木生成手段と
を備え、
前記データ出力手段は、生成した前記勾配ブースティング決定木のデータを出力する、
サーバ。

【請求項7】

勾配ブースティング決定木を生成するサーバからノードの分割条件の候補を分割候補として取得し、
保持しているデータのうち、前記分割候補を基にした分割により生じる２つの子ノードそれぞれに入るデータの数を計算し、
前記分割候補を基にした分割により生じる子ノードに入るデータ数があらかじめ決めた数より少ない場合、該子ノードに入るデータを調整し、
前記調整後の前記２つの子ノードのデータを用いて、前記分割候補を評価し、
前記分割候補の評価結果を前記サーバに出力する、
決定木生成方法。

【請求項8】

複数の情報処理装置との連携によって、勾配ブースティング決定木を生成する際に、前記複数の情報処理装置から取得したデータの分布を示す情報に基づいて、ノードの分割条件の候補を分割候補として決定し、
前記複数の情報処理装置に前記分割候補を出力し、
前記分割候補を基にした分割により生じる子ノードに入るデータを調整して前記分割候補を評価した評価結果を、前記複数の情報処理装置から取得し、
前記複数の情報処理装置から取得した前記分割候補の評価結果を基に、勾配ブースティング決定木を生成し、
生成した前記勾配ブースティング決定木のデータを出力する、
決定木生成方法。

【請求項9】

勾配ブースティング決定木を生成するサーバからノードの分割条件の候補を分割候補として取得する処理と、
保持しているデータのうち、前記分割候補を基にした分割により生じる２つの子ノードそれぞれに入るデータの数を計算する処理と、
前記分割候補を基にした分割により生じる子ノードに入るデータ数があらかじめ決めた数より少ない場合、該子ノードに入るデータを調整する処理と、
前記調整後の前記２つの子ノードのデータを用いて、前記分割候補を評価する処理と、
前記分割候補の評価結果を前記サーバに出力する処理と
をコンピュータに実行させるプログラム。

【請求項10】

複数の情報処理装置との連携によって、勾配ブースティング決定木を生成する際に、前記複数の情報処理装置から取得したデータの分布を示す情報に基づいて、ノードの分割条件の候補を分割候補として決定する処理と、
前記複数の情報処理装置に前記分割候補を出力する処理と、
前記分割候補を基にした分割により生じる子ノードに入るデータ
を調整して前記分割候補を評価した評価結果を、前記複数の情報処理装置から取得する処理と、
前記複数の情報処理装置から取得した前記分割候補の評価結果を基に、勾配ブースティング決定木を生成する処理と、
生成した前記勾配ブースティング決定木のデータを出力する処理と
をコンピュータに実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、決定木生成システムに関するものである。

【背景技術】

【0002】

機械学習によって学習モデルを生成する際に、サーバが複数のクライアントからデータを取得し、取得したデータを用いて学習モデルを生成することがある。また、サーバと、クライアントの連携によって学習モデルを生成する際に、クライアントからサーバには個別のデータを送らない状態で、サーバが学習モデルを生成する連合学習と呼ばれる手法が用いられることがある。

【0003】

連合学習において、サーバ側への情報の漏洩を防ぐ技術の検討が行われている。そのような、情報の漏洩を防ぐ技術としては、例えば、特許文献１のような技術が開示されている。特許文献１記載の機械学習システムは、連合学習によって画像診断用の学習モデルを生成している。

【先行技術文献】

【特許文献】

【0004】

【文献】国際公開第２０２１／０７９７９２号

【発明の概要】

【発明が解決しようとする課題】

【0005】

特許文献１の記載の機械学習システムは、データをグループごとに分類して上で学習モデルの生成に用いている。そのため、グループへの分類の段階でデータの分類が固定化され、柔軟な分割探索ができず、学習モデルの精度を向上することができない場合がある。

【0006】

本発明は、上記の課題を解決するため、データの漏洩を防ぐことができる決定木生成システム等を提供することを目的とする。

【課題を解決するための手段】

【0007】

上記の課題を解決するため、本発明の決定木生成システムは、複数の情報処理装置と連携して勾配ブースティング決定木を生成する際に、複数の情報処理装置それぞれから取得したデータの分布を示す情報に基づいて、ノードの分割条件の候補を分割候補として決定する分割候補決定手段、複数の情報処理装置に、分割候補を出力するデータ出力手段と、分割候補を基にした分割によって生じる子ノードに入るデータを調整して分割候補を評価した評価結果を、複数の情報処理装置から取得するデータ取得手段と、複数の情報処理装置から取得した分割候補の評価結果を基に、勾配ブースティング決定木を生成する決定木生成手段とを備えるサーバと、サーバからノードの分割条件の候補を分割候補として取得する取得手段と、保持しているデータのうち、分割候補を基にした分割により生じる２つの子ノードそれぞれに入るデータの数を計算するデータ数計算手段と、子ノードに入るデータ数があらかじめ決めた数より少ない場合、子ノードに入るデータを調整する調整手段と、調整後の２つの子ノードのデータを用いて、分割候補を評価する評価手段と、分割候補の評価結果をサーバに出力する出力手段とを備える複数の情報処理装置とを備える。

【0008】

本発明の情報処理装置は、勾配ブースティング決定木を生成するサーバからノードの分割条件の候補を分割候補として取得する取得手段と、保持しているデータのうち、分割候補を基にした分割により生じる２つの子ノードそれぞれに入るデータの数を計算するデータ数計算手段と、分割候補を基にした分割により生じる子ノードに入るデータ数があらかじめ決めた数より少ない場合、子ノードに入るデータを調整する調整手段と、調整後の２つの子ノードのデータを用いて、分割候補を評価する評価手段と、分割候補の評価結果をサーバに出力する出力手段とを備える。

【0009】

本発明のサーバは、複数の情報処理装置との連携によって、勾配ブースティング決定木を生成する際に、複数の情報処理装置から取得したデータの分布を示す情報に基づいて、ノードの分割条件の候補を分割候補として決定する分割候補決定手段と、複数の情報処理装置に分割候補を出力するデータ出力手段と、分割候補を基にした分割により生じる子ノードに入るデータを調整して分割候補を評価した評価結果を、複数の情報処理装置から取得するデータ取得手段と、複数の情報処理装置から取得した分割候補の評価結果を基に、勾配ブースティング決定木を生成する決定木生成手段とを備え、データ出力手段は、生成した勾配ブースティング決定木のデータを出力する。

【0010】

本発明の決定木生成方法は、勾配ブースティング決定木を生成するサーバからノードの分割条件の候補を分割候補として取得し、保持しているデータのうち、分割候補を基にした分割により生じる２つの子ノードそれぞれに入るデータの数を計算し、分割候補を基にした分割により生じる子ノードに入るデータ数があらかじめ決めた数より少ない場合、子ノードに入るデータを調整し調整後の２つの子ノードのデータを用いて、分割候補を評価し、分割候補の評価結果をサーバに出力する。

【0011】

本発明のプログラム記録媒体は、勾配ブースティング決定木を生成するサーバからノードの分割条件の候補を分割候補として取得する処理と、保持しているデータのうち、分割候補を基にした分割により生じる２つの子ノードそれぞれに入るデータの数を計算する処理と、分割候補を基にした分割により生じる子ノードに入るデータ数があらかじめ決めた数より少ない場合、子ノードに入るデータを調整する処理と、調整後の２つの子ノードのデータを用いて、分割候補を評価する処理と、分割候補の評価結果をサーバに出力する処理とをコンピュータに実行させるプログラムを記録する。

【発明の効果】

【0012】

本発明によると、データの漏洩を防ぐことができる。

【図面の簡単な説明】

【0013】

【図1】本発明の第１の実施形態の構成の概要を示す図である。

【図2】本発明の第１の実施形態のサーバの構成の例を示す図である。

【図3】本発明の第１の実施形態の情報処理装置の構成の例を示す図である。

【図4】本発明の第１の実施形態のサーバの動作フローの例を示す図である。

【図5】本発明の第１の実施形態の情報処理装置の動作フローの例を示す図である。

【図6】本発明の第１の実施形態の決定木生成システムの動作フローの例を示す図である。

【図7】本発明の第１の実施形態の決定木生成システムの動作フローの例を示す図である。

【図8】本発明の第１の実施形態におけるデータ数の調整の例を模式的に示す図である。

【図9】本発明の第２の実施形態の構成の概要を示す図である。

【図10】本発明の第２の実施形態の情報処理装置の構成の例を示す図である。

【図11】本発明の第２の実施形態の情報処理装置の動作フローの例を示す図である。

【図12】本発明の第２の実施形態におけるデータ数の調整の例を模式的に示す図である。

【図13】本発明の第２の実施形態におけるデータ数の調整の例を模式的に示す図である。

【図14】本発明の実施形態の他の構成の例を示す図である。

【発明を実施するための形態】

【0014】

（第１の実施形態）
本発明の第1の実施形態について図を参照して詳細に説明する。図１は、本実施形態の決定木生成システムの構成の概要を示す図である。本実施形態の決定木生成システムは、サーバ１０と、複数の情報処理装置２０を備えている。サーバ１０と、それぞれの情報処理装置２０は、ネットワークを介して接続されている。なお、複数の情報処理装置２０の数は特に制限されず、必要に応じて適宜変更されうる。

【0015】

決定木生成システムは、サーバ１０が複数の情報処理装置２０との連合学習によって勾配ブースティング決定木を生成する情報処理システムである。決定木生成システムでは、サーバ１０が中央サーバ、情報処理装置２０がクライアントとして動作する。

【0016】

サーバ１０は、決定木を生成する際に、ノードを分割する条件の候補を情報処理装置２０に出力し、各情報処理装置２０から各条件の評価結果を取得する。各情報処理装置２０は、保持しているデータを用いて各条件の評価を行う。サーバ１０は、各情報処理装置２０から取得する評価結果を基に決定木を生成する。すなわち、サーバ１０は、情報処理装置２０がそれぞれ保持しているデータに基づいて決定木を生成する。サーバ１０は情報処理装置２０から個々のデータを取得せずに決定木を生成するため、決定木生成システムは、情報処理装置２０から個別のデータがサーバ１０側の漏洩を抑制することができる。

【0017】

サーバ１０の構成について説明する。図２は、本実施形態のサーバ１０の構成の例を示す図である。サーバ１０は、予測値計算部１１と、分割区間決定部１２と、分割候補決定部１３と、決定木生成部１４と、データ取得部１５と、データ出力部１６と、データ記憶部１７を備えている。

【0018】

予測値計算部１１は、各情報処理装置２０が保持しているデータについて、目的変数の所定の統計値と、所定の統計値の計算に用いたデータ数を、情報処理装置２０それぞれから取得する。所定の統計値は、各情報処理装置２０が保持しているデータのうち、目的変数とされるデータについて、あらかじめ設定された統計量として計算した値である。

【0019】

回帰モデルによる決定木を生成する場合には、所定の統計値は、例えば、目的変数の平均値である。所定の統計値は、平均値以外の統計量として計算されたものであってもよい。分類モデルによる決定木を生成する場合には、所定の統計値は、カテゴリーごとに計算される。カテゴリーとは、データの分類を行った際の分類先の区分のことをいう。カテゴリーは、決定木を生成する際に作業者によって設定される。２値分類の場合は、予測値計算部１１は、片方の確率を０、もう一方の確率を１として、それぞれのカテゴリーに属するデータ数の重みをかけたものを所定の統計値として計算する。３値以上の場合には、予測値計算部１１は、１つ目のカテゴリーと、その他に分け、２値分類として所定の統計値を計算し、その他について同様に分割することで所定の統計値を計算する。

【0020】

予測値計算部１１は、所定の統計値と、データ数を取得すると、全ての情報処理装置２０についての統計値を、予測値の初期値として計算する。回帰モデルにより決定木を生成する場合に、所定の統計値が平均値であるとき、予測値計算部１１は、情報処理装置２０ごとの平均値に、データ数の重みをかけ、全ての情報処理装置２０のデータの平均値を計算する。分類モデルによる決定木を生成する場合は、予測値計算部１１は、カテゴリーごとの予測値を計算する。予測値計算部１１は、各情報処理装置２０から取得したカテゴリーごとの所定の統計値に、各情報処理装置２０が保持しているデータ数の重みをかけ、全ての情報処理装置２０における平均値を計算する。予測値計算部１１は、データ出力部１６を介して、全ての情報処理装置２０のデータの平均値を予測値の初期値として各情報処理装置２０に出力する。予測値の初期値は、一部のデータを用いて計算された値が用いられてもよい。例えば、一部の情報処理装置２０が保持しているデータまたはサーバ１０の管理者が管理しているデータを用いて目的変数の所定の統計値が計算され、計算された所定の統計値が予測値の初期値としてサーバ１０と各情報処理装置２０の間で共有されていてもよい。

【0021】

分割区間決定部１２は、各特徴量の分割区間を決定する。分割区間決定部１２は、データ取得部１５を介して各情報処理装置２０から取得する各特徴量の最大値と最小値を基に、全ての情報処理装置２０における最大値と最小値を抽出する。各情報処理装置２０から取得する各特徴量の最大値と最小値には、補正値が付加されている。補正値は、最大値と最小値の値がサーバ１０に漏洩しないように、各情報処理装置２０によって実際の最大値と最小値に付加されている。補正値の付加方法については、後で説明する。分割区間決定部１２は、補正値が付加された最大値と、最小値を実際の最大値と最小値とみなして処理を行う。分割区間決定部１２は、各情報処理装置２０から送られてきた各特徴量の最大値と最小値を基に、各特徴量のデータ範囲を抽出する。

【0022】

分割区間決定部１２は、各特徴量について、全ての情報処理装置２０における最大値と最小値の間を、あらかじめ設定された区間数となるように分割し、区間の境目の値を分割点として計算する。分割区間決定部１２は、データ出力部１６を介して、分割点の情報を各情報処理装置２０に出力する。分割区間は、特徴量ごとにあらかじめ設定されていてもよい。例えば、作業者によって特徴量ごとに分割区間が設定され、設定された分割区間の情報が、サーバ１０と各情報処理装置２０の間であらかじめ共有されていてもよい。

【0023】

分割候補決定部１３は、分割候補を決定する。分割候補は、決定木を生成する際に、ノードを２個の子ノードに分割するときのノードの分割条件の候補である。分割候補は、対象となる特徴量と、分割の条件によって構成される。回帰モデルの場合には、分割の条件は、２つの子ノードに分割する際の閾値によって設定される。また、分類モデルの場合には、分割の条件は、各子ノードに割り当てられた属性によって設定される。

【0024】

分割候補決定部１３は、各情報処理装置２０から送られてくるデータの分布を示す情報を基に、分割候補を決定する。分割候補決定部１３は、データの分布を示す情報を、分割区間ごとのデータに基づいたヒストグラムとして取得する。分割候補決定部１３は、データの分布を示す情報として、例えば、ｈのヒストグラムとして取得する。ｈは、損失関数の２階微分の値である。損失関数の２階微分の値であるｈについては、後で説明する。分割候補決定部１３は、各情報処理装置２０から送られてくる損失関数の２階微分の値であるｈのヒストグラムを分割区間ごとに足し合わせ、全体のヒストグラムを生成する。分割候補決定部１３は、全体のヒストグラムを生成すると、各分割区間の重みが均等になるように分割候補を決定する。各分割区間の重みが均等とは、均等であるとみなせればよく、完全に均等でなくてもよい。分割候補の決定は、例えば、weighted quantile sketchアルゴリズムを用いて行うことができる。分割候補決定部１３は、データ出力部１６を介して、各情報処理装置２０に分割候補のデータを出力する。分割候補決定部１３は、分割候補のデータとして、対象となる特徴量と、分割の条件の情報を出力する。分割の条件は、回帰モデルの場合は、閾値を用いて設定され、分類モデルの場合は、各カテゴリーに割り当てられている属性を用いて設定される。

【0025】

決定木生成部１４は、各情報処理装置２０から取得する分割候補の評価結果を基に、決定木を生成する。決定木生成部１４は、ノードを子ノードに分岐する前後で、例えば、以下に数１として示す式においてゲインが最大となる分割候補を選択することで決定木を生成する。
［数１］

【0026】

数１において、ｇ_iは、i番目のデータにおける損失関数の１階微分の値を示す。また、h_iは、i番目のデータにおける損失関数の１階微分の値を示す。λとγは、定数である。式１のかっこ内の１項目は、分割によって生じる左右の子ノードのうち、左側の子ノードに入るデータから計算される。数１のかっこ内の２項目は、分割によって生じる左右の子ノードのうち、右側の子ノードに入るデータから計算される。また、式１のかっこ内の３項目は、分岐前のデータから計算される。

【0027】

ここで回帰モデルにおける損失関数は、例えば、以下に数２として示す式で表される。
［数２］

【0028】

数２の損失関数では、２乗誤差が目的変数として用いられている。数２において、y_iは、正解値を示す。

【0029】

数２において１階微分を行うと
g_ｉ = y_i - y_i ^(t-1)
となり、正解値と、１回前の予測値との差になる。

【0030】

また、式２において、２階微分を行うと
h_i = 1
となり、h_iの和は、データ数となる。よって、回帰モデルの場合、ｈのヒストグラムは、各分割区間におけるデータ数の分布を示すヒストグラムとなる。

【0031】

分類モデルの場合には、決定木生成部１４は、ロジスティック回帰を用いて損失関数を計算する。分類モデルの場合における損失関数の式は、例えば、以下の数３ように示される。
［数３］

【0032】

また、数３について、１階微分、２階微分をそれぞれ行うと、以下の数４、数５の式のようになる。
［数４］

【0033】

［数５］

【0034】

分類の場合には、h_iは、１にならない。

【0035】

データ取得部１５は、各情報処理装置２０からデータを取得する。データ取得部１５は、各情報処理装置２０から、目的変数の所定の統計値、データ数、データの最大値および最小値、各分割区間ｈのヒストグラム、並びに評価結果のデータを取得する。

【0036】

データ出力部１６は、各情報処理装置２０にデータを出力する。データ出力部１６は、予測値の初期値、特徴量の分割点、分割候補、および生成が完了している部分の決定木のデータを出力する。また、決定木の生成が完了したとき、データ出力部１６は、決定木のデータを情報処理装置２０またはネットワークを介して接続されている他の情報処理装置に出力する。

【0037】

データ記憶部１７は、決定木の生成の処理に用いる各データを保存する。データ記憶部１７は、決定木生成部１４が生成した決定木のデータを保存する。データ記憶部１７は、予測値計算部１１が計算した予測値の初期値、分割区間決定部１２が計算した分割点、および分割候補決定部１３が計算した分割候補のデータを保存する。また、データ記憶部１７は、データ取得部１５が各情報処理装置２０から取得した、目的変数の所定の統計値、データ数、データの最大値および最小値、各分割区間のヒストグラム、並びに評価結果のデータを保存する。

【0038】

情報処理装置２０の構成について説明する。図３は、本実施形態の情報処理装置２０の構成の例を示す図である。情報処理装置２０は、統計値計算部２１と、データ範囲計算部２２と、データ数計算部２３と、データ調整部２４と、評価部２５と、取得部２６と、出力部２７と、データ生成部２８と、記憶部２９を備える。

【0039】

情報処理装置２０の統計値計算部２１は、保持しているデータについて、所定の統計値を計算する。決定木が回帰モデルに関する場合、統計値計算部２１は、目的変数の平均値を所定の統計値として計算する。また、決定木が分類モデルに関し、２値分類である場合、統計値計算部２１は、２値の片方の確率を０、もう一方の確率を１とし、それぞれに属するデータ数の割合で重みをかけた値を所定の統計値として計算する。３値以上である場合、統計値計算部２１は、1つ目のカテゴリーとその他のカテゴリーに分け、２値分類の場合と同様に統計値を計算する。統計値計算部２１、その他のカテゴリーについても、同様に分割して各カテゴリーの統計値を計算する。統計値計算部２１は、出力部２７を介して、計算した所定の統計値と、データ数をサーバ１０に出力する。

【0040】

データ範囲計算部２２は、保持しているデータを用いて、各特徴量の範囲を計算する。データ範囲計算部２２は、例えば、保持しているデータを用いて、各特徴量の最大値と最小値を抽出する。データ範囲計算部２２は、抽出した最大値と最小値に補正値を付加する。補正値は、最大値と最小値の実際の値がサーバ１０に漏洩しないように付加される。

【0041】

データ範囲計算部２２は、例えば、正の乱数値を生成し、生成した乱数値を用いて最大値に加算し、補正した最大値の値を計算することで最大値に補正値を付加する。また、データ範囲計算部２２は、最小値から正の乱数値を減算し、補正した最小値の値を計算することで最小値に補正値を付加する。データ範囲計算部２２は、正の乱数値を、例えば、ガウシアンノイズを用いて生成する。ガウシアンノイズの標準偏差は、情報処理装置２０ごとに設定されている。データ範囲計算部２２は、出力部２７を介して、補正した最大値と最小値の値をサーバ１０に出力する。また、補正値は、乱数値に代えて、情報処理装置２０ごとにあらかじめ設定された値またはあらかじめ設定された係数を用いて計算された値が用いられてもよい。例えば、情報処理装置２０ごとに複数の補正値が設定され、また、補正値は、情報処理装置２０ごとにあらかじめ設定された値の中からランダムに選択されるようにしてもよい。

【0042】

データ数計算部２３は、各分割区間に入るデータの分布を基にしたヒストグラムを生成する。データ数計算部２３は、取得部２６を介してサーバ１０から取得した分割点の情報を基に、特徴量ごとに各データがどの分割に入るかを判定する。データ数計算部２３は、各分割区間に入るデータごとに、損失関数の２階微分の値であるｈの和を計算する。データ数計算部２３は、各分割区間のｈの和の分布を示すヒストグラムをｈのヒストグラムとして生成する。回帰モデルに関する決定木を生成する場合には、生成されるヒストグラムは、各分割区間に入るデータ数のヒストグラムとなる。データ数計算部２３は、生成したヒストグラムをサーバ１０に出力する。

【0043】

データ調整部２４は、分割候補を基にした分割によって生じする子ノードそれぞれに入るデータを調整する。データを調整するとは、子ノードに入るデータの数があらかじめ設定された基準より少ない場合に、サーバ１０へのデータの漏洩を防ぐために行う処理のことをいう。データ調整部２４は、例えば、子ノードにデータ生成部２８によって生成された合成データを補充することで子ノードのデータを調整する。データ調整部２４は、子ノードのデータを合成と置き換えることで、子ノードのデータを調整してもよい。

【0044】

データ調整部２４は、所持しているデータのうち、分割候補を基にした分割によって生じる子ノードそれぞれに入るデータの数を計算する。いずれかの子ノードに入るデータ数があらかじめ設定された値より少ないとき、データ調整部２４は、あらかじめ設定されたデータ数になるようにデータを調整する。データ調整部２４は、データ生成部２８が生成した合成データのうち、データ数が少ない子ノードの条件を満たす合成データを用いて、データを調整する。

【0045】

評価部２５は、サーバ１０から送られてくる分割候補の評価値を計算することで分割候補を評価する。評価部２５は、上述した数２または数３によって示される損失関数の１階微分と、２階微分の値を計算する。また、評価部２５は、分割候補を基にした分割によって生じる子ノードごとに、損失関数の１階微分と、２階微分の和をそれぞれ計算する。評価部２５は、出力部２７を介して、損失関数の１階微分の和と、２階微分の和の値をサーバ１０に出力する。

【0046】

取得部２６は、サーバ１０から決定木の生成に関する処理に用いる各データを取得する。取得部２６は、サーバ１０から、目的変数の予測値の初期値、特徴量の分割区間を示す分割点の情報、分割候補および生成された決定木のデータを取得する。

【0047】

出力部２７は、決定木の生成に関する処理に用いる各データをサーバ１０に出力する。出力部２７は、保持しているデータの所定の統計値とデータ数、各特徴量の補正した最大値と最小値、分割区間ごとのデータ数のヒストグラムおよび分割候補の評価結果をサーバ１０に出力する。

【0048】

データ生成部２８は、データ生成モデルを用いて、保持しているデータから新たなデータを合成データとして生成する。データ生成モデルは、保持しているデータを用いて、あらかじめ訓練されている。データ生成モデルは、他の情報処理装置が保持しているデータ用いて、あらかじめ訓練されたものであってもよい。生成モデルには、例えば、CTGAN（Conditional Tabular Generative Adversarial Networks）を用いることができる。生成モデルは、生成器と、判別器を交互に訓練し、生成器が作った合成データを判別器が実データと区別ができないように訓練することで生成されている。生成モデルは、実データのデータ範囲に含まれる合成データを生成できるものであれば、他の手法を用いて生成されたものであってもよい。ここで実データとは、情報処理装置２０があらかじめ保持しているデータのことをいう。

【0049】

記憶部２９は、決定木の生成に関する処理に用いる各データを保存している。記憶部２９は、決定木の生成に用いるデータを保存している。また、記憶部２９は、取得部２６がサーバ１０から取得した、目的変数の予測値の初期値、特徴量の分割区間を示す分割点の情報、分割候補および生成された決定木のデータを保存している。また、記憶部２９は、各部位が計算した保持しているデータの所定の統計値とデータ数、各特徴量の補正した最大値と最小値、損失関数の２階微分の値を示すｈのヒストグラムおよび分割候補の評価結果を保存している。

【0050】

本実施形態の決定木生成システムの動作について説明する。以下では、回帰モデルによる決定木を生成する場合を例に説明する。図４は、サーバ１０の動作フローの例を示す図である。図５は、情報処理装置２０の動作フローの例を示す図である。また、図６および図７は、決定木生成システムの動作フローの例を示すシーケンス図である。図４および図５と、図６および図７の動作ステップの番号は、互いに対応している。

【0051】

各情報処理装置２０の統計値計算部２１は、保持しているデータを用いて、目的変数の所定の統計値を計算する（ステップＳ３１）。決定木が回帰モデルに関する場合、統計値計算部２１は、目的変数の所定の統計値として目的変数の平均値を計算する。所定の統計値を計算すると、統計値計算部２１は、出力部２７を介して、計算した所定の統計値と、データ数をサーバ１０に出力する（ステップＳ３１）。

【0052】

サーバ１０のデータ取得部１５は、クライアントの情報処理装置２０から、目的変数の所定の統計値と、データ数を取得する(ステップＳ１１）。目的変数の統計値と、データ数を取得すると、サーバ１０の予測値計算部１１は、所定の統計値とデータ数から目的変数の予測値の初期値を計算する（ステップＳ１２）。予測値計算部１１は、情報処理装置２０ごとの所定の統計値にデータ数を重みとしてかけ、全体の平均値を計算することで、目的変数の予測値の初期値を計算する。予測値を計算すると、予測値計算部１１は、データ出力部１６を介して、計算した予測値を各情報処理装置２０に出力する（ステップＳ１３）。

【0053】

情報処理装置２０のデータ範囲計算部２２は、各特徴量について、最大値と最小値を抽出する。データ範囲計算部２２は、正の乱数値を生成し、生成した乱数値を用いて最大値に加算し、補正された最大値の値を計算する。データ範囲計算部２２は、最小値から正の乱数値を減算し、補正された最小値の値を計算する（ステップＳ３３）。補正された最大値と最小値を計算すると、データ範囲計算部２２は、出力部２７を介して、補正された最大値と最小値を各特徴量のデータ範囲としてサーバ１０に出力する（ステップＳ３４）。

【0054】

サーバ１０のデータ取得部１５は、クライアントの情報処理装置２０から、各特徴量の補正された最大値と最小値を、各特徴量のデータの範囲として取得する(ステップＳ１４）。

【0055】

各特徴量のデータ範囲の情報を取得すると、サーバ１０の分割区間決定部１２は、各特徴量の分割点を計算する（ステップＳ１５）。分割区間決定部１２は、各情報処理装置２０から送られてきたデータ範囲を基に、全ての情報処理装置２０でのデータ範囲を特定する。分割区間決定部１２は、各特徴量について、全ての情報処理装置２０でのデータ範囲を、あらかじめ設定された区間数となるように分割し、区間の境目の値を分割点として計算する。分割区間決定部１２は、データ出力部１６を介して、分割点を示す情報を分割区間の情報として各情報処理装置２０に出力する（ステップＳ１５）。

【0056】

情報処理装置２０の取得部２６は、分割点のデータを取得する(ステップＳ３５）。分割点のデータが取得されると、データ数計算部２３は、各特徴量について各分割区間に入るデータを用いて、損失関数の２階微分の値を示すｈのヒストグラムを生成する（ステップＳ３６）。ヒストグラムを生成すると、データ数計算部２３は、出力部２７を介して、生成したヒストグラムをサーバ１０に出力する（ステップＳ３７）。

【0057】

サーバ１０のデータ取得部１５は、ヒストグラムのデータを取得する(ステップＳ１７）。ヒストグラムのデータが取得されると、サーバ１０の分割候補決定部１３は、取得したヒストグラムを基に、分割候補を計算する（ステップＳ１８）。分割候補を決定する際に、分割候補決定部１３は、分割した際に生じする２つの子ノードに入るデータ数がほぼ均等になるように、ノードを分割する条件の候補を決定する。分割候補を決定すると、分割候補決定部１３は、データ出力部１６を介して、分割候補のデータを各情報処理装置２０に出力する（ステップＳ１９）。

【0058】

情報処理装置２０の取得部２６は、分割候補のデータを取得する（ステップＳ３８）。分割候補のデータが取得されると、データ数計算部２３は、分割候補のデータを基に、分割によって生じる子ノードそれぞれに入るデータ数を計算する（ステップＳ３９）。

【0059】

いずれかの子ノードに入るデータ数があらかじめ設定された値より少ないとき（ステップＳ４０でＮｏ）、データ調整部２４は、データ生成部２８が生成したデータを用いて、あらかじめ設定されたデータ数になるようにデータを調整する（ステップＳ４１）。例えば、あらかじめ設定された数がｋ個であったとき、いずれかの子ノードに入るデータ数がｋ個以下である場合に、データ調整部２４は、データ数がｋ個になるようにデータ生成部２８が生成したデータを用いて、データ数がｋ個未満の子ノードに入るデータを補充する。データ調整部２４は、データ数がｋ以上になるように調整すればよく、調整後のデータ数は、ｋ＋１個以上であってもよい。

【0060】

分割によって生じる子ノードのいずれもデータ数がｋ以上で、基準を満たしている場合には（ステップＳ４０でＹｅｓ）、評価部２５は、データ数の調整は行わない。

【0061】

子ノードに入るデータ数の計算または、データ数の計算とデータ数の調整を行うと、評価部２５は、損失関数の１階微分の値ｇと、２階微分の値ｈを計算する。ｇとｈを計算すると、評価部２５は、各ノードに入るデータについて、ｇとｈの和を計算する（ステップＳ４２）。評価部２５は、出力部２７を介して、損失関数の１階微分と、２階微分の値をサーバ１０に出力する（ステップＳ４３）。1回目の損失関数の評価のとき、評価部２５は、前回の予測値として、サーバ１０が計算した最初の予測値を用いる。

【0062】

サーバ１０のデータ取得部１５は、分割候補についてのｇの和とｈの和を評価結果として取得する（ステップＳ２０）。各情報処理装置２０から分割候補についてのｇの和とｈの和を評価結果として取得すると、決定木生成部１４は、各情報処理装置２０から取得する評価結果を基に、勾配ブースティング法によって決定木を生成する（ステップＳ２１）。

【0063】

決定木を生成すると、決定木生成部１４は、終了条件を満たしているかを確認する(ステップＳ２２）。決定木生成部１４は、木の層、また、葉ノードの数があらかじめ設定された数を満たし、かつ、生成された木の数があらかじめ設定された数になっている場合に、終了条件を満たしていると判断する。終了条件を満たしていないとき(ステップＳ２３でＮｏ）、サーバ１０は、ステップＳ１４からの動作を繰り返す。終了条件を満たしているとき、（ステップＳ２３でＹｅｓ）、決定木生成部１４は、データ出力部１６を介して、各情報処理装置２０に決定木の生成が完了したことを示す情報を出力して、決定木の終了の動作を終了する。

【0064】

決定木の生成が終了すると、決定木生成部１４は、生成した決定木のデータをデータ記憶部１７に保存する。また、生成した決定木のデータを、決定木のデータを用いる情報処理装置に出力する。

【0065】

ステップＳ４３において、分割候補のｇの和とｈの和を出力すると、情報処理装置２０は、サーバ１０から送られてくる情報を基に、決定木の生成の処理が完了したかを確認する。情報処理装置２０は、決定木の生成が完了したことを示す情報を受け取ると（ステップＳ４４でＹｅｓ）、決定木の生成の処理を終了する。情報処理装置２０は、決定木の生成が完了していないことを示す情報を受け取ると（ステップＳ４４でＮｏ）、ステップ３３からの動作を繰り返す。

【0066】

図８は、分割候補に基づいて生じた子ノードに入るデータの調整方法を模式的に示す図である。図８の（ａ）は、左側の子ノードに１個、右側の子ノードに４個のデータが入る例を示している。図８の（ａ）の状態では、評価部２５は、１個のデータのみでｇの和を計算し、ｈの和が１の情報とともにｇの和の情報をサーバ１０に出力する。そのため、サーバ１０は、１個のデータに由来するｇの値を取得することができる。このとき、他の情報が加わったとき、サーバ１０は、ｇの値の元となるデータを特定できる可能性が生じる。

【0067】

一方で、図８の（ｂ）は、データ生成部２８が生成したデータ３個が合成データとして左側の子ノードに加えられている。図８の（ｂ）の状態では、評価部２５は、４個のデータのｇの和と、ｈの和が４である情報をサーバ１０に出力する。そのため、サーバ１０は、個別のデータのｇを特定することはできない。このように、データ数が少ないときに、データ生成部２８によって生成した合成データを用いて、データが少ない子ノードのデータを補充することで、データの漏洩を防ぐことができる。

【0068】

上記の説明では、分割によって生じる子ノードに入るデータ数があらかじめ設定された基準より少ない場合に、データ数が基準より少ない子ノード側のデータを、合成データを用いて補充する例について説明した。そのような構成に代えて、データ調整部２４は、データ数が基準よりも少ない子ノード側の調整と併せて、もう一方の子ノードのデータを調整してもよい。例えば、データ調整部２４は、一方の子ノードのデータ数が基準よりも少ないとき、データの補充の前後で、２個の子ノードのデータ数の比が同一となるように、両方の子ノードに合成データを補充してもよい。また、データ調整部２４は、一方の子ノードのデータ数が基準よりも少ないとき、データ数が少ない子ノードに補充したデータと同数の合成データをもう一方の子ノードに補充してもよい。また、データ調整部２４は、一方の子ノードのデータ数が基準よりも少ないとき、２個の子ノードのデータ数の比に基づいて、子ノードに補充するデータ数を決定してもよい。このように、両方のノードにデータ生成部２８で生成した合成データを加えることで、合成データを加えたことによる評価結果への影響を抑制することができる。

【0069】

また、分割によって生じる子ノードに入るデータ数があらかじめ設定された基準より少ない場合に、データ調整部２４は、基準より少ない子ノードに入るデータを合成データと置き換えてもよい。基準より少ない子ノードに入るデータを合成データに置き換えることで、実データの基づいたデータのサーバ１０への漏洩を防ぐことができる。

【0070】

本実施形態の決定木生成システムの情報処理装置２０は、分割によって生じする子ノードに入るデータ数があらかじめ設定された数より少なかった場合に、データ生成部２８で生成した合成データを用いてデータを調整している。分割によって生じする子ノードに入るデータ数があらかじめ設定された数より少ない場合、子ノードに入るデータの特徴から、データの漏洩が起こる場合がある。これに対して、データを調整し、データの漏洩を防ぐために行う処理することで、データの漏洩が起こる可能性を下げることができる。

【0071】

情報処理装置２０は、分割候補の評価結果として、損失関数の１階微分の和と、２階微分の和をサーバ１０に送信している。子ノードに入るデータ数が少ない場合に、例えば、実データを用いて計算した損失関数の１階微分と２階微分の値をサーバ１０に送ると送られるデータからデータの特徴が特定できる場合がある。これに対して、情報処理装置２０は、データ数が少ない場合に、例えば、生成した合成データを用いて評価した結果を、サーバ１０に出力することで、データの内容がサーバ１０側に漏れる可能性を抑制することができる。また、本実施形態の決定木生成システムは、クラスタリングによるグループ化などを行わないため、柔軟に分割候補を設定して評価を行うことができるため、決定木として生成される学習モデルの精度を向上することができる。そのため、本実施形態の決定木生成システムは、モデルの精度を維持しつつ、情報の漏洩を防ぐことができる。

【0072】

サーバとクライアントの連合学習によって学習モデルを生成する際に、高いセキュリティレベルが要求される場合には、秘匿性の高いハードウェアを用いて学習モデルの生成が行われる。しかし、そのようなハードウェアは、構成が複雑であり、また、高価である。一方で、本実施形態の決定木生成システムは、情報処理装置２０におけるソフトウェア的な処理によってデータを調整することでサーバ１０側のデータの漏洩を防ぐことができる。よって、本実施形態の決定木生成システムは、複雑な構成の装置を必要とすることなく、情報の漏洩を防ぐことができる。

【0073】

（第２の実施形態）
本発明の第２の実施形態について、図を参照して詳細に説明する。図９は、本実施形態の決定木生成システムの構成の概要を示す図である。本実施形態の決定木生成システムは、サーバ１０と、複数の情報処理装置３０を備えている。本実施形態のサーバ１０の構成と機能は、第1の実施形態のサーバ１０と同様である。

【0074】

第１の実施形態の決定木生成システムは、いずれかの子ノードに入るデータ数があらかじめ設定された数より少なかったときに、クライアントがデータ生成モデルを用いて生成されたデータによってデータ数の調整を行っている。そのような構成に対し、本実施形態の決定木生成システムは、いずれかの子ノードに入るデータ数があらかじめ設定された数より少なかったときに、データが少数の子ノードに入るデータを削除する処理を行うことを特徴とする。

【0075】

情報処理装置３０の構成について説明する。図１０は、本実施形態の情報処理装置３０の構成の例を示す図である。情報処理装置３０は、統計値計算部２１と、データ範囲計算部２２と、データ数計算部２３と、データ調整部３１と、評価部２５と、取得部２６と、出力部２７と、データ生成部２８と、記憶部２９を備えている。

【0076】

情報処理装置３０は、データ調整部３１の機能のみが情報処理装置２０と異なる。情報処理装置３０において、統計値計算部２１、データ範囲計算部２２、データ数計算部２３、評価部２５、取得部２６、出力部２７、データ生成部２８および記憶部２９の構成と機能は、情報処理装置２０の同名称の部位とそれぞれ同様である。

【0077】

データ調整部３１は、分割候補を基にした分割によって生じる子ノードそれぞれに入るデータを調整する。データ調整部３１は、子ノードに入るデータの削除または子ノードへの合成データの補充を行うことで子ノードに入るデータを調整する。データ調整部３１は、子ノードのデータを合成と置き換えることで、子ノードのデータを調整してもよい。データ調整部３１は、分割候補を基にした分割によって生じる子ノードそれぞれに入るデータ数を計算する。いずれかの子ノードに入るデータ数があらかじめ設定された値より少ないとき、データ調整部３１は、データ数が設定された数より少ない子ノードのデータを調整する。

【0078】

分割候補を基にした分割によって生じる子ノードに入るデータ数がｍ個未満（ｍは正の整数）のとき、データ調整部３１は、ｍ個未満の子ノードに入るデータを削除する。データが削除されることで、ｍ個未満のデータ数の子ノードに入るデータは、０になる。ｍの値は、あらかじめ設定されている。ｍの値は、例えば、ｍ＝１のように、０に近い値として設定される。ｍの値は、１以外であってもよい。いずれかの子ノードに入るデータがｍ個以上、ｎ個未満（ｎは正の整数）のとき、データ調整部３１は、データ生成部２８が生成した合成データを用いて、子ノードのデータ数がｎ個以上となるように、子ノードのデータを調整する。すなわち、ｍを第１の基準の値、ｎを第２の基準の値とすると、いずれかの子ノードに入るデータ数が第１の基準未満の場合、データ調整部３１は、データ数が第１の基準未満の子ノードに入るデータを削除する。また、いずれかの子ノードに入るデータ数が第１の基準以上かつ第２の基準未満の場合、データ調整部３１は、データ数が第２の基準未満の子ノードに合成データを補充することでデータを調整する。

【0079】

本実施形態の決定木生成システムの動作について説明する。図１１は、本実施形態の情報処理装置３０の動作フローの例を示す図である。サーバ１０は、第１の実施形態の図４と同様の動作を行う。

【0080】

本実施形態の決定木生成システムにおいて、情報処理装置３０のステップＳ３９までの動作、すなわち、分割候補の情報を基に、データ数計算部２３が子ノードに入るデータ数を計算するまでの動作は、第２の実施形態と同様である。そのため、ステップＳ５１以降のデータ調整部３１が、子ノードのデータを調整する動作から説明する。

【0081】

データ数計算部３９の計算結果において、いずれかの子ノードに入るデータ数がｍ個未満である場合（ステップＳ５１でＹｅｓ）、データ調整部３１は、データがｍ個未満の子ノードに入るデータを削除することで子ノードのデータを調整する(ステップＳ５２）。すなわち、データ調整部３１は、データ数がｍ個未満の子ノードのデータ数を０個にする。このとき、データ調整部３１は、分割によって生じるもう一方の子ノードについては、データの調整を行わない。

【0082】

データ数がｍ個以上、ｎ個未満である場合（ステップＳ５３でＹｅｓ）、データ調整部３１は、データ生成部２８が生成したデータを用いて、データ数がｎ個以上になるようにデータを補充することで子ノードのデータを調整する（ステップＳ５４）。データ調整部３１、データ数がｎ以上になるように調整すればよく、調整後のデータ数は、ｎ＋１個以上であってもよい。ステップＳ５２またはステップＳ５４において、子ノードのデータの調整が行われると、第１の実施形態と同様に、ステップＳ４２の評価部２５におけるｇとｈの計算以降の動作が行われることで、決定木の生成に関する処理が進められる。また、ステップＳ５３において、データ数がｎ個以上である場合にも、ステップＳ４２以降の動作が行われる。

【0083】

本実施形態の情報処理装置３０は、分割によって生じる子ノードに入るデータ数があらかじめ設定された第１の基準よりも少ない場合に、データ数が少ない子ノードに入るデータを削除している。そのように処理することで、情報処理装置３０からサーバ１０に情報が伝わることを防ぐことができる。また、分割によって生じる子ノードに入るデータ数が第１の基準以上ではあるが、第２の基準未満の場合、情報処理装置３０は、データ生成部２８によって生成したデータによって、データを増やすことでデータを調整している。このように、本実施形態の決定木生成システムは、子ノードに入るデータ数によって、データの削除または補充のいずれかを行うことで、決定木の精度を維持しつつ、データのサーバ１０への漏洩を防ぐことができる。

【0084】

上記の各実施形態のおけるサーバ１０、情報処理装置２０および情報処理装置３０における各処理は、コンピュータプログラムをコンピュータで実行することによって実現することができる。図１４は、サーバ１０、情報処理装置２０および情報処理装置３０における各処理を行うコンピュータプログラムを実行するコンピュータ２００の構成の例を示したものである。コンピュータ２００は、ＣＰＵ（Central Processing Unit）２０１と、メモリ２０２と、記憶装置２０３と、入出力Ｉ／Ｆ（Interface）２０４と、通信Ｉ／Ｆ２０５を備えている。

【0085】

ＣＰＵ２０１は、記憶装置２０３から各処理を行うコンピュータプログラムを読み出して実行する。ＣＰＵ２０１は、複数のＣＰＵの組み合わせによって構成されていてもよい。メモリ２０２は、ＤＲＡＭ（Dynamic Random Access Memory）等によって構成され、ＣＰＵ２０１が実行するコンピュータプログラムや処理中のデータが一時記憶される。記憶装置２０３は、ＣＰＵ２０１が実行するコンピュータプログラムを記憶している。記憶装置２０３は、例えば、不揮発性の半導体記憶装置によって構成されている。記憶装置２０３には、ハードディスクドライブ等の他の記憶装置が用いられてもよい。入出力Ｉ／Ｆ２０４は、作業者からの入力の受付および表示データ等の出力を行うインタフェースである。通信Ｉ／Ｆ２０５は、サーバまたは他の情報処理装置と通信を行うインタフェースである。

【0086】

各処理の実行に用いられるコンピュータプログラムは、記録媒体に格納して頒布することもできる。記録媒体としては、例えば、データ記録用磁気テープや、ハードディスクなどの磁気ディスクを用いることができる。また、記録媒体としては、ＣＤ-ＲＯＭ（Compact Disc Read Only Memory）等の光ディスクを用いることもできる。不揮発性の半導体記憶装置を記録媒体として用いてもよい。
上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。

【0087】

［付記１］
複数の情報処理装置と連携して勾配ブースティング決定木を生成する際に、前記複数の情報処理装置それぞれから取得したデータの分布を示す情報に基づいて、ノードの分割条件の候補を分割候補として決定する分割候補決定手段と、
前記複数の情報処理装置に、前記分割候補を出力するデータ出力手段と、
前記分割候補を基にした分割によって生じる子ノードに入るデータを調整して前記分割候補を評価した評価結果を、前記複数の情報処理装置から取得するデータ取得手段と、
前記複数の情報処理装置から取得した前記分割候補の評価結果を基に、前記勾配ブースティング決定木を生成する決定木生成手段と
を備えるサーバと、
前記サーバからノードの分割条件の候補を前記分割候補として取得する取得手段と、
保持しているデータのうち、前記分割候補を基にした分割により生じる２つの子ノードそれぞれに入るデータの数を計算するデータ数計算手段と、
前記子ノードに入るデータ数があらかじめ決めた数より少ない場合、前記子ノードに入るデータを調整する調整手段と、
前記調整後の前記２つの子ノードのデータを用いて、前記分割候補を評価する評価手段と、
前記分割候補の評価結果を前記サーバに出力する出力手段と
を備える複数の情報処理装置と
を備える決定木生成システム。

【0088】

［付記２］
前記情報処理装置は、
保持しているデータから合成データを生成する生成モデルを用いて、前記合成データを生成するデータ生成手段をさらに備え、
前記調整手段は、前記分割候補を基にした分割により生じる子ノードに入るデータ数があらかじめ決められた数より少ない場合、前記合成データによって前記子ノードのデータを調整する、
付記１に記載の決定木生成システム。

【0089】

［付記３］
前記調整手段は、いずれかの子ノードに入るデータの数が第１基準未満の場合に、前記第１基準の数よりも少ない子ノードに入るデータを削除し、前記第１基準以上でかつ第２基準未満の場合に、前記合成データによって前記子ノードのデータを調整する、
付記２に記載の決定木生成システム。

【0090】

［付記４］
前記調整手段は、いずれか一方の子ノードに入るデータを調整した場合に、２つの子ノードのデータの数の比が維持されるように、もう一方の子ノードに入るデータを前記合成データによって調整する、
付記２または３に記載の決定木生成システム。

【0091】

［付記５］
前記調整手段は、前記分割候補を基にした分割により生じる子ノードに入るデータ数があらかじめ決めた数より少ない場合、データ数があらかじめ決めた数より少ない子ノードに入るデータを削除する、
付記１に記載の決定木生成システム。

【0092】

［付記６］
勾配ブースティング決定木を生成するサーバからノードの分割条件の候補を分割候補として取得する取得手段と、
保持しているデータのうち、前記分割候補を基にした分割により生じる２つの子ノードそれぞれに入るデータの数を計算するデータ数計算手段と、
前記分割候補を基にした分割により生じる子ノードに入るデータ数があらかじめ決めた数より少ない場合、該子ノードに入るデータを調整する調整手段と、
前記調整後の前記２つの子ノードのデータを用いて、前記分割候補を評価する評価手段と、
前記分割候補の評価結果を前記サーバに出力する出力手段と
を備える情報処理装置。

【0093】

［付記７］
保持しているデータから合成データを生成するデータ生成手段をさらに備え、
前記調整手段は、前記分割候補を基にした分割により生じる子ノードに入るデータ数があらかじめ決めた数より少ない場合、前記合成データによって前記子ノードのデータを調整する
付記６に記載の情報処理装置。

【0094】

［付記８］
前記調整手段は、いずれかの子ノードに入るデータの数が第１基準未満の場合に、前記第１基準の数よりも少ない子ノードに入るデータを削除し、前記第１基準以上かつ第２基準未満の場合に、前記合成データによって前記子ノードのデータを調整する、
付記７に記載の情報処理装置。

【0095】

［付記９］
前記調整手段は、いずれか一方の子ノードに入るデータを調整した場合に、２つの子ノードのデータの数の比が維持されるように、もう一方の子ノードに入るデータを前記合成データによって調整する、
付記７または８に記載の情報処理装置。

【0096】

［付記１０］
前記調整手段は、前記分割候補を基にした分割により生じる子ノードに入るデータ数があらかじめ決めた数より少ない場合、データ数があらかじめ決めた数より少ない子ノードに入るデータを削除する、
付記６に記載の情報処理装置。

【0097】

［付記１１］
複数の情報処理装置との連携によって、勾配ブースティング決定木を生成する際に、前記複数の情報処理装置から取得したデータの分布を示す情報に基づいて、ノードの分割条件の候補を分割候補として決定する分割候補決定手段と、
前記複数の情報処理装置に前記分割候補を出力するデータ出力手段と、
前記分割候補を基にした分割により生じる子ノードに入るデータを調整して前記分割候補を評価した評価結果を、前記複数の情報処理装置から取得するデータ取得手段と、
前記複数の情報処理装置から取得した前記分割候補の評価結果を基に、勾配ブースティング決定木を生成する決定木生成手段と
を備え、
前記データ出力手段は、生成した前記勾配ブースティング決定木のデータを出力する、
サーバ。

【0098】

［付記１２］
前記分割候補決定手段は、各特徴量を複数の分割点で分割し、前記複数の情報処理装置から取得した各区間に入るデータのヒストグラムを足し合わせたヒストグラムを基に、全区間の重みが均等になるように前記分割候補を決定する、
付記１１に記載のサーバ。

【0099】

［付記１３］
前記分割候補決定手段は、前記複数の情報処理装置から取得する各特徴量の最大値と、最小値のデータを基に、全データにおける最大値と、最小値を抽出し、抽出した全データにおける最大値と、最小値の間を、あらかじめ設定された区間数となるように分割して前記複数の分割点を決定する、
付記１１または１２に記載のサーバ。

【0100】

［付記１４］
勾配ブースティング決定木を生成するサーバからノードの分割条件の候補を分割候補として取得し、
保持しているデータのうち、前記分割候補を基にした分割により生じる２つの子ノードそれぞれに入るデータの数を計算し、
前記分割候補を基にした分割により生じる子ノードに入るデータ数があらかじめ決めた数より少ない場合、該子ノードに入るデータを調整し、
前記調整後の前記２つの子ノードのデータを用いて、前記分割候補を評価しと、
前記分割候補の評価結果を前記サーバに出力する、
決定木生成方法。

【0101】

［付記１５］
複数の情報処理装置との連携によって、勾配ブースティング決定木を生成する際に、前記複数の情報処理装置から取得したデータの分布を示す情報に基づいて、ノードの分割条件の候補を分割候補として決定し、
前記複数の情報処理装置に前記分割候補を出力し、
前記分割候補を基にした分割により生じる子ノードに入るデータを調整して前記分割候補を評価した評価結果を、前記複数の情報処理装置から取得し、
前記複数の情報処理装置から取得した前記分割候補の評価結果を基に、勾配ブースティング決定木を生成し、
生成した前記勾配ブースティング決定木のデータを出力する、
決定木生成方法。

【0102】

［付記１６］
勾配ブースティング決定木を生成するサーバからノードの分割条件の候補を分割候補として取得する処理と、
保持しているデータのうち、前記分割候補を基にした分割により生じる２つの子ノードそれぞれに入るデータの数を計算する処理と、
前記分割候補を基にした分割により生じる子ノードに入るデータ数があらかじめ決めた数より少ない場合、該子ノードに入るデータを調整する処理と、
前記調整後の前記２つの子ノードのデータを用いて、前記分割候補を評価する処理と、
前記分割候補の評価結果を前記サーバに出力する処理と
をコンピュータに実行させるプログラムを記録したプログラム記録媒体。

【0103】

［付記１７］
複数の情報処理装置との連携によって、勾配ブースティング決定木を生成する際に、前記複数の情報処理装置から取得したデータの分布を示す情報に基づいて、ノードの分割条件の候補を分割候補として決定する処理と、
前記複数の情報処理装置に前記分割候補を出力する処理と、
前記分割候補を基にした分割により生じる子ノードに入るデータを調整して前記分割候補を評価した評価結果を、前記複数の情報処理装置から取得する処理と、
前記複数の情報処理装置から取得した前記分割候補の評価結果を基に、勾配ブースティング決定木を生成する処理と、
生成した前記勾配ブースティング決定木のデータを出力する処理と
をコンピュータに実行させるプログラムを記録したプログラム記録媒体。

【0104】

以上、上述した実施形態を例として本発明を説明した。しかしながら、本発明は、上述した実施形態には限定されない。即ち、本発明は、本発明のスコープ内において、当業者が理解し得る様々な態様を適用することができる。

【符号の説明】

【0105】

１０ サーバ
１１ 予測値計算部
１２ 分割区間決定部
１３ 分割候補決定部
１４ 決定木生成部
１５ データ取得部
１６ データ出力部
１７ データ記憶部
２０ 情報処理装置
２１ 統計値計算部
２２ データ範囲計算部
２３ データ数計算部
２４ データ調整部
２５ 評価部
２６ 取得部
２７ 出力部
２８ データ生成部
２９ 記憶部
３０ 情報処理装置
３１ データ調整部
２００ コンピュータ
２０１ ＣＰＵ
２０２ メモリ
２０３ 記憶装置
２０４ 入出力Ｉ／Ｆ
２０５ 通信Ｉ／Ｆ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】