知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024038750
(43)【公開日】2024-03-21
(54)【発明の名称】学習装置
(51)【国際特許分類】
G06N 20/20 20190101AFI20240313BHJP
【ＦＩ】
G06N20/20
【審査請求】未請求
【請求項の数】10
【出願形態】ＯＬ
(21)【出願番号】P 2022143003
(22)【出願日】2022-09-08
(71)【出願人】
【識別番号】000004237
【氏名又は名称】日本電気株式会社
(74)【代理人】
【識別番号】100124811
【弁理士】
【氏名又は名称】馬場 資博
(74)【代理人】
【識別番号】100088959
【弁理士】
【氏名又は名称】境 廣巳
(74)【代理人】
【識別番号】100097157
【弁理士】
【氏名又は名称】桂木 雄二
(74)【代理人】
【識別番号】100187724
【弁理士】
【氏名又は名称】唐鎌 睦
(72)【発明者】
【氏名】エンケタイワン バトニヤマ
(57)【要約】
【課題】GBFにおいて的確な学習を行うことが難しい場合がある。
【解決手段】学習装置５００は、他の学習装置から受信したクラスごとの学習器の出力と自装置が訓練したクラスごとの学習器の出力とをクラスごとに入力して、クラスごとに所定の出力を取得する取得部５２１と、取得部５２１が取得したクラスごとの出力に対して確率を表現するための変換処理をクラスごとに行う変換部５２２と、を有する。
【選択図】図１１
【解決手段】学習装置５００は、他の学習装置から受信したクラスごとの学習器の出力と自装置が訓練したクラスごとの学習器の出力とをクラスごとに入力して、クラスごとに所定の出力を取得する取得部５２１と、取得部５２１が取得したクラスごとの出力に対して確率を表現するための変換処理をクラスごとに行う変換部５２２と、を有する。
【選択図】図１１
【特許請求の範囲】
【請求項1】
他の学習装置から受信したクラスごとの学習器の出力と自装置が訓練したクラスごとの学習器の出力とをクラスごとに入力して、クラスごとに所定の出力を取得する取得部と、
前記取得部が取得したクラスごとの出力に対して確率を表現するための変換処理をクラスごとに行う変換部と、
を有する
学習装置。
前記取得部が取得したクラスごとの出力に対して確率を表現するための変換処理をクラスごとに行う変換部と、
を有する
学習装置。
【請求項2】
請求項１に記載の学習装置であって、
前記取得部は、他の学習装置から受信した学習器の出力と自装置が訓練した学習器の出力とを所定の結合係数を用いて足し合わせる処理をクラスごとに行うことで、所定の出力を得る
学習装置。
前記取得部は、他の学習装置から受信した学習器の出力と自装置が訓練した学習器の出力とを所定の結合係数を用いて足し合わせる処理をクラスごとに行うことで、所定の出力を得る
学習装置。
【請求項3】
請求項２に記載の学習装置であって、
前記結合係数は、各学習装置が学習器を訓練する際に用いる学習データの数に基づいて学習装置ごとに予め定められた値である
学習装置。
前記結合係数は、各学習装置が学習器を訓練する際に用いる学習データの数に基づいて学習装置ごとに予め定められた値である
学習装置。
【請求項4】
請求項２に記載の学習装置であって、
他の学習装置から受信した学習器と、自装置が訓練した学習器と、自装置が有するデータと、に基づいて前記結合係数を算出する算出部を有し、
前記取得部は、他の学習装置から受信した学習器の出力と自装置が訓練した学習器の出力とを前記算出部が算出した前記結合係数を用いて足し合わせる処理をクラスごとに行うことで、所定の出力を得る
学習装置。
他の学習装置から受信した学習器と、自装置が訓練した学習器と、自装置が有するデータと、に基づいて前記結合係数を算出する算出部を有し、
前記取得部は、他の学習装置から受信した学習器の出力と自装置が訓練した学習器の出力とを前記算出部が算出した前記結合係数を用いて足し合わせる処理をクラスごとに行うことで、所定の出力を得る
学習装置。
【請求項5】
請求項４に記載の学習装置であって、
前記算出部は、学習器である決定木において各葉ノードに落ちるデータを特定して、葉ノードごとのデータを用いて前記結合係数を算出する
学習装置。
前記算出部は、学習器である決定木において各葉ノードに落ちるデータを特定して、葉ノードごとのデータを用いて前記結合係数を算出する
学習装置。
【請求項6】
請求項４に記載の学習装置であって、
前記算出部は、他の学習装置から受信した学習器と、自装置が訓練した学習器と、自装置が有する、検証用のデータであるバリデーションデータと、に基づいて前記結合係数を算出する
学習装置。
前記算出部は、他の学習装置から受信した学習器と、自装置が訓練した学習器と、自装置が有する、検証用のデータであるバリデーションデータと、に基づいて前記結合係数を算出する
学習装置。
【請求項7】
請求項１に記載の学習装置であって、
他の学習装置から受信した学習器と、自装置が有するデータと、を用いて追加の特徴量を算出する特徴量算出部と、
前記特徴量算出部が算出した特徴量を自装置が有するデータに加えて学習することで学習器を訓練する学習部と、
を有し、
前記取得部は、他の学習装置から受信した学習器の出力と前記学習部が訓練した学習器の出力とを所定の結合係数を用いて足し合わせる処理をクラスごとに行うことで、所定の出力を得る
学習装置。
他の学習装置から受信した学習器と、自装置が有するデータと、を用いて追加の特徴量を算出する特徴量算出部と、
前記特徴量算出部が算出した特徴量を自装置が有するデータに加えて学習することで学習器を訓練する学習部と、
を有し、
前記取得部は、他の学習装置から受信した学習器の出力と前記学習部が訓練した学習器の出力とを所定の結合係数を用いて足し合わせる処理をクラスごとに行うことで、所定の出力を得る
学習装置。
【請求項8】
請求項１に記載の学習装置であって、
前記変換部は、前記変換処理としてソフトマックス変換を行う
学習装置。
前記変換部は、前記変換処理としてソフトマックス変換を行う
学習装置。
【請求項9】
情報処理装置が、
他の学習装置から受信したクラスごとの学習器の出力と自装置が訓練したクラスごとの学習器の出力とをクラスごとに入力して、クラスごとに所定の出力を取得し、
取得したクラスごとの出力に対して確率を表現するための変換処理をクラスごとに行う
学習方法。
他の学習装置から受信したクラスごとの学習器の出力と自装置が訓練したクラスごとの学習器の出力とをクラスごとに入力して、クラスごとに所定の出力を取得し、
取得したクラスごとの出力に対して確率を表現するための変換処理をクラスごとに行う
学習方法。
【請求項10】
情報処理装置に、
他の学習装置から受信したクラスごとの学習器の出力と自装置が訓練したクラスごとの学習器の出力とをクラスごとに入力して、クラスごとに所定の出力を取得し、
取得したクラスごとの出力に対して確率を表現するための変換処理をクラスごとに行う
処理を実現するためのプログラム。
他の学習装置から受信したクラスごとの学習器の出力と自装置が訓練したクラスごとの学習器の出力とをクラスごとに入力して、クラスごとに所定の出力を取得し、
取得したクラスごとの出力に対して確率を表現するための変換処理をクラスごとに行う
処理を実現するためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、学習装置、学習方法、プログラムに関する。
【背景技術】
【0002】
よりよい性能を得ることなどを目的として、各参加者において学習した学習器を組み合わせることがある。
【0003】
例えば、非特許文献１には、各ラウンドにおいて参加者それぞれが決定木を作成して、作成した決定木を結合することでよりよい性能のモデルを作成する勾配ブースティングフォーレスト（GBF:Gradient Boosting Forest）という技術が記載されている。
【0004】
また、関連する文献として、例えば、特許文献１がある。特許文献１には、既存のモデルとの間のギャップを埋めるように追加の決定木を訓練して訓練した決定木モデルを結合することで精度を上げるＧＢＤＴ（Gradient Boosting Decision Tree）などについて記載されている。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開２０２１－１４０２９６号公報
【非特許文献】
【0006】
【非特許文献1】Ｆｅｎｇ Ｗａｎｇ ｅｔ ａｌ., Ｇｒａｄｉｅｎｔ Ｂｏｏｓｔｉｎｇ Ｆｏｒｅｓｔ： ａ Ｔｗｏ－Ｓｔａｇｅ Ｅｎｓｅｍｂｌｅ Ｍｅｔｈｏｄ Ｅｎａｂｌｉｎｇ Ｆｅｄｅｒａｔｅｄ Ｌｅａｒｎｉｎｇ ｏｆ ＧＢＤＴｓＩＣＯＮＩＰ ２０２１： Ｎｅｕｒａｌ Ｉｎｆｏｒｍａｔｉｏｎ Ｐｒｏｃｅｓｓｉｎｇ ｐｐ７５－８６［令和４年３月８日検索］，インターネット＜https://link.springer.com/chapter/10.1007/978-3-030-92270-2_7＞
【発明の概要】
【発明が解決しようとする課題】
【0007】
非特許文献１によると、多クラス分類用のGBFを行う場合、各決定木の出力に対してソフトマックス変換を行った後に、変換後の値を前ラウンドまでの結果に対して所定の割合で足し合わせている。ここで、ソフトマックス変換では、入力に対する出力が０から１の間に収まるように変換を行う。その結果、各ラウンドで正の値しか足されないこととなり、どこかのラウンドで非正解クラスの確率の増加分を過大に見積もったとしてもそれを修正することが難しかった。このように、GBFにおいて的確な学習を行うことが難しい場合があった。
【0008】
そこで、本発明は、上述した課題を解決することが可能な学習装置、学習方法、記録媒体などを提供することを目的の一つとする。
【課題を解決するための手段】
【0009】
かかる目的を達成するため本開示の一形態である学習装置は、
他の学習装置から受信したクラスごとの学習器の出力と自装置が訓練したクラスごとの学習器の出力とをクラスごとに入力して、クラスごとに所定の出力を取得する取得部と、
前記取得部が取得したクラスごとの出力に対して確率を表現するための変換処理をクラスごとに行う変換部と、
を有する
という構成をとる。
他の学習装置から受信したクラスごとの学習器の出力と自装置が訓練したクラスごとの学習器の出力とをクラスごとに入力して、クラスごとに所定の出力を取得する取得部と、
前記取得部が取得したクラスごとの出力に対して確率を表現するための変換処理をクラスごとに行う変換部と、
を有する
という構成をとる。
【0010】
また、本開示の他の形態である学習方法は、
情報処理装置が、
他の学習装置から受信したクラスごとの学習器の出力と自装置が訓練したクラスごとの学習器の出力とをクラスごとに入力して、クラスごとに所定の出力を取得し、
取得したクラスごとの出力に対して確率を表現するための変換処理をクラスごとに行う
という構成をとる。
情報処理装置が、
他の学習装置から受信したクラスごとの学習器の出力と自装置が訓練したクラスごとの学習器の出力とをクラスごとに入力して、クラスごとに所定の出力を取得し、
取得したクラスごとの出力に対して確率を表現するための変換処理をクラスごとに行う
という構成をとる。
【0011】
また、本開示の他の形態であるプログラムは、
情報処理装置に、
他の学習装置から受信したクラスごとの学習器の出力と自装置が訓練したクラスごとの学習器の出力とをクラスごとに入力して、クラスごとに所定の出力を取得し、
取得したクラスごとの出力に対して確率を表現するための変換処理をクラスごとに行う
処理を実現するためのプログラムである。
情報処理装置に、
他の学習装置から受信したクラスごとの学習器の出力と自装置が訓練したクラスごとの学習器の出力とをクラスごとに入力して、クラスごとに所定の出力を取得し、
取得したクラスごとの出力に対して確率を表現するための変換処理をクラスごとに行う
処理を実現するためのプログラムである。
【発明の効果】
【0012】
上述したような各構成によると、上述したような課題を解決することができる。
【図面の簡単な説明】
【0013】
【図1】本開示の概要を説明するための図である。
【図2】ｍラウンド目におけるモデルの様子の一例を示す図である。
【図3】本開示の第１の実施形態における学習システムの構成例を示す図である。
【図4】学習装置の構成例を示すブロック図である。
【図5】学習データ情報の一例を示す図である。
【図6】学習装置の動作例を示すフローチャートである。
【図7】本開示の第２の実施形態における学習装置の構成例を示すブロック図である。
【図8】ソフトマックス変換の一例を示す図である。
【図9】ニューラルネットの構成例を示す図である。
【図10】本開示の第３の実施形態における学習装置のハードウェア構成例を示す図である。
【図11】学習装置の構成例を示すブロック図である
【発明を実施するための形態】
【0014】
［第１の実施形態］
本開示の第１の実施形態について、図１から図６までを参照して説明する。図１は、本開示の概要を説明するための図である。図２は、ｍラウンド目におけるモデルの様子の一例を示す図である。図３は、学習システム１００の構成例を示す図である。図４は、学習装置３００の構成例を示すブロック図である。図５は、学習データ情報３４１の一例を示す図である。図６は、学習装置３００の動作例を示すフローチャートである。
本開示の第１の実施形態について、図１から図６までを参照して説明する。図１は、本開示の概要を説明するための図である。図２は、ｍラウンド目におけるモデルの様子の一例を示す図である。図３は、学習システム１００の構成例を示す図である。図４は、学習装置３００の構成例を示すブロック図である。図５は、学習データ情報３４１の一例を示す図である。図６は、学習装置３００の動作例を示すフローチャートである。
【0015】
本開示の第１の実施形態では、図１で示すように、各ラウンドにおいて参加者それぞれが訓練した決定木を結合することでよりよい性能のモデルを作成する、多クラス分類用の学習システム１００について説明する。後述するように、本実施形態で説明する学習システム１００では、各ラウンドにおいて参加者それぞれが分類対象となる各クラスに対する決定木を訓練する。そして、学習システム１００は、各参加者が訓練した決定木を結合する。この際、本実施形態における学習システム１００は、各参加者が訓練した決定木の出力を所定の割合で足し合わせる。その後、学習システム１００は、ソフトマックス変換などの確率を表現するための変換処理を行う。これにより、学習システム１００は、的確な学習を行うことができる。
【0016】
例えば、図２は、ｍラウンド目におけるモデルの様子の一例を示している。図２では、データに対する決定木の出力をgclassで表現している。一例として、gA,3は、参加者Aが訓練したクラス３に対応する決定木の出力を示す。図２で例示するように、本実施形態で説明する学習システム１００では、後述する結合係数αを用いて、ｍラウンド目の出力を（ｍ－１）ラウンドまでのモデルの出力に足し合わせる。この際、学習システム１００は、クラスごとに上記足し合わせる処理を行ってよい。その後、学習システム１００は、ソフトマックス変換などの確率を表現するための変換処理を行う。このように、本実施形態における学習システム１００は、出力を足し合わせたのちに確率を表現するための変換処理を行うよう構成される。
【0017】
なお、本実施形態において、確率を表現するための変換処理とは、出力の合計値が１などの所定の値となり、かつ、各クラスに分類される出力であるスコアが正の値となるように行う変換処理のことをいう。例えば、確率を表現するための変換処理は、ソフトマックス変換などであってよい。確率を表現するための変換処理は、出力の合計値が１などの所定値となり、かつ、各クラスに分類されるスコアが正の値となる上記例示した以外であってもよい。例えば、あるデータに対するクラス１に対応する決定木の出力がa1、クラス２に対応する決定木の出力がa2、クラス３に対応する決定木の出力がa3であったとする。この場合、学習システム１００は、確率を表現するための変換処理として、クラス１に対応する決定木においてa1の値をa1+a2+a3など各クラスの出力合計値で割る処理などを行ってもよい。学習システム１００は、スコアの絶対値を各クラスに対応する絶対値の和で割る、a12 / (a12+a22+a32)を計算するなど、確率を表現するための変換処理として上記例示した以外の処理を行ってもよい。
【0018】
以下、本実施形態における学習システム１００の構成についてより詳細に説明する。図３は、学習システム１００の全体的な構成例を示している。図３を参照すると、学習システム１００は、１つまたは複数の他学習装置２００と、学習装置３００と、を有している。図３で示すように、他学習装置２００と学習装置３００とは、互いに通信可能なようネットワークなどを介して接続されている。なお、学習システム１００は、複数の学習装置３００を有してもよいし、他学習装置２００を有さずに複数の学習装置３００から構成されてもよい。
【0019】
他学習装置２００は、当該他学習装置２００が有する学習データに基づいた訓練を行うことで、学習器である決定木を生成する情報処理装置である。上述したように、本実施形態における他学習装置２００は、各ラウンドそれぞれにおいて、分類対象となるクラスごとの決定木を訓練することができる。なお、他学習装置２００は、特許文献１に記載されているGBDTなど、一般的な方法で決定木を訓練してよい。また、他学習装置２００は、生成した決定木を他の他学習装置２００や学習装置３００に対して送信することができる。
【0020】
学習装置３００は、各ラウンドにおいて他学習装置２００や学習装置３００などの参加者それぞれが訓練した決定木を結合することでよりよい性能のモデルを作成する情報処理装置である。上述したように、本実施形態で説明する学習装置３００は、決定木の出力を所定の割合で足し合わせたのちに、ソフトマックス変換などの確率を表現するための変換処理を行うことで、各決定木を結合することができる。図４は、学習装置３００の構成例を示している。図４を参照すると、学習装置３００は、主な構成要素として、例えば、操作入力部３１０と、画面表示部３２０と、通信Ｉ／Ｆ部３３０と、記憶部３４０と、演算処理部３５０と、を有している。
【0021】
なお、図４では、１台の情報処理装置を用いて学習装置３００としての機能を実現する場合について例示している。しかしながら、学習装置３００は、例えば、クラウド上に実現されるなど、複数台の情報処理装置を用いて実現されてもよい。また、学習装置３００は、操作入力部３１０や画面表示部３２０を有さないなど上記例示した構成の一部を含まなくてもよいし、上記例示した以外の構成を有してもよい。
【0022】
操作入力部３１０は、キーボード、マウスなどの操作入力装置からなる。操作入力部３１０は、学習装置３００を操作する操作者の操作を検出して演算処理部３５０に出力する。
【0023】
画面表示部３２０は、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ、液晶ディスプレイ）などの画面表示装置からなる。画面表示部３２０は、演算処理部３５０からの指示に応じて、記憶部３４０に格納されている各種情報などを画面表示することができる。
【0024】
通信Ｉ／Ｆ部３３０は、データ通信回路などからなる。通信Ｉ／Ｆ部３３０は、通信回線を介して接続された外部装置との間でデータ通信を行う。
【0025】
記憶部３４０は、ハードディスクやメモリなどの記憶装置である。記憶部３４０は、演算処理部３５０における各種処理に必要な処理情報やプログラム３４４を記憶する。プログラム３４４は、演算処理部３５０に読み込まれて実行されることにより各種処理部を実現する。プログラム３４４は、通信Ｉ／Ｆ部３３０などのデータ入出力機能を介して外部装置や記録媒体から予め読み込まれ、記憶部３４０に保存されている。記憶部３４０で記憶される主な情報としては、例えば、学習データ情報３４１、結合係数情報３４２、学習器情報３４３などがある。
【0026】
学習データ情報３４１は、学習器である決定木を訓練する際に用いる学習データを含んでいる。例えば、学習データ情報３４１は、通信Ｉ／Ｆ部３３０を介して外部装置から取得すること、操作入力部３１０を用いて入力すること、などの方法を用いて予め取得されており、記憶部３４０に格納されている。
【0027】
図５は、学習データ情報３４１の一例を示している。図５を参照すると、学習データ情報３４１では、複数の特徴量と、分類対象となるクラスに応じたラベルと、が関連付けられている。例えば、図５で示す例では、特徴量（ｘ１、ｘ２、…、ｘｄ）と、ラベルｙ１と、が関連付けられている。図５で示すように、学習データ情報３４１には複数の学習データが含まれてよい。
【0028】
結合係数情報３４２は、各参加者が訓練した学習器である決定木の出力を所定の割合で足し合わせる際に用いる結合係数についての情報を含んでいる。結合係数情報３４２には、他学習装置２００や学習装置３００などの参加者ごとの結合係数が含まれてよい。例えば、結合係数情報３４２は、通信Ｉ／Ｆ部３３０を介して外部装置から取得すること、操作入力部３１０を用いて入力すること、などの方法を用いて予め取得されており、記憶部３４０に格納されている。
【0029】
例えば、結合係数は、非特許文献１に記載されているように、他学習装置２００や学習装置３００などの各参加者が有する学習データの数に基づいて、予め定められている。一例として、ある参加者が学習した決定木を結合する際に用いる結合係数は、当該ある参加者が有する学習データの数を、他学習装置２００や学習装置３００など全参加者が有する学習データの数の和で割ることなどにより予め算出されている。なお、結合係数は、上記例示した以外の既知の方法で予め算出、定められていてもよい。
【0030】
学習器情報３４３は、他学習装置２００や自装置などの学習装置３００が訓練または結合した決定木についての情報を含んでいる。例えば、学習器情報３４３では、決定木の送信元を示す識別情報などと決定木とが関連付けられよい。また、学習器情報３４３には、ラウンドごと、クラスごとの決定木が含まれてよい。例えば、学習器情報３４３は、後述する受信部３５１が他学習装置２００などから決定木を受信すること、学習部３５２が決定木の訓練を行うこと、出力合計部３５３と変換部３５４とにより決定木を結合すること、などに応じて更新される。
【0031】
演算処理部３５０は、ＣＰＵ（Central Processing Unit）などの演算装置とその周辺回路を有する。演算処理部３５０は、記憶部３４０からプログラム３４４を読み込んで実行することにより、上記ハードウェアとプログラム３４４とを協働させて各種処理部を実現する。演算処理部３５０で実現される主な処理部としては、例えば、受信部３５１、学習部３５２、出力合計部３５３、変換部３５４、推論部３５５、出力部３５６などがある。
【0032】
なお、演算処理部３５０は、上述したＣＰＵの代わりに、ＧＰＵ（Graphic Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＭＰＵ（Micro Processing Unit）、ＦＰＵ（Floating point number Processing Unit）、ＰＰＵ（Physics Processing Unit）、ＴＰＵ（Tensor Processing Unit）、量子プロセッサ、マイクロコントローラ、又は、これらの組み合わせなどを有してもよい。
【0033】
受信部３５１は、他学習装置２００や他の学習装置３００から学習器である決定木を受信する。例えば、受信部３５１は、各ラウンドにおいて、学習システム１００に含まれる各他学習装置２００などからクラスごとの決定木を受信することができる。また、受信部３５１は、受信した決定木を学習器情報３４３として記憶部３４０に格納する。
【0034】
なお、受信部３５１は、例えば、前ラウンドにおける決定木との間の差分を示す情報などを他学習装置２００などから受信してもよい。この場合、受信部３５１は、受信した差分を示す情報に基づいて対応する決定木を更新するよう構成してもよい。
【0035】
学習部３５２は、学習データ情報３４１が示す学習データに基づく学習を行うことで、学習器である決定木を訓練する。学習部３５２は、クラスごとに決定木を訓練してよい。例えば、学習部３５２は、特許文献１に記載されたGBDTなどの方法を用いて、前ラウンドまでのモデルの誤差を修正するように追加の決定木を訓練することができる。学習部３５２は、その他既知の方法を用いて決定木を訓練してもよい。また、学習部３５２は、訓練した決定木を学習器情報３４３として記憶部３４０に格納する。
【0036】
出力合計部３５３は、他の学習装置から受信した学習器である決定木の出力と自装置が訓練した学習器である決定木の出力とをクラスごとに入力して、クラスごとに所定の出力を取得する取得部として機能する。例えば、出力合計部３５３は、他学習装置２００や学習装置３００などの各参加者が訓練した決定木の出力を足し合わせることで、上記所定の出力を取得する。一例として、出力合計部３５３は、結合係数情報３４２として格納された、各参加者が有する学習データに基づいて予め算出される重みである結合係数αを用いて、前ラウンドまでのモデルの出力に現ラウンドで訓練した決定木の出力を足し合わせる。出力合計部３５３は、クラスごとに、上記重みつきの足し合わせる処理を行ってよい。
【0037】
例えば、出力合計部３５３は、数１で示すような計算を行うことで、上述した重みつきの足し合わせる処理をクラスごとに行う。数１では、参加者がA、B、Cである場合における処理例を示している。例えば、出力合計部３５３は、数１で示すように、各クラスについて、参加者ごとの結合係数αを用いて、前ラウンドまでのモデルの出力に現ラウンドで訓練した決定木の出力を足し合わせることができる。
なお、gは決定木の出力を示し、ginitialは、前ラウンドまでのモデルの出力を示す。例えば、gi,classは、参加者ｉが訓練したクラスclassに対応する決定木の出力を示す。αは結合係数であり、例えばαＡは参加者Ａに対応する結合係数を示す。
【数1】
【0038】
変換部３５４は、出力合計部３５３による処理の結果を用いて、確率を表現するための変換処理をクラスごとに行う。また、変換部３５４は、変換の結果を学習器情報３４３として記憶部３４０に格納する。
【0039】
例えば、変換部３５４は、確率を表現するための変換処理として、数２で示すようなソフトマックス変換を行う。ここで、ソフトマックス変換は、出力の合計が１となり、かつ、どんな入力に対しても出力が０～１の間に収まる、という性質を有する。また、ソフトマックス変換は、大小関係をキープするような性質を有する。つまり、変換対象の関係がg1>g2の場合、変換後の値であるPの関係もP1>P2となる。
なお、数２のうちｙは変換結果として出力される確率を表す値ｐを示し、ｘは出力合計部３５３が処理を行った決定木の出力gに対応する。また、iは他学習装置２００や学習装置３００などの参加者に応じた値である。数２のうち学習システム１００に含まれる参加者の数を示すnは任意の値であってよい。
【数2】
【0040】
推論部３５５は、変換部３５４が変換した結果を用いた推論を行う。例えば、推論部３５５は、過去のラウンドで訓練した決定木や結合係数なども用いた推論を行ってよい。
【0041】
出力部３５６は、記憶部３４０に含まれる決定木の出力を行ったり、推論部３５５による推論結果の出力を行ったりする。例えば、出力部３５６は、通信Ｉ／Ｆ部３３０を介して他学習装置２００などの外部装置に対して決定木を送信したり、推論の結果を画面表示部３２０上に表示させたり通信Ｉ／Ｆ部３３０を介して外部装置へと送信したりしてよい。出力部３５６は、任意のタイミングで出力を行うことができる。
【0042】
以上が、学習装置３００の構成例である。続いて、図６を参照して、学習装置３００の動作例について説明する。図６は、あるラウンドにおける学習装置３００の動作例を示すフローチャートである。図６を参照すると、受信部３５１は、他学習装置２００から学習器である決定木を受信する（ステップＳ１０１）。受信部３５１は、分類対象となるクラスごとの決定木を受信してよい。
【0043】
学習部３５２は、学習データ情報３４１が示す学習データに基づく学習を行うことで、学習器である決定木を生成する（ステップＳ１０２）。例えば、学習部３５２は、特許文献１に記載されたGBDTなどの方法を用いて、前ラウンドまでのモデルの誤差を修正するような追加の決定木を生成する。学習部３５２は、クラスごとに決定木を生成してもよい。
【0044】
出力合計部３５３は、他学習装置２００や学習装置３００などの各参加者が訓練した決定木の出力を足し合わせる（ステップＳ１０３）。例えば、出力合計部３５３は、結合係数情報３４２として格納された、各参加者が有する学習データに基づいて予め算出される重みである結合係数αを用いて、前ラウンドまでのモデルの出力に現ラウンドで訓練した決定木の出力を足し合わせる。出力合計部３５３は、クラスごとに、上記重みつきの足し合わせる処理を行ってよい。
【0045】
変換部３５４は、出力合計部３５３による処理の結果に基づいて、確率を表現するための変換処理をクラスごとに行う。例えば、変換部３５４は、確率を表現するための変換処理として、数１で示すようなソフトマックス変換を行う（ステップＳ１０４）。
【0046】
以上が、学習装置３００の動作例である。学習装置３００は、図６で示すような一連の処理を、例えば予め定められた条件を満たすまで繰り返すことができる。
【0047】
このように、学習装置３００は、出力合計部３５３と変換部３５４とを有している。このような構成によると、学習装置３００は、出力合計部３５３による重みつきの足し合わせる処理の後に、変換部３５４による確率を表現するための変換処理を行うことができる。その結果、マイナスの値をとりうる決定木の出力に対してソフトマックス変換を行う前に足し合わせる処理を行うため、確率を過大評価した場合などにおいて次のラウンドで修正することができる。これにより、より的確な学習を行うことができる。また、各ラウンドで正の値を足してしまうとラウンドが進むことにより確率が１を超えてしまう場合があるが、上記構成によると、ソフトマックス変換の前に足し合わせる処理を行うため、このような確率が１を超えるおそれを低減させることができる。
【0048】
なお、本実施形態においては、学習器として決定木を用いる場合について説明した。しかしながら、本発明の対象となる学習器は、決定木に限定されない。例えば、学習器は、浅いニューラルネットやサポートベクターマシンなどであってもよい。もちろん、最終的に生成される学習器も、上記各学習器に応じたものであってよい。例えば、学習器としてニューラルネットを用いた場合、最終的に生成されるモデルは勾配ブースティングニューラルネットなどであってもよい。
【0049】
［第２の実施形態］
続いて、本開示の第２の実施形態について、図７から図９までを参照して説明する。図７は、学習装置４００の構成例を示すブロック図である。図８は、ソフトマックス変換の一例を示す図である。図９は、ニューラルネットの構成例を示す図である。
続いて、本開示の第２の実施形態について、図７から図９までを参照して説明する。図７は、学習装置４００の構成例を示すブロック図である。図８は、ソフトマックス変換の一例を示す図である。図９は、ニューラルネットの構成例を示す図である。
【0050】
本開示の第２の実施形態では、第１の実施形態で説明した学習システム１００の変形例について説明する。本実施形態における学習システム１００は、第１の実施形態で説明した学習装置３００の代わりに、または、学習装置３００とともに、学習装置４００を有することができる。
【0051】
学習装置４００は、当該学習装置４００が有する学習データやバリデーションデータなどのデータに対してより適切な予測を行うように、第１の実施形態で説明した学習装置３００よりもよりパーソナライズされた決定木の訓練を行う情報処理装置である。例えば、学習装置４００は、自装置で訓練した決定木や他の参加者から受信した決定木と、予め記憶するバリデーションデータなどと、を用いて、各決定木に対応する結合係数αを算出する。そして、学習装置４００は、算出した結合係数αを用いた足し合わせる処理を行う。換言すると、学習装置４００は、学習データ数に基づいて結合係数αを予め定めておく代わりに、各参加者から取得した決定木とバリデーションデータに基づいて、バリデーションデータに対する予測性能が最適になるよう結合係数αを算出する。また、学習装置４００は、他の参加者から受信した決定木に対して学習データやバリデーションデータなどを入力することで得られる追加特徴量を学習データに追加した訓練を行うことで、自装置の決定木を訓練する。学習装置４００は、上記例示した方法のいずれか、または、組み合わせを用いることで、より自装置が有する学習データなどにパーソナライズされた決定木の訓練を行う。
【0052】
以下、学習システム１００が有する構成のうち、本実施形態に特徴的な構成である学習装置４００について説明する。
【0053】
図７は、学習装置４００の構成例を示している。図７を参照すると、学習装置４００は、主な構成要素として、例えば、操作入力部３１０と、画面表示部３２０と、通信Ｉ／Ｆ部３３０と、記憶部４４０と、演算処理部４５０と、を有している。なお、学習装置４００は、第１の実施形態で説明した学習装置３００と同様の変形例から構成されてもよい。また、操作入力部３１０、画面表示部３２０、通信Ｉ／Ｆ部３３０の構成は、第１の実施形態と同様であってよい。
【0054】
記憶部４４０は、ハードディスクやメモリなどの記憶装置である。記憶部４４０は、演算処理部４５０における各種処理に必要な処理情報やプログラム４４３を記憶する。プログラム４４３は、演算処理部４５０に読み込まれて実行されることにより各種処理部を実現する。プログラム４４３は、通信Ｉ／Ｆ部３３０などのデータ入出力機能を介して外部装置や記録媒体から予め読み込まれ、記憶部４４０に保存されている。記憶部４４０で記憶される主な情報としては、例えば、学習データ情報３４１、バリデーションデータ情報４４１、学習器情報３４３、係数情報４４２などがある。なお、記憶部４４０には、第１の実施形態で説明した結合係数情報３４２などが含まれてもよい。以下、記憶部４４０に格納された各情報のうち、本実施形態に特徴的な情報について説明する。
【0055】
バリデーションデータ情報４４１は、訓練した決定木の性能などを検証する際に用いるデータであるバリデーションデータを含んでいる。例えば、バリデーションデータ情報４４１は、通信Ｉ／Ｆ部３３０を介して外部装置から取得する、操作入力部３１０を用いて入力する、などの方法を用いて予め取得されており、記憶部４４０に格納されている。
【0056】
バリデーションデータ情報４４１では、学習データ情報３４１と同様に、複数の特徴量と、ラベルと、が関連付けられている。バリデーションデータ情報４４１には複数のバリデーションデータが含まれてよい。
【0057】
係数情報４４２は、他学習装置２００から受信した決定木や学習部４５２が訓練した決定木などの各決定木に対応する結合係数を含んでいる。例えば、係数情報４４２では、決定木の識別情報と結合係数とが関連付けられている。係数情報４４２には、ラウンドごと、決定木ごとの結合係数が含まれてよい。例えば、係数情報４４２は、後述する係数算出部４５３が結合係数を算出することなどに応じて更新される。
【0058】
演算処理部４５０は、ＣＰＵなどの演算装置とその周辺回路を有する。演算処理部４５０は、記憶部４４０からプログラム４４３を読み込んで実行することにより、上記ハードウェアとプログラム４４３とを協働させて各種処理部を実現する。演算処理部４５０で実現される主な処理部としては、例えば、受信部３５１、特徴量追加算出部４５１、学習部４５２、係数算出部４５３、出力合計部３５３、変換部３５４、推論部３５５、出力部３５６などがある。なお、第１の実施形態と同様に、演算処理部４５０は、ＣＰＵの代わりにＧＰＵなどを有してもよい。以下、本実施形態に特徴的な構成について説明する。
【0059】
特徴量追加算出部４５１は、受信部３５１が受信した決定木と、学習データ情報３４１に含まれる学習データと、に基づいて、追加の学習データを算出する。例えば、特徴量追加算出部４５１は、受信部３５１が受信した決定木に対して学習データ情報３４１に含まれる各学習データを入力することで、学習器から出力を得る。特徴量追加算出部４５１は、上記出力を、追加の特徴量として取得することができる。
【0060】
例えば、学習データ情報３４１に特徴量ｘｉ、ラベルｙｉを含む（ｘｉ、ｙｉ）という学習データが含まれるとする（iは任意でよい）。また、他学習装置２００からｆ１（）、ｆ２（）、…という決定木を受信したとする。この場合、特徴量追加算出部４５１は、各決定木に特徴量ｘｉを入力することで、ｆ１（ｘｉ）、ｆ２（ｘｉ）、…という追加の特徴量を算出する。その結果、後述する学習部４５２による学習対象となる学習データは、（ｘｉ、ｆ１（ｘｉ）、ｆ２（ｘｉ）、…、ｙｉ）となる。
【0061】
なお、特徴量追加算出部４５１は、他学習装置２００から受信したすべての決定木を用いて追加の特徴量を算出してもよいし、他学習装置２００から受信した決定木のうちの一部を抽出して抽出した一部を用いて追加の特徴量を算出してもよい。特徴量追加算出部４５１は、任意の方法を用いて一部の決定木を抽出してよい。また、特徴量追加算出部４５１は、学習データ情報３４１に含まれるすべての学習データを用いて追加の特徴量を算出してもよいし、一部を抽出して抽出した一部の学習データを用いて追加の特徴量を算出してもよい。上記と同様、特徴量追加算出部４５１は、任意の方法を用いて一部の学習データを抽出してよい。また、特徴量追加算出部４５１は、学習データの代わりにバリデーションデータを決定木に入力することで追加の特徴量を算出してもよい。
【0062】
学習部４５２は、特徴量追加算出部４５１が算出した特徴量と、学習データ情報３４１が示す学習データと、に基づく学習を行うことで、学習器である決定木を訓練する。学習部４５２は、第１の実施形態で説明した学習部３５２と同様、クラスごとに決定木をしてよい。例えば、学習部４５２は、学習部３５２と同様に、GBDTなどの既知の方法を用いて前ラウンドまでのモデルの誤差を修正するように追加の決定木を訓練することができる。学習部４５２は、その他既知の方法を用いて決定木を訓練してもよい。また、学習部４５２は、生成した決定木を学習器情報３４３として記憶部３４０に格納する。
【0063】
なお、学習部４５２は、上述した特徴量追加算出部４５１により算出された追加の特徴量をそのまま学習データに追加して機械学習を行ってもよいし、例えば、特徴量追加算出部４５１により算出された追加の特徴量を線形結合した結果などを学習データに追加して機械学習を行うよう構成してもよい。学習部４５２は、特徴量追加算出部４５１により算出された追加の特徴量と、追加の特徴量を線形結合した結果と、を共に学習データに追加して機械学習を行ってもよい。
【0064】
係数算出部４５３は、バリデーションデータ情報４４１が示すバリデーションデータを用いて、結合係数を決定木ごとに算出する。例えば、係数算出部４５３は、バリデーションデータ情報４４１が示すバリデーションデータに対する予測性能が最適になるように、結合係数を算出する。係数算出部４５３は、受信部３５１が受信した決定木や学習部４５２が生成した決定木ごとに結合係数を算出することができる。係数算出部４５３は、重回帰などの線形回帰、ニューラルネット、サポートベクター回帰（Support Vector Regression, SVR）などの方法を用いて上記算出を行ってよい。また、係数算出部４５３は、算出した結合係数を係数情報４４２として記憶部３４０に格納する。
【0065】
例えば、バリデーションデータ情報４４１に特徴量ｘ１ｉ 、ラベルｙ１ｉを含む（ｘ１ｉ ,ｙ１ｉ）というバリデーションデータが含まれるとする。また、他学習装置２００や学習部４５２によりｆ１１（）、ｆ１２（）、…という決定木を受信したり生成したりしたとする。この場合、まず、係数算出部４５３は、各決定木にバリデーションデータを入力することで出力を得る。例えば、係数算出部４５３は、バリデーションデータ（ｘ１ｉ ,ｙ１ｉ）を決定木ｆ１１（）に入力することで出力ｕｉを得る。また、係数算出部４５３は、バリデーションデータ（ｘ１ｉ ,ｙ１ｉ)を決定木ｆ１２（）に入力することで出力ｖｉを得る。そして、係数算出部４５３は、（ｕｉ、ｖｉ、ｙ１ｉ）を使うことで、決定木ごとの結合係数を算出する。例えば、係数算出部４５３は、線形回帰を行うことなどにより、結合係数を算出してよい。例えば、係数算出部４５３は、バリデーションデータ（ｘ１ｉ ,ｙ１ｉ）と出力ｕｉとを用いた線形回帰を行うことで決定木ｆ１１（）に対応する結合係数を決定してよい。
【0066】
また、上記結合係数を決定する際、係数算出部４５３は、出力gの正解値として、ソフトマックス変換を行ったときに正解ラベルに近似的に近づく値を用いてもよい。例えば、（０、０、１）というクラス３に属するデータの確率を再現したい場合、正解値である出力gとしては（０、０、１０）などを用いることが考えられる。例えば、数２で示した式の具体的な計算例である図８で示すように、出力gの正解値として（０、０、１０）などを用いることで、ソフトマックス変換を行った際に正解ラベルに近似的に近づいていることが分かる。なお、正解値は、（０、０、１００）など上記例示した以外の近似的に近づく値であってもよい。
【0067】
なお、係数算出部４５３は、バリデーションデータ全体を用いて結合係数を算出してもよいし、バリデーションデータのうちの一部を用いて結合係数を算出してもよい。例えば、モデルの構造や分岐条件などの学習部４５２が生成した決定木についてのモデル情報を参照すると、各バリデーションデータが落ちる葉ノードを特定することができる。そこで、係数算出部４５３は、例えば、葉ノードごとのバリデーションデータを用いて線形回帰を行うことなどにより、葉ノードごとに結合係数を算出してもよい。葉ノードごとに落ちるデータの性質が異なるため、葉ノードごとに結合係数を最適化することでより細かな性質に最適化することができる。
【0068】
また、係数算出部４５３は、バリデーションデータの代わりに学習データ情報３４１が示す学習データを用いて結合係数を算出してもよい。ただし、過度な偏りを抑制する、という観点からすると、学習データを用いるよりもバリデーションデータを用いて結合係数を算出する方が望ましい。
【0069】
また、係数算出部４５３は、上述したように、その他任意の方法で結合係数を算出してもよい。例えば、係数算出部４５３は、ニューラルネットを使った回帰により結合係数を算出してもよい。図９で例示するように、ニューラルネットを使って線形回帰を表した場合、隠れ層なしの１層のユーラルネットワーク構造として記載することができる。例えば、図９で例示する場合、入力層のユニット数は参加者の数に応じたものであり、出力層のユニット数は１になる。また、上記構造を数式で表すと、例えば数３のようになる。係数算出部４５３は、数３で示す式のうち係数ｗ１、……ｗｄと、バイアスｂを学習することができる。数３で示す式では、係数ｗ１、……、ｗｄが各決定木の結合係数に相当する。
なお、wは係数であり各決定木の結合係数に相当する。また、ｘは各決定木の出力に相当する。
【数3】
【0070】
なお、一般には、数４で示すように、ニューラルネットでは、非線形な活性化関数ｆを使う。上述したように線形回帰を表す場合、活性化関数ｆとして恒等関数を用いることで、数３で示したように表記することができる。なお、係数算出部４５３は、活性化関数ｆとして恒等関数以外の任意の活性化関数を用いてもよい。
【数4】
【0071】
また、係数算出部４５３は、上記例示した場合の他、中間層を有するニューラルネットを使って、ニューラルネットのパラメータを学習するよう構成してもよい。この構造の場合、中間層は何層でもいいし、ユニット数も特に制限しない。また、係数算出部４５３はＳＶＲなどを使って結合係数を決定してもよい。係数算出部４５３は、上記例示した方法のうちのいずれかを用いて結合係数を決定してよい。
【0072】
出力合計部３５３は、本実施形態の場合、結合係数情報３４２として格納された結合係数の代わりに、係数算出部４５３が算出、決定した結合係数を用いて、重みつきの足し合わせる処理を行う。以降の処理は、第１の実施形態と同様であって良い。
【0073】
このように、学習装置４００は、特徴量追加算出部４５１と学習部４５２とを有している。このような構成によると、学習部４５２は、特徴量追加算出部４５１が算出した特徴量を加えた学習データを用いた学習を行うことにより学習器である決定木を生成することができる。その結果、他学習装置２００による学習の成果も取り込んだ形で決定木を生成することができる。これにより、性能を高めつつ、自装置が有するデータにより適した学習器である決定木を生成することができる。つまり、上記構成によると、より的確な学習を行うことができるとともに、よりパーソナライズされた決定木の訓練を行うことができる。
【0074】
また、学習装置３００は、係数算出部４５３を有している。このような構成によると、出力合計部３５３は、係数算出部４５３が算出した結合係数を用いて、重みつきの足し合わせる処理を行うことができる。上述したように、係数算出部４５３は、バリデーションデータなどに対する予測性能が最適になるように、結合係数を算出する。そのため、上記結合係数を用いて各決定木を結合することで、性能を高めつつ、バリデーションデータを有する学習装置３００により適した学習器である決定木を生成することができる。つまり、上記構成によると、より的確な学習を行うことができるとともに、よりパーソナライズされた決定木の訓練を行うことができる。
【0075】
なお、本実施形態においては、学習装置４００が特徴量追加算出部４５１と係数算出部４５３とをともに有する場合について例示した。しかしながら、学習装置４００は、特徴量追加算出部４５１と係数算出部４５３とのうちのいずれか一つのみを有してもよい。
【0076】
例えば、学習装置４００が特徴量追加算出部４５１を有さない場合、学習部４５２は、第１の実施形態で説明した学習部３５２と同様に、学習データ情報３４１に含まれる学習データに基づく訓練を行う。このような場合であっても、上述したように、バリデーションデータに対する予測性能が最適になるように結合係数を算出するため、結合係数を用いて各決定木を結合することで、性能を高めつつ、バリデーションデータを有する学習装置３００により適した学習器である決定木を生成することができる。
【0077】
また、例えば、学習装置４００が係数算出部４５３を有さない場合、出力合計部３５３は、他学習装置２００による学習の成果も取り込んだ形で生成される決定木の出力と、前ラウンドまでのモデルの出力とを足し合わせる。その結果、性能を高めつつ、自装置が有するデータにより適した学習器である決定木を生成することができる。
【0078】
［第３の実施形態］
次に、本開示の第３の実施形態について、図１０、図１１を参照して説明する。図１０、学習装置５００のハードウェア構成例を示す図である。図１１は、学習装置５００の構成例を示すブロック図である。
次に、本開示の第３の実施形態について、図１０、図１１を参照して説明する。図１０、学習装置５００のハードウェア構成例を示す図である。図１１は、学習装置５００の構成例を示すブロック図である。
【0079】
本開示の第３の実施形態においては、他の学習装置などから受信した学習器と自装置で訓練した学習器とを結合する情報処理装置である学習装置５００の構成例について説明する。図１０は、学習装置５００のハードウェア構成例を示している。図１０を参照すると、学習装置５００は、一例として、以下のようなハードウェア構成を有している。
・ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）５０１（演算装置）
・ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）５０２（記憶装置）
・ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）５０３（記憶装置）
・ＲＡＭ５０３にロードされるプログラム群５０４
・プログラム群５０４を格納する記憶装置５０５
・情報処理装置外部の記録媒体５１０の読み書きを行うドライブ装置５０６
・情報処理装置外部の通信ネットワーク５１１と接続する通信インタフェース５０７
・データの入出力を行う入出力インタフェース５０８
・各構成要素を接続するバス５０９
・ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）５０１（演算装置）
・ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）５０２（記憶装置）
・ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）５０３（記憶装置）
・ＲＡＭ５０３にロードされるプログラム群５０４
・プログラム群５０４を格納する記憶装置５０５
・情報処理装置外部の記録媒体５１０の読み書きを行うドライブ装置５０６
・情報処理装置外部の通信ネットワーク５１１と接続する通信インタフェース５０７
・データの入出力を行う入出力インタフェース５０８
・各構成要素を接続するバス５０９
【0080】
また、学習装置５００は、プログラム群５０４をＣＰＵ５０１が取得して当該ＣＰＵ５０１が実行することで、図１１に示す取得部５２１、変換部５２２としての機能を実現することができる。なお、プログラム群５０４は、例えば、予め記憶装置５０５やＲＯＭ５０２に格納されており、必要に応じてＣＰＵ５０１がＲＡＭ５０３などにロードして実行する。また、プログラム群５０４は、通信ネットワーク５１１を介してＣＰＵ５０１に供給されてもよいし、予め記録媒体５１０に格納されており、ドライブ装置５０６が該プログラムを読み出してＣＰＵ５０１に供給してもよい。
【0081】
なお、図１０は、学習装置５００のハードウェア構成例を示している。学習装置５００のハードウェア構成は上述した場合に限定されない。例えば、学習装置５００は、ドライブ装置５０６を有さないなど、上述した構成の一部から構成されてもよい。
【0082】
取得部５２１は、他の学習装置から受信したクラスごとの学習器の出力と自装置が訓練したクラスごとの学習器の出力とをクラスごとに入力して、クラスごとに所定の出力を取得する。例えば、取得部５２１は、他の学習装置から受信した学習器の出力と自装置が訓練した学習器の出力とを所定の結合係数を用いて足し合わせる処理をクラスごとに行うことで、所定の出力を得ることができる。
【0083】
変換部５２２は、取得部５２１が取得した出力に対して確率を表現する変換処理をクラスごとに行う。例えば、変換部５２２は、変換処理としてソフトマックス変換などを行ってよい。
【0084】
このように、学習装置５００は、取得部５２１と変換部５２２とを有している。このような構成によると、学習装置５００は、取得部５２１が出力を取得した後に変換処理を行うことができる。その結果、取得部５２１による処理の後に変換処理を行うことができるため、確率を過大評価した場合などにおいて次のラウンドで修正することができる。これにより、より的確な学習を行うことができる。
【0085】
なお、上述した学習装置５００は、当該学習装置５００などの情報処理装置に所定のプログラムが組み込まれることで実現できる。具体的に、本発明の他の形態であるプログラムは、学習装置５００などの情報処理装置に、他の学習装置から受信した学習器の出力と自装置が訓練した学習器の出力とを入力して、所定の出力を取得し、取得した出力に対して確率を表現するための変換処理を行う、処理を実現するためのプログラムである。
【0086】
また、上述した学習装置５００などの情報処理装置により実行される学習方法は、学習装置５００などの情報処理装置が、他の学習装置から受信した学習器の出力と自装置が訓練した学習器の出力とを入力して、所定の出力を取得し、取得した出力に対して確率を表現するための変換処理を行う、という方法である。
【0087】
上述した構成を有する、プログラム、又は、プログラムを記録したコンピュータが読み取り可能な記録媒体、又は、学習方法、の発明であっても、上述した学習装置５００と同様の作用・効果を奏するために、上述した本開示の目的を達成することができる。
【0088】
＜付記＞
上記実施形態の一部又は全部は、以下の付記のようにも記載されうる。以下、本発明における学習装置などの概略を説明する。但し、本発明は、以下の構成に限定されない。
上記実施形態の一部又は全部は、以下の付記のようにも記載されうる。以下、本発明における学習装置などの概略を説明する。但し、本発明は、以下の構成に限定されない。
【0089】
（付記１）
他の学習装置から受信したクラスごとの学習器の出力と自装置が訓練したクラスごとの学習器の出力とをクラスごとに入力して、クラスごとに所定の出力を取得する取得部と、
前記取得部が取得したクラスごとの出力に対して確率を表現するための変換処理をクラスごとに行う変換部と、
を有する
学習装置。
（付記２）
付記１に記載の学習装置であって、
前記取得部は、他の学習装置から受信した学習器の出力と自装置が訓練した学習器の出力とを所定の結合係数を用いて足し合わせる処理をクラスごとに行うことで、所定の出力を得る
学習装置。
（付記３）
付記２に記載の学習装置であって、
前記結合係数は、各学習装置が学習器を訓練する際に用いる学習データの数に基づいて学習装置ごとに予め定められた値である
学習装置。
（付記４）
付記２に記載の学習装置であって、
他の学習装置から受信した学習器と、自装置が訓練した学習器と、自装置が有するデータと、に基づいて前記結合係数を算出する算出部を有し、
前記取得部は、他の学習装置から受信した学習器の出力と自装置が訓練した学習器の出力とを前記算出部が算出した前記結合係数を用いて足し合わせる処理をクラスごとに行うことで、所定の出力を得る
学習装置。
（付記５）
付記４に記載の学習装置であって、
前記算出部は、学習器である決定木において各葉ノードに落ちるデータを特定して、葉ノードごとのデータを用いて前記結合係数を算出する
学習装置。
（付記６）
付記４または付記５に記載の学習装置であって、
前記算出部は、他の学習装置から受信した学習器と、自装置が訓練した学習器と、自装置が有する、検証用のデータであるバリデーションデータと、に基づいて前記結合係数を算出する
学習装置。
（付記７）
付記１から付記６までのうちのいずれか１項に記載の学習装置であって、
他の学習装置から受信した学習器と、自装置が有するデータと、を用いて追加の特徴量を算出する特徴量算出部と、
前記特徴量算出部が算出した特徴量を自装置が有するデータに加えて学習することで学習器を訓練する学習部と、
を有し、
前記取得部は、他の学習装置から受信した学習器の出力と前記学習部が訓練した学習器の出力とを所定の結合係数を用いて足し合わせる処理をクラスごとに行うことで、所定の出力を得る
学習装置。
（付記８）
付記１から付記７までのうちのいずれか１項に記載の学習装置であって、
前記変換部は、前記変換処理としてソフトマックス変換を行う
学習装置。
（付記９）
情報処理装置が、
他の学習装置から受信したクラスごとの学習器の出力と自装置が訓練したクラスごとの学習器の出力とをクラスごとに入力して、クラスごとに所定の出力を取得し、
取得したクラスごとの出力に対して確率を表現するための変換処理をクラスごとに行う
学習方法。
（付記１０）
情報処理装置に、
他の学習装置から受信したクラスごとの学習器の出力と自装置が訓練したクラスごとの学習器の出力とをクラスごとに入力して、クラスごとに所定の出力を取得し、
取得したクラスごとの出力に対して確率を表現するための変換処理をクラスごとに行う
処理を実現するためのプログラム。
他の学習装置から受信したクラスごとの学習器の出力と自装置が訓練したクラスごとの学習器の出力とをクラスごとに入力して、クラスごとに所定の出力を取得する取得部と、
前記取得部が取得したクラスごとの出力に対して確率を表現するための変換処理をクラスごとに行う変換部と、
を有する
学習装置。
（付記２）
付記１に記載の学習装置であって、
前記取得部は、他の学習装置から受信した学習器の出力と自装置が訓練した学習器の出力とを所定の結合係数を用いて足し合わせる処理をクラスごとに行うことで、所定の出力を得る
学習装置。
（付記３）
付記２に記載の学習装置であって、
前記結合係数は、各学習装置が学習器を訓練する際に用いる学習データの数に基づいて学習装置ごとに予め定められた値である
学習装置。
（付記４）
付記２に記載の学習装置であって、
他の学習装置から受信した学習器と、自装置が訓練した学習器と、自装置が有するデータと、に基づいて前記結合係数を算出する算出部を有し、
前記取得部は、他の学習装置から受信した学習器の出力と自装置が訓練した学習器の出力とを前記算出部が算出した前記結合係数を用いて足し合わせる処理をクラスごとに行うことで、所定の出力を得る
学習装置。
（付記５）
付記４に記載の学習装置であって、
前記算出部は、学習器である決定木において各葉ノードに落ちるデータを特定して、葉ノードごとのデータを用いて前記結合係数を算出する
学習装置。
（付記６）
付記４または付記５に記載の学習装置であって、
前記算出部は、他の学習装置から受信した学習器と、自装置が訓練した学習器と、自装置が有する、検証用のデータであるバリデーションデータと、に基づいて前記結合係数を算出する
学習装置。
（付記７）
付記１から付記６までのうちのいずれか１項に記載の学習装置であって、
他の学習装置から受信した学習器と、自装置が有するデータと、を用いて追加の特徴量を算出する特徴量算出部と、
前記特徴量算出部が算出した特徴量を自装置が有するデータに加えて学習することで学習器を訓練する学習部と、
を有し、
前記取得部は、他の学習装置から受信した学習器の出力と前記学習部が訓練した学習器の出力とを所定の結合係数を用いて足し合わせる処理をクラスごとに行うことで、所定の出力を得る
学習装置。
（付記８）
付記１から付記７までのうちのいずれか１項に記載の学習装置であって、
前記変換部は、前記変換処理としてソフトマックス変換を行う
学習装置。
（付記９）
情報処理装置が、
他の学習装置から受信したクラスごとの学習器の出力と自装置が訓練したクラスごとの学習器の出力とをクラスごとに入力して、クラスごとに所定の出力を取得し、
取得したクラスごとの出力に対して確率を表現するための変換処理をクラスごとに行う
学習方法。
（付記１０）
情報処理装置に、
他の学習装置から受信したクラスごとの学習器の出力と自装置が訓練したクラスごとの学習器の出力とをクラスごとに入力して、クラスごとに所定の出力を取得し、
取得したクラスごとの出力に対して確率を表現するための変換処理をクラスごとに行う
処理を実現するためのプログラム。
【0090】
以上、上記各実施形態を参照して本願発明を説明したが、本願発明は、上述した実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明の範囲内で当業者が理解しうる様々な変更をすることができる。
【符号の説明】
【0091】
１００ 学習システム
２００ 他学習装置
３００ 学習装置
３１０ 操作入力部
３２０ 画面表示部
３３０ 通信I／F部
３４０ 記憶部
３４１ 学習データ情報
３４２ 結合係数情報
３４３ 学習器情報
３４４ プログラム
３５０ 演算処理部
３５１ 受信部
３５２ 学習部
３５３ 出力合計部
３５４ 変換部
３５５ 推論部
３５６ 出力部
４００ 学習装置
４４０ 記憶部
４４１ バリデーションデータ情報
４４２ 係数情報
４４３ プログラム
４５０ 演算処理部
４５１ 特徴量追加算出部
４５２ 学習部
４５３ 係数算出部
５００ 学習装置
５０１ ＣＰＵ
５０２ ＲＯＭ
５０３ ＲＡＭ
５０４ プログラム群
５０５ 記憶装置
５０６ ドライブ装置
５０７ 通信インタフェース
５０８ 入出力インタフェース
５０９ バス
５１０ 記録媒体
５１１ 通信ネットワーク
５２１ 取得部
５２２ 変換部
２００ 他学習装置
３００ 学習装置
３１０ 操作入力部
３２０ 画面表示部
３３０ 通信I／F部
３４０ 記憶部
３４１ 学習データ情報
３４２ 結合係数情報
３４３ 学習器情報
３４４ プログラム
３５０ 演算処理部
３５１ 受信部
３５２ 学習部
３５３ 出力合計部
３５４ 変換部
３５５ 推論部
３５６ 出力部
４００ 学習装置
４４０ 記憶部
４４１ バリデーションデータ情報
４４２ 係数情報
４４３ プログラム
４５０ 演算処理部
４５１ 特徴量追加算出部
４５２ 学習部
４５３ 係数算出部
５００ 学習装置
５０１ ＣＰＵ
５０２ ＲＯＭ
５０３ ＲＡＭ
５０４ プログラム群
５０５ 記憶装置
５０６ ドライブ装置
５０７ 通信インタフェース
５０８ 入出力インタフェース
５０９ バス
５１０ 記録媒体
５１１ 通信ネットワーク
５２１ 取得部
５２２ 変換部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】