特開 2023-21647 学習装置および方法、予測装置および方法、プログラム、機械学習モデルの評価方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023021647

(43)【公開日】2023-02-14

(54)【発明の名称】学習装置および方法、予測装置および方法、プログラム、機械学習モデルの評価方法

(51)【国際特許分類】

   G06N 20/00 20190101AFI20230207BHJP

【ＦＩ】

G06N20/00 130

【審査請求】未請求

【請求項の数】7

【出願形態】ＯＬ

(21)【出願番号】P 2021126642

(22)【出願日】2021-08-02

(71)【出願人】

【識別番号】397065480

【氏名又は名称】エヌ・ティ・ティ・コムウェア株式会社

(74)【代理人】

【識別番号】100161207

【弁理士】

【氏名又は名称】西澤 和純

(74)【代理人】

【識別番号】100126664

【弁理士】

【氏名又は名称】鈴木 慎吾

(74)【代理人】

【識別番号】100181124

【弁理士】

【氏名又は名称】沖田 壮男

(72)【発明者】

【氏名】小▲柳▼ 隆人

(72)【発明者】

【氏名】君塚 涼

(57)【要約】

【課題】アノテーション作業の負担を増加させることなく、複数のラベルから一つの正解ラベルを予測する処理と複数のラベルから複数の正解ラベルを予測する処理とを行うこと。
【解決手段】本発明の一態様は、対象データを入力した場合に複数の正解ラベルを出力する第１の機械学習モデルを学習させる第１の学習データを、当該第１の学習データに含まれる複数のラベルを当該複数のラベルのフラグに基づいて統合した統合ラベルを含む第２の学習データに変換する変換部と、前記変換部により変換された前記第２の学習データを用いて、対象データを入力した場合に一つの正解ラベルを出力する第２の機械学習モデルを学習させる学習部と、を備える、学習装置である。
【選択図】図２

【特許請求の範囲】

【請求項1】

対象データを入力した場合に複数の正解ラベルを出力する第１の機械学習モデルを学習させる第１の学習データを、当該第１の学習データに含まれる複数のラベルを当該複数のラベルのフラグに基づいて統合した統合ラベルを含む第２の学習データに変換する変換部と、
前記変換部により変換された前記第２の学習データを用いて、対象データを入力した場合に一つの正解ラベルを出力する第２の機械学習モデルを学習させる学習部と、
を備える、学習装置。

【請求項2】

対象データを入力した場合に複数の正解ラベルを出力する第１の機械学習モデルを学習させる第１の学習データを、当該第１の学習データに含まれる複数のラベルを当該複数のラベルのフラグに基づいて統合した統合ラベルを含む第２の学習データに変換するステップと、
前記第２の学習データを用いて、対象データを入力した場合に一つの正解ラベルを出力する第２の機械学習モデルを学習させるステップと、
を含む、学習方法。

【請求項3】

コンピュータに、
対象データを入力した場合に複数の正解ラベルを出力する第１の機械学習モデルを学習させる第１の学習データを、当該第１の学習データに含まれる複数のラベルを当該複数のラベルのフラグに基づいて統合した統合ラベルを含む第２の学習データに変換するステップと、
前記第２の学習データを用いて、対象データを入力した場合に一つの正解ラベルを出力する第２の機械学習モデルを学習させるステップと、
を実行させる、プログラム。

【請求項4】

対象データを入力した場合に複数の正解ラベルを出力する第１の機械学習モデルを学習させる第１の学習データを変換した第２の学習データであって、当該第１の学習データに含まれる複数のラベルを当該複数のラベルのフラグに基づいて統合した統合ラベルを含む第２の学習データを用いて学習された第２の機械学習モデルに、対象データを入力し、前記第２の機械学習モデルから出力された正解ラベルを含む予測結果を取得する予測部と、
前記予測部により取得した正解ラベルが前記統合ラベルである場合には前記統合ラベルの元になった複数のラベルのフラグを変換し、前記予測結果から前記統合ラベルを削除する逆変換部と、
を備える、予測装置。

【請求項5】

対象データを入力した場合に複数の正解ラベルを出力する第１の機械学習モデルを学習させる第１の学習データを変換した第２の学習データであって、当該第１の学習データに含まれる複数のラベルを当該複数のラベルのフラグに基づいて統合した統合ラベルを含む第２の学習データを用いて学習された第２の機械学習モデルに、対象データを入力するステップと、
前記第２の機械学習モデルから出力された正解ラベルを含む予測結果を取得するステップと、
前記正解ラベルが前記統合ラベルである場合に、前記統合ラベルの元になった複数のラベルのフラグを変換するステップと、
前記予測結果から前記統合ラベルを削除するステップと、
を含む予測方法。

【請求項6】

コンピュータに、
対象データを入力した場合に複数の正解ラベルを出力する第１の機械学習モデルを学習させる第１の学習データを変換した第２の学習データであって、当該第１の学習データに含まれる複数のラベルを当該複数のラベルのフラグに基づいて統合した統合ラベルを含む第２の学習データを用いて学習された第２の機械学習モデルに、対象データを入力するステップと、
前記第２の機械学習モデルから出力された正解ラベルを含む予測結果を取得するステップと、
前記正解ラベルが前記統合ラベルである場合に、前記統合ラベルの元になった複数のラベルのフラグを変換するステップと、
前記予測結果から前記統合ラベルを削除するステップと、
を実行させる、プログラム。

【請求項7】

データに複数の正解ラベルが付与された第１の学習データを用いて学習された第１の機械学習モデルに対象データを入力し、前記第１の機械学習モデルの予測結果を取得するステップと、
前記第１の学習データに含まれる複数のラベルを当該複数のラベルのフラグに基づいて統合した統合ラベルを含む第２の学習データを用いて学習された第２の機械学習モデルに対象データを入力し、前記正解ラベルが前記統合ラベルである場合に前記統合ラベルの元になった複数のラベルのフラグを変換し、前記予測結果から前記統合ラベルを削除して、前記第２の機械学習モデルの予測結果を取得するステップと、
前記第１の機械学習モデルの予測結果と前記第２の機械学習モデルの予測結果とを比較することで、前記第２の機械学習モデルを評価するステップと、
を含む、機械学習モデルの評価方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、学習装置および方法、予測装置および方法、プログラム、機械学習モデルの評価方法に関する。

【背景技術】

【0002】

従来より、機械学習モデルにより対象データを分類する技術が知られている。この分類型の機会学習モデルとしては、複数のラベルのうち一つのラベルに対象データを分類するシングルラベルモデルと、対象データを複数のラベルに同時に分類するマルチラベルモデルとがある。

【0003】

シングルラベルモデルおよびマルチラベルモデルに関する技術としては、例えば、特許文献１および２が知られている。特許文献１には、マルチラベルモデルの分類を改善するためにしきい値および／またはスケールファクタを決定することが記載されている。特許文献２には、マルチラベルモデルおよびシングルラベルモデルの教師データを作成するために、入力データに関して、ラベルごとに、入力データの内容がラベルに合致することを示す正評価、入力データの内容がラベルに合致しないことを示す負評価、及び、学習対象ラベルから除外することを示す無視評価の何れか１つを取得して、教師データを作成し、学習装置は、学習用のニューラルネットワークを学習する際に、正評価又は負評価のラベルの認識スコアと正評価又は負評価の正解スコアとが近づくように中間層の重み係数を調整し、かつ、無視評価のラベルの認識スコアが中間層の重み係数の調整に影響を与えないようにする、ことが記載されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特表２０１８－５２８５２１号公報

【特許文献2】国際公開第２０１７／０７３３７３号

【発明の概要】

【発明が解決しようとする課題】

【0005】

図１４および図１５は、シングルラベルモデルについて説明するための図である。シングルラベルモデルは、複数のラベルにおける各ラベルに対して出力の総和が１となるように学習および予測を行う。このため、図１４（Ａ）に示すようにラベル１～４のうち正解ラベルがラベル３である場合には正確に正解ラベルとしてラベル３を出力することができる。

【0006】

しかし、図１４（Ｂ）に示すように、シングルラベルモデルは、対象データに対して複数のラベル（例えばラベル２とラベル３）が該当するようなマルチラベリング問題に対して適用することができない。すなわち、シングルラベルモデルは、正解ラベルがラベル２および３であるが、スコアが最も高いラベル３を正解ラベルとして出力してしまう。また、シングルラベルモデルにおいては、各ラベルの総和を１にするため、ラベル２とラベル３のスコアが小さくなる。

【0007】

図１５に示すように、シングルラベルモデルにおいては正解ラベルが多くなるほど各正解ラベルのスコアが小さくなってしまう。このため、シングルラベルモデルによって出力された各ラベルのスコアとしきい値とを比較して正解ラベルを抽出することは困難となる。さらに、シングルラベルモデルから出力された正解ラベルのスコアとそれ以外のラベルのスコアとの差に基づいてしきい値を計算する必要があるため、学習させることができないという問題がある。

【0008】

図１６は、マルチラベルモデルについて説明するための図である。マルチラベルモデルは、各ラベルに対してスコアが０～１の範囲となるように学習および予測を行う。このため、図１６（Ａ）のように正解ラベルがラベル３の１つである場合や、図１６（Ｂ）のように正解ラベルがラベル２，３の２つである場合でも、高いスコアを出力することができる。また、マルチラベルモデルでは、正解ラベルの数を考慮せずに一つのしきい値を設定しても、高い精度で正解ラベルを出力することができる。しかし、例えば文書等の対象データを分類するための予測モデルとして、シングルラベルモデルを用いることが一般的である。しかし、シングルラベルモデルは、複数の正解ラベルを抽出することが困難であるという問題がある。

【0009】

対象データに該当する正解ラベルが一つであるか複数であるのかが不明である場合、シングルラベルモデルの予測結果とマルチラベルモデルの予測結果の両方を検証することが考えられる。しかし、マルチラベルモデルのためのアノテーション作業と、シングルラベルモデルのためのアノテーション作業とを個別に行う必要があるために、作業負担が大きくなるという問題がある。また、マルチラベルモデルのためのラベルとシングルラベルモデルのためのラベルとが別々であるので、マルチラベルモデルの予測精度とシングルラベルモデルの予測精度を比較することができないという問題がある。

【0010】

本発明は、上記の課題に鑑みてなされたものであって、アノテーション作業の負担を増加させることなく、複数のラベルから一つの正解ラベルを予測する処理と複数のラベルから複数の正解ラベルを予測する処理とを行うことができる学習装置および方法、予測装置および方法、プログラム、機械学習モデルの評価方法を提供することを目的としている。

【課題を解決するための手段】

【0011】

（１）本発明の一態様は、対象データを入力した場合に複数の正解ラベルを出力する第１の機械学習モデルを学習させる第１の学習データを、当該第１の学習データに含まれる複数のラベルを当該複数のラベルのフラグに基づいて統合した統合ラベルを含む第２の学習データに変換する変換部と、前記変換部により変換された前記第２の学習データを用いて、対象データを入力した場合に一つの正解ラベルを出力する第２の機械学習モデルを学習させる学習部と、を備える、学習装置である。

【0012】

（２）本発明の一態様は、対象データを入力した場合に複数の正解ラベルを出力する第１の機械学習モデルを学習させる第１の学習データを、当該第１の学習データに含まれる複数のラベルを当該複数のラベルのフラグに基づいて統合した統合ラベルを含む第２の学習データに変換するステップと、前記第２の学習データを用いて、対象データを入力した場合に一つの正解ラベルを出力する第２の機械学習モデルを学習させるステップと、を含む、学習方法である。

【0013】

（３）本発明の一態様は、コンピュータに、対象データを入力した場合に複数の正解ラベルを出力する第１の機械学習モデルを学習させる第１の学習データを、当該第１の学習データに含まれる複数のラベルを当該複数のラベルのフラグに基づいて統合した統合ラベルを含む第２の学習データに変換するステップと、前記第２の学習データを用いて、対象データを入力した場合に一つの正解ラベルを出力する第２の機械学習モデルを学習させるステップと、を実行させる、プログラムである。

【0014】

（４）本発明の一態様は、対象データを入力した場合に複数の正解ラベルを出力する第１の機械学習モデルを学習させる第１の学習データを変換した第２の学習データであって、当該第１の学習データに含まれる複数のラベルを当該複数のラベルのフラグに基づいて統合した統合ラベルを含む第２の学習データを用いて学習された第２の機械学習モデルに、対象データを入力し、前記第２の機械学習モデルから出力された正解ラベルを含む予測結果を取得する予測部と、前記予測部により取得した正解ラベルが前記統合ラベルである場合には前記統合ラベルの元になった複数のラベルのフラグを変換し、前記予測結果から前記統合ラベルを削除する逆変換部と、を備える、予測装置である。

【0015】

（５）本発明の一態様は、対象データを入力した場合に複数の正解ラベルを出力する第１の機械学習モデルを学習させる第１の学習データを変換した第２の学習データであって、当該第１の学習データに含まれる複数のラベルを当該複数のラベルのフラグに基づいて統合した統合ラベルを含む第２の学習データを用いて学習された第２の機械学習モデルに、対象データを入力するステップと、前記第２の機械学習モデルから出力された正解ラベルを含む予測結果を取得するステップと、前記正解ラベルが前記統合ラベルである場合に、前記統合ラベルの元になった複数のラベルのフラグを変換するステップと、前記予測結果から前記統合ラベルを削除するステップと、を含む予測方法である。

【0016】

（６）本発明の一態様は、コンピュータに、対象データを入力した場合に複数の正解ラベルを出力する第１の機械学習モデルを学習させる第１の学習データを変換した第２の学習データであって、当該第１の学習データに含まれる複数のラベルを当該複数のラベルのフラグに基づいて統合した統合ラベルを含む第２の学習データを用いて学習された第２の機械学習モデルに、対象データを入力するステップと、前記第２の機械学習モデルから出力された正解ラベルを含む予測結果を取得するステップと、前記正解ラベルが前記統合ラベルである場合に、前記統合ラベルの元になった複数のラベルのフラグを変換するステップと、前記予測結果から前記統合ラベルを削除するステップと、を実行させる、プログラムである。

【0017】

（７）本発明の一態様は、データに複数の正解ラベルが付与された第１の学習データを用いて学習された第１の機械学習モデルに対象データを入力し、前記第１の機械学習モデルの予測結果を取得するステップと、前記第１の学習データに含まれる複数のラベルを当該複数のラベルのフラグに基づいて統合した統合ラベルを含む第２の学習データを用いて学習された第２の機械学習モデルに対象データを入力し、前記正解ラベルが前記統合ラベルである場合に前記統合ラベルの元になった複数のラベルのフラグを変換し、前記予測結果から前記統合ラベルを削除して、前記第２の機械学習モデルの予測結果を取得するステップと、前記第１の機械学習モデルの予測結果と前記第２の機械学習モデルの予測結果とを比較することで、前記第２の機械学習モデルを評価するステップと、を含む、機械学習モデルの評価方法である。

【発明の効果】

【0018】

本発明の一態様によれば、アノテーション作業の負担を増加させることなく、複数のラベルから一つの正解ラベルを予測する処理と複数のラベルから複数の正解ラベルを予測する処理とを行うことができる。

【図面の簡単な説明】

【0019】

【図1】実施形態におけるデータ分類システムの構成の一例を示すブロック図である。

【図2】実施形態における学習装置４０の一例を示すブロック図であり、（Ａ）はマルチラベルモデルに関するブロック図であり、（Ｂ）はシングルラベルモデルに関するブロック図である。

【図3】実施形態における予測装置７０の一例を示すブロック図であり、（Ａ）はマルチラベルモデルに関するブロック図であり、（Ｂ）はシングルラベルモデルに関するブロック図である。

【図4】実施形態におけるマルチラベルモデルの学習データの一例を示す図である。

【図5】実施形態における、変換されたシングルラベルモデルの学習データ（第２の学習データ）の一例を示す図である。

【図6】実施形態の学習処理の一例を示すフローチャートである。

【図7】実施形態の学習データの変換処理（ステップＳ１０８）の一例を示すフローチャートである。

【図8】実施形態の予測処理の一例を示すフローチャートである。

【図9】実施形態の予測結果の逆変換処理（ステップＳ３０６）の一例を示すフローチャートである。

【図10】実施形態の変換処理および逆変換処理の一例を説明するための図であり、（Ａ）はマルチラベルモデルの学習データの一例であり、（Ｂ）は変換処理がされた学習データの一例であり、（Ｃ）は予測結果の一例であり、（Ｄ）は逆変換処理がされた予測結果の一例である。

【図11】実施形態の変換処理および逆変換処理の一例を説明するための図であり、（Ａ）はマルチラベルモデルの学習データの一例であり、（Ｂ）は変換処理がされた学習データの一例であり、（Ｃ）は予測結果の一例であり、（Ｄ）は逆変換処理がされた予測結果の一例である。

【図12】実施形態のモデル評価処理の一例を示すフローチャートである。

【図13】マルチラベルモデルの学習データに含まれるラベル数と、シングルラベルモデルにより予測したスコアと、およびマルチラベルモデルにより予測したスコアとの関係を示す図である。

【図14】シングルラベルモデルについて説明するための図である。

【図15】シングルラベルモデルについて説明するための図である。

【図16】マルチラベルモデルについて説明するための図である。

【発明を実施するための形態】

【0020】

以下、本発明を適用した学習装置および方法、予測装置および方法、プログラム、機械学習モデルの評価方法を、図面を参照して説明する。

【0021】

［実施形態の概要］
本発明を適用したデータ分類システム１は、例えば、分類処理の対象となるデータがどのラベルに属するかをシングルラベルモデルに学習させ、学習されたシングルラベルモデルを用いて情報がどのラベルに属するかを分類する。実施形態における分類処理の対象となるデータは、例えば、テキストデータや、文書データ、音声データまたは画像データなどである。以下において分類処理の対象となるデータを、「対象データ」と記載する。実施形態においてラベルとは、対象データに付与される正解を示す情報である。実施形態におけるシングルラベルモデルとは、対象データが入力された場合に、対象データが一つのラベルに分類されることを予測する機械学習モデルである。実施形態におけるマルチラベルモデルとは、対象データが入力された場合に、対象データが複数のラベルに分類されることを予測する機械学習モデルである。

【0022】

特に、実施形態のデータ分類システム１は、マルチラベルモデルの学習のためにアノテーションされたマルチラベルモデルのための学習データにおける複数のラベルを統合した統合ラベルを生成し、一つの正解ラベルとして統合ラベルを含むシングルラベルモデルのための学習データに変換する。このシングルラベルモデルのための学習データは、マルチラベルモデルにおける複数の正解ラベルに代えて疑似的に一つの統合ラベルをラベリングしたデータである。データ分類システム１は、変換したシングルラベルモデルの学習データを用いてシングルラベルモデルを学習させる。データ分類システム１は、学習させたシングルラベルモデルに、対象データを入力し、シングルラベルモデルから出力された正解ラベルが統合ラベルである場合、当該統合ラベルを複数のラベルに変換する。

【0023】

これにより、実施形態のデータ分類システム１は、一度のアノテーション作業でマルチラベルモデルのための学習データを作成すれば、当該学習データを変換することで、シングルラベルモデルの学習を行うことができる。また、データ分類システム１によれば、学習済のシングルラベルモデルから出力された正解ラベルを変換することで、マルチラベルモデルと同等の予測結果を出力することができる。この結果、データ分類システム１は、アノテーション作業の負担を増加させることなく、シングルラベルモデルによる予測処理と、マルチラベルモデルによる予測処理とを行うことができる。以下、実施形態のデータ分類システム１について詳細に説明する。

【0024】

［データ分類システム１の構成］
図１は、実施形態におけるデータ分類システムの構成の一例を示すブロック図である。データ分類システム１は、例えば、要求端末１０と、アノテーション端末２０と、マルチラベル記憶部３０と、学習装置４０と、シングルラベル記憶部５０と、モデルパラメータ記憶部６０と、予測装置７０と、予測結果記憶部８０と、を備える。要求端末１０、アノテーション端末２０、マルチラベル記憶部３０、学習装置４０、シングルラベル記憶部５０、モデルパラメータ記憶部６０、予測装置７０、および予測結果記憶部８０は、ネットワークＮＷに接続される。ネットワークＮＷに接続される各装置は、ＮＩＣ（Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃａｒｄ）や無線通信モジュールなどの通信インターフェースを備えている。ネットワークＮＷは、例えば、汎用のインターネット、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、Ｗｉｆｉ（登録商標）、セルラー網などを含む。

【0025】

要求端末１０は、スマートフォンなどの携帯電話、タブレット端末、パーソナルコンピュータ等である。要求端末１０は、例えばユーザの操作に従って、対象データ、および対象データの正解ラベルを要求する情報を予測装置７０に共有する。要求端末１０は、予測装置７０から要求に応じた予測結果に関する情報を予測装置７０から受信し、ユーザに予測結果を提示する。

【0026】

アノテーション端末２０は、例えばパーソナルコンピュータ等であり、アノテーション作業を行うための端末である。アノテーション作業は、データに正解ラベルを付与する作業である。アノテーション端末２０は、作業者の操作に従って、データと正解ラベルとを対応付けてマルチラベル記憶部３０に記憶させる。実施形態におけるアノテーションは、一つのデータに対して複数の正解ラベルの付与を許容するマルチラベリングを実行する。なお、実施形態において、ラベルが付与されるデータは、テキストデータや、文書データや、画像データや、音声データ、これらのデータが複合したデータであってよく、特に限定されない。

【0027】

マルチラベル記憶部３０は、ＨＤＤ等の記憶装置、および制御用ソフトウェア等を含む。マルチラベル記憶部３０は、アノテーション端末２０からの要求に従って、データの登録、ラベルの登録、およびデータとラベルとの対応関係の登録などの処理を行う。これにより、マルチラベル記憶部３０は、一つのデータに対して複数の正解ラベルが付与されたマルチラベルモデルの学習データを記憶する。

【0028】

学習装置４０は、例えば、ＣＰＵ等により学習用プログラムを実行することで学習処理を実行するコンピュータである。学習装置４０は、マルチラベルモデルの学習データをシングルラベルモデルの学習データに変換し、変換したシングルラベルモデルの学習データを用いてシングルラベルモデルを学習させる。学習装置４０は、変換後のシングルラベルモデルをシングルラベル記憶部５０に記憶させる。学習装置４０は、マルチラベル記憶部３０に記憶されたマルチラベルモデルの学習データを用いてマルチラベルモデルを学習させる。

【0029】

シングルラベル記憶部５０は、ＨＤＤ等の記憶装置、および制御用ソフトウェア等を含む。シングルラベル記憶部５０は、学習装置４０からの要求に従って、マルチラベル記憶部３０に記憶されたマルチラベルモデルの学習データの登録、統合ラベルの登録、マルチラベルモデルにおけるフラグの変更、およびデータと統合ラベルとの対応関係の登録などの処理を行う。これにより、シングルラベル記憶部５０は、一つのデータに対して一つの正解ラベルとしての統合が付与されたシングルラベルモデルの学習データを記憶する。

【0030】

モデルパラメータ記憶部６０は、ＨＤＤ等の記憶装置、および制御用ソフトウェア等を含む。モデルパラメータ記憶部６０は、学習装置４０により学習された結果として、マルチラベルモデルのモデルパラメータおよびシングルラベルモデルのモデルパラメータを記憶する。

【0031】

予測装置７０は、例えば、ＣＰＵ等により予測用プログラムを実行することで予測処理を実行するコンピュータである。予測装置７０は、要求端末１０から供給された対象データをマルチラベルモデルに入力し、マルチラベルモデルから出力された情報に基づいて予測結果を取得する。マルチラベルモデルの予測結果は、複数の正解ラベルを含んでよい。予測装置７０は、要求端末１０から供給された対象データをシングルラベルモデルに入力し、シングルラベルモデルから出力された情報に基づいて予測結果を取得する。予測装置７０は、シングルラベルモデルに含まれる正解ラベルが統合ラベルである場合、当該統合モデルを複数の正解ラベルに変換し、変換した複数の正解ラベルを含む予測結果を生成する。予測装置７０の予測結果は、例えば予測結果記憶部８０に記憶される。

【0032】

予測結果記憶部８０は、ＨＤＤ等の記憶装置、および制御用ソフトウェア等を含む。予測結果記憶部８０に記憶された予測結果は、例えば、要求端末１０に提供される。予測結果記憶部８０に記憶された予測結果は、マルチラベルモデルの予測結果とシングルラベルモデルの予測結果との比較に用いられてよい。

【0033】

図２は、実施形態における学習装置４０の一例を示すブロック図であり、（Ａ）はマルチラベルモデルに関するブロック図であり、（Ｂ）はシングルラベルモデルに関するブロック図である。図３は、実施形態における予測装置７０の一例を示すブロック図であり、（Ａ）はマルチラベルモデルに関するブロック図であり、（Ｂ）はシングルラベルモデルに関するブロック図である。

【0034】

学習装置４０は、図２（Ａ）に示すように、例えば、学習処理部４２と、マルチラベルモデル４４とを備える。マルチラベルモデル４４は、機械学習モデルであり、例えば、畳み込みニューラルネットワーク（ＣＮＮ：Convolutional Neural Network）である。学習処理部４２は、マルチラベル記憶部３０からマルチラベルモデルの学習データを取得する。図４は、実施形態におけるマルチラベルモデルの学習データの一例を示す図である。学習処理部４２は、マルチラベルモデルの学習データをマルチラベルモデル４４に入力し、マルチラベルモデル４４から出力された予測結果を取得する。学習処理部４２は、マルチラベルモデル４４から出力された正解ラベルが、学習データにおける正解ラベルと一致するようにマルチラベルモデル４４のモデルパラメータを再帰的に更新する。すなわち学習処理部４２は、モデルパラメータ記憶部６０のマルチラベルモデル４４に関する処理パラメータを更新し、更新した処理パラメータをマルチラベルモデル４４に反映する。処理パラメータは、例えば、畳み込みニューラルネットワークにおける、層数、各層のノード数、各層間のノードの結合方式、活性化関数、誤差関数、及び勾配降下アルゴリズム、プーリングの領域、カーネル、重み係数、および重み行列の少なくとも一つである。これにより、学習処理部４２は、処理パラメータを取得するために、例えば、深層学習を行う。深層学習とは、多層構造、特に３層以上のニューラルネットワークを用いた機械学習である。

【0035】

学習装置４０は、図２（Ｂ）に示すように、例えば、変換部４６と、学習処理部４２と、シングルラベルモデル４８とを備える。変換部４６は、データに複数の正解ラベルが付与されたマルチラベルモデルの学習データ（第１の学習データ）における複数の正解ラベルを統合した一つの統合ラベルを生成し、データに対する一つの正解ラベルとして統合ラベルを付与したシングルラベルモデルの学習データ（第２の学習データ）に変換する。変換部４６は、変換したシングルラベルモデルの学習データをシングルラベル記憶部５０に記憶する。

【0036】

図５は、実施形態における、変換されたシングルラベルモデルの学習データ（第２の学習データ）の一例を示す図である。例えば、図４に示すように「もしもし、・・・」という一つのデータに対し、「電話がつながらない」というラベルのフラグと「担当者を出してほしい」というラベルのフラグとが共に「１」であったとする。この場合、変換部４６は、図５に示すように、２つのラベルを統合した「電話がつながらない_担当者を出してほしい」という統合ラベルを生成し、当該統合モデルのフラグを立て、統合ラベルの元となった２つの「電話がつながらない」というラベルと「担当者を出してほしい」というラベルのフラグを「０」に変更する。同様に、変換部４６は、「昨日修理して・・・」というデータに対し、「電話がつながらない」というフラグと、「ネットがつながらない」というフラグと、「クレーム」というフラグとが「１」である場合、「電話がつながらない_ネットがつながらない_クレーム」という統合ラベルを生成し、当該統合モデルのフラグを立て、当該統合モデルの元となったラベルのフラグを「０」に変更する。さらに、変換部４６は、「録音か、・・・」というデータに対して全てのラベルのフラグが「０」である場合、「NoMatch」という統合ラベルを生成し、当該統合モデルのフラグを立てる。なお、統合ラベルのラベル名は一例であり、統合ラベルの元となった複数のラベルとの対応がとれていれば他のラベル名であってよい。また、「NoMatch」という統合ラベル名は一例であり、データに対して全てのラベルのフラグが「０」であることを統合したラベル名であれば他のラベル名であってよい。

【0037】

学習処理部４２は、シングルラベル記憶部５０に記憶されたシングルラベルモデルの学習データを取得する。学習処理部４２は、シングルラベルモデルの学習データをシングルラベルモデル４８に入力し、シングルラベルモデル４８から出力された予測結果を取得する。学習処理部４２は、シングルラベルモデル４８から出力された正解ラベルが、学習データにおける正解ラベルと一致するようにシングルラベルモデル４８のモデルパラメータを再帰的に更新する。すなわち学習処理部４２は、モデルパラメータ記憶部６０のシングルラベルモデル４８に関する処理パラメータを更新し、更新した処理パラメータをシングルラベルモデル４８に反映する。なお、シングルラベルモデル４８の処理パラメータはマルチラベルモデル４４と同様であってよい。

【0038】

予測装置７０は、図３（Ａ）に示すように、例えば、予測部７２と、予測結果出力部７６とを備える。予測部７２は、モデルパラメータ記憶部６０からマルチラベルモデルのモデルパラメータを取得する。予測部７２は、対象データを入力し、対象データについての正解ラベルを予測して予測結果記憶部８０に記憶する。予測結果出力部７６は、予測結果記憶部８０に記憶された対象データについての正解ラベルを予測結果として回答する。

【0039】

予測装置７０は、図３（Ｂ）に示すように、例えば、予測部７２と、逆変換部７４と、予測結果出力部７６とを備える。予測部７２は、モデルパラメータ記憶部６０からシングルラベルモデルのモデルパラメータを取得する。予測部７２は、対象データを入力し、対象データについての正解ラベルを予測して逆変換部７４に出力する。逆変換部７４は、シングルラベル記憶部５０を参照し、出力された正解ラベルが統合ラベルである場合、統合ラベルを複数の正解ラベルに変換し、予測結果記憶部８０に記憶する。予測結果出力部７６は、予測結果記憶部８０に記憶された対象データについての正解ラベルを予測結果として回答する。

【0040】

［学習処理］
図６は、実施形態の学習処理の一例を示すフローチャートである。データ分類システム１は、アノテーション作業を行ったことにより（ステップＳ１００）、マルチラベルモデルの学習データを記憶する（ステップＳ１０２）。データ分類システム１は、例えば学習処理のタイミングが到来したタイミングで、マルチラベルモデルの学習データを取得し（ステップＳ１０４）、学習するモデルのタイプを判定する（ステップＳ１０６）。

【0041】

データ分類システム１は、学習するモデルのタイプがシングルラベルモデルである場合、マルチラベルモデルの学習データをシングルラベルモデルの学習データに変換し（ステップＳ１０８）、変換したシングルラベルモデルの学習データを用いてシングルラベルモデルの学習処理を行う（ステップＳ１１０）。これによりデータ分類システム１は、シングルラベルモデルのモデルパラメータを記憶することができる（ステップＳ１１２）。

【0042】

データ分類システム１は、学習するモデルのタイプがマルチラベルモデルである場合、取得したマルチラベルモデルの学習データを用いてマルチラベルモデルの学習処理を行う（ステップＳ１１４）。これによりデータ分類システム１は、マルチラベルモデルのモデルパラメータを記憶することができる（ステップＳ１１６）。

【0043】

図７は、実施形態の学習データの変換処理（ステップＳ１０８）の一例を示すフローチャートである。先ず学習装置４０は、マルチラベルモデルの学習データにおける一つの行を選択する（ステップＳ２００）。実施形態におけるマルチラベルモデルの学習データは、図４に示したように、一つの行に、データとラベルのフラグとが対応付けられているものとする。次に学習装置４０は、フラグの立ったラベルが２個以上存在するか否かを判定する（ステップＳ２０２）。学習装置４０は、フラグの立ったラベルが２個以上存在する場合（ステップＳ２０２：ＹＥＳ）、当該２個以上のラベルを統合した統合ラベルを生成する（ステップＳ２０４）。次に学習装置４０は、生成した統合ラベルを、学習データの列に追加し（ステップＳ２０６）、当該統合ラベルのフラグを「１」に設定し、当該統合ラベルの元となった元ラベルのフラグを「０」に設定する（ステップＳ２０８）。

【0044】

学習装置４０は、フラグの立ったラベルが２個以上存在しない場合（ステップＳ２０２：ＮＯ）、フラグがすべて「０」であるか否かを判定する（ステップＳ２１０）。学習装置４０は、フラグが全て「０」ではない場合には（ステップＳ２１０：ＮＯ）、処理をステップＳ２１６に進める。学習装置４０は、フラグが全て「０」である場合には（ステップＳ２１０：ＹＥＳ）、NoMatchラベルを、学習データの列に追加し（ステップＳ２１２）、当該NoMatchラベルのフラグを「１」に設定し、当該NoMatchラベルの他のラベルのフラグを「０」に設定する（ステップＳ２１４）。

【0045】

学習装置４０は、ステップＳ２１４において、マルチラベルモデルの学習データの全ての行について処理を行ったか否かを判定し、全ての行について処理を行っていない場合には（ステップＳ２１４：ＮＯ）、ステップＳ２００に処理を戻し、全ての行について処理を行った場合には（ステップＳ２１４：ＹＥＳ）、本フローチャートの処理を終了する。

【0046】

［予測処理］
図８は、実施形態の予測処理の一例を示すフローチャートである。予測装置７０は、要求端末１０から対象データを取得し（ステップＳ３００）、予測するモデルのタイプを判定する（ステップＳ３０２）。なお、予測するモデルのタイプは、例えばユーザの操作に基づいて予め設定されていてよい。

【0047】

予測装置７０は、予測するモデルのタイプがシングルラベルモデルである場合、シングルラベルモデルに対象データを入力し、シングルラベルモデルから出力された予測結果を取得する（ステップＳ３０４）。次に予測装置７０は、シングルラベルモデルから出力された予測結果を逆変換する（ステップＳ３０６）。次に予測装置７０は、逆変換された予測結果を予測結果記憶部８０に記憶する（ステップＳ３０８）。次に予測装置７０は、記憶した予測結果を回答する（ステップＳ３１４）。

【0048】

予測装置７０は、予測するモデルのタイプがマルチラベルモデルである場合、マルチラベルモデルに対象データを入力し、マルチラベルモデルから出力された予測結果を取得する（ステップＳ３１０）。次に予測装置７０は、マルチラベルモデルから出力された予測結果を予測結果記憶部８０に記憶する（ステップＳ３１２）。次に予測装置７０は、記憶した予測結果を回答する（ステップＳ３１４）。

【0049】

図９は、実施形態の予測結果の逆変換処理（ステップＳ３０６）の一例を示すフローチャートである。先ず予測装置７０は、シングルラベルモデルの予測結果における一つの行を選択する（ステップＳ４００）。例えば、要求に複数の対象データが含まれる場合や、要求に含まれたデータを所定のルールに従って複数の対象データに分割した場合、シングルラベルモデルの予測結果は、各行に、対象データとラベルごとのスコアとが対応付けられたデータとなる。次に予測装置７０は、予測結果に含まれるラベルの中でスコアが最も高いラベルを予測結果として取得する（ステップＳ４０２）。

【0050】

次に予測装置７０は、スコアが最も高いラベルが、NoMatchラベルであるか否かを判定する（ステップＳ４０６）。予測装置７０は、スコアが最も高いラベルがNoMatchラベルである場合（ステップＳ４０６：ＹＥＳ）、予測結果に含まれる全てのラベルのフラグを「０」に設定し（ステップＳ４０８）、ステップＳ４１６に処理を進める。予測装置７０は、スコアが最も高いラベルがNoMatchラベルではない場合（ステップＳ４０６：ＮＯ）、ステップＳ４１０に処理を進める。

【0051】

予測装置７０は、ステップＳ４１０において、スコアが最も高いラベルが、統合ラベルであるか否かを判定する。予測装置７０は、スコアが最も高いラベルが統合ラベルである場合（ステップＳ４１０：ＹＥＳ）、統合ラベルの元ラベルのフラグを「１」に設定し、元ラベルの他のラベルのフラグを「０」に設定する（ステップＳ４１２）。予測装置７０は、スコアが最も高いラベルが統合ラベルではない場合（ステップＳ４１０：ＮＯ）、スコアが最も高いラベルのフラグを「１」に設定し、当該スコアが最も高いラベルの他のラベルのフラグを「０」に設定する（ステップＳ４１４）。

【0052】

予測装置７０は、ステップＳ４１６において、予測結果の全ての行について処理を行ったか否かを判定し、全ての行について処理を行っていない場合には（ステップＳ４１６：ＮＯ）、ステップＳ４００に処理を戻し、全ての行について処理を行った場合には（ステップＳ４１６：ＹＥＳ）、予測結果に含まれる統合ラベル列を破棄して（ステップＳ４１８）、本フローチャートの処理を終了する。

【0053】

図１０は、実施形態の変換処理および逆変換処理の一例を説明するための図であり、（Ａ）はマルチラベルモデルの学習データの一例であり、（Ｂ）は変換処理がされた学習データの一例であり、（Ｃ）は予測結果の一例であり、（Ｄ）は逆変換処理がされた予測結果の一例である。

【0054】

アノテーション端末２０がアノテーション作業により、図１０（Ａ）に示すようなマルチラベルモデルの学習データを生成したものとする。学習装置４０は、シングルラベルモデルを学習させる前に、マルチラベルモデルの学習データのうちフラグが「１」となっている複数のラベル１～３を抽出し、抽出したラベル１～３を統合することで、新たなラベルｘを生成する。学習装置４０は、マルチラベルモデルの学習データにラベル１～３以外の複数のラベルのフラグが「１」である場合、当該複数のラベルを統合して新たなラベルｘ＋１を生成してよい。学習装置４０は、図１０（Ｂ）に示すように、統合して生成された新たなラベルｘの元になったラベル１～３のフラグを「０」に設定し、ラベルｘのフラグを「１」に設定したシングルラベルモデルの学習データを作成する。

【0055】

予測装置７０は、シングルラベルモデルを用い、複数のラベルのうち最も確からしい単一のラベルを予測する。予測結果は、図１０（Ｃ）に示すように、各ラベルのスコア（確からしさ、確率）の総和が１となるように出力される。予測装置７０は、全ラベルのスコアのうちラベルｘのスコアが最も高いと判定する。予測装置７０は、ラベルｘが統合ラベルであるので、図１０（Ｄ）に示すように、ラベルｘの元となっていたラベル１～３のフラグを「１」に設定した予測結果に変換し、統合ラベルを削除する。

【0056】

図１１は、実施形態の変換処理および逆変換処理の一例を説明するための図であり、（Ａ）はマルチラベルモデルの学習データの一例であり、（Ｂ）は変換処理がされた学習データの一例であり、（Ｃ）は予測結果の一例であり、（Ｄ）は逆変換処理がされた予測結果の一例である。

【0057】

アノテーション端末２０がアノテーション作業により、図１１（Ａ）に示すようなマルチラベルモデルの学習データを生成したものとする。学習装置４０は、シングルラベルモデルを学習させる前に、マルチラベルモデルの学習データのうち全てのフラグが「０」となっているので、全てのラベルを統合することで、新たなNoMatchラベルを生成する。学習装置４０は、図１１（Ｂ）に示すように、生成されたNoMatchラベルのフラグを「１」に設定したシングルラベルモデルの学習データを作成する。

【0058】

予測装置７０は、シングルラベルモデルを用い、複数のラベルのうち最も確からしい単一のラベルを予測する。予測結果は、図１１（Ｃ）に示すように、各ラベルのスコア（確からしさ、確率）の総和が１となるように出力される。予測装置７０は、全ラベルのスコアのうちNoMatchラベルのスコアが最も高いと判定する。予測装置７０は、NoMatchラベルが統合ラベルであるので、図１１（Ｄ）に示すように、NoMatchラベルの元となっていたラベルのフラグを「０」に設定した予測結果に変換し、NoMatchラベルを削除する。

【0059】

［モデルの評価処理］
データ分類システム１は、シングルラベルモデルの学習データを用いて学習させたシングルラベルモデルを評価してよい。
図１２は、実施形態のモデル評価処理の一例を示すフローチャートである。予測装置７０は、評価用データを取得する（ステップＳ３００＃）。評価用データは、対象データおよび正解ラベルを含むデータである。次に予測装置７０は、モデルのタイプを判定する（ステップＳ３０２）。

【0060】

予測装置７０は、モデルのタイプがシングルラベルモデルである場合、シングルラベルモデルに評価用データを入力し、シングルラベルモデルから出力された予測結果を取得する（ステップＳ３０４）。次に予測装置７０は、シングルラベルモデルから出力された予測結果を逆変換する（ステップＳ３０６）。次に予測装置７０は、逆変換された予測結果を予測結果記憶部８０に記憶する（ステップＳ３０８）。予測装置７０は、モデルのタイプがマルチラベルモデルである場合、マルチラベルモデルに評価用データを入力し、マルチラベルモデルから出力された予測結果を取得する（ステップＳ３１０）。次に予測装置７０は、マルチラベルモデルから出力された予測結果を予測結果記憶部８０に記憶する（ステップＳ３１２）。

【0061】

次に予測装置７０は、シングルラベルモデルの予測結果と評価用データにおける正解ラベルとを比較し、マルチラベルモデルの予測結果と評価用データにおける正解ラベルとを比較する（ステップＳ３２０）。これにより予測装置７０は、マルチラベルモデルの予測精度およびシングルラベルモデルの予測精度に基づいてシングルラベルモデルを評価することができる（ステップＳ３２２）。例えば、予測装置７０は、シングルラベルモデルがマルチラベルモデルに近い予測精度を持っているかを評価することができる。

【0062】

図１３は、マルチラベルモデルの学習データに含まれるラベル数と、シングルラベルモデルにより予測したスコアと、およびマルチラベルモデルにより予測したスコアとの関係を示す図である。図１３においては、ラベルに対応したスコアを、折れ線グラフで示している。図１３によれば、マルチラベルモデルおよびシングルラベルモデルの双方に同じ評価データを入力しても、マルチラベルモデルおよびシングルラベルモデルにより予測したスコアに大きな差がないことが分かる。したがって、実施形態のようにマルチラベルモデルの学習データを変換してシングルラベルモデルを学習させても、マルチラベルモデルと同様の精度で予測を行うことができることが分かる。

【0063】

以上のように、実施形態の学習装置４０によれば、対象データを入力した場合に複数の正解ラベルを出力する第１の機械学習モデル（マルチラベルモデル）を学習させる第１の学習データを、当該第１の学習データに含まれる複数のラベルを当該複数のラベルのフラグに基づいて統合した統合ラベルを含む第２の学習データに変換する変換部４６と、変換部４６により変換された第２の学習データを用いて、対象データを入力した場合に一つの正解ラベルを出力する第２の機械学習モデル（シングルラベルモデル）を学習させる学習部（学習処理部４２、モデルパラメータ記憶部６０およびシングルラベルモデル４８）と、を備える、学習装置を実現させることができる。また、学習装置４０によれば、当該学習装置に対応した学習方法および、学習方法に対応した処理を実行するプログラムを実現することができる。実施形態の学習装置４０によれば、マルチラベルモデルの学習データを用いてシングルラベルモデルの学習を行うことができる。この結果、実施形態の学習装置４０によれば、マルチラベルモデルの学習データのアノテーション作業を行えば、アノテーション作業の負担を増加させることなく、複数のラベルから一つの正解ラベルを予測するシングルラベルモデルの学習処理と複数のラベルから複数の正解ラベルを予測するマルチラベルモデルの学習処理とを行わせることができる。

【0064】

実施形態の予測装置７０によれば、対象データを入力した場合に複数の正解ラベルを出力する第１の機械学習モデル（マルチラベルモデル）を学習させる第１の学習データを変換した第２の学習データであって、当該第１の学習データに含まれる複数のラベルを当該複数のラベルのフラグに基づいて統合した統合ラベルを含む第２の学習データを用いて学習された第２の機械学習モデル（シングルラベルモデル）に、対象データを入力し、第２の機械学習モデルから出力された正解ラベルを含む予測結果を取得する予測部７２と、予測部７２により取得した正解ラベルが統合ラベルである場合には統合ラベルの元になった複数のラベルのフラグを変換し、予測結果から統合ラベルを削除する逆変換部７４と、を備える、予測装置を実現することができる。また、予測装置７０によれば、当該予測装置に対応した予測方法および、予測方法に対応した処理を実行するプログラムを実現することができる。実施形態の予測装置７０によれば、マルチラベルモデルの学習データを変換した学習データを用いてシングルラベルモデルの学習を行い、シングルラベルモデルの予測結果を逆変換してマルチラベルモデルの予測結果を出力することができる。この結果、実施形態の予測装置７０によれば、マルチラベルモデルの学習データのアノテーション作業を行えば、アノテーション作業の負担を増加させることなく、複数のラベルから一つの正解ラベルを予測するシングルラベルモデルの予測処理と複数のラベルから複数の正解ラベルを予測するマルチラベルモデルの予測処理とを行うことができる。

【0065】

実施形態のデータ分類システム１によれば、データに複数の正解ラベルが付与された第１の学習データを用いて学習された第１の機械学習モデル（マルチラベルモデル）に対象データを入力し、第１の機械学習モデルの予測結果を取得するステップと、第１の学習データに含まれる複数のラベルを当該複数のラベルのフラグに基づいて統合した統合ラベルを含む第２の学習データを用いて学習された第２の機械学習モデル（シングルラベルモデル）に対象データを入力し、正解ラベルが統合ラベルである場合に統合ラベルの元になった複数のラベルのフラグを変換し、予測結果から統合ラベルを削除して、第２の機械学習モデルの予測結果を取得するステップと、第１の機械学習モデルの予測結果と第２の機械学習モデルの予測結果とを比較することで、第２の機械学習モデルを評価するステップと、を含む、機械学習モデルの評価方法を実現することができる。このデータ分類システム１によれば、一度のアノテーション作業によりマルチラベルモデルの学習データを生成してマルチラベルモデルおよびシングルラベルモデルの学習を行った場合に、シングルラベルモデルの予測結果を評価することができる。

【0066】

なお、各実施形態および変形例について説明したが、一例であってこれらに限られず、例えば、各実施形態や各変形例のうちのいずれかや、各実施形態の一部や各変形例の一部を、他の１または複数の実施形態や他の１または複数の変形例と組み合わせて本発明の一態様を実現させてもよい。

【0067】

なお、本実施形態におけるユーザ端末装置１００、検索サーバ装置２００、およびバッチサーバ装置３００の各処理を実行するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、当該記録媒体に記録されたプログラムを、コンピュータシステムに読み込ませ、実行することにより、ユーザ端末装置１００、検索サーバ装置２００、およびバッチサーバ装置３００に係る上述した種々の処理を行ってもよい。

【0068】

なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器などのハードウェアを含むものであってもよい。また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリなどの書き込み可能な不揮発性メモリ、ＣＤ－ＲＯＭなどの可搬媒体、コンピュータシステムに内蔵されるハードディスクなどの記憶装置のことをいう。

【0069】

さらに「コンピュータ読み取り可能な記録媒体」とは、インターネットなどのネットワークや電話回線などの通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Ｄｙｎａｍｉｃ
Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ））のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、このプログラムを記憶装置などに格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。

【0070】

ここで、プログラムを伝送する「伝送媒体」は、インターネットなどのネットワーク（通信網）や電話回線などの通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。

【0071】

以上、本発明の実施形態について図面を参照して詳述したが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計なども含まれる。

【符号の説明】

【0072】

１０ 要求端末
２０ アノテーション端末
３０ マルチラベル記憶部
４０ 学習装置
４２ 学習処理部
４４ マルチラベルモデル
４６ 変換部
４８ シングルラベルモデル
５０ シングルラベル記憶部
６０ モデルパラメータ記憶部
７０ 予測装置
７２ 予測部
７４ 逆変換部
７６ 予測結果出力部
８０ 予測結果記憶部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】