特開 2024-97129 学習データ管理システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024097129

(43)【公開日】2024-07-18

(54)【発明の名称】学習データ管理システム

(51)【国際特許分類】

   G06N 20/00 20190101AFI20240710BHJP

【ＦＩ】

G06N20/00 130

【審査請求】未請求

【請求項の数】6

【出願形態】ＯＬ

(21)【出願番号】P 2023000382

(22)【出願日】2023-01-05

(71)【出願人】

【識別番号】509186579

【氏名又は名称】日立Ａｓｔｅｍｏ株式会社

(74)【代理人】

【識別番号】110002572

【氏名又は名称】弁理士法人平木国際特許事務所

(72)【発明者】

【氏名】露木 雅文

(72)【発明者】

【氏名】銭 智定

(57)【要約】

【課題】既存の学習データに含まれる概念ドリフトによる正解ラベルの誤りを除外したうえで、ラベルノイズによる正解ラベルの誤りのみを選択的に検知し、訂正可能にする。
【解決手段】本発明に係る学習データ管理システムは、ラベルの付与対象であるテストデータを管理するテストデータ管理部と、ラベルを選定するための分類モデルを選択する分類モデル選択部と、分類モデルが選定するラベルを訂正する必要性を示す確信度を算出する分類部と、確信度が所定値を超えるとき、該ラベルの訂正候補を推薦する訂正候補算出部と、を備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

ラベルの付与対象であるテストデータを管理するテストデータ管理部と、
前記ラベルを選定するための分類モデルを選択する分類モデル選択部と、
前記分類モデルが選定する前記ラベルを訂正する必要性を示す確信度を算出する分類部と、
前記確信度が所定値を超えるとき、該ラベルの訂正候補を推薦する訂正候補算出部と、を備える、
ことを特徴とする学習データ管理システム。

【請求項2】

請求項１に記載の学習データ管理システムであって、
前記テストデータを生じさせたイベントに関する情報を管理するイベント情報管理部をさらに備え、
前記分類モデル選択部は、前記イベントの発生日時に基づいて前記分類モデルを選択する、
ことを特徴とする学習データ管理システム。

【請求項3】

請求項２に記載の学習データ管理システムであって、
前記イベント情報管理部は、前記イベントの種類ごとに該イベントに影響する前記ラベルの種類を管理し、
前記分類モデル選択部は、影響のあるイベントの発生後における学習データで再学習した分類モデルを選択する、
ことを特徴とする学習データ管理システム。

【請求項4】

請求項２に記載の学習データ管理システムであって、
あるイベントの発生時刻の前後において複数のテストデータに同一の前記ラベルが付与されているとき、該イベントの種類が該ラベルに影響しないと判定して該イベントをフィードバック対象から除外するイベント選択部をさらに備える、
ことを特徴とする学習データ管理システム。

【請求項5】

請求項４に記載の学習データ管理システムであって、
前記イベント選択部は、特徴量の変化点に基づき前記イベントの発生時刻を推定する、学習データ管理システム。

【請求項6】

請求項１に記載の学習データ管理システムであって、
前記訂正候補算出部は、前記ラベルを付与したラベル付与者とは異なる人物に訂正を推薦する、
ことを特徴とする学習データ管理システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、工業製品等に生じた不具合に対してラベルを付与する際に用いる学習データを管理するシステムに関する。

【背景技術】

【0002】

自然言語で記載された文書を読み取り、その文書に記載されている問い合わせ内容を分類するタスクはコールセンタや顧客サポートの業務において頻出するタスクである。日々、大量の文書の分類が依頼される場合は、この分類タスクを人手で行うと時間がかかってしまう。このような作業を省力化する方法の一つに、機械学習の一種である教師あり学習によって文書分類モデルを構築し、分類タスクを自動的に解く方法が挙げられる。

【0003】

具体的には例えば次のように行う。まず多数の目的変数と説明変数の対からなる学習データを作成する。分類タスクにおいてこの目的変数は正解ラベルとも呼ばれる。前述の文書分類作業においては、学習データの正解ラベルは例えば「要望」や「保証申請」のような文書に記載されている内容を示したカテゴリが挙げられる。また、説明変数は例えば「操作方法をわかりやすくしてほしい」や「開封時に破損していたので交換をお願いします」のような文書に記載されたテキストや、文書の記載時刻や記載者などの補足情報が挙げられる。次に、学習データを機械処理しやすい形式とするため、正解ラベルをスカラー値として符号化し、説明変数を多次元の特徴ベクトルとして符号化した上で、サポートベクトルマシンやランダムフォレストなどの機械学習アルゴリズムに入力し、説明変数から予測したラベルを出力する分類モデルのパラメータを最適化する学習処理を行う。

【0004】

教師あり学習によって得られる分類モデルを、正しく分類を行えるような精度の高い分類モデルとするためには、学習データの正確性が重要である。例えば、「操作方法をわかりやすくしてほしい」という説明変数に対して「要望」という正解ラベルが正しいにもかかわらず、誤って「保証申請」という正解ラベルが設定された学習データがあるとする。このような誤った学習データを用いて学習した分類モデルは、例えば新たに「操作の仕方をわかりやすくしてほしい」という説明変数を入力としたときに「保証申請」という誤った予測ラベルを出力するような分類精度が低いモデルとなってしまう。

【0005】

このような誤った学習データが作成される原因は大別して２つある。

【0006】

１つ目の原因はラベルノイズである。ラベルノイズとは、学習データの説明変数を読みとって正解ラベルを付与するラベル付与者の知識不足や勘違い等によって、誤った正解ラベルが付与される現象を指す。

【0007】

２つ目の原因は概念ドリフト（Ｃｏｎｃｅｐｔ Ｄｒｉｆｔ）である。概念ドリフトとは、説明変数に対して付与されるべき正解ラベルの規則（概念）が変化することによって、学習データの作成時点では正しい正解ラベルであっても一定の時間経過後には誤りとみなされるようになる現象を指す。例えば、「開封時に破損していたので交換をお願いします」の値を持つ説明変数に対して当初は「要望」という正解ラベルを付与することが正しく、そのような学習データが作成されていたとする。その後、「保証申請」という新しいラベルが追加され、「開封時に破損していたので交換をお願いします」のような説明変数に対しては「保証申請」の正解ラベルをつけるとする新しい規則がラベル付与者に周知されたとする。すると、この新しい規則ができる前に「開封時に破損していたので交換をお願いします」の説明変数に対して「要望」という正解ラベルが付与されていた学習データは、当時の規則に基づけば正しい学習データであったが、新しい規則に基づけば誤りとみなされるようになる。

【0008】

ラベルノイズの問題に対して非特許文献１では、ラベル付与者が取り違えやすいラベルの対を推定したうえで、そのようなラベル対のうち分類モデルが高い確信度で正解ラベルとは異なったラベルを予測したデータについては、正解ラベルを予測ラベルで置き換えることで誤りを訂正する方法が開示されている。また、特許文献１では画像データのラベルについて信頼度を管理し、信頼度が低いデータにはラベル見直しを推薦する方法が開示されている。

【先行技術文献】

【特許文献】

【0009】

【特許文献1】特開２０１９－１０１５６０号公報

【非特許文献】

【0010】

【非特許文献1】Ｃ．Ｎｏｒｔｈｃｕｔｔ，ｅｔ．ａｌ，“Ｃｏｎｆｉｄｅｎｔ Ｌｅａｒｎｉｎｇ：Ｅｓｔｉｍａｔｉｎｇ Ｕｎｃｅｒｔａｉｎｔｙ ｉｎ Ｄａｔａｓｅｔ Ｌａｂｅｌｓ，”Ｊ．Ａｒｔｉｆ．Ｉｎｔ．Ｒｅｓ．，ｖｏｌ．７０，ｐｐ．１３７３－１４１１，Ｍａｙ ２０２１．

【発明の概要】

【発明が解決しようとする課題】

【0011】

しかし、非特許文献１に開示の方法では、過去の学習データから古い規則を学習した分類モデルでラベルノイズの有無を判定するため、概念ドリフトが発生した後の新しい規則にもとづいて付与された正解ラベルを、古い規則による誤った正解ラベルに訂正してしまう課題がある。また、特許文献１に開示の方法では、正解ラベルの信頼度としてラベル付与に要した作業時間や作業中の居眠り有無のようなラベル付与時に計測しなければわからない情報を用いるため、既存の学習データや第三者が作成する学習データについてラベルノイズを検知することができない課題がある。

【0012】

本発明は上記課題を鑑みてなされたものであり、既存の学習データに含まれる概念ドリフトの影響を除外し、ラベルノイズのみを選択的に検知し、ラベルの訂正を可能にする学習データ管理システムを提供することを目的とする。

【課題を解決するための手段】

【0013】

上記課題を解決するために、本発明に係る学習データ管理システムは、ラベルの付与対象であるテストデータを管理するテストデータ管理部と、ラベルを選定するための分類モデルを選択する分類モデル選択部と、分類モデルが選定するラベルを訂正する必要性を示す確信度を算出する分類部と、確信度が所定値を超えるとき、該ラベルの訂正候補を推薦する訂正候補算出部と、を備える。

【発明の効果】

【0014】

本発明によれば、既存の学習データに含まれる概念ドリフトの影響を除外し、ラベルノイズのみを選択的に検知し、ラベルの訂正を可能にすることが可能になる。
本発明に関連する更なる特徴は、本明細書の記述、添付図面から明らかになるものである。また、上記した以外の課題、構成及び効果は、以下の実施例の説明により明らかにされる。

【図面の簡単な説明】

【0015】

【図1】本発明の一実施例に係る学習データ管理サーバのハードウェア構成例を示す図。

【図2】本発明の一実施例に係る学習データ管理システムの構成例を示す図。

【図3】本発明の一実施例に係る学習データ情報の構成例を示す図。

【図4】本発明の一実施例に係る分類モデル情報の構成例を示す図。

【図5】本発明の一実施例に係るテストデータ情報の構成例を示す図。

【図6】本発明の一実施例に係る分類結果情報の構成例を示す図。

【図7】本発明の一実施例に係るイベント情報の構成例を示す図。

【図8】本発明の一実施例に係る関連イベント情報の構成例を示す図。

【図9】本発明の一実施例に係る訂正候補情報の構成例を示す図。

【図10】本発明の一実施例に係る学習データ管理サーバが実行する処理を示すフローチャート。

【図11】本発明の一実施例に係る訂正推薦画面の構成例を示す図。

【発明を実施するための形態】

【0016】

以下に本発明の具体的な実施例について図面を参照して説明する。

【0017】

（ハードウェア構成）
図１は学習データ管理サーバ１００のハードウェア構成の一例を示す構成図である。

【0018】

図１に示すように学習データ管理サーバ１００は、記憶装置４０１、プログラム４０２、演算装置４０３及び通信装置４０５を有し、各部がバスを介して相互に接続されている。

【0019】

記憶装置４０１は、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）及びハードディスクドライブのような不揮発性記憶素子で構成される。記憶装置４０１は、演算装置４０３の動作を規定するプログラム４０２と、演算装置４０３にて使用又は生成される種々の情報１１１、１１３、１２１、１２４、１３１、１３３、１４２とを記憶する。メモリ４０４は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）のような揮発性記憶素子で構成される。

【0020】

演算装置４０３は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）のようなプロセッサで構成される。演算装置４０３は、記憶装置４０１に記憶されているプログラム４０２をメモリ４０４に読み出して実行し、図２に示す各機能部による処理を実現する。通信装置４０５は、ネットワーク４０６を介して表示部２００のような外部装置と通信する。なお、以下では学習データ管理サーバ１００のことを単にサーバ１００と呼称する。

【0021】

（システム構成）
図２は本発明の一実施例に係る学習データ管理システムの構成例を示す図である。図２に示す学習データ管理システムは学習データ管理サーバ１００と表示部２００を有する。学習データ管理サーバ１００は学習データ管理システムの利用者によって使用される表示部２００と通信可能に接続される。

【0022】

学習データ管理サーバ１００はその記憶部内に格納された情報として学習データ情報１１１と、分類モデル情報１１３と、テストデータ情報１２１と、分類結果情報１２４と、イベント情報１３１と、関連イベント情報１３３と、訂正候補情報１４２と、を備える。また、これらの情報を用いた演算を行う機能部として学習部１１２と、分類モデル選択部１２２と、分類部１２３と、イベント選択部１３２と、訂正候補算出部１４１と、を備える。

【0023】

サーバ１００は全体として以下に説明するような処理を実行する。まず学習部１１２は学習データ情報１１１を読み出し、所定の学習方法にもとづいて分類モデルを学習し、学習結果として得られた分類モデルをファイルに保存する。そのうえで、分類モデル情報１１３として保存したファイルのパスと学習期間を格納する。このとき、学習方法はランダムフォレストやサポートベクトルマシンなど任意の公知の方法を用いてよい。また、学習期間は、分類モデルの学習に用いた学習データに正解ラベルを付与した日付の範囲か、あるいは前記日付のリストとして計算してよい。

【0024】

一方イベント選択部１３２はテストデータ情報１２１から判定対象のテストデータを読み出し、当該テストデータに付与されている正解ラベルに関連するイベントのみを抽出し、当該イベントのＩＤと発生日を関連イベント情報１３３として記憶部に格納する。このとき、前記イベントはラベル付与規則を記したマニュアル更新や、説明変数が商品の情報を記載したテキストである場合は商品の部品を製造するベンダ変更や新商品の発売など、当該分野の専門家の知識にもとづいて説明変数と正解ラベルの対応付けに関係する可能性がある任意のイベントを指定して良い。

【0025】

また、イベント情報１３１に前記イベントに関連する正解ラベルが指定されていない場合は、前記イベントの発生日の前後において説明変数が類似した複数の学習データおよびテストデータに同一の正解ラベルが付与されているとき、当該イベントが前記正解ラベルに関連しないと計算してもよい。このとき、説明変数の類似性は、コサイン類似度やＫ－ｍｅａｎｓクラスタリングなど、公知の方法で計算することができる。さらに、イベント情報１３１に前記イベントの発生時刻の情報が格納されていない場合は、説明変数の変化点検知によって前記発生時刻を推定してもよい。

【0026】

そして分類モデル選択部１２２は関連イベント情報１３３を読み出し、関連イベント情報１３３に含まれる最も新しいイベント発生日を選択し、学習期間として前記イベント発生日よりも新しい日付のみを含む分類モデルを分類モデル情報１１３から選択する。

【0027】

分類部１２３は、分類モデル選択部１２２が選択した前記分類モデルを用いて、前記判定対象のテストデータを分類し、分類結果として得られる予測ラベルと確信度を分類結果情報１２４として記憶部に格納する。このとき、前記予測ラベルは前記分類モデルが出力したラベルである。また、前記確信度は前記予測ラベルの確からしさを示す指標であり、非特許文献１で開示の方法や２値分類の場合は２つのラベルに関する分類確率の差など、公知の方法で計算できる。この確信度が高ければ高いほど、元々付与されていた正解ラベルから分類モデルが出力した予測ラベルに訂正する必要性が高いことを意味する。

【0028】

訂正候補算出部１４１は、分類結果情報１２４を読み出し、確信度が所定の値を上回るテストデータについて説明変数、正解ラベル、訂正候補の予測ラベル、正解ラベルの付与者名を訂正候補情報１４２として記憶部に格納し、表示部２００に訂正候補情報１４２の表示を指示する。このとき、前記付与者とは異なる付与者に訂正を依頼してよい。

【0029】

（データ構造例）
次に、図３～９を用いて、サーバ１００の記憶装置内に格納されている各情報のデータ構造例を説明する。まず図３は学習データ情報１１１のデータ構造例を示す図である。図３に示す学習データ情報１１１はフィールド１１１ａ～１１１ｄを有する。フィールド１１１ａは学習データを識別するための識別情報である学習データＩＤを格納する。フィールド１１１ｂは当該学習データの説明変数を格納する。フィールド１１１ｃは当該学習データに付与された目的変数である正解ラベルを格納する。フィールド１１１ｄは当該学習データに正解ラベルが付与されたラベル付与日を格納する。

【0030】

図４は分類モデル情報１１３のデータ構造例を示す図である。図４に示す分類モデル情報１１３はフィールド１１３ａ～１１３ｃを有する。フィールド１１３ａは分類モデルを識別するための識別情報である分類モデルＩＤを格納する。フィールド１１３ｂは当該分類モデルが保存されているファイルパスを格納する。フィールド１１３ｃは当該分類モデルの学習に用いたデータの期間を示した学習期間を格納する。学習期間は、当該分類モデルの学習に用いた学習データに正解ラベルを付与した日付の範囲か、あるいは日付のリストでもよい。

【0031】

図５はテストデータ情報１２１のデータ構造例を示す図である。図５に示すテストデータ情報１２１はフィールド１２１ａ～１２１ｅを有する。フィールド１２１ａはテストデータを識別するための識別情報であるテストデータＩＤを格納する。フィールド１２１ｂは当該テストデータの説明変数を格納する。フィールド１２１ｃは当該テストデータに付与された目的変数である正解ラベルを格納する。フィールド１２１ｄは当該テストデータに正解ラベルが付与されたラベル付与日を格納する。フィールド１２１ｅは当該テストデータに正解ラベルを付与した担当者を識別するための識別情報であるラベル付与者を格納する。

【0032】

図６は分類結果情報１２４のデータ構造例を示す図である。図６に示す分類結果情報１２４はフィールド１２４ａ～１２４ｃを有する。フィールド１２４ａはテストデータを識別するための識別情報であるテストデータＩＤを格納する。フィールド１２４ｂは当該テストデータについて分類モデルが予測した目的変数の値である予測ラベルを格納する。フィールド１２４ｃには当該テストデータについて分類モデルの出力から算出した確信度の値を格納する。

【0033】

図７はイベント情報１３１のデータ構造例を示す図である。図７に示すイベント情報１３１はフィールド１３１ａ～１３１ｄを有する。フィールド１３１ａはイベントを識別するための識別情報であるイベントＩＤを格納する。フィールド１３１ｂは当該イベントの種類を格納する。フィールド１３１ｃは当該イベントの発生日を格納する。フィールド１３１ｄは当該イベントに関連する目的変数を示した関連ラベルを格納する。

【0034】

図８は関連イベント情報１３３のデータ構造例を示す図である。図８に示す関連イベント情報１３３はフィールド１３３ａ～１３３ｄを有する。フィールド１３３ａはテストデータを識別するための識別情報であるテストデータＩＤを格納する。フィールド１３３ｂは当該テストデータの正解ラベルを格納する。フィールド１３３ｃは当該テストデータの正解ラベルに関連するイベントを識別するための識別情報である関連イベントＩＤを格納する。フィールド１３３ｄは当該関連イベントの発生日を格納する。

【0035】

図９は訂正候補情報１４２のデータ構造例を示す図である。図９に示す訂正候補情報１４２はフィールド１４２ａ～１４２ｅを有する。フィールド１４２ａは訂正候補のテストデータを識別するための識別情報であるテストデータＩＤを格納する。フィールド１４２ｂは当該テストデータの説明変数を格納する。フィールド１４２ｃは当該テストデータに付与されている正解ラベルを格納する。フィールド１４２ｄは当該テストデータの正解ラベルの訂正先となる訂正候補ラベルを格納する。フィールド１４２ｅは当該テストデータに正解ラベルを付与したラベル付与者を識別するための識別情報を格納する。

【0036】

（フローチャート）
図１０はサーバ１００の動作の一例を説明するためのフローチャートである。

【0037】

まずサーバ１００のイベント選択部１３２は、テストデータ情報１２１から判定対象のテストデータを読み出す（ステップＳ１０１）。次に、イベント選択部１３２は当該テストデータに付与されている正解ラベルに関連するイベントのみを抽出し、当該イベントのＩＤと発生日を関連イベント情報１３３として格納する（ステップＳ１０２）。このとき、前記イベントがラベル付与規則を記したマニュアル更新や、説明変数が商品の情報を記載したテキストである場合は商品の部品を製造するベンダ変更や新商品の発売など、当該分野の専門家の知識にもとづいて説明変数と正解ラベルの対応付けに関係する可能性がある任意のイベントを指定して良い。また、イベント情報１３１に前記イベントに関連する正解ラベルが指定されていない場合は、前記イベントの発生日の前後において説明変数が類似した複数の学習データおよびテストデータに同一の正解ラベルが付与されているとき、当該イベントが前記正解ラベルに関連しないと計算してもよい。このとき、説明変数の類似性は、コサイン類似度やＫ－ｍｅａｎｓクラスタリングなど、公知の方法で計算することができる。さらに、イベント情報１３１に前記イベントの発生時刻の情報が格納されていない場合は、説明変数の変化点検知によって前記発生時刻を推定してもよい。

【0038】

続いて分類モデル選択部１２２は関連イベント情報１３３を読み出し、関連イベント情報１３３に含まれる最も新しいイベント発生日を抽出し、学習期間としてそのイベント発生日よりも新しい日付のみを含む分類モデルを分類モデル情報１１３から選択する（ステップＳ１０３）。

【0039】

続いて分類部１２３は、分類モデル選択部１２２が選択した分類モデルを用いて、判定対象のテストデータを分類し、分類結果として得られる予測ラベルと確信度を分類結果情報１２４として格納する（ステップＳ１０４）。この予測ラベルは分類モデルが出力したラベルである。また、確信度は予測ラベルの確からしさを示す指標であり、非特許文献１で開示の方法や２値分類の場合は２つのラベルに関する分類確率の差など、公知の方法で計算できる。

【0040】

続いて訂正候補算出部１４１は、分類結果情報１２４を読み出し、すでに付与済みの正解ラベルが予測ラベルと一致するか判定し、一致する場合は処理を終了する（ステップＳ１０５）。正解ラベルと予測ラベルが一致しない場合は、確信度が所定の値を上回るか判定し、上回らない場合は処理を終了する（ステップＳ１０６）。確信度が所定の値を上回る場合は、テストデータについて説明変数、正解ラベル、訂正候補の予測ラベル、正解ラベルの付与者名を訂正候補情報１４２として格納し、表示部２００に訂正候補情報１４２の表示を指示、つまり訂正を推薦する（ステップＳ１０７）。このとき、ラベル付与者名に記載の付与者とは異なる付与者に訂正を推薦してもよい。

【0041】

（画面例）
図１１に、図１０のステップＳ１０７にて表示される訂正推薦画面３０１の例を示す。これら訂正推薦画面３０１は、例えばパソコンなどにおいて、表示部２００に表示、出力されてよい。

【0042】

図１１に示す訂正推薦画面３０１は、テストデータに付与されている正解ラベルの訂正を推薦する際に、その訂正対象となるテストデータの説明変数とともに現在の正解ラベルと訂正候補のラベルを指定して推薦する場合の例であってよい。図１１に示す訂正推薦画面３０１は、フィールド３０１ａ～３０１ｈを有してよい。フィールド３０１ａは、訂正対象のテストデータの識別情報を「テストデータＩＤ」として表示してよい。フィールド３０１ｂは、訂正対象のテストデータに付与されている正解ラベルを「現在のラベル」として表示してよい。フィールド３０１ｃは、フィールド３０１ｂの「現在のラベル」の訂正先の候補として「訂正候補のラベル」を表示してよい。フィールド３０１ｄは、訂正対象のテストデータの説明変数を「説明変数」として表示してよい。フィールド３０１ｅは、訂正対象のテストデータに付与されている正解ラベルに関連するイベントを「関連イベント」として表示してよい。フィールド３０１ｆは、「訂正候補のラベル」で規定された候補となるラベルを参考に、本発に係る学習データ管理システムの利用者が選択したラベルのテキスト入力を受け付け、「訂正後のラベル」として表示してよい。フィールド３０１ｇは、この利用者が「訂正後のラベル」を選択した理由を記載したテキストの入力を受け付け、「訂正理由」として表示してよい。この利用者は、訂正推薦画面３０１に表示された情報について、訂正対象となるテストデータに付与されているラベルの訂正を選択することができてよい。利用者は、例えば、図１１のフィールド３０１ｈに「確定」として表示されている操作欄にパソコンのポインタを移動し、そこでパソコンでクリック操作することで「訂正後のラベル」と「訂正理由」に表示された情報について、採用し確定するような操作であってよい。

【0043】

以上で説明した本発明の実施例によれば、以下の作用効果を奏する。
（１）本発明に係る学習データ管理システムは、ラベルの付与対象であるテストデータを管理するテストデータ管理部と、ラベルを選定するための分類モデルを選択する分類モデル選択部と、分類モデルが選定するラベルを訂正する必要性を示す確信度を算出する分類部と、確信度が所定値を超えるとき、該ラベルの訂正候補を推薦する訂正候補算出部と、を備える。

【0044】

上記構成により、既存の学習データに含まれる概念ドリフトの影響を除外し、ラベルノイズのみを選択的に検知し、ラベルの訂正を可能にすることが可能になる。

【0045】

（２）テストデータを生じさせたイベントに関する情報を管理するイベント情報管理部をさらに備え、分類モデル選択部は、イベントの発生日時に基づいて分類モデルを選択する。概念ドリフトは任意のイベントの発生により生じることがほとんどであるため、この構成によってより適切に概念ドリフトの影響を除外することが可能になる。

【0046】

（３）イベント情報管理部は、イベントの種類ごとに該イベントに影響するラベルの種類を管理し、分類モデル選択部は、影響のあるイベントの発生後における学習データで再学習した分類モデルを選択する。これにより、生じたイベントと関連するラベルに関して再学習された分類モデルを用いて判定するため、より高精度な判定が可能になる。

【0047】

（４）あるイベントの発生時刻の前後において複数のテストデータに同一のラベルが付与されているとき、該イベントの種類が該ラベルに影響しないと判定して該イベントをフィードバック対象から除外するイベント選択部をさらに備える。これにより、演算ソースを削減することが可能になる。

【0048】

（５）イベント選択部は、特徴量の変化点に基づきイベントの発生時刻を推定する。これにより、予めイベント情報にイベントの発生時刻が記録されていない場合でも、推定したイベントの発生時刻に基づいて分類手段を選択することが可能になる。

【0049】

（６）訂正候補算出部は、ラベルを付与したラベル付与者とは異なる人物に訂正を推薦する。これにより、当初ラベルを付与した作業者による客観的な評価が可能になり、訂正の正確性向上が期待できる。

【0050】

本発明は、技術的範囲は上記実施の形態に記載の範囲には限定されるものではなく、本発明の主要な特徴から逸脱することなく、様々な変形例が含まれる。そのため、前述の実施例は単なる例示に過ぎず、限定的に解釈してはならない。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能であって、すべて本発明の範囲内のものである。

【符号の説明】

【0051】

１００：学習データ管理サーバ（学習データ管理システム）、１１２：学習部、１２２：分類モデル選択部、１２３：分類部、１３２：イベント選択部、１４１：訂正候補算出部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】