特許 6976910 データ分類システム、データ分類方法、および、データ分類装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6976910

(24)【登録日】2021年11月12日

(45)【発行日】2021年12月8日

(54)【発明の名称】データ分類システム、データ分類方法、および、データ分類装置

(51)【国際特許分類】

   G06F 16/906 20190101AFI20211125BHJP

【ＦＩ】

   G06F16/906

【請求項の数】10

【全頁数】21

(21)【出願番号】特願2018-127516(P2018-127516)

(22)【出願日】2018年7月4日

(65)【公開番号】特開2020-8992(P2020-8992A)

(43)【公開日】2020年1月16日

【審査請求日】2020年10月13日

(73)【特許権者】

【識別番号】000005108

【氏名又は名称】株式会社日立製作所

(74)【代理人】

【識別番号】110000176

【氏名又は名称】一色国際特許業務法人

(72)【発明者】

【氏名】露木 雅文

(72)【発明者】

【氏名】小澤 洋司

【審査官】 鹿野 博嗣

(56)【参考文献】

【文献】 特開２０１５−１９１３３４（ＪＰ，Ａ）

【文献】 特開２０１５−２０４０４３（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｆ １６／９０６

(57)【特許請求の範囲】

【請求項1】

複数の分類器各々による所定データセットの分類結果を統合し、当該データセットの特徴量と分類結果たるラベルとの対応関係を規定した学習データを格納する記憶装置と、
前記学習データを記憶装置から読み出し、当該学習データにおけるラベル無しのデータセット各々について、当該特徴量と、前記分類器各々による前記分類結果から学習した統合分類器が出力する分類確率とに基づき、１つのデータセットに対して複数ラベルが未分類とされる確率たる同時未分類率と、１つのデータセットに対して複数ラベルが分類される確率たる同時分類確率とを算定する処理、前記同時未分類率と前記同時分類確率との乗算値をラベルごとに集計して推薦スコアを算定する処理、および、分類器を追加作成するべきラベルとして前記推薦スコアの高い順にラベルを特定し、当該ラベルの推薦情報を所定装置に出力する処理、を実行する演算装置と、
を含むことを特徴とするデータ分類システム。

【請求項2】

前記演算装置は、
前記同時未分類率の算定に際し、前記学習データに含まれるラベルの分類確率が所定の閾値内に収まる場合、当該データセットに対して前記ラベルが未分類であると判定し、前記学習データにおいて所定のラベルｉとラベルｊの両方が未分類となるデータの割合として前記同時未分類率ｕ_ｉｊを算定し、
前記同時分類確率の算定に際し、所定の文書群に含まれるラベルｉおよびラベルｊの各ラベル名に対応する単語の共起確率として前記同時分類確率ｐ_ｉｊを算定し、
前記推薦スコアの算定に際し、ラベルｉに関する前記推薦スコアをΣ_ｊｕ_ｉｊｐ_ｉｊとして算定するものである、
ことを特徴とする請求項１に記載のデータ分類システム。

【請求項3】

前記演算装置は、
前記推薦情報に基づいて所定ユーザが追加作成した分類器を入力装置より取得し、当該追加した分類器を前記複数の分類器に追加して分類器群を生成し、当該分類器群における各分類器の分類結果を統合した新たな学習データと、当該学習データにより学習した統合分類器とを再作成する処理を更に実行し、
前記新たな学習データにおいて、ラベル無しのデータセット各々について、当該特徴量と、前記新たな学習データにより学習した統合分類器が出力した分類確率とに基づき、当該新たな学習データに含まれるラベルが未分類となるデータセットの割合として未分類率を計算し、前記未分類率が所定基準を下回るまで、前記推薦情報の出力と前記統合分類器および学習データの再作成と、前記未分類率の計算とを繰り返すものである、
ことを特徴とする請求項１に記載のデータ分類システム。

【請求項4】

前記演算装置は、
前記分類器の追加に伴う前記新たな学習データおよび前記統合分類器の再作成の前後で、前記未分類率の値が同一あるいは増加した場合、前記推薦情報の対象としたラベルの推薦スコアに対し、ラベル間の推薦スコアの順位を低下させる所定係数を乗算する処理を更に実行するものである、
ことを特徴とする請求項３に記載のデータ分類システム。

【請求項5】

前記演算装置は、
前記推薦情報の対象として特定した所定のラベルｉについて、前記同時分類確率を参照し、当該ラベルｉとの同時分類確率が所定基準以上のラベルｊを特定し、前記ラベルｉが付与される場合に前記同時分類確率の確率で前記ラベルｊに分類する分類器を自動生成して、前記自動生成した分類器を、前記複数の分類器に追加する処理を更に実行するものである、
ことを特徴とする請求項１に記載のデータ分類システム。

【請求項6】

前記演算装置は、
前記同時分類確率の算定に際し、前記文書群に加え、前記学習データの特徴量に含まれる文と前記学習データに付与された複数のラベルとから前記同時分類確率を計算するものである、
ことを特徴とする請求項２に記載のデータ分類システム。

【請求項7】

前記記憶装置は、
前記分類器の追加作成の主体となりうるユーザ各々に関して、所定事象に関与している旨を示す記述、および連絡先の各情報を記述したユーザ情報文書群を更に格納しており、
前記演算装置は、
前記特定したラベルのラベル名に対応する単語を、前記ユーザ情報文書群に照合し、当該単語を前記記述に含むユーザを特定し、当該ユーザの前記連絡先に宛てて前記推薦情報の出力を行うものである、
ことを特徴とする請求項１に記載のデータ分類システム。

【請求項8】

前記演算装置は、
前記学習データに含まれるデータセットの特徴量および前記文書群の特徴量をクラスタリングし、
前記同時未分類率の算定に際し、前記データセットのうち、所定のクラスタｋに属するものについて、所定のラベルｉおよびラベルｊの両方が未分類となる割合として同時未分類率ｕ_ｉｊｋを計算し、
前記同時分類確率の算定に際し、前記文書群のうち、所定のクラスタｋに属する文書群に含まれる、ラベルｉおよびラベルｊの各ラベル名に対応する単語の共起確率として同時分類確率ｐ_ｉｊｋを計算し、
前記推薦スコアの算定に際し、ラベルｉに関する前記推薦スコアをΣ_ｋΣ_ｊｕ_ｉｊｋｐ_ｉｊｋとして計算するものである、
ことを特徴とする請求項２に記載のデータ分類システム。

【請求項9】

複数の分類器各々による所定データセットの分類結果を統合し、当該データセットの特徴量と分類結果たるラベルとの対応関係を規定した学習データを格納する記憶装置を備えた情報処理システムが、
前記学習データを記憶装置から読み出し、当該学習データにおけるラベル無しのデータセット各々について、当該特徴量と、前記分類器各々による前記分類結果から学習した統合分類器が出力する分類確率とに基づき、１つのデータセットに対して複数ラベルが未分類とされる確率たる同時未分類率と、１つのデータセットに対して複数ラベルが分類される確率たる同時分類確率とを算定する処理と、
前記同時未分類率と前記同時分類確率との乗算値をラベルごとに集計して推薦スコアを算定する処理と、
分類器を追加作成するべきラベルとして前記推薦スコアの高い順にラベルを特定し、当該ラベルの推薦情報を所定装置に出力する処理と、
を実行することを特徴とするデータ分類方法。

【請求項10】

所定ネットワークを介した他装置との通信処理を行う通信装置と、
所定装置に対して前記通信装置によりアクセスし、前記所定装置が備える、複数の分類器各々による所定データセットの分類結果を統合し、当該データセットの特徴量と分類結果たるラベルとの対応関係を規定した学習データ、を取得する処理、当該学習データにおけるラベル無しのデータセット各々について、当該特徴量と、前記分類器各々による前記分類結果から学習した統合分類器が出力する分類確率とに基づき、１つのデータセットに
対して複数ラベルが未分類とされる確率たる同時未分類率と、１つのデータセットに対して複数ラベルが分類される確率たる同時分類確率とを算定する処理、前記同時未分類率と前記同時分類確率との乗算値をラベルごとに集計して推薦スコアを算定する処理、および、分類器を追加作成するべきラベルとして前記推薦スコアの高い順にラベルを特定し、当該ラベルの推薦情報を所定装置に出力する処理、を実行する演算装置と、
を備えることを特徴とするデータ分類装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、データ分類システム、データ分類方法、および、データ分類装置に関するものである。

【背景技術】

【0002】

大量の文書や画像、数値などのデータを効率的に管理するためには、当該データが属するカテゴリごとに絞り込みを行い、目的のデータを特定する検索システムが有用である。
こうした検索システムを実現する場合、上述のような大量のデータを、予め定義済みのカテゴリ別に分類する構成が必要となる。一方、ひとつのデータが複数カテゴリに属する可能性もある。そのため、ひとつのデータに対してカテゴリを表すラベルを複数付与することでデータの分類を行う技術が存在する（多ラベル分類問題）。

【0003】

しかしながら、そうした技術を採用するとしても、分類対象のデータが大量である場合、人手による分類は困難である。そこで、教師あり学習を利用した機械学習によって多ラベル分類器を作成し、自動的に分類を行う技術も存在する。

【0004】

分類器とは、分類対象となるデータの特徴量を入力に、付与すべきラベルについて分類確率を計算、出力するプログラム全般を指す（機械学習ではなくＩＦ文などによって人手で作成することもできる）。上述の多ラベル分類器は、こうした分類器の一種であり、ひとつのデータに複数のラベルを付与して分類する分類器を指す。

【0005】

上述のように、教師あり学習で多ラベル分類器を作成するには、分類対象のデータの特徴量と、特徴量に応じた真の分類結果（ラベル）からなる学習データとを学習器へ入力として与える。単一の分類器で、多様な特徴量と多様なラベルの全ての組み合わせについて正しく学習することは困難であり、単一の分類器では限られた特徴量や、限られたラベルについてのみ正しく分類できることが多い。

【0006】

そのため、正確な多ラベル分類器を作成するために、複数の分類器を組み合わせによって統合分類器の学習（アンサンブル学習）が一般におこなわれる。分類器の組み合わせ方は多数あるが、分類器の分類結果の多数決や平均値をとる手法が良く知られている。

【0007】

ここで、アンサンブル学習の性質から、統合分類器の学習の際に、高精度化に有用な分類器だけを選別することが必要である。そこで例えば、誤分類をおこなう分類器であっても真の分類結果との一貫性を有する場合は統合分類器の一部として利用することで、統合分類器の分類精度を向上する方法（特許文献1参照）が提案されている。

【0008】

ただし、こうしたアンサンブル学習では、多様な特徴量と多様なラベルの組み合わせを含む大量の学習データの存在を前提としている。実際には、大量の学習データは存在せず、少量の偏った学習データしか利用できないことが多い。また、大量の学習データを手作業で作成するのは非現実的である。

【0009】

学習データが存在しない状況では、統合分類器の分類精度向上に有用な分類器を自動的に選別できない。これは、特徴量とラベルの組み合わせ数が膨大になる多ラベル分類問題では、特に深刻な問題となる。

【0010】

そのため、少量の学習データから分類器を学習する方法として、ラベルのないデータ（ラベル無しデータ）を利用して学習データを増やす、いわゆる半教師あり学習の概念が存
在する。こうした概念に関連する従来技術として、例えば、学習データを使わずに、ドメイン知識を利用してユーザが分類器を作成するもので、ユーザが容易に作成できる単純な分類器を多数組み合わせて統合分類器を学習（アンサンブル学習）し、統合分類器による分類結果を真のラベルの代用とすることで、学習データの数を補う方法（非特許文献1参
照）が提案されている。

【先行技術文献】

【特許文献】

【0011】

【特許文献1】特開２０１５−１１６８６号公報

【非特許文献】

【0012】

【非特許文献1】Ａｌｅｘａｎｄｅｒ Ｊ Ｒａｔｎｅｒ、Ｃｈｒｉｓｔｏｐｈｅｒ Ｍ Ｄｅ Ｓａ、Ｓｅｎ Ｗｕ、Ｄａｎｉｅｌ Ｓｅｌｓａｍ、ａｎｄ Ｃｈｒｉｓｔｏｐｈｅｒ Ｒ´ ｅ、”Ｄａｔａ ｐｒｏｇｒａｍｍｉｎｇ：Ｃｒｅａｔｉｎｇ ｌａｒｇｅ ｔｒａｉｎｉｎｇ ｓｅｔｓ、ｑｕｉｃｋｌｙ、” Ａｄｖａｎｃｅｓ ｉｎ Ｎｅｕｒａｌ Ｉｎｆｏｒｍａｔｉｏｎ Ｐｒｏｃｅｓｓｉｎｇ Ｓｙｓｔｅｍｓ ２９、ｐｐ．３５６７−３５７５、２０１６．

【発明の概要】

【発明が解決しようとする課題】

【0013】

上述の従来技術（非特許文献1）の方法で多ラベル分類問題向けの学習データを作成す
る場合、多様な特徴量とラベルとの組み合わせに応じた大量の分類器を、ユーザが手作業で作成しなければならない。

【0014】

そのため、統合分類器の分類結果をユーザが目視確認しながら、大量の分類器の作成および選別を試行錯誤することになる。その結果、分類精度の高い統合分類器の作成が困難になるという課題が生じる。
そこで本発明の目的は、統合分類器における分類器の作成を効率的なものとし、当該統合分類器の分類精度を向上可能とする技術を提供することにある。

【課題を解決するための手段】

【0015】

上記課題を解決する本発明のデータ分類システムは、複数の分類器各々による所定データセットの分類結果を統合し、当該データセットの特徴量と分類結果たるラベルとの対応関係を規定した学習データを格納する記憶装置と、前記学習データを記憶装置から読み出し、当該学習データにおけるラベル無しのデータセット各々について、当該特徴量と、前記分類器各々による前記分類結果から学習した統合分類器が出力する分類確率とに基づき、１つのデータセットに対して複数ラベルが未分類とされる確率たる同時未分類率と、１つのデータセットに対して複数ラベルが分類される確率たる同時分類確率とを算定する処理、前記同時未分類率と前記同時分類確率との乗算値をラベルごとに集計して推薦スコアを算定する処理、および、分類器を追加作成するべきラベルとして前記推薦スコアの高い順にラベルを特定し、当該ラベルの推薦情報を所定装置に出力する処理、を実行する演算装置と、を含むことを特徴とする。

【0016】

また本発明のデータ分類方法は、複数の分類器各々による所定データセットの分類結果を統合し、当該データセットの特徴量と分類結果たるラベルとの対応関係を規定した学習データを格納する記憶装置を備えた情報処理システムが、前記学習データを記憶装置から読み出し、当該学習データにおけるラベル無しのデータセット各々について、当該特徴量と、前記分類器各々による前記分類結果から学習した統合分類器が出力する分類確率とに基づき、１つのデータセットに対して複数ラベルが未分類とされる確率たる同時未分類率と、１つのデータセットに対して複数ラベルが分類される確率たる同時分類確率とを算定
する処理と、前記同時未分類率と前記同時分類確率との乗算値をラベルごとに集計して推薦スコアを算定する処理と、分類器を追加作成するべきラベルとして前記推薦スコアの高い順にラベルを特定し、当該ラベルの推薦情報を所定装置に出力する処理と、を実行することを特徴とする。

【0017】

また本発明のデータ分類装置は、所定ネットワークを介した他装置との通信処理を行う通信装置と、所定装置に対して前記通信装置によりアクセスし、前記所定装置が備える、複数の分類器各々による所定データセットの分類結果を統合し、当該データセットの特徴量と分類結果たるラベルとの対応関係を規定した学習データ、を取得する処理、当該学習データにおけるラベル無しのデータセット各々について、当該特徴量と、前記分類器各々による前記分類結果から学習した統合分類器が出力する分類確率とに基づき、１つのデータセットに対して複数ラベルが未分類とされる確率たる同時未分類率と、１つのデータセットに対して複数ラベルが分類される確率たる同時分類確率とを算定する処理、前記同時未分類率と前記同時分類確率との乗算値をラベルごとに集計して推薦スコアを算定する処理、および、分類器を追加作成するべきラベルとして前記推薦スコアの高い順にラベルを特定し、当該ラベルの推薦情報を所定装置に出力する処理、を実行する演算装置と、を備えることを特徴とする。

【発明の効果】

【0018】

本発明によれば、統合分類器における分類器の作成を効率的なものとし、当該統合分類器の分類精度を向上させる。

【図面の簡単な説明】

【0019】

【図1】本実施形態におけるデータ分類システムを含むネットワーク構成例を示す図である。

【図2】本実施形態の分類器作成推薦サーバのハードウェア構成例を示す図である。

【図3】本実施形態のラベル無しデータの構成例を示す図である。

【図4】本実施形態の分類器管理情報の構成例を示す図である。

【図5】本実施形態の分類結果情報の構成例を示す図である。

【図6】本実施形態の学習データ情報の構成例を示す図である。

【図7】本実施形態の未分類率情報の構成例を示す図である。

【図8】本実施形態の同時未分類率情報の構成例を示す図である。

【図9】本実施形態の文書群情報の構成例を示す図である。

【図10】本実施形態の同時分類確率情報の構成例を示す図である。

【図11】本実施形態の推薦スコア情報の構成例を示す図である。

【図12】本実施形態のユーザ情報文書群の構成例を示す図である。

【図13】本実施形態のユーザ情報分類結果の構成例を示す図である。

【図14】本実施形態における学習データ生成方法のフロー例を示す図である。

【図15】本実施形態における分類器作成推薦方法のフロー例を示す図である。

【図16】本実施形態における出力例を示す図である。

【発明を実施するための形態】

【0020】

−−−ネットワーク構成−−−
図１は本実施形態のデータ分類システム１００を含むネットワーク構成図である。図１に示すデータ分類システム１００は、統合分類器における分類器の作成を効率的なものとし、当該統合分類器の分類精度を向上させる情報処理システムである。

【0021】

こうしたデータ分類システム１００は、図１のネットワーク構成で例示するように、ユーザ端末１０１から分類器（例：当該ユーザ端末１０１の操作者が生成したもの）を取得し、この分類器に基づき統合分類器３０３を作成する。このデータ分類システム１００は
、上述の統合分類器３０３によるラベル無しデータ２０１の多ラベル分類を効率的なものとする効果を奏する。ラベル無しデータ２０１を分類する目的として、多ラベル分類器を作成するための学習データ２０３の作成がある。

【0022】

図１で示すデータ分類システム１００は、一例として、学習データ生成サーバ１０２と、分類器作成推薦サーバ１０３とにより構成されたものを想定できる。ただし、本実施形態のデータ分類システム１００の最小構成として、分類器作成推薦サーバ１０３のみなど、単体の装置に必要な機能を実装する形態を想定するとしても良い。

【0023】

また、本実施形態のデータ分類システム１００は、図１に示すごとく、適宜なネットワーク４０６を介して、ユーザ端末１０１、ラベル無しデータ管理サーバ１０４、および、文書群管理サーバ１０５、など外部装置と通信可能であり、ラベル無しデータ２０１や文書群情報２０６を適宜取得し読み込み可能であるものとする。

【0024】

こうした本実施形態のデータ分類システム１００を運用する組織としては、例えば、或る工場における生産効率の分析や不良品数の低減を行う事業体を想定できる。

【0025】

この事業体が管理する工場では、当該工場に設置したセンサーや工作機械などから生じる多様なＩｏＴデータのそれぞれに対して、データ作成者が記述した説明文（例：溶接の失敗原因分析データです）がラベル無しデータ２０１として大量に蓄積されているものとする。このラベル無しデータ２０１は、未だ統合分類器３０３による分類処理すなわちラベリングが施されていないデータセットである。

【0026】

上述のＩｏＴデータの存在を知らないデータ分析者でも、当該ＩｏＴデータを発見し、当該ＩｏＴデータを用いた分析を実行するためには、大量に蓄積されたラベル無しデータ２０１をカテゴリごとに機械学習で自動分類することで、当該ＩｏＴデータをカテゴリによって絞り込み可能とすることが好ましい。

【0027】

しかしながら、多様なＩｏＴデータに応じて、ラベル無しデータ２０１の特徴量は多様になり、また柔軟な絞りこみを実現するには多様なカテゴリを表現するラベルが必要となる。さらに、ひとつのＩｏＴデータが複数のカテゴリに属する可能性を考慮すると、多ラベル分類器を作成するための学習データが必要である。

【0028】

よって、すでに述べたように、データ分類システム１００の学習データ生成サーバ１０２では、ユーザ端末１０１から分類器の定義を受け取る分類器受取部３０１と、分類器３０２−１〜３０２−Ｎ（Ｎは任意の自然数）を含む分類器実行部３０２と、統合分類器３０３とが動作し、ラベル無しデータ２０１に対する上述の分類器３０２−１〜３０２−Ｎによる分類結果情報２０３を入力に統合分類器３０３を学習し、この統合分類器３０３によるラベル無しデータ２０１の分類結果として学習データ２０４を生成することになる。

【0029】

この統合分類器３０３と学習データ２０４は、具体的には、データ分類者が、非特許文献１に開示された手法に沿って、学習データ２０４の作成結果を目視確認しながら、分類器を追加作成していく作業を繰り返すことで作成できる。

【0030】

なお、ユーザ端末１０１は、データ分類システム１００を利用するデータ分類者が操作する端末である。こうしたデータ分類者は、ユーザ端末１０１の表示を閲覧、またユーザ端末１０１を操作して、ラベル無しデータ２０１向けの分類器を新規に定義し、学習データ生成サーバ１０２へ送信する。

【0031】

一方、上述のデータ分類者による分類器の追加作成を効率的なものとするために、本実
施形態においては、分類器作成推薦サーバ１０３が分類器を追加作成するべきラベルの推薦情報を、当該データ分類者のユーザ端末１０１に通知する。

【0032】

本実施形態の分類器作成推薦サーバ１０３は、学習データ２０４を入力に未分類率情報２０５を計算する未分類率計算部３０４と、未分類率情報２０５を入力に同時未分類率情報２０６を計算する同時未分類率計算部３０５と、文書群管理サーバ１０５から文書群２０７を読み込んで同時分類確率情報２０８を計算する同時分類確率計算部３０６と、同時未分類率情報２０６と同時分類確率情報２０８を入力に推薦スコア情報２０９を計算する推薦スコア計算部３０７と、同時分類確率２０８から分類器を生成して学習データ生成サーバ１０２へ送付する分類器生成部３０８、および、上述の推薦スコア情報２０９をユーザ情報分類結果２１１に応じたユーザ端末１０１に宛てて通知する推薦実行部３０９からなる。

【0033】

上述のうち未分類率計算部３０４は、学習データ２０４を受け取ったら、当該学習データ２０４に含まれるデータセット（以下、データ）に対するラベルの分類確率を取得し、このラベル分類確率が所定の閾値内に収まる場合、当該データに対して当該ラベルが未分類とみなす。

【0034】

また、未分類率計算部３０４は、全ラベルの未分類データ数を計算し、ラベルごとに未分類数を分類対象データ数（学習データに含まれるデータ数）で除算することで、未分類率を計算し、これを未分類率情報２０５に保存することが好ましい。

【0035】

未分類率計算部３０４が計算した未分類率が、データ分類者が予め指定した所定の閾値をすべてのラベルについて下回る場合、統合分類器３０３によって十分な数のラベル無しデータ２０１を分類できており、分類器を追加する必要がない。そのため、この時点で分類器作成推薦サーバ１０３は処理を終了してよい。

【0036】

一方、上述の未分類率が、いずれかのラベルについて所定の閾値を下回る場合、未分類率計算部３０４は、未分類情報２０５を同時未分類率計算部３０５に送信する。

【0037】

他方、同時未分類率計算部３０５は、上述の未分類率情報２０５を受け取ったら、未分類率情報２０５において、例えば、ｉ番目のラベル（ラベルｉと同義、以下同様）とｊ番目のラベル（ラベルｊと同義、以下同様）の両方が、未分類となるデータの割合として同時未分類率ｕ_ｉｊを計算し、この同時未分類率ｕ_ｉｊを同時未分類率情報２０６に保存することが好ましい。

【0038】

また、同時分類確率計算部３０６は、文書群管理サーバ１０５から文書群２０７を読み込み、ｉ番目のラベルとｊ番目のラベルに含まれる単語の共起確率を計算し、当該計算結果を同時分類確率ｐ_ｉｊとして同時分類確率情報２０８に保存することが好ましい。この「単語の共起確率」は、具体的には、既知の手法（例：藤井雄太郎、吉村卓也、伊藤孝行、安藤哲志、”複数単語間の共起情報を用いた有害文書自動分類手法の提案”、第１０回情報科学技術フォーラム、（ＦＩＴ２０１１）講演論文集（２０１１））によって計算できる。

【0039】

また、本実施形態では、ラベル無しデータ２０１に一切のラベルが含まれていないことを想定して、同時分類確率ｐ_ｉｊを計算する方法を記載したが、実際にはラベル無しデータ２０１に人手による少量のラベル分類結果が含まれている場合がある。このような場合には、このラベル分類結果から、あるいはこのラベル分類結果を併用して、同じデータが２つのラベルへ同時に分類される確率として同時分類確率を計算してもよい。

【0040】

なお、文書群管理サーバ１０５が保持する文書群２０７は、上述の事業体のデータ分析レポートなどの組織内文書や、インターネットで公開されている文書、また、ラベル無しデータ２０１の文書を含んでよい。

【0041】

また、分類器生成部３０８は、他の分類器によってｉ番目のラベルへ分類されたら、同時分類確率情報２０８が示す同時分類確率ｐ_ｉｊの確率でｊ番目のラベルへ分類する分類器を自動作成し、この分類器を学習データ生成サーバ１０２の分類器受取部３０１へ送信する。具体的には、この分類器は、ＩＦ文によって自動作成できる。

【0042】

また、推薦スコア計算部３０７は、同時未分類率情報２０６から同時未分類率ｕ_ｉｊを読み込み、同時分類確率情報２０８から同時未分類確率ｐ_ｉｊを読み込み、ｉ番目のラベルに対する推薦スコアをΣ_ｊｕ_ｉｊｐ_ｉｊとして計算し、この推薦スコアを推薦スコア情報２０９へ保存することが好ましい。

【0043】

また、推薦実行部３０９は、ユーザ端末１０１へ推薦スコア情報２０９を通知して表示させ、当該推薦スコア情報２０９の推薦スコアの値の大きいラベルを分類する分類器の追加作成をデータ分類者へ推薦する。一方、データ分類者は、当該推薦スコアの大きいラベルを正しく分類する分類器から追加作成する。ユーザ端末１０１は、上述のデータ分類者が追加作成した分類器を、学習データ生成サーバ１０２の分類器受取部３０１に配信する。こうして適宜な分類器が追加されることによって、統合分類器３０３として少数の分類器でより多数のデータを分類できるようになる。

【0044】

また、本実施形態における未分類率計算部３０４は、上述の未分類率の値がすでに計算されていた場合、分類器の追加作成による未分類率の値の変化量をラベルごとに計算し、当該変化量が所定の閾値以下である場合、当該ラベルへの分類器追加作成は有効ではないと判定する。また、未分類率計算部３０４は、この判定に基づき、当該ラベル名を推薦スコア計算部３０７へ送付し、推薦スコア計算時に所定の係数（０．８など）を乗算することで、当該ラベルの推薦スコアを低下させてもよい。

【0045】

なお、データ分類者が複数人存在し、ラベル無しデータ２０１の一部としてデータ分類者の説明文（所属やスキルなど）を含むユーザ情報文書群２１０（ラベル無しデータ管理サーバ１０４が保持）が利用可能な場合がある。 この場合、こうしたデータ分類者の説明文を統合分類器３０３によって他のラベル無しデータ２０１と同様に分類し、ユーザ情報分類結果２１１を得ることが可能である。

【0046】

また、推薦実行部３０９は、推薦対象のラベルと同一のラベルへ分類されているデータ分類者がユーザ情報分類結果２１１に含まれていた場合、このデータ分類者のユーザ端末１０１に宛てて当該ラベルに関する分類器の追加を依頼する情報を通知、すなわち推薦情報の出力を行うことによって、当該ラベルに関して知識のある分類者へ分類器の作成を依頼することが可能となる。

【0047】

なお、ラベル無しデータ２０１が多様な説明文の場合は、処理効率を向上すべく、ラベル無しデータ２０１と文書群２０７を合わせたデータ集合をＫ個のクラスタに分割し、当該クラスタごとに未分類率を計算するとしてもよい。データ集合をクラスタごとに分割する手法としては、具体的には、Ｋ−ｍｅａｎｓ法などを適用すればよい。

【0048】

上述のように未分類率をクラスタごとに計算した場合、同時未分類率計算部３０５は、後述する同時未分類率をクラスタごとに計算し、ｋ番目のクラスタについての同時未分類率ｕ_ｉｊｋを同時未分類率情報２０６に保存する。また、同時分類確率計算部３０６は、同時分類確率をクラスタごとに計算し、ｋ番目のクラスタについての同時分類確率ｐ_ｉｊ
ｋを計算し、同時分類確率情報２０８に保存する。その後、推薦スコア計算部３０７は、全クラスタについて推薦スコアの和をとる形でΣ_ｋΣ_ｊｕ_ｉｊｋｐ_ｉｊｋとして計算する。

【0049】

−−−ハードウェア構成−−−
また、本実施形態のデータ分類システム１００を主として構成する分類器作成推薦サーバ１０３のハードウェア構成を図２に示す。

【0050】

本実施形態の分類器作成推薦サーバ１０３は、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）やハードディスクドライブなど適宜な不揮発性記憶素子で構成される記憶装置４０１、ＲＡＭなど揮発性記憶素子で構成されるメモリ４０４、記憶装置４０１に保持されるプログラム４０２をメモリ４０４に読み出すなどして実行し装置自体の統括制御を行なうとともに各種判定、演算及び制御処理を行なうＣＰＵなどの演算装置４０３、および、ネットワーク４０６と接続して他装置（学習データ生成サーバ１０２、ユーザ端末１０１、文書群管理サーバ１０５など）との通信処理を担う通信装置４０５、を備える。

【0051】

なお、記憶装置４０１内には、本実施形態のデータ分類管理システム１００を構成する分類器作成推薦サーバとして必要な機能を実装する為のプログラム４０２に加えて、未分類率情報２０５、同時未分類率情報２０６、同時分類確率情報２０８、推薦スコア情報２０９、および、ユーザ情報分類結果２１１、が記憶されている。これらの情報の詳細については後述する。

【0052】

また、上述の演算装置４０３がプログラム４０２を実行することで、未分類率計算部３０４、同時未分類率計算部３０５、同時分類確率計算部３０６、推薦スコア計算部３０７、分類器生成部３０８、および、推薦実行部３０９が実装される。これら機能部の働きの詳細についても後述する。

【0053】

−−−データ構造例−−−
続いて、本実施形態のデータ分類システム１００を構成する、上述の分類器作成推薦サーバ１０３および学習データ生成サーバ１０２らが用いるデータ類について説明する。

【0054】

図３は、本実施形態におけるラベル無しデータ２０１の構成例を示す図である。このラベル無しデータ２０１は、ラベル無しデータを一意に識別するための数値、あるいは文字列であるデータＩＤ２０１ａをキーに、ラベル無しデータの特徴量２０１ｂの値を対応付けたレコードの集合体となっている。

【0055】

このうち特徴量２０１ｂは、分類対象となるデータ、あるいは分類対象となるデータから作成したデータの特徴を示す値であり、文字列、数値など任意の形式を取る。

【0056】

続いて図４に、本実施形態における分類器管理情報２０２の構成例を示す。本実施形態の分類器管理情報２０２は、分類器を一意に識別するための数値あるいは文字列である分類器ＩＤ２０２ａをキーに、当該分類器を用いた分類を実行するための方法を示す分類器実行方法２０２ｂ、および、分類器実行方法２０２ｂによって分類される対象のラベルを示す分類対象ラベル２０２ｃ、を対応付けたレコードの集合体となっている。

【0057】

このうち分類対象ラベル２０２ｃは、分類器の性質に応じて複数の値をとっても良い。
上述の分類器管理情報２０２のレコードは、分類器受取部３０１を通じてユーザ端末１０１から分類者作成の値を取得、あるいは分類器作成部３０８によって自動生成されることによって蓄積されていく。

【0058】

続いて図５に、本実施形態の分類結果情報２０３の構成例を示す。本実施形態の分類結果情報２０３は、ラベル無しデータ２０１におけるデータＩＤと同一の（すなわち同じラベル無しデータ２０１に関する分類結果であることを意味する）データＩＤ２０１ａをキーに、当該ラベル無しデータ２０１の特徴量２０１ｂ、Ｎ個（Ｎは自然数）の分類器のそれぞれによって計算された分類確率２０３−１〜２０３−Ｎ、の各値を対応付けたレコードの集合体となっている。

【0059】

このうち分類確率２０３−１〜２０３−Ｎは、それぞれの分類器で計算した、分類対象ラベル２０２ｃ（分類器管理情報２０２で保持）にラベル無しデータ２０１の各レコードが分類される確率を示す値である。この値は、分類対象ラベル２０２ｃの値の数に応じて複数の確率値をとってもよい。

【0060】

続いて図６に、本実施形態の学習データ２０４の構成例を示す。本実施形態の学習データ２０４は、データＩＤ２０１ａをキーに、当該ラベル無しデータ２０１の特徴量２０１ｂ、および、統合分類器２０３が計算した各ラベルへのラベル無しデータ２０１の分類確率２０４ｃ、を対応付けたレコードの集合体となっている。このうち分類確率２０４ｃは、各ラベルへの分類確率を要素としたベクトルである。

【0061】

続いて図７に、本実施形態の未分類率情報２０５の構成例を示す。本実施形態の未分類率情報２０５は、ラベル名２０５ａをキーとして、分類対象データ数２０５ｂ、未分類データ数２０５ｃ、および、未分類率２０５ｄ、の各値を対応付けたレコードの集合体となっている。

【0062】

このうち分類対象データ数２０５ｂは、学習データ２０４に含まれる全データのうち、ラベル名２０５ａのラベルに分類するか判断するべきデータの数を示した数値である。

【0063】

また、未分類データ数２０５ｃは、分類対象データ数２０５ｂのうち、ラベル名２０５ａのラベルに分類するか判断していない（未分類の）データの数を示した数値である。

【0064】

また、未分類データ数２０５ｃと未分類率２０５ｄは、未分類率計算部３０４によって計算される、未分類データ数２０５ｃを分類対象データ数２０５ｂで除算した数値であり、未分類なデータの割合を示した数値である。

【0065】

続いて図８に、本実施形態の同時未分類率情報２０６の構成例を示す。本実施形態の同時未分類率情報２０６は、ラベルｉ２０６ａと、ラベルｊ２０６ｂと、同時未分類率２０６ｃ、の各値を対応付けたレコードの集合体となっている。

【0066】

このうち、ラベルｉ２０６ａとラベルｊ２０６ｂは、ともにラベル名を示す文字列であり、同時未分類率情報２０６にはこれら２つのラベルの全組み合わせについてレコードを持っている。

【0067】

また、同時未分類率２０６ｃは、ラベルｉ２０６ａおよびラベルｊ２０６ｂの各ラベルについて、どちらのラベルも未分類であるデータの割合を示す数値であり、同時未分類率計算部３０５によって計算される。

【0068】

なお、本実施形態ではすべての２つのラベル（ラベルｉとラベルｊ）の組み合わせについて同時未分類率２０６ｃを計算するとしたが、３つ以上のラベル、例えばラベルｉとラベルｊとラベルｋについてすべての組み合わせをとって同時未分類率２０６ｃを計算しても良い。

【0069】

続いて図９に、本実施形態の文書群２０７の構成例を示す。本実施形態の文書群２０７は、文書ＩＤ２０７ａと文書内容２０７ｂの各値を含むレコードの集合体となっている。
このうち文書ＩＤ２０７ａは、当該文書を一意に識別するための数値あるいは文字列である。また、文書内容２０７ｂは、当該文書の内容を示す文字列である。

【0070】

すでに述べたように、この文書群２０７およびその文書内容２０７ｂは、上述の事業体のデータ分析レポートなどの組織内文書や、インターネットで公開されている文書や、またラベル無しデータの文書を含んでよい。

【0071】

続いて図１０に、本実施形態の同時分類確率２０８の構成例を示す。本実施形態の同時分類確率情報２０８は、ラベルｉ２０６ａおよびラベルｊ２０６ｂをキーに、同時分類確率２０８ｃの値を対応付けたレコードの集合体となっている。

【0072】

このうち同時分類確率２０８ｃは、ラベルｉ２０６ａおよびラベルｊ２０６ｂの各ラベルが同時に同じデータに分類される確率を示した数値であり、同時分類確率計算部３０６によって計算される値である。

【0073】

続いて図１１に、本実施形態の推薦スコア情報２０９の構成例を示す。本実施形態の推薦スコア情報２０９は、ラベル名２０９ａをキーに、推薦スコア２０９ｂおよび推薦順位２０９ｃの各値を対応付けたレコードの集合体となっている。
このち推薦スコア２０９ｂは、ラベル名２０９ａに記載のラベルについて推薦スコア計算部３０７が計算した推薦スコアの値である。

【0074】

また、推薦順位２０９ｃは、推薦スコア２０９ｂの値の大きい順に決定した分類器作成を推薦する順位であり、ユーザ端末１０１を通じて推薦順位２０９ｃの値が小さいラベルから順に分類器の作成が分類者へ推薦される。

【0075】

続いて図１２に、本実施形態のユーザ情報文書群２１０の構成例を示す。本実施形態のユーザ情報文書群２１０は、ユーザＩＤ２１０ａをキーに、ユーザ情報文書２１０ｂおよびユーザ連絡先２１０ｃの各値を対応付けたレコードの集合体となっている。
このうちユーザＩＤ２１０ａは、ユーザ情報文書２１０ｂを一意に識別するための数値、あるいは文字列である。
また、ユーザ情報文書２１０ｂは、ユーザの業務上の経験やスキルを表す文書であり、自然言語からなる不定形の文書あるいは整形済みの文字列データである。

【0076】

また、ユーザ連絡先２１０ｃは、ユーザ情報文書２１０ｂで説明されるユーザの連絡先を表した文字列あるいは数値であり、具体的には当該ユーザの電子メールアドレスや電話番号などで構成される。

【0077】

続いて図１３に、本実施形態のユーザ情報分類結果２１１の構成例を示す。本実施形態のユーザ情報分類結果２１１は、ユーザＩＤ２１０ａをキーに、ユーザ連絡先２１０ｃおよびラベル２１１ｃの各値を対応付けたレコードの集合体となっている。
このうちラベル２１１ｃは、ユーザ情報文書群２１０を入力として、統合分類器３０３で分類した結果として統合分類器３０３から出力されたラベルである。

【0078】

−−−フロー例１−−−
以下、本実施形態におけるデータ分類方法の実際手順について図に基づいて説明する。以下で説明するデータ分類方法に対応する各種動作は、データ分類システム１００を構成する学習データ生成サーバ１０２や分類器作成推薦サーバ１０３がそれぞれメモリ等に読み出して実行するプログラムによって実現される。そして、このプログラムは以下に説明
される各種の動作をおこなうためのコードから構成されている。
図１４は本実施形態における学習データ生成方法のフロー例１を示す図であり、具体的には、学習データ生成サーバ１０２の動作を示すフローチャートである。
このフローにおいて、学習データ生成サーバ１０２は、ユーザ端末１０１あるいは分類器作成推薦サーバ１０３からの分類器追加要求をうけて処理を開始する。

【0079】

この場合、学習データ生成サーバ１０２の分類器受取部３０１は、ユーザ端末１０１と分類器作成推薦サーバ１０３から追加対象の分類器の情報を受信し、当該分類器の情報を含むレコードを生成し、当該レコードを分類器管理情報２０２に保存する（Ｓ１０１）。

【0080】

上述のレコードにおける分類器の情報としては、既に図４で説明したように、分類実行方法２０２ｂ、分類対象ラベル２０２ｃ、の各値を含んでいる。また、分類器ＩＤ２０２ａの値は、レコード追加ごとに値をインクリメントして付与したものとなる。

【0081】

次に、学習データ生成サーバ１０２の分類器実行部３０２は、上述のＳ１０１で分類器管理情報２０２に新たに保存したレコードから分類器実行方法２０２ｂの値を読取り、当該値に記載の方法にしたがって当該分類器を実行してラベル無しデータ２０１の分類を行い、当該分類の結果を分類結果情報２０３に保存する（Ｓ１０２）。

【0082】

図５で例示した分類結果情報２０３のイメージであれば、２０３−１〜２０３−ｎの各分類器の列に追加対象の分類器（Ｓ１０１で分類器管理情報２０２に新たに追加されたもの）の項目が追加され、当該分類器による分類結果の値（例：データＩＤ“１”に関して、“０．８０”）が、各ラベル無しデータ２０１のレコードに関して追加されることとなる。

【0083】

また、学習データ生成サーバ１０２は、上述の分類結果情報２０３から統合分類器３０３を学習する（Ｓ１０３）。この学習手法自体は、分類結果情報２０３における特徴量２０１ｂを入力とした場合の教師データを分類結果２０３−１〜２０３−ｎの各値として行うもので、既存のものを適宜採用すればよい。

【0084】

続いて、学習データ生成サーバ１０２は、上述のＳ１０３で学習した統合分類器３０３でラベル無しデータ２０１を分類し、当該分類の結果を学習データ２０４として保存し（Ｓ１０４）、処理を終了する（Ｓ１０４）。

【0085】

なお、このステップＳ１０４における学習データ生成サーバ１０２は、例えば、ラベル無しデータ２０１が含むデータ分類者の説明文（所属やスキルなど）に対し、統合分類器３０３によって他のラベル無しデータ２０１と同様に分類し、ユーザ情報分類結果２１１を得て格納するものとする。

【0086】

−−−フロー例２−−−
図１５は本実施形態における分類器作成推薦方法のフロー例を示す図であり、具体的には、分類器追加推薦サーバ１０３の動作を示すフローチャートである。

【0087】

続いて、上述の学習データ生成サーバ１０２によって学習データ２０４が更新されたことを契機に、分類器作成推薦サーバ１０３が実行するフローについて説明する。

【0088】

この場合、分類器作成推薦サーバ１０２の未分類率計算部３０４は、学習データ生成サーバ１０２から学習データ２０４を取得し、この学習データ２０４に関して、ラベルごとに未分類率を計算し、この計算の結果を未分類率情報２０５に保存する（Ｓ２０１）。

【0089】

この場合の未分類率計算部３０４は、全ラベルそれぞれの未分類データ数すなわち未分類数を計算し、ラベルごとに未分類数を分類対象データ数（学習データに含まれるデータ数）で除算することで、未分類率を計算する。

【0090】

例えば、「ひび割れ」ラベルの未分類データ数すなわち未分類数は、学習データ２０４の各レコードに関して、その分類確率２０４ｃのベクトル値のうち、“ひび割れ”の値が所定基準値（例：０．６以下）のものを特定し、該当レコードの数、すなわち「ひび割れ」ラベルが未分類となったデータ数を「３０」などカウントする。

【0091】

また、「ひび割れ」ラベルの未分類率は、上述の未分類数「３０」を、分類対象データ数（学習データ２０４に含まれる全データ数。例えば、「１００」）で除算することで、未分類率を「０．３」などと計算する。

【0092】

続いて、学習データ生成サーバ１０２は、Ｓ２０１で計算した未分類率の値が、データ分類者が予め指定した所定の閾値（例：０．２）をいずれかのラベルについて上回るか判定する（Ｓ２０２）。

【0093】

上述の判定の結果、未分類率の値が上述の閾値以上でなかった場合（Ｓ２０２：ｎ）、すなわち、Ｓ２０１で計算した未分類率の値が、データ分類者が予め指定した所定の閾値をすべてのラベルについて下回る場合、統合分類器３０３によって十分な数のラベル無しデータ２０１を分類できており、分類器を追加する必要がないと特定し、以後の処理を終了する。

【0094】

一方、上述の判定の結果、未分類率の値が上述の閾値以上であった場合（Ｓ２０２：ｙ）、すなわち上述の未分類率が、いずれかのラベルについて所定の閾値を下回る場合、未分類率計算部３０４は、未分類情報２０５を同時未分類率計算部３０５に送信し、同時未分類率計算部３０５で、同時未分類率ｕ_ｉｊの計算を実行させる（Ｓ２０３）。

【0095】

同時未分類率計算部３０５は、上述の未分類率情報２０５を受け取ったら、未分類率情報２０５において、例えば、ｉ番目のラベル（ラベルｉと同義、以下同様）とｊ番目のラベル（ラベルｊと同義、以下同様）の両方が、未分類となるデータの割合として同時未分類率ｕ_ｉｊを計算し、この同時未分類率ｕ_ｉｊを同時未分類率情報２０６に格納するものとする。

【0096】

例えば、「ひび割れ」ラベルと「不良品」ラベルが、共に未分類となったデータを、学習データ２０４の各レコードの分類確率２０４ｃのベクトル値のうち、“ひび割れ”および“不良品”の各値がいずれも所定基準値（例：０．６以下）のものとして特定し、該当レコードの数、すなわち「ひび割れ」および「不良品」の両ラベルが未分類となったデータ数を「２８」などカウントする。

【0097】

また、「ひび割れ」および「不良品」の両ラベルが同時に未分類率となって同時未分類率は、上述の未分類数「２８」を、分類対象データ数（学習データ２０４に含まれる全データ数。例えば、「１００」）で除算することで、「０．２８」などと計算する。

【0098】

また、分類器作成推薦サーバ１０３の同時分類確率計算部３０６は、上述の判定の結果（Ｓ２０２：ｙ）を受けて、文書群管理サーバ１０５から文書群２０７を読み込み、ｉ番目のラベル（上述の例の場合、「ひび割れ」）とｊ番目のラベル（上述の例の場合、「不良品」）に含まれる単語（「ひび割れ」と「不良品」）の共起確率を計算し（Ｓ２０４）、当該計算結果を同時分類確率ｐ_ｉｊとして同時分類確率情報２０８に格納する。
なお、上述のＳ２０３およびＳ２０４の各処理は非同期に実行されるものとする。

【0099】

続いて、分類器作成推薦サーバ１０３の推薦スコア計算部３０７は、同時未分類率情報２０６から同時未分類率ｕ_ｉｊを読み込み、同時分類確率情報２０８から同時未分類確率ｐ_ｉｊを読み込み、すべてのラベルｉに対する推薦スコアをΣ_ｊｕ_ｉｊｐ_ｉｊとして計算し（Ｓ２０５）、この推薦スコアを推薦スコア情報２０９へ格納する。

【0100】

例えば、ラベルｉが「ひび割れ」、ラベルｊが「不良品」の組み合わせに関して、同時未分類率情報２０６のレコードが示す同時未分類率２０６ｃの値「０．３０」と、同時分類確率情報２０８が示す同時分類確率２０８ｃの値「０．８」とを乗算して「０．２４」を得る計算を、ラベルｉが「ひび割れ」である全組み合わせに関して実行し、その実行結果たる乗算値の集計し、推薦スコアを算定する。

【0101】

続いて、分類器作成推薦サーバ１０３の分類器生成部３０８は、上述の同時分類確率情報２０８が示す、ラベルｉに関して同時分類確率ｐ_ｉｊの確率でｊ番目のラベルへ分類する分類器を自動作成し（Ｓ２０６）、この分類器を学習データ生成サーバ１０２の分類器受取部３０１へ送信する。

【0102】

また、推薦実行部３０９は、推薦スコア情報２０９に記載の推薦対象のラベルと同一のラベルに分類されたユーザがユーザ情報分類結果２１１に含まれていれば、そのユーザの連絡先に宛てて、分類器の追加作成を推薦する推薦情報（図１６の画面１０００）を送信し（Ｓ２０７）、処理を終了する。
なお、上述のＳ２０６およびＳ２０７は非同期に実行されるものとする。

【0103】

上述のデータ分類者は、上述の推薦情報をユーザ端末１０１で閲覧し、当該推薦情報が示すラベル（スコアの大きいラベル）を正しく分類する分類器に関する作成作業を行うこととなる。ユーザ端末１０１は、上述のデータ分類者が追加作成した分類器を、学習データ生成サーバ１０２の分類器受取部３０１に配信する。こうして適宜な分類器が追加されることによって、統合分類器３０３として少数の分類器でより多数のデータを分類できるようになる。

【0104】

以上、本発明を実施するための最良の形態などについて具体的に説明したが、本発明はこれに限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能である。
こうした本実施形態によれば、統合分類器における分類器の作成を効率的なものとし、当該統合分類器の分類精度を向上させることとなる。

【0105】

本明細書の記載により、少なくとも次のことが明らかにされる。すなわち、本実施形態のデータ分類システムにおいて、前記演算装置は、前記同時未分類率の算定に際し、前記学習データに含まれるラベルの分類確率が所定の閾値内に収まる場合、当該データセットに対して前記ラベルが未分類であると判定し、前記学習データにおいて所定のラベルｉとラベルｊの両方が未分類となるデータの割合として前記同時未分類率ｕ_ｉｊを算定し、前記同時分類確率の算定に際し、所定の文書群に含まれるラベルｉおよびラベルｊの各ラベル名に対応する単語の共起確率として前記同時分類確率ｐ_ｉｊを算定し、前記推薦スコアの算定に際し、ラベルｉに関する前記推薦スコアをΣ_ｊｕ_ｉｊｐ_ｉｊとして算定するものである、としてもよい。

【0106】

これによれば、同時分類確率および同時分類確率の算定を効率的なものとし、ひいては、統合分類器における分類器の作成をより効率的なものとし、当該統合分類器の分類精度を向上させることとなる。

【0107】

また本実施形態のデータ分類システムにおいて、前記演算装置は、前記推薦情報に基づ
いて所定ユーザが追加作成した分類器を入力装置より取得し、当該追加した分類器を前記複数の分類器に追加して分類器群を生成し、当該分類器群における各分類器の分類結果を統合した新たな学習データと、当該学習データにより学習した統合分類器とを再作成する処理を更に実行し、前記新たな学習データにおいて、ラベル無しのデータセット各々について、当該特徴量と、前記新たな学習データにより学習した統合分類器が出力した分類確率とに基づき、当該新たな学習データに含まれるラベルが未分類となるデータセットの割合として未分類率を計算し、前記未分類率が所定基準を下回るまで、前記推薦情報の出力と前記統合分類器および学習データの再作成と、前記未分類率の計算とを繰り返すものである、としてもよい。

【0108】

これによれば、各データセットに対するラベル付与を漏れなく効率的なものとし、ひいては、統合分類器における分類器の作成をより効率的なものとし、当該統合分類器の分類精度を向上させることとなる。

【0109】

また本実施形態のデータ分類システムにおいて、前記演算装置は、前記分類器の追加に伴う前記新たな学習データおよび前記統合分類器の再作成の前後で、前記未分類率の値が同一あるいは増加した場合、前記推薦情報の対象としたラベルの推薦スコアに対し、ラベル間の推薦スコアの順位を低下させる所定係数を乗算する処理を更に実行するものである、としてもよい。

【0110】

これによれば、分類機追加による影響のうち悪影響を適宜に排除することが可能となり、ひいては、統合分類器における分類器の作成をより効率的なものとし、当該統合分類器の分類精度を向上させることとなる。

【0111】

また本実施形態のデータ分類システムにおいて、前記演算装置は、前記推薦情報の対象として特定した所定のラベルｉについて、前記同時分類確率を参照し、当該ラベルｉとの同時分類確率が所定基準以上のラベルｊを特定し、前記ラベルｉが付与される場合に前記同時分類確率の確率で前記ラベルｊに分類する分類器を自動生成して、前記自動生成した分類器を、前記複数の分類器に追加する処理を更に実行するものである、としてもよい。

【0112】

これによれば、共起確率が高いキーワードすなわちラベル同士の関係性を踏まえた、漏れの少ない分類器の自動生成が可能となり、ひいては、統合分類器における分類器の作成をより効率的なものとし、当該統合分類器の分類精度を向上させることとなる。

【0113】

また本実施形態のデータ分類システムにおいて、前記演算装置は、前記同時分類確率の算定に際し、前記文書群に加え、前記学習データの特徴量に含まれる文と前記学習データに付与された複数のラベルとから前記同時分類確率を計算するものである、としてもよい。

【0114】

これによれば、予め用意した文書群（例：企業内の技術文書等）が無い場合であっても、既存の学習データに基づいて同時分類確率を算定することが可能となり、ひいては、統合分類器における分類器の作成をより効率的なものとし、当該統合分類器の分類精度を向上させることとなる。

【0115】

また本実施形態のデータ分類システムにおいて、前記記憶装置は、前記分類器の追加作成の主体となりうるユーザ各々に関して、所定事象に関与している旨を示す記述、および連絡先の各情報を記述したユーザ情報文書群を更に格納しており、前記演算装置は、前記特定したラベルのラベル名に対応する単語を、前記ユーザ情報文書群に照合し、当該単語を前記記述に含むユーザを特定し、当該ユーザの前記連絡先に宛てて前記推薦情報の出力を行うものである、としてもよい。

【0116】

これによれば、類器作成を促すべき好適なユーザ宛てに上述の推薦情報を通知することが可能となり、ひいては、統合分類器における分類器の作成をより効率的なものとし、当該統合分類器の分類精度を向上させることとなる。

【0117】

また本実施形態のデータ分類システムにおいて、前記演算装置は、前記学習データに含まれるデータセットの特徴量および前記文書群の特徴量をクラスタリングし、前記同時未分類率の算定に際し、前記データセットのうち、所定のクラスタｋに属するものについて、所定のラベルｉおよびラベルｊの両方が未分類となる割合として同時未分類率ｕ_ｉｊｋを計算し、前記同時分類確率の算定に際し、前記文書群のうち、所定のクラスタｋに属する文書群に含まれる、ラベルｉおよびラベルｊの各ラベル名に対応する単語の共起確率として同時分類確率ｐ_ｉｊｋを計算し、前記推薦スコアの算定に際し、ラベルｉに関する前記推薦スコアをΣ_ｋΣ_ｊｕ_ｉｊｋｐ_ｉｊｋとして計算するものである、としてもよい。

【0118】

これによれば、生産ラインの工程種類などといったクラスタごとに、追加すべきラベルに応じた分類器の推薦を行うことが可能となり、ひいては、統合分類器における分類器の作成をより効率的なものとし、当該統合分類器の分類精度を向上させることとなる。

【符号の説明】

【0119】

１００ データ分類システム
１０１ ユーザ端末
１０２ 学習データ生成サーバ（所定装置）
１０３ 分類器作成推薦サーバ（データ分類装置）
１０４ ラベル無しデータ管理サーバ
１０５ 文書群管理サーバ
２０１ ラベル無しデータ
２０２ 分類器管理情報
２０３ 分類結果
２０４ 学習データ
２０５ 未分類率情報
２０６ 同時未分類率情報
２０７ 文書群
２０８ 同時分類確率情報
２０９ 推薦スコア情報
２１０ ユーザ情報文書群
２１１ ユーザ情報分類結果
３０１ 分類器受取部
３０２ 分類器実行部
３０３ 統合分類器
３０４ 未分類率計算部
３０５ 同時未分類率計算部
３０６ 同時分類確率計算部
３０７ 推薦スコア計算部
３０８ 分類器生成部
３０９ 推薦実行部
４０１ 記憶装置
４０２ プログラム
４０３ 演算装置
４０４ メモリ
４０５ 通信装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】