特許 7483431 データ分類装置、データ分類方法、およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-05-07

(45)【発行日】2024-05-15

(54)【発明の名称】データ分類装置、データ分類方法、およびプログラム

(51)【国際特許分類】

   G06N 20/20 20190101AFI20240508BHJP

   G06N 20/00 20190101ALI20240508BHJP

【ＦＩ】

G06N20/20

G06N20/00 130

【請求項の数】 6

(21)【出願番号】P 2020049855

(22)【出願日】2020-03-19

(65)【公開番号】P2021149640

(43)【公開日】2021-09-27

【審査請求日】2022-11-08

(73)【特許権者】

【識別番号】000003997

【氏名又は名称】日産自動車株式会社

(73)【特許権者】

【識別番号】507308902

【氏名又は名称】ルノー エス．ア．エス．

【氏名又は名称原語表記】ＲＥＮＡＵＬＴ Ｓ．Ａ．Ｓ．

【住所又は居所原語表記】１２２－１２２ ｂｉｓ， ａｖｅｎｕｅ ｄｕ Ｇｅｎｅｒａｌ Ｌｅｃｌｅｒｃ， ９２１００ Ｂｏｕｌｏｇｎｅ－Ｂｉｌｌａｎｃｏｕｒｔ， Ｆｒａｎｃｅ

(74)【代理人】

【識別番号】110002468

【氏名又は名称】弁理士法人後藤特許事務所

(72)【発明者】

【氏名】広瀬 悟

(72)【発明者】

【氏名】高木 徹

【審査官】山本 俊介

(56)【参考文献】

【文献】特開２００４－０５４５６７（ＪＰ，Ａ）

【文献】行縄直人ほか，二値分類器組み合わせの確率モデルに基づく多クラスパターン識別，電子情報通信学会技術研究報告，日本，社団法人電子情報通信学会，2005年03月23日，Ｖｏｌ．１０４，Ｎｏ．７６０，ｐｐ．１６５－１７０

【文献】輪島幸治ほか，潜在的ディリクレ配分法を用いたネガティブ要因分析，第６回データ工学と情報マネジメントに関するフォーラム（第１２回日本データベース学会年次大会），日本，電子情報通信学会データ工学研究専門委員会，日本データベース学会，情報処理学会データベースシステム研究会，2014年05月03日，DEIM Forum 2014 A9-3

【文献】@TsutomuNakamura(Tsutomu Nakamura)，ROC曲線とAUCを用いて2値分類機械学習モデルの性能を計測・チューニングする，Qiita [online]，2019年05月05日，https://qiita.com/TsutomuNakamura/items/ef963381e5d2768791d4，[2023年10月10日検索]

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｎ ３／００－９９／００

(57)【特許請求の範囲】

【請求項1】

所定製品の否定的評価に関する入力データを三つ以上の重要度に分類するデータ分類装置であって、
前記入力データを取得する取得部と、
前記入力データを前記重要度のいずれかに分類する分類部と、
前記分類部により分類された結果を出力する出力部と、を備え、
前記分類部は、三つ以上の前記重要度を相互排他的に二つのグループに別ける異なる順列の組み合わせ毎に対応して生成された複数の機械学習モデルと、複数の前記機械学習モデルの出力値を合成する合成部と、を備え、前記入力データを複数の前記機械学習モデルのそれぞれに入力することにより当該入力データを前記重要度のいずれかに分類するように構成され、
前記機械学習モデルは、前記入力データが入力された際に、前記二つのグループに分類された分類済み入力データを出力するように、教師データを用いた学習処理が施された学習済みモデルであって、前記入力データを前記二つのグループに分類する際の閾値を調整可能に構成され、ユーザにより調整された前記閾値に従って前記入力データを前記二つのグループに分類し、
前記合成部は、複数の前記機械学習モデルからそれぞれ出力される前記分類済み入力データを合成して、前記入力データを前記重要度のいずれかに分類する、
データ分類装置。

【請求項2】

請求項１に記載のデータ分類装置であって、
前記機械学習モデルは、前記分類済み入力データをベクトル値として出力するように構成され、
前記合成部は、複数の前記機械学習モデルからそれぞれ出力される前記ベクトル値のベクトル和を算出し、当該ベクトル和に応じて前記入力データを前記重要度に分類する、
データ分類装置。

【請求項3】

請求項１または２に記載のデータ分類装置であって、
前記教師データは、
前記三つ以上の前記重要度のいずれに該当し、且つ、前記二つのグループのいずれに該当するか識別可能な教師ラベルが付与された前記入力データである、
データ分類装置。

【請求項4】

請求項１に記載のデータ分類装置であって、
前記閾値を調整するための調整画像を出力する画像出力部をさらに備え、
前記調整画像は、
複数の前記機械学習モデルのそれぞれの分類性能に関する第１の情報と、
前記合成部の分類性能に関する第２の情報と、の少なくとも一方を表示する画像であって、
前記第１の情報および前記第２の情報は、前記ユーザによる前記閾値の調整具合に応じて変化する、
データ分類装置。

【請求項5】

複数の機械学習モデルを用いて、所定製品の否定的評価に関する入力データを三つ以上の重要度に分類するデータ分類方法であって、
前記入力データを取得する取得ステップと、
前記入力データを前記重要度のいずれかに分類する分類ステップと、
前記分類ステップで分類された結果を出力する出力ステップと、を含み、
前記機械学習モデルは、三つ以上の前記重要度を相互排他的に二つのグループに別ける複数の異なる順列の組み合わせ毎に対応して生成され、前記入力データが入力された際に当該入力データを対応する前記組み合わせに係る前記二つのグループに分類して出力するように、教師データを用いた学習処理が施された学習済みモデルであって、前記入力データを前記二つのグループに分類する際の閾値を調整可能に構成され、ユーザにより調整された前記閾値に従って前記入力データを前記二つのグループに分類し、
前記分類ステップでは、
前記機械学習モデルのそれぞれに前記入力データを入力し、
複数の前記機械学習モデルからそれぞれ出力される前記二つのグループに分類された分類済み入力データを合成して、前記入力データを三つ以上の前記重要度のいずれかに分類する、
データ分類方法。

【請求項6】

複数の機械学習モデルを用いて所定製品の否定的評価に関する入力データを三つ以上の重要度に分類する処理をコンピュータに実行させるデータ分類プログラムであって、
前記入力データを取得する取得ステップと、
前記入力データを前記重要度のいずれかに分類する分類ステップと、
前記分類ステップで分類された結果を出力する出力ステップと、実行させ、
前記機械学習モデルは、三つ以上の前記重要度を相互排他的に二つのグループに別ける複数の異なる順列の組み合わせ毎に対応して生成され、前記入力データが入力された際に当該入力データを対応する前記組み合わせに係る前記二つのグループに分類して出力するように、教師データを用いた学習処理が施された学習済みモデルであって、前記入力データを前記二つのグループに分類する際の閾値を調整可能に構成され、ユーザにより調整された前記閾値に従って前記入力データを前記二つのグループに分類し、
前記分類ステップでは、
前記機械学習モデルのそれぞれに前記入力データを入力し、
複数の前記機械学習モデルからそれぞれ出力される前記二つのグループに分類された分類済み入力データを合成して、前記入力データを三つ以上の前記重要度のいずれかに分類する、
プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、データ分類装置、データ分類方法、およびプログラムに関する。

【背景技術】

【0002】

特許文献１には、機械学習モデルを用いてオブジェクトにスコアを提供する方法が開示されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特表２０１３－５４１０８５号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ここで、所定のオブジェクトを複数の所定種別に分類する場合に、分類する各所定種別の重要度を変更したい場合がある。例えば、機械学習モデルを用いて所定のオブジェクトをＡ～Ｃの３つの種別に分類する際に、Ａを見逃すことは許容しないが、Ｂ、Ｃを少々見逃すことは許容するといったように、分類時の各所定種別の重要度を調整したい場合がある。

【0005】

しかしながら、特許文献１に開示された技術では、二分木（バイナリツリー）とそのノードの確率を用いてオブジェクトにスコアを提供しているものの、分類時の各所定種別毎の重要度を調整することはできない。

【0006】

本発明は、機械学習モデルを用いて対象を複数の所定種別に分類する場合に、分類する所定種別毎の重要度を調整することができる技術を提供することを目的とする。

【課題を解決するための手段】

【0007】

本発明の一実施形態によるデータ分類装置は、所定製品の否定的評価に関する入力データを三つ以上の重要度に分類するデータ分類装置である。データ分類装置は、入力データを取得する取得部と、入力データを重要度のいずれかに分類する分類部と、分類部により分類された結果を出力する出力部と、を備える。分類部は、三つ以上の重要度を相互排他的に二つのグループに別ける異なる順列の組み合わせ毎に対応して生成された複数の機械学習モデルと、複数の機械学習モデルの出力値を合成する合成部と、を備え、入力データを複数の前記機械学習モデルのそれぞれに入力することにより当該入力データを重要度のいずれかに分類するように構成される。機械学習モデルは、入力データが入力された際に、二つのグループに分類された分類済み入力データを出力するように、教師データを用いた学習処理が施された学習済みモデルであって、入力データを二つのグループに分類する際の閾値を調整可能に構成され、ユーザにより調整された閾値に従って入力データを二つのグループに分類する。そして、合成部は、複数の機械学習モデルからそれぞれ出力される分類済み入力データを合成して、入力データを重要度のいずれかに分類する。

【発明の効果】

【0008】

本発明によれば、入力データを三つ以上の所定種別に分類する場合に、当該所定種別を異なる組み合わせで二つのグループに別けるように構成された複数の機械学習モデルを用いて分類するので、例えば、機械学習モデル毎に分類時の閾値を変更する等することで、分類する所定種別の重要度を調整することが可能となる。

【図面の簡単な説明】

【0009】

【図1】図１は、一実施形態のデータ分類装置の概略構成図である。

【図2】図２は、機械学習モデル生成処理のフローを説明する図である。

【図3】図３は、データ分類処理のフローを説明する図である。

【図4】図４は、一実施形態の閾値調整機能を実現する表示画面例である。

【図5】図５は、一実施形態の合成アルゴリズムによる分類結果を示す表示画面例である。

【図6】図６は、変形例の閾値調整機能を実現する表示画面例である。

【図7】図７は、変形例の合成アルゴリズムによる分類結果を示す表示画面例である。

【発明を実施するための形態】

【0010】

［実施形態］
図１は、本発明の一実施形態に係るデータ分類装置１０の構成例を示す概略構成図である。データ分類装置１０は、所定製品の評価に関するデータを分類するように構成される。本実施形態において、ここでの所定製品は例えば車両である。本実施形態のデータ分類装置１０は、例えば各地の自動車ディーラにて作成された、車両の特に品質に関する評価データを所定種別に分類するように構成される。また、ここでの所定種別は、例えば評価データの重要度である。

【0011】

図１に示すように、本実施形態のデータ分類装置１０は、コントローラ１と、データベース２と、表示手段３と、を含んで構成される。

【0012】

コントローラ（コンピュータ）１は、２クラス分類データ生成部１１、２クラス分類モデル生成部１２、閾値調整部１３、閾値調整・モデル性能表示部１４、２クラス分類モデル合成部１５、新規不満情報取得部１６、データ変換部１７、新規不満情報演算結果表示部１８、及び合成アルゴリズム格納部１９等の機能部を有する。コントローラ１が有する各機能部の詳細については後述する。

【0013】

コントローラ１は、例えば、中央演算装置（ＣＰＵ）、読み出し専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、および、入出力インタフェース（Ｉ／Ｏインタフェース）から構成される。また、コントローラ１が備えるＲＯＭには、前述の各機能部がそれぞれに有する各機能を実行するためのプログラムが格納されている。換言すれば、コントローラ１は、記憶媒体として備わるＲＯＭに格納された各種プログラムを実行することによって、２クラス分類データ生成部１１、２クラス分類モデル生成部１２、閾値調整部１３等の各機能部の機能を実現するように構成される。ただし、各機能部のすべての機能は、必ずしもコントローラ１によって実現される必要はなく、機能部毎に適宜選択された複数のコントローラによって実現されるように構成されてもよい。

【0014】

データベース２は、車両の品質に関わる情報が格納されるデータベースである。データベース２は、自動車ディーラ等において過去に報告された不具合や品質等に関する不満等の否定的評価に係る情報（不満情報）が記憶される記憶媒体として構成される。本実施形態では、これらの不満情報がテキストデータとして記憶されている。なお、データベース２は、必ずしもデータ分類装置１０の一要素として構成される必要はない。データベース２は、データ分類装置１０の外部における任意の場所に設置されたサーバ（又は、インターネットのクラウド上に設けられたクラウドサーバ）に設けられてもよい。この場合には、コントローラ１は、不図示のネットワーク回線等を介して当該サーバにアクセスして、サーバに格納された上記のテキストデータを無線通信により適時に取得可能に構成されてよい。また、データベース２は、コントローラ１が備える記憶媒体として構成されてもよい。

【0015】

データベース２に記憶されているテキストデータ化された不満情報には、所定種別に従って分類されたランクデータが付与される。ここでの所定種別は、例えば製品の品質に関する影響度（重要度）の大小による区分であってよい。例えば本実施形態では、ランクＡが付与された不満情報は製品の品質に対する影響が大きい、ランクＢが付与された不満情報は品質に対する影響が中程度、ランクＣが付与された不満情報は品質に対する影響が低いといった具合に、製品の品質への影響度の大きさに応じてランクＡ～Ｃに係る三つの所定種別が付与される。このようなランクデータはいわゆる教師ラベルとして、テキストデータ化された各不満情報にそれぞれ付与される。教師ラベルが付与されることにより、各不満情報の影響度を識別することができる。なお、製品が車両である場合には、例えば法規的な問題や安全性に直結するような不満情報に対して、製品の品質に関して影響度が高いことを示す教師ラベルが付与される傾向がある。

【0016】

以下では、コントローラ１が有する各機能部について説明する。

【0017】

２クラス分類データ生成部１１（以下単に「データ生成部１１」とも称する）は、教師ラベルが付与されることにより三つの所定種別（クラスＡ～Ｃ）に分類された不満情報を、２クラス分類データに生成し直す。そのために、データ生成部１１は、まず、三つの所定種別を二つのクラス（グループ）に別ける複数の異なる組み合わせを設定する。また、ここでの組み合わせは順列な組み合わせとする。例えば、ランクＡ～Ｃの所定種別を二つのグループに別ける際の異なる順列の組み合わせとして、ＡＢ／Ｃ、および、Ａ／ＢＣが設定される。以下では、ＡＢとＣの組み合わせによる二つのグループをクラスＡＢ／Ｃと称し、ＡとＢＣの組み合わせによる二つのグループをクラスＡ／ＢＣと称する。なお、ＡＣ／Ｂは順列ではないので設定されない。

【0018】

そして、データ生成部１１は、クラスＡＢ／Ｃに分類された不満情報により構成される 機械学習用データ（以下、「機械学習用データＡ」と称する）と、クラスＡ／ＢＣに分類された不満情報により構成される機械学習用データ（以下、「機械学習用データＢ」と称する）と、にかかる２種類の機械学習用データを生成する。具体的には、例えば、各不満情報がいずれのグループに所属するかを識別できるように、各不満情報に付与されたクラスＡ～Ｃのいずれかに係る教師ラベルの分割位置が変更されるか、もしくは当該所属を識別可能な新たな教師ラベルがさらに付与される。これにより、コントローラ１は、教師ラベルが付与された各不満情報が、ランクＡ～Ｃのいずれに該当するかを識別できるとともに、２クラス分類されたいずれのグループ（機械学習用データＡにおけるＡＢグループまたはＣグループ、或いは、機械学習用データＢにおけるＡグループまたはＢＣグループ）に所属するかを識別することが可能となる。

【0019】

２クラス分類モデル生成部１２（以下単に「モデル生成部１２」とも称する）は、所定の入力データ（不満情報）を上述の二つのグループのいずれかに分類（２クラス分類）する機械学習アルゴリズム（機械学習モデル）を生成する。より具体的には、モデル生成部１２は、データ生成部１１が生成した２種類の機械学習用データにそれぞれ対応する機械学習モデルを二つ生成する。

【0020】

本実施形態のモデル生成部１２は、機械学習用データＡに対応する機械学習モデルＡと、機械学習用データＢに対応する機械学習モデルＢとを生成する。より詳細には、モデル生成部１２は、上述の教師ラベルが付された不満情報を入力とし、２クラス分類された不満情報（分類済み入力データ）を出力するように教師データに基づく機械学習（教師あり学習）が施された機械学習モデルＡと機械学習モデルＢとを生成する。機械学習モデルＡおよび機械学習モデルＢに適用される機械学習アルゴリズムとしては、例えば、ＳＶＭ（サポートベクターマシン）、ＧＬＭ（一般化線形回帰モデル）、決定木（Decision Tree）、ランダムフォレスト（random forest）、ＧＢＴ（勾配ブーステッドツリー）、およびＤＬ（ディープラーニング）等から適宜選択されてよい。また、必ずしもこれらに限らず、教師データを用いた機械学習（教師あり学習）が行えるアルゴリズムであれば、他の機械学習アルゴリズムが選択されてもよい。ただし、予測性能（分類性能）がより高いアルゴリズムが適用されることが望ましい。

【0021】

各機械学習アルゴリズムの予測性能は、各機械学習アルゴリズムを用いた場合における、予測精度（Accuracy）、見逃し率（Recall）、正解率（Precision）、および、ＲＯＣ曲線（Receiver Operating Characteristic curve）のＡＵＣ（Area Under the Curve）等の評価項目の一つ、又は複数の組み合わせをそれぞれ算出することにより比較することができる。また、機械学習モデルＡおよび機械学習モデルＢは、必ずしも同じ機械学習アルゴリズムが適用される必要はなく、それぞれ異なる機械学習アルゴリズムが適用されてもよい。例えば本実施形態においても、機械学習モデルＡと機械学習モデルＢの予測性能が最も高い機械学習アルゴリズムが必ずしも同じになるとは限らない。入力データの内容および出力値の内容（分類内容）の少なくとも一方に違いがある限り、それらとの相性によってより適切な機械学習アルゴリズムは相違し得る。従って、本実施形態においても、機械学習モデルＡと機械学習モデルＢとに対して上述の各機械学習アルゴリズムを適用するとともにその予測性能を別個に評価したうえで、予測性能が最も高い機械学習アルゴリズムがそれぞれに適用されるのが望ましい。

【0022】

閾値調整部１３は、複数の機械学習モデルが入力されるデータを上述の２クラスに分類する際の閾値を調整するために構成される。本実施形態の閾値調整部１３は、ＲＯＣ曲線のＡＵＣおよび、交差検証（cross-validation）等の少なくとも一つを用いて機械学習モデルＡ、Ｂそれぞれの閾値を個別に調整するように構成されてよい。なお、当該閾値は、データ分類装置１０の運用内容に応じて、ユーザの判断により適宜調整されてよい。当該閾値は、例えば、所定の入力データを２クラスに分類する際に、ランクＡ～Ｃの重要度に応じて求められる偽陽性率又は真陽性率を満足するように設定されてよい。

【0023】

閾値調整・モデル性能表示部１４は、閾値調整部１３による閾値調整をユーザが指示するためのユーザインターフェイス（UI）、或いは、閾値調整部１３が行った閾値の調整内容および調整された閾値による予測性能等を表示する画像を表示手段３に表示するための機能部として構成される。表示手段３に表示される内容の詳細については図４を参照して後述する。

【0024】

２クラス分類モデル合成部１５（以下単に「モデル合成部１５」とも称する）は、複数の機械学習モデルの出力値を合成（結合）するために構成される。より具体的には、モデル合成部１５は、モデル生成部１２が生成した複数の機械学習モデルの出力値を入力とし、当該出力値に基づいて、三つ以上の所定種別（ランクＡ～Ｃ）に分類された所定の入力データ（不満情報）を出力するように構成される。モデル合成部１５の詳細については後述する。

【0025】

合成アルゴリズム格納部１９は、モデル生成部１２で生成された複数の機械学習モデルとモデル合成部１５とから構成される合成アルゴリズムが格納される記憶媒体として構成される。なお、上述の合成アルゴリズムが記憶された合成アルゴリズム格納部１９は、入力データを三つ以上の所定種別に分類するデータ分類処理を実行する分類部として機能する。

【0026】

新規不満情報取得部１６は、例えば自動車ディーラ等において報告された不具合や品質等に関する不満などの情報（不満情報）を取得する。本実施形態の新規不満情報取得部１６は、前述のデータベース２に記憶された過去の不満情報ではなく、自動車ディーラ等において新規に報告された新しい不満情報をテキストデータとして取得する。なお、このような不満情報は、例えば、規定されたフォーマットに従って作成された品質報告書に記載された内容であって、自動車ディーラ等から収集される。

【0027】

データ変換部１７は、新規不満情報取得部１６が取得したテキストデータを機械学習アルゴリズムにより処理できるようにデータ変換する。本実施形態のデータ変換部１７は、テキストデータをベクトルとして数値化する。ベクトル化された新規の不満情報は、合成アルゴリズム格納部１９に格納された合成アルゴリズムに入力される。

【0028】

新規不満情報演算結果表示部１８は、合成アルゴリズムによる処理結果を表示手段３に表示するための機能部として構成される。ここでの処理結果は、３クラス分類の結果であって、例えば、新規な不満情報に付与されたランクＡ～Ｃのいずれかである。新規不満情報演算結果表示部１８が表示する表示内容の詳細については図５を参照して後述する。

【0029】

表示手段３は、ユーザに情報を表示する手段として構成される。本実施形態の表示手段３は、例えば液晶ディスプレイや有機ＥＬディスプレイ等であってよい。また、表示手段３は、データ分類装置１０のユーザインターフェイスとして機能するように、上述の閾値調整時等にユーザの指示の受け付けが可能な、いわゆるタッチパネルディスプレイであることが望ましい。

【0030】

以上が本実施形態のデータ分類装置１０の構成である。以下では、データ分類装置１０によるデータ分類方法の流れについて図２および図３を参照して説明する。まず先に、機械学習モデルＡと機械学習モデルＢとを生成するために実行される機械学習モデル生成処理について説明する。

【0031】

図２は、本実施形態のデータ分類装置１０が実行する機械学習モデル生成処理を説明するフローチャートである。当該フローチャートで説明される処理は、上述の教師ラベルが付与された過去の不満情報（教師データ）を用いたいわゆる教師あり学習を実行するための処理である。また、ここで説明する機械学習モデル生成処理では、機械学習モデルＡおよびＢを生成するだけでなく、生成した機械学習モデルＡおよびＢを含む合成アルゴリズムも生成される。以下に説明するフローは、データ分類装置１０が起動している間に、又は、データ分類装置１０が起動している間であって且つユーザにより機械学習モデル生成処理を実行することを指示されて以降に、所定の間隔で常時実行されるようにコントローラ１にプログラムされている。

【0032】

ステップＳ１０では、コントローラ１は、分類対象（入力データ）を三つ以上の所定種別に分類するか否か、すなわち、三種以上のマルチクラス分類を実行するか否かを判定する。上述したように、本実施形態における分類対象として例示したのは車両に関する不満情報であって、分類する所定種別はランクＡ～Ｃにかかる三つの品質ランクである。よって、コントローラ１は、分類対象の所定種別が三つ以上であると判定して続くステップＳ１１の処理を実行する。他方、コントローラ１は、分類対象の所定種別が三つ未満（２クラス分類）の場合には、データ分類装置１０による機械学習モデル生成処理は実行しないと判断して、機械学習モデル生成処理を終了する。なお、コントローラ１は、例えばユーザに上述のＵＩ等を介して設定される所定種別の数に基づいて、当該所定種別の数が三つ以上か否かを確認するように構成されてよい。

【0033】

ステップＳ１１では、コントローラ１は、教師データに基づいて順列の２クラス分類データを生成する。そのために、先ず、コントローラ１は、データベース２から、教師ラベルとして品質ランクが付与された不満情報（教師データ）を取得する。上述したように、不満情報には、重要度に応じてランクＡ～Ｃの３種類の順列のランクが付与されている。よって、コントローラ１（データ生成部１１）は、ランクＡ～Ｃのいずれかの教師ラベルが付与された不満情報を二つのグループに別ける複数の異なる組み合わせを設定する。具体的には、データ生成部１１は、クラスＡＢ／Ｃに分類された機械学習用データＡと、クラスＡ／ＢＣに分類された機械学習用データＢと、にかかる２種類の機械学習用データを生成する。２種類の機械学習用データが生成されると、続くステップＳ１２の処理が実行される。なお、後述のモデル合成部１５によって出力値が合成されることを考慮して、この２種類の機械学習用データは、教師ラベルにより識別される情報を除いて、同じデータ、且つ、同数のデータであることが望ましい。

【0034】

ステップＳ１２では、コントローラ１（モデル生成部１２）は、データ生成部１１が生成した複数の機械学習用データのそれぞれに対応する複数の機械学習モデルを生成する。具体的には、モデル生成部１２は、機械学習用データＡに対応する機械学習モデルＡと、機械学習用データＢに対応する機械学習モデルＢとを生成する。生成された機械学習モデルＡおよび機械学習モデルＢの詳細については上述した通りである。すなわち、本ステップにおいて生成される機械学習モデルＡおよびＢは、教師あり学習が可能な機械学習アルゴリズムが適用された学習モデルであって、データベース２に蓄積された教師データを用いた学習処理が施されることによって、適用された機械学習アルゴリズムを構成する各ノードのパラメータが最適化される。例えば、適用される機械学習アルゴリズムがニューラルネットワークを含む場合には、当該学習処理によってニューラルネットワークの隠れ層を構成する各ノードの重みづけ係数が最適化される。これにより、コントローラ１は、不満情報を入力とし、当該不満情報を順列の２クラスに分類した分類結果を出力するように、教師データを用いた学習処理が施された学習済みモデルとしての複数の異なる機械学習モデルを生成することができる。機械学習モデルＡおよびＢが生成されると、続くステップＳ１３の処理が実行される。

【0035】

ステップＳ１３では、コントローラ１（閾値調整部１３）が、機械学習モデルＡおよびＢの閾値調整を行う。そのために、先ず、コントローラ１（閾値調整・モデル性能表示部１４）は、表示手段３をユーザが閾値調整を行うためのユーザインターフェイスとして機能させるための画像を表示手段３に表示する。表示手段３に表示される画像例を図４に示す。

【0036】

図４は、データ分類装置１０のユーザインターフェイス（以下「ＵＩ」と称する）の一例を説明する図である。太線の長方形枠内が表示手段３に表示される表示画面を示す。また、図中の両矢印（イ）の範囲に示される表示部分が、主にユーザが閾値調整をするために表示される画像である。図示するように、本実施形態のＵＩは、クラスＡ／ＢＣに係る機械学習用データＡを２クラス分類する機械学習モデルＡを「Ａ／ＢＣモデル」とし、クラスＡＢ／Ｃに係る機械学習用データＢを２クラス分類する機械学習モデルＢを「ＡＢ／Ｃモデル」として示し、これら機械学習モデルの閾値をユーザが別個に調整できるように構成されている。

【0037】

本実施形態における閾値調整は、表示画面の略中央に示すグラフをユーザが操作することによって行えるように構成されている。当該グラフ（以下「閾値調整用グラフ」とも称する）は、ＲＯＣ曲線のグラフ描画であって、縦軸がＴＰ（True Positive）、横軸がＦＰ（False Negative）を表している。この表示画面は、ユーザが、例えば、閾値調整用グラフ中に水平な線で示されているＴＰを調整する線を上下に、又は、垂直な線で示されているＦＰを調整する線を左右に移動させることによってＲＯＣ曲線上の閾値を調整することができるように構成されている。それ以外の方法として、例えば、予測精度や見逃し数のいずれかの数値を入力すると、それに対応する垂地、水平線がＲＯＣ曲線状で移動するようにしてもよい。

【0038】

また、図示する表示画面では、ユーザによる閾値調整の度合いに応じて算出される予測性能が各閾値調整用グラフの右横に表示されている。図では、ユーザによる閾値調整の結果、機械学習モデルＡの予測性能は、予測精度が９０％、見逃し率が１０％となることが示され、機械学習モデルＢの予測性能は、予測精度が８０％、見逃し率が２０％となることが示されている。また、前述のように予測精度と見逃し率のいずれかに数値を入れると、その結果に応じてグラフの垂値、水平線の位置が変更されるとともに、入力されていない項目側の数値の結果が自動的に入力されるようになっている。なお、機械学習モデルＡおよびＢに学習処理を施す際における閾値は、必ずしも予測性能をできる限り高くするように調整される必要はない。ここでの閾値は、例えば過学習を避けること等を考慮して若干低めの予測性能を実現する閾値とする等、最終的に予測性能の高い学習済みモデルを生成できるように適宜調整されることが望ましい。

【0039】

このように、本実施形態のデータ分類装置１０は、閾値調整機能によって複数の機械学習モデルの閾値を別個に調整することが可能となるように構成されている。これにより、データ分類装置１０は、分類対象となる入力データを２クラスに分類する際において、当該２クラス分類の組み合わせ毎の予測性能を調整することができる。つまり、本実施形態のデータ分類装置１０によれば、機械学習モデルＡによるクラスＡ／ＢＣの２クラス分類の予測性能が高くなるように閾値を調整することによって、重要度の最も高いクラスＡの見逃し率を極力小さくするように設定することができる。また、同様に、機械学習モデルＢによるクラスＡＢ／Ｃの２クラス分類の閾値を調整することによって、クラスＢがクラスＣと誤認される可能性を極力小さくするように設定することができる。すなわち、本実施形態のデータ分類装置１０は、機械学習モデルが２クラス分類する際の組み合わせに応じて予測性能を個別に調整することが可能であるため、各所定種別（クラスＡ～Ｃ）の見逃し率等を別個に調整することができる。

【0040】

このようにして機械学習モデルＡ、Ｂのそれぞれの閾値が調整されると、続くステップＳ１４の処理が実行される。

【0041】

図２のステップＳ１４では、コントローラ１（モデル合成部１５）は、ステップＳ１２で生成された複数の機械学習モデルの出力値（分類済み入力データ）を合成することによって、入力された不満情報の分類結果を算出する。本実施形態のモデル合成部１５は、機械学習モデルＡによるクラスＡ／ＢＣの２クラス分類の結果と、機械学習モデルＢによるクラスＡＢ／Ｃの２クラス分類の結果とを合成する。なお、本実施形態の機械学習モデルＡおよびＢの出力はベクトル値とする。よって、本実施形態のモデル合成部１５は、機械学習モデルＡおよびＢの出力値（ベクトル）を入力とし、これらベクトルの線形結合（線形和、ベクトル和）を算出することで合成するように構成される。モデル合成部１５がベクトルの線形結合により各機械学習モデルの出力値を合成するように構成されることで、３つ以上の所定種別を分類する場合に、当該所定種別の数（Ｎ）がより大きくなり、当該数引く一個、すなわちＮ－１個の機械学習モデルが生成されたとしてもこれらの出力値を容易に合成することができる。

【0042】

また、機械学習モデルＡおよびＢと、機械学習モデルＡおよびＢの出力値を入力してこれら出力値を合成した値を出力するモデル合成部１５とから構成される合成アルゴリズムは、合成アルゴリズム格納部に分類器として記憶される。

【0043】

図４の両矢印（ロ）で示す部分は、モデル合成部１５によるモデル合成結果を説明する図である。図示するように、本実施形態のモデル合成部１５による合成結果は、縦軸（Ｙ軸）にクラスＡ／ＢＣの分類結果、横軸（Ｘ軸）にクラスＡＢ／Ｃの分類結果を示す２次元のグラフ（合成結果グラフ）に表される。ここでの合成結果グラフは、機械学習モデルＡおよびＢのそれぞれの閾値に応じて４象限に分割されている。図示するように、モデル合成部１５の合成結果によれば、円いポイントで示すクラスＡは全て左上の象限に含まれており、一切見逃されていないことが分かる。また、三角のポイントで示すクラスＢは、Ａに誤認されるものがある一方で、クラスＣには一切誤認されていないことが分かる。なお、図４には示されていないが、クラスＡ、Ｂ、およびＣのいずれにも該当しない不満情報は右上の象限に入ることになる。合成結果として右上の象限に入る不満情報があった場合には、これをノイズとして除去したり、信頼度の低い怪しいデータとしてラベルを付与したり、最も見逃したくないクラスＡである可能性があるとしてクラスＡのラベルを付与したりする等してよく、状況に応じて適宜対応することができる。

【0044】

また、図４に示す表示例にあるように、モデル合成部１５の合成結果として、図４の両矢印（ロ）に示すような所定種別の見逃し優先順位が示されていてもよい。ここで示される優先順位は、機械学習モデルＡおよびＢの閾値調整に連動して変更されるようになっており、各閾値調整用グラフの横に表示された見逃し件数や、見逃し率が反映されてよい。

【0045】

このようにして、機械学習モデルＡおよびＢ、並びに、機械学習モデルＡおよびＢと、モデル合成部１５とから構成される合成アルゴリズムが生成されると、機械学習モデル生成処理は終了する。

【0046】

続いて、データ分類装置１０によるデータ分類方法であって、機械学習モデル生成処理によって生成された合成アルゴリズムを用いて新規の不満情報を自動で分類するデータ分類処理について説明する。

【0047】

図３は、本実施形態のデータ分類装置１０が実行するデータ分類処理を説明するフローチャートである。

【0048】

ステップＳ２０では、コントローラ１（新規不満情報取得部１６）は、クラスＡ～Ｃのいずれかに分類（３クラス分類）するための新規の不満情報をテキストデータで取得する取得ステップを実行する。当該不満情報には、学習処理に用いた不満情報には付与されていた教師ラベルが当然付与されていない。新規の不満情報のテキストデータが取得されると、続くステップＳ２１の処理が実行される。

【0049】

ステップＳ２１では、コントローラ１（データ変換部１７）は、取得したテキストデータをベクトル値に変換する。より詳細には、データ変換部１７は、取得したテキストデータに形態素解析、品詞分析、及び、複合語処理等の前処理を施すことによって、当該テキストデータをベクトル値に変換する。変換されたベクトル値は、例えば図５の両矢印（ハ）部分に示すように表される。

【0050】

図５は、新規不満情報演算結果表示部１８により表示手段３に表示される画像を説明する図である。太線の長方形枠内が表示手段３に表示される表示画面例を示している。そして、図中の両矢印（ハ）には、テキストデータ例と、これがベクトル化された結果が示されている。図示するように、変換されたベクトル値は、例えば、単語（ナビ、画面、映らない等）とその単語の出現数とを組み合わせた値であってよい。ただし、変換されたベクトル値はこれに限らず、空間距離やクラスタ分析等の文章の意味を数値で理解可能なベクトル等であってもよい。或いは、上記テキストデータは必ずしもベクトル値に変換される必要はなく、機械学習モデルが処理可能な数値表現であることを前提に他の形式に変換されてもよい。テキストデータが適切な数値表現に変換されると、続くステップＳ２２の処理が実行される。

【0051】

ステップＳ２２では、コントローラ１（合成アルゴリズム）は、ベクトル値に変換された新規な不満情報を入力して、入力された不満情報がいずれのクラスであるかを演算し、当該不満情報が該当する所定種別（クラスＡ、Ｂ、又はＣ）を演算結果として出力する分類ステップを実行する。なお、ここでの演算時における機械学習モデルＡおよびＢのそれぞれの閾値は、上述のステップＳ１３で調整された閾値が維持されていてもよいし、コントローラ１が起動してから遅くても当該ステップＳ２２が実行される前に、表示手段３に表示されるＵＩを介してユーザに新たに設定された閾値であってもよい。演算結果が出力される出力ステップが実行されると、当該演算結果を表示するために続くステップＳ２３の処理が実行される。

【0052】

ステップＳ２３では、コントローラ１（新規不満情報演算結果表示部１８）は、合成アルゴリズムによる演算結果を表示手段３に表示する。

【0053】

合成アルゴリズムによる演算結果は、図５の特に両矢印（二）の表示範囲に示されている。また、両矢印（二）の表示範囲における左側の領域には、入力された一の不満情報に対する機械学習モデルＡおよびＢの演算結果がそれぞれ表示されている。当該演算結果によれば、クラスＡ／ＢＣに２クラス分類する機械学習モデルＡは、当該不満情報はクラスＢＣに該当すると判定し（ＢＣ判定）、クラスＡＢ／Ｃに２クラス分類する機械学習モデルＢは、当該不満情報はクラスＡＢに該当すると判定（ＡＢ判定）したことが分かる。

【0054】

この場合、モデル合成部１５は、機械学習モデルＡおよびＢの演算結果を合成した結果、入力された不満情報は、機械学習モデルＡおよびＢに共通して含まれるクラスＢであると判定する。また、図示していないが、機械学習モデルＡおよびＢの演算結果がＡ判定およびＡＢ判定だった場合には、モデル合成部１５は、入力された不満情報はクラスＡであると判定する。また、機械学習モデルＡおよびＢの演算結果がＢＣ判定およびＣ判定だった場合には、モデル合成部１５は、入力された不満情報はクラスＣであると判定する。一方で、機械学習モデルＡおよびＢの演算結果がＡ判定およびＣ判定だった場合、すなわち、これらを合成した場合に合成結果が図４に示す合成結果モデルの右上の象限に該当する場合には、上述したようにクラスＡの見逃しを最小にするために一旦Ａと判定する等されてよい。このようにして演算された合成アルゴリズムによる分類結果は、図中の両矢印（二）に示すように表示され、ユーザに報知される。

【0055】

ステップＳ２４では、コントローラ１は、引き続き他の不満情報をマルチクラス分類するか否か判定する。当該判定は、例えば、ＵＩを介して入力されるユーザの指示に応じて行われてもよい。この場合には、コントローラ１は、表示手段３に例えば「ＹＥＳ」「ＮＯ」のボタンを表示し、いずれのボタンが押下されるかによって他の不満情報をクラス分類するか否か判定してよい。他の不満情報をマルチクラス分類すると判定した場合には、コントローラ１は、再びステップＳ２０の処理を実行する。他方、他の不満情報をマルチクラス分類しないと判定した場合には、続くステップＳ２５の処理を実行する。なお、例えばステップＳ２０で複数の不満情報が取得された場合には、コントローラ１は、当該不満情報を所定数又は全数分類するまで自動的に他の不満情報をマルチクラス分類し続けるように構成されてもよい。

【0056】

ステップＳ２５では、コントローラ１は、ステップＳ２３において分類された不満情報を教師データとしてデータベース２に追加するか否か判定する。当該判定は、例えば、ＵＩを介して入力されるユーザの指示に応じて行われてもよい。この場合には、表示手段３に例えば「機械学習モデルＡおよびＢを更新するか？」といった問いを表示するとともに、「ＹＥＳ」「ＮＯ」のボタンを表示し、いずれのボタンが押下されるかによって不満情報を教師データとして追加するか否か判定してよい。ステップＳ２３において分類された不満情報を教師データとして追加する、すなわち、機械学習モデルＡおよびＢを更新すると判定した場合は、続くステップＳ２６の処理を実行する。他方、ステップＳ２３において分類された不満情報を教師データとして追加しないと判定した場合には、コントローラ１は、データ分類処理を終了する。

【0057】

ステップＳ２６では、コントローラ１は、分類結果が教師ラベルとして付与された新規の不満情報をデータベース２に格納する。なお、ここでの分類結果は、上述の合成アルゴリズムによる演算結果をそのまま利用してもよいし、当該結果が間違っている可能性、或いは、当該結果が合成結果グラフ（図３（ロ）参照）の右上の象限に該当した場合等を考慮して、ユーザが直接判別した分類結果であってもよい。新たな不満情報が教師データとしてデータベース２に追加され、当該教師データに基づく学習処理がさらに施されることによって、機械学習モデルＡおよびＢ乃至これらを含む合成アルゴリズムの予測性能と予測効率をさらに向上させることができる。教師ラベルが新たに付与された不満情報がデータベース２に格納されると、コントローラ１は、データ分類処理を終了する。

【0058】

以上が本実施形態のデータ分類装置１０が実行するようにプログラムされたデータ分類方法（機械学習モデル生成処理およびデータ分類処理）の詳細である。しかしながら、上述したデータ分類方法は、必ずしも一のデータ分類装置１０が備えるコントローラ１が全て実行する必要はない。例えば、機械学習モデル生成処理を実行するコントローラ１を備えたデータ分類装置１０と、データ分類処理を実行するコントローラ１を備えたデータ分類装置１０とが別個に構成されてもよい。すなわち、本実施形態のデータ分類装置１０は、必ずしも機械学習モデル生成処理を実行可能である必要はなく、少なくとも上述の機械学習モデル生成処理によって生成された機械学習モデルＡおよびＢとモデル合成部１５とから構成される合成アルゴリズムを備え、上述のデータ分類処理を実行可能であればよい。

【0059】

なお、機械学習モデル生成処理およびデータ分類処理は、必ずしも図２および３で示すフローに従って実行される必要はない。例えば、引き続き他の不満情報をマルチクラス分類するか否か判定するステップＳ２４や、新たな教師データをデータベース２に追加するか否か判定するステップＳ２５の処理等、入力データを分類するために必須な工程以外は削除されてよい。

【0060】

また、例えば、図２のステップＳ１０に続くステップにおいて、３種以上のマルチクラス分類の分類態様が順列なのか組み合わせなのかを判定するステップが挿入されてもよい。このようなステップが挿入された場合に、３種以上のマルチクラス分類の分類態様が順列である場合には、上述のステップＳ１０の処理がＹＥＳ判定だった場合と同様に続くステップＳ１１の処理が実行されてよい。一方で、３種以上のマルチクラス分類の分類対応が組み合わせである場合には、機械学習モデル生成処理を終了してもよいし、組み合わせの３種以上のマルチクラス分類を行う機械学習モデルを公知の手法により生成してもよい。ただし、組み合わせの３種以上のマルチクラス分類を行う機械学習モデルを生成する場合には、ステップＳ１１において三つ以上の所定種別を二つのクラス（グループ）に別ける際の組み合わせとして、三つ以上の所定種別を相互排他的に二つのグループに分類する全ての組み合わせを設定する。これにより、データ分類装置１０は、３種以上の順列のマルチクラス分類を実行可能な合成アルゴリズムだけでなく、組み合わせのマルチクラス分類を実行可能な機械学習モデルも生成することができる。また、合成アルゴリズムに加えて、ここで生成された組み合わせのマルチクラス分類が可能な機械学習モデルも記憶することによって、順列および組み合わせの３種以上のマルチクラス分類が可能なデータ分類装置１０を構成することができる。

【0061】

［変形例］
ここで、以下に変形例として、所定の入力データを四つの所定種別に分類する４クラス分類を実行する場合のデータ分類装置１０について説明する。以下、変形例について、既に説明した図２および図３に示すフローチャートを参照しながら、上記実施形態との相違点を説明する。

【0062】

本変形例のデータ分類装置１０は、所定の入力データを四つの所定種別に分類する。したがって、本変形例のデータベース２には、四つの所定種別としてランクＡ～Ｄが教師ラベルとして付与された不満情報が教師データとして記憶される。

【0063】

本変形例のステップＳ１１では、コントローラ１（データ生成部１１）は、ランクＡ～Ｄのいずれかの教師ラベルがそれぞれ付与された不満情報を二つの順列なグループに別ける複数の異なる組み合わせを設定する。より具体的には、データ生成部１１は、クラスＡ／ＢＣＤに分類された機械学習用データＡと、クラスＡＢ／ＣＤに分類された機械学習用データＢと、クラスＡＢＣ／Ｄに分類された第１機械学習用データＣとにかかる３種類の機械学習用データを生成する。

【0064】

ステップＳ１２では、コントローラ１（モデル生成部１２）は、機械学習用データＡに対応する機械学習モデルＡと、機械学習用データＢに対応する機械学習モデルＢと、第１機械学習用データＣに対応する機械学習モデルＣとに係る２クラス分類モデルを生成する。すなわち、本実施形態では、所定の入力データを四つの所定種別に分類（４クラス分類）するために、入力データを二つのグループに分類（２クラス分類）する機械学習モデルを三つ生成する。機械学習モデルＡ～Ｃの具体的な構成およびそれぞれに対する学習処理の手法は、第１実施形態において上述した構成および手法と同様でよい。

【0065】

そして、ステップＳ１４では、コントローラ１（モデル合成部１５）は、ステップＳ１２で生成された複数の機械学習モデル（機械学習モデルＡ～Ｃ）の出力値を上記実施形態と同様に合成することによって、入力された不満情報の分類結果を算出する。また、機械学習モデルＡ～Ｃと、これらの出力値を合成するモデル合成部１５とから構成される合成アルゴリズムは、合成アルゴリズム格納部１９に記憶される。

【0066】

図６は、本変形例のデータ分類装置１０のユーザインターフェイス（以下「ＵＩ」と称する）の一例を説明する図である。太線の長方形枠内が表示手段３に表示される表示画面を示す。また、図中の両矢印（イ）の範囲に示される表示部分が、主にユーザが閾値調整をするために表示される画像である。図示するように、本実施形態のＵＩは、クラスＡ／ＢＣＤに係る機械学習用データＡを分類する機械学習モデルＡを「Ａ／ＢＣＤモデル」とし、クラスＡＢ／ＣＤに係る機械学習用データＢを分類する機械学習モデルＢを「ＡＢ／ＣＤモデル」とし、クラスＡＢＣ／Ｄに係る機械学習用データＣを分類する機械学習モデルＣを「ＡＢＣ／Ｄモデル」として示し、これらの閾値をユーザが別個に調整できるように構成される。

【0067】

本変形例における閾値調整も、上記実施形態と同様に表示画面の略中央に示す閾値調整用グラフをユーザが操作することによって行えるように構成されている。また、ユーザに閾値調整に応じて算出される予測性能についても上記実施形態と同様に各閾値調整用グラフの右横に表示されている。図では、ユーザによる閾値調整の結果、機械学習モデルＡの予測性能は、予測精度が８０％、見逃し率が２０％となることが示され、機械学習モデルＢの予測性能は、予測精度が９０％、見逃し率が１０％となることが示され、機械学習モデルＣの予測性能は、予測精度が７０％、見逃し率が３０％となることが示されている。すなわち、本実施形態では、クラスＢ以上（特にクラスＡ）の見逃しが最小となるように閾値調整された例が示されている。また、上述したように、予測精度、見逃し率のいずれかを入力することによって、もう一方の数値及びＲＯＣ曲線上の垂値、水平線の位置が自動的に変更されるようになっていてもよい。

【0068】

そして、図６の両矢印（ロ）で示す表示領域には、本実施形態のモデル合成部１５によるモデル合成結果（合成結果グラフ）が示されている。図示するように、本実施形態のモデル合成部１５による合成結果は、例えばＸ軸にクラスＡＢＣ／Ｄの分類結果、Ｙ軸にクラスＡ／ＢＣＤの分類結果、Ｚ軸にクラスＡＢ／ＣＤの分類結果を示す３次元空間に表される。また、モデル合成部１５の合成結果として、上記実施形態と同様に、図６の両矢印（ロ）に示すような所定種別の見逃し優先順位が示されていてもよい。ここで示される優先順位も、機械学習モデルＡ～Ｃそれぞれの閾値調整に連動して変更されるようになっている。

【0069】

このように、本変形例のデータ分類装置１０によれば、入力データを四つ以上の所定種別に分類する場合においても、複数の２クラス分類の機械学習モデルを生成し、これらの出力値を合成することによって、入力データを四つ以上の所定種別に精度良く分類することが可能となる。また、本実施形態の合成アルゴリズムも上記実施形態と同様に２クラス分類可能な複数の学習済みモデルとモデル合成部１５とから構成され、これを備えたデータ分類装置１０は、新規の入力データを順列な４クラスに分類することができる。

【0070】

以上、一実施形態および変形例のデータ分類装置１０は、入力データを三つ以上の所定種別に分類するデータ分類装置１０であって、入力データを取得する取得部（新規不満情報取得部）と、入力データを所定種別に分類する分類部（合成アルゴリズム）と、分類部により分類された結果を出力する出力部（新規不満情報演算結果表示部１８）と、を備える。分類部１９は、三つ以上の所定種別を二つのグループに別ける異なる組み合わせ毎に対応して生成された複数の機械学習モデル（機械学習モデルＡ～Ｃ）と、複数の機械学習モデル（Ａ～Ｃ）の出力値を合成する合成部（モデル合成部１５）と、を備え、入力データを複数の機械学習モデル（Ａ～Ｃ）のそれぞれに入力することにより当該入力データを所定種別に分類するように構成される。機械学習モデル（Ａ～Ｃ）は、入力データが入力された際に、二つのグループに分類された分類済み入力データを出力するように、教師データを用いた学習処理が施された学習済みモデルである。そして、合成部（モデル合成部１５）は、複数の機械学習モデルからそれぞれ出力される分類済み入力データを合成して、入力データを所定種別に分類する。

【0071】

これにより、３種以上のマルチクラス分類を、２クラス分類が可能な複数の機械学習モデルを用いて行うことができるので、機械学習モデル毎に２クラス分類時の閾値を変更する等することで、分類時における所定種別の重要度に応じて、見逃し率等の分類性能を調整することが可能となる。また、分けられた二つのグループの組み合わせに対応して複数の機械学習モデルを用いることができるので、入力データ等に応じて機械学習モデル毎に最適な機械学習アルゴリズムを適用することが可能となり、分類性能をより向上させることができる。

【0072】

また、一実施形態のデータ分類装置１０によれば、複数の異なる組み合わせは、三つ以上の所定種別を相互排他的に二つのグループに分類する全ての組み合わせである。これにより、順列な３種以上のマルチクラス分類だけでなく、組み合わせの３種以上のマルチクラス分類にも対応することができる。

【0073】

また、一実施形態のデータ分類装置１０によれば、機械学習モデルは、分類済み入力データをベクトル値として出力するように構成され、合成部（モデル合成部１５）は、複数の機械学習モデルからそれぞれ出力されるベクトル値のベクトル和を算出し、当該ベクトル和に応じて入力データを所定種別に分類する。これにより、３つ以上の所定種別を分類する場合に当該所定種別の数（Ｎ）がより大きくなり、Ｎ－１個の機械学習モデルが生成されたとしても、モデル合成部１５は、これらの出力値を容易に合成することができる。

【0074】

また、一実施形態のデータ分類装置１０によれば、入力データは、所定製品の評価に関するテキストデータであり、所定種別は、所定製品に対する否定的評価の重要度である。この場合の重要度は、否定的評価の度合いを意味し、否定的評価の度合いが高いほど重要度が高くなる深刻度と言い換えることもできる。これにより、従来は人が行っていた所定製品に対する否定的評価のランク付けを、機械学習モデルを用いて自動的に行うことが可能となる。また、否定的な評価を読み続けることによる精神的な悪影響が懸念されていたが、このような懸念を解消することもできる。

【0075】

また、一実施形態のデータ分類装置１０によれば、教師データは、三つ以上の所定種別のいずれに該当し、且つ、二つのグループのいずれに該当するか識別可能な教師ラベルが付与された入力データである。これにより、３種以上のマルチクラス分類を行う合成アルゴリズムを構成する２クラス分類を行う機械学習モデルに対する学習処理を効率的に行うことができる。

【0076】

また、一実施形態のデータ分類装置１０によれば、複数の機械学習モデルが入力データを二つのグループに分類する際の閾値を個別に調整する閾値調整部１３をさらに備え、機械学習モデルは、ユーザにより調整された閾値に従って入力データを二つのグループに分類する。これにより、複数の機械学習モデルそれぞれの分類性能を個別に最適化できるので、複数の機械学習モデルを含む合成アルゴリズムの分類性能をより向上させることができる。

【0077】

また、一実施形態のデータ分類装置１０によれば、閾値を調整するための調整画像を出力する画像出力部（閾値調整・モデル性能表示部１４）をさらに備え、調整画像は、複数の機械学習モデルのそれぞれの分類性能に関する第１の情報（両矢印（イ）の画像領域）と、モデル合成部１５の分類性能に関する第２の情報（両矢印（ロ）の画像領域）と、の少なくとも一方を表示する画像であって、第１の情報および第２の情報は、ユーザによる閾値の調整具合に応じて変化する。例えば表示手段３を介してこのようなＵＩが提供されることにより、ユーザが所望の分類性能を備える合成アルゴリズムを間便かつ直感的に生成することができる。

【0078】

以上、本発明の実施形態、及びその変形例について説明したが、上記実施形態及び変形例は本発明の適用例の一部を示したに過ぎず、本発明の技術的範囲を上記実施形態の具体的構成に限定する趣旨ではない。また、上記実施形態、及びその変形例は、適宜組み合わせ可能である。

【0079】

例えば、図４から図７に示す表示画面は一例であって、図示する内容に制限されるものではなく、適宜変更されてよい。例えば、図４に、交差検証（cross-validation）の結果である混合行列（コンフュージョンマトリクス）をさらに表示してもよいし、図５の表示内容からベクトル値を削除してもよい。また、図４から図７に示す表示画面は必ずしも一画面に全て表示されることを意図していない。図示する表示画面は、情報量に応じて適宜切り替え可能に構成されてもよい。

【符号の説明】

【0080】

１０…データ分類装置
１６…新規情報取得部（取得部）
１８…新規不満情報演算結果表示部（出力部）
１９…合成アルゴリズム格納部（分類部）

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】