特許 7181490 分類器評価装置、分類器評価方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-11-22

(45)【発行日】2022-12-01

(54)【発明の名称】分類器評価装置、分類器評価方法、及びプログラム

(51)【国際特許分類】

   G06N 20/00 20190101AFI20221124BHJP

【ＦＩ】

G06N20/00

【請求項の数】 8

(21)【出願番号】P 2021214282

(22)【出願日】2021-12-28

(62)【分割の表示】P 2020537093の分割

【原出願日】2019-08-14

(65)【公開番号】P2022031555

(43)【公開日】2022-02-18

【審査請求日】2021-12-28

(31)【優先権主張番号】P 2018152895

(32)【優先日】2018-08-15

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】000004226

【氏名又は名称】日本電信電話株式会社

(74)【代理人】

【識別番号】100147485

【弁理士】

【氏名又は名称】杉村 憲司

(74)【代理人】

【識別番号】100153017

【弁理士】

【氏名又は名称】大倉 昭人

(74)【代理人】

【識別番号】100161148

【弁理士】

【氏名又は名称】福尾 誠

(72)【発明者】

【氏名】長谷川 隆明

(72)【発明者】

【氏名】野田 喜昭

(72)【発明者】

【氏名】山田 節夫

【審査官】山本 俊介

(56)【参考文献】

【文献】米国特許出願公開第２０１７／００３２２７９（ＵＳ，Ａ１）

【文献】特開２０１８－５６４０（ＪＰ，Ａ）

【文献】特開２０１５－２３２８４７（ＪＰ，Ａ）

【文献】特開２０１４－１４２８７１（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｎ ３／００－２０／００

(57)【特許請求の範囲】

【請求項1】

データの分類を行う分類器を評価する分類器評価装置であって、
前記分類器はモデルに基づくものであり、
分類を実行したデータの件数を取得するデータ件数取得部と、
前記分類器について、分類結果の訂正情報から、前記分類器の訂正の回数を集計する訂正回数集計部と、
前記分類器ごとの前記訂正の回数及び前記分類を実行したデータの件数に基づいて前記分類器の訂正率を計算する訂正率計算部と、
前記訂正率があらかじめ設定された条件を満たした場合に、前記モデルを、前記訂正情報を用いて学習したモデルに置換するモデル置換部と、
を備えることを特徴とする分類器評価装置。

【請求項2】

前記訂正回数集計部は、前記訂正の回数として、追加の回数を含むことを特徴とする、請求項１に記載の分類器評価装置。

【請求項3】

前記訂正回数集計部は、前記訂正の回数を、修正及び削除の回数、及び追加の回数とすることを特徴とする、請求項１に記載の分類器評価装置。

【請求項4】

前記訂正率は、修正及び削除の回数に基づく適合率、又は追加の回数に基づく再現率とすることを特徴とする、請求項１に記載の分類器評価装置。

【請求項5】

前記訂正回数集計部は、前記分類器の更新日以降の訂正の回数を集計することを特徴とする、請求項１に記載の分類器評価装置。

【請求項6】

前記分類結果が訂正用インターフェースを介して訂正された場合に、前記訂正情報を生成する訂正箇所記録部を備えることを特徴とする、請求項１に記載の分類器評価装置。

【請求項7】

データの分類を行う分類器を評価する分類器評価方法であって、
前記分類器はモデルに基づくものであり、
分類を実行したデータの件数を取得するステップと、
前記分類器について、分類結果の訂正情報から、前記分類器の訂正の回数を集計するステップと、
前記分類器ごとの前記訂正の回数及び前記分類を実行したデータの件数に基づいて前記分類器の訂正率を計算するステップと、
前記訂正率があらかじめ設定された条件を満たした場合に、前記モデルを、前記訂正情報を用いて学習したモデルに置換するステップと、
を含むことを特徴とする分類器評価方法。

【請求項8】

コンピュータを、請求項１から６のいずれか一項に記載の分類器評価装置として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、分類器評価装置、分類器評価方法、及びプログラムに関する。

【背景技術】

【0002】

機械学習の手法は、学習データに正解ラベルを付けて学習する教師あり学習と、学習データにラベルを付けないで学習する教師なし学習と、よい結果には報酬を与えることにより、コンピュータ自らに最適な方法を導き出させるようにする強化学習とに大別できる。教師あり学習として、例えばクラス分類を行うサポートベクトルマシン（ＳＶＭ）が知られている（非特許文献１参照）。

【先行技術文献】

【非特許文献】

【0003】

【文献】高村大也、「自然言語処理のための機械学習入門」、コロナ社、2010年8月5日、pp.117～127

【発明の概要】

【発明が解決しようとする課題】

【0004】

評価用のデータによる精度（適合率及び再現率）を計算する技術は提案されているが、現在使用している分類器（モデル）が正解の存在しないデータにどれくらい適合しているかを早く正確に確認することはできなかった。そのため、適切なタイミングでモデルを更新することも困難であった。

【0005】

かかる事情に鑑みてなされた本発明の目的は、現在使用している分類器（モデル）が、正解の存在しないデータにどれくらい適合しているかを、早く正確に確認することが可能な分類器評価装置、分類器評価方法、及びプログラムを提供することにある。

【課題を解決するための手段】

【0006】

上記課題を解決するため、本発明に係る分類器評価装置は、データの分類を行う分類器を評価する分類器評価装置であって、前記分類器はモデルに基づくものであり、分類を実行したデータの件数を取得するデータ件数取得部と、前記分類器について、分類結果の訂正情報から、前記分類器の訂正の回数を集計する訂正回数集計部と、前記分類器ごとの前記訂正の回数及び前記分類を実行したデータの件数に基づいて前記分類器の訂正率を計算する訂正率計算部と、前記訂正率があらかじめ設定された条件を満たした場合に、前記モデルを、前記訂正情報を用いて学習したモデルに置換するモデル置換部と、を備えることを特徴とする。

【0007】

また、上記課題を解決するため、本発明に係る分類器評価方法は、データの分類を行う分類器を評価する分類器評価方法であって、前記分類器はモデルに基づくものであり、分類を実行したデータの件数を取得するステップと、前記分類器について、分類結果の訂正情報から、前記分類器の訂正の回数を集計するステップと、前記分類器ごとの前記訂正の回数及び前記分類を実行したデータの件数に基づいて前記分類器の訂正率を計算するステップと、前記訂正率があらかじめ設定された条件を満たした場合に、前記モデルを、前記訂正情報を用いて学習したモデルに置換するステップと、を含むことを特徴とする。

【0008】

また、上記課題を解決するため、本発明に係るプログラムは、コンピュータを、上記分類器評価装置として機能させることを特徴とする。

【発明の効果】

【0009】

本発明によれば、現在使用している分類器（モデル）が、正解の存在しないデータにどれくらい適合しているかを、早く正確に確認することができる。

【図面の簡単な説明】

【0010】

【図1】本発明の一実施形態に係る分類器評価装置の構成例を示すブロック図である。

【図2】複数階層の分類器を用いて入力データ群の分類を行う一例を示す図である。

【図3】本発明の一実施形態に係る分類器評価装置が生成する分類依存関係テーブルの一例を示す図である。

【図4】本発明の一実施形態に係る分類器評価装置が生成する分類結果テーブルの一例を示す図である。

【図5】本発明の一実施形態に係る分類器評価装置が生成する学習画面の一例を示す図である。

【図6】本発明の一実施形態に係る分類器評価装置が生成する学習画面の第１の訂正例を示す図である。

【図7】本発明の一実施形態に係る分類器評価装置が生成する学習画面の第２の訂正例を示す図である。

【図8】本発明の一実施形態に係る分類器評価装置が生成する学習画面の第３の訂正例を示す図である。

【図9】本発明の一実施形態に係る分類器評価装置が生成する学習画面の第４の訂正例を示す図である。

【図10】本発明の一実施形態に係る分類器評価装置が生成する訂正情報の一例を示す図である。

【図11】本発明の一実施形態に係る分類器評価装置が生成する分類結果テーブルの訂正例を示す図である。

【図12】本発明の一実施形態に係る分類器評価装置が取得するデータ件数の一例を示す図である。

【図13】本発明の一実施形態に係る分類器評価装置が計算する訂正率の一例を示す図である。

【図14】本発明の一実施形態に係る分類器評価装置によるモデルの評価の一例を示す図である。

【図15】本発明の一実施形態に係る分類器評価方法の動作例を示すフローチャートである。

【発明を実施するための形態】

【0011】

以下、本発明の一実施形態について、図面を参照して詳細に説明する。

【0012】

図１に、本発明の一実施形態に係る分類器評価装置の構成例を示す。図１に示す分類器評価装置１は、モデル置換部１０と、日時記録部１１と、モデル記憶部１２と、データ記憶部１３と、分類部１４と、学習画面作成部１５と、訂正箇所記録部１６と、訂正回数集計部１７と、データ件数取得部１８と、訂正率計算部１９と、モデル評価部２０とを備える。分類器評価装置１は、表示部２を備えてもよいし、分類器評価装置１の外部に表示部２を配置してもよい。

【0013】

分類器評価装置１は、稼働中の入力データの分類を行う分類器が、正解の存在しない入力データに対してどれぐらい適合しているかを、早く正確に評価する装置である。

【0014】

モデル置換部１０は、モデル記憶部１２に記憶されている分類器を置換する。本実施形態では、分類器はモデルに基づくものとし、モデル置換部１０は、モデル記憶部１２に記憶されているモデルを、新たな学習済みのモデルに置換する。モデルの学習に用いる教師データには、前回モデルを置換した以降の新しいデータの他に、それ以前に蓄積済みのデータを含めてもよいし、新しく追加されたデータのみを対象としてもよい。なお、モデル置換部１０は、後述するモデル評価部２０の評価結果に基づいて、自動でモデルを置換してもよい。また、モデル置換部１０は、モデル記憶部１２に記憶されているモデルを、後述する訂正箇所記録部１６が生成した訂正情報を用いて学習したモデルに置換してもよい。

【0015】

日時記録部１１は、モデル置換部１０がモデル記憶部１２に記憶されているモデルを置換した日時を記録する。

【0016】

分類部１４は、データ記憶部１３に記憶されているデータを入力データ群とし、入力データ群に対して、モデル記憶部１２に記憶されているモデルを用いて分類を行い、分類結果を生成する。

【0017】

本実施形態では、分類部１４が階層的に組み合わせた複数の分類器を用いて入力データ群の分類を行うシステムについて説明する。図２は、複数階層の分類器を用いて入力データ群の分類を行う一例を示す図である。図２に示す例では、顧客と応対担当者（例えば、オペレータ）との電話やチャットによる対話内容を示す文書を入力データ群としている。入力データ群は、データ記憶部１３に記憶される。

【0018】

第１階層（最上位階層）の分類器（以下、「第１分類器」ともいう。）では応対シーンを推定し、第２階層の分類器（以下、「第２分類器」ともいう。）では発話種別を判定し、第３階層の分類器（以下、「第３分類器」ともいう。）では発話要点情報を推定又は抽出する。なお、吹き出し位置が右側にあるものがオペレータの発話内容を示す文であり、吹き出し位置が左側にあるものが顧客の発話内容を示す文である。発話内容を示す文は任意の位置で区切って発話単位（入力データの単位）とすることができ、図２では各吹き出しは発話単位の入力データを記している。以下、本実施形態では、この３階層の分類器を用いて入力データ群の分類を行うシステムについて説明する。

【0019】

第１分類器は、コンタクトセンタにおける応対シーンを推定し、図２に示す例では、オープニング、問い合わせ把握、契約確認、対応、及びクロージングの５種類に分類する。オープニングとは、「お待たせいたしました。○○コールセンター、担当の○○です。」といった、対話の開始の確認を行うシーンである。

【0020】

問い合わせ把握とは、「そちらの自動車保険に入ってまして、その自動車保険について聞きたいのですが」、「ご加入の自動車保険についてお問い合わせですね」、「先日、息子が車の免許を取りまして、息子が運転しても、自動車保険の対象になるように変更をしたいのですが」、「新しく免許を取られた息子さんを自動車保険の対象にしたいという事で、よろしいでしょうか」といった、顧客の問い合わせ内容を把握するシーンである。

【0021】

契約確認とは、「ご契約の状況を確認いたしますので、契約者さまの氏名をお教え頂けますか」、「契約者は、鈴木一郎です。」、「鈴木一郎様ですね。ご本人確認のため、ご登録の住所、電話番号をお教えください。」「住所は、東京都・・・、電話番号は、０９０－１２３４－５６７８です。」「ありがとうございます。本人確認が取れました。」といった、契約の確認を行うシーンである。

【0022】

対応とは、「お調べしたところ、現在のご契約では３５歳未満のご家族様では保険の対象外となっております。」、「息子も保険の対象にするのは、どうすれば良いでしょうか？」、「このお電話で変更が可能です。毎月の保険料が４０００円ほど高くなりまして、８３２０円となりますが、よろしいでしょうか？」といった、問い合わせに対する対応を行うシーンである。

【0023】

クロージングとは、「本日はお電話を頂きまして、ありがとうございました」といった、対話の終了の確認を行うシーンである。

【0024】

第２分類器は、第１分類器により応対シーンが推定された対話について、さらに発話単位で発話種別を判定する。第２分類器は、複数種類の発話種別を判定するために、複数のモデルを用いてもよい。本実施形態では、応対シーンが問い合わせ把握であると推定された対話について、発話単位で主題発話であるか否かを判定するために主題発話判定モデルを用い、発話単位で用件発話であるか否かを判定するために用件発話判定モデルを用い、発話単位で用件確認発話であるか否かを判定するために用件確認発話判定モデルを用いる。また、応対シーンが契約確認であると推定された対話について、発話単位で契約確認発話であるか否かを判定するために契約確認発話判定モデルを用い、発話単位で契約応答発話であるか否かを判定するために契約応答発話判定モデルを用いる。

【0025】

主題発話とは、顧客の発話であって、問い合わせの主題を伝えるための発話である。用件発話とは、顧客の発話であって、問い合わせの用件を伝えるための発話である。用件確認発話とは、応対担当者の発話であって、問い合わせの用件に対して確認するための発話（例えば、問い合わせの用件の復唱）である。契約確認発話とは、応対担当者の発話であって、契約内容を確認するための発話である。契約応答発話とは、顧客の発話であって、契約内容に関して応対担当者へ応答するための発話である。

【0026】

第３分類器は、第１分類器及び第２分類器の分類結果に基づき、発話要点情報を推定又は抽出する。具体的には、第２分類器により主題発話であると判定された発話から、主題推定モデルを用いて主題の発話要点情報を推定する。また、第２分類器により用件発話であると判定された発話から、全文を用件の発話要点情報として抽出し、第２分類器により用件確認発話であると判定された発話から、全文を用件確認の発話要点情報として抽出する。また、第２分類器により契約確認発話であると判定された発話及び契約応答発話であると判定された発話から、契約者名、契約者の住所、及び契約者の電話番号を抽出する。契約者名、契約者の住所、及び契約者の電話番号の抽出は、モデルを用いて行ってもよいし、予め定められたルールに基づいて行ってもよい。

【0027】

分類部１４は、分類器を実施する順序（分類器の組み合わせ）を規定した分類依存関係テーブルに従って、入力データ群に対して多階層の分類を行い、分類結果を示す分類結果テーブルを生成する。ここで、分類の方法は、ＳＶＭやディープニューラルネット（ＤＮＮ）などの任意の既知の方法を適用することができる。また、あらかじめ定められたルールに基づく方法で分類してもよい。ルールには、文字列や単語の完全一致、前方一致、後方一致、部分一致の他に、正規表現によるマッチングを行うことができる。

【0028】

図３は、分類依存関係テーブルの一例を示す図である。例えば、分類項目が主題推定の場合には、第１階層で第１分類器により応対シーン推定を行い、多値分類の結果が「問い合わせ把握」の場合に、第２階層に進む。第２階層では、第２分類器により主題発話判定を行い、２値分類の結果が「true」の場合に、第３階層に進む。第３階層では、第３分類器により主題推定を行い、多値分類の結果を出力する。また、分類項目が用件発話判定の場合には、第１階層で第１分類器により応対シーン推定を行い、多値分類の結果が「問い合わせ把握」の場合に、第２階層に進む。第２階層では、第２分類器により用件発話判定を行い、２値分類の結果が「true」の場合に、第３階層に進む。第３階層では、無条件でテキスト全体を出力する。

【0029】

図４は、人手による訂正前の、分類部１４により生成された分類結果テーブルの一例を示す図である。各分類において、「対象箇所」は、入力データである文書のうち、どの文に対して分類が実行されたかを識別するための番号である。「対象階層」は、分類の依存関係における階層、すなわち対象箇所に示す文を分類した分類器の階層を示す。「第１階層分類」は第１分類器による分類結果を示し、「第２階層分類」は第２分類器による分類結果を示し、「第３階層分類」は第３分類器による分類結果を示す。

【0030】

学習画面作成部１５は、分類部１４により生成された分類結果テーブルに基づく分類結果、及び該分類結果を訂正するための訂正用インターフェースを有する学習画面を作成し、学習画面を表示部２に表示させる。訂正用インターフェースとは、分類結果を訂正するためのオブジェクトであり、分類の階層及び対象箇所に紐付けられる。

【0031】

具体的には、学習画面作成部１５は、第１階層（最上位階層）の分類器による分類結果を分類結果ごとに区別して示し、第１階層の分類器による分類結果を表示する領域内に、残りの階層の分類器による分類結果を示す学習画面を作成する。

【0032】

また、学習画面作成部１５は、分類結果を追加するためのボタン、分類結果を削除するためのボタン、及び訂正後の分類結果を入力する領域を含む訂正用インターフェースを生成する。なお、分類結果を表示する領域をクリックすることにより、修正可能な態様としてもよく、その場合には、分類結果を表示する領域と、訂正後の分類結果を入力する領域とは同一となる。

【0033】

図５は、図２と同様に顧客と応対担当者との対話を入力データとして、分類器による分類を行った場合の学習画面の一例を示す図である。学習画面は、第１分類器による分類結果を、分類結果ごとに区別して示す第１表示領域２１～２５を有する。各第１表示領域は、第２分類器による分類結果がある場合には該分類結果を表示する第２表示領域を有し、第３分類器による分類結果（発話要点情報の抽出結果を含む）がある場合には該分類結果を表示する第３表示領域を有する。第２分類器による分類結果は「true」のものだけを表示し、さらに第２分類器による分類結果の隣に、第３分類器による分類結果を表示する。

【0034】

図５では、第２分類器として主題発話判定モデルを用いたときの分類結果が「true」の場合には「主題」と表示し、第２分類器として用件発話判定モデルを用いたときの分類結果が「true」の場合には「用件」と表示し、第２分類器として用件確認発話判定モデルを用いたときの分類結果がtrueの場合には「用件確認」と表示する。また、第２分類器として契約確認発話判定モデル又は契約応答発話判定モデルを用いたときの分類結果が「true」の場合には「氏名」、「住所」、「連絡先」と表示する。

【0035】

具体的には、第１表示領域２１は、第１分類器による分類結果である「オープニング」のみを表示し、第１表示領域２５は、第１分類器による分類結果である「クロージング」のみを表示する。

【0036】

第１表示領域２２は、第１分類器による分類結果である「問い合わせ把握」を表示する。分類依存関係テーブルに従うと、第１分類器による分類結果が「問い合わせ把握」の場合には第２階層に進み、第２階層では発話種別判定を行い、その結果が「true」の場合に第３階層に進む。そのため、第１表示領域２２は第２分類器による分類結果が「true」であることを示す「主題」、「用件」、及び「用件確認」を第２表示領域２２１に表示する。さらに、主題発話についての分類結果と、用件発話及び用件確認発話の発話要点情報の抽出結果とを第３表示領域２２２に表示する。なお、用件発話及び用件確認発話の発話要点情報の抽出結果は類似する場合が多いため、いずれか一方のみを表示するようにしてもよい。

【0037】

同様に、第１表示領域２３は、第１分類器による分類結果である「契約確認」を表示し、第２分類器による分類結果が「true」であることを示す「氏名」、「住所」、及び「連絡先」を第２表示領域２３１に表示する。さらに、「氏名」、「住所」、及び「連絡先」について発話要点情報の抽出結果を第３表示領域２３２に表示する。

【0038】

図２に示した例では、第１分類器による分類結果が「対応」である場合に、第２分類器による分類はなく、応対シーンが「対応」と推定された発話のテキスト全体を抽出している。したがって、第１表示領域２４は第２表示領域を有しなくてもよいが、図５では視認性を考慮して、第１表示領域２２，２３と同様に第２表示領域２４１を設け、「対応」と表示している。そして、「対応」について発話要点情報の抽出結果を第３表示領域２４２に表示する。

【0039】

また、訂正用インターフェースとして、第１表示領域２１～２５には発話要点情報を追加するための「要点追加」ボタンが表示され、第１表示領域２２～２４には×印で示す、発話要点情報を削除するための「×」ボタンが表示される。

【0040】

第３表示領域２２２に示す、第３階層の主題推定の結果は、複数の候補からの推定の場合は、ユーザがプルダウンから選択することにより訂正して保存することができる。また、第３表示領域２３２，２４２に示す、第３階層の発話要点情報の抽出結果は、ユーザが文章を訂正して保存することができる。不要な発話要点情報は「×」ボタンを押下することにより削除することができる。

【0041】

訂正箇所記録部１６は、学習画面作成部１５により作成された学習画面が、ユーザにより訂正インターフェースを介して訂正された場合（すなわち、分類結果が訂正された場合）に、訂正個所及び訂正された分類結果を記録した訂正情報を生成する。なお、ユーザは、分類の階層に紐づいたボタンにより、多階層の途中の分類結果に対する訂正を行うことも可能である。訂正には、修正、追加、及び削除がある。

【0042】

また、訂正箇所記録部１６は、ある階層の分類器による分類結果が訂正された場合には、該分類結果の訂正に合わせて、該階層よりも上位の階層の分類器による分類結果も訂正する。上位の階層の分類器による分類結果を訂正する必要が無い場合には、そのままとする。例えば、本実施形態において、第１分類器の応対シーン推定の分類結果は訂正がなく、第２分類器の主題発話判定の分類結果も「true」のままで訂正がなかったとしても、第３分類器の主題推定の分類結果が削除された場合には、第２分類器の分類結果が正しくなかったことを意味するため、第２分類器の分類結果を「true」から「false」に修正する。２値分類の第２階層まで戻ればよく、第１階層には戻る必要はない。

【0043】

また、訂正箇所記録部１６は、ある階層の分類器による分類結果が訂正された場合には、該分類結果の訂正に合わせて、該階層よりも下位の分類器による分類結果を教師データから除外してもよい。例えば、本実施形態において、第１分類器の応対シーン推定の分類結果が「問い合わせ把握」から「対応」に訂正された場合に、第２分類器の用件発話判定の分類結果が「true」と判定されていた場合には、教師データから「true」を除外する。なお、訂正箇所記録部１６は、上位の階層から訂正の有無を確認し、訂正がなければ下位の階層の訂正の有無を確認する。したがって、仮にユーザにより第３分類器の主題推定の分類結果が訂正された後に、第１分類器の応対シーン推定の分類結果が訂正されたとしても、訂正箇所記録部１６は第１階層の訂正から確認するので、第１分類器の応対シーン推定が「問い合わせ把握」でない場合には、第３分類器の主題推定の訂正は教師データから削除される。

【0044】

図６は、学習画面の第１の訂正例を示す図である。ユーザは主題表示領域２２３に表示された主題を修正することができる。例えば、主題の推定結果を表示する主題表示領域２２３がユーザによりクリックされると、表示部２は選択可能な主題の一覧をプルダウン表示する。ユーザは主題の一覧から主題を選択することにより、主題を修正することができる。ここでは、ユーザが第１表示領域２２に示す、第３階層の主題の推定結果である「自動車保険」を「レッカー移動」に修正する例を示している。このような訂正がなされると、訂正箇所記録部１６は、第３階層の主題の推定結果を「自動車保険」から「レッカー移動」に変更する。

【0045】

図７は、学習画面の第２の訂正例を示す図である。ユーザにより「×」ボタンが押下されると、表示部２は第２階層及び第３階層の表示を取り消す。ここでは、ユーザが第１表示領域２２に示す、第２階層の判定結果が「true」の発話種別である「主題」を削除する例を示している。このような訂正がなされると、訂正箇所記録部１６は、第３階層の主題の推定結果を削除するとともに、第２階層の主題発話の判定結果を「true」から「false」に変更する。

【0046】

図８は、学習画面の第３の訂正例を示す図である。ユーザにより「要点追加」ボタンが押下されると、表示部２は追加可能な発話要点情報に対応する発話種別を選択するためのボタンの一覧をプルダウン表示する。そして、「要点追加」ボタンに重畳してプルダウン表示されたボタンのいずれかが選択されると、選択されたボタンが示す発話種別に対応する発話要点情報の入力欄を表示する。ここでは、ユーザが第１表示領域２２に示す、「要点追加」ボタンを押下し、プルダウン表示される「主題」、「用件」、及び「用件確認」から、「主題」を選択して「主題」を入力する欄を追加する例を示している。このような訂正がなされると、訂正箇所記録部１６は、第２階層の主題発話の判定結果を「false」から「true」に変更する。

【0047】

なお、主題の追加時には、ユーザは別途表示された発話データをクリックで選択するなどにより、主題に対応する発話を紐付けることができる。例えば、主題発話判定モデルにより主題発話と判定された発話データを他の発話データと区別するために所定背景色を付すようにした場合に、主題発話判定モデルによる推定が誤っているために、応対担当者が主題発話であると認識する発話データに所定背景色が付されていないことがある。この場合、応対担当者は、主題発話であると認識する発話データをクリックすると、所定背景色が付される。そして、応対担当者の操作に基づいて発話データに所定背景色が付された場合、該発話データに対応付けて発話種別を追加してもよい。

【0048】

図９は、学習画面の第４の訂正例を示す図である。図８で示したように主題が追加された場合も、主題の推定結果を表示する主題表示領域２２３がユーザによりクリックされると、表示部２は選択可能な主題の一覧をプルダウン表示する。ここでは、ユーザが「主題」を追加した後に、主題表示領域２２３をクリックし、プルダウン表示された主題の一覧から「修理工場」を選択することにより、主題を決定する例を示している。このような訂正がなされると、訂正箇所記録部１６は、第３階層の主題の推定結果として「修理工場」を追加する。

【0049】

図１０は、訂正箇所記録部１６が生成する訂正情報の一例を示す図である。ここでは、ユーザにより図６から図９に示す訂正が行われた場合の訂正情報を示している。訂正情報の形式は分類依存関係テーブルと同じである。文３に関して、図７に示すようにユーザが「主題」を削除した場合、訂正箇所記録部１６は、文３の第３階層の主題推定の結果を削除する。また、ユーザは文３の発話種別を主題発話ではないと認識しているため、訂正箇所記録部１６は、第２階層の主題発話の判定結果を「false」に変更する。

【0050】

文４に関して、図８及び図９に示すようにユーザが「主題」を追加した場合、訂正箇所記録部１６は、文４の第３階層の主題推定の結果として「修理工場」を追加する。また、ユーザは文４の発話種別を主題発話であると認識しているため、訂正箇所記録部１６は、第２階層の主題発話の判定結果を「true」に変更する。

【0051】

文５に関して、図６に示すようにユーザが「主題」を修正した場合、訂正箇所記録部１６は、文５の第３階層の主題推定の結果を「レッカー移動」に変更する。また、ユーザは文５の発話種別を主題発話であると認識しているため、訂正箇所記録部１６は、第２階層の主題発話の判定結果を「true」のままとする。

【0052】

訂正回数集計部１７は、分類結果が訂正された場合に、分類結果の訂正情報から、分類項目ごと（すなわち、分類結果を生成したモデルごと）に、訂正の回数を集計し、訂正率計算部１９に出力する。訂正回数集計部１７は、適合率（Precision）相当の訂正率を求める場合には、修正及び削除の回数を訂正の回数として集計し、再現率（Recall）相当の訂正率を求める場合には、追加の回数を訂正の回数として集計する。また、訂正回数集計部１７は、これらを区別しないで、修正、削除、及び追加の回数の合計を訂正の回数として集計してもよい。

【0053】

図１１に、訂正回数集計部１７による訂正回数集計の一例を示す。ここでは、分類項目「応対シーン推定」、「主題発話判定」、及び「主題推定」のそれぞれについて、対象段階及び訂正回数を示している。訂正回数は、修正、削除、及び追加の回数の合計としている。

【0054】

データ件数取得部１８は、分類項目ごとに、分類対象となる入力データの件数を取得する。本実施形態では、データの件数は、発話単位での文書数である。なお、データの件数は、その分類を実行した文書数でもよいし、すべての文書数でもよい。例えば、データ件数取得部１８は、モデル置換部１０がモデルを置換した日時を日時記録部１１から取得し、モデル置換部１０によりモデルが置換された時から現在まで（すなわち、モデルの更新日以降）に分類されたデータの件数（すなわち、分類対象となる入力データの件数）を取得する。この場合には、訂正回数集計部１７は、モデルの更新日以降の訂正の回数を集計する。また、訂正回数集計部１７は、前記分類器が更新される都度、訂正情報を削除してもよい。

【0055】

図１２に、データ件数取得部１８によるデータ件数取得の一例を示す。ここでは、図１１と同じ分類項目「応対シーン推定」、「主題発話判定」、及び「主題推定」のそれぞれについて、モデルの置換日時及び現在までのデータ件数を示している。

【0056】

訂正率計算部１９は、分類項目ごとに、訂正回数集計部１７により集計された訂正の回数、及びデータ件数取得部１８により取得されたデータの件数から、訂正率を計算し、計算結果をモデル評価部２０に出力する。例えば、訂正率は、訂正の回数をデータの件数で除算した値とする。

【0057】

図１３に、訂正率計算部１９による訂正率の一例を示す。図１１及び図１２に示した値を用いると、分類項目「応対シーン推定」では、訂正率は２０／２００＝０．１となり、分類項目「主題発話判定」では、訂正率は１５／９０＝０．１７となり、分類項目「主題推定」では、訂正率は８／２４＝０．３３となる。

【0058】

モデル評価部２０は、訂正率計算部１９により計算された訂正率を出力する。例えば、表示部２に訂正率を表示させる。

【0059】

また、モデル評価部２０は、訂正率計算部１９により計算された訂正率に基づいてモデルを評価し、評価結果を出力してもよい。例えば、訂正率があらかじめ設定された閾値の条件を満たすか否かを判定することによりモデルを評価し、表示部２に評価結果を表示させる。訂正率が閾値を超える場合には通知をしてもよく、例えば、評価結果がＮＧであることを示すために警告を発するようにしてもよい。閾値は、固定値であってもよいし、前回使用したモデルの訂正率であってもよい。

【0060】

モデル記憶部１２に記憶されたモデルを手動で置換する場合には、訂正率を表示するだけでよい。一方、モデルを自動で置換する場合には、モデル評価部２０は、訂正率が閾値を超えた場合に、モデル置換部１０にモデルを置換するように命令（通知）する。そして、モデル置換部１０は、モデル評価部２０からの命令に基づいてモデルを置換する。

【0061】

図１４に、モデル評価部２０による評価の一例を示す。分類項目「応対シーン推定」では、訂正率が閾値以下であるため評価結果を「ＯＫ」とし、分類項目「主題発話判定」では、訂正率が閾値を超えるため評価結果を「ＮＧ」とし、分類項目「主題推定」では、訂正率が閾値を超えるため評価結果を「ＮＧ」とする。

【0062】

次に、分類器評価装置１における分類器評価方法について説明する。図１５は、本発明の一実施形態に係る分類器評価方法の動作例を示すフローチャートである。

【0063】

分類器評価装置１は、モデル置換部１０により、モデル記憶部１２に記憶されているモデルを新たなモデルに置換する（ステップＳ１０１）。その際、日時記録部１１により、モデルが置換された日時を記録する（ステップＳ１０２）。

【0064】

続いて、分類器評価装置１は、分類部１４により、入力データ群を分類する（ステップＳ１０３）。なお、上述した実施形態では複数の分類器を階層的に組み合わせて分類する例について説明したが、１つの分類器により分類してもよい。

【0065】

続いて、分類器評価装置１は、学習画面作成部１５により、学習画面を作成し（ステップＳ１０４）、表示部２に学習画面を表示させる（ステップＳ１０５）。表示部２に表示した学習画面でユーザにより訂正されると（ステップＳ１０６－Ｙｅｓ）、分類器評価装置１は、訂正箇所記録部１６により、訂正個所を記録する（ステップＳ１０７）。分類器評価装置１は、訂正回数集計部１７によりモデルの更新日以降の訂正回数を集計するとともに、データ件数取得部１８によりモデルの更新日以降のデータ件数を取得し（ステップＳ１０８）、訂正率計算部１９により訂正率を計算する（ステップＳ１０９）。

【0066】

最後に、分類器評価装置１は、モデル評価部２０により現在使用しているモデルを評価する（ステップＳ１１０）。評価結果がＮＧである場合には（ステップＳ１１１－Ｙｅｓ）、モデル置換部１０により、モデル記憶部１２に記憶されているモデルを置換する（ステップＳ１０１）。なお、ステップＳ１０７からステップＳ１０９の処理は、訂正がされる都度行ってもよいし、所定のタイミングで行ってもよい。ステップＳ１１０の処理は、データ件数（母数）が少ない場合には信頼度が低いため、データ件数が閾値を超えた場合に行うようにするのが望ましい。

【0067】

なお、上述した分類器評価装置１として機能させるためにコンピュータを用いることもでき、そのようなコンピュータは、分類器評価装置１の各機能を実現する処理内容を記述したプログラムを該コンピュータのデータベースに格納しておき、該コンピュータのＣＰＵによってこのプログラムを読み出して実行させることで実現することができる。

【0068】

また、プログラムは、コンピュータ読取り可能媒体に記録されていてもよい。コンピュータ読取り可能媒体を用いれば、コンピュータにインストールすることが可能である。ここで、プログラムが記録されたコンピュータ読取り可能媒体は、非一過性の記録媒体であってもよい。非一過性の記録媒体は、特に限定されるものではないが、例えば、ＣＤ－ＲＯＭやＤＶＤ－ＲＯＭなどの記録媒体であってもよい。

【0069】

上述したように、本発明によれば、日々蓄積されるデータに対して、分類・推定結果を確認し、誤りを訂正した回数と対象となるデータの件数に基づいて訂正率を算出することで、現在使用しているモデルの精度、すなわち正解の存在しないデータにどれくらい適合しているかを、早く正確に推定することができる。なお、訂正率にバリエーションを持たせることで、再現率相当及び適合率相当の精度を得ることができる。

【0070】

また、本発明によれば、訂正率に基づいてモデルを早く正確に評価することができるため、適切なタイミングで、自動的にモデルを更新することが可能となる。例えば、訂正率があらかじめ設定された閾値を超えたことを条件として、モデルを更新することができる。

【0071】

さらに、本発明によれば、分類器による分類結果、及び該分類結果を訂正するための訂正用インターフェースを有する学習画面を表示させることにより、ユーザは容易に分類結果の訂正を行うことができ、操作性を向上させることが可能となる。

【0072】

上述の実施形態は代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限するものと解するべきではなく、請求の範囲から逸脱することなく、種々の変形や変更が可能である。例えば、実施形態の構成図に記載の複数の構成ブロックを１つに組み合わせたり、あるいは１つの構成ブロックを分割したりすることが可能である。

【符号の説明】

【0073】

１ 分類器評価装置
２ 表示部
１０ モデル置換部
１１ 日時記録部
１２ モデル記憶部
１３ データ記憶部
１４ 分類部
１５ 学習画面作成部
１６ 訂正箇所記録部
１７ 訂正回数集計部
１８ データ件数取得部
１９ 訂正率計算部
２０ モデル評価部
２１～２５ 第１表示領域
２２１，２３１，２４１ 第２表示領域
２２２，２３２，２４２ 第３表示領域
２２３ 主題表示領域

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】