(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-12-15
(45)【発行日】2022-12-23
(54)【発明の名称】応対評価装置、応対評価方法及びコンピュータプログラム
(51)【国際特許分類】
G06F 40/279 20200101AFI20221216BHJP
【ＦＩ】
G06F40/279
【請求項の数】
4
(21)【出願番号】P 2019160388
(22)【出願日】2019-09-03
(65)【公開番号】P2021039537
(43)【公開日】2021-03-11
【審査請求日】2021-07-20
(73)【特許権者】
【識別番号】000208891
【氏名又は名称】ＫＤＤＩ株式会社
(74)【代理人】
【識別番号】100165179
【弁理士】
【氏名又は名称】田▲崎▼ 聡
(74)【代理人】
【識別番号】100175824
【弁理士】
【氏名又は名称】小林 淳一
(74)【代理人】
【識別番号】100114937
【弁理士】
【氏名又は名称】松本 裕幸
(72)【発明者】
【氏名】栗木 優一
(72)【発明者】
【氏名】多屋 優人
(72)【発明者】
【氏名】小林 亜令
【審査官】長 由紀子
(56)【参考文献】
【文献】米国特許出願公開第２０１５／０１２０６８９（ＵＳ，Ａ１）
【文献】特開２０１６－０６２３３３（ＪＰ，Ａ）
【文献】特開２０１１－２２１６８３（ＪＰ，Ａ）
【文献】米国特許出願公開第２０１０／０３３２２８７（ＵＳ，Ａ１）
【文献】作元 佑輔 外５名，共有信念に基づく発話状況の推定，第７９回 知識ベースシステム研究会資料 （ＳＩＧ－ＫＢＳ－Ａ７０２） ，日本，社団法人人工知能学会，2007年11月22日，pp.81-86
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｆ ４０／００－５８
Ｇ０６Ｆ １６／００－９５８
(57)【特許請求の範囲】
【請求項1】
過去の応対の対話テキストに含まれる形態素について、前記対話テキストについての前記応対の目的の成否結果に基づき前記応対の目的達成に対する有用度を算出する有用度算出処理部と、前記有用度に基づいて、前記応対の目的達成に関する前記形態素の評価データを生成する評価処理部と、
を備え、
前記有用度算出処理部は、
次式により有用度を算出する有用度算出部を備え、
有用度＝（Ａ÷（Ａ＋Ｂ））÷（Ｃ÷（Ｃ＋Ｄ））、
Ａは、有用度算出対象形態素が出現する前記対話テキストのうち、前記応対の目的の成否結果が成功である前記対話テキストの総数であり、
Ｂは、有用度算出対象形態素が出現する前記対話テキストのうち、前記応対の目的の成否結果が失敗である前記対話テキストの総数であり、
Ｃは、有用度算出対象形態素が出現しない前記対話テキストのうち、前記応対の目的の成否結果が成功である前記対話テキストの総数であり、
Ｄは、有用度算出対象形態素が出現しない前記対話テキストのうち、前記応対の目的の成否結果が失敗である前記対話テキストの総数であり、
前記評価処理部は、
前記形態素の特徴に基づいて前記形態素がクラスタリングされた形態素クラスタに対して前記評価データを生成する評価データ生成部と、
同じ前記形態素クラスタに含まれる前記形態素の有用度に基づいて当該形態素クラスタの有用度代表値を算出し、前記有用度代表値が所定の閾値以上である前記形態素クラスタをトピッククラスタとして抽出するトピッククラスタ抽出部と、を備え、
前記評価データ生成部は、前記トピッククラスタを前記評価データの生成対象にし、
前記評価データは、前記トピッククラスタ毎に、前記応対についての目的達成率と、前記対話テキストにおける出現率と、前記応対についての目的成功の前記対話テキストにおける成功出現ポイントと、前記応対についての目的失敗の前記対話テキストにおける失敗出現ポイントとのうち少なくとも一つを含み、
前記評価データ生成部は、算出対象トピッククラスタに属する形態素であって所定数の形態素が含まれる前記対話テキストの個数である出現数を算出し、
前記目的達成率は、算出対象トピッククラスタについての前記出現数にカウントされた前記対話テキストのうち、前記応対の目的の成否結果が成功である前記対話テキストの割合であり、
前記出現率は、前記対話テキストの総数に対する、算出対象トピッククラスタについての前記出現数の割合であり、
前記成功出現ポイントは、算出対象トピッククラスタについての前記出現数にカウントされた前記対話テキストのうち前記応対の目的の成否結果が成功である前記対話テキストにおける形態素の並びにおいて、算出対象トピッククラスタに属する形態素が他の部分に比較して多く含まれる部分であり、
前記失敗出現ポイントは、算出対象トピッククラスタについての前記出現数にカウントされた前記対話テキストのうち前記応対の目的の成否結果が失敗である前記対話テキストにおける形態素の並びにおいて、算出対象トピッククラスタに属する形態素が他の部分に比較して多く含まれる部分である、
応対評価装置。
【請求項2】
前記評価処理部は、一の前記形態素と共に出現する他の前記形態素との組合せに基づいて、当該一の前記形態素の特徴を表す特徴量ベクトルを生成する形態素特徴化部と、
一の前記形態素の前記特徴量ベクトルと他の前記形態素の前記特徴量ベクトルとの距離に基づいて、前記形態素クラスタを生成する形態素クラスタリング部と、を備える、
請求項１に記載の応対評価装置。
【請求項3】
コンピュータに、過去の応対の対話テキストに含まれる形態素について、前記対話テキストについての前記応対の目的の成否結果に基づき前記応対の目的達成に対する有用度を算出する有用度算出処理ステップと、
前記有用度に基づいて、前記応対の目的達成に関する前記形態素の評価データを生成する評価処理ステップと、
を実行させるためのコンピュータプログラムであって、
前記有用度算出処理ステップは、次式により有用度を算出し、
有用度＝（Ａ÷（Ａ＋Ｂ））÷（Ｃ÷（Ｃ＋Ｄ））、
Ａは、有用度算出対象形態素が出現する前記対話テキストのうち、前記応対の目的の成否結果が成功である前記対話テキストの総数であり、
Ｂは、有用度算出対象形態素が出現する前記対話テキストのうち、前記応対の目的の成否結果が失敗である前記対話テキストの総数であり、
Ｃは、有用度算出対象形態素が出現しない前記対話テキストのうち、前記応対の目的の成否結果が成功である前記対話テキストの総数であり、
Ｄは、有用度算出対象形態素が出現しない前記対話テキストのうち、前記応対の目的の成否結果が失敗である前記対話テキストの総数であり、
前記評価処理ステップは、
前記形態素の特徴に基づいて前記形態素がクラスタリングされた形態素クラスタに対して前記評価データを生成する評価データ生成ステップと、
同じ前記形態素クラスタに含まれる前記形態素の有用度に基づいて当該形態素クラスタの有用度代表値を算出し、前記有用度代表値が所定の閾値以上である前記形態素クラスタをトピッククラスタとして抽出するトピッククラスタ抽出ステップと、を含み、
前記評価データ生成ステップは、前記トピッククラスタを前記評価データの生成対象にし、
前記評価データは、前記トピッククラスタ毎に、前記応対についての目的達成率と、前記対話テキストにおける出現率と、前記応対についての目的成功の前記対話テキストにおける成功出現ポイントと、前記応対についての目的失敗の前記対話テキストにおける失敗出現ポイントとのうち少なくとも一つを含み、
前記評価データ生成ステップは、算出対象トピッククラスタに属する形態素であって所定数の形態素が含まれる前記対話テキストの個数である出現数を算出し、
前記目的達成率は、算出対象トピッククラスタについての前記出現数にカウントされた前記対話テキストのうち、前記応対の目的の成否結果が成功である前記対話テキストの割合であり、
前記出現率は、前記対話テキストの総数に対する、算出対象トピッククラスタについての前記出現数の割合であり、
前記成功出現ポイントは、算出対象トピッククラスタについての前記出現数にカウントされた前記対話テキストのうち前記応対の目的の成否結果が成功である前記対話テキストにおける形態素の並びにおいて、算出対象トピッククラスタに属する形態素が他の部分に比較して多く含まれる部分であり、
前記失敗出現ポイントは、算出対象トピッククラスタについての前記出現数にカウントされた前記対話テキストのうち前記応対の目的の成否結果が失敗である前記対話テキストにおける形態素の並びにおいて、算出対象トピッククラスタに属する形態素が他の部分に比較して多く含まれる部分である、
コンピュータプログラム。
【請求項4】
応対評価装置が、過去の応対の対話テキストに含まれる形態素について、前記対話テキストについての前記応対の目的の成否結果に基づき前記応対の目的達成に対する有用度を算出する有用度算出処理ステップと、前記応対評価装置が、前記有用度に基づいて、前記応対の目的達成に関する前記形態素の評価データを生成する評価処理ステップと、
を含む応対評価方法であって、
前記有用度算出処理ステップは、次式により有用度を算出し、
有用度＝（Ａ÷（Ａ＋Ｂ））÷（Ｃ÷（Ｃ＋Ｄ））、
Ａは、有用度算出対象形態素が出現する前記対話テキストのうち、前記応対の目的の成否結果が成功である前記対話テキストの総数であり、
Ｂは、有用度算出対象形態素が出現する前記対話テキストのうち、前記応対の目的の成否結果が失敗である前記対話テキストの総数であり、
Ｃは、有用度算出対象形態素が出現しない前記対話テキストのうち、前記応対の目的の成否結果が成功である前記対話テキストの総数であり、
Ｄは、有用度算出対象形態素が出現しない前記対話テキストのうち、前記応対の目的の成否結果が失敗である前記対話テキストの総数であり、
前記評価処理ステップは、
前記形態素の特徴に基づいて前記形態素がクラスタリングされた形態素クラスタに対して前記評価データを生成する評価データ生成ステップと、
同じ前記形態素クラスタに含まれる前記形態素の有用度に基づいて当該形態素クラスタの有用度代表値を算出し、前記有用度代表値が所定の閾値以上である前記形態素クラスタをトピッククラスタとして抽出するトピッククラスタ抽出ステップと、を含み、
前記評価データ生成ステップは、前記トピッククラスタを前記評価データの生成対象にし、
前記評価データは、前記トピッククラスタ毎に、前記応対についての目的達成率と、前記対話テキストにおける出現率と、前記応対についての目的成功の前記対話テキストにおける成功出現ポイントと、前記応対についての目的失敗の前記対話テキストにおける失敗出現ポイントとのうち少なくとも一つを含み、
前記評価データ生成ステップは、算出対象トピッククラスタに属する形態素であって所定数の形態素が含まれる前記対話テキストの個数である出現数を算出し、
前記目的達成率は、算出対象トピッククラスタについての前記出現数にカウントされた前記対話テキストのうち、前記応対の目的の成否結果が成功である前記対話テキストの割合であり、
前記出現率は、前記対話テキストの総数に対する、算出対象トピッククラスタについての前記出現数の割合であり、
前記成功出現ポイントは、算出対象トピッククラスタについての前記出現数にカウントされた前記対話テキストのうち前記応対の目的の成否結果が成功である前記対話テキストにおける形態素の並びにおいて、算出対象トピッククラスタに属する形態素が他の部分に比較して多く含まれる部分であり、
前記失敗出現ポイントは、算出対象トピッククラスタについての前記出現数にカウントされた前記対話テキストのうち前記応対の目的の成否結果が失敗である前記対話テキストにおける形態素の並びにおいて、算出対象トピッククラスタに属する形態素が他の部分に比較して多く含まれる部分である、
応対評価方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、応対評価装置、応対評価方法及びコンピュータプログラムに関する。
【背景技術】
【0002】
従来、対話における話者間の共有トピック構造を明らかにするトピックモデル学習技術が特許文献１に記載されている。特許文献１に記載のトピックモデル学習技術は、対話の中で「ＥさんとＦさんの対話は、Ｂ番目のトピックが支配的である」といった話題構造を明らかにし、且つ「Ｅさんが話したＢ番目のトピックの単語はＣやＤである」といった情報を捉えることが可能なトピックモデルを実現している。
【先行技術文献】
【特許文献】
【0003】
【文献】特開２０１５－４５９１５号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかし、上述した従来の技術では、過去の応対の対話における応対の目的達成に有用な対話の要素を適切に抽出することができなかった。
【0005】
本発明は、このような事情を考慮してなされたものであり、その目的は、過去の応対の対話における応対の目的達成に有用な対話の要素を適切に抽出することを図ることにある。
【課題を解決するための手段】
【0006】
本発明の一態様は、過去の応対の対話テキストに含まれる形態素について、前記対話テキストについての前記応対の目的の成否結果に基づき前記応対の目的達成に対する有用度を算出する有用度算出処理部と、前記有用度に基づいて、前記応対の目的達成に関する前記形態素の評価データを生成する評価処理部と、を備え、前記有用度算出処理部は、次式により有用度を算出する有用度算出部を備え、有用度＝（Ａ÷（Ａ＋Ｂ））÷（Ｃ÷（Ｃ＋Ｄ））、Ａは、有用度算出対象形態素が出現する前記対話テキストのうち、前記応対の目的の成否結果が成功である前記対話テキストの総数であり、Ｂは、有用度算出対象形態素が出現する前記対話テキストのうち、前記応対の目的の成否結果が失敗である前記対話テキストの総数であり、Ｃは、有用度算出対象形態素が出現しない前記対話テキストのうち、前記応対の目的の成否結果が成功である前記対話テキストの総数であり、
Ｄは、有用度算出対象形態素が出現しない前記対話テキストのうち、前記応対の目的の成否結果が失敗である前記対話テキストの総数であり、前記評価処理部は、前記形態素の特徴に基づいて前記形態素がクラスタリングされた形態素クラスタに対して前記評価データを生成する評価データ生成部と、同じ前記形態素クラスタに含まれる前記形態素の有用度に基づいて当該形態素クラスタの有用度代表値を算出し、前記有用度代表値が所定の閾値以上である前記形態素クラスタをトピッククラスタとして抽出するトピッククラスタ抽出部と、を備え、前記評価データ生成部は、前記トピッククラスタを前記評価データの生成対象にし、前記評価データは、前記トピッククラスタ毎に、前記応対についての目的達成率と、前記対話テキストにおける出現率と、前記応対についての目的成功の前記対話テキストにおける成功出現ポイントと、前記応対についての目的失敗の前記対話テキストにおける失敗出現ポイントとのうち少なくとも一つを含み、前記評価データ生成部は、算出対象トピッククラスタに属する形態素であって所定数の形態素が含まれる前記対話テキストの個数である出現数を算出し、前記目的達成率は、算出対象トピッククラスタについての前記出現数にカウントされた前記対話テキストのうち、前記応対の目的の成否結果が成功である前記対話テキストの割合であり、前記出現率は、前記対話テキストの総数に対する、算出対象トピッククラスタについての前記出現数の割合であり、前記成功出現ポイントは、算出対象トピッククラスタについての前記出現数にカウントされた前記対話テキストのうち前記応対の目的の成否結果が成功である前記対話テキストにおける形態素の並びにおいて、算出対象トピッククラスタに属する形態素が他の部分に比較して多く含まれる部分であり、前記失敗出現ポイントは、算出対象トピッククラスタについての前記出現数にカウントされた前記対話テキストのうち前記応対の目的の成否結果が失敗である前記対話テキストにおける形態素の並びにおいて、算出対象トピッククラスタに属する形態素が他の部分に比較して多く含まれる部分である、応対評価装置である。
本発明の一態様は、上記の応対評価装置において、前記評価処理部は、一の前記形態素と共に出現する他の前記形態素との組合せに基づいて、当該一の前記形態素の特徴を表す特徴量ベクトルを生成する形態素特徴化部と、一の前記形態素の前記特徴量ベクトルと他の前記形態素の前記特徴量ベクトルとの距離に基づいて、前記形態素クラスタを生成する形態素クラスタリング部と、を備える、応対評価装置である。
Ｄは、有用度算出対象形態素が出現しない前記対話テキストのうち、前記応対の目的の成否結果が失敗である前記対話テキストの総数であり、前記評価処理部は、前記形態素の特徴に基づいて前記形態素がクラスタリングされた形態素クラスタに対して前記評価データを生成する評価データ生成部と、同じ前記形態素クラスタに含まれる前記形態素の有用度に基づいて当該形態素クラスタの有用度代表値を算出し、前記有用度代表値が所定の閾値以上である前記形態素クラスタをトピッククラスタとして抽出するトピッククラスタ抽出部と、を備え、前記評価データ生成部は、前記トピッククラスタを前記評価データの生成対象にし、前記評価データは、前記トピッククラスタ毎に、前記応対についての目的達成率と、前記対話テキストにおける出現率と、前記応対についての目的成功の前記対話テキストにおける成功出現ポイントと、前記応対についての目的失敗の前記対話テキストにおける失敗出現ポイントとのうち少なくとも一つを含み、前記評価データ生成部は、算出対象トピッククラスタに属する形態素であって所定数の形態素が含まれる前記対話テキストの個数である出現数を算出し、前記目的達成率は、算出対象トピッククラスタについての前記出現数にカウントされた前記対話テキストのうち、前記応対の目的の成否結果が成功である前記対話テキストの割合であり、前記出現率は、前記対話テキストの総数に対する、算出対象トピッククラスタについての前記出現数の割合であり、前記成功出現ポイントは、算出対象トピッククラスタについての前記出現数にカウントされた前記対話テキストのうち前記応対の目的の成否結果が成功である前記対話テキストにおける形態素の並びにおいて、算出対象トピッククラスタに属する形態素が他の部分に比較して多く含まれる部分であり、前記失敗出現ポイントは、算出対象トピッククラスタについての前記出現数にカウントされた前記対話テキストのうち前記応対の目的の成否結果が失敗である前記対話テキストにおける形態素の並びにおいて、算出対象トピッククラスタに属する形態素が他の部分に比較して多く含まれる部分である、応対評価装置である。
本発明の一態様は、上記の応対評価装置において、前記評価処理部は、一の前記形態素と共に出現する他の前記形態素との組合せに基づいて、当該一の前記形態素の特徴を表す特徴量ベクトルを生成する形態素特徴化部と、一の前記形態素の前記特徴量ベクトルと他の前記形態素の前記特徴量ベクトルとの距離に基づいて、前記形態素クラスタを生成する形態素クラスタリング部と、を備える、応対評価装置である。
【0007】
本発明の一態様は、コンピュータに、過去の応対の対話テキストに含まれる形態素について、前記対話テキストについての前記応対の目的の成否結果に基づき前記応対の目的達成に対する有用度を算出する有用度算出処理ステップと、前記有用度に基づいて、前記応対の目的達成に関する前記形態素の評価データを生成する評価処理ステップと、を実行させるためのコンピュータプログラムであって、前記有用度算出処理ステップは、次式により有用度を算出し、有用度＝（Ａ÷（Ａ＋Ｂ））÷（Ｃ÷（Ｃ＋Ｄ））、Ａは、有用度算出対象形態素が出現する前記対話テキストのうち、前記応対の目的の成否結果が成功である前記対話テキストの総数であり、Ｂは、有用度算出対象形態素が出現する前記対話テキストのうち、前記応対の目的の成否結果が失敗である前記対話テキストの総数であり、Ｃは、有用度算出対象形態素が出現しない前記対話テキストのうち、前記応対の目的の成否結果が成功である前記対話テキストの総数であり、Ｄは、有用度算出対象形態素が出現しない前記対話テキストのうち、前記応対の目的の成否結果が失敗である前記対話テキストの総数であり、前記評価処理ステップは、前記形態素の特徴に基づいて前記形態素がクラスタリングされた形態素クラスタに対して前記評価データを生成する評価データ生成ステップと、同じ前記形態素クラスタに含まれる前記形態素の有用度に基づいて当該形態素クラスタの有用度代表値を算出し、前記有用度代表値が所定の閾値以上である前記形態素クラスタをトピッククラスタとして抽出するトピッククラスタ抽出ステップと、を含み、前記評価データ生成ステップは、前記トピッククラスタを前記評価データの生成対象にし、前記評価データは、前記トピッククラスタ毎に、前記応対についての目的達成率と、前記対話テキストにおける出現率と、前記応対についての目的成功の前記対話テキストにおける成功出現ポイントと、前記応対についての目的失敗の前記対話テキストにおける失敗出現ポイントとのうち少なくとも一つを含み、前記評価データ生成ステップは、算出対象トピッククラスタに属する形態素であって所定数の形態素が含まれる前記対話テキストの個数である出現数を算出し、前記目的達成率は、算出対象トピッククラスタについての前記出現数にカウントされた前記対話テキストのうち、前記応対の目的の成否結果が成功である前記対話テキストの割合であり、前記出現率は、前記対話テキストの総数に対する、算出対象トピッククラスタについての前記出現数の割合であり、前記成功出現ポイントは、算出対象トピッククラスタについての前記出現数にカウントされた前記対話テキストのうち前記応対の目的の成否結果が成功である前記対話テキストにおける形態素の並びにおいて、算出対象トピッククラスタに属する形態素が他の部分に比較して多く含まれる部分であり、前記失敗出現ポイントは、算出対象トピッククラスタについての前記出現数にカウントされた前記対話テキストのうち前記応対の目的の成否結果が失敗である前記対話テキストにおける形態素の並びにおいて、算出対象トピッククラスタに属する形態素が他の部分に比較して多く含まれる部分である、コンピュータプログラムである。
【0008】
本発明の一態様は、応対評価装置が、過去の応対の対話テキストに含まれる形態素について、前記対話テキストについての前記応対の目的の成否結果に基づき前記応対の目的達成に対する有用度を算出する有用度算出処理ステップと、前記応対評価装置が、前記有用度に基づいて、前記応対の目的達成に関する前記形態素の評価データを生成する評価処理ステップと、を含む応対評価方法であって、前記有用度算出処理ステップは、次式により有用度を算出し、有用度＝（Ａ÷（Ａ＋Ｂ））÷（Ｃ÷（Ｃ＋Ｄ））、Ａは、有用度算出対象形態素が出現する前記対話テキストのうち、前記応対の目的の成否結果が成功である前記対話テキストの総数であり、Ｂは、有用度算出対象形態素が出現する前記対話テキストのうち、前記応対の目的の成否結果が失敗である前記対話テキストの総数であり、Ｃは、有用度算出対象形態素が出現しない前記対話テキストのうち、前記応対の目的の成否結果が成功である前記対話テキストの総数であり、Ｄは、有用度算出対象形態素が出現しない前記対話テキストのうち、前記応対の目的の成否結果が失敗である前記対話テキストの総数であり、前記評価処理ステップは、前記形態素の特徴に基づいて前記形態素がクラスタリングされた形態素クラスタに対して前記評価データを生成する評価データ生成ステップと、同じ前記形態素クラスタに含まれる前記形態素の有用度に基づいて当該形態素クラスタの有用度代表値を算出し、前記有用度代表値が所定の閾値以上である前記形態素クラスタをトピッククラスタとして抽出するトピッククラスタ抽出ステップと、を含み、前記評価データ生成ステップは、前記トピッククラスタを前記評価データの生成対象にし、前記評価データは、前記トピッククラスタ毎に、前記応対についての目的達成率と、前記対話テキストにおける出現率と、前記応対についての目的成功の前記対話テキストにおける成功出現ポイントと、前記応対についての目的失敗の前記対話テキストにおける失敗出現ポイントとのうち少なくとも一つを含み、前記評価データ生成ステップは、算出対象トピッククラスタに属する形態素であって所定数の形態素が含まれる前記対話テキストの個数である出現数を算出し、前記目的達成率は、算出対象トピッククラスタについての前記出現数にカウントされた前記対話テキストのうち、前記応対の目的の成否結果が成功である前記対話テキストの割合であり、前記出現率は、前記対話テキストの総数に対する、算出対象トピッククラスタについての前記出現数の割合であり、前記成功出現ポイントは、算出対象トピッククラスタについての前記出現数にカウントされた前記対話テキストのうち前記応対の目的の成否結果が成功である前記対話テキストにおける形態素の並びにおいて、算出対象トピッククラスタに属する形態素が他の部分に比較して多く含まれる部分であり、前記失敗出現ポイントは、算出対象トピッククラスタについての前記出現数にカウントされた前記対話テキストのうち前記応対の目的の成否結果が失敗である前記対話テキストにおける形態素の並びにおいて、算出対象トピッククラスタに属する形態素が他の部分に比較して多く含まれる部分である、応対評価方法である。
【発明の効果】
【0009】
本発明によれば、過去の応対の対話における応対の目的達成に有用な対話の要素を適切に抽出することができるという効果が得られる。
【図面の簡単な説明】
【0010】
【図1】一実施形態に係る応対評価装置の構成例を示すブロック図である。
【図2】一実施形態に係る対話テキストデータベースの構成例を示す図である。
【図3】一実施形態に係る目的成否結果データベースの構成例を示す図である。
【図4】一実施形態に係る形態素リストの構成例を示す図である。
【図5】一実施形態に係る目的成否付き対話テキストデータの構成例を示す図である。
【図6】一実施形態に係る有用度付き全形態素リストの構成例を示す図である。
【図7】一実施形態に係る全形態素特徴量リストの構成例を示す図である。
【図8】一実施形態に係るトピック番号付き全形態素特徴量リストの構成例を示す図である。
【図9】一実施形態に係るトピック番号有用度付き全形態素特徴量リストの構成例を示す図である。
【図10】一実施形態に係る有用度付きトピッククラスタ形態素特徴量リストの構成例を示す図である。
【図11】一実施形態に係る評価データの構成例を示す図である。
【図12】一実施形態に係る評価データの構成例を示す図である。
【図13】一実施形態に係る評価データの構成例を示す図である。
【図14】一実施形態に係る応対評価方法の手順の一例を示すフローチャートである。
【発明を実施するための形態】
【0011】
以下、図面を参照し、本発明の実施形態について説明する。
図１は、一実施形態に係る応対評価装置の構成例を示すブロック図である。図１において、応対評価装置１は、対話テキストデータベース（対話テキストＤＢ）２と、目的成否結果データベース（目的成否結果ＤＢ）３と、形態素辞書４と、形態素分割部５と、有用度算出処理部１０と、評価処理部２０とを備える。
図１は、一実施形態に係る応対評価装置の構成例を示すブロック図である。図１において、応対評価装置１は、対話テキストデータベース（対話テキストＤＢ）２と、目的成否結果データベース（目的成否結果ＤＢ）３と、形態素辞書４と、形態素分割部５と、有用度算出処理部１０と、評価処理部２０とを備える。
【0012】
応対評価装置１の各機能は、応対評価装置１がＣＰＵ（Central Processing Unit：中央演算処理装置）及びメモリ等のコンピュータハードウェアを備え、ＣＰＵがメモリに格納されたコンピュータプログラムを実行することにより実現される。
なお、応対評価装置１として、汎用のコンピュータ装置を使用して構成してもよく、又は、専用のハードウェア装置として構成してもよい。例えば、応対評価装置１は、インターネット等の通信ネットワークに接続されるサーバコンピュータを使用して構成されてもよい。また、応対評価装置１の各機能はクラウドコンピューティングにより実現されてもよい。
なお、応対評価装置１として、汎用のコンピュータ装置を使用して構成してもよく、又は、専用のハードウェア装置として構成してもよい。例えば、応対評価装置１は、インターネット等の通信ネットワークに接続されるサーバコンピュータを使用して構成されてもよい。また、応対評価装置１の各機能はクラウドコンピューティングにより実現されてもよい。
【0013】
対話テキストＤＢ２は、過去の応対の対話テキストを蓄積するデータベースである。例えば、企業のサービスセンターにおける応対者と顧客との応対の対話がテキスト化されたテキスト（対話テキスト）が対話テキストＤＢ２に格納される。又は、例えば、商品販売店舗における応対者と顧客との応対の対話がテキスト化された対話テキストが対話テキストＤＢ２に格納される。図２は、本実施形態に係る対話テキストＤＢの構成例を示す図である。図２に示されるように、対話テキストＤＢ２は、対話識別子（対話ＩＤ）と対話（対話テキスト）とを関連付けて格納する。
ここで、一緒に評価される複数の対話テキストは、応対の目的が同じものである。このため、本実施形態の一例として、一の対話テキストＤＢ２には同じ目的の応対の対話テキストのみが格納されるようにし、一の対話テキストＤＢ２に格納される全ての対話テキストを一緒に評価する対象とする。したがって、異なる目的の応対の対話テキストはそれぞれ別個の対話テキストＤＢ２に格納されるようにする。
例えば、「ケース１：企業のサービスセンターにおける応対者と顧客との応対の対話テキスト」の応対の目的は顧客が応対に満足することであり、「ケース２：商品販売店舗における応対者と顧客との応対の対話テキスト」の応対の目的は顧客が商品を購入することであるとする。この場合、ケース１とケース２とは応対の目的が異なるので、ケース１とケース２とが別個に評価されるように、ケース１とケース２とでは対話テキストＤＢ２を別個に設ける。
なお、本実施形態の変形例として、一の対話テキストＤＢ２にケース１とケース２とを識別可能に格納し、ケース１を評価対象にする場合にはケース１のみを抽出し、一方、ケース２を評価対象にする場合にはケース２のみを抽出する対象対話抽出部を設けるようにしてもよい。
ここで、一緒に評価される複数の対話テキストは、応対の目的が同じものである。このため、本実施形態の一例として、一の対話テキストＤＢ２には同じ目的の応対の対話テキストのみが格納されるようにし、一の対話テキストＤＢ２に格納される全ての対話テキストを一緒に評価する対象とする。したがって、異なる目的の応対の対話テキストはそれぞれ別個の対話テキストＤＢ２に格納されるようにする。
例えば、「ケース１：企業のサービスセンターにおける応対者と顧客との応対の対話テキスト」の応対の目的は顧客が応対に満足することであり、「ケース２：商品販売店舗における応対者と顧客との応対の対話テキスト」の応対の目的は顧客が商品を購入することであるとする。この場合、ケース１とケース２とは応対の目的が異なるので、ケース１とケース２とが別個に評価されるように、ケース１とケース２とでは対話テキストＤＢ２を別個に設ける。
なお、本実施形態の変形例として、一の対話テキストＤＢ２にケース１とケース２とを識別可能に格納し、ケース１を評価対象にする場合にはケース１のみを抽出し、一方、ケース２を評価対象にする場合にはケース２のみを抽出する対象対話抽出部を設けるようにしてもよい。
【0014】
目的成否結果ＤＢ３は、対話テキストＤＢ２に格納される各対話テキストについて応対の目的の成否の結果を蓄積するデータベースである。例えば、企業のサービスセンターにおける応対者と顧客との応対の目的として、顧客が応対に満足することが挙げられる。例えば、商品販売店舗における応対者と顧客との応対の目的として、顧客が商品を購入することが挙げられる。図３は、本実施形態に係る目的成否結果ＤＢの構成例を示す図である。図３に示されるように、目的成否結果ＤＢ３は、対話ＩＤと当該対話ＩＤに該当する対話テキストの目的成否「１：成功」又は「０：失敗」とを関連付けて格納する。
【0015】
形態素辞書４は、文章を形態素に分割するための辞書である。形態素分割部５は、形態素辞書４を使用して対話テキストＤＢ２内の対話テキストを形態素に分割し、図４に例示されるように対話テキスト毎に形態素リストを生成する。また、全ての形態素の一覧（全形態素リスト）を生成する。
【0016】
有用度算出処理部１０は、過去の応対の対話テキストに含まれる形態素について、当該対話テキストについての当該応対の目的の成否結果に基づき当該応対の目的達成に対する有用度を算出する。ある形態素の有用度は、当該形態素が対話の中で応対の目的達成にどの程度役に立ったかを示す度合いである。
【0017】
有用度算出処理部１０は、目的成否結果結合部１１と、有用度算出部１２とを備える。
【0018】
目的成否結果結合部１１は、対話テキストＤＢ２内の対話テキストと目的成否結果ＤＢ３内の目的成否「１：成功」又は「０：失敗」とを、対話ＩＤをキーにして関連付ける。これにより、図５に例示されるように、同じ対話ＩＤの対話テキストと目的成否「１：成功」又は「０：失敗」とが関連付けられた目的成否付き対話テキストデータが生成される。
【0019】
有用度算出部１２は、対話テキストＤＢ２に格納されている対話テキストについて、目的成否付き対話テキストデータと形態素リストとを使用して、各形態素の有用度を算出する。有用度算出部１２は、有用度を算出する対象の形態素（有用度算出対象形態素）が出現する対話テキストにおける応対の目的の成功度と、当該有用度算出対象形態素が出現しない対話テキストにおける当該応対の目的の成功度とに基づいて、当該有用度算出対象形態素の有用度を算出する。以下に、有用度算出方法の例を説明する。
【0020】
［有用度算出方法の例］
有用度算出部１２は、次式により有用度を算出する。
有用度＝（Ａ÷（Ａ＋Ｂ））÷（Ｃ÷（Ｃ＋Ｄ））
但し、Ａは、有用度算出対象形態素が出現する対話テキストのうち、目的成否「１：成功」である対話テキストの総数である。Ｂは、有用度算出対象形態素が出現する対話テキストのうち、目的成否「０：失敗」である対話テキストの総数である。Ｃは、有用度算出対象形態素が出現しない対話テキストのうち、目的成否「１：成功」である対話テキストの総数である。Ｄは、有用度算出対象形態素が出現しない対話テキストのうち、目的成否「０：失敗」である対話テキストの総数である。
以上が有用度算出方法の例の説明である。
有用度算出部１２は、次式により有用度を算出する。
有用度＝（Ａ÷（Ａ＋Ｂ））÷（Ｃ÷（Ｃ＋Ｄ））
但し、Ａは、有用度算出対象形態素が出現する対話テキストのうち、目的成否「１：成功」である対話テキストの総数である。Ｂは、有用度算出対象形態素が出現する対話テキストのうち、目的成否「０：失敗」である対話テキストの総数である。Ｃは、有用度算出対象形態素が出現しない対話テキストのうち、目的成否「１：成功」である対話テキストの総数である。Ｄは、有用度算出対象形態素が出現しない対話テキストのうち、目的成否「０：失敗」である対話テキストの総数である。
以上が有用度算出方法の例の説明である。
【0021】
有用度算出部１２は、全形態素リストに対して各形態素の有用度を追記し、図６に例示されるように有用度付き全形態素リストを生成する。
【0022】
評価処理部２０は、有用度に基づいて、応対の目的達成に関する形態素の評価データを生成する。評価処理部２０は、形態素特徴化部２１と、形態素クラスタリング部２２と、有用度結合部２３と、トピッククラスタ抽出部２４と、評価データ生成部２５とを備える。
【0023】
形態素特徴化部２１は、全形態素リストに含まれる各形態素の特徴量を算出する。本実施形態の一例として、形態素特徴化部２１は、一の形態素と共に出現する他の形態素との組合せに基づいて、当該一の形態素の特徴を表す特徴量ベクトルを生成する。
【0024】
例えば、形態素特徴化部２１は、文章中の形態素の並びにおける一の形態素と当該形態素の前後の形態素との組合せに基づいて、形態素間の関係性を表す各形態素のベクトル（特徴量ベクトル）を生成する。形態素間の関係性については、機械学習を利用してもよい。例えば、文章中の形態素の並びにおける一の形態素と当該形態素の前後の形態素との組合せを深層学習することにより、形態素間の関係性を表す各形態素の特徴量ベクトルが生成されてもよい。
【0025】
形態素特徴化部２１は、形態素と特徴量とを関連付けた全形態素特徴量リストを生成する。図７に、全形態素特徴量リストの構成例が示される。図７に例示される全形態素特徴量リストは、形態素と特徴量ベクトルとが関連付けて記載されたリストである。
【0026】
形態素クラスタリング部２２は、全形態素特徴量リスト内の各形態素の特徴量に基づいて、各形態素を任意の個数のクラスタ（形態素クラスタ）にクラスタリングする。各形態素クラスタには、トピック番号が付与される。本実施形態の一例として、形態素クラスタリング部２２は、一の形態素の特徴量ベクトルと他の形態素の特徴量ベクトルとの距離に基づいて、形態素クラスタを生成する。特徴量ベクトル間の距離が短いほど、該当する形態素同士の類似度が高くなる。例えば、階層クラスタリング手法を用いてもよい。階層クラスタリング手法では、最も似ている形態素の組合せから順番に形態素クラスタに決定していき、最終的に全ての形態素が一つの形態素クラスタにまとまったら、クラスタリングを終了する。なお、クラスタ数は予め設定されてもよい。例えば、クラスタ数の上限が予め設定され、クラスタ数が上限に達したらクラスタリングを終了してもよい。
【0027】
形態素クラスタリング部２２は、クラスタリングの結果のトピック番号を全形態素特徴量リストに反映させる。図８に、トピック番号付き全形態素特徴量リストの構成例を示す。図８に例示されるように、トピック番号付き全形態素特徴量リストには、各形態素に対して形態素が属する形態素クラスタのトピック番号が関連付けて記載される。
【0028】
有用度結合部２３は、有用度付き全形態素リスト（図６参照）とトピック番号付き全形態素特徴量リスト（図８参照）とを結合して、図９に例示されるトピック番号有用度付き全形態素特徴量リストを生成する。図９において、トピック番号有用度付き全形態素特徴量リストには、形態素毎に、形態素と特徴量ベクトルとトピック番号と有用度とが関連付けて記載される。
【0029】
トピッククラスタ抽出部２４は、同じ形態素クラスタに含まれる形態素の有用度に基づいて当該形態素クラスタの有用度代表値を算出し、有用度代表値が所定の閾値以上である形態素クラスタをトピッククラスタとして抽出する。具体的には、トピック番号有用度付き全形態素特徴量リストにおいて、同じトピック番号の形態素の有用度に基づいて当該トピック番号の有用度代表値を算出する。有用度代表値は、例えば平均値である。次いで、有用度代表値が所定の閾値以上であるトピック番号の形態素クラスタをトピッククラスタに決定する。
なお、有用度代表値としては、例えば平均値や中央値や最小値などが利用可能である。
なお、有用度代表値としては、例えば平均値や中央値や最小値などが利用可能である。
【0030】
トピッククラスタ抽出部２４は、トピック番号有用度付き全形態素特徴量リストからトピッククラスタのみを抽出した有用度付きトピッククラスタ形態素特徴量リストを生成する。図１０に、有用度付きトピッククラスタ形態素特徴量リストの構成例を示す。図１０に例示される有用度付きトピッククラスタ形態素特徴量リストには、トピッククラスタに属する形態素のみが特徴量ベクトルとトピック番号と有用度とに関連付けて記載される。
【0031】
評価データ生成部２５は、形態素クラスタに対して評価データを生成する。評価データとして、形態素クラスタ毎に、応対についての目的達成率、対話テキストにおける出現率、応対についての目的成功の対話テキストにおける成功出現ポイント、応対についての目的失敗の対話テキストにおける失敗出現ポイントなどがある。これらのうち少なくとも一つを含む評価データが生成される。
【0032】
本実施形態の一例として、評価データ生成部２５は、トピッククラスタのみに対して評価データを生成する。この理由を説明する。形態素クラスタリング部２２によって生成された複数の形態素クラスタの中には、比較的に有用性が高いものから低いものまでが混在している可能性がある。このため、より有用度が高いトピッククラスタのみに限定して評価データを生成することにより、より的確な評価データを効率的に生成し提供することができるからである。
【0033】
評価データ生成部２５は、図１１に例示されるように、トピッククラスタ毎に、出現数、出現率、目的達成率、出現ポイントを算出する。
【0034】
出現数は、算出対象トピッククラスタに属する形態素であって所定数の形態素が含まれる対話テキストの個数である。当該所定数は、予め、任意の数が設定される。評価データ生成部２５は、有用度付きトピッククラスタ形態素特徴量リストと、各対話テキストの形態素リストとに基づいて、算出対象トピッククラスタについての出現数を算出する。
【0035】
出現率は、対話テキストＤＢ２内の対話テキストの総数に対する、算出対象トピッククラスタについての出現数の割合である。次式に出現率（百分率）の算出式を示す。
出現率＝「（算出対象トピッククラスタについての出現数）÷（対話テキストＤＢ２内の対話テキストの総数）」×１００［％］
出現率＝「（算出対象トピッククラスタについての出現数）÷（対話テキストＤＢ２内の対話テキストの総数）」×１００［％］
【0036】
目的達成率は、算出対象トピッククラスタについての出現数にカウントされた対話テキストＴａのうち、目的成否「１：成功」である対話テキストＴｂの割合である。次式に目的達成率（百分率）の算出式を示す。
目的達成率＝「（対話テキストＴｂの個数）÷（対話テキストＴａの個数）」×１００［％］
目的達成率＝「（対話テキストＴｂの個数）÷（対話テキストＴａの個数）」×１００［％］
【0037】
出現ポイントは、算出対象トピッククラスタについての出現数にカウントされた対話テキストＴａにおける形態素の並びにおいて、算出対象トピッククラスタに属する形態素が比較的多く含まれる部分である。本実施形態の一例として、対話テキストを対話の時系列に沿って前半部分と中盤部分と後半部分とに３等分し、前半部分と中盤部分と後半部分とのうち、算出対象トピッククラスタに属する形態素が比較的多く含まれる部分を出現ポイントとして判定する。但し、前半部分と中盤部分と後半部分とが同様である場合には、出現ポイントを「全体」とする。
【0038】
より具体的には、評価データ生成部２５は、算出対象トピッククラスタに属する形態素であって任意の数の形態素が、前半部分に含まれる対話テキストの個数と、中盤部分に含まれる対話テキストの個数と、後半部分に含まれる対話テキストの個数とを算出する。次いで、評価データ生成部２５は、当該算出結果の各部分についての対話テキストの個数をそれぞれ比較し、当該比較結果に基づいて出現ポイント「前半（前半部分）」、「中盤（中盤部分）」、「後半（後半部分）」又は「全体」を判定する。
【0039】
また、本実施形態の一例として、出現ポイントとしては、対話テキストＴａのうち、目的成否「１：成功」である対話テキストＴｂにおける出現ポイント（成功出現ポイント）と、目的成否「０：失敗」である対話テキストＴｃにおける出現ポイント（失敗出現ポイント）とを求める。
【0040】
評価処理部２０は、評価データ生成部２５が生成した評価データを出力する。評価データの出力方法として、例えば、液晶表示装置等の表示装置の表示画面上への評価データの表示、評価データの印字出力、電子メール等の通信データにより評価データを所定の宛先へ送信などが挙げられる。
【0041】
図１２及び図１３は、評価データの画面表示の例を示す図である。図１２において、各トピック番号についての目的達成率及び出現率が画面表示される。図１３において、各トピック番号についての成功出現ポイント（目的達成の欄）及び失敗出現ポイント（目的失敗の欄）が画面表示される。
【0042】
本実施形態に係る評価データによれば、形態素クラスタ毎に、目的達成率、出現率、成功出現ポイント、失敗出現ポイントなどの評価内容が示されるので、各形態素クラスタの評価内容に基づいて、応対における対話に反映させる形態素クラスタを適切に選択することができる。例えば、目的達成率が比較的良い形態素クラスタに属する形態素を使用して、当該形態素クラスタについての成功出現ポイント及び失敗出現ポイントを参考にして当該形態素クラスタに属する形態素を出現させる模範応対例を作成してもよい。応対スキルの低い人や応対経験の浅い人が当該模範応対例を使用することによって、応対の目的達成の向上に寄与することができる。
【0043】
また、トピッククラスタのみに対する評価データを生成して出力することにより、より的確な評価データを効率的に生成し提供することができる。
【0044】
【0045】
事前に、対話テキストＤＢ２内の対話テキストは形態素に分割され、図４に例示されるように対話テキスト毎に形態素リストが生成される。また、事前に、全ての形態素の一覧（全形態素リスト）が生成される。
【0046】
（ステップＳ１） 目的成否結果結合部１１は、対話テキストＤＢ２内の対話テキストと目的成否結果ＤＢ３内の目的成否「１：成功」又は「０：失敗」とを、対話ＩＤをキーにして関連付ける。これにより、図５に例示されるように、同じ対話ＩＤの対話テキストと目的成否「１：成功」又は「０：失敗」とが関連付けられた目的成否付き対話テキストデータが生成される。
【0047】
（ステップＳ２） 有用度算出部１２は、対話テキストＤＢ２に格納されている対話テキストについて、目的成否付き対話テキストデータと形態素リストとを使用して、各形態素の有用度を算出する。具体的には、有用度算出部１２は、有用度算出対象形態素が出現する対話テキストにおける応対の目的の成功度と、当該有用度算出対象形態素が出現しない対話テキストにおける当該応対の目的の成功度とに基づいて、当該有用度算出対象形態素の有用度を算出する。有用度算出部１２は、全形態素リストに対して各形態素の有用度を追記し、図６に例示されるように有用度付き全形態素リストを生成する。
【0048】
（ステップＳ３） 形態素特徴化部２１は、全形態素リストに含まれる各形態素の特徴量を算出する。具体的には、形態素特徴化部２１は、一の形態素と共に出現する他の形態素との組合せに基づいて、当該一の形態素の特徴を表す特徴量ベクトルを生成する。形態素特徴化部２１は、図７に例示されるように、形態素と特徴量とを関連付けた全形態素特徴量リストを生成する。
【0049】
（ステップＳ４） 形態素クラスタリング部２２は、全形態素特徴量リスト内の各形態素の特徴量に基づいて、各形態素を任意の個数の形態素クラスタにクラスタリングする。具体的には、形態素クラスタリング部２２は、一の形態素の特徴量ベクトルと他の形態素の特徴量ベクトルとの距離に基づいて、形態素クラスタを生成する。形態素クラスタリング部２２は、図８に例示されるように、クラスタリングの結果のトピック番号を全形態素特徴量リストに反映させる。
【0050】
（ステップＳ５） 有用度結合部２３は、有用度付き全形態素リスト（図６参照）とトピック番号付き全形態素特徴量リスト（図８参照）とを結合して、図９に例示されるトピック番号有用度付き全形態素特徴量リストを生成する。
【0051】
（ステップＳ６） トピッククラスタ抽出部２４は、同じ形態素クラスタに含まれる形態素の有用度に基づいて当該形態素クラスタの有用度代表値を算出し、有用度代表値が所定の閾値以上である形態素クラスタをトピッククラスタとして抽出する。具体的には、トピック番号有用度付き全形態素特徴量リストにおいて、同じトピック番号の形態素の有用度に基づいて当該トピック番号の有用度代表値を算出する。次いで、有用度代表値が所定の閾値以上であるトピック番号の形態素クラスタをトピッククラスタに決定する。トピッククラスタ抽出部２４は、図１０に例示されるように、トピック番号有用度付き全形態素特徴量リストからトピッククラスタのみを抽出した有用度付きトピッククラスタ形態素特徴量リストを生成する。
【0052】
（ステップＳ７） 評価データ生成部２５は、形態素クラスタ毎に、応対についての目的達成率、対話テキストにおける出現率、応対についての目的成功の対話テキストにおける成功出現ポイント、応対についての目的失敗の対話テキストにおける失敗出現ポイントなどを含む評価データを生成する。評価データ生成部２５は、トピッククラスタのみに対して評価データを生成してもよい。
【0053】
（ステップＳ８） 評価処理部２０は、評価データ生成部２５が生成した評価データを出力する。
【0054】
上述した実施形態によれば、応対評価装置１は、過去の応対の対話テキストに含まれる形態素について、前記対話テキストについての前記応対の目的の成否結果に基づき前記応対の目的達成に対する有用度を算出する有用度算出処理部１０と、前記有用度に基づいて、前記応対の目的達成に関する前記形態素の評価データを生成する評価処理部２０と、を備える。これにより、過去の応対の対話における応対の目的達成に有用な対話の要素を適切に抽出することができるという効果が得られる。
【0055】
以上、本発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
【0056】
また、上述した各装置の機能を実現するためのコンピュータプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行するようにしてもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものであってもよい。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＤＶＤ（Digital Versatile Disc）等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＤＶＤ（Digital Versatile Disc）等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
【0057】
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Dynamic Random Access Memory））のように、一定時間プログラムを保持しているものも含むものとする。
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。
また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。
また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【符号の説明】
【0058】
１…応対評価装置、２…対話テキストデータベース（対話テキストＤＢ）、３…目的成否結果データベース（目的成否結果ＤＢ）、４…形態素辞書、５…形態素分割部、１０…有用度算出処理部、１１…目的成否結果結合部、１２…有用度算出部、２０…評価処理部、２１…形態素特徴化部、２２…形態素クラスタリング部、２３…有用度結合部、２４…トピッククラスタ抽出部、２５…評価データ生成部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】