(58)【調査した分野】(Int.Cl.,DB名)
通話の内容を記録したテキスト文書に含まれる複数の単位テキストそれぞれに関する形態素解析処理の結果と、音声データにより示される前記通話において発された複数の発話音声それぞれに関する音声認識処理の結果と、に基づき、前記単位テキストをいずれかの前記発話音声に関連づける関連づけ手段と、
前記テキスト文書に含まれる前記複数の単位テキストにおいて、前記複数の発話音声のうちの予め定められた重要語の音声を含む発話音声である重要発話音声の前の発話音声に関連づけられた前記単位テキストたる第1テキストと、前記重要発話音声の後の発話音声に関連づけられた前記単位テキストたる第2テキストと、の間に、前記重要語の文字列を含む前記単位テキストが存在するか否かを判定する判定手段と、
を含む情報処理装置。
前記通話の内容を記録したテキスト文書に含まれる複数の単位テキストそれぞれに関する形態素解析処理の結果と、音声データにより示される前記通話において発された複数の前記発話音声それぞれに関する音声認識処理の結果と、に基づき、前記単位テキストをいずれかの発話音声に関連づける関連づけ手段、
前記テキスト文書に含まれる前記複数の単位テキストにおいて、前記複数の発話音声のうちの予め定められた重要語の音声を含む発話音声である重要発話音声の前の発話音声に関連づけられた前記単位テキストたる第1テキストと、前記重要発話音声の後の発話音声に関連づけられた前記単位テキストたる第2テキストと、の間に、前記重要語の文字列を含む前記単位テキストが存在するか否かを判定する判定手段、
としてコンピュータを機能させるためのプログラム。
【発明の概要】
【発明が解決しようとする課題】
【0004】
本発明の目的は、通話において発された重要語が通話の内容を記録したテキスト文書中のしかるべき場所に記載されているか否かを判別することである。
【課題を解決するための手段】
【0005】
上記課題を解決するために、請求項1に記載の情報処理装置は、通話の内容を記録したテキスト文書に含まれる複数の単位テキストそれぞれに関する形態素解析処理の結果と、音声データにより示される前記通話において発された複数の発話音声それぞれに関する音声認識処理の結果と、に基づき、各単位テキストを、いずれかの発話音声に関連づける関連づけ手段と、前記複数の発話音声のうちの予め定められた重要語の音声を含む発話音声である重要発話音声、の前の発話音声に関連づけられた単位テキストたる第1テキストと、前記重要発話音声の後の発話音声に関連づけられた単位テキストたる第2テキストと、の間に、前記重要語の文字列を含む単位テキストが存在するか否かを判定する判定手段と、を含む。
【0006】
また、請求項2に記載の情報処理装置は、請求項1に記載の情報処理装置において、前記第1テキストと前記第2テキストとの間に、前記重要語の文字列を含む単位テキストが存在しないと判定された場合に、その旨を出力することを特徴としている。
【0007】
また、請求項3に記載の情報処理装置は、請求項2に記載の情報処理装置に、前記テキスト文書を表示手段に表示させる表示制御手段をさらに備えさせ、前記表示制御手段が、前記第1テキストと前記第2テキストとの間に、前記重要語の文字列を含む単位テキストがない場合、前記テキスト文書とともに、前記重要語を示す情報を、前記表示手段に表示させること、を特徴としている。
【0008】
また、請求項4に記載の情報処理装置は、請求項3に記載の情報処理装置に、前記第1テキストと前記第2テキストとの間に、前記重要語の文字列と予め定められた関係を有する文字列である代替文字列を含む単位テキストがあるか否かを判定する手段をさらに備えさせ、前記表示制御手段が、前記第1テキストと前記第2テキストとの間に、前記代替文字列を含む単位テキストがある場合、前記テキスト文書とともに、前記重要語と前記代替文字列とを示す情報を、前記表示手段に表示させること、を特徴としている。
【0009】
また、請求項5に記載の情報処理装置は、請求項4に記載の情報処理装置に、前記第1テキストと前記第2テキストとの間に、前記代替文字列を含む単位テキストがある場合、前記テキスト文書を更新し、前記第1テキストと前記第2テキストとの間に存在する単位テキストに含まれる前記代替文字列を、前記重要語の文字列に修正する手段、をさらに備えさせたことを特徴としている。
【0010】
また、請求項6に記載の情報処理装置は、請求項1乃至5のいずれかに記載の情報処理装置に、形態素解析処理により、各単位テキストに含まれる自立語を抽出する自立語抽出手段と、音声認識処理により、各発話音声で発される、前記自立語抽出手段により抽出された自立語を特定する自立語特定手段と、をさらに備えさせ、前記関連づけ手段が、各単位テキストを、その単位テキストに含まれる自立語と同一の自立語が発される発話音声に関連づけることを特徴としている。
【0011】
また、請求項7に記載の情報処理装置は、請求項1乃至6のいずれかに記載の情報処理装置に、前記複数の発話音声を示す前記音声データを取得する音声取得手段をさらに備えさせたことを特徴としている。
【0012】
上記課題を解決するために、請求項8に記載のプログラムは、通話の内容を記録したテキスト文書に含まれる複数の単位テキストそれぞれに関する形態素解析処理の結果と、音声データにより示される前記通話において発された複数の発話音声それぞれに関する音声認識処理の結果と、に基づき、各単位テキストをいずれかの発話音声に関連づける関連づけ手段、前記複数の発話音声のうちの予め定められた重要語の音声を含む発話音声である重要発話音声、の前の発話音声に関連づけられた単位テキストたる第1テキストと、前記重要発話音声の後の発話音声に関連づけられた単位テキストたる第2テキストと、の間に、前記重要語の文字列を含む単位テキストが存在するか否かを判定する判定手段、としてコンピュータを機能させる。
【発明の効果】
【0013】
請求項1、7、8の発明によれば、通話において発された重要語が通話の内容を記録したテキスト文書中のしかるべき場所に記載されているか否かを判別できる。
【0014】
請求項2の発明によれば、重要語がテキスト文書中のしかるべき場所に記載されていないことを、報知できる。
【0015】
請求項3の発明によれば、本構成を有しない場合と比較して、重要語がテキスト文書中のしかるべき場所に記載されていないことを、より詳しく報知できる。
【0016】
請求項4の発明によれば、例えば、重要語がテキスト文書中のしかるべき場所に記載されているものの、重要語が正しく記載されていないことを、報知できる。
【0017】
請求項5の発明によれば、例えば、しかるべき場所に記載されている重要語の誤りを訂正できる。
【0018】
請求項6の発明によれば、重要語が記録されるべきテキスト文書中の場所を、本構成を有しない場合と比較して、より正確に特定できる。
【発明を実施するための形態】
【0020】
以下、本発明の実施形態の例について図面に基づき詳細に説明する。
【0021】
図1は、本発明の実施形態に係る情報処理装置2のハードウェア構成を示す図である。情報処理装置2は、制御部4、主記憶6、ハードディスク8、表示部10、及び操作入力部12等を備えたコンピュータとして実現される。本実施形態の場合、情報処理装置2は、製造業者により利用される。
【0022】
制御部4は、マイクロプロセッサであり、主記憶6に格納されるプログラムに従って各種情報処理を実行する。主記憶6は、ROM及びRAMによって実現され、上記プログラムの他、各種情報処理に必要な情報を格納する。ここで、上記プログラムは、コンピュータ読み取り可能な情報記憶媒体(例えば、DVD(登録商標)−ROM)から読み出されて主記憶6に格納される。上記プログラムは、ネットワークを介してダウンロードされて主記憶6に格納されてもよい。
【0023】
ハードディスク8は、各種情報を記憶する。ハードディスク8に記憶される情報については後述する。表示部10は、液晶ディスプレイ等のディスプレイであり、制御部4の命令に従い、情報を表示する。
【0024】
また、操作入力部12は、マウス及びキーボード等であり、情報処理装置2の管理者が実行した操作内容を示す信号を、制御部4に渡す。
【0025】
図2は、情報処理装置2で実現される機能群を示す機能ブロック図である。情報処理装置2では、通話音声データ記憶部8a、通話要約記憶部8b、及び重要語記憶部8cが実現される。これらは、ハードディスク8により実現される。
【0026】
また、情報処理装置2では、さらに、キーワード記憶部6a、ワードスポッティング結果記憶部6b、及びペア記憶部6cが実現される。これらは、主記憶6により実現される。
【0027】
また、情報処理装置2では、さらに、キーワード抽出部4a、音声認識部4b、ワードスポッティング部4c、関連づけ実行部4d、重要発話音声特定部4e、第1対象テキスト特定部4f、第2対象テキスト特定部4g、重要語有無判定部4h、及び通話要約表示部4fが実現される。これらは、管理者により通話要約表示操作が行われた場合に制御部4が上記プログラムに従い情報処理を実行することによって実現される。
【0028】
[通話音声データ記憶部]
通話音声データ記憶部8aは、製造業者のコールセンターで働くオペレータが、顧客との通話において発した一連の発話音声を示す音声データである通話音声データ14を記憶している。通話音声データ14は、通話中にオペレータが電話の受話器に入力した音声の録音データである。
【0029】
図3は、通話音声データ14の一例を示す図である。矢印は、通話開始からの時間経過を示す。通話音声データ14は、オペレータが発した一連の発話音声に係る音声部分を含む。オペレータが発話を行っていない部分をハッチングしている。通話音声データ14には、各発話音声の開始タイミング及び終了タイミングが記録されている。また、本実施形態の場合、各発話音声には先頭から通し番号(以下、発話番号と表記する)が付与されており、通話音声データ14には、各発話音声の発話番号が記録されている。
図4に、一部の発話音声の一例を示した。
図4では、各発話音声の左に発話番号を記載している。
【0030】
[通話要約記憶部]
通話要約記憶部8bは、通話要約データを記憶している。通話要約データは、顧客との通話が終了した後、通話内容を思い出しながらオペレータが作成したテキスト文書を示す文書データである。テキスト文書には、通話の内容が記録され、複数の文それぞれのテキスト(以下、テキスト文と表記する)が含まれる。すなわち、テキスト文書には、オペレータの発話部分に係る複数のテキスト文(複数の単位テキストに相当)と、顧客の発話部分に係る複数のテキスト文と、が含まれる。本実施形態の場合、文書データには、各テキスト文がオペレータと顧客とのうちのどちらの発話部分に係るテキスト文なのかを示す情報が含まれる。
図5に、テキスト文書の内容の一例を示した。本実施形態の場合、一つの行に記載の文字列が一つのテキスト文となる。なお、
図5では、便宜上、各テキスト文の左に通し番号を記載している。また、
図5では、便宜上、オペレータの発話部分に係るテキスト文を太字で示している。
【0031】
以下、オペレータの発話部分に係るテキスト文のことを、対象テキストと表記する。
【0032】
[重要語記憶部]
重要語記憶部8cは、重要語リストを記憶している。重要語リストは、管理者により予め登録されている複数の重要語を示すデータである。また、重要語リストは、各重要語の読み方も示す。
図6は、重要語リストの一例を示す図である。同図に示すように、重要語リストは、重要語ごとに、その重要語の文字列と、その重要語の読み方を示す音素と、を関連付けて記憶している。
【0033】
なお、重要語リストが表す各重要語の文字列及び音素は、音声認識のための単語辞書に予め登録されている。
【0034】
通話音声データ、通話要約データ、及び重要語リストは、上述した通話要約表示操作が行われた場合に、制御部4(音声取得手段)により読み出される。
【0035】
次に、キーワード抽出部4a、音声認識部4b、ワードスポッティング部4c、関連づけ実行部4d、及び重要発話音声特定部4eについて説明する。
【0036】
[キーワード抽出部]
キーワード抽出部4aは、各対象テキストに対して形態素解析処理を行い、各対象テキストに含まれる自立語をキーワードとして抽出する。
【0037】
本実施形態の場合、キーワード抽出部4aは、まず、テキスト文書中の各テキスト文に対して、先頭のテキスト文から通し番号(以下、文番号と表記する)を付与する。その後、キーワード抽出部4aは、テキスト文書中の対象テキストごとに、形態素解析処理を行ってその対象テキストに含まれる自立語をキーワードとして抽出するとともに、抽出したキーワードをその対象テキストの文番号と関連づけてキーワード記憶部6aに保存する。なお、形態素解析処理のための形態素解析器としては、MeCab、茶筌、及びJUMANなどが用いられる。
図7に、キーワード記憶部6aの記憶内容を示した。括弧内の数字は、文番号を示している。また、文番号の右側に、その文番号の対象テキストから抽出されたキーワードを示している。
【0038】
[音声認識部]
音声認識部4bは、通話音声データに対して音声認識処理を実行する。本実施形態の場合、音声認識部4bは、オープンソースの音声認識エンジン「Julius」で用いられる音声認識アルゴリズムに従って、通話音声データに対して音声認識処理を実行する。これにより、音声認識部4bは、発話音声ごとに、音声認識処理の結果であるいわゆる単語ラティスを得る。また、音声認識部4bは、発話音声の発話番号に関連づけてその発話音声から得られた単語ラティスのデータを主記憶6に保存する。
【0039】
図8は、単語ラティスの一例を示す図である。同図に示すように、単語ラティスは、一つ一つの単語と、連接可能な単語を結ぶリンクと、を含むグラフを表す。一つ一つの単語がノードに対応している。矩形がノード(単語)を表し、矩形間を結ぶ線がリンクを表している。
【0040】
[ワードスポッティング部]
ワードスポッティング部4cは、発話音声ごとに、その発話音声で発される重要語及びキーワードを、その発話音声の発話番号に関連づけられた単語ラティスのデータに基づいて特定する。
【0041】
本実施形態では、ワードスポッティング部4cは、まず、キーワード記憶部6aの記憶内容に基づいてキーワード抽出部4aが各対象テキストから抽出したキーワードの集合(以下、キーワード集合と表記する)を示すデータを生成する。そして、ワードスポッティング部4cは、発話音声ごとに、その発話音声の発話番号に関連づけられた単語ラティスに含まれる重要語及びキーワード(すなわちその発話音声で発される重要語及びキーワード)を重要語リスト及びキーワード集合を示すデータに基づいて特定するとともに、特定した重要語及びキーワードをその発話音声の発話番号に関連づけてワードスポッティング結果記憶部6bに保存する。
【0042】
図9に、ワードスポッティング結果記憶部6bの記憶内容を示した。括弧内の数字は、発話番号を示している。また、発話番号の右側に、その発話番号の発話音声で発される重要語及びキーワードを示している。重要語及びキーワードは区別して記憶される。
図9では、重要語に二重下線し、キーワードに一重下線している。
【0043】
[関連づけ実行部]
関連付け実行部4dは、各対象テキストを、いずれかの発話音声に関連づける。
【0044】
図10は、関連づけ実行部4dにより実行される処理を示すフロー図である。まず、関連づけ実行部4dは、テキスト文書に含まれる複数の対象テキストを文番号の昇順にソートする(S101)。以下、「i」番目の対象テキストのことを対象テキスト[i]と表記する。
【0045】
また、関連づけ実行部4dは、発話音声集合を設定する(S102)。すなわち、S102で関連づけ実行部4dは、通話音声データが表す複数の発話音声全部を、発話音声集合の元として設定する。
【0046】
そして、一番目の対象テキスト[1]から順番にS103以降のステップが実行される。
【0047】
すなわち、関連づけ実行部4dは、発話音声集合に含まれる発話音声を発話番号の昇順にソートする(S103)。以下、「j」番目の発話音声のことを発話音声[j]と表記する。そして、関連づけ実行部4dは、一番目の発話音声[1]から順番にS104及びS105のステップを実行する。
【0048】
すなわち、関連づけ実行部4dは、対象テキスト[i]と発話音声[j]とで共有されるキーワードの数(以下、キーワード数と表記する)を計数する(S104)。より詳しくは、S104で関連づけ実行部4dは、対象テキスト[i]の文番号に関連づけてキーワード記憶部6aに記憶されるキーワードの集合と、発話音声[j]の発話番号に関連づけてワードスポッティング結果記憶部6bに記憶されるキーワードの集合と、の両方に含まれるキーワードの数をキーワード数として計数する。
【0049】
また、関連づけ実行部4dは、S104で計数したキーワード数を、発話音声[j]の発話番号に関連づけて主記憶6に保存する。こうして、発話音声集合中の全発話音声につきキーワード数が計数される。その後、関連づけ実行部4dは、主記憶6に記憶されるキーワード数のうちの最大のキーワード数に関連づけられた発話番号を特定し(S106)、特定した発話番号と対象テキスト[i]の文番号とのペアをペア記憶部6cに保存する(S107)。なお、主記憶6に記憶されるキーワード数がすべて「0」の場合、S106及びS107はスキップされる。
【0050】
また、関連づけ実行部4dは、S106のステップで特定した発話番号以前の発話番号が付与された発話音声を、発話音声集合から削除する(S108)。
【0051】
図11に、関連づけ実行部4dにより対象テキストが発話音声に関連づけられる様子を示す概念図を示した。各矢印が関連づけ先の発話音声を示している。同図によれば、発話番号が「34」の発話音声に文番号が「24」の対象テキストが関連づけられている。また、発話番号が「38」の発話音声に文番号が「25」の対象テキストが関連づけられている。発話番号が「44」の発話音声に文番号が「26」の対象テキストが関連づけられている。
【0052】
[重要発話音声特定部]
重要発話音声特定部4eは、通話音声データが表す複数の発話音声のうちで、いずれかの重要語の音声を含む発話音声である重要発話音声を特定する。本実施形態の場合、重要発話音声特定部4eは、ワードスポッティング結果記憶部6bの記憶内容に基づいて重要発話音声を特定する。より詳しくは、重要発話音声特定部4eは、ワードスポッティング結果記憶部6bに記憶される発話番号のうちで、いずれかの重要語に関連づけられている発話番号を1又は複数特定する。
【0053】
次に、第1対象テキスト特定部4f、第2対象テキスト特定部4g、重要語有無判定部4h、及び通話要約表示部4fについて説明する。なお、以下、重要発話音声特定部4eにより特定された1又は複数の発話番号のうちの任意の発話番号、の発話音声のことを重要発話音声Xと呼ぶ。
【0054】
[第1対象テキスト特定部]
第1対象テキスト特定部4fは、重要発話音声Xより発話番号が前の発話音声、に関連づけられた対象テキスト(以下、第1対象テキストと表記する)を特定する。具体的には、第1対象テキスト特定部4fは、重要発話音声Xの発話番号より小さい発話番号を含むペアのうちで、最大の発話番号を含むペアを特定し、特定したペアに含まれる文番号を、第1対象テキストの文番号として特定する。例えば、
図11に示す発話番号「41」の発話音声が重要発話音声Xである場合、発話番号「38」の発話音声に関連づけられた、文番号「25」の対象テキストが第1対象テキストとして特定される。
【0055】
[第2対象テキスト特定部]
第2対象テキスト特定部4gは、重要発話音声Xより発話番号が後の発話音声、に関連づけられた対象テキスト(以下、第2対象テキストと表記する)を特定する。具体的には、第2対象テキスト特定部4gは、重要発話音声Xの発話番号より大きい発話番号を含むペアのうちで、最小の発話番号を含むペアを特定し、特定したペアに含まれる文番号を、第2対象テキストの文番号として特定する。例えば、
図11に示す発話番号「41」の発話音声が重要発話音声Xである場合、発話番号「44」の発話音声に関連づけられた、文番号「26」の対象テキストが第2対象テキストとして特定される。
【0056】
[重要語有無判定部]
重要語有無判定部4hは、第1対象テキストと第2対象テキストとの間に、重要発話音声Xで発される重要語、の文字列を含む対象テキストが存在するか否かを判定する。
【0057】
図12は、重要語有無判定部4hにより実行される処理を示すフロー図である。まず、重要語有無判定部4hは、主記憶6に記憶されるフラグの値を「0」に設定する(S201)。また、重要語有無判定部4hは、第1対象テキストの文番号と第2対象テキストの文番号とが連番になっているか否かを判定する(S202)。第1対象テキストの文番号と第2対象テキストの文番号とが連番になっている場合(S202のYES)、重要語有無判定部4hは、処理を終了する。
【0058】
一方、第1対象テキストの文番号と第2対象テキストの文番号とが連番になっていない場合(S202のNO)、重要語有無判定部4hは、第1対象テキストの文番号と第2対象テキストの文番号との間の文番号の対象テキストを、文番号の昇順にソートする(S203)。以下、「i」番目の対象テキストのことを対象テキスト[i]と表記する。
【0059】
そして、重要語有無判定部4hは、「1」番目の対象テキスト[1]から順番に、対象テキスト[i]が、重要発話音声Xの発話番号に関連づけてワードスポッティング結果記憶部6bに記憶される重要語の文字列を含むか否かを、通話要約データ及び重要語リストに基づいて判定する(S204)。対象テキスト[i]が、重要発話音声Xの発話番号に関連づけて記憶される重要語の文字列を含む場合(S204のYES)、重要語有無判定部4hは、フラグの値を「1」に更新し(S205)、処理を終了する。
【0060】
フラグの値「0」は、「重要発話音声Xで発される重要語の文字列を含む対象テキストが第1対象テキストと第2対象テキストとの間に存在しない」ことを示し、フラグの値「1」は、「重要発話音声Xで発される重要語の文字列を含む対象テキストが第1対象テキストと第2対象テキストとの間に存在する」ことを示す。
【0061】
[通話要約表示部]
通話要約表示部4iは、通話要約データが表すテキスト文書の画像16を表示部10に表示する。但し、上記フラグの値が「0」である場合、すなわち、重要発話音声Xで発される重要語の文字列を含む対象テキストが第1対象テキストと第2対象テキストとの間に存在しない場合、通話要約表示部4iは、その旨を示す情報を出力する。すなわち、上記フラグの値が「0」である場合、通話要約表示部4iは、
図13に示すように、重要発話音声Xの発話番号に関連づけられた重要語を示す情報(ここでは、文字列)を含む図、アイコン、及びウィンドウ等の画像18を、画像16と併せて表示部10に表示する。文字列「Fujisan x430」が重要語の文字列を示す。
【0062】
以上のように、この情報処理装置2では、通話においてオペレータが発した重要語がテキスト文書中のしかるべき場所に記載されているか否かが判別される。また、通話においてオペレータが発した重要語がテキスト文書中のしかるべき場所に記録されていないことが、管理者に報知される。
【0063】
なお、本発明の実施形態は、上記実施形態だけに限らない。
【0064】
[変形例]
例えば、重要語有無判定部4hは、第1対象テキストと第2対象テキストとの間に、重要語の文字列と所定関係を有する代替文字列を含む対象テキストが存在するか否かも判定してよい。ここで、代替文字列とは、例えば、重要語の上位概念語又は下位概念語の文字列、重要語の類義語の文字列、及び重要語の文字列の一部の文字のケース(大文字小文字の区別)を変更した文字列などである。ここでは、代替文字列が、「重要語の文字列の一部の文字のケースを変更した文字列」である場合を例に取り上げ、変形例を説明する。
【0065】
図14は、変形例において、重要語有無判定部4hにより実行される処理を示すフロー図である。同図に示すように、変形例では、
図12に示す処理に、S206及びS207のステップが加えられている。すなわち、重要語有無判定部4hは、対象テキスト[i]が重要発話音声Xの発話番号に関連づけて記憶される重要語の文字列を含まない場合に(S205のNO)、さらに、対象テキスト[i]が代替文字列を含むか否かを判定する(S206)。そして、重要語有無判定部4hは、対象テキスト[i]が代替文字列を含む場合(S206のYES)、対象テキスト[i]の文番号を文番号Xとして主記憶6に保存するとともに、上記フラグの値を「2」に更新して(S207)、処理を終了する。
【0066】
フラグの値「2」は、「代替文字列を含む対象テキストが第1対象テキストと第2対象テキストとの間に存在する」ことを示す。
【0067】
また、変形例では、通話要約表示部4iが、上記フラグの値が「2」である場合、
図15に示すように、重要発話音声Xの発話番号に関連づけられた重要語とその代替文字列とを示す情報(ここでは、文字列)を含む図、アイコン、及びウィンドウ等の修正案内画像20を、画像16と併せて表示部10に表示する。文字列「Fujisan x430」が重要語の文字列であり、文字列「FUJISAN X430」が代替文字列を示す。
図15に示すように、修正案内画像20には、修正指示画像22及びキャンセル指示画像24が含まれる。
【0068】
また、変形例では、通話要約表示部4iは、修正指示ボタン画像22を選択する操作が行われた場合に、以下に説明するようにして通話要約データを更新する。すなわち、通話要約表示部4iは、文番号Xの対象テキストに含まれる代替文字列を、重要発話音声Xの発話番号に関連づけられた重要語の文字列へと修正する。