特許 7164372 音声認識システム及び音声認識方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-10-24

(45)【発行日】2022-11-01

(54)【発明の名称】音声認識システム及び音声認識方法

(51)【国際特許分類】

   G10L 15/10 20060101AFI20221025BHJP

   G10L 15/22 20060101ALI20221025BHJP

   G10L 15/00 20130101ALI20221025BHJP

   H04M 3/51 20060101ALI20221025BHJP

【ＦＩ】

G10L15/10 500Z

G10L15/22 453

G10L15/00 200Z

H04M3/51

【請求項の数】 8

(21)【出願番号】P 2018177526

(22)【出願日】2018-09-21

(65)【公開番号】P2020046634

(43)【公開日】2020-03-26

【審査請求日】2021-09-07

(73)【特許権者】

【識別番号】000233295

【氏名又は名称】株式会社日立情報通信エンジニアリング

(74)【代理人】

【識別番号】110001689

【氏名又は名称】青稜弁理士法人

(72)【発明者】

【氏名】呰上 興平

(72)【発明者】

【氏名】杉山 隆司

【審査官】中村 天真

(56)【参考文献】

【文献】特開２００９－１５９５５８（ＪＰ，Ａ）

【文献】国際公開第２０１４／０６９０７６（ＷＯ，Ａ１）

【文献】特開２０１７－１３５６４２（ＪＰ，Ａ）

【文献】特開２０１７－０８５４１１（ＪＰ，Ａ）

【文献】特開２０１１－１５１４９７（ＪＰ，Ａ）

【文献】特開２００４－２５２６６８（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ１０Ｌ １３／００－２５／９３

Ｈ０４Ｍ ３／５１

ＩＥＥＥ Ｘｐｌｏｒｅ

(57)【特許請求の範囲】

【請求項1】

顧客の発話内容を録音する通話録音装置と、
前記通話録音装置に録音された前記顧客の発話内容に対して音声認識を行う音声認識装置と、
前記音声認識装置により音声認識された前記顧客の発話内容の音声認識結果に基づいて、オペレータが前記顧客から受けた負荷状態を評価して評価結果を求める認識結果管理装置と、
前記認識結果管理装置により求めた前記負荷状態の前記評価結果を負荷状態画面に表示する管理者端末と、
を有し、
前記認識結果管理装置は、
前記負荷状態を評価するための評価値を規定した負荷評価値テーブルと、
前記オペレータの負荷となる負荷単語を規定した負荷単語テーブルと、
前記オペレータが前記顧客から受けた前記負荷状態を評価した前記評価結果を格納する負荷状態テーブルと、を有し、
前記認識結果管理装置は、
前記音声認識装置から取得した前記顧客の発話内容の前記音声認識結果と、前記負荷評価値テーブル及び前記負荷単語テーブルとを参照して、前記オペレータが前記顧客から受けた前記負荷状態を前記オペレータごとに評価して、前記評価結果を前記オペレータごとに前記負荷状態テーブルに蓄積し、
前記管理者端末は、
前記負荷状態テーブルに蓄積された前記評価結果を前記オペレータごと前記負荷状態画面に表示し、
前記認識結果管理装置は、
前記負荷評価値テーブルにおいて、前記評価値として、前記顧客の発話内容の非言語情報中に含まれる前記顧客の発話内容の音量と話速及び前記顧客の発話内容の言語情報中に含まれる前記負荷単語の件数を規定することを特徴とする音声認識システム。

【請求項2】

前記認識結果管理装置は、
前記音声認識装置から取得した前記顧客の発話内容の認識結果と、前記負荷評価値テーブルで規定された前記評価値と比較することにより、前記顧客の発話内容が前記オペレータに対して負荷となるか否かを評価し、前記評価結果を負荷又は平常として前記負荷状態テーブルに蓄積することを特徴とする請求項１に記載の音声認識システム。

【請求項3】

前記認識結果管理装置は、
前記顧客の発話内容の前記音声認識結果から、前記顧客の発話内容の前記非言語情報を取得し、
前記非言語情報の中から発話音量を抽出し、
前記発話音量と前記音量の評価値を比較して、前記発話音量が前記音量の前記評価値よりも大きいかを判定し、
前記発話音量が前記音量の評価値よりも大きい場合には、前記音量の評価結果を前記負荷と規定し、
前記発話音量が前記音量の評価値よりも大きくない場合には、前記音量の評価結果を前記平常と規定することを特徴とする請求項２に記載の音声認識システム。

【請求項4】

前記認識結果管理装置は、
前記顧客の発話内容の前記音声認識結果から、前記顧客の発話内容の前記非言語情報を取得し、
前記非言語情報の中から発話話速を抽出し、
前記発話話速と前記話速の評価値を比較して、前記発話話速が前記話速の前記評価値よりも大きいかを判定し、
前記発話話速が前記話速の評価値よりも大きい場合には、前記話速の評価結果を前記負荷と規定し、
前記発話話速が前記話速の評価値よりも大きくない場合には、前記話速の評価結果を前記平常と規定することを特徴とする請求項２に記載の音声認識システム。

【請求項5】

前記認識結果管理装置は、
前記顧客の発話内容の前記音声認識結果から、前記顧客の発話内容の前記言語情報を取得し、
前記言語情報の中から単語情報を抽出し、
前記単語情報の中に、前記負荷単語テーブルに規定された前記負荷単語が存在するかを判定し、
前記負荷単語が存在する場合には、前記単語情報中の前記負荷単語の発話単語件数を算出し、
前記発話単語件数と前記負荷単語の評価値を比較して、前記発話単語件数が前記負荷単語の評価値よりも大きいかを判定し、
前記発話単語件数が前記負荷単語の評価値よりも大きい場合には、前記負荷単語の評価結果を前記負荷と規定し、
前記発話単語件数が前記負荷単語の評価値よりも大きくない場合には、前記負荷単語の評価結果を前記平常と規定することを特徴とする請求項２に記載の音声認識システム。

【請求項6】

前記管理者端末は、設定用画面を表示し、
前記認識結果管理装置は、
前記設定用画面を介して、前記負荷評価値テーブルに前記評価値を設定し、前記負荷単語テーブルに前記負荷単語を設定することを特徴とする請求項１に記載の音声認識システム。

【請求項7】

顧客の発話内容を録音する通話録音装置と、
前記通話録音装置に録音された前記顧客の発話内容に対して音声認識を行う音声認識装置と、
前記音声認識装置により音声認識された前記顧客の発話内容の音声認識結果に基づいて、オペレータが前記顧客から受けた負荷状態を評価して評価結果を求める認識結果管理装置と、
前記認識結果管理装置により求めた前記負荷状態の前記評価結果を負荷状態画面に表示する管理者端末と、
を有し、
前記管理者端末は、
前記評価結果を集計した集計結果を、前記オペレータ及び前記顧客ごとに、通話開始時刻にそって前記負荷状態画面に表示することを特徴とする音声認識システム。

【請求項8】

顧客の発話内容を録音する通話録音装置と、
前記通話録音装置に録音された前記顧客の発話内容に対して音声認識を行う音声認識装置と、
前記音声認識装置により音声認識された前記顧客の発話内容の音声認識結果に基づいて、オペレータが前記顧客から受けた負荷状態を評価して評価結果を求める認識結果管理装置と、
前記認識結果管理装置により求めた前記負荷状態の前記評価結果を負荷状態画面に表示する管理者端末と、
を有し、
前記管理者端末は、
前記評価結果を集計した集計結果を、日毎又は週毎に、前記オペレータに負荷となる通話件数を前記オペレータの全体の通話件数で割ったパーセント表記で表示することを特徴とする音声認識システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、音声認識システム及び音声認識方法に関する。

【背景技術】

【0002】

コールセンタやオフィスにおいて、通話先の顧客とオペレータの通話内容を録音して、後日のトラブルに備えたり、内容をレビューしたりすることが行われている。録音データは、音声認識してテキストデータに変換することにより、コンピュータシステムで検索したり表示あるいは印刷できるようになり、業務データとしてより有効活用することができる。

【0003】

コールセンタにおける音声認識の一般的な活用は、オペレータの発話内容から取得した認識結果による応対品質改善と、顧客の発話内容から取得した認識結果によるカスタマーサービス向上が主である。

【0004】

一方で、コールセンタ業務に従事するオペレータの離職率は高い傾向にあり、オペレータの離職率を抑えることが運用コストを下げることに繋がる。オペレータの離職理由のひとつとして、オペレータが電話対応時に顧客との通話から受ける負荷が挙げられる。

【0005】

オペレータの負荷状態を把握する技術として、例えば、特許文献１がある。特許文献１では、顧客からの問い合わせに対するオペレータの対応時間とオペレータに対するヒアリング等に基づいてオペレータの負荷状態を把握している。

【先行技術文献】

【特許文献】

【0006】

【文献】特開２０１０－２３９３５３号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

特許文献１では、オペレータの負荷状態の把握は、オペレータの管理者がオペレータの対応時間に基づいてオペレータへのヒアリング等を元に行っている。この方法では、オペレータの潜在的な負荷状態の把握は困難である。その理由は、特許文献１では、顧客の発話に着目することなく、オペレータの発話に着目してオペレータの負荷状態の把握しているからである。

【0008】

本発明の目的は、音声認識システムにおいて、顧客の発話内容に着目することによりオペレータの潜在的な負荷状態を把握することにある。

【課題を解決するための手段】

【0009】

本発明の一態様の音声認識システムは、顧客とオペレータと通話内容の内、前記顧客の発話内容と前記オペレータの発話内容とを別々に録音する通話録音装置と、前記通話録音装置に録音された前記顧客の発話内容と前記オペレータの発話内容に対して音声認識を行う音声認識装置と、前記音声認識装置により音声認識された前記顧客の発話内容の音声認識結果に基づいて、前記オペレータが前記顧客から受けた負荷状態を評価して評価結果を求める認識結果管理装置と、前記認識結果管理装置により求めた前記負荷状態の前記評価結果を負荷状態画面に表示する管理者端末を有することを特徴とする。

【0010】

本発明の一態様の音声認識方法は、顧客と複数のオペレータと通話内容の内、前記顧客の発話内容と前記オペレータの発話内容とを別々に録音し、録音された前記顧客の発話内容と前記オペレータの発話内容に対して音声認識を行い、音声認識された前記顧客の発話内容の音声認識結果に基づいて、前記オペレータが前記顧客から受けた負荷状態を評価して評価結果を前記オペレータごとに求め、前記負荷状態の前記評価結果を負荷状態画面に前記オペレータごとに表示することを特徴とする。

【発明の効果】

【0011】

本発明の一態様によれば、音声認識システムにおいて、顧客の発話内容に着目することによりオペレータの潜在的な負荷状態を把握することができる。

【図面の簡単な説明】

【0012】

【図1】コールセンタシステムの全体構成図である。

【図2】負荷評価値テーブル（Ｔ－１）の構成を示す図である。

【図3】負荷単語テーブル（Ｔ－２）の構成を示す図である。

【図4】負荷状態テーブル（Ｔ－３）の構成を示す図である。

【図5】負荷評価値テーブル（Ｔ－１）で定義された「音量」、「話速」、「単語」の基準値（評価値）の仕様を示す図である。

【図6】オペレータに「単語」「音量」「話速」の評価値それぞれ設定した例を示す図である。

【図7】負荷単語の設定例を示す図である。

【図8】オペレータＡにおける２通話分の負荷状態の算出例を示す図である。

【図9】負荷状態画面の一例を示す図である。

【図10】負荷状態画面の一例を示す図である。

【図11】負荷状態画面の一例を示す図である。

【図12】音声認識システムの構成図である。

【図13】音声認識システムの動作を説明するための図である。

【図14】評価値の選定方法（５－１）を説明するためのフローチャートである。

【図15】項目「音量」に関する負荷の分析フローである。

【図16】項目「話速」に関する負荷の分析フローである。

【図17】項目「単語」に関する負荷の分析フローである。

【発明を実施するための形態】

【0013】

以下、図面を参照して、実施例について説明する。

【0014】

最初に、図１を参照して、コールセンタシステムについて説明する。
コールセンタにおける音声認識システムでは、一般的に着番号等のＣＴＩ（Ｃｏｍｐｕｔｅｒ Ｔｅｌｅｐｈｏｎｙ Ｉｎｔｅｇｒａｔｉｏｎ）情報を音声認識エンジン（辞書）に紐付けて、音声認識を行う。ＣＴＩ情報は、言語を特定することができる情報である。ここで、ＣＴＩとは、電話とコンピューターを連携して利用する技術の総称をいう。コールセンタなどで、顧客の電話番号から顧客情報をデータベースに照会したり、自動発信や自動転送したりする技術である。

【0015】

図１に示されるように、コールセンタシステムは、ネットワーク１００を介して、ＩＰ－ＰＢＸ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ－Ｐｒｉｖａｔｅ Ｂｒａｎｃｈ ｅＸｃｈａｎｇｅ：ＩＰ回線対応構内交換機）装置１０１、ＣＴＩ装置１０２、音声通話処理システム１０３、オペレータ用端末１０４及び管理者用端末１０５が接続されて構成されている。

【0016】

ＩＰ－ＰＢＸ装置１０１は、顧客１０６の通話端末１０７からの呼を受けて、ＩＰ網と公衆網１０８のプロトコル変換、発着信の呼制御などを行う。ＣＴＩ装置１０２は、ＩＰ－ＰＢＸ装置１０１から通話情報（着番号等）を取得して、音声通話処理システム１０３に送信する。

【0017】

オペレータ用端末１０４は、オペレータ１０９がオペレータ業務に使うオペレータＰＣ端末である。オペレータ１０９は、通話端末（ＩＰ電話機）１１０を介して顧客１０６の通話端末１０７と公衆網１０８を介して通話を行う。管理者用端末１０５は、認識結果管理装置１１５により求めた負荷状態の評価結果を負荷状態画面に表示する。

【0018】

顧客１０６の通話端末１０７から公衆網１０８を介して接続されるＩＰ－ＰＢＸ装置１０１が、ネットワーク１００を介して通話端末（ＩＰ電話機）１１０と接続して通話を行う。オペレータ１０９は、通話端末（ＩＰ電話機）１１０から電話操作をすることができ、顧客１０６からの着信があると、顧客１０６とオペレータ１０９は通話状態になる。

【0019】

音声通話処理システム１０３は、通話録音情報管理装置１１１、通話録音装置１１２、音声認識制御装置１１３、音声認識装置１１４、認識結果管理装置１１５を有する。

【0020】

通話録音情報管理装置１１１は、ＣＴＩ情報や録音情報を蓄積する機能を持つ。
通話録音装置１１２は、ミラーリングした通話音声を取得して録音する機能および通話録音情管理装置１１１に送信する機能を持つ。

【0021】

通話録音装置１１２は、通話端末１０７でやりとりされる通話のデータストリームを、ＩＰ－ＰＢＸ装置１０１を介して録音データとして録音する装置である。通話端末１０７での通話は、通話録音装置１１２に送られて録音ファイルとして保存される。

【0022】

具体的には、オペレータ１０９は、通話端末（ＩＰ電話機）１１０を使用し、ＩＰ－ＰＢＸ装置１０１を介して公衆網１０８の顧客１０６と会話する。オペレータ１０９の音声（ＲＴＰパケット）は、通話端末（ＩＰ電話機）１１０から公衆網１０８へ送信される。顧客１０６の音声（ＲＴＰパケット）は、公衆網１０８から通話端末（ＩＰ電話機）１１０へ送信される。ＲＴＰパケットの送信元がＩＰ電話機１１０であればオペレータ１０９の発話、ＲＴＰパケットの送信元が公衆網１０８であれば顧客１０６の発話と区別する。これにより、通話録音装置１１２は、顧客１０６の音声とオペレータ１０９の音声を別々に録音し、それぞれの音声のみの音声ファイルを作成する。具体的には、顧客１０６の音声は、顧客用音声ファイルに録音され、オペレータ１０９の音声は、オペレー用音声ファイルに録音される。

【0023】

通話録音装置１１２は、ミラーリングした通話音声を取得して録音して音声認識装置１１４に送信する。通話録音情報管理装置１１１は、通話情報と録音情報を対応付けて管理するためのサーバである。音声認識装置１１４は、音声認識を実行する音声認識エンジンを持ち、認識結果を認識結果管理装置１１５に送信する。音声認識装置１１４は、録音データを音声認識エンジンによりテキストデータに変換する。

【0024】

音声認識制御装置１１３は、音声認識装置１１４へ認識の実行を指示する機能を持つ。認識結果管理装置１１５は、音声認識装置１１４が出力するテキストデータをデータベースに格納し音声認識結果を蓄積して、その認識結果を出力する。

【0025】

認識結果管理装置１１５は、負荷状態を数値化するための評価値を定義した負荷評価値テーブル（Ｔ－１）（図２参照）と、オペレータ１０９の負荷となる単語を規定した負荷単語テーブル（Ｔ－２）（図３参照）、言語情報と非言語情報からオペレータの負荷状態を評価した評価結果を格納する負荷状態テーブル（Ｔ－３）（図４参照）を有する。

【0026】

負荷評価値テーブル（Ｔ－１）及び負荷単語テーブル（Ｔ－２）は、管理者が評価値を設定する。具体的には、認識結果管理装置１１５は、管理者に対して、管理者用端末１０５に評価値設定用画面を提供して表示する。管理者は、評価値設定用画面を介して評価値を設定する。

【0027】

図２を参照して、負荷評価値テーブル（Ｔ－１）の構成について説明する。
図２に示すように、「負荷評価値テーブル」（Ｔ－１）には、顧客の発話内容から抽出した「音量」「話速」「単語」の負荷算出における基準値（評価値）をオペレータごと設定する。

【0028】

例えば、図２に示すように、オペレータＡに対しては、「音量」：４０、「話速」：“ｄ”、「単語」：１０が設定される。オペレータＢに対しては、「音量」：５０、「話速」：“５０”、「単語」：“ｄ”が設定される。オペレータＣに対しては、「音量」：“ｄ”、「話速」：“２０”、「単語」：“ｄ”が設定される。また、“ｄｅｆａｕｌｔ”として、「音量」：３０、「話速」：“４０”、「単語」：“５”が設定される。ここで、“ｄ”は、“ｄｅｆａｕｌｔ”の設定値を使用することを意味する。例えば、オペレータＣに着目すると、「音量」として“ｄ”が設定されているので、“ｄｅｆａｕｌｔ”の「音量」：３０が提供され「音量」：３０が設定される。

【0029】

ここで、図５を参照して、「負荷評価値テーブル」（Ｔ－１）で定義された「音量」、「話速」、「単語」の基準値（評価値）の仕様について説明する。
図５に示すように、音量は、顧客の声の大きさを意味し、単位は「ｄＢ」である。話速は、顧客の１秒間に含まれる音節の件数を意味し、単位は「ｗｏｒｄ／ｓｅｃ」である。単語は、負荷単語が顧客の発話内容に含まれる件数を意味し、単位は「件」である。「負荷評価観点」は、音量に関しては大きい程、負荷は増える。話速に関しては大きい程、負荷は増える。単語に関しては、大きい程、負荷は増える。

【0030】

図６を参照して、オペレータ１０９に単語、音量、話速の評価値それぞれ設定した例について説明する。
図６に示すように、オペレータＡに対しては、「音量」：４０、「話速」：２、「単語」：１０が設定される。オペレータＢに対しては、「音量」：“ｄ”、「話速」：“ｄ”、「単語」：“５”が設定される。オペレータＣに対しては、「音量」：“ｄ”、「話速」：“２０”、「単語」：“ｄ”が設定される。また、オペレータ“ｄｅｆａｕｌｔ”に対しては、「音量」：３０、「話速」：“１０”、「単語」：“２”が設定される。

【0031】

図６の各パラメータについて、”ｄ”を設定している項目については、オペレータ“ｄｅｆａｕｌｔ”に設定した値を用いる。例えば、オペレータＢの音量は”ｄ”が設定されているので、“ｄｅｆａｕｌｔ”から値を取得して３０を評価値とする。また、オペレータＢの話速は”ｄ”が設定されているので、“ｄｅｆａｕｌｔ”から値を取得して１０を評価値とする。

【0032】

図３を参照して、「負荷単語テーブル」（Ｔ－２）の構成について説明する。
図３に示すように、「負荷単語テーブル」（Ｔ－２）には、オペレータにとって負荷となる負荷単語を設定する。例えば、負荷単語として、“ＡＡＡＡ”、“ＢＢＢＢ”、“ＺＺＺＺ“が設定される。

【0033】

図７を参照して、負荷単語の設定例について説明する。
図７に示すように、負荷単語の設定例は、例えば、「上司を呼んでくれ」（Ｎｏ．１）、「他の人に代わって」（Ｎｏ．２）等である。

【0034】

図４を参照して、負荷状態テーブル（Ｔ－３）の構成について説明する。
図４に示すように、負荷状態テーブル（Ｔ－３）では、オペレータＡ、Ｂ、Ｃごとに通話ＩＤ、外線発信番号、通話終了時間、評価結果が定義されている。ここで、評価結果として、音量、話速、単語を定義する。音量、話速、単語の評価結果は、“負荷”と“平常”で表す。

【0035】

例えば、オペレータＡの通話ＩＤ“０ｘ３００１”に対しては、「音量」の評価結果は「負荷」であり、「話速」の評価結果は「負荷」であり、「単語」の評価結果は「負荷」である。オペレータＢの通話ＩＤ“０ｘ３００７”に対しては、「音量」の評価結果は「平常」であり、「話速」の評価結果は「平常」であり、「単語」の評価結果は「平常」である。オペレータＣの通話ＩＤ“０ｘ３０１０”に対しては、「音量」の評価結果は「負荷」であり、「話速」の評価結果は「負荷」であり、「単語」の評価結果は「平常」である。

【0036】

次に、オペレータの負荷状態を求めて管理者用端末１０５に提供する方法について説明する。

【0037】

まず、管理者は、負荷評価値テーブル（Ｔ－１）の各項目と、負荷単語テーブル（Ｔ－２）に値を設定しておく。音声認識認装置１１４は、顧客１０７とオペレータ１０９の通話完了時に音声認識を行う。

【0038】

認識結果管理装置１１５は、音声認識装置１１４から取得した顧客１０７の認識結果と、負荷評価値テーブル（Ｔ－１）及び負荷単語テーブル（Ｔ－２）の内容からオペレータの負荷状態を評価して、評価結果を負荷状態テーブル（Ｔ－３）に格納する。ここで、音声認識装置１１４は、通話録音装置１１２に格納された顧客用音声ファイルに基づいて顧客１０７の音声を認識する。

【0039】

ここで、図８にオペレータＡにおける２通話分の負荷状態の算出例を示す。
図８に示すように、オペレータＡの通話ＩＤ“０ｘ３００１”に対しては、「通話時間」は３００秒であり、「音量」の評価結果は「負荷」であり、「話速」の評価結果は「負荷」であり、「単語」の評価結果は「正常」である。また、オペレータＡの通話ＩＤ“０ｘ３００２”に対しては、「通話時間」は１２０秒であり、「音量」の評価結果は「負荷」であり、「話速」の評価結果は「負荷」であり、「単語」の評価結果は「負荷」である。

【0040】

認識結果管理装置１１５は、オペレータ及び通話顧客ごとに通話開始時刻にそって集計結果を求め、管理者用端末１０５に提供して負荷状態参照画面（管理者ＰＣ画面）に表示させる。管理者は、負荷状態参照画面を介して、認識結果管理装置１１５が評価した内容からオペレータ１０９の負荷状態を判断する。

【0041】

このように、実施例では、通話の顧客側の発話内容に着目し、顧客側の発話内容の音声認識結果から、オペレータ１０９への負荷を算出することで管理者に対してオペレータ１０９の負荷状態を提供する。

【0042】

従来の音声認識システムでは、オペレータの発話内容に着目してオペレータの対応改善を行っていた。これに対して、実施例では顧客側の発話内容に着眼点を変更したうえで、音声認識結果の判定条件をオペレータの対応改善ではなく、音声認識と分析によりオペレータに負荷を与える要素の評価とする。実施例の音声認識システムでは、顧客の発話内容に着目することによりオペレータの潜在的な負荷状態を把握する。

【0043】

負荷を与える認識結果の要素は、「言語情報」中に含まれる単語、「非言語情報」中に含まれる発話の音量及び話速を対象とする。単語評価として、顧客の発話内容中にオペレータの負荷となる単語の出現数を評価する。音量評価として、顧客の発話時の音量を評価する。話速評価として顧客の発話時の通話速度を評価する。評価項目について評価値を設定した上で、発話内容からの取得情報と評価値の大小関係から負荷状態を判断する。そして、評価したオペレータの負荷状態を管理者に対して集計結果として提供する。

【0044】

次に、管理者用端末１０５に表示される負荷状態参照画面（管理者ＰＣ画面）について説明する。管理者は、オペレータ１０９の負荷状態を管理者ＰＣ画面から判断する。
図９に示すように、負荷状態画面には、オペレータの通話に対する負荷分析結果を表示する。負荷状態画面は、管理者に対して、「負荷状態テーブル」（Ｔ－３）の内容から、１通話ごとの負荷状況を表示する。

【0045】

また、図１０に示すように、負荷状態画面には、オペレータの通話に対する負荷分析結果を表示する。負荷状態画面は、管理者に対して、「負荷状態テーブル」（Ｔ－３）から週を指定し指定週について、日毎の（負荷となる通話件数／オペレータの全体通話件数）をパーセント表記で表示する。

【0046】

また、図１１に示すように、負荷状態画面には、オペレータの通話に対する負荷分析結果を表示する。負荷状態画面は、管理者に対して、「負荷状態テーブル」（Ｔ－３）から月を指定し指定月について、週毎の（負荷となる通話件数／オペレータの全体通話件数）をパーセント表記で表示する。

【0047】

次に、図１２のシステム構成図及び図１３のフローチャートを参照して、コールセンタにおける音声認識システムの動作（着信から負荷算出までの動作）について説明する。

【0048】

例として、オペレータ１０９と顧客１０６との間の通話終了後に音声認識を実施（（１）～（４））後、オペレータ１０９が顧客１０６の発話から受ける負荷を算出する（５）場合を説明する。

【0049】

（１）通話録音情報管理装置１１１は、ＣＴＩ情報を受信する。
（２）通話録音装置１１２が、録音情報を通話録音情報管理装置１１１に送信する。
（３）通話録音情報管理装置１１１から音声認識制御装置１１３へＣＴＩ情報と録音情報を送信する。
（４）音声認識制御装置１１３は、音声認識装置１１２にＣＴＩ情報と録音情報を送信して音声認識装置１１２に音声認識の実行を依頼する。音声認識装置１１２は音声認識を行い、認識結果を音声認識制御装置１１３に送信する。音声認識制御装置１１３は、認識結果を認識結果管理装置１１５に送信する。
（５）認識結果管理装置１１５は、音声認識制御装置１１３から受信した認識結果と、「負荷価値テーブル」（Ｔ－１）及び「負荷単語テーブル」（Ｔ－２）とからオペレータが顧客から受けた負荷を分析し、分析結果を評価結果として「負荷状態テーブル」（Ｔ－３）に蓄積する。負荷分析は、後述のように、評価値の選定（５－１）、負荷の分析（５－２）、分析結果の保存（５－３）の順に行う。認識結果管理装置１１５は、管理者用端末１０５に認識結果を表示させ、管理者は認識結果を閲覧する。

【0050】

次に、図１４を参照して、評価値の選定方法（５－１）について説明する。
最初に、「負荷価値テーブル」（Ｔ－１）の評価値を取得する（Ｓ１４１）。
次に、通話情報のオペレータ名が「負荷価値テーブル」（Ｔ－１）上に存在するかを判定する（Ｓ１４２）。

【0051】

存在する場合には、「負荷価値テーブル」（Ｔ－１）のオペレータに対応するレコードの“音量”、“話速”、“単語”の値を取得する（Ｓ１４３）。

【0052】

存在しない場合には、「負荷価値テーブル」（Ｔ－１）のオペレータ名：ｄｅｆａｕｌｔのレコード上の値を評価値とする（Ｓ１４４）。

【0053】

次に、「負荷価値テーブル」（Ｔ－１）のオペレータのレコード項目について値が“ｄ”のものが存在するか判定する（Ｓ１４５）。
存在する場合には、値が０の項目は「負荷価値テーブル」（Ｔ－１）のオペレータ名：ｄｅｆａｕｌｔのレコード上の値を評価値とする（Ｓ１４６）。
存在しない場合には、「負荷価値テーブル」（Ｔ－１）の値を評価値とする（Ｓ１４７）。

【0054】

次に、図１５～図１７を参照して、負荷の分析方法（５－２）について説明する。オペレータ１０９が顧客１０６の発話内容から受けた負荷の分析を「音量」、「話速」、「単語」について実施する。

【0055】

図１５を参照して、項目「音量」に関する負荷の分析方法について説明する。
まず、認識結果から顧客１０６の発話内容に関する非言語情報を取得する（Ｓ１５１）。
次に、非言語情報の中から、音量を抽出する（Ｓ１５２）。
次に、顧客１０６の発話音量と音量評価値を比較する（Ｓ１５３）。
比較の結果、顧客１０６の発話音量が音量評価値よりも大きいかを判定する（Ｓ１５４）。
判定の結果、顧客１０６の発話音量が音量評価値よりも大きい場合には、通話から項目「音量」について評価結果を“負荷”とする（Ｓ１５５）。
判定の結果、顧客１０６の発話音量が音量評価値よりも大きくない場合には、通話から項目「音量」について評価結果を“平常”とする（Ｓ１５６）。

【0056】

次に、図１６を参照して、項目「話速」に関する負荷の分析方法について説明する。
まず、認識結果から顧客１０６の発話内容に関する非言語情報を取得する（Ｓ１６１）。
次に、非言語情報の中から、話速を抽出する（Ｓ１６２）。
次に、顧客１０６の発話話速と話速評価値を比較する（Ｓ１６３）。
比較の結果、顧客１０６の話速音量が話速評価値よりも大きいかを判定する（Ｓ１６４）。
判定の結果、顧客１０６の話速音量が音量評価値よりも大きい場合には、通話から項目「話速」について評価結果を“負荷”とする（Ｓ１６５）。
判定の結果、顧客１０６の話速音量が話速評価値よりも大きくない場合には、通話から項目「話速」について評価結果を“平常”とする（Ｓ１６６）。

【0057】

次に、図１７を参照して、項目「単語」に関する負荷の分析方法について説明する。
まず、認識結果から顧客１０６の発話内容に関する言語情報を取得する（Ｓ１７１）。
次に、非言語情報の中から、単語情報を抽出する（Ｓ１７２）。
次に、単語情報の中に「負荷単語テーブル」（Ｔ－２）に登録した単語が存在するかを判定する（Ｓ１７３）。

【0058】

存在する場合には、単語情報中に存在する「負荷単語テーブル」（Ｔ－２）に登録した単語の数をカウントする。カウントで算出した値を発話負荷単語数とする（Ｓ１７４）。
存在しない場合には、発話負荷単語数を０とする（Ｓ１７５）。

【0059】

次に、顧客１０６の発話負荷単語数と単語数評価値を比較する（Ｓ１７６）。
次に、比較の結果、顧客１０６の発話負荷単語数が単語数評価値よりも大きいかを判定する（Ｓ１７７）。
判定の結果、顧客１０６の発話負荷単語数が単語数評価値よりも大きい場合には、通話から項目「単語」について評価結果を“負荷”とする（Ｓ１７８）。
判定の結果、顧客１０６の発話負荷単語数が単語数評価値よりも大きくない場合には、通話から項目「単語」について評価結果を“平常”とする（Ｓ１７９）。

【0060】

最後に、分析結果の保存方法（５－３）について説明する。
分析した「単語」、「音量」、「話速」の負荷結果を「負荷状態テーブル」（Ｔ－３）に保存する。保存時には、負荷結果に加えて、通話に紐づく「オペレータ名」、「通話ＩＤ」、「外線発信番号」、「通話開始時刻」及び「通話時間」を音声認識制御装置１１３より取得してレコードとして記録する。

【0061】

実施例によれば、管理者はオペレータが顧客との通話から受ける負荷とオペレータの状態を把握することができる。さらに、管理者がオペレータの負荷傾向を早期に把握することで、電話対応における負荷の増大を事前に緩和することができる。

【0062】

尚、実施例では、顧客用音声ファイルに基づいてオペレータの負荷を求めているが、本発明はこれに限定されず、オペレー用音声ファイルをも併用してオペレータの負荷を求めても良い。

【符号の説明】

【0063】

１００ ネットワーク
１０１ ＩＰ－ＰＢＸ装置
１０２ ＣＴＩ装置
１０３ 音声通話処理システム
１０４ オペレータ用端末
１０５ 管理者用端末
１０６ 顧客
１０７ 通話端末
１０８ 公衆網
１０９ オペレータ
１１０ 通話端末（ＩＰ電話機）
１１１ 通話録音情報管理装置
１１２ 通話録音装置
１１３ 音声認識制御装置
１１４ 音声認識装置
１１５ 認識結果管理装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】