特許 6647722 情報処理装置、情報処理方法、情報処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】6647722

(24)【登録日】2020年1月17日

(45)【発行日】2020年2月14日

(54)【発明の名称】情報処理装置、情報処理方法、情報処理プログラム

(51)【国際特許分類】

   G10L 25/63 20130101AFI20200203BHJP

   G10L 15/10 20060101ALI20200203BHJP

   G10L 15/00 20130101ALI20200203BHJP

   G06Q 50/10 20120101ALI20200203BHJP

【ＦＩ】

   G10L25/63

   G10L15/10 500N

   G10L15/10 500T

   G10L15/00 200A

   G06Q50/10

【請求項の数】14

【全頁数】26

(21)【出願番号】特願2019-126582(P2019-126582)

(22)【出願日】2019年7月8日

【審査請求日】2019年11月5日

【早期審査対象出願】

(73)【特許権者】

【識別番号】398072791

【氏名又は名称】株式会社ＴＭＪ

(73)【特許権者】

【識別番号】519165009

【氏名又は名称】株式会社Ｅｍｐａｔｈ

(74)【代理人】

【識別番号】100158850

【弁理士】

【氏名又は名称】明坂 正博

(72)【発明者】

【氏名】清水 昌也

(72)【発明者】

【氏名】下地 貴明

(72)【発明者】

【氏名】小坂 芳生

(72)【発明者】

【氏名】中川 亮

(72)【発明者】

【氏名】茶圓 亮

【審査官】 大野 弘

(56)【参考文献】

【文献】 特開２００７−００４０００（ＪＰ，Ａ）

【文献】 特開２００７−０７４１７５（ＪＰ，Ａ）

【文献】 特開２００２−１６９５８８（ＪＰ，Ａ）

【文献】 特開２０１５−１８４５６３（ＪＰ，Ａ）

【文献】 特開２０１９−０４７１７０（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ１０Ｌ ２５／６３

Ｇ０６Ｑ ５０／１０

Ｇ１０Ｌ １５／００

Ｇ１０Ｌ １５／１０

(57)【特許請求の範囲】

【請求項1】

第１話者及び前記第１話者と会話する第２話者の音声情報を取得する音声情報取得部と、
前記音声情報取得部で取得された前記音声情報から前記第１話者及び前記第２話者の感情を解析し、前記第１話者及び前記第２話者の共感度を算出する感情解析部と、
感情の共感度の推移パタンと、前記第１話者及び前記第２話者の共感度とを比較して前記第２話者による前記第１話者への対応を評価する評価部と、
前記評価部での評価結果を提示する提示部と、
を備えることを特徴とする情報処理装置。

【請求項2】

前記提示部は、
前記評価結果に応じて文字情報及び／又は前記評価結果に応じて表情及び動作の少なくとも一方が変化するキャラクタ画像を提示することを特徴とする請求項１に記載の情報処理装置。

【請求項3】

前記提示部は、
前記第２話者を管理する管理者の端末に対して前記評価部での評価結果を提示することを特徴とする請求項１又は請求項２に記載の情報処理装置。

【請求項4】

前記管理者の端末から送信された前記第２話者の評価に関する情報を受け付ける第１受付部を備え、
前記提示部は、
前記第１受付部で受け付けられた前記第２話者の評価に関する情報を前記第２話者の端末へ提示することを特徴とする請求項３に記載の情報処理装置。

【請求項5】

前記提示部は、
前記第２話者による前記第１話者への対応の段階を提示することを特徴とする請求項１乃至請求項４のいずれかに記載の情報処理装置。

【請求項6】

前記評価部は、
前記第２話者による前記第１話者への対応を前記段階に応じて異なる基準で評価することを特徴とする請求項５に記載の情報処理装置。

【請求項7】

前記第１話者及び前記第２話者の会話内容から前記段階を推定する段階推定部、を備え、
前記提示部は、
前記段階推定部で推定された前記段階を提示することを特徴とする請求項５又は請求項６に記載の情報処理装置。

【請求項8】

前記段階と、前記段階に関するトークスクリプトとが関連付けて格納された第１記憶部を参照し、前記段階推定部により推定された段階に関連付けられたトークスクリプトを取得するトークスクリプト取得部と、を備え、
前記提示部は、
前記トークスクリプト取得部で取得された前記トークスクリプトを提示することを特徴とする請求項７に記載の情報処理装置。

【請求項9】

前記第１話者及び前記第２話者の少なくとも一方の会話速度を計測する会話速度計測部、を備え、
前記提示部は、
前記トークスクリプトを、前記会話速度計測部で計測された会話速度に応じて提示することを特徴とする請求項８に記載の情報処理装置。

【請求項10】

前記第１話者と前記第２話者との会話内容から、前記第２話者と前記第１話者との状況を判定する状況判定部と、
前記第２話者への助言に関する情報が格納された第２記憶部を参照し、前記状況判定部での判定結果に応じて前記第２話者への助言を取得する助言取得部と、を備え、
前記提示部は、
前記助言取得部で取得された前記助言を提示することを特徴とする請求項１乃至請求項９のいずれかに記載の情報処理装置。

【請求項11】

前記第１話者への対応に必要となる資料の格納を受け付ける第２受付部と、
前記第２受付部で受け付けられた前記資料を、前記第１話者の識別情報に関連付けて第３記憶部へ格納する記憶制御部と、
を備えることを特徴とする請求項１乃至請求項１０のいずれかに記載の情報処理装置。

【請求項12】

前記第１話者の感情と、前記第１話者への対応に関する情報とが関連付けて格納された第４記憶部を参照し、前記感情解析部での解析結果に応じて前記第１話者への対応に関する情報を取得する対応情報取得部、を備え、
前記提示部は、
前記対応情報取得部で取得された前記第１話者への対応に関する情報を提示することを特徴とする請求項１乃至請求項１１のいずれかに記載の情報処理装置。

【請求項13】

音声情報取得部が、第１話者及び前記第１話者と会話する第２話者の音声情報を取得する工程と、
感情解析部が、前記音声情報取得部で取得された前記音声情報から前記第１話者及び前記第２話者の感情を解析し、前記第１話者及び前記第２話者の共感度を算出する工程と、
評価部が、感情の共感度の推移パタンと、前記第１話者及び前記第２話者の共感度とを比較して前記第２話者による前記第１話者への対応を評価する工程と、
提示部が、前記評価部での評価結果を提示する工程と、
を有することを特徴とする情報処理方法。

【請求項14】

コンピュータを、
第１話者及び前記第１話者と会話する第２話者の音声情報を取得する音声情報取得部、
前記音声情報取得部で取得された前記音声情報から前記第１話者及び前記第２話者の感情を解析し、前記第１話者及び前記第２話者の共感度を算出する感情解析部、
感情の共感度の推移パタンと、前記第１話者及び前記第２話者の共感度とを比較して前記第２話者による前記第１話者への対応を評価する評価部、
前記評価部での評価結果を提示する提示部、
として機能させることを特徴とする情報処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理装置、情報処理方法及び情報処理プログラムに関する。

【背景技術】

【0002】

コールセンタの業務を支援するためのシステムが従来から提案されている。例えば、特許文献１には、金融機関などのインバウンドコールセンタシステムにおいて、顧客とバーチャルオペレータまたはオペレータとの会話内容を解析することで、顧客通話中に顧客が苦情状態であることを検知し状況悪化を予防する機能を備えたコールセンタシステムが提案されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１９−０４７１７０号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、従来の発明では、顧客が苦情状態となることを未然に抑制することができないなど利便性に向上の余地がある。

【0005】

本発明は、上記課題を鑑みてなされたものであり、より利便性に優れる情報処理装置、情報処理方法及び情報処理プログラムを提供することを目的とする。

【課題を解決するための手段】

【0006】

上記の課題を解決すべく、本発明の情報処理装置は、第１話者及び第１話者と会話する第２話者の音声情報を取得する音声情報取得部と、音声情報取得部で取得された音声情報から第１話者及び第２話者の感情を解析する感情解析部と、感情解析部での解析結果に応じて第２話者による第１話者への対応を評価する評価部と、評価部での評価結果を提示する提示部と、を備える。

【発明の効果】

【0007】

本発明によれば、より利便性に優れる情報処理装置、情報処理方法及び情報処理プログラムを提供することができる。

【図面の簡単な説明】

【0008】

【図1】実施形態に係る情報処理システムの概略構成の一例を示す図である。

【図2】実施形態に係るＯＰ端末の構成の一例を示す図である。

【図3】実施形態に係るＳＶ端末の構成の一例を示す図である。

【図4】実施形態に係るサーバの構成の一例を示す図である。

【図5】実施形態に係るＯＰ端末の表示装置に表示される表示画面の一例である。

【図6】実施形態に係る情報処理システムによるメイン処理の一例を示すフローチャートである。

【図7】実施形態に係る情報処理システムによる感情解析処理の一例を示すフローチャートである。

【図8】実施形態に係る情報処理システムによる評価提示処理の一例を示すフローチャートである。

【図9】実施形態に係る情報処理システムによるトークスクリプト提示処理の一例を示すフローチャートである。

【図10】実施形態に係る情報処理システムによる助言提示処理の一例を示すフローチャートである。

【図11】実施形態に係る情報処理システムによるＳＶ提示処理の一例を示すフローチャートである。

【図12】実施形態の変形例１に係るサーバの機能構成の一例を示す図である。

【図13】実施形態の変形例１に係る情報処理システムによる対応情報提示処理の一例を示すフローチャートである。

【発明を実施するための形態】

【0009】

以下、図面を参照して本発明の実施形態について説明する。なお、以下の実施形態では、本発明をコールセンタに適用した例について説明しているが、本発明は、コールセンタに限られず適用可能である。

【0010】

[実施形態]
（情報処理システム１の構成）
図１に示すように、実施形態の情報処理システム１は、顧客ＣＳ（第１話者）の通話端末２Ａから公衆網７を介して接続されるＩＰ−ＰＢＸ（Internet Protocol−Private Branch eXchange、ＩＰ回線対応構内交換機）装置６（以下、ＰＢＸ装置６ともいう）がネットワーク８を介して、オペレータＯＰ（第２話者）の通話端末２Ｂと接続し通話をする構成を有する。また、ネットワーク８には、オペレータ用端末３（以下、ＯＰ端末３ともいう）、スーパーバイザー用端末４（以下、ＳＶ端末４ともいう）及びサーバ５（情報処理装置）が通信可能に接続されている。なお、情報処理システム１が具備する通話端末２Ａ，２Ｂ、ＯＰ端末３、ＳＶ端末４、サーバ５及びＰＢＸ装置６の数は任意である。

【0011】

（ＯＰ端末３の構成）
ＯＰ端末３は、オペレータＯＰが利用する端末であり、例えば、デスクトップ型ＰＣやノート型ＰＣなどである。図２（ａ）に示すように、ＯＰ端末３は、通信ＩＦ３００Ａ、記憶装置３００Ｂ、入力装置３００Ｃ、表示装置３００Ｄ及びＣＰＵ３００Ｅを備える。

【0012】

通信ＩＦ３００Ａは、他の装置と通信するためのインターフェースである。

【0013】

記憶装置３００Ｂは、例えば、ＨＤＤ（Hard Disk Drive）や半導体記憶装置（ＳＳＤ(Solid State Drive)）であり、例えば、情報処理プログラムや端末ＩＤなどが記憶されている。なお、端末ＩＤは、ＯＰ端末３を識別するための識別子である。ＯＰ端末３から送信する情報に端末ＩＤを付与することで、サーバ５は、受信した情報がどのＯＰ端末３から送信されたものであるかを判定することができる。なお、端末ＩＤは、ＩＰ（Internet Protocol）アドレス、ＭＡＣ（Media Access Control）アドレスなどを利用してもよく、サーバ５がＯＰ端末３に対して付与するようにしてもよい。

【0014】

入力装置３００Ｃは、例えば、キーボード、マウスなどの入力デバイスであるが、入力可能であれば、他の装置や機器（例えば、タッチパネル）であってもよい。

【0015】

表示装置３００Ｄは、例えば、液晶ディスプレイ、プラズマディスプレイ、有機ＥＬディスプレイなどであるが、表示可能であれば他の装置や機器（例えば、ＣＲＴ：Cathode Ray Tube）であってもよい。

【0016】

ＣＰＵ３００Ｅは、ＯＰ端末３を制御する。ＣＰＵ３００Ｅは、図示しないＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）を備えている。

【0017】

本実施形態では、ＯＰ端末３が記憶装置３００Ｂを備える構成となっているが、ネットワーク８を介して接続された他の装置（例えば、サーバ）が記憶装置３００Ｂの全部又はその一部を備える構成であってもよい。この場合、ＯＰ端末３は、他の装置が備える記憶装置３００Ｂを参照する。また、ネットワーク８を介して接続された他の装置から情報処理プログラムをダウンロード可能に構成されていてもよい。

【0018】

（ＯＰ端末３の機能構成）
図２（ｂ）に示すように、ＯＰ端末３は、受信部３０１、記憶装置制御部３０２、入力受付部３０３、表示装置制御部３０４及び送信部３０５などの機能を有する。

【0019】

受信部３０１は、サーバ５から送信される情報を受信する。

【0020】

記憶装置制御部３０２は、記憶装置３００Ｂを制御する。具体的には、記憶装置制御部３０２は、記憶装置３００Ｂを制御して情報の書き込みや読み出しを行う。

【0021】

入力受付部３０３は、オペレータＯＰによる入力装置３００Ｃからの入力操作を受け付ける。

【0022】

表示装置制御部３０４は、表示装置３００Ｄを制御する。

【0023】

送信部３０５は、入力受付部３０３で受け付けた入力操作の情報をサーバ５へと送信する。

【0024】

（ＳＶ端末４の構成）
ＳＶ端末４は、オペレータＯＰの管理者であるスーパーバイザーＳＶが利用する端末であり、携帯可能なタブレット型ＰＣなどであることが好ましい。ＳＶ端末４を携帯可能なタブレット型ＰＣとすることにより、スーパーバイザーＳＶは、ＳＶ端末４を持ち歩いてコールセンタ内を巡回することができ利便性に優れる。なお、ＳＶ端末４は、携帯可能であれば、タブレット型ＰＣ以外のデバイスであってもよい。

【0025】

図３（ａ）に示すように、ＳＶ端末４は、通信ＩＦ４００Ａ、記憶装置４００Ｂ、入力装置４００Ｃ、表示装置４００Ｄ及びＣＰＵ４００Ｅを備える。

【0026】

通信ＩＦ４００Ａは、他の装置と通信するためのインターフェースである。

【0027】

記憶装置４００Ｂは、例えば、ＨＤＤ（Hard Disk Drive）や半導体記憶装置（ＳＳＤ(Solid State Drive)）であり、例えば、情報処理プログラムや端末ＩＤなどが記憶されている。なお、端末ＩＤは、ＳＶ端末４を識別するための識別子である。ＳＶ端末４から送信する情報に端末ＩＤを付与することで、サーバ５は、受信した情報がどのＳＶ端末４から送信されたものであるかを判定することができる。なお、端末ＩＤは、ＩＰ（Internet Protocol）アドレス、ＭＡＣ（Media Access Control）アドレスなどを利用してもよく、サーバ５がＳＶ端末４に対して付与するようにしてもよい。

【0028】

入力装置４００Ｃは、例えば、タッチパネルなどの入力デバイスであるが、入力可能であれば、他の装置や機器（例えば、キーボード）であってもよい。

【0029】

表示装置４００Ｄは、例えば、液晶ディスプレイ、プラズマディスプレイ、有機ＥＬディスプレイなどであるが、表示可能であれば他の装置や機器であってもよい。

【0030】

ＣＰＵ４００Ｅは、ＳＶ端末４を制御する。ＣＰＵ４００Ｅは、図示しないＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）を備えている。

【0031】

本実施形態では、ＳＶ端末４が記憶装置４００Ｂを備える構成となっているが、ネットワーク８を介して接続された他の装置（例えば、サーバ）が記憶装置４００Ｂの全部又はその一部を備える構成であってもよい。この場合、ＳＶ端末４は、他のサーバが備える記憶装置４００Ｂを参照する。また、ネットワーク８を介して接続された他のサーバから情報処理プログラムをダウンロード可能に構成されていてもよい。

【0032】

（ＳＶ端末４の機能構成）
図３（ｂ）に示すように、ＳＶ端末４は、受信部４０１、記憶装置制御部４０２、入力受付部４０３、表示装置制御部４０４及び送信部４０５などの機能を有する。

【0033】

受信部４０１は、サーバ５から送信される情報を受信する。

【0034】

記憶装置制御部４０２は、記憶装置４００Ｂを制御する。具体的には、記憶装置制御部３０２は、記憶装置４００Ｂを制御して情報の書き込みや読み出しを行う。

【0035】

入力受付部４０３は、入力装置４００Ｃによる入力操作を受け付ける。

【0036】

表示装置制御部４０４は、表示装置４００Ｄを制御する。

【0037】

送信部４０５は、入力受付部４０３で受け付けた入力操作の情報をサーバ５へと送信する。

【0038】

（サーバ５の構成）
図４（ａ）に示すように、サーバ５は、通信ＩＦ５００Ａ、記憶装置５００Ｂ、ＣＰＵ５００Ｃを備える。

【0039】

通信ＩＦ５００Ａは、他の装置と通信するためのインターフェースである。

【0040】

記憶装置５００Ｂは、例えば、ＨＤＤ（Hard Disk Drive）や半導体記憶装置（ＳＳＤ(Solid State Drive)）であり、各種データベース（以下、ＤＢともいう）や情報処理プログラムなどが記憶されている。なお、記憶装置５００Ｂは、情報（データ）の書き込み、読み出しが可能であれば、他の装置や機器であってもよい。なお、本実施形態では、サーバ５が記憶装置５００Ｂを備えているが、コンピュータ読み取り可能な外部記憶媒体（例えば、ＵＳＢメモリや外付けＨＤＤ）に格納されていてもよいし、ネットワーク８を介して他のコンピュータやサーバなどから読出可能及び／又は書込可能に構成されていてもよい。

【0041】

（記憶装置）
記憶装置５００Ｂには、第１ＤＢから第６ＤＢが格納されている。以下、各ＤＢに記憶されている情報について説明する。なお、本実施形態では、記憶装置５００Ｂに第１ＤＢから第６ＤＢが格納された構成となっているが、必ずしもＤＢ構造として記憶装置５００Ｂに格納されている必要はない。

【0042】

（第１ＤＢ（第１記憶部））
第１ＤＢには、オペレータＯＰによる顧客ＣＳへの対応の段階（トークフェーズ、例えば、セールス、オープニング、オファー、リバトル、クロージングなど）と、該段階に関するトークスクリプトとが関連付けて格納されている。ここで、トークスクリプトは、コールセンタでのアウトバウンド営業やインバウンド営業において商品や契約内容についての説明文言であり、段階（トークフェース）ごとに説明文言が関連付けて記憶されている。

【0043】

（第２ＤＢ）
第２ＤＢ（第２記憶部）には、オペレータＯＰへの助言が格納されている。本実施形態では、助言は事例集として、第２ＤＢに格納されており、事例（例えば、顧客が怒っている、クレームを延々と話す、など）ごとに顧客ＣＳへの対応方法が助言として対応づけて第２ＤＢに格納されている。なお、助言は、テキストに限らず、画像や動画などとして第２ＤＢに格納されていてもよい。

【0044】

（第３ＤＢ）
第３ＤＢ（第３記憶部）には、後述の受信部５０１（第１受付部）で受け付けられた資料の情報が、顧客ＣＳの識別情報（ＩＤ）に関連付けて格納されている。ここで、資料は、顧客ＣＳへの対応に必要となる資料であり、例えば、商品の仕様書などである。なお、第３ＤＢに格納された資料は必要に応じて読み出し、ＯＰ端末３の表示装置３００Ｄに表示することができる。

【0045】

（第４ＤＢ）
第４ＤＢには、オペレータＯＰと感情を解析するための情報が格納されている。具体的には、第４ＤＢには、感情（例えば、「平常」「喜び」「怒り」）ごとの音響特性（声の高低、話す速さ、声の大小、抑揚などの特性）を学習したモデルが格納されている。なお、上記「平常」「喜び」「怒り」だけに限られず、「哀しみ」「楽しみ」などの感情を加えても良いし、さらに細分化して「信頼」「心配」「驚き」「嫌悪感」「関心」などの感情を加え、音響特性と対応づけて第４ＤＢに格納するようにしてもよい。細かな感情の機微にも対応することができ、より精度の高い解析を行うことができる。このように感情ごとの音響特性を学習したモデルを第４ＤＢに格納することにより、第４ＤＢを参照することで、オペレータＯＰ及び顧客ＣＳの両者がどのような感情であるかを解析することができる。

【0046】

（第５ＤＢ）
第５ＤＢには、音声信号の波形から音声をテキスト化するための情報が格納されている。具体的には、第５ＤＢには、音声信号の波形と周波数特性といった音響特徴量と言葉とが対応付けて格納されている。第５ＤＢを参照することにより、音声信号の波形と周波数特性といった音響特徴量から音声をテキスト化することができる。

【0047】

（第６ＤＢ）
第６ＤＢには、オペレータＯＰ及び顧客ＣＳの感情の共感度の推移パタン（以下、単に感情の推移パタンともいう）が格納されている。例えば、成約率が所定値（例えば、平均値）よりも高い、クロージングまでの時間が所定時間よりも短い、冒頭突破率が所定値（例えば、平均値）よりも高い、などである。また、感情の共感度とは、オペレータＯＰ及び顧客ＣＳの感情がどれだけ一致しているか（一致率）を示す指標であり、オペレータＯＰ及び顧客ＣＳの感情（例えば、喜怒哀楽など）が一致（シンクロ）しているかにより共感度が決定される。オペレータＯＰ及び顧客ＣＳの感情（例えば、喜怒哀楽など）が一致している割合が高いほど感情の共感度が高く、オペレータＯＰ及び顧客ＣＳの感情が一致している割合が低いほど感情の共感度が低い。ここで、第６ＤＢには、段階（トークフェーズ、例えば、セールス、オープニング、オファー、リバトル、クロージングなど）に応じてオペレータＯＰ及び顧客ＣＳの感情の推移パタンが格納されている。これにより、後述の評価部５１２において、オペレータＯＰによる顧客ＣＳへの対応の評価を、段階に応じて異なる基準で行うことができ、精度の高い適切な評価を行うことができる。

【0048】

ＣＰＵ５００Ｃは、サーバ５を制御する。ＣＰＵ５００Ｃは、図示しないＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）を備えている。

【0049】

（サーバ５の機能構成）
図４（ｂ）に示すように、サーバ５は、受信部５０１（第１，第２受付部）、音声情報取得部５０２、音響特徴抽出部５０３、感情解析部５０４、テキスト生成部５０５、段階推定部５０６、感情パタン特定部５０７、トークスクリプト取得部５０８、会話速度計測部５０９、状況判定部５１０、助言取得部５１１、評価部５１２、記憶装置制御部５１３、提示部５１４、送信部５１５などの機能を有する。

【0050】

受信部５０１は、通話端末２Ｂから送信される情報（例えば、オペレータＯＰの音声信号など）、ＳＶ端末４から送信される情報及びＰＢＸ装置６を介して通話端末２Ａから送信される情報（例えば、顧客ＣＳの音声信号など）を受信する。また、受信部５０１は、ＳＶ端末４から送信されたオペレータＯＰの評価に関する情報を受信する（受け付ける）。また、受信部５０１は、顧客ＣＳへの対応に必要となる資料の格納操作を受信する（受け付ける）。

【0051】

音声情報取得部５０２は、通話端末２Ａ及び通話端末２Ｂから送信される顧客ＣＳ及びオペレータＯＰの音声信号を取得する。

【0052】

音響特徴抽出部５０３は、音声情報取得部５０２で取得された音声信号からオペレータＯＰ及び顧客ＣＳの音響特徴を抽出する。ここで、音響特徴とは、例えば、音声の高さ（音声の周波数）、大きさ（音声の振幅）、波形などである。音響特徴抽出部５０３は、通話端末２Ａと通話端末２Ｂとの通話状態が継続する間、オペレータＯＰ及び顧客ＣＳそれぞれの音声信号から音響特徴を抽出する。

【0053】

感情解析部５０４は、音響特徴抽出部５０３により抽出されたオペレータＯＰの音響特徴からオペレータＯＰの感情を解析する。また、感情解析部５０４は、音響特徴抽出部５０３により抽出された顧客ＣＳの音響特徴から顧客ＣＳの感情を解析する。具体的には、感情解析部５０４は、第４ＤＢに格納されている音響特徴と感情との関係を参照することで、オペレータＯＰ及び顧客ＣＳの感情を解析する。なお、本実施形態では、感情解析部５０４は、オペレータＯＰ及び顧客ＣＳの感情を感情値（推定された感情の度合い（大きさ）を表す数値）として算出する。つまり、感情値の時系列のデータが感情の推移パタンとなる。換言すると、感情値は、感情の推移パタンの一部であり、感情の推移パタンからある一時点の値を抽出したものが感情値となる。また、感情解析部５０４は、解析したオペレータＯＰ及び顧客ＣＳの感情から両者の感情の共感度を算出する。

【0054】

テキスト生成部５０５は、第５ＤＢを参照し、オペレータＯＰ及び顧客ＣＳの音声信号から会話内容をテキスト化する。

【0055】

段階推定部５０６は、テキスト生成部５０５で生成されたテキストデータに含まれるキーワードに基づいて、オペレータＯＰによる顧客ＣＳへの対応がどの段階（トークフェーズ、例えば、セールス、オープニング、オファー、リバトル、クロージングなど）にあるかを推定する。例えば、段階推定部５０６は、テキスト生成部５０５で生成されたテキストデータに対して形態素解析を行い、テキストデータに含まれるキーワードを抽出する。そして、抽出したキーワードがどの段階に対応づけられているかに基づいて、オペレータＯＰによる顧客ＣＳへの対応がどの段階（トークフェーズ）であるかを推定する。このように、抽出したキーワードがどの段階に対応づけられているかに基づいて、オペレータＯＰによる顧客ＣＳへの対応がどの段階（トークフェーズ）であるかを推定する場合、キーワードと段階とを対応付けたデータベースを備えるようにしてもよいし、前記データベースを参照するようにしてもよい。

【0056】

感情パタン特定部５０７は、第６ＤＢに格納されている１以上の感情の推移パタンのうち、どの感情の推移パタンと比較するかを特定する。具体的には、感情パタン特定部５０７は、第６ＤＢに格納されている１以上の感情の推移パタンのうち、段階推定部５０６で推定された段階に応じて第６ＤＢに格納されているオペレータＯＰ及び顧客ＣＳの感情の推移パタンを比較対象として特定する。

【0057】

本実施形態では、段階推定部５０６で推定された段階に応じて、オペレータＯＰ及び顧客ＣＳの感情の推移パタンを第６ＤＢに格納しているが、オペレータＯＰの分類結果（カテゴリ）、顧客ＣＳの分類結果（カテゴリ）、会話日、会話時間帯、電話回数、進捗状況、などのさらに細分化されたオペレータＯＰ及び顧客ＣＳの感情の推移パタンを第６ＤＢに格納するようにしてもよい。この場合、感情パタン特定部５０７は、感情解析部５０４で感情を解析しているオペレータＯＰの分類結果（カテゴリ）、顧客ＣＳの分類結果（カテゴリ）、会話日、会話時間帯、電話回数、進捗状況、などが一致又は類似する感情の推移パタンを特定する。

【0058】

なお、最も類似する感情の推移パタンを特定する場合、どのようにして最も類似する感情の推移パタンを特定するかは任意である。例えば、オペレータＯＰ及び顧客ＣＳそれぞれに対して、カテゴリ、会話日、会話時間帯、電話回数、進捗状況などの各項目をデータとしたクラスタ分析を行い、各クラスタ間の距離として類似度を算出し、最も類似度の値の高い感情の推移パタンを比較用の感情の推移パタンとしてもよい。

【0059】

ここで、ある項目が特定のクラスタ内に含まれることを「属性一致」と呼ぶ。属性一致しない場合は、クラスタの中心からの距離を類似度（ここでは「属性類似度」と呼ぶ）として算出する。それぞれのデータ（オペレータＯＰ、顧客ＣＳのカテゴリ、会話日、会話時間帯、電話回数、進捗状況など）がそれぞれのクラスタすべてで一致した場合を「一致」するとし、一つでも一致しないクラスタがあった場合は、属性一致していないクラスタの属性類似度が最大となるクラスタを「最も類似する」とする。なお、それぞれのクラスタの距離の判定の際に重み付けを設定し、属性類似度を調整しても良い。また、属性クラスクラスタ分析は、種々の既知の手法、短距離法、群平均法などを利用し、クラスタとの距離は種々の既知の手法を利用して算出することができる。例えば、ユークリッド距離、コサイン距離、ハミング距離などを利用することができる。

【0060】

トークスクリプト取得部５０８は、第１ＤＢを参照し、段階推定部５０６により推定された段階に関連付けられたトークスクリプトを取得する。

【0061】

会話速度計測部５０９は、音声情報取得部５０２で取得される顧客ＣＳの音声信号に基づいて、顧客ＣＳの会話速度を計測する。

【0062】

状況判定部５１０は、顧客ＣＳとオペレータＯＰとの会話内容から、オペレータＯＰと顧客ＣＳとの状況がどのような状態であるかを判定する。より具体的には、状況判定部５１０は、テキスト生成部５０５でテキスト化された会話内容に基づいて、オペレータＯＰと顧客ＣＳとの状況が、第２ＤＢに格納されている事例のいずれかに該当するか否かを判定する。例えば、状況判定部５１０は、テキスト生成部５０５で生成されたテキストデータに対して形態素解析を行い、第２ＤＢに格納されている事例に含まれるキーワードがテキストデータに出現する回数（以下、出現回数ともいう）により、オペレータＯＰと顧客ＣＳとの状況が、第２ＤＢに格納されている事例のいずれかに該当するか否かを判定するようにしてもよい。具体例として、状況判定部５１０は、第２ＤＢに格納されている事例に含まれるキーワード（例えば、返金、返品、賠償、損害など）の出現回数により、オペレータＯＰと顧客ＣＳとの状況が、第２ＤＢに格納されている事例（例えば、顧客ＣＳがクレームを延々と話す）に該当するか否かを判定するようにしてもよい。なお、状況は、上記具体例だけに限られないのはもちろんである。

【0063】

助言取得部５１１は、第２ＤＢを参照し、状況判定部５１０での判定結果に応じてオペレータＯＰへの助言を取得する。具体的には、助言取得部５１１は、状況判定部５１０で判定された事例に応じた助言を取得する。

【0064】

評価部５１２は、感情パタン特定部５０７により特定された感情の推移パタンと、感情解析部５０４で解析されたオペレータＯＰ及び顧客ＣＳの感情の推移パタンとを比較して、オペレータＯＰによる顧客ＣＳへの対応を評価（良い、悪いなど）する。例えば、評価部５１２は、感情パタン特定部５０７により特定された感情の推移パタンと、感情解析部５０４で解析されたオペレータＯＰ及び顧客ＣＳの感情の推移パタンとの乖離が所定未満である場合、評価を「良（ＧＯＯＤ）」とし、乖離が所定以上である場合、評価を「悪（ＢＡＤ）」としてもよい。なお、推移パタンの乖離による評価は、あくまで一例であり、評価部５１２での評価手法については、他の評価手法を採用してもよい。

【0065】

記憶装置制御部５１３は、記憶装置５００Ｂを制御する。具体的には、記憶装置制御部５１３は、記憶装置５００Ｂを制御して記憶装置５００Ｂに格納されている第１ＤＢ〜第６ＤＢの情報の書き込みや読み出しを行う。

【0066】

提示部５１４は、評価部５１２での評価結果を提示する。具体的には、提示部５１４は、以下の情報をＯＰ端末３やＳＶ端末４へ提示する。
（１）評価部５１２での評価結果の情報
（２）評価部５１２での評価結果に応じて文字情報及び／又は評価結果に応じて表情及び動作の少なくとも一方が変化するキャラクタ画像の情報
（３）受信部５０１で受け付けられたスーパーバイザーＳＶによるオペレータＯＰの評価（例えば、助言や感想など）に関する情報
（４）段階推定部５０６で推定されたオペレータＯＰによる顧客ＣＳへの対応の段階（トークフェーズ：セールス、オープニング、オファー、リバトル、クロージングなど）の情報
（５）トークスクリプト取得部５０８で取得されたトークスクリプトの情報
（６）助言取得部５１１で取得された助言の情報

【0067】

送信部５１５は、提示部５１４の指示に基づいて、上記（１）から（６）の情報をＯＰ端末３及び／又はＳＶ端末４へ送信する。なお、本実施形態の「提示」には、上記（１）から（６）の情報がＯＰ端末３及び／又はＳＶ端末４の表示装置３００Ｄ，４００Ｄに表示されるだけでなく、上記（１）から（６）の情報をサーバ５から送信することも含まれるものとする。

【0068】

ＰＢＸ装置６は、ネットワーク８と公衆網７のプロトコル変換、発着信の呼制御など実行する。

【0069】

（ＯＰ端末３の表示装置３００Ｄに表示される画面）
図５は、ＯＰ端末３の表示装置３００Ｄに表示される表示画面の一例である。図５に示すように、ＯＰ端末３の表示装置３００Ｄには、評価部５１２での評価結果に応じて表情及び動作の少なくとも一方が変化するキャラクタ画像６０１が表示される。なお、キャラクタ画像６０１に替えて、評価部５１２での評価結果に応じて文字情報をＯＰ端末３の表示装置３００Ｄに表示するようにしてもよいし、キャラクタ画像６０１及び文字情報の両方を表示装置３００Ｄに表示するようにしてもよい。

【0070】

また、ＯＰ端末３の表示装置３００Ｄには、段階推定部５０６で推定された段階（トークフェーズ）６０２が表示される。図５に示す例では、トークフェーズは、第１段階から第５段階まで存在し、段階推定部５０６で推定された現在の段階が第２段階であることがハッチングにより示されている。ここで、例えば、第１段階は「セールス」、第２段階は「オープニング」、第３段階は「オファー」、第４段階は「リバトル」、第５段階は「クロージング」などであるが、これに限られるものではない。また、本実施形態におけるトークフェーズは、５段階に限られず、トークフェーズを何段階とするかは任意である。また、段階推定部５０６で推定された現在の段階がどの段階であるかを示すのにハッチング以外の表示態様（例えば、背景色の違い）により示すようにしてもよい。

【0071】

また、ＯＰ端末３の表示装置３００Ｄには、トークスクリプト取得部５０８により取得されたトークスクリプトが表示枠６０３内に表示される。表示枠６０３内に表示されたトークスクリプトは、会話速度計測部５０９で計測された会話速度に応じて朗読箇所の文字が異なる態様（例えば、文字の色が変化する）で表示される。なお、朗読箇所が理解できれば、他の表示態様であってもよく、例えば、トークスクリプトが左右又は上下にスクロールすることで朗読箇所が理解できる態様としてもよい。また、トークスクリプトが左右又は上下にスクロールすることで朗読箇所が理解できる態様と、朗読箇所の文字が異なる態様（例えば、文字の色が変化する）と組み合わせるようにしてもよい。

【0072】

さらに、ＯＰ端末３の表示装置３００Ｄには、ＳＶ端末４から送信され受信部５０１で受信されたオペレータＯＰの評価に関する情報６０４、助言取得部５１１で取得された助言６０５などが表示される。なお、ＳＶ端末４から送信され受信部５０１で受信されたオペレータＯＰの評価に関する情報６０４は、スーパーバイザーＳＶがＳＶ端末４の入力装置４００Ｃを操作して入力したコメント（文字情報）でもよいし、スーパーバイザーＳＶによるオペレータＯＰへの評価を表した画像（例えば、トロフィーの画像）などであってもよく、さらに、上記コメント（文字情報）及び上記画像を組み合わせたものであってもよい。また、上記コメント（文字情報）及び上記画像の少なくとも一方をＯＰ端末３の表示装置３００Ｄに複数表示可能に構成してもよい。

【0073】

なお、図５に示す表示画面は、ＯＰ端末３の表示装置３００Ｄに表示される画面の一例であり、上述した各項目（キャラクタ画像６０１、段階（トークフェーズ）６０２、トークスクリプトの表示枠６０３、オペレータＯＰの評価に関する情報６０４、助言６０５、顧客ＣＳへの対応に関する情報６０６）を表示装置３００Ｄの画面のどの位置に提示するかは任意である。

【0074】

（情報処理システムによる処理）
図６から図１１は、情報処理システム１による処理の一例を示すフローチャートである。以下、図６から図１１を参照して、情報処理システム１による処理について説明する。

【0075】

（メイン処理）
図６は、情報処理システム１によるメイン処理を示す図である。以下、図６を参照して情報処理システム１のメイン処理について説明する。

【0076】

（ステップＳ１０１）
サーバ５の音声情報取得部５０２は、通話端末２Ａ及び通話端末２Ｂから送信される顧客ＣＳ及びオペレータＯＰの音声信号を取得する。

【0077】

（ステップＳ１０２）
サーバ５の音響特徴抽出部５０３は、音声情報取得部５０２で取得された音声信号からオペレータＯＰ及び顧客ＣＳの音響特徴を抽出する。音響特徴抽出部５０３は、通話端末２Ａ及び通話端末２Ｂ間の通話が継続する間、オペレータＯＰ及び顧客ＣＳそれぞれの音声信号から音響特徴を抽出する。

【0078】

（ステップＳ１０３）
サーバ５の感情解析部５０４は、感情解析処理を実行する。感情解析処理の詳細は後述する。

【0079】

（ステップＳ１０４）
サーバ５は、評価提示処理を実行する。評価提示処理の詳細は後述する。

【0080】

（ステップＳ１０５）
サーバ５は、トークスクリプト提示処理を実行する。トークスクリプト提示処理の詳細は後述する。

【0081】

（ステップＳ１０６）
サーバ５は、助言提示処理を実行する。助言提示処理の詳細は後述する。

【0082】

（ステップＳ１０７）
サーバ５は、具体的には、通話端末２Ａ及び通話端末２Ｂ間の通話が継続しているか否かを判定する。オペレータＯＰ及び顧客ＣＳの会話が継続している場合（ステップＳ１０７のＹＥＳ）、サーバ５は、ステップＳ１０１からＳ１０６の処理を継続する。換言すると、サーバ５は、通話端末２Ａ及び通話端末２Ｂ間の通話が継続する間、ステップＳ１０１からＳ１０６の処理を継続する。また、オペレータＯＰ及び顧客ＣＳの会話が継続していない場合（ステップＳ１０７のＮＯ）、サーバ５は、評価処理を終了する。なお、評価処理の終了の判定は、通話端末２Ａ及び通話端末２Ｂとの通話が遮断されたか否かに基づいて判定すればよい。

【0083】

なお、サーバ５の記憶装置制御部５１３は、サーバ５で取得・抽出される各種情報、例えば、音声情報取得部５０２で取得されたオペレータＯＰ及び顧客ＣＳの音声信号、感情解析部５０４で解析されたオペレータＯＰ及び顧客ＣＳの感情の解析結果、テキスト生成部５０５で生成されたオペレータＯＰ及び顧客ＣＳの会話のテキストデータなど、をオペレータＯＰ及び顧客ＣＳの識別子（ＩＤ）に関連付けて記憶装置５００Ｂへ格納する。なお、個別の会話を特定可能なように、オペレータＯＰ及び顧客ＣＳのＩＤに加えて、個別の会話ごとに識別子（会話ＩＤ）をテキストデータに関連付けて記憶装置５００Ｂへ格納するようにしてもよい。

【0084】

（感情解析処理）
図７は、情報処理システム１による感情解析処理を示す図である。以下、図７を参照して情報処理システム１による感情解析処理について説明する。

【0085】

（ステップＳ２０１）
感情解析部５０４は、第４ＤＢに格納されている学習済みのモデルのうち、第1モデル（例えば、「平常」の学習モデル）の音響特性を読み込む。

【0086】

（ステップＳ２０２）
感情解析部５０４は、音響特徴抽出部５０３で抽出されたオペレータＯＰ及び顧客ＣＳの音響特徴を、それぞれ、読み込んだ第1モデルの音響特性と比較して類似度を算出する。なお、類似度は、種々の既知の手法を利用して算出することができる。例えば、ユークリッド距離、ピアソンの積率相関係数、Jaccard係数などを利用して、音響特徴抽出部５０３で抽出されたオペレータＯＰ及び顧客ＣＳの音響特徴と、第1モデルの音響特性との類似度を算出することができる。

【0087】

（ステップＳ２０３）
感情解析部５０４は、第４ＤＢに格納されている学習済みのモデルのうち、第２モデル（例えば、「喜び」の学習モデル）の音響特性を読み込む。

【0088】

（ステップＳ２０４）
感情解析部５０４は、音響特徴抽出部５０３で抽出されたオペレータＯＰ及び顧客ＣＳの音響特徴を、それぞれ、読み込んだ第２モデルの音響特性と比較して類似度を算出する。なお、類似度の算出については、ステップＳ２０２と同じ手法を利用することができる。

【0089】

（ステップＳ２０５）
感情解析部５０４は、第４ＤＢに格納されている学習済みのモデルのうち、第３モデル（例えば、「怒り」の学習モデル）の音響特性を読み込む。

【0090】

（ステップＳ２０６）
感情解析部５０４は、音響特徴抽出部５０３で抽出されたオペレータＯＰ及び顧客ＣＳの音響特徴を、それぞれ、読み込んだ第３モデルの音響特性と比較して類似度を算出する。なお、類似度の算出については、ステップＳ２０２と同じ手法を利用することができる。

【0091】

（ステップＳ２０７）
感情解析部５０４は、第１〜第３モデルと比較した類似度にそれぞれ重みづけなどを行い、類似度を調整する。

【0092】

（ステップＳ２０８）
感情解析部５０４は、調整された各第１〜第３モデルとの類似度に基づいて、オペレータＯＰ及び顧客ＣＳの感情を推定する。より具体的には、感情解析部５０４は、オペレータＯＰ及び顧客ＣＳの音響特徴が、第１から第３のどのモデルにどれだけ近いかにより、オペレータＯＰ及び顧客ＣＳの感情をそれぞれ推定する。なお、オペレータＯＰ及び顧客ＣＳの音響特徴が、第１から第３のどのモデルにどれだけ近いかの算出は、ステップＳ２０２と同じ手法を利用することができる。

【0093】

（ステップＳ２０９）
感情解析部５０４は、解析したオペレータＯＰ及び顧客ＣＳの感情から両者の感情の共感度、換言すると、オペレータＯＰ及び顧客ＣＳの感情の一致率（共感度）を算出する。ここで、共感度は、時系列データであり、感情解析部５０４は、オペレータＯＰ及び顧客ＣＳの発話毎の感情値の特徴的なパタンを元に感情の一致率（共感度）を計算する。感情の一致率（共感度）は、主に顧客ＣＳの「平常」以外の感情値の生起するタイミング、感情値の変化量などを特徴量とし、その特徴量の変化に対するオペレータＯＰの発話タイミング、感情値、および感情値の変化量をパラメータとして算出する。なお、感情の一致率（共感度）は、種々の既知の手法を組み合わせて算出することができる。例えば、感情の一致率（共感度）の時系列データの特徴を抽出するために機械学習を用いてもよい。

【0094】

なお、上記感情解析処理（図７）では、第１〜第３モデルの３つモデルとの類似度に基づいて、オペレータＯＰ及び顧客ＣＳの感情を推定しているが、学習済みのモデルは、３つ（例えば、「平常」「喜び」「怒り」）だけに限られず任意であり、「哀しみ」「楽しみ」などの学習済みのモデルとの類似度を加えても良いし、さらに細分化して「信頼」「心配」「驚き」「嫌悪感」「関心」などの学習済みのモデルとの類似度を加えてもよい。

【0095】

（評価提示処理）
図８は、情報処理システム１による評価提示処理を示す図である。以下、図８を参照して情報処理システム１による評価提示処理について説明する。

【0096】

（ステップＳ３０１）
サーバ５の段階推定部５０６は、テキスト生成部５０５で生成されたテキストデータに含まれるキーワードに基づいて、オペレータＯＰによる顧客ＣＳへの対応がどの段階にあるかを推定する。

【0097】

（ステップＳ３０２）
サーバ５の感情パタン特定部５０７は、第６ＤＢに格納されている１以上の感情の推移パタンのうち、どの感情の推移パタンと比較するかを特定する。具体的には、感情パタン特定部５０７は、第６ＤＢに格納されている１以上の感情の推移パタンのうち、段階推定部５０６で推定された段階に応じて第６ＤＢに格納されているオペレータＯＰ及び顧客ＣＳの感情の推移パタンを比較対象として特定する。

【0098】

（ステップＳ３０３）
サーバ５の評価部５１２は、感情パタン特定部５０７により特定された感情の推移パタンと、感情解析部５０４で解析されたオペレータＯＰ及び顧客ＣＳの感情の推移パタンとを比較して、オペレータＯＰによる顧客ＣＳへの対応を評価する。なお、上述したように評価部５１２は、感情パタン特定部５０７により特定された感情の推移パタンと、感情解析部５０４で解析されたオペレータＯＰ及び顧客ＣＳの感情の推移パタンとの乖離が所定未満である場合、評価を「良（ＧＯＯＤ）」とし、乖離が所定以上である場合、評価を「悪（ＢＡＤ）」としてもよいし、他の評価手法を採用してもよい。

【0099】

（ステップＳ３０４）
サーバ５の提示部５１４は、評価部５１２での評価結果を提示する。具体的には、提示部５１４は、評価部５１２での評価結果の情報を、評価を行ったオペレータＯＰのＯＰ端末３へと送信するよう送信部５１５へ指示する。また、提示部５１４は、評価部５１２での評価結果の情報を、評価を行ったオペレータＯＰの管理者であるスーパーバイザーＳＶのＳＶ端末４へと送信するよう送信部５１５へ指示する。送信部５１５は、提示部５１４の指示に基づいて、評価部５１２での評価結果の情報をＯＰ端末３及びＳＶ端末４へと送信する。送信部５１５から送信された情報は、ＯＰ端末３の受信部３０１及びＳＶ端末４の受信部４０１でそれぞれ受信され、ＯＰ端末３の表示装置制御部３０４及びＳＶ端末４の表示装置制御部４０４によりそれぞれ表示装置３００Ｄ及び表示装置４００Ｄに提示される。なお、表示装置３００Ｄでは、図５で説明したように、評価部５１２での評価結果に応じて文字情報及び／又は評価結果に応じて表情及び動作の少なくとも一方が変化するキャラクタ画像として提示される。

【0100】

（トークスクリプト提示処理）
図９は、情報処理システム１によるトークスクリプト提示処理を示す図である。以下、図９を参照して情報処理システム１によるトークスクリプト提示処理について説明する。

【0101】

（ステップＳ４０１）
サーバ５の段階推定部５０６は、テキスト生成部５０５で生成されたテキストデータに含まれるキーワードに基づいて、オペレータＯＰによる顧客ＣＳへの対応がどの段階にあるかを推定する。

【0102】

（ステップＳ４０２）
サーバ５のトークスクリプト取得部５０８は、第１ＤＢを参照し、段階推定部５０６により推定された話題に関連付けられたトークスクリプトを取得する。

【0103】

（ステップＳ４０３）
サーバ５の会話速度計測部５０９は、音声情報取得部５０２で取得される顧客ＣＳの音声信号に基づいて、顧客ＣＳの会話速度を計測する。

【0104】

（ステップＳ４０４）
サーバ５の提示部５１４は、トークスクリプト取得部５０８で取得されたトークスクリプトの情報を提示する。この際、提示部５１４は、会話速度計測部５０９で計測された会話速度に応じて朗読箇所の文字が異なる態様（例えば、文字の色が変化する）で表示されるようにトークスクリプト取得部５０８で取得されたトークスクリプトの情報を提示する。なお、図５で説明したように、朗読箇所が理解できれば他の表示態様であってもよく、例えば、トークスクリプトが左右又は上下にスクロールすることで朗読箇所が理解できる態様としてもよい。また、トークスクリプトが左右又は上下にスクロールすることで朗読箇所が理解できる態様と、朗読箇所の文字が異なる態様（例えば、文字の色が変化する）と組み合わせるようにしてもよい。具体的には、提示部５１４は、トークスクリプト取得部５０８で取得されたトークスクリプトの情報をオペレータＯＰのＯＰ端末３へと送信するよう送信部５１５へ指示する。送信部５１５は、提示部５１４の指示に基づいて、トークスクリプト取得部５０８で取得されたトークスクリプトの情報をＯＰ端末３へ送信する。送信部５１５から送信された情報は、ＯＰ端末３の受信部３０１で受信されたのち、ＯＰ端末３の表示装置制御部３０４に表示される。

【0105】

（助言提示処理）
図１０は、情報処理システム１による助言提示処理を示す図である。以下、図１０を参照して情報処理システム１による助言提示処理について説明する。

【0106】

（ステップＳ５０１）
状況判定部５１０は、顧客ＣＳとオペレータＯＰとの会話内容からオペレータＯＰと顧客ＣＳとの状況が、第２ＤＢに格納されている事例のいずれかに該当するか否かを判定する。状況判定部５１０は、該当する事例がある場合（ＹＥＳ）、ステップＳ５０２の処理へ移行する。また、状況判定部５１０は、該当する事例がない場合（ＮＯ）、助言提示処理を終了する。

【0107】

（ステップＳ５０２）
助言取得部５１１は、第２ＤＢを参照し、状況判定部５１０での判定結果に応じてオペレータＯＰへの助言を取得する。具体的には、助言取得部５１１は、状況判定部５１０で判定された事例に応じた助言を取得する。

【0108】

（ステップＳ５０３）
サーバ５の提示部５１４は、助言取得部５１１で取得された助言を提示する。具体的には、提示部５１４は、助言取得部５１１で取得された助言の情報をオペレータＯＰのＯＰ端末３へと送信するよう送信部５１５へ指示する。送信部５１５は、提示部５１４の指示に基づいて、助言取得部５１１で取得された助言の情報をＯＰ端末３へ送信する。送信部５１５から送信された情報は、ＯＰ端末３の受信部３０１で受信されたのち、ＯＰ端末３の表示装置制御部３０４に表示される。

【0109】

（ＳＶ提示処理）
図１１は、情報処理システム１によるスーパーバイザーＳＶからの評価を提示するＳＶ提示処理を示す図である。以下、図１１を参照して情報処理システム１によるＳＶ提示処理について説明する。

【0110】

（ステップＳ６０１）
ＳＶ端末４の入力受付部４０３は、スーパーバイザーＳＶが入力装置４００Ｃを操作して入力したオペレータＯＰの評価（例えば、助言や感想など）に関する情報を受け付ける。

【0111】

（ステップＳ６０２）
ＳＶ端末４の送信部４０５は、入力受付部４０３で受け付けられた情報をサーバ５へ送信する。

【0112】

（ステップＳ６０３）
サーバ５の受信部５０１は、ＳＶ端末４から送信された情報を受信する。サーバ５の提示部５１４は、受信部５０１で受信したオペレータＯＰの評価に関する情報を提示する。具体的には、提示部５１４は、受信部５０１で受信したオペレータＯＰの評価に関する情報をオペレータＯＰのＯＰ端末３へと送信するよう送信部５１５へ指示する。送信部５１５は、提示部５１４の指示に基づいて、受信部５０１で受信したオペレータＯＰの評価に関する情報をＯＰ端末３へ送信する。送信部５１５から送信された情報は、ＯＰ端末３の受信部３０１で受信されたのち、ＯＰ端末３の表示装置制御部３０４に表示される。なお、サーバ５を介さずに、ＳＶ端末４からＯＰ端末３へネットワーク８を介して直接オペレータＯＰの評価に関する情報を送信できる構成としてもよい。

【0113】

以上のように、本実施形態に係る情報処理システム１のサーバ５は、顧客ＣＳ（第１話者）及び顧客ＣＳと会話するオペレータＯＰ（第２話者）の音声情報を取得する音声情報取得部５０２と、音声情報取得部５０２で取得された音声情報から顧客ＣＳ及びオペレータＯＰの感情を解析する感情解析部５０４と、感情解析部５０４での解析結果に応じてオペレータＯＰによる顧客ＣＳへの対応を評価する評価部５１２と、評価部５１２での評価結果を提示する提示部５１４と、を備えている。
このため、オペレータＯＰによる顧客ＣＳへの対応の評価を、オペレータＯＰ自身やスーパーバイザーＳＶにフィードバックすることができ、顧客ＣＳがオペレータＯＰの対応に不満を持ったりする苦情状態となることを未然に抑制することができ、利便性に優れる。また、本実施形態では、顧客ＣＳ及びオペレータＯＰの感情をリアルタイムに解析するので、即座にフィードバックを得ることができ、直ぐにオペレータＯＰの対応を改善するなどの対応をとることができ、利便性に優れる。

【0114】

また、サーバ５の提示部５１４は、評価結果に応じて文字情報及び／又は評価結果に応じて表情及び動作の少なくとも一方が変化するキャラクタ画像を提示する。
評価結果に応じて文字情報や表情及び動作の少なくとも一方が変化するキャラクタ画像がＯＰ端末に提示されるので、オペレータＯＰは、顧客ＣＳと会話していてもフィードバックを得ることができ利便性に優れる。また、表情及び動作の少なくとも一方が変化するキャラクタ画像を提示する場合、間接的に指摘される形となるため、オペレータＯＰも評価結果を素直に受け入れて自身の対応に反映しやすくなる。

【0115】

また、サーバ５の提示部５１４は、オペレータＯＰ（第２話者）の管理者であるスーパーバイザーＳＶ（管理者）のＳＶ端末４に対して評価部５１２での評価結果を提示する。スーパーバイザーＳＶのＳＶ端末４にもオペレータＯＰの評価が提示されるので、スーパーバイザーＳＶは、オペレータＯＰの顧客ＣＳへの対応状況を知ることができ、利便性に優れる。

【0116】

また、サーバ５は、ＳＶ端末４から送信されたオペレータＯＰの評価に関する情報を受け付ける受信部５０１（第２受付部）を備え、提示部５１４は、受信部５０１（第２受付部）で受け付けられたオペレータＯＰの評価に関する情報をオペレータＯＰのＯＰ端末３へ提示する。
オペレータＯＰは、顧客ＣＳへの対応の評価を確認したスーパーバイザーＳＶからのフィードバックを受けることができ、利便性に優れる。また、スーパーバイザーＳＶもＳＶ端末４からオペレータＯＰへフィードバックを送ることができるため、利便性に優れる。

【0117】

また、サーバ５の提示部は、オペレータＯＰによる顧客ＣＳへの対応の段階（トークフェーズ。例えば、セールス、オープニング、オファー、リバトル、クロージングなど）を提示する。このため、オペレータＯＰは、現状の会話が商品説明や契約内容説明において、どの段階にあるのかを把握することができ、利便性に優れる。

【0118】

また、サーバ５の評価部５１２は、オペレータＯＰによる顧客ＣＳへの対応を段階に応じて異なる基準で評価する。
このように、段階に応じて異なる基準でオペレータＯＰによる顧客ＣＳへの対応を評価することで、より精度の高い評価を行うことができ、利便性に優れる。

【0119】

また、サーバ５は、顧客ＣＳ及びオペレータＯＰの会話内容から段階を推定する段階推定部５０６を備える。そして、サーバ５の提示部５１４は、段階推定部５０６で推定された段階を提示する。
このため、オペレータＯＰは、自身で、顧客ＣＳとの会話がどの段階にあるかを把握する必要がなく、顧客ＣＳとの会話に集中することができ、利便性に優れる。また、オペレータＯＰは、顧客ＣＳとの会話に集中することができるので、アウトバウンド営業やインバウンド営業の成績が向上することが期待できる。

【0120】

また、サーバ５は、段階と、段階に関するトークスクリプトとが関連付けて格納された第１ＤＢ（第１記憶部）を参照し、段階推定部５０６により推定された段階に関連付けられたトークスクリプトを取得するトークスクリプト取得部５０８と、を備える。そして、サーバ５の提示部５１４は、トークスクリプト取得部５０８で取得されたトークスクリプトを提示する。
このように、自動で段階（トークフェーズ）に沿ったトークスクリプトが取得され、オペレータＯＰに提示されるので、オペレータＯＰの顧客ＣＳとの会話の負担が大幅に低減されることが期待でき、利便性に優れる。

【0121】

また、サーバ５は、顧客ＣＳの会話速度を計測する会話速度計測部５０９を備える。そして、サーバ５の提示部５１４は、トークスクリプトを、会話速度計測部５０９で計測された会話速度に応じて提示する。
このように、顧客ＣＳの会話速度に合わせてトークスクリプトが提示されるため、オペレータＯＰは、トークスクリプトをどのように読めばよいか迷うことがなく、オペレータＯＰの顧客ＣＳとの会話の負担が大幅に低減されることが期待でき、利便性に優れる。

【0122】

また、サーバ５は、顧客ＣＳとオペレータＯＰとの会話内容から、オペレータＯＰと顧客ＣＳとの状況を判定する状況判定部５１０と、オペレータＯＰへの助言に関する情報が格納された第２ＤＢ（第２記憶部）を参照し、状況判定部５１０での判定結果に応じてオペレータＯＰへの助言を取得する助言取得部５１１とを備える。そして、サーバ５の提示部５１４は、助言取得部５１１で取得された助言を提示する。
このため、顧客ＣＳとオペレータＯＰとの会話内容から、オペレータＯＰと顧客ＣＳと状況を判定し、状況判定部５１０での判定結果に応じてオペレータＯＰへの助言を取得するので、オペレータＯＰは助言に従うことで、アウトバウンド営業やインバウンド営業の成績が向上することが期待できる。

【0123】

また、サーバ５は、顧客ＣＳへの対応に必要となる資料の格納を受け付ける受信部５０１（第１受付部）と、受信部５０１（第１受付部）で受け付けられた資料を、顧客ＣＳの識別情報に関連付けて第３ＤＢ（第３記憶部）へ格納する記憶装置制御部５１３（記憶制御部）と、を備える。
このため、オペレータＯＰは、以前顧客ＣＳへ提示した資料を確認することができ、利便性に優れる。また、直ぐに資料を確認することができるので、顧客ＣＳの満足度が向上することが期待できる。

【0124】

[実施形態の変形例１]
図１２は、実施形態の変形例１にサーバ５の機能構成の一例を示す図である。また、図１３は、実施形態の変形例１に係る情報処理システム１による対応情報提示処理の一例を示すフローチャートである。以下、図１２及び図１３を参照して、実施形態の変形例１に係る情報処理システム１について説明するが、図１から図１１を参照して説明した実施形態に係る情報処理システム１と同様の構成については、同一の符号を付して異なる構成について説明し、重複する説明を省略する。

【0125】

実施形態の変形例１にサーバ５の記憶装置５００Ｂは、第７ＤＢ（第４記憶部）を有する。第７ＤＢには、顧客ＣＳの感情と、顧客ＣＳへの対応に関する情報とが関連付けて格納されている。感情は、感情解析部５０４により解析される顧客ＣＳの感情である。また、対応に関する情報は、例えば、顧客ＣＳの感情が怒りである場合は、ゆっくり話す、など顧客ＣＳの感情状態に応じた対応方法である。

【0126】

図１２に示すように、変形例１に係るサーバ５は、受信部５０１（第１，第２受付部）、音声情報取得部５０２、音響特徴抽出部５０３、感情解析部５０４、テキスト生成部５０５、段階推定部５０６、感情パタン特定部５０７、トークスクリプト取得部５０８、会話速度計測部５０９、状況判定部５１０、助言取得部５１１、評価部５１２、記憶装置制御部５１３、提示部５１４、送信部５１５、対応情報取得部５１６などの機能を有する。

【0127】

対応情報取得部５１７は、第７ＤＢを参照し、感情解析部５０４での顧客ＣＳの感情の解析結果に応じて顧客ＣＳへの対応に関する情報を取得する。また、対応情報取得部５１７により取得された顧客ＣＳへの対応に関する情報は、提示部５１４によりＯＰ端末３へ提示される。

【0128】

（対応情報提示処理）
図１３は、変形例１に係る情報処理システム１による対応情報提示処理を示す図である。以下、図１３を参照して情報処理システム１による対応情報提示処理について説明する。

【0129】

（ステップＳ７０１）
変形例１に係るサーバ５（情報処理装置）の対応情報取得部５１７は、第７ＤＢを参照し、感情解析部５０４での顧客ＣＳの感情の解析結果に応じて顧客ＣＳへの対応に関する情報を取得する。なお、感情解析部５０４による顧客ＣＳの感情の解析方法については、図７を参照して説明したので重複する説明を省略する。

【0130】

（ステップＳ７０２）
変形例１に係るサーバ５の提示部５１４は、対応情報取得部５１７で取得された顧客ＣＳへの対応に関する情報を提示する。具体的には、提示部５１４は、対応情報取得部５１７で取得された顧客ＣＳへの対応に関する情報をオペレータＯＰのＯＰ端末３へと送信するよう送信部５１５へ指示する。送信部５１５は、提示部５１４の指示に基づいて、対応情報取得部５１７で取得された顧客ＣＳへの対応に関する情報をＯＰ端末３へ送信する。送信部５１５から送信された情報は、ＯＰ端末３の受信部３０１で受信されたのち、ＯＰ端末３の表示装置制御部３０４に表示される。

【0131】

このように、実施形態の変形例１に係るサーバ５は、顧客ＣＳの感情と、顧客ＣＳへの対応に関する情報とが関連付けて格納された第７ＤＢを参照し、感情解析部５０４での解析結果に応じて顧客ＣＳへの対応に関する情報を取得する対応情報取得部５１７を備えている。そして、サーバ５の提示部５１４は、対応情報取得部５１７で取得された顧客ＣＳへの対応に関する情報を提示する。このため、顧客ＣＳの感情に応じて直ぐに対応を変えるなどすることができ、利便性に優れる。

【0132】

[実施形態の変形例２]
なお、上記実施形態及び変形例１では、サーバ５の会話速度計測部５０９は、顧客ＣＳの会話速度を計測し、サーバ５の提示部５１４は、トークスクリプト取得部５０８で取得されたトークスクリプトの情報を、会話速度計測部５０９で計測された顧客ＣＳの会話速度に応じて朗読箇所の文字が異なる態様（例えば、文字の色が変化する）でＯＰ端末３の表示装置３００Ｄに表示されるように提示している。

【0133】

しかしながら、サーバ５の会話速度計測部５０９は、音声情報取得部５０２で取得されるオペレータＯＰの音声信号に基づいて、オペレータＯＰの会話速度を計測し、サーバ５の提示部５１４は、トークスクリプト取得部５０８で取得されたトークスクリプトの情報を、会話速度計測部５０９で計測されたオペレータＯＰの会話速度に応じて朗読箇所の文字が異なる態様（例えば、文字の色が変化する）でＯＰ端末３の表示装置３００Ｄに提示するように構成してもよい。このように、会話速度計測部５０９で計測されたオペレータＯＰの会話速度に応じてトークスクリプトを提示することで、オペレータＯＰは、無理に読み上げ速度を速めたり遅くしたりする必要がなく自然な感じでトークスクリプトを読むことができ、顧客ＣＳに好印象を与えることが期待できる。

【0134】

また、サーバ５の会話速度計測部５０９は、音声情報取得部５０２で取得される顧客ＣＳ及びオペレータＯＰの音声信号に基づいて、顧客ＣＳ及びオペレータＯＰの会話速度を計測し、サーバ５の提示部５１４は、トークスクリプト取得部５０８で取得されたトークスクリプトの情報を、会話速度計測部５０９で計測された顧客ＣＳ及びオペレータＯＰの会話速度に応じて朗読箇所の文字が異なる態様（例えば、文字の色が変化する）でＯＰ端末３の表示装置３００Ｄに提示するように構成してもよい。この場合、顧客ＣＳの会話速度と、オペレータＯＰの会話速度の平均値を、会話速度としてもよいし、顧客ＣＳの会話速度とオペレータＯＰの会話速度とにそれぞれ重みづけをして会話速度を算出するようにしてもよい。顧客ＣＳ及びオペレータＯＰの両者の会話速度を考慮することにより、より効果的にトークスクリプトを読み上げることができることが期待できる。

【0135】

なお、図５で説明したように、朗読箇所が理解できれば他の表示態様であってもよく、例えば、トークスクリプトが左右又は上下にスクロールすることで朗読箇所が理解できる態様としてもよいし、朗読箇所の文字が異なる態様（例えば、文字の色が変化する）と組み合わせるようにしてもよい。

【0136】

[実施形態の変形例３]
なお、上記実施形態及び変形例１，２では、第６ＤＢに、オペレータＯＰ及び顧客ＣＳの感情の共感度の推移パタンが段階ごとに格納されていたが、オペレータＯＰ及び顧客ＣＳの感情の推移パタンを、顧客ＣＳのカテゴリ、オペレータＯＰのカテゴリ、会話日、会話時間帯、電話回数、進捗状況の組み合わせごとに、第６ＤＢに格納するようにしてもよい。この場合、感情解析部５０４で解析されるオペレータＯＰ及び顧客ＣＳのそれぞれの感情の推移パタンを、感情パタン特定部５０７により特定された第６ＤＢに格納されているオペレータＯＰ及び顧客ＣＳのそれぞれの感情の推移パタンと比較して助言取得部５１１が助言を抽出し、提示部５１４が提示するようにしてもよい。

【0137】

[実施形態の変形例４]
また、上記実施形態及び変形例１〜３では、オペレータＯＰ及び顧客ＣＳの感情の推移パタンが予め第６ＤＢに格納されていたが、サーバ５に、感情解析部５０４で解析されたオペレータＯＰ及び顧客ＣＳの感情の推移パタンをオペレータＯＰごとに学習する学習部を備え、第６ＤＢに格納されているオペレータＯＰ及び顧客ＣＳの感情の推移パタンを学習部で学習結果に応じて更新するようにしてもよい。このようにすることで、感情解析部５０４で解析されたオペレータＯＰ及び顧客ＣＳの感情の推移を、第６ＤＢに格納されたオペレータＯＰ及び顧客ＣＳの感情の推移パタンと画一的に比較して助言を提示するだけでなく、各オペレータＯＰの個性や特徴（例えば、営業スタイルなど）に合わせて、助言を提示することができ、より効果的に営業を支援することができる。

【0138】

[実施形態の変形例５]
また、上記実施形態及び変形例１〜４では、オペレータＯＰが通話端末２Ｂから顧客ＣＳの通話端末２Ａへ架電する形態となっているが、サーバ５及び／又はＯＰ端末３から顧客ＣＳの通話端末２Ａへ架電する構成を除外するものではなく、サーバ５及び／又はＯＰ端末３から顧客ＣＳの通話端末２Ａへ架電可能な構成としてもよい。

【0139】

[実施形態の変形例６]
また、上記実施形態及び変形例１〜５では、図１に示すように、情報処理システム１は、ＰＢＸ装置６がネットワーク８を介して、オペレータＯＰ（第1話者）の通話端末２Ｂと接続し通話をする構成を有し、ネットワーク８には、ＯＰ端末３、ＳＶ端末４及びサーバ５（情報処理装置）が通信可能に接続されているが、以下のように構成されていてもよい。
（１）ＰＢＸ装置６が公衆網７に接続され、ネットワーク８がＰＢＸ装置６を介さずに公衆網７に接続されており、ネットワーク８に通話端末２Ｂ、サーバ５（情報処理装置）、ＯＰ端末３及びＳＶ端末４が通信可能に接続された構成。
（２）ＰＢＸ装置６及びサーバ５（情報処理装置）が公衆網７に接続され、ネットワーク８がＰＢＸ装置６を介さずに公衆網７に接続されており、ネットワーク８に通話端末２Ｂ、ＯＰ端末３及びＳＶ端末４が通信可能に接続された構成。

【0140】

なお、サーバ５の感情解析部５０４は、オペレータＯＰ及び顧客ＣＳ（両話者）の発話内容を考慮して両話者各々の感情を解析するようにしてもよい。このように、発話内容を考慮して感情を解析することで、精度よくオペレータＯＰ及び顧客ＣＳ（両話者）の感情を解析することができる。結果、より効果的な営業支援を行うことができる。

【符号の説明】

【0141】

１ 情報処理システム
２Ａ 通話端末（ユーザ）
２Ｂ 通話端末（オペレータ）
３ オペレータ用端末（ＯＰ端末）
３００Ａ 通信ＩＦ
３００Ｂ 記憶装置
３００Ｃ 入力装置
３００Ｄ 表示装置
３００Ｅ ＣＰＵ
３０１ 受信部（受付部）
３０２ 記憶装置制御部
３０３ 入力受付部
３０４ 表示装置制御部
３０５ 送信部
４ スーパーバイザー用端末（ＳＶ端末）
４００Ａ 通信ＩＦ
４００Ｂ 記憶装置
４００Ｃ 入力装置
４００Ｄ 表示装置
４００Ｅ ＣＰＵ
４０１ 受信部（受付部）
４０２ 記憶装置制御部
４０３ 入力受付部
４０４ 表示装置制御部
４０５ 送信部
５ サーバ（情報処理装置）
５００Ａ 通信ＩＦ
５００Ｂ 記憶装置
５００Ｃ ＣＰＵ
５０１ 受信部
５０２ 音声情報取得部
５０３ 音響特徴抽出部
５０４ 感情解析部
５０５ テキスト生成部
５０６ 段階推定部
５０７ 感情パタン特定部
５０８ トークスクリプト取得部
５０９ 会話速度計測部
５１０ 状況判定部
５１２ 助言取得部
５１３ 評価部
５１４ 記憶装置制御部
５１５ 提示部
５１６ 送信部
５１１ 対応情報取得部
６ ＰＢＸ装置
７ 公衆網
８ ネットワーク
ＣＳ 顧客
ＯＰ オペレータ
ＳＶ スーパーバイザー

【要約】      （修正有）

【課題】より利便性に優れる情報処理装置、情報処理方法及び情報処理プログラムを提供する。
【解決手段】情報処理システムにおいて、情報処理装置５（サーバ）のＣＰＵ５００Ｃは、第１話者及び第１話者と会話する第２話者の音声情報を取得する音声情報取得部と、音声情報取得部で取得された音声情報から第１話者及び第２話者の感情を解析する感情解析部と、感情解析部での解析結果に応じて第２話者による第１話者への対応を評価する評価部と、評価部での評価結果を提示する提示部と、を備える。
【選択図】図４

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】