特開 2023-135405 プログラム、情報処理装置及び情報処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023135405

(43)【公開日】2023-09-28

(54)【発明の名称】プログラム、情報処理装置及び情報処理方法

(51)【国際特許分類】

   G10L 15/10 20060101AFI20230921BHJP

   G06F 16/65 20190101ALI20230921BHJP

   G10L 15/22 20060101ALI20230921BHJP

   G10L 15/16 20060101ALI20230921BHJP

   G10L 25/63 20130101ALI20230921BHJP

   G10L 25/51 20130101ALI20230921BHJP

   G10L 25/30 20130101ALI20230921BHJP

【ＦＩ】

G10L15/10 500N

G06F16/65

G10L15/10 500Z

G10L15/22 460Z

G10L15/16

G10L25/63

G10L25/51

G10L25/30

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2022040588

(22)【出願日】2022-03-15

(71)【出願人】

【識別番号】519063495

【氏名又は名称】株式会社ＰＫＵＴＥＣＨ

(74)【代理人】

【識別番号】100114557

【弁理士】

【氏名又は名称】河野 英仁

(74)【代理人】

【識別番号】100078868

【弁理士】

【氏名又は名称】河野 登夫

(72)【発明者】

【氏名】王 雪竹

(72)【発明者】

【氏名】孫 ▲路▼

【テーマコード（参考）】

5B175

【Ｆターム（参考）】

5B175DA05

5B175FA03

5B175GA04

(57)【要約】

【課題】ユーザの感情に関する感情情報と会話スタイルに関するスタイル情報との両方を出力することが可能となるプログラム等を提供すること。
【解決手段】一つの側面に係るプログラムは、オペレータと対話するユーザの会話データを取得し、会話データを入力した場合にユーザの感情に関する感情情報を出力するよう学習された第１学習モデルに、取得した会話データを入力して前記ユーザの感情情報を出力し、会話データを入力した場合にユーザの会話スタイルに関するスタイル情報を出力するよう学習された第２学習モデルに、取得した会話データを入力して前記ユーザのスタイル情報を出力し、前記オペレータの操作端末に前記感情情報及び前記スタイル情報を出力する処理をコンピュータに実行させる。
【選択図】図１

【特許請求の範囲】

【請求項1】

オペレータと対話するユーザの会話データを取得し、
会話データを入力した場合にユーザの感情に関する感情情報を出力するよう学習された第１学習モデルに、取得した会話データを入力して前記ユーザの感情情報を出力し、
会話データを入力した場合にユーザの会話スタイルに関するスタイル情報を出力するよう学習された第２学習モデルに、取得した会話データを入力して前記ユーザのスタイル情報を出力し、
前記オペレータの操作端末に前記感情情報及び前記スタイル情報を出力する
処理をコンピュータに実行させるプログラム。

【請求項2】

前記第１学習モデルは、平静、快楽、不快及び落ち込みの少なくとも２つを含む感情情報に分類する
請求項１に記載のプログラム。

【請求項3】

前記第１学習モデルは、平静、快楽、不快及び落ち込みの各分類について複数のレベルに分類する
請求項１又は２に記載のプログラム。

【請求項4】

前記第２学習モデルは、ゆっくり話すタイプ及びテキパキ話すタイプを含むスタイル情報に分類する
請求項１から３までのいずれかひとつに記載のプログラム。

【請求項5】

前記第１学習モデルから出力された感情情報、及び前記第２学習モデルから出力されたスタイル情報に応じたアドバイスを特定し、
特定したアドバイスを前記オペレータの操作端末に出力する
請求項１から４までのいずれかひとつに記載のプログラム。

【請求項6】

前記オペレータの会話データを取得し、
取得した会話データを前記第１学習モデルに入力して、前記オペレータの感情情報を出力する
請求項１から５までのいずれかひとつに記載のプログラム。

【請求項7】

時系列で前記ユーザの感情情報を表示させる
請求項１から６までのいずれかひとつに記載のプログラム。

【請求項8】

時系列で前記ユーザの感情情報、前記ユーザの会話スタイル、及び、前記オペレータの感情情報を対応付けて表示させる
請求項１から７までのいずれかひとつに記載のプログラム。

【請求項9】

オペレータと対話するユーザの会話データを取得する取得部と、
会話データを入力した場合にユーザの感情に関する感情情報を出力するよう学習された第１学習モデルに、取得した会話データを入力して前記ユーザの感情情報を出力する第１出力部と、
会話データを入力した場合にユーザの会話スタイルに関するスタイル情報を出力するよう学習された第２学習モデルに、取得した会話データを入力して前記ユーザのスタイル情報を出力する第２出力部と、
前記オペレータの操作端末に前記感情情報及び前記スタイル情報を出力する第３出力部と
を備える情報処理装置。

【請求項10】

オペレータと対話するユーザの会話データを取得し、
会話データを入力した場合にユーザの感情に関する感情情報を出力するよう学習された第１学習モデルに、取得した会話データを入力して前記ユーザの感情情報を出力し、
会話データを入力した場合にユーザの会話スタイルに関するスタイル情報を出力するよう学習された第２学習モデルに、取得した会話データを入力して前記ユーザのスタイル情報を出力し、
前記オペレータの操作端末に前記感情情報及び前記スタイル情報を出力する
処理をコンピュータに実行させる情報処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、プログラム、情報処理装置及び情報処理方法に関する。

【背景技術】

【0002】

近年、音声認識技術により得られた対話データ（音声データ）に基づき、話者の感情を推定する技術の開発が盛んに進められている。例えば特許文献１には、話者が発話した音声を音声認識する上で、発話内容と話者の感情を得る情報処理装置が開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２１－１２４５３０号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、特許文献１に係る発明は、話者（ユーザ）の会話スタイルに関するスタイル情報を得ることができないという問題がある。

【0005】

一つの側面では、ユーザの感情に関する感情情報と会話スタイルに関するスタイル情報との両方を出力することが可能となるプログラム等を提供することにある。

【課題を解決するための手段】

【0006】

一つの側面に係るプログラムは、オペレータと対話するユーザの会話データを取得し、会話データを入力した場合にユーザの感情に関する感情情報を出力するよう学習された第１学習モデルに、取得した会話データを入力して前記ユーザの感情情報を出力し、会話データを入力した場合にユーザの会話スタイルに関するスタイル情報を出力するよう学習された第２学習モデルに、取得した会話データを入力して前記ユーザのスタイル情報を出力し、前記オペレータの操作端末に前記感情情報及び前記スタイル情報を出力する処理をコンピュータに実行させる。

【発明の効果】

【0007】

一つの側面では、ユーザの感情に関する感情情報と会話スタイルに関するスタイル情報との両方を出力することが可能となる。

【図面の簡単な説明】

【0008】

【図1】感情解析システムの概要を示す説明図である。

【図2】サーバの構成例を示すブロック図である。

【図3】訓練データＤＢ及びユーザＤＢのレコードレイアウトの一例を示す説明図である。

【図4】会話データＤＢのレコードレイアウトの一例を示す説明図である。

【図5】オペレータ端末の構成例を示すブロック図である。

【図6】感情識別モデルに関する説明図である。

【図7】スタイル識別モデルに関する説明図である。

【図8】感情情報及びスタイル情報を出力する際の処理手順を示すフローチャートである。

【図9】感情情報及びスタイル情報の表示画面の一例を示す説明図である。

【図10】変形例１におけるサーバの構成例を示すブロック図である。

【図11】アドバイスＤＢのレコードレイアウトの一例を示す説明図である。

【図12】アドバイスを特定する際の処理手順を示すフローチャートである。

【図13】実施形態２における訓練データＤＢのレコードレイアウトの一例を示す説明図である。

【図14】実施形態２における感情識別モデルに関する説明図である。

【図15】実施形態２における感情情報及びスタイル情報の表示画面の一例を示す説明図である。

【図16】実施形態３における会話データＤＢのレコードレイアウトの一例を示す説明図である。

【図17】実施形態３における感情情報及びスタイル情報の表示画面の一例を示す説明図である。

【図18】ユーザの感情情報とオペレータの感情情報との両方を出力する際の処理手順を示すフローチャートである。

【発明を実施するための形態】

【0009】

以下、本発明をその実施形態を示す図面に基づいて詳述する。

【0010】

（実施形態１）
実施形態１は、オペレータと対話しているユーザの会話データに基づき、人工知能（ＡＩ：Artificial Intelligence）を用いて、当該ユーザの感情に関する感情情報及び会話スタイルに関するスタイル情報を出力する形態に関する。

【0011】

図１は、感情解析システムの概要を示す説明図である。本実施形態のシステムは、情報処理装置１、情報処理端末２及び受話端末３を含み、各装置はインターネット等のネットワークＮを介して情報の送受信を行う。

【0012】

情報処理装置１は、種々の情報に対する処理、記憶及び送受信を行う情報処理装置である。情報処理装置１は、例えばサーバ装置、パーソナルコンピュータまたは汎用のタブレットＰＣ（パソコン）等である。本実施形態において情報処理装置１はサーバ装置であるものとし、以下では簡潔のためサーバ１と読み替える。

【0013】

情報処理端末２は、ユーザの感情情報及びスタイル情報の受信及び表示等を行うオペレータの操作端末装置である。情報処理端末２は、例えばスマートフォン、携帯電話、アップルウォッチ（Apple Watch:登録商標）等のウェアラブルデバイス、タブレット、パーソナルコンピュータ端末等の情報処理機器である。以下では簡潔のため、情報処理端末２をオペレータ端末２と読み替える。

【0014】

受話端末３は、電話機、携帯電話、スマートフォンまたは通話可能なタブレット等の端末装置である。

【0015】

本実施形態に係るサーバ１は、オペレータと対話しているユーザの会話データを取得する。サーバ１は、会話データを入力した場合にユーザの感情に関する感情情報を出力するよう学習された感情識別モデル（第１学習モデル）に、取得した会話データを入力して当該ユーザの感情情報を出力する。

【0016】

サーバ１は、会話データを入力した場合にユーザの会話スタイルに関するスタイル情報を出力するよう学習されたスタイル識別モデル（第２学習モデル）に、取得した会話データを入力して当該ユーザのスタイル情報を出力する。サーバ１は、感情識別モデルから出力されたユーザの感情情報、及びスタイル識別モデルから出力されたスタイル情報を、当該ユーザと対話しているオペレータのオペレータ端末２に出力する。

【0017】

図２は、サーバ１の構成例を示すブロック図である。サーバ１は、制御部１１、記憶部１２、通信部１３、入力部１４、表示部１５、読取部１６及び大容量記憶部１７を含む。各構成はバスＢで接続されている。

【0018】

制御部１１はＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro-Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）、ＤＳＰ（Digital Signal Processor）、または量子プロセッサ等の演算処理装置を含む。制御部１１は、記憶部１２に記憶された制御プログラム１Ｐ（プログラム製品）を読み出して実行することにより、サーバ１に係る種々の情報処理、制御処理等を行う。

【0019】

なお、制御プログラム１Ｐは、単一のコンピュータ上で、または１つのサイトにおいて配置されるか、もしくは複数のサイトにわたって分散され、通信ネットワークによって相互接続された複数のコンピュータ上で実行されるように展開することができる。なお、図２では制御部１１を単一のプロセッサであるものとして説明するが、マルチプロセッサであっても良い。

【0020】

記憶部１２はＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）等のメモリ素子を含み、制御部１１が処理を実行するために必要な制御プログラム１Ｐ又はデータ等を記憶している。また、記憶部１２は、制御部１１が演算処理を実行するために必要なデータ等を一時的に記憶する。通信部１３は通信に関する処理を行うための通信モジュールである。

【0021】

入力部１４は、マウス、キーボード、タッチパネル、ボタン等の入力デバイスであり、受け付けた操作情報を制御部１１へ出力する。表示部１５は、液晶ディスプレイ又は有機ＥＬ（electroluminescence）ディスプレイ等であり、制御部１１の指示に従い各種情報を表示する。

【0022】

読取部１６は、ＣＤ（Compact Disc）－ＲＯＭ又はＤＶＤ（Digital Versatile Disc）－ＲＯＭを含む可搬型記憶媒体１ａを読み取る。制御部１１が読取部１６を介して、制御プログラム１Ｐを可搬型記憶媒体１ａより読み取り、大容量記憶部１７に記憶しても良い。また、ネットワークＮ等を介して他のコンピュータから制御部１１が制御プログラム１Ｐをダウンロードし、大容量記憶部１７に記憶しても良い。さらにまた、半導体メモリ１ｂから、制御部１１が制御プログラム１Ｐを読み込んでも良い。

【0023】

大容量記憶部１７は、例えばＨＤＤ（Hard disk drive:ハードディスク）、ＳＳＤ(Solid State Drive:ソリッドステートドライブ)等の記録媒体を備える。大容量記憶部１７は、感情識別モデル（第１学習モデル）１７１、スタイル識別モデル（第２学習モデル）１７２、訓練データＤＢ（database）１７３、ユーザＤＢ１７４及び会話データＤＢ１７５を含む。

【0024】

感情識別モデル１７１は、オペレータと対話するユーザの会話データに基づいて、当該ユーザの感情に関する感情情報を識別する識別器であり、機械学習により生成された学習済みモデルである。スタイル識別モデル１７２は、オペレータと対話するユーザの会話データに基づいて、当該ユーザの会話スタイルに関するスタイル情報を識別する識別器であり、機械学習により生成された学習済みモデルである。

【0025】

訓練データＤＢ１７３は、感情識別モデル１７１及びスタイル識別モデル１７２を構築（生成）するための訓練データを記憶している。ユーザＤＢ１７４は、ユーザに関する情報を記憶している。会話データＤＢ１７５は、ユーザがオペレータと対話した会話データ、並びに、当該会話データに基づいて識別された感情情報及びスタイル情報を記憶している。

【0026】

なお、本実施形態において記憶部１２及び大容量記憶部１７は一体の記憶装置として構成されていても良い。また、大容量記憶部１７は複数の記憶装置により構成されていても良い。更にまた、大容量記憶部１７はサーバ１に接続された外部記憶装置であっても良い。

【0027】

サーバ１は、種々の情報処理及び制御処理等をコンピュータ単体で実行しても良いし、複数のコンピュータで分散して実行しても良い。また、サーバ１は、１台のサーバ内に設けられた複数の仮想マシンによって実現されても良いし、クラウドサーバを用いて実現されても良い。

【0028】

図３は、訓練データＤＢ１７３及びユーザＤＢ１７４のレコードレイアウトの一例を示す説明図である。
訓練データＤＢ１７３は、データ種類列、入力データ列及び出力データ列を含む。データ種類列は、訓練データの種類を記憶している。本実施形態では、訓練データの種類が「感情」及び「スタイル」を含む。「感情」は、感情識別モデル１７１を構築するための訓練データの種類である。「スタイル」は、スタイル識別モデル１７２を構築するための訓練データの種類である。

【0029】

入力データ列は、ユーザがオペレータと対話した会話データを記憶している。出力データ列は、訓練データの種類が「感情」である場合にユーザの感情情報を記憶し、訓練データの種類が「スタイル」である場合にユーザのスタイル情報を記憶している。なお、感情情報及びスタイル情報に関しては後述する。

【0030】

ユーザＤＢ１７４は、ユーザＩＤ列、氏名列及び性別列を含む。ユーザＩＤ列は、各ユーザを識別するために、一意に特定されるユーザのＩＤを記憶している。氏名列は、ユーザの氏名を記憶している。性別列は、ユーザの性別を記憶している。なお、ユーザＤＢ１７４に記憶された情報に関しては、ユーザＩＤ、氏名及び性別に限るものではない。例えば、ユーザの年齢または住所等の情報をユーザＤＢ１７４に記憶しても良い。

【0031】

図４は、会話データＤＢ１７５のレコードレイアウトの一例を示す説明図である。会話データＤＢ１７５は、会話データＩＤ列、ユーザＩＤ列、会話データ列、感情列及び会話スタイル列を含む。会話データＩＤ列は、各会話データを識別するために、一意に特定される会話データのＩＤを記憶している。

【0032】

ユーザＩＤ列は、ユーザを特定するユーザＩＤを記憶している。会話データ列は、オペレータと対話したユーザの会話データを記憶している。感情列は、ユーザの会話データに基づき、感情識別モデル１７１により識別された当該ユーザの感情情報を記憶している。会話スタイル列は、ユーザの会話データに基づき、スタイル識別モデル１７２により識別された当該ユーザのスタイル情報を記憶している。

【0033】

なお、上述した各ＤＢの記憶形態は一例であり、データ間の関係が維持されていれば、他の記憶形態であっても良い。

【0034】

図５は、オペレータ端末２の構成例を示すブロック図である。オペレータ端末２は、制御部２１、記憶部２２、通信部２３、入力部２４及び表示部２５を含む。各構成はバスＢで接続されている。

【0035】

制御部２１はＣＰＵ、ＭＰＵ等の演算処理装置を含み、記憶部２２に記憶された制御プログラム２Ｐ（プログラム製品）を読み出して実行することにより、オペレータ端末２に係る種々の情報処理、制御処理等を行う。なお、図５では制御部２１を単一のプロセッサであるものとして説明するが、マルチプロセッサであっても良い。

【0036】

記憶部２２はＲＡＭ、ＲＯＭ等のメモリ素子を含み、制御部２１が処理を実行するために必要な制御プログラム２Ｐ又はデータ等を記憶している。また、記憶部２２は、制御部２１が演算処理を実行するために必要なデータ等を一時的に記憶する。

【0037】

通信部２３は通信に関する処理を行うための通信モジュールであり、ネットワークＮを介して、サーバ１等と情報の送受信を行う。入力部２４は、キーボード、マウスまたは表示部２５と一体化したタッチパネルでも良い。表示部２５は、液晶ディスプレイ又は有機ＥＬディスプレイ等であり、制御部２１の指示に従い各種情報を表示する。

【0038】

なお、オペレータ端末（エッジ端末）２は、サーバ１の機能の全てまたは一部を有しても良い。

【0039】

図６は、感情識別モデル１７１に関する説明図である。感情識別モデル１７１は、人工知能ソフトウェアの一部であるプログラムモジュールとして利用される。感情識別モデル１７１は、ユーザがオペレータと対話する会話データが入力された場合に、当該ユーザの感情に関する感情情報を出力する学習モデルである。

【0040】

本実施形態での感情情報は、平静、快楽、不快及び落ち込みの少なくとも２つを含む。なお、上述した感情の分類に限らず、例えば感情情報には、怒り、恐怖、悲しみまたは驚き等が含まれても良い。

【0041】

本実施の形態に係る感情識別モデル１７１は、例えばＢＥＲＴ（Bidirectional Encoder Representations from Transformers）モデルを用いて感情情報の識別処理を行う。感情識別モデル１７１は、複数のニューロンが相互に結合したニューラルネットワークの構造をなしている。感情識別モデル１７１は、一又は複数のデータの入力を受け付ける入力層と、入力層にて受け付けられたデータに対して演算処理を行う中間層と、中間層の演算結果を集約して一又は複数の値を出力する出力層とを備えている。

【0042】

感情識別モデル１７１は、予め学習処理がなされた学習済みのモデルである。学習処理は、予め与えられた多数の訓練データを用いて、ニューラルネットワークを構成する各ニューロンの係数及び閾値等に適切な値を設定する処理である。本実施の形態に係る感情識別モデル１７１は、訓練データＤＢ１７３に記憶されている訓練データを用いて学習処理が行われる。訓練データの入力データは、例えば会話の最初の３０秒間の会話データであり、出力データは感情に関する感情情報である。

【0043】

なお、他のコンピュータ（図示せず）により上述の学習処理を行い、感情識別モデル１７１をデプロイしても良い。なお、感情識別モデル１７１を構築せずに、機械学習モデルを使ったＷＥＢ ＡＰＩ（Application Programming Interface）を利用することにより、感情情報を識別しても良い。

【0044】

サーバ１は、ユーザの会話データを取得した場合、取得した会話データを感情識別モデル１７１に入力し、会話データをテキスト化する。そして、サーバ１は、テキスト化されたテキストデータから識別された感情情報を出力する。感情情報は、平静、快楽、不快または落ち込みである。なお、ＢＥＲＴモデルは、既存の技術であるため、詳細な説明を省略する。図示のように、サーバ１は、感情識別モデル１７１に会話データを入力し、「快楽」となった感情情報を出力する。

【0045】

なお、感情識別モデル１７１は、ＢＥＲＴに限らず、例えばＤＮＮ（Deep Neural Network(s)）、Universal Sentence Encoder、ＲＮＮ（Recurrent Neural Network）、ＬＳＴＭ（Long Short-Term Memory）、ロジスティック回帰、ＳＶＭ、ｋ－ＮＮ、決定木、単純ベイズ分類器、またはランダムフォレストといった他のモデルによって実現されても良い。または、感情識別モデル１７１は、Transformerを利用した音声認識フレームワークによって実現されても良い。音声認識フレームワークは、例えば、少量のラベル付き会話データ、及び大量のラベルなし会話データを用いる自己教師あり学習の手法を採用するwav2vec 2.0であっても良い。

【0046】

なお、感情識別モデル１７１を用いた感情情報の識別処理に限るものではない。例えば、会話データの特徴量に基づいて感情情報を識別しても良い。具体的には、サーバ１は、ユーザの会話データから、当該ユーザの発話におけるピッチ（音声の高低を示す音高）、話速（発話速度またはテンポ）または抑揚に基づく特徴量を抽出する。サーバ１は、抽出した会話データの特徴量または当該特徴量の変化量に基づいて感情情報を識別する。

【0047】

また、テキスト化した会話データに基づいて感情情報を識別することができる。例えばサーバ１は、会話データをテキスト化し、テキスト化したテキストデータから、特に感情が表現された単語を抽出する。サーバ１は、抽出した単語に基づいて感情情報の識別処理を行う。

【0048】

図７は、スタイル識別モデル１７２に関する説明図である。スタイル識別モデル１７２は、人工知能ソフトウェアの一部であるプログラムモジュールとして利用される。スタイル識別モデル１７２は、ユーザがオペレータと対話する会話データが入力された場合に、当該ユーザの会話スタイルに関するスタイル情報を出力する学習モデルである。

【0049】

本実施の形態に係るスタイル識別モデル１７２は、例えばＢＥＲＴモデルを用いてスタイル情報の識別処理を行う。スタイル識別モデル１７２は、複数のニューロンが相互に結合したニューラルネットワークの構造をなしている。

【0050】

スタイル識別モデル１７２は、一又は複数のデータの入力を受け付ける入力層と、入力層にて受け付けられたデータに対して演算処理を行う中間層と、中間層の演算結果を集約して一又は複数の値を出力する出力層とを備えている。出力層は、例えばシグモイド関数またはソフトマックス関数を含み、中間層の演算結果に基づいて、推定された各種の会話スタイルの確率値を出力する。確率値は、例えば０より大きく、１未満の値である。

【0051】

スタイル識別モデル１７２は、予め学習処理がなされた学習済みのモデルである。スタイル識別モデル１７２は、訓練データＤＢ１７３に記憶されている訓練データを用いて学習処理が行われる。訓練データの入力データは、例えば会話の最初の３０秒間の会話データであり、出力データは会話スタイルに関するスタイル情報である。

【0052】

なお、他のコンピュータ（図示せず）により上述の学習処理を行い、スタイル識別モデル１７２をデプロイしても良い。なお、スタイル識別モデル１７２を構築せずに、機械学習モデルを使ったＷＥＢ ＡＰＩを利用することにより、会話スタイルに関するスタイル情報を識別しても良い。

【0053】

サーバ１は、ユーザの会話データを取得した場合、取得した会話データを学習済みのスタイル識別モデル１７２に入力し、会話データをテキスト化する。そして、サーバ１は、テキスト化されたテキストデータから識別されたスタイル情報を出力する。本実施形態でのスタイル情報は、ゆっくり話すタイプ及びテキパキ話すタイプを含む。なお、上述した会話スタイルの分類に限らず、例えば、会話スタイルをゆっくり話すタイプ、ふつう話すタイプ及びテキパキ話すタイプに分類しても良い。または、会話スタイルを、苦手タイプ、ふつうタイプ及び上手タイプに分類しても良い。

【0054】

図示のように、会話データに対し、「ゆっくり話すタイプ」及び「テキパキ話すタイプ」それぞれの確率値が、「０．１６」、「０．８４」である識別結果が出力される。

【0055】

また、所定閾値を利用して識別結果を出力しても良い。例えばサーバ１は、「テキパキ話すタイプ」の確率値（０．８４）が所定閾値（例えば、０．８０）以上であると判定した場合、「テキパキ話すタイプ」を識別結果として出力する。なお、上述した閾値を利用せず、スタイル識別モデル１７２が識別した各種の会話スタイルの確率値から、最も高い確率値に対応する会話スタイルを識別結果として出力しても良い。

【0056】

なお、スタイル識別モデル１７２は、ＢＥＲＴに限られず、ＤＮＮ、ロジスティック回帰、ＳＶＭ（Support Vector Machine）、ｋ－ＮＮ（k-Nearest Neighbor algorithm）、決定木、単純ベイズ分類器、またはランダムフォレストといった他のモデルによって実現されても良い。または、スタイル識別モデル１７２は、Transformerを利用した音声認識フレームワーク（例えば、wav2vec 2.0）によって実現されても良い。

【0057】

図８は、感情情報及びスタイル情報を出力する際の処理手順を示すフローチャートである。サーバ１の制御部１１は通信部１３を介して、ユーザが利用している受話端末３から、オペレータと対話しているユーザの会話データをリアルタイムで取得する（ステップＳ１０１）。なお、制御部１１は、所定の時間間隔（例えば、１０秒）ごとにユーザの会話データを受話端末３から取得しても良い。

【0058】

制御部１１は、当該ユーザのスタイル情報が識別済みであるか否かを判定する（ステップＳ１０２）。例えば、スタイル情報の識別状態を判定するためのフラグ（変数）が設けられた場合、制御部１１は当該フラグの初期値を「ＦＡＬＳＥ」に設定する。制御部１１は、会話データに基づいてスタイル情報を一度識別した場合、当該フラグを「ＴＲＵＥ」に設定する。そして、制御部１１は、フラグの値によりスタイル情報が識別済みであるか否かを判定しても良い。

【0059】

制御部１１は、スタイル情報が識別済みであると判定した場合（ステップＳ１０２でＹＥＳ）、後述するステップＳ１０５の処理に遷移する。制御部１１は、スタイル情報が識別未済みであると判定した場合（ステップＳ１０２でＮＯ）、取得した会話データを用いてユーザのスタイル情報を識別する（ステップＳ１０３）。具体的には、制御部１１は、ユーザの会話データをスタイル識別モデル１７２に入力し、当該ユーザの会話スタイルを識別した識別結果をスタイル情報として出力する。スタイル情報は、識別された会話スタイルの分類（ゆっくり話すタイプまたはテキパキ話すタイプ）及び確率値等を含む。

【0060】

なお、感情情報の識別処理及びスタイル情報の識別処理の実行の順は問わない。例えば、感情情報の識別処理は、スタイル情報の識別処理とは並行して実行されても良い。

【0061】

制御部１１は、識別したユーザのスタイル情報を通信部１３によりオペレータ端末２に送信する（ステップＳ１０４）。オペレータ端末２の制御部２１は、サーバ１から送信されたユーザのスタイル情報を通信部２３により受信する（ステップＳ２０１）。制御部２１は、受信したユーザのスタイル情報を表示部２５により表示する（ステップＳ２０２）。

【0062】

サーバ１の制御部１１は、取得した会話データを用いてユーザの感情情報を識別する（ステップＳ１０５）。具体的には、制御部１１は、取得したユーザの会話データを感情識別モデル１７１に入力し、当該ユーザの感情を識別した識別結果を感情情報として出力する。感情情報は、識別された感情の分類（平静、快楽、不快または落ち込み）等を含む。

【0063】

制御部１１は、識別したユーザの感情情報を通信部１３によりオペレータ端末２に送信する（ステップＳ１０６）。オペレータ端末２の制御部２１は、サーバ１から送信されたユーザの感情情報を通信部２３により受信する（ステップＳ２０３）。制御部２１は、受信したユーザの感情情報を表示部２５により表示する（ステップＳ２０４）。

【0064】

サーバ１の制御部１１は、受話端末３を通じて、ユーザとオペレータとの対話が終了したか否かを判定する（ステップＳ１０７）。制御部１１は、対話が終了していないと判定した場合（ステップＳ１０７でＮＯ）、ステップＳ１０１の処理に戻る。

【0065】

制御部１１は、対話が終了したと判定した場合（ステップＳ１０７でＹＥＳ）、制御部１１は、識別した感情情報及びスタイル情報を会話データに対応付けて大容量記憶部１７の会話データＤＢ１７５に記憶する（ステップＳ１０８）。具体的には、制御部１１は、会話データに対して会話データＩＤを割り振る。制御部１１は、割り振った会話データＩＤに対応付けて、ユーザＩＤ、会話データ、感情情報及びスタイル情報を一つのレコードとして会話データＤＢ１７５に記憶する。制御部１１は、処理を終了する。

【0066】

なお、本実施形態では、ユーザのスタイル情報が一度識別された後に、改めて当該ユーザのスタイル情報に対する識別処理が行われない。もちろん、感情情報の識別処理と同様に、リアルタイムで会話データに基づくスタイル情報の識別処理が行われても良い。

【0067】

図９は、感情情報及びスタイル情報の表示画面の一例を示す説明図である。当該画面は、ユーザ情報表示欄１１ａ、スタイル情報表示欄１１ｂ及びユーザ感情情報表示欄１１ｃを含む。ユーザ情報表示欄１１ａは、ユーザに関する情報を表示する表示欄である。スタイル情報表示欄１１ｂは、ユーザの会話スタイルに関するスタイル情報を表示する表示欄である。ユーザ感情情報表示欄１１ｃは、ユーザの感情に関する感情情報を表示する表示欄である。

【0068】

サーバ１は、ユーザＩＤに基づき、ユーザの氏名及び性別等を含むユーザ情報をユーザＤＢ１７４から取得する。サーバ１は、取得したユーザ情報をオペレータ端末２に送信する。オペレータ端末２は、サーバ１から送信されたユーザ情報をユーザ情報表示欄１１ａに表示する。図示のように、ユーザＩＤ、氏名及び性別を含むユーザ情報がユーザ情報表示欄１１ａに表示される。

【0069】

サーバ１は、ユーザが受話端末３を利用してオペレータと対話している場合、受話端末３からユーザの会話データをリアルタイムで取得する。なお、サーバ１は所定の時間間隔（例えば、１０秒）ごとにユーザの会話データを取得しても良い。

【0070】

サーバ１は、ユーザの会話データを入力した場合に当該ユーザのスタイル情報を出力するようスタイル識別モデル１７２を用いて、当該ユーザのスタイル情報を識別する。スタイル情報は、識別された会話スタイルの分類及び確率値等を含む。なお、スタイル情報の識別処理が一回のみ実行されても良い。サーバ１は、識別したユーザのスタイル情報をオペレータ端末２に送信する。オペレータ端末２は、サーバ１から送信されたスタイル情報をスタイル情報表示欄１１ｂに表示する。図示のように、「８４％テキパキ話すタイプ」となったスタイル情報がスタイル情報表示欄１１ｂに表示される。

【0071】

サーバ１は、ユーザの会話データを入力した場合に当該ユーザの感情情報を出力するよう感情識別モデル１７１を用いて、会話中の当該ユーザの感情情報を識別する。感情情報は、識別された感情の分類等を含む。サーバ１は、識別したユーザの感情情報をオペレータ端末２に送信する。オペレータ端末２は、サーバ１から送信された感情情報を受信し、受信した感情情報を時系列でユーザ感情情報表示欄１１ｃに表示する。

【0072】

図示のように、会話データの各時点（０：００、０：１０、０：２０等）における感情の分類（平静、快楽、不快または落ち込み）を示すアイコンがユーザ感情情報表示欄１１ｃに表示される。オペレータ端末２は、例えば、時系列の会話データ及び各時点での会話データに対応する感情の分類をスプールデータとして記憶部２２に蓄積する。オペレータ端末２は、現時点（例えば、０：５０）での会話データに対応する感情の分類を取得した場合、記憶部２２に蓄積されている過去の各時点（例えば、０：００、０：１０、０：２０、０：３０及び０：４０）での感情の分類を取得する。オペレータ端末２は、取得した過去の各時点での感情の分類と現時点での感情の分類とに基づき、時間の古い順に左から右に感情の分類を示すアイコンを並べて表示する。

【0073】

本実施形態によると、ユーザの会話データに基づいて、感情識別モデル１７１を用いて当該ユーザの感情情報を識別することが可能となる。

【0074】

本実施形態によると、ユーザの会話データに基づいて、スタイル識別モデル１７２を用いて当該ユーザのスタイル情報を識別することが可能となる。

【0075】

本実施形態によると、ユーザの感情情報及びスタイル情報に応じて、オペレータがユーザの好みの話し方に適宜変えていくため、ユーザの満足度を向上することが可能となる。

【0076】

本実施形態によると、クレーム対応等に不慣れなオペレータに対しても、ユーザの感情を正確に把握することができるため、オペレータの応対時間削減または離職率の低減等を実現することが可能となる。

【0077】

＜変形例１＞
本変形例では、感情識別モデル１７１から出力された感情情報、及びスタイル識別モデル１７２から出力されたスタイル情報に応じてアドバイスを特定する処理を説明する。

【0078】

図１０は、変形例１におけるサーバ１の構成例を示すブロック図である。なお、図２と重複する内容については同一の符号を付して説明を省略する。大容量記憶部１７には、アドバイスＤＢ１７６が記憶されている。アドバイスＤＢ１７６は、感情情報及びスタイル情報に対応するアドバイスを記憶している。

【0079】

アドバイスは、予め感情情報及びスタイル情報に基づいて決められ、アドバイスＤＢ１７６に記憶される。例えば、「感情情報：不快 スタイル情報：テキパキ話すタイプ」に対応するアドバイスが、「即座に応答しましょう！」であっても良い。または、「感情情報：平静 スタイル情報：ゆっくり話すタイプ」に対応するアドバイスが、「その調子です！」であっても良い。

【0080】

図１１は、アドバイスＤＢ１７６のレコードレイアウトの一例を示す説明図である。アドバイスＤＢ１７６は、アドバイスＩＤ列、感情列、会話スタイル列及びアドバイス列を含む。アドバイスＩＤ列は、各アドバイスを識別するために、一意に特定されるアドバイスのＩＤを記憶している。感情列は、感情に関する感情情報を記憶している。会話スタイル列は、会話スタイルに関するスタイル情報を記憶している。アドバイス列は、アドバイスの内容を記憶している。

【0081】

図１２は、アドバイスを特定する際の処理手順を示すフローチャートである。なお、図８と重複する内容については同一の符号を付して説明を省略する。サーバ１の制御部１１は、ステップＳ１０５の処理を実行した後に、識別した感情情報及びスタイル情報に応じてアドバイスを特定する（ステップＳ１１１）。

【0082】

具体的には、制御部１１は、識別した感情情報及びスタイル情報に対応するアドバイスを大容量記憶部１７のアドバイスＤＢ１７６から取得する。なお、制御部１１は、感情情報及びスタイル情報を入力した場合に、当該感情情報及びスタイル情報に対応するアドバイスを出力するよう学習されたアドバイス特定モデル等を用いて、アドバイスを特定しても良い。アドバイス特定モデルは、例えばＴｒａｎｓｆｏｒｍｅｒと呼ばれる深層学習の手法を用いた言語モデルＧＰＴ（Generative Pre-trained Transformer）、ＧＰＴ－２またはＧＰＴ－３等をファインチューニング（Fine Tuning）することにより構築されても良い。

【0083】

制御部１１は、識別した感情情報、及び特定したアドバイスを通信部１３によりオペレータ端末２に送信する（ステップＳ１１２）。オペレータ端末２の制御部２１は、サーバ１から送信された感情情報及びアドバイスを通信部２３により受信する（ステップＳ２１１）。制御部２１は、受信した感情情報及びアドバイスを表示部２５により表示する（ステップＳ２１２）。

【0084】

本変形例によると、ユーザの感情情報及びスタイル情報に応じて特定したアドバイスを、オペレータに即時に提示することが可能となる。

【0085】

（実施形態２）
実施形態２は、感情識別モデル１７１を用いて、平静、快楽、不快及び落ち込みの各分類について複数のレベルに分類する形態に関する。なお、実施形態１と重複する内容については説明を省略する。

【0086】

実施形態１では、感情の分類が平静、快楽、不快及び落ち込みの少なくとも２つを含む例を説明したが、本実施形態では、各分類の感情をさらに細かく分類する処理を説明する。例えば、各分類の感情をさらに２段階レベルに分類しても良い。具体的には、「平静」感情を「平静レベル１」及び「平静レベル２」に分類する。「平静レベル１」は、気分が落ち着いていることを示し、「平静レベル２」は、気分がとても落ち着いていることを示す。

【0087】

「快楽」感情を「快楽レベル１」及び「快楽レベル２」に分類する。「快楽レベル１」は、やや嬉しい気持ちを示し、「快楽レベル２」は、上機嫌である気持ちを示す。「不快」感情を「不快レベル１」及び「不快レベル２」に分類する。「不快レベル１」は、イライラまたは不安を感じていることを示し、「不快レベル２」は、怒っている気持ちを示す。

【0088】

「落ち込み」感情を「落ち込みレベル１」及び「落ち込みレベル２」に分類する。「落ち込みレベル１」は、気持ちが沈むことを示し、「落ち込みレベル２」は、気分がとても落ち込んでいることを示す。なお、本実施形態では、各分類の感情を２段階のレベルに分類した例を説明したが、これに限らず、実際のニーズに応じて複数のレベル（例えば、３段階のレベル）に分類しても良い。

【0089】

図１３は、実施形態２における訓練データＤＢ１７３のレコードレイアウトの一例を示す説明図である。なお、図３と重複する内容については説明を省略する。出力データ列は、訓練データの種類が「感情」である場合、感情の分類及び当該感情のレベルを含む感情情報を記憶している。例えば平静、快楽、不快及び落ち込みの各分類がさらに２段階レベルに分類された場合、出力データ列には、「平静レベル１」、「平静レベル２」、「快楽レベル１」、「快楽レベル２」、「不快レベル１」、「不快レベル２」、「落ち込みレベル１」または「落ち込みレベル２」が記憶される。

【0090】

図１４は、実施形態２における感情識別モデル１７１に関する説明図である。なお、図６と重複する内容については説明を省略する。感情識別モデル１７１は、ユーザがオペレータと対話する会話データが入力された場合に、当該ユーザの感情の分類（種類；種別）及びレベルを含む感情情報を出力する学習モデルである。

【0091】

本実施の形態に係る感情識別モデル１７１は、例えばＢＥＲＴモデルを用いて感情情報の識別処理を行う。感情識別モデル１７１は、訓練データＤＢ１７３に記憶されている訓練データを用いて処理が行われる。訓練データの入力データは、例えば会話の最初の３０秒間の会話データであり、出力データは感情の分類及びレベルである。サーバ１は、訓練データを用いて感情識別モデル１７１を学習させる。

【0092】

サーバ１は、ユーザの会話データを取得した場合、取得した会話データを学習済みの感情識別モデル１７１に入力し、会話データをテキスト化する。そして、サーバ１は、テキスト化されたテキストデータから識別された感情情報を出力する。感情情報は、感情の分類（平静、快楽、不快または落ち込み等）、及び当該感情のレベル（レベル１またはレベル２等）を含む。

【0093】

図示のように、会話データに対し、「平静レベル１」、「平静レベル２」、「快楽レベル１」、「快楽レベル２」、「不快レベル１」、「不快レベル２」、「落ち込みレベル１」及び「落ち込みレベル２」それぞれの確率値が、「０．７６」、「０．１０」、「０．０３」、「０．０２」、「０．０３」、「０．０３」、「０．０１」、「０．０２」である識別結果が出力される。

【0094】

また、所定閾値を利用して識別結果を出力しても良い。例えばサーバ１は、「平静レベル１」の確率値（０．７６）が所定閾値（例えば、０．７０）以上であると判定した場合、「平静レベル１」を識別結果として出力する。なお、上述した閾値を利用せず、感情識別モデル１７１が識別した各種の感情の確率値から、最も高い確率値に対応する感情を識別結果として出力しても良い。

【0095】

図１５は、実施形態２における感情情報及びスタイル情報の表示画面の一例を示す説明図である。なお、図９と重複する内容については同一の符号を付して説明を省略する。

【0096】

サーバ１は、ユーザの会話データを入力した場合に当該ユーザの感情情報を出力するよう感情識別モデル１７１を用いて、会話中の当該ユーザの感情の分類及びレベルを識別する。サーバ１は、識別したユーザの感情の分類及びレベルをオペレータ端末２に送信する。オペレータ端末２は、サーバ１から送信された感情の分類及びレベルを受信し、受信した感情の分類及びレベルを時系列でユーザ感情情報表示欄１１ｃに表示する。

【0097】

図示のように、会話データの各時点（０：００、０：１０、０：２０等）における感情の分類（平静、快楽、不快または落ち込み）及びレベルを示すアイコンがユーザ感情情報表示欄１１ｃに表示される。レベルは、右下がり対角線のハッチングで示されるレベル１、及び枠で囲まれたひし形のハッチングで示されるレベル２を含む。なお、図１５では、感情のレベルをハッチング（パターン）で示しているが、これに限るものではない。例えば、感情のレベルを色分け表示しても良い。または、感情の分類に量的レベルを示す数字を併記しても良い。

【0098】

また、感情の分類及びレベルを含む感情情報と、スタイル情報とに応じて設けられたアドバイスを、予めアドバイスＤＢ１７６に記憶することができる。例えば、「感情情報：不快レベル１ スタイル情報：テキパキ話すタイプ」に対する「ユーザが不快にならないように気を付けましょう！」となったアドバイス、及び「感情情報：不快レベル２ スタイル情報：テキパキ話すタイプ」に対する「ユーザの心を和らげながら話しましょう！」となったアドバイスをアドバイスＤＢ１７６に記憶しても良い。

【0099】

サーバ１は、感情識別モデル１７１を用いて、ユーザの感情の分類及びレベルを含む感情情報とスタイル情報とを取得した場合、取得した感情情報及びスタイル情報に応じて、該当するアドバイスをアドバイスＤＢ１７６から取得する。サーバ１は、取得したアドバイスをオペレータ端末２に送信する。

【0100】

なお、上述したアドバイスの特定処理に限るものではない。例えば、感情の分類及びレベルを含む感情情報のみに応じてアドバイスを設けても良い。この場合、サーバ１は、感情の分類及びレベルに応じて、該当するアドバイスをアドバイスＤＢ１７６から取得する。サーバ１は、取得したアドバイスをオペレータ端末２に送信する。

【0101】

本実施形態によると、各分類の感情をさらに複数のレベルを分類することにより、感情情報の識別精度を高めることが可能となる。

【0102】

（実施形態３）
実施形態３は、ユーザの感情情報とオペレータの感情情報との両方を出力する形態に関する。なお、実施形態１～２と重複する内容については説明を省略する。

【0103】

図１６は、実施形態３における会話データＤＢ１７５のレコードレイアウトの一例を示す説明図である。会話データＤＢ１７５は、会話データＩＤ列、ユーザ列及びオペレータ列を含む。会話データＩＤ列は、会話データを特定する会話データＩＤを記憶している。ユーザ列は、ユーザＩＤ列、会話データ列、感情列及び会話スタイル列を含む。なお、ユーザＩＤ列、会話データ列、感情列及び会話スタイル列に関しては、図４と同様であるため、説明を省略する。

【0104】

オペレータ列は、オペレータＩＤ列、会話データ列、感情列及び会話スタイル列を含む。オペレータＩＤ列は、オペレータを特定するオペレータＩＤを記憶している。会話データ列は、オペレータの会話データを記憶している。感情列は、オペレータの会話データに基づき、感情識別モデル１７１により識別された当該オペレータの感情情報を記憶している。会話スタイル列は、オペレータの会話データに基づき、スタイル識別モデル１７２により識別された当該オペレータのスタイル情報を記憶している。

【0105】

図１７は、実施形態３における感情情報及びスタイル情報の表示画面の一例を示す説明図である。なお、図９と重複する内容については説明を省略する。当該画面は、オペレータ感情情報表示欄１１ｄを含む。オペレータ感情情報表示欄１１ｄは、オペレータの感情に関する感情情報を表示する表示欄である。

【0106】

サーバ１は、オペレータと対話しているユーザの会話データと、当該オペレータの会話データとの両方を取得する。サーバ１は、取得したユーザの会話データを感情識別モデル１７１に入力し、当該ユーザの感情情報を出力する。サーバ１は、取得したオペレータの会話データを感情識別モデル１７１に入力し、当該オペレータの感情情報を出力する。サーバ１は、感情識別モデル１７１から出力されたユーザの感情情報及びオペレータの感情情報をオペレータ端末２に送信する。

【0107】

オペレータ端末２は、サーバ１から送信されたユーザの感情情報及びオペレータの感情情報を受信する。オペレータ端末２は、受信したユーザの感情情報を時系列でユーザ感情情報表示欄１１ｃに表示し、受信したオペレータの感情情報を時系列でオペレータ感情情報表示欄１１ｄに表示する。図示のように、ユーザの会話データの各時点における感情の分類を示すアイコンがユーザ感情情報表示欄１１ｃに表示され、オペレータの会話データの各時点における感情の分類を示すアイコンがオペレータ感情情報表示欄１１ｄに表示される。

【0108】

なお、本実施形態では、感情の分類を含む感情情報を図示しているが、これに限るものではない。例えば、図１５と同様に、感情の分類及びレベルを含む感情情報を図示しても良い。

【0109】

図１８は、ユーザの感情情報とオペレータの感情情報との両方を出力する際の処理手順を示すフローチャートである。サーバ１の制御部１１は通信部１３を介して、ユーザが利用している受話端末３から、オペレータと対話している当該ユーザの会話データをリアルタイムで取得する（ステップＳ１２１）。制御部１１は、取得したユーザの会話データを用いてユーザの感情情報を識別する（ステップＳ１２２）。具体的には、制御部１１は、取得したユーザの会話データを感情識別モデル１７１に入力し、当該ユーザの感情を識別した識別結果を感情情報として出力する。

【0110】

サーバ１の制御部１１は通信部１３を介して、オペレータが利用している受話端末３から、ユーザと対話している当該オペレータの会話データをリアルタイムで取得する（ステップＳ１２３）。制御部１１は、取得したオペレータの会話データを用いてオペレータの感情情報を識別する（ステップＳ１２４）。具体的には、制御部１１は、取得したオペレータの会話データを感情識別モデル１７１に入力し、当該オペレータの感情を識別した識別結果を感情情報として出力する。

【0111】

制御部１１は、識別したユーザの感情情報及びオペレータの感情情報を通信部１３によりオペレータ端末２に送信する（ステップＳ１２５）。オペレータ端末２の制御部２１は、サーバ１から送信されたユーザの感情情報及びオペレータの感情情報を通信部２３により受信する（ステップＳ２２１）。制御部２１は、受信したユーザの感情情報及びオペレータの感情情報を表示部２５により表示する（ステップＳ２２２）。

【0112】

制御部１１は、ユーザが利用している受話端末３、またはオペレータが利用している受話端末３を通じて、ユーザとオペレータとの対話が終了したか否かを判定する（ステップＳ１２６）。制御部１１は、対話が終了していないと判定した場合（ステップＳ１２６でＮＯ）、ステップＳ１２１の処理に戻る。

【0113】

制御部１１は、対話が終了したと判定した場合（ステップＳ１２６でＹＥＳ）、制御部１１は、識別したユーザの感情情報及びオペレータの感情情報を大容量記憶部１７の会話データＤＢ１７５に記憶する（ステップＳ１２７）。具体的には、制御部１１は、会話データＩＤを割振り、割り振った会話データＩＤに対応付けて、ユーザＩＤ、ユーザの会話データ、ユーザの感情情報、オペレータＩＤ、オペレータの会話データ及びオペレータの感情情報を一つのレコードとして会話データＤＢ１７５に記憶する。制御部１１は、処理を終了する。

【0114】

また、ユーザのスタイル情報（例えば、ゆっくり話すタイプまたはテキパキ話すタイプ）、及びオペレータのスタイル情報との両方を出力することができる。具体的には、サーバ１は、オペレータと対話しているユーザの会話データと、当該オペレータの会話データとの両方を取得する。サーバ１は、取得したユーザの会話データをスタイル識別モデル１７２に入力し、当該ユーザのスタイル情報を出力する。サーバ１は、取得したオペレータの会話データをスタイル識別モデル１７２に入力し、当該オペレータのスタイル情報を出力する。サーバ１は、出力したユーザのスタイル情報及びオペレータのスタイル情報をオペレータ端末２に送信する。

【0115】

更にまた、サーバ１は、感情識別モデル１７１及びスタイル識別モデル１７２を利用して、ユーザの感情情報及びスタイル情報、並びに、オペレータの感情情報及びスタイル情報を取得する。サーバ１は、取得したユーザの感情情報及びスタイル情報、並びに、オペレータの感情情報及びスタイル情報をオペレータ端末２に送信しても良い。

【0116】

本実施形態によると、ユーザの感情情報とオペレータの感情情報との両方を出力することが可能となる。

【0117】

今回開示された実施形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。

【符号の説明】

【0118】

１ 情報処理装置（サーバ）
１１ 制御部
１２ 記憶部
１３ 通信部
１４ 入力部
１５ 表示部
１６ 読取部
１７ 大容量記憶部
１７１ 感情識別モデル（第１学習モデル）
１７２ スタイル識別モデル（第２学習モデル）
１７３ 訓練データＤＢ
１７４ ユーザＤＢ
１７５ 会話データＤＢ
１７６ アドバイスＤＢ
１ａ 可搬型記憶媒体
１ｂ 半導体メモリ
１Ｐ 制御プログラム
２ 情報処理端末（オペレータ端末）
２１ 制御部
２２ 記憶部
２３ 通信部
２４ 入力部
２５ 表示部
２Ｐ 制御プログラム
３ 受話端末

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】