特許 7474094 情報処理装置、情報処理方法、情報処理プログラム及び記録媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-04-16

(45)【発行日】2024-04-24

(54)【発明の名称】情報処理装置、情報処理方法、情報処理プログラム及び記録媒体

(51)【国際特許分類】

   G10L 25/51 20130101AFI20240417BHJP

   G10L 15/10 20060101ALI20240417BHJP

   G10L 25/48 20130101ALI20240417BHJP

【ＦＩ】

G10L25/51

G10L15/10 500Z

G10L25/48 100

【請求項の数】 10

(21)【出願番号】P 2020061540

(22)【出願日】2020-03-30

(65)【公開番号】P2021162630

(43)【公開日】2021-10-11

【審査請求日】2023-02-17

(73)【特許権者】

【識別番号】000005016

【氏名又は名称】パイオニア株式会社

(73)【特許権者】

【識別番号】500403929

【氏名又は名称】パイオニアシステムテクノロジー株式会社

(74)【代理人】

【識別番号】110001025

【氏名又は名称】弁理士法人レクスト国際特許事務所

(72)【発明者】

【氏名】福川 優

(72)【発明者】

【氏名】丹野 貴祐

【審査官】堀 洋介

(56)【参考文献】

【文献】特開２０１９－２０８１１０（ＪＰ，Ａ）

【文献】特許第６６６４７５７（ＪＰ，Ｂ１）

【文献】特開２０１８－００４８１３（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ１０Ｌ ２５／４８－２５／６３

Ｇ１０Ｌ １５／００－１５／３４

(57)【特許請求の範囲】

【請求項1】

１の人物が発した音声の音響特徴量を取得する音響特徴量取得部と、
前記音響特徴量に基づいて前記１の人物のコミュニケーションタイプを特定するタイプ特定部と、
前記タイプ特定部によって特定された前記１の人物のコミュニケーションタイプに基づいて、前記１の人物とのコミュニケーションに関するアドバイスを含むアドバイス情報を生成するアドバイス生成部と、
前記アドバイス情報に基づいて、ユーザに対するメッセージを表示画面に表示させる表示制御部と、
前記メッセージが表示された後の前記１の人物とのコミュニケーション状態が悪化したか否かを判定する判定部と、を有し、
前記判定部が前記コミュニケーション状態が悪化したと判定すると、前記タイプ特定部は、前記１の人物のコミュニケーションタイプを再度特定することを特徴とする情報処理装置。

【請求項2】

前記判定部が前記コミュニケーション状態が悪化したと判定すると、前記タイプ特定部は、既に特定したコミュニケーションタイプを除外して前記１の人物のコミュニケーションタイプを再度特定することを特徴とする請求項１に記載の情報処理装置。

【請求項3】

前記タイプ特定部は、前記音響特徴量を示す情報が入力されると、複数のコミュニケーションタイプの各々について、前記１の人物のコミュニケーションタイプとの適合度を示す数値を出力する学習モデルを用いて、前記音響特徴量に基づいて前記１の人物のコミュニケーションタイプを特定し、前記判定部によって前記コミュニケーション状態が悪化したと判定されると、前記メッセージが表示される前に前記学習モデルによって出力された前記適合度を示す数値を用いて前記１の人物のコミュニケーションタイプを再度特定することを特徴とする請求項１又は２に記載の情報処理装置。

【請求項4】

前記タイプ特定部は、前記学習モデルから出力された前記適合度を示す数値が最も高い数値であるコミュニケーションタイプを前記１の人物のコミュニケーションタイプとして特定することを特徴とする請求項３に記載の情報処理装置。

【請求項5】

前記タイプ特定部は、前記音響特徴量を示す情報が入力されると、複数のコミュニケーションタイプの各々について、前記１の人物のコミュニケーションタイプとの適合度を示す数値を出力する学習モデルを用いて、前記音響特徴量に基づいて前記１の人物のコミュニケーションタイプを特定し、前記判定部によって前記コミュニケーション状態が悪化したと判定されると、前記メッセージが表示された後に前記学習モデルによって出力された前記適合度を示す数値を用いて前記１のコミュニケーションタイプを再度特定することを特徴とする請求項１又は２に記載の情報処理装置。

【請求項6】

前記判定部が前記コミュニケーション状態が悪化したと判定すると、
前記音響特徴量取得部は、前記メッセージが表示された後に前記１の人物が発した音声の音響特徴量を再度取得し、
前記タイプ特定部は、当該再度取得された音響特徴量に基づいて前記１の人物のコミュニケーションタイプを再度特定することを特徴とする請求項５に記載の情報処理装置。

【請求項7】

前記判定部は、前記メッセージが表示された後に前記１の人物が発した音声の音響特徴量に基づいて、前記１の人物とのコミュニケーション状態が悪化したか否かを判定することを特徴とする請求項１乃至６のいずれか１つに記載の情報処理装置。

【請求項8】

情報処理装置が情報処理を行う情報処理方法であって、
音響特徴量取得部が、１の人物が発した音声の音響特徴量を取得する音響特徴量取得ステップと、
タイプ特定部が、前記音響特徴量を示す情報に基づいて前記１の人物のコミュニケーションタイプを特定するタイプ特定ステップと、
アドバイス生成部が、前記タイプ特定部によって特定された前記１の人物のコミュニケーションタイプに基づいて、前記１の人物とのコミュニケーションに関するアドバイスを含むアドバイス情報を生成するアドバイス生成ステップと、
表示制御部が、前記アドバイス情報に基づいて、ユーザに対するメッセージを表示画面に表示させる表示ステップと、
判定部が、前記メッセージが表示された後の前記１の人物とのコミュニケーション状態が悪化したか否かを判定する判定ステップと、を含み、
前記判定ステップにおいて前記判定部が前記コミュニケーション状態が悪化したと判定すると、前記タイプ特定部が前記１の人物のコミュニケーションタイプを再度特定することを特徴とする情報処理方法。

【請求項9】

コンピュータを備える情報処理装置によって実行される情報処理プログラムであって、前記コンピュータに、
音響特徴量取得部が、１の人物が発した音声の音響特徴量を取得する音響特徴量取得ステップと、
タイプ特定部が、前記音響特徴量を示す情報に基づいて前記１の人物のコミュニケーションタイプを特定するタイプ特定ステップと、
アドバイス生成部が、前記タイプ特定部によって特定された前記１の人物のコミュニケーションタイプに基づいて、前記１の人物とのコミュニケーションに関するアドバイスを含むアドバイス情報を生成するアドバイス生成ステップと、
表示制御部が、前記アドバイス情報に基づいて、ユーザに対するメッセージを表示画面に表示させる表示ステップと、
判定部が、前記メッセージが表示された後の前記１の人物とのコミュニケーション状態が悪化したか否かを判定する判定ステップと、を実行させ、
前記判定ステップにおいて前記判定部が前記コミュニケーション状態が悪化したと判定すると、前記タイプ特定部が前記１の人物のコミュニケーションタイプを再度特定することを特徴とする情報処理プログラム。

【請求項10】

請求項９に記載の情報処理プログラムを格納したことを特徴とするコンピュータが読取可能な記録媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理装置、情報処理方法、情報処理プログラム及び記録媒体に関し、例えば、ユーザが会話を含むコミュニケーションをとる際に利用可能な情報処理装置、情報処理方法、情報処理プログラム及び記録媒体に関する。

【背景技術】

【0002】

人との会話を含むコミュニケーションは、様々なタイプの相手に対応する必要があり、対応の仕方によって円滑に進まないこともある。そのような場合に、コミュニケーションを改善するために、コミュニケーションに関する相手のタイプを特定する装置が提案されている。

【0003】

例えば、特許文献１には、顧客の音声及びオペレータの音声を分析し、顧客の音声における音圧及び／又は周波数に基づいて顧客の顧客タイプを評価するための第１の評価軸の値を算出し、顧客の音声とオペレータの音声との重なりに基づいて、顧客の顧客タイプを評価するための第２の評価軸の値を算出し、第１の評価軸の値及び第２の評価軸の値に基づいて、顧客の顧客タイプを特定し、オペレータ端末の画面に表示させるコールセンタ装置が開示されている。

【先行技術文献】

【特許文献】

【0004】

【文献】特許第６５６７７２９号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

例えば、上記のように、コミュニケーションの相手の音声を分析して相手の顧客タイプを特定し、当該顧客タイプに応じた対応をとった場合であっても、必ずしもコミュニケーションが円滑に進むとは限らないことが課題の１つとして挙げられる。

【0006】

本発明は上記した点に鑑みてなされたものであり、コミュニケーションの相手の音声から当該相手の人物のコミュニケーションタイプを特定する際に、コミュニケーションの状態の変化に応じてコミュニケーションタイプを特定することが可能であり、より良好なコミュニケーションを実現可能とする情報処理装置、情報処理方法、情報処理プログラム及び記録媒体を提供することを目的の１つとしている。

【課題を解決するための手段】

【0007】

請求項１に記載の発明は、１の人物が発した音声の音響特徴量を取得する音響特徴量取得部と、学習モデルを用いて、前記音響特徴量に基づいて前記１の人物のコミュニケーションタイプを特定するタイプ特定部と、前記タイプ特定部によって特定された前記１の人物のコミュニケーションタイプに基づいて、前記１の人物とのコミュニケーションに関するユーザに対するアドバイスを含むアドバイス情報を生成するアドバイス生成部と、前記アドバイス情報に基づいて、前記ユーザに対するメッセージを前記表示画面に表示させる表示制御部と、前記メッセージが表示された後の前記１の人物とのコミュニケーション状態が悪化したか否かを判定する判定部と、を有する。前記判定部が前記コミュニケーション状態が悪化したと判定すると、前記表示制御部は、前記メッセージとは異なるメッセージを表示させることを特徴とする。

【0008】

請求項１０に記載の発明は、１の人物が発した音声の音響特徴量を取得する音響特徴量取得部と、学習モデルを用いて、前記音響特徴量に基づいて前記１の人物のコミュニケーションタイプを特定するタイプ特定部と、前記タイプ特定部によって特定された前記１の人物のコミュニケーションタイプに基づいて、前記１の人物とのコミュニケーションに関するユーザに対するアドバイスを含むアドバイス情報を生成するアドバイス生成部と、通信路を介して前記アドバイス情報を送信する送信部と、前記アドバイス情報が送信された後の前記１の人物とのコミュニケーション状態が悪化したか否かを判定する判定部と、を有し、前記判定部が前記コミュニケーション状態が悪化したと判定すると、前記アドバイス生成部は、前記アドバイス情報とは異なるアドバイスを含むアドバイス情報を生成することを特徴とする。

【0009】

請求項１１に記載の発明は、情報処理装置が情報処理を行う情報処理方法であって、音響特徴量取得部が、１の人物が発した音声の音響特徴量を取得する音響特徴量取得ステップと、タイプ特定部が、学習モデルを用いて、前記音響特徴量に基づいて前記１の人物のコミュニケーションタイプを特定するタイプ特定ステップと、アドバイス生成部が、前記タイプ特定部によって特定された前記１の人物のコミュニケーションタイプに基づいて、前記１の人物とのコミュニケーションに関するユーザに対するアドバイスを含むアドバイス情報を生成するアドバイス生成ステップと、表示制御部が、前記アドバイス情報に基づいて、前記ユーザに対するメッセージを前記表示画面に表示させる表示ステップと、判定部が、前記メッセージが表示された後の前記１の人物とのコミュニケーション状態が悪化したか否かを判定する判定ステップと、を含み、前記判定ステップにおいて前記判定部が前記コミュニケーション状態が悪化したと判定すると、前記表示ステップにおいて前記表示制御部は、前記メッセージとは異なるメッセージを表示させることを特徴とする。

【0010】

請求項１２に記載の発明は、コンピュータを備える情報処理装置によって実行される情報処理プログラムであって、前記コンピュータに、音響特徴量取得部が、１の人物が発した音声の音響特徴量を取得する音響特徴量取得ステップと、タイプ特定部が、学習モデルを用いて、前記音響特徴量に基づいて前記１の人物のコミュニケーションタイプを特定するタイプ特定ステップと、アドバイス生成部が、前記タイプ特定部によって特定された前記１の人物のコミュニケーションタイプに基づいて、前記１の人物とのコミュニケーションに関するユーザに対するアドバイスを含むアドバイス情報を生成するアドバイス生成ステップと、表示制御部が、前記アドバイス情報に基づいて、前記ユーザに対するメッセージを前記表示画面に表示させる表示ステップと、判定部が、前記メッセージが表示された後の前記１の人物とのコミュニケーション状態が悪化したか否かを判定する判定ステップと、を実行させ、前記判定ステップにおいて前記判定部が前記コミュニケーション状態が悪化したと判定すると、前記表示ステップにおいて前記表示制御部は、前記メッセージとは異なるメッセージを表示させることを特徴とする。

【図面の簡単な説明】

【0011】

【図1】実施例に係る情報処理装置を用いたコミュニケーションの例を模式的に示す図である。

【図2】実施例に係る端末の構成を示す機能ブロック図である。

【図3】実施例に係るサーバの構成を示す機能ブロック図である。

【図4】実施例に係る学習モデルの例を模式的に示す図である。

【図5】実施例の端末によって実行されるルーチンの一例を示すフローチャートである。

【図6】実施例のサーバによって実行されるルーチンの一例を示すフローチャートである。

【図7】実施例のサーバによって実行されるサブルーチンの一例を示すフローチャートである。

【図8】実施例の端末によって実行されるルーチンの一例を示すフローチャートである。

【図9】実施例のサーバによって実行されるルーチンの一例を示すフローチャートである。

【図10】実施例のサーバによって実行されるサブルーチンの一例を示すフローチャートである。

【発明を実施するための形態】

【0012】

以下に本発明の実施例について詳細に説明する。なお、以下の説明及び添付図面においては、実質的に同一又は等価な部分には同一の参照符号を付している。

【実施例】

【0013】

図１は、本発明の実施例に係る情報処理装置としての情報処理システム１０を利用したコミュニケーションの一例として、ユーザＵＲが１の人物としての顧客ＣＬとの間で会話を中心としたコミュニケーションをとっている様子を示す図である。

【0014】

具体的には、図１は、営業職のユーザＵＲが顧客ＣＬと商談を行っている様子を示している。当該商談において、例えば、最初に挨拶を交わし、その後、ユーザＵＲによる商品説明が行われ、これに対して顧客ＣＬが購入の意思の有無を示すといった内容の会話が進められる。

【0015】

コミュニケーションの取り方の特性は、人によって異なる場合がある。例えば、人のコミュニケーションの取り方の特性は、予め定められた幾つかのタイプに分類することができる。本明細書において、人によって異なるコミュニケーションの取り方の特性をコミュニケーションタイプとして説明する。

【0016】

また、以下の説明において、コミュニケーションタイプの分類手法の一例として、ソーシャルスタイル理論に基づく４つのコミュニケーションタイプを例に説明する。具体的には、本実施例において、４つのコミュニケーションタイプ「思考派タイプ（Driver）」、「行動派タイプ（Analytical）」、「協調派タイプ（Amiable）」、及び「感覚派タイプ（Expressive）」を用いて説明する。

【0017】

上述のように、コミュニケーションタイプは人によって異なる場合があるので、コミュニケーションを良好な状態で進めるために適切な対応も異なる場合がある。例えば、ある相手に対しては、結論を早く伝えることが有効な場合がある一方で、別の相手に対しては、順を追って説明した方が有効な場合もある。

【0018】

例えば、交渉を含むコミュニケーションでは、対応の仕方によって交渉の結果が変わる可能性もある。従って、顧客ＣＬのコミュニケーションタイプに適した対応を知ることは、ユーザＵＲが顧客ＣＬとのコミュニケーションをより円滑に進めるために有効である。

【0019】

情報処理システム１０は、ユーザＵＲと顧客ＣＬとのコミュニケーションにおいて、顧客ＣＬのコミュニケーションタイプを推定することが可能であり、当該コミュニケーションに関するアドバイスを含むメッセージをユーザＵＲに提示することが可能なシステムである。

【0020】

また、情報処理システム１０は、メッセージを提示した後に、ユーザＵＲと顧客ＣＬとのコミュニケーションの状態が悪化した場合に、顧客ＣＬのコミュニケーションタイプを再度推定し、異なるメッセージをユーザＵＲに提示することが可能である。

【0021】

図１に示すように、情報処理システム１０は、サーバ１１及び端末１３を含んでいる。サーバ１１は、例えば、ユーザＵＲが居る場所とは別の場所に設置されているサーバ装置である。

【0022】

端末１３は、例えば、ユーザＵＲが使用しているスマートフォン又はタブレット等の端末装置である。端末１３は、タッチパネル１５を有している。タッチパネル１５は、操作画面やメッセージの表示及び表示された画面に対する操作入力を受付け可能に構成されたタッチパネルディスプレイである。

【0023】

サーバ１１と端末１３とは、ネットワーク上の通信路を介して相互にデータの送受信が可能である。例えば、当該送受信には、ＴＣＰ／ＩＰ等の通信プロトコルが用いられる。また、当該ネットワークは、移動体通信網、Ｗｉ－Ｆｉ（登録商標）等の無線通信及び有線通信を含むインターネット通信により構築され得る。

【0024】

端末１３は、例えば端末１３に内蔵されたマイク（図示せず）によって、顧客ＣＬが発する音声から音声データを取得してサーバ１１に送信する。サーバ１１は、当該音声データを用いて顧客ＣＬのコミュニケーションタイプを特定する。

【0025】

サーバ１１は、顧客ＣＬとのコミュニケーションに関するアドバイスを含むアドバイス情報を生成して端末１３に送信する。端末１３は、アドバイス情報に基づいて、メッセージをタッチパネル１５に表示することでメッセージをユーザＵＲに提示する。

【0026】

図２は、端末１３の構成を示すブロック図である。端末１３は、例えばシステムバス１７を介して各部が接続されて構成されている。

【0027】

送受信部１９は、無線装置に接続されたＮＩＣ（Network Interface Card）等のネットワークアダプタである。送受信部１９は、サーバ１１との間でデータの送受信を行う。送受信部１９は、例えば、コミュニケーションタイプの推定に必要なデータをサーバ１１に送信する。

【0028】

また、送受信部１９は、コミュニケーションタイプの推定結果に関する情報をサーバ１１から受信する。例えば、送受信部１９は、顧客ＣＬのコミュニケーションタイプの推定結果が反映されたアドバイスを含む情報であるアドバイス情報をサーバ１１から受信する。

【0029】

記憶部２１は、例えば、ハードディスク装置、ＳＳＤ（solid state drive）、フラッシュメモリ等により構成された記憶装置である。記憶部２１は、端末１３における情報処理を行うための各種プログラムを記憶する。なお、各種プログラムは、例えば他のサーバ装置等からネットワークを介して取得されるようにしてもよい。

【0030】

音声入力部２３は、マイク２４に接続されている。マイク２４は、例えば端末１３に内蔵されたマイクである。音声入力部２３は、マイク２４から音声データを取得するインターフェースである。例えば、音声入力部２３が取得した音声データは、送受信部１９によってサーバ１１に送信される。

【0031】

入出力部２６は、タッチパネル１５に接続されている。入出力部２６は、タッチパネル１５を介した操作入力を受け付けるインターフェースである。また、入出力部２６は、タッチパネル１５に表示する画像データを供給するインターフェースである。例えば、入出力部２６は、操作画面を表示するための画像データをタッチパネル１５に供給する。

【0032】

例えば、入出力部２６は、タッチパネル１５に対するユーザＵＲによる操作入力を受付ける。例えば、入出力部２６は、ユーザＵＲが顧客ＣＬのコミュニケーションタイプの特定の開始を指示する操作の入力を受付ける。

【0033】

端末制御部２８は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）を含み、端末１３の動作の制御を行うコンピュータである。端末制御部２８において、ＣＰＵが、ＲＯＭや記憶部２１に記憶された各種プログラムを読み出して実行することにより各種機能を実現する。

【0034】

表示制御部２９は、端末制御部２８の機能部である。表示制御部２９は、タッチパネル１５に画像を表示させる制御する。例えば、表示制御部２９は、操作用の画面をタッチパネル１５に表示させる制御を行う。また、表示制御部２９は、サーバ１１から送受信部１９を介して取得したアドバイス情報に基づいて、ユーザＵＲに対するメッセージを表示画面としてのタッチパネル１５に表示させる制御を行う。

【0035】

図３は、サーバ１１の構成を示すブロック図である。サーバ１１は、例えばシステムバス３１を介して各部が接続されて構成されている。

【0036】

送受信部３３は、無線装置に接続されたＮＩＣ（Network Interface Card）等のネットワークアダプタである。送受信部３３は、端末１３との間でデータの送受信を行う。送受信部３３は、例えば、コミュニケーションタイプの特定に必要なデータを端末１３から受信する。

【0037】

また、送受信部３３は、コミュニケーションタイプの特定結果に関するデータを端末１３に送信する。例えば、送受信部３３は、顧客ＣＬとのコミュニケーションに関するアドバイスを含むアドバイス情報を端末１３に送信する。

【0038】

サーバ制御部３５は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）及び（Random Access Memory）を含み、サーバ１１の動作の制御を行うコンピュータである。ＣＰＵが、ＲＯＭに記憶された各種プログラムを読み出して実行することにより各種機能を実現する。

【0039】

音響特徴量取得部としての音響特徴量抽出部３７は、サーバ制御部３５の機能部である。音響特徴量抽出部３７は、送受信部３３を介して端末１３から音声データを取得する。音響特徴量抽出部３７は、当該取得した音声データから顧客ＣＬが発声した部分を顧客音声データとして抽出する。音響特徴量抽出部３７は、顧客音声データから、顧客ＣＬの音声に含まれる物理的な特徴や特性を数値化した音響特徴量を算出する。

【0040】

例えば、音響特徴量抽出部３７は、顧客ＣＬの音声の特徴又は特性として、声の大きさ、声の高さ、音色等の特性を示す数値を算出する。

【0041】

例えば、音響特徴量抽出部３７は、顧客音声データから音素の時間間隔を抽出し、顧客ＣＬの話す速さを示す数値を算出する。また、例えば、音響特徴量抽出部３７は、顧客音声データの基本周波数（Ｆ_０）から、声の高さに関する特徴を示す数値を算出する。

【0042】

本実施例において、音響特徴量抽出部３７は、音響特徴量として、「話す速さ」、「基本周波数の周波数偏差」、「基本周波数の歪度平均又は偏差」、「基本周波数の尖度平均又は偏差」、「基本周波数の山の長さ平均又は偏差」、「ピークデシベル平均又は偏差」、「ピーク時間平均又は偏差」、「ゼロクロス率（又はゼロクロス数）」、「ＭＦＣＣ（メル周波数ケプストラム）の次元毎の偏差と差分」の９項目の各々を示す数値を算出する例について説明する。

【0043】

タイプ特定部３９は、サーバ制御部３５の機能部である。タイプ特定部３９は、１の人物（すなわち、顧客ＣＬ）が発した音声から音響特徴量抽出部３７によって抽出された音響特徴量に基づいて、当該１の人物のコミュニケーションタイプを特定する。

【0044】

タイプ特定部３９は、深層学習の手法を用いて構築された数理モデルである学習モデル（すなわち、学習済みモデル）を用いて、コミュニケーションタイプを特定する。

【0045】

推論部４１は、タイプ特定部３９に含まれている。推論部４１は、顧客ＣＬが発した音声の音響特徴量を示す情報を学習モデルに入力し、当該学習モデルから顧客ＣＬのコミュニケーションタイプの推定結果を出力させる。例えば、当該特定結果は、所定の複数のコミュニケーションタイプの各々と顧客ＣＬのコミュニケーションタイプとの適合度を示す数値として出力される。

【0046】

例えば、学習モデルから出力される推定結果は、顧客ＣＬのコミュニケーションタイプがコミュニケーションタイプの各々に適合する確率を示す数値として出力される。また、例えば、当該推定結果は、顧客ＣＬのコミュニケーションタイプに適合する１のコミュニケーションタイプを示す数値として出力されてもよい。

【0047】

タイプ特定部３９は、学習モデルからの出力に基づいて、顧客ＣＬのコミュニケーションタイプを特定する。例えば、タイプ特定部３９は、所定の複数のコミュニケーションタイプの各々と顧客ＣＬのコミュニケーションタイプとの適合度を示す数値が学習モデルから出力されると、最も高い適合度を示す数値に対応するコミュニケーションタイプを選択して、顧客ＣＬのコミュニケーションタイプとして特定する。例えば、タイプ特定部３９は、学習モデルから出力された適合度を示す数値が最も高い数値であるコミュニケーションタイプを顧客ＣＬのコミュニケーションタイプとして特定する。

【0048】

さらに、タイプ特定部３９は、顧客ＣＬのコミュニケーションタイプを特定後、ユーザＵＲと顧客ＣＬとの間のコミュニケーションの状態が変化すると、顧客ＣＬのコミュニケーションタイプを再度特定する。例えば、タイプ特定部３９は、コミュニケーションタイプを再度特定する際に、既に実行したコミュニケーションタイプの特定の際に学習モデルから出力されていた情報を用いて特定する。

【0049】

なお、例えば、タイプ特定部３９は、コミュニケーションタイプを再度特定する際に、音響特徴量を示す数値を学習モデルに新たに入力して得られた出力に基づいて特定する。

【0050】

アドバイス生成部４３は、タイプ特定部３９によって特定されたコミュニケーションタイプに応じて、顧客ＣＬとのコミュニケーションに関するユーザＵＲに対するアドバイスを含むアドバイス情報を生成する。例えば、アドバイス情報には、顧客ＣＬとの会話において推奨される話題や話の進め方を示す情報が含まれる。例えば、アドバイス生成部４３は、コミュニケーションタイプの各々に予め対応付けられたアドバイスを選択してアドバイス情報を生成する。

【0051】

アドバイス生成部４３によって生成されたアドバイス情報は、送受信部３３を介して端末１３に送信され、当該アドバイス情報に基づくメッセージが端末１３のタッチパネル１５に表示される。

【0052】

判定部４５は、アドバイス情報に基づいて端末１３においてメッセージが表示された後の、ユーザＵＲと顧客ＣＬとの間のコミュニケーション状態が変化したか否かを判定する。

【0053】

例えば、判定部４５は、音響特徴量抽出部３７によって抽出された音響特徴量に基づいて、コミュニケーション状態が悪化したか否かを判定する。例えば、判定部４５は、メッセージが表示される前に顧客ＣＬが発した音声に基づく音響特徴量と、メッセージが表示された後に顧客ＣＬが発した音声に基づく音響特徴量とを比較することで、コミュニケーション状態が悪化したか否かを判定する。

【0054】

大容量記憶装置４７は、例えば、ハードディスク装置、ＳＳＤ（solid state drive）、フラッシュメモリ等により構成された記憶装置である。大容量記憶装置４７は、サーバ１１における情報処理を行うための各種プログラムを記憶する。サーバ制御部３５は、大容量記憶装置４７に記憶された各種プログラムを読み出して実行することにより各種機能を実現する。

【0055】

なお、各種プログラムは、例えば他のサーバ装置等からネットワークを介して取得されるようにしてもよい。また、各種プログラムは、記録媒体に記録されて各種ドライブ装置を介して読み込まれるようにしてもよい。大容量記憶装置４７に記憶される各種プログラムは、ネットワークを介して伝送可能であり、また、コンピュータが読み取り可能な記録媒体に記録して譲渡することが可能である。

【0056】

大容量記憶装置４７は、学習モデル記憶部４７Ａを含む。学習モデル記憶部４７Ａは、人が発した音声の音響特徴量を示す情報を入力として、人のコミュニケーションタイプを示す情報を出力とする学習モデルを記憶している。学習モデル記憶部４７Ａに記憶された学習モデルは、深層学習の手法を用いて構築された数理モデルである。

【0057】

タイプ特定部３９の推論部４１は、学習モデル記憶部４７Ａに記憶されている学習モデルに、音響特徴量抽出部３７によって抽出された音響特徴量を示す情報を入力する。例えば、当該学習モデルは、顧客ＣＬがコミュニケーションタイプの各々に適合する確率を示す数値又は顧客ＣＬのコミュニケーションタイプを示す数値を出力する。

【0058】

図４は、学習モデル記憶部４７Ａに記憶されている学習モデルの一例である学習モデルＭ１を模式的に示す図である。図４において、学習モデルＭ１の出力として、顧客ＣＬのコミュニケーションタイプが、ソーシャルコミュニケーション理論による上述した４つのコミュニケーションタイプの各々に適合する確率を示す数値が出力される例について示している。

【0059】

図４に示す学習モデルＭ１は、ディープラーニング（深層学習）によって構築されたニューラルネットワークである。当該ニューラルネットワークは、入力層、３つの中間層（隠れ層）及び出力層から構成されている。図４に示した中間層の数は一例であり、学習モデルＭ１は２つ以上の中間層を有していればよい。

【0060】

例えば、学習モデルＭ１の入力層では、顧客ＣＬが発した音声に基づく上述した９項目の音響特徴量の各々をそれぞれ示す９個の数値であるＡＵ１～ＡＵ９が入力される。

【0061】

当該入力がなされると、出力層では、顧客ＣＬのコミュニケーションタイプが、ソーシャルスタイル理論に基づく４つのコミュニケーションタイプである「思考派タイプ（Driver）」、「行動派タイプ（Analytical）」、「協調派タイプ（Amiable）」、及び「感覚派タイプ（Expressive）」の各々に適合する確率を示す４つの数値が出力される。

【0062】

すなわち、学習モデルＭ１は、人の音響特徴量を示す情報を入力とし、人のコミュニケーションタイプを示す情報を出力とするように構築されている。

【0063】

なお、学習モデルＭ１は、出力層において、例えば、顧客ＣＬのコミュニケーションタイプを示す１つの数値を出力するように構築されていてもよい。

【0064】

学習モデルＭ１は、例えば以下のような教師あり学習によって構築される。例えば、１の協力者に対して実施されたアンケートの結果から当該１の協力者のコミュニケーションタイプを特定して正解データとする。また、当該１の協力者が会話をしている際の音声データを取得して、当該音声データから音響特徴量を抽出する。当該音響特徴量を示す情報を入力データとする。

【0065】

入力データを複数の中間層を有するニューラルネットワークに入力して、出力が正解データのコミュニケーションタイプとなるように、ニューラルネットワークのパラメータを誤差逆伝搬法によって更新しながら学習を行う。このような学習を多数の協力者について行うことで、学習モデルＭ１を構築することができる。

【0066】

さらに、学習に用いる正解データを準備する際に、上述したようなアンケート及び音声のデータに加えて、画像データを用いてもよい。例えば、協力者のコミュニケーションタイプを特定する際に、アンケートのみでは精度が確保できない場合もある。

【0067】

そのような場合に、画像データから表情、体の動き等の情報を抽出し、コミュニケーションタイプを特定する際の判断材料としてもよい。例えば、アンケート、音声データ及び画像データを組み合わせて、協力者のコミュニケーションタイプを特定することとしてもよい。

【0068】

このように、画像データを組み合わせることで、協力者のコミュニケーションの傾向により良く当て嵌まるコミュニケーションタイプを正解データとすることができる。すなわち、正解データの精度を向上させることができる。従って、このような正解データを使用して構築された学習モデルによって、コミュニケーションタイプの特定の精度を向上させることができる。

【0069】

また、画像データを組み合わせた正解データ又は入力データを用いての学習は、一旦構築された学習モデルに対して追加して行われてもよい。

【0070】

さらに、学習モデル記憶部４７Ａに記憶されている学習モデルは、タイプ特定部３９による特定の結果に基づいて更新されてもよい。

【0071】

図５は、端末１３の端末制御部２８によって実行されるルーチンの一例である音声データ送信ルーチンＲＴ１を示すフローチャートである。例えば、端末制御部２８は、端末１３の電源がＯＮになると、音声データ送信ルーチンＲＴ１を開始する。

【0072】

端末制御部２８は、音声データ送信ルーチンＲＴ１を開始すると、入出力部２６を介して、スタートボタンが押されたか否かを判定する（ステップＳ１１）。ステップＳ１１において、端末制御部２８は、タッチパネル１５に表示された操作画面において、コミュニケーションタイプの特定のための情報処理の開始を指示する操作が受付けられたか否かを判定する。

【0073】

端末制御部２８は、ステップＳ１１において、スタートボタンが押されていないと判定する（ステップＳ１１：ＮＯ）と、ステップＳ１１を繰り返し、スタートボタンが押されたか否かを再び判定する。

【0074】

端末制御部２８は、ステップＳ１１において、スタートボタンが押されたと判定する（ステップＳ１１：ＹＥＳ）と、マイク２４及び音声入力部２３によって取得された音声データの送信を開始する（ステップＳ１２）。ステップＳ１２において、端末制御部２８は、送受信部１９を介して、音声データをサーバ１１への送信を開始する。

【0075】

端末制御部２８は、ステップＳ１２の実行後、入出力部２６を介して、終了ボタンが押されたか否かを判定する（ステップＳ１３）。ステップＳ１３において、端末制御部２８は、タッチパネル１５に表示された操作画面において、コミュニケーションタイプの特定のための情報処理の終了を指示する操作が受付けられたか否かを判定する。

【0076】

端末制御部２８は、ステップＳ１３において、終了ボタンが押されていないと判定する（ステップＳ１３：ＮＯ）と、音声データの送信を継続しつつステップＳ１３を繰り返し、終了ボタンが押されたか否かを再び判定する。

【0077】

端末制御部２８は、ステップＳ１３において、終了ボタンが押されたと判定する（ステップＳ１３：ＹＥＳ）と、送受信部１９からの音声データの送信を終了する（ステップＳ１４）。端末制御部２８は、ステップＳ１４の実行後、音声データ送信ルーチンＲＴ１を終了し、音声データ送信ルーチンＲＴ１を繰り返し実行する。

【0078】

図６は、サーバ１１のサーバ制御部３５によって実行されるルーチンの一例であるタイプ特定ルーチンＲＴ２を示すフローチャートである。例えば、サーバ制御部３５は、サーバ１１の電源がＯＮになるとタイプ特定ルーチンＲＴ２を開始する。

【0079】

サーバ制御部３５は、タイプ特定ルーチンＲＴ２を開始すると、端末１３にアドバイス情報を送信済か否かを判定する（ステップＳ２１）。例えば、ステップＳ２１において、サーバ制御部３５は、所定時間内に端末１３にアドバイス情報を送信した履歴がある場合に、アドバイス情報を送信済みであると判定する。

【0080】

ステップＳ２１において、サーバ制御部３５は、アドバイス情報を送信済みであると判定すると（ステップＳ２１：ＹＥＳ）、タイプ特定ルーチンＲＴ２を終了して最初に戻り、タイプ特定ルーチンＲＴ２を繰り返し実行する。

【0081】

ステップＳ２１において、サーバ制御部３５は、アドバイス情報を送信済みではないと判定すると（ステップＳ２１：ＮＯ）、送受信部３３を介して、端末１３からの音声データの受信を待機する（ステップＳ２２）。

【0082】

サーバ制御部３５は、ステップＳ２２の実行後、所定時間以上の音声データを受信したか否かを判定する（ステップＳ２３）。ステップＳ２３において、サーバ制御部３５は、例えば、送受信部３３を介して、所定時間以上に相当するサイズの音声データを受信したか否かを判定する。なお、当該所定時間は、例えば１５秒であってもよく、例えば３０秒であってもよい。

【0083】

ステップＳ２３において、サーバ制御部３５は、所定時間以上の音声データを取得していないと判定（ステップＳ２３：ＮＯ）すると、ステップＳ２２に戻り、音声データの受信を再び待機する。

【0084】

ステップＳ２３において、サーバ制御部３５は、所定時間以上の音声データを取得したと判定する（ステップＳ２３：ＹＥＳ）と、音響特徴量抽出部３７に当該受信した音声データから顧客音声データの音響特徴量を抽出させる（音響特徴量取得ステップとしてのステップＳ２４）。ステップＳ２４において、音響特徴量抽出部３７は、例えば、受信した音声データから顧客音声データを抽出し、顧客音声データの音響特徴量として、例えば声の大きさ、声の高さ及び音色等の特性を示す数値を算出する。

【0085】

例えば、ステップＳ２４において、音響特徴量抽出部３７は、顧客音声データの音声波形の音素の間隔から顧客ＣＬの話す速さを示す数値を算出する。また、例えば、ステップＳ２４において、音響特徴量抽出部３７は、顧客音声データの基本周波数から、声の高さに関する特徴を示す数値を算出する。

【0086】

サーバ制御部３５は、ステップＳ２４の実行後、タイプ特定部３９にタイプ特定サブルーチンを実行させ、顧客ＣＬのコミュニケーションタイプを特定する（タイプ特定ステップとしてのステップＳ２５）。

【0087】

ステップＳ２５において、例えば、タイプ特定部３９は、ステップＳ２４において抽出された顧客ＣＬの音響特徴量に基づいて、学習モデルを用いて、顧客ＣＬのコミュニケーションタイプを特定する。

【0088】

ステップＳ２５において、例えば、タイプ特定部３９は、顧客ＣＬのコミュニケーションタイプが、４つのコミュニケーションタイプのいずれに該当するかを特定する。

【0089】

サーバ制御部３５は、ステップＳ２５の実行後、アドバイス生成部４３に、ステップＳ２５において特定されたコミュニケーションタイプについて、顧客ＣＬとのコミュニケーションに関するユーザＵＲに対するアドバイスを含むアドバイス情報を生成させる（アドバイス生成ステップとしてのステップＳ２６）。

【0090】

ステップＳ２６において、例えば、アドバイス生成部４３は、コミュニケーションタイプの各々に予め対応付けられたアドバイスの中から、ステップＳ２５において特定されたコミュニケーションタイプに該当するアドバイスを選択してアドバイス情報を生成する。例えば、アドバイス情報には、顧客ＣＬとの会話において推奨される話題や話の進め方を示す情報が含まれる。なお、例えば、アドバイス情報は、ステップＳ２５において特定されたコミュニケーションタイプを示す情報であってもよい。

【0091】

サーバ制御部３５は、ステップＳ２６の実行後、送受信部３３を介して、ステップＳ２５において生成されたアドバイス情報を端末１３に送信する（ステップＳ２７）。ステップＳ２７において、サーバ制御部３５及び送受信部３３は、アドバイス情報を送信する送信部として機能する。

【0092】

サーバ制御部３５は、ステップＳ２７の実行後、タイプ特定ルーチンＲＴ２を終了し、その後タイプ特定ルーチンＲＴ２を繰り返し実行する。

【0093】

図７は、タイプ特定ルーチンＲＴ２（図６）のステップＳ２５において、サーバ制御部３５のタイプ特定部３９によって実行されるタイプ特定サブルーチンＲＴ３を示すフローチャートである。

【0094】

タイプ特定部３９は、タイプ特定サブルーチンＲＴ３を開始すると、顧客ＣＬが発した音声の音響特徴量を示す情報を学習モデルに入力する（ステップＳ３１）。ステップＳ３１において、例えば、タイプ特定部３９は、図４に示したような、学習モデル記憶部４７Ａに記憶されているニューラルネットワークに当該音響特徴量を示す数値を入力する。音響特徴量を示す情報は、例えば、「話す速さ」等の各項目を所定の方法で数値化して得られる数値である。

【0095】

タイプ特定部３９は、ステップＳ３１の実行後、学習モデルから出力された情報を取得する（ステップＳ３２）。ステップＳ３２において、例えば、タイプ特定部３９は、顧客ＣＬのコミュニケーションタイプが、４つのコミュニケーションタイプの各々に適合する確率を示す数値を取得する。

【0096】

タイプ特定部３９は、ステップＳ３２の実行後、顧客ＣＬのコミュニケーションタイプがいずれのコミュニケーションタイプに該当するかを特定する（ステップＳ３３）。ステップＳ３３において、例えば、タイプ特定部３９は、ステップＳ３２において取得した４つの数値のうち、最も高い適合度を示す数値に対応するコミュニケーションタイプを顧客ＣＬのコミュニケーションとして特定する。

【0097】

タイプ特定部３９は、ステップＳ３３の実行後、タイプ特定サブルーチンＲＴ３を終了する。

【0098】

図８は、端末制御部２８によって実行されるルーチンの一例であるメッセージ表示ルーチンＲＴ４を示すフローチャートである。端末制御部２８は、例えば、端末１３の電源がＯＮになると、メッセージ表示ルーチンＲＴ４を開始する。

【0099】

端末制御部２８は、メッセージ表示ルーチンＲＴ４を開始すると、スタートボタンが押されたか否かを判定する（ステップＳ４１）。ステップＳ４１において、端末制御部２８は、入出力部２６を介して、タッチパネル１５に表示された操作画面において、コミュニケーションタイプの特定のための情報処理の開始を指示する操作が受付けられたか否かを判定する。

【0100】

端末制御部２８は、ステップＳ４１において、スタートボタンが押されていないと判定する（ステップＳ４１：ＮＯ）と、メッセージ表示ルーチンＲＴ４の最初に戻り、スタートボタンが押されたか否かを再び判定する。

【0101】

端末制御部２８は、ステップＳ４１において、スタートボタンが押されたと判定する（ステップＳ４１：ＹＥＳ）と、サーバ１１からのアドバイス情報の受信を待機する（ステップＳ４２）。

【0102】

端末制御部２８は、ステップＳ４２の実行後、送受信部１９を介してアドバイス情報をサーバ１１から受信したか否かを判定する（ステップＳ４３）。

【0103】

端末制御部２８は、ステップＳ４３において、アドバイス情報を受信したと判定する（ステップＳ４３：ＹＥＳ）と、当該受信したアドバイス情報に基づいて、表示制御部２９を介して、タッチパネル１５にメッセージを表示させる（表示ステップとしてのステップＳ４４）。

【0104】

例えば、ステップＳ４４において、表示制御部２９は、アドバイス情報に含まれるメッセージをタッチパネル１５に表示する制御を行う。例えば、ステップＳ４４において、表示制御部２９は、アドバイス情報に含まれるメッセージに補助的なメッセージを追加してタッチパネル１５に表示してもよい。

【0105】

例えば、ステップＳ４４において、「結論を先に話しましょう」、「まずは世間話をしてみましょう」、「相手を立てるような態度で話しましょう」などのメッセージがタッチパネル１５に表示される。なお、例えば、ステップＳ４４において、タッチパネル１５には、顧客ＣＬのコミュニケーションタイプが表示されてもよい。

【0106】

端末制御部２８は、ステップＳ４３において、アドバイス情報を受信していないと判定した（ステップＳ４３：ＮＯ）場合又はステップＳ４４の実行後、終了ボタンが押されたか否かを判定する（ステップＳ４５）。ステップＳ４５において、端末制御部２８は、タッチパネル１５に表示された操作画面において、コミュニケーションタイプの特定のための情報処理の終了を指示する操作が受付けられたか否かを判定する。

【0107】

端末制御部２８は、ステップＳ４５において、終了ボタンが押されていないと判定する（ステップＳ４５：ＮＯ）と、ステップＳ４２に戻り、アドバイス情報の受信を再び待機する。

【0108】

端末制御部２８は、ステップＳ４５において、終了ボタンが押されたと判定する（ステップＳ４５：ＹＥＳ）と、サーバ１１からのアドバイス情報の受信の待機を終了する（ステップＳ４６）。

【0109】

端末制御部２８は、ステップＳ４６の終了後、メッセージ表示ルーチンＲＴ４を終了し、その後メッセージ表示ルーチンＲＴ４を繰り返し実行する。

【0110】

図９は、サーバ１１のサーバ制御部３５によって実行されるルーチンの一例である再特定ルーチンＲＴ５を示すフローチャートである。例えば、サーバ制御部３５は、サーバ１１の電源がＯＮになると再特定ルーチンＲＴ５を開始する。

【0111】

サーバ制御部３５は、再特定ルーチンＲＴ５を開始すると、端末１３にアドバイス情報を送信済か否かを判定する（ステップＳ５１）。例えば、ステップＳ５１において、サーバ制御部３５は、所定時間内に端末１３にアドバイス情報を送信した履歴がある場合に、アドバイス情報を送信済みであると判定する。

【0112】

ステップＳ５１において、サーバ制御部３５は、アドバイス情報を送信済みではないと判定すると（ステップＳ５１：ＮＯ）、再特定ルーチンＲＴ５を終了して最初に戻り、再特定ルーチンＲＴ５を繰り返し実行する。

【0113】

ステップＳ５１において、サーバ制御部３５は、アドバイス情報を送信済みであると判定すると（ステップＳ５１：ＹＥＳ）、送受信部３３を介して、端末１３からの音声データの受信を待機する（ステップＳ５２）。

【0114】

サーバ制御部３５は、ステップＳ５２の実行後、所定時間以上の音声データを受信したか否かを判定する（ステップＳ５３）。ステップＳ５３において、サーバ制御部３５は、例えば、送受信部３３を介して、所定時間以上に相当する音声データを受信したか否かを判定する。なお、当該所定時間は、例えば１５秒～３０秒であるがこれに限られず、例えば３０秒以上の時間であってもよい。

【0115】

ステップＳ５３において、サーバ制御部３５は、所定時間以上の音声データを取得していないと判定（ステップＳ５３：ＮＯ）すると、ステップＳ５２に戻り、音声データの受信を再び待機する。

【0116】

ステップＳ５３において、サーバ制御部３５は、所定時間以上の音声データを取得したと判定する（ステップＳ５３：ＹＥＳ）と、音響特徴量抽出部３７に当該受信した音声データから顧客音声データの音響特徴量を抽出させる（ステップＳ５４）。ステップＳ５４において、音響特徴量抽出部３７は、例えば、受信した音声データから顧客音声データを抽出し、顧客音声データの音響特徴量として、例えば上述したような「話す速さ」等の音響特徴量を示す数値を算出する。

【0117】

例えば、ステップＳ５４において、顧客音声データの音声波形の音素の間隔から顧客ＣＬの話す速さを示す数値が算出される。また、例えば、ステップＳ５４において、顧客音声データの基本周波数から、声の高さに関する特徴を示す数値が算出される。

【0118】

サーバ制御部３５は、ステップＳ５４の実行後、ステップＳ５４において抽出された音響特徴量を、前回の音響特徴量、すなわちアドバイス情報の送信よりも前に抽出された音響特徴量と比較する（ステップＳ５５）。ステップＳ５５において、サーバ制御部３５は、例えば、タイプ特定ルーチンＲＴ２のステップＳ２４において抽出された音響特徴量と、ステップＳ５４において抽出された音響特徴量とを判定部４５に比較させる。

【0119】

例えば、音響特徴量として、上述したような「話す速さ」等の９つの項目が抽出されている場合、ステップＳ５５において、同じ項目同士の各々が比較されてもよい。また、例えば、当該９項目のうち、９項目よりも少ない所定の項目について比較されてもよい。

【0120】

サーバ制御部３５は、ステップＳ５５の実行後、ユーザＵＲと顧客ＣＬとのコミュニケーション状態が悪化したか否かを判定部４５に判定させる（判定ステップとしてのステップＳ５６）。ステップＳ５６において、判定部４５は、ステップＳ５５における比較の結果から、所定の判定基準に従って、コミュニケーション状態が悪化したか否かを判定する。

【0121】

例えば、ステップＳ５６において、音響特徴量として抽出された９項目の各々について予め設定された閾値に基づいて判定される。

【0122】

例えば、ステップＳ５６において、「話す速さ」が早くなった場合又は声が大きくなった場合に、コミュニケーション状態が悪化したと判定される。

【0123】

例えば、ステップＳ５６において、音響特徴量として抽出された９項目のうちの幾つかの項目に関する判断が組み合わされて判定されてもよい。

【0124】

また、例えば、コミュニケーション状態が悪化した場合の音響特徴量を予め取得しておき、ステップＳ５６において、当該悪化した場合の音響特徴量の傾向への近似の度合いによって判定されてもよい。

【0125】

サーバ制御部３５は、判定部４５がステップＳ５６においてコミュニケーション状態が悪化したと判定する（ステップＳ５６：ＹＥＳ）と、タイプ特定部３９に再特定サブルーチンを実行させて顧客ＣＬのコミュニケーションタイプを再度特定させる（ステップＳ５７）。

【0126】

サーバ制御部３５は、ステップＳ５７の実行後、アドバイス生成部４３に、ステップＳ５７において特定されたコミュニケーションタイプについて、顧客ＣＬとのコミュニケーションに関するユーザＵＲに対するアドバイスを含むアドバイス情報を生成させる（ステップＳ５８）。

【0127】

ステップＳ５８において、例えば、アドバイス生成部４３は、コミュニケーションタイプの各々に予め対応付けられたアドバイスの中から、ステップＳ５７において特定されたコミュニケーションタイプに該当するアドバイスを選択してアドバイス情報を生成する。例えば、アドバイス情報には、顧客ＣＬとの会話において推奨される話題や話の進め方を示す情報が含まれる。

【0128】

例えば、ステップＳ５７において、前回特定されたコミュニケーションタイプとは異なるコミュニケーションタイプが特定された場合には、ステップＳ５８において、既に送信された前回のアドバイス情報とは異なる内容のアドバイス情報が生成される。

【0129】

サーバ制御部３５は、ステップＳ５８の実行後、送受信部３３を介して、ステップＳ５８において生成されたアドバイス情報を端末１３に送信する（ステップＳ５９）。例えば、端末１３において、ステップＳ５９において送信されたアドバイス情報に基づいて、前回表示されたメッセージとは異なるメッセージがタッチパネル１５に表示される（図８、メッセージ表示ルーチンＲＴ４）。

【0130】

サーバ制御部３５は、ステップＳ５９の実行後、ステップＳ５６においてコミュニケーション状態が悪化していないと判定した場合（ステップＳ５６：ＮＯ）及びステップＳ５１においてアドバイス情報を受信していないと判定した（ステップＳ５１：ＮＯ）場合、再特定ルーチンＲＴ５を終了し、再特定ルーチンＲＴ５を繰り返し実行する。

【0131】

図１０は、再特定ルーチンＲＴ５のステップＳ５７においてタイプ特定部３９によって実行されるサブルーチンの一例である再特定サブルーチンＲＴ６を示すフローチャートである。

【0132】

タイプ特定部３９は、再特定サブルーチンＲＴ６を開始すると、アドバイス情報が送信される前の前回の特定において学習モデルによって出力された推定結果を読み出す（ステップＳ６１）。ステップＳ６１において、例えば、タイプ特定部３９は、アドバイス情報が送信される前に、例えばタイプ特定サブルーチンＲＴ３のステップＳ３２において学習モデルから取得した数値を読み出す。学習モデルから出力された数値は、例えばタイプ特定部３９に記憶されている。

【0133】

なお、例えば、アドバイス情報が送信される前に学習モデルからの出力が複数回なされていた場合には、ステップＳ６１において、１つ前の、すなわち直前に出力された数値が読み出されてもよい。

【0134】

サーバ制御部３５は、ステップＳ６１の実行後、タイプ特定部３９に顧客ＣＬのコミュニケーションタイプを再度特定させる（ステップＳ６２）。ステップＳ６２において、タイプ特定部３９は、ステップＳ６１において読み出した推定結果に基づいて、顧客ＣＬのコミュニケーションタイプがいずれのコミュニケーションタイプに適合するかを再度特定する。

【0135】

ステップＳ６２において、例えば、タイプ特定部３９は、ソーシャルスタイル理論に基づく４つのコミュニケーションタイプのうち、既に特定したコミュニケーションタイプを除外して、残りの他のコミュニケーションタイプの中から、顧客ＣＬのコミュニケーションタイプに適合するコミュニケーションタイプを特定する。

【0136】

例えば、ステップＳ６２において、「思考派タイプ（Driver）」、「行動派タイプ（Analytical）」、「協調派タイプ（Amiable）」、及び「感覚派タイプ（Expressive）」のうち、「思考派タイプ」について既に特定されている場合には「思考派タイプ」が除外され、残りの「行動派タイプ」、「協調派タイプ」、及び「感覚派タイプ」のうち、最も高い適合度を示す数値に対応するコミュニケーションタイプが顧客ＣＬのコミュニケーションタイプとして再度特定される。

【0137】

例えば、学習モデルからの出力が、各コミュニケーションタイプに適合する確率を示す数値である場合、「行動派タイプ」、「協調派タイプ」、及び「感覚派タイプ」のうち、最も高い確率を示す数値に対応するコミュニケーションタイプが顧客ＣＬのコミュニケーションタイプとして再度特定される。

【0138】

なお、タイプ特定部３９は、ステップＳ６１～Ｓ６２に代えて、学習モデルを用いた特定を再度実行してもよい。その場合、例えば、アドバイス情報が送信された後、再特定ルーチンＲＴ５のステップＳ５４において抽出された音響特徴量を学習モデルの入力としてもよい。また、タイプ特定部３９は、学習モデルを用いた特定を再度実行する場合、例えば、タイプ特定ルーチンＲＴ２のステップＳ２２～Ｓ２５を再度実行して新たに取得した音響特徴量を学習モデルの入力としてもよい。

【0139】

タイプ特定部３９は、ステップＳ６２の実行後、再特定サブルーチンＲＴ６を終了する。

【0140】

以上、説明したように、本実施例の情報処理装置としての情報処理システム１０は、ユーザのコミュニケーションの相手である１の人物（顧客ＣＬ）が発した音声の音響特徴量を抽出し、当該音響特徴量を示す情報を学習モデルの入力として、１の人物のコミュニケーションタイプを特定することができる。また、特定したコミュニケーションタイプに応じて、アドバイスを含むメッセージを表示することができる。

【0141】

さらに、情報処理システム１０は、メッセージが表示された後、すなわちアドバイス情報が送信された後、コミュニケーション状態が悪化したか否かを判定することができる。情報処理システム１０は、コミュニケーション状態が悪化したと判定すると、当該１の人物のコミュニケーションタイプを再度特定し、再度特定されたコミュニケーションタイプに応じたアドバイスを含むメッセージを表示することができる。

【0142】

従って、ユーザは、例えば最初に表示されたメッセージに従ってコミュニケーションを進める中で、コミュニケーション状態が悪化した場合であっても、先に表示されたメッセージと異なるメッセージが表示されて、当該異なるメッセージに従ってコミュニケーションを進めることで、コミュニケーション状態を良好な状態とすることができる。

【0143】

従って、コミュニケーションの相手の音声から当該相手の人物のコミュニケーションタイプを特定する際に、コミュニケーションの状態の変化に応じてコミュニケーションタイプを特定することが可能であり、より良好なコミュニケーションを実現可能とする情報処理装置、情報処理方法、情報処理プログラム及び記録媒体を提供することができる。

【0144】

なお、上記の実施例において、本発明の情報処理装置としての情報処理システム１０がサーバ１１及び端末１３を含む例について説明したが、これに限られない。例えば、本発明の情報処理装置は、端末１３であってもよい。例えば、当該端末１３には、サーバ１１の音響特徴量抽出部３７、タイプ特定部３９、アドバイス生成部４３、及び学習モデル記憶部４７Ａに相当する構成を全て端末１３が備えていてもよい。

【0145】

また、情報処理システム１０がサーバ１１及び端末１３を含む場合、各機能部がサーバか端末のいずれかに備えられていればよく、いずれに備えられているかは実施例の構成に限定されない。例えば、学習モデル記憶部４７Ａのみがサーバ１１に備えられていてもよい。

【0146】

また、上記の実施例において、顧客ＣＬが一人である場合の例について説明したが、複数人についてタイプ特定を行ってもよい。例えば、情報処理システム１０は、複数の人物の音声データの各々について、音響特徴量の抽出、コミュニケーションタイプの特定、コミュニケーション状態が悪化したか否かの判定、及びコミュニケーションタイプの再特定等の情報処理を並行して進めることとしてもよい。

【0147】

上記の実施例において、コミュニケーションタイプの分類手法の一例として、ソーシャルスタイル理論に基づく４つのコミュニケーションタイプを例に説明した。ソーシャルスタイル理論に基づくコミュニケーションタイプを用いる場合であっても、タイプの数は４つに限られない。

【0148】

例えば、ソーシャルスタイル理論に基づく４つのコミュニケーションタイプをさらに４つに分類して１６タイプに分類してもよい。また、１６タイプのうち、性質の似ている４つを１つにまとめ、１３タイプに分類してもよい。

【0149】

また、上記の実施例において、コミュニケーションタイプの分類は、ソーシャルスタイル理論に基づく分類に限られず、他の任意の基準を設けてコミュニケーションタイプを設定してもよい。

【0150】

上述した実施例における構成は例示に過ぎず、用途等に応じて適宜選択及び変更可能である。

【符号の説明】

【0151】

１０ 情報処理システム
１１ サーバ
１３ 端末
１５ タッチパネル
１７、３１ システムバス
１９、３３ 送受信部
２１ 記憶部
２３ 音声入力部
２４ マイク
２６ 入出力部
２８ 端末制御部
２９ 表示制御部
３５ サーバ制御部
３７ 音響特徴量抽出部
３９ タイプ特定部
４１ 推論部
４３ アドバイス生成部
４５ 判定部
４７ 大容量記憶装置
４７Ａ 学習モデル記憶部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】