特開 2024-46894 会話音声分析装置、会話音声分析方法、及び会話音声分析プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024046894

(43)【公開日】2024-04-05

(54)【発明の名称】会話音声分析装置、会話音声分析方法、及び会話音声分析プログラム

(51)【国際特許分類】

   G10L 25/48 20130101AFI20240329BHJP

   G10L 25/63 20130101ALI20240329BHJP

【ＦＩ】

G10L25/48 100

G10L25/63

【審査請求】未請求

【請求項の数】11

【出願形態】ＯＬ

(21)【出願番号】P 2022152247

(22)【出願日】2022-09-26

(71)【出願人】

【識別番号】000003078

【氏名又は名称】株式会社東芝

(71)【出願人】

【識別番号】301063496

【氏名又は名称】東芝デジタルソリューションズ株式会社

(74)【代理人】

【識別番号】110003708

【氏名又は名称】弁理士法人鈴榮特許綜合事務所

(72)【発明者】

【氏名】降幡 建太郎

(72)【発明者】

【氏名】園尾 聡

(72)【発明者】

【氏名】宮川 夏實

(57)【要約】

【課題】分析の目的に応じた分析結果を得るための条件を容易に切り替えることが可能な会話音声分析装置を提供すること。
【解決手段】実施形態によれば、会話音声分析装置は、発話の音声に対する分析により検出された感情スコアが付加された会話データを入力するデータ入力部と、発話者による発話の方向性に基づいて区別された、前記感情スコアについての集計条件を記憶する記憶部と、前記感情スコアをもとに前記集計条件に基づく区分別の集計スコアを算出する算出部と、前記集計条件に基づいて前記区分が異なる選択候補を生成する生成部と、前記選択候補と前記集計スコアを表示し、何れかの選択候補を選択する指示を受け付ける表示処理部とを有する。
【選択図】図２

【特許請求の範囲】

【請求項1】

発話の音声に対する分析により検出された感情スコアが付加された会話データを入力するデータ入力部と、
発話者による発話の方向性に基づいて区別された、前記感情スコアについての集計条件を記憶する記憶部と、
前記感情スコアをもとに前記集計条件に基づく区分別の集計スコアを算出する算出部と、
前記集計条件に基づいて前記区分が異なる選択候補を生成する生成部と、
前記選択候補と前記集計スコアを表示し、何れかの選択候補を選択する指示を受け付ける表示処理部と
を有する会話音声分析装置。

【請求項2】

前記会話データには複数種の前記感情スコアが付加されており、
前記算出部は、前記集計条件に基づく区分に応じて、１種以上の前記感情スコアをもとに前記集計スコアを算出する請求項１記載の会話音声分析装置。

【請求項3】

前記算出部は、２者以上の発話者の会話における発話に方向性のある区分に対応する第１の集計スコア、２者以上の発話者の会話における発話に方向性のない区分に対応する第２の集計スコア、単独の発話者による発話の方向性のない区分に対応する第３の集計スコアを算出する、請求項１または請求項２記載の会話音声分析装置。

【請求項4】

前記会話データは、１対１による発話者による会話、１対多による発話者による会話、単独による発話の少なくとも１つについて、発話毎のデータあるいは複数の発話毎のデータを含む、請求項１記載の会話音声分析装置。

【請求項5】

発話者による発話の方向性は、会話をする発話者の関係元と関係先との方向種別、及び前記関係元、前記関係先、あるいは前記関係元と前記関係先のペアの何れかの観点とにより設定される、請求項１記載の会話音声分析装置。

【請求項6】

前記記憶部に記憶される前記集計条件をユーザ操作により入力されるデータに応じて設定する条件設定部をさらに有する、請求項１記載の会話音声分析装置。

【請求項7】

前記算出部は、関係元の発話者と関係先の発話者との会話による会話データをもとに前記集計スコアを算出する場合に、前記集計スコアの算出に用いられる前記感情スコアの値を、予め設定された算出条件に該当する発話データを対象として標準化する請求項１記載の会話音声分析装置。

【請求項8】

前記算出部は、
前記算出条件に設定された前記発話者の会話相手または予め決められた期間の少なくとも一方に該当する会話データのみを対象にして、前記感情スコアの値を標準化する請求項７記載の会話音声分析装置。

【請求項9】

前記表示処理部は、選択した前記選択候補に対応する前記集計スコアに基づいて、複数の発話者の発話に対応する前記集計スコアの関係を示す画面を表示させる、請求項１記載の会話音声分析装置。

【請求項10】

発話の音声に対する分析により検出された感情スコアが付加された会話データを入力し、
前記感情スコアをもとに、発話者による発話の方向性に基づいて区別された、前記感情スコアについての集計条件に基づく区分別の集計スコアを算出し、
前記集計条件に基づいて前記区分が異なる選択候補を生成し、
前記選択候補と前記集計スコアを表示し、何れかの選択候補を選択する指示を受け付ける、会話音声分析方法。

【請求項11】

コンピュータを、
発話の音声に対する分析により検出された感情スコアが付加された会話データを入力するデータ入力部と、
発話者による発話の方向性に基づいて区別された、前記感情スコアについての集計条件を記憶する記憶部と、
前記感情スコアをもとに前記集計条件に基づく区分別の集計スコアを算出する算出部と、
前記集計条件に基づいて前記区分が異なる選択候補を生成する生成部と、
前記選択候補と前記集計スコアを表示し、何れかの選択候補を選択する指示を受け付ける表示処理部として機能させるための会話音声分析プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、会話音声分析装置、会話音声分析方法、及び会話音声分析プログラムに関する。

【背景技術】

【0002】

会話音声を分析して話者の感情を推定し、推定した感情に基づいて話者間の感情の関係性を表す指標を算出、提示するシステムがある。例えば、特許文献１では、２者間で行われた言語等を用いた会話（アクション）について、発話行為を行った時の感情及び情動等のような心的状態を特徴づける状態特徴量を算出し、「快－不快」及び「覚醒－眠気」の二軸からなる二次元平面にプロットして表すことが記載されている。また、状態特徴量に基づいて、会話する２者間の心的状態の類似性を示す共感度を算出することが記載されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１９－７２３７１号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

このように、従来の技術では、発話行為を行った時の感情を示す感情及び情動等のような心的状態を特徴づける状態特徴量を、会話をする２者のそれぞれについて個別に算出して二次元平面にプロットして表す、あるいは共感度を算出するだけであった。

【0005】

このため、例えば、上司と部下との会話において、上司が部下に与える威圧度のように、方向性がある心的状態について、与える側（上司）あるいは受ける側（部下）の観点からの威圧度について分析することができなかった。また、威圧度のように方向性がある心的状態だけでなく、共感度などの方向性のない心的状態もあり、方向性の有無が異なる心的状態の相違などについて分析することができなかった。すなわち、従来のシステムでは、発話に対する分析の目的に応じた条件を切り替えて、それぞれの条件に応じた分析結果を確認することができなかった。

【0006】

本発明が解決しようとする課題は、分析の目的に応じた分析結果を得るための条件を容易に切り替えることが可能な会話音声分析装置、会話音声分析方法、及び会話音声分析プログラムを提供することである。

【課題を解決するための手段】

【0007】

実施形態によれば、会話音声分析装置は、発話の音声に対する分析により検出された感情スコアが付加された会話データを入力するデータ入力部と、発話者による発話の方向性に基づいて区別された、前記感情スコアについての集計条件を記憶する記憶部と、前記感情スコアをもとに前記集計条件に基づく区分別の集計スコアを算出する算出部と、前記集計条件に基づいて前記区分が異なる選択候補を生成する生成部と、前記選択候補と前記集計スコアを表示し、何れかの選択候補を選択する指示を受け付ける表示処理部とを有する。

【図面の簡単な説明】

【0008】

【図1】図１は、本実施形態における会話音声分析装置を用いるシステムの構成を示すブロック図である。

【図2】図２は、本実施形態における会話音声分析装置の機能構成を示すブロック図である。

【図3】図３は、本実施形態における会話データの一例を示す図である。

【図4】図４は、本実施形態における発話者データの一例を示す図である。

【図5】図５は、本実施形態における役割階層データの一例を示す図である。

【図6】図６は、感情スコア標準化部による標準化を説明するための図である。

【図7】図７は、本実施形態における集計条件データの一例を示す図である。

【図8】図８は、本実施形態における複合スコアの算出例を示す図である。

【図9】図９は、本実施形態における集計条件データの一例を示す図である。

【図10】図１０は、本実施形態における算出条件データの一例を示す図である。

【図11】図１１は、本実施形態における会話音声分析装置の動作について示すフローチャートである。

【図12】図１２は、本実施形態における分析結果画面の一例を示す図である。

【図13】図１３は、本実施形態における分析結果画面の一例を示す図である。

【図14】図１４は、本実施形態における分析結果画面の一例を示す図である。

【図15】図１５は、本実施形態における分析結果画面の一例を示す図である。

【図16】図１６は、本実施形態における分析結果画面の一例を示す図である。

【図17】図１７は、本実施形態における分析結果画面の一例を示す図である。

【図18】図１８は、本実施形態における分析結果画面の一例を示す図である。

【図19】図１９は、本実施形態における分析結果画面の一例を示す図である。

【図20】図２０は、本実施形態における座標形式の画面例を示す図である。

【図21】図２１は、本実施形態における座標形式の画面例を示す図である。

【図22】図２２は、本実施形態における座標形式の画面例を示す図である。

【図23】図２３は、本実施形態における座標形式の画面例を示す図である。

【図24】図２４は、本実施形態におけるネットワーク形式の分析結果画面の例を示す図である。

【発明を実施するための形態】

【0009】

以下、実施形態について図面を参照して説明する。

【0010】

図１は、本実施形態における会話音声分析装置１０を用いるシステムの構成を示すブロック図である。図１に示すシステムにおいて、会話音声分析装置１０は、インターネット等を含むネットワーク１２を通じて、端末装置１４、発話感情推定装置１６、情報処理装置１８などの各種の電子機器と通信して、各種データを送受信することができる。

【0011】

会話音声分析装置１０は、例えば、会社、店舗、宿泊施設等で業務に従事する従業員間の会話や単独の発話を分析して、分析結果を可視化して出力できる情報を生成するための処理を実行する。

【0012】

会話音声分析装置１０は、会話音声から推定される発話者の感情（感情スコア）に基づいて、会話をする発話者間の関係性（方向性）に基づく区分別に感情スコアを集計する会話音声分析処理を実行する。会話音声分析装置１０は、会話あるいは単独の発話の関係性が区分される集計条件をもとに選択候補を生成し、選択候補を選択できるようにすることで、分析の目的に応じた分析結果を得るための条件を容易に切り替えることができるようにする。

【0013】

端末装置１４は、ネットワーク１２を通じて、会話音声分析装置１０を利用するためにユーザにより操作される電子機器である。端末装置１４は、例えばパーソナルコンピュータやスマートフォンなどにより実現される。端末装置１４は、会話音声分析装置１０の会話音声分析処理おいて参照されるデータ（集計条件データ１４ａ、算出条件データ１４ｂ）の会話音声分析装置１０に対する設定操作、会話音声分析装置１０の会話音声分析機能の操作、及び会話音声分析処理の処理結果（音声分析結果）の出力（画面表示）等を実行する。

【0014】

発話感情推定装置１６は、会話音声分析装置１０における会話音声分析処理の処理対象となる会話データを生成する。発話感情推定装置１６は、例えば情報処理装置１８において収集される会話音声の音声データに対して、発話者の感情を推定する分析を実行し、分析により検出された感情スコアが付加された会話データを出力する。会話データには、複数種の感情スコアが付加されるものとする。分析により検出される複数種の感情スコアとしては、例えば感情価（Ｖａｌｅｎｃｅ）、活性度（Ａｃｔｉｖａｔｉｏｎ）、支配性（Ｄｏｍｉｎａｎｃｅ）が含まれるものとする。なお、感情スコアの種類は、前述したものに限定されず、また３種類に限定されるものでもない。また、会話音声の音声データに対する、発話者の感情を推定する分析方法は、特に限定されるものではなく、既存の方法を用いることが可能である。

【0015】

なお、図１において、発話感情推定装置１６を会話音声分析装置１０とは別に設けているが、発話感情推定装置１６において実行される処理を、会話音声分析装置１０において実行するようにしても良い。

【0016】

情報処理装置１８は、会話音声分析装置１０による分析の対象とする会話音声の音声データを収集する。情報処理装置１８は、例えば音声データの収集対象とする建物内に設置され、建物内で行動する人が装着するマイクによって検出された発話の音声データを収集する。例えば、ホテルの従業員による会話について分析する場合には、ホテル内に情報処理装置１８が設置され、ホテル内で働く各従業員が業務中に発声した音声の音声データを収集する。

【0017】

また、会話音声の音声データとは別に、音声データに含まれる会話（発話）をした発話者に関する属性データが付加される。属性データは、会話音声の分析の対象とする会社、店舗、宿泊施設等のそれぞれについて定義されるもので、例えば、発話者に関する発話者データと、複数の発話者の関係に関する役割階層データが含まれる。

【0018】

発話者データには、例えば発話者を識別する識別情報（例えば、発話者番号、発話者名）、発話者に割り当てられた業務役割などについてのデータが含まれる（図４参照）。役割階層データは、発話者に割り当てられた業務役割の階層（上下関係など）を示すデータが含まれる（図５参照）。

【0019】

例えば、会話音声の音声データがホテルで収集される場合、発話者データは、従業員毎の識別情報と、識別情報（従業員）のそれぞれに対応するホテルの業務役割（支配人、コンシェルジュ、客室係、清掃スタッフなど）を示す。また、役割階層データは、ホテルの業務役割の階層（上下関係など）を示す。

【0020】

なお、会話音声の音声データの収集方法は、前述した形態に限定されるものではない。例えば、同じ場所にいる複数の発話者による会話の音声データを記録しておき、音声データをもとに各発話の発話者を識別するようにしても良い。

【0021】

情報処理装置１８により収集された会話音声の音声データと属性データは、ネットワーク１２を通じて、端末装置１４あるいは発話感情推定装置１６に提供されるようにしても良い。

【0022】

本実施形態における会話音声分析装置１０は、例えばサーバ装置、パーソナルコンピュータ等のコンピュータによって実現される。会話音声分析装置１０は、例えばネットワーク１２を通じて利用可能クラウドとして構成され、１台のコンピュータにより実現されるだけでなく、複数のコンピュータが協働することで実現されるものであっても良い。

【0023】

図１に示すように、会話音声分析装置１０は、プロセッサ２０、メモリ２１、記憶装置２４、入力ユニット２５、表示ユニット２６、及び通信ユニット２９を有する。

【0024】

プロセッサ２０は、記憶装置２４からメモリ２１に読み出された各種プログラム（ソフトウェア）を実行することにより各種の機能を実現する。例えば、プロセッサ２０は、メモリ２１に記憶されたＯＳ（Operating System）やアプリケーションプログラムなどの各種プログラム（ソフトウェア）を実行して、各種機能を実現する。例えば、プロセッサ２０は、会話音声分析処理プログラム２１ａを実行して、会話音声分析処理機能を実現する。

【0025】

メモリ２１は、プロセッサ２０により実行されるプログラムやデータを記憶する。

【0026】

記憶装置２４は、ＯＳ（Operating System）やアプリケーションプログラムなどの各種プログラム（ソフトウェア）やプログラムの実行に必要なデータなどを、不揮発性の記憶媒体において記憶する。記憶装置２４に記憶されるデータは、例えば会話データ２４ａ、発話者データ２４ｂ、役割階層データ２４ｃ、集計条件データ２４ｄ、算出条件データ２４ｅ、集計条件設定データ２４ｆ、スコアデータ２４ｇ、表示情報データ２４ｈを含む。各データの詳細については後述する。

【0027】

入力ユニット２５は、プロセッサ２０の制御のもとで、ユーザにより操作される入力デバイス（例えば、キーボード、マウス、タブレット等）からの入力を制御する。

【0028】

表示ユニット２６は、プロセッサ２０の制御のもとで、ＬＣＤ（Liquid Crystal Display）等のディスプレイにおける表示を制御する。

【0029】

通信ユニット２９は、ネットワーク１２を通じて、端末装置１４や電子機器との通信を制御する。

【0030】

なお、会話音声分析装置１０は、ハードウェア構成、又はハードウェア資源とソフトウェア（プログラム）との組合せ構成のいずれでも実施可能である。ソフトウェアは、予めネットワーク１２又は非一時的なコンピュータ読み取り可能な記憶媒体からコンピュータにインストールされ、当該コンピュータのプロセッサ２０に実行されることにより、各装置の機能を当該コンピュータに実行させる。

【0031】

会話データ２４ａは、発話の音声に対する分析により検出された感情スコアが付加されたデータである。会話データ２４ａは、例えば、発話感情推定装置１６からネットワーク１２を通じて取得される。会話データには、発話感情推定装置１６により会話音声データの分析により推定された少なくとも１つの感情スコアが付加されている。本実施形態では、複数種の感情スコア（感情価（Ｖ）、活性度（Ａ）、支配性（Ｄ））が付加される。また、会話データ２４ａは、例えば、１対１による発話者による会話、１対多による発話者による会話、あるいは単独による発話に対応するデータとする。また、会話データ２４ａは、発話毎のデータあるいは複数の発話毎のデータとすることができる。

【0032】

発話者データ２４ｂは、会話データ２４ａに対応する、発話者に関するデータである。

【0033】

役割階層データ２４ｃは、会話データ２４ａに対応する、発話者に割り当てられた業務役割の階層（上下関係など）を示すデータである。

【0034】

集計条件データ２４ｄは、発話者による発話の方向性に基づいて区別された、会話データ２４ａに付加された感情スコアについての集計条件を定義するデータである。発話者による発話の方向性は、例えば、会話をする発話者の関係元（与える側）と関係先（受ける側）との方向種別、及び関係元、関係先、あるいは関係元と関係先のペアの何れかの観点とにより設定される。集計条件データ２４ｄは、例えば会話音声分析装置１０を利用するユーザが、端末装置１４を通じて設定することができる。

【0035】

算出条件データ２４ｅは、関係元の発話者と関係先の発話者との会話による会話データ２４ａをもとに集計スコアを算出する場合に、集計スコアの算出に用いられる発話者毎の感情スコアの値を、発話者毎の会話データの感情スコアの値に基づいて標準化する際の条件を示すデータである。算出条件データ２４ｅは、例えば、発話者毎の会話データのうち、発話者の会話相手（関係元（話者）、関係先（話者）とも称する）及び予め決められた期間の少なくとも一方に該当する会話データのみを対象にして、感情スコアの値を標準化することを示すデータを含む。

【0036】

集計条件設定データ２４ｆは、集計条件データ２４ｄに基づいて生成される区分が異なる選択候補から、ユーザ操作によって選択された何れかの選択候補を示すデータである。集計条件設定データ２４ｆが示す選択候補に対応する表示情報が生成される。

【0037】

スコアデータ２４ｇは、会話データ２４ａに付加された感情スコアをもとに、集計条件データ２４ｄが示す集計条件基づいて算出される区分別の集計スコアを示すデータである。

【0038】

表示情報データ２４ｈは、会話音声分析機能による処理結果を表示させるための表示内容を示すデータである。表示情報データ２４ｈは、例えば、集計条件データ２４ｄに基づいて生成された区分が異なる選択候補、及び感情スコアをもとに集計条件に基づいて算出される区分（選択候補）別の集計スコアの少なくとも一方を含む表示情報を示す。また、表示情報データ２４ｈは、複数の発話者の発話に対応する集計スコアの関係を示す画面を表示させるための表示情報を含む。集計スコアの関係を示す画面としては、例えば、ランキング形式（図１２－図１９参照）、座標形式（図２０－２３参照）、ネットワーク形式（図２４参照）の形式を用いることができる。

【0039】

なお、本実施形態では、会話音声分析装置１０において、会話音声分析処理プログラム２１ａに基づく会話音声分析処理機能を実行して、処理結果とする内容を端末装置１４において出力（表示）させるとしているが、会話音声分析装置１０（表示ユニット２６）において処理結果を出力させるようにしても良い。

【0040】

また、端末装置１４により、集計条件データ１４ａ及び算出条件データ１４ｂの設定操作、会話音声分析装置１０の会話音声分析機能の操作をするとしているが、会話音声分析装置１０の入力ユニット２５に対する操作によって実行できるようにしても良い。

【0041】

図２は、本実施形態における会話音声分析装置１０の機能構成を示すブロック図である。図２に示すように、会話音声分析装置１０は、データ入力部３１、算出部３３、表示処理部３５、記憶部３７、条件設定部３９を含む会話音声分析処理機能を有する。会話音声分析処理プログラム２１ａは、プロセッサ２０により実行されることにより、会話音声分析装置１０を各機能部として機能させる。

【0042】

データ入力部３１は、発話の音声に対する分析により検出された感情スコアが付加された会話データを入力し、記憶部３７に記憶させる（会話データ３７１（２４ａ））。また、データ入力部３１は、会話データに対応する、発話者データ及び役割階層データを入力する。

【0043】

図３は、本実施形態における会話データの一例を示す図である。

【0044】

図３に示す会話データは、複数の発話者による会話における、会話に含まれる複数の発話毎に感情スコアが付加された例を示している。図３に示す会話データでは、発話を識別する情報（発話番号、会話番号、発話者番号、発話時刻）と対応づけて、複数種の感情スコア（感情値（Ｖ）、活性度（Ａ）、支配性（Ｄ））が付加されている。発話者番号は、発話者データに発話者毎に設定された番号が用いられる。

【0045】

なお、会話データは、１対１による会話、１対多による会話、あるいは単独による発話を対象としても良い。また、感情スコアは、発話毎に付加されるだけでなく、複数の発話に対して付加されていても良い。

【0046】

図４は、本実施形態における発話者データの一例を示す図である。

【0047】

図４に示す発話者データは、発話者毎に設定される発話者番号と対応づけて、発話者名と発話者の業務役割が設定される。図４の発話者データは、例えばホテルの業務役割の例を示している。

【0048】

図５は、本実施形態における役割階層データの一例を示す図である。

【0049】

図５に示す役割階層データは、発話者データにおいて設定されるホテル内の業務役割の階層（上下関係など）を示している。例えば、「支配人」の下位に「コンシェルジュ」と「清掃リーダー」の役割があり、「コンシェルジュ」の下位に「配膳係」と「客室係」の役割があることを示している。

【0050】

算出部３３は、会話データ３７１に付加された感情スコアをもとに、集計条件に基づく区分別の集計スコアを算出するもので、感情スコア標準化部３３１、複合スコア算出部３３２、複合スコア集計部３３３を含む。

【0051】

感情スコア標準化部３３１は、関係元の発話者と関係先の発話者との会話による会話データをもとに集計スコアを算出する場合に、会話データ３７１に付加された集計スコアの算出に用いられる発話者毎の感情スコアの値を、算出条件データ３７３（図１０参照）が示す算出条件に該当する範囲の会話（発話）データを対象にして標準化する。

【0052】

感情スコア標準化部３３１は、例えば、以下のような統計学における一般的な「標準化」の計算式を用いて、標準化対象とする会話データ（感情スコア）について標準化を実行する。

【0053】

下記式にてデータを平均０、分散１に変換する。
（各値－データの平均）／（データの標準偏差）
上記式にて標準化を実行すると、２つのデータにおいて同じ値が、データの平均との差が大きく、分散が小さい方がより大きくなるよう変換される。

【0054】

図６は、感情スコア標準化部３３１による標準化を説明するための図である。

【0055】

図６（Ａ）（Ｂ）は、例えば、発話者の上司Ａと上司Ｂによる、算出条件に該当する範囲の会話データの感情スコア「支配性（Ｄ）」を集計したグラフを示している。図６（Ａ）は標準化前、図６（Ｂ）は標準化後をそれぞれ表している。

【0056】

図６（Ａ）に示すように、上司Ａによる発話のスコアは、比較的、平均値－０．２を中心として、比較的、威圧度の低い発話がまとまって多いことを表し、上司Ｂによる発話のスコアは、威圧的平均値０．５を中心として、比較的威圧度の低い発話から高い発話まで通常的に（分散して）発話されていることを表している。

【0057】

この場合、上司Ａと上司Ｂのそれぞれの会話データについて標準化を実行することにより、図６（Ｂ）に示すように、上司Ａと上司Ｂのスコアの平均／分散がそれぞれ０／１に、変換される。

【0058】

この結果、図６（Ａ）に示す威圧度が同じくらいの上司Ａと上司Ｂの発話のスコア（上司Ａの発話のスコア値ＡＤ１、上司Ｂの発話のスコア値ＢＤ１）は、図６（Ｂ）に示すように、上司Ａの発話のスコア値ＡＤ２、上司Ｂの発話のスコア値ＢＤ２のように変換される。

【0059】

すなわち、上司Ａの発話は、威圧度の低い発話が多い平常の状態と比べて特別に威圧的な発話をしたことを表し、上司Ｂの発話は、威圧度が高い発話が多い平常の状態と比べてあまり威圧的でない発話をしたことを表している。

【0060】

こうして、会話データの感情スコアを標準化することで、発話者毎の通常（算出条件に該当する範囲）の発話の傾向に応じたスコアに変更でき、複合スコアの算出に反映させることができる。

【0061】

複合スコア算出部３３２は、会話データ３７１に付加された感情スコア、あるいは感情スコア標準化部３３１により標準化された感情スコアをもとに、発話者の発話によって得られる話者（間）の心的状態を表す複合スコア（集計スコア）を算出する。

【0062】

複合スコア集計部３３３は、複合スコア算出部３３２によって算出された複合スコア（集計スコア）を、集計条件データ３７２が示す集計条件に基づく区分別に集計する。

【0063】

算出部３３は、発話（２者以上の会話あるいは単独の発話）の関係性（方向、観点）の違いによる区分別の複数種の複合スコアを算出することができる。例えば、算出部３３は、２者以上の発話者の会話における発話に方向性のある区分に対応する第１の集計スコア（例えば、「威圧度」「安心度」など）、２者以上の発話者の会話における発話に方向性のない区分に対応する第２の集計スコア（例えば、「共感度」など）、単独の発話者による発話の方向性のない区分に対応する第３の集計スコア（例えば、「元気度」など）を算出することができる。

【0064】

表示処理部３５は、処理結果を表示させるための処理を実行するもので、選択候補生成部３５１、表示情報生成部３５２、選択受付部３５３を含む。

【0065】

選択候補生成部３５１は、集計条件データ３７２が示す集計条件に基づいて、発話（２者以上の会話あるいは単独の発話）の関係性（方向、観点）が区分されるそれぞれ異なる選択候補を生成する。

【0066】

表示情報生成部３５２は、選択候補生成部３５１により集計条件に基づいて生成される選択候補と、選択候補から選択された何れかの選択候補に対応する、算出部３３によって集計（算出）された集計スコアを表示するための表示情報データを生成する。表示情報生成部３５２は、例えば、表示情報データを端末装置１４に送信して、端末装置１４の表示部１４１において表示させる。

【0067】

選択受付部３５３は、表示情報生成部３５２によって表示される選択候補から何れかを選択する指示を受け付ける。選択受付部３５３は、例えば、端末装置１４におけるユーザよる入力部１４２（キーボード等）に対する操作に応じた、選択候補を選択する指示（選択データ）を受信する。

【0068】

記憶部３７は、記憶装置２４により各種データを記憶させるもので、データ入力部３１によって入力される会話データ３７１、条件設定部３９により設定される集計条件データ３７２（２４ｄ）及び算出条件データ３７３（２４ｅ）の他、算出部３３及び表示処理部３５により処理される、図１の記憶装置２４に記憶される各種データを記憶する。

【0069】

条件設定部３９は、記憶部３７に記憶される集計条件データ３７２及び算出条件データ３７３を、例えば端末装置１４におけるユーザよる入力部１４２（キーボード等）に対する操作により入力されるデータに応じて設定する。また、条件設定部３９は、端末装置１４の操作によって各データを設定するだけでなく、入力ユニット２５に対する操作によって各データを設定することもできる。

【0070】

図７は、本実施形態における集計条件データ３７２（２４ｄ）の一例を示す図である。

【0071】

図７に示す集計条件データ３７２が示す集計条件の例では、２者以上の発話者の会話における発話に方向性のある区分（種別：有向関係）に対応する複合スコア（第１の集計スコア）として「威圧度」「安心度」がある。同様にして、２者以上の発話者の会話における発話に方向性のない区分（種別：無向関係）に対応する複合スコア（第２の集計スコア）として「共感度」があり、単独の発話者による発話の方向性のない区分（種別：話者）に対応する複合スコア（第３の集計スコア）として「元気度」がある。

【0072】

複合スコア「威圧度」「安心度」については、観点の選択肢として、関係元（与える側）、関係先（受ける側）、ペアがあり、観点の既定値（初期設定）として関係元とすることが設定されている。例えば、「威圧度」については、関係元（与える側）を選択することで、受け手に対して発話をしている発話者の「威圧度」についての複合スコアを確認することができ、関係先（受ける側）を選択することで、発話者による発話により受け手側が受けた「威圧度」の複合スコアを確認することができる。

【0073】

複合スコア「共感度」については、会話が無向関係にあるため、観点の選択肢がペアのみ、観点の既定値（初期設定）がペアとすることが設定されている。

【0074】

複合スコア「元気度」については、他の発話者との会話によらず（相手側の発話に影響されず）、単独による発話によりスコアが算出されるため、観点の選択肢が話者のみ、観点の既定値（初期設定）が話者とすることが設定されている。

【0075】

図８は、本実施形態における複合スコア（「威圧度」「安心度」「元気度」）の算出例を示す図である。

【0076】

図８（Ａ）は、複合スコア「威圧度」の算出例を示すもので、例えば会話番号１に含まれる関係元の発話者Ｂと関係先の発話者Ａとの複数の発話をもとに算出したスコア値と、会話番号２に含まれる関係元の発話者Ｃと関係先の発話者Ｄとの複数の発話をもとに算出したスコア値を示している。

【0077】

複合スコア「威圧度」は、例えば、発話者毎の会話（発話）データに付加された感情スコア「支配性（Ｄ）」のスコアを平均することで算出する。例えば、関係元の発話者Ｂの「威圧度」は、発話者Ｂの発話者Ａとの会話における、複数の発話のそれぞれに対して推定された「支配性（Ｄ）」を平均することで算出される。

【0078】

なお、発話者の「威圧度」は、会話の相手と関係無く、発話者別の複数の発話のそれぞれに対して推定された「支配性（Ｄ）」を平均することで算出しても良いし、会話相手の発話者の感情スコアとの関係に基づいて算出しても良い。

【0079】

例えば、発話者の発話のみをもとに算出した「威圧度」が会話相手に関係無く一定だとしても、会話相手の発話データの感情スコアが威圧を感じていないことを示す場合には、発話者の「威圧度」のスコア値を低く算出することもできる。

【0080】

また、例えば、発話者の「支配性（Ｄ）」が高くても、相手の返事の「支配性（Ｄ）」が低くなく、かつ「感情値（Ｖ）」が高い（ポジティブな感情）ならば、相手に与える影響は低いと考えられる。

【0081】

これを考慮して、例えば、「支配性（Ｄ）」の複合スコアのスコア値を次のようにして補正することができる。

【0082】

例えば、ある「上司」と「部下」との間で会話がされる場合に、部下による返事が、他の上司に対してもいつも弱々しい感じ（この場合、通常、活性度（Ａ）、支配性（Ｄ）がマイナスの数値となる）であれば、ある「上司」による部下に対する発話の支配性（Ｄ）が高いとしても特段プレッシャーを感じていない（威圧感を受けていない）ことが考えられる。こうしたことを考慮して、例えばある「上司」の発話についての支配性（Ｄ）の複合スコアを、以下のようにして補正する。

【0083】

上司の発話の支配性（Ｄ）－ｗｅｉｇｈｔ×部下の返事の支配性（Ｄ）
ここで、上司の発話の支配性（Ｄ）は、算出条件データ３７３に設定された与える側（関係元の発話者）の算出条件に該当する範囲の会話データを対象として標準化したスコア値、部下の返事の支配性（Ｄ）のスコア値は、算出条件データ３７３に設定された受ける側（関係先の発話者）の算出条件に該当する範囲の会話データを対象として標準化したスコア値とする。

【0084】

また、重み係数ｗｅｉｇｈｔの値により、部下の返事の支配性の値の影響度合いを調整する。これにより、「部下」がある「上司」に対して特に威圧感を感じている／感じていない場合には、複合スコアの値をより高く／低くなるよう補正することができる。

【0085】

なお、感情スコア標準化部３３１における標準化の方法は、前述した標準化の計算式を用いた方法に限らない。また、上司（関係元の発話者）の発話の支配性（Ｄ）のスコア値を補正するため、部下（関係先の発話者）の返事の支配性（Ｄ）のスコア値を用いているが、支配性（Ｄ）でなくても良い。すなわち、感情値（Ｖ）あるいは活性度（Ａ）を用いても良いし、感情値（Ｖ）、活性度（Ａ）、支配性（Ｄ）の任意の組合せであっても良い。また、支配性（Ｄ）のスコア値の補正について説明しているが、感情値（Ｖ）と活性度（Ａ）についても、前述と同様にして補正することができる。

【0086】

図８（Ｂ）は、複合スコア「共感度」の算出例を示すもので、例えば会話番号１に含まれる関係元の発話者Ａと関係先の発話者Ｂとの複数の発話をもとに算出したスコア値と、会話番号２に含まれる関係元の発話者Ｃと関係先の発話者Ｄとの複数の発話をもとに算出したスコア値を示している。

【0087】

複合スコア「共感度」は、例えば、会話に参加した発話者の会話（発話）データに付加された感情スコア「感情価（Ｖ）」「活性度（Ａ）」の同期度を求めることで算出する。例えば、関係元の発話者Ａと関係先の発話者Ｂの「共感度」は、発話者Ａの発話の「感情値（Ｖ）」「活性度（Ａ）」の変化と、発話者Ｂの発話の「感情価（Ｖ）」「活性度（Ａ）」の変化との類似性に基づいて算出される。

【0088】

図８（Ｃ）は、複合スコア「元気度」の算出例を示すもので、例えば会話番号１に含まれる発話者Ａの複数の発話をもとに算出したスコア値と、会話番号１に含まれる発話者Ｂの複数の発話をもとに算出したスコア値を示している。

【0089】

複合スコア「元気度」は、例えば、発話者の発話データに付加された感情スコア「感情値（Ｖ）」の絶対値と「活性度（Ａ）」との乗算値の平均値を求めることで算出する。

【0090】

なお、前述した感情スコアをもとにした複合スコアの算出方法は一例であって、他の算出方法を用いることも可能である。

【0091】

図９は、本実施形態における集計条件データ３７２（２４ｄ）の一例を示す図である。

【0092】

図９に示す集計条件データ３７２が示す集計条件の例は、図７に示す集計条件に、さらに、発話者の会話相手、及び期間の条件を追加した例を示している。

【0093】

発話者の会話相手については、関係元と関係先が、例えば発話者に関する属性データが示す業務役割が設定される。図９に示す例では、複合スコア「威圧度」について、関係元としてホテルの業務役割「コンシェルジュ」が設定され、関係先として業務役割「配膳係」「客室係」が設定されている。これにより、集計条件に基づく選択候補として、業務役割の種類を選択することができるようになる。

【0094】

期間については、集計対象とする会話データの期間が設定される。図９に示す例では、期間「１ヶ月」が設定されているため、例えば直近から１ヶ月間の会話データを対象としてスコアの集計を実行する。これにより、例えば分析対象とする期間を限定したり、組織変更などよって発話者の関係が変更された後の期間を分析対象として指定することができる。

【0095】

なお、図９では、期間「１ヶ月」を設定しているが、任意の日数（「１年」「１００日」）や曜日（「月曜日と金曜日」など）を指定しても良いし、開始から終了までの期間を年月日の指定により設定しても良い。

【0096】

なお、図９では、発話者の会話相手と期間の条件を追加しているが何れか一方が含まれるようにしても良い。

【0097】

図１０は、本実施形態における算出条件データ３７３（２４ｅ）の一例を示す図である。

【0098】

算出条件データ３７３が示す算出条件は、算出部３３（感情スコア標準化部３３１）によって、会話データ３７１に付加された感情スコアを標準化するための条件を示す。図１０に示す算出条件では、例えば、複合スコア別に、発話者の会話相手（算出対象とする会話データの範囲）、及び標準化対象とする会話データの期間が設定される。

【0099】

図１０に示す例では、複合スコア「威圧度」について、算出対象とする会話データの範囲として、関係元には「関係元からすべての部下への発話」が設定され、関係先には「関係先からすべての上司への発話」が設定されている。「部下」「上司」の業務役割は、図５に示す役割階層データにより定義されており、関係元の発話者が「コンシェルジュ」の場合には、「部下」が「配膳係」「客室係」の業務役割の発話者が対象となる。

【0100】

図１０に示す算出条件では、複合スコア「威圧度」について標準化をして算出する場合には、関係元／関係先の感情スコアについては、「関係元からすべての部下への発話」／関係先からすべての上司への発話」の感情スコアのみを対象としてそれぞれ標準化をしたうえで、複合スコア算出を実行する。このとき、前述したように、複合スコアのスコア値の補正を行っても良い。

【0101】

これにより、算出条件に該当する感情スコアを標準化した上で複合スコアを算出できるので、関係元毎の特定の相手との会話における複合スコア（ここでは「威圧度」）の比較をし易くなる。

【0102】

期間については、標準化対象とする会話データの期間が設定される。図１０に示す例では、期間「６ヶ月前まで」が設定されているため、例えば直近から６ヶ月前までの会話データのみを対象として標準化を実行する。これにより、例えば分析対象とする期間を限定したり、組織変更などよって発話者の関係が変更された後の期間を分析対象として指定したりすることができる。

【0103】

なお、図１０では、期間「６ヶ月前まで」を設定しているが、任意の日数（「１年」「１００日」）や曜日（「月曜日と金曜日」など）を指定しても良いし、開始から終了までの期間を年月日の指定により設定しても良い。また、全ての複合スコアで同じ期間が設定されているが、それぞれ異なる期間が設定されていても良い。

【0104】

また、図１０では、算出対象とする会話データの範囲として発話者の会話相手と期間の条件を追加しているが何れか一方が含まれるようにしても良い。

【0105】

適切な標準化条件はデータによって様々に異なるため、分析経験に基づいた知見・ノウハウが必要であることから、ユーザ自身が適切に設計することは容易ではない。このため、図１０のような詳細な設定値をあらかじめ用意しておくことで、ユーザの負担を軽減することができる。

【0106】

次に、本実施形態における会話音声分析装置１０の動作について、図１１に示すフローチャートを参照しながら説明する。図１２～図１８は、表示処理部３５により生成される表示情報データをもとに、端末装置１４の表示部１４１により表示される集計スコアの関係を示す画面の一例を示す図である。図１２～図１８は、ランキング形式の画面例を示す。

【0107】

会話音声分析装置１０のプロセッサ２０は、会話音声分析処理プログラム２１ａを実行することにより会話音声分析処理機能を起動し、図２に示す各機能部による処理を実行する。

【0108】

まず、データ入力部３１は、発話感情推定装置１６から会話データ２４ａを入力して、記憶部３７に記憶させる（ステップＡ１）。算出部３３及び表示処理部３５は、記憶部３７に記憶された会話データ３７１を対象として、集計条件データ３７２及び算出条件データ３７３が示す条件に基づいて、選択候補に対応する集計スコアの集計結果とする画面を、例えば端末装置１４の表示部１４１において表示させる。初期状態では、初期設定の選択候補に対応する集計条件に基づいて、集計スコアの集計を実行するものとする。

【0109】

算出部３３は、記憶部３７に記憶された会話データ３７１を対象として、会話データ３７１に付加された感情スコアをもとに、集計条件データ３７２が示す集計条件に基づく区分別の集計スコアの算出を実行する。

【0110】

算出部３３の感情スコア標準化部３３１は、感情スコアに対して標準化する選択がされている場合には（ステップＡ２、Ｙｅｓ）、算出条件データ３７３が示す算出条件に基づいて感情スコアの標準化を実行する（ステップＡ３）。なお、初期設定では、標準化を実行しない設定がされているものとする（ステップＡ２、Ｎｏ）。

【0111】

複合スコア算出部３３２は、初期設定の選択候補の区分に対応する集計条件に基づいて、集計スコア（複合スコア）の集計対象とする感情スコアをもとに複合スコアを算出する。複合スコア集計部３３３は、複合スコア算出部３３２によって算出された複合スコア（集計スコア）を、集計条件データ３７２が示す集計条件に基づいて集計する（ステップＡ４）。

【0112】

例えば、初期設定の選択候補としては、図７に示す集計条件に基づいて、集計対象とする複合スコア（ここでは、評価スコアと称する）を「威圧度」、観点の選択肢「関係元（与える側）」、観点の既定値「関係元」が選択されているものとする。

【0113】

表示処理部３５の選択候補生成部３５１は、初期設定の選択候補を生成する（ステップＡ５）。表示情報生成部３５２は、複合スコア集計部３３３によって集計された集計スコアと選択候補生成部３５１により生成された選択候補をもとに、表示情報を生成する（ステップＡ６）。

【0114】

表示処理部３５は、表示情報生成部３５２によって生成した表示情報を示す表示情報データを端末装置１４に送信して、端末装置１４の表示部１４１において表示情報をもとに分析結果画面を表示させる（ステップＡ７）。

【0115】

図１２は、本実施形態における表示情報をもとに表示された分析結果画面Ｄ１の一例を示す図である。

【0116】

分析結果画面Ｄ１では、集計スコアの表示エリアＤ１１と選択候補が表示されている。

【0117】

選択候補は、例えば、集計対象とする複合スコア（評価スコア）Ｓ１、観点Ｓ３、標準化有無Ｓ４のそれぞれの選択肢から選択された内容の組合せによって指定される。

【0118】

評価スコアＳ１では、集計条件に設定された複合スコアの「威圧度」「安心度」「共感度」「元気度」の何れが選択される。

【0119】

観点Ｓ３には、評価スコアＳ１で選択された複合スコアに対応する、集計条件に設定された観点が表示される。集計条件には、まずは既定値（初期値）が設定される。選択肢を有する複合スコアが選択されている場合は、集計条件の変更が可能であり、既定値を含む変更可能な選択肢一覧が表示される。図１２に示す例では、図７に示す集計条件の複合スコア「威圧度」に対応する観点の既定値「関係元」（与える側）が選択されている状態を示している。上述の通り、観点「関係元」は選択肢の中から「与える側」が選択された場合のラベルであり、選択設定された結果を表示している。

【0120】

なお、図１２の観点Ｓ３における「受ける側」を選択した場合のラベルは図７の観点「関係先」、図１２の観点Ｓ３における「ペア」を選択した場合のラベルは図７の観点「ペア」、図１２の観点Ｓ３における「本人が感じる」を選択した場合のラベルは図７の観点「話者」に対応する。図７の複合スコア「威圧度」に対応する観点の選択肢には、「関係元」「関係先」「ペア」が設定されているため、図１２の観点Ｓ３では、それぞれに対応する「与える側」「受ける側」「ペア」が選択可能な状態で表示される。尚、図７の観点Ｓ３における「本人が感じる」については、図７の総合スコア「威圧度」に対応する観点の選択肢には設定されていないため、選択不能な状態で表示される（例えば、グレイ表示など）。

【0121】

図１２の分析結果画面Ｄ１には、観点Ｓ３において集計条件として選択設定された、観点「関係元」（与える側）の集計結果が表示されている。この集計結果は、図７から図１０に示す複合スコア「威圧度」について設定された観点「関係元」（与える側）、および各条件に基づいて集計された発話者毎のスコア集計結果であり、スコア値が上位の発話者から順番にランキング形式により表示されている。図１２では、発話者の氏名と業務役割（図４に示す発話者データに設定された発話者名と業務役割）と、集計されたスコア値が対応づけて表示されている。

【0122】

なお、スコア値は、複合スコアのスコア値を発話者毎に単純に合計した値としても良いし、発話者の比較を容易にするためにスコア値を所定のルールに従い正規化した値としても良い。

【0123】

これにより、例えば、他の従業員との会話において、「威圧度」の高い発話をしている従業員（業務役割）を容易に確認することができる。

【0124】

ここで、例えば端末装置１４の入力部１４２に対する操作によって、図１２における観点Ｓ３について、観点「受ける側」を選択する指示が、入力された場合（ステップＡ８、Ｙｅｓ）、選択受付部３５３は、選択指示の内容を示す選択データを受け付ける。これにより、算出部３３及び表示処理部３５は、選択指示により変更された選択候補に対応するスコア集計を前述と同様にして実行する（ステップＡ２～Ａ７）。

【0125】

図１３は、本実施形態における「威圧度」について、観点Ｓ３の既定値「関係元」（与える側）から、選択肢の１つである「関係先」（受ける側）に選択変更した場合の分析結果画面Ｄ２の一例を示す図である。

【0126】

表示エリアＤ２１には、複合スコア「威圧度」について、観点「関係先」（受ける側）に基づいて集計された発話者毎のスコアの集計結果に応じて、スコア値が上位の発話者から順番にランキング形式により表示されている（発話者の氏名、業務役割、スコア値）。

【0127】

これにより、例えば、他の従業員との会話において「威圧度」の高い発話をされている従業員（業務役割）を容易に確認することができる。図１２及び図１３に示すように、分析結果画面において観点Ｓ３の選択肢から何れかを選択するだけで、観点を変更した集計結果を簡単に表示させることができる。すなわち、複合スコアの種類によって取り得る観点が異なる（集計条件が異なる）が、ユーザ自ら複合スコアの性質を考慮して集計条件を考案、設定する必要がないため、ユーザに対する負担を軽減することができる。

【0128】

同様にして、観点Ｓ３において観点「ペア」（ペア）を選択する指示が入力された場合、観点「ペア」（ペア）に変更された選択候補に対応するスコア集計を表示させることができる。

【0129】

図１４は、本実施形態における「威圧度」について、観点Ｓ３を選択肢の１つである「ペア」（ペア）に変更した場合の分析結果画面Ｄ３の一例を示す図である。

【0130】

表示エリアＤ３１には、複合スコア「威圧度」について、観点「ペア」（ペア）に基づいて集計されたペア毎のスコアの集計結果に応じて、スコア値が上位の発話者から順番にランキング形式により表示されている（発話者の氏名、業務役割、スコア値）。

【0131】

これにより、例えば、従業員間の会話において「威圧度」の高い会話をしている従業員（業務役割）の組合せを容易に確認することができる。

【0132】

これにより、図１２及び図１３に示すような発話者（従業員）毎のスコアだけでなく、従業員（業務役割）の組合せ毎にスコアを容易に表示させて分析することが可能となる。

【0133】

同様にして、評価スコアＳ１において複合スコア「共感度」を選択する指示が入力された場合、複合スコア「共感度」に変更された選択候補に対応するスコア集計を表示させることができる。

【0134】

図１５は、本実施形態における評価スコアＳ１について、複合スコア「共感度」に変更した場合の分析結果画面Ｄ４の一例を示す図である。なお、観点Ｓ３「ペア」（ペア）が選択された状態を示している。

【0135】

表示エリアＤ４１には、複合スコア「共感度」について、観点「ペア」に基づいて集計されたペア毎のスコアの集計結果に応じて、スコア値が上位の発話者の組合せ（ペア）から順番にランキング形式により表示されている（発話者（氏名，業務役割）のペア、スコア値）。

【0136】

これにより、例えば、従業員間の会話において「共感度」の高い会話をしている従業員（業務役割）の組合せを容易に確認することができる。

【0137】

これにより、複合スコアの種類（評価スコア）を容易に変更して、スコアの集計結果を表示させることができる。なお、評価スコアを変更した上で、前述と同様にして、観点Ｓ３についても変更して、観点を変更した集計結果を表示させることができる。

【0138】

同様にして、評価スコアＳ１について、複合スコア「元気度」を選択する指示が入力された場合、複合スコア「元気度」に変更された選択候補に対応するスコア集計を表示させることができる。

【0139】

図１６は、本実施形態における評価スコアＳ１について、複合スコア「元気度」に変更した場合の分析結果画面Ｄ５の一例を示す図である。複合スコア「元気度」については、図７に示す集計条件では観点の選択肢が「話者」のみであるので、観点Ｓ３「話者」（本人が感じる）が選択された状態に変更される。

【0140】

表示エリアＤ５１には、複合スコア「元気度」について、観点「話者」（本人が感じる）に基づいて集計された発話者毎のスコアの集計結果に応じて、スコア値が上位の発話者から順番にランキング形式により表示されている（発話者の氏名、業務役割、スコア値）。

【0141】

これにより、他者との会話によらず従業員の発話のみで評価される複合スコア「元気度」のスコアを容易に確認することができる。

【0142】

これにより、複合スコアの種類（評価スコア）を容易に変更して、スコアの集計結果を表示させることができる。なお、評価スコアを変更した上で、前述と同様にして、観点Ｓ３についても変更して、観点を変更した集計結果を表示させることができる。

【0143】

次に、標準化有無Ｓ４の選択を変更する場合について説明する。

【0144】

図１７は、本実施形態における評価スコアＳ１について「威圧度」、観点Ｓ３について「ペア」（ペア）、標準化有無Ｓ４について「しない」がそれぞれ選択された場合の分析結果画面Ｄ６の一例を示している（図１４に示す分析結果画面Ｄ３と同じ）。

【0145】

ここで、標準化有無Ｓ４「する」に変更された場合（ステップＡ２、Ｙｅｓ）、算出部３３の感情スコア標準化部３３１は、会話データ３７１に付加された集計スコアの算出に用いられる発話者毎の感情スコアの値を、算出条件データ３７３が示す算出条件に基づいて標準化する。複合スコア算出部３３２は、感情スコア標準化部３３１によって標準化された感情スコアをもとに複合スコアを算出する。

【0146】

図１８は、本実施形態における評価スコアＳ１について「威圧度」、観点Ｓ３について「ペア」（ペア）、標準化有無Ｓ４について「する」がそれぞれ選択され、感情スコアを標準化した場合の分析結果画面Ｄ７の一例を示す図である。

【0147】

図１８に示すように、感情スコアを標準化することで、図１７に示す分析結果画面Ｄ７の表示エリアＤ７１に、スコア結果（ランキング）が変更されて表示される。例えば、平時から何れの会話相手に対しても、きつい口調で会話をする発話者については、感情スコアを標準化しなければ威圧度のスコアが高くなるが、感情スコアを標準化することで、例えば、他の発話者の通常時の会話程度に威圧度のスコアを低くすることができる。

【0148】

このようにして、本実施形態における会話音声分析装置１０では、分析結果画面において、集計対象とする複合スコア（評価スコア）Ｓ１、観点Ｓ３、標準化有無Ｓ４のそれぞれの選択肢から選択された内容の組合せによって集計対象とする複合スコア（評価スコア）Ｓ１、観点Ｓ３、標準化有無Ｓ４のそれぞれの選択肢から選択された内容の組合せによって指定される選択候補を変更することで、分析の目的に応じた分析結果を得るための条件を容易に切り替えることが可能となる。

【0149】

また、前述した説明では、感情スコアの標準化に関して、分析結果画面において標準化有無Ｓ４を選択できるものとしているが、標準化を実行する選択した場合に、算出条件についても選択できるようにしても良い。例えば、図１０に示す算出条件データ３７３が示す算出条件では、複合スコア毎に、関係元（話者）（期間）、関係先（話者）（期間）について、それぞれ１つの算出対象とする会話データの範囲が設定されているが、それぞれ複数の算出対象とする会話データの範囲を設定しておき、分析結果画面において選択肢として提示できるようにする。感情スコア標準化部３３１は、分析結果画面において選択された、算出対象とする会話データの範囲に該当する会話データを対象として標準化を実行する。

【0150】

こうして、図１０に示す算出条件データ３７３において、標準化対象の会話データを選択する複数の範囲を予め用意しておき、ユーザが簡易に選択できるようにすることで、標準化すべきか否かの選択と共に、ユーザが個別の条件を適切に指定して標準化を実行させることができる。

【0151】

図１９は、本実施形態における図９に示す集計条件に基づいて複合スコアを集計する場合の分析結果画面Ｄ８の一例を示す図である。

【0152】

図９に示す集計条件では、算出対象とする会話データの範囲として発話者の会話相手及び期間の条件が追加されているため、分析結果画面Ｄ８において、発話者の会話相手として、役割（与える側）の選択肢Ｓ５，Ｓ７と役割（受ける側）の選択肢Ｓ６，Ｓ８、及び期間Ｓ９の選択肢が、前述した分析結果画面Ｄ１～Ｄ７に追加されている。

【0153】

役割（与える側）では、図９に示す集計条件の関係元（話者属性）に設定される業務役割の選択肢Ｓ５が表示され、役割毎と話者毎の何れかを選択する選択肢Ｓ７が表示されている。役割（受ける側）では、同様にして、図９に示す集計条件の関係元（話者属性）に設定される業務役割の選択肢Ｓ６が表示され、役割毎と話者毎の何れかを選択する選択肢Ｓ８が表示されている。

【0154】

前述と同様にして、選択肢Ｓ５～Ｓ８に対する選択によって選択候補を変更することで、変更した選択候補に対応するスコアの集計を実行させて、集計結果を表示エリアＤ８１に表示させることができる。

【0155】

さらに、集計条件の期間Ｓ９を変更することで、集計対象とする会話データ３７１（感情スコア）の期間を変更した集計結果を容易に表示させることができる。

【0156】

こうして、集計条件にさらに発話者の会話相手及び期間の条件を設定することで選択候補をより詳細に選択することができ、より詳細な分析をすることが可能となる。

【0157】

会話音声分析装置１０のプロセッサ２０は、処理の終了が指示されると（ステップＡ９、Ｙｅｓ）、会話音声分析処理を終了させる。

【0158】

なお、前述した説明では、集計スコアの関係を示す画面としてランキング形式の例を示しているが、次に、座標形式、ネットワーク形式の画面例について説明する。

【0159】

図２０～図２３は、本実施形態における座標形式の画面例を示す図である。

【0160】

図２０～図２３に示す座標形式では、縦軸は、評価スコアとして指定された複合スコアのスコア値を示し、横軸は、評価スコアとの関係を分析するために選択した複合スコア（及び観点）に対応するスコア値を示している。

【0161】

図２０～図２３は、例えば評価スコアとして複合スコア「威圧度」が選択された場合の例を示している。

【0162】

図２０は、評価スコアとして複合スコア「威圧度」の「受ける側」が選択され、分析対象として複合スコア「安心度」の「受ける側」が選択された集計スコアを表示する表示エリアＤ９を示している。

【0163】

図２０に示す例では、発話者と業務役割を指定して、それぞれ集計スコアに基づいて座標値をプロットして示している。図２０に示す例では、発話者として、発話者Ａ（配膳係）と発話者Ｂ（客室係）を指定し、業務役割として、「コンシェルジュ」と「客室係」を指定した例を示している。

【0164】

このように、発話者単位や業務役割単位で集計された集計スコアの関係を表示させることができる。

【0165】

図２１は、評価スコアとして複合スコア「威圧度」の「ペア」が選択され、分析対象として複合スコア「安心度」の「ペア」が選択された集計スコアを表示する表示エリアＤ１０を示している。

【0166】

図２１に示す例では、業務役割（与える側）と発話者（受ける側）とのペアを指定して、それぞれのペアについて集計された集計スコアに基づいて座標値をプロットして示している。図２１に示す例では、例えば、業務役割「コンシェルジュ」と発話者Ｂ（客室係）のペアの他、複数のペアを指定して、それぞれの座標値をプロットして示している。

【0167】

なお、図２１では、業務役割（与える側）と発話者（受ける側）のペアを指定しているが、業務役割（与える側）と業務役割（受ける側）のペア、発話者（与える側）と業務役割（受ける側）のペアなど、前述と異なるペアを指定することも可能である。

【0168】

このように、発話者と業務役割のペア単位で集計された集計スコアの関係を表示させることができる。

【0169】

次に、例えば異なる集計期間において集計した集計スコアの座標値をプロットして示すことで、時間経過に伴う集計スコアの遷移を示す例について示す。

【0170】

図２２は、評価スコアとして複合スコア「威圧度」が選択され、分析対象として複合スコア「安心度」が選択された集計スコアを表示する表示エリアＤ１１を示している（表示エリアＤ１０と同じ）。

【0171】

ここで、例えば、集計スコアの遷移を指定し、対象とするペア（図２２では「コンシェルジュＥ」と発話者Ｂ（客室係））を選択することで、図２３に示すように、選択されたペアについて、異なる集計期間（例えば、１ヶ月毎）に集計された複数の集計スコアの座標値をプロットすると共に、遷移方向を示す矢印を表示している。

【0172】

このように、座標形式では時間経過に伴う集計スコアの変化について表示して、容易に分析することができる。

【0173】

図２４は、本実施形態におけるネットワーク形式の分析結果画面Ｄ１３の例を示す図である。

【0174】

図２４に示す例では、例えば評価スコアとして複合スコア「威圧度」を選択し、観点Ｓ３として「与える側」が選択された例を示している。

【0175】

ネットワーク形式の分析結果画面Ｄ１３では、発話者をそれぞれ円Ａ～Ｔによって表し、円との間の線によって会話を表している。図２４では、発話者Ｂを関係元として、他の関係先の発話者Ａ，Ｃ～Ｔとの会話に対する集計スコアを図示している。

【0176】

また、円（発話者）の間の線の太さは集計スコアのスコア値を表している。すなわち、線の太さが太いほど「威圧度」が高いことを表しており、例えば、発話者Ｂから発話者Ｊに対する発話の「威圧度」が高いことを示している。

【0177】

また、発話者Ｂの円のサイズは、他の発話者全員に対する威圧度を集計した値に応じて表示される。さらに、各発話者の円の色は、エッジの色の選択肢Ｓ１１において選択された、他の複合スコア（図２４に示す例では「自信度」）の値に応じて変化される。

【0178】

こうして、ネットワーク形式の分析結果画面Ｄ１３では、発話者間の発話が図形化され、発話の有無、発話における集計スコアの値（円の間の線の太さ）、発話者全員に対する威圧度を集計値など、視覚的に容易に認識することができる。これにより、条件を切り替えて比較する分析などを容易に実施することができる。

【0179】

このようにして、本実施形態における会話音声分析装置１０では、例えば、上司と部下との会話において、上司が部下に与える威圧度のように、複合スコアに方向性がある場合、２者のペアのほか、与える側（上司）、受ける側（部下）それぞれで複数の会話の威圧度を集計して、他の上司や部下と比較するといった分析を容易にすることができる。さらに、話者の元気度のように、話者間の関係ではなく、単一の話者の内発的な感情に関わる複合スコアについて、話者毎に集計することができる。

【0180】

また、例えば、上司から普段から温かい感情の発話であるならば、部下は特段、安心感を感じないかもしれない。また、上司の発話に対して、部下がすこし沈んだ感情で応答の発話をしていたとしても、当人の普段より明るければ、本人としては安心感を感じていることもある。本実施形態における会話音声分析装置１０では、会話データに付加された感情スコアに対して、感情スコアの尺度を変換する標準化をした上で複合スコアの算出するように条件を容易に切り替えることができる。従って、話者の平時からの音声感情の差分に基づいた集計スコアを表示させることができる。

【0181】

なお、前述した説明では、集計スコアの算出に用いられる感情スコアの値を、発話者毎に標準化するとしているが、発話者毎の標準化に限定されるものではない。例えば、複数の発話者を含むチーム毎に標準化することも可能である。チームは、例えば、役割、年齢、性別、部署、任意に選択されたメンバーなど、任意のグループとすることができる。また、感情スコアを標準化した上で複合スコアを算出するようにしているが、感情スコアを標準化せず、算出した複合スコアを標準化するようにしても良い。

【0182】

この場合、複合スコアの標準化有無を、前述したように分析結果画面において選択（条件の切り替え）ができるようにしても良い。

【0183】

このように、分析の目的や関係スコアの種類に応じて、ユーザが容易に条件を切り替えて集計スコアを表示させて、音声の分析をすることが可能となる。

【0184】

なお、実施形態に記載した手法は、コンピュータに実行させることのできるプログラムとして、磁気ディスク（フレキシブルディスク、ハードディスクなど）、光ディスク（ＣＤ－ＲＯＭ、ＤＶＤなど）、光磁気ディスク（ＭＯ）、半導体メモリなどの記憶媒体に格納して頒布することもできる。

【0185】

また、記憶媒体としては、プログラムを記憶でき、かつコンピュータが読み取り可能な記憶媒体であれば、その記憶形式は何れの形態であっても良い。

【0186】

また、記憶媒体からコンピュータにインストールされたプログラムの指示に基づきコンピュータ上で稼働しているＯＳ（オペレーティングシステム）や、データベース管理ソフト、ネットワークソフト等のＭＷ（ミドルウェア）等が上記実施形態を実現するための各処理の一部を実行しても良い。

【0187】

さらに、実施形態における記憶媒体は、コンピュータと独立した媒体に限らず、ＬＡＮやインターネット等により伝送されたプログラムをダウンロードして記憶または一時記憶した記憶媒体も含まれる。

【0188】

また、記憶媒体は１つに限らず、複数の媒体から上記の各実施形態における処理が実行される場合も本発明における記憶媒体に含まれ、媒体構成は何れの構成であっても良い。

【0189】

なお、実施形態におけるコンピュータは、記憶媒体に記憶されたプログラムに基づき、実施形態における各処理を実行するものであって、パーソナルコンピュータ等の１つからなる装置、複数の装置がネットワーク接続されたシステム等の何れの構成であっても良い。

【0190】

また、実施形態におけるコンピュータとは、情報処理機器に含まれる演算処理装置、マイコン等も含み、プログラムによって本発明の機能を実現することが可能な機器、装置を総称している。

【0191】

なお、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

【符号の説明】

【0192】

１０…会話音声分析装置、１２…ネットワーク、１４…端末装置、１４１…表示部、１４２…入力部、１６…発話感情推定装置、１８…情報処理装置、２０…プロセッサ、２１…メモリ、２１ａ…会話音声分析処理プログラム、２４…記憶装置、２４ａ，３７１…会話データ、２４ｂ…発話者データ、２４ｃ…役割階層データ、２４ｄ，３７２…集計条件データ、２４ｅ，３７３…算出条件データ、２４ｆ…集計条件設定データ、２４ｇ…スコアデータ、２４ｈ…表示情報データ、２５…入力ユニット、２６…表示ユニット、２９…通信ユニット、３１…データ入力部、３３…算出部、３３１…感情スコア標準化部、３３２…複合スコア算出部、３３３…複合スコア集計部、３５…表示処理部、３５１…選択候補生成部、３５２…表示情報生成部、３５３…選択受付部、３７…記憶部、３９…条件設定部。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】