特許 7541605 心身状態分析装置、心身状態分析システム、心身状態分析方法、心身状態分析プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2024-08-20

(45)【発行日】2024-08-28

(54)【発明の名称】心身状態分析装置、心身状態分析システム、心身状態分析方法、心身状態分析プログラム

(51)【国際特許分類】

   G06Q 10/0639 20230101AFI20240821BHJP

【ＦＩ】

G06Q10/0639

【請求項の数】 9

(21)【出願番号】P 2023141927

(22)【出願日】2023-09-01

【審査請求日】2023-09-15

【新規性喪失の例外の表示】特許法第３０条第２項適用 株式会社プロディライト（特許を受ける権利を有する者）のウェブサイト 掲載年月日 ：令和５年２月８日 ｈｔｔｐｓ：／／ｐｒｏｄｅｌｉｇｈｔ．ｃｏ．ｊｐ／ｎｅｗｓ／２０２３０２０８－２／ ：企業サイト ｈｔｔｐｓ：／／ｉｎｎｏｖｅｒａ．ｊｐ／ｎｅｗｓ／ｔｏｐｉｃｓ／２０２３０２０８／ ：サービス告知サイト ｈｔｔｐｓ：／／ｉｎｎｏｖｅｒａ．ｊｐ／ｓｅｒｖｉｃｅ／ｉｎｎｏｖｅｒａ－ｅｍｏｔｉｏｎ／ ：サービス説明サイト

(73)【特許権者】

【識別番号】516016676

【氏名又は名称】株式会社プロディライト

(74)【代理人】

【識別番号】100183988

【弁理士】

【氏名又は名称】渡邉 泰帥

(72)【発明者】

【氏名】川田 友也

(72)【発明者】

【氏名】吉川 雅彦

(72)【発明者】

【氏名】空 雅己

(72)【発明者】

【氏名】金 垠佑

(72)【発明者】

【氏名】岡田 良平

【審査官】加内 慎也

(56)【参考文献】

【文献】国際公開第２０２２／０２５０２５（ＷＯ，Ａ１）

【文献】特開２００５－０２７２２５（ＪＰ，Ａ）

【文献】国際公開第２０１９／１８７５２１（ＷＯ，Ａ１）

【文献】米国特許出願公開第２０２２／００８４５４２（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｑ １０／００－９９／００

(57)【特許請求の範囲】

【請求項1】

対話の音声データを取得する取得部と、
取得された前記音声データから分析対象とする話者の音声データを抽出する抽出部と、
抽出された前記分析対象とする話者の音声データを分析して話者の感情についての第１のスコアを算出する感情分析部と、
前記第１のスコアから話者の心身状態についてポジティブ指標とネガティブ指標の２つの異なる指標についての第２のスコアを算出する心身状態分析部と、
を備えることを特徴とする心身状態分析装置。

【請求項2】

前記第２のスコアによって話者の心身状態について評価する評価部と、
前記評価部による評価の結果を出力する出力部と、
を備えることを特徴とする請求項１に記載の心身状態分析装置。

【請求項3】

前記感情分析部は、
平常、喜び、怒り、悲しみ、元気度の各指標についての第１のスコアを算出する、
ことを特徴とする請求項２に記載の心身状態分析装置。

【請求項4】

前記心身状態分析部は、
前記第１のスコアを平常、喜び、怒り、悲しみ、元気度の各指標について重みづけして、前記第２のスコアを算出する、
ことを特徴とする請求項３に記載の心身状態分析装置。

【請求項5】

前記評価部は、
評価のための段階を設定するに十分な数の音声データについて前記元気度によりＮ等分（Ｎは自然数）した領域を定める累積相対度数を求め、求めた累積相対度数に対応する前記ポジティブ指標のスコアによって話者の心身状態についての評価のためのＮ段階の領域を決定し、
心身状態について評価の対象である話者のデータが心身状態についての評価のためのＮ段階の領域のいずれにあるかで評価する、
ことを特徴とする請求項４に記載の心身状態分析装置。

【請求項6】

前記抽出部は、
前記音声データに付随した話者を特定するための符号によって前記分析対象とする話者の音声データを抽出する、
ことを特徴とする請求項１から請求項５のいずれか１項に記載の心身状態分析装置。

【請求項7】

請求項１または請求項２に記載の心身状態分析装置と、
前記音声データを伝送するネットワークと、
前記ネットワークに接続されたノードと、
を備え、
前記ノード間でやりとりされる前記音声データを、前記ネットワークを介して前記取得部が取得する、
ことを特徴とする心身状態分析システム。

【請求項8】

対話の音声データを取得する取得ステップと、
取得された前記音声データから分析対象とする話者の音声データを抽出する抽出ステップと、
抽出された前記分析対象とする話者の音声データを分析して話者の感情についての第１のスコアを算出する感情分析ステップと、
前記第１のスコアから話者の心身状態についてポジティブ指標とネガティブ指標の２つの異なる指標についての第２のスコアを算出する心身状態分析ステップと、
を備えることを特徴とするコンピュータが実行する心身状態分析方法。

【請求項9】

対話の音声データを取得する取得ステップと、
取得された前記音声データから分析対象とする話者の音声データを抽出する抽出ステップと、
抽出された前記分析対象とする話者の音声データを分析して話者の感情についての第１のスコアを算出する感情分析ステップと、
前記第１のスコアから話者の心身状態についてポジティブ指標とネガティブ指標の２つの異なる指標についての第２のスコアを算出する心身状態分析ステップと、
をコンピュータに実行させることを特徴とする心身状態分析プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、心身状態分析装置、心身状態分析システム、心身状態分析方法、心身状態分析プログラムに関する。

【背景技術】

【0002】

音声の調子や高低、表情やしぐさ、書かれた文章や絵などによって、人の内面の感情を分析する感情分析の手法が研究されている。

【0003】

この感情分析の手法を用いて対話の音声データを分析することで、電話による顧客対応を行うコンタクトセンターのオペレータを支援する技術が提案されている。例えば、特許文献１や特許文献２に示す技術がある。顧客とオペレータの対話から顧客の感情（喜びや怒りなど）を分析し、それに応じた対応をオペレータに指示する技術である。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０２０－１８４２４３号公報

【文献】特開２０２０－１１５２２４号公報

【文献】特開２０２０－０８６８１８号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

ところで、企業等の労務管理において、労働者等の心身状態を把握して、問題を発見し、早期の解決に努めることは、重要な課題となっている。心身状態の把握は、産業医等の専門家による問診が広く行われているが、この方法では、定常的に対象者の心身状態を把握することは困難との課題がある。

【0006】

心身状態を把握するための技術的な方法として、例えば、特許文献３に示す対象者に装着したセンサによって取得したバイタルデータの分析から心身状態を把握する技術が提案されている。しかし、対象者はセンサデバイスを装着する必要があり、この方法でも、定常的に対象者の心身状態を把握することは困難との課題が残る。

【0007】

一方、企業等において、電話による通話は、社内外でのコミュニケーション手段として日常的に利用されており、定常的に対象者の音声データを取得することが容易である。このため、音声データによって心身状態を把握して分析ができれば前述の課題を解決できる。また、近年のリモートワークの普及による非対面での労務管理においても音声データの活用は有効である。

【0008】

しかし、前述の音声データの感情分析によるコンタクトセンターのオペレータを支援するための技術では、目的が異なることから、そのまま技術を転用できないとの課題がある。

【0009】

具体的には、オペレータ支援では即時の分析が求められるが、心身状態分析では一定期間の音声データに基づく分析が必要になる。また、心身状態分析では一定期間の多くの音声データから分析対象とする話者の音声データを抽出する必要がある。さらに、心身状態分析では感情分析によって得られた対象者の感情（喜びや怒りなど）から心身の状態（仕事に前向き、後向きなど）を評価して導き出す必要がある。

【0010】

本発明は、対話の音声データから分析対象とする話者の音声データを抽出して、感情分析した結果から、さらに話者の心身状態を分析して、評価する心身状態分析装置、心身状態分析システム、心身状態分析方法、心身状態分析プログラムを提供することを目的とする。

【課題を解決するための手段】

【0011】

本発明の一態様である心身状態分析装置は、対話の音声データを取得する取得部と、取得された音声データから分析対象とする話者の音声データを抽出する抽出部と、抽出された分析対象とする話者の音声データを分析して話者の感情についてのスコアを算出する感情分析部と、話者の感情についてのスコアから話者の心身状態についてのスコアを算出する心身状態分析部と、を備えることを特徴とする。

【0012】

本発明の一態様である心身状態分析装置は、話者の心身状態についてのスコアによって話者の心身状態について評価する評価部と、評価部による評価の結果を出力する出力部と、を更に備えることを特徴とする。

【0013】

本発明の一態様である心身状態分析装置は、抽出部が、音声データに付随した話者を特定するための符号によって分析対象とする話者の音声データを抽出する、ことを特徴とする。

【0014】

本発明の一態様である心身状態分析装置は、心身状態分析部が、話者の心身状態についてポジティブとネガティブの２つの指標のスコアを算出する、ことを特徴とする。

【0015】

本発明の一態様である心身状態分析装置は、感情分析部が、平常、喜び、怒り、悲しみ、元気度の各指標についてのスコアを算出する、ことを特徴とする。

【0016】

本発明の一態様である心身状態分析装置は、感情分析部が算出したスコアを、心身状態分析部が、平常、喜び、怒り、悲しみ、元気度の各指標について重みづけして、話者の心身状態についてポジティブとネガティブの２つの指標のスコアを算出する、ことを特徴とする。

【0017】

本発明の一態様である心身状態分析システムは、心身状態分析装置と、音声データを伝送する通信ネットワークと、通信ネットワークに接続されたノードと、を備え、ノード間でやりとりされる音声データを、通信ネットワークを介して心身状態分析装置の取得部が取得する、ことを特徴とする。

【0018】

本発明の一態様である心身状態分析方法は、対話の音声データを取得する取得ステップと、取得された音声データから分析対象とする話者の音声データを抽出する抽出ステップと、抽出された音声データを分析して話者の感情についてのスコアを算出する感情分析ステップと、話者の感情についてのスコアか記話者の心身状態についてのスコアを算出する心身状態分析ステップと、を備えることを特徴とする。

【0019】

本発明の一態様である心身状態分析プログラムは、対話の音声データを取得する取得ステップと、取得された音声データから分析対象とする話者の音声データを抽出する抽出ステップと、抽出された音声データを分析して話者の感情についてのスコアを算出する感情分析ステップと、話者の感情についてのスコアから話者の心身状態についてのスコアを算出する心身状態分析ステップと、をコンピュータに実行させることを特徴とする。

【発明の効果】

【0020】

本発明による心身状態分析装置、心身状態分析システム、心身状態分析方法、心身状態分析プログラムは、対話の音声データから分析対象とする話者の音声データを抽出して、感情分析した結果から、さらに話者の心身状態を分析して、評価する。

【図面の簡単な説明】

【0021】

【図1】心身状態分析装置のブロック図である。

【図2】心身状態分析装置のハードウェア構成図である。

【図3】心身状態分析システムの構成図である。

【図4】心身状態分析装置の動作を示すフローチャートである。

【図5】心身状態分析処理のフローチャートである。

【図6】元気度のスコアの要素から、心身状態を示す指標の元気度のスコア要素の算出を説明する図である。

【図7】元気度のスコアとデータ数の累積度数の割合との関係を示すグラフである。

【図8】元気度のスコアとデータ数の累積度数の割合との関係から設定した領域を設定する値から、ポジティブのスコアを用いて話者の心身状態についての領域を設定する値への変換を説明するための図である。

【図9】出力されるレポートの例である。

【発明を実施するための形態】

【0022】

本発明の実施形態について図面を参照して説明する。重複する説明は省略し、各図面において同一又は相当部分には同一の符号を付す。

【0023】

本発明の実施例において、心身状態分析装置、心身状態分析システム、心身状態分析方法、心身状態分析プログラムは、外部から取得した対話の音声データから分析対象とする話者の音声データを抽出して、感情分析した結果から、さらに話者の心身状態を分析して、評価し、その結果を出力する。

【実施例】

【0024】

まず、心身状態分析装置について説明する。図１は、心身状態分析装置のブロック図である。心身状態分析装置１は、単独で装置として構成される形態のみならず、他の装置に組み込まれて使用される形態であってもよい。心身状態分析装置１を組み込む他の装置は、例えば、心身状態分析装置本体の他にも、事業用音声交換機、PBX（構内交換機）、ルータ等の通信ネットワーク構成機器や、例えば、パーソナルコンピューター、スマートフォン、情報携帯端末等の電化製品であってもよい。

【0025】

図２は、心身状態分析装置１のハードウェア構成図である。図２に示すように、物理的には、中央演算装置（ＣＰＵ）２０１、入力装置２０２、出力装置２０３、主記憶装置（ＲＡＭ／ＲＯＭ）２０４、補助記憶装置２０５を含むコンピュータとして構成される。

【0026】

心身状態分析装置１の各機能は、図２に示す主記憶装置（ＲＡＭ／ＲＯＭ）２０４等に、心身状態分析プログラムを読み込ませることにより、中央演算装置（ＣＰＵ）２０１の制御により入力装置２０２、出力装置２０３を動作させるとともに、主記憶装置（ＲＡＭ／ＲＯＭ）２０４、補助記憶装置２０５とデータの読み書きを行うことで実現される。

【0027】

図１に示すように、心身状態分析装置１は、取得部１０１、抽出部１０２、感情分析部１０３、心身状態分析部１０４、評価部１０５及び出力部１０６を備えている。心身状態分析装置１には、外部から取得部１０１を介して対話の音声データが与えられる。また、心身状態分析装置１は、出力部１０６を介して外部へ情報を出力する。

【0028】

図１のブロック図に従って、心身状態分析装置１の各ブロックの機能を説明する。なお、各ブロックの詳細な動作については後述する。

【0029】

取得部１０１は、対話の音声データを外部から取得する。

【0030】

抽出部１０２は、取得部１０１が取得した音声データから、分析対象とする話者の音声データを抽出する。

【0031】

感情分析部１０３は、抽出部１０２が抽出した音声データを分析して、話者の感情についてのスコアを算出する。話者の感情についてのスコアの説明は後述する。

【0032】

心身状態分析部１０４は、感情分析部１０３が算出した話者の感情についてのスコアから、話者の心身状態についてのスコアを算出する。話者の心身状態についてのスコアの説明は後述する。

【0033】

評価部１０５は、心身状態分析部１０４が算出した話者の心身状態についてのスコアによって、話者の心身状態について評価する。評価の具体的な手法については後述する。

【0034】

出力部１０６は、評価部１０５が評価した話者の心身状態についての評価の結果を出力する。出力される評価の結果の詳細については後述する。

【0035】

次に、心身状態分析システムについて説明する。図３は、心身状態分析装置１を構成要素とする心身状態分析システムの構成を示す図である。心身状態分析装置１は、単独でも目的を達するように機能するが、図３に示すように通信ネットワーク３０１に１または複数のノード３０２と共に心身状態分析装置１が接続された心身状態分析システムとしても、目的を達するように機能する。

【0036】

ここで通信ネットワーク３０１は、ＬＡＮ（ローカルエリアネットワーク）、ＷＡＮ（広域通信網）、インターネットなど接続された機器間で通信を行うことができるしくみを指し、その方式や規格、有線と無線の別などを問わない。

【0037】

ここでノード３０２は、通信ネットワーク３０１に接続され、通信ネットワーク３０１を介して通信を行うことができる機器を指す。例えば、対話の音声データを処理する事業用音声交換機やＰＢＸ（Ｐｒｉｖａｔｅ Ｂｒａｎｃｈ ｅＸｃｈａｎｇｅ：構内交換機）、対話の音声データを蓄積する外部記憶装置、心身状態分析装置１の外部入出力装置として機能するパーソナルコンピューター、スマートフォン、情報携帯端末などが相当する。なお、これらは例示であって、ノード３０２をこれらに限るものではない。

【0038】

ノード３０２をPBX等の音声データを処理する機器とすれば、心身状態分析装置１が通信ネットワーク３０１を介して音声データを取得することができる。また、ノード３０２を外部入出力装置として機能するパーソナルコンピューター等とすれば、ノード３０２によって、通信ネットワーク３０１を介して、心身状態分析システムの外部に蓄積された音声データを心身状態分析装置１に入力したり、話者の心身状態についての評価の結果をノード３０２に出力したりすることができる。

【0039】

次に、本実施例に係る心身状態分析装置１の動作について説明する。図４は、本実施例に係る心身状態分析装置１の動作を示すフローチャートである。図４のフローチャートは、本実施例に係る心身状態分析方法の手順を示すものでもある。心身状態分析装置１は、図４のフローチャートに従って動作することで、本実施例に係る心身状態分析方法の手順を実行する。以下、図４のフローチャートに従って本実施例に係る心身状態分析装置１の動作を説明する。

【0040】

心身状態分析装置１の動作開始は、例えば音声データの入力後などに自動的に起動するものであっても、明示的な命令によって起動するものであってもよい。心身状態分析装置１は、動作を開始すると、図４のフローチャートの処理を開始する。

【0041】

なお、図４のフローチャートに示す各処理は、前処理が終了後に自動的に開始するものであっても、明示的な処理開始の命令によるものであってもよい。

【0042】

図４のフローチャートの処理が開始すると、心身状態分析装置１は、取得部１０１が取得処理（Ｓ４０１）を実行する。取得処理（Ｓ４０１）では、対話の音声データを外部から取得する。

【0043】

ここで、対話の音声データとは、電話などによる複数人の対話の音声データであり、一対一、一対多、多対多のそれぞれの場合がある。また、音声データのデータ形式は問わない。

【0044】

本実施例では、対話の音声データには話者を特定するための符号が付随しているものとする。ここで符号とは、対話の音声データの話者を特定するための付随的な情報をいう。例えば、話者が使用する電話端末に割り当てられた電話番号や、話者が使用する情報端末に割り当てられたIPアドレスなどが相当する。話者を特定する符号は、後述する抽出処理（Ｓ４０２）で使用する。なお、音声認識技術などによって話者を特定する符号を使わずに抽出処理（Ｓ４０２）を行うことも可能である。本実施例で、対話の音声データには話者を特定するための符号が付随しているものとするのは、説明理解の容易性を考慮してのことであり、本発明において、対話の音声データに話者を特定するための符号が付随することを必須とするものではない。

【0045】

本実施例では、以降において、説明理解の容易性を考慮して、対話の音声データには、話者を特定するための符号として話者が使用する電話端末に割り当てられた電話番号を用いた場合を例にとって説明する。

【0046】

取得処理（Ｓ４０１）は、逐次に行ってもよいし、ある期間の音声データをまとめて取得してもよい。逐次に取得処理（Ｓ４０１）を行う例としては、心身状態分析装置１を対話の音声データを処理する機器（例えば、PBX）と接続して常に音声データを取得するなどがこれにあたる。まとめて取得処理（Ｓ４０１）を行う例としては、対話の音声データを処理する機器（例えば、PBX）を介して取得したある期間の音声データを一旦蓄積し、バッチ処理で心身状態分析装置１が取り込むなどがこれにあたる。

【0047】

取得処理（Ｓ４０１）が終了すると、次に、心身状態分析装置１は、抽出部１０２が抽出処理（Ｓ４０２）を実行する。抽出処理（Ｓ４０２）では、取得された音声データから分析対象とする話者の音声データを抽出する。前述の通り、本実施例では、対話の音声データには話者を特定するための符号が付随しているものとし、話者を特定するための符号として話者が使用する電話端末に割り当てられた電話番号を用いる。抽出処理（Ｓ４０２）では、話者が使用する電話端末に割り当てられた電話番号に紐づいた音声データを分析対象とする話者の音声データとして抽出する。

【0048】

なお、前述の通り、本実施例の他にも、音声認識技術などによって話者を特定する符号を使わずに抽出処理（Ｓ４０２）を行うことも可能である。このような場合には、話者を特定するための符号が付随している必要はない。

【0049】

本実施例では、抽出処理（Ｓ４０２）で抽出される分析対象とする話者の音声データは、呼ごとの音声データとして抽出される。ここで、呼とは、ひとつの通信の接続から切断までをいう。また、分析対象とする話者が発信者または着信者となる呼についての音声データが抽出される。

【0050】

取得処理（Ｓ４０１）で取得する音声データに、例えば、電話の通話データのように通信の接続日時、切断日時などの音声で会話を行った日時情報が付随している場合には、本実施例において、抽出処理（Ｓ４０２）では、開始日時と終了日時を指定するなどして指定した期間の音声データを抽出する。指定した期間での音声データを抽出することにより、指定した期間での心身状態を分析できるとともに、処理すべきデータ量を軽減することができる。

【0051】

抽出処理（Ｓ４０２）が終了すると、次に、心身状態分析装置１は、感情分析部１０３が感情分析処理（Ｓ４０３）を実行する。感情分析処理（Ｓ４０３）では、抽出された分析対象とする話者の音声データを分析して話者の感情についてのスコアを算出する。

【0052】

本実施例では、感情分析処理（Ｓ４０３）で算出される話者の感情についてのスコアは、呼ごとに算出される。

【0053】

ここで、話者の感情についてのスコアとは、話者が音声を発する際の感情を、感情分析処理（Ｓ４０３）によって感情を示す複数の指標について定量化した値をいう。本実施例では、感情を示す指標を、平常、喜び、怒り、悲しみ、元気度の５つの項目とする。なお、本実施例において、元気度とは、人間の精力、気力、活動力、行動力等、人間が一般的に活動するに際して必要とされる、心身の活動の源となる力の度合いを表す指標であって、各人の主観における相対的な度合いとして定義される。

【0054】

感情分析処理（Ｓ４０３）の手法は、抽出された分析対象とする話者の音声データを分析して話者の感情についての定量的なスコアが算出できる方法であればよい。例えば、特許文献１には、平常、喜び、怒りなどの感情ごとの音響特性（声の高低、話す速さ、声の大小、抑揚など）を学習したモデルと分析対象とする話者の音声データを対比することによって話者の感情を解析する手法が開示されている。

【0055】

また、感情ごとの音響特性を学習したモデルと分析対象とする話者の音声データを対比の方法についても、互いの類似性を定量的なスコアとして算出できれば方法は問わない。既知の手法として、例えば、ユークリッド距離、ピアソンの確率相関係数、Jaccard係数などを利用して類似性を定量的なスコアとして算出するなどがある。

【0056】

本実施例では、感情を示す指標を、平常、喜び、怒り、悲しみ、元気度の５つの項目とし、各指標についてのスコアを最小値が０、最大値が２０の範囲での定量化をおこなったものとして以下の説明を進める。なお、本実施例で示した平常、喜び、怒り、悲しみ、元気度の５つの感情を示す各指標について最小値が０、最大値が２０の範囲での定量化を行うとの処理は例示であって、本発明において、話者の感情を適切に示す他の指標を採用するものであってもよいし、定量化にあっても最小値が０、最大値が２０の範囲での定量化に限るものではない。

【0057】

感情分析処理（Ｓ４０３）が終了すると、次に、心身状態分析装置１は、心身状態分析部１０４が心身状態分析処理（Ｓ４０４）を実行する。心身状態分析処理（Ｓ４０４）では、感情分析処理（Ｓ４０３）で算出された話者の感情についてのスコアから、話者の心身状態についてのスコアを算出する。

【0058】

ここで、心身状態とは、人が職務を遂行するにあたっての精神的な状態と身体的な状態をいう。新しい仕事に向かってやる気にあふれている、職場の人間関係に悩んでいるなどが精神的な状態の例であり、体調がすぐれず仕事に支障をきたしているなどが身体的な状態の例である。

【0059】

本実施例では、話者の心身状態についてのスコアを、ポジティブとネガティブの２つの指標について定量的に示した値とする。これは、企業等の労務管理において、職務に対して前向きに取り組めている心身状態か、職務に対して後向きで問題を抱えた心身状態か、の実効性ある判断指標とするため２つの指標についてのスコアとする。また、本実施例では、ポジティブとネガティブの２つの指標についてのスコアの合計値が常に１００となるとして説明する。なお、本実施例において、話者の心身状態についてのスコアを、ポジティブとネガティブの２つの指標とすること、及び、スコアの合計値が常に１００となるとすることは、本発明による企業等の労務管理において実効性があることに加えて、説明理解の容易性を考慮してのことでもある。本発明における話者の心身状態についての指標を３つ以上設定すること、及び、ポジティブとネガティブの２つの指標についてのスコアの合計値について他の設定とすることを妨げるものではない。

【0060】

以下、本実施例では、前述の通り、感情分析処理（Ｓ４０３）で平常、喜び、怒り、悲しみ、元気度の５つの感情を示す各指標について最小値が０、最大値が２０の範囲での定量化されたスコアが呼ごとに算出されたとして説明する。具体的には、例えば、話者に紐づくひとつの呼についてのスコアが、例Ａ（平常，喜び，怒り，悲しみ，元気度）＝（８，６，１５，１２，９）や例Ｂ（平常，喜び，怒り，悲しみ，元気度）＝（１１，１５，７，８，１２）などと表現できる。また、本実施例では、スコアの値が大きいほど各指標についての感情の度合いが大きいものとする。具体的には、例えば、怒りのスコアが大きいほど話者の怒りの感情の度合いが大きいなどである。

【0061】

図５は、心身状態分析処理（Ｓ４０４）のフローチャートである。一旦、図４から離れ、図５のフローチャートに従って心身状態分析処理（Ｓ４０４）について説明する。

【0062】

心身状態分析処理（Ｓ４０４）が開始されると、感情分析処理（Ｓ４０３）で算出されたスコアを取得（Ｓ５０１）する。Ｓ５０１の処理で取得されるスコアは、前述の通り、平常、喜び、怒り、悲しみ、元気度の５つの感情を示す各指標について最小値が０、最大値が２０の範囲での定量化された呼ごとのスコアである。

【0063】

感情を示すスコアを取得する処理（Ｓ５０１）が終了すると、次に、感情を示すスコアの各要素をポジティブとネガティブの２つの区分に振り分ける処理（Ｓ５０２）が開始される。Ｓ５０２の処理は、呼ごとのスコアの各々について実行される。この処理によって、感情分析処理（Ｓ４０３）で算出された平常、喜び、怒り、悲しみ、元気度の５つの感情を示す指標に基づくスコアを、心身状態を示す指標（ポジティブ／ネガティブ）に振り分ける。

【0064】

本実施例におけるＳ５０２の処理では、５つの感情を示す各指標についての呼ごとのスコアの要素から、次のルールに基づいて、心身状態を示す指標（ポジティブ／ネガティブ）に振り分ける。
ルール１：平常及び喜びのスコアの要素は、ポジティブのスコアの要素とする。
ルール２：怒り及び悲しみのスコアの要素は、ネガティブのスコアの要素とする。
ルール３：元気度のスコアの要素は、値１０をポジティブ／ネガティブの振り分けの基準値とし、値が１０より大きい場合はポジティブに振り分けてスコアの要素を算出し、値が１０より小さい場合はネガティブに振り分けてスコアの要素を算出する。

【0065】

図６は、前述のルール３として示した元気度のスコアの要素から、心身状態を示す指標（ポジティブ／ネガティブ）の元気度のスコア要素の算出を説明する図である。ここで、元気度のスコアの要素をＧ、心身状態を示す指標における元気度のポジティブのスコアの要素をＧｐ、元気度のネガティブのスコアの要素をＧｎとする。図６においても同様の記号で表す。

【0066】

図６に基づいてルール３の処理を説明する。元気度のスコアの要素Ｇを取得（Ｓ６０１）する。Ｓ６０２の処理で元気度のスコアの要素Ｇが１０より大きいかどうかを判定する。Ｇ＞１０の場合、元気度のポジティブのスコアの要素としてＧｐ＝（Ｇ－１０）を算出（Ｓ６０３）する。次に、Ｓ６０４の処理で元気度のスコアの要素Ｇが１０より小さいかどうかを判定する。Ｇ＜１０の場合、元気度のネガティブのスコアの要素としてＧｎ＝－（Ｇ－１０）を算出（Ｓ６０５）する。

【0067】

上述、具体例としてあげた５つの感情を示す指標に基づくスコア例A（平常，喜び，怒り，悲しみ，元気度）＝（８，６，１５，１２，９）にＳ５０２の処理を適用すると次のように振り分けられる。
ポジティブ：（平常，喜び，元気度）＝（８，６，ＮＵＬＬ）
ネガティブ：（怒り，悲しみ，元気度）＝（１５，１２，１）
なお、ポジティブでの元気度のスコアの要素はＮＵＬＬであって値を持たない。よって、ＮＵＬＬ要素はデータとして存在しないとして以降の処理で扱われる。

【0068】

同様に、上述、具体例としてあげた５つの感情を示す指標に基づくスコア例Ｂ（平常，喜び，怒り，悲しみ，元気度）＝（１１，１５，７，８，１２）にＳ５０２の処理を適用すると次のように振り分けられる。
ポジティブ：（平常，喜び，元気度）＝（１１，１５，２）
ネガティブ：（怒り，悲しみ，元気度）＝（７，８，ＮＵＬＬ）
なお、ネガティブでの元気度のスコアの要素はＮＵＬＬであって値を持たない。よって、ＮＵＬＬ要素はデータとして存在しないとして以降の処理で扱われる。

【0069】

Ｓ５０２の処理が終了すると、スコアの重みづけの処理（Ｓ５０３）が開始される。Ｓ５０３の処理は、呼ごとのスコアの各々について実行される。これは、心身状態分析処理（Ｓ４０４）でポジティブとネガティブの２つの指標について定量的に示した値として算出される話者の心身状態についてのスコアが、企業等の労務管理において、より実効性ある判断指標とするために環境に応じた補正を加える処理である。

【0070】

Ｓ５０３の処理では、平常、喜び、怒り、悲しみ、元気度の５つの感情を示す各指標についての重みづけの係数を各スコア要素に乗ずる処理を行う。ここで、平常、喜び、怒り、悲しみ、元気度の５つの感情を示す各指標に対応する重みづけの係数を、各々、ａ、ｂ、ｃ、ｄ、ｅとすると、上述、具体例としてあげた５つの感情を示す指標に基づくスコア例に対応する心身状態を示す指標（ポジティブ／ネガティブ）に振り分けられた要素は、Ｓ５０３の処理によって次のようになる。

【0071】

スコア例Ａに対応する心身状態を示す指標（ポジティブ／ネガティブ）に振り分けられた要素
ポジティブ：（平常，喜び，元気度）＝（８ａ，６ｂ，ＮＵＬＬ）
ネガティブ：（怒り，悲しみ，元気度）＝（１５ｃ，１２ｄ，１ｅ）

【0072】

スコア例Ｂに対応する心身状態を示す指標（ポジティブ／ネガティブ）に振り分けられた要素
ポジティブ：（平常，喜び，元気度）＝（１１ａ，１５ｂ，２ｅ）
ネガティブ：（怒り，悲しみ，元気度）＝（７ｃ，８ｄ，ＮＵＬＬ）

【0073】

本実施例においては、ａ＝０．１９、ｂ＝０．２１、ｃ＝０．２５、ｄ＝０．１５、ｅ＝０．２０をとる。これは、１０秒以上の通話のサンプルデータ８０７件から、各々の５つの感情を示す各々の指標に基づくスコアの平均値を算出したうえで、心身状態を示す指標（ポジティブ／ネガティブ）に振り分けた際に、ポジティブとネガティブの比が１：１となるように重みづけの係数を設定したものである。

【0074】

なお、前述の重みづけの係数及びその算出方法は例示であって、本発明においてこれに限るものではない。本発明を実施する企業等の環境において、より実効性ある判断指標とするために環境に応じた補正を加えることとしてもよい。例えば、前述の１０秒以上の通話のサンプルデータ８０７件を取得した環境においては、ポジティブとネガティブの比が５１．５：４８．５となるように補正することで、より環境に則した評価が得られることが分かっている。

【0075】

Ｓ５０３の処理が終了すると、心身状態を示す指標（ポジティブ／ネガティブ）に基づくスコア算出の処理（Ｓ５０４）が開始される。前述の通り、本実施例では、ポジティブとネガティブの２つの指標についてのスコアの合計値が常に１００となるとして説明する。

【0076】

Ｓ５０４の処理では、まず、Ｓ５０３の処理でポジティブとネガティブに振り分けられた呼ごとの要素を抽出して加算する。例として、前述のスコア例Aとスコア例Bがデータのすべてである場合には次の通りである。
ポジティブ：（８ａ＋６ｂ）＋（１１ａ＋１５ｂ＋２ｅ）
ネガティブ：（１５ｃ＋１２ｄ＋１ｅ）＋（７ｃ＋８ｄ）

【0077】

Ｓ５０４の処理では、次に、ポジティブとネガティブの２つの指標について振り分けられた要素の合計値が100になるように補正をおこなって、それぞれをポジティブとネガティブのスコアとして算出する。例として、前述のスコア例Ａとスコア例Ｂがデータのすべてである場合には次の通りである。
ポジティブのスコア＝１００×｛（８ａ＋６ｂ）＋（１１ａ＋１５ｂ＋２ｅ）｝／｛（８ａ＋６ｂ）＋（１１ａ＋１５ｂ＋２ｅ）＋（１５ｃ＋１２ｄ＋１ｅ）＋（７ｃ＋８ｄ）｝
ネガティブのスコア＝１００×｛（１５ｃ＋１２ｄ＋１ｅ）＋（７ｃ＋８ｄ）｝／｛（８ａ＋６ｂ）＋（１１ａ＋１５ｂ＋２ｅ）＋（１５ｃ＋１２ｄ＋１ｅ）＋（７ｃ＋８ｄ）｝

【0078】

Ｓ５０４の処理が心身状態を示す指標（ポジティブ／ネガティブ）に基づくスコア算出を完了すると、心身状態分析処理（Ｓ４０４）が終了する。

【0079】

図４に戻り、引き続き処理の説明を進める。心身状態分析処理（Ｓ４０４）が終了すると、次に、心身状態分析装置１は、評価部１０５が評価処理（Ｓ４０５）を実行する。評価処理（Ｓ４０５）では、心身状態分析処理（Ｓ４０４）で算出されたポジティブとネガティブの２つの指標についてのスコアから、話者の心身状態について評価する。

【0080】

本実施例においては、最もネガティブなレベル１から最もポジティブなレベル５の５段階の評価を設定し、心身状態分析処理（Ｓ４０４）で算出されたポジティブとネガティブの２つの指標についてのスコアから評価を行う評価処理（Ｓ４０５）について説明する。

【0081】

まず、評価の段階設定から説明する。本実施例における前述のレベル１からレベル５の５段階は、ポジティブとネガティブの２つの指標のいずれにも影響する元気度を用いて評価のためのレベルを設定する。

【0082】

図７は、評価のためのレベル設定について説明するための図であって、元気度のスコアとデータ数の累積度数の割合との関係を示すグラフである。図７のグラフで横軸は元気度スコアであって、最小値が０、最大値が２０の範囲の値をとる。縦軸は、データ数の累積度数の割合を示す。データは、本発明を実施する企業等の環境でのデータであって、評価のためのレベル設定を行うに十分な数のデータである。データ数の累積度数の割合を示すＰ１からＰ５は、図７に示す通り、５等分した元気度スコア（４，８，１２，１６，２０）にそれぞれ対応する。データ数の累積度数の割合を示すＰ１からＰ５は、レベル１からレベル５の５段階の領域を設定する値となる。

【0083】

評価部１０５が評価処理（Ｓ４０５）として、本発明を実施する企業等の環境でのデータであって、評価のためのレベル設定を行うに十分な数のデータからレベル１からレベル５の５段階の領域を設定する値であるＰ１からＰ５を算出する。

【0084】

なお、本発明を実施する企業等の環境でのデータであって、評価のためのレベル設定を行うに十分な数のデータから、事前に算出されたレベル１からレベル５の５段階の領域を設定する値であるＰ１からＰ５を本発明である心身状態分析装置１が保持している構成であってもよい。なお、前述の１０秒以上の通話のサンプルデータ８０７件から求めたＰ１からＰ５は、Ｐ１＝０．０７、Ｐ２＝０．３７、Ｐ３＝０．７７、Ｐ４＝０．９７、Ｐ５＝１．００であった。これらを心身状態分析装置１が保持している構成などをいう。

【0085】

次に、評価処理（Ｓ４０５）では、話者の心身状態をレベル１からレベル５の５段階に評価する処理を行う。話者の心身状態は、ポジティブのスコアを用いて行う。そのために、上述の元気度のスコアとデータ数の累積度数の割合との関係から設定したレベル１からレベル５の５段階の領域を設定する値（Ｐ１からＰ５）から次の変換を行う。

【0086】

図８は、元気度のスコアとデータ数の累積度数の割合との関係から設定したレベル１からレベル５の５段階の領域を設定する値（Ｐ１からＰ５）から、ポジティブのスコアを用いて話者の心身状態をレベル１からレベル５の５段階の領域を設定する値（Q１からQ５）への変換を説明するための図である。

【0087】

図７で説明した元気度のスコアとデータ数の累積度数の割合との関係を求めたと同じデータについて、図８は横軸をポジティブのスコアとしたデータ数の累積度数分布を示すものである。縦軸に示すレベル１からレベル５の５段階の領域を設定する値（Ｐ１からＰ５）は、図７と図８では同じである。

【0088】

図８で、横軸に示すQ1からQ5は、縦軸に示すレベル１からレベル５の５段階の領域を設定する値（Ｐ１からＰ５）にそれぞれ対応するポジティブのスコアとなり、Q１からQ５は、ポジティブのスコアに対してのレベル１からレベル５の５段階の領域を設定する値となる。

【0089】

評価部１０５が評価処理（Ｓ４０５）として、本発明を実施する企業等の環境でのデータであって、評価のためのレベル設定を行うに十分な数のデータからＰ１からＰ５を介して、ポジティブのスコアに対してのレベル１からレベル５の５段階の領域を設定する値であるQ１からQ５を算出する。

【0090】

なお、本発明を実施する企業等の環境でのデータであって、評価のためのレベル設定を行うに十分な数のデータから、事前に算出されたレベル１からレベル５の５段階の領域を設定する値であるQ１からQ５を本発明である心身状態分析装置１が保持している構成であってもよい。なお、前述の１０秒以上の通話のサンプルデータ８０７件から求めたQ１からQ５は、Q１＝４５、Q２＝４８、Q３＝５５、Q４＝５８、Q５＝１００（理論値）であった。これらを心身状態分析装置１が保持している構成などをいう。

【0091】

評価処理（Ｓ４０５）では、算出されたポジティブのスコアに対してのレベル１からレベル５の５段階の領域を設定する値であるQ１からQ５を用いて話者の感情についてのスコアや心身状態をレベル１からレベル５の５段階に評価する。
レベル１：ポジティブのスコアがQ１未満
レベル２：ポジティブのスコアがQ１以上Q２未満
レベル３：ポジティブのスコアがQ２以上Q３未満
レベル４：ポジティブのスコアがQ３以上Q４未満
レベル５：ポジティブのスコアがQ４以上

【0092】

評価処理（Ｓ４０５）が終了すると、次に、心身状態分析装置１は、出力部１０６が出力処理（Ｓ４０６）を実行する。出力処理（Ｓ４０６）では、評価処理（Ｓ４０５）での評価結果を出力する。本実施例では、この他に、出力部１０６は出力処理（Ｓ４０６）によって、感情分析処理（Ｓ４０３）で算出された話者の感情についてのスコアや心身状態分析処理（Ｓ４０４）で算出された話者の心身状態についてのスコアを出力する。また、本実施例では、出力部１０６は出力処理（Ｓ４０６）によって、企業等の労務管理における重要な課題である、労働者等の心身状態を把握して、問題を発見し、早期の解決に努めることを支援できるようなレポート形式で、評価結果や各スコアを出力する。
更に、本実施例では、出力部１０６は出力処理（Ｓ４０６）で、評価結果に応じた推奨する取るべき対応などのコメントを生成して出力する。

【0093】

図９は、出力処理（Ｓ４０６）によって出力されるレポートの例である。レポートは、出力部１０６から外部の出力装置に出力される。例えば、コンピュータの画面に表示される、プリンターから紙印刷されるなどが考えられる。

【0094】

図９で、９０１は、話者を特定するコードである。図９では、（TEST1）と示されている。本実施例では、対話の音声データに付随した話者を特定するための符号であってもよいし、そこから紐づけられる関連情報を参照して表示してもよい。例えば、９０１は、話者の電話端末に割り当てられた電話番号、話者の氏名などが考えられる。

【0095】

図９で、９０２は、通話データを分析した期間である。本実施例では、取得処理（Ｓ４０１）で取得する音声データに、例えば、電話の通話データのように通信の接続日時、切断日時などの音声で会話を行った日時情報が付随している場合には、抽出処理（Ｓ４０２）もおいて、開始日時と終了日時を指定した期間の音声データを抽出する。９０２には、指定した期間が表示される。

【0096】

図９で、９０３は、感情分析処理（Ｓ４０３）で算出された話者の感情についてのスコアである。図９では、レーダーチャートで表示している。これは例示であって、数表や他のグラフなどでもよい。

【0097】

図９で、９０４は、心身状態分析処理（Ｓ４０４）で算出された話者の心身状態についてのスコアである。図９では、帯グラフで表示している。これは例示であって、数表や他のグラフなどでもよい。

【0098】

図９で、９０５は、評価処理（Ｓ４０５）での評価結果である。評価結果であるレベルを表示するとともに、本実施例では、評価処理（Ｓ４０５）で生成される推奨する取るべき対応などをコメントとして表示する。

【0099】

以上が、心身状態分析装置についての説明である。

【0100】

次に、コンピュータを心身状態分析装置として機能させるための算出プログラムについて説明する。コンピュータの構成は、図２に示す通りである。

【0101】

算出プログラムは、メインモジュール、入出力モジュール及び演算処理モジュールを備える。メインモジュールは、処理を統括的に制御する部分である。入出力モジュールは、取得モジュール及び出力モジュールを備える。演算処理モジュールは、抽出モジュール、感情分析モジュール、心身状態分析モジュール及び評価モジュールを備える。メインモジュール、入出力モジュール及び演算処理モジュールを実行させることにより実現される機能は、心身状態分析装置１の取得部１０１、抽出部１０２、感情分析部１０３、心身状態分析部１０４、評価部１０５及び出力部１０６の機能とそれぞれ同様である。

【0102】

算出プログラムは、例えば、ＲＯＭ等の記憶媒体又は半導体メモリによって提供される。また、算出プログラムは、ネットワークを介して提供されてもよい。

【0103】

以上が、実施例の説明である。

【0104】

以上、本願に係る心身状態分析装置、心身状態分析システム、心身状態分析方法、心身状態分析プログラムによれば、対話の音声データから分析対象とする話者の音声データを抽出して、感情分析した結果から、さらに話者の心身状態を分析して、評価することができる。これにより、企業等の労務管理における重要な課題である、労働者等の心身状態を把握して、問題を発見し、早期の解決に努めることを支援できる。

【符号の説明】

【0105】

１ 心身状態分析装置
１０１ 取得部
１０２ 抽出部
１０３ 感情分析部
１０４ 心身状態分析部
１０５ 評価部
１０６ 出力部
２０１ 中央演算装置（ＣＰＵ）
２０２ 入力装置
２０３ 出力装置
２０４ 主記憶装置（ＲＡＭ／ＲＯＭ）
２０５ 補助記憶装置
３０１ 通信ネットワーク
３０２ ノード
９０１ 話者を特定するコード
９０２ 通話データを分析した期間
９０３ 話者の感情についてのスコア
９０４ 話者の心身状態についてのスコア
９０５ 評価結果（レベル）

【要約】      （修正有）

【課題】対話の音声データから分析対象とする話者の音声データを抽出して、感情分析した結果から、さらに話者の心身状態を分析して、評価する心身状態分析装置、心身状態分析システム、心身状態分析方法及び心身状態分析プログラムを提供する。
【解決手段】心身状態分析装置１は、対話の音声データを取得する取得部と、取得された音声データから分析対象とする話者の音声データを抽出する抽出部と、抽出された分析対象とする話者の音声データを分析して話者の感情についての第１のスコアを算出する感情分析部と、第１のスコアから話者の心身状態についての第２のスコアを算出する心身状態分析部と、を備える。
【選択図】図１

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】