(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-08-01
(45)【発行日】2024-08-09
(54)【発明の名称】発話解析装置、発話解析方法及びプログラム
(51)【国際特許分類】
G06F 16/35 20190101AFI20240802BHJP
G06F 16/906 20190101ALI20240802BHJP
G06F 16/90 20190101ALI20240802BHJP
【FI】
G06F16/35
G06F16/906
G06F16/90 100
(21)【出願番号】P 2021529929
(86)(22)【出願日】2020-06-02
(86)【国際出願番号】 JP2020021809
(87)【国際公開番号】W WO2021002136
(87)【国際公開日】2021-01-07
【審査請求日】2023-05-09
(31)【優先権主張番号】P 2019125454
(32)【優先日】2019-07-04
(33)【優先権主張国・地域又は機関】JP
(31)【優先権主張番号】P 2019134559
(32)【優先日】2019-07-22
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】314012076
【氏名又は名称】パナソニックIPマネジメント株式会社
(74)【代理人】
【識別番号】100106518
【氏名又は名称】松谷 道子
(74)【代理人】
【識別番号】100132241
【氏名又は名称】岡部 博史
(74)【代理人】
【識別番号】100135703
【氏名又は名称】岡部 英隆
(74)【代理人】
【識別番号】100199314
【氏名又は名称】竹内 寛
(74)【代理人】
【識別番号】100163902
【氏名又は名称】市川 奈月
(72)【発明者】
【氏名】佐伯 夏樹
【審査官】吉田 誠
(56)【参考文献】
【文献】国際公開第2018/110029(WO,A1)
【文献】特開2011-123706(JP,A)
【文献】特開2017-16566(JP,A)
【文献】特開2018-49478(JP,A)
【文献】国際公開第2009/084554(WO,A1)
(58)【調査した分野】(Int.Cl.,DB名)
G06F 16/00 - 16/958
(57)【特許請求の範囲】
【請求項1】
第1期間における発話者の発話の変化を可視化する発話解析装置であって、
前記発話者の複数の発話データを時系列の順番で取得する取得部と、
前記取得部で取得した発話データの各々が各カテゴリに該当する可能性を特定する値である複数の第1の尤度を用いて、発話の変化を解析する演算部と、
前記演算部で得られた発話の変化を可視化した可視化データを表示させる表示処理部とを備え、
前記演算部は、前記第1期間に含まれる所定時の直前で、かつ、前記第1期間より短い第2期間における複数の発話データの第1の尤度を積算して、当該所定時の第2の尤度をカテゴリ毎に求め、得られた各カテゴリの第2の尤度のうち、値が最も大きいカテゴリを当該所定時の話題のカテゴリとして特定し、
前記演算部は、前記時系列において連続的に得られる複数の所定時のカテゴリをそれぞれ特定し、
前記表示処理部により表示される前記可視化データは、前記時系列における複数の所定時のカテゴリ間の変化により発話の変化を表す
発話解析装置。
【請求項4】
前記演算部は、前記第2期間に出現する頻度が高い程、大きな値に設定される第1の重み値を用いて、前記第2の尤度を求める
請求項1に記載の発話解析装置。
【請求項5】
前記演算部は、前記所定時に近い程、大きな値に設定される第2の重み値を用いて、前記第2の尤度を求める
請求項1又は4に記載の発話解析装置。
【請求項6】
前記第1期間の開始から前記所定時までの期間が、前記第2期間に満たない場合、
前記演算部は、前記第1期間の開始から当該所定時までの期間の発話データを用いて前記第2の尤度を演算する
請求項1に記載の発話解析装置。
【請求項7】
ユーザから指定された期間を受け付ける受付部を備え、
前記演算部は、前記受付部が受け付けた期間を第2期間として第2の尤度を求める
請求項1、4乃至6のいずれか1に記載の発話解析装置。
【請求項8】
前記表示処理部が表示させる前記可視化データは、各カテゴリの第2の尤度が時系列で表わされたグラフを含む
請求項1、4乃至7のいずれか1に記載の発話解析装置。
【請求項9】
前記表示処理部が表示させる前記可視化データは、前記発話データに含まれる発話のテキストデータを含む
請求項1、4乃至7のいずれか1に記載の発話解析装置。
【請求項10】
前記表示処理部が表示させる前記可視化データは、第1の発話者の発話データから生成された可視化データと、第2の発話者の発話データから生成された可視化データとを比較した比較データである
請求項1、4乃至7のいずれか1に記載の発話解析装置。
【請求項11】
前記演算部は、前記発話データ毎に、各カテゴリに関する第1の尤度を演算する
請求項1、4乃至10のいずれか1に記載の発話解析装置。
【請求項12】
第1期間における発話者の発話の変化を可視化する発話解析方法であって、
取得部が、発話者の複数の発話データを時系列の順番で取得するステップと、
演算部が、取得した発話データの各々が各カテゴリに該当する可能性を特定する値である複数の第1の尤度を用いて、発話の変化を解析するステップと、
表示処理部が、得られた発話の変化を可視化した可視化データを表示させるステップとを含み、
前記演算部は、前記第1期間に含まれる所定時の直前で、かつ、前記第1期間より短い第2期間における複数の発話データの第1の尤度を積算して、当該所定時の第2の尤度をカテゴリ毎に求め、得られた各カテゴリの第2の尤度のうち、値が最も大きいカテゴリを当該所定時の話題のカテゴリとして特定し、
前記演算部は、前記時系列において連続的に得られる複数の所定時のカテゴリをそれぞれ特定し、
前記表示処理部により表示される前記可視化データは、前記時系列における複数の所定時のカテゴリ間の変化により発話の変化を表す
発話解析方法。
【請求項14】
前記演算部は、前記発話データ毎に定められる所定時毎に、当該所定時の直前の前記第2期間だけ前記第1の尤度を積算した第2の尤度に基づき当該所定時の話題のカテゴリを特定することにより、前記複数の所定時のカテゴリをそれぞれ特定する
請求項1、4乃至11のいずれか1に記載の発話解析装置。
【請求項15】
前記第2期間は、前記複数の所定時において互いに隣接する二つの所定時の間の時間間隔よりも長い、
請求項1、4乃至11、14のいずれか1に記載の発話解析装置。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、発話者の発話における話題の変化を可視化する発話解析装置、発話解析方法及びプログラムに関する。
【背景技術】
【0002】
音声認識技術の進歩により、発話者の音声データを取得し、音声認識された内容を処理することが可能になっている。
【0003】
特許文献1では、コールセンターの等のオペレータによるトークスクリプトを参照した談話の内容が音声認識処理によりテキスト化され、トークスクリプトの利用頻度の情報を出力するシステムが記載される。この特許文献1に記載の技術では、オペレータのスキルに応じて応対記録の品質にばらつきがある問題等を解決し、統一生、簡潔性を確保した応対記録を自動作成することができる。
【先行技術文献】
【特許文献】
【0004】
【発明の概要】
【発明が解決しようとする課題】
【0005】
本開示は、発話者の発話における話題の推移を可視化することのできる発話解析装置、発話解析方法及びプログラムを提供する。
【課題を解決するための手段】
【0006】
本開示の発話解析装置は、第1期間における発話者の発話の変化を可視化する発話解析装置であって、発話者の発話データを時系列の順番で取得する取得部と、取得部で取得した発話データが各カテゴリに該当する可能性を特定する値である複数の第1の尤度を用いて、発話の変化を解析する演算部と、演算部で得られた発話の変化を可視化した可視化データを表示させる表示処理部とを備え、演算部は、第1期間より短い第2期間における複数の発話データの第1の尤度を積算して第2の尤度をカテゴリ毎に求め、表示処理部により表示される可視化データは、異なる複数の第2期間における各カテゴリの第2の尤度の変化により発話の変化を表す。
【0007】
これらの概括的かつ特定の態様は、システム、方法、及びコンピュータプログラム、並びに、それらの組み合わせにより、実現されてもよい。
【発明の効果】
【0008】
本開示の発話解析装置、発話解析方法及びプログラムによれば、発話者の発話における話題の推移を可視化することができる。
【図面の簡単な説明】
【0009】
【
図1】本開示の発話解析装置の概要について説明する概略図である。
【
図2】本開示の発話解析装置の構成を示すブロック図である。
【
図3】
図2の発話解析装置で利用する発話データを説明するデータ構成図である。
【
図4】
図2の発話解析装置で利用するカテゴリ尤度を表すグラフである。
【
図5A】
図2の発話解析装置で積算尤度の演算に利用する鮮度重み値を説明する図である。
【
図5B】
図2の発話解析装置で積算尤度の演算に利用する頻度重み値を説明する図である。
【
図6】
図2の発話解析装置で得られる話題である確率を表すグラフである。
【
図7】
図2の発話解析装置で積算尤度を求める際に利用する対象範囲を説明する図である。
【
図8】
図2の発話解析装置により可視化データとして表示される画面の一例である。
【
図9】
図2の発話解析装置で実行される発話解析処理を説明するフローチャートである。
【
図11】
図10の解析処理の他の例を説明するフローチャートである。
【
図12】
図2の発話解析装置で可視化データとして表示される画面の他の例である。
【
図13】
図2の発話解析装置で可視化データとして表示される画面の他の例である。
【
図14】
図2の発話解析装置で可視化データとして表示される画面の他の例である。
【
図15】
図2の発話解析装置で可視化データとして表示される画面の他の例である。
【発明を実施するための形態】
【0010】
[本開示の基礎となった知見]
従来の技術では、発話者の発話を解析する際、文単位を処理対象とし、各文に含まれる単語を用いて解析している。一方、ある期間の複数文からなる発話を解析する場合、複数の文を対象に解析することが好ましい場合もある。
【0011】
本開示に係る発話解析装置は、ある期間における発話者の発話における話題の推移の変化を可視化するものである。具体的には、発話解析装置は、ある期間の発話における話題が、どのように変化するかを特定し、可視化する。例えば、発話者が発話する場合、その話題は時間の経過と共に変化するのが一般的である。本開示の発話解析装置は、発話者の発話を取得し、発話の話題を特定し、また、その話題の変化を可視化することができる。
【0012】
[実施形態]
[1-1.構成]
以下に、図面を用いて本開示における実施形態を、図面を適宜参照しながら説明する。ただし、詳細な説明において、従来技術および実質的に同一の構成に関する説明のうち不必要な部分は省略されることもある。これは、説明を簡単にするためである。また、以下の説明および添付の図面は、当業者が本開示を充分に理解できるよう開示されるのであって、特許請求の範囲の主題を限定することを意図されていない。
【0013】
本開示に係る発話解析装置は、ある期間における発話者の発話に関し、話題の推移の変化を可視化するものである。例えば、
図1に示すように、発話解析装置1は、入力装置としてマイクロフォンを有し、発話者20が、顧客21に対して発する発話データを取得し、話題の推移の変化を可視化し、出力装置であるディスプレイ等に表示する。これにより、例えば、発話者20の発話の際には同席していない利用者22であっても、可視化された情報を見ることにより、発話者20の発話を評価することが可能となる。以下の説明では、発話者20は、注文住宅を販売する住宅メーカー(以下の説明で、必要に応じて「XYZホーム社」または「XYZホーム」とする)の一員であるものとする。また、発話者20の発話は、顧客21に自社の注文住宅に関する説明、注文住宅の販売及び購入等に関して必要な説明を含むものとする。なお、
図1に示す例は一例であって、具体的には、後述するが、必ずしも発話者20と顧客21が会話する場面で発話解析装置1が設置されていなくてもよい。また、利用者22も、ネットワークを介して外部から発話解析装置1にアクセス可能とされてもよい。
【0014】
本説明において、「発話」は、発話者20が話す行為及び話すことで生じた音声であるものとする。「発話データ」は、発話者20が話すことで生じた音声データであるものとする。また、「発話データ」は、発話者20が話すことで生じた音声データを音声認識によってテキスト化されたテキストデータであってもよい。さらに、「発話データ」は、これら「音声データ」と「テキストデータ」を含むデータであってもよい。
【0015】
「話題」は、発話者20の発話の内容であるとして説明する。また、「話題のカテゴリ」または「カテゴリ」は、発話者20の話題を特定する分類であるとして説明する。具体例については後述するが、発話解析装置1では、発話者20の発話の話題が、予め設定される複数の話題のカテゴリのうち、どのカテゴリであるかを特定する。
【0016】
「尤度」とは、尤度関数で利用される、尤もらしさを表す数値として利用される尤度である。この尤度は、対象の発話が、各話題のカテゴリに該当する尤もらしさを表す数値として利用される。
【0017】
以下の説明において、
図1に示すように、発話する者を「発話者20」とし、発話者20と対話する者を「顧客21」とする。また、発話解析装置1で発話者20の発話に関して話題の推移が可視化されたデータを利用する者を「利用者22」とする。なお、利用者22は、発話者20であってもよいし、発話者20以外の者であってもよい。例えば、自身の過去の発話を確認するために、発話者20自身が利用者22となることができる。また、発話者20の仕事を評価するために、発話者20の上司が利用者22となることもできる。その他、発話者20の発話方法を参考にするために、発話者20の同僚や部下が利用者22となることもできる。
【0018】
図2に示すように、発話解析装置1は、例えば、制御部11と、記憶部12と、入力部13と、出力部14と、通信部15とを備え、これらがバス16で接続される情報処理装置である。
【0019】
制御部11は、発話解析装置1全体の制御を司るコントローラである。例えば、制御部11は、記憶部12に記憶されるプログラムPを読み出して実行することにより、取得部111、演算部112、生成部113及び表示処理部114としての処理を実現する。また、制御部11は、ハードウェアとソフトウェアの協働により所定の機能を実現するものに限定されず、所定の機能を実現する専用に設計されたハードウェア回路でもよい。すなわち、制御部11は、CPU、MPU、GPU、FPGA、DSP、ASIC等、種々のプロセッサで実現することができる。
【0020】
記憶部12は種々の情報を記憶する記憶媒体である。記憶部12は、例えば、RAM、ROM、フラッシュメモリ、SSD(Solid State Device)、ハードディスク、その他の記憶デバイス又はそれらを適宜組み合わせて実現される。記憶部12には、制御部11が実行するプログラムPの他、識別情報で使用する情報や識別情報付与のために取得された種々の情報等が格納される。例えば、記憶部12は、発話データ121、変化データ122及びプログラムPを記憶する。
【0021】
入力部13は、操作やデータの入力に利用される操作ボタン、キーボード、マウス、タッチパネル、マイクロフォン等の入力手段である。出力部14は、処理結果やデータの出力に利用されるディスプレイ、スピーカ等の出力手段である。発話解析装置1は、入力部13であるマイクロフォンで発話データを取得し、制御部11で取得された発話データから可視化データを生成し、得られた可視化データを出力部14であるディスプレイ等に出力する。
【0022】
通信部15は、外部の装置(図示せず)とのデータ通信を可能とするためのインタフェース回路(モジュール)である。
【0023】
ここで、発話解析装置1は、1台のコンピュータにより実現されてもよいし、ネットワークを介して接続される複数台のコンピュータの組み合わせにより実現されてもよい。また例えば、記憶部12に記憶されるデータの全部又は一部が、ネットワーク40を介して接続される外部の記憶媒体に記憶され、発話解析装置1は、外部の記憶媒体に記憶されるデータを使用するように構成されていてもよい。具体的には、発話データ121や、変化データ122を外部の記憶媒体に記憶してもよい。
【0024】
取得部111は、例えば、発話者20が発話をする際、入力部13であるマイクロフォンを介して発話者20の発話データを取得する。また、取得部111は、取得した発話者20の発話データを、取得した時系列の順序で番号を付し、記憶部12に発話データ121として記憶させる。
【0025】
発話解析装置1は、発話者20の発話を可視化するものであるから、少なくとも発話者20の発話データを取得することができればよく、ここでは、顧客21の発話データの取得及び可視化については言及しないものとする。
【0026】
演算部112は、各発話データ121の話題が所定のカテゴリに該当する可能性を特定する値である尤度を求める。また、演算部112は、各カテゴリの尤度を、発話データ121と関連付けて記憶させる。以下では、各カテゴリに関する「尤度」を、必要に応じて「カテゴリ尤度」として説明する。
【0027】
このとき、発話データ121は、音声データとともに、または、音声データに代えて、各発話データ121の音声データを音声認識処理によってテキスト化したテキストデータを含むことができる。この場合、音声認識処理は、発話解析装置1内で実行されてもよいし、外部の装置において実行されてもよい。
【0028】
図3に示す一例のように、発話データ121は、発話データ121毎に時系列の順番で付与された識別情報である「番号」と、この期間の音声データから生成された「テキストデータ」と、この期間の発話データについて得られた各カテゴリの「カテゴリ尤度」とを関連付けるデータである。
【0029】
図3に示す例では、発話データ121は、「XYZホーム」、「間取り」、「ファイナンス」及び「その他」の各カテゴリについて得られたカテゴリ尤度を含む。「間取り」は、話題が家の間取りに関するカテゴリである。「XYZホーム」は、話題がXYZホーム社に関する場合のカテゴリである。「ファイナンス」は、話題が資金に関するカテゴリである。「その他」は、話題が「XYZホーム」、「間取り」又は「ファイナンス」のいずれにも含まれない場合のカテゴリである。
【0030】
なお、ここでは、説明の容易化のため、「XYZホーム」、「間取り」、「ファイナンス」及び「その他」の4つのカテゴリを用いて説明するが、発話解析装置1で処理の対象とするカテゴリの数は限定されない。また、説明で使用されるカテゴリも単なる例示であって限定されず、発話の話題に応じて自由に設定することが可能である。
【0031】
図4は、演算部112において、複数の発話データ121に関し、予め設定される複数の話題のカテゴリについて求められたカテゴリ尤度を表すグラフの一例である。演算部112は、各尤度を、事前に学習されたクラス分類モデルを用いて求めることができる。具体的には、クラス分類のクラスが、ここで説明する話題のカテゴリに相当する。
図4において、横軸は、発話データ121に付された「番号」であり、発話データの122の時系列を示すものである。また、縦軸は、演算部112で得られた「カテゴリ尤度」である。
【0032】
図4に示すような、発話データ121毎のカテゴリの遷移では、その変化が細かく全体としての話題の流れを特定しにくい。そのため、演算部112は、発話データ121毎よりも広い範囲で、カテゴリを特定し、話題の移り変わりを把握しやすくすることができる。
【0033】
演算部112は、求めたカテゴリ尤度を用いて話題のカテゴリを特定する。ここで、演算部112は、所定時tの話題のカテゴリを特定する際、所定時tの直前で、かつ、発話解析装置1における発話者20の発話の変化の可視化の対象である第1期間T1より短い第2期間T2の複数の発話データ121の尤度を用いて、第2期間T2の発話について所定のカテゴリに該当する可能性を特定する第2の尤度を求め、変化データ122として記憶部12で記憶させ、第2期間T2の話題のカテゴリを特定する。なお、以下では、必要に応じて「第1期間」を「発話期間」とし、「第2期間」を「時間窓」とし、「第2の尤度」を「積算尤度」として説明する。「時間窓」は、発話データ121の数や、経過時間で設定することができる。
【0034】
図4では、発話期間T1は、発話データ121の総数、277個に相当する期間であり、時間窓T2は、発話データ121の数、50個に相当する期間の一例である。例えば、番号「89」の時点での話題のカテゴリを特定するためには、時間窓T2に相当する、番号「40」~「89」の期間の発話データ121のカテゴリ尤度を用いる。
【0035】
具体的には、演算部112は、各カテゴリについて、時間窓T2を対象範囲として設定し、この対象範囲に含まれる各発話データ121に対して得られたそれぞれのカテゴリについて積算尤度を求める。また、演算部112は、各カテゴリについて得られた積算尤度のうち、値が最も大きいカテゴリをある発話番号時点の話題のカテゴリとして特定することができる。
【0036】
また、演算部112は、話題の鮮度に応じて設定された「鮮度重み値w1」を用いて、積算尤度を求めることができる。具体的には、
図5Aに示すように、鮮度重み値w1は、所定時tを基準として新しい発話データ121のカテゴリ尤度の重み(
図5A中の「w11」)を、古い発話データ121のカテゴリ尤度の重み(
図5A中の「w12」)よりも大きくする値である。例えば、ある期間である対象範囲において、より新しい発話については、その期間の話題のカテゴリである、或いは話題が推移している可能性が高く、古い発話については、その期間の話題のカテゴリである可能性は低い。したがって、演算部112において、鮮度重み値w1をその対象期間の話題の特定に利用することで、話題の特定の精度を向上させることができる。具体的には、仮に、時間窓T2として40番目から89番目の発話データ121の50個が設定されている場合、80番目の発話データから89番目の発話データから特定されるカテゴリ尤度は、40番目の発話データから49番目の発話データ121から特定されるカテゴリ尤度よりも、重みが大きく設定される。または、時間窓T2として「5分間」が設定される場合、所定時tの1分前から所定時tまでの発話データ121から特定されるカテゴリ尤度は、所定時tの5分前から所定時の4分前までの発話データ121から特定されるカテゴリ尤度よりも、重みが大きく設定される。
【0037】
さらに、演算部112は、話題の頻度に応じて設定された「頻度重み値w2」を用いて、積算尤度を求めることができる。具体的には、頻度重み値w2は、対象範囲に含まれる発話データ121のカテゴリ尤度が最も高いカテゴリの出現頻度について、
図5Bに示すように、出現頻度が高いカテゴリのカテゴリ尤度の重み(
図5B中の「w21」)を、出現頻度が低いカテゴリの尤度の重み(
図5B中の「w22」)よりも大きくする値である。例えば、時間窓T2の範囲において、何度も出現するカテゴリについては、その期間の話題のカテゴリである可能性が高く、一方、あまり出現しないカテゴリについては、その期間の話題のカテゴリである可能性は低い。したがって、演算部112において、頻度重み値w2をその対象期間の話題の特定に利用することで、話題の特定の精度を向上させることができる。具体的には、仮に、時間窓T2に50の発話データ121が含まれるとき、20回出現する話題の尤度は、2回しか出現しない話題の尤度よりも、重みが高く設定されカテゴリ尤度が大きくなる。演算部112は、時間窓T2の範囲における、各カテゴリの出現頻度(
図5B中の「w21」、「w22」)を上述のように算出する。
【0038】
例えば、演算部112は、以下の式(1)によりカテゴリ毎に、積算尤度Lc2を求めることができる。
【0039】
Lc2(i)=Σ(Lc(j)×w1)×w2 ・・・ (1)
ここで、式(1)に使用する各値はそれぞれ以下のように規定する。
c:カテゴリを特定する番号
i:対象範囲を特定する番号
Lc2(i):i番目の対象範囲の積算尤度
j:対象範囲の中で各発話データ121に付された番号
Lc(j):対象範囲の中でj番目の発話データ121のカテゴリ尤度
w1:鮮度重み値
w2:頻度重み値
なお、式(1)は、j=1からj=qまでの総和である。
【0040】
演算部112は、得られた各カテゴリの積算尤度Lc2に対し、正規化を施すことができる。また、演算部112は、正規化されたデータも記憶部12の変化データ122に追加することができる。これにより、ある発話の番号における各カテゴリが話題である確率として、
図6に示すようにも表わすことができる。演算部112は、例えば、正規化に、softmaxで確率を求める方法を利用することができる。こうして得られた確率Pc(i)を用い各発話の番号において、各カテゴリにその確率値をプロットすることで、
図6に示すように、話題の移り変わりを表すグラフを得ることができる。これにより、実際の会話における話題の移り変わりのように、滑らかな移り変わりとして話題の遷移状態を視覚化することができる。
【0041】
演算部112は、仮に、発話期間T1の開始から所定時tまでの期間t1が、時間窓T2に満たない場合(t1<T2の場合)、発話期間T1の開始から所定時tまでの発話データ121を含む範囲を対象範囲として設定し、この対象範囲の発話データ121のカテゴリ尤度で、同様に積算尤度を演算する。
図7に示す例を用いて、発話データ121の数「50」に相当する期間を時間窓T2とし、番号が「39」の時点を所定時とした場合の一例を説明する。この場合、発話期間T1の開始から所定時tまでの期間t1は、時間窓T2よりも短い、発話データ121の数「40」に相当する期間である。このような場合、例えば、発話期間T1の開始から所定時tまでの尤度を用いて積算尤度を求める。期間t1が、時間窓T2に満たない場合(t1<T2の場合)、尤度の積算値が小さくなるように重み付けをしてもよい。
【0042】
生成部113は、演算部112による特定結果を用いて、発話データ121に関する話題の変化を可視化した可視化データを生成する。ここで、生成部113は、複数の時間窓T2の話題の変化を可視化した可視化データを生成することができる。また、生成部113は、各分類の積算尤度が時系列表示されたグラフを含む可視化データを生成してもよい。具体的には、
図8に一例を示すような表示画面W1を表示させる可視化データを生成する。
図8に示す一例の表示画面W1は、積算尤度の変化を表すグラフを表示する表示部B11と、表示部B11で表示するグラフから得られた時系列変化を表示する表示部B12とを含む。
図8に示す表示画面W1により、利用者22は、発話者20の話が、「間取り」、「ファイナンス」、「その他」、「XYZホーム」、「ファイナンス」の順で変化したことが一見にして分かる。
【0043】
[1-2.動作]
図9及び
図10に示すフローチャートを用いて、発話解析装置1における発話データの発話解析処理について説明する。
図9に示すように、発話解析装置1では、例えば、発話者20が発話をするタイミングで、取得部111は、入力部13であるマイクロフォンを介して、発話データを取得し、時系列に付与される番号とともに発話データ121として記憶部12に記憶させる(S1)。
【0044】
また、演算部112は、ステップS1で記憶された各発話データ121について、カテゴリ毎にカテゴリ尤度を演算し、発話データ121に関連付けて記憶部12に記憶させる(S2)。
【0045】
その後、演算部112は、ステップS2で演算された各尤度を用いて、各発話データ121に含まれるカテゴリ尤度を用いて、話題のカテゴリを解析する解析処理を実行する(S3)。
【0046】
ステップS3の解析処理における具体的な処理の流れを
図10に示すフローチャートを用いて説明する。
図10に示すように、解析処理では、演算部112は、処理対象のカテゴリを選択する(S11)。例えば、「XYZホーム」、「間取り」、「ファイナンス」及び「その他」のそれぞれのカテゴリについて順に選択し、各カテゴリについて以降の処理を繰り返す。
【0047】
まず、演算部112は、ステップS11で選択されたカテゴリについて、積算尤度を算出対象である対象範囲を特定するため、iの値を0に初期化する(S12)。iは、発話データ121に付された番号を特定する値であり、iを初期化することで、選択されたカテゴリについて、発話データ121の0番目から順に対象範囲が設定される。また、以下では、対象範囲に含まれる発話データ121の数を「q」とする。
【0048】
また、演算部112は、Lc(-1)の値を0に設定する(S13)。Lc(i)は、S11で選択されたカテゴリについて、i番の発話データ121から求められた尤度であり、「-1」番の発話データ121は存在しないため、Lc(-1)も存在しないが、ステップS17の処理で使用する可能性があるため、ここで「0」に設定する。
【0049】
次に、演算部112は、iの値に応じて、積算尤度を演算するための対象範囲を設定する(S14)。このとき、演算部112は、番号「i」の発話データ121から順に、対象範囲内で新たな「1」からの番号「j」を設定する。
図4で上述したように、50の発話データ121を時間窓T2とする例では、「j」は、1~50までの番号を利用することになる。この場合、対象範囲の数qは、「50」である。
【0050】
具体的には、
図4で上述した例で、iが「0」であるとき、0番の発話データ121を所定時tとし積算尤度を演算するため、演算部112は、0番の発話データ121を対象範囲とする。この場合、jについては、iが「0」の発話データ121についてjは「1」となる。また、対象範囲の数qは、「1」である。
【0051】
また、
図4で上述したように、iが「89」であるとき、演算部112は、40~89番の発話データ121を対象範囲とする。この場合、jについては、iの「40」がjの「1」となり、iの「89」がjの「50」となるように、それぞれ設定される。
【0052】
さらに、
図7で上述したように期間t1が、時間窓T2に満たない場合(t1<T2の場合)、仮に、iが「39」であるとき、39番の発話データ121を所定時tとして積算尤度を演算するため、演算部112は、0~39番の発話データ121を対象範囲とする。この場合も、jについては、iの「0」がjの「1」となる。また、対象範囲の数qは、「40」である。
【0053】
その後、演算部112は、ステップS14で設定された対象範囲について、積算尤度を算出するため、jの値を1に初期化し、一時積算尤度Scの値を0に初期化する(S15)。jは、上述したように、対象範囲の中で発話データ121を特定する値である。jを初期化することで、対象範囲に含まれる各発話データ121の尤度Lc(j)を加算して、積算尤度Lc2(i)を求めることができる。また、一時積算尤度Scは、対象範囲で積算尤度Lc2(i)を求める計算経過において利用する値である。
【0054】
続いて、演算部112は、ステップS14で設定された対象範囲の各発話データ121のカテゴリ尤度Lcから、最尤推定で決定されるカテゴリは「その他」であるか否かを判定する(S16)。具体的には、演算部112は、この対象範囲の各カテゴリのカテゴリ尤度のうち、値の最も高いカテゴリは「その他」であるか否かを判定する。
【0055】
最尤推定で決定されるカテゴリが「その他」であるとき(S16でYES)、演算部112は、選択されたカテゴリに関し、番号「i-1」の発話データ121で管理される対象範囲の積算尤度Lc2(i-1)を、番号「i」の発話データ121で管理される対象範囲の積算尤度Lc2(i)に採用する(S17)。なお、仮に、iが「0」であるとき、ステップS13でL(-1)に設定した「0」を用いる。
【0056】
一方、最尤推定で決定されるカテゴリが「その他」でないとき(S16でNO)、演算部112は、一時積算尤度Scに、番号「j」の発話データ121のカテゴリ尤度Lc(j)を鮮度重み値w1で重みづけした値(Lc(j)×w1)を加算し、得られた値を、新たな一時積算尤度Scとする(S18)。例えば、鮮度重み値w1は、j/qで計算してもよい。
【0057】
新たな一時積算尤度Scを求めると、演算部112は、jの値をインクリメントする(S19)。その後、演算部112は、j≦qであるか否か判定する(S20)。
【0058】
j≦qであるとき(S20でYES)、対象範囲に含まれる全ての発話データ121について処理が終了していないため、演算部112は、ステップS18の処理に戻り、ステップS18~S20の処理を繰り返す。
【0059】
一方、j≦qでないとき(S20でNO)、対象範囲に含まれる全ての発話データ121について処理が終了したため、演算部112は、対象範囲において対象のカテゴリの最尤話題カテゴリ頻度Ncを求める(S21)。ここで、最尤話題カテゴリ頻度Ncとは、対象範囲の各発話データ121において、ステップS11で処理の対象として選択されたカテゴリの尤度が最も高い値となった回数である。例えば、「間取り」に関し処理がされているとき、対象範囲の中で、カテゴリ尤度Lc(j)が最も高くなった発話データ121の数が「20」であるとき、最尤話題カテゴリ頻度Ncは「20」となる。
【0060】
その後、演算部112は、一時積算尤度Scを、頻度重み値w2で重みづけした値(Sc×w2)を、対象範囲の積算尤度Lc2(i)とする(S22)。例えば、頻度重み値w2は、Nc/qで計算してもよい。
【0061】
演算部112は、積算尤度L2c(i)を求めると、正規化により、対象範囲に関する選択されたカテゴリの確率Pc(i)を求める(S23)。
【0062】
確率Pc(i)が得られると、演算部112は、iの値をインクリメントする(S24)。これにより、iの値が、次の対象範囲を特定するための値に設定される。
【0063】
続いて、演算部112は、終了タイミングであるか否かを判定する(S25)。終了するタイミングとは、全ての範囲について処理がされた場合であって、例えば、
図4に示すカテゴリ尤度の例では、一連の発話データ121について、時系列で最後の番号「276」の発話データ121についてまで、処理が終了した場合である。
【0064】
終了タイミングでないとき(S25でNO)、発話期間T1の全ての発話データ121について処理が終了していないため、演算部112は、ステップS14の処理に戻り、ステップS14~S25の処理を繰り返す。
【0065】
一方、終了タイミングであるとき(S25でNO)、発話期間T1の全ての発話データ121について処理が終了したため、全てのカテゴリについて、ステップS12~S25の処理が終了したか否かを判定する(S26)。
【0066】
全てのカテゴリについて処理が終了していない場合(S26でNO)、演算部112は、ステップS11に戻り、他のカテゴリを選択し、全てのカテゴリについて終了するまで、ステップS11~S25の処理を繰り返す。例えば、「XYZホーム」のカテゴリが終了すると、「間取り」を選択し、その後「ファイナンス」を選択し、最後に「その他」を選択して同様の処理を繰り返す。
【0067】
また、全てのカテゴリについてステップS11~S25の処理が終了した場合(S26でYES)、演算部112は、ステップS14で設定された全ての対象範囲について、積算尤度Lc2(i)を用いて最尤推定によって話題のカテゴリを特定する(S27)。また、カテゴリが特定されると(S27)、演算部112は、各カテゴリの積算尤度Lc2や確率Pc(i)が算出できたため、解析処理(
図9のステップS3)を終了する。
【0068】
図9に示すように、生成部113は、ステップS3の処理において各カテゴリについて、可視化データを生成する(S4)。
【0069】
また、表示処理部114は、ステップS4で生成された可視化データを、ディスプレイ等の出力部14に出力する(S5)。
【0070】
[1-3.効果等]
発話解析装置1では、このように、発話者20の発話を可視化させることができる。これにより、発話者20の発話についての評価を容易に実現することができる。また、別の発話者は、容易に、他人である発話者20の発話を参考にすることが可能となる。
【0071】
以上のように、本出願において開示する技術の例示として、上記実施形態を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施形態にも適用可能である。
【0072】
(他の実施形態)
上述の実施形態では、取得部111は、発話者20が発話をするタイミングで、発話データを取得する一例で説明したが、これに限定されない。例えば、取得部111は、ICレコーダー等の外部の音声データを録音装置から、発話者20の発話のタイミングで録音済みの発話データを、その後のタイミングで取得し、使用してもよい。また、取得部111は、チャットのようにテキスト文章で入力された発話文を取得し、使用してもよい。
【0073】
上述の実施形態では、発話解析装置1内の演算部112において、「カテゴリ尤度」を演算する一例で説明したが、これに限定されない。具体的には、発話解析装置1は、外部の演算装置で演算されたカテゴリ尤度を取得し、利用してもよい。
【0074】
発話解析装置1は、利用者22によって指定された期間を受け付ける受付部を備えてもよい。この場合、例えば、演算部112は、受付部として入力部13又は通信部15を介して期間を受け付け、利用者22によって指定された期間を時間窓T2として積算尤度を演算することができる。具体的には、発話者20又は発話者20の発話を解析等する第三者である利用者22が、対象とする発話に応じて自由に時間窓T2を設定可能にしてもよい。発話において、あるカテゴリの話題が長く続く場合、時間窓T2として設定する期間の長さによっては、話題の変化が検出しにくくなる。したがって、このように、適切な時間窓T2を設定することで、話題の変化の検出精度を向上させることができる。
【0075】
上述の実施形態では、
図10に示すように、先にステップS11で対象のカテゴリを選択し、選択されたカテゴリ毎にステップS14で対象範囲を設定し、順に設定される各対象範囲の積算尤度を求める方法を説明したがこれに限定されない。具体的には、結果的に各範囲について全てのカテゴリの積算尤度を求めることができればよい。例えば、
図11に示すように、先にステップS14で対象範囲を設定し、この対象範囲の中で、ステップS111で順にカテゴリを選択し、各カテゴリの積算尤度を求める方法でもよい。この場合、
図11に示すように、演算部112は、ステップS23でPc(i)が求められると、全てのカテゴリについてステップS15~S23の処理が終了したか否かを判定する(S127)。
【0076】
生成部113は、記憶部12に記憶される複数の発話者20の発話データ121を用いて、第1の発話者20の発話データ121から生成された可視化データと、第1の発話者20とは別の第2の発話者の発話データ121から生成された可視化データとを比較した比較データを生成してもよい。
図12は、第1の発話者20の発話データ121の可視化データを表示する表示部B21と、第2の発話者の発話データ121の可視化データを表示する表示部B22とを含む表示画面W2の一例である。
図12に示すように、二人分の可視化データが比較可能に表示画面W2で表示されるため、二人分の長時間の発話データを音声で確認したり、スクリプト化されたデータで確認したりすることなく、利用者22は、各発話者の話題を一見にして比較できる。例えば、二人分の可視化データを並列表示することにより、利用者22は、どのような説明の方法、具体的には、話の流れが効果的であるかを比較しやすくすることができる。このとき、
図13に示すように、生成部113は、分析結果を表示する表示部B23を含む表示画面W3を表示させる可視化データを生成してもよい。
【0077】
生成部113は、発話データのうち、所定の言い回し等のテキストを含む可視化データを生成してもよい。
図14は、発話者の発話データ121から得られた積算尤度の変化を表すグラフを表示する表示部B41と、「間取り」のカテゴリの話題から抽出された言い回しが表示される表示部B42と、「ファイナンス」のカテゴリの話題から抽出された言い回しが表示される表示部B43とを含む表示画面W5の一例である。例えば、表示部B42や表示部B43に含まれる言い回しのテキストデータは、音声データや音声データがテキスト化されたデータから、当該カテゴリの中で他の発話データと比較して尤度の高い発話データ又は所定値よりも尤度の高い発話データや、特定の単語が含まれる文章を抽出することで生成される。
図14に示すように、表示画面では、複数の言い回しが表示されるため、例えば、利用者22は、他者である発話者20の可視化データを参考にし、その発話者20が使用する言い回しを、自身が今後使用する言い回しを検討することができる。例えば、説明の仕方が分からない事柄について、他者である発話者20の言い回しを真似することで、顧客21に分かり易く説明することができるようになる。
【0078】
生成部113は、発話データ121がテキスト化されたデータを、当該発話データ121から得られた尤度の降順で並べ、尤度の高いもののうち所定数(例えば、10)を含む可視化データを生成してもよい。
図15は、発話者20の発話データ121から得られた積算尤度の変化を表すグラフを表示する表示部B51と、あるカテゴリに関する尤度の高い順で発話データ121のテキストを表示する表示部B62と、各テキストの尤度を表示する表示部B53とを含む表示画面W5の一例である。表示部B52で表示するテキスト及び表示部B53で表示する尤度は、利用者が表示を希望するカテゴリの選択を切り替えることで、変更される。したがって、利用者は、希望のカテゴリについて、尤度の高い発話データ121を確認することができる。ここで、生成部113は、予めキーワードとして設定される単語について、他の文字とフォント、文字サイズ、色等を変えることで、強調して表示されるような可視化データを生成してもよい。これにより、利用者22は、他者である発話者20の言い回しを真似することで、顧客に分かり易く説明することができるようになる。
【0079】
《実施形態の概要》
(1)本開示の発話解析装置は、第1期間における発話者の発話の変化を可視化する発話解析装置であって、発話者の発話データを時系列の順番で取得する取得部と、取得部で取得した発話データが各カテゴリに該当する可能性を特定する値である複数の第1の尤度を用いて、発話の変化を解析する演算部と、演算部で得られた発話の変化を可視化した可視化データを表示させる表示処理部とを備え、演算部は、第1期間より短い第2期間における複数の発話データの第1の尤度を積算して第2の尤度をカテゴリ毎に求め、表示処理部により表示される可視化データは、異なる複数の第2期間における各カテゴリの第2の尤度の変化により発話の変化を表す。
【0080】
これにより、発話者の発話の話題の推移が可視化させることができる。したがって、利用者は、可視化された情報を用いて、発話者の発話を評価したり、発話者の発話を自身の今後の発話の参考にすることができる。
【0081】
(2)(1)の演算部は、所定時の直前の第2期間に取得された複数の発話データの第1の尤度を積算して求めた各カテゴリの第2の尤度により、当該所定時のカテゴリを特定し、時系列において連続的に得られる複数の所定時のカテゴリをそれぞれ特定し、表示処理部に表示させる可視化データは、時系列における複数の所定時のカテゴリ間の変化を、話題の変化として可視化したデータであってもよい。
【0082】
これにより、短期の発話データではなく、その前の所定期間の発話データを考慮することが可能となり、話題の推移を緩やかな変化として表すことができる。
【0083】
(3)(2)又は(2)の演算部は、カテゴリ毎に、第2期間に含まれる発話データから得られた第1の尤度を積算して第2の尤度を求め、得られた各カテゴリの第2の尤度のうち、値が最も大きいカテゴリを第2期間の話題のカテゴリとして特定してもよい。
【0084】
これにより、短期の発話データではなく、その前の所定期間の発話データを考慮することが可能となり、話題の推移を緩やかな変化として表すことができる。
【0085】
(4)(3)の演算部は、第2期間に出現する頻度が高い程、大きな値に設定される第1の重み値を用いて、第2の尤度を求めてもよい。
【0086】
これにより、所定期間内での頻度を考慮してカテゴリを特定することが可能となり、一連の発話データのカテゴリ尤度の変化を考慮することが可能となり、適切な変化を表すことができる。
【0087】
(5)(3)又は(4)の演算部は、所定時に近い程、大きな値に設定される第2の重み値を用いて、前記第2の尤度を求めてもよい。
【0088】
これにより、所定期間内での鮮度を考慮してカテゴリを特定することが可能となり、一連の発話データのカテゴリ尤度の変化を考慮することが可能となり、適切な変化を表すことができる。
【0089】
(6)(2)~(5)の発話解析装置は、第1期間の開始から所定時までの期間が、第2期間に満たない場合、演算部は、第1期間の開始から当該所定時までの期間の発話データを用いて前記第2の尤度を演算してもよい。
【0090】
これにより、発話の開始から所定の間の話題の特定については、発話データが不足する場合であっても、ある程度長い期間の発話データを使用することが可能となり、適切な変化を表すことができる。
【0091】
(7)(1)~(6)の発話解析装置は、ユーザから指定された期間を受け付ける受付部を備え、演算部は、受付部が受け付けた期間を第2期間として第2の尤度を求めてもよい。
【0092】
これにより、ユーザが第2期間を設定可能となるため、ユーザにとって最適な情報を提供することができる。
【0093】
(8)(1)~(7)の表示処理部が表示させる可視化データは、各カテゴリの第2の尤度が時系列で表わされたグラフを含んでもよい。
【0094】
これにより、話題の遷移が把握しやすく表示され、利用者に話題の遷移を容易に把握させることができる。
【0095】
(9)(1)~(7)の表示処理部が表示させる可視化データは、発話データに含まれる発話のテキストデータを含んでもよい。
【0096】
これにより、利用者に、話題の遷移とともに、発話の話題を把握させることができる。
【0097】
(10)(1)~(7)の表示処理部が表示させる前記可視化データは、第1の発話者の発話データから生成された可視化データと、第2の発話者の発話データから生成された可視化データとを比較した比較データでもよい。
【0098】
これにより、利用者に、複数の発話者の発話の話題を比較しやすくさせることができる。
【0099】
(11)(1)~(10)の演算部は、前記発話データ毎に、各カテゴリに関する第1の尤度を演算してもよい。
【0100】
これにより、発話解析装置内で第1の尤度を算出することができるため、ネットワークの負荷に依存せずに処理することができる。
【0101】
(12)本開示の可視化方法は、第1期間における発話者の発話の変化を可視化する発話解析方法であって、取得部が、発話者の発話データを時系列の順番で取得するステップと、演算部が 取得した発話データが各カテゴリに該当する可能性を特定する値である複数の第1の尤度を用いて、発話の変化を解析するステップと、表示処理部が、得られた発話の変化を可視化した可視化データを表示させるステップとを含み、演算部は、第1期間より短い第2期間における複数の発話データの第1の尤度を積算して第2の尤度をカテゴリ毎に求め、表示処理部により表示される前記可視化データは、異なる複数の第2期間における各カテゴリの第2の尤度の変化により発話の変化を表す発話解析方法。
【0102】
これにより、発話者の発話の話題の推移が可視化させることができる。したがって、利用者は、可視化された情報を用いて、発話者の発話を評価したり、発話者の発話を自身の今後の発話の参考にすることができる。
(13)本開示のプログラムは、コンピュータに、(12)の方法を実現させる。
【0103】
これにより、発話者の発話の話題の推移が可視化させることができる。したがって、利用者は、可視化された情報を用いて、発話者の発話を評価したり、発話者の発話を自身の今後の発話の参考にすることができる。
【0104】
本開示の全請求項に記載の発話解析装置、発話解析方法及びプログラムは、ハードウェア資源、例えば、プロセッサ、メモリ、及びプログラムとの協働などによって、実現される。
【産業上の利用可能性】
【0105】
本開示の発話解析装置、可視化方法及びプログラムは、例えば、会話することにより営業に従事する者、何らかの講義を行う講師、コールセンター等で質問に対して回答する回答者等の発話者によって、ある期間、発話がされた場合に、その発話を評価したり、他者がその発話の話題を参考にしたりする場合に有用である。
【符号の説明】
【0106】
1 発話解析装置
11 制御部
111 取得部
112 演算部
113 生成部
114 表示処理部
12 記憶部
121 発話データ
122 変化データ