特許 7354992 発言評価システム、発言評価方法、及び、プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-09-25

(45)【発行日】2023-10-03

(54)【発明の名称】発言評価システム、発言評価方法、及び、プログラム

(51)【国際特許分類】

   G06F 16/60 20190101AFI20230926BHJP

   G06F 3/01 20060101ALI20230926BHJP

【ＦＩ】

G06F16/60

G06F3/01 590

【請求項の数】 9

(21)【出願番号】P 2020192345

(22)【出願日】2020-11-19

(65)【公開番号】P2022081050

(43)【公開日】2022-05-31

【審査請求日】2022-09-20

(73)【特許権者】

【識別番号】000003207

【氏名又は名称】トヨタ自動車株式会社

(74)【代理人】

【識別番号】100103894

【弁理士】

【氏名又は名称】家入 健

(72)【発明者】

【氏名】菅田 光留

【審査官】三橋 竜太郎

(56)【参考文献】

【文献】特開２０１６－１５７３８８（ＪＰ，Ａ）

【文献】特開２０１６－１０３０８１（ＪＰ，Ａ）

【文献】特開２０２０－０８６８５３（ＪＰ，Ａ）

【文献】特開２０１１－２２１６８３（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ １６／００－１６／９５８

Ｇ０６Ｆ ３／０１－３／０４８９５

(57)【特許請求の範囲】

【請求項1】

複数の参加者から構成されるコミュニケーションにおいて、発言毎に当該発言に対する評価値を求める発言評価システムであって、
前記複数の参加者のそれぞれに装着され、各々が少なくとも集音部を含むセンサを有する、複数のウェアラブル端末と、
前記複数のウェアラブル端末の集音部の出力値に基づいて、前記コミュニケーションにおける発言を検出すると共に、検出した発言に対応するウェアラブル端末を特定する発言検出部と、
前記発言検出部が検出した発言毎に、当該発言の開始タイミングと終了タイミングを検出する発言期間検出部と、
前記発言検出部が検出した発言毎に、当該発言の前記開始タイミング以降であって前記終了タイミングよりも前である第１のタイミングから、当該発言の前記終了タイミングよりも後である第２のタイミングまでの間の発言評価対象期間における、当該発言に対応したウェアラブル端末以外のウェアラブル端末の前記センサの出力値に基づいて、当該発言に対する評価値を算出する評価値算出部と、
を備えた、
発言評価システム。

【請求項2】

請求項１に記載の発言評価システムであって、
前記第２のタイミングは、対応する発言の前記終了タイミングから所定時間経過したタイミングに設定される、
発言評価システム。

【請求項3】

請求項１に記載の発言評価システムであって、
前記第２のタイミングは、対応する発言に続く他の発言が開始したタイミングに設定される、
発言評価システム。

【請求項4】

請求項１に記載の発言評価システムであって、
前記第２のタイミングは、対応する発言の前記終了タイミングから所定時間経過したタイミングに設定され、
対応する発言の前記終了タイミングから所定時間経過する前に、対応する発言に続いて他の発言が開始した場合、前記第２のタイミングは、対応する発言に続く他の発言が開始したタイミングに設定される、
発言評価システム。

【請求項5】

請求項１から４までの何れか１項に記載の発言評価システムであって、
前記センサは、加速度センサを含む、
発言評価システム。

【請求項6】

請求項５に記載の発言評価システムであって、
前記評価値算出部は、前記加速度センサの出力値が、対応するウェアラブル端末を装着した参加者の首を縦に振る動作を示す場合、対応する発言に対する評価値が高まるように評価値を算出する、
発言評価システム。

【請求項7】

請求項５に記載の発言評価システムであって、
前記評価値算出部は、前記加速度センサの出力値が、対応するウェアラブル端末を装着した参加者の首を横に振る動作を示す場合、対応する発言に対する評価値が低まるように評価値を算出する、
発言評価システム。

【請求項8】

複数の参加者から構成されるコミュニケーションにおいて、発言毎に当該発言に対する評価値を求める発言評価方法であって、
前記複数の参加者のそれぞれには、各々が少なくとも集音部を含むセンサを有する、複数のウェアラブル端末が装着されており、
コンピュータが、前記複数のウェアラブル端末の集音部の出力値に基づいて、前記コミュニケーションにおける発言を検出すると共に、検出した発言に対応するウェアラブル端末を特定することと、
前記コンピュータが、検出した発言毎に、当該発言の開始タイミングと終了タイミングを検出することと、
前記コンピュータが、検出した発言毎に、当該発言の前記開始タイミング以降であって前記終了タイミングよりも前である第１のタイミングから、当該発言の前記終了タイミングよりも後である第２のタイミングまでの間の発言評価対象期間における、当該発言に対応したウェアラブル端末以外のウェアラブル端末の前記センサの出力値に基づいて、当該発言に対する評価値を算出すること、
を含む、
発言評価方法。

【請求項9】

コンピュータに、請求項８に記載の発言評価方法を実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、発言評価システム、発言評価方法、及び、プログラムに関する。

【背景技術】

【0002】

複数の参加者から構成されるコミュニケーションにおいては、複数の参加者の個々の発言の中で特に聞き手が納得するような重要な発言を抽出したいというニーズがある。

【0003】

この種の技術として、特許文献１は、複数のユーザが参加する会話コミュニケーションにおいて、特定の話し手が装着したウェアラブル端末を用いて、特定の話し手が会話している間に聞き手が頷いた回数をカウントし、聞き手の頷き回数を特定の話し手の会話時間で割った値に基づいて、特定の話し手に対する聞き手受容度Rcを算出している（段落００８０、００９３）。そして、聞き手受容度Rcが高いほど、その会話が聞き手に受け入れられたとしている。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１６－１０３０８１号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

特許文献１の技術には、発言に対する評価の検出精度について改善の余地が残されている。

【0006】

本発明の目的は、複数の参加者から構成されるコミュニケーションにおいて、発言毎に当該発言に対する評価値を精度良く求める技術を提供することにある。

【課題を解決するための手段】

【0007】

本願発明の第１の観点によれば、複数の参加者から構成されるコミュニケーションにおいて、発言毎に当該発言に対する評価値を求める発言評価システムであって、前記複数の参加者のそれぞれに装着され、各々が少なくとも集音部を含むセンサを有する、複数のウェアラブル端末と、前記複数のウェアラブル端末の集音部の出力値に基づいて、前記コミュニケーションにおける発言を検出すると共に、検出した発言に対応するウェアラブル端末を特定する発言検出部と、前記発言検出部が検出した発言毎に、当該発言の開始タイミングと終了タイミングを検出する発言期間検出部と、前記発言検出部が検出した発言毎に、当該発言の前記開始タイミング以降であって前記終了タイミングよりも前である第１のタイミングから、当該発言の前記終了タイミングよりも後である第２のタイミングまでの間の発言評価対象期間における、当該発言に対応したウェアラブル端末以外のウェアラブル端末の前記センサの出力値に基づいて、当該発言に対する評価値を算出する評価値算出部と、を備えた、発言評価システムが提供される。以上の構成によれば、発言中の聞き手の反応に加えて発言に対して遅れて発生した聞き手の反応も当該発言に対する評価値の算出に反映されるので、発言毎に、当該発言に対する評価値を精度良く求めることができる。
好ましくは、前記第２のタイミングは、対応する発言の前記終了タイミングから所定時間経過したタイミングに設定される。以上の構成によれば、前記第２のタイミングを設定するのに要する演算が簡素となるので、前記第２のタイミングを低コストに設定することができる。
好ましくは、前記第２のタイミングは、対応する発言に続く他の発言が開始したタイミングに設定される。以上の構成によれば、他の発言に対する反応を除外して評価値を算出できるので、対応する発言に対する評価値を精度よく求めることができる。
好ましくは、前記第２のタイミングは、対応する発言の前記終了タイミングから所定時間経過したタイミングに設定され、対応する発言の前記終了タイミングから所定時間経過する前に、対応する発言に続いて他の発言が開始した場合、前記第２のタイミングは、対応する発言に続く他の発言が開始したタイミングに設定される。以上の構成によれば、対応する発言の前記終了タイミングから所定時間経過する前に、対応する発言に続いて他の発言が開始しなかった場合は、前記第２のタイミングを低コストに設定することができるし、対応する発言の前記終了タイミングから所定時間経過する前に、対応する発言に続いて他の発言が開始した場合は、他の発言に対する反応を除外して評価値を算出できるので、対応する発言に対する評価値を精度よく求めることができる。
好ましくは、前記センサは、加速度センサを含む。
好ましくは、前記評価値算出部は、前記加速度センサの出力値が、対応するウェアラブル端末を装着した参加者の首を縦に振る動作を示す場合、対応する発言に対する評価値が高まるように評価値を算出する。
好ましくは、前記評価値算出部は、前記加速度センサの出力値が、対応するウェアラブル端末を装着した参加者の首を横に振る動作を示す場合、対応する発言に対する評価値が低まるように評価値を算出する。
本願発明の第２の観点によれば、複数の参加者から構成されるコミュニケーションにおいて、発言毎に当該発言に対する評価値を求める発言評価方法であって、前記複数の参加者のそれぞれには、各々が少なくとも集音部を含むセンサを有する、複数のウェアラブル端末が装着されており、前記複数のウェアラブル端末の集音部の出力値に基づいて、前記コミュニケーションにおける発言を検出すると共に、検出した発言に対応するウェアラブル端末を特定することと、検出した発言毎に、当該発言の開始タイミングと終了タイミングを検出することと、検出した発言毎に、当該発言の前記開始タイミング以降であって前記終了タイミングよりも前である第１のタイミングから、当該発言の前記終了タイミングよりも後である第２のタイミングまでの間の発言評価対象期間における、当該発言に対応したウェアラブル端末以外のウェアラブル端末の前記センサの出力値に基づいて、当該発言に対する評価値を算出すること、を含む、発言評価方法が提供される。以上の方法によれば、発言中の聞き手の反応に加えて発言に対して遅れて発生した聞き手の反応も当該発言に対する評価値の算出に反映されるので、発言毎に、当該発言に対する評価値を精度良く求めることができる。
また、コンピュータに、上記の発言評価方法を実行させるためのプログラムが提供される。

【発明の効果】

【0008】

本発明によれば、発言中の聞き手の反応に加えて発言に対して遅れて発生した聞き手の反応も当該発言に対する評価値の算出に反映されるので、発言毎に、当該発言に対する評価値を精度良く求めることができる。

【図面の簡単な説明】

【0009】

【図1】発言評価システムの概略図である。

【図2】ウェアラブル端末の機能ブロック図である。

【図3】送信データの構成を例示する図である。

【図4】評価装置の機能ブロック図である。

【図5】評価装置に蓄積された送信データを示す図である。

【図6】検出された発言と同調割合を示す図である。

【図7】強調処理に用いられる単調増加関数を示すグラフである。

【図8】検出された発言とｆ（ｐ）値を示す図である。

【図9】評価データの構成を例示する図である。

【図10】発言評価システムの制御フローである。

【図11】強調処理に用いられるステップ関数を示すグラフである。

【発明を実施するための形態】

【0010】

以下、発明の実施形態を通じて本発明を説明するが、特許請求の範囲に係る発明を以下の実施形態に限定するものではない。また、実施形態で説明する構成の全てが課題を解決するための手段として必須であるとは限らない。説明の明確化のため、以下の記載及び図面は、適宜、省略、及び簡略化がなされている。各図面において、同一の要素には同一の符号が付されており、必要に応じて重複説明は省略されている。

【0011】

図１には、発言評価システム１の概略図を示している。発言評価システム１は、複数の参加者２から構成されるコミュニケーションにおいて、発言毎に当該発言に対する評価値を求めるシステムである。発言評価システム１は、複数のウェアラブル端末３と評価装置４を含む。

【0012】

本実施形態において、同一のコミュニケーションを構成する参加者２の人数は３人としているが、これに限定されず、２人でもよいし、４人以上でもよく、例えば１０人でもよい。コミュニケーションは、典型的には、各人の発言によって成立する会話形式のコミュニケーションである。この種のコミュニケーションは、例えば、討論会、座談会、研修会である。ただし、コミュニケーションは、参加者全員が同じ現実の空間に集合して行われるものに限らず、オンライン上の仮想の空間に集合して行われるものも含み得る。

【0013】

（ウェアラブル端末３）
図１に示すように、複数のウェアラブル端末３は、それぞれ、複数の参加者２に装着されて用いられる。即ち、一人の参加者２が１つのウェアラブル端末３を装着する。本実施形態において、ウェアラブル端末３は、参加者２の上半身に着るトップスに着脱可能なバッジであって、好ましくは鳩尾（みぞおち）よりも上に取り付けられる。ただし、ウェアラブル端末３は、バッジであることに代えて、ヘッドセットやイヤホン、メガネ、ネックレス、ペンダント等であってもよい。

【0014】

図２には、各ウェアラブル端末３の機能ブロック図を示している。図２に示すように、ウェアラブル端末３は、端末ＩＤ情報記憶部１０と、マイクロフォン１１と、加速度センサ１２と、を含む。ウェアラブル端末３は、更に、中央演算処理器としてのCPU３ａ（Central Processing Unit）と、読み書き自由のRAM３ｂ（Random Access Memory）、読み出し専用のROM３ｃ（Read Only Memory）を備えている。そして、CPU３ａがROM３ｃに記憶されている制御プログラムを読み出して実行することで、制御プログラムは、CPU３ａなどのハードウェアを、時刻カウント部１３、送信データ生成部１４、データ送受信部１５として機能させる。各ウェアラブル端末３は、データ送受信部１５を介して評価装置４と双方向無線通信可能とされている。

【0015】

端末ＩＤ情報記憶部１０は、対応するウェアラブル端末３を他のウェアラブル端末３から識別するための端末ＩＤ情報を記憶する。端末ＩＤ情報は、典型的には、ウェアラブル端末３に固有のＭＡＣアドレスが挙げられる。しかし、端末ＩＤ情報は、ウェアラブル端末３の起動時に評価装置４によって設定される数字、文字、またはそれらの組み合わせであってもよい。本実施形態において端末ＩＤ情報は、ウェアラブル端末３の起動時に評価装置４によって設定される自然数としている。

【0016】

マイクロフォン１１は、集音部の一具体例であって、対応するウェアラブル端末３の周囲の音を電圧値に変換し、送信データ生成部１４に出力する。

【0017】

加速度センサ１２は、対応するウェアラブル端末３の３軸加速度を電圧値に変換し、送信データ生成部１４に出力する。対応するウェアラブル端末３を装着した参加者２が首を『縦』に振った場合、参加者２の上体がロール軸（左肩と右肩を結ぶ軸に対して平行な軸）まわりで屈曲と伸展を繰り返す。従って、この場合、加速度センサ１２の出力値のうち鉛直成分値が所定範囲内で増減を繰り返すように変動する。一方、対応するウェアラブル端末３を装着した参加者２が首を『横』に振った場合、参加者２の上体がヨー軸（背骨が延びる方向に対して平行な軸）まわりで捻転を繰り返す。従って、この場合、加速度センサ１２の出力値のうち水平成分値に対応する出力値が所定範囲内で増減を繰り返すように変動する。

【0018】

マイクロフォン１１及び加速度センサ１２は、対応するウェアラブル端末３を装着した参加者２の言動を検出するためのセンサ１６を構成する。ただし、加速度センサ１２は省略してもよい。

【0019】

時刻カウント部１３は、時刻データを有し、所定の方法により初期化された時刻データを所定の周期でインクリメントすると共に、時刻データを送信データ生成部１４に出力する。時刻カウント部１３が有する時刻データは、典型的には、評価装置４から受信した時刻データによって初期化される。これに代えて、時刻カウント部１３が有する時刻データは、対応するウェアラブル端末３が評価装置４及びインターネットを介してネットワークタイムプロトコル（Ｎｅｔｗｏｒｋ Ｔｉｍｅ Ｐｒｏｔｏｃｏｌ、ＮＴＰ）にアクセスして最新の時刻データを取得することによって初期化してもよい。

【0020】

送信データ生成部１４は、図３に示す送信データ１４ａを所定のインターバルで生成する。図３に示すように、送信データ１４ａは、端末ＩＤ情報と、時刻データと、音声データと、加速度データと、を含む。所定のインターバルは、典型的には１秒である。音声データは、時刻データが示す時刻から１秒経過するまでのマイクロフォン１１の出力値である。同様に、加速度データは、時刻データが示す時刻から１秒経過するまでの加速度センサ１２の出力値である。

【0021】

図２に戻り、データ送受信部１５は、送信データ１４ａを評価装置４に送信する。本実施形態においてデータ送受信部１５は、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の近距離無線通信により、評価装置４に送信データ１４ａを送信する。しかし、これに代えて、データ送受信部１５は、有線通信により、評価装置４に送信データ１４ａを送信してもよい。また、データ送受信部１５は、インターネット等のネットワークを介して、評価装置４に送信データ１４ａを送信してもよい。

【0022】

（評価装置４）
図４は、評価装置４の機能ブロック図を示している。図４に示すように、評価装置４は、中央演算処理器としてのCPU４ａ（Central Processing Unit）と、読み書き自由のRAM４ｂ（Random Access Memory）、読み出し専用のROM４ｃ（Read Only Memory）を備えている。そして、CPU４ａがROM４ｃに記憶されている制御プログラムを読み出して実行することで、制御プログラムは、CPU４ａなどのハードウェアを、データ送受信部２０、データ記憶部２１、発言検出部２２、発言期間検出部２３、同調割合算出部２４、強調処理部２５、評価値算出部２６、評価値出力部２７、として機能させる。

【0023】

データ送受信部２０は、各ウェアラブル端末３から送信データ１４ａを受信し、受信した送信データ１４ａをデータ記憶部２１に蓄積する。図５は、データ記憶部２１に蓄積された送信データ１４ａを示している。図５に示すように、データ記憶部２１には、各ウェアラブル端末３から受信した送信データ１４ａが受信した順番のまま蓄積される。

【0024】

図４に戻り、発言検出部２２は、複数のウェアラブル端末３のマイクロフォン１１の出力値に基づいて、コミュニケーションにおける発言を検出すると共に、検出した発言に対応するウェアラブル端末３を特定する。

【0025】

具体的には、発言検出部２２は、データ記憶部２１に蓄積された音声データを分析し、ある時刻における複数の送信データ１４ａの何れか１つの送信データ１４ａの音声データが所定値を超えている場合、当該ある時刻においてコミュニケーションにおいて発言があったと検出すると共に、当該送信データ１４ａの端末ＩＤ情報を参照することで、検出した発言に対応するウェアラブル端末３を特定する。

【0026】

図６は、発言検出部２２が検出した発言ａ、発言ｂ、発言ｃ、発言ｄを例示している。図６の横軸は時間である。発言検出部２２は、発言ａ、発言ｂ、発言ｃ、発言ｄを互いに重複なく、この記載順で検出している。発言ａ及び発言ｃは、端末ＩＤ：１のウェアラブル端末３を装着した参加者２による発言である。同様に、発言ｂは、端末ＩＤ：２のウェアラブル端末３を装着した参加者２による発言であり、発言ｄは、端末ＩＤ：３のウェアラブル端末３を装着した参加者２による発言である。

【0027】

なお、発言検出部２２が発言を検出すると共に、検出した発言に対応するウェアラブル端末３を特定する方法は、上記の方法に限られない。

【0028】

例えば、ある時刻における複数の送信データ１４ａの何れか１つの送信データ１４ａの音声データが同時刻の他の送信データ１４ａの音声データよりも所定量以上大きい場合、当該ある時刻においてコミュニケーションにおいて発言があったと検出すると共に、当該送信データ１４ａの端末ＩＤ情報を参照することで、検出した発言に対応するウェアラブル端末３を特定することができる。

【0029】

また、発言検出部２２は、発言を検出するための前処理として、音声データに含まれる定常ノイズを除去するようにしてもよい。定常ノイズとは、例えば、エアコンの稼働音や周囲のざわつきに起因するノイズである。また、発言検出部２２は、発言を検出するための前処理として、音声データに含まれる非定常ノイズを除去するようにしてもよい。非定常ノイズとは、コミュニケーションに参加していない非参加者の突発的な大声やドアの開閉に起因する物音に起因するノイズである。このような非定常ノイズは、ある時刻における複数の送信データ１４ａの音声データにほとんど同じレベルで現れる性質を有する。

【0030】

図４に戻り、発言期間検出部２３は、発言検出部２２が検出した発言毎に、当該発言の開始タイミングと終了タイミングを検出する。図６の例では、発言ａの開始タイミングは時刻ｔ１であり、終了タイミングは時刻ｔ２である。発言ｂの開始タイミングは時刻ｔ４であり、終了タイミングは時刻ｔ５である。発言ｃの開始タイミングは時刻ｔ６であり、終了タイミングは時刻ｔ７である。発言ｄの開始タイミングは時刻ｔ８であり、終了タイミングは時刻ｔ９である。なお、本明細書において『タイミング』は、時間軸上のある時点を特定する概念であるが、時分秒から構成される時刻であってもよいし、時間の経過と共にインクリメントされる単なる自然数であってもよい。従って、本明細書において『タイミング』は単に『時刻』と読み替えてもよい。

【0031】

図４に戻り、同調割合算出部２４は、所定の時間区間毎に同調割合を算出する。ここで、同調割合とは、複数の聞き手のうち頷いた聞き手の人数を聞き手全員の人数で割ることで求められる割合であって、０以上１以下の値である。所定の時間区間は、例えば５秒間である。この時間区間が過大であると、異なるタイミングでの頷き動作であっても同じタイミングでの頷き動作として取り扱ってしまうので、発言に対する同調動作を過大評価してしまう。この時間区間が過小であると、ほとんど同じタイミングでの頷き動作であっても異なるタイミングでの頷き動作として取り扱ってしまうので、発言に対する同調動作を過小評価してしまう。

【0032】

同調割合算出部２４は、まず、図５に示す蓄積された送信データ１４ａを参照して、発言ａの最中における同調割合を算出する。即ち、同調割合算出部２４は、ｔ１から５秒経過するまでの間に、端末ＩＤ：２に対応する送信データ１４ａの加速度データを分析し、端末ＩＤ：２に対応するウェアラブル端末３を装着した参加者２が頷き動作をしたか判定する。加速度データから頷き動作の有無を判定する具体例は以下の通りである。

【0033】

即ち、同調割合算出部２４は、時刻ｔ１から５秒経過するまでの間の加速度データの鉛直成分値を抽出し、抽出した鉛直成分値の平均値と標準偏差を算出し、標準偏差が所定の値よりも小さく、平均値から所定量離れた鉛直成分値が単発的に存在する場合、時刻ｔ１から５秒経過するまでの間に端末ＩＤ：２に対応するウェアラブル端末３を装着した参加者２が頷き動作をしたと判定する。端末ＩＤ：３についても同様である。同調割合算出部２４は、上記の同調割合の算出を時刻ｔ１から５秒経過した後も同様に繰り返し、発言ａ以外の発言があった時刻ｔ４で終了する。

【0034】

同調割合算出部２４が頷き動作の有無を判定するに際し、加速度データの鉛直成分値の標準偏差が所定の値よりも小さいことを前提条件とすることで、参加者２の歩行動作や姿勢の変更といった頷き動作以外の大きな動作に起因するノイズを除去することができる。

【0035】

図６の例では、時刻ｔ１から時刻ｔ２にかけて、同調割合は０付近から一度急上昇し、一旦降下した後、再度上昇している。同調割合は、時刻ｔ２の前後で一定に推移し、その後、時刻ｔ４に至る前にほぼゼロに戻っている。

【0036】

なお、図６の例では、聞き手の人数が２人だけであるので、本来であれば同調割合は０、０．５、１．０の何れかの値となる。しかしながら、理解促進のため、あたかも聞き手の人数が３０人程度であるかの如く、同調割合を緩やかに変化させている。

【0037】

次に、同調割合算出部２４は、発言ｂの最中における同調割合を算出する。即ち、同調割合算出部２４は、時刻ｔ４から５秒経過するまでの間に、端末ＩＤ：１に対応する送信データ１４ａの加速度データを分析し、端末ＩＤ：１に対応するウェアラブル端末３を装着した参加者２が頷き動作をしたか判定する。端末ＩＤ：３についても同様である。同調割合算出部２４は、上記の同調割合の算出を時刻ｔ４から５秒経過した後も同様に繰り返し、発言ｂ以外の発言があった時刻ｔ６で終了する。

【0038】

図６の例では、時刻ｔ４から時刻ｔ５にかけて同調割合は０．５未満で推移し、時刻ｔ５前後ではほぼ０を示している。

【0039】

同調割合算出部２４は、時刻ｔ６以降の同調割合についても同様に算出する。

【0040】

なお、同調割合算出部２４が頷き動作の有無を判定する他の方法としては、送信データ１４ａから所定の時間区間毎に鉛直成分値を抽出し、抽出した鉛直成分値を学習済みの畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎ Ｎｅｕｒａｌ ＮｅｔｗｏｒｋＣＮＮ）に入力し、畳み込みニューラルネットワークの出力値が所定値以上であった場合、当該時間区間において、当該ウェアラブル端末３を装着した参加者２が頷き動作をしたと判定するようにしてもよい。また、同調割合算出部２４が頷き動作の有無を判定する他の方法としては、送信データ１４ａから所定の時間区間毎に鉛直成分値を抽出し、抽出した鉛直成分値の様々な特徴量（最大値と最小値との差分、分散値、周波数分布など）を算出し、算出した特徴量を学習済みのサポートベクターマシン（support vector machine, SVM）に入力し、その出力値を用いてもよい。

【0041】

図４に戻り、強調処理部２５は、同調割合算出部２４が算出した同調割合に対して、同調割合の高低を強調する強調処理を行う。強調処理には、例えば、単調増加関数である下記式（１）を使用し得る。ここで、ｐは同調割合を示し、ｋは調整パラメータである。

【0042】

【数1】

【0043】

図７には、強調処理部２５による強調処理で用いられる上記式（１）のグラフであって、横軸は同調割合であり、縦軸はｆ（ｐ）値を示す。調整パラメータｋが大きいほど、ｆ（ｐ）値が描く曲線はグラフ上では右下に向かて鋭い凸となる曲線となる。上記式（１）による強調処理によれば、聞き手のほとんどが一斉に頷き動作をした場合、ｆ（ｐ）値は大きな値となり、聞き手が異なるタイミングで散発的に頷き動作をした場合、ｆ（ｐ）値は小さな値となる。このような強調処理により、聞き手のほとんどが一斉に頷き動作をするような重要な発言を相対的に重要でない発言と比較して際立たせることができる。

【0044】

図８には、強調処理後のｆ（ｐ）値を示している。図８によれば、聞き手のほとんどが一斉に頷き動作をしなかった場合、ある程度の聞き手が頷き動作をした時間区間であっても、その時間区間におけるｆ（ｐ）値が半減或いはゼロに近い値に圧縮される。

【0045】

評価値算出部２６は、発言検出部２２が検出した発言毎に、当該発言に対応する発言評価対象期間としての評価期間を設定すると共に、当該発言に対する評価値を算出する。

【0046】

（発言ａ）
具体的には、評価値算出部２６は、発言ａに対応する評価期間の開始タイミング（第１のタイミング）を、発言ａの開始タイミングである時刻ｔ１以降であって終了タイミングである時刻ｔ２よりも前に設定する。本実施形態において評価値算出部２６は、発言ａに対応する評価期間の開始タイミングを、発言ａの開始タイミングである時刻ｔ１に設定する。なお、発言の開始直後の頷き動作は必ずしも当該発言に対する頷き動作であるとは限らず、当該発言の直前の発言に対する頷き動作である可能性がある。従って、発言ａに対する頷き動作と、発言ａの直前の発言に対する頷き動作と、をうまく切り分けるために、評価値算出部２６は、発言ａに対応する評価期間の開始タイミングを、発言ａの開始タイミングである時刻ｔ１から所定時間経過したタイミングに設定してもよい。

【0047】

また、評価値算出部２６は、発言ａに対する評価期間の終了タイミング（第２のタイミング）を、発言ａの終了タイミングである時刻ｔ２から所定時間経過したタイミングである時刻ｔ３に設定する。ここで、所定時間は、例えば、５秒から１５秒の範囲とすることが好ましく、本実施形態では１５秒としている。

【0048】

そして、評価値算出部２６は、発言ａに対応する評価期間におけるｆ（ｐ）値を合算することで、発言ａに対する評価値を算出する。

【0049】

（発言ｂ）
評価値算出部２６は、同様の方法により、発言ｂに対応する評価期間の開始タイミングを時刻ｔ４に設定する。

【0050】

一方、図８によれば、発言ｂの終了タイミングである時刻ｔ５から上記所定時間が経過する前に発言ｃが開始している。従って、発言ｂに対応する評価期間の終了タイミングを、発言ａに対応する評価期間の終了タイミングと同様に時刻ｔ５から上記所定時間経過したタイミングに設定すると、発言ｃに対する頷き動作を発言ｂに対する頷き動作として取り扱ってしまう虞がある。従って、この場合、評価値算出部２６は、発言ｂに対応する評価期間の終了タイミングは、発言ｃが開始した時刻ｔ６に設定する。

【0051】

図８の例では、発言ｂの最中のｆ（ｐ）値は極めて低調だったものの、発言ｃが開始するやいなや大きなある程度大きなｆ（ｐ）値が観測されている。恐らくは、時刻ｔ６直後のある程度大きなｆ（ｐ）値は、発言ｂによるものではなく発言ｃによるものだと考えられる。従って、上記の通り発言ｂに対応する評価期間の終了タイミングを発言ｃが開始した時刻ｔ６に設定したことで、発言ｂを過大評価することを免れている。

【0052】

そして、評価値算出部２６は、発言ｂに対応する評価期間におけるｆ（ｐ）値を合算することで、発言ｂに対する評価値を算出する。

【0053】

（発言ｃ）
評価値算出部２６は、発言ｂと同様の方法により、発言ｃに対応する評価期間の開始タイミングと終了タイミングを設定し、発言ｃに対応する評価期間におけるｆ（ｐ）値を合算することで、発言ｃに対する評価値を算出する。

【0054】

（発言ｄ）
評価値算出部２６は、発言ａと同様の方法により、発言ｄに対応する評価期間の開始タイミングと終了タイミングを設定し、発言ｄに対応する評価期間におけるｆ（ｐ）値を合算することで、発言ｄに対する評価値を算出する。

【0055】

そして、評価値算出部２６は、図９に示すように、発言検出部２２が検出した発言を、当該発言の開始時刻、音声データ、及び、当該発言に対する評価値と関連付けてデータ記憶部２１に評価データとして格納する。発言に対する評価値は、当該発言の重要度を示す有力な指標となり得る。

【0056】

そして、評価値出力部２７は、評価データを所望の方法により出力する。

【0057】

複数の参加者２は、出力された評価データを参照することにより、コミュニケーションにおいて重要と思われる高評価な発言の音声データを短時間で簡単に入手することができる。従って、コミュニケーションの議事録を作成しようとする参加者２にとっては、高評価な発言の音声データを優先的に視聴することにより、より短時間でコミュニケーションの内容を反芻することができ、より短時間で的確な議事録を作成することができる。

【0058】

以下、図１０を参照して、発言評価システム１の動作を説明する。

【0059】

S100:
まず、評価装置４は、複数の参加者２で構成されるコミュニケーションが開始したか判定する。コミュニケーションが開始していないと判定した場合は（S100:NO）、評価装置４は、S100を繰り返す。一方、コミュニケーションが開始したと判定した場合は（S100:YES）、評価装置４は、処理をS110に進める。例えば、評価装置４と複数のウェアラブル端末３との通信が確立した場合、評価装置４は、コミュニケーションが開始したと判定することができる。

【0060】

S110:
次に、データ送受信部２０は、複数のウェアラブル端末３から送信データ１４ａを受信してデータ記憶部２１に蓄積する。

【0061】

S120:
次に、評価装置４は、複数の参加者２で構成されるコミュニケーションが終了したか判定する。コミュニケーションが終了していないと判定した場合は（S120:NO）、評価装置４は、処理をS110に戻す。一方、コミュニケーションが終了したと判定した場合は（S120:YES）、評価装置４は、処理をS130に進める。例えば、評価装置４と通信状態にあったすべてのウェアラブル端末３と評価装置４との通信が切断された場合、評価装置４は、コミュニケーションが終了したと判定することができる。

【0062】

S130:
次に、発言検出部２２は、データ記憶部２１に蓄積された送信データ１４ａを参照して、コミュニケーションにおける発言を検出すると共に、検出した発言に対応するウェアラブル端末３を特定する。

【0063】

S140:
次に、発言期間検出部２３は、発言検出部２２が検出した発言毎に、当該発言の開始タイミングと終了タイミングを検出する。

【0064】

S150:
次に、同調割合算出部２４は、所定の時間区間毎に同調割合を算出する。

【0065】

S160:
次に、強調処理部２５は、同調割合算出部２４が算出した同調割合に対して、同調割合の高低を強調する強調処理を行う。

【0066】

S170:
次に、評価値算出部２６は、発言検出部２２が検出した発言毎に、当該発言に対応する評価期間を設定すると共に、当該発言に対する評価値を算出する。

【0067】

S180:
そして、評価値出力部２７は、評価データを所望の方法により出力する。

【0068】

以上に、本願発明の好適な実施形態を説明したが、上記実施形態は、以下の特徴を有する。

【0069】

即ち、複数の参加者２から構成されるコミュニケーションにおいて、発言毎に当該発言に対する評価値を求める発言評価システム１は、複数のウェアラブル端末３と、発言検出部２２と、発言期間検出部２３と、評価値算出部２６と、を備える。

【0070】

複数のウェアラブル端末３は、複数の参加者２のそれぞれに装着され、各々が少なくともマイクロフォン１１（集音部）を含むセンサ１６を有する。発言検出部２２は、複数のウェアラブル端末３のマイクロフォン１１の出力値に基づいて、コミュニケーションにおける発言を検出すると共に、検出した発言に対応するウェアラブル端末３を特定する。発言期間検出部２３は、発言検出部２２が検出した発言毎に、当該発言の開始タイミングと終了タイミングを検出する。評価値算出部２６は、発言検出部２２が検出した発言毎に、当該発言の開始タイミング以降であって終了タイミングよりも前である第１のタイミングから、当該発言の終了タイミングよりも後である第２のタイミングまでの間の評価期間（発言評価対象期間）における、当該発言に対応したウェアラブル端末３以外のウェアラブル端末３の加速度センサ１２の出力値に基づいて、当該発言に対する評価値を算出する。以上の構成によれば、発言中の聞き手の反応に加えて発言に対して遅れて発生した聞き手の反応も当該発言に対する評価値の算出に反映されるので、発言毎に、当該発言に対する評価値を精度良く求めることができる。

【0071】

また、第２のタイミングは、対応する発言の終了タイミングから所定時間経過したタイミングに設定される。例えば、図８の時刻ｔ３や時刻ｔ１０を参照されたい。以上の構成によれば、第２のタイミングを設定するのに要する演算が簡素となるので、第２のタイミングを低コストに設定することができる。

【0072】

また、第２のタイミングは、対応する発言に続く他の発言が開始したタイミングに設定される。例えば、図８の時刻ｔ６や時刻ｔ８を参照されたい。以上の構成によれば、他の発言に対する反応を除外して評価値を算出できるので、対応する発言に対する評価値を精度よく求めることができる。

【0073】

また、第２のタイミングは、対応する発言の終了タイミングから所定時間経過したタイミングに設定され（時刻ｔ３や時刻ｔ１０を参照）、対応する発言の終了タイミングから所定時間経過する前に、対応する発言に続いて他の発言（発言ｃや発言ｄ）が開始した場合、第２のタイミングは、対応する発言に続く他の発言が開始したタイミングに設定される。例えば、図８の時刻ｔ６や時刻ｔ８を参照されたい。以上の構成によれば、対応する発言の終了タイミングから所定時間経過する前に、対応する発言に続いて他の発言が開始しなかった場合は、第２のタイミングを低コストに設定することができるし、対応する発言の終了タイミングから所定時間経過する前に、対応する発言に続いて他の発言が開始した場合は、他の発言に対する反応を除外して評価値を算出できるので、対応する発言に対する評価値を精度よく求めることができる。

【0074】

評価値算出部２６は、加速度センサ１２の出力値が、対応するウェアラブル端末３を装着した参加者の首を縦に振る動作を示す場合、対応する発言に対する評価値が高まるように評価値を算出する。即ち、首を縦に振る動作は同調行為とみなせるので、対応する発言は相対的に高評価であるとみなすことができる。

【0075】

上記の実施形態は以下のように変更できる。

【0076】

上記実施形態では、同調割合算出部２４は、加速度データの鉛直成分値を抽出し、抽出した鉛直成分値に基づいて参加者２の頷き動作を検出している。しかし、これに代えて、又は、これに加えて、加速度データの水平成分値を抽出し、抽出した水平成分値に基づいて参加者２の首を横に振る動作、即ち拒否動作を検出するようにしてもよい。首を横に振る動作は、頷き動作、即ち、首を縦に振る動作と対照的な動作であって、発言に対して否定的で不同意な意思表示を示唆する。この場合、同調割合算出部２４は、頷き動作と拒否動作が相殺するように同調割合を算出してもよい。従って、例えば、コミュニケーションに参加している参加者２の人数が１０人であり、ある時間区間において、そのうち８人が頷き動作をし、残りの２人が拒否動作をした場合、同調割合算出部２４は、当該ある時間区間における同調割合を（８－２）／１０＝０．６と算出してもよい。要するに、評価値算出部２６は、加速度センサ１２の出力値が、対応するウェアラブル端末３を装着した参加者の首を横に振る動作を示す場合、対応する発言に対する評価値が低まるように評価値を算出してもよい。

【0077】

上記実施形態では、各ウェアラブル端末３が加速度センサ１２を備え、同調割合算出部２４は、各ウェアラブル端末３の加速度センサ１２の出力値に基づいて、同調割合を算出している。しかし、加速度センサ１２は省略することができる。この場合、同調割合算出部２４は、各ウェアラブル端末３のマイクロフォン１１の出力値に基づいて、同調割合を算出する。例えば、各ウェアラブル端末３のマイクロフォン１１が「なるほど」「確かに」「その通りだ」などの同調を示唆する発声を拾った場合、同調割合算出部２４は、当該発声を頷き動作と同等の同調表現とみなして同調割合を算出することができる。

【0078】

また、評価装置４をクラウドシステム上で構築し、各ウェアラブル端末３がインターネットを経由して評価装置４と通信するようにしてもよい。また、評価装置４が実行する情報処理は、複数の装置によって分散処理されてもよい。

【0079】

また、例えば、図７に示すように、上記実施形態において強調処理部２５は、同調割合算出部２４が算出した同調割合に対して同調割合の高低を強調する強調処理を行うに際し単調増加関数を用いた。しかし、これに代えて、図１１に示すように、強調処理部２５は、同調割合算出部２４が算出した同調割合に対して同調割合の高低を強調する強調処理を行うに際し、下記式（２）で示すステップ関数を用いてもよい。

【0080】

【数2】

【0081】

上述の例において、プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）を含む。非一時的なコンピュータ可読媒体の例は、更に、ＣＤ－ＲＯＭ（Read Only Memory）、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭを含む。非一時的なコンピュータ可読媒体の例は、更に、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（random access memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。

【0082】

各ウェアラブル端末３が有する機能の一部を評価装置４が発揮するようにしてもよく、評価装置４が有する機能の一部を何れかのウェアラブル端末３が発揮するようにしてもよい。

【符号の説明】

【0083】

１ 発言評価システム
２ 参加者
３ ウェアラブル端末
４ 評価装置
１０ 端末ＩＤ情報記憶部
１１ マイクロフォン
１２ 加速度センサ
１３ 時刻カウント部
１４ 送信データ生成部
１４ａ 送信データ
１５ データ送受信部
１６ センサ
２０ データ送受信部
２１ データ記憶部
２２ 発言検出部
２３ 発言期間検出部
２４ 同調割合算出部
２５ 強調処理部
２６ 評価値算出部
２７ 評価値出力部
ａ 発言
ｂ 発言
ｃ 発言
ｄ 発言

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】