特許 7521328 コミュニケーションシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-07-16

(45)【発行日】2024-07-24

(54)【発明の名称】コミュニケーションシステム

(51)【国際特許分類】

   G06F 3/01 20060101AFI20240717BHJP

   G10L 25/84 20130101ALI20240717BHJP

   G10L 15/10 20060101ALI20240717BHJP

   G06F 3/16 20060101ALI20240717BHJP

【ＦＩ】

G06F3/01 510

G10L25/84

G10L15/10 500Z

G06F3/16 610

【請求項の数】 1

(21)【出願番号】P 2020142792

(22)【出願日】2020-08-26

(65)【公開番号】P2022038344

(43)【公開日】2022-03-10

【審査請求日】2023-07-18

(73)【特許権者】

【識別番号】000003207

【氏名又は名称】トヨタ自動車株式会社

(74)【代理人】

【識別番号】100103894

【弁理士】

【氏名又は名称】家入 健

(72)【発明者】

【氏名】菅田 光留

【審査官】槙 俊秋

(56)【参考文献】

【文献】特許第６５６５５００（ＪＰ，Ｂ２）

【文献】特許第４８７８４６８（ＪＰ，Ｂ２）

【文献】特許第６２８５３７７（ＪＰ，Ｂ２）

【文献】特許第６４００４４５（ＪＰ，Ｂ２）

【文献】特許第４９３４１５８（ＪＰ，Ｂ２）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ ３／０１

Ｇ０６Ｆ ３／０４８－３／０４８９５

Ｇ０６Ｆ ３／１６

Ｇ１０Ｌ １３／００

Ｇ１０Ｌ １９／００－９９／００

Ｇ１０Ｌ １５／１０－１７／２６

Ｇ１０Ｌ ２５／８４

(57)【特許請求の範囲】

【請求項1】

センサを有する複数のウェアラブル端末と、
前記複数のウェアラブル端末を用いて取得した情報に基づき、前記ウェアラブル端末を装着した複数のユーザ間のコミュニケーションの状態を処理する処理装置と、
を備えたコミュニケーションシステムにおいて、
前記コミュニケーションシステムは、カメラでの撮影を不要とし、
前記ウェアラブル端末は、前記ユーザの発話及び加速度を検知し、
前記処理装置は、
前記加速度から前記ユーザの頷きを判定するポジティブ動作判定部と、
前記発話の重要度を算出する重要度算出部と、
を有し、
前記重要度算出部は、
発話者の周囲の前記ユーザのうち、前記ポジティブ動作判定部によって判定された前記頷きであって、前記発話者の発話に対して前記周囲の人が同調を示したタイミングにおける前記頷きによって、ポジティブな反応を示す前記頷いている人の割合を、前記同調の前記タイミングが分かる所定の時間区間ごとに算出し、
算出した前記割合が大きいほどに、前記割合の値が、前記タイミングとして強調される処理であって、前記頷いている人の割合を変数としてｐとし、前記強調される処理を行う関数としてｆ（ｐ）とした場合に、ｐとして２つの値ｐ１及び値ｐ２がｐ１＜ｐ２のときにｆ（ｐ１）＜ｆ（ｐ２）又はｆ（ｐ１）≦ｆ（ｐ２）となる値ｐ１及び値ｐ２が存在する関数によって前記強調される処理を行った後に、
前記周囲が納得した量を示す総和であって、前記発話の期間に渡って各時間区間における前記強調される処理が行われた前記値の前記総和を求めることによって、前記発話の重要度を算出し、
前記重要度は、前記発話の時間区間ごとにおける前記周囲の前記頷きの回数を示した頷き率が高いほど高くなり、かつ前記総和が大きいほど大きくなる、
コミュニケーションシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、コミュニケーションシステムに関し、例えば、ウェアラブル端末を用いたコミュニケーションシステムに関する。

【背景技術】

【0002】

特許文献１には、ある発言に対する周囲の反応から、その発言の重要度に係る情報を出力する会話分析装置が記載されている。特許文献１の会話分析装置は、より具体的には、話しを聞いている受け手に対して、マイクや撮像手段を用いて取得した情報を元に、音声分析や表情分析などを組み合わせ、話し手に対する受容度（納得度）を評価している。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１６－１０３０８１号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１の会話分析装置は、撮像手段及び表情分析による画像情報を用いるので、情報処理コストが高い。このような情報処理コストの高い画像情報を用いず、且つ、そうであっても検出精度の低下を抑制して、ユーザの周囲とのコミュニケーション参加度合いを検出し、発話者の発話の重要度を算出できるコミュニケーションシステムを実現したいという課題がある。

【0005】

本発明は、そのような課題を解決するためになされたものであり、情報処理コストを低減させつつも算出精度の低下を抑制して、発話者の発話の重要度を算出できるコミュニケーションシステムを提供する。

【課題を解決するための手段】

【0006】

本実施形態に係るコミュニケーションシステムは、センサを有する複数のウェアラブル端末と、前記複数のウェアラブル端末を用いて取得した情報に基づき、前記ウェアラブル端末を装着した複数のユーザ間のコミュニケーションの状態を処理する処理装置と、を備え、前記ウェアラブル端末は、前記ユーザの発話及び加速度を検知し、前記処理装置は、前記加速度から前記ユーザの頷きを判定するポジティブ動作判定部と、発話者の発話に対して、前記発話者の周囲の前記ユーザのうち、頷いている人の割合を、所定の時間区間ごとに算出し、算出した前記割合が大きいほどに値が強調される処理を行った後に、前記発話の期間に渡って各時間区間における前記値の総和を求めることにより、前記発話の重要度を算出する重要度算出部と、を有する。このような構成により、情報処理コストを低減させつつも算出の精度の低下を抑制して、発話者の発話の重要度を算出できる。

【発明の効果】

【0007】

本実施形態によれば、情報処理コストを低減させつつも算出精度の低下を抑制して、発話者の発話の重要度を算出するコミュニケーションシステムを提供することができる。

【図面の簡単な説明】

【0008】

【図1】実施形態１に係るコミュニケーションシステムを例示したブロック図である。

【図2】実施形態１に係るコミュニケーションシステムにおいて、発話者を判定した場合に、発話者の発話に対して、発話者の周囲のユーザのうち、頷いている人の割合を所定の時間区間ごとに算出した結果を例示したグラフであり、横軸は、時間を示し、縦軸は、発話者の周囲の頷いている人の割合を示す。

【図3】実施形態１に係るコミュニケーションシステムにおいて、値を強調する処理で用いる関数を例示したグラフであり、横軸は、頷いている人の割合を示し、縦軸は、関数の値を示す。

【図4】実施形態１に係るコミュニケーションシステムにおいて、値を強調する処理で用いる関数を例示したグラフであり、横軸は、頷いている人の割合を示し、縦軸は、関数の値を示す。

【図5】実施形態１に係るコミュニケーションシステムにおいて、算出した割合が高いほどに値が強調される処理を行った結果を例示したグラフであり、横軸は、時間を示し、縦軸は、割合の値を示す。

【図6】実施形態１に係るコミュニケーションシステムにおいて、発話の重要度算出方法を例示したフローチャート図である。

【図7】実施形態２に係るコミュニケーションシステムにおいて、値を強調する処理で用いる関数を例示したグラフであり、横軸は、頷いている人の割合を示し、縦軸は、関数の値を示す。

【図8】実施形態２に係るコミュニケーションシステムにおいて、発話者を判定した場合に、発話者の発話に対して、発話者の周囲のユーザのうち、頷いている人の割合を所定の時間区間ごとに算出した結果を例示したグラフであり、横軸は、時間を示し、縦軸は、発話者の周囲の頷いている人の割合を示す。

【発明を実施するための形態】

【0009】

以下、発明の実施形態を通じて本発明を説明するが、特許請求の範囲に係る発明を以下の実施形態に限定するものではない。また、実施形態で説明する構成の全てが課題を解決するための手段として必須であるとは限らない。説明の明確化のため、以下の記載及び図面は、適宜、省略、及び簡略化がなされている。各図面において、同一の要素には同一の符号が付されており、必要に応じて重複説明は省略されている。

【0010】

（実施形態１）
実施形態１に係るコミュニケーションシステムを説明する。図１は、実施形態１に係るコミュニケーションシステムを例示したブロック図である。図１に示すように、コミュニケーションシステム１は、複数のウェアラブル端末１０と、処理装置２０と、を備えている。まず、コミュニケーションシステム１において、ウェアラブル端末１０及び処理装置２０の各構成を説明する。その後、コミュニケーションシステム１の動作を説明する。

【0011】

＜ウェアラブル端末＞
ウェアラブル端末１０は、ユーザに装着される。例えば、１人のユーザは、１つのウェアラブル端末１０を装着する。よって、複数のウェアラブル端末１０は、複数のユーザに装着される。図では、３個のウェアラブル端末１０が示されているが、これに限らず、ウェアラブル端末１０は、２個でもよいし、４個以上でもよい。ウェアラブル端末１０を装着したユーザを、「装着者」、または、単に、「ユーザ」と呼ぶ場合がある。

【0012】

ウェアラブル端末１０は、例えば、バッジである。なお、ウェアラブル端末１０は、ユーザに装着されるものであれば、バッジに限らず、ヘッドセット、イヤホン、メガネ、ネックレス、ペンダント等でもよい。ウェアラブル端末１０は、センサ１１を有する。

【0013】

センサ１１は、ウェアラブル端末１０を装着したユーザの物理情報を検知する。例えば、センサ１１は、ユーザの発声を検知するマイクを含む。また、センサ１１は、ユーザの動きを検知する加速度センサを含む。これにより、ウェアラブル端末１０は、ユーザの発話及び加速度を検知する。

【0014】

各ウェアラブル端末１０は、図示しない送受信器を有している。各ウェアラブル端末１０は、無線または有線の通信回線により、処理装置２０に接続されている。例えば、各ウェアラブル端末１０は、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の近距離無線通信により、処理装置２０と通信可能に接続されてもよい。各ウェアラブル端末１０は、インターネット等のネットワークを介して、処理装置２０に接続されてもよい。各ウェアラブル端末１０は、通信回線を介して、処理装置２０に検知した情報を送信する。また、各ウェアラブル端末１０は、通信回線を介して、処理装置２０から、制御信号等の情報を受信する。

【0015】

また、各ウェアラブル端末１０は、時刻を同期させてもよい。例えば、各ウェアラブル端末１０は、インターネットに接続した処理装置２０から、ネットワークタイムプロトコル（Ｎｅｔｗｏｒｋ Ｔｉｍｅ Ｐｒｏｔｏｃｏｌ、ＮＴＰ）の時刻を受信して、時刻を同期させてもよい。

【0016】

各ウェアラブル端末１０は、無線または有線の通信回線により、相互に接続されてもよい。各ウェアラブル端末１０は、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の近距離無線通信により、相互に通信可能に接続されてもよいし、インターネット等のネットワークを介して、相互に接続されてもよい。各ウェアラブル端末１０は、ウェアラブル端末１０同士で相互に各種の情報を送受信してもよい。処理装置２０は、各ウェアラブル端末１０間の近距離無線通信により、各ウェアラブル端末１０間の距離を取得してもよい。

【0017】

＜処理装置＞
処理装置２０は、無線または有線の通信回線により各ウェアラブル端末１０に接続されている。処理装置２０は、例えば、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）、サーバ（Ｓｅｒｖｅｒ）、スマートフォン等の情報処理装置である。処理装置２０は、インターネット経由で各ウェアラブル端末１０が取得した情報を収集できるように、クラウド上に設けられてもよい。

【0018】

処理装置２０は、例えば、算出処理、制御処理等を行うＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＣＰＵによって実行される演算プログラム、制御プログラム等が記憶されたＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、各種のデータなどを記憶するＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、外部と信号の入出力を行うインターフェイス部（Ｉ／Ｆ）、などからなるマイクロコンピュータを中心にして、ハードウェアで構成されてもよい。ＣＰＵ、ＲＯＭ、ＲＡＭ及びインターフェイス部は、データバスなどを介して相互に接続されている。

【0019】

処理装置２０は、複数のウェアラブル端末１０を用いて取得した情報に基づき、ウェアラブル端末１０を装着した複数のユーザ間のコミュニケーションの状態を処理する。処理装置２０は、具体的には、記憶部２１と、発話判定部２２と、ポジティブ動作判定部２３と、重要度算出部２４と、を有している。以下で、処理装置２０の各構成を説明する。

【0020】

＜記憶部＞
記憶部２１は、ウェアラブル端末１０のセンサ１１が検知した情報を記憶する。記憶部２１は、例えば、センサ１１が検知した発話の音声データ、及び、センサ１１が検知した加速度データ等を記憶する。記憶部２１は、発話判定部２２が判定した結果、及び、ポジティブ動作判定部２３が判定した結果を記憶する。さらに、記憶部２１は、重要度算出部２４が算出した重要度の結果、及び、重要度算出部２４が重要度の算出に用いる数式、パラメータ等を記憶する。

【0021】

＜発話判定部＞
発話判定部２２は、発話者を判定する。発話者を判定する方法は、以下に示すいくつかの例が挙げられる。例えば、発話判定部２２は、センサ１１により検知された音圧の大きさが閾値を超えているかどうかで発話者を判定してもよい。また、例えば、発話判定部２２は、まず、近距離無線通信等を用いて取得したウェアラブル端末１０間の距離をもとに、距離が近い複数のユーザで仮想的にグループを形成する。その上で、その仮想的なグループの中で音圧が一番大きく、さらに、他のユーザの音圧よりも一定以上の差をもっている一人を発話者と判定してもよい。

【0022】

さらに、発話者の判定精度を向上させる方法として、発話判定部２２は、発話者かどうか判定する対象の対象ウェアラブル端末１０のセンサ１１が取得した音声データに発話区間がある場合には、対象ウェアラブル端末１０を装着したユーザを発話者と判定する。

【0023】

具体的には、発話判定部２２は、対象ウェアラブル端末１０のセンサ１１が取得した音声データにおいて、音圧が定常ノイズの閾値よりも小さい区間を、定常ノイズの影響を反映した第１非発話区間と判定する。定常ノイズは、周囲の環境から由来する音であって、エアコンの稼働音や周囲のざわつき等、一定の範囲内で音圧が継続的に発生しているものである。

【0024】

発話判定部２２は、対象ウェアラブル端末１０のセンサ１１が取得した音声データにおいて、音圧が、定常ノイズの閾値以上であり、対象ウェアラブル端末１０から所定距離内に位置する比較ウェアラブル端末１０のセンサ１１が取得した音声データの音圧と類似する場合には、突発的な非定常ノイズの影響を反映した第２非発話期間と判定する。突発的な非定常ノイズは、ウェアラブル端末１０を装着したユーザの発声以外に由来する音であって、周囲の人の突発的な大声や、大きな物音等、突発的に発声するものである。

【0025】

発話判定部２２は、対象ウェアラブル端末１０のセンサ１１が取得した音声データにおいて、音圧が、定常ノイズの閾値以上であり、比較ウェアラブル端末１０の音圧と類似せず、比較ウェアラブル端末１０までの距離に応じて減少すべき閾値よりも小さい場合には、他者の発話が混入した第３非発話区間と判定する。

【0026】

そして、発話判定部２２は、対象ウェアラブル端末１０のセンサ１１が取得した音声データにおいて、第１～第３非発話区間以外の区間を、対象ウェアラブル端末１０を装着したユーザが発話した発話区間と判定する。このようにして、発話判定部２２は、対象ウェアラブル端末１０のユーザが発話者かどうか判定する。なお、発話者を判定する方法は、上記の方法に限らない。また、上述した発話者を判定する方法をいくつか組み合わせてもよい。

【0027】

＜ポジティブ動作判定部＞
ポジティブ動作判定部２３は、発話者の発話に対して、ポジティブな反応動作を判定する。ポジティブな動作は、例えば、ウェアラブル端末１０を装着したユーザの「頷き」である。よって、ポジティブ動作判定部２３は、ユーザの加速度からユーザの頷きを判定する。なお、ポジティブな動作は、頷きに限らず、拍手等でもよい。

【0028】

ポジティブ動作判定部２３は、以下のような方法で、「頷き」を判定する。例えば、ポジティブ動作判定部２３は、センサ１１が取得したＸＹＺ直交座標軸における加速度の時系列データのうち、鉛直方向の値を所定の時間区間ごとに抽出する。そして、その時間区間の平均値と標準偏差を算出する。算出した標準偏差が所定の値よりも小さい場合に、その時間区間で頷きが発生したと判定する。ただし、この場合には、歩行や姿勢変更といった大きな動作を伴わないことが必要条件である。また、ポジティブ動作判定部２３は、算出した平均値から、所定の偏差よりも外れている点が存在する場合に、その時間区間で頷きが発生したと判定してもよい。ただし、単発的な鉛直方向の動作が出ることが必要条件である。

【0029】

また、「頷き」を判定する別の方法として、ポジティブ動作判定部２３は、センサ１１が取得したＸＹＺ直交座標軸における加速度の時系列データを、所定の時間区間ごとに抽出する。その時間区間の値を深層学習の畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎ Ｎｅｕｒａｌ ＮｅｔｗｏｒｋＣＮＮ）にかけ、出力値が所定の値以上であれば、その区間で頷きが発生したと判定してもよい。

【0030】

＜重要度算出部＞
重要度算出部２４は、発話者の発話の重要度を算出する。重要度算出部２４は、例えば、（Ｉ）所定の時間区間ごとにポジティブ動作をしている人の割合を算出する、（ＩＩ）ポジティブ動作をしている人の割合が高いほど値が強調される処理を行う、（ＩＩＩ）発話に渡って各時間区間の値の総和を求めることにより、発話の重要度を算出する、の処理を行う。

【0031】

（Ｉ）では、重要度算出部２４は、発話者の発話に対して、発話者の周囲のユーザのうち、頷いている人の割合を、所定の時間区間ごとに算出する。例えば、所定の時間区間として、５秒を設定する。所定の時間区間は、頷きの同調が分かる程度の時間区間とすることが好ましい。この時間区間を、大きくしすぎると、異なるタイミングでの頷きも同じタイミングであると判定される可能性がある。また、この時間区間を、小さくしすぎると、本来は、同じ発話に対して複数人が頷いていても、タイミングが少し異なるだけで、別のタイミング、すなわち、同調でないと判定される可能性がある。

【0032】

図２は、実施形態１に係るコミュニケーションシステムにおいて、発話者を判定した場合に、発話者の発話に対して、発話者の周囲のユーザのうち、頷いている人の割合を所定の時間区間ごとに算出した結果を例示したグラフであり、横軸は、時間を示し、縦軸は、発話者の周囲の頷いている人の割合を示す。図２の上段には、発話者Ａの発話の期間も示す。図２に示すように、発話判定部２２が発話者Ａを判定した場合に、発話者Ａの発話に対して、周囲の頷いている人の割合は、所定の時間区間ごとに増減を示す。

【0033】

次に、（ＩＩ）では、重要度算出部２４は、頷いている人の割合が高いほど、割合の値が強調される処理を行う。割合の値を強調させる処理では、例えば、単調増加関数である以下の（１）式の関数を使用する。ここで、ｐは、頷いている人の割合を示し、ｋは、強調の度合いを調整するパラメータである。

【0034】

【数1】

【0035】

図３及び図４は、実施形態１に係るコミュニケーションシステムにおいて、値を強調する処理で用いる関数を例示したグラフであり、横軸は、頷いている人の割合を示し、縦軸は、関数の値を示す。図３及び図４において、強調度合いを調整するパラメータｋは、それぞれ３及び６の場合である。図３及び図４に示すように、パラメータｋが大きいほど、頷いている人の割合が大きい場合に値が強調されるようになる。

【0036】

図５は、実施形態１に係るコミュニケーションシステムにおいて、算出した割合が高いほどに値が強調される処理を行った結果を例示したグラフであり、横軸は、時間を示し、縦軸は、割合の値を示す。図５に示すように、頷いている人の割合が大きいほど、割合の値が強調される。

【0037】

次に、（ＩＩＩ）では、重要度算出部２４は、発話者Ａの発話に渡って、算出した各時間区間の値の総和を求めることにより、発話者Ａの発話の重要度を算出する。発話者Ａの発話に渡って、求めた値の総和は、発話者Ａの発話に周囲が納得した量を示す。総和が大きいほど、発話の重要度は大きいことになる。このようにして、発話者Ａの発話の重要度を算出する。

【0038】

＜動作＞
次に、本実施形態のコミュニケーションシステム１の動作として、発話の重要度算出方法を説明する。図６は、実施形態１に係るコミュニケーションシステムにおいて、発話の重要度算出方法を例示したフローチャート図である。

【0039】

図６のステップＳ１１及び図２の上段に示すように、処理装置２０は、発話者を判定する。例えば、発話判定部２２の構成において説明したように、発話判定部２２は、複数のウェアラブル端末１０を用いて取得した情報に基づいて、発話者Ａを判定する。

【0040】

次に、ステップＳ１２に示すように、処理装置２０は、ポジティブ動作を判定する。具体的には、ポジティブ動作判定部２３は、ユーザの加速度からユーザの頷きをポジティブ動作として判定する。

【0041】

次に、ステップＳ１３及び図２の下段に示すように、処理装置２０は、所定の時間区間ごとにポジティブ動作をしている人の割合を算出する。具体的には、重要度算出部２４は、発話者Ａを判定した場合に、発話者Ａの発話に対して、発話者Ａの周囲のユーザのうち、頷いている人の割合を、一定の間隔で発話の期間を分割した時間区間ごとに算出する。

【0042】

次に、ステップＳ１４及び図５に示すように、処理装置２０は、ポジティブ動作をしている人の割合が高いほど値が強調される処理を行う。具体的には、重要度算出部２４は、図３及び図４に示すような単調増加関数を用いて、発話者Ａの周囲のユーザのうち、頷いている人の割合が大きいほど、割合の値が強調される処理を行う。

【0043】

次に、ステップＳ１５に示すように、処理装置２０は、各時間区間の値の総和から発話の重要度を算出する。具体的には、重要度算出部２４は、発話者Ａの発話の期間に渡って、各時間区間における割合の値の総和を求めることにより、発話者Ａの発話の重要度を算出する。このようにして、コミュニケーションシステム１は、発話者Ａの発話の重要度を算出することができる。

【0044】

次に、本実施形態の効果を説明する前に、比較例のコミュニケーションシステムを説明する。その後、比較例と対比させながら、本実施形態の効果を説明する。

【0045】

＜比較例＞
比較例として、例えば、特許文献１の会話分析装置は、ウェアラブル端末であって、会話中で発声する重要な言葉抽出のための重要語データベースと、会話中のある特定の話題に対するインフルエンサー抽出のための話題語データベースと、会話の音声情報を収集するマイクロフォンと、会話相手の顔表情と頭部の動きを映像として収集するカメラと、音声情報から話題語および重要語を認識する音声評価部と、映像から単位会話時間あたりの会話相手の笑顔時間および頷き回数を認識する映像評価部と、音声評価部及び映像評価部の認識結果から所定の重み付けをして会話に対する相手の受容度及び会話の巧みさを分析する会話分析部と、受容度及び会話の巧みさを利用者にフィードバックする表示部とを備える。

【0046】

一般的に、研修やコミュニケーションの場において、発言者の個々の発言のなかで特に周囲が納得をする重要な発言があったことを、センシングによって把握したいニーズがある。とある人の発言時に、周囲の人の頷きの回数の総量で、その人の意見がどれほど聞かれたかは推測可能である。しかしながら頷きという動作は、聞いている人の傾聴姿勢を表す側面が強い。つまり、単純に頷きの回数を測るだけでは、発言者の発言内容がどれだけ強く周囲の納得を引き出したかを測ることはできない。

【0047】

特許文献１の会話分析装置では、音声の単語抽出、会話の相手の表情や頷きといった動作を組み合わせて重み付けすることで、相手の受容度、つまり、納得度を評価する。しかしながら、特許文献１の会話分析装置には、下記の課題がある。すなわち、表情や動作の認識にカメラといった設備が必要である。よって、設備設置コストが増加する。また、プライバシーに対する被撮影者の心理的懸念がある。また、音声から単語抽出したり、映像から表情や頷き検出したうえで重みづけしたりするため、計算処理が大きく、システムが大きくなって簡便に使用することができない。さらに、カメラに映らない場所では使用できない。このような課題は、特許文献１の解さ分析装置が音声（単語）に対する反応を基にした算出をしていること、及び、映像に頼った反応の抽出をしていることによるものと考えられる。

【0048】

次に、本実施形態のコミュニケーションシステム１の効果を説明する。本実施形態のコミュニケーションシステム１は、重要な発話があれば、周囲の人は同調してポジティブな動きを示すことを利用する。そして、周囲が一斉にポジティブな反応を示したタイミングが強調されてスコアリングされる。このため、比較例の特許文献１の会話分析装置と異なり、発話の単語まで踏み込むことなく、重要な発話を判定することができる。

【0049】

また、本実施形態のコミュニケーションシステム１は、カメラでの撮影を不要とする。よって、設備設置コストを低減させ、プライバシー面での懸念を低減することができる。さらに、シンプルなシステム構成で簡便に重要発話を判定することができる。なお、値の強調処理をせずに総和を取った場合には、ある人の発話区間における単純な頷き率となり、ポジティブな同調の度合いを抽出することが困難な場合がある。しかしながら、本実施形態のコミュニケーションシステム１では、ポジティブな反応の大きさを強調する処理を行うことで、同調部分が抽出され、発話の重要度を算出することができる。

【0050】

（実施形態２）
次に、実施形態２に係るコミュニケーションシステムを説明する。本実施形態のコミュニケーションシステムは、値の強調処理を行う関数として、単調増加関数ではなく、ステップ関数を用いる。

【0051】

図７は、実施形態２に係るコミュニケーションシステムにおいて、値を強調する処理で用いる関数を例示したグラフであり、横軸は、頷いている人の割合を示し、縦軸は、関数の値を示す。値の強調処理を行う関数は、ｐ１＜ｐ２のときに、ｆ（ｐ１）≦ｆ（ｐ２）となるｐ１及びｐ２が存在すればよい。すなわち、単調増加、かつ、ｆ（ｐ）の微分も単調増加、である必要は必ずしもない。たとえば、図７に示すように、以下の（２）式のようなステップ関数でもよい。

【0052】

【数2】

【0053】

図８は、実施形態２に係るコミュニケーションシステムにおいて、発話者を判定した場合に、発話者の発話に対して、発話者の周囲のユーザのうち、頷いている人の割合を所定の時間区間ごとに算出した結果を例示したグラフであり、横軸は、時間を示し、縦軸は、発話者の周囲の頷いている人の割合を示す。

【0054】

本実施形態では、重要度の算出は、頷いている人の割合の閾値を０．５とし、閾値以上の頷き箇所の回数をカウントすることと同等である。図８に示すように、発話者Ａの前部分Ａ１の発話よりも、後部分Ａ２の発話の方が頷き率は全体的に高い。つまり、後部分Ａ２の発話の方が受話者の傾聴度合いとしては高いことを示す。一方で、受話者の頷きの同調の点では、前部分Ａ１の発話の方が同調する回数が高く、すなわち、説得力がある発話をする回数が多かったことが見受けられる。

【0055】

本実施形態のコミュニケーションシステムによれば、割合の値の強調処理によって、傾聴度合い、同調度合いを区別して算出することができる。これ以外の構成及び効果は、実施形態１の記載に含まれている。

【0056】

なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。例えば、実施形態１及び２の各構成を組み合わせたものも、本実施形態の技術的思想の範囲に含まれる。

【符号の説明】

【0057】

１ コミュニケーションシステム
１０ ウェアラブル端末
１１ センサ
２０ 処理装置
２１ 記憶部
２２ 発話判定部
２３ ポジティブ動作判定部
２４ 重要度算出部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】