特許 7605319 コミュニケーション支援システム、コミュニケーション支援方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-12-16

(45)【発行日】2024-12-24

(54)【発明の名称】コミュニケーション支援システム、コミュニケーション支援方法およびプログラム

(51)【国際特許分類】

   G06F 3/01 20060101AFI20241217BHJP

【ＦＩ】

G06F3/01 510

【請求項の数】 8

(21)【出願番号】P 2023534550

(86)(22)【出願日】2021-07-15

(86)【国際出願番号】 JP2021026655

(87)【国際公開番号】W WO2023286249

(87)【国際公開日】2023-01-19

【審査請求日】2024-01-05

(73)【特許権者】

【識別番号】000004226

【氏名又は名称】日本電信電話株式会社

(74)【代理人】

【識別番号】110004381

【氏名又は名称】弁理士法人ＩＴＯＨ

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100124844

【弁理士】

【氏名又は名称】石原 隆治

(72)【発明者】

【氏名】瀬古 俊一

(72)【発明者】

【氏名】笹川 真奈

(72)【発明者】

【氏名】萩山 直紀

【審査官】日比野 可奈子

(56)【参考文献】

【文献】特開２０１６－１６７８１５（ＪＰ，Ａ）

【文献】特開２０１７－２０７９７４（ＪＰ，Ａ）

【文献】特開２０１９－００９６６６（ＪＰ，Ａ）

【文献】特開２０１６－０１２１９６（ＪＰ，Ａ）

【文献】国際公開第２０１２／１２１１６０（ＷＯ，Ａ１）

【文献】国際公開第２０１９／０６９５２９（ＷＯ，Ａ１）

【文献】国際公開第２０１７／１３０４８６（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ３／０１

Ｇ０６Ｆ３／０４８－３／０４８９

(57)【特許請求の範囲】

【請求項1】

送信装置と受信装置とを備えるコミュニケーション支援システムであって、
前記送信装置および前記受信装置のうちの少なくともいずれか一方は、
前記送信装置を操作する送信ユーザの感情を推定する感情推定部と、
前記送信ユーザの集中度を推定する集中度推定部と、
前記推定された感情および集中度に基づいてスコアを算出するスコア算出部と、
前記スコアに基づいて、前記受信装置を操作する受信ユーザに体感させる温度を決定する温度決定部と、
前記スコアに基づいて、前記受信ユーザに体感させる硬度を決定する硬度決定部と、を備える、
コミュニケーション支援システム。

【請求項2】

前記感情推定部は、前記送信ユーザの発した音声を示す音声データおよび前記送信ユーザを撮像した画像データの少なくともいずれか一方に基づいて、前記送信ユーザの感情を推定する、
請求項１に記載のコミュニケーション支援システム。

【請求項3】

前記集中度推定部は、前記送信ユーザを撮像した画像データに含まれる前記送信ユーザの視線を示す情報を解析して、前記送信ユーザの集中度を推定する、
請求項１または２に記載のコミュニケーション支援システム。

【請求項4】

前記スコア算出部は、対話の相手に対してポジティブに思っているのかネガティブに思っているのか、または相手に気が向いていないのかの度合いを示す前記スコアを算出する、
請求項１から３のいずれか１項に記載のコミュニケーション支援システム。

【請求項5】

前記送信装置は、
前記感情推定部と前記集中度推定部と前記スコア算出部と、
前記算出されたスコアを示すスコアデータを、前記受信装置に送信する送信部と、を備える、
請求項１から４のいずれか１項に記載のコミュニケーション支援システム。

【請求項6】

温度制御対象を制御する温度制御装置と、硬度制御対象を制御する硬度制御装置と、をさらに備え、
前記温度制御装置は、決定された前記温度に基づいて、前記温度制御対象の温度を制御し、
前記硬度制御装置は、決定された前記硬度に基づいて、前記硬度制御対象の硬度を制御する、
請求項１から５のいずれか１項に記載のコミュニケーション支援システム。

【請求項7】

コミュニケーション支援システムが備える送信装置および受信装置のうちの少なくともいずれか一方が実行するコミュニケーション支援方法であって、
前記送信装置を操作する送信ユーザの感情を推定するステップと、
前記送信ユーザの集中度を推定するステップと、
前記推定された感情および集中度に基づいてスコアを算出するステップと、
前記スコアに基づいて、前記受信装置を操作する受信ユーザに体感させる温度を決定するステップと、
前記スコアに基づいて、前記受信ユーザに体感させる硬度を決定するステップと、を備える、
コミュニケーション支援方法。

【請求項8】

コンピュータを、請求項１から６のいずれか１項に記載のコミュニケーション支援システムが備える送信装置および受信装置のうちの少なくともいずれか一方における各部として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、コミュニケーション支援システム、コミュニケーション支援方法およびプログラムに関する。

【背景技術】

【0002】

リモート会議、マスク着用状態における対話などのような、感情が伝わりにくい環境におけるコミュニケーションを支援する技術が研究されている。例えば、非特許文献１には、ユーザの発話と口の表情を代替するマスク型デバイスが開示されている。

【先行技術文献】

【非特許文献】

【0003】

【文献】石井綾郁，橋本直，ＭｏｕｔｈＯｖｅｒ：発話と口の表情を代替するマスク型デバイス，インタラクション２０１７論文集，２０１７，ｐｐ.９０７－９１２

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかし、従来の技術のように、一方のユーザの表情、音声・言語等のような視覚情報、聴覚情報等を加工する技術では、他方のユーザに違和感を生じさせてしまう場合がある。例えば、視覚情報、聴覚情報等の加工によって、かえって不自然な表情、音声等となってしまう虞がある。

【0005】

開示の技術は、視覚情報および聴覚情報の加工に依らずに、コミュニケーションを支援することを目的とする。

【課題を解決するための手段】

【0006】

開示の技術は、送信装置と受信装置とを備えるコミュニケーション支援システムであって、前記送信装置および前記受信装置のうちの少なくともいずれか一方は、前記送信装置を操作する送信ユーザの感情を推定する感情推定部と、前記送信ユーザの集中度を推定する集中度推定部と、前記推定された感情および集中度に基づいてスコアを算出するスコア算出部と、前記スコアに基づいて、前記受信装置を操作する受信ユーザに体感させる温度を決定する温度決定部と、前記スコアに基づいて、前記受信ユーザに体感させる硬度を決定する硬度決定部と、を備えるコミュニケーション支援システムである。

【発明の効果】

【0007】

視覚情報および聴覚情報の加工に依らずに、コミュニケーションを支援することができる。

【図面の簡単な説明】

【0008】

【図1】コミュニケーション支援システムのシステム構成例を示す図である。

【図2】送信装置の機能構成例を示す図である。

【図3】受信装置の機能構成例を示す図である。

【図4】送信処理の流れの一例を示すフローチャートである。

【図5】受信処理の流れの一例を示すフローチャートである。

【図6】コンピュータのハードウェア構成例を示す図である。

【発明を実施するための形態】

【0009】

以下、図面を参照して本発明の実施の形態（本実施の形態）を説明する。以下で説明する実施の形態は一例に過ぎず、本発明が適用される実施の形態は、以下の実施の形態に限られるわけではない。

【0010】

（本実施の形態の概要）
本実施の形態に係るコミュニケーション支援システムは、送信装置と受信装置とを備える。送信装置は、音声データおよび映像データを取得して、送信ユーザの感情と集中度を推定し、ポジティブスコアを算出する。ポジティブスコアは、対話の相手に対してポジティブに思っているのかネガティブに思っているのか、または相手に気が向いていないのかの度合いを示す値である。

【0011】

送信装置は、算出したポジティブスコアを示すスコアデータを受信装置に送信する。受信装置は、受信したスコアデータに基づいて、受信ユーザの近くに配置されたペルチェ素子および風船を制御する。

【0012】

なお、参考文献［１］には、知らない人の写真をみて性格を判断する実験において、事前にホットコーヒーを持って手が温まった状態になっている被験者の方が、そうでない被験者より「あたたかい」(寛大で思いやりがある)と判断するといった実験の結果が開示されている。

【0013】

また、参考文献［２］には、柔らかいイスに座っていると、あたたかい・親しみやすいといった印象を相手に抱きやすくなり、硬いイスに座っているとと、冷たい・頑固といった印象を相手に抱きやすくなることが記載されている。

【0014】

このように、皮膚からの温度感覚や触覚が、他人に対する印象や信頼感といった心理や、自分自身の行動に影響をもたらすという研究結果がある。本実施の形態に係るコミュニケーション支援システムは、このような研究結果を応用して、送信ユーザの感情を受信ユーザに伝えることによって、コミュニケーションを支援するシステムである。

【0015】

（コミュニケーション支援システムのシステム構成例）
図１は、コミュニケーション支援システムのシステム構成例を示す図である。コミュニケーション支援システム１は、送信装置１０と受信装置２０とを備える。送信装置１０および受信装置２０は、通信ネットワーク３０を介して互いに通信可能に接続されている。

【0016】

送信装置１０には、撮像装置１１０および音響装置１２０が接続されている。撮像装置１１０は、例えばカメラであって、送信装置１０を操作するユーザ（以下、送信ユーザという）を撮像して、撮像された画像を示す画像データを送信装置１０に送信する。画像データに示される画像は、静止画像でも動画像でも良い。

【0017】

音響装置１２０は、例えばマイクであって、送信ユーザの発した音声を示す音声データを送信装置１０に送信する。

【0018】

送信装置１０は、撮像装置１１０から受信した画像データと、音響装置１２０から受信した音声データとを、通信ネットワーク３０を介して受信装置２０に送信する。

【0019】

受信装置２０には、温度制御装置２１０および硬度制御装置２２０が接続されている。温度制御装置２１０は、ペルチェ素子２３０の温度を制御する制御装置であって、例えばワンボードマイコンである。

【0020】

ペルチェ素子２３０は、受信装置２０を操作するユーザ（以下、受信ユーザという）に温度を体感させるように配置され、例えば、受信ユーザが在室している場合には、ペルチェ素子２３０は、室温を制御するように配置される。なお、ペルチェ素子２３０は、温度制御装置２１０による制御対象の一例であって、他でも良い。例えば、温度制御対象は、受信ユーザに温度を体感させるものであればペルチェ素子でなくても良く、例えば空気調和機等であっても良い。

【0021】

硬度制御装置２２０は、電動空気ポンプ２４０を介して風船２５０の硬度を制御する制御装置であって、例えばワンボードマイコンである。

【0022】

電動空気ポンプ２４０は、硬度制御装置２２０によって指定された硬度を実現させるように、電気的な制御によって、風船２５０の内部の空気圧を上昇または下降させる。

【0023】

風船２５０は、例えば受信ユーザの身体の一部に接触する位置に配置され、受信ユーザに硬度を体感させるものであって、例えば粉粒体を含んでいる。なお、風船２５０は、硬度制御装置２２０による制御対象の一例であって、他でも良い。例えば、硬度制御対象は、受信ユーザに硬度を体感させるものであれば電動空気ポンプ２４０および風船２５０でなくても良く、例えばマッサージチェア等であっても良い。

【0024】

なお、上述した送信ユーザと受信ユーザは、それぞれ対話における話し手であっても聞き手であっても良い。例えば、話し手である受信ユーザが、聞き手である送信ユーザの感情を知るという使用方法であっても良く、聞き手である受信ユーザが、話し手である送信ユーザの感情を知るという使用方法であっても良い。

【0025】

（送信装置の機能構成例）
図２は、送信装置の機能構成例を示す図である。送信装置１０は、感情推定部１１と、集中度推定部１２と、スコア算出部１３と、送信部１４と、を備える。

【0026】

感情推定部１１は、音声データおよび画像データに基づいて、送信ユーザの感情を推定する。なお、感情推定部１１は、音声データと画像データのいずれかに基づいて感情を推定しても良いし、両方に基づいて感情を推定しても良い。

【0027】

具体的には、感情推定部１１は、例えば送信ユーザを撮像した画像から送信ユーザの表情を解析して、送信ユーザの感情の推定値ＰＮＶを算出する。推定値ＰＮＶは、送信ユーザの感情がポジティブな感情かネガティブな感情かの度合いを示す値である。

【0028】

例えば、感情推定部１１は、送信ユーザの感情が、ポジティブな感情である確率を示す値ｐｏｓ［０≦ｐｏｓ≦１］と、ネガティブな感情である確率を示す値ｎｅｇ［０≦ｎｅｇ≦１］と、を算出する。ここで、ｐｏｓ＋ｎｅｇ＝１とする。そして、感情推定部１１は、推定値ＰＮＶを次の式によって算出する。

【0029】

ＰＮＶ＝（ｐｏｓ－ｎｅｇ）×２

【0030】

なお、感情推定部１１は、例えば参考文献［３］に記載されている技術を応用して、顔の画像から特徴点を抜き出し、そのパターンを機械学習させることによって、感情を推定しても良い。

【0031】

集中度推定部１２は、画像データに基づいて、送信ユーザの集中度の推定値ＣＯＮＶを算出する。推定値ＣＯＮＶは、送信ユーザが受信ユーザに対してどの程度集中しているかを示す値である。

【0032】

例えば、集中度推定部１２は、参考文献［４］に記載されている技術を応用して、画像データから送信ユーザの視線を示す情報を抽出して視線パターンを分析することによって、推定値ＣＯＮＶを算出しても良い。

【0033】

なお、集中度推定部１２は、他の方法によって推定値ＣＯＮＶを算出しても良い。例えば、集中度推定部１２は、加速度センサ、バイタルセンサ、視線計測機器等を用いた測定結果に基づいて、推定値ＣＯＮＶを算出しても良い。

【0034】

スコア算出部１３は、ポジティブスコアＰＳを算出する。ポジティブスコアＰＳは、前述の通り、対話の相手に対してポジティブに思っているのかネガティブに思っているのか、または相手に気が向いていないのかの度合いを示す値である。

【0035】

具体的には、スコア算出部１３は、感情の推定値ＰＮＶおよび集中度の推定値ＣＯＮＶを用いて、以下の式によってポジティブスコアＰＳを算出する。

【0036】

ＰＳ＝２・ＰＮＶ・ＣＯＮＶ／（ＰＮＶ＋ＣＯＮＶ）

【0037】

なお、感情の推定値ＰＮＶおよび集中度の推定値ＣＯＮＶは、それぞれ０以上１以下の値に正規化された値を使用しても良い。

【0038】

送信部１４は、算出されたポジティブスコアＰＳを示すスコアデータを、受信装置２０に送信する。

【0039】

（受信装置の機能構成例）
図３は、受信装置の機能構成例を示す図である。受信装置２０は、受信部２１と、温度決定部２２と、硬度決定部２３と、を備える。

【0040】

受信部２１は、送信装置１０から通信ネットワーク３０を介してスコアデータを受信する。

【0041】

温度決定部２２は、受信したスコアデータに示されるポジティブスコアＰＳに基づいて、受信ユーザに体感させる温度を決定する。受信装置２０は、決定された温度を示すデータ（温度データ）を温度制御装置２１０に送信する。

【0042】

具体的には、温度決定部２２は、制御前の室温におけるペルチェ素子２３０の表面温度を示す情報を取得する。そして、温度決定部２２は、取得した情報に示される表面温度をポジティブスコアＰＳ＝０．５に、制御可能な最低温度をポジティブスコアＰＳ＝０に、制御可能な最高温度をポジティブスコアＰＳ＝１に、それぞれ対応させる。

【0043】

これによって、温度決定部２２は、ポジティブスコアＰＳに基づいて、ペルチェ素子２３０の表面温度を決定する。

【0044】

例えば、ポジティブスコアＰＳが０．５未満の場合、温度決定部２２は、制御前よりも低い温度に決定する。この場合、温度制御装置２１０は、温度データを受信すると、吸熱方向への電流を発生させることによって、ペルチェ素子２３０の温度を下げるように制御する。

【0045】

また、ポジティブスコアＰＳが０．５より大きい場合、温度決定部２２は、制御前よりも高い温度に決定する。この場合、温度制御装置２１０は、温度データを受信すると、発熱方向への電流を発生させることによって、ペルチェ素子２３０の温度を上げるように制御する。

【0046】

硬度決定部２３は、受信したスコアデータに示されるポジティブスコアＰＳに基づいて、受信ユーザに体感させる硬度を決定する。受信装置２０は、決定された硬度を示すデータ（硬度データ）を硬度制御装置２２０に送信する。

【0047】

具体的には、硬度決定部２３は、制御前の通常状態における風船２５０の硬度を示す情報を取得する。そして、硬度決定部２３は、取得した情報に示される硬度をポジティブスコアＰＳ＝０．５に、制御可能な最低硬度をポジティブスコアＰＳ＝０に、制御可能な最高硬度をポジティブスコアＰＳ＝１に、それぞれ対応させる。

【0048】

これによって、硬度決定部２３は、ポジティブスコアＰＳに基づいて、風船２５０の硬度を決定する。

【0049】

例えば、ポジティブスコアＰＳが０．２５である場合、硬度決定部２３は、制御前よりも２５％空気を増加させるような硬度に決定する。この場合、硬度制御装置２２０は、硬度データを受信すると、風船２５０に空気を送り込ませるように電動空気ポンプ２４０を制御することによって、風船２５０の硬度を下げるように制御する。

【0050】

また、ポジティブスコアＰＳが０．７５である場合、硬度決定部２３は、制御前よりも２５％空気を減少させるような硬度に決定する。この場合、硬度制御装置２２０は、硬度データを受信すると、風船２５０から空気を抜くように電動空気ポンプ２４０を制御することによって、風船２５０の硬度を上げるように制御する。

【0051】

（コミュニケーション支援システムの動作例）
次に、コミュニケーション支援システム１の動作例について、図面を参照して説明する。送信装置１０は、送信ユーザの操作等を受けて、送信処理を開始する。

【0052】

図４は、送信処理の流れの一例を示すフローチャートである。送信装置１０は、音声データおよび画像データを取得する（ステップＳ１１）。次に、感情推定部１１は、音声データおよび画像データに基づいて、感情を推定する（ステップＳ１２）。

【0053】

続いて、集中度推定部１２は、画像データに基づいて、集中度を推定する（ステップＳ１３）。そして、スコア算出部１３は、感情の推定値および集中度の推定値に基づいて、ポジティブスコアを算出する（ステップＳ１４）。送信部１４は、算出されたポジティブスコアを示すスコアデータを送信する（ステップＳ１５）。

【0054】

また、受信装置２０は、送信装置１０からスコアデータを受信することによって、受信処理を開始する。

【0055】

図５は、受信処理の流れの一例を示すフローチャートである。受信部２１は、スコアデータを取得する（ステップＳ２１）。続いて、温度決定部２２は、スコアデータに基づいて、受信ユーザに体感させる温度を決定する（ステップＳ２２）。続いて、硬度決定部２３は、受信ユーザに体感させる硬度を決定する（ステップＳ２３）。

【0056】

受信装置２０は、ペルチェ素子２３０の温度を制御する（ステップＳ２４）。具体的には、受信装置２０は、決定した温度を示す温度データを温度制御装置２１０に送信する。温度制御装置２１０は、受信した温度データに基づいて、ペルチェ素子２３０の温度を制御する。

【0057】

続いて、受信装置２０は、風船２５０の硬度を制御する（ステップＳ２５）。具体的には、受信装置２０は、決定した硬度を示す硬度データを硬度制御装置２２０に送信する。硬度制御装置２２０は、受信した硬度データに基づいて、電動空気ポンプ２４０を介して、風船２５０の硬度を制御する。

【0058】

（本実施の形態に係るハードウェア構成例）
送信装置１０、受信装置２０、温度制御装置２１０または硬度制御装置２２０は、例えば、コンピュータに、本実施の形態で説明する処理内容を記述したプログラムを実行させることにより実現可能である。なお、この「コンピュータ」は、物理マシンであってもよいし、クラウド上の仮想マシンであってもよい。仮想マシンを使用する場合、ここで説明する「ハードウェア」は仮想的なハードウェアである。

【0059】

上記プログラムは、コンピュータが読み取り可能な記録媒体（可搬メモリ等）に記録して、保存したり、配布したりすることが可能である。また、上記プログラムをインターネットや電子メール等、ネットワークを通して提供することも可能である。

【0060】

図６は、上記コンピュータのハードウェア構成例を示す図である。図６のコンピュータは、それぞれバスＢで相互に接続されているドライブ装置１０００、補助記憶装置１００２、メモリ装置１００３、ＣＰＵ１００４、インタフェース装置１００５、表示装置１００６、入力装置１００７、出力装置１００８等を有する。

【0061】

当該コンピュータでの処理を実現するプログラムは、例えば、ＣＤ－ＲＯＭ又はメモリカード等の記録媒体１００１によって提供される。プログラムを記憶した記録媒体１００１がドライブ装置１０００にセットされると、プログラムが記録媒体１００１からドライブ装置１０００を介して補助記憶装置１００２にインストールされる。但し、プログラムのインストールは必ずしも記録媒体１００１より行う必要はなく、ネットワークを介して他のコンピュータよりダウンロードするようにしてもよい。補助記憶装置１００２は、インストールされたプログラムを格納すると共に、必要なファイルやデータ等を格納する。

【0062】

メモリ装置１００３は、プログラムの起動指示があった場合に、補助記憶装置１００２からプログラムを読み出して格納する。ＣＰＵ１００４は、メモリ装置１００３に格納されたプログラムに従って、当該装置に係る機能を実現する。インタフェース装置１００５は、ネットワークに接続するためのインタフェースとして用いられる。表示装置１００６はプログラムによるＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）等を表示する。入力装置１００７はキーボード及びマウス、ボタン、又はタッチパネル等で構成され、様々な操作指示を入力させるために用いられる。出力装置１００８は演算結果を出力する。なお、上記コンピュータは、ＣＰＵ１００４の代わりにＧＰＵ（Graphics Processing Unit）またはＴＰＵ（Tensor processing unit）を備えていても良く、ＣＰＵ１００４に加えて、ＧＰＵまたはＴＰＵを備えていても良い。その場合、例えば特殊な演算が必要な処理をＧＰＵまたはＴＰＵが実行し、その他の処理をＣＰＵ１００４が実行する、というように処理を分担して実行しても良い。

【0063】

（本実施の形態の効果）
本実施の形態に係るコミュニケーション支援システム１によれば、送信装置は、音声データおよび映像データを取得して、送信ユーザの感情と集中度を推定し、ポジティブスコアを算出する。受信装置は、受信したスコアデータに基づいて、受信ユーザの近くに配置された温度制御対象および硬度制御対象を制御する。これによって、受信ユーザは、温度と硬度を体感することによって、送信ユーザの感情を知ることができる。したがって、視覚情報および聴覚情報の加工に依らずに、コミュニケーションを支援することができる。

【0064】

（本実施の形態の変形例）
温度と硬度を体感させる方法は、他でも良い。例えば、受信ユーザの同一の部位(例えば手)に温度と硬度をともに体感させても良いし、異なる部位(例えば手と臀部)に、それぞれ温度と硬度を別々に体感させても良い。また、キーボード、マウス等に皮膚を刺激する機器を追加することによって、キーボード、マウス等に触れている手などに温度や硬度を体感させるようにしても良い。

【0065】

対話において、一方のユーザが送信ユーザであって、他方のユーザが受信ユーザである場合に、逆に一方のユーザが受信ユーザであって、他方のユーザが送信ユーザとなっても良い。すなわち、双方のユーザが送信ユーザであって受信ユーザであっても良い。その場合、各ユーザが操作する装置は、送信装置１０および受信装置２０の機能をともに備えていれば良い。これによって、双方向に感情の伝達が可能となる。

【0066】

本実施の形態に係る送信装置１０および受信装置２０の機能の分担は、一例であって他でも良い。具体的には、送信装置１０が備える感情推定部１１、集中度推定部１２、スコア算出部１３のうちの一部または全部の機能を受信装置２０が備えていても良い。例えば、送信装置１０は、音声データおよび画像データを受信装置２０に送信し、受信装置２０が、受信した音声データおよび画像データに基づいて、感情および集中度を推定して、ポジティブスコアを算出しても良い。

【0067】

（参考文献）
［１］：Williams LE, Bargh JA. Experiencing physical warmth promotes interpersonal warmth. Science. 2008;322(5901):606-607.
［２］：沼崎 誠，松崎 圭佑，埴田 健司，持つものの柔らかさ・硬さによって生じる皮膚感覚が対人認知と自己認知に及ぼす効果，実験社会心理学研究，２０１５－２０１６，５５巻，２号，ｐｐ.１１９－１２９
［３］：B. T. Nguyen, M. H. Trinh, T. V. Phan and H. D. Nguyen, "An efficient real-time emotion detection using camera and facial landmarks," 2017 Seventh International Conference on Information Science and Technology (ICIST), Da Nang, 2017, pp. 251-255.
［４］：片渕典史，他，画像センシングによる視聴映像の注目度推定システム，情報処理学会研究報告コンピュータビジョンとイメージメディア（ＣＶＩＭ），２００４，４０（２００４－ＣＶＩＭ－１４４），ｐｐ.２６７－２７２

【0068】

（実施の形態のまとめ）
本明細書には、少なくとも下記の各項に記載したコミュニケーション支援システム、コミュニケーション支援方法およびプログラムが記載されている。
（第１項）
送信装置と受信装置とを備えるコミュニケーション支援システムであって、
前記送信装置および前記受信装置のうちの少なくともいずれか一方は、
前記送信装置を操作する送信ユーザの感情を推定する感情推定部と、
前記送信ユーザの集中度を推定する集中度推定部と、
前記推定された感情および集中度に基づいてスコアを算出するスコア算出部と、
前記スコアに基づいて、前記受信装置を操作する受信ユーザに体感させる温度を決定する温度決定部と、
前記スコアに基づいて、前記受信ユーザに体感させる硬度を決定する硬度決定部と、を備える、
コミュニケーション支援システム。
（第２項）
前記感情推定部は、前記送信ユーザの発した音声を示す音声データおよび前記送信ユーザを撮像した画像データの少なくともいずれか一方に基づいて、前記送信ユーザの感情を推定する、
第１項に記載のコミュニケーション支援システム。
（第３項）
前記集中度推定部は、前記送信ユーザを撮像した画像データに含まれる前記送信ユーザの視線を示す情報を解析して、前記送信ユーザの集中度を推定する、
第１項または第２項に記載のコミュニケーション支援システム。
（第４項）
前記スコア算出部は、対話の相手に対してポジティブに思っているのかネガティブに思っているのか、または相手に気が向いていないのかの度合いを示す前記スコアを算出する、
第１項から第３項のいずれか１項に記載のコミュニケーション支援システム。
（第５項）
前記送信装置は、
前記感情推定部と前記集中度推定部と前記スコア算出部と、
前記算出されたスコアを示すスコアデータを、前記受信装置に送信する送信部と、を備える、
第１項から第４項のいずれか１項に記載のコミュニケーション支援システム。
（第６項）
温度制御対象を制御する温度制御装置と、硬度制御対象を制御する硬度制御装置と、をさらに備え、
前記温度制御装置は、決定された前記温度に基づいて、前記温度制御対象の温度を制御し、
前記硬度制御装置は、決定された前記硬度に基づいて、前記硬度制御対象の硬度を制御する、
第１項から第５項のいずれか１項に記載のコミュニケーション支援システム。
（第７項）
コミュニケーション支援システムが備える送信装置および受信装置のうちの少なくともいずれか一方が実行するコミュニケーション支援方法であって、
前記送信装置を操作する送信ユーザの感情を推定するステップと、
前記送信ユーザの集中度を推定するステップと、
前記推定された感情および集中度に基づいてスコアを算出するステップと、
前記スコアに基づいて、前記受信装置を操作する受信ユーザに体感させる温度を決定するステップと、
前記スコアに基づいて、前記受信ユーザに体感させる硬度を決定するステップと、を備える、
コミュニケーション支援方法。
（第８項）
コンピュータを、第１項から第６項のいずれか１項に記載のコミュニケーション支援システムが備える送信装置および受信装置のうちの少なくともいずれか一方における各部として機能させるためのプログラム。

【0069】

以上、本実施の形態について説明したが、本発明はかかる特定の実施形態に限定されるものではなく、請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。

【符号の説明】

【0070】

１ コミュニケーション支援システム
１０ 送信装置
１１ 感情推定部
１２ 集中度推定部
１３ スコア算出部
１４ 送信部
２０ 受信装置
２１ 受信部
２２ 温度決定部
２３ 硬度決定部
３０ 通信ネットワーク
１１０ 撮像装置
１２０ 音響装置
２１０ 温度制御装置
２２０ 硬度制御装置
２３０ ペルチェ素子
２４０ 電動空気ポンプ
２５０ 風船
１０００ ドライブ装置
１００１ 記録媒体
１００２ 補助記憶装置
１００３ メモリ装置
１００４ ＣＰＵ
１００５ インタフェース装置
１００６ 表示装置
１００７ 入力装置
１００８ 出力装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】