特開 2023-42737 コミュニケーション支援システム、コミュニケーション支援方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023042737

(43)【公開日】2023-03-28

(54)【発明の名称】コミュニケーション支援システム、コミュニケーション支援方法及びプログラム

(51)【国際特許分類】

   H04M 3/56 20060101AFI20230320BHJP

   G06F 3/01 20060101ALI20230320BHJP

   G06F 3/0481 20220101ALI20230320BHJP

   A61B 5/16 20060101ALI20230320BHJP

【ＦＩ】

H04M3/56 Z

G06F3/01 510

G06F3/0481

A61B5/16 120

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2021150024

(22)【出願日】2021-09-15

(71)【出願人】

【識別番号】000004226

【氏名又は名称】日本電信電話株式会社

(71)【出願人】

【識別番号】899000079

【氏名又は名称】慶應義塾

(74)【代理人】

【識別番号】110001634

【氏名又は名称】弁理士法人志賀国際特許事務所

(72)【発明者】

【氏名】磯貝 愛

(72)【発明者】

【氏名】志水 信哉

(72)【発明者】

【氏名】クンツェ カイ

(72)【発明者】

【氏名】中尾 拓郎

(72)【発明者】

【氏名】土屋 慧太郎

(72)【発明者】

【氏名】チュワン イーファン

(72)【発明者】

【氏名】ハン ジャン

【テーマコード（参考）】

4C038

5E555

5K201

【Ｆターム（参考）】

4C038PP03

4C038PS03

4C038PS05

4C038PS07

5E555AA28

5E555AA48

5E555AA61

5E555BA02

5E555BA06

5E555BA13

5E555BB02

5E555BB06

5E555BB13

5E555BC09

5E555BD09

5E555CA42

5E555CA47

5E555CB66

5E555CB67

5E555CB74

5E555DB53

5E555DB56

5E555DC30

5E555DC35

5E555DC36

5E555DC84

5E555DC85

5E555DD06

5E555EA14

5E555EA22

5E555EA23

5E555FA00

5K201BB09

5K201CA05

5K201CC10

5K201DC05

5K201DC06

5K201EF04

5K201EF10

(57)【要約】

【課題】通信によるコミュニケーションをより円滑にする技術の提供。
【解決手段】本発明の一態様は、通信相手と通信を行う観測対象の生体情報と、前記観測対象の表情、声又はしぐさを示す行動情報とのいずれか一方又は両方に基づいて、前記観測対象の心理状態を推定する心理状態推定部と、前記心理状態推定部の推定の結果の内容を示す事象である表現事象を発現させる表現発現部と、を備え、前記表現事象は、動き又は形状と、色又は明るさとによって前記心理状態推定部による推定の結果の内容を示す、コミュニケーション支援システムである。
【選択図】図１

【特許請求の範囲】

【請求項1】

通信相手と通信を行う観測対象の生体情報と、前記観測対象の表情、声又はしぐさを示す行動情報とのいずれか一方又は両方に基づいて、前記観測対象の心理状態を推定する心理状態推定部と、
前記心理状態推定部の推定の結果の内容を示す事象である表現事象を発現させる表現発現部と、
を備え、
前記表現事象は、動き又は形状と、色又は明るさとによって前記心理状態推定部による推定の結果の内容を示す、
コミュニケーション支援システム。

【請求項2】

前記表現事象は、前記表現事象を観測する人の集中力の変化への影響の強さが所定の強さよりも弱い事象である、
請求項１に記載のコミュニケーション支援システム。

【請求項3】

前記心理状態の推定の方法は、顔特徴量変化に基づく表情認識の方法である、
請求項１又は２に記載のコミュニケーション支援システム。

【請求項4】

前記表現発現部は、可動式の部品と色又は明るさの変更が可能な部品とを備え、
前記色又は明るさは、前記心理状態推定部の推定の結果の内容に応じた色又は明るさであり、前記可動式の部品の動き又は形状は前記心理状態推定部の推定の結果の内容に応じた動き又は形状である、
請求項１から３のいずれか一項に記載のコミュニケーション支援システム。

【請求項5】

前記可動式の部品は、花弁の形状を模した可動式の部品である、
請求項４に記載のコミュニケーション支援システム。

【請求項6】

前記表現発現部は、前記心理状態推定部の推定の結果の内容に応じた動き又は形状を示す画像であって前記心理状態推定部の推定の結果の内容に応じた色又は明るさである画像を表示する、
請求項１から３のいずれか一項に記載のコミュニケーション支援システム。

【請求項7】

通信相手と通信を行う観測対象の生体情報と、前記観測対象の表情、声又はしぐさを示す行動情報とのいずれか一方又は両方に基づいて、前記観測対象の心理状態を推定する心理状態推定ステップと、
前記心理状態推定ステップの推定の結果の内容を示す事象である表現事象を発現させる表現発現ステップと、
を有し、
前記表現事象は、動き又は形状と、色又は明るさとによって前記心理状態推定ステップによる推定の結果の内容を示す、
コミュニケーション支援方法。

【請求項8】

請求項１から６のいずれか一項に記載のコミュニケーション支援システムとしてコンピュータを機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、コミュニケーション支援システム、コミュニケーション支援方法及びプログラムに関する。

【背景技術】

【0002】

電話やビデオチャットなどの普及により、物理的に離れていてもリアルタイムにコミュニケーションすることが可能になってきている。近年では、感染症対策やワークライフバランスを考慮したら新しいワークスタイルの実現として、在宅勤務などリモートワークを前提とし、ビデオ会議システムやＷＥＢ会議システム等のオンライン会議システムを用いたコミュニケーションの機会が増大している。

【0003】

このようなオンライン会議システムによるコミュニケーションは、お互いの映像を送り合うことで表情などの非言語情報の交換が可能となるため、コミュニケーションの相手の情報として声しかなかった電話と比べてより円滑なコミュニケーションを実現できる。

【0004】

しかしながら、電話よりも円滑なコミュニケーションを実現するとはいえ、オンライン会議システムであっても、対面のコミュニケーションと比べて非言語コミュケーションの手掛かりを十分に提示するのが難しい場合がある。

【0005】

そこで、ユーザが身に着けている装飾品や部屋の照明などを使って、ユーザの心理状態を色や明るさで表現することで、オンライン会議システムにおける不足情報を提示する技術が提案されている（非特許文献１参照）。

【先行技術文献】

【非特許文献】

【0006】

【非特許文献1】山本愛優美、“ポジティブ情動推定技術のコンシューマ化への取り組み：表情・心拍・音声情報を反映するデバイス”e-lamp.”の開発を通して“

【発明の概要】

【発明が解決しようとする課題】

【0007】

しかしながら、非特許文献１に記載の技術では、心理状態は複雑であるため色又は明るさだけで心理状態の全てを表現することは難しい場合がある。なお、このような技術は映像のやり取りを行うオンライン会議システムだけに限らず、通信によるコミュニケーションにおいて共通の課題であった。

【0008】

上記事情に鑑み、本発明は、通信によるコミュニケーションをより円滑にする技術の提供を目的としている。

【課題を解決するための手段】

【0009】

本発明の一態様は、通信相手と通信を行う観測対象の生体情報と、前記観測対象の表情、声又はしぐさを示す行動情報とのいずれか一方又は両方に基づいて、前記観測対象の心理状態を推定する心理状態推定部と、前記心理状態推定部の推定の結果の内容を示す事象である表現事象を発現させる表現発現部と、を備え、前記表現事象は、動き又は形状と、色又は明るさとによって前記心理状態推定部による推定の結果の内容を示す、コミュニケーション支援システムである。

【0010】

本発明の一態様は、通信相手と通信を行う観測対象の生体情報と、前記観測対象の表情、声又はしぐさを示す行動情報とのいずれか一方又は両方に基づいて、前記観測対象の心理状態を推定する心理状態推定ステップと、前記心理状態推定ステップの推定の結果の内容を示す事象である表現事象を発現させる表現発現ステップと、を有し、前記表現事象は、動き又は形状と、色又は明るさとによって前記心理状態推定ステップによる推定の結果の内容を示す、コミュニケーション支援方法である。

【0011】

本発明の一態様は、上記のコミュニケーション支援システムとしてコンピュータを機能させるためのプログラムである。

【発明の効果】

【0012】

本発明により、通信によるコミュニケーションをより円滑にすることが可能となる。

【図面の簡単な説明】

【0013】

【図1】実施形態のコミュニケーションシステムの構成の一例を示す図。

【図2】実施形態における表現制御装置のハードウェア構成の一例を示す図。

【図3】実施形態における制御部の機能構成の一例を示す図。

【図4】実施形態における表現装置のハードウェア構成の一例を示す図。

【図5】実施形態におけるコミュニケーション支援システムで実行される処理の流れの一例を示すフローチャート。

【図6】変形例におけるコミュニケーションシステムの構成の一例を示す図。

【発明を実施するための形態】

【0014】

（実施形態）
図１は、実施形態のコミュニケーションシステム１００の構成の一例を示す図である。コミュニケーションシステム１００は、遠隔地にいるユーザ同士の通信を実現する。通信は、映像を用いた通信であってもよいし音声を用いた通信であってもよいし、メール等の文字の送受信による通信であってもよい。以下、説明の簡単のため、通信が映像と音声とを用いた通信（すなわちオンライン会議システム）である場合を例にコミュニケーションシステム１００を説明する。

【0015】

コミュニケーションシステム１００は、オンライン会議システム９００と、コミュニケーション支援システム１０とを備える。オンライン会議システム９００は、通信端末９を備える。通信端末９は、パソコンやスマートフォン等の通信可能な通信端末である。オンライン会議システム９００は、遠隔地にいるユーザ同士が、通信端末９を用いて通信相手と通信を行うシステムである。

【0016】

図１の例において、オンライン会議システム９００を用いた通信を行うユーザは、ユーザ９０１とユーザ９０２とである。すなわち、図１の例において、ユーザ９０１にとっての通信相手はユーザ９０２であり、ユーザ９０２にとっての通信相手はユーザ９０１である。

【0017】

コミュニケーション支援システム１０は、オンライン会議システム９００を用いてコミュニケーションを行うユーザに対して、通信相手のユーザの心理状態の推定結果を示す情報を提供するシステムである。以下、心理状態の推定結果を示す情報を、推定結果情報という。

【0018】

コミュニケーション支援システム１０は、観測装置１、表現制御装置２及び表現装置３を備える。以下、説明の簡単のためコミュニケーション支援システム１０が、ユーザの一方の心理状態についてのみ推定結果情報を推定する場合を例に、コミュニケーション支援システム１０を説明する。

【0019】

しかしながら、コミュニケーション支援システム１０は、必ずしもユーザの一方についてのみ推定結果情報を推定する必要はなく、ユーザ両方について推定結果情報を推定してもよい。そして、このようにユーザ両方について推定結果情報を推定する場合に、コミュニケーション支援システム１０は、一方のユーザの推定結果情報を他方のユーザに提供することを、両方のユーザそれぞれに対して行ってもよい。

【0020】

観測装置１は、観測対象のユーザ（以下「被観測者」という。）の生体情報と、被観測者の表情、声又はしぐさを示す情報と、のいずれか一方又は両方を取得する。図１の例における被観測者は、例えばユーザ９０１である。生体情報は、例えば、心拍であってもよいし、脈拍であってもよいし、脳波であってもよい。

【0021】

以下、表情、声又はしぐさを示す情報を、行動情報という。観測装置１は、例えば生体センサを備え、生体センサによって被観測者の生体情報を取得する。観測装置１は、例えばマイクを備え、マイクにより得られた被観測者の声を示す信号を行動情報として取得する。観測装置１は、例えばビデオカメラ等の撮影装置を備え、撮影装置によって記録された被観測者の表情又はしぐさを行動情報として取得する。観測装置１は表現制御装置２と通信可能に接続されており、取得した生体情報又は行動情報を表現制御装置２に出力する。

【0022】

表現制御装置２は、行動情報に基づき制御対象を制御する。制御対象は、例えば表現装置３である。表現制御装置２は、心理状態推定処理を実行する。心理状態推定処理は、生体情報又は行動情報に基づき被観測者の心理状態を推定する処理である。心理状態推定処理は、例えば、カメラで取得した目や眉、口などの顔のパーツを特徴量として、機械学習やＤＮＮにより、心理状態を表す指標である感情(怒り、軽蔑、嫌悪、恐怖、喜び、中立、悲しみ、驚き)の度合い(０～１)を推定する。心理状態を表す指標である感情の度合いを推定する方法は、例えば参考文献１又は２に記載の顔特徴量変化に基づく表情認識の方法である。心理状態推定処理の実行により推定された被観測者の心理状態を示す情報が、推定結果情報である。

【0023】

参考文献１：野宮 浩揮, 宝珍 輝尚,”顔特徴量の有用性推定に基づく特徴抽出による表情認識”, 日本知能情報ファジィ学会誌，Vol23, No.2, pp.170-185(2011)
参考文献２： VICTOR-EMIL NEAGOE, ANDREI-PETRU BRAR, NICU SEBE, PAUL ROBITU,”A Deep Learning Approach for Subject Independent Emotion Recognition from Facial Expressions”, Recent Advances in Image, Audio and Signal Processing, pp.93-98

【0024】

表現制御装置２は制御処理を実行する。制御処理は、心理状態推定処理の実行により取得した推定結果情報に基づき制御対象を制御する処理である。制御対象は、推定結果情報を表現可能であればどのようなものであってもよい。推定結果情報を表現するとは、推定結果情報の内容に応じた事象を発現させることを意味する。推定結果情報の内容に応じた事象の具体例は後述する。制御対象は、例えば表現装置３である。制御処理は、より具体的には、制御対象を制御して制御対象に推定結果情報を表現させる処理である。

【0025】

表現制御装置２は制御対象と通信可能に接続されている。表現制御装置２は、通信により制御対象を制御する。

【0026】

表現装置３は、表現制御装置２の制御を受けて動作する。表現装置３は、表現制御装置２の制御による動作の実行により、推定結果情報を表現する。推定結果情報は、色又は明るさと、動き又は形状とによって表現される。表現装置３は、推定結果情報の表現のために、推定結果情報の内容を示す事象を発現させる。以下、推定結果情報の内容を示す事象を、表現事象という。推定結果情報は色又は明るさと動き又は形状とによって表現されるから、表現事象は動き又は形状と色又は明るさとによって推定結果情報の内容を示す事象である。

【0027】

推定結果情報の内容を示す形状について説明する。推定結果情報の内容を示す動きは、例えば、推定結果情報に応じた形状に変形するという動きの事象である。推定結果情報の内容を示す形状とは、例えば、変形するという動きの事情の結果として発現した静止状態における形状である。

【0028】

したがって、表現装置３は、表現制御装置２の制御による動作の実行により、推定結果情報を、色又は明るさと、動作又は形状とによって表現する。すなわち、表現装置３は、表現制御装置２の制御による動作の実行により、推定結果情報の内容を示す色又は明るさと動き又は形状とを発現させることで、推定結果情報の内容を示す。

【0029】

表現事象は、表現装置３の構成に依存する。そこで、以下、表現装置３の構成の例とともに、各構成における表現事象の例を説明する。

【0030】

＜表現装置３の第１の構成例＞
表現装置３は、例えば１又は複数の可動式表現部品を備える装置である。可動式表現部品は、モーターを備えコンピュータにより動きが制御される可動式の部品である。可動式表現部品の動きは、コンピュータにより制御される。より具体的には、表現装置３が、バスで接続されたＣＰＵ（Central Processing Unit）等のプロセッサとメモリとを備える制御部を備え、制御部が可動式表現部品の備えるモーターの動きを制御する。モーターの制御により制御部は可動式表現部品の動きを制御する。以下、可動式表現部品の動作を制御する処理を可動部品制御処理という。可動部品制御処理は、より具体的には、推定結果情報に基づきの可動式表現部品の動作を制御する処理である。

【0031】

このような可動式表現部品を備える表現装置３では、可動部品制御処理の実行により、例えば推定結果情報の内容に応じた動きを各可動式表現部品が行う。推定結果情報の内容に応じた各可動式表現部品の動きが、可動式表現部品を備える表現装置３において生じる表現事象の一例である。また、各可動式表現部品の動きの結果、可動式表現部品の集合が形成する静止状態の形状も、表現事象の一例である。可動式表現部品の集合が形成する静止状態の形状は、推定結果情報の内容に応じた形状である。

【0032】

表現装置３は、さらに色又は明るさの変更が可能な部品（以下「色彩表現部品」という。）を備える。色彩表現部品の色又は明るさは、推定結果情報の内容に応じた色又は明るさである。

【0033】

なお、色又は明るさとは、より具体的には、推定結果情報の内容に応じた色の配色と、推定結果情報の内容に応じた明るさの強度分布とのいずれか一方又は両方、を意味する。色の配色は、複数の色の配色だけを意味するものではなく、１又は複数の色の配色を意味する。したがって、例えば推定結果情報の内容に応じて色又は明るさが異なる場合、その違いは、複数の色の配色の違いであってもよいし、明るさの強度分布の違いであってもよい。明るさの強度分布の違いは、分布の形状が均一であって絶対値が異なることも含む。

【0034】

色彩表現部品は、例えば１又は複数の発光素子の集合である。このような場合、色彩表現部品の色又は明るさは、発光素子の集合が発光した光である。したがって、色彩表現部品が１又は複数の発光素子の集合である場合、色彩表現部品の色又は明るさは、発光素子の発光の制御により、推定結果情報の内容に応じた色又は明るさに制御される。

【0035】

色彩表現部品は、例えばアレキサンドライト等の照射される光に応じて色が変化する物質と半導体レーザ等の光源との組合せであってもよい。このような場合、色彩表現部品の色又は明るさは、推定結果情報の内容に応じた光の照射が行われることで発現する推定結果情報に内容に応じた色又は明るさである。色彩表現部品が照射される光に応じて色が変化する物質と光源との組合せである場合、色彩表現部品の色又は明るさは、このようにして、推定結果情報の内容に応じた色又は明るさに制御される。

【0036】

色彩表現部品は、例えばコガネムシの羽やコレステリック液晶やフォトニック結晶等の傾きに応じて反射光の色が変化する物質と、傾きに応じて反射光の色が変化する物質の傾きを制御するモーターとの組合せであってもよい。このような場合、傾きに応じて反射光の色が変化する物質の傾きが、モーターにより、推定結果情報の内容に応じて制御される。その結果、このような色彩表現部品は、推定結果情報の内容に応じた色の光を反射する。このような場合、色彩表現部品による反射光の色又は明るさが、色彩表現部品の色又は明るさである。したがって、色彩表現部品が傾きに応じて反射光の色が変化する物質とその傾きを制御するモーターとの組合せである場合、色彩表現部品の色又は明るさは、モーターにより、推定結果情報の内容に応じた色又は明るさに制御される。

【0037】

なお、色彩表現部品の色又は明るさは、色彩表現部品がコンピュータにより制御されることで制御される。例えば色彩表現部品が１又は複数の発光素子の集合である場合、表現装置３の備える制御部は、各発光素子の発光強度を制御することで、色彩表現部品の色又は明るさを制御する。例えば色彩表現部品が、照射される光に応じて色が変化する物質と光源との組み合わせである場合、表現装置３の備える制御部は、光源の発光を制御することで色彩表現部品の色又は明るさを制御する。

【0038】

例えば色彩表現部品が、傾きに応じて反射光の色の変化する物質とモーターとの組合せである場合には、表現装置３の備える制御部は、モーターを制御することで色彩表現部品の色又は明るさを制御する。以下、色彩表現部品の色又は明るさを推定結果情報の内容に応じた色又は明るさに制御する処理を色彩制御処理という。

【0039】

なお、各可動式表現部品により推定結果情報の内容に応じた動き又は形状が発現し、色彩表現部品の色が推定結果情報の内容に応じた色又は明るさである事象は、表現事象の一例である。

【0040】

なお推定結果情報の内容に応じた色彩表現部品の色又は明るさは、推定結果情報の内容に応じた周期で色彩表現部品の色又は明るさが変化することであってもよい。

【0041】

なお可動式表現部品は、例えば花弁の形状を模した可動式の部品である。このような場合、推定結果情報の内容に応じた動きは、例えば花弁が開閉の動きである。また、推定結果情報の内容に応じた形状は、例えば花弁の推定結果情報の内容に応じた形状である。また可動式表現部品が花弁の形状を模した可動式の部品である場合、色彩表現部品の色又は明るさは、例えば花弁の形状の可動式表現部品が発光素子を備えており、その発光素子が光ことで花弁が光る現象であってもよい。なお可動式表現部品の形状は、必ずしも花弁である必要は無い。可動式表現部品の形状は、例えば葉の形状であってもよいし、枝の形状であってもよいし、鳥や虫などの動物の形状であってもよい。

【0042】

可動式表現部品は、例えば砂時計や回転可能な地球儀等の置物であってもよい。可動式表現部品が砂時計である場合、推定結果情報の内容に応じた動きは、例えば砂の落ちる動きである。このような場合、例えば砂の落ちる速さが推定結果情報の内容に応じた速さである。可動式表現部品が砂時計である場合、色彩表現部品は砂時計に取り付けられた１又は複数の発光素子であってもよい。

【0043】

可動式表現部品が回転可能であり発光可能な地球儀である場合、推定結果情報の内容に応じた動きは、例えば地球儀の回転の動きである。このような場合、例えば地球儀の回転の速さが推定結果情報の内容に応じた速さである。またこのような場合、色彩表現部品は地球儀そのものであり、色彩表現部品の色又は明るさは、例えば地球儀が光ることであってもよい。

【0044】

なお可動式表現部品は、例えばサンタクロースや、ピエロや、ウサギ等の人、キャラクター又は動物の顔を模した置物であって、頬や目元等の顔の一部がモーターにより可動する置物であってもよい。このような場合、顔の一部であってモーターで可動する部位が推定結果情報の内容に応じて動くことで、人、キャラクター又は動物の顔を模した置物は、推定結果情報の内容に応じた表情を形成する。このような場合、色彩表現部品は、例えば顔の一部であって発光素子の取り付けられた顔の一部であってもよい。このような場合、色彩表現部品の色又は明るさは、顔の一部の色彩表現部品が光ることであってもよい。

【0045】

なお可動式表現部品は、例えばモーターで動作する絡繰り人形であってもよい。このような場合、モーターが推定結果情報の内容に応じた動きで動くことで、絡繰り人形は、推定結果情報の内容に応じた動作を実行する。このような場合、色彩表現部品は、例えば絡繰り人形の一部であって発光素子の取り付けられた絡繰り人形の一部であってもよい。このような場合、色彩表現部品の色又は明るさは、絡繰り人形の一部の色彩表現部品が光ることであってもよい。

【0046】

表現事象は、表現事象を観測する人の集中力の変化への影響の強さが所定の強さよりも弱い事象であることが望ましい。表現事象を観測する人は、具体的には、被観測者の通信相手である。表現事象を観測したことで通信相手は被観測者とのコミュニケーションに集中できなくなってしまう可能性があるが、この可能性は通信相手の集中力の変化への影響の強さが強いほど高まってしまうため、影響の強さは所定の強さよりも弱い方が望ましい。

【0047】

なお表現事象を観測する人の集中力の変化への影響の強さは、例えばラバンの理論におけるエフォートの値によって評価される。したがって、表現事象を観測する人の集中力の変化への影響の強さが所定の強さより強いとは、例えばラバンの理論におけるエフォートの値が所定の値よりも大きいことを意味する。

【0048】

なお、表現事象を観測する人の集中力の変化への影響の強さが所定の強さよりも弱い事象の一例は、例えば花弁の形状を模した可動式表現部品が、推定結果情報の内容に応じた色又は明るさの花弁が、推定結果情報の内容に応じた形状である事象である。この事象が、表現事象を観測する人の集中力の変化への影響の強さが所定の強さよりも弱い事象である理由は、花弁の開閉は実世界で観察できる事象であり、観測する人が直感的に花弁の開閉が示す意味を理解できるためである。

【0049】

＜表現装置３の第２の構成例＞
表現装置３は、例えば画像を表示する装置であってもよい。このような場合、表現装置３は、推定結果情報の内容に応じた動き又は形状を示す画像であって推定結果情報の内容に応じた色又は明るさである画像（以下「表現画像」という。）を表示する。より具体的には、このような表現装置３は、例えばバスで接続されたＣＰＵ（Central Processing Unit）等のプロセッサとメモリとを備える制御部を備え、制御部が表示制御処理を実行する装置である。

【0050】

表示制御処理は、推定結果情報に応じた表現画像を所定の表示装置に表示させる処理である。表示制御処理が表現事象の一例である。

【0051】

表現画像は、例えば花弁の画像であって、画像中の花弁の状態は推定結果情報の内容に応じた状態である画像である。画像中の花弁は、例えば推定結果情報の内容に応じた動きを行う。画像中の花弁は、例えば推定結果情報の内容に応じた形状であってもよい。さらに、画像中の花弁の色又は明るさは推定結果情報の内容に応じた色又は明るさである。

【0052】

表現画像が花弁の画像である場合、画像中の花弁の数は、例えば推定結果情報の内容に応じた数であってもよい。

【0053】

表現画像は、必ずしも花弁の画像である必要は無く、葉や枝の画像であってもよいし、鳥や虫などの動物の画像であってもよい。表現画像は、例えば砂時計や地球儀等の置物の画像であってもよい。表現画像は、例えばサンタクロースや、ピエロや、ウサギ等の人、キャラクター又は動物の顔の画像であってもよい。表現画像は、例えば絡繰り人形の画像であってもよい。

【0054】

表現画像が砂時計である場合、推定結果情報の内容に応じた動きは、例えば画像中の砂の落ちる動きである。このような場合、例えば画像中の砂の落ちる速さが推定結果情報の内容に応じた速さである。表現画像が砂時計である場合、例えば画像中の砂は推定結果情報の内容に応じた色又は明るさで表示される。

【0055】

表現画像が地球儀である場合、推定結果情報の内容に応じた動きは、例えば画像中の地球儀の回転する動きである。このような場合、例えば画像中の地球儀の回転の速さが推定結果情報の内容に応じた速さである。表現画像が地球儀である場合、例えば画像中の地球儀は推定結果情報の内容に応じた色又は明るさで表示される。

【0056】

表現画像が人、キャラクター又は動物の顔の画像である場合、推定結果情報の内容に応じた形状は、例えば画像中の顔の形状であって推定結果情報の内容を表現する形状である。顔の形状とは具体的には、表情である。表現画像が人、キャラクター又は動物の顔の画像である場合、例えば画像中の顔は推定結果情報の内容に応じた色又は明るさで表示される。

【0057】

表現画像が絡繰り人形の画像である場合、推定結果情報の内容に応じた動きは、例えば画像中の人形の動きであって推定結果情報の内容に応じた動きである。表現画像が絡繰り人形の画像である場合、例えば画像中の絡繰り人形は推定結果情報の内容に応じた色又は明るさで表示される。

【0058】

表現装置３の第２の構成例においても第１の構成例と同様に、表現事象は、表現事象を観測する人の集中力の変化への影響の強さが所定の強さよりも弱い事象であることが望ましい。表現事象を観測する人は、具体的には、被観測者の通信相手である。表現事象を観測したことで通信相手は被観測者とのコミュニケーションに集中できなくなってしまう可能性があるが、この可能性は通信相手の集中力の変化への影響の強さが強いほど高まってしまうため、影響の強さは所定の強さよりも弱い方が望ましい。

【0059】

表現装置３の第１の構成例と第２の構成例とのいずれも、表現装置３は動き又は形状と色又は明るさとによって被観測者の心理状態を表現する装置である。このように、表現装置３は少なくとも動き又は形状と色又は明るさとによって被観測者の表現事象を発現させれば、どのような構成であってもよい。

【0060】

＜ラッセルの感情円環モデルと表現事象との関係について＞
表現事象は例えば、ラッセルの感情円環モデルに基づいた表現事象であることが望ましい。そこで、ここではラッセルの感情円環モデルと表現事象との関係の一例を説明する。コミュニケーション支援システム１０では、心理状態と花弁の状態とを対応付けた情報である心理状態テーブルが用いられてもよい。心理状態テーブルは、予め得られた情報である。横軸が心理状態推定処理で推定された心理状態を示す感情価を示し縦軸が覚醒度を示すモデルであるラッセルの感情円環モデルに心理状態テーブルが適用される場合、心理状態テーブルは、テーブルの一次元が感情価を示し、二次元が覚醒度を示す。このような心理状態テーブルの一次元の要素ｉ（ｉは０以上Ｎ以下の整数。Ｎは自然数）のｉ＝０は感情価が不快のときの表現事象を示し、ｉ＝Ｎは感情価が快のときの表現事象を示す。このような心理状態テーブルの二次元の要素ｊ（ｊは０以上Ｍ以下の整数。Ｍは自然数）のｊ＝０は覚醒度が低い表現事象を示し、ｊ＝Ｍは覚醒度が高い表現事象を示す。

【0061】

例えば表現事象が花弁の状態である場合、花弁が閉じている状態の心理状態は例えば不快を表す０であり、花弁が開いている状態の心理状態は例えば喜びを表す１００である。心理状態テーブル算出プログラムの実行により、初期値として与えられた一次元および二次元の要素が最小及び最大のときの花弁の状態を示す値に基づき各要素における花弁の状態を示す値が線形補完される。線形補完されることで、心理状態を表す花弁の状態を示す値が得られる。なお、心理状態テーブル算出プログラムは、実行されることで、初期値として与えられた一次元および二次元の要素が最小及び最大のときの花弁の状態を示す値に基づき各要素における花弁の状態を示す値を線形補完するコンピュータプログラムである。心理状態テーブル算出プログラムは所定のコンピュータによって実行される。心理状態テーブル算出プログラムの実行によって得られた心理状態テーブルは、表現制御装置２によって用いられる。なお、心理状態を表す花弁の状態を示す値はユーザがインタフェースを介して任意に変更してもよい。

【0062】

＜心理状態の推定とラッセルの感情円環モデルと表現事象との関係について＞
心理状態の推定では、例えば上述のラッセルの感情円環モデルと表現事象との関係が用いられてもよい。例えば、心拍・脈拍状態から感情価、脳波の状態から覚醒度を算出する方法が心理状態の推定の方法として用いられる場合を例に説明する。このような場合、感情価が不快で覚醒度が低い場合、心理状態を表す花弁の状態は上述の心理状態テーブルの要素ｉ＝０、ｊ＝０の値である。

【0063】

図２は、実施形態における表現制御装置２のハードウェア構成の一例を示す図である。表現制御装置２は、バスで接続されたＣＰＵ（Central Processing Unit）等のプロセッサ９１とメモリ９２とを備える制御部２１を備え、プログラムを実行する。表現制御装置２は、プログラムの実行によって制御部２１、通信部２２、入力部２３、記憶部２４及び出力部２５を備える装置として機能する。

【0064】

より具体的には、表現制御装置２は、プロセッサ９１が記憶部２４に記憶されているプログラムを読み出し、読み出したプログラムをメモリ９２に記憶させる。プロセッサ９１が、メモリ９２に記憶させたプログラムを実行することによって、表現制御装置２は、制御部２１、通信部２２、入力部２３、記憶部２４及び出力部２５を備える装置として機能する。

【0065】

制御部２１は、表現制御装置２が備える各種機能部の動作を制御する。制御部２１は、例えば心理状態推定処理を実行する。制御部２１は、例えば制御処理を実行する。制御部２１は、制御処理の実行により、通信部２２を介して制御対象の動作を制御する。

【0066】

通信部２２は、表現制御装置２を外部装置に接続するためのインタフェースを含んで構成される。通信部２２は、有線又は無線を介して外部装置と通信する。外部装置は例えば観測装置１である。通信部２２は、観測装置１との通信によって、観測装置１の取得した生体情報又は行動情報（すなわち、被観測者の生体情報又は行動情報）を取得する。通信部２２の取得した生体情報又は行動情報は、制御部２１に出力される。外部装置は例えば制御処理の制御対象である。

【0067】

入力部２３は、例えばマウスやキーボード、タッチパネル等の入力装置を含んで構成される。入力部２３は、これらの入力装置を表現制御装置２に接続するインタフェースを含んで構成されてもよい。

【0068】

記憶部２４は、磁気ハードディスク装置や半導体記憶装置などのコンピュータ読み出し可能な記憶媒体装置を用いて構成される。記憶部２４は、表現制御装置２に関する各種情報を記憶する。記憶部２４は、例えば制御部２１が実行する処理の結果生じた各種情報を記憶する。記憶部２４は、例えば心理状態テーブルを記憶していてもよいし、例えば生体情報又は行動情報に基づき心理状態を推定する数理モデルを記憶していてもよい。生体情報又は行動情報に基づき心理状態を推定する数理モデルは、例えば予め機械学習の方法によって得られた学習済みの数理モデルであってもよい。

【0069】

出力部２５は、例えばＣＲＴ（Cathode Ray Tube）ディスプレイや液晶ディスプレイ、有機ＥＬ（Electro-Luminescence）ディスプレイ等の表示装置を含んで構成される。出力部２５は、これらの表示装置を表現制御装置２に接続するインタフェースを含んで構成されてもよい。

【0070】

図３は、実施形態における制御部２１の機能構成の一例を示す図である。制御部２１は、観測結果取得部２１１、心理状態推定部２１２及び表現制御部２１３を備える。観測結果取得部２１１は、被観測者の生体情報又は行動情報を取得する。観測結果取得部２１１は、例えば通信部２２を介して観測装置１から被観測者の生体情報又は行動情報を取得する。観測結果取得部２１１は、例えば通信部２２の取得した被観測者の生体情報又は行動情報が記憶部２４に記憶されている場合に、記憶部２４から読み出すことで被観測者の生体情報又は行動情報を取得してもよい。

【0071】

心理状態推定部２１２は、心理状態推定処理を実行する。心理状態推定部２１２は、心理状態推定処理の実行により、観測結果取得部２１１の取得した被観測者の生体情報又は行動情報に基づき、被観測者の心理状態を推定する。心理状態推定部２１２による被観測者の心理状態の推定では、例えば生体情報又は行動情報と心理状態との対応関係を示す情報が用いられることで、被観測者の生体情報又は行動情報に基づき被観測者の心理状態が推定される。

【0072】

表現制御部２１３は、制御処理を実行する。すなわち、表現制御部２１３は、心理状態推定処理の実行により推定された被観測者の心理状態に基づき、制御対象の動作を制御する。制御対象の動作の制御は、例えば通信部２２を介して行われる。制御処理は、例えば制御対象に可動部品制御処理及び色彩制御処理を実行させる処理である。制御処理は、例えば制御対象に表示制御処理を実行させる処理である。

【0073】

図４は、実施形態における表現装置３のハードウェア構成の一例を示す図である。より具体的には、図４は可動式表現部品を備える表現装置３のハードウェア構成の一例を示す図である。すなわち図４は、上述した第１の構成例の表現装置３のハードウェア構成の一例を示す図である。

【0074】

表現装置３は、バスで接続されたＣＰＵ等のプロセッサ９３とメモリ９４とを備える制御部３１を備え、プログラムを実行する。表現装置３は、プログラムの実行によって表現発現部３０、制御部３１、通信部３２及び記憶部３３を備える装置として機能する。

【0075】

より具体的には、表現装置３は、プロセッサ９３が記憶部３３に記憶されているプログラムを読み出し、読み出したプログラムをメモリ９４に記憶させる。プロセッサ９３が、メモリ９４に記憶させたプログラムを実行することによって、表現装置３は、表現発現部３０、制御部３１、通信部３２及び記憶部３３を備える装置として機能する。

【0076】

表現発現部３０は、表現事象を発現させる。表現発現部３０は、例えば１又は複数の可動式表現部品と色彩表現部品との組合せである。表現発現部３０は、例えば表現画像を表示する表示装置であってもよい。表現画像を表示する表示装置は、例えばＣＲＴディスプレイや液晶ディスプレイ、有機ＥＬディスプレイである。

【0077】

制御部３１は、表現装置３が備える各種機能部の動作を制御する。制御部３１は、例えば表現発現部３０を制御する。制御部３１は、表現発現部３０が１又は複数の可動式表現部品と色彩表現部品との組合せである場合には、表現制御装置２による制御を受けて例えば可動部品制御処理と色彩制御処理とを実行する。可動部品制御処理と色彩制御処理との実行により、制御部３１は表現発現部３０に表現事象を発現させる。制御部３１は、表現画像を表示する表示装置である場合には、表現制御装置２による制御を受けて例えば表示制御処理を実行する。表示制御処理の実行により、制御部３１は表現発現部３０に表現事象を発現させる。

【0078】

表現制御装置２による制御とは、より具体的には、表現制御部２１３による制御である。このように制御部３１は、表現制御部２１３による制御を受けて、表現発現部３０の動作を制御する。すなわち、表現発現部３０は、表現制御部２１３による制御を受けて表現事象を発現させる。なお、制御部３１は、通信部３２を介して表現制御装置２による制御を受ける。

【0079】

通信部３２は、表現装置３を外部装置に接続するためのインタフェースを含んで構成される。通信部３２は、有線又は無線を介して外部装置と通信する。外部装置は例えば表現制御装置２である。

【0080】

記憶部３３は、磁気ハードディスク装置や半導体記憶装置などのコンピュータ読み出し可能な記憶媒体装置を用いて構成される。記憶部３３は、表現装置３に関する各種情報を記憶する。記憶部３３は、例えば制御部３１が実行する処理の結果生じた各種情報を記憶する。

【0081】

図５は、実施形態におけるコミュニケーション支援システム１０で実行される処理の流れの一例を示すフローチャートである。図５の各処理は、ユーザ９０１とユーザ９０２とがオンライン会議システム９００を用いてやり取りを行う間に実行される。

【0082】

観測結果取得部２１１が通信部２２を介して観測装置１から被観測者の生体情報又は行動情報を取得する（ステップＳ１０１）。次に、心理状態推定部２１２が、ステップＳ１０１で取得された生体情報又は行動情報に基づき被観測者の心理状態を推定する（ステップＳ１０２）。次に表現制御部２１３による制御を受けて、表現発現部３０が表現事象を発現させる（ステップＳ１０３）。

【0083】

このように構成された実施形態におけるコミュニケーション支援システム１０は、動き又は形状と色又は明るさとによって被観測者の心理状態を表現する。そのため、コミュニケーション支援システム１０は、色又は明るさだけで心理状態を表現するよりも、より正確に心理状態の表現が可能である。したがって、コミュニケーション支援システム１０は、通信によるコミュニケーションをより円滑にすることができる。

【0084】

また、表現事象が表現事象を観測する人の集中力の変化への影響の強さが所定の強さよりも弱い事象である場合、そうではない場合に比べて表現事象の発現によるコミュニケーションシステム１００のユーザのコミュニケーションに対する集中力の低減を軽減することができる。そのため、表現事象が表現事象を観測する人の集中力の変化への影響の強さが所定の強さよりも弱い事象である場合には、そうではない場合に比べてより一層、通信によるコミュニケーションをより円滑にすることができる。

【0085】

（変形例）
なお、心理状態テーブルにおける表現事象は、表現事象が花弁の色である場合に、カラースペースを用いて数値で示されてもよい。以下、表現事象が花弁の色である場合の心理状態テーブルであって、カラースペースを用いて数値で表現事象が示される心理状態テーブルを、カラー心理テーブルという。表現事象の表現として例えばＲＧＢカラースペースが用いられる場合には、例えば要素（ｉ、ｊ）の値はベクトル（ｒ，ｇ，ｂ）で表現される。心理状態テーブル算出プログラムの実行により、初期値として与えられた一次元および二次元の要素が最小および最大のときの花弁の色の状態を示す値から、各要素での花弁の状態を示す値が線形補完される。線形補完の結果、心理状態を表す花弁の状態を示す値が得られる。なお、心理状態を表す花弁の状態を示す値はユーザがインタフェースを介して任意に変更してもよい。

【0086】

カラー心理テーブルが用いられる場合であって表現装置３の花弁の色がカラー心理テーブルにおけるカラースペースと同じカラースペースの色で表現される場合には、表現装置３の制御には、心理状態テーブルの要素の値がそのまま制御に用いられてもよい。一方、表現装置３の花弁の色がカラー心理テーブルにおけるカラースペースと異なるカラースペースの色で表現される場合には、表現装置３の制御には、心理状態テーブルの要素の値が色表現変換式により変換された値が用いられてもよい。例えばＲＧＢからＨＳＶに変換する色表現変換式は、下記の式（１）～（３）で表される。

【0087】

【数1】

【0088】

【数2】

【0089】

【数3】

【0090】

式（１）～（３）のＭＡＸの定義はＲＧＢのうち最大の輝度値である。式（１）～（３）のＭＩＮの定義はＲＧＢのうち最小の輝度値である。式（１）～（３）のＲの定義は赤の原色の輝度値である。式（１）～（３）のＧの定義は緑の原色の輝度値である。式（１）～（３）のＢの定義は青の原色の輝度値である。

【0091】

図６は、変形例におけるコミュニケーションシステム１００ａの構成の一例を示す図である。以下、説明の簡単のためコミュニケーションシステム１００の備える各機能部が有する機能と同様の機能を有するものについては、図１～５と同じ符号を付すことで説明を省略する。

【0092】

コミュニケーションシステム１００ａは、表現制御装置２の制御対象が通信端末９である点で、コミュニケーションシステム１００と異なる。コミュニケーションシステム１００ａにおける通信端末９は、例えばスマートフォン等の画像を表示可能な通信端末である。したがって、コミュニケーションシステム１００ａにおける通信端末９は、表現装置３の一例である。より具体的には、通信端末９は、表現発現部３０の一例である。

【0093】

観測装置１及び表現制御装置２は、必ずしも異なる装置として実装される必要は無い。観測装置１及び表現制御装置２は、例えば両方の機能を併せ持つ１つの装置として実装されてもよい。

【0094】

表現制御装置２及び表現装置３は、必ずしも異なる装置として実装される必要は無い。表現制御装置２及び表現装置３は、例えば両方の機能を併せ持つ１つの装置として実装されてもよい。

【0095】

なお可動部品制御処理及び色彩制御処理は、制御部３１に代えて表現制御部２１３が実行してもよい。なお、表示制御処理は制御部３１に代えて表現制御部２１３が実行してもよい。

【0096】

なお、コミュニケーションシステム１００及び１００ａ、観測装置１、表現制御装置２及び表現装置３のそれぞれは、ネットワークを介して通信可能に接続された複数台の情報処理装置を用いて実装されてもよい。なお、コミュニケーションシステム１００及び１００ａ、観測装置１、表現制御装置２及び表現装置３それぞれの各機能の全て又は一部は、ＡＳＩＣ（Application Specific Integrated Circuit）やＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されてもよい。プログラムは、コンピュータ読み取り可能な記録媒体に記録されてもよい。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置である。プログラムは、電気通信回線を介して送信されてもよい。

【0097】

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

【符号の説明】

【0098】

１００、１００ａ…コミュニケーションシステム、 １０…コミュニケーション支援システム、 １…観測装置、 ２…表現制御装置、 ３…表現装置、 ２１…制御部、 ２２…通信部、 ２３…入力部、 ２４…記憶部、 ２５…出力部、 ２１１…観測結果取得部、 ２１２…心理状態推定部、 ２１３…表現制御部、 ３０…表現発現部、 ３１…制御部、 ３２…通信部、 ３３…記憶部、 ９１…プロセッサ、 ９２…メモリ、 ９３…プロセッサ、 ９４…メモリ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】