特開2024-126580推定装置、推定システム、推定方法、および制御プログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024126580
(43)【公開日】2024-09-20
(54)【発明の名称】推定装置、推定システム、推定方法、および制御プログラム
(51)【国際特許分類】
G06T 7/20 20170101AFI20240912BHJP
G06T 7/00 20170101ALI20240912BHJP
【ＦＩ】
G06T7/20 300Z
G06T7/00 P
【審査請求】未請求
【請求項の数】11
【出願形態】ＯＬ
(21)【出願番号】P 2023035026
(22)【出願日】2023-03-07
【国等の委託研究の成果に係る記載事項】（出願人による申告）令和３年度、国立研究開発法人科学技術振興機構、研究成果展開事業（トライアウト）「オンライン飲み会を支援するアバタロボットシステムの開発」委託研究、産業技術力強化法第１７条の適用を受ける特許出願
(71)【出願人】
【識別番号】399030060
【氏名又は名称】学校法人 関西大学
(74)【代理人】
【識別番号】110000338
【氏名又は名称】弁理士法人 ＨＡＲＡＫＥＮＺＯ ＷＯＲＬＤ ＰＡＴＥＮＴ ＆ ＴＲＡＤＥＭＡＲＫ
(72)【発明者】
【氏名】瀬島 吉裕
【テーマコード（参考）】
5L096
【Ｆターム（参考）】
5L096CA02
5L096CA27
5L096DA01
5L096FA59
5L096FA67
(57)【要約】
【課題】多人数における場の盛り上がりを推定する。
【解決手段】推定装置（１０）は、複数の参加者それぞれの非発話情報を複数種類取得する取得部（１１）と、非発話情報を重み付けして線形結合することにより複数の参加者それぞれの個人温度を算出する第１算出部（１２１）と、複数の参加者それぞれと場との間の熱移動量を用いて場の温度を算出する第２算出部（１２２）と、場の温度を用いて場の雰囲気を推定する推定部（１２３）とを備える。
【選択図】図２
【解決手段】推定装置（１０）は、複数の参加者それぞれの非発話情報を複数種類取得する取得部（１１）と、非発話情報を重み付けして線形結合することにより複数の参加者それぞれの個人温度を算出する第１算出部（１２１）と、複数の参加者それぞれと場との間の熱移動量を用いて場の温度を算出する第２算出部（１２２）と、場の温度を用いて場の雰囲気を推定する推定部（１２３）とを備える。
【選択図】図２
【特許請求の範囲】
【請求項1】
複数の参加者によるコミュニケーションの場の雰囲気を推定する推定装置であって、
前記複数の参加者それぞれの発話以外の情報である非発話情報を複数種類取得する取得部と、
前記複数種類の非発話情報を重み付けして線形結合することにより、前記複数の参加者それぞれの状態を温度として示す個人温度を算出する第１算出部と、
前記複数の参加者それぞれと前記場との間の熱移動量を用い、前記場の温度を算出する第２算出部と、
前記場の温度を用いて、前記場の雰囲気を推定する推定部と、を備える推定装置。
前記複数の参加者それぞれの発話以外の情報である非発話情報を複数種類取得する取得部と、
前記複数種類の非発話情報を重み付けして線形結合することにより、前記複数の参加者それぞれの状態を温度として示す個人温度を算出する第１算出部と、
前記複数の参加者それぞれと前記場との間の熱移動量を用い、前記場の温度を算出する第２算出部と、
前記場の温度を用いて、前記場の雰囲気を推定する推定部と、を備える推定装置。
【請求項2】
前記取得部は、前記非発話情報を繰り返し取得し、
前記取得部が前記非発話情報を取得する毎に、
前記第１算出部は前記個人温度を算出し、
前記第２算出部は前記場の温度を算出し、
前記推定部は前記推定を行い、
前記第１算出部は、今回の前記個人温度を、今回取得した前記非発話情報と前に算出した前記個人温度とを用いて算出し、
前記第２算出部は、今回の前記場の温度を、前に算出した場の温度と前の前記熱移動量とを用いて算出し、
前記推定部は、今回の前記場の温度を用いて前記推定を行う、請求項１に記載の推定装置。
前記取得部が前記非発話情報を取得する毎に、
前記第１算出部は前記個人温度を算出し、
前記第２算出部は前記場の温度を算出し、
前記推定部は前記推定を行い、
前記第１算出部は、今回の前記個人温度を、今回取得した前記非発話情報と前に算出した前記個人温度とを用いて算出し、
前記第２算出部は、今回の前記場の温度を、前に算出した場の温度と前の前記熱移動量とを用いて算出し、
前記推定部は、今回の前記場の温度を用いて前記推定を行う、請求項１に記載の推定装置。
【請求項3】
前記第１算出部は、前記非発話情報として、前記それぞれの参加者の表情、視線、身体動作、瞬き、瞳孔の大きさ、心拍数、血圧、発汗量、呼吸のうちの少なくとも２つを用いて、前記個人温度を算出する、請求項１に記載の推定装置。
【請求項4】
前記第１算出部は、前記それぞれの参加者の発話に関わる情報である発話情報も用いて、前記個人温度を算出する、請求項１に記載の推定装置。
【請求項5】
前記第２算出部は、前記それぞれの参加者の相互間の相性に応じて設定された前記場の熱容量を用いて、前記場の温度を算出する、請求項１に記載の推定装置。
【請求項6】
前記推定部の推定結果を出力する出力部を備え、
前記出力部は、前記推定結果を出力先の装置で提示させる、請求項１に記載の推定装置。
前記出力部は、前記推定結果を出力先の装置で提示させる、請求項１に記載の推定装置。
【請求項7】
前記推定部は、前記それぞれの参加者の前記個人温度を用いて、前記それぞれの参加者の状態を推定する、請求項１に記載の推定装置。
【請求項8】
請求項１～７のいずれか１項に記載の推定装置と、
前記推定装置を通信可能に接続された端末装置であって、前記それぞれの参加者の前記非発話情報を前記それぞれの参加者から取得する端末装置と、を含み、
前記推定装置は、前記端末装置から前記非発話情報を取得する、推定システム。
前記推定装置を通信可能に接続された端末装置であって、前記それぞれの参加者の前記非発話情報を前記それぞれの参加者から取得する端末装置と、を含み、
前記推定装置は、前記端末装置から前記非発話情報を取得する、推定システム。
【請求項9】
前記端末装置は、前記推定装置から推定結果を取得し、取得した推定結果である前記場の雰囲気を示す表示を行う表示部を備える、請求項８に記載の推定システム。
【請求項10】
複数の参加者によるコミュニケーションの場の雰囲気を推定する推定方法であって、
前記複数の参加者それぞれの発話以外の情報である非発話情報を複数種類取得する取得ステップと、
前記複数種類の非発話情報を重み付けして線形結合することにより、前記複数の参加者それぞれの状態を温度として示す個人温度を算出する第１算出ステップと、
前記複数の参加者それぞれと前記場との間の熱移動量を用い、前記場の温度を算出する第２算出ステップと、
前記場の温度を用いて、前記場の雰囲気を推定する推定ステップと、を含む推定方法。
前記複数の参加者それぞれの発話以外の情報である非発話情報を複数種類取得する取得ステップと、
前記複数種類の非発話情報を重み付けして線形結合することにより、前記複数の参加者それぞれの状態を温度として示す個人温度を算出する第１算出ステップと、
前記複数の参加者それぞれと前記場との間の熱移動量を用い、前記場の温度を算出する第２算出ステップと、
前記場の温度を用いて、前記場の雰囲気を推定する推定ステップと、を含む推定方法。
【請求項11】
請求項１に記載の推定装置としてコンピュータを機能させるための制御プログラムであって、前記第１算出部、前記第２算出部、および前記推定部としてコンピュータを機能させるための制御プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、複数人による対話の場の盛り上がり度を推定する推定装置等に関する。
【背景技術】
【0002】
人は、他人とのコミュニケーションにおいて、言葉そのものの情報（発話情報）だけではなく、うなずき、相づち、表情、視線などの言葉そのものの情報ではない非発話情報も加味して、他人との関わり合いを実感している。すなわち、人と人とのコミュニケーションの場では、発話情報に非発話情報が加わることにより、一体感、場の盛り上がりなどが生み出され、これにより、人は、他人との関わり合いを実感している。
【0003】
本願発明者らは、対話の場の盛り上がりを推定する手法として、対話に加えて、対話者の同時発声を用いたモデル（非特許文献１）、対話に視線情報を付加したモデルを提案した（非特許文献２）。
【先行技術文献】
【非特許文献】
【0004】
【非特許文献1】瀬島 吉裕、渡辺 富夫、佐藤 洋一郎「対話者の同時発声を付加した熱伝導方程式に基づく場の盛り上がり推定モデル」日本機械学会 第28回設計工学・システム部門講演会講演論文集[No.18-11]〔2018.11.4-6 沖縄県読谷村〕
【非特許文献2】瀬島 吉裕、岡本 峻平、渡辺 富夫「音声対話における視線情報を付加した場の盛り上がりモデルの開発」日本機械学会 第31回設計工学・システム部門講演会講演論文集[No.21-4]〔2021.9.15-17 オンライン開催〕
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかし、前記の非特許文献１、２に記載のモデルは、２者間の対話を想定しており、多人数での対話における場全体の盛り上がりを推定するものではない。また、非特許文献１、２のモデルは、主に発話情報を用いて推定を行うものであり、非発話情報を十分に用いているとは言い難い。
【0006】
本発明の一態様は、前記の課題に鑑みてなされたものであり、その目的は、多人数における場の盛り上がりを推定可能な推定装置等を実現することにある。
【課題を解決するための手段】
【0007】
前記の課題を解決するために、本発明の一態様に係る推定装置は、複数の参加者によるコミュニケーションの場の雰囲気を推定する推定装置であって、前記複数の参加者それぞれの発話以外の情報である非発話情報を複数種類取得する取得部と、前記複数種類の非発話情報を重み付けして線形結合することにより、前記複数の参加者それぞれの状態を温度として示す個人温度を算出する第１算出部と、前記複数の参加者それぞれと前記場との間の熱移動量を用い、前記場の温度を算出する第２算出部と、前記場の温度を用いて、前記場の雰囲気を推定する推定部と、を備える。
【0008】
前記の課題を解決するために、本発明の一態様に係る推定システムは、前記推定装置と、前記推定装置を通信可能に接続された端末装置であって、前記それぞれの参加者の前記非発話情報を前記それぞれの参加者から取得する端末装置と、を含み、前記推定装置は、前記端末装置から前記非発話情報を取得する。
【0009】
前記の課題を解決するために、本発明の一態様に係る推定方法は、複数の参加者によるコミュニケーションの場の雰囲気を推定する推定方法であって、前記複数の参加者それぞれの発話以外の情報である非発話情報を複数種類取得する取得ステップと、前記複数種類の非発話情報を重み付けして線形結合することにより、前記複数の参加者それぞれの状態を温度として示す個人温度を算出する第１算出ステップと、前記複数の参加者それぞれと前記場との間の熱移動量を用い、前記場の温度を算出する第２算出ステップと、前記場の温度を用いて、前記場の雰囲気を推定する推定ステップと、を含む。
【0010】
本発明の各態様に係る推定装置は、コンピュータによって実現してもよく、この場合には、コンピュータを前記推定装置が備える各部（ソフトウェア要素）として動作させることにより前記推定装置をコンピュータにて実現させる推定装置の制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。
【発明の効果】
【0011】
本発明の一態様によれば、多人数における対話において、参加者の非発話情報のみを用いて、対話の場の雰囲気を推定することができる。
【図面の簡単な説明】
【0012】
【図1】本発明の実施形態１に係る推定システムの概要を説明するための図である。
【図2】推定システムの要部構成を示す機能ブロック図である。
【図3】参加者であるユーザのユーザ端末、およびセンサ端末の例を示す図である。
【図4】ユーザ端末における表示例を示す図である。
【図5】推定装置における処理の流れを示すフローチャートである。
【図6】ユーザ端末における表示例を示す図である。
【発明を実施するための形態】
【0013】
〔実施形態１〕
以下、本発明の一実施形態について、詳細に説明する。まず、図１を参照して、本実施形態に係る推定システム１（図２参照）の概要について説明する。推定システム１は、３人以上の多人数における遠隔コミュニケーションの場の雰囲気の盛り上がり度を推定するものである。より具体的には、推定システム１は、コミュニケーションの場を仮想的な温度空間とし、参加者および場に熱容量を設定し、参加者と場との間の熱移動量を用いて場の温度を算出することにより、コミュニケーションの場の雰囲気の盛り上がり度を推定するものである。なお、本実施形態に記載する場の温度、熱容量、参加者の温度、熱容量は仮想的に設定するものであり、実際の温度、熱容量を示すものではない。また、本実施形態では、３人以上の多人数での遠隔コミュニケーションを例に挙げて説明するが、２人の遠隔コミュニケーションの場についても、推定システム１を適用して盛り上がり度を推定することは可能である。
以下、本発明の一実施形態について、詳細に説明する。まず、図１を参照して、本実施形態に係る推定システム１（図２参照）の概要について説明する。推定システム１は、３人以上の多人数における遠隔コミュニケーションの場の雰囲気の盛り上がり度を推定するものである。より具体的には、推定システム１は、コミュニケーションの場を仮想的な温度空間とし、参加者および場に熱容量を設定し、参加者と場との間の熱移動量を用いて場の温度を算出することにより、コミュニケーションの場の雰囲気の盛り上がり度を推定するものである。なお、本実施形態に記載する場の温度、熱容量、参加者の温度、熱容量は仮想的に設定するものであり、実際の温度、熱容量を示すものではない。また、本実施形態では、３人以上の多人数での遠隔コミュニケーションを例に挙げて説明するが、２人の遠隔コミュニケーションの場についても、推定システム１を適用して盛り上がり度を推定することは可能である。
【0014】
図１は、一例として、６人の参加者（ユーザ１～ユーザ６）が遠隔でコミュニケーションを行っている状態を示す。推定システム１では、遠隔コミュニケーションの場を温度空間Ｆとし、温度空間Ｆの温度をＴＦ、熱容量をＣＦと設定する。また、ユーザ１～ユーザ６それぞれの温度をＴ１～Ｔ６、熱容量をＣ１～Ｃ６と設定する。そして、ユーザｎ（ｎ＝１、２、３…、６）から温度空間Ｆに移動する熱量をＱｎＦ、ユーザｎから温度空間Ｆの外に移動する熱量をＱｎＯとし、熱移動量から温度空間Ｆの温度ＴＦを推定する推定モデルを用いて、コミュニケーションの場の盛り上がり度を推定する。ユーザｎの個人温度Ｔｎの算出方法については、後述する。なお、以下では、遠隔コミュニケーションの場を単に「場」とも呼ぶ。
【0015】
図２に、推定システム１の機能ブロック図を示す。図２に示すように、推定システム１は、推定装置１０とユーザ端末（端末装置）２０とを含む。そして、推定装置１０はネットワーク３０を介して複数のユーザ端末２０と通信可能に接続されている。ユーザ端末２０は、遠隔コミュニケーションの参加者それぞれが有している端末である。
【0016】
推定装置１０は、遠隔コミュニケーションの場の雰囲気の盛り上がり度を推定するものであり、取得部１１と推定処理部１２とを含む。さらに推定装置１０は、出力部１３を含んでもよい。
【0017】
取得部１１は、ネットワーク３０を介して、ユーザ端末２０から遠隔コミュニケーションの場への参加者であるユーザｎの非発話情報を取得する。取得部１１は、非発話情報を繰り返し取得する。なお、非発話情報に加えて発話情報を取得してもよい。ここで、非発話情報とは、ユーザｎの発話以外の情報であり、ユーザｎの表情、視線の方向、身体動作の有無、瞬きの有無、瞳孔の大きさ、心拍数、血圧値、発汗、呼吸等を示す情報である。
【0018】
これらのうち、ユーザｎの表情、視線の方向、身体動作の有無、瞬きの有無、瞳孔の大きさについては、例えば、ユーザ端末２０のカメラ２１（図３参照）により撮影された撮影画像を画像解析部（図示せず）により解析することにより取得する。撮影画像から表情、視線の方向、身体動作の有無、瞬きの有無、瞳孔の大きさ等を抽出することは公知の技術を用いて可能であるので、ここではその詳細な説明については割愛する。また、ユーザｎの呼吸数、心拍数については、例えば、撮影画像にフィルタ処理を施すことで計測し、取得する。
【0019】
また、ユーザｎの心拍数、血圧値、発汗量等については、例えば、ユーザが身に付けているセンサ端末２２により検出し、ユーザ端末２０を介して取得してもよい。
【0020】
推定処理部１２は、取得部１１により取得されたユーザｎの非発話情報を用いて遠隔コミュニケーションの場の雰囲気の盛り上がり度を推定するものであり、第１算出部１２１、第２算出部１２２、推定部１２３、および推定モデル１２４を含む。
【0021】
推定モデル１２４には、第１算出部１２１および第２算出部１２２で用いる算出式が含まれる。
【0022】
第１算出部１２１は、取得部１１が取得したユーザｎの非発話情報を用いて、ユーザｎの状態を示す個人温度Ｔｎを算出する。より詳細には、第１算出部１２１は、推定モデル１２４に格納されている以下の式（１）を用いて、ユーザｎの個人温度Ｔｎを算出する。
【0023】
【数1】
【0024】
ここで、ｉはフレーム番号であり、Tｎ(i)は、ｉフレームにおけるユーザｎの温度である。また、Behaviorn(i)は、ユーザｎの複数種類の非発話情報を線形結合したものであり、以下の式（２）により算出する。Ｃｎは、ユーザｎの熱容量である。すなわち、第１算出部１２１は、ｉフレーム毎に、今回のフレームで取得した非発話情報と前回のフレームで算出した個人温度とを用いて今回のフレームの個人温度Ｔｎを算出する。なお、算出に用いる前回のフレームの個人温度は、前のフレームで算出したものであればよく、前回のフレームに限定されるものではない。すなわち、前回のフレーム（ｉ－１）に限らず、前々回のフレーム（ｉ－２）であってもよいし、さらにその前のフレーム（ｉ－３）、…（ｉ－ｎ）であってもよい。
【0025】
【数2】
【0026】
式（２）の各項の意味は以下の通りである。
ＷＧＡＺＥ×Ｇａｚｅ（θｎ）：ＷＧＡＺＥは視線の方向の重み付け定数、Ｇａｚｅ（θｎ）は視線の方向に基づく値。
ＷＦＡＣＥ×Ｆａｃｅ（Ｆｎ）：ＷＦＡＣＥは表情の重み付け定数、Ｆａｃｅ（Ｆｎ）は表情に基づく値。
ＷＢＯＤＹ×ＯｎＯｆｆｎ：ＷＢＯＤＹは身体動作の重み付け定数、ＯｎＯｆｆｎは身体動作の有無。
ＷＢＬＩＮＫ×ＯｎＯｆｆｎ：ＷＢＬＩＮＫは瞬きの重み付け定数、ＯｎＯｆｆｎは瞬きの有無。
ＷＰＵＰＩＬ×Ｐｕｐｉｌ（Ｐｎ）：ＷＰＵＰＩＬは瞳孔の大きさの重み付け定数、Ｐｕｐｉｌ（Ｐｎ）は瞳孔の大きさ。
Ｗheartbeat×ＨＲ（ＨＲｎ）：Ｗheartbeatは心拍数の重み付け定数、ＨＲ（ＨＲｎ）は心拍数。
ＷSweat×ＯｎＯｆｆｎ：ＷSweatは発汗の重み付け定数、ＯｎＯｆｆｎは発汗の有無。
ＷRespiration×Ｒ（Ｒｎ）：ＷRespirationは呼吸の重み付け定数、Ｒ（Ｒｎ）は呼吸の速さを示す値。
Ｗblood pressure×ＢＰ（ＢＰｎ）：Ｗblood pressureは血圧の重み付け定数、ＢＰ（ＢＰｎ）は血圧値に対する値。
ＷＧＡＺＥ×Ｇａｚｅ（θｎ）：ＷＧＡＺＥは視線の方向の重み付け定数、Ｇａｚｅ（θｎ）は視線の方向に基づく値。
ＷＦＡＣＥ×Ｆａｃｅ（Ｆｎ）：ＷＦＡＣＥは表情の重み付け定数、Ｆａｃｅ（Ｆｎ）は表情に基づく値。
ＷＢＯＤＹ×ＯｎＯｆｆｎ：ＷＢＯＤＹは身体動作の重み付け定数、ＯｎＯｆｆｎは身体動作の有無。
ＷＢＬＩＮＫ×ＯｎＯｆｆｎ：ＷＢＬＩＮＫは瞬きの重み付け定数、ＯｎＯｆｆｎは瞬きの有無。
ＷＰＵＰＩＬ×Ｐｕｐｉｌ（Ｐｎ）：ＷＰＵＰＩＬは瞳孔の大きさの重み付け定数、Ｐｕｐｉｌ（Ｐｎ）は瞳孔の大きさ。
Ｗheartbeat×ＨＲ（ＨＲｎ）：Ｗheartbeatは心拍数の重み付け定数、ＨＲ（ＨＲｎ）は心拍数。
ＷSweat×ＯｎＯｆｆｎ：ＷSweatは発汗の重み付け定数、ＯｎＯｆｆｎは発汗の有無。
ＷRespiration×Ｒ（Ｒｎ）：ＷRespirationは呼吸の重み付け定数、Ｒ（Ｒｎ）は呼吸の速さを示す値。
Ｗblood pressure×ＢＰ（ＢＰｎ）：Ｗblood pressureは血圧の重み付け定数、ＢＰ（ＢＰｎ）は血圧値に対する値。
【0027】
なお、非発話情報は２種類以上であればよく、ここに記載した全ての非発話情報を必ず用いなければならないわけではない。
【0028】
また、ＱｎＦ(i)は、ユーザｎから場への熱移動量であり、ＱｎＯは場から場の外部への熱移動量である。これらは、以下の式（３）、（４）を用いて算出する。
【0029】
【数3】
【0030】
Ｋ１、Ｋ２は、定数である。
【0031】
なお、第１算出部１２１は、ユーザｎの発話情報も用いて、ユーザｎの個人温度Ｔｎを算出してもよい。この場合、上記の式（２）を以下の式（２’）のように修正して、ユーザｎの個人温度Ｔｎを算出する。
【0032】
【数4】
【0033】
第２算出部１２２は、ユーザｎと場との間の熱移動量を用い、場の温度ＴＦを算出する。より詳細には、以下の式（５）を用いて、場の温度ＴＦを算出する。すなわち、第２算出部１２２は、ｉフレーム毎に、前回のフレームで算出した場の温度と前回のフレームの前記熱移動量とを用いて今回のフレームの場の温度ＴＦを算出する。なお、算出に用いる前回のフレームの場の温度および熱移動量は、前のフレームで算出したものであればよく、前回のフレームに限定されるものではない。すなわち、前回のフレーム（ｉ－１）に限らず、前々回のフレーム（ｉ－２）であってもよいし、さらにその前のフレーム（ｉ－３）、…（ｉ－ｎ）であってもよい。
【0034】
【数5】
【0035】
ここで、ＱＦＯは以下の式（６）により算出する。
【0036】
【数6】
【0037】
ＣＦは、場の熱容量である。すなわち、温度空間Ｆの熱容量であり、ユーザｎからの熱移動量が同じであれば、熱容量が小さいほど場の温度ＴＦの変動幅が大きくなり、熱容量が大きいほど場の温度ＴＦの変動幅が小さくなる。場の熱容量は、場に参加するユーザの数、ユーザ間の相性、関係性、場の内容等に応じて設定される。例えば、少数、友人同士、オンライン飲み会であれば、場の熱容量は小さく設定し、少数、先生および生徒、オンライン発表会であれば、場の熱容量は中くらいで設定し、多数、初対面が多い、セミナーであれば、場の熱容量は大きく設定してもよい。
【0038】
推定部１２３は、第２算出部１２２が算出した場の温度ＴＦに基づいて、遠隔コミュニケーションの場の雰囲気の盛り上がり度を推定する。盛り上がり度の推定は、例えば、温度ＴＦが閾値よりも高い場合に、場が盛り上がっていると推定するものであってよい。また、複数の段階に分けて、盛り上がり度を推定してもよい。
【0039】
以上のように、取得部１１は、上述したｉフレーム毎に非発話情報を取得し、推定部１２３は、ｉフレーム毎に、推定を行う。
【0040】
ユーザ端末２０は、ユーザｎが遠隔コミュニケーションに用いる端末である。ここでは、ユーザ端末２０はカメラ２１を備え、ユーザｎの画像を撮影できるともに、ユーザｎが装着しているセンサ端末２２からユーザｎの心拍数、血圧値、発汗量を取得できるものである。また、ユーザ端末２０は表示部を備え、遠隔コミュニケーションの参加者を確認できるものであってよい。
【0041】
図３に、ユーザ端末２０、センサ端末２２の例を示す。図３に示す例は、ユーザｎは、ネットワーク３０を介して推定装置１０と接続されているユーザ端末２０を用いて遠隔で複数の参加者とコミュニケーションを行っている状態を示す。ユーザ端末２０にはカメラ２１が備えられており、ユーザｎを撮影している。また、ユーザｎの手首にはセンサ端末２２が装着されている。センサ端末２２は、検出した心拍数、血圧値、発汗量をユーザ端末２０に無線で送信できるものである。
【0042】
このように、センサ端末２２を装着したユーザｎが、カメラ２１を備えたユーザ端末２０により遠隔コミュニケーションを行うことにより、推定装置１０にユーザｎの非発話情報が送信され、推定装置１０において遠隔コミュニケーションの場の雰囲気の盛り上がり度を推定することができる。
【0043】
出力部１３は、推定処理部１２が推定した推定結果である盛り上がり度を出力する。出力部１３は、盛り上がり度を外部装置に出力し、当該外部装置にて盛り上がり度を提示するものであってもよいし、ユーザ端末２０に出力し、当該ユーザ端末２０で盛り上がり度を提示するものであってもよい。また、出力部１３にモニタ、スピーカ（図示せず）等が含まれ、当該モニタ、スピーカ等により盛り上がり度を提示するものであってもよい。
【0044】
図４に、盛り上がり度をユーザ端末２０で提示する例を示す。図４の４０１は、ユーザｎが遠隔コミュニケーションを行っているときのユーザ端末２０の表示部の表示例を示す。ここでは、自分の他に、Ａさん、Ｂさん、Ｃさん、Ｄさん、およびＥさんと遠隔コミュニケーションを行っている状態を示している。図４の４０２は、推定装置１０において、場の雰囲気が盛り上がっていると推定されたときのユーザ端末２０の表示例を示す。ここでは、参加者の表示の外枠に強調表示２０１がなされ、場の雰囲気が盛り上がっている状態が示されている。強調表示２０１は、例えば、赤色、桃色等のユーザｎが盛り上がりを感じることができる色で表示されてもよい。また、強調表示２０１は、枠に限られるものではなく、ユーザｎが認識できる表示であれば、どのようなものであってもよい。
【0045】
【0046】
図５に示すように、推定装置１０は、まず、取得部１１が、ネットワーク３０を介して、遠隔コミュニケーションに参加しているユーザｎのユーザ端末２０からユーザｎの非発話情報を取得する（Ｓ１０１、取得ステップ）。次に、推定処理部１２は、取得部１１で取得した非発話情報を用いて、遠隔コミュニケーションの場の雰囲気の盛り上がり度を推定する（Ｓ１０２）。詳細には、第１算出部１２１は、ユーザｎの非発話情報を用いて、ユーザｎの状態を示す個人温度を算出する（第１算出ステップ）。第２算出部１２２は、ユーザｎと場との間の熱移動量を用い、場の温度を算出する（第２算出ステップ）。そして、推定部１２３は、第２算出ステップで算出した場の温度ＴＦに基づいて、遠隔コミュニケーションの場の雰囲気の盛り上がり度を推定する（推定ステップ）。
【0047】
最後に、出力部１３は、推定した盛り上がり度を出力する（Ｓ１０３）。以上が、推定装置１０における処理の流れである。
【0048】
以上のように、本実施形態に係る推定装置１０は、複数の参加者によるコミュニケーションの場の雰囲気を推定する推定装置１０である。そして、推定装置１０は、取得部１１、推定処理部１２、および、出力部１３を備える。取得部１１は、前記複数の参加者それぞれについて、該参加者の発話以外の情報である非発話情報を複数種類取得する。推定処理部１２は、第１算出部１２１、第２算出部１２２、および推定部１２３を備える。第１算出部１２１は、前記複数の参加者それぞれについて、前記複数種類の非発話情報を重み付けして線形結合することにより当該参加者の状態を温度として示す個人温度を算出する。第２算出部１２２は、前記複数の参加者それぞれと前記場との間の熱移動量を用い、前記場の温度を算出する。推定部１２３は、前記場の温度を用いて、当該場の雰囲気を推定する。
【0049】
これにより、推定装置１０は、多人数におけるコミュニケーションにおいて、参加者の非発話情報のみを用いて、コミュニケーションの場の雰囲気を推定することができる。
【0050】
〔実施形態２〕
本発明の他の実施形態について、以下に説明する。なお、説明の便宜上、上記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。
本発明の他の実施形態について、以下に説明する。なお、説明の便宜上、上記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。
【0051】
本実施形態では、推定処理部１２は、遠隔コミュニケーションの場の雰囲気の盛り上がり度とともに、遠隔コミュニケーションに参加しているユーザｎそれぞれの盛り上がり度を推定する。より詳細には、第１算出部１２１が算出した個人温度Ｔｎを用いて、推定部１２３は、当該ユーザｎの盛り上がり度を推定する。
【0052】
そして、出力部１３は、遠隔コミュニケーションの場の雰囲気の盛り上がり度とともに、遠隔コミュニケーションに参加しているユーザｎそれぞれの盛り上がり度を出力する。
【0053】
例えば、出力部１３からユーザ端末２０に出力した場合、ユーザ端末２０では、場の盛り上がり度とともに、ユーザｎそれぞれの盛り上がり度を提示する。図６の６０１に場の盛り上がり度とともに、ユーザｎそれぞれの盛り上がり度を提示する例を示す。図６の６０１では、場が盛り上がっているとともに、Ａさんと自分とが同じ盛り上がり度、ＢさんとＤさんとが同じ盛り上がり度、ＣさんとＥさんとが同じ盛り上がり度であることを示している。このように、場の盛り上がり度とともに、ユーザｎそれぞれの盛り上がり度を提示することにより、遠隔コミュニケーションに参加しているユーザｎそれぞれの状態を認識することができる。
【0054】
また、場の盛り上がり度とユーザｎそれぞれの低い盛り上がり度を比較し、場の盛り上がり度よりも低い盛り上がり状態のユーザｎについて、強調表示するものであってもよい。図６の６０２に、場の盛り上がり度よりも低い盛り上がり状態のユーザｎについて、強調表示する例を示す。図６の６０２に示す例では、場は盛り上がっているが、Ｅさんが盛り上がっていないことを示す。これにより、当該ユーザｎ（図６の例ではＥさん）へのフォローを行う等、様々な対応を行うことができる。
【0055】
以上のように、本発明によれば、コミュニケーションを熱として捉え熱の概念（熱伝導方程式）を用いることにより、非発話情報のみであっても場の雰囲気を精度よく推定できる。
【0056】
〔ソフトウェアによる実現例〕
推定装置１０（以下、「装置」と呼ぶ）の機能は、当該装置としてコンピュータを機能させるためのプログラムであって、当該装置の各制御ブロック（特に推定処理部１２に含まれる各部）としてコンピュータを機能させるためのプログラムにより実現することができる。
推定装置１０（以下、「装置」と呼ぶ）の機能は、当該装置としてコンピュータを機能させるためのプログラムであって、当該装置の各制御ブロック（特に推定処理部１２に含まれる各部）としてコンピュータを機能させるためのプログラムにより実現することができる。
【0057】
この場合、前記装置は、前記プログラムを実行するためのハードウェアとして、少なくとも１つの制御装置（例えばプロセッサ）と少なくとも１つの記憶装置（例えばメモリ）を有するコンピュータを備えている。この制御装置と記憶装置により上記プログラムを実行することにより、前記実施形態で説明した各機能が実現される。
【0058】
前記プログラムは、一時的ではなく、コンピュータ読み取り可能な、１または複数の記録媒体に記録されていてもよい。この記録媒体は、前記装置が備えていてもよいし、備えていなくてもよい。後者の場合、前記プログラムは、有線または無線の任意の伝送媒体を介して前記装置に供給されてもよい。
【0059】
また、前記各制御ブロックの機能の一部または全部は、論理回路により実現することも可能である。例えば、前記各制御ブロックとして機能する論理回路が形成された集積回路も本発明の範疇に含まれる。この他にも、例えば量子コンピュータにより上記各制御ブロックの機能を実現することも可能である。
【0060】
また、前記実施形態で説明した各処理は、ＡＩ（Artificial Intelligence：人工知能）に実行させてもよい。この場合、ＡＩは前記制御装置で動作するものであってもよいし、他の装置（例えばエッジコンピュータまたはクラウドサーバ等）で動作するものであってもよい。
【0061】
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。例えば、本実施形態では、個人温度を算出する第１算出部と、場の温度を算出する第２算出部とを別々に記述したが、１つの算出部に両方の機能を持たせてもよい。すなわち第１算出部と第２算出部が同一であってもよい。また、第１算出部と第２算出部と推定部が同一であってもよい 。
【0062】
〔まとめ〕
本発明の態様１に係る推定装置は、複数の参加者によるコミュニケーションの場の雰囲気を推定する推定装置であって、前記複数の参加者それぞれの発話以外の情報である非発話情報を複数種類取得する取得部と、前記複数種類の非発話情報を重み付けして線形結合することにより、前記複数の参加者それぞれの状態を温度として示す個人温度を算出する第１算出部と、前記複数の参加者それぞれと前記場との間の熱移動量を用い、前記場の温度を算出する第２算出部と、前記場の温度を用いて、前記場の雰囲気を推定する推定部と、を備える。
本発明の態様１に係る推定装置は、複数の参加者によるコミュニケーションの場の雰囲気を推定する推定装置であって、前記複数の参加者それぞれの発話以外の情報である非発話情報を複数種類取得する取得部と、前記複数種類の非発話情報を重み付けして線形結合することにより、前記複数の参加者それぞれの状態を温度として示す個人温度を算出する第１算出部と、前記複数の参加者それぞれと前記場との間の熱移動量を用い、前記場の温度を算出する第２算出部と、前記場の温度を用いて、前記場の雰囲気を推定する推定部と、を備える。
【0063】
本発明の態様２に係る推定装置は、前記態様１において、前記取得部は、前記非発話情報を繰り返し取得し、前記取得部が前記非発話情報を取得する毎に、前記第１算出部は前記個人温度を算出し、前記第２算出部は前記場の温度を算出し、前記推定部は前記推定を行い、前記第１算出部は、今回の前記個人温度を、今回取得した前記非発話情報と前に算出した前記個人温度とを用いて算出し、前記第２算出部は、今回の前記場の温度を、前に算出した場の温度と前の前記熱移動量とを用いて算出し、前記推定部は、今回の前記場の温度を用いて前記推定を行う。
【0064】
本発明の態様３に係る推定装置は、前記態様１または２において、前記第１算出部は、前記非発話情報として、前記それぞれの参加者の表情、視線、身体動作、瞬き、瞳孔の大きさ、心拍数、血圧、発汗量、呼吸のうちの少なくとも２つを用いて、前記個人温度を算出する。
【0065】
本発明の態様４に係る推定装置は、前記態様１～３の何れかにおいて、前記第１算出部は、前記それぞれの参加者の発話に関わる情報である発話情報も用いて、前記個人温度を算出する。
【0066】
本発明の態様５に係る推定装置は、前記態様１～４の何れかにおいて、前記第２算出部は、前記それぞれの参加者の相互間の相性に応じて設定された前記場の熱容量を用いて、前記場の温度を算出する。
【0067】
本発明の態様６に係る推定装置は、前記態様１～５の何れかにおいて、前記推定部の推定結果を出力する出力部を備え、前記出力部は、前記推定結果を出力先の装置で提示させる。
【0068】
本発明の態様７に係る推定装置は、前記態様１～６の何れかにおいて、前記推定部は、前記それぞれの参加者の前記個人温度を用いて、前記それぞれの参加者の状態を推定する。
【0069】
本発明の態様８に係る推定システムは、前記態様１～７の何れかの推定装置と、前記推定装置を通信可能に接続された端末装置であって、前記それぞれの参加者の前記非発話情報を前記それぞれの参加者から取得する端末装置と、を含み、前記推定装置は、前記端末装置から前記非発話情報を取得する。
【0070】
本発明の態様９に係る推定システムは、前記態様８において、前記端末装置は、前記推定装置から推定結果を取得し、取得した推定結果である前記場の雰囲気を示す表示を行う表示部を備える。
【0071】
本発明の態様１０に係る推定方法は、複数の参加者によるコミュニケーションの場の雰囲気を推定する推定方法であって、前記複数の参加者それぞれの発話以外の情報である非発話情報を複数種類取得する取得ステップと、前記複数種類の非発話情報を重み付けして線形結合することにより、前記複数の参加者それぞれの状態を温度として示す個人温度を算出する第１算出ステップと、前記複数の参加者それぞれと前記場との間の熱移動量を用い、前記場の温度を算出する第２算出ステップと、前記場の温度を用いて、前記場の雰囲気を推定する推定ステップと、を含む。
【0072】
本発明の態様１１に係る制御プログラムは、前記態様１～７の何れかの推定装置としてコンピュータを機能させるための制御プログラムであって、前記第１算出部、前記第２算出部、および前記推定部としてコンピュータを機能させる。
【符号の説明】
【0073】
１ 推定システム
１０ 推定装置
１１ 取得部
１２ 推定処理部
１２１ 第１算出部
１２２ 第２算出部
１２３ 推定部
１２４ 推定モデル
１３ 出力部
２０ ユーザ端末
３０ ネットワーク
１０ 推定装置
１１ 取得部
１２ 推定処理部
１２１ 第１算出部
１２２ 第２算出部
１２３ 推定部
１２４ 推定モデル
１３ 出力部
２０ ユーザ端末
３０ ネットワーク
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】