知財求人 - 知財ポータルサイト「IP Force」
特開2024-179530情報処理システム、情報処理方法、情報処理プログラム、及び操作端末
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024179530
(43)【公開日】2024-12-26
(54)【発明の名称】情報処理システム、情報処理方法、情報処理プログラム、及び操作端末
(51)【国際特許分類】
G06F 3/01 20060101AFI20241219BHJP
H04L 51/043 20220101ALI20241219BHJP
H04L 51/52 20220101ALI20241219BHJP
G06Q 30/0207 20230101ALI20241219BHJP
G06T 7/20 20170101ALI20241219BHJP
G10L 15/10 20060101ALI20241219BHJP
【ＦＩ】
G06F3/01 510
H04L51/043
H04L51/52
G06Q30/0207
G06T7/20 300B
G10L15/10 500N
【審査請求】未請求
【請求項の数】17
【出願形態】ＯＬ
(21)【出願番号】P 2023098450
(22)【出願日】2023-06-15
(71)【出願人】
【識別番号】000005049
【氏名又は名称】シャープ株式会社
(74)【代理人】
【識別番号】100167302
【弁理士】
【氏名又は名称】種村 一幸
(74)【代理人】
【識別番号】100135817
【弁理士】
【氏名又は名称】華山 浩伸
(74)【代理人】
【識別番号】100181869
【弁理士】
【氏名又は名称】大久保 雄一
(72)【発明者】
【氏名】名村 智博
【テーマコード（参考）】
5E555
5L030
5L049
5L096
【Ｆターム（参考）】
5E555AA48
5E555AA61
5E555BA02
5E555BA76
5E555BB02
5E555BC04
5E555BD09
5E555BE17
5E555CA42
5E555CA47
5E555CB64
5E555CB67
5E555CC30
5E555DB18
5E555DB51
5E555DC13
5E555DC19
5E555DC61
5E555DC84
5E555DD02
5E555DD06
5E555EA20
5E555EA22
5E555EA23
5E555FA00
5L030BB07
5L049BB07
5L096AA06
5L096BA08
5L096CA04
5L096DA02
5L096HA09
(57)【要約】
【課題】ユーザーの感情に応じたサポートを実行することが可能な情報処理システム、情報処理方法、情報処理プログラム、及び操作端末を提供する。
【解決手段】情報処理システムは、第１ユーザーの発話データ及び顔画像データの少なくともいずれかに基づいて前記第１ユーザーの感情を推定する推定処理部と、前記推定処理部により推定される前記第１ユーザーの感情が所定の感情である場合に、前記第１ユーザー及び前記第１ユーザーとは異なる第２ユーザーの少なくともいずれかに、前記推定処理部により推定される前記感情に応じた会話支援情報を通知する通知処理部と、を備える。
【選択図】図２
【解決手段】情報処理システムは、第１ユーザーの発話データ及び顔画像データの少なくともいずれかに基づいて前記第１ユーザーの感情を推定する推定処理部と、前記推定処理部により推定される前記第１ユーザーの感情が所定の感情である場合に、前記第１ユーザー及び前記第１ユーザーとは異なる第２ユーザーの少なくともいずれかに、前記推定処理部により推定される前記感情に応じた会話支援情報を通知する通知処理部と、を備える。
【選択図】図２
【特許請求の範囲】
【請求項1】
第１ユーザーの発話データ及び顔画像データの少なくともいずれかに基づいて前記第１ユーザーの感情を推定する推定処理部と、
前記推定処理部により推定される前記第１ユーザーの感情が所定の感情である場合に、前記第１ユーザー及び前記第１ユーザーとは異なる第２ユーザーの少なくともいずれかに、前記推定処理部により推定される前記感情に応じた会話支援情報を通知する通知処理部と、
を備える情報処理システム。
前記推定処理部により推定される前記第１ユーザーの感情が所定の感情である場合に、前記第１ユーザー及び前記第１ユーザーとは異なる第２ユーザーの少なくともいずれかに、前記推定処理部により推定される前記感情に応じた会話支援情報を通知する通知処理部と、
を備える情報処理システム。
【請求項2】
前記通知処理部は、前記推定処理部により推定される前記第１ユーザーの感情が第１の感情であって、かつ前記第１の感情の状態が所定時間継続した場合に、前記第２ユーザーに前記会話支援情報を通知する、
請求項１に記載の情報処理システム。
請求項１に記載の情報処理システム。
【請求項3】
前記通知処理部は、前記推定処理部により推定される前記第１ユーザーの感情が第２の感情であって、かつ前記推定処理部により前記第２の感情が推定されてから所定時間内に前記第１ユーザー及び前記第２ユーザーが会話を開始する場合に、前記第１ユーザー及び前記第２ユーザーの少なくともいずれかに前記会話支援情報を通知する、
請求項１に記載の情報処理システム。
請求項１に記載の情報処理システム。
【請求項4】
仮想空間内の所定位置にユーザーのユーザーアイコンを表示させる表示処理部をさらに備え、
前記表示処理部は、前記仮想空間において、前記推定処理部により推定される前記第１ユーザーの感情を表す感情アイコンを、前記第１ユーザーの第１ユーザーアイコンに関連付けて表示させる、
請求項１に記載の情報処理システム。
前記表示処理部は、前記仮想空間において、前記推定処理部により推定される前記第１ユーザーの感情を表す感情アイコンを、前記第１ユーザーの第１ユーザーアイコンに関連付けて表示させる、
請求項１に記載の情報処理システム。
【請求項5】
前記通知処理部は、前記第１ユーザーの会話相手を除いたユーザーであって、前記第１ユーザーアイコンから所定範囲内に存在するユーザーアイコンの前記第２ユーザーに前記会話支援情報を通知する、
請求項４に記載の情報処理システム。
請求項４に記載の情報処理システム。
【請求項6】
前記通知処理部は、前記第１ユーザーとの会話を開始するか否かを問い合わせる前記会話支援情報を前記第２ユーザーに通知する、
請求項４に記載の情報処理システム。
請求項４に記載の情報処理システム。
【請求項7】
前記会話支援情報に対して前記第２ユーザーが前記第１ユーザーとの会話を開始する旨の回答を行った場合に、前記表示処理部は、前記仮想空間において、前記第２ユーザーの第２ユーザーアイコンを、前記第１ユーザーと会話可能な位置に移動させる、
請求項６に記載の情報処理システム。
請求項６に記載の情報処理システム。
【請求項8】
前記会話支援情報に対して前記第２ユーザーが前記第１ユーザーとの会話を開始しない旨の回答を行った場合に、前記表示処理部は、前記仮想空間において、前記第２ユーザーの第２ユーザーアイコンを移動させず、前記第１ユーザーアイコンから所定範囲内の位置に留める、
請求項６に記載の情報処理システム。
請求項６に記載の情報処理システム。
【請求項9】
前記通知処理部は、前記第１ユーザーが前記第２ユーザーに対して会話の開始を要求する場合に、前記第１ユーザーの現在の感情を示す情報を含む前記会話支援情報を前記第１ユーザーに通知する、
請求項４に記載の情報処理システム。
請求項４に記載の情報処理システム。
【請求項10】
前記会話支援情報に対して前記第１ユーザーが前記第２ユーザーとの会話を開始する旨の回答を行った場合に、前記第１ユーザー及び前記第２ユーザーを会話可能にする、
請求項９に記載の情報処理システム。
請求項９に記載の情報処理システム。
【請求項11】
前記会話支援情報に対して前記第１ユーザーが前記第２ユーザーとの会話を開始しない旨の回答を行った場合に、前記表示処理部は、前記仮想空間において、前記第１ユーザーアイコンを、前記第１ユーザーと前記第２ユーザーとが会話不可能な位置に移動させる、
請求項９に記載の情報処理システム。
請求項９に記載の情報処理システム。
【請求項12】
前記表示処理部は、前記第１ユーザーの会話が終了した場合に、会話終了時点の前記第１ユーザーの感情を表す前記感情アイコンを、会話終了時点から所定時間継続して表示させる、
請求項４に記載の情報処理システム。
請求項４に記載の情報処理システム。
【請求項13】
前記表示処理部は、会話終了時点から所定時間経過した場合に、前記感情アイコンを平常状態の感情アイコンに変更する、
請求項１２に記載の情報処理システム。
請求項１２に記載の情報処理システム。
【請求項14】
前記所定の感情は、哀しみ又は怒りを表す感情である、
請求項１～１３のいずれかに記載の情報処理システム。
請求項１～１３のいずれかに記載の情報処理システム。
【請求項15】
第１ユーザーの発話データ及び顔画像データの少なくともいずれかに基づいて前記第１ユーザーの感情を推定することと、
推定される前記第１ユーザーの感情が所定の感情である場合に、前記第１ユーザー及び前記第１ユーザーとは異なる第２ユーザーの少なくともいずれかに、推定される前記感情に応じた会話支援情報を通知することと、
を一又は複数のプロセッサーが実行する情報処理方法。
推定される前記第１ユーザーの感情が所定の感情である場合に、前記第１ユーザー及び前記第１ユーザーとは異なる第２ユーザーの少なくともいずれかに、推定される前記感情に応じた会話支援情報を通知することと、
を一又は複数のプロセッサーが実行する情報処理方法。
【請求項16】
第１ユーザーの発話データ及び顔画像データの少なくともいずれかに基づいて前記第１ユーザーの感情を推定することと、
推定される前記第１ユーザーの感情が所定の感情である場合に、前記第１ユーザー及び前記第１ユーザーとは異なる第２ユーザーの少なくともいずれかに、推定される前記感情に応じた会話支援情報を通知することと、
を一又は複数のプロセッサーに実行させるための情報処理プログラム。
推定される前記第１ユーザーの感情が所定の感情である場合に、前記第１ユーザー及び前記第１ユーザーとは異なる第２ユーザーの少なくともいずれかに、推定される前記感情に応じた会話支援情報を通知することと、
を一又は複数のプロセッサーに実行させるための情報処理プログラム。
【請求項17】
第１ユーザーの操作端末と通信可能であり、会話用画面を表示可能な第２ユーザーの操作端末であって、
前記第１ユーザーの発話データ及び顔画像データの少なくともいずれかに基づいて推定される前記第１ユーザーの感情が所定の感情である場合に、前記第１ユーザーの感情に応じた会話支援情報を前記会話用画面に表示させる操作端末。
前記第１ユーザーの発話データ及び顔画像データの少なくともいずれかに基づいて推定される前記第１ユーザーの感情が所定の感情である場合に、前記第１ユーザーの感情に応じた会話支援情報を前記会話用画面に表示させる操作端末。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、仮想空間を利用してコミュニケーションを行う技術に関する。
【背景技術】
【0002】
従来、仮想空間において複数のユーザーが会話を行うことが可能なシステムが知られている。例えば、ユーザーの感情を認識し、認識した感情情報を仮想空間上に表示するシステムが知られている（例えば特許文献１参照）。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０１６－１６２００１号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
従来の技術では、仮想空間上においてユーザーの感情を表示させることは可能であるが、当該ユーザーに対して感情に応じたサポートを行うことは困難である。
【0005】
本開示の目的は、ユーザーの感情に応じたサポートを実行することが可能な情報処理システム、情報処理方法、情報処理プログラム、及び操作端末を提供することにある。
【課題を解決するための手段】
【0006】
本開示の一の態様に係る情報処理システムは、推定処理部と通知処理部とを備える。前記推定処理部は、第１ユーザーの発話データ及び顔画像データの少なくともいずれかに基づいて前記第１ユーザーの感情を推定する。前記通知処理部は、前記推定処理部により推定される前記第１ユーザーの感情が所定の感情である場合に、前記第１ユーザー及び前記第１ユーザーとは異なる第２ユーザーの少なくともいずれかに、前記推定処理部により推定される前記感情に応じた会話支援情報を通知する。
【0007】
本開示の他の態様に係る情報処理方法は、第１ユーザーの発話データ及び顔画像データの少なくともいずれかに基づいて前記第１ユーザーの感情を推定することと、推定される前記第１ユーザーの感情が所定の感情である場合に、前記第１ユーザー及び前記第１ユーザーとは異なる第２ユーザーの少なくともいずれかに、推定される前記感情に応じた会話支援情報を通知することと、を一又は複数のプロセッサーが実行する方法である。
【0008】
本開示の他の態様に係る情報処理プログラムは、第１ユーザーの発話データ及び顔画像データの少なくともいずれかに基づいて前記第１ユーザーの感情を推定することと、推定される前記第１ユーザーの感情が所定の感情である場合に、前記第１ユーザー及び前記第１ユーザーとは異なる第２ユーザーの少なくともいずれかに、推定される前記感情に応じた会話支援情報を通知することと、を一又は複数のプロセッサーに実行させるためのプログラムである。
【0009】
本開示の他の態様に係る操作端末は、第１ユーザーの操作端末と通信可能であり、会話用画面を表示可能な第２ユーザーの操作端末である。前記操作端末は、前記第１ユーザーの発話データ及び顔画像データの少なくともいずれかに基づいて推定される前記第１ユーザーの感情が所定の感情である場合に、前記第１ユーザーの感情に応じた会話支援情報を前記会話用画面に表示させる。
【発明の効果】
【0010】
本開示によれば、ユーザーの感情に応じたサポートを実行することが可能な情報処理システム、情報処理方法、情報処理プログラム、及び操作端末を提供することができる。
【図面の簡単な説明】
【0011】
【発明を実施するための形態】
【0012】
以下、添付図面を参照しながら、本開示の実施形態について説明する。なお、以下の実施形態は、本開示を具体化した一例であって、本開示の技術的範囲を限定するものではない。
【0013】
本開示に係る情報処理システムは、仮想空間（仮想ルーム）においてユーザーアイコン同士を近付けることにより、各ユーザーアイコンのユーザー同士で会話を行うことが可能なシステムである。本開示に係る情報処理システムの一例として、以下の実施形態では、会話システムを例に挙げて説明する。なお、以下の実施形態に係る会話システムは、本開示の情報処理システムの一例である。
【0014】
前記会話システムは、例えば複数のユーザーがそれぞれ異なる場所（オフィスの会議室、自宅など）にいながら、情報処理装置（パーソナルコンピュータ（ノートパソコン、デスクトップパソコンなど）、モバイル端末（スマートフォンなどの携帯端末など））のユーザー端末を利用して仮想ルーム内で会話を行うＷｅｂミーティング（オンラインミーティング）などに適用することができる。また、前記会話システムは、前記オンラインミーティングを実行するための汎用ソフトウェアである会話アプリケーションによりオンラインミーティングサービスを提供する会話サーバーと、前記オンラインミーティングを管理する管理サービスを提供する管理サーバーとを備える。
【0015】
［会話システム１００］
図１は、本開示の実施形態１に係る会話システム１００の概略構成を示す模式図である。会話システム１００は、管理サーバー１と、会話サーバー２と、ユーザー端末３とを含んでいる。会話システム１００は、複数のユーザーが参加するオンラインミーティングを支援するシステムである。会話システム１００は、本開示の情報処理システムの一例である。ユーザー端末３は、本開示の操作端末の一例である。
図１は、本開示の実施形態１に係る会話システム１００の概略構成を示す模式図である。会話システム１００は、管理サーバー１と、会話サーバー２と、ユーザー端末３とを含んでいる。会話システム１００は、複数のユーザーが参加するオンラインミーティングを支援するシステムである。会話システム１００は、本開示の情報処理システムの一例である。ユーザー端末３は、本開示の操作端末の一例である。
【0016】
図１には、ユーザーＡの拠点Ｒａ、ユーザーＢの拠点Ｒｂ、ユーザーＣの拠点Ｒｃ、及びユーザーＤの拠点Ｒｄを示している。図１では、ユーザーＡ～Ｄのそれぞれが異なる拠点（会議室、自宅など）でオンラインミーティングに参加する例を示している。各拠点には、各ユーザーが所持する１台のユーザー端末３が配置されている。
【0017】
会話システム１００は、各ユーザー端末３にインストールされた会話アプリケーションを実行することにより、複数のユーザーが遠隔地においてオンラインミーティングを行うことが可能になる。前記会話アプリケーションは汎用ソフトウェアであり、同一のミーティングに参加する複数のユーザーは共通の前記会話アプリケーションを選択する。
【0018】
例えば、ユーザーＡ，Ｂ，Ｃ，Ｄのそれぞれは、自身のユーザー端末３ａ，３ｂ，３ｃ，３ｄにおいて、前記会話アプリケーションを起動させる。図１に示す例では、各ユーザー端末３はパーソナルコンピュータ（例えばノートパソコン）であるが、ユーザー端末３はモバイル端末（例えばスマートフォン）であってもよい。
【0019】
なお、会話システム１００は、各拠点に、ユーザー端末３に接続可能なマイクスピーカー装置及びカメラなどが接続されており、音声及びカメラ映像を双方向通信可能に構成されている。マイクスピーカー装置及びカメラは、ユーザー端末３に内蔵されてもよい。
【0020】
管理サーバー１及び会話サーバー２のそれぞれは、例えば１台又は複数台のサーバー装置（例えばクラウドサーバー）で構築される。管理サーバー１及び会話サーバー２が一体のサーバー装置であってもよい。
【0021】
管理サーバー１、会話サーバー２、及びユーザー端末３は、ネットワークＮ１を介して互いに接続されている。ネットワークＮ１は、インターネット、ＬＡＮ、ＷＡＮ、又は公衆電話回線などの通信網である。
【0022】
［会話サーバー２］
図２に示すように、会話サーバー２は、制御部２１、記憶部２２、操作表示部２３、通信部２４などを備える。会話サーバー２は、１台又は複数台の仮想サーバー（クラウドサーバー）であってもよいし、１台又は複数台の物理サーバーであってもよい。
図２に示すように、会話サーバー２は、制御部２１、記憶部２２、操作表示部２３、通信部２４などを備える。会話サーバー２は、１台又は複数台の仮想サーバー（クラウドサーバー）であってもよいし、１台又は複数台の物理サーバーであってもよい。
【0023】
通信部２４は、会話サーバー２を有線又は無線でネットワークＮ１に接続し、ネットワークＮ１を介して他の機器（例えば管理サーバー１、ユーザー端末３など）との間で所定の通信プロトコルに従ったデータ通信を実行するための通信部である。
【0024】
操作表示部２３は、各種の情報を表示する液晶ディスプレイ又は有機ＥＬディスプレイのような表示部と、操作を受け付けるマウス、キーボード、又はタッチパネルなどの操作部とを備えるユーザインターフェースである。
【0025】
記憶部２２は、各種の情報を記憶するＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、又はフラッシュメモリーなどの不揮発性の記憶部である。記憶部２２には、制御部２１に各種処理を実行させるための制御プログラムが記憶されている。例えば、前記制御プログラムは、ＣＤ又はＤＶＤなどのコンピュータ読取可能な記録媒体に非一時的に記録され、会話サーバー２が備えるＣＤドライブ又はＤＶＤドライブなどの読取装置（不図示）で読み取られて記憶部２２に記憶される。なお、前記制御プログラムは、クラウドサーバーから配信されて記憶部２２に記憶されてもよい。
【0026】
例えば、記憶部２２には、オンラインミーティングサービスを実行させるためのオンラインミーティングプログラムが記憶されている。前記オンラインミーティングプログラムは、ユーザー端末３にインストールされた会話アプリケーションの実行に応じて前記オンラインミーティングを実行させる。本実施形態の会話サーバー２は、汎用ソフトウェアの一つである会話アプリケーションのオンラインミーティングサービスを提供するものとする。
【0027】
また、記憶部２２には、会話アプリケーションを利用可能なユーザーに関するユーザー情報（ユーザーＩＤ、パスワードなど）が記憶されている。
【0028】
制御部２１は、ＣＰＵ、ＲＯＭ、及びＲＡＭなどの制御機器を有する。前記ＣＰＵは、各種の演算処理を実行するプロセッサーである。前記ＲＯＭは、前記ＣＰＵに各種の処理を実行させるためのＢＩＯＳ及びＯＳなどの制御プログラムを予め記憶する。前記ＲＡＭは、各種の情報を記憶し、前記ＣＰＵが実行する各種の処理の一時記憶メモリー（作業領域）として使用される。そして、制御部２１は、前記ＲＯＭ又は記憶部２２に予め記憶された各種の制御プログラムを前記ＣＰＵで実行することにより会話サーバー２を制御する。
【0029】
具体的に、制御部２１は、音声処理部２１１などの各種の処理部を含む。なお、制御部２１は、前記制御プログラムに従った各種の処理を実行することによって前記各種の処理部として機能する。また、制御部２１に含まれる一部又は全部の処理部が電子回路で構成されていてもよい。なお、前記制御プログラムは、複数のプロセッサーを前記各種の処理部として機能させるためのプログラムであってもよい。
【0030】
音声処理部２１１は、複数のユーザー端末３のそれぞれにおいて会話アプリケーションを実行させてオンラインミーティングを行う。具体的には、音声処理部２１１は、ユーザー端末３から取得するログイン情報に基づいて、オンラインミーティングを開始する。例えば、ユーザーＡがユーザー端末３ａにおいて会話アプリケーションを起動させてログイン操作を行うと、ユーザー端末３ａは、ユーザーＩＤ及びパスワードを含むログイン情報を会話サーバー２に送信する。音声処理部２１１は、ユーザー端末３ａから前記ログイン情報を取得してユーザーＡを認証すると、前記オンラインミーティングを開始する。
【0031】
また例えば、ユーザーＡがユーザー端末３ａにおいて前記会話アプリケーションを終了させる（前記オンラインミーティングを終了させる）と、ユーザー端末３ａは終了要求を会話サーバー２に送信する。音声処理部２１１は、ユーザー端末３ａから前記終了要求を取得すると、前記オンラインミーティングを終了（ログオフ）する。
【0032】
前記オンラインミーティングに参加を希望する各ユーザーＡ，Ｂ，Ｃ，Ｄのそれぞれは、自身のユーザー端末３ａ，３ｂ，３ｃ，３ｄにおいて、前記会話アプリケーションにログインする操作を行う。前記会話アプリケーションにログイン及び認証されたユーザーは、前記会話アプリケーションで設定される仮想ルーム（バーチャルミーティングルーム）において、自身のユーザーアイコンを操作して他のユーザーと会話を行うことが可能になる。例えば、音声処理部２１１は、仮想ルームにおいて複数のユーザーアイコン同士の距離が所定距離未満になった場合に、当該複数のユーザーアイコンに対応する複数のユーザー端末３間において音声の送受信を開始することにより、複数のユーザー間の会話を可能にする。
【0033】
［ユーザー端末３］
図２に示すように、ユーザー端末３は、制御部３１、記憶部３２、操作表示部３３、通信部３４などを備える。ユーザー端末３は、例えばパーソナルコンピュータ（ノートパソコン、デスクトップパソコンなど）、モバイル端末（スマートフォンなど）のような情報通信端末である。各ユーザー端末３は同一の構成を備えてもよい。
図２に示すように、ユーザー端末３は、制御部３１、記憶部３２、操作表示部３３、通信部３４などを備える。ユーザー端末３は、例えばパーソナルコンピュータ（ノートパソコン、デスクトップパソコンなど）、モバイル端末（スマートフォンなど）のような情報通信端末である。各ユーザー端末３は同一の構成を備えてもよい。
【0034】
通信部３４は、ユーザー端末３を有線又は無線でネットワークＮ１に接続し、ネットワークＮ１を介して他の機器（例えば管理サーバー１、会話サーバー２）との間で所定の通信プロトコルに従ったデータ通信を実行するための通信部である。
【0035】
操作表示部３３は、各種の情報を表示する液晶ディスプレイ又は有機ＥＬディスプレイのような表示部と、操作を受け付けるマウス、キーボード、又はタッチパネルなどの操作部とを備えるユーザインターフェースである。操作表示部３３は、ユーザーの操作を受け付ける。
【0036】
記憶部３２は、各種の情報を記憶するＨＤＤ、ＳＳＤ、又はフラッシュメモリーなどの不揮発性の記憶部である。記憶部３２には、制御部３１に後述の会話制御処理を実行させるための会話制御プログラムなどの制御プログラムが記憶されている。例えば、前記会話制御プログラムは、ＣＤ又はＤＶＤなどのコンピュータ読取可能な記録媒体に非一時的に記録され、ユーザー端末３が備えるＣＤドライブ又はＤＶＤドライブなどの読取装置（不図示）で読み取られて記憶部３２に記憶される。なお、前記会話制御プログラムは、クラウドサーバーから配信されて記憶部３２に記憶されてもよい。
【0037】
また記憶部３２には、オンラインミーティングサービスを提供するための一又は複数の会話アプリケーションがインストールされている。
【0038】
制御部３１は、ＣＰＵ、ＲＯＭ、及びＲＡＭなどの制御機器を有する。前記ＣＰＵは、各種の演算処理を実行するプロセッサーである。前記ＲＯＭは、前記ＣＰＵに各種の処理を実行させるためのＢＩＯＳ及びＯＳなどの制御プログラムを予め記憶する。前記ＲＡＭは、各種の情報を記憶し、前記ＣＰＵが実行する各種の処理の一時記憶メモリー（作業領域）として使用される。そして、制御部３１は、前記ＲＯＭ又は記憶部３２に予め記憶された各種の制御プログラムを前記ＣＰＵで実行することによりユーザー端末３を制御する。また、制御部３１は、前記会話アプリケーションを実行する処理部として機能する。
【0039】
具体的に、制御部３１は、音声処理部３１１、表示処理部３１２、受付処理部３１３などの各種の処理部を含む。なお、制御部３１は、前記ＣＰＵで前記制御プログラムに従った各種の処理を実行することによって前記各種の処理部として機能する。また、制御部３１に含まれる一部又は全部の処理部が電子回路で構成されていてもよい。なお、前記制御プログラムは、複数のプロセッサーを前記各種の処理部として機能させるためのプログラムであってもよい。
【0040】
音声処理部３１１は、会話アプリケーションに従った前記オンラインミーティングに関する各種の処理を実行する。具体的には、音声処理部３１１は、ユーザーによる会話アプリケーションを起動させる操作（ログイン操作）を受け付けると、開始要求を会話サーバー２に送信する。会話サーバー２が前記開始要求に対して認証すると、音声処理部３１１は、ユーザー端末３において会話用画面を表示させて前記オンラインミーティングを開始する。図７には、会話アプリケーション（オンラインミーティングサービス）に対応する前記会話用画面の一例を示している。
【0041】
表示処理部３１２は、図７に示すように、前記会話用画面において仮想ルームを表示させる。また、表示処理部３１２は、仮想ルームにおいてユーザーを識別可能なユーザーアイコンを表示させる。前記ユーザーアイコンには、ユーザー名、ユーザーの写真、イラストなどの顔画像などが含まれる。また、表示処理部３１２は、仮想ルームにおいて、ユーザーの感情を表す感情アイコンを、ユーザーアイコンに関連付けて表示させる。ユーザーの感情は、管理サーバー１の推定処理（後述）によって推定される。表示処理部３１２は、ユーザー端末３におけるマイク及びスピーカーの設定状態を示す情報（マイクアイコン、スピーカーアイコンなど）をユーザーアイコン上に表示させてもよい。図７に示す例では、ユーザーＡ，Ｂ，Ｃ，Ｄが前記会話アプリケーションにログインした状態を示している。図７に示す会話用画面は、各ユーザーのユーザー端末３に表示される。図８Ａに示す例では、ユーザーＡのユーザーアイコンとユーザーＢのユーザーアイコンとの間の距離が所定距離未満であり、ユーザーＡ及びユーザーＢが会話可能な状態を示している。
【0042】
表示処理部３１２は、管理サーバー１の指示（位置情報）に応じて、前記会話用画面に各ユーザーアイコンを表示させる。各ユーザー端末３の表示処理部３１２は、管理サーバー１から取得する表示指示に従って表示処理を実行する。
【0043】
ユーザーＡ～Ｄのそれぞれは、自身のユーザー端末３ａ～３ｄにおいて、会話用画面を閲覧することができる。
【0044】
受付処理部３１３は、ユーザーから各種操作を受け付ける。例えば、ユーザー端末３ａの受付処理部３１３は、操作表示部３３に表示される会話用画面（図７参照）において、ユーザーＡから自身のユーザーアイコンの移動操作を受け付ける。受付処理部３１３は、受け付けたユーザー操作の情報を管理サーバー１に出力する。
【0045】
受付処理部３１３がユーザーアイコンの移動操作を受け付けると、表示処理部３１２は、管理サーバー１から取得する位置情報に基づいて、前記会話用画面において前記ユーザーアイコンの位置を移動して表示させる（図８Ａ参照）。ユーザーは、前記会話用画面において、自身のユーザーアイコンをドラッグアンドドロップ操作などにより所望の位置に移動させることができる。
【0046】
また、音声処理部３１１は、隣り合う２つのユーザーアイコンの間の距離が所定距離未満である場合に、会話サーバー２を介して会話音声を送受信する。例えば、ユーザーＡが自身のユーザーアイコンをユーザーＢのユーザーアイコンの位置を中心とした所定の会話領域Ｐ１（図８Ｂ参照）内に移動させた場合、ユーザーＡのユーザー端末３ａの音声処理部３１１は、ユーザーＡの発話音声をマイクを通じて取得すると会話サーバー２に送信し、会話サーバー２はユーザーＡの発話音声をユーザーＢのユーザー端末３ｂに送信する。ユーザー端末３ｂの音声処理部３１１は、ユーザーＡの発話音声を受信するとスピーカーから出力する。また、ユーザーＢのユーザー端末３ｂの音声処理部３１１は、ユーザーＢの発話音声をマイクを通じて取得すると会話サーバー２に送信し、会話サーバー２はユーザーＢの発話音声をユーザーＡのユーザー端末３ａに送信する。ユーザー端末３ａの音声処理部３１１は、ユーザーＢの発話音声を受信するとスピーカーから出力する。このようにして、ユーザーＡ及びユーザーＢは会話（オンラインミーティング）が可能となる。図８Ａに示す状態では、ユーザーＡ及びユーザーＢが互いに会話可能となっている。
【0047】
また、音声処理部３１１は、ユーザーによる会話アプリケーションを終了させる操作（終了操作）を受け付けると、終了要求を会話サーバー２に送信する。会話サーバー２が前記終了要求に対して認証すると、音声処理部３１１は、ユーザー端末３において前記オンラインミーティングを終了する。
【0048】
前記オンラインミーティングに参加するユーザーのそれぞれは、自身のユーザー端末３において会話アプリケーションを起動させて前記オンラインミーティングを開始する。また、各ユーザーは、自身のユーザー端末３において会話アプリケーションを終了させて前記オンラインミーティングを終了する。
【0049】
［管理サーバー１］
図２に示すように、管理サーバー１は、制御部１１、記憶部１２、操作表示部１３、通信部１４などを備える。管理サーバー１は、１台又は複数台の仮想サーバー（クラウドサーバー）であってもよいし、１台又は複数台の物理サーバーであってもよい。
図２に示すように、管理サーバー１は、制御部１１、記憶部１２、操作表示部１３、通信部１４などを備える。管理サーバー１は、１台又は複数台の仮想サーバー（クラウドサーバー）であってもよいし、１台又は複数台の物理サーバーであってもよい。
【0050】
通信部１４は、管理サーバー１を有線又は無線でネットワークＮ１に接続し、ネットワークＮ１を介して他の機器（例えば会話サーバー２、ユーザー端末３など）との間で所定の通信プロトコルに従ったデータ通信を実行するための通信部である。
【0051】
操作表示部１３は、各種の情報を表示する液晶ディスプレイ又は有機ＥＬディスプレイのような表示部と、操作を受け付けるマウス、キーボード、又はタッチパネルなどの操作部とを備えるユーザインターフェースである。
【0052】
記憶部１２は、各種の情報を記憶するＨＤＤ、ＳＳＤ、又はフラッシュメモリーなどの不揮発性の記憶部である。記憶部１２には、制御部１１に後述の会話制御処理を実行させるための会話制御プログラムなどの制御プログラムが記憶されている。例えば、前記会話制御プログラムは、ＣＤ又はＤＶＤなどのコンピュータ読取可能な記録媒体に非一時的に記録され、管理サーバー１が備えるＣＤドライブ又はＤＶＤドライブなどの読取装置（不図示）で読み取られて記憶部１２に記憶される。なお、前記会話制御プログラムは、クラウドサーバーから配信されて記憶部１２に記憶されてもよい。
【0053】
また、記憶部１２には、各種情報を含む管理テーブルが記憶されている。具体的には、記憶部１２には、前記会話アプリケーションにログインしたユーザーの情報を管理するユーザー情報管理テーブルＴ１（図３参照）、会話グループの情報を管理するグループ情報管理テーブルＴ２（図４参照）、前記会話アプリケーションにログインした各ユーザーの音声の制御情報を管理する音声制御情報管理テーブルＴ３（図５参照）、ユーザーの感情を識別可能な感情アイコンを管理する感情テーブルＴ４（図６参照）などのデータが記憶されている。
【0054】
図３に示すように、ユーザー情報管理テーブルＴ１には、前記会話アプリケーションにログイン中のユーザーのユーザー名、ユーザーＩＤ、ユーザーアイコン位置、マイク設定、スピーカー設定、感情ステータスなどの情報が登録される。前記ユーザー名及び前記ユーザーＩＤは、会話アプリケーションのログイン情報として利用される。前記ユーザーアイコン位置は、仮想ルームにおけるユーザーアイコンの位置を示す情報である。例えば、ユーザーＡが会話アプリケーションにログインすると、ユーザー端末３ａに会話用画面が表示され、前記会話用画面において、ユーザーＡのユーザーアイコンが表示される（図７等参照）。また、前記会話用画面には、ログイン済みの複数のユーザーのそれぞれのユーザーアイコンが表示される。図７には、各ユーザーのユーザー端末３の会話用画面を示しており、ここでは、ユーザーＡ～Ｄのそれぞれのユーザーアイコンが表示されている。制御部１１は、前記会話用画面（仮想ルーム）におけるユーザーアイコンの位置を取得してユーザー情報管理テーブルＴ１に登録する。
【0055】
前記マイク設定及び前記スピーカー設定は、ユーザー端末３におけるマイク及びスピーカーの設定状態を示す情報である。例えば、ユーザーがマイク及びスピーカーをＯＮ状態に設定すると、ユーザー情報管理テーブルＴ１の前記マイク設定及び前記スピーカー設定に「ＯＮ」が登録される。また例えば、ユーザーがマイク及びスピーカーをＯＦＦ状態（ミュート）に設定すると、ユーザー情報管理テーブルＴ１の前記マイク設定及び前記スピーカー設定に「ＯＦＦ」が登録される。
【0056】
前記感情ステータスは、ユーザーの現在の感情を示す情報である。制御部１１は、周知の技術によりユーザーの感情をリアルタイムで推定し、推定結果を前記感情ステータスに登録及び更新する。例えば、制御部１１は、ユーザーの発話音声及び顔画像を用いて周知の感情認識ＡＩ（学習済みモデル）により、「平常」、「怒り」、「喜び」、「哀しみ」、「楽しみ」、「驚き」、「嫌悪」、「恐れ」などの感情を推定する。図３に示す例では、ユーザーＡの現在の感情が「怒り」の状態であり、ユーザーＢの現在の感情が「哀しみ」の状態であり、ユーザーＣ及びユーザーＤの現在の感情が「平常」の状態であることを示している。
【0057】
図４に示すように、グループ情報管理テーブルＴ２には、会話グループに関するグループＩＤ、仮想ルームに関するルームＩＤ、ユーザーＩＤなどの情報が含まれる。制御部１１は、前記会話アプリケーションにログインした複数のユーザーのうち特定の複数のユーザーを含む会話グループを設定する。前記グループＩＤは、前記会話グループの識別情報である。前記ルームＩＤは、仮想ルームの識別情報である。前記ユーザーＩＤは、前記会話グループに含まれる複数のユーザーのそれぞれの識別情報である。例えば、グループＩＤが「ｇ００１」の会話グループには、ルームＲ１に対応するルームＩＤ「ｒ００１」と、ユーザーＡ～ＤのユーザーＩＤとが対応付けられている。グループＩＤ「ｇ００１」の会話グループは、図７に示す例（ルームＲ１）に対応している。
【0058】
図５に示すように、音声制御情報管理テーブルＴ３には、ユーザーＩＤ、各ユーザーの音声制御情報が含まれる。制御部１１は、前記会話グループの設定情報に基づいて、各ユーザーの音声制御情報を登録する。図５の音声制御情報管理テーブルＴ３は、グループＩＤが「ｇ００１」の会話グループ（図７参照）に対応する音声制御情報の一例を示している。具体的には、ユーザーＡ～ＤがルームＲ１にログインして会話グループが設定された場合、制御部１１は、ユーザーＡ～Ｄの各ユーザーアイコンの位置に基づいて音声制御情報を登録する。図５に示す例では、図８に示すユーザーアイコンの位置に対応する音声制御情報を示している。具体的には、ユーザーＡ及びユーザーＢの各ユーザーアイコンの距離が所定距離未満（会話領域Ｐ１内）である場合に、制御部１１は、ユーザーＡ（ユーザー端末３ａ）（ユーザーＩＤ「ａ００１」）に対して、ユーザーＢの発話音声の出力を許可（「〇」を登録）し、ユーザーＢ（ユーザー端末３ｂ）（ユーザーＩＤ「ｂ００２」）に対して、ユーザーＡの発話音声の出力を許可（「〇」を登録）する。これにより、ユーザーＡ及びユーザーＢは、前記会話グループ（ルームＲ１）内において互いの発話音声を聞き取ることが可能になる。
【0059】
一方、ユーザーＣ及びユーザーＤそれぞれのユーザーアイコンは、他のユーザーのユーザーアイコンから所定距離以上離れており会話領域Ｐ１外のため、ユーザーＣ及びユーザーＤのそれぞれは、他のユーザーの発話音声を聞き取ることができない状態となる。
【0060】
図６に示すように、感情テーブルＴ４には、感情種別、感情アイコンの情報が含まれる。感情種別には、「平常」、「怒り」、「喜び」、「哀しみ」、「楽しみ」、「驚き」、「嫌悪」、「恐れ」など周知の感情が含まれる。図６では一例として「平常」、「怒り」、「哀しみ」を示している。感情アイコンは、ユーザー端末３の表示画面（会話用画面）においてユーザーが感情を把握することが可能な画像である。制御部１１は、会話アプリケーションで利用可能な感情種別及び感情アイコンを予め感情テーブルＴ４に登録する。他の実施形態として、感情アイコンに代えて、感情を表す文字（例えば、「平」、「怒」、「哀」などのテキスト文字）が感情テーブルＴ４に登録されてもよい。この場合、前記会話用画面において、感情を表す文字がユーザーアイコンに関連付けて表示されてもよい。
【0061】
ユーザー情報管理テーブルＴ１、グループ情報管理テーブルＴ２、音声制御情報管理テーブルＴ３、及び感情テーブルＴ４の一部又は全部が、他のサーバー（データサーバー）に記憶されてもよい。
【0062】
制御部１１は、ＣＰＵ、ＲＯＭ、及びＲＡＭなどの制御機器を有する。前記ＣＰＵは、各種の演算処理を実行するプロセッサーである。前記ＲＯＭは、前記ＣＰＵに各種の処理を実行させるためのＢＩＯＳ及びＯＳなどの制御プログラムを予め記憶する。前記ＲＡＭは、各種の情報を記憶し、前記ＣＰＵが実行する各種の処理の一時記憶メモリー（作業領域）として使用される。そして、制御部１１は、前記ＲＯＭ又は記憶部１２に予め記憶された各種の制御プログラムを前記ＣＰＵで実行することにより管理サーバー１を制御する。
【0063】
具体的に、制御部１１は、表示処理部１１１、推定処理部１１２、受付処理部１１３、通知処理部１１４などの各種の処理部を含む。なお、制御部１１は、前記会話制御プログラムに従った各種の処理を実行することによって前記各種の処理部として機能する。また、制御部１１に含まれる一部又は全部の処理部が電子回路で構成されていてもよい。なお、前記会話制御プログラムは、複数のプロセッサーを前記各種の処理部として機能させるためのプログラムであってもよい。
【0064】
制御部１１は、ユーザーのログイン操作に基づいて、認証されたユーザーに関するユーザー情報（ユーザー登録情報）を取得し、当該ユーザー情報をユーザー情報管理テーブルＴ１（図３参照）に登録する。
【0065】
表示処理部１１１は、会話用画面（仮想ルーム）の所定位置にユーザーアイコンを表示させる。例えば、ユーザーＡ～Ｄがログインすると、表示処理部１１１は、予め設定された位置（初期位置）、又は、前回ログオフした時点におけるユーザーアイコンの位置に、ユーザーアイコンを表示させる（図７参照）。
【0066】
推定処理部１１２は、ユーザーの感情を推定する。具体的には、推定処理部１１２は、ユーザーの発話データ及び顔画像データの少なくともいずれかに基づいて当該ユーザーの感情を推定する。例えば、推定処理部１１２は、周知の感情認識ＡＩの推定モデルにユーザーの発話音声及び顔画像のデータを入力して、当該ユーザーの感情をリアルタイムに推定する。推定処理部１１２は、推定結果をユーザー情報管理テーブルＴ１（図３参照）の感情ステータスに登録する。
【0067】
表示処理部１１１は、会話用画面において、推定処理部１１２により推定されるユーザーの感情を表す感情アイコンを、当該ユーザーのユーザーアイコンに関連付けて表示させる。例えば図７に示すように、推定処理部１１２がユーザーＡ～Ｄの感情をそれぞれ「平常」と推定した場合に、表示処理部１１１は、「平常」を示す感情アイコン（図６参照）を、ユーザーＡ～Ｄのそれぞれのユーザーアイコンに関連付けて表示させる。なお、表示処理部１１１は、ユーザーアイコンの顔領域に感情アイコンを重畳して表示させてもよい。
【0068】
受付処理部１１３は、会話用画面（仮想ルーム）におけるユーザーアイコンの移動操作をユーザーから受け付ける。例えば図８Ａに示すユーザー端末３ａの会話用画面において、ユーザーＡが自身のユーザーアイコンを移動させる操作（ドラッグアンドドロップ操作）を行うと、受付処理部１１３は、ユーザー端末３ａから前記移動操作を受け付ける。受付処理部１１３は、前記移動操作受け付けると、移動後のユーザーアイコンの位置を示す位置情報をユーザー情報管理テーブルＴ１（図３参照）に登録（更新）する。
【0069】
制御部１１は、仮想ルームにおいて複数のユーザーを含む会話グループを設定する。例えば、ユーザーＡ～Ｄが特定の仮想ルーム（ルームＲ１）にログインすると、制御部１１は、ユーザーＡ～Ｄを含む会話グループを設定してグループ情報管理テーブルＴ２（図４参照）に登録する。また、制御部１１は、前記会話グループの各ユーザーの音声の送受信を制御する。具体的には、制御部１１は、前記会話グループ内の各ユーザーアイコンの位置関係に基づいて、会話可能なユーザーと会話不可能なユーザーとを判定して、各ユーザーの音声の送受信を制御する音声制御情報を音声制御情報管理テーブルＴ３（図５参照）に登録する。
【0070】
例えば、ユーザーＡの前記移動操作に応じてユーザーＡ及びユーザーＢのそれぞれのユーザーアイコンが会話領域Ｐ１内（図８Ｂ参照）に含まれると、ユーザーＡ及びユーザーＢ同士がユーザー端末３ａ，３ｂにより会話を行うことが可能になる。
【0071】
通知処理部１１４は、推定処理部１１２により推定される感情に応じた会話支援情報（サポート情報）を通知する。具体的には、通知処理部１１４は、推定処理部１１２により推定される第１ユーザーの感情が所定の感情である場合に、第１ユーザー及び第２ユーザーの少なくともいずれかに、推定処理部１１２により推定される感情に応じた会話支援情報を通知する。以下、会話支援情報を通知する処理の具体例（実施例１～４）を説明する。
【0072】
［実施例１］
実施例１に係る通知処理部１１４は、推定処理部１１２により推定される第１ユーザーの感情が「哀しみ」（本開示の第１の感情の一例）であって、かつ「哀しみ」の感情の状態が所定時間継続した場合に、第２ユーザーに会話支援情報を通知する。例えば図８Ａに示すように、ユーザーＡ及びユーザーＢが会話中にユーザーＡの感情が「怒り」の状態になり、ユーザーＢの感情が「哀しみ」の状態になった場合に、表示処理部１１１は、ユーザーＡの感情アイコンを「平常」から「怒り」の感情アイコンに変更し、ユーザーＢの感情アイコンを「平常」から「哀しみ」の感情アイコンに変更する。
実施例１に係る通知処理部１１４は、推定処理部１１２により推定される第１ユーザーの感情が「哀しみ」（本開示の第１の感情の一例）であって、かつ「哀しみ」の感情の状態が所定時間継続した場合に、第２ユーザーに会話支援情報を通知する。例えば図８Ａに示すように、ユーザーＡ及びユーザーＢが会話中にユーザーＡの感情が「怒り」の状態になり、ユーザーＢの感情が「哀しみ」の状態になった場合に、表示処理部１１１は、ユーザーＡの感情アイコンを「平常」から「怒り」の感情アイコンに変更し、ユーザーＢの感情アイコンを「平常」から「哀しみ」の感情アイコンに変更する。
【0073】
ユーザーＢの感情が「哀しみ」に変化した場合、ユーザーＢをサポート（フォロー）することが望ましい。そこで、通知処理部１１４は、ユーザーＢの感情が「哀しみ」に変化した時点で時間の計測を開始し、「哀しみ」の状態が所定時間（例えば１０分）継続した場合に、ユーザーＢの近くにいるユーザー、例えばユーザーＢのユーザーアイコンの位置を中心として所定範囲（通知領域Ｐ２（図８Ｂ参照））内にいるユーザーＣに会話支援情報を通知する。例えば図９に示すように、通知処理部１１４は、ユーザーＣのユーザー端末３ｃの会話用画面に、ユーザーＢの感情が「哀しみ」の状態であることを示すメッセージＭ１（ダイアログ）（会話支援情報の一例）を表示させる。また、通知処理部１１４は、メッセージＭ１に、「今すぐサポートに向かう」の操作ボタンを表示させる。このように、通知処理部１１４は、ユーザーＢとの会話を開始するか否かを問い合わせる会話支援情報を、通知領域Ｐ２内に存在するユーザーのうち、会話相手（ここではユーザーＡ）を除いたユーザー（ここではユーザーＣ）に通知する。なお、メッセージＭ１には、ユーザーが会話の開始を希望しない場合に選択する選択ボタン「×」が表示される（図９参照）。
【0074】
なお、通知処理部１１４は、ユーザー端末３ｂにおいて、メッセージＭ１を会話用画面外の表示領域（例えば画面右下）にポップアップ通知してもよい。前記ポップアップ通知の処理は、後述する各実施例においても同様に適用可能である。
【0075】
また、通知処理部１１４は、メッセージＭ１を通知した場合に、時間の計測を停止して計測時間をリセットする。
【0076】
ユーザーＣがメッセージＭ１の「今すぐサポートに向かう」の操作ボタンを押下すると（会話支援情報に対してユーザーＣがユーザーＢとの会話を開始する旨の回答を行った場合に）、表示処理部１１１は、会話用画面において、ユーザーＣのユーザーアイコンを、ユーザーＢと会話可能な位置に移動させる。例えば図１０Ａ及び図１０Ｂに示すように、表示処理部１１１は、ユーザーＣのユーザーアイコンをユーザーＢのユーザーアイコンの位置を中心とした会話領域Ｐ１内に移動させる。これにより、ユーザーＣはユーザーＡ及びユーザーＢの会話に参加することが可能になる。
【0077】
なお、ユーザーＡは「怒り」の感情でありサポートの優先度が低いため、通知処理部１１４は、ユーザーＡのユーザー端末３ａにはメッセージＭ１を通知しない。また、他のユーザー（ここではユーザーＤ）は、通知領域Ｐ２外にいるため、通知処理部１１４は、ユーザーＤのユーザー端末３ｄにはメッセージＭ１を通知しない。
【0078】
このように、実施例１では、制御部１１は、会話中のユーザーの感情が「哀しみ」に変化した場合において、「哀しみ」の状態が所定時間継続した場合に、当該ユーザーを支援（サポート）するための会話支援情報を所定のユーザーに通知する。なお、制御部１１は、ユーザーＡのサポートが必要な場合には、ユーザーＡのユーザー端末３ａにメッセージＭ１を通知してもよいし、ユーザーＡのユーザー端末３ａ及びユーザーＣのユーザー端末３ｃの両方にメッセージＭ１を通知してもよい。
【0079】
［実施例２］
実施例２では、例えば実施例１においてユーザーＡ及びユーザーＢの会話が終了した場合に、表示処理部１１１は、会話終了時点の感情の状態を、会話終了時点から所定時間継続して表示させる。例えば図８に示すように、ユーザーＡ及びユーザーＢが会話をして、会話終了時点の推定感情が、ユーザーＡが「怒り」あって、ユーザーＢが「哀しみ」であった場合に、表示処理部１１１は、図１１Ａ及び図１１Ｂに示すように、ユーザーＡのユーザーアイコンをユーザーＢのユーザーアイコンに対応する会話領域Ｐ１の外に移動させるとともに、ユーザーＡの感情アイコンを「怒り」のアイコンを継続して表示させ、ユーザーＢの感情アイコンを「哀しみ」のアイコンを継続して表示させる。
実施例２では、例えば実施例１においてユーザーＡ及びユーザーＢの会話が終了した場合に、表示処理部１１１は、会話終了時点の感情の状態を、会話終了時点から所定時間継続して表示させる。例えば図８に示すように、ユーザーＡ及びユーザーＢが会話をして、会話終了時点の推定感情が、ユーザーＡが「怒り」あって、ユーザーＢが「哀しみ」であった場合に、表示処理部１１１は、図１１Ａ及び図１１Ｂに示すように、ユーザーＡのユーザーアイコンをユーザーＢのユーザーアイコンに対応する会話領域Ｐ１の外に移動させるとともに、ユーザーＡの感情アイコンを「怒り」のアイコンを継続して表示させ、ユーザーＢの感情アイコンを「哀しみ」のアイコンを継続して表示させる。
【0080】
また、会話終了後に継続して表示されるユーザーＢの感情アイコンが「哀しみ」の状態である場合に、通知処理部１１４は、ユーザーＢのユーザーアイコンに対応する通知領域Ｐ２（図１１Ｂ参照）内にいるユーザーＣに会話支援情報を通知する。例えば図１２に示すように、通知処理部１１４は、ユーザーＣのユーザー端末３ｃの会話用画面に、ユーザーＢの感情が「哀しみ」の状態であることを示すメッセージＭ２（会話支援情報の一例）を表示させる。また、通知処理部１１４は、メッセージＭ２に、ユーザーＢとの会話を開始するための操作ボタン（「開始」ボタン）を表示させる。
【0081】
なお、通知処理部１１４は、ユーザー端末３ｂにおいて、メッセージＭ２を会話用画面外の表示領域（例えば画面右下）にポップアップ通知してもよい。
【0082】
ユーザーＣがメッセージＭ２の「開始」ボタンを押下すると、表示処理部１１１は、会話用画面において、ユーザーＣのユーザーアイコンを、ユーザーＢと会話可能な位置に移動させる。例えば図１３Ａ及び図１３Ｂに示すように、表示処理部１１１は、ユーザーＣのユーザーアイコンをユーザーＢのユーザーアイコンの位置を中心とした会話領域Ｐ１内に移動させる。これにより、ユーザーＣはユーザーＢと会話することが可能になる。
【0083】
なお、ユーザーＡは「怒り」の感情でありサポートの優先度が低いため、通知処理部１１４は、ユーザーＡのユーザー端末３ａにはメッセージＭ２を通知しない。また、ユーザーＤは、通知領域Ｐ２外にいるため、通知処理部１１４は、ユーザーＤのユーザー端末３ｄにはメッセージＭ２を通知しない。
【0084】
また、ユーザーＣがメッセージＭ２の「閉じる」ボタンを押下した場合には、表示処理部１１１は、会話用画面からメッセージＭ２を削除する処理のみ実行する。
【0085】
また、表示処理部１１１は、会話終了時点から所定時間経過した場合に、感情アイコンを平常状態の感情アイコンに変更する。例えば、表示処理部１１１は、ユーザーＡ及びユーザーＢの会話が終了した時点から所定時間の間、ユーザーＡの感情アイコンを「怒り」の状態に維持し、ユーザーＢの感情アイコンを「哀しみ」の状態を維持し、所定時間経過した時点で、ユーザーＡ及びユーザーＢのそれぞれの感情アイコンを「平常」の状態に変更する（図１４参照）。
【0086】
このように、実施例２では、通知処理部１１４は、第１ユーザー（上記の例ではユーザーＢ）との会話を開始するか否かを問い合わせる会話支援情報を第２ユーザー（上記の例ではユーザーＣ）に通知する。また、会話支援情報に対して第２ユーザーが第１ユーザーとの会話を開始する旨の回答を行った場合に、表示処理部１１１は、会話用画面（仮想ルーム）において、第２ユーザーの第２ユーザーアイコンを、第１ユーザーと会話可能な位置に移動させる（図１３Ａ参照）。
【0087】
また、会話支援情報に対して第２ユーザーが第１ユーザーとの会話を開始しない旨の回答を行った場合には、表示処理部１１１は、会話用画面（仮想ルーム）において、第２ユーザーの第２ユーザーアイコンを移動させず、通知領域Ｐ２内に留める（図１１Ｂ参照）。
【0088】
実施例２の構成によれば、会話終了後に「哀しみ」の状態にあるユーザーＣを、他のユーザーがサポートすることができる。
【0089】
［実施例３］
実施例３では、例えば実施例１においてユーザーＡ及びユーザーＢの会話が終了した場合において、ユーザーＡが自身の推定感情が「怒り」の状態のまま他のユーザー（例えばユーザーＤ）に対して会話を要求した場合に、通知処理部１１４は、ユーザーＡに対して会話支援情報を通知する。
実施例３では、例えば実施例１においてユーザーＡ及びユーザーＢの会話が終了した場合において、ユーザーＡが自身の推定感情が「怒り」の状態のまま他のユーザー（例えばユーザーＤ）に対して会話を要求した場合に、通知処理部１１４は、ユーザーＡに対して会話支援情報を通知する。
【0090】
例えば図１５Ａ及び図１５Ｂに示すように、ユーザーＡがユーザーアイコンをユーザーＤに対応する会話領域Ｐ１内に移動させると、通知処理部１１４は、ユーザーＡのユーザー端末３ａにおいて、ユーザーＡの感情が「怒り」の状態であることと、今すぐに会話を開始するかどうかの問い合わせとを含むメッセージＭ３を通知する。
【0091】
ユーザーＡがメッセージＭ３の「開始」ボタンを押下すると、制御部１１は、ユーザーＡ及びユーザーＤの会話を可能にする。すなわち、制御部１１は、ユーザーＡ及びユーザーＤの発話音声を相互に送受信可能に音声制御情報（図５参照）を更新する。
【0092】
一方、ユーザーＡがメッセージＭ３の「やめる」ボタンを押下すると、例えば図１６に示すように、表示処理部１１１は、ユーザーＡのユーザーアイコンをユーザーＤのユーザーアイコンの位置を中心とした会話領域Ｐ１外に移動させる。これにより、ユーザーＡはユーザーＤと会話できない状態になる。
【0093】
このように、実施例３では、通知処理部１１４は、第１ユーザー（上記の例ではユーザーＡ）が第２ユーザー（上記の例ではユーザーＤ）に対して会話の開始を要求する場合に、第１ユーザーの現在の感情を示す情報を含む会話支援情報を第１ユーザーに通知する。また、会話支援情報に対して第１ユーザーが第２ユーザーとの会話を開始する旨の回答を行った場合に、制御部１１は、第１ユーザー及び第２ユーザーを会話可能にする。
【0094】
また、会話支援情報に対して第１ユーザーが第２ユーザーとの会話を開始しない旨の回答を行った場合に、表示処理部１１１は、会話用画面（仮想ルーム）において、第１ユーザーの第１ユーザーアイコンを、第２ユーザーと会話不可能な位置に移動させる（図１６参照）。
【0095】
また、通知処理部１１４は、第１ユーザー（ユーザーＡ）の感情が「怒り」（本開示の第２の感情の一例）であって、かつ「怒り」の感情が推定されてから所定時間内に第１ユーザー及び第２ユーザーが会話を開始する場合に、第１ユーザーに会話支援情報を通知する。また、前記所定時間が経過して感情アイコンが「怒り」から「平常」に変更された場合には、通知処理部１１４は、前記会話支援情報の通知を省略する。
【0096】
実施例３の構成によれば、ユーザーＡは他のユーザーとの会話を開始する前に自身の感情を自覚することができるため、例えば自身が平常な感情になるまで会話を控えるなど適切な対応を取ることが可能になる。
【0097】
［実施例４］
実施例４では、例えば実施例１においてユーザーＡ及びユーザーＢの会話が終了した時点でユーザーＡの推定感情が「怒り」の状態の場合において、ユーザーＤがユーザーＡに対して会話を要求した場合に、通知処理部１１４は、ユーザーＤに対して会話支援情報を通知する。
実施例４では、例えば実施例１においてユーザーＡ及びユーザーＢの会話が終了した時点でユーザーＡの推定感情が「怒り」の状態の場合において、ユーザーＤがユーザーＡに対して会話を要求した場合に、通知処理部１１４は、ユーザーＤに対して会話支援情報を通知する。
【0098】
例えば図１７Ａ及び図１７Ｂに示すように、ユーザーＤがユーザーアイコンをユーザーＡに対応する会話領域Ｐ１内に移動させると、通知処理部１１４は、ユーザーＤのユーザー端末３ｄにおいて、ユーザーＡの感情が「怒り」の状態であることと、ユーザーＡと会話を開始する最適なタイミングまでの時間と、今すぐに会話を開始するかどうかの問い合わせとを含むメッセージＭ４を通知する。
【0099】
例えば会話相手の感情が「怒り」の状態に対して予め待機時間（例えば３０分）が設定されている場合に、通知処理部１１４は、ユーザーＡ及びユーザーＢの会話が終了した時点から待機時間をカウントダウンし、残り時間をメッセージＭ４に表示させる。ユーザーＤは、残り時間を確認して、待機時間が経過するまで会話を控えるか、今すぐに会話の開始を要求するかを選択することができる。
【0100】
ユーザーＤがメッセージＭ４の「開始」ボタンを押下すると、制御部１１は、ユーザーＡ及びユーザーＤの会話を可能にする。すなわち、制御部１１は、ユーザーＡ及びユーザーＤの発話音声を相互に送受信可能に音声制御情報（図５参照）を更新する。
【0101】
一方、ユーザーＡがメッセージＭ３の「やめる」ボタンを押下すると、例えば図１６に示すように、表示処理部１１１は、ユーザーＤのユーザーアイコンをユーザーＡのユーザーアイコンの位置を中心とした会話領域Ｐ１外に移動させる。これにより、ユーザーＤはユーザーＡと会話できない状態になる。
【0102】
なお、前記残り時間が「０」になると、表示処理部１１１は、ユーザーＡの感情アイコンを「平常」の状態に変更する。
【0103】
このように、通知処理部１１４は、第１ユーザー（ユーザーＡ）の感情が「怒り」（本開示の第２の感情の一例）であって、かつ「怒り」の感情が推定されてから所定時間（待機時間）内に第１ユーザー及び第２ユーザー（ユーザーＤ）が会話を開始する場合に、第２ユーザーに会話支援情報を通知する。また、前記所定時間が経過して感情アイコンが「怒り」から「平常」に変更された場合には、通知処理部１１４は、前記会話支援情報の通知を省略する。
【0104】
実施例４の構成によれば、ユーザーＤは会話相手のユーザーとの会話を開始する最適なタイミングを把握することができるため、適切な対応を取ることが可能になる。
【0105】
［会話制御処理］
以下、会話システム１００において実行される会話制御処理の手順の一例について説明する。
以下、会話システム１００において実行される会話制御処理の手順の一例について説明する。
【0106】
なお、本開示は、前記会話制御処理に含まれる一又は複数のステップを実行する会話制御方法（本開示の情報処理方法の一例）として捉えることができる。また、ここで説明する前記会話制御処理に含まれる一又は複数のステップが適宜省略されてもよい。また、前記会話制御処理における各ステップは、同様の作用効果を生じる範囲で実行順序が異なってもよい。
【0107】
また、ここでは管理サーバー１の制御部１１が前記会話制御処理における各ステップを実行する場合を例に挙げて説明するが、他の実施形態では、一又は複数のプロセッサーが前記会話制御処理における各ステップを分散して実行してもよい。
＜１．会話中の会話制御処理＞
以下では、ユーザーＡ～Ｄが会話アプリケーションにログインし、ユーザーＡ及びユーザーＢが会話可能な状態になった場合（図８Ａ及び図８Ｂ参照）の会話制御処理（実施例１に対応）について、図１８及び図１９を参照しつつ説明する。
＜１．会話中の会話制御処理＞
以下では、ユーザーＡ～Ｄが会話アプリケーションにログインし、ユーザーＡ及びユーザーＢが会話可能な状態になった場合（図８Ａ及び図８Ｂ参照）の会話制御処理（実施例１に対応）について、図１８及び図１９を参照しつつ説明する。
【0108】
先ずステップＳ１１において、制御部１１は、音声データを取得する。ここでは、制御部１１は、ユーザーＡ及びユーザーＢの会話の音声データを取得する。
【0109】
次にステップＳ１２において、制御部１１は、ユーザーの感情を推定し、感情アイコンを表示させる。例えば、制御部１１は、ユーザーＡ及びユーザーＢの音声データ及び顔画像データに基づいて、ユーザーＡ及びユーザーＢの感情を推定する。制御部１１は、推定した感情に対応する感情アイコン（図６参照）を、会話用画面においてユーザーアイコンに関連付けて表示させる（図８Ａ参照）。
【0110】
次にステップＳ１３において、制御部１１は、推定したユーザーの感情が「哀しみ」であるか否かを判定する。具体的には、制御部１１は、会話中のユーザーＡ及びユーザーＢの少なくともいずれかの感情が「哀しみ」であるか否かを判定する。制御部１１は、推定したユーザーの感情が「哀しみ」であると判断すると（Ｓ１３：Ｙｅｓ）、処理をステップＳ１４に移行させる。一方、制御部１１は、推定したユーザーの感情が「哀しみ」以外、例えば「平常」、「怒り」、「喜び」、「楽しみ」、「驚き」、「嫌悪」、「恐れ」などあると判断すると（Ｓ１３：Ｎｏ）、処理をステップＳ１８に移行させる。
【0111】
ステップＳ１４において、制御部１１は、時間の計測を開始する。例えば、制御部１１は、ユーザーＢの感情が「平常」から「哀しみ」に変化したタイミングで時間の計測を開始する。
【0112】
ステップＳ１５において、制御部１１は、計測時間が所定時間（例えば１０分）を経過したか否かを判定する。制御部１１は、計測時間が所定時間を経過したと判断すると（Ｓ１５：Ｙｅｓ）、処理をステップＳ１６に移行させる。一方、制御部１１は、計測時間が所定時間を経過していないと判断すると（Ｓ１５：Ｎｏ）、処理をステップＳ１５１に移行させる。
【0113】
ステップＳ１５１では、制御部１１は、ユーザーの感情が依然として「哀しみ」であるか否かを判定する。制御部１１は、ユーザーＢの感情が依然として「哀しみ」であると判断すると（Ｓ１５１：Ｙｅｓ）、処理をステップＳ１５に移行させて時間の計測を継続する。一方、制御部１１は、ユーザーＢの感情が「哀しみ」から他の感情に変化したと判断すると（Ｓ１５１：Ｎｏ）、ステップＳ１５２において時間の計測を終了して計測時間をリセットする。ステップＳ１５２の後、制御部１１は、処理をステップＳ１８に移行させる。
【0114】
ステップＳ１６では、制御部１１は、計測時間をリセットし、会話支援情報を通知する。例えば、制御部１１は、ユーザーＢのユーザーアイコンの位置を中心として通知領域Ｐ２（図８Ｂ参照）内にいるユーザーＣに会話支援情報を通知する。例えば図９に示すように、制御部１１は、ユーザーＣのユーザー端末３ｃの会話用画面に、ユーザーＢの感情が「哀しみ」の状態であることを示すメッセージＭ１を表示させる。
【0115】
次にステップＳ１７において、制御部１１は、会話支援処理を実行する。図１９に示すように、前記会話支援処理では、先ずステップＳ１７１において、制御部１１は、メッセージＭ１の「今すぐサポートに向かう」の操作ボタン（図９参照）の押下操作を受け付けたか否かを判定する。制御部１１は、メッセージＭ１の「今すぐサポートに向かう」の操作ボタンの押下操作を受け付けると（Ｓ１７１：Ｙｅｓ）、処理をステップＳ１７２に移行させる。一方、制御部１１は、メッセージＭ１の「今すぐサポートに向かう」の操作ボタンの押下操作を受け付けない場合（例えば「閉じる」ボタンを押下した場合）（Ｓ１７１：Ｎｏ）、前記会話支援処理を終了して処理をステップＳ１８（図１８参照）に移行させる。
【0116】
ステップＳ１７２において、制御部１１は、ユーザーＡ及びユーザーＢが会話を継続中であるか否かを判定する。制御部１１は、ユーザーＡ及びユーザーＢが会話を継続中であると判断すると（Ｓ１７２：Ｙｅｓ）、処理をステップＳ１７３に移行させる。一方、制御部１１は、ユーザーＡ及びユーザーＢが会話を終了したと判断すると（Ｓ１７２：Ｎｏ）、前記会話支援処理を終了して処理をステップＳ１８（図１８参照）に移行させる。
【0117】
ステップＳ１７３において、制御部１１は、会話用画面において、ユーザーアイコンをサポート対象のユーザーと会話可能な位置に移動させる。例えば図１０Ａ及び図１０Ｂに示すように、制御部１１は、ユーザーＣのユーザーアイコンをユーザーＢのユーザーアイコンの位置を中心とした会話領域Ｐ１内に移動させる。
【0118】
次にステップＳ１７４において、制御部１１は、移動したユーザーアイコンのユーザーを会話に参加させる。ここでは、制御部１１は、ユーザーＣをユーザーＡ及びユーザーＢの会話に参加させる。すなわち、制御部１１は、ユーザーＡ～Ｃの発話音声を相互に送受信可能に音声制御情報（図５参照）を更新する。
【0119】
制御部１１は、前記会話支援処理を終了すると、ステップＳ１８に移行して、会話が終了したか否かを判定する。制御部１１は、ユーザーＡ及びユーザーＢの会話が終了したと判断すると（Ｓ１８：Ｙｅｓ）、前記会話制御処理を終了する。一方、制御部１１は、ユーザーＡ及びユーザーＢの会話が終了していないと判断すると（Ｓ１８：Ｎｏ）、処理をステップＳ１１に戻す。
【0120】
以上のように、ユーザーＡ及びユーザーＢが会話中、制御部１１は、上述の会話制御処理を実行する。
＜２．会話終了後の会話制御処理＞
以下では、ユーザーＡ及びユーザーＢの会話が終了した後の会話制御処理（実施例２～４に対応）について説明する。
＜２．会話終了後の会話制御処理＞
以下では、ユーザーＡ及びユーザーＢの会話が終了した後の会話制御処理（実施例２～４に対応）について説明する。
【0121】
先ずステップＳ２１において、制御部１１は、会話終了時点の各ユーザーの感情を示す感情アイコンを会話用画面（仮想ルーム）に表示させる（図１１Ａ参照）。
【0122】
次にステップＳ２２において、制御部１１は、時間の計測を開始する。例えば、制御部１１は、会話が終了したタイミングで時間の計測を開始する。
【0123】
次にステップＳ２３において、制御部１１は、感情に応じた会話支援処理を実行する。例えば制御部１１は、ユーザーＢの感情が「哀しみ」の場合に、図２１に示す会話支援処理を実行する。また、例えば制御部１１は、ユーザーＡの感情が「怒り」の場合に、図２２に示す会話支援処理を実行する。
【0124】
図２１に示す会話支援処理（実施例２に対応）では、制御部１１は、ステップＳ３１において、通知領域Ｐ２内にユーザーがいるか否かを判定する。制御部１１は、通知領域Ｐ２内にユーザーがいると判断すると（Ｓ３１：Ｙｅｓ）、処理をステップＳ３２に移行させる。一方、制御部１１は、通知領域Ｐ２内にユーザーがいないと判断すると（Ｓ３１：Ｎｏ）、処理をステップＳ３１１に移行させる。
【0125】
ステップＳ３２において、制御部１１は、会話支援情報を通知する。例えば、制御部１１は、ユーザーＢの位置を中心として通知領域Ｐ２（図１１Ｂ参照）内にいるユーザーＣに会話支援情報を通知する。例えば図１２に示すように、制御部１１は、ユーザーＣのユーザー端末３ｃの会話用画面に、ユーザーＢの感情が「哀しみ」の状態であることを示すメッセージＭ２を表示させる。
【0126】
次にステップＳ３３において、制御部１１は、ユーザーＣからユーザーＢとの会話を開始する操作を受け付けたか否かを判定する。ユーザーＣがメッセージＭ２の「開始」ボタンを押下すると（図１２参照）、制御部１１は、ユーザーＢとの会話の開始操作を受け付ける。制御部１１は、開始操作を受け付けると（Ｓ３３：Ｙｅｓ）、処理をステップＳ３４に移行させる。一方、制御部１１は、開始操作を受け付けない場合（Ｓ３３：Ｎｏ）、会話支援処理を終了する。
【0127】
ステップＳ３４において、制御部１１は、ユーザーＢの感情が「哀しみ」の状態のままであるか否かを判定する。制御部１１は、ユーザーＢの感情が「哀しみ」の状態を継続していると判断すると（Ｓ３４：Ｙｅｓ）、処理をステップＳ３５に移行させる。一方、制御部１１は、ユーザーＢの感情が「哀しみ」の状態ではないと判断すると（Ｓ３４：Ｎｏ）、会話支援処理を終了する。
【0128】
ステップＳ３５において、制御部１１は、会話用画面において、ユーザーアイコンを会話対象のユーザーと会話可能な位置に移動させる。例えば図１３Ａ及び図１３Ｂに示すように、制御部１１は、ユーザーＣのユーザーアイコンをユーザーＢのユーザーアイコンの位置を中心とした会話領域Ｐ１内に移動させる。
【0129】
次にステップＳ３６において、制御部１１は、ユーザーＢ及びユーザーＣの会話を開始させる。すなわち、制御部１１は、ユーザーＢ及びユーザーＣの発話音声を相互に送受信可能に音声制御情報（図５参照）を更新する。
【0130】
また、ステップＳ３１１では、制御部１１は、所定時間が経過したか否かを判定する。例えば制御部１１は、会話が終了してから所定時間が経過すると（Ｓ３１１：Ｙｅｓ）、ステップＳ３１２において、会話用画面においてユーザーＢの感情アイコンを「哀しみ」から「平常」に変更する。制御部１１は、会話が終了してから所定時間が経過するまでステップＳ３１の処理を繰り返す（Ｓ３１１：Ｎｏ）。
【0131】
【0132】
図２２に示す会話支援処理（実施例３，４に対応）では、制御部１１は、ステップＳ４１において、通知領域Ｐ２内にユーザーがいるか否かを判定する。制御部１１は、通知領域Ｐ２内にユーザーがいると判断すると（Ｓ４１：Ｙｅｓ）、処理をステップＳ４２に移行させる。一方、制御部１１は、通知領域Ｐ２内にユーザーがいないと判断すると（Ｓ４１：Ｎｏ）、処理をステップＳ４１１に移行させる。
【0133】
ステップＳ４２において、制御部１１は、会話の開始要求を取得する。例えばユーザーＡの感情が「怒り」の状態において、ユーザーＡがユーザーＤに会話の開始要求を行った場合（実施例３に対応）に、制御部１１は、ユーザーＡによる開始要求を取得する。一方。例えばユーザーＡの感情が「怒り」の状態において、ユーザーＤがユーザーＡに会話の開始要求を行った場合（実施例４に対応）に、制御部１１は、ユーザーＤによる開始要求を取得する。
【0134】
次にステップＳ４３において、制御部１１は、会話支援情報を通知する。例えば、制御部１１は、ユーザーＡから会話の開始要求を取得した場合に、ユーザーＡに会話支援情報を通知する。例えば図１５Ａに示すように、制御部１１は、ユーザーＡのユーザー端末３ａの会話用画面に、ユーザーＡの感情が「怒り」の状態であることを示すメッセージＭ３を表示させる。
【0135】
一方、例えば、制御部１１は、ユーザーＤから会話の開始要求を取得した場合に、ユーザーＤに会話支援情報を通知する。例えば図１７Ａに示すように、制御部１１は、ユーザーＤのユーザー端末３ｄの会話用画面に、ユーザーＡの感情が「怒り」の状態であることを示すメッセージＭ４を表示させる。なお、制御部１１は、会話対象のユーザーの感情が「怒り」から「平常」に変更した後に会話の開始要求を取得した場合には、会話支援情報の通知を省略して、会話を開始させてもよい。
【0136】
次にステップＳ４４において、制御部１１は、会話を開始する操作を受け付けたか否かを判定する。例えば図１５Ａに示すメッセージＭ３においてユーザーＡが「開始」ボタンを押下すると、制御部１１は、ユーザーＡから会話の開始操作を受け付けて（Ｓ４４：Ｙｅｓ）、処理をステップＳ４５に移行させる。
【0137】
また、例えば図１７Ａに示すメッセージＭ４においてユーザーＤが「開始」ボタンを押下すると、制御部１１は、ユーザーＤから会話の開始操作を受け付けて（Ｓ４４：Ｙｅｓ）、処理をステップＳ４５に移行させる。
【0138】
【0139】
次にステップＳ４５において、制御部１１は、ユーザーＡ及びユーザーＤの会話を開始させる。すなわち、制御部１１は、ユーザーＡ及びユーザーＤの発話音声を相互に送受信可能に音声制御情報（図５参照）を更新する。
【0140】
ステップＳ４４１において、制御部１１は、ユーザーアイコンを会話領域Ｐ１外に移動させる。例えば図１５ＡのメッセージＭ３においてユーザーＡが「やめる」ボタンを押下すると、制御部１１は、ユーザーＡのユーザーアイコンをユーザーＤのユーザーアイコンの位置を中心とした会話領域Ｐ１外に移動させる（図１６参照）。また、例えば図１７ＡのメッセージＭ４においてユーザーＤが「やめる」ボタンを押下すると、制御部１１は、ユーザーＤのユーザーアイコンをユーザーＡのユーザーアイコンの位置を中心とした会話領域Ｐ１外に移動させる（図１６参照）。
【0141】
【0142】
以上のように、ユーザーＡ及びユーザーＢの会話が終了すると、制御部１１は、上述の会話制御処理を実行する。
【0143】
以上説明したように、本実施形態に係る会話システム１００は、第１ユーザーの発話データ及び顔画像データの少なくともいずれかに基づいて第１ユーザーの感情を推定し、推定した第１ユーザーの感情が所定の感情である場合に、第１ユーザー及び第２ユーザーの少なくともいずれかに、推定した感情に応じた会話支援情報を通知する。
【0144】
例えば、会話システム１００は、推定した第１ユーザーの感情が「哀しみ」であって、かつ「哀しみ」の感情の状態が所定時間継続した場合に、第２ユーザーに会話支援情報を通知する（図９参照）。
【0145】
また例えば、会話システム１００は、推定した第１ユーザーの感情が「怒り」であって、かつ「怒り」の感情が推定されてから所定時間内に第１ユーザー及び第２ユーザーが会話を開始する場合に、第１ユーザー及び第２ユーザーの少なくともいずれかに会話支援情報を通知する（図１５Ａ及び図１７Ａ参照）。
【0146】
上記構成によれば、ユーザーの感情に応じた支援情報（サポート情報）を他のユーザーに通知することができるため、当該感情を有するユーザーをサポートすることが可能になる。
【0147】
上述の実施形態では、「哀しみ」の感情を有するユーザーＢをサポートする例を示したが、他の実施形態として、「怒り」の感情を有するユーザーＡをサポートする構成であってもよい。例えば図９において、制御部１１は、ユーザーＣに、ユーザーＡをサポートするための会話支援情報を通知してもよい。すなわち、本開示において、サポート対象のユーザーの感情は限定されない。
【0148】
上述の実施形態では、会話システム１００が本開示に係る情報処理システムに相当するが、本開示に係る情報処理システムは、管理サーバー１、会話サーバー２、及びユーザー端末３のうち一又は複数の構成要素を含むものであってもよい。例えば、管理サーバー１、会話サーバー２、及びユーザー端末３のうち複数の構成要素が協働して前記会話制御処理を分担して実行する場合には、その処理を実行する複数の構成要素を含むシステムを本開示に係る情報処理システムとして捉えることが可能である。例えば、管理サーバー１及び会話サーバー２が本開示に係る情報処理システムを構成してもよいし、管理サーバー１単体が本開示に係る情報処理システムを構成してもよい。
【0149】
［開示の付記］
以下、上述の各実施形態から抽出される開示の概要について付記する。なお、以下の付記で説明する各構成及び各処理機能は取捨選択して任意に組み合わせることが可能である。
以下、上述の各実施形態から抽出される開示の概要について付記する。なお、以下の付記で説明する各構成及び各処理機能は取捨選択して任意に組み合わせることが可能である。
【0150】
＜付記１＞
第１ユーザーの発話データ及び顔画像データの少なくともいずれかに基づいて前記第１ユーザーの感情を推定する推定処理部と、
前記推定処理部により推定される前記第１ユーザーの感情が所定の感情である場合に、前記第１ユーザー及び前記第１ユーザーとは異なる第２ユーザーの少なくともいずれかに、前記推定処理部により推定される前記感情に応じた会話支援情報を通知する通知処理部と、
を備える情報処理システム。
第１ユーザーの発話データ及び顔画像データの少なくともいずれかに基づいて前記第１ユーザーの感情を推定する推定処理部と、
前記推定処理部により推定される前記第１ユーザーの感情が所定の感情である場合に、前記第１ユーザー及び前記第１ユーザーとは異なる第２ユーザーの少なくともいずれかに、前記推定処理部により推定される前記感情に応じた会話支援情報を通知する通知処理部と、
を備える情報処理システム。
【0151】
＜付記２＞
前記通知処理部は、前記推定処理部により推定される前記第１ユーザーの感情が第１の感情であって、かつ前記第１の感情の状態が所定時間継続した場合に、前記第２ユーザーに前記会話支援情報を通知する、
付記１に記載の情報処理システム。
前記通知処理部は、前記推定処理部により推定される前記第１ユーザーの感情が第１の感情であって、かつ前記第１の感情の状態が所定時間継続した場合に、前記第２ユーザーに前記会話支援情報を通知する、
付記１に記載の情報処理システム。
【0152】
＜付記３＞
前記通知処理部は、前記推定処理部により推定される前記第１ユーザーの感情が第２の感情であって、かつ前記推定処理部により前記第２の感情が推定されてから所定時間内に前記第１ユーザー及び前記第２ユーザーが会話を開始する場合に、前記第１ユーザー及び前記第２ユーザーの少なくともいずれかに前記会話支援情報を通知する、
付記１又は２に記載の情報処理システム。
前記通知処理部は、前記推定処理部により推定される前記第１ユーザーの感情が第２の感情であって、かつ前記推定処理部により前記第２の感情が推定されてから所定時間内に前記第１ユーザー及び前記第２ユーザーが会話を開始する場合に、前記第１ユーザー及び前記第２ユーザーの少なくともいずれかに前記会話支援情報を通知する、
付記１又は２に記載の情報処理システム。
【0153】
＜付記４＞
仮想空間内の所定位置にユーザーのユーザーアイコンを表示させる表示処理部をさらに備え、
前記表示処理部は、前記仮想空間において、前記推定処理部により推定される前記第１ユーザーの感情を表す感情アイコンを、前記第１ユーザーの第１ユーザーアイコンに関連付けて表示させる、
付記１～３のいずれかに記載の情報処理システム。
仮想空間内の所定位置にユーザーのユーザーアイコンを表示させる表示処理部をさらに備え、
前記表示処理部は、前記仮想空間において、前記推定処理部により推定される前記第１ユーザーの感情を表す感情アイコンを、前記第１ユーザーの第１ユーザーアイコンに関連付けて表示させる、
付記１～３のいずれかに記載の情報処理システム。
【0154】
＜付記５＞
前記通知処理部は、前記第１ユーザーの会話相手を除いたユーザーであって、前記第１ユーザーアイコンから所定範囲内に存在するユーザーアイコンの前記第２ユーザーに前記会話支援情報を通知する、
付記４に記載の情報処理システム。
前記通知処理部は、前記第１ユーザーの会話相手を除いたユーザーであって、前記第１ユーザーアイコンから所定範囲内に存在するユーザーアイコンの前記第２ユーザーに前記会話支援情報を通知する、
付記４に記載の情報処理システム。
【0155】
＜付記６＞
前記通知処理部は、前記第１ユーザーとの会話を開始するか否かを問い合わせる前記会話支援情報を前記第２ユーザーに通知する、
付記４又は５に記載の情報処理システム。
前記通知処理部は、前記第１ユーザーとの会話を開始するか否かを問い合わせる前記会話支援情報を前記第２ユーザーに通知する、
付記４又は５に記載の情報処理システム。
【0156】
＜付記７＞
前記会話支援情報に対して前記第２ユーザーが前記第１ユーザーとの会話を開始する旨の回答を行った場合に、前記表示処理部は、前記仮想空間において、前記第２ユーザーの第２ユーザーアイコンを、前記第１ユーザーと会話可能な位置に移動させる、
付記６に記載の情報処理システム。
前記会話支援情報に対して前記第２ユーザーが前記第１ユーザーとの会話を開始する旨の回答を行った場合に、前記表示処理部は、前記仮想空間において、前記第２ユーザーの第２ユーザーアイコンを、前記第１ユーザーと会話可能な位置に移動させる、
付記６に記載の情報処理システム。
【0157】
＜付記８＞
前記会話支援情報に対して前記第２ユーザーが前記第１ユーザーとの会話を開始しない旨の回答を行った場合に、前記表示処理部は、前記仮想空間において、前記第２ユーザーの第２ユーザーアイコンを、前記第１ユーザーと会話不可能な位置に移動させる、
付記６又は７に記載の情報処理システム。
前記会話支援情報に対して前記第２ユーザーが前記第１ユーザーとの会話を開始しない旨の回答を行った場合に、前記表示処理部は、前記仮想空間において、前記第２ユーザーの第２ユーザーアイコンを、前記第１ユーザーと会話不可能な位置に移動させる、
付記６又は７に記載の情報処理システム。
【0158】
＜付記９＞
前記通知処理部は、前記第１ユーザーが前記第２ユーザーに対して会話の開始を要求する場合に、前記第１ユーザーの現在の感情を示す情報を含む前記会話支援情報を前記第１ユーザーに通知する、
付記４～８のいずれかに記載の情報処理システム。
前記通知処理部は、前記第１ユーザーが前記第２ユーザーに対して会話の開始を要求する場合に、前記第１ユーザーの現在の感情を示す情報を含む前記会話支援情報を前記第１ユーザーに通知する、
付記４～８のいずれかに記載の情報処理システム。
【0159】
＜付記１０＞
前記会話支援情報に対して前記第１ユーザーが前記第２ユーザーとの会話を開始する旨の回答を行った場合に、前記第１ユーザー及び前記第２ユーザーを会話可能にする、
付記９に記載の情報処理システム。
前記会話支援情報に対して前記第１ユーザーが前記第２ユーザーとの会話を開始する旨の回答を行った場合に、前記第１ユーザー及び前記第２ユーザーを会話可能にする、
付記９に記載の情報処理システム。
【0160】
＜付記１１＞
前記会話支援情報に対して前記第１ユーザーが前記第２ユーザーとの会話を開始しない旨の回答を行った場合に、前記表示処理部は、前記仮想空間において、前記第１ユーザーアイコンを、前記第１ユーザーと前記第２ユーザーとが会話不可能な位置に移動させる、
付記９又は１０に記載の情報処理システム。
前記会話支援情報に対して前記第１ユーザーが前記第２ユーザーとの会話を開始しない旨の回答を行った場合に、前記表示処理部は、前記仮想空間において、前記第１ユーザーアイコンを、前記第１ユーザーと前記第２ユーザーとが会話不可能な位置に移動させる、
付記９又は１０に記載の情報処理システム。
【0161】
＜付記１２＞
前記表示処理部は、前記第１ユーザーの会話が終了した場合に、会話終了時点の前記第１ユーザーの感情を表す前記感情アイコンを、会話終了時点から所定時間継続して表示させる、
付記１～１１のいずれかに記載の情報処理システム。
前記表示処理部は、前記第１ユーザーの会話が終了した場合に、会話終了時点の前記第１ユーザーの感情を表す前記感情アイコンを、会話終了時点から所定時間継続して表示させる、
付記１～１１のいずれかに記載の情報処理システム。
【0162】
＜付記１３＞
前記表示処理部は、会話終了時点から所定時間経過した場合に、前記感情アイコンを平常状態の感情アイコンに変更する、
付記１２に記載の情報処理システム。
前記表示処理部は、会話終了時点から所定時間経過した場合に、前記感情アイコンを平常状態の感情アイコンに変更する、
付記１２に記載の情報処理システム。
【0163】
＜付記１４＞
前記所定の感情は、哀しみ又は怒りを表す感情である、
付記１～１３のいずれかに記載の情報処理システム。
前記所定の感情は、哀しみ又は怒りを表す感情である、
付記１～１３のいずれかに記載の情報処理システム。
【符号の説明】
【0164】
１ ：管理サーバー
２ ：会話サーバー
３ ：ユーザー端末
１００ ：会話システム
１１１ ：表示処理部
１１２ ：推定処理部
１１３ ：受付処理部
１１４ ：通知処理部
２１１ ：音声処理部
３１１ ：音声処理部
３１２ ：表示処理部
３１３ ：受付処理部
Ｍ１～Ｍ４：メッセージ
Ｐ１ ：会話領域
Ｐ２ ：通知領域
Ｔ１ ：ユーザー情報管理テーブル
Ｔ２ ：グループ情報管理テーブル
Ｔ３ ：音声制御情報管理テーブル
Ｔ４ ：感情テーブル
２ ：会話サーバー
３ ：ユーザー端末
１００ ：会話システム
１１１ ：表示処理部
１１２ ：推定処理部
１１３ ：受付処理部
１１４ ：通知処理部
２１１ ：音声処理部
３１１ ：音声処理部
３１２ ：表示処理部
３１３ ：受付処理部
Ｍ１～Ｍ４：メッセージ
Ｐ１ ：会話領域
Ｐ２ ：通知領域
Ｔ１ ：ユーザー情報管理テーブル
Ｔ２ ：グループ情報管理テーブル
Ｔ３ ：音声制御情報管理テーブル
Ｔ４ ：感情テーブル
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8A】
【図8B】
【図9】
【図10A】
【図10B】
【図11A】
【図11B】
【図12】
【図13A】
【図13B】
【図14】
【図15A】
【図15B】
【図16】
【図17A】
【図17B】
【図18】
【図19】
【図20】
【図21】
【図22】