特許 7590866 双方向通信支援システム、及び、コンピュータプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-11-19

(45)【発行日】2024-11-27

(54)【発明の名称】双方向通信支援システム、及び、コンピュータプログラム

(51)【国際特許分類】

   H04N 7/15 20060101AFI20241120BHJP

   H04M 3/56 20060101ALI20241120BHJP

【ＦＩ】

H04N7/15

H04M3/56 C

【請求項の数】 8

(21)【出願番号】P 2020219237

(22)【出願日】2020-12-28

(65)【公開番号】P2022104190

(43)【公開日】2022-07-08

【審査請求日】2023-09-20

(73)【特許権者】

【識別番号】000005049

【氏名又は名称】シャープ株式会社

(74)【代理人】

【識別番号】100147304

【弁理士】

【氏名又は名称】井上 知哉

(74)【代理人】

【識別番号】100148493

【弁理士】

【氏名又は名称】加藤 浩二

(74)【代理人】

【識別番号】100168583

【弁理士】

【氏名又は名称】前井 宏之

(72)【発明者】

【氏名】高谷 守

【審査官】鈴木 隆夫

(56)【参考文献】

【文献】特開２００１－０６７４８２（ＪＰ，Ａ）

【文献】特開２００６－２６２０１０（ＪＰ，Ａ）

【文献】特開平０２－１８４８８０（ＪＰ，Ａ）

【文献】特開２０１６－２１３６３１（ＪＰ，Ａ）

【文献】原 智英、長谷川 忍，多地点遠隔講義環境におけるつぶやき共有手法に関する提案，電子情報通信学会技術研究報告，日本，一般社団法人電子情報通信学会，2018年02月24日，Vol.117 No.469，pp. 113 - 118

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ７／１４－７／１７３

Ｈ０４Ｎ ２１／００－２１／８５８

Ｈ０４Ｍ ３／３８－３／５８

(57)【特許請求の範囲】

【請求項1】

第１端末装置が配置される側に存在する第１ユーザの状態に応じて変化する第１状態データを、前記第１端末装置から受信して前記第１状態データによって示される画像及び音声を出力する第２端末装置と、前記第１端末装置との間の双方向通信を支援する双方向通信支援システムであって、
前記第２端末装置が配置される側に存在する第２ユーザの状態に応じて変化する第２状態データを解析して、前記第２ユーザの状態を特定する状態特定部と、
前記状態特定部による前記第２ユーザの状態の特定結果を示す解析情報を、前記第１端末装置に出力させる出力制御部と
を備え、
前記第２状態データは、前記第２ユーザの音声を入力して生成された音声データを含み、
前記状態特定部は、音声解析部を含み、
前記音声解析部は、前記第２ユーザの前記音声データを解析して、前記第２ユーザの音声によって表される前記第２ユーザの状態を特定し、
前記第１状態データは、前記第１ユーザの音声を入力して生成された音声データを含み、
前記第１ユーザの前記音声データを解析して、前記第１ユーザからの問い掛けを示す音声を検出する特定音声検出部をさらに備え、
前記第１ユーザからの前記問い掛けを示す音声が検出された場合、前記音声解析部は、前記第２ユーザの前記音声データを解析して、前記第２ユーザの反応内容を識別し、
前記出力制御部は、前記第２ユーザの反応内容の識別結果を含む前記解析情報を、前記第１端末装置に出力させる、双方向通信支援システム。

【請求項2】

前記第２状態データは、前記第２ユーザの顔を撮像して生成された画像データを含み、
前記状態特定部は、画像解析部を含み、
前記画像解析部は、前記第２ユーザの前記画像データを解析して、前記第２ユーザの顔の表情によって表される前記第２ユーザの状態を特定する、請求項１に記載の双方向通信支援システム。

【請求項3】

前記第２状態データは、前記第２ユーザの生体情報を示す生体データを含み、
前記状態特定部は、生体データ解析部を含み、
前記生体データ解析部は、前記第２ユーザの前記生体データを解析して、前記第２ユーザの前記生体情報によって表される前記第２ユーザの状態を特定する、請求項１または２に記載の双方向通信支援システム。

【請求項4】

前記第２状態データは、前記第２ユーザの音声を入力して生成された音声データを含み、
前記第２ユーザの前記音声データに基づく音声がミュートされている場合に、前記状態特定部は、前記第２ユーザの状態を特定し、前記出力制御部は、前記状態特定部による特定結果を示す前記解析情報を、前記第１端末装置に出力させる、請求項１から請求項３のいずれか１項に記載の双方向通信支援システム。

【請求項5】

複数の前記第２ユーザの状態の特定結果をそれぞれ示す複数の前記解析情報の統計を算出する統計算出部をさらに備え、
前記出力制御部は、前記統計算出部による統計結果を示す統計情報を、前記第１端末装置に出力させる、請求項１から請求項４のいずれか１項に記載の双方向通信支援システム。

【請求項6】

前記統計算出部は、前記統計情報としてのグラフを作成し、
前記出力制御部は、前記グラフを前記第１端末装置に表示させる、請求項５に記載の双方向通信支援システム。

【請求項7】

前記出力制御部は、前記統計情報を前記第２端末装置に出力させる、請求項５又は請求項６に記載の双方向通信支援システム。

【請求項8】

第１端末装置が配置される側に存在する第１ユーザの状態に応じて変化する第１状態データを、前記第１端末装置から受信して前記第１状態データによって示される画像及び音声を出力する第２端末装置と、前記第１端末装置との間の双方向通信を支援する双方向通信支援システムのコンピュータに、
前記第２端末装置が配置される側に存在する第２ユーザの状態に応じて変化する第２状態データを解析して、前記第２ユーザの状態を特定する第１ステップと、
前記第２ユーザの状態の特定結果を示す解析情報を、前記第１端末装置に出力させる第２ステップと、
を実行させ、
前記第２状態データは、前記第２ユーザの音声を入力して生成された音声データを含み、
前記第１ステップは、前記第２ユーザの前記音声データを解析して、前記第２ユーザの音声によって表される前記第２ユーザの状態を特定し、
前記第１状態データは、前記第１ユーザの音声を入力して生成された音声データを含み、
前記第１ユーザの前記音声データを解析して、前記第１ユーザからの問い掛けを示す音声を検出する第３ステップをさらに備え、
前記第１ユーザからの前記問い掛けを示す音声が検出された場合、前記第１ステップは、前記第２ユーザの前記音声データを解析して、前記第２ユーザの反応内容を識別し、
前記第２ステップは、前記第２ユーザの反応内容の識別結果を含む前記解析情報を、前記第１端末装置に出力させる、コンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、双方向通信支援システム、及び、コンピュータプログラムに関する。

【背景技術】

【0002】

特許文献１に記載された通信制御装置では、テレビ会議において話し手からの発話の音量レベルが取得される。そして、音量レベルが閾値より小さい場合、通信制御装置により音声認識が行われ、テキストデータが他の通信制御装置に対して送信される。テキストデータを受信した通信制御装置では、送信元の通信制御装置に対応する個別領域に、表示テキストが表示される。これにより、話し手の声が小さくて相手が聞き取りにくいと考えられる場合のみ、テキストデータが送信される。つまり、話し手の発話状態に応じて、必要な場合にのみテキストデータが送信される。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１０－２３２７８０号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、特許文献１に記載された通信制御装置では、発話内容と同じ内容を示すテキストデータが生成される。従って、テキストデータを受信した通信制御装置のテレビ会議画面には、テキストデータに基づく表示テキストが表示される。そして、テレビ会議の参加者は、表示テキストによって示される文章を読まなければならない。特に、テレビ会議の参加者が増えるほど、テレビ会議画面に表示される表示テキストも増加する。よって、参加者が、表示テキストに追従できずに、結局、表示テキストによって示される文書を読むことができない事態が発生し得る。

【0005】

加えて、特許文献１に記載された通信制御装置では、話し手の発話内容が、聞き手のテレビ会議画面に、表示テキストとして表示されるに過ぎない。従って、話し手は、聞き手の状態（例えば、聞き手の反応）を、テレビ会議画面から認識しなければならない。特に、テレビ会議の参加者が増えるほど、テレビ会議画面に表示される参加者の数も増加する。よって、話し手は、全ての聞き手の状態を、テレビ会議画面から認識することは困難である。

【0006】

本発明は上記課題に鑑みてなされたものであり、その目的は、話し手が聞き手の状態を容易に認識できる双方向通信支援システム、及び、コンピュータプログラムを提供することにある。

【課題を解決するための手段】

【0007】

本発明の第１の局面によれば、双方向通信支援システムは、第１端末装置が配置される側に存在する第１ユーザの状態に応じて変化する第１状態データを、前記第１端末装置から受信して前記第１状態データによって示される画像及び音声を出力する第２端末装置と、前記第１端末装置との間の双方向通信を支援する。双方向通信支援システムは、状態特定部と、出力制御部とを備える。状態特定部は、前記第２端末装置が配置される側に存在する第２ユーザの状態に応じて変化する第２状態データを解析して、前記第２ユーザの状態を特定する。出力制御部は、前記状態特定部による前記第２ユーザの状態の特定結果を示す解析情報を、前記第１端末装置に出力させる。

【0008】

本発明の第２の局面によれば、コンピュータプログラムは、第１端末装置が配置される側に存在する第１ユーザの状態に応じて変化する第１状態データを、前記第１端末装置から受信して前記第１状態データによって示される画像及び音声を出力する第２端末装置と、前記第１端末装置との間の双方向通信を支援する双方向通信支援システムのコンピュータに、前記第２端末装置が配置される側に存在する第２ユーザの状態に応じて変化する第２状態データを解析して、前記第２ユーザの状態を特定するステップと、前記第２ユーザの状態の特定結果を示す解析情報を、前記第１端末装置に出力させるステップとを実行させる。

【発明の効果】

【0009】

本発明によれば、話し手が聞き手の状態を容易に認識できる双方向通信支援システム、及び、コンピュータプログラムを提供できる。

【図面の簡単な説明】

【0010】

【図1】本発明の実施形態１に係る双方向通信支援システムを示す図である。

【図2】実施形態１に係る第２端末装置を示す図である。

【図3】実施形態１に係る第１端末装置を示す図である。

【図4】実施形態１に係る第１端末装置に表示される画面を示す図である。

【図5】実施形態１に係る第２端末装置に表示される画面示す図である。

【図6】図４及び図５に示すグラフの一例を示す図である。

【図7】図４及び図５に示すグラフの他の例を示す図である。

【図8】図４及び図５に示すグラフの更に他の例を示す図である。

【図9】実施形態１に係る第２端末装置の処理を示すフローチャートである。

【図10】実施形態１に係る第２端末装置の反応内容識別処理を示すフローチャートである。

【図11】実施形態１に係る第１端末装置の処理を示すフローチャートである。

【図12】本発明の実施形態２に係るサーバ装置を示す図である。

【図13】実施形態２に係るサーバ装置の処理を示すフローチャートである。

【発明を実施するための形態】

【0011】

以下、本発明の実施形態について、図面を参照しながら説明する。なお、図中、同一または相当部分については同一の参照符号を付して説明を繰り返さない。

【0012】

（実施形態１）
図１～図１１を参照して、本発明の実施形態１に係る双方向通信支援システムＳＹＳを説明する。

【0013】

図１は、双方向通信支援システムＳＹＳを示す図である。図１に示すように、双方向通信支援システムＳＹＳは、第１端末装置ＴＭ１と、少なくとも１つの第２端末装置ＴＭ２とを備える。図１の例では、双方向通信支援システムＳＹＳは、複数の第２端末装置ＴＭ２を備える。双方向通信支援システムＳＹＳは、第１端末装置ＴＭ１と第２端末装置ＴＭ２との間の双方向通信を支援する。例えば、双方向通信支援システムＳＹＳは、第１端末装置ＴＭ１と第２端末装置ＴＭ２との間のオンライン会議、オンラインセミナー、又は、オンラインライブにおける双方向通信を支援する。オンライン会議は、例えば、テレビ会議又はウェブ会議である。

【0014】

第１端末装置ＴＭ１及び複数の第２端末装置ＴＭ２は、ネットワークＮＷに接続され、ネットワークＮＷを介して相互に通信する。ネットワークＮＷは、例えば、インターネット、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、及び公衆電話網を含む。

【0015】

以下、第１端末装置ＴＭ１のユーザを「第１ユーザＵ１」と記載し、第２端末装置ＴＭ２のユーザを「第２ユーザＵ２」と記載する。第１ユーザＵ１は、第１端末装置ＴＭ１が配置される側に存在する。第２ユーザＵ２は、第２端末装置ＴＭ２が配置される側に存在する。以下、理解の容易のために、第１ユーザＵ１が「話し手（発話者）」又は「発信者」であり、第２ユーザＵ２が「聞き手」又は「視聴者」である例を説明する。

【0016】

第１端末装置ＴＭ１は、第１状態データ（以下、「第１状態データＤ１０」と記載）を、第２端末装置ＴＭ２に送信する。第１状態データＤ１０は、第１ユーザＵ１の状態に応じて変化するデータである。

【0017】

第２端末装置ＴＭ２は、第１状態データＤ１０を第１端末装置ＴＭ１から受信する。そして、第２端末装置ＴＭ２は、第１状態データＤ１０によって示される画像及び音声を出力する。

【0018】

第２端末装置ＴＭ２は、第２状態データ（以下、「第２状態データＤ２０」と記載）を、第１端末装置ＴＭ１に送信する。第２状態データＤ２０は、第２ユーザＵ２の状態に応じて変化するデータである。

【0019】

第１端末装置ＴＭ１は、第２状態データＤ２０を、第２端末装置ＴＭ２から受信する。そして、第１端末装置ＴＭ１は、第２状態データＤ２０によって示される画像及び音声を出力する。

【0020】

図２は、実施形態１に係る第２端末装置ＴＭ２を示す図である。図２に示すように、第２端末装置ＴＭ２は、第２制御部２０と、第２操作部２１と、第２表示部２２と、第２音声出力部２３と、第２通信部２４と、第２状態検出部２５と、第２記憶部２６とを含む。第２制御部２０は、第２表示制御部２０１と、第２音声制御部２０２と、第２通信制御部２０３と、状態特定部５０と、特定音声検出部６０とを含む。状態特定部５０は、画像解析部５０１と、音声解析部５０２と、生体データ解析部５０３とを含む。

【0021】

第２制御部２０は、第２操作部２１、第２表示部２２、第２音声出力部２３、第２通信部２４、第２状態検出部２５、及び、第２記憶部２６を制御する。第２制御部２０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）のようなプロセッサを含む。

【0022】

第２操作部２１は、第２ユーザＵ２からの操作を受け付ける。第２操作部２１は、例えば、キーボード及びマウスを含む。第２操作部２１は、タッチスクリーンを含んでいてもよい。この場合、タッチスクリーンは、第２表示部２２に重ねて配置される。

【0023】

第２表示部２２は、各種情報を表示する。第２表示部２２は、例えば、液晶ディスプレイ、又は、有機エレクトロルミネッセンスディスプレイである。なお、第２表示部２２のサイズは、特に限定されず、例えば、１人の第２ユーザＵ２又は少数の第２ユーザＵ２が見るため適した大きさであってもよいし、多人数の第２ユーザＵ２が見るために適した大きさであってもよい。

【0024】

第２音声出力部２３は、音声を出力する。第２音声出力部２３は、例えば、スピーカを含む。

【0025】

第２通信部２４は、通信機であり、例えば、所定の通信プロトコルに従って通信を行うネットワークインタフェースコントローラ（ＮＩＣ）を含む。所定の通信プロトコルは、例えば、ＴＣＰ／ＩＰ（Ｔｒａｎｓｍｉｓｓｉｏｎ Ｃｏｎｔｒｏｌ Ｐｒｏｔｏｃｏｌ／Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）プロトコル・スイート（つまり、インターネット・プロトコル・スイート）である。第２通信部２４は、有線または無線によりネットワークＮＷに接続する。

【0026】

第２状態検出部２５は、第２ユーザＵ２の状態を検出する。そして、第２状態検出部２５は、第２ユーザＵ２の状態を示す第２状態データＤ２０を第２制御部２０に出力する。第２状態データＤ２０は、第２ユーザＵ２の状態に応じて変化する。第２状態データＤ２０は、画像データＤ２１と、音声データＤ２２と、生体データＤ２３とを含む。

【0027】

具体的には、第２状態検出部２５は、第２撮像部２６１と、第２音声入力部２６２と、第２生体情報検出部２６３とを含む。

【0028】

第２撮像部２６１は、第２ユーザＵ２を撮像して、第２ユーザＵ２の像を含む撮像画像を示す画像データＤ２１を第２制御部２０に出力する。撮像画像は、第２ユーザＵ２の顔画像を含む。画像データＤ２１によって示される画像は、第２ユーザＵ２の状態に応じて変化する。例えば、顔画像は、第２ユーザＵ２の表情に応じた内容を示す。第２撮像部２６１は、例えば、カメラを含む。

【0029】

第２音声入力部２６２には、第２ユーザＵ２の音声が入力される。そして、第２音声入力部２６２は、第２ユーザＵ２の音声を示す音声データＤ２２を第２制御部２０に出力する。音声データＤ２２に基づく音声は、第２ユーザＵ２の状態に応じて変化する。例えば、音声は、第２ユーザＵ２の発話内容及び発話音量に応じた内容を示す。第２音声入力部２６２は、例えば、マイクロフォン及びＡＤコンバータを含む。

【0030】

第２生体情報検出部２６３は、第２ユーザＵ２の生体情報を検出して、生体情報を示す生体データＤ２３を第２制御部２０に出力する。生体情報は、例えば、体温、脈拍、又は、血圧である。従って、第２生体情報検出部２６３は、例えば、体温計、脈拍計、又は、血圧計を含む。第２生体情報検出部２６３は、例えば、スマートウォッチに搭載される。生体データＤ２３によって示される生体情報は、第２ユーザＵ２の状態に応じて変化する。

【0031】

第２記憶部２６は、記憶装置を含み、データ及びコンピュータプログラムを記憶する。具体的には、第２記憶部２６は、半導体メモリーのような主記憶装置と、半導体メモリー、ソリッドステートドライブ、及び／又は、ハードディスクドライブのような補助記憶装置とを含む。第２記憶部２６は、リムーバブルメディアを含んでいてもよい。第２記憶部２６は、非一時的コンピュータ読取可能記憶媒体の一例に相当する。

【0032】

第２制御部２０のプロセッサは、第２記憶部２６の記憶装置が記憶しているコンピュータプログラムを実行して、第２表示制御部２０１、第２音声制御部２０２、第２通信制御部２０３、状態特定部５０、及び、特定音声検出部６０として機能する。

【0033】

第２表示制御部２０１は、第２表示部２２を制御する。第２音声制御部２０２は、第２音声出力部２３を制御する。また、第２音声制御部２０２は、操作部６１を介した第２ユーザＵ２からのミュート指示に応じて、第２ユーザＵ２の音声データＤ２２に基づく音声をミュートする。

【0034】

第２通信制御部２０３は、第２通信部２４を制御する。第２通信制御部２０３は、第２端末装置ＴＭ２において、本発明の「出力制御部」の一例に相当する。

【0035】

第２通信制御部２０３は、第２通信部２４が第２状態データＤ２０を第１端末装置ＴＭ１に送信するように、第２通信部２４を制御する。その結果、第２通信部２４は、第２状態データＤ２０を第１端末装置ＴＭ１に送信する。具体的には、第２通信部２４は、第２ユーザＵ２の画像データＤ２１を第１端末装置ＴＭ１に送信する。また、第２ユーザＵ２の音声がミュートされていない場合、第２通信部２４は、第２ユーザＵ２の音声データＤ２２を第１端末装置ＴＭ１に送信する。

【0036】

一方、第２通信部２４は、第１状態データＤ１０を第１端末装置ＴＭ１から受信する。具体的には、第２通信部２４は、第１ユーザＵ１の画像データＤ１１を第１端末装置ＴＭ１から受信する。そして、第２表示制御部２０１は、第２表示部２２が第１ユーザＵ１の画像データＤ１１に基づく画像を表示するように、第２表示部２２を制御する。その結果、第２表示部２２は、第１ユーザＵ１の画像を表示する。

【0037】

また、第２通信部２４は、第１ユーザＵ１の音声データＤ１２を第１端末装置ＴＭ１から受信する。そして、第２音声制御部２０２は、第２音声出力部２３が第１ユーザＵ１の音声データＤ１２に基づく音声を出力するように、第２音声出力部２３を制御する。その結果、第２音声出力部２３は、第１ユーザＵ１の音声を出力する。

【0038】

状態特定部５０は、第２ユーザＵ２の状態に応じて変化する第２状態データＤ２０を解析して、第２ユーザＵ２の状態を特定する。第２ユーザＵ２の状態は、第２ユーザＵ２の顔、音声、及び、生体情報のうち、少なくとも１つを解析することで特定可能な状態を示す。第２ユーザＵ２の状態は、例えば、第２ユーザＵ２の反応である。第２ユーザＵ２の反応は、例えば、第１ユーザＵ１の発話に対する第２ユーザＵ２の反応である。「反応」は、例えば、第２ユーザＵ２が、笑っている状態、怒っている状態、肯定的な反応を行った状態、否定的な反応を行った状態、又は、無反応の状態である。

【0039】

第２通信制御部２０３は、状態特定部５０による第２ユーザＵ２の状態の特定結果を示す解析情報（以下、「解析情報ＡＮ２」と記載）を、第２通信部２４を介して第１端末装置ＴＭ１へ送信することで、解析情報ＡＮ２を第１端末装置ＴＭ１（図３の第１表示部１２）に表示させる。換言すれば、第２通信制御部２０３は、状態特定部５０による第２ユーザＵ２の状態の特定結果を示す解析情報ＡＮ２を、第１端末装置ＴＭ１（図３の第１表示部１２）に出力させる。従って、実施形態１によれば、話し手である第１ユーザＵ１は、第１端末装置ＴＭ１において解析情報ＡＮ２を見ることで、聞き手である第２ユーザＵ２の状態（例えば、第２ユーザＵ２の反応）を容易に認識できる。第２ユーザＵ２の状態を容易に認識できる理由は、解析情報ＡＮ２は、第２ユーザＵ２の画像自体及び音声自体ではなく、第２ユーザＵ２の状態の特定結果（つまり、第２ユーザＵ２の状態の解釈結果）を示しているからである。

【0040】

好ましくは、第２ユーザＵ２の音声データＤ２２に基づく音声がミュートされている場合に、状態特定部５０は、第２ユーザＵ２の状態を特定する。そして、第２ユーザＵ２の音声データＤ２２に基づく音声がミュートされている場合に、第２通信制御部２０３は、状態特定部５０による特定結果を示す解析情報ＡＮ２を、第２通信部２４を介して第１端末装置ＴＭ１に送信することで、解析情報ＡＮ２を第１端末装置ＴＭ１（図３の第１表示部１２）に表示させる。換言すれば、第２ユーザＵ２の音声データＤ２２に基づく音声がミュートされている場合に、第２通信制御部２０３は、状態特定部５０による特定結果を示す解析情報ＡＮ２を、第１端末装置ＴＭ１（図３の第１表示部１２）に出力させる。

【0041】

この好ましい例によれば、話し手である第１ユーザＵ１及び聞き手である第２ユーザＵ２の双方にメリットがある。

【0042】

例えば、聞き手である第２ユーザＵ２は、第２ユーザＵ２の音声が話し手である第１ユーザＵ１に伝わらないように、音声をミュートしている場合がある。聞き手の音声によって話し手の発話が邪魔されないようにするためである。この場合、第２ユーザＵ２の音声がミュートされていると、話し手である第１ユーザＵ１は、映像だけでは、聞き手である第２ユーザＵ２の反応を認識することが困難な場合がある。

【0043】

そこで、この好ましい例では、第２ユーザＵ２の音声がミュートされている場合に、聞き手である第２ユーザＵ２の状態の特定結果を示す解析情報ＡＮ２を、話し手である第１ユーザＵ１の第１端末装置ＴＭ１に出力（表示）させることで、第２ユーザＵ２の音声がミュートされている場合であっても、第１ユーザＵ１は、第２ユーザＵ２の状態（例えば、第２ユーザＵ２の反応）を容易に認識できる。

【0044】

一方、聞き手である第２ユーザＵ２にとって、例えば、簡潔な応答（例えば、「はい」又は「いいえ」）をするためだけにミュートを解除する操作を逐次行うことは、煩わしい。しかしながら、この好ましい例では、第２ユーザＵ２の音声をミュートしたままで、第２ユーザＵ２の状態が第１ユーザＵ１に伝達される。従って、第２ユーザＵ２は、ミュートを解除する操作を行うことが要求されず、第２ユーザＵ２の煩わしさを軽減できる。

【0045】

詳細には、第２状態検出部２５が出力する第２状態データＤ２０は、第２ユーザＵ２の顔を撮像して生成された画像データＤ２１を含む。そして、状態特定部５０の画像解析部５０１は、第２ユーザＵ２の画像データＤ２１を解析して、第２ユーザＵ２の顔の表情によって表される第２ユーザＵ２の状態を特定する。従って、画像解析によって第２ユーザＵ２の状態を精度良く特定できる。

【0046】

例えば、画像解析部５０１は、画像データＤ２１から第２ユーザＵ２の顔画像を認識する。この場合、顔認識アルゴリズムとしては、例えば、主成分分析を使った固有顔、線形判別分析、弾性バンチグラフマッチング、隠れマルコフモデル、又は、ニューロン動機づけによるダイナミックリンク照合を採用できる。そして、画像解析部５０１は、顔画像を解析して、第２ユーザＵ２の顔の表情を特定する。具体的には、画像解析部５０１は、顔画像から特徴量を抽出し、特徴量を解析することで、第２ユーザＵ２の顔の表情を特定する。特徴量は、例えば、眉毛、目、及び、口である。この場合、画像解析部５０１は、特徴量に基づくパターンマッチングを実行することで、第２ユーザＵ２の顔の表情を特定する。

【0047】

例えば、画像解析部５０１は、顔画像を解析して、第２ユーザＵ２の状態が、「笑っている状態」であるか、「怒っている状態」であるか、又は、「無表情の状態」であるか、を特定する。

【0048】

画像解析部５０１は、第２ユーザＵ２の顔の表情によって特定された第２ユーザＵ２の状態を示す解析情報ＡＮ２を出力する。以下、画像解析部５０１による解析情報ＡＮ２を「解析情報ＡＮ２１」と記載する場合がある。

【0049】

そして、第２通信制御部２０３は、画像解析部５０１による第２ユーザＵ２の状態の特定結果を示す解析情報ＡＮ２１を、第２通信部２４を介して第１端末装置ＴＭ１へ送信することで、解析情報ＡＮ２１を第１端末装置ＴＭ１（図３の第１表示部１２）に表示させる。従って、実施形態１によれば、第１ユーザＵ１（話し手）は、第１端末装置ＴＭ１において解析情報ＡＮ２１を見ることで、画像解析に基づく第２ユーザＵ２（聞き手）の状態を容易に認識できる。

【0050】

また、状態特定部５０が出力する第２状態データＤ２０は、第２ユーザＵ２の音声を入力して生成された音声データＤ２２を含む。そして、状態特定部５０の音声解析部５０２は、第２ユーザＵ２の音声データＤ２２を解析して、第２ユーザＵ２の音声によって表される第２ユーザＵ２の状態を特定する。従って、音声解析によって第２ユーザＵ２の状態を精度良く特定できる。

【0051】

音声解析は、例えば、音量レベルの認識処理、及び、音声認識処理を含む。この場合、音声認識アルゴリズムとしては、例えば、隠れマルコフモデルによる音声認識、統計的手法による音声認識、又は、動的時間伸縮法による音声認識を採用できる。

【0052】

例えば、音声解析部５０２は、第２ユーザＵ２の音声を解析して、第２ユーザＵ２の状態が、「笑っている状態」であるか、「怒っている状態」であるか、又は、「沈黙している状態」であるか、を特定する。この場合、例えば、第２記憶部２６は、人間の各種状態を示す各種音声パターンを記憶している。そして、音声解析部５０２は、第２ユーザＵ２の音声に対してパターンマッチングを実行して、第２ユーザＵ２の状態を特定する。

【0053】

また、例えば、音声解析部５０２は、第２ユーザＵ２の音声を解析して、第２ユーザＵ２の状態の程度を特定する。この場合、例えば、音声解析部５０２は、音量レベルに基づいて、「笑っている状態」の程度、「怒っている状態」の程度、又は、「沈黙している状態」の程度を特定する。

【0054】

音声解析部５０２は、第２ユーザＵ２の音声によって特定された第２ユーザＵ２の状態を示す解析情報ＡＮ２を出力する。以下、音声解析部５０２による解析情報ＡＮ２を「解析情報ＡＮ２２」と記載する場合がある。

【0055】

そして、第２通信制御部２０３は、音声解析部５０２による第２ユーザＵ２の状態の特定結果を示す解析情報ＡＮ２２を、第２通信部２４を介して第１端末装置ＴＭ１へ送信することで、解析情報ＡＮ２２を第１端末装置ＴＭ１（図３の第１表示部１２）に表示させる。従って、実施形態１によれば、第１ユーザＵ１（話し手）は、第１端末装置ＴＭ１において解析情報ＡＮ２２を見ることで、音声解析に基づく第２ユーザＵ２（聞き手）の状態を容易に認識できる。

【0056】

一方、第２通信部２４が第１端末装置ＴＭ１から受信する第１状態データＤ１０は、第１ユーザＵ１の音声を入力して生成された音声データＤ１２を含む。そして、特定音声検出部６０は、第１ユーザＵ１の音声データＤ１２を解析して、第１ユーザＵ１からの問い掛けを示す音声を検出する。音声解析は、例えば、音声認識処理を含む。この場合、音声認識アルゴリズムとしては、例えば、隠れマルコフモデルによる音声認識、統計的手法による音声認識、又は、動的時間伸縮法による音声認識を採用できる。更に、この場合、例えば、第２記憶部２６は、人間の問い掛けを示す音声パターンを記憶している。そして、音声解析部５０２は、第１ユーザＵ１の音声に対してパターンマッチングを実行して、第１ユーザＵ１からの問い掛けを示す音声を検出する。

【0057】

そして、第１ユーザＵ１からの問い掛けを示す音声が検出された場合、音声解析部５０２は、第２ユーザＵ２の音声データＤ２２を解析して、第１ユーザＵ１の問い掛けに対する第２ユーザＵ２の反応内容を識別する。

【0058】

例えば、音声解析部５０２は、第２ユーザＵ２の音声データＤ２２を解析して、第２ユーザＵ２の反応が、肯定的な反応（例えば、「はい」を示す音声）か、否定的な反応（例えば、「いいえ」を示す音声）か、又は、無反応（例えば、「無音」）か、を識別する。この場合、例えば、第２記憶部２６は、問い掛けに対する人間の反応を示す各種音声パターンを記憶している。そして、音声解析部５０２は、第２ユーザＵ２の音声に対してパターンマッチングを実行して、第２ユーザＵ２の反応内容を識別する。

【0059】

そして、第２通信制御部２０３は、第２ユーザＵ２の反応内容の識別結果を含む解析情報ＡＮ２２を、第２通信部２４を介して第１端末装置ＴＭ１へ送信することで、解析情報ＡＮ２２を第１端末装置ＴＭ１（図３の第１表示部１２）に表示させる。換言すれば、第２通信制御部２０３は、第２ユーザＵ２の反応内容の識別結果を含む解析情報ＡＮ２２を、第１端末装置ＴＭ１に出力させる。

【0060】

従って、実施形態１によれば、第１ユーザＵ１は、第１端末装置ＴＭ１において解析情報ＡＮ２２を見ることで、問い掛けに対する第２ユーザＵ２の反応内容を容易に認識できる。

【0061】

また、状態特定部５０が出力する第２状態データＤ２０は、第２ユーザＵ２の生体情報を示す生体データＤ２３を含む。そして、状態特定部５０の生体データ解析部５０３は、第２ユーザＵ２の生体データＤ２３を解析して、第２ユーザＵ２の生体情報によって表される第２ユーザＵ２の状態を特定する。従って、生体情報によって第２ユーザＵ２の状態を精度良く特定できる。

【0062】

生体データ解析部５０３は、第２ユーザＵ２の生体情報によって特定された第２ユーザＵ２の状態を示す解析情報ＡＮ２を出力する。以下、生体データ解析部５０３による解析情報ＡＮ２を「解析情報ＡＮ２３」と記載する場合がある。

【0063】

そして、第２通信制御部２０３は、生体データ解析部５０３による第２ユーザＵ２の状態の特定結果を示す解析情報ＡＮ２３を、第２通信部２４を介して第１端末装置ＴＭ１へ送信することで、解析情報ＡＮ２３を第１端末装置ＴＭ１（図３の第１表示部１２）に表示させる。従って、実施形態１によれば、第１ユーザＵ１（話し手）は、第１端末装置ＴＭ１において解析情報ＡＮ２３を見ることで、生体情報に基づく第２ユーザＵ２（聞き手）の状態を容易に認識できる。

【0064】

次に、図３を参照して、第１端末装置ＴＭ１を説明する。図３は、第１端末装置ＴＭ１を示す図である。図３に示すように、第１端末装置ＴＭ１は、第１制御部１０と、第１操作部１１と、第１表示部１２と、第１音声出力部１３と、第１通信部１４と、第１状態検出部１５と、第１記憶部１６とを含む。第１制御部１０は、第１表示制御部１０１と、第１音声制御部１０２と、第１通信制御部１０３と、統計算出部７０とを含む。

【0065】

第１制御部１０は、第１操作部１１、第１表示部１２、第１音声出力部１３、第１通信部１４、第１状態検出部１５、及び、第１記憶部１６を制御する。その他、第１制御部１０のハードウェア構成は、図２の第２制御部２０のハードウェア構成と同様である。

【0066】

第１操作部１１は、第１ユーザＵ１からの操作を受け付ける。その他、第１操作部１１のハードウェア構成は、図２の第２操作部２１のハードウェア構成と同様である。

【0067】

第１表示部１２は、各種情報を表示する。その他、第１表示部１２のハードウェア構成は、図２の第２表示部２２のハードウェア構成と同様である。

【0068】

第１音声出力部１３は、音声を出力する。その他、第１音声出力部１３のハードウェア構成は、図２の第２音声出力部２３ハードウェア構成と同様である。

【0069】

第１通信部１４は、通信機であり、例えば、所定の通信プロトコルに従って通信を行うネットワークインタフェースコントローラ（ＮＩＣ）を含む。第１通信部１４は、有線または無線によりネットワークＮＷに接続する。その他、第１通信部１４のハードウェア構成は、図２の第２通信部２４ハードウェア構成と同様である。

【0070】

第１状態検出部１５は、第１ユーザＵ１の状態を検出する。そして、第１状態検出部１５は、第１ユーザＵ１の状態を示す第１状態データＤ１０を第１制御部１０に出力する。第１状態データＤ１０は、第１ユーザＵ１の状態に応じて変化する。第１状態データＤ１０は、画像データＤ１１と、音声データＤ１２と、生体データＤ１３とを含む。

【0071】

具体的には、第１状態検出部１５は、第１撮像部１５１と、第１音声入力部１５２と、第１生体情報検出部１５３とを含む。

【0072】

第１撮像部１５１は、第１ユーザＵ１を撮像して、第１ユーザＵ１の像を含む撮像画像を示す画像データＤ１１を第１制御部１０に出力する。撮像画像は、第１ユーザＵ１の顔画像を含む。画像データＤ１１によって示される画像は、第１ユーザＵ１の状態に応じて変化する。例えば、顔画像は、第１ユーザＵ１の表情に応じた内容を示す。第１撮像部１５１は、例えば、カメラを含む。

【0073】

第１音声入力部１５２には、第１ユーザＵ１の音声が入力される。そして、第１音声入力部１５２は、第１ユーザＵ１の音声を示す音声データＤ１２を第１制御部１０に出力する。音声データＤ１２に基づく音声は、第１ユーザＵ１の状態に応じて変化する。例えば、音声は、第１ユーザＵ１の発話内容及び発話音量に応じた内容を示す。第１音声入力部１５２は、例えば、マイクロフォン及びＡＤコンバータを含む。

【0074】

第１生体情報検出部１５３は、第１ユーザＵ１の生体情報を検出して、生体情報を示す生体データＤ１３を第１制御部１０に出力する。生体情報は、例えば、体温、脈拍、又は、血圧である。従って、第１生体情報検出部１５３は、例えば、体温計、脈拍計、又は、血圧計を含む。第１生体情報検出部１５３は、例えば、スマートウォッチに搭載される。生体データＤ１３によって示される生体情報は、第１ユーザＵ１の状態に応じて変化する。

【0075】

第１記憶部１６は、記憶装置を含み、データ及びコンピュータプログラムを記憶する。第１記憶部１６は、非一時的コンピュータ読取可能記憶媒体の一例に相当する。その他、第１記憶部１６のハードウェア構成は、図２の第２記憶部２６のハードウェア構成と同様である。

【0076】

第１制御部１０のプロセッサは、第１記憶部１６の記憶装置が記憶しているコンピュータプログラムを実行して、第１表示制御部１０１、第１音声制御部１０２、第１通信制御部１０３、及び、統計算出部７０として機能する。

【0077】

第１表示制御部１０１は、第１表示部１２を制御する。第１音声制御部１０２は、第１音声出力部１３を制御する。その他、第１音声出力部１３の構成は、図２の第２音声出力部２３の構成と同様である。

【0078】

第１表示制御部１０１は、第１端末装置ＴＭ１において、本発明の「出力制御部」の一例に相当する。

【0079】

第１通信制御部１０３は、第１通信部１４を制御する。具体的には、第１通信制御部１０３は、第１通信部１４が第１状態データＤ１０を第２端末装置ＴＭ２に送信するように、第１通信部１４を制御する。その結果、第１通信部１４は、第１状態データＤ１０を第２端末装置ＴＭ２に送信する。具体的には、第１通信部１４は、第１ユーザＵ１の画像データＤ１１及び音声データＤ１２を第２端末装置ＴＭ２に送信する。

【0080】

一方、第１通信部１４は、第２状態データＤ２０を第２端末装置ＴＭ２から受信する。具体的には、第１通信部１４は、第２ユーザＵ２の画像データＤ２１を第２端末装置ＴＭ２から受信する。そして、第１表示制御部１０１は、第１表示部１２が第２ユーザＵ２の画像データＤ２１に基づく画像を表示するように、第１表示部１２を制御する。その結果、第１表示部１２は、第２ユーザＵ２の画像を表示する。

【0081】

また、第１通信部１４は、第２ユーザＵ２の音声がミュートされていない場合、第２ユーザＵ２の音声データＤ２２を第２端末装置ＴＭ２から受信する。そして、第２ユーザＵ２の音声がミュートされていない場合、第１音声制御部１０２は、第１音声出力部１３が第２ユーザＵ２の音声データＤ２２に基づく音声を出力するように、第１音声出力部１３を制御する。その結果、第２ユーザＵ２の音声がミュートされていない場合、第１音声出力部１３は、第２ユーザＵ２の音声を出力する。

【0082】

また、第１通信部１４は、複数の第２端末装置ＴＭ２から複数の解析情報ＡＮ２を受信する。複数の解析情報ＡＮ２は、それぞれ、複数の第２ユーザＵ２に対応する。そして、複数の解析情報ＡＮ２の各々は、対応する第２ユーザＵ２の状態の特定結果を示す。第２端末装置ＴＭ２の状態特定部５０による解析情報ＡＮ２は、第２端末装置ＴＭ２の画像解析部５０１による解析情報ＡＮ２１、第２端末装置ＴＭ２の音声解析部５０２による解析情報ＡＮ２２、及び、第２端末装置ＴＭ２の生体データ解析部５０３による解析情報ＡＮ２３を含む。

【0083】

そして、第１表示制御部１０１は、複数の解析情報ＡＮ２を表示するように、第１表示部１２を制御する。その結果、第１表示部１２は、複数の解析情報ＡＮ２を表示する。換言すれば、第１表示制御部１０１は、複数の解析情報ＡＮ２を第１表示部１２に出力させる。従って、実施形態１によれば、話し手である第１ユーザＵ１は、第１表示部１２において解析情報ＡＮ２を見ることで、聞き手である第２ユーザＵ２の状態（例えば、第２ユーザＵ２の反応）を容易に認識できる。

【0084】

好ましくは、統計算出部７０は、複数の第２ユーザＵ２の状態の特定結果をそれぞれ示す複数の解析情報ＡＮ２の統計を算出する。統計は、集団を構成する複数の解析情報ＡＮ２の分布、傾向、又は、特性を示す。例えば、統計は、第１ユーザＵ１の発話に対する複数の第２ユーザＵ２の反応内容の分布、傾向、又は、特性を示す。

【0085】

そして、第１表示制御部１０１は、統計算出部７０による統計結果を示す統計情報（以下、「統計情報ＳＴ」と記載）を、第１表示部１２に表示させる。換言すれば、第１表示制御部１０１は、統計算出部７０による統計結果を示す統計情報ＳＴを、第１端末装置ＴＭ１の第１表示部１２に出力させる。従って、実施形態１によれば、話し手である第１ユーザＵ１は、第１表示部１２において統計情報ＳＴを見ることで、聞き手である複数の第２ユーザＵ２の状態（例えば、複数の第２ユーザＵ２の反応）を直感的に認識できる。例えば、統計情報ＳＴは、第１ユーザＵ１の発話に対する複数の第２ユーザＵ２の反応内容の分布、傾向、又は、特性を示す。

【0086】

また、第１通信制御部１０３は、統計算出部７０による統計結果を示す統計情報ＳＴを、第１通信部１４を介して第２端末装置ＴＭ２へ送信することで、統計情報ＳＴを第２端末装置ＴＭ２（第２表示部２２）に表示させる。換言すれば、第１通信制御部１０３は、統計算出部７０による統計結果を示す統計情報ＳＴを、第２端末装置ＴＭ２（第２表示部２２）に出力させる。従って、実施形態１によれば、聞き手である第２ユーザＵ２は、第２端末装置ＴＭ２において統計情報ＳＴを見ることで、聞き手である他の第２ユーザＵ２の状態（例えば、他の第２ユーザＵ２の反応）を直感的に認識できる。この場合、第１通信制御部１０３は、第１端末装置ＴＭ１において、本発明の「出力制御部」の一例に相当する。

【0087】

更に好ましくは、統計算出部７０は、複数の解析情報ＡＮ２の統計を算出して、統計結果を示す統計情報ＳＴとしてのグラフ（以下、「グラフＧＰ」と記載）を作成する。そして、第１表示制御部１１５は、グラフＧＰを第１端末装置ＴＭ１の第１表示部１２に表示させる。従って、実施形態１によれば、話し手である第１ユーザＵ１は、第１表示部１２においてグラフＧＰを見ることで、聞き手である複数の第２ユーザＵ２の状態（例えば、複数の第２ユーザＵ２の反応）を更に直感的に認識できる。例えば、グラフＧＰは、第１ユーザＵ１の発話に対する複数の第２ユーザＵ２の反応内容の分布、傾向、又は、特性を示す。

【0088】

また、第１通信制御部１０３は、複数の解析情報ＡＮ２統計結果を示すグラフＧＰを、第１通信部１４を介して第２端末装置ＴＭ２へ送信することで、グラフＧＰを第２端末装置ＴＭ２（第２表示部２２）に表示させる。換言すれば、第１通信制御部１０３は、複数の解析情報ＡＮ２統計結果を示すグラフＧＰを、第２端末装置ＴＭ２（第２表示部２２）に出力させる。従って、実施形態１によれば、聞き手である第２ユーザＵ２は、第２端末装置ＴＭ２においてグラフＧＰを見ることで、聞き手である他の第２ユーザＵ２の状態（例えば、他の第２ユーザＵ２の反応）を更に直感的に認識できる。この場合、第１通信制御部１０３は、第１端末装置ＴＭ１において、本発明の「出力制御部」の一例に相当する。

【0089】

次に、図４～図６を参照して、統計算出部７０が作成するグラフＧＰを例示する。

【0090】

図４は、第１端末装置ＴＭ１に表示される画面ＳＣ１を示す図である。図４に示すように、第１端末装置ＴＭ１の第１表示部１２は、画面ＳＣ１を表示する。画面ＳＣ１は、複数の第２ユーザＵ２の画像ＳＵと、グラフＧＰとを含む。

【0091】

図５は、第２端末装置ＴＭ２に表示される画面ＳＣ２示す図である。図５に示すように、複数の第２端末装置ＴＭ２の各々の第２表示部２２は、画面ＳＣ２を表示する。画面ＳＣ２は、第１ユーザＵ１の画像ＦＵと、グラフＧＰとを含む。

【0092】

図６は、図４及び図５に示すグラフＧＰの一例（以下、「グラフＧＰ１」と記載）を示す図である。図６に示すように、グラフＧＰ１は、第２ユーザＵ２の笑い声の音量と人数との関係を示す。グラフＧＰ１において、横軸は、笑い声の音量を示し、縦軸は、各音量を発した第２ユーザＵ２の数を示す。

【0093】

図７は、図４及び図５に示すグラフＧＰの他の例（以下、「グラフＧＰ２」と記載）を示す図である。図７に示すように、グラフＧＰ２は、複数の第２ユーザＵ２の喜怒哀楽の分布を示す。横軸は、状態「哀」から状態「楽」までの感情の程度を示す。縦軸は、状態「喜」から状態「怒」までの感情の程度を示す。

【0094】

図８は、図４及び図５に示すグラフＧＰ（以下、「グラフＧＰ３」と記載）の更に他の例を示す図である。図８に示すように、グラフＧＰ３は、第１ユーザＵ１の発話に対する第２ユーザＵ２の反応内容と人数との関係を示す。横軸は、反応内容を示す。横軸において、反応内容として、「はい」等の「肯定的な反応」、「いいえ」等の「否定的な反応」、及び、「無反応」等の「その他」が表示される。縦軸は、各反応内容をした第２ユーザＵ２の数を示す。

【0095】

以上、図４～図８を参照して説明したように、実施形態１によれば、話し手である第１ユーザＵ１は、第１表示部１２においてグラフＧＰを見ることで、聞き手である複数の第２ユーザＵ２の反応を直感的に認識できる。

【0096】

また、聞き手である第２ユーザＵ２は、第２表示部２２においてグラフＧＰを見ることで、聞き手である他の第２ユーザＵ２の反応を直感的に認識できる。

【0097】

次に、図２及び図９を参照して、第２端末装置ＴＭ２の処理を説明する。図９は、第２端末装置ＴＭ２の処理を示すフローチャートである。図９に示すように、第２端末装置ＴＭ２の処理は、ステップＳ１～ステップＳ１４を含む。具体的には、第２端末装置ＴＭ２の第２記憶部２６に記憶されたコンピュータプログラムが、第２端末装置ＴＭ２の第２制御部２０に、ステップＳ１～ステップＳ１４の処理を実行させる。

【0098】

図２及び図９に示すように、まず、ステップＳ１において、第２通信制御部２０３は、第２通信部２４を介して、第１端末装置ＴＭ１から、第１ユーザＵ１の画像データＤ１１及び音声データＤ１２の受信を開始する。そして、第２表示制御部２０１は、第１ユーザＵ１の画像データＤ１１に基づく画像を第２表示部２２に表示させる。また、第２音声制御部２０２は、第１ユーザＵ１の音声データＤ１２に基づく音声を第２音声出力部２３に出力させる。

【0099】

次に、ステップＳ２において、第２音声制御部２０２は、第２ユーザＵ２からのミュート指示に応じて、第２ユーザＵ２の音声データＤ２２に基づく音声をミュートする。

【0100】

次に、ステップＳ３において、第２通信制御部２０３は、第２通信部２４を介して、第１端末装置ＴＭ１へ、第２ユーザＵ２の画像データＤ２１の送信を開始する。

【0101】

次に、ステップＳ４において、画像解析部５０１は、第２撮像部２６１が出力した画像データＤ２１に対する画像解析を開始する。

【0102】

次に、ステップＳ５において、画像解析部５０１は、画像データＤ２１によって示される画像から顔画像を認識できたか否かを判定する。

【0103】

ステップＳ５で顔画像を認識できなかったと判定された場合、処理はステップＳ７に進む。

【0104】

一方、ステップＳ５で顔画像を認識できたと判定された場合、処理はステップＳ６に進む。

【0105】

次に、ステップＳ６において、画像解析部５０１は、顔画像に基づいて、第２ユーザＵ２の顔の表情を解析する。そして、画像解析部５０１は、第２ユーザＵ２の顔の表情の解析結果を示す解析情報ＡＮ２１を第２記憶部２６に記憶させる。解析情報ＡＮ２１は、画像に基づく第２ユーザＵ２の状態の特定結果を示す。

【0106】

次に、ステップＳ７において、音声解析部５０２は、第２音声入力部２６２に音声が入力されたか否かを判定する。

【0107】

ステップＳ７で音声が入力されていないと判定された場合、処理はステップＳ９に進む。

【0108】

一方、ステップＳ７で音声が入力されたと判定された場合、処理はステップＳ８に進む。

【0109】

次に、ステップＳ８において、音声解析部５０２は、第２音声入力部２６２に入力された音声を示す音声データＤ２２に対して音声解析を実行する。そして、音声解析部５０２は、第２ユーザＵ２の音声の解析結果を示す解析情報ＡＮ２２を第２記憶部２６に記憶させる。解析情報ＡＮ２２は、音声に基づく第２ユーザＵ２の状態の特定結果を示す。

【0110】

次に、ステップＳ９において、生体データ解析部５０３は、第２生体情報検出部２６３から生体データＤ２３が入力されたか否かを判定する。

【0111】

ステップＳ９で生体データＤ２３が入力されていないと判定された場合、処理はステップＳ１１に進む。

【0112】

一方、ステップＳ９で生体データＤ２３が入力されたと判定された場合、処理はステップＳ１０に進む。

【0113】

次に、ステップＳ１０において、生体データ解析部５０３は、生体データＤ２３に対して解析処理を実行する。そして、生体データ解析部５０３は、第２ユーザＵ２の生体データＤ２３の解析結果を示す解析情報ＡＮ２３を第２記憶部２６に記憶させる。解析情報ＡＮ２３は、生体情報に基づく第２ユーザＵ２の状態の特定結果を示す。

【0114】

次に、ステップＳ１１において、第２通信制御部２０３は、第２通信部２４を介して、第１端末装置ＴＭ１へ、解析情報ＡＮ２を送信する。解析情報ＡＮ２は、解析情報ＡＮ２１、解析情報ＡＮ２２、及び、解析情報ＡＮ２３を含む。

【0115】

次に、ステップＳ１２において、第２通信制御部２０３は、第２通信部２４を介して、第１端末装置ＴＭ１から、統計情報ＳＴを受信する。統計情報ＳＴは、複数の第２ユーザＵ２にそれぞれ対応する複数の解析情報ＡＮ２の統計結果を示す。具体的には、第２通信制御部２０３は、第２通信部２４を介して、第１端末装置ＴＭ１から、統計情報ＳＴとしてのグラフＧＰを受信する。

【0116】

次に、ステップＳ１３において、第２表示制御部２０１は、統計情報ＳＴを第２表示部２２に表示させる。具体的には、第２表示制御部２０１は、グラフＧＰを第２表示部２２に表示させる。この場合、第２表示制御部２０１は、第２端末装置ＴＭ２において、本発明の「出力制御部」の一例に相当する。

【0117】

次に、ステップＳ１４において、第２通信制御部２０３は、第２端末装置ＴＭ２と第１端末装置ＴＭ１との間の通信が終了したか否かを判定する。

【0118】

ステップＳ１４で通信が終了していないと判定された場合、処理はステップＳ４に進む。

【0119】

一方、ステップＳ１４で通信が終了したと判定された場合、処理は終了する。

【0120】

次に、図２及び図１０を参照して、第２端末装置ＴＭ２の反応内容識別処理を説明する。図１０は、第２端末装置ＴＭ２の反応内容識別処理を示すフローチャートである。図１０に示すように、反応内容識別処理は、ステップＳ２１～ステップＳ２４を含む。具体的には、第２端末装置ＴＭ２の第２記憶部２６に記憶されたコンピュータプログラムが、第２端末装置ＴＭ２の第２制御部２０に、ステップＳ２１～ステップＳ２４の処理を実行させる。

【0121】

図２及び図１０に示すように、まず、ステップＳ２１において、特定音声検出部６０は、第１ユーザＵ１の音声データＤ１２に基づいて、問い掛け検出処理を実行する。問い掛け検出処理は、第１ユーザＵ１の音声データＤ１２を解析して、第１ユーザＵ１の問い掛けを示す音声を、第１ユーザＵ１の音声データＤ１２から検出する処理を示す。

【0122】

次に、ステップＳ２２において、音声解析部５０２は、特定音声検出部６０が問い掛けを示す音声を検出したか否かを判定する。

【0123】

ステップＳ２２で問い掛けを示す音声が検出されていないと判定された場合、処理は終了する。

【0124】

一方、ステップＳ２２で問い掛けを示す音声が検出されたと判定された場合、処理はステップＳ２３に進む。

【0125】

次に、ステップＳ２３において、音声解析部５０２は、第２ユーザＵ２の音声データＤ２２を解析して、問い掛けに対する第２ユーザＵ２の反応内容を識別する。そして、音声解析部５０２は、第２ユーザＵ２の反応内容の識別結果を含む解析情報ＡＮ２２を第２記憶部２６に記憶させる。

【0126】

次に、ステップＳ２４において、第２通信制御部２０３は、第２通信部２４を介して、第１端末装置ＴＭ１へ、解析情報ＡＮ２２を送信する。そして、処理は終了する。

【0127】

次に、図３及び図１１を参照して、第１端末装置ＴＭ１の処理を説明する。図１１は、第１端末装置ＴＭ１の処理を示すフローチャートである。図１１に示すように、第１端末装置ＴＭ１の処理は、ステップＳ３１～ステップＳ３７を含む。具体的には、第１端末装置ＴＭ１の第１記憶部１６に記憶されたコンピュータプログラムが、第１端末装置ＴＭ１の第１制御部１０に、ステップＳ３１～ステップＳ３７の処理を実行させる。

【0128】

図３及び図１１に示すように、まず、ステップＳ３１において、第１通信制御部１０３は、第１通信部１４を介して、複数の第２端末装置ＴＭ２へ、第１ユーザＵ１の画像データＤ１１及び音声データＤ１２の送信を開始する。

【0129】

次に、ステップＳ３２において、第１通信制御部１０３は、第１通信部１４を介して、複数の第２端末装置ＴＭ２から、複数の第２ユーザＵ２の画像データＤ２１の受信を開始する。そして、第１表示制御部１０１は、複数の第２ユーザＵ２の各々の画像データＤ２１に基づく画像を第１表示部１２に表示させる。

【0130】

次に、ステップＳ３３において、第１通信制御部１０３は、第１通信部１４を介して、複数の第２端末装置ＴＭ２から、それぞれ、複数の解析情報ＡＮ２を受信する。解析情報ＡＮ２は、第２ユーザＵ２の状態の特定結果を示す。解析情報ＡＮ２は、解析情報ＡＮ２１、解析情報ＡＮ２２、及び、解析情報ＡＮ２３を含む。

【0131】

次に、ステップＳ３４において、統計算出部７０は、複数の第２ユーザＵ２の状態の特定結果をそれぞれ示す複数の解析情報ＡＮ２の統計を算出し、統計結果を示す統計情報ＳＴを生成する。具体的には、統計算出部７０は、統計情報ＳＴとしてのグラフＧＰを作成する。

【0132】

次に、ステップＳ３５において、第１表示制御部１０１は、統計情報ＳＴを第１表示部１２に表示させる。具体的には、第１表示制御部１０１は、グラフＧＰを第１表示部１２に表示させる。

【0133】

次に、ステップＳ３６において、第１通信制御部１０３は、第１通信部１４を介して、各第２端末装置ＴＭ２へ、統計情報ＳＴを送信する。具体的には、第１通信制御部１０３は、第１通信部１４を介して、各第２端末装置ＴＭ２へ、グラフＧＰを送信する。

【0134】

次に、ステップＳ３７において、第１通信制御部１０３は、第１端末装置ＴＭ１と第２端末装置ＴＭ２との間の通信が終了したか否かを判定する。

【0135】

ステップＳ３７で通信が終了していないと判定された場合、処理はステップＳ３３に進む。

【0136】

一方、ステップＳ３７で通信が終了したと判定された場合、処理は終了する。

【0137】

（実施形態２）
次に、図１～図３、図１２、及び、図１３を参照して、本発明の実施形態２に係る双方向通信支援システムＳＹＳを説明する。実施形態２に係る双方向通信支援システムＳＹＳでは、図１に示すサーバ装置ＳＶが、図２の状態特定部５０、図２の特定音声検出部６０、及び、図３の統計算出部７０を備える点で、実施形態２は実施形態１と主に異なる。以下、実施形態２が実施形態１と異なる点を主に説明する。

【0138】

図１に示すように、実施形態２では、双方向通信支援システムＳＹＳは、第１端末装置ＴＭ１と、少なくとも１つの第２端末装置ＴＭ２と、サーバ装置ＳＶとを備える。サーバ装置ＳＶは、第１端末装置ＴＭ１と各第２端末装置ＴＭ２との間の通信を仲介する。

【0139】

また、実施形態２に係る第１端末装置ＴＭ１の構成は、図３の第１端末装置ＴＭ１の構成と同様である。ただし、実施形態２に係る第１端末装置ＴＭ１は、図３の統計算出部７０を備えていない。

【0140】

さらに、実施形態２に係る第２端末装置ＴＭ２の構成は、図２の第２端末装置ＴＭ２の構成と同様である。ただし、実施形態２に係る第２端末装置ＴＭ２は、図２の状態特定部５０及び特定音声検出部６０を備えていない。

【0141】

図１２は、本発明の実施形態２に係るサーバ装置ＳＶを示す図である。図１２に示すように、サーバ装置ＳＶは、制御部３０と、通信部３１と、記憶部３２とを含む。制御部３０は、通信制御部３０１と、音声制御部３０２と、発話端末特定部４０と、状態特定部５０と、特定音声検出部６０と、統計算出部７０とを含む。

【0142】

制御部３０は、通信部３１及び記憶部３２を制御する。その他、制御部３０のハードウェア構成は、図２の第２制御部２０のハードウェア構成と同様である。

【0143】

通信部３１は、通信機であり、例えば、所定の通信プロトコルに従って通信を行うネットワークインタフェースコントローラ（ＮＩＣ）を含む。通信部３１は、有線または無線によりネットワークＮＷに接続する。その他、通信部３１のハードウェア構成は、図２の第２通信部２４ハードウェア構成と同様である。

【0144】

通信部３１は、第１状態データＤ１０を第１端末装置ＴＭ１から受信する。具体的には、通信部３１は、第１ユーザＵ１の画像データＤ１１及び音声データＤ１２を第１端末装置ＴＭ１から受信する。

【0145】

通信部３１は、第２状態データＤ２０を第２端末装置ＴＭ２から受信する。具体的には、通信部３１は、第２ユーザＵ２の画像データＤ２１及び生体データＤ２３を第２端末装置ＴＭ２から受信する。また、通信部３１は、第２ユーザＵ２の音声がミュートされているか否かに関係なく、第２ユーザＵ２の音声データＤ２２を第２端末装置ＴＭ２から受信する。つまり、図２に示す通信部３１は、第２ユーザＵ２の音声がミュートされているか否かに関係なく、第２ユーザＵ２の音声データＤ２２をサーバ装置ＳＶに送信する。

【0146】

記憶部３２は、記憶装置を含み、データ及びコンピュータプログラムを記憶する。記憶部３２は、非一時的コンピュータ読取可能記憶媒体の一例に相当する。その他、記憶部３２のハードウェア構成は、図２の第２記憶部２６のハードウェア構成と同様である。

【0147】

制御部３０のプロセッサは、記憶部３２の記憶装置が記憶しているコンピュータプログラムを実行して、通信制御部３０１、音声制御部３０２、発話端末特定部４０、状態特定部５０、特定音声検出部６０、及び、統計算出部７０として機能する。

【0148】

通信制御部３０１は、通信部３１を制御する。通信制御部３０１は、サーバ装置ＳＶにおいて、本発明の「出力制御部」の一例に相当する。

【0149】

具体的には、通信制御部３０１は、通信部３１が第１状態データＤ１０を第２端末装置ＴＭ２に送信するように、通信部３１を制御する。その結果、通信部３１は、第１状態データＤ１０を第２端末装置ＴＭ２に送信する。具体的には、通信部３１は、第１ユーザＵ１の画像データＤ１１及び音声データＤ１２を第２端末装置ＴＭ２に送信する。

【0150】

また、通信制御部３０１は、通信部３１が第２状態データＤ２０を第１端末装置ＴＭ１に送信するように、通信部３１を制御する。その結果、通信部３１は、第２状態データＤ２０を第１端末装置ＴＭ１に送信する。具体的には、通信部３１は、第２ユーザＵ２の画像データＤ２１を第１端末装置ＴＭ１に送信する。

【0151】

また、音声制御部３０２は、通信部３１を介して、第２端末装置ＴＭ２から、第２ユーザＵ２の音声データＤ２２に基づく音声のミュート指示を受け付ける。従って、音声制御部３０２は、ミュート指示に応じて、第２ユーザＵ２の音声データＤ２２に基づく音声をミュートする。そして、通信制御部３０１は、第２ユーザＵ２の音声がミュートされた場合は、第２ユーザＵ２の音声データＤ２２を第１端末装置ＴＭ１に送信することを禁止する。一方、第２ユーザＵ２の音声がミュートされていない場合、通信部３１は、第２ユーザＵ２の音声データＤ２２を第１端末装置ＴＭ１に送信する。

【0152】

発話端末特定部４０は、話し手（発話者）である第１ユーザＵ１の第１端末装置ＴＭ１を特定する。例えば、発話端末特定部４０は、第１端末装置ＴＭ１のＩＰアドレスを特定する。

【0153】

実施形態２に係る状態特定部５０（画像解析部５０１、音声解析部５０２、及び、生体データ解析部５０３）の動作は、図２の状態特定部５０（画像解析部５０１、音声解析部５０２、及び、生体データ解析部５０３）の動作と同様である。また、実施形態２に係る特定音声検出部６０の動作は、図２の特定音声検出部６０の動作と同様である。

【0154】

例えば、状態特定部５０は、第２ユーザＵ２の第２状態データＤ２０を解析して、第２ユーザＵ２の状態を特定する。

【0155】

そして、通信制御部３０１は、状態特定部５０による第２ユーザＵ２の状態の特定結果を示す解析情報ＡＮ２を、通信部３１を介して第１端末装置ＴＭ１へ送信することで、解析情報ＡＮ２を第１端末装置ＴＭ１に表示させる。換言すれば、通信制御部３０１は、解析情報ＡＮ２を第１端末装置ＴＭ１に出力させる。従って、実施形態２によれば、話し手である第１ユーザＵ１は、第１端末装置ＴＭ１において解析情報ＡＮ２を見ることで、聞き手である第２ユーザＵ２の状態（例えば、第２ユーザＵ２の反応）を容易に認識できる。

【0156】

好ましくは、第２ユーザＵ２の音声データＤ２２に基づく音声がミュートされている場合に、状態特定部５０は、第２ユーザＵ２の状態を特定する。そして、第２ユーザＵ２の音声データＤ２２に基づく音声がミュートされている場合に、通信制御部３０１は、通信部３１を介して第１端末装置ＴＭ１に解析情報ＡＮ２を送信することで、解析情報ＡＮ２を第１端末装置ＴＭ１に表示させる。換言すれば、第２ユーザＵ２の音声データＤ２２に基づく音声がミュートされている場合に、第２通信制御部２０３は、第１端末装置ＴＭ１に解析情報ＡＮ２を出力させる。この好ましい例のメリットは、実施形態１と同様である。

【0157】

また、実施形態１と同様に、例えば、画像解析部５０１は、第２ユーザＵ２の画像データＤ２１を解析して、第２ユーザＵ２の顔の表情によって表される第２ユーザＵ２の状態を特定する。そして、通信制御部３０１は、画像解析部５０１による第２ユーザＵ２の状態の特定結果を示す解析情報ＡＮ２１を、第１端末装置ＴＭ１へ送信することで、解析情報ＡＮ２１を第１端末装置ＴＭ１に表示させる。

【0158】

さらに、実施形態１と同様に、例えば、音声解析部５０２は、第２ユーザＵ２の音声データＤ２２を解析して、第２ユーザＵ２の音声によって表される第２ユーザＵ２の状態を特定する。そして、通信制御部３０１は、音声解析部５０２による第２ユーザＵ２の状態の特定結果を示す解析情報ＡＮ２２を、第１端末装置ＴＭ１へ送信することで、解析情報ＡＮ２２を第１端末装置ＴＭ１に表示させる。

【0159】

また、実施形態１と同様に、例えば、特定音声検出部６０は、第１ユーザＵ１の音声データＤ１２を解析して、第１ユーザＵ１からの問い掛けを示す音声を検出する。そして、第１ユーザＵ１からの問い掛けを示す音声が検出された場合、音声解析部５０２は、第２ユーザＵ２の音声データＤ２２を解析して、第１ユーザＵ１の問い掛けに対する第２ユーザＵ２の反応内容を識別する。さらに、通信制御部３０１は、第２ユーザＵ２の反応内容の識別結果を含む解析情報ＡＮ２２を、第１端末装置ＴＭ１へ送信することで、解析情報ＡＮ２２を第１端末装置ＴＭ１に表示させる。換言すれば、通信制御部３０１は、第２ユーザＵ２の反応内容の識別結果を含む解析情報ＡＮ２２を、第１端末装置ＴＭ１に出力させる。

【0160】

さらに、実施形態１と同様に、例えば、生体データ解析部５０３は、第２ユーザＵ２の生体データＤ２３を解析して、第２ユーザＵ２の生体情報によって表される第２ユーザＵ２の状態を特定する。そして、通信制御部３０１は、生体データ解析部５０３による第２ユーザＵ２の状態の特定結果を示す解析情報ＡＮ２３を、第１端末装置ＴＭ１へ送信することで、解析情報ＡＮ２３を第１端末装置ＴＭ１に表示させる。

【0161】

また、実施形態２に係る統計算出部７０の動作は、図３の統計算出部７０の動作と同様である。例えば、実施形態１と同様に、統計算出部７０は、複数の第２ユーザＵ２の状態の特定結果をそれぞれ示す複数の解析情報ＡＮ２の統計を算出する。そして、通信制御部３０１は、統計算出部７０による統計結果を示す統計情報ＳＴを、通信部３１を介して第１端末装置ＴＭ１及び各第２端末装置ＴＭ２に送信することで、統計情報ＳＴを第１端末装置ＴＭ１及び各第２端末装置ＴＭ２に表示させる。換言すれば、通信制御部３０１は、統計情報ＳＴを、第１端末装置ＴＭ１及び各第２端末装置ＴＭ２に出力させる。従って、実施形態２によれば、話し手である第１ユーザＵ１は、第１端末装置ＴＭ１において統計情報ＳＴを見ることで、聞き手である複数の第２ユーザＵ２の状態（例えば、複数の第２ユーザＵ２の反応）を直感的に認識できる。また、聞き手である第２ユーザＵ２は、第２端末装置ＴＭ２において統計情報ＳＴを見ることで、聞き手である他の第２ユーザＵ２の状態（例えば、他の第２ユーザＵ２の反応）を直感的に認識できる。

【0162】

好ましくは、実施形態１と同様に、例えば、統計算出部７０は、複数の解析情報ＡＮ２の統計を算出して、統計結果を示す統計情報ＳＴとしてのグラフＧＰを作成する。

【0163】

次に、図１２及び図１３を参照して、サーバ装置ＳＶの処理を説明する。図１３は、サーバ装置ＳＶの処理を示すフローチャートである。図１３に示すように、サーバ装置ＳＶの処理は、ステップＳ４１～ステップＳ５３を含む。具体的には、サーバ装置ＳＶの記憶部３２に記憶されたコンピュータプログラムが、サーバ装置ＳＶの制御部３０に、ステップＳ４１～ステップＳ５３の処理を実行させる。

【0164】

図１２及び図１３に示すように、まず、ステップＳ４１において、通信制御部３０１は、通信部３１を介して、第１端末装置ＴＭ１から、第１ユーザＵ１の画像データＤ１１及び音声データＤ１２の受信を開始する。

【0165】

次に、ステップＳ４２において、発話端末特定部４０は、話し手（発話者）である第１ユーザＵ１の第１端末装置ＴＭ１を特定する。

【0166】

次に、ステップＳ４３において、通信制御部３０１は、通信部３１を介して、複数の第２端末装置ＴＭ２へ、第１ユーザＵ１の画像データＤ１１及び音声データＤ１２の送信を開始する。

【0167】

次に、ステップＳ４４において、通信制御部３０１は、通信部３１を介して、複数の第２端末装置ＴＭ２の各々から、第２ユーザＵ２の画像データＤ２１、及び、音声データＤ２２の受信を開始する。また、通信制御部３０１は、通信部３１を介して、複数の第２端末装置ＴＭ２の各々から、第２ユーザＵ２の生体データＤ２３の受信を開始する。

【0168】

次に、ステップＳ４５において、音声制御部３０２は、第２端末装置ＴＭ２からのミュート指示に応じて、第２ユーザＵ２の音声データＤ２２に基づく音声をミュートする。

【0169】

次に、ステップＳ４６において、通信制御部３０１は、通信部３１を介して、第１端末装置ＴＭ１へ、複数の第２ユーザＵ２の画像データＤ２１の送信を開始する。

【0170】

次に、ステップＳ４７において、画像解析部５０１は、複数の第２端末装置ＴＭ２ごとに（つまり、複数の第２ユーザＵ２ごとに）、第２ユーザＵ２の画像データＤ２１に対する画像解析を実行する。そして、画像解析部５０１は、第２ユーザＵ２の顔の表情の解析結果を示す解析情報ＡＮ２１を記憶部３２に記憶させる。具体的には、画像解析部５０１は、複数の第２端末装置ＴＭ２に対応する複数の解析情報ＡＮ２１を記憶部３２に記憶させる。その他、ステップＳ４７の処理は、図９のステップＳ４～Ｓ６の処理と同様である。

【0171】

次に、ステップＳ４８において、音声解析部５０２は、複数の第２端末装置ＴＭ２ごとに（つまり、複数の第２ユーザＵ２ごとに）、第２ユーザＵ２の音声データＤ２２に対して音声解析を実行する。そして、音声解析部５０２は、第２ユーザＵ２の音声の解析結果を示す解析情報ＡＮ２２を記憶部３２に記憶させる。具体的には、音声解析部５０２は、複数の第２端末装置ＴＭ２に対応する複数の解析情報ＡＮ２２を記憶部３２に記憶させる。

【0172】

次に、ステップＳ４９において、生体データ解析部５０３は、複数の第２端末装置ＴＭ２ごとに（つまり、複数の第２ユーザＵ２ごとに）、第２ユーザＵ２の生体データＤ２３に対して解析処理を実行する。そして、生体データ解析部５０３は、第２ユーザＵ２の生体データＤ２３の解析結果を示す解析情報ＡＮ２３を記憶部３２に記憶させる。具体的には、生体データ解析部５０３は、複数の第２端末装置ＴＭ２に対応する複数の解析情報ＡＮ２３を記憶部３２に記憶させる。

【0173】

次に、ステップＳ５０において、統計算出部７０は、複数の第２ユーザＵ２の状態の特定結果をそれぞれ示す複数の解析情報ＡＮ２の統計を算出し、統計結果を示す統計情報ＳＴを生成する。具体的には、統計算出部７０は、統計情報ＳＴとしてのグラフＧＰを作成する。解析情報ＡＮ２は、解析情報ＡＮ２１～解析情報ＡＮ２３を含む。

【0174】

次に、ステップＳ５１において、通信制御部３０１は、通信部３１を介して、第１端末装置ＴＭ１へ、統計情報ＳＴ（具体的にはグラフＧＰ）を送信する。

【0175】

次に、ステップＳ５２において、通信制御部３０１は、通信部３１を介して、各第２端末装置ＴＭ２へ、統計情報ＳＴ（具体的にはグラフＧＰ）を送信する。

【0176】

次に、ステップＳ５３において、通信制御部３０１は、第１端末装置ＴＭ１と第２端末装置ＴＭ２との間の通信が終了したか否かを判定する。

【0177】

ステップＳ５３で通信が終了していないと判定された場合、処理はステップＳ４７に進む。

【0178】

一方、ステップＳ５３で通信が終了したと判定された場合、処理は終了する。

【0179】

以上、図面を参照して本発明の実施形態について説明した。ただし、本発明は、上記の実施形態に限られるものではなく、その要旨を逸脱しない範囲で種々の態様において実施できる。また、上記の実施形態に開示される複数の構成要素は適宜改変可能である。例えば、ある実施形態に示される全構成要素のうちのある構成要素を別の実施形態の構成要素に追加してもよく、または、ある実施形態に示される全構成要素のうちのいくつかの構成要素を実施形態から削除してもよい。

【0180】

また、図面は、発明の理解を容易にするために、それぞれの構成要素を主体に模式的に示しており、図示された各構成要素の厚さ、長さ、個数、間隔等は、図面作成の都合上から実際とは異なる場合もある。また、上記の実施形態で示す各構成要素の構成は一例であって、特に限定されるものではなく、本発明の効果から実質的に逸脱しない範囲で種々の変更が可能であることは言うまでもない。

【0181】

（１）図２に示す第２状態検出部２５は、少なくとも、第２撮像部２６１又は第２音声入力部２６２を備えていればよい。第２状態検出部２５は、第２生体情報検出部２６３を備えていなくてもよい。図３に示す第１状態検出部１５は、第１生体情報検出部１５３を備えていなくてもよい。

【0182】

また、図２及び図１２の状態特定部５０は、少なくとも、画像解析部５０１又は音声解析部５０２を備えていればよい。状態特定部５０は、生体データ解析部５０３を備えていなくてもよい。

【0183】

さらに、状態特定部５０は、画像データＤ２１、音声データＤ２２、及び、生体データＤ２３のうちの一部又は全部に基づいて、第２ユーザＵ２の状態を特定して、特定結果を示す解析情報ＡＮ２（以下、「解析情報ＡＮ２４」と記載）を生成してもよい。また、状態特定部５０は、画像解析部５０１による解析情報ＡＮ２１、音声解析部５０２による解析情報ＡＮ２２、及び、生体データ解析部５０３による解析情報ＡＮ２３のうちの一部又は全部に基づいて、第２ユーザＵ２の状態を特定して、特定結果を示す解析情報ＡＮ２（以下、「解析情報ＡＮ２５」と記載）を生成してもよい。

【0184】

さらに、図２及び図１２に示す統計算出部７０は、複数の解析情報ＡＮ２１の統計を算出して、統計結果を示す統計情報ＳＴを生成してもよいし、複数の解析情報ＡＮ２２の統計を算出して、統計結果を示す統計情報ＳＴを生成してもよいし、複数の解析情報ＡＮ２３の統計を算出して、統計結果を示す統計情報ＳＴを生成してもよい。また、統計算出部７０は、複数の解析情報ＡＮ２４又は複数の解析情報ＡＮ２５の統計を算出して、統計結果を示す統計情報ＳＴを生成してもよい。

【0185】

（２）図２及び図１２に示す状態特定部５０及び特定音声検出部６０、並びに、図３及び図１２に示す統計算出部７０の配置は特に限定されない。つまり、状態特定部５０、特定音声検出部６０、及び、統計算出部７０の各々は、第１端末装置ＴＭ１の第１制御部１０、第２端末装置ＴＭ２の第２制御部２０、及び、サーバ装置ＳＶの制御部３０のいずれにおいて実現されてもよい。

【0186】

例えば、状態特定部５０、特定音声検出部６０、及び、統計算出部７０が、第１端末装置ＴＭ１の第１制御部１０によって実現されてもよいし、第２端末装置ＴＭ２の第２制御部２０によって実現されてもよい。また、実施形態１では、統計算出部７０が第１端末装置ＴＭ１の第１制御部１０によって実現されたが、例えば、実施形態１に係る双方向通信支援システムＳＹＳがサーバ装置ＳＶを備えることで、統計算出部７０がサーバ装置ＳＶの制御部３０によって実現されてもよい。また、実施形態１又は実施形態２において、例えば、特定音声検出部６０が、第１端末装置ＴＭ１の第１制御部１０によって実現されてもよい。

【0187】

（３）図２に示す第２状態検出部２５は、第２ユーザＵ２の状態を検出できる限りにおいて、他のセンサーを備えていてもよい。センサーは、第２ユーザＵ２の状態を検出する。そして、センサーは、第２ユーザＵ２の状態を示す第２状態データＤ２０を状態特定部５０に出力する。さらに、状態特定部５０は、センサーが出力した第２状態データＤ２０を解析して、第２ユーザＵ２の状態（例えば、反応）を特定する。

【0188】

また、例えば、第２端末装置ＴＭ２の第２表示部２２は、ＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）のウィジェット（例えば、ボタン）を表示してもよい。この場合、ウィジェットは、第１ユーザＵ１の問い掛けに対して、第２ユーザＵ２が反応する場合の「反応内容」を表す。例えば、「反応内容」は、「いいね」等の肯定的な反応、又は、「だめ」等の否定的な反応である。例えば、ウィジェットは、「いいね」ボタン、又は、「だめ」ボタンである。

【0189】

第２端末装置ＴＭ２の第２通信制御部２０３は、ウィジェットの操作内容を解析情報ＡＮ２として、第１端末装置ＴＭ１又はサーバ装置ＳＶに送信する。そして、統計算出部７０は、複数の第２端末装置ＴＭ２から送信された複数の解析情報ＡＮ２の統計を算出する。

【0190】

（４）双方向通信支援システムＳＹＳは、例えば、オンラインセミナー及びオンラインライブ等のイベントにおける双方向通信を支援することもできる。イベントでは、例えば、発信者（第１ユーザＵ１）から多数の視聴者（第２ユーザＵ２）に向けて映像及び音声が配信される。この場合、例えば、多数の視聴者が同一場所（例えば、セミナー会場又はコンサートホール）に存在し、１つ又は複数の第２端末装置ＴＭ２が用意されてもよい。また、例えば、多数の視聴者が別個に存在し、多数の視聴者にそれぞれ対応して多数の第２端末装置ＴＭ２が用意されてもよい。これらの場合、例えば、状態特定部５０による解析情報ＡＮ２、又は、統計算出部７０による統計情報ＳＴは、視聴者の「盛り上がりの程度」を示す。視聴者の「盛り上がりの程度」は、例えば、数値又はグラフによって示される。

【産業上の利用可能性】

【0191】

本発明は、双方向通信支援システム、及び、コンピュータプログラムを提供するものであり、産業上の利用可能性を有する。

【符号の説明】

【0192】

５０ 状態特定部
６０ 特定音声検出部
７０ 統計算出部
１０１ 第１表示制御部（出力制御部）
１０３ 第１通信制御部（出力制御部）
２０１ 第２表示制御部（出力制御部）
２０３ 第２通信制御部（出力制御部）
３０１ 通信制御部（出力制御部）
５０１ 画像解析部
５０２ 音声解析部
５０３ 生体データ解析部
ＴＭ１ 第１端末装置
ＴＭ２ 第２端末装置
ＳＶ サーバ装置
ＳＹＳ 双方向通信支援システム

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】