特開 2022-129628 電子会議システム、電子会議方法及び端末装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022129628

(43)【公開日】2022-09-06

(54)【発明の名称】電子会議システム、電子会議方法及び端末装置

(51)【国際特許分類】

   G06F 13/00 20060101AFI20220830BHJP

   G10L 25/63 20130101ALI20220830BHJP

【ＦＩ】

G06F13/00 650A

G10L25/63

【審査請求】未請求

【請求項の数】14

【出願形態】ＯＬ

(21)【出願番号】P 2021028369

(22)【出願日】2021-02-25

(71)【出願人】

【識別番号】000237592

【氏名又は名称】株式会社デンソーテン

(74)【代理人】

【識別番号】110001933

【氏名又は名称】特許業務法人 佐野特許事務所

(72)【発明者】

【氏名】加藤 徹洋

(72)【発明者】

【氏名】村下 君孝

【テーマコード（参考）】

5B084

【Ｆターム（参考）】

5B084AA01

5B084AA03

5B084AA16

5B084AB07

5B084AB11

5B084AB14

5B084AB50

5B084BB01

5B084CA07

5B084CB24

5B084CF12

5B084DC02

5B084DC03

5B084EA17

(57)【要約】

【課題】電子会議を円滑に進める。
【解決手段】ネットワークを通じて互いに接続された複数の端末装置を用いて複数の人物間で電子会議を行うための電子会議システムにおいて、第１人物（ＰＳ［ｉ］）の感情に応じた感情情報を取得する感情情報取得部を備え、第１人物の感情情報をネットワークを通じて第２人物の端末装置（１０［ｇ］）に伝達し、伝達された第１人物の感情情報を第２人物の端末装置にて第２人物（ＰＳ［ｇ］）へ通知する。
【選択図】図７

【特許請求の範囲】

【請求項1】

ネットワークを通じて互いに接続された複数の端末装置を用いて複数の人物間で電子会議を行うための電子会議システムにおいて、
前記複数の人物の何れかである第１人物の感情に応じた感情情報を取得する感情情報取得部を備え、
前記第１人物の感情情報を前記ネットワークを通じて、前記複数の人物に含まれ且つ前記第１人物と異なる第２人物の端末装置に伝達し、伝達された前記第１人物の感情情報を前記第２人物の端末装置にて前記第２人物へ通知する
、電子会議システム。

【請求項2】

前記感情情報取得部は、前記第１人物の感情の影響を受ける前記第１人物の感情推定用情報に基づいて前記第１人物の感情を推定し、推定結果に基づき前記第１人物の感情情報を取得する
、請求項１に記載の電子会議システム。

【請求項3】

前記感情情報取得部は、前記第１人物の端末装置が受けた前記第１人物からの感情指定操作の内容に基づいて、前記第１人物の感情情報を取得する
、請求項１に記載の電子会議システム。

【請求項4】

前記感情情報取得部は、
前記第１人物の感情の影響を受ける前記第１人物の感情推定用情報に基づいて前記第１人物の感情を推定し、推定結果に基づき前記第１人物の感情に関わる第１候補情報を生成する第１処理、及び、前記第１人物の端末装置にて前記第１人物から感情指定操作を受けたとき前記感情指定操作の内容に基づいて前記第１人物の感情に関わる第２候補情報を生成する第２処理、を実行可能であり、
前記感情指定操作があった場合には前記第２処理にて生成された前記第２候補情報を前記第１人物の感情情報に設定する一方、前記感情指定操作がなかった場合には前記第１処理にて生成された前記第１候補情報を前記第１人物の感情情報に設定する
、請求項１に記載の電子会議システム。

【請求項5】

前記第１処理による推定結果が所定条件を満たすとき前記感情指定操作の入力に関わる通知を前記第１人物に対して行う通知部を更に備える
、請求項４に記載の電子会議システム。

【請求項6】

前記第１人物に対応付けられた登録画像を前記第１人物の感情情報に応じて加工する画像処理部を更に備え、
前記第２人物の端末装置にて加工後の前記登録画像が表示される
、請求項１～５の何れかに記載の電子会議システム。

【請求項7】

前記画像処理部は、前記第１人物に対応付けられた前記登録画像を元に、前記第１人物の感情情報及び前記第１人物の発話音声情報に応じた動画像を生成し、
前記第２人物の端末装置にて前記動画像が表示される
、請求項６に記載の電子会議システム。

【請求項8】

前記電子会議に関わる会議データを記録媒体に記録させる記録管理部を備え、
前記複数の人物は第１～第ｎ人物から成り、ｎは２以上の整数であり、
前記感情情報取得部は、前記第１～第ｎ人物の夫々に対して感情に応じた感情情報を取得することで、前記第１～第ｎ人物の感情情報を取得し、
前記記録管理部は、各人物の発話ごとに発話者の感情情報を前記会議データに含める
、請求項１～７の何れかに記載の電子会議システム。

【請求項9】

前記電子会議に関わる会議データを記録媒体に記録させる記録管理部を備え、
前記複数の人物は第１～第ｎ人物から成り、ｎは２以上の整数であり、
前記感情情報取得部は、前記第１～第ｎ人物の夫々に対して感情に応じた感情情報を取得することで、前記第１～第ｎ人物の感情情報を取得し、
前記記録管理部は、前記第１～第ｎ人物の感情情報を前記会議データに含める
、請求項１～７の何れかに記載の電子会議システム。

【請求項10】

前記第１～第ｎ人物の感情情報の統計をとることで感情統計データを生成する統計処理部を備え、
前記記録管理部は、前記会議データに前記感情統計データを含める
、請求項９に記載の電子会議システム。

【請求項11】

統計処理部及び統計通知部を備え、
前記複数の人物は第１～第ｎ人物から成り、ｎは２以上の整数であり、
前記感情情報取得部は、前記第１～第ｎ人物の夫々に対して感情に応じた感情情報を取得することで、前記第１～第ｎ人物の感情情報を取得し、
前記統計処理部は、前記第１～第ｎ人物の感情情報の統計をとることで感情統計データを生成し、
前記統計通知部は、前記感情統計データに応じた通知を前記複数の端末装置の何れか１以上で行わせる
、請求項１～７の何れかに記載の電子会議システム。

【請求項12】

ネットワークを通じて互いに接続された複数の端末装置を用いて複数の人物間で電子会議を行うための電子会議方法において、
前記複数の人物の何れかである第１人物の感情に応じた感情情報を取得する感情情報取得工程と、
前記第１人物の感情情報を前記ネットワークを通じて、前記複数の人物に含まれ且つ前記第１人物と異なる第２人物の端末装置に伝達する伝達工程と、
伝達された前記第１人物の感情情報を前記第２人物の端末装置にて前記第２人物へ通知する通知工程と、を備える
、電子会議方法。

【請求項13】

請求項１２に記載の会議方法を演算処理装置に実現させるプログラム。

【請求項14】

ネットワークを通じて複数の人物間で電子会議を行うために用いられる端末装置であって、
前記複数の人物に含まれ且つ当該端末装置のユーザである第１人物の感情情報を取得する感情情報取得部と、
前記複数の人物に含まれ且つ前記第１人物と異なる第２人物の端末装置にて前記第１人物の感情情報を前記第２人物に通知させるために、前記第１人物の感情情報を前記ネットワークに送信する通信処理部と、を備えた
、端末装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、電子会議システム、電子会議方法及び端末装置に関する。

【背景技術】

【0002】

複数の人物が一同に会することなく、複数の端末装置を用いて複数の人物間で会議を行う電子会議（Ｗｅｂ会議）が広く実用化されている。一般的な電子会議システム（Ｗｅｂ会議システム）ではカメラ画像出力条件のオン／オフ切替が可能である。或る人物の端末装置においてカメラ画像出力条件がオンに設定されている場合には、当該人物の顔画像を含むカメラ画像が他の端末装置に表示されるが、カメラ画像出力条件がオフに設定されている場合、そのような表示は行われない。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２０－４２５３号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

電子会議に限らず、会議では参加者同士の表情を伺いながら会話を進めることで会議が円滑に進むことが多いと考えられる。但し、電子会議では、通信データ量やプライバシー等の観点からカメラ画像出力条件がオフに設定されることも多く、結果、会議の円滑さが損なわれる可能性がある。

【0005】

本発明は、電子会議の円滑な進行等に寄与する電子会議システム、電子会議方法及び端末装置を提供することを目的とする。

【課題を解決するための手段】

【0006】

本発明に係る電子会議システムは、ネットワークを通じて互いに接続された複数の端末装置を用いて複数の人物間で電子会議を行うための電子会議システムにおいて、前記複数の人物の何れかである第１人物の感情に応じた感情情報を取得する感情情報取得部を備え、前記第１人物の感情情報を前記ネットワークを通じて、前記複数の人物に含まれ且つ前記第１人物と異なる第２人物の端末装置に伝達し、伝達された前記第１人物の感情情報を前記第２人物の端末装置にて前記第２人物へ通知する構成（第１の構成）である。

【0007】

上記第１の構成に係る電子会議システムにおいて、前記感情情報取得部は、前記第１人物の感情の影響を受ける前記第１人物の感情推定用情報に基づいて前記第１人物の感情を推定し、推定結果に基づき前記第１人物の感情情報を取得する構成（第２の構成）であっても良い。

【0008】

上記第１の構成に係る電子会議システムにおいて、前記感情情報取得部は、前記第１人物の端末装置が受けた前記第１人物からの感情指定操作の内容に基づいて、前記第１人物の感情情報を取得する構成（第３の構成）であっても良い。

【0009】

上記第１の構成に係る電子会議システムにおいて、前記感情情報取得部は、前記第１人物の感情の影響を受ける前記第１人物の感情推定用情報に基づいて前記第１人物の感情を推定し、推定結果に基づき前記第１人物の感情に関わる第１候補情報を生成する第１処理、及び、前記第１人物の端末装置にて前記第１人物から感情指定操作を受けたとき前記感情指定操作の内容に基づいて前記第１人物の感情に関わる第２候補情報を生成する第２処理、を実行可能であり、前記感情指定操作があった場合には前記第２処理にて生成された前記第２候補情報を前記第１人物の感情情報に設定する一方、前記感情指定操作がなかった場合には前記第１処理にて生成された前記第１候補情報を前記第１人物の感情情報に設定する構成（第４の構成）であっても良い。

【0010】

上記第４の構成に係る電子会議システムにおいて、前記第１処理による推定結果が所定条件を満たすとき前記感情指定操作の入力に関わる通知を前記第１人物に対して行う通知部を更に備える構成（第５の構成）であっても良い。

【0011】

上記第１～第５の構成の何れかに係る電子会議システムにおいて、前記第１人物に対応付けられた登録画像を前記第１人物の感情情報に応じて加工する画像処理部を更に備え、前記第２人物の端末装置にて加工後の前記登録画像が表示される構成（第６の構成）であっても良い。

【0012】

上記第６に係る電子会議システムにおいて、前記画像処理部は、前記第１人物に対応付けられた前記登録画像を元に、前記第１人物の感情情報及び前記第１人物の発話音声情報に応じた動画像を生成し、前記第２人物の端末装置にて前記動画像が表示される構成（第７の構成）であっても良い。

【0013】

上記第１～第７の構成の何れかに係る電子会議システムにおいて、前記電子会議に関わる会議データを記録媒体に記録させる記録管理部を備え、前記複数の人物は第１～第ｎ人物から成り、ｎは２以上の整数であり、前記感情情報取得部は、前記第１～第ｎ人物の夫々に対して感情に応じた感情情報を取得することで、前記第１～第ｎ人物の感情情報を取得し、前記記録管理部は、各人物の発話ごとに発話者の感情情報を前記会議データに含める構成（第８の構成）であっても良い。

【0014】

上記第１～第７の構成の何れかに係る電子会議システムにおいて、前記電子会議に関わる会議データを記録媒体に記録させる記録管理部を備え、前記複数の人物は第１～第ｎ人物から成り、ｎは２以上の整数であり、前記感情情報取得部は、前記第１～第ｎ人物の夫々に対して感情に応じた感情情報を取得することで、前記第１～第ｎ人物の感情情報を取得し、前記記録管理部は、前記第１～第ｎ人物の感情情報を前記会議データに含める構成（第９の構成）であっても良い。

【0015】

上記第９の構成に係る電子会議システムにおいて、前記第１～第ｎ人物の感情情報の統計をとることで感情統計データを生成する統計処理部を備え、前記記録管理部は、前記会議データに前記感情統計データを含める構成（第１０の構成）であっても良い。

【0016】

上記第１～第７の構成の何れかに係る電子会議システムにおいて、統計処理部及び統計通知部を備え、前記複数の人物は第１～第ｎ人物から成り、ｎは２以上の整数であり、前記感情情報取得部は、前記第１～第ｎ人物の夫々に対して感情に応じた感情情報を取得することで、前記第１～第ｎ人物の感情情報を取得し、前記統計処理部は、前記第１～第ｎ人物の感情情報の統計をとることで感情統計データを生成し、前記統計通知部は、前記感情統計データに応じた通知を前記複数の端末装置の何れか１以上で行わせる構成（第１１の構成）であっても良い。

【0017】

本発明に係る会議方法は、ネットワークを通じて互いに接続された複数の端末装置を用いて複数の人物間で電子会議を行うための電子会議方法において、前記複数の人物の何れかである第１人物の感情に応じた感情情報を取得する感情情報取得工程と、前記第１人物の感情情報を前記ネットワークを通じて、前記複数の人物に含まれ且つ前記第１人物と異なる第２人物の端末装置に伝達する伝達工程と、伝達された前記第１人物の感情情報を前記第２人物の端末装置にて前記第２人物へ通知する通知工程と、を備える構成（第１２の構成）である。

【0018】

本発明に係るプログラムは、上記第１２の構成に係る会議方法を演算処理装置に実現させる構成（第１３の構成）である。

【0019】

本発明に係る端末装置は、ネットワークを通じて複数の人物間で電子会議を行うために用いられる端末装置であって、前記複数の人物に含まれ且つ当該端末装置のユーザである第１人物の感情情報を取得する感情情報取得部と、前記複数の人物に含まれ且つ前記第１人物と異なる第２人物の端末装置にて前記第１人物の感情情報を前記第２人物に通知させるために、前記第１人物の感情情報を前記ネットワークに送信する通信処理部と、を備えた構成（第１４の構成）である。

【発明の効果】

【0020】

本発明によれば、電子会議の円滑な進行等に寄与する電子会議システム及び方法並びに端末装置を提供することが可能となる。

【図面の簡単な説明】

【0021】

【図1】本発明の実施形態に係る会議システム（電子会議システム）の全体構成図である。

【図2】本発明の実施形態に係る端末装置の内部構成図である。

【図3】本発明の実施形態に係るサーバ装置の内部構成図である。

【図4】本発明の実施形態に係る会議システムの全体構成図である。

【図5】本発明の実施形態に係る端末装置の内部構成図である。

【図6】本発明の実施形態に属する第１実施例に係り、対象人物の感情情報が複数の受領人物に伝達される様子を示す図である。

【図7】本発明の実施形態に属する第１実施例に係り、複数の端末装置間の情報伝達の様子を示す図である。

【図8】本発明の実施形態に属する第１実施例に係り、会議システムの感情情報に関わる動作フローチャートである。

【図9】本発明の実施形態に属する第１実施例に係り、端末装置に感情情報取得部が設けられる様子を示す図である。

【図10】本発明の実施形態に属する第１実施例に係り、電子会議開催期間に複数のフレームが設定される様子を示す図である。

【図11】本発明の実施形態に属する第４実施例に係り、感情情報の取得動作の概念図である。

【図12】本発明の実施形態に属する第５実施例に係り、端末装置に手動入力示唆通知部が設けられる様子を示す図である。

【図13】本発明の実施形態に属する第５実施例に係り、感情情報の設定及び取得動作のフローチャートである。

【図14】本発明の実施形態に属する第６実施例に係り、端末装置に画像処理部が設けられると共に登録画像群データ及び加工用データが保持される様子を示す図である。

【図15】本発明の実施形態に属する第６実施例に係り、会議の参加者ごとの登録画像を示す図である。

【図16】本発明の実施形態に属する第８実施例に係り、サーバ装置に記録管理部、記録媒体、再生管理部、統計処理部及び統計通知部が設けられる様子を示す図である。

【図17】本発明の実施形態に属する第８実施例に係り、会議データの構造図である。

【図18】本発明の実施形態に属する第８実施例に係り、個別音声データ及び属性データを示す図である。

【図19】本発明の実施形態に属する第９実施例に係り、付加データの構造図である。

【図20】本発明の実施形態に属する第９実施例に係る動作の一態様を説明するための図である。

【図21】本発明の実施形態に属する第９実施例に係る動作の一態様を説明するための図である。

【図22】本発明の実施形態に属する第９実施例に係り、統計通知画像の例を示すための図である。

【発明を実施するための形態】

【0022】

以下、本発明の実施形態の例を、図面を参照して具体的に説明する。参照される各図において、同一の部分には同一の符号を付し、同一の部分に関する重複する説明を原則として省略する。尚、本明細書では、記述の簡略化上、情報、信号、物理量又は部材等を参照する記号又は符号を記すことによって、該記号又は符号に対応する情報、信号、物理量又は部材等の名称を省略又は略記することがある。例えば、後述の“２０”によって参照される感情情報取得部は（図９（ａ）参照）、感情情報取得部２０と表記されることもあるし、取得部２０と略記されることもあり得るが、それらは全て同じものを指す。

【0023】

図１に本実施形態に係るシステムＳＹＳの全体構成を示す。システムＳＹＳを様々な用途に利用することができるが、本実施形態では、複数の人物ＰＳ間で会議（会話）を行う用途にシステムＳＹＳが利用されることを想定する。この場合、システムＳＹＳは会議システム（電子会議システム）として機能し、以下、システムＳＹＳを会議システムＳＹＳと称する。本実施形態における会議は電子会議であって、本実施形態において会議と電子会議は互いに同じものを指す。電子会議では、複数の人物ＰＳが一同に会することなく、複数の端末装置間における信号（少なくとも音声信号を含む）の送受信を通じて複数の人物ＰＳ間の会話を実現する。電子会議は一般にＷｅｂ会議とも称される。各人物ＰＳは電子会議の参加者に相当する。

【0024】

会議システムＳＹＳは複数の端末装置１０とサーバ装置３０とを備えて構成される。各端末装置１０が上記複数の人物ＰＳの内の一人に割り当てられる。各端末装置１０及びサーバ装置３０はインターネットを含むネットワーク５０に接続される。換言すれば、複数の端末装置１０及びサーバ装置３０は、ネットワーク５０を通じて互いに接続される。複数の端末装置１０及びサーバ装置３０は、夫々に、ネットワーク５０に接続された任意の装置との間で双方向通信が可能である。

【0025】

各端末装置１０は、パーソナルコンピュータ、タブレット又はスマートホンなどの電子機器である。会議システムＳＹＳに組み込まれる複数の端末装置１０は互いに同じ種類の電子機器であっても良いし、互いに異なる種類の電子機器であっても良い。但し、以下では、複数の端末装置１０が互いに同じ構成を有していると考える。

【0026】

図２に１つの端末装置１０の内部構成を示す。端末装置１０は、通信処理部１１、記憶部１２、端末制御部１３、表示部１４、操作部１５、カメラ部１６、マイクロホン１７、スピーカ１８及びセンサ部１９を備える。以下に示す信処理部１１、記憶部１２、端末制御部１３、表示部１４、操作部１５、カメラ部１６、マイクロホン１７、スピーカ１８及びセンサ部１９の説明は、各端末装置１０に適用される。端末装置１０の内部構成を説明するにあたり、必要に応じて、注目された１つの端末装置１０を注目端末装置１０と称する。また、注目端末装置１０のユーザである人物ＰＳを注目人物ＰＳと称することがある。注目端末装置１０は、会議システムＳＹＳにおいて注目人物ＰＳに割り当てられた（注目人物ＰＳに対応付けられた）端末装置１０である。会議システムＳＹＳに組み込まれる各々の端末装置１０が注目端末装置１０になり得る。

【0027】

通信処理部１１は、ネットワーク５０を通じて相手側装置と双方向通信を行う。注目端末装置１０において、双方向通信は、ネットワーク５０に対して任意の情報を出力することで当該情報を相手側装置に送信する送信動作と、相手側装置がネットワーク５０に出力した任意の情報を受信する受信動作と、を含む。注目端末装置１０にとっての相手側装置は、ネットワーク５０に接続された装置であって且つ注目端末装置１０以外の任意の装置であり、少なくともサーバ装置３０を含む。注目端末装置１０における通信処理部１１は、ネットワーク５０及びサーバ装置３０を介し、注目端末装置１０以外の各端末装置１０と双方向通信できる。注目端末装置１０における通信処理部１１は、サーバ装置３０を経由することなく、注目端末装置１０以外の各端末装置１０との間の双方向通信を実現可能であっても良い。

【0028】

記憶部１２は、磁気ディスク又は半導体メモリ等から成り、或いは、それらの組み合わせから成り、各種プログラム及びデータを格納及び記憶する。記憶部１２内の不揮発性メモリに格納されたプログラムの中に端末用プログラムＰＧ１が含まれる。

【0029】

端末制御部１３は、演算処理装置であるＣＰＵ（Central Processing Unit）、ＲＯＭ（Read only memory）及びＲＡＭ（Random access memory）等から成り、端末装置１０内の各部位の動作を統括的に制御すると共に、記憶部１２に格納されたプログラムを端末制御部１３内の演算処理装置にて実行することで各種機能を実現する。

【0030】

表示部１４は、液晶ディスプレイパネル又は有機エレクトロルミネッセンスパネル等から成り、端末制御部１３の制御の下で任意の画像（換言すれば映像）を表示する。注目人物ＰＳは注目端末装置１０の表示部１４の表示内容を視認可能である。尚、以下の説明において、端末装置１０での表示とは、端末装置１０に設けられた表示部１４での表示を意味する。

【0031】

操作部１５は、操作者からの各種操作を受ける。注目端末装置１０における操作者は注目人物ＰＳである。端末装置１０にタッチパネルが設けられる場合、当該タッチパネルにて表示部１４及び操作部１５が構成されても良い。

【0032】

カメラ部１６は、自身の視野内の撮影を行って撮影結果を表す画像信号を出力する。カメラ部１６は静止画像及び動画像の撮影機能を有する。カメラ部１６からの出力画像信号により表される画像（即ちカメラ部１６による撮影画像）を、カメラ画像と称する。注目端末装置１０のカメラ部１６の視野には注目人物ＰＳの全身又は一部が含まれているとする。少なくとも、注目人物ＰＳの顔は、注目端末装置１０のカメラ部１６の視野に含まれているとする。故に、注目端末装置１０のカメラ部１６の撮影結果を表すカメラ画像には、少なくとも注目人物ＰＳの顔画像が含まれる。

【0033】

マイクロホン１７は、自身の周辺音を音声信号に変換して出力する。会議システムＳＹＳにおいて、注目端末装置１０におけるマイクロホン１７の主目的は、注目人物ＰＳの発話内容の収音である。故に、注目端末装置１０におけるマイクロホン１７は、注目人物ＰＳの発話内容を収音し、収音した音を音声信号に変換して出力する。

【0034】

スピーカ１８は、端末制御部１３の制御の下、自身へ入力された音声信号を音として（音波として）出力する。注目人物ＰＳは、注目端末装置１０のスピーカ１８の出力音を聞くことができる。尚、以下の説明において、端末装置１０での音の出力又は音声の出力とは、端末装置１０に設けられたスピーカ１８による音の出力又は音声の出力を意味する。

【0035】

センサ部１９は、カメラ部１６及びマイクロホン１７では取得できない又は取得し難い情報を取得するセンサ装置である。例えば、注目端末装置１０におけるセンサ部１９は注目人物ＰＳの生体情報を取得することができる。但し、端末装置１０にセンサ部１９が設けられないことがあっても良い。

【0036】

図３にサーバ装置３０の内部構成を示す。サーバ装置３０は、通信処理部３１、記憶部３２及びサーバ制御部３３を備える。端末装置１０に設けられるものと同様の表示部、操作部、カメラ部、操作部、マイクロホン、スピーカ及びセンサ部の内の全部又は一部が、サーバ装置３０に設けられていても良いが、ここでは、会議システムＳＹＳの運用に重要な役割を果たす通信処理部３１、記憶部３２及びサーバ制御部３３にのみ注目する。尚、サーバ装置ＳＶは１以上のコンピュータ装置にて構成されていて良い。所謂クラウトコンピューティングを利用して会議システムＳＹＳが構成されても良い。

【0037】

通信処理部３１は、ネットワーク５０を通じて相手側装置と双方向通信を行う。サーバ装置３０において、双方向通信は、ネットワーク５０に対して任意の情報を出力することで当該情報を相手側装置に送信する送信動作と、相手側装置がネットワーク５０に出力した任意の情報を受信する受信動作と、を含む。サーバ装置３０にとっての相手側装置は、ネットワーク５０に接続された任意の装置である。ここでは、複数の端末装置１０の夫々がサーバ装置３０にとっての相手側装置に相当する。

【0038】

記憶部３２は、磁気ディスク又は半導体メモリ等から成り、或いは、それらの組み合わせから成り、各種プログラム及びデータを格納及び記憶する。記憶部３２内の不揮発性メモリに格納されたプログラムの中にサーバ用プログラムＰＧ２が含まれる。

【0039】

サーバ制御部３３は、演算処理装置であるＣＰＵ（Central Processing Unit）、ＲＯＭ（Read only memory）及びＲＡＭ（Random access memory）等から成り、サーバ装置３０内の各部位の動作を統括的に制御すると共に、記憶部３２に格納されたプログラムをサーバ制御部３３内の演算処理装置にて実行することで各種機能を実現する。

【0040】

図４を参照し、以下では、説明の具体化のため、会議システムＳＹＳに計ｎ台の端末装置１０が組み込まれるものとし、ｎ台の端末装置１０の内、第１～第ｎの端末装置１０を端末装置１０［１］～１０［ｎ］と称する。また、端末装置１０［ｉ］が割り当てられた人物ＰＳを人物ＰＳ［ｉ］と称する。ｎは２以上の任意の整数を表し、ｉはｎ以下の任意の自然数を表す。更に、図５に示す如く、端末装置１０［ｉ］における通信処理部１１、記憶部１２、端末制御部１３、表示部１４、操作部１５、カメラ部１６、マイクロホン１７、スピーカ１８及びセンサ部１９を、夫々、通信処理部１１［ｉ］、記憶部１２［ｉ］、端末制御部１３［ｉ］、表示部１４［ｉ］、操作部１５［ｉ］、カメラ部１６［ｉ］、マイクロホン１７［ｉ］、スピーカ１８［ｉ］及びセンサ部１９［ｉ］と称することがある。

【0041】

尚、端末装置１０［ｉ］において、端末装置１０［ｉ］と相手側装置との双方向通信は通信処理部１１［ｉ］を用いネットワーク５０を通じて行われるが、以下では、説明の簡略化上、通信処理部１１［ｉ］及びネットワーク５０の記述を書略することがある。サーバ装置３０とサーバ装置３０の相手側装置との双方向通信についても同様である。

【0042】

端末装置１０［１］～１０［ｎ］の夫々において端末制御部１３が端末用プログラムＰＧ１を実行し、且つ、サーバ装置３０においてサーバ制御部３３がサーバ用プログラムＰＧ２を実行することで、電子会議が開催される。

【0043】

会議システムＳＹＳは電子会議において音声伝達処理を実行可能である。音声伝達処理では、任意の人物ＰＳの発話内容を他の人物ＰＳに割り当てられた端末装置１０から音声出力する。

【0044】

人物ＰＳ［１］が発話する際の音声伝達処理では、人物ＰＳ［１］の発話内容がマイクロホン１７［１］にて収音されて音声信号に変換され、人物ＰＳ［１］の発話内容を表す音声信号がネットワーク５０及びサーバ装置３０を通じて、端末装置１０［２］～１０［ｎ］に伝達される。そして、端末装置１０［２］～１０［ｎ］の夫々において、人物ＰＳ［１］の発話内容を表す音声信号が音声出力される。同様に、人物ＰＳ［２］が発話する際の音声伝達処理では、人物ＰＳ［２］の発話内容がマイクロホン１７［２］にて収音されて音声信号に変換され、人物ＰＳ［２］の発話内容を表す音声信号がネットワーク５０及びサーバ装置３０を通じて、端末装置１０［１］及び１０［３］～１０［ｎ］に伝達される。そして、端末装置１０［１］及び１０［３］～１０［ｎ］の夫々において、人物ＰＳ［２］の発話内容を表す音声信号が音声出力される。人物ＰＳ［３］等が発話する際の音声伝達処理も同様である。

【0045】

装置の動作に注目して詳細に述べると、人物ＰＳ［ｉ］が発話する際の音声伝達処理は、人物ＰＳ［ｉ］の発話内容をマイクロホン１７［ｉ］にて収音して音声信号に変換する処理ＰＲ_Ａ１と、その処理ＰＲ_Ａ１にて得られた音声信号を端末装置１０［ｉ］がサーバ装置３０に送信する処理ＰＲ_Ａ２と、処理ＰＲ_Ａ２を経てサーバ装置３０にて受信した音声信号をサーバ装置３０が端末装置１０［ｉ］以外の各端末装置１０に送信する処理ＰＲ_Ａ３と、処理ＰＲ_Ａ３を経て端末装置１０［ｉ］以外の各端末装置１０が受信した音声信号を端末装置１０［ｉ］以外の各端末装置１０にて音として出力する処理ＰＲ_Ａ４と、で実現できる。

【0046】

また、会議システムＳＹＳは電子会議においてカメラ画像伝達処理も実行可能である。カメラ画像伝達処理では、各人物ＰＳの撮影結果を表すカメラ画像が他の人物ＰＳに割り当てられた端末装置１０に表示される。カメラ画像伝達処理におけるカメラ画像はリアルタイムで取得され且つ更新表示される（但し伝達に関わる遅延は存在する）。

【0047】

人物ＰＳ［１］に対するカメラ画像伝達処理では、カメラ部１６［１］の撮影により得られたカメラ画像の画像信号がネットワーク５０及びサーバ装置３０を経由して端末装置１０［２］～１０［ｎ］に伝達され、端末装置１０［２］～１０［ｎ］の夫々において、伝達されたカメラ画像が表示部１４に表示される。この際、端末装置１０［２］～１０［ｎ］の夫々が受けたカメラ画像には、人物ＰＳ［１］の撮影結果（人物ＰＳ［１］の顔画像）が含まれるので、人物ＰＳ［２］～ＰＳ［ｎ］は人物ＰＳ［１］の表情を見ながら会議を進めることができる。同様に、人物ＰＳ［２］に対するカメラ画像伝達処理では、カメラ部１６［２］の撮影により得られたカメラ画像の画像信号がネットワーク５０及びサーバ装置３０を経由して端末装置１０［１］及び１０［３］～１０［ｎ］に伝達され、端末装置１０［１］及び１０［３］～１０［ｎ］の夫々において、伝達されたカメラ画像が表示部１４に表示される。この際、端末装置１０［１］及び１０［３］～１０［ｎ］の夫々が受けたカメラ画像には、人物ＰＳ［２］の撮影結果（人物ＰＳ［２］の顔画像）が含まれるので、人物ＰＳ［１］及びＰＳ［３］～ＰＳ［ｎ］は人物ＰＳ［２］の表情を見ながら会議を進めることができる。人物ＰＳ［３］等に対するカメラ画像伝達処理も同様である。

【0048】

装置の動作に注目して詳細に述べると、人物ＰＳ［ｉ］に対するカメラ画像伝達処理は、カメラ部１６［ｉ］にて人物ＰＳ［ｉ］の像を含むカメラ画像の画像信号を取得する処理ＰＲ_Ｖ１と、その処理ＰＲ_Ｖ１にて得られた画像信号を端末装置１０［ｉ］がサーバ装置３０に送信する処理ＰＲ_Ｖ２と、処理ＰＲ_Ｖ２を経てサーバ装置３０にて受信した画像信号をサーバ装置３０が端末装置１０［ｉ］以外の各端末装置１０に送信する処理ＰＲ_Ｖ３と、処理ＰＲ_Ｖ３を経て端末装置１０［ｉ］以外の各端末装置１０が受信した画像信号を端末装置１０［ｉ］以外の各端末装置１０にて画像として表示する処理ＰＲ_Ｖ４と、で実現できる。

【0049】

但し、各人物ＰＳは、カメラ画像出力条件のオン／オフ切替によりカメラ画像伝達処理の実行有無を指定することができる。即ち、人物ＰＳ［ｉ］は操作部１５［ｉ］に所定操作を入力することで端末装置１０［ｉ］におけるカメラ画像出力条件を自在にオン又はオフに設定することができる。

【0050】

端末装置１０［１］におけるカメラ画像出力条件がオンに設定されているときには、上述の人物ＰＳ［１］に対するカメラ画像伝達処理が実行されて、カメラ部１６［１］の撮影によるカメラ画像が端末装置１０［２］～１０［ｎ］にて表示される。端末装置１０［１］におけるカメラ画像出力条件がオフに設定されているときには、上述の人物ＰＳ［１］に対するカメラ画像伝達処理が実行されず、結果、カメラ部１６［１］の撮影によるカメラ画像は端末装置１０［２］～１０［ｎ］にて表示されない。同様に、端末装置１０［２］におけるカメラ画像出力条件がオンに設定されているときには、上述の人物ＰＳ［２］に対するカメラ画像伝達処理が実行されて、カメラ部１６［２］の撮影によるカメラ画像が端末装置１０［１］及び１０［３］～１０［ｎ］にて表示される。端末装置１０［２］におけるカメラ画像出力条件がオフに設定されているときには、上述の人物ＰＳ［２］に対するカメラ画像伝達処理が実行されず、結果、カメラ部１６［２］の撮影によるカメラ画像は端末装置１０［１］及び１０［３］～１０［ｎ］にて表示されない。端末装置１０［３］等におけるカメラ画像出力条件についても同様である。

【0051】

ところで、電子会議に限らず、会議では相手の表情を伺いながら会話を進めることで会議が円滑に進むことが多いと考えられる。但し、電子会議では、通信データ量やプライバシー等の観点からカメラ画像出力条件がオフに設定されることも多く、結果、会議の円滑さが損なわれる可能性がある。ここで、発明者らは、相手の表情を伺うことは相手の感情を察することに類している点に着眼し、会議参加者の感情を参加者間で通知しあう技術を開発した。この技術の活用により、カメラ画像出力条件がオフに設定されていても、相手の感情を察することが可能となり（即ち相手の表情を伺うのと同様の効果が得られ）、以って会議（電子会議）を円滑に進めることができると考えられる。

【0052】

以下、複数の実施例の中で、会議システムＳＹＳの具体的な動作例（特に感情の通知に関する動作例）及び応用技術等を説明する。本実施形態にて上述した事項は、特に記述無き限り且つ矛盾無き限り、以下の各実施例に適用される。各実施例において、上述の事項と矛盾する事項がある場合には、各実施例での記載が優先されて良い。また矛盾無き限り、以下に示す複数の実施例の内、任意の実施例に記載した事項を、他の任意の実施例に適用することもできる（即ち複数の実施例の内の任意の２以上の実施例を組み合わせることも可能である）。

【0053】

尚、以下の各実施例に示される処理及び動作は、特に記述なき限り、会議システムＳＹＳにて電子会議が開催されている期間中の処理及び動作であるとする（但し会議データの記録又は再生に関わる第８及び第９実施例を除く）。以下において、会議システムＳＹＳにて電子会議が開催されている期間は電子会議開催期間と称されることがある。また、以下の各実施例では、特に記述なき限り、上述の音声伝達処理は実行されるものの、端末装置１０［１］～１０［ｎ］の夫々においてカメラ画像出力条件がオフに設定されており、故に会議システムＳＹＳにおいてカメラ画像伝達処理が一切実行されていないことを想定する。

【0054】

＜＜第１実施例＞＞
第１実施例を説明する。図６に示す如く、第１実施例に係る会議システムＳＹＳは、電子会議において、対象人物の感情に応じた感情情報を取得し、取得した感情情報を各受領人物に割り当てられた各端末装置１０に伝達することで、対象人物の感情を各受領人物に通知する機能を持つ。人物ＰＳ［１］が対象人物であるとき、それ以外の人物ＰＳ［２］～ＰＳ［ｎ］が受領人物に相当し、人物ＰＳ［２］が対象人物であるとき、それ以外の人物ＰＳ［１］及びＰＳ［３］～ＰＳ［ｎ］が受領人物に相当する。人物ＰＳ［３］等が対象人物であるときも同様であり、人物ＰＳ［１］～ＰＳ［ｎ］の夫々が対象人物となることで各人物の感情情報が互いに通知され合う。

【0055】

図７に第１実施例に係る情報伝達の様子を示す。図７では、人物ＰＳ［ｉ］が対象人物として機能し且つ人物ＰＳ［ｇ］が受領人物として機能する場合の、情報伝達の様子が模式的に示されている。端末装置１０［ｇ］は、端末装置１０［１］～１０［ｎ］の内、端末装置１０［ｉ］と異なる任意の端末装置１０を表し、人物ＰＳ［ｇ］は、人物ＰＳ［１］～ＰＳ［ｎ］の内、人物ＰＳ［ｉ］と異なる任意の人物ＰＳを表す。従って、ｇは、ｉとは異なり且つｎ以下の任意の自然数を表す。上述したように、第１実施例において上述の音声伝達処理が実行され、故に、人物ＰＳ［ｉ］の発話内容は端末装置１０［ｇ］に伝達されて端末装置１０［ｇ］にて音声出力され、且つ、人物ＰＳ［ｇ］の発話内容は端末装置１０［ｉ］に伝達されて端末装置１０［ｉ］にて音声出力される（図７では前者の伝達の様子のみ図示）。

【0056】

図８に、感情情報の取得、伝達及び通知に関わる会議システムＳＹＳの動作フローチャートを示す。会議システムＳＹＳはステップＳ１０、Ｓ２０及びＳ３０の処理を順次実行する。ステップＳ１０、Ｓ２０及びＳ３０の処理から成る一連の処理群は所定周期で繰り返し実行されて良い。

【0057】

ステップＳ１０において、端末装置１０［ｉ］は人物ＰＳ［ｉ］の感情に応じた感情情報を取得する感情情報取得処理を実行する。

【0058】

続くステップＳ２０では、ステップＳ１０にて取得された感情情報を端末装置１０［ｉ］以外の各端末装置１０に伝達する装置間伝達処理が実行される。この伝達はサーバ装置３０を介して行われる。即ち、装置間伝達処理は、端末装置１０［ｉ］（詳細には通信処理部１１［ｉ］）がステップＳ１０にて取得された感情情報をネットワーク５０に向けて送信する処理（換言すればネットワーク５０を介してサーバ装置３０に送信する処理）と、サーバ装置３０が端末装置１０［ｉ］から受信した感情情報をサーバ装置３０から端末装置１０［ｉ］以外の各端末装置１０へと送信する処理と、端末装置１０［ｉ］以外の各端末装置１０がサーバ装置３０から送信された感情情報を受信する処理と、で構成される。

【0059】

ステップＳ２０に続くステップＳ３０において、端末装置１０［ｉ］以外の各端末装置１０は、サーバ装置３０から受信した感情情報を自身のユーザに通知する感情情報通知処理を実行する。端末装置１０［ｇ］で感情情報通知処理を行うことで、端末装置１０［ｇ］は人物ＰＳ［ｉ］の感情情報を自身のユーザである人物ＰＳ［ｇ］に通知することができる。ステップＳ３０における通知は、人物ＰＳ［ｇ］の知覚に訴える任意の通知をあって良いが、音声による通知は会議の進行阻害等を招きうるので、ステップＳ３０の通知は視覚的な通知であると良い。即ち、ステップＳ３０の通知は、受信した感情情報（ステップＳ１０にて取得された人物ＰＳ［ｉ］の感情情報）を表示部１４［ｇ］に表示する通知であると良い。以下では、感情情報通知処理が感情情報の表示に相当すると考える。具体的には、ステップＳ３０において、受信した感情情報（ステップＳ１０にて取得された人物ＰＳ［ｉ］の感情情報）に応じた感情通知画像を表示部１４［ｇ］に表示する。

【0060】

図７では、人物ＰＳ［ｉ］の感情に応じた感情情報が人物ＰＳ［ｇ］の端末装置１０［ｇ］に伝達されて人物ＰＳ［ｇ］に通知される様子が示されているが、実際には、これと並行して、人物ＰＳ［ｇ］の感情に応じた感情情報が人物ＰＳ［ｉ］の端末装置１０［ｉ］に伝達されて人物ＰＳ［ｉ］に通知される。即ち、上述のステップＳ１０、Ｓ２０及びＳ３０から成る処理群は、人物ＰＳ［１］～ＰＳ［ｎ］を個別に対象人物とみなした上で、人物ＰＳ［１］～ＰＳ［ｎ］の夫々に対して実行される。このため、人物ＰＳ［１］の感情情報は端末装置１０［２］～１０［ｎ］に伝達されて人物ＰＳ［２］～ＰＳ［ｎ］に通知され、人物ＰＳ［２］の感情情報は端末装置１０［１］及び１０［３］～１０［ｎ］に伝達されて人物ＰＳ［１］及びＰＳ［３］～ＰＳ［ｎ］に通知され、・・・、人物ＰＳ［ｎ］の感情情報は端末装置１０［１］～１０［ｎ－１］に伝達されて人物ＰＳ［１］～ＰＳ［ｎ－１］に通知される。

【0061】

図９（ａ）及び（ｂ）を参照し、各端末装置１０には、対応する人物の感情情報を取得するための感情情報取得部２０が設けられており、端末装置１０［ｉ］に設けられた感情情報取得部２０を特に記号“２０［ｉ］”にて参照する。感情情報取得部２０［１］は人物ＰＳ［１］の感情に応じた感情情報を取得する感情情報取得処理を実行し、感情情報取得部２０［２］は人物ＰＳ［２］の感情に応じた感情情報を取得する感情情報取得処理を実行する。感情情報取得部２０［３］等も同様である。取得部２０［ｉ］は端末制御部１３［ｉ］が端末用プログラムＰＧ１を実行することで実現される機能ブロックである。取得部２０［ｉ］についての説明は、取得部２０［１］～２０［ｎ］の夫々に適用される。

【0062】

取得部２０［ｉ］にて実行される感情情報取得処理は、人物ＰＳ［ｉ］の感情がｆ種類の分類先感情の何れに分類されるのかを判断する感情分類処理を少なくとも含み、その分類結果が人物ＰＳ［ｉ］の感情情報に含められる。ｆは２以上の任意の整数である。ｆ種類の分類先感情は、例えば、「喜び」、「受容」、「恐れ」、「驚き」、「悲しみ」、「嫌悪」、「怒り」、「期待」、「平静」及び「その他」の計１０種類の分類先感情から成る。但し、上述したように“ｆ≧２”であれば任意であり、人物ＰＳ［ｉ］の感情の分類の仕方も任意である。故に例えば、取得部２０［ｉ］は人物ＰＳ［ｉ］の感情がポジティブ感情及びネガティブ感情の何れに属するのかを２段階で分類判定するものであっても良い（この場合、ポジティブ感情及びネガティブ感情が計２種類の分類先感情となる）。

【0063】

更に、取得部２０［ｉ］にて実行される感情情報取得処理は、上記感情分類処理に加え、人物ＰＳ［ｉ］の感情レベルを決定及び判断する感情レベル決定処理を更に含んでいても良い。取得部２０［ｉ］にて実行される感情情報取得処理に感情レベル決定処理が含まれる場合、人物ＰＳ［ｉ］の感情レベルの決定及び判断結果も人物ＰＳ［ｉ］の感情情報に含められる。人物ＰＳ［ｉ］の感情レベルは、人物ＰＳ［ｉ］の感情の度合いを表す。ここでは、例として、感情レベルが第１～第５レベルの中から決定されるものとする。任意の自然数ｓに関し、第（ｓ＋１）レベルに対応する感情の度合いは第ｓレベルに対応する感情の度合いよりも強いものとする。故に、第１～第５レベルの内、第５レベルにおいて感情の度合いが最も強く、第１レベルにおいて感情の度合いが最も弱い。また、第（ｓ＋１）レベルは第ｓレベルよりも高いと考える。例えば、人物ＰＳ［ｉ］の感情が「怒り」の感情に属すると判断した場合、取得部２０［ｉ］は、更に感情レベル決定処理を実行することができ、これにより、人物ＰＳ［ｉ］の「怒り」の感情の度合いが第１～第５レベルの何れに属するのかを決定及び判断することができる。

【0064】

端末装置１０［ｇ］にて表示される人物ＰＳ［ｉ］の感情情報に応じた感情通知画像は、人物ＰＳ［ｉ］の感情情報にて示される人物ＰＳ［ｉ］の感情を人物ＰＳ［ｇ］が認識できる限り、任意である。即ち例えば、人物ＰＳ［ｉ］の感情情報にて示される人物ＰＳ［ｉ］の感情が「怒り」の感情である場合、「怒り」の感情を表したような所定の怒りアイコン画像を人物ＰＳ［ｉ］の感情を表す感情通知画像として表示部１４［ｇ］に表示し、人物ＰＳ［ｉ］の感情情報にて示される人物ＰＳ［ｉ］の感情が「喜び」の感情である場合、「喜び」の感情を表したような所定の喜びアイコン画像を人物ＰＳ［ｉ］の感情を表す感情通知画像として表示部１４［ｇ］に表示する。これらの各アイコン画像は各端末装置１０の記憶部１２に予め格納されていて良い。

【0065】

上記感情レベル決定処理の実行により、人物ＰＳ［ｉ］の感情情報に人物ＰＳ［ｉ］の感情レベルも含まれている場合には、人物ＰＳ［ｉ］の感情レベルに応じて表示部１４［ｇ］に表示される感情通知画像の詳細を変化させると良い。

【0066】

本実施例によれば、カメラ画像出力条件がオフに設定されていても、相手の感情を察することが可能となり（即ち相手の表情を伺うのと同様の効果が得られ）、以って会議（電子会議）を円滑に進めることができると考えられる。

【0067】

＜＜第２実施例＞＞
第２実施例を説明する。第２実施例は第１実施例と組み合わせて実施される。第２実施例に係る感情情報取得部２０［ｉ］は、人物ＰＳ［ｉ］の感情の影響を受ける感情推定用情報に基づいて人物ＰＳ［ｉ］の感情を推定し、その推定結果に基づき人物ＰＳ［ｉ］の感情情報を取得する。この推定により、少なくとも上述の感情分類処理が実現され、更に感情レベル決定処理が実現されても良い。

【0068】

例えば、人物ＰＳ［ｉ］の感情推定用情報は人物ＰＳ［ｉ］の撮影画像情報を含んでいると良い。人物ＰＳ［ｉ］の撮影画像情報は、端末装置１０［ｉ］のカメラ部１６［ｉ］にて得られるカメラ画像の画像信号であり、このカメラ画像に少なくとも人物ＰＳ［ｉ］の顔画像（カメラ部１６［ｉ］にて撮影された人物ＰＳ［ｉ］の顔の画像）が含まれる。人物の顔画像から当該人物の感情を推定する方法は公知であるため、その方法の説明を省略する。取得部２０［ｉ］は、人物の顔画像から当該人物の感情を推定する任意の方法を利用できる。また、カメラ部１６［ｉ］にて得られるカメラ画像の画像信号（即ち人物ＰＳ［ｉ］の撮影画像情報）には人物ＰＳ［ｉ］の視線情報も含まれる。人物ＰＳ［ｉ］の視線情報は人物ＰＳ［ｉ］の視線の向き及び動きを表す情報であり、人物ＰＳ［ｉ］の視線情報と人物ＰＳ［ｉ］の感情に相関があることが知られている。このため、人物ＰＳ［ｉ］の視線情報も参照して人物ＰＳ［ｉ］の感情の推定を行っても良い。この他、人物ＰＳ［ｉ］の撮影画像情報から人物ＰＳ［ｉ］の顔及び体の動きを検出して、その動きの検出結果に基づき人物ＰＳ［ｉ］の感情の推定を行っても良い。

【0069】

或いは例えば、人物ＰＳ［ｉ］の感情推定用情報は人物ＰＳ［ｉ］の発話音声情報を含んでいても良い。人物ＰＳ［ｉ］の発話音声情報は、人物ＰＳ［ｉ］の発話内容を示す音声信号であり、端末装置１０［ｉ］のマイクロホン１７［ｉ］の出力音声信号に人物ＰＳ［ｉ］の発話音声情報が含まれる。取得部２０は、人物ＰＳ［ｉ］の発話音声情報から人物ＰＳ［ｉ］の感情を推定することができる。人物の発話音声情報から当該人物の感情を推定する方法は公知であるため、その方法の説明を省略する。取得部２０［ｉ］は、人物の発話音声情報から当該人物の感情を推定する任意の方法を利用できる。

【0070】

更に或いは例えば、人物ＰＳ［ｉ］の感情推定用情報は人物ＰＳ［ｉ］の生体情報を含んでいても良い。この際、センサ部１９［ｉ］（図５参照）にて人物ＰＳ［ｉ］の生体情報が検出及び取得される。人物ＰＳ［ｉ］の生体情報は、例えば、人物ＰＳ［ｉ］の心拍、脳波、体温、血流及び発汗状態などを表す。人物の生体情報から当該人物の感情を推定する方法は公知であるため、その方法の説明を省略する。取得部２０［ｉ］は、人物の生体情報から当該人物の感情を推定する任意の方法を利用できる。

【0071】

人物ＰＳ［ｉ］の感情推定用情報は、人物ＰＳ［ｉ］の撮影画像情報、発話音声情報及び生体情報の内、任意の１つの情報又は任意の２つ情報を含むものであっても良いし、人物ＰＳ［ｉ］の撮影画像情報、発話音声情報及び生体情報を全て含んでいても良い。推定に用いる情報の種類が増えるほど推定の精度が高まると期待される。

【0072】

本実施例によれば、カメラ画像出力条件がオフに設定されていても、会議の各参加者の手を煩わせることなく、各参加者が相手の感情を察することが可能となる。

【0073】

尚、第２実施例において、ステップＳ１０、Ｓ２０及びＳ３０の処理から成る一連の処理群は所定周期で繰り返し実行されて良い。例えば、図１０に示す如く、電子会議開催期間を、所定周期分の長さを有するフレームを単位に複数に分割する。実際には、電子会議開催期間の開始後、所定周期が経過するごとに新たなフレームが設定され、これにより最終的には電子会議開催期間に複数のフレームが設定される。そして、ステップＳ１０では、フレームごとにフレーム内の感情推定用情報に基づいて人物ＰＳ［ｉ］の感情を推定し、その推定結果に基づき人物ＰＳ［ｉ］の感情情報を取得すれば良い。ステップＳ２０において端末装置１０［ｉ］及び１０［ｇ］間で伝達される感情情報、及び、ステップＳ３０において端末装置１０［ｇ］に表示される人物ＰＳ［ｉ］の感情情報は、ステップＳ１０で取得された最新の感情情報により更新されると良い。

【0074】

＜＜第３実施例＞＞
第３実施例を説明する。第３実施例は第１実施例と組み合わせて実施される。第３実施例に係る感情情報取得部２０［ｉ］は、端末装置１０［ｉ］の操作部１５［ｉ］にて人物ＰＳ［ｉ］からの感情指定操作の入力を受け付け、操作部１５［ｉ］にて受けた感情指定操作の内容に基づいて人物ＰＳ［ｉ］の感情情報を取得する。

【0075】

感情指定操作により、少なくとも上述の感情分類処理が実現される。即ち、感情指定操作は、人物ＰＳ［ｉ］の感情がｆ種類の分類先感情の何れに分類されるのかを指定する感情分類指定操作を含み、この感情分類指定操作の指定内容に従って、取得部２０［ｉ］は人物ＰＳ［ｉ］の感情情報（詳細には、人物ＰＳ［ｉ］の感情がｆ種類の分類先感情の何れに分類されるのかを示す情報）を設定及び取得する。

【0076】

感情指定操作に基づき更に上述の感情レベル決定処理が実現されても良い。即ち、感情指定操作は、人物ＰＳ［ｉ］の感情レベルを指定する感情レベル指定操作を含んでいても良く、この場合、感情レベル指定操作の指定内容に従って、取得部２０［ｉ］は人物ＰＳ［ｉ］の感情情報（詳細には、人物ＰＳ［ｉ］の感情レベルを示す情報）を設定及び取得する。

【0077】

感情指定操作の態様は任意であり、例えばリストからの選択又はテキスト入力により感情指定操作が構成されて良い。

【0078】

本実施例によれば、第２実施例で述べたような推定を必要とすることなく、自身の感情を相手に通知する、又は、相手の感情を知ることが可能となる。相手に自身の心の内を明かしたくない場合には、指定の感情（場合によっては虚偽の感情）を相手に通知するといったことも可能である。

【0079】

尚、第３実施例において、ステップＳ１０、Ｓ２０及びＳ３０の処理から成る一連の処理群は所定周期で繰り返し実行されて良い。ステップＳ２０において端末装置１０［ｉ］及び１０［ｇ］間で伝達される感情情報、及び、ステップＳ３０において端末装置１０［ｇ］に表示される人物ＰＳ［ｉ］の感情情報は、ステップＳ１０で取得された最新の感情情報により更新されると良い。

【0080】

＜＜第４実施例＞＞
第４実施例を説明する。第４実施例は第１実施例と組み合わせて実施され、第２実施例に示した技術と第３実施例に示した技術が第４実施例に組み込まれる。

【0081】

図１１に第４実施例における人物ＰＳ［ｉ］の感情情報の設定及び取得の概念図を示す。第４実施例に係る感情情報取得部２０［ｉ］は、第２実施例にて感情情報を生成する処理に相当する推定情報生成処理と、第３実施例にて感情情報を生成する処理に相当する手動情報生成処理と、の双方を実行できる。但し、第４実施例において、推定情報生成処理にて生成された情報及び手動情報生成処理にて生成された情報は、ステップＳ１０にて取得されるべき感情情報の候補として機能する。

【0082】

即ち、推定情報生成処理において、取得部２０［ｉ］は、第２実施例に示した方法により、人物ＰＳ［ｉ］の感情推定用情報に基づいて人物ＰＳ［ｉ］の感情を推定し、その推定結果に基づき人物ＰＳ［ｉ］の感情に関わる第１候補情報を生成する。人物ＰＳ［ｉ］の感情に関わる第１候補情報は、第２実施例で取得されるべき人物ＰＳ［ｉ］の感情情報と同じである。また、手動情報生成処理において、取得部２０［ｉ］は、第３実施例に示した方法により、端末装置１０［ｉ］の操作部１５［ｉ］にて人物ＰＳ［ｉ］からの感情指定操作の入力を受け付け、操作部１５［ｉ］にて受けた感情指定操作の内容に基づき人物ＰＳ［ｉ］の感情に関わる第２候補情報を生成する。人物ＰＳ［ｉ］の感情に関わる第２候補情報は、第３実施例で取得されるべき人物ＰＳ［ｉ］の感情情報と同じである。そして、取得部２０［ｉ］は、第１候補情報又は第２候補情報を人物ＰＳ［ｉ］の感情情報に設定する（即ち第１候補情報又は第２候補情報を人物ＰＳ［ｉ］の感情情報として取得する）。

【0083】

手動情報生成処理に基づく第２候補情報は感情指定操作があった場合にのみ生成される。取得部２０［ｉ］は、感情指定操作があった場合には手動情報生成処理で生成された第２候補情報を人物ＰＳ［ｉ］の感情情報に設定する（即ち第２候補情報を人物ＰＳ［ｉ］の感情情報として取得する）。第２候補情報が人物ＰＳ［ｉ］の感情情報に設定された場合には、感情指定操作に基づく人物ＰＳ［ｉ］の感情情報が端末装置１０［ｇ］に伝達されて人物ＰＳ［ｇ］に通知される。

【0084】

取得部２０［ｉ］は、感情指定操作がなかった場合には推定情報生成処理で生成された第１候補情報を人物ＰＳ［ｉ］の感情情報に設定する（即ち第１候補情報を人物ＰＳ［ｉ］の感情情報として取得する）。第１候補情報が人物ＰＳ［ｉ］の感情情報に設定された場合には、上記推定結果に基づく人物ＰＳ［ｉ］の感情情報が端末装置１０［ｇ］に伝達されて人物ＰＳ［ｇ］に通知される。

【0085】

人物ＰＳ［ｉ］の感情情報に関し、端末装置１０［ｉ］の動作モードは、第１候補情報が人物ＰＳ［ｉ］の感情情報に設定されて端末装置１０［ｇ］に伝達される第１モード、又は、第２候補情報が人物ＰＳ［ｉ］の感情情報に設定されて端末装置１０［ｇ］に伝達される第２モードに設定される、と言える。端末装置１０［ｉ］の動作モードが第１モードに設定されている状態での端末装置１０［ｉ］の動作は第２実施例と同様であり、端末装置１０［ｉ］の動作モードが第２モードに設定されている状態での端末装置１０［ｉ］の動作は第３実施例と同様である。端末装置１０［ｉ］の動作モードを第１又は第２モードに設定するモード設定部（不図示）が端末制御部１３［ｉ］に設けられている、と考えることができる。

【0086】

端末装置１０［ｉ］の動作モードは原則として第１モードに設定される。即ち、端末装置１０［ｉ］の動作モードは、操作部１５［ｉ］に感情指定操作が入力されない限り、第１モードに維持される。端末装置１０［ｉ］の動作モードが第１モードに設定されている状態を起点に、操作部１５［ｉ］に対して感情指定操作が入力されると、端末装置１０［ｉ］の動作モードが第１モードから第２モードに切り替わる。以後、例えば、操作部１５［ｉ］に所定の解除操作が入力されるまで端末装置１０［ｉ］の動作モードが第２モードに維持され、操作部１５［ｉ］に所定の解除操作が入力されたことを契機に端末装置１０［ｉ］の動作モードが第１モードに戻される。或いは例えば、端末装置１０［ｉ］の動作モードが第１モードから第２モードに切り替わった後、所定時間（例えば１０秒）が経過すると、端末装置１０［ｉ］の動作モードが第２モードから第１モードに戻るようにしても良い。

【0087】

本実施例によれば、第２実施例の効果と第３実施例の効果の双方を奏することができる。即ち、原則として、推定情報生成処理を通じ会議の各参加者の手を煩わせることなく相手の感情を察することができるようになる一方で、相手に自身の心の内を明かしたくない場合などに限り指定の感情（場合によっては虚偽の感情）を相手に通知するといったことが可能となる。

【0088】

＜＜第５実施例＞＞
第５実施例を説明する。第４実施例において、推定情報生成処理による人物ＰＳ［ｉ］の感情の推定結果が所定の通知判定条件を満たすとき、端末装置１０［ｉ］は、人物ＰＳ［ｉ］に対して感情指定操作の入力に関わる手動入力示唆通知を行っても良い。これを第５実施例として説明する。第５実施例は第４実施例に応用技術を付加した実施例であり、第４実施例と組み合わせて実施される。

【0089】

図１２（ａ）及び（ｂ）を参照し、各端末装置１０には上記の手動入力示唆通知を行うための手動入力示唆通知部２２が設けられており、端末装置１０［ｉ］に設けられた手動入力示唆通知部２２を特に記号“２２［ｉ］”にて参照する。通知部２２［１］は人物ＰＳ［１］に対して手動入力示唆通知を行い、通知部２２［２］は人物ＰＳ［２］に対して手動入力示唆通知を行う。通知部２２［３］等も同様である。通知部２２［ｉ］は端末制御部１３［ｉ］が端末用プログラムＰＧ１を実行することで実現される機能ブロックである。通知部２２［ｉ］についての説明は、通知部２２［１］～２２［ｎ］の夫々に適用される。

【0090】

図１３を参照して第５実施例の動作を説明する。第５実施例では、図１３に示されるステップＳ１１～Ｓ１８の処理を図８のステップＳ１０にて実行する。各端末装置１０においてステップＳ１１～Ｓ１８の処理を実行することができるが、ここでは、説明の具体化のため、端末装置１０［ｉ］に注目し、端末装置１０［ｉ］で実行されるステップＳ１１～Ｓ１８の処理を説明する。端末装置１０［ｉ］における端末制御部１３［ｉ］が端末用プログラムＰＧ１を実行することでステップＳ１１～Ｓ１８の処理が実行される。図１３の動作はステップＳ１１の処理から始まる。

【0091】

ステップＳ１１において、感情情報取得部２０［ｉ］は推定情報生成処理を実行し、人物ＰＳ［ｉ］の感情を推定することで第１候補情報を取得する。続くステップＳ１２において、端末制御部１３［ｉ］は操作部１５［ｉ］に感情指定操作が入力されたかを確認し、感情指定操作の入力があった場合には（ステップＳ１２のＹ）ステップＳ１２からステップＳ１６に進む一方で、感情指定操作の入力がなかった場合には（ステップＳ１２のＮ）ステップＳ１２からステップＳ１３に進む。

【0092】

ステップＳ１３において、端末制御部１３［ｉ］（例えば端末制御部１３［ｉ］に内包される条件成否判定部（不図示））は、ステップＳ１１における人物ＰＳ［ｉ］の感情の推定結果に基づき、所定の通知判定条件の成否を判定する。通知判定条件の内容については後述される。ステップＳ１３において通知判定条件が成立していると判定された場合には（ステップＳ１３のＹ）ステップＳ１４に進み、そうでない場合には（ステップＳ１３のＮ）ステップＳ１８に進む。

【0093】

ステップＳ１４において、手動入力示唆通知部２２［ｉ］は人物ＰＳ［ｉ］に対して感情指定操作の入力に関わる手動入力示唆通知を行う。手動入力示唆通知部２２［ｉ］により実行される手動入力示唆通知は、感情指定操作の存在を人物ＰＳ［ｉ］に認識させる任意の通知であって良く、例えば、人物ＰＳ［ｉ］に対して感情指定操作の入力を促す又は推奨する第１示唆通知でも良いし、人物ＰＳ［ｉ］に対して感情指定操作の入力の必要性を問い合わせる第２示唆通知であっても良いし、人物ＰＳ［ｉ］に対して感情指定操作の入力が可能であることを知らせる第３示唆通知であっても良い。人物ＰＳ［ｉ］の知覚に訴える任意の方法で手動入力示唆通知を行って良い。但し、音声による手動入力示唆通知は会議の進行阻害等を招きうるので手動入力示唆通知は視覚的な通知であると良い。即ち例えば、手動入力示唆通知部２２［ｉ］による手動入力示唆通知は、感情指定操作の入力に関わる示唆画像（例えば上記第１、第２又は第３示唆通知を実現するテキスト画像等）を表示部１４［ｉ］に表示する通知であると良い。

【0094】

ステップＳ１４にて手動入力示唆通知を行った後、ステップＳ１５において、端末制御部１３［ｉ］により操作部１５［ｉ］に感情指定操作が入力されたか否かが監視される。ステップＳ１４にて手動入力示唆通知を行った後、所定のタイムタウト時間が経過するまでに操作部１５［ｉ］に感情指定操作が入力された場合には（ステップＳ１５のＹ）ステップＳ１５からステップＳ１６に進み、そうでない場合には（ステップＳ１５のＮ）ステップＳ１５からステップＳ１８に進む。ステップＳ１４にて手動入力示唆通知を行った後、操作部１５［ｉ］に所定のキャンセル操作が入力された場合は、即座に、ステップＳ１５からステップＳ１８に進むようにしても良い。

【0095】

ステップＳ１６において、感情情報取得部２０［ｉ］は、操作部１５［ｉ］に入力された感情指定操作に基づく手動情報生成処理を実行することで人物ＰＳ［ｉ］についての第２候補情報を生成する。ステップＳ１６に続くステップＳ１７において、感情情報取得部２０［ｉ］は、ステップＳ１６にて生成された第２候補情報を人物ＰＳ［ｉ］の感情情報に設定する。第２候補情報が人物ＰＳ［ｉ］の感情情報に設定された場合には、感情指定操作に基づく人物ＰＳ［ｉ］の感情情報が端末装置１０［ｇ］に伝達されて人物ＰＳ［ｇ］に通知される。

【0096】

一方、ステップＳ１８において、感情情報取得部２０［ｉ］は、ステップＳ１１にて生成された第１候補情報を人物ＰＳ［ｉ］の感情情報に設定する。第１候補情報が人物ＰＳ［ｉ］の感情情報に設定された場合には、上記推定結果に基づく人物ＰＳ［ｉ］の感情情報が端末装置１０［ｇ］に伝達されて人物ＰＳ［ｇ］に通知される。

【0097】

推定情報生成処理の結果に基づく通知判定条件の成否の例を説明する。推定情報生成処理の中で、推定を通じた上記感情分類処理により人物ＰＳ［ｉ］の感情がｆ種類の分類先感情の何れに分類されるのかが判断（推定）され、推定を通じた上記感情レベル決定処理により人物ＰＳ［ｉ］の感情レベルが判断（推定）される。

【0098】

例えば、通知判定条件は、推定情報生成処理における感情分類処理により人物ＰＳ［ｉ］の感情が特定の分類先感情に分類されたときに成立する。特定の分類先感情は、例えば「怒り」の感情である。この場合、人物ＰＳ［ｉ］が「怒り」の感情を抱き、それが正しく推定されたとき、通知判定条件が成立する。このとき、「怒り」の感情情報が人物ＰＳ［ｇ］に通知されることを人物ＰＳ［ｉ］が望まないならば、人物ＰＳ［ｉ］は感情指定操作を入力することで真の感情を隠すことができる。尚、特定の分類先感情は「怒り」の感情以外でも良い。

【0099】

或いは例えば、通知判定条件は、推定情報生成処理における感情レベル決定処理により人物ＰＳ［ｉ］の感情レベルが所定レベル以上であると判断（推定）されたときに成立する。例えば、人物ＰＳ［ｉ］の感情レベルが第４レベル以上であると判断（推定）されたときに通知判定条件が成立して良い。このとき、高い感情レベルが人物ＰＳ［ｇ］に通知されることを人物ＰＳ［ｉ］が望まないならば、人物ＰＳ［ｉ］は感情指定操作を入力することで感情レベルの高まりを隠すことができる。推定情報生成処理における感情分類処理により人物ＰＳ［ｉ］の感情が特定の分類先感情に分類され、且つ、推定情報生成処理における感情レベル決定処理により人物ＰＳ［ｉ］の感情レベルが所定レベル以上であると判断（推定）されたときに通知判定条件が成立するものであっても良い。

【0100】

更に或いは例えば、通知判定条件は、推定情報生成処理にて推定された人物ＰＳ［ｉ］の感情の変化が大きいときに成立するであっても良い。感情の大きな変化は人物ＰＳ［ｉ］の動揺を表すと考えられる。より具体的には例えば、推定情報生成処理にて推定された人物ＰＳ［ｉ］の感情レベルの所定時間内での変化量が所定値以上であるとき、通知判定条件が成立しても良い。このとき、感情の大きな変化（動揺）が人物ＰＳ［ｇ］に通知されることを人物ＰＳ［ｉ］が望まないならば、人物ＰＳ［ｉ］は感情指定操作を入力することで感情に大きな変化が生じたことを隠すことができる。

【0101】

また例えば、人物ＰＳ［ｉ］が操作部１５［ｉ］に対し所定の設定操作を入力することで、端末装置１０［ｉ］における通知判定条件が自在に設定されるようにしても良い。

【0102】

本実施例の如く手動入力示唆通知を行い得るようにしておくことで、人物ＰＳ［ｉ］の特定の感情や感情の起伏など、相手側に知られたくない感情情報の相手側への通知を効果的に抑制できる。

【0103】

＜＜第６実施例＞＞
第６実施例を説明する。第６実施例は第１～第５実施例を含む任意の実施例と組み合わせ可能である。図１４（ａ）及び（ｂ）を参照し、各端末装置１０には画像処理部２４が設けられており、端末装置１０［ｉ］に設けられた画像処理部２４を特に記号“２４［ｉ］”にて参照する。画像処理部２４［ｉ］は端末制御部１３［ｉ］が端末用プログラムＰＧ１を実行することで実現される機能ブロックであっても良いし、端末制御部１３［ｉ］とは別に設けられたプロセッサであっても良い。また、各端末装置１０には登録画像群データ２５及び加工用データ２６が与えられる。端末装置１０［ｉ］における登録画像群データ２５及び加工用データ２６を特に記号“２５［ｉ］”、“２６［ｉ］”にて参照する。登録画像群データ２５［ｉ］及び加工用データ２６［ｉ］は記憶部１２［ｉ］（図５参照）内に予め記憶されたデータであって良いし、電子会議の開始に先立ってサーバ装置３０から端末装置１０［ｉ］に送信されるデータであっても良い。

【0104】

図１５に示す如く、人物ＰＳ［１］～ＰＳ［ｎ］の顔に対応する計ｎ個の登録画像ＲＩ［１］～ＲＩ［ｎ］が予め会議システムＳＹＳに登録及び設定されている。登録画像ＲＩ［ｉ］は人物ＰＳ［ｉ］の顔に対応する静止画像である。登録画像ＲＩ［ｉ］は、人物ＰＳ［ｉ］の顔を撮影することで得られた画像そのものであっても良いし、人物ＰＳ［ｉ］の顔を模したアニメーション画像であっても良い。

【0105】

各端末装置１０の登録画像群データ２５に登録画像ＲＩ［１］～ＲＩ［ｎ］の画像データが含まれる。但し、人物ＰＳ［ｉ］に対応する端末装置１０［ｉ］の登録画像群データ２５［ｉ］に当該人物ＰＳ［ｉ］の登録画像ＲＩ［ｉ］の画像データは含まれていなくて良い。

【0106】

加工用データ２６は各登録画像を感情情報に応じて加工するために参照されるデータである。この加工を画像処理部２４にて行い、加工後の登録画像をステップＳ３０の感情通知画像（図８参照）として表示する。人物ＰＳ［ｉ］の感情情報に基づく感情通知画像を端末装置１０［ｇ］で表示する際の動作を具体的に説明する。図８のステップＳ１０及びＳ２０により人物ＰＳ［ｉ］の感情情報が端末装置１０［ｉ］から端末装置１０［ｇ］に伝達される。ステップＳ３０において、端末装置１０［ｇ］における画像処理部２４［ｇ］は登録画像群データ２５［ｇ］から人物ＰＳ［ｉ］に対応する登録画像ＲＩ［ｉ］を読み出し、加工用データ２６［ｇ］に基づき登録画像ＲＩ［ｉ］を人物ＰＳ［ｉ］の感情情報に応じて加工する。この加工後の登録画像ＲＩ［ｉ］が人物ＰＳ［ｉ］の感情を表す感情通知画像として表示部１４［ｇ］にて表示される。例えば、人物ＰＳ［ｉ］の感情情報にて示される人物ＰＳ［ｉ］の感情が「怒り」の感情であるとき、画像処理部２４［ｇ］は、加工後の登録画像ＲＩ［ｉ］が「怒り」の感情を表出させた人物ＰＳ［ｉ］の顔を模した画像となるように、登録画像ＲＩ［ｉ］を加工する。この際、人物ＰＳ［ｉ］の感情情報に感情レベルが含まれるのであれば、その感情レベルに応じて加工の内容を変化させて良い。

【0107】

本実施例によれば、カメラ画像出力条件がオフに設定されていても、加工後の登録画像を見ることで相手の感情を察することが可能となる（即ち相手の表情を伺うのと同様の効果が得られる）。

【0108】

＜＜第７実施例＞＞
第７実施例を説明する。第７実施例では上述の第６実施例に対して応用技術を付加する。会議システムＳＹＳにおいて、人物ＰＳ［１］～ＰＳ［ｎ］の発話内容を夫々にテキストデータに変換する音声認識処理が実行されて良い。ここでは音声認識処理がサーバ制御部３３にて実行されると考える。サーバ制御部３３は、電子会議開催期間において人物ＰＳ［ｉ］の発話があったとき、人物ＰＳ［ｉ］の発話内容の音声信号を含むマイクロホン１７［ｉ］の出力音声信号を端末装置１０［ｉ］から受信し、その受信信号に対して音声認識処理を施すことで人物ＰＳ［ｉ］の発話内容をテキストデータに変換する。サーバ装置３０は、このテキストデータ（人物ＰＳ［ｉ］の発話内容を表すテキストデータ）を端末装置１０［ｉ］以外の各端末装置１０に送信する。また、これと並行して、サーバ制御部３３は、人物ＰＳ［ｉ］の感情情報も端末装置１０［ｉ］以外の各端末装置１０に送信する。

【0109】

このとき、端末装置１０［ｉ］以外の端末装置１０の代表である端末装置１０［ｇ］は以下のように動作する。人物ＰＳ［ｉ］の感情情報及び人物ＰＳ［ｉ］の発話内容を表すテキストデータ（以下、テキストデータＴＸＴ［ｉ］と称する）を受けた端末装置１０［ｇ］において、画像処理部２４［ｇ］は、登録画像群データ２５［ｇ］から人物ＰＳ［ｉ］に対応する登録画像ＲＩ［ｉ］を読み出し、加工用データ２６［ｇ］を参照しつつ登録画像ＲＩ［ｉ］を元に人物ＰＳ［ｉ］の感情情報及びテキストデータＴＸＴ［ｉ］に応じた動画像を生成する。この動画像が感情通知画像として表示部１４［ｇ］にて表示される。この動画像は、登録画像ＲＩ［ｉ］を、人物ＰＳ［ｉ］の感情情報に応じて且つテキストデータＴＸＴ［ｉ］に応じて加工することで得られる画像である。例えば、人物ＰＳ［ｉ］の感情情報にて示される人物ＰＳ［ｉ］の感情が「怒り」の感情であるとき、「怒り」の感情を表出させた人物ＰＳ［ｉ］の顔を模した画像が人物ＰＳ［ｉ］の発言内容に沿って動くような動画像を生成する。

【0110】

本実施例によれば、カメラ画像出力条件がオフに設定されていても、感情に関わる表情を含めて、実際に相手がしゃべっている様子を示したような動画像を表示することができる。これにより相手の感情を察することが可能となる（即ち相手の表情を伺うのと同様の効果が得られる）。

【0111】

尚、端末装置１０［ｉ］において感情指定操作が入力されていた場合にあっては、その感情指定操作に基づいて生成された人物ＰＳ［ｉ］の感情情報に基づき、人物ＰＳ［ｉ］の発話内容の音声信号を含むマイクロホン１７［ｉ］の出力音声信号を加工する音声信号加工処理を実行して良い。この場合、音声信号加工処理後のマイクロホン１７［ｉ］の出力音声信号が端末装置１０［ｇ］にて音声出力される。即ち例えば、端末装置１０［ｉ］において感情指定操作が入力され、その感情指定操作が「怒り」の感情を指定しているとき、人物ＰＳ［ｉ］の発話内容を表すマイクロホン１７［ｉ］の出力音声信号を「怒り」の感情を含んだ音声信号に加工し、この加工後の音声信号を端末装置１０［ｇ］に送信して端末装置１０［ｇ］にて音声出力されるようにして良い。マイクロホン１７［ｉ］の出力音声信号を加工する音声信号加工処理は、端末装置１０［ｉ］内に設けられた音声信号処理部（不図示）にて実行される。但し、この音声信号加工処理をサーバ装置３０にて行うようにしても良い。

【0112】

＜＜第８実施例＞＞
第８実施例を説明する。第８実施例では会議データの記録及び再生に関わる動作例を説明する。第８実施例は上述の第１～第７実施例を含む任意の実施例と組み合わせ可能である。図１６に示す如く、サーバ装置３０には記録管理部４１、記録媒体４２、再生管理部４３、統計処理部４４及び統計通知部４５が設けられる。記録媒体４２はサーバ装置３０とは物理的に分離された記録媒体であっても良い。記録管理部４１、再生管理部４３、統計処理部４４及び統計通知部４５は、サーバ制御部３３が端末用プログラムＰＧ２を実行することで実現される機能ブロックである。尚、第８実施例の実現にあたり、統計処理部４４及び統計通知部４５は不要である。第８実施例では統計処理部４４及び統計通知部４５の機能について触れず、後述の他の実施例で統計処理部４４及び統計通知部４５の説明を設ける。

【0113】

記録管理部４１は、会議システムＳＹＳにおいて開催された会議（電子会議）に関わる会議データを記録媒体４２に記録させる。再生管理部４３は、何れかの端末装置１０からの要求信号の受信に応答して、記録媒体４２より会議データの全部又は一部を読み出し、読み出したデータを要求信号の送信元の端末装置１０に送信する。

【0114】

図１７に会議データの構造を示す。会議データは会議主データを含む。会議主データは、会議共有画像データ（換言すれば会議共有映像データ）、会議共有音声データ及び会議共有資料データを含む。

【0115】

電子会議開催期間（図１０参照）では、何れかの端末装置１０又はサーバ装置３０の制御の下で共有画像が設定され、端末装置１０［１］～１０［ｎ］の全てにおいて当該共有画像が表示される。会議共有画像データは、電子会議開催期間中における共有画像を示す画像データである。

【0116】

電子会議開催期間（図１０参照）においては、継続的に、各端末装置１０からマイクロホン１７の出力音声信号に基づく音声信号がサーバ装置３０に送信される。このため、人物ＰＳ［ｉ］の発話期間においては人物ＰＳ［ｉ］の発話内容を含む音声信号が端末装置１０［ｉ］からサーバ装置３０に送信される。端末装置１０［１］～１０［ｎ］の夫々からサーバ装置３０に送信される音声信号を全て包含する音声信号（即ち端末装置１０［１］～１０［ｎ］の夫々からサーバ装置３０に送信される音声信号の合成信号）が、電子会議開催期間の全体に亘り、会議共有音声データとして記録媒体４２に記録される。尚、各端末装置１０にはエコーキャンセラが設けられている。エコーキャンセラの機能により、端末装置１０［ｉ］からサーバ装置３０に送信される音声信号において、スピーカ１８［ｉ］の出力音の信号成分は除去又は十分に低減されている。また、記録媒体４２に記録される各データにはデータの生成又は取得日時を表すタイムスタンプ（時刻データ）が付加される。各データの再生時にはタイムスタンプに基づいて各データの同期がとられる他、タイムスタンプに基づき、指定された時間帯のデータの選択再生が可能となる。

【0117】

人物ＰＳ［１］～ＰＳ［ｎ］の何れかは、自身の端末装置１０を操作することで会議に対して資料データを登録することができる。この登録された資料データは会議共有資料データとして記録媒体４２に記録される。会議共有資料データは電子会議開催期間中に各端末装置１０上で表示され得る。

【0118】

各人物は会議データを任意のタイミングで任意の用途（例えば議事録作成用途）に利用できる。電子会議開催期間の終了後、人物ＰＳ［１］～ＰＳ［ｎ］の内の任意の人物ＰＳ［ｉ］が、端末装置１０［ｉ］の操作部１５［ｉ］に所定の第１再生要求操作を入力すると、端末制御部１３［ｉ］はサーバ装置３０に対して所定の第１要求信号を送信する。第１再生要求操作はパスワードの入力などによる認証操作を含むものであると良い。サーバ装置３０にて第１要求信号が受信されると、再生管理部４３は記録媒体４２から会議主データを読み出して、会議主データを端末装置１０［ｉ］に送信する。端末装置１０［ｉ］にて会議主データが受信されると、端末制御部１３［ｉ］の制御の下、会議主データが端末装置１０［ｉ］上で再生される。会議主データの再生は、会議共有画像データにて表される共有画像の表示部１４［ｉ］での表示と、会議共有音声データにて表される音声信号のスピーカ１８［ｉ］からの音声出力と、を含み、会議共有資料データの表示部１４［ｉ］での表示も更に含みうる。端末装置１０［ｉ］における会議主データの再生は、端末装置１０［ｉ］において過去に行われた会議の内容を再現するものである。即ち、電子会議開催期間の終了後、端末装置１０［ｉ］での会議主データの再生により、会議の中で端末装置１０［ｉ］で表示されていた共有画像が時系列に沿って再度表示されると共に会議の中での各人物の発話内容が時系列に沿って再度音声出力される。

【0119】

図１７に示す如く会議データは個別音声データと属性データの組を、１以上を含む。会議では各人物が発話を行う。個別音声データは各人物の発話ごとの発話の内容を表す音声データである。記録管理部４１は各発話に対応する属性データを作成して会議データに含める。

【0120】

電子会議開催期間において、マイクロホン１７［ｉ］の出力音声信号に基づき発話／沈黙期間設定処理が実行される。発話／沈黙期間設定処理では、人物ＰＳ［ｉ］が発話している期間である人物ＰＳ［ｉ］の発話期間及び人物ＰＳ［ｉ］が沈黙している期間である人物ＰＳ［ｉ］の沈黙期間を認識及び設定する。人物ＰＳ［１］の発話期間及び沈黙期間を設定するための発話／沈黙期間設定処理は端末制御部１３［１］より実行されて良く、人物ＰＳ［２］の発話期間及び沈黙期間を設定するための発話／沈黙期間設定処理は端末制御部１３［２］より実行されて良い。人物ＰＳ［３］等の発話期間及び沈黙期間の設定についても同様である。或いは、人物ＰＳ［１］～ＰＳ［ｎ］の夫々の発話期間及び沈黙期間を設定するための発話／沈黙期間設定処理をサーバ制御部３３にて実行しても良い。

【0121】

図１８に属性データの構造を示す。記録管理部４１は、電子会議開催期間において、時系列に沿って会議の参加者の発話ごとに固有の発話番号を割り当てる。そして、記録管理部４１は、各発話番号に対し、対応する発話者の発話内容を表す個別音声データと属性データとを互いに関連付けて会議データに含める。

【0122】

ここでは具体例として、電子会議開催期間において１番目に人物ＰＳ［１］が発話し、２番目に人物ＰＳ［６］が発話した場合を想定する。この場合、１番目の発話に対応して、記録管理部４１は、「００１」の発話番号を設定すると共に、人物ＰＳ［１］の発話期間中におけるマイクロホン１７［１］の出力音声信号を含む個別音声データＳＤ＿００１と、属性データＡＤ＿００１とを、「００１」の発話番号に関連づけて会議データに格納する。２番目の発話に対応して、記録管理部４１は、「００２」の発話番号を設定すると共に、人物ＰＳ［６］の発話期間中におけるマイクロホン１７［６］の出力音声信号を含む個別音声データＳＤ＿００２と、属性データＡＤ＿００２とを、「００２」の発話番号に関連付けて会議データに格納する。３番目以降の発話についても同様である。

【0123】

属性データは、対応する発話者が人物ＰＳ［１］～ＰＳ［ｎ］が何れであるのかを特定する発話者情報、対応する発話者による発話の開始時刻及び終了時刻を特定する発話時刻情報、対応する発話者の発話期間中の感情情報を含む。記録管理部４１は電子会議開催期間中において各端末装置１０からサーバ装置３０に送信される感情情報を属性データの作成に利用できる。

【0124】

上記具体例に関し、「００１」の発話番号に関連付けられた属性データＡＤ＿００１においては、発話者情報は個別音声データＳＤ＿００１に対応する発話者が人物ＰＳ［１］であることを示し、発話時刻情報は個別音声データＳＤ＿００１に対応する発話者（ＰＳ［１］）の発話期間の開始時刻及び終了時刻を示し、発話者の感情情報は個別音声データＳＤ＿００１に対応する発話者（ＰＳ［１］）の発話期間中の感情情報を示す。同様に、「００２」の発話番号に関連付けられた属性データＡＤ＿００２においては、発話者情報は個別音声データＳＤ＿００２に対応する発話者が人物ＰＳ［６］であることを示し、発話時刻情報は個別音声データＳＤ＿００２に対応する発話者（ＰＳ［６］）の発話期間の開始時刻及び終了時刻を示し、発話者の感情情報は個別音声データＳＤ＿００２に対応する発話者（ＰＳ［６］）の発話期間中の感情情報を示す。

【0125】

また、属性データは、対応する発話者の発話期間において共有画像として参照されていた資料のページ番号などを、更に含んでいて良い。

【0126】

尚、記録媒体４２において個別音声データと会議共有音声データとを別々に記録しておくことも可能であるが、会議共有音声データは全ての個別音声データを包含しているため、会議共有音声データを記録媒体４２に記録しておいて必要に応じ会議共有音声データから個別音声データを抽出するようにしても良い。

【0127】

本実施例において特筆すべきは、記録される会議データに発話者の感情情報が格納されている点である。会議データ中の発話者の感情情報を参照することで、参照者は発話者の発話当時の感情を推し量ることができる。これは、発話の意図の解釈等に役立つと考えられる。

【0128】

上述したように、各人物は会議データを任意のタイミングで任意の用途（例えば議事録作成用途）に利用できる。電子会議開催期間の終了後、人物ＰＳ［１］～ＰＳ［ｎ］の内の任意の人物ＰＳ［ｉ］が、端末装置１０［ｉ］の操作部１５［ｉ］に所定の第２再生要求操作を入力すると、端末制御部１３［ｉ］はサーバ装置３０に対して所定の第２要求信号を送信する。第２再生要求操作はパスワードの入力などによる認証操作を含むものであると良い。ここで、第２再生要求操作は属性データの取得を要求する操作であり、故に、第２要求信号は属性データの送信を要求する操作である。サーバ装置３０にて第２要求信号が受信されると、再生管理部４３は記録媒体４２から会議データに含まれる各属性データを読み出して、各属性データを端末装置１０［ｉ］に送信する。端末装置１０［ｉ］にて各属性データが受信されると、端末制御部１３［ｉ］の制御の下、各属性データが端末装置１０［ｉ］上で表示される。

【0129】

ここで、端末装置１０［ｉ］上で表示された全属性データの内、属性データＡＤ＿００１を指定する所定の第３再生要求操作が操作部１５［ｉ］に入力されたとき、端末制御部１３［ｉ］はサーバ装置３０に対して所定の第３要求信号を送信する。サーバ装置３０にて第３要求信号が受信されると、再生管理部４３は記録媒体４２から会議データに含まれる個別音声データＳＤ＿００１を読み出して、個別音声データＳＤ＿００１を端末装置１０［ｉ］に送信する。端末装置１０［ｉ］にて個別音声データＳＤ＿００１が受信されると、端末制御部１３［ｉ］の制御の下、個別音声データＳＤ＿００１が端末装置１０［ｉ］上で再生出力される。即ち、音声データＳＤ＿００１に含まれる音声信号（発話番号００１に対応する、人物ＰＳ［１］の発話期間中のマイクロホン１７［１］の出力音声信号）が端末装置１０［ｉ］上で音声出力される。属性データＡＤ＿００２等を指定する第３再生要求操作が操作部１５［ｉ］に入力された場合も同様である。

【0130】

＜＜第９実施例＞＞
第９実施例を説明する。第９実施例でも会議データの記録に関わる動作例を説明する。第９実施例は上述の第１～第８実施例を含む任意の実施例と組み合わせ可能である。第９実施例でも、第８実施例に示した会議データを記録媒体４２（図１６参照）に記録する。但し、第９実施例に係る記録管理部４１は、記録媒体４２に記録される会議データに、図１９に示すような付加データを追加する。

【0131】

付加データについて説明する。記録管理部４１において電子会議開催期間は時系列で並ぶ複数の単位期間に分割される。各単位期間は所定の単位時間分の長さを有する。単位時間の長さは任意であり、例えば、１分、１０秒又は５秒である。単位期間は図１０に示したフレームと一致していて良い。但し、複数のフレームにて単位期間が構成されていても良い。

【0132】

付加データは発話有無情報を含む。発話有無情報は、会議の参加者ごとに（即ち人物ＰＳ［１］～ＰＳ［ｎ］の夫々について）、当該参加者が電子会議開催期間中の各単位期間において発話していたか否かを示す。記録管理部４１は上述の発話／沈黙期間設定処理の設定結果に基づき発話有無情報を作成できる。

【0133】

付加データは感情時系列情報を含む。感情時系列情報は、会議の参加者ごとに（即ち人物ＰＳ［１］～ＰＳ［ｎ］の夫々について）、電子会議開催期間中の当該参加者の感情情報の時系列変化を表す。故に、人物ＰＳ［１］の各単位期間における感情情報、人物ＰＳ［２］の各単位期間における感情情報、・・・、及び、人物ＰＳ［ｎ］の各単位期間における感情情報が、感情時系列情報に含められる。記録管理部４１は電子会議開催期間中において各端末装置１０からサーバ装置３０に送信される感情情報に基づき感情時系列情報を作成できる。

【0134】

また、付加データは、各単位期間において共有画像として参照されていた資料のページ番号などを、更に含んでいて良い。

【0135】

本実施例において特筆すべきは、記録される会議データに各参加者の感情情報が格納されている点である。各参加者の感情情報を参照することで、参照者は電子会議開催期間中の各時刻における場の状況や各参加者の思惑を推し量ることができる。

【0136】

電子会議開催期間中の各時刻における場の雰囲気を解析するための機能ブロックとして統計処理部４４（図１６）を利用することができる。図２０に示す如く、統計処理部４４は、電子会議開催期間中の各時刻における人物ＰＳ［１］～ＰＳ［ｎ］の感情情報の統計をとることで感情統計データを生成する。統計処理部４４は、電子会議開催期間中にリアルタイムで感情統計データを生成しても良いし、電子会議開催期間の終了後の任意のタイミングで感情統計データを生成しても良い。

【0137】

具体的には例えば、統計処理部４４は、第１番目の単位期間における人物ＰＳ［１］～ＰＳ［ｎ］の感情情報の統計をとることで第１の感情統計データを生成し、第２番目の単位期間における人物ＰＳ［１］～ＰＳ［ｎ］の感情情報の統計をとることで第２の感情統計データを生成する。第３番目の単位期間についても同様である。ここでは、電子会議開催期間が第１～第ｍ番目の単位期間にて構成されると考える（ｍは２以上の任意の整数）。そうすると、第ｊ番目の単位期間における人物ＰＳ［１］～ＰＳ［ｎ］の感情情報の統計をとることで第ｊの感情統計データが生成されることになる（ｊはｍ以下の任意の自然数）。

【0138】

第ｊの感情統計データは人物ＰＳ［１］～ＰＳ［ｎ］の感情情報に基づく統計量であり、所定のアルゴリズムに従って人物ＰＳ［１］～ＰＳ［ｎ］から第ｊの感情統計データが生成される。単純には例えば、人物ＰＳ［ｉ］の感情がポジティブ感情及びネガティブ感情の何れに属するのかを２段階で分類判定することで人物ＰＳ［ｉ］の感情情報を生成する場合、第ｊ番目の単位期間における人物ＰＳ［１］～ＰＳ［ｎ］の感情情報の内、ポジティブ感情に分類された感情情報の個数ＶＡＬ［ｊ］をカウントし、カウント値ＶＡＬ［ｊ］を第ｊの感情統計データとして生成する。

【0139】

記録管理部４１は第１～第ｍの単位期間における感情統計データを会議データに含めて記録媒体４２に記録して良い。これにより、会議の場の雰囲気を任意のタイミングで確認するといったことが可能となる。

【0140】

また、電子会議開催期間中に感情統計データに基づく通知をリアルタイムに各端末装置１０にて行わせることも可能である。これは統計通知部４５（図１６参照）を用いて実現される。統計通知部４５について説明する。

【0141】

統計通知部４５は、各単位期間において感情統計データに基づく通知を各端末装置１０で行わせるための統計通知処理を実行する。統計通知処理で行われる通知は、電子会議開催期間中においてリアルタイムに行われる。このため、統計通知処理は、統計処理部４４において電子会議開催期間中にリアルタイムで感情統計データが生成されることを前提とする。

【0142】

電子会議開催期間において、第ｊ番目の単位期間についての第ｊの感情統計データが統計処理部４４にて生成されると、統計通知部４５は第ｊの感情統計データに基づく統計通知情報を各端末装置１０に送信する（図２１参照）。各端末装置１０において、統計通知情報が受信されると端末制御部１３は受信した統計通知情報を表す統計通知画像を表示部１４に表示させる。これにより、端末装置１０［ｉ］において統計通知情報が人物ＰＳ［ｉ］に通知される。

【0143】

図２２に統計通知画像が表示された状態での表示部１４の表示例を示す。図２２において、画像ＴＩが統計通知画像の例である。例えば、第ｊの感情統計データが上記のカウント値ＶＡＬ［ｊ］である場合、統計通知画像は、カウント値ＶＡＬ［ｊ］そのものを数値化した画像であっても良いし、画像ＴＩの如くカウント値ＶＡＬ［ｊ］をバー表示した画像であっても良い。

【0144】

統計通知画像の観察者は統計通知画像を見ることにより、参加者全体で形成される場の雰囲気（例えば盛り上がり度合い）を感じ取ることができ、もって会議の円滑な進行が促進されると期待される。

【0145】

尚、統計通知部４５は所定の通知条件が成立した場合にのみ統計通知情報を各端末装置１０に送信するようにしても良い。即ち例えば、第ｊの感情統計データが上記のカウント値ＶＡＬ［ｊ］である場合、カウント値ＶＡＬ［ｊ］が所定値以上であるときにのみ統計通知部４５は第ｊの感情統計データに基づく統計通知情報を各端末装置１０に送信するようにしても良い。これにより、例えば、会議の各参加者は、場の雰囲気が盛り上がっているか否か等をリアルタイムに認識することができる。

【0146】

また、端末装置１０の設定状態によっては統計通知画像が表示部１４に表示されないことがあっても良い。例えば、端末装置１０［１］及び１０［２］の設定状態に応じて、端末装置１０［１］では統計通知画像が表示されるが、端末装置１０［２］では統計通知画像が表示され得ないといったことがあっても良い。これを考慮すると、統計通知処理において、統計通知部４５は、感情統計データに基づく通知を端末装置１０［１］～１０［ｎ］の内、少なくとも１以上の端末装置１０で行わせる、と言える。

【0147】

＜＜第１０実施例＞＞
第１０実施例を説明する。第１０実施例では上述の各実施例に適用可能な応用技術、変形例技術又は注釈事項を説明する。

【0148】

上述の各実施例では、端末装置１０［１］～１０［ｎ］の夫々においてカメラ画像出力条件がオフに設定されていることが想定されており、各参加者が相手の表情を確認できないことに対応すべく感情情報の相互通知を行っている。仮に、端末装置１０［１］～１０［ｎ］の夫々においてカメラ画像出力条件がオンに設定されている場合には感情情報の相互通知を行わないようにしても良い（即ち図８のステップＳ１０、Ｓ２０及びＳ３０の処理を実行しないようにしても良い）。但し、端末装置１０［１］～１０［ｎ］の夫々においてカメラ画像出力条件がオンに設定されている場合であっても感情情報の相互通知を行うようにしても構わない（即ち図８のステップＳ１０、Ｓ２０及びＳ３０の処理を実行しても構わない）。また、端末装置１０［１］～１０［ｎ］の中に、カメラ画像出力条件がオンに設定されている端末装置１０とカメラ画像出力条件がオフに設定されている端末装置１０とが混在している場合にも感情情報の相互通知を行っても良い（即ち図８のステップＳ１０、Ｓ２０及びＳ３０の処理を実行しても良い）。

【0149】

上述の各実施例では、各端末装置１０に感情情報取得部２０が設けることで端末装置１０［１］～１０［ｎ］に計ｎ個の感情情報取得部２０［１］～２０［ｎ］が設けられることを想定している。人物ＰＳ２０［１］～２０［ｎ］の感情情報を取得する単一の感情状態取得部（第１感情状態取得部）が会議システムＳＹＳに設けられていて、当該単一の感情状態取得部が感情情報取得部２０［１］～２０［ｎ］（計ｎ個の第２感情状態取得部）にて構成される、と考えることもできる。

【0150】

各端末装置１０に感情情報取得部２０が設ける代わりに、人物ＰＳ２０［１］～２０［ｎ］の感情情報を取得する単一の感情状態取得部（第１感情状態取得部）をサーバ装置３０に設けるようにしても良い。この場合、単一の感情状態取得部（第１感情状態取得部）は、サーバ制御部３３がサーバ用プログラムＰＧ２を実行することで実現される機能ブロックであって良く、人物ＰＳ［ｉ］の感情情報を取得するために必要な情報をネットワーク５０を通じて端末装置１０［ｉ］から受信することにより上述の各実施例の方法に従い人物ＰＳ［ｉ］の感情情報を取得すれば良い。この際、端末装置１０［１］～１０［ｎ］の内の任意の端末装置１０［ｉ］においてカメラ画像出力条件がオフに設定されていても、端末装置１０［ｉ］にてカメラ部１６［ｉ］に撮影を行わせてカメラ部１６［ｉ］によるカメラ画像の画像信号をサーバ装置３０に送信させる機能を、会議システムＳＹＳ（例えば端末用プログラムＰＧ１及びサーバ用プログラムＰＧ２）に持たせておく良い。但し、この際、端末装置１０［ｉ］のカメラ部１６［ｉ］にて取得されたカメラ画像の画像信号の、他の端末装置１０への伝達はサーバ装置３０にて遮断される。

【0151】

端末装置１０［１］～１０［ｎ］の内、１以上の端末装置１０は、自動車等の車両に搭載される車載装置であっても良い。

【0152】

端末装置１０［ｉ］又はサーバ装置３０において実現される任意の特定の処理及び特定の動作を定義した特定のプログラムを作成し、当該特定のプログラムを端末装置１０［ｉ］又はサーバ装置３０に設けられた演算処理装置にて実行させることで、上記特定の処理及び特定の動作を実現しても良い。端末用プログラムＰＧ１又はサーバ用プログラムＰＧ２は上記特定のプログラムの例である。既に述べたように、端末制御部１３［ｉ］及びサーバ制御部３３の夫々に演算処理装置が設けられる。

【0153】

本発明の実施形態は、特許請求の範囲に示された技術的思想の範囲内において、適宜、種々の変更が可能である。以上の実施形態は、あくまでも、本発明の実施形態の例であって、本発明ないし各構成要件の用語の意義は、以上の実施形態に記載されたものに制限されるものではない。上述の説明文中に示した具体的な数値は、単なる例示であって、当然の如く、それらを様々な数値に変更することができる。

【符号の説明】

【0154】

ＳＹＳ 会議システム（電子会議システム）
ＰＳ 人物（参加者）
１０ 端末装置
１１、１１［ｉ］ 通信処理部
１２、１２［ｉ］ 記憶部
１３、１３［ｉ］ 端末制御部
１４、１４［ｉ］ 表示部
１５、１５［ｉ］ 操作部
１６、１６［ｉ］ カメラ部
１７、１７［ｉ］ マイクロホン
１８、１８［ｉ］ スピーカ
１９、１９［ｉ］ センサ部
２０、２０［ｉ］ 感情情報取得部
２２、２２［ｉ］ 手動入力示唆通知部
２４、２４［ｉ］ 画像処理部
２５、２５［ｉ］ 登録画像群データ
２６、２６［ｉ］ 加工用データ
３０ サーバ装置
３１ 通信処理部
３２ 記憶部
３３ サーバ制御部
４１ 記録管理部
４２ 記録媒体
４３ 再生管理部
４４ 統計処理部
４５ 統計通知部
５０ ネットワーク

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】