ホーム > 特許ランキング > セイコーエプソン株式会社
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024027557
(43)【公開日】2024-03-01
(54)【発明の名称】会議システムの制御方法、サーバー装置、及びプログラム
(51)【国際特許分類】
G06Q 10/10 20230101AFI20240222BHJP
【ＦＩ】
G06Q10/10
【審査請求】未請求
【請求項の数】9
【出願形態】ＯＬ
(21)【出願番号】P 2022130445
(22)【出願日】2022-08-18
(71)【出願人】
【識別番号】000002369
【氏名又は名称】セイコーエプソン株式会社
(74)【代理人】
【識別番号】100179475
【弁理士】
【氏名又は名称】仲井 智至
(74)【代理人】
【識別番号】100216253
【弁理士】
【氏名又は名称】松岡 宏紀
(74)【代理人】
【識別番号】100225901
【弁理士】
【氏名又は名称】今村 真之
(72)【発明者】
【氏名】大西 拓生
【テーマコード（参考）】
5L049
【Ｆターム（参考）】
5L049AA12
(57)【要約】
【課題】会議資料において音声情報と対応する部分を表示する。
【解決手段】会議システム１の制御方法は、第１端末装置１００Ａ、及び第２端末装置１００Ｂと通信するサーバー装置２００が、第１端末装置１００Ａから会議資料を示す第１画像ＰＤＡを取得することと、第１画像ＰＤＡを第２端末装置１００Ｂに表示させることと、第２端末装置１００Ｂから第２音声情報ＳＵＢを受け付けた場合に、第１画像ＰＤＡにおいて、第２音声情報ＳＵＢに対応する第２部分ＱＡ２を決定することと、第１画像ＰＤＡの第２部分ＱＡ２に第２音声情報ＳＵＢを示す第２画像ＰＤＢを付加した第１合成画像ＰＳ１を、第１端末装置１００Ａに表示させることと、を実行する。
【選択図】図１０
【解決手段】会議システム１の制御方法は、第１端末装置１００Ａ、及び第２端末装置１００Ｂと通信するサーバー装置２００が、第１端末装置１００Ａから会議資料を示す第１画像ＰＤＡを取得することと、第１画像ＰＤＡを第２端末装置１００Ｂに表示させることと、第２端末装置１００Ｂから第２音声情報ＳＵＢを受け付けた場合に、第１画像ＰＤＡにおいて、第２音声情報ＳＵＢに対応する第２部分ＱＡ２を決定することと、第１画像ＰＤＡの第２部分ＱＡ２に第２音声情報ＳＵＢを示す第２画像ＰＤＢを付加した第１合成画像ＰＳ１を、第１端末装置１００Ａに表示させることと、を実行する。
【選択図】図１０
【特許請求の範囲】
【請求項1】
第１端末装置、及び第２端末装置と通信するサーバー装置が、
前記第１端末装置から会議資料を示す第１画像を取得することと、
前記第１画像を前記第２端末装置に表示させることと、
前記第２端末装置から音声情報を受け付けた場合に、
前記第１画像において、前記音声情報に対応する対応部分を決定することと、
前記第１画像の前記対応部分に前記音声情報を示す第２画像を付加した合成画像を、前記第１端末装置に表示させることと、
を実行する、会議システムの制御方法。
前記第１端末装置から会議資料を示す第１画像を取得することと、
前記第１画像を前記第２端末装置に表示させることと、
前記第２端末装置から音声情報を受け付けた場合に、
前記第１画像において、前記音声情報に対応する対応部分を決定することと、
前記第１画像の前記対応部分に前記音声情報を示す第２画像を付加した合成画像を、前記第１端末装置に表示させることと、
を実行する、会議システムの制御方法。
【請求項2】
前記対応部分を決定することは、
前記第２端末装置が前記音声情報を受け付けたときの前記第２端末装置におけるカーソルの位置を取得することと、
前記カーソルの位置に基づいて、前記対応部分を決定することと、
を含む、請求項１に記載の会議システムの制御方法。
前記第２端末装置が前記音声情報を受け付けたときの前記第２端末装置におけるカーソルの位置を取得することと、
前記カーソルの位置に基づいて、前記対応部分を決定することと、
を含む、請求項１に記載の会議システムの制御方法。
【請求項3】
前記対応部分を決定することは、
前記第２端末装置が前記音声情報を受け付けたときの前記第２端末装置におけるユーザーの視線方向を取得することと、
前記視線方向に基づいて、前記対応部分を決定することと、
を含む、請求項１に記載の会議システムの制御方法。
前記第２端末装置が前記音声情報を受け付けたときの前記第２端末装置におけるユーザーの視線方向を取得することと、
前記視線方向に基づいて、前記対応部分を決定することと、
を含む、請求項１に記載の会議システムの制御方法。
【請求項4】
前記対応部分を決定することは、
前記第２端末装置が前記音声情報を受け付けたときに、前記第２端末装置において検索エンジンによって検索処理が実行された検索ワードを取得することと、
前記検索ワードに基づいて、前記対応部分を決定することと、
を含む、請求項１に記載の会議システムの制御方法。
前記第２端末装置が前記音声情報を受け付けたときに、前記第２端末装置において検索エンジンによって検索処理が実行された検索ワードを取得することと、
前記検索ワードに基づいて、前記対応部分を決定することと、
を含む、請求項１に記載の会議システムの制御方法。
【請求項5】
前記第２画像は、前記第１画像の第１表示態様とは異なる第２表示態様の画像である、
請求項１から請求項４のいずれか１項に記載の会議システムの制御方法。
請求項１から請求項４のいずれか１項に記載の会議システムの制御方法。
【請求項6】
前記第１端末装置から前記合成画像に対する位置を示す入力を取得することと、
前記位置が前記第２画像に対応する位置である場合に、前記音声情報に対応する文字情報を表示することと、
を実行する、請求項５に記載の会議システムの制御方法。
前記位置が前記第２画像に対応する位置である場合に、前記音声情報に対応する文字情報を表示することと、
を実行する、請求項５に記載の会議システムの制御方法。
【請求項7】
前記合成画像は、前記第１画像を複製した複製画像と、前記第２画像とを合成した画像である、
請求項１に記載の会議システムの制御方法。
請求項１に記載の会議システムの制御方法。
【請求項8】
第１端末装置、及び第２端末装置と通信する通信インターフェースと、
少なくとも１つのプロセッサーと、を含み、
前記少なくとも１つのプロセッサーは、
前記通信インターフェースを制御することによって、前記第１端末装置から会議資料を示す第１画像を取得することと、
前記通信インターフェースを制御することによって、前記第１画像を前記第２端末装置に表示させることと、
前記第２端末装置から音声情報を受け付けた場合に、
前記第１画像において、前記音声情報に対応する対応部分を決定することと、
前記第１画像の前記対応部分に前記音声情報を示す第２画像を付加した合成画像を、前記通信インターフェースを制御することによって、前記第１端末装置に表示させることと、
を実行する、サーバー装置。
少なくとも１つのプロセッサーと、を含み、
前記少なくとも１つのプロセッサーは、
前記通信インターフェースを制御することによって、前記第１端末装置から会議資料を示す第１画像を取得することと、
前記通信インターフェースを制御することによって、前記第１画像を前記第２端末装置に表示させることと、
前記第２端末装置から音声情報を受け付けた場合に、
前記第１画像において、前記音声情報に対応する対応部分を決定することと、
前記第１画像の前記対応部分に前記音声情報を示す第２画像を付加した合成画像を、前記通信インターフェースを制御することによって、前記第１端末装置に表示させることと、
を実行する、サーバー装置。
【請求項9】
第１端末装置、及び第２端末装置と通信するサーバー装置のプロセッサーに、
前記第１端末装置から会議資料を示す第１画像を取得することと、
前記第１画像を前記第２端末装置に表示させることと、
前記第２端末装置から音声情報を受け付けた場合に、
前記第１画像において、前記音声情報に対応する対応部分を決定することと、
前記第１画像の前記対応部分に前記音声情報を示す第２画像を付加した合成画像を、前記第１端末装置に表示させることと、
を実行させる、プログラム。
前記第１端末装置から会議資料を示す第１画像を取得することと、
前記第１画像を前記第２端末装置に表示させることと、
前記第２端末装置から音声情報を受け付けた場合に、
前記第１画像において、前記音声情報に対応する対応部分を決定することと、
前記第１画像の前記対応部分に前記音声情報を示す第２画像を付加した合成画像を、前記第１端末装置に表示させることと、
を実行させる、プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、会議システムの制御方法、サーバー装置、及びプログラムに関する。
【背景技術】
【0002】
従来、会議システムに関する技術が知られている。
例えば、特許文献１には、音声認識部により取得された各出席者の音声データを、発言の時系列でタイムラインとして出力する会議支援システムが記載されている。
例えば、特許文献１には、音声認識部により取得された各出席者の音声データを、発言の時系列でタイムラインとして出力する会議支援システムが記載されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０１９－６１５９４号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、特許文献１に記載された技術では、時系列で出力された音声情報の各々について、会議資料において、音声情報と対応する部分を見つけ出すことは手間がかかる場合がある。
【課題を解決するための手段】
【0005】
本開示の一態様は、第１端末装置、及び第２端末装置と通信するサーバー装置が、前記第１端末装置から会議資料を示す第１画像を取得することと、前記第１画像を前記第２端末装置に表示させることと、前記第２端末装置から音声情報を受け付けた場合に、前記第１画像において、前記音声情報に対応する対応部分を決定することと、前記第１画像の前記対応部分に前記音声情報を示す第２画像を付加した合成画像を、前記第１端末装置に表示させることと、を実行する、会議システムの制御方法である。
【0006】
本開示の他の一態様は、第１端末装置、及び第２端末装置と通信する通信インターフェースと、少なくとも１つのプロセッサーと、を含み、前記少なくとも１つのプロセッサーは、前記通信インターフェースを制御することによって、前記第１端末装置から会議資料を示す第１画像を取得することと、前記通信インターフェースを制御することによって、前記第１画像を前記第２端末装置に表示させることと、前記第２端末装置から音声情報を受け付けた場合に、前記第１画像において、前記音声情報に対応する対応部分を決定することと、前記通信インターフェースを制御することによって、前記第１画像の前記対応部分に前記音声情報を示す第２画像を付加した合成画像を、前記第１端末装置に表示させることと、を実行する、サーバー装置である。
【0007】
本開示の更に別の一態様は、第１端末装置、及び第２端末装置と通信するサーバー装置のプロセッサーに、前記第１端末装置から会議資料を示す第１画像を取得することと、前記第１画像を前記第２端末装置に表示させることと、前記第２端末装置から音声情報を受け付けた場合に、前記第１画像において、前記音声情報に対応する対応部分を決定することと、前記第１画像の前記対応部分に前記音声情報を示す第２画像を付加した合成画像を、前記第１端末装置に表示させることと、を実行させる、プログラムである。
【図面の簡単な説明】
【0008】
【図1】本実施形態に係る会議システムの構成の一例を示す図。
【図2】本実施形態に係る第１端末装置の構成の一例を示す図。
【図3】本実施形態に係る第２端末装置の構成の一例を示す図。
【図4】本実施形態に係る第３端末装置の構成の一例を示す図。
【図5】本実施形態に係るサーバー装置の構成の一例を示す図。
【図6】決定部、及び画像処理部の処理の一例を示す図。
【図7】第１画像の一例を示す図。
【図8】第１端末装置に表示される第２合成画像の一例を示す図。
【図9】サーバー装置に記憶される会議ログ情報の一例を示す図表。
【図10】サーバー装置の処理の一例を示すフローチャート。
【図11】サーバー装置の処理の一例を示すフローチャート。
【発明を実施するための形態】
【0009】
以下、図面を参照して本発明の実施形態について説明する。
【0010】
［１．会議システムの全体構成］
図１は、本実施形態に係る会議システム１の構成の一例を示す図である。図１に示すように、会議システム１は、端末装置１００と、サーバー装置２００と、を備える。端末装置１００は、第１端末装置１００Ａと、第２端末装置１００Ｂと、第３端末装置１００Ｃと、で構成される。
第１端末装置１００Ａ、第２端末装置１００Ｂ、及び第３端末装置１００Ｃの各々は、サーバー装置２００と、ネットワークＮＷを介して、通信可能に接続される。ネットワークＮＷは、例えば、インターネットである。
図１は、本実施形態に係る会議システム１の構成の一例を示す図である。図１に示すように、会議システム１は、端末装置１００と、サーバー装置２００と、を備える。端末装置１００は、第１端末装置１００Ａと、第２端末装置１００Ｂと、第３端末装置１００Ｃと、で構成される。
第１端末装置１００Ａ、第２端末装置１００Ｂ、及び第３端末装置１００Ｃの各々は、サーバー装置２００と、ネットワークＮＷを介して、通信可能に接続される。ネットワークＮＷは、例えば、インターネットである。
【0011】
第１端末装置１００Ａと、第２端末装置１００Ｂと、第３端末装置１００Ｃとは、略同一の構成を有する。そこで、以下の説明では、第１端末装置１００Ａと、第２端末装置１００Ｂと、第３端末装置１００Ｃとを区別しない場合には、第１端末装置１００Ａ、第２端末装置１００Ｂ、及び第３端末装置１００Ｃの各々を、端末装置１００と記載する場合がある。
【0012】
端末装置１００は、例えば、パーソナルコンピューターである場合について説明する。
第１端末装置１００Ａを、第１ユーザーＵＡが操作し、第２端末装置１００Ｂを第２ユーザーＵＢが操作し、第３端末装置１００Ｃを第３ユーザーＵＣが操作する。第１ユーザーＵＡ、第２ユーザーＵＢ、及び第３ユーザーＵＣが、会議システム１を介して、会議を実行する。
本実施形態では、「会議」とは、「狭義の会議」に限定されず、資料を用いた複数人での打合せであればよい。なお、「狭義の会議」とは、「関係者が集まり、特定の目的に関して意見交換、及び審議し、合意、及び施策などの意思決定をすること」を意味する。換言すれば、「会議」では、「狭義の会議」における「審議」をしなくてもよい。また、「会議」では、「狭義の会議」における「合意、及び施策などの意思決定」をしなくてもよい。
第１端末装置１００Ａを、第１ユーザーＵＡが操作し、第２端末装置１００Ｂを第２ユーザーＵＢが操作し、第３端末装置１００Ｃを第３ユーザーＵＣが操作する。第１ユーザーＵＡ、第２ユーザーＵＢ、及び第３ユーザーＵＣが、会議システム１を介して、会議を実行する。
本実施形態では、「会議」とは、「狭義の会議」に限定されず、資料を用いた複数人での打合せであればよい。なお、「狭義の会議」とは、「関係者が集まり、特定の目的に関して意見交換、及び審議し、合意、及び施策などの意思決定をすること」を意味する。換言すれば、「会議」では、「狭義の会議」における「審議」をしなくてもよい。また、「会議」では、「狭義の会議」における「合意、及び施策などの意思決定」をしなくてもよい。
【0013】
第１端末装置１００Ａは、第１ユーザー画像ＰＵＡと第１音声情報ＳＵＡとをサーバー装置２００へ送信する。第１ユーザー画像ＰＵＡは、第１ユーザーＵＡの画像である。第１ユーザー画像ＰＵＡは、第１端末装置１００Ａに配置されたカメラ１２０によって生成される。第１音声情報ＳＵＡは、第１ユーザーＵＡの発する音声を示す。第１音声情報ＳＵＡは、第１端末装置１００Ａに配置されたマイク１３０によって生成される。
【0014】
第２端末装置１００Ｂは、第２ユーザー画像ＰＵＢと第２音声情報ＳＵＢとをサーバー装置２００へ送信する。第２ユーザー画像ＰＵＢは、第２ユーザーＵＢの画像である。第２ユーザー画像ＰＵＢは、第２端末装置１００Ｂに配置されたカメラ１２０によって生成される。第２音声情報ＳＵＢは、第２ユーザーＵＢの発する音声を示す。第２音声情報ＳＵＢは、第２端末装置１００Ｂに配置されたマイク１３０によって生成される。
【0015】
第３端末装置１００Ｃは、第３ユーザー画像ＰＵＣと第３音声情報ＳＵＣとをサーバー装置２００へ送信する。第３ユーザー画像ＰＵＣは、第３ユーザーＵＣの画像である。第３ユーザー画像ＰＵＣは、第３端末装置１００Ｃに配置されたカメラ１２０によって生成される。第３音声情報ＳＵＣは、第３ユーザーＵＣの発する音声を示す。第３音声情報ＳＵＣは、第３端末装置１００Ｃに配置されたマイク１３０によって生成される。
【0016】
サーバー装置２００は、第２ユーザー画像ＰＵＢ、第３ユーザー画像ＰＵＣ、第２音声情報ＳＵＢ、及び第３音声情報ＳＵＣを、第１端末装置１００Ａへ送信する。第１端末装置１００Ａは、第２ユーザー画像ＰＵＢ及び第３ユーザー画像ＰＵＣを、第１端末装置１００Ａに配置された第１表示機構１６０のＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）に表示する。第１端末装置１００Ａは、第２音声情報ＳＵＢ、及び第３音声情報ＳＵＣに対応する音声を第１端末装置１００Ａに配置されたスピーカー１４０から出力する。
【0017】
サーバー装置２００は、第１ユーザー画像ＰＵＡ、第３ユーザー画像ＰＵＣ、第１音声情報ＳＵＡ、及び第３音声情報ＳＵＣを、第２端末装置１００Ｂへ送信する。第２端末装置１００Ｂは、第１ユーザー画像ＰＵＡ及び第３ユーザー画像ＰＵＣを、第２端末装置１００Ｂに配置された第１表示機構１６０のＬＣＤに表示する。第２端末装置１００Ｂは、第１音声情報ＳＵＡ、及び第３音声情報ＳＵＣに対応する音声を第２端末装置１００Ｂに配置されたスピーカー１４０から出力する。
【0018】
サーバー装置２００は、第１ユーザー画像ＰＵＡ、第２ユーザー画像ＰＵＢ、第１音声情報ＳＵＡ、及び第２音声情報ＳＵＢを、第３端末装置１００Ｃへ送信する。第３端末装置１００Ｃは、第１ユーザー画像ＰＵＡ及び第２ユーザー画像ＰＵＢを、第３端末装置１００Ｃに配置された第１表示機構１６０のＬＣＤに表示する。第３端末装置１００Ｃは、第１音声情報ＳＵＡ、及び第２音声情報ＳＵＢに対応する音声を第３端末装置１００Ｃに配置されたスピーカー１４０から出力する。
【0019】
本実施形態では、サーバー装置２００は、第１端末装置１００Ａ、第２端末装置１００Ｂ、及び第３端末装置１００Ｃと、Ｅｔｈｅｒｎｅｔ（登録商標）ケーブル等によって有線通信可能に接続される場合について説明するが、これに限定されない。サーバー装置２００が、第１端末装置１００Ａ、第２端末装置１００Ｂ、及び第３端末装置１００Ｃと、Ｗｉ－Ｆｉ（登録商標）等によって無線通信可能に接続されてもよい。
また、本実施形態では、ネットワークＮＷがインターネットである場合について説明するが、これに限定されない。ネットワークＮＷが、例えばＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）、でもよいし、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）でもよい。
また、本実施形態では、ネットワークＮＷがインターネットである場合について説明するが、これに限定されない。ネットワークＮＷが、例えばＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）、でもよいし、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）でもよい。
【0020】
［２．端末装置の構成］
次に、図２－図４を参照して、端末装置１００の構成について説明する。図２は、本実施形態に係る第１端末装置１００Ａの構成の一例を示す図である。図３は、本実施形態に係る第２端末装置１００Ｂの構成の一例を示す図である。図４は、本実施形態に係る第３端末装置１００Ｃの構成の一例を示す図である。
次に、図２－図４を参照して、端末装置１００の構成について説明する。図２は、本実施形態に係る第１端末装置１００Ａの構成の一例を示す図である。図３は、本実施形態に係る第２端末装置１００Ｂの構成の一例を示す図である。図４は、本実施形態に係る第３端末装置１００Ｃの構成の一例を示す図である。
【0021】
［２－１．第１端末装置の構成］
まず、図２を参照して、第１端末装置１００Ａの構成について説明する。図２に示すように、第１端末装置１００Ａは、第１制御部１１０、カメラ１２０、マイク１３０、スピーカー１４０、第１操作機構１５０、第１表示機構１６０、及び第１通信インターフェース１７０を備える。カメラ１２０、マイク１３０、スピーカー１４０、第１操作機構１５０、第１表示機構１６０、及び第１通信インターフェース１７０の各々は、第１制御部１１０からの指示に従って動作する。
まず、図２を参照して、第１端末装置１００Ａの構成について説明する。図２に示すように、第１端末装置１００Ａは、第１制御部１１０、カメラ１２０、マイク１３０、スピーカー１４０、第１操作機構１５０、第１表示機構１６０、及び第１通信インターフェース１７０を備える。カメラ１２０、マイク１３０、スピーカー１４０、第１操作機構１５０、第１表示機構１６０、及び第１通信インターフェース１７０の各々は、第１制御部１１０からの指示に従って動作する。
【0022】
カメラ１２０は、第１制御部１１０からの指示に従って、第１ユーザー画像ＰＵＡを生成する。また、カメラ１２０は、生成した第１ユーザー画像ＰＵＡを第１制御部１１０へ出力する。
マイク１３０は、第１制御部１１０からの指示に従って、第１音声情報ＳＵＡを生成する。また、マイク１３０は、生成した第１音声情報ＳＵＡを第１制御部１１０へ出力する。
マイク１３０は、第１制御部１１０からの指示に従って、第１音声情報ＳＵＡを生成する。また、マイク１３０は、生成した第１音声情報ＳＵＡを第１制御部１１０へ出力する。
【0023】
スピーカー１４０は、第１制御部１１０からの指示に従って、音声を出力する。スピーカー１４０は、例えば、第２音声情報ＳＵＢ、及び第３音声情報ＳＵＣに対応する音声を出力する。
第１操作機構１５０は、例えば、マウス、及びキーボードを備え、第１ユーザーＵＡからの操作を受け付ける。そして、第１操作機構１５０は、受け付けた操作に対応する操作信号を生成し、生成した操作信号を第１制御部１１０へ出力する。
第１操作機構１５０は、例えば、マウス、及びキーボードを備え、第１ユーザーＵＡからの操作を受け付ける。そして、第１操作機構１５０は、受け付けた操作に対応する操作信号を生成し、生成した操作信号を第１制御部１１０へ出力する。
【0024】
第１表示機構１６０は、ＬＣＤ等を備え、第１制御部１１０からの指示に従って、種々の画像をＬＣＤに表示する。第１表示機構１６０は、例えば、第２ユーザー画像ＰＵＢ、及び第３ユーザー画像ＰＵＣをＬＣＤに表示する。また、第１表示機構１６０は、例えば、第１画像ＰＤＡ、第１合成画像ＰＳ１、又は第２合成画像ＰＳ２を、ＬＣＤに表示する。
また、第１表示機構１６０は、カーソルＣＲをＬＣＤに表示する。第１表示機構１６０は、例えば、第１操作機構１５０のマウスに対する操作に応じて、ＬＣＤに表示するカーソルＣＲの位置を示す第１カーソル位置ＣＲＡを決定する。
第１画像ＰＤＡについては、図７を参照して更に説明する。
第１合成画像ＰＳ１は、「合成画像」の一例に対応する。
第２合成画像ＰＳ２については、図８を参照して更に説明する。
また、第１表示機構１６０は、カーソルＣＲをＬＣＤに表示する。第１表示機構１６０は、例えば、第１操作機構１５０のマウスに対する操作に応じて、ＬＣＤに表示するカーソルＣＲの位置を示す第１カーソル位置ＣＲＡを決定する。
第１画像ＰＤＡについては、図７を参照して更に説明する。
第１合成画像ＰＳ１は、「合成画像」の一例に対応する。
第２合成画像ＰＳ２については、図８を参照して更に説明する。
【0025】
第１通信インターフェース１７０は、コネクター及びインターフェース回路を備え、第１制御部１１０に接続される。本実施形態では、第１通信インターフェース１７０は、例えば、Ｅｔｈｅｒｎｅｔ（登録商標）規格に則って、サーバー装置２００と通信するためのインターフェースである。
【0026】
次に、第１端末装置１００Ａの第１制御部１１０の構成について説明する。
第１制御部１１０は、第１プロセッサー１１０Ａ、及び第１メモリー１１０Ｂを備える。第１制御部１１０は、図２に示す第１端末装置１００Ａの各部の動作を制御する。第１制御部１１０には、カメラ１２０、マイク１３０、スピーカー１４０、第１操作機構１５０、第１表示機構１６０、及び第１通信インターフェース１７０が接続される。
第１制御部１１０は、第１プロセッサー１１０Ａ、及び第１メモリー１１０Ｂを備える。第１制御部１１０は、図２に示す第１端末装置１００Ａの各部の動作を制御する。第１制御部１１０には、カメラ１２０、マイク１３０、スピーカー１４０、第１操作機構１５０、第１表示機構１６０、及び第１通信インターフェース１７０が接続される。
【0027】
第１プロセッサー１１０Ａは、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、マイコン等で構成される。第１プロセッサー１１０Ａは、複数のプロセッサーにより構成されてもよいし、単一のプロセッサーで構成されてもよい。
第１プロセッサー１１０Ａが、後述する各部の機能を実現するようにプログラムされたハードウェアであってもよい。すなわち、第１プロセッサー１１０Ａは、第１制御プログラムＰＧ１をハードウェア回路として搭載した構成であってもよい。この場合には、例えば、第１プロセッサー１１０Ａは、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等で構成される。
以下の説明では、第１プロセッサー１１０Ａが第１制御プログラムＰＧ１を実行することによって、第１制御部１１０の各種の機能を実現する場合について説明する。
第１プロセッサー１１０Ａが、後述する各部の機能を実現するようにプログラムされたハードウェアであってもよい。すなわち、第１プロセッサー１１０Ａは、第１制御プログラムＰＧ１をハードウェア回路として搭載した構成であってもよい。この場合には、例えば、第１プロセッサー１１０Ａは、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等で構成される。
以下の説明では、第１プロセッサー１１０Ａが第１制御プログラムＰＧ１を実行することによって、第１制御部１１０の各種の機能を実現する場合について説明する。
【0028】
第１メモリー１１０Ｂは、第１プロセッサー１１０Ａが実行するプログラムや、第１プロセッサー１１０Ａにより処理されるデータを記憶する記憶領域を有する。第１メモリー１１０Ｂは、第１プロセッサー１１０Ａが実行する第１制御プログラムＰＧ１、及び、端末装置１００の動作に関する各種の設定値を含む設定データ等を記憶する。
第１メモリー１１０Ｂは、プログラムやデータを不揮発的に記憶する不揮発性記憶領域を有する。第１メモリー１１０Ｂは、不揮発性記憶領域として、例えば、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等を備えてもよい。また、第１メモリー１１０Ｂは、揮発性記憶領域を備え、第１プロセッサー１１０Ａが実行するプログラムや処理対象のデータを一時的に記憶するワークエリアを構成してもよい。第１メモリー１１０Ｂは、揮発性記憶領域として、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等を備えてもよい。
第１メモリー１１０Ｂは、プログラムやデータを不揮発的に記憶する不揮発性記憶領域を有する。第１メモリー１１０Ｂは、不揮発性記憶領域として、例えば、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等を備えてもよい。また、第１メモリー１１０Ｂは、揮発性記憶領域を備え、第１プロセッサー１１０Ａが実行するプログラムや処理対象のデータを一時的に記憶するワークエリアを構成してもよい。第１メモリー１１０Ｂは、揮発性記憶領域として、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等を備えてもよい。
【0029】
また、図２に示すように、第１制御部１１０は、画像音声受付部１１１、画像音声出力部１１２、第１ログ生成部１１３、表示制御部１１４、第１通信制御部１１５、第１ログ記憶部１１６、及び第１表示画像記憶部１１７を備える。これらの各部は、例えば、第１プロセッサー１１０Ａが第１制御プログラムＰＧ１を実行することによって、ソフトウェアとハードウェアとの協働により実現される。
【0030】
第１ログ記憶部１１６は、サーバー装置２００が、第１画像ＰＤＡの第１部分ＱＡ１を決定するために参照する第１参照情報ＲＦＡを、会議開始からの経過時間ＴＭと対応付けて、第１ログ情報ＬＧＡとして記憶する。第１部分ＱＡ１は、第１画像ＰＤＡにおいて、第１音声情報ＳＵＡに対応する部分である。
【0031】
第１参照情報ＲＦＡは、第１ユーザーＵＡの状態、及び動作を示す。第１参照情報ＲＦＡは、例えば、第１カーソル位置ＣＲＡ、第１視線方向ＤＥＡ、第１検索ワードＷＳＡ、第１リアクションＲＥＡ、第１発言内容ＣＳＡ、を含む。
第１カーソル位置ＣＲＡは、第１端末装置１００Ａの第１表示機構１６０のＬＣＤに表示するカーソルＣＲの位置である。第１視線方向ＤＥＡは、第１ユーザーＵＡの視線方向である。第１検索ワードＷＳＡは、第１端末装置１００Ａにおいて検索エンジンによって検索処理が実行された検索ワードである。第１リアクションＲＥＡは、第１ユーザーＵＡのリアクションである。第１発言内容ＣＳＡは、第１音声情報ＳＵＡを示す文字情報である。
第１参照情報ＲＦＡは、第１ログ生成部１１３によって生成される。また、第１参照情報ＲＦＡは、第１ログ生成部１１３によって第１ログ記憶部１１６に記憶される。
第１参照情報ＲＦＡについては、図９を参照して更に説明する。
第１カーソル位置ＣＲＡは、第１端末装置１００Ａの第１表示機構１６０のＬＣＤに表示するカーソルＣＲの位置である。第１視線方向ＤＥＡは、第１ユーザーＵＡの視線方向である。第１検索ワードＷＳＡは、第１端末装置１００Ａにおいて検索エンジンによって検索処理が実行された検索ワードである。第１リアクションＲＥＡは、第１ユーザーＵＡのリアクションである。第１発言内容ＣＳＡは、第１音声情報ＳＵＡを示す文字情報である。
第１参照情報ＲＦＡは、第１ログ生成部１１３によって生成される。また、第１参照情報ＲＦＡは、第１ログ生成部１１３によって第１ログ記憶部１１６に記憶される。
第１参照情報ＲＦＡについては、図９を参照して更に説明する。
【0032】
第１表示画像記憶部１１７は、予め、第１画像ＰＤＡを記憶する。第１画像ＰＤＡは、会議資料を示す。第１画像ＰＤＡは、表示制御部１１４によって読み出される。また、第１画像ＰＤＡは、第１通信制御部１１５によってサーバー装置２００へ送信される。
また、第１表示画像記憶部１１７は、第１合成画像ＰＳ１、及び第２合成画像ＰＳ２を記憶する。第１合成画像ＰＳ１、及び第２合成画像ＰＳ２の各々は、第１通信制御部１１５によって、サーバー装置２００から受信され、第１通信制御部１１５によって、第１表示画像記憶部１１７に記憶される。
第１画像ＰＤＡについては、図７を参照して更に説明する。
また、第１表示画像記憶部１１７は、第１合成画像ＰＳ１、及び第２合成画像ＰＳ２を記憶する。第１合成画像ＰＳ１、及び第２合成画像ＰＳ２の各々は、第１通信制御部１１５によって、サーバー装置２００から受信され、第１通信制御部１１５によって、第１表示画像記憶部１１７に記憶される。
第１画像ＰＤＡについては、図７を参照して更に説明する。
【0033】
画像音声受付部１１１は、カメラ１２０に第１ユーザー画像ＰＵＡを生成させる。また、画像音声受付部１１１は、生成された第１ユーザー画像ＰＵＡを受け付ける。
また、画像音声受付部１１１は、マイク１３０に第１音声情報ＳＵＡを生成させる。また、画像音声受付部１１１は、生成された第１音声情報ＳＵＡを受け付ける。
また、画像音声受付部１１１は、サーバー装置２００から、第２ユーザー画像ＰＵＢ、第３ユーザー画像ＰＵＣ、第２音声情報ＳＵＢ、及び第３音声情報ＳＵＣを受け付ける。
また、画像音声受付部１１１は、マイク１３０に第１音声情報ＳＵＡを生成させる。また、画像音声受付部１１１は、生成された第１音声情報ＳＵＡを受け付ける。
また、画像音声受付部１１１は、サーバー装置２００から、第２ユーザー画像ＰＵＢ、第３ユーザー画像ＰＵＣ、第２音声情報ＳＵＢ、及び第３音声情報ＳＵＣを受け付ける。
【0034】
画像音声出力部１１２は、第２ユーザー画像ＰＵＢ、及び第３ユーザー画像ＰＵＣを、第１表示機構１６０のＬＣＤに表示させる。
また、画像音声出力部１１２は、第２音声情報ＳＵＢ、及び第３音声情報ＳＵＣに対応する音声を、スピーカー１４０に出力させる。
また、画像音声出力部１１２は、第２音声情報ＳＵＢ、及び第３音声情報ＳＵＣに対応する音声を、スピーカー１４０に出力させる。
【0035】
第１ログ生成部１１３は、画像音声受付部１１１が、第１音声情報ＳＵＡ、第２音声情報ＳＵＢ、又は第３音声情報ＳＵＣを受け付けた場合に、第１ログ情報ＬＧＡを生成する。第１ログ生成部１１３は、生成した第１ログ情報ＬＧＡを第１ログ記憶部１１６に記憶させる。また、第１ログ生成部１１３は、生成した第１ログ情報ＬＧＡをサーバー装置２００へ送信する。
第１ログ生成部１１３は、例えば、画像音声受付部１１１が第１音声情報ＳＵＡを受け付けた場合には、第１参照情報ＲＦＡとして、第１カーソル位置ＣＲＡ、第１視線方向ＤＥＡ、第１検索ワードＷＳＡ、及び第１発言内容ＣＳＡ、を生成する。
第１ログ生成部１１３は、例えば、画像音声受付部１１１が第１音声情報ＳＵＡを受け付けた場合には、第１参照情報ＲＦＡとして、第１カーソル位置ＣＲＡ、第１視線方向ＤＥＡ、第１検索ワードＷＳＡ、及び第１発言内容ＣＳＡ、を生成する。
【0036】
第１ログ生成部１１３は、第１カーソル位置ＣＲＡを、例えば、第１表示機構１６０から取得する。第１ログ生成部１１３は、例えば、第１視線方向ＤＥＡを第１ユーザー画像ＰＵＡに基づき決定する。第１ログ生成部１１３は、例えば、第１検索ワードＷＳＡを、第１表示機構１６０から取得する。第１ログ生成部１１３は、例えば、検索エンジンにおいてキーワードが入力されるキーワード入力欄に、第１操作機構１５０によって入力されたキーワードを第１検索ワードＷＳＡとして取得する。第１ログ生成部１１３は、例えば、第１発言内容ＣＳＡを、第１音声情報ＳＵＡに対して音声認識処理を実行することによって決定する。
【0037】
第１ログ生成部１１３は、例えば、画像音声受付部１１１が第２音声情報ＳＵＢを受け付けた場合には、第１参照情報ＲＦＡとして、第１カーソル位置ＣＲＡ、第１視線方向ＤＥＡ、第１検索ワードＷＳＡ、及び第１リアクションＲＥＡ、を生成する。第１ログ生成部１１３は、例えば、第１リアクションＲＥＡを、第１ユーザー画像ＰＵＡに基づき決定する。この場合には、第１リアクションＲＥＡは、第２音声情報ＳＵＢに対する第１ユーザーＵＡのリアクションを示す。
第１ログ生成部１１３は、例えば、画像音声受付部１１１が第３音声情報ＳＵＣを受け付けた場合には、第１参照情報ＲＦＡとして、第１カーソル位置ＣＲＡ、第１視線方向ＤＥＡ、第１検索ワードＷＳＡ、及び第１リアクションＲＥＡ、を生成する。この場合には、第１リアクションＲＥＡは、第３音声情報ＳＵＣに対する第１ユーザーＵＡのリアクションを示す。
第１ログ生成部１１３は、例えば、画像音声受付部１１１が第３音声情報ＳＵＣを受け付けた場合には、第１参照情報ＲＦＡとして、第１カーソル位置ＣＲＡ、第１視線方向ＤＥＡ、第１検索ワードＷＳＡ、及び第１リアクションＲＥＡ、を生成する。この場合には、第１リアクションＲＥＡは、第３音声情報ＳＵＣに対する第１ユーザーＵＡのリアクションを示す。
【0038】
表示制御部１１４は、第１画像ＰＤＡを第１表示画像記憶部１１７から読み出して、第１画像ＰＤＡを第１表示機構１６０のＬＣＤに表示させる。
また、表示制御部１１４は、第１通信制御部１１５が第１合成画像ＰＳ１を受信した場合に、第１画像ＰＤＡに換えて、第１合成画像ＰＳ１を第１表示機構１６０のＬＣＤに表示させる。また、表示制御部１１４は、第１合成画像ＰＳ１を第１表示画像記憶部１１７に記憶させる。
また、表示制御部１１４は、第１通信制御部１１５が第２合成画像ＰＳ２を受信した場合に、第１合成画像ＰＳ１に換えて、第２合成画像ＰＳ２を第１表示機構１６０のＬＣＤに表示させる。また、表示制御部１１４は、第２合成画像ＰＳ２を第１表示画像記憶部１１７に記憶させる。
また、表示制御部１１４は、第１通信制御部１１５が第１合成画像ＰＳ１を受信した場合に、第１画像ＰＤＡに換えて、第１合成画像ＰＳ１を第１表示機構１６０のＬＣＤに表示させる。また、表示制御部１１４は、第１合成画像ＰＳ１を第１表示画像記憶部１１７に記憶させる。
また、表示制御部１１４は、第１通信制御部１１５が第２合成画像ＰＳ２を受信した場合に、第１合成画像ＰＳ１に換えて、第２合成画像ＰＳ２を第１表示機構１６０のＬＣＤに表示させる。また、表示制御部１１４は、第２合成画像ＰＳ２を第１表示画像記憶部１１７に記憶させる。
【0039】
第１通信制御部１１５は、第１ユーザー画像ＰＵＡ、及び第１音声情報ＳＵＡをサーバー装置２００へ送信する。また、第１通信制御部１１５は、サーバー装置２００からの要求に応じて、第１画像ＰＤＡをサーバー装置２００へ送信する。
また、第１通信制御部１１５は、第１ログ生成部１１３が第１ログ情報ＬＧＡを生成する度に、生成された第１ログ情報ＬＧＡをサーバー装置２００へ送信する。
また、第１通信制御部１１５は、第２ユーザー画像ＰＵＢ、第３ユーザー画像ＰＵＣ、第２音声情報ＳＵＢ、及び第３音声情報ＳＵＣを、サーバー装置２００から受信する。また、第１通信制御部１１５は、第１合成画像ＰＳ１、及び第２合成画像ＰＳ２をサーバー装置２００から受信する。
また、第１通信制御部１１５は、第１ログ生成部１１３が第１ログ情報ＬＧＡを生成する度に、生成された第１ログ情報ＬＧＡをサーバー装置２００へ送信する。
また、第１通信制御部１１５は、第２ユーザー画像ＰＵＢ、第３ユーザー画像ＰＵＣ、第２音声情報ＳＵＢ、及び第３音声情報ＳＵＣを、サーバー装置２００から受信する。また、第１通信制御部１１５は、第１合成画像ＰＳ１、及び第２合成画像ＰＳ２をサーバー装置２００から受信する。
【0040】
［２－２．第２端末装置の構成］
次に、図３を参照して、第２端末装置１００Ｂの構成について説明する。第２端末装置１００Ｂの構成は、第１端末装置１００Ａの構成と略同一である。以下では、第２端末装置１００Ｂの構成のうち、第１端末装置１００Ａの構成と相違する点について主に説明する。
図３に示すように、第２端末装置１００Ｂの第１制御部１１０は、画像音声受付部１１１、画像音声出力部１１２、第１ログ生成部１１３、表示制御部１１４、第１通信制御部１１５、第１ログ記憶部１１６、及び第１表示画像記憶部１１７を備える。
次に、図３を参照して、第２端末装置１００Ｂの構成について説明する。第２端末装置１００Ｂの構成は、第１端末装置１００Ａの構成と略同一である。以下では、第２端末装置１００Ｂの構成のうち、第１端末装置１００Ａの構成と相違する点について主に説明する。
図３に示すように、第２端末装置１００Ｂの第１制御部１１０は、画像音声受付部１１１、画像音声出力部１１２、第１ログ生成部１１３、表示制御部１１４、第１通信制御部１１５、第１ログ記憶部１１６、及び第１表示画像記憶部１１７を備える。
【0041】
第１ログ記憶部１１６は、サーバー装置２００が、第１画像ＰＤＡの第２部分ＱＡ２を決定するために参照する第２参照情報ＲＦＢを、会議開始からの経過時間ＴＭと対応付けて、第２ログ情報ＬＧＢとして記憶する。第２部分ＱＡ２は、第１画像ＰＤＡにおいて、第２音声情報ＳＵＢに対応する部分である。
第２部分ＱＡ２は、「対応部分」の一例に対応する。
第２音声情報ＳＵＢは、「音声情報」の一例に対応する。
第２部分ＱＡ２は、「対応部分」の一例に対応する。
第２音声情報ＳＵＢは、「音声情報」の一例に対応する。
【0042】
第２参照情報ＲＦＢは、第２ユーザーＵＢの状態、及び動作を示す。第２参照情報ＲＦＢは、例えば、第２カーソル位置ＣＲＢ、第２視線方向ＤＥＢ、第２検索ワードＷＳＢ、第２リアクションＲＥＢ、及び第２発言内容ＣＳＢ、を含む。
第２カーソル位置ＣＲＢは、第２端末装置１００Ｂの第１表示機構１６０のＬＣＤに表示するカーソルＣＲの位置である。第２視線方向ＤＥＢは、第２ユーザーＵＢの視線方向である。第２検索ワードＷＳＢは、第２端末装置１００Ｂにおいて検索エンジンによって検索処理が実行された検索ワードである。第２リアクションＲＥＢは、第２ユーザーＵＢのリアクションである。第２発言内容ＣＳＢは、第２音声情報ＳＵＢを示す文字情報である。
第２検索ワードＷＳＢは、「検索ワード」の一例に対応する。
第２参照情報ＲＦＢは、第１ログ生成部１１３によって生成される。また、第２参照情報ＲＦＢは、第１ログ生成部１１３によって第１ログ記憶部１１６に記憶される。
第２参照情報ＲＦＢについては、図９を参照して更に説明する。
第２カーソル位置ＣＲＢは、第２端末装置１００Ｂの第１表示機構１６０のＬＣＤに表示するカーソルＣＲの位置である。第２視線方向ＤＥＢは、第２ユーザーＵＢの視線方向である。第２検索ワードＷＳＢは、第２端末装置１００Ｂにおいて検索エンジンによって検索処理が実行された検索ワードである。第２リアクションＲＥＢは、第２ユーザーＵＢのリアクションである。第２発言内容ＣＳＢは、第２音声情報ＳＵＢを示す文字情報である。
第２検索ワードＷＳＢは、「検索ワード」の一例に対応する。
第２参照情報ＲＦＢは、第１ログ生成部１１３によって生成される。また、第２参照情報ＲＦＢは、第１ログ生成部１１３によって第１ログ記憶部１１６に記憶される。
第２参照情報ＲＦＢについては、図９を参照して更に説明する。
【0043】
第１表示画像記憶部１１７は、第１画像ＰＤＡを記憶する。第１画像ＰＤＡは、第１通信制御部１１５によって、サーバー装置２００から受信され、第１通信制御部１１５によって、第１表示画像記憶部１１７に記憶される。
第１画像ＰＤＡについては、図７を参照して更に説明する。
第１画像ＰＤＡについては、図７を参照して更に説明する。
【0044】
画像音声受付部１１１は、カメラ１２０に第２ユーザー画像ＰＵＢを生成させる。また、画像音声受付部１１１は、生成された第２ユーザー画像ＰＵＢを受け付ける。
また、画像音声受付部１１１は、マイク１３０に第２音声情報ＳＵＢを生成させる。また、画像音声受付部１１１は、生成された第２音声情報ＳＵＢを受け付ける。
また、画像音声受付部１１１は、サーバー装置２００から、第１ユーザー画像ＰＵＡ、第３ユーザー画像ＰＵＣ、第１音声情報ＳＵＡ、及び第３音声情報ＳＵＣを受け付ける。
また、画像音声受付部１１１は、マイク１３０に第２音声情報ＳＵＢを生成させる。また、画像音声受付部１１１は、生成された第２音声情報ＳＵＢを受け付ける。
また、画像音声受付部１１１は、サーバー装置２００から、第１ユーザー画像ＰＵＡ、第３ユーザー画像ＰＵＣ、第１音声情報ＳＵＡ、及び第３音声情報ＳＵＣを受け付ける。
【0045】
画像音声出力部１１２は、第１ユーザー画像ＰＵＡ、及び第３ユーザー画像ＰＵＣを、第１表示機構１６０のＬＣＤに表示させる。
また、画像音声出力部１１２は、第１音声情報ＳＵＡ、及び第３音声情報ＳＵＣに対応する音声を、スピーカー１４０に出力させる。
また、画像音声出力部１１２は、第１音声情報ＳＵＡ、及び第３音声情報ＳＵＣに対応する音声を、スピーカー１４０に出力させる。
【0046】
第１ログ生成部１１３は、画像音声受付部１１１が、第１音声情報ＳＵＡ、第２音声情報ＳＵＢ、又は第３音声情報ＳＵＣを受け付けた場合に、第２ログ情報ＬＧＢを生成する。第１ログ生成部１１３は、生成した第２ログ情報ＬＧＢを第１ログ記憶部１１６に記憶させる。また、第１ログ生成部１１３は、生成した第２ログ情報ＬＧＢをサーバー装置２００へ送信する。
第１ログ生成部１１３は、例えば、画像音声受付部１１１が第２音声情報ＳＵＢを受け付けた場合には、第２参照情報ＲＦＢとして、第２カーソル位置ＣＲＢ、第２視線方向ＤＥＢ、第２検索ワードＷＳＢ、及び第２発言内容ＣＳＢ、を生成する。
第１ログ生成部１１３は、例えば、画像音声受付部１１１が第２音声情報ＳＵＢを受け付けた場合には、第２参照情報ＲＦＢとして、第２カーソル位置ＣＲＢ、第２視線方向ＤＥＢ、第２検索ワードＷＳＢ、及び第２発言内容ＣＳＢ、を生成する。
【0047】
第１ログ生成部１１３は、第２カーソル位置ＣＲＢを、例えば、第１表示機構１６０から取得する。第１ログ生成部１１３は、例えば、第２視線方向ＤＥＢを第２ユーザー画像ＰＵＢに基づき決定する。第１ログ生成部１１３は、例えば、第２検索ワードＷＳＢを、第１表示機構１６０から取得する。第１ログ生成部１１３は、例えば、検索エンジンにおいてキーワードが入力されるキーワード入力欄に、第１操作機構１５０によって入力されたキーワードを第２検索ワードＷＳＢとして取得する。第１ログ生成部１１３は、例えば、第２発言内容ＣＳＢを、第２音声情報ＳＵＢに対して音声認識処理を実行することによって決定する。
【0048】
第１ログ生成部１１３は、例えば、画像音声受付部１１１が第１音声情報ＳＵＡを受け付けた場合には、第２参照情報ＲＦＢとして、第２カーソル位置ＣＲＢ、第２視線方向ＤＥＢ、第２検索ワードＷＳＢ、及び第２リアクションＲＥＢ、を生成する。第１ログ生成部１１３は、例えば、第２リアクションＲＥＢを、第２ユーザー画像ＰＵＢに基づき決定する。この場合には、第２リアクションＲＥＢは、第１音声情報ＳＵＡに対する第２ユーザーＵＢのリアクションを示す。
第１ログ生成部１１３は、例えば、画像音声受付部１１１が第３音声情報ＳＵＣを受け付けた場合には、第２参照情報ＲＦＢとして、第２カーソル位置ＣＲＢ、第２視線方向ＤＥＢ、第２検索ワードＷＳＢ、及び第２リアクションＲＥＢ、を生成する。この場合には、第２リアクションＲＥＢは、第３音声情報ＳＵＣに対する第２ユーザーＵＢのリアクションを示す。
第１ログ生成部１１３は、例えば、画像音声受付部１１１が第３音声情報ＳＵＣを受け付けた場合には、第２参照情報ＲＦＢとして、第２カーソル位置ＣＲＢ、第２視線方向ＤＥＢ、第２検索ワードＷＳＢ、及び第２リアクションＲＥＢ、を生成する。この場合には、第２リアクションＲＥＢは、第３音声情報ＳＵＣに対する第２ユーザーＵＢのリアクションを示す。
【0049】
表示制御部１１４は、第１通信制御部１１５が、サーバー装置２００から第１画像ＰＤＡを受信したときに、第１画像ＰＤＡを第１表示機構１６０のＬＣＤに表示させる。
【0050】
第１通信制御部１１５は、第２ユーザー画像ＰＵＢ、及び第２音声情報ＳＵＢをサーバー装置２００へ送信する。
また、第１通信制御部１１５は、第１ログ生成部１１３が第２ログ情報ＬＧＢを生成する度に、生成された第２ログ情報ＬＧＢをサーバー装置２００へ送信する。
また、第１通信制御部１１５は、第１画像ＰＤＡをサーバー装置２００から受信する。また、第１通信制御部１１５は、第１ユーザー画像ＰＵＡ、第３ユーザー画像ＰＵＣ、第１音声情報ＳＵＡ、及び第３音声情報ＳＵＣを、サーバー装置２００から受信する。
また、第１通信制御部１１５は、第１ログ生成部１１３が第２ログ情報ＬＧＢを生成する度に、生成された第２ログ情報ＬＧＢをサーバー装置２００へ送信する。
また、第１通信制御部１１５は、第１画像ＰＤＡをサーバー装置２００から受信する。また、第１通信制御部１１５は、第１ユーザー画像ＰＵＡ、第３ユーザー画像ＰＵＣ、第１音声情報ＳＵＡ、及び第３音声情報ＳＵＣを、サーバー装置２００から受信する。
【0051】
［２－３．第３端末装置の構成］
次に、図４を参照して、第３端末装置１００Ｃの構成について説明する。第３端末装置１００Ｃの構成は、第１端末装置１００Ａの構成と略同一である。以下では、第３端末装置１００Ｃの構成のうち、第１端末装置１００Ａの構成と相違する点について主に説明する。
図４に示すように、第３端末装置１００Ｃの第１制御部１１０は、画像音声受付部１１１、画像音声出力部１１２、第１ログ生成部１１３、表示制御部１１４、第１通信制御部１１５、第１ログ記憶部１１６、及び第１表示画像記憶部１１７を備える。
次に、図４を参照して、第３端末装置１００Ｃの構成について説明する。第３端末装置１００Ｃの構成は、第１端末装置１００Ａの構成と略同一である。以下では、第３端末装置１００Ｃの構成のうち、第１端末装置１００Ａの構成と相違する点について主に説明する。
図４に示すように、第３端末装置１００Ｃの第１制御部１１０は、画像音声受付部１１１、画像音声出力部１１２、第１ログ生成部１１３、表示制御部１１４、第１通信制御部１１５、第１ログ記憶部１１６、及び第１表示画像記憶部１１７を備える。
【0052】
第１ログ記憶部１１６は、サーバー装置２００が、第１画像ＰＤＡの第３部分ＱＡ３を決定するために参照する第３参照情報ＲＦＣを、会議開始からの経過時間ＴＭと対応付けて、第３ログ情報ＬＧＣとして記憶する。第３部分ＱＡ３は、第１画像ＰＤＡにおいて、第３音声情報ＳＵＣに対応する部分である。
【0053】
第３参照情報ＲＦＣは、第３ユーザーＵＣの状態、及び動作を示す。第３参照情報ＲＦＣは、例えば、第３カーソル位置ＣＲＣ、第３視線方向ＤＥＣ、第３検索ワードＷＳＣ、第３リアクションＲＥＣ、第３発言内容ＣＳＣ、を含む。
第３カーソル位置ＣＲＣは、第３端末装置１００Ｃの第１表示機構１６０のＬＣＤに表示するカーソルＣＲの位置である。第３視線方向ＤＥＣは、第３ユーザーＵＣの視線方向である。第３検索ワードＷＳＣは、第３端末装置１００Ｃにおいて検索エンジンによって検索処理が実行された検索ワードである。第３リアクションＲＥＣは、第３ユーザーＵＣのリアクションである。第３発言内容ＣＳＣは、第３音声情報ＳＵＣを示す文字情報である。
第３参照情報ＲＦＣは、第１ログ生成部１１３によって生成される。また、第３参照情報ＲＦＣは、第１ログ生成部１１３によって第１ログ記憶部１１６に記憶される。
第３参照情報ＲＦＣについては、図９を参照して更に説明する。
第３カーソル位置ＣＲＣは、第３端末装置１００Ｃの第１表示機構１６０のＬＣＤに表示するカーソルＣＲの位置である。第３視線方向ＤＥＣは、第３ユーザーＵＣの視線方向である。第３検索ワードＷＳＣは、第３端末装置１００Ｃにおいて検索エンジンによって検索処理が実行された検索ワードである。第３リアクションＲＥＣは、第３ユーザーＵＣのリアクションである。第３発言内容ＣＳＣは、第３音声情報ＳＵＣを示す文字情報である。
第３参照情報ＲＦＣは、第１ログ生成部１１３によって生成される。また、第３参照情報ＲＦＣは、第１ログ生成部１１３によって第１ログ記憶部１１６に記憶される。
第３参照情報ＲＦＣについては、図９を参照して更に説明する。
【0054】
第１表示画像記憶部１１７は、第１画像ＰＤＡを記憶する。第１画像ＰＤＡは、第１通信制御部１１５によって、サーバー装置２００から受信され、第１通信制御部１１５によって、第１表示画像記憶部１１７に記憶される。
第１画像ＰＤＡについては、図７を参照して更に説明する。
第１画像ＰＤＡについては、図７を参照して更に説明する。
【0055】
画像音声受付部１１１は、カメラ１２０に第３ユーザー画像ＰＵＣを生成させる。また、画像音声受付部１１１は、生成された第３ユーザー画像ＰＵＣを受け付ける。
また、画像音声受付部１１１は、マイク１３０に第３音声情報ＳＵＣを生成させる。また、画像音声受付部１１１は、生成された第３音声情報ＳＵＣを受け付ける。
また、画像音声受付部１１１は、サーバー装置２００から、第１ユーザー画像ＰＵＡ、第２ユーザー画像ＰＵＢ、第１音声情報ＳＵＡ、及び第２音声情報ＳＵＢを受け付ける。
また、画像音声受付部１１１は、マイク１３０に第３音声情報ＳＵＣを生成させる。また、画像音声受付部１１１は、生成された第３音声情報ＳＵＣを受け付ける。
また、画像音声受付部１１１は、サーバー装置２００から、第１ユーザー画像ＰＵＡ、第２ユーザー画像ＰＵＢ、第１音声情報ＳＵＡ、及び第２音声情報ＳＵＢを受け付ける。
【0056】
画像音声出力部１１２は、第１ユーザー画像ＰＵＡ、及び第２ユーザー画像ＰＵＢを、第１表示機構１６０のＬＣＤに表示させる。
また、画像音声出力部１１２は、第１音声情報ＳＵＡ、及び第２音声情報ＳＵＢに対応する音声を、スピーカー１４０に出力させる。
また、画像音声出力部１１２は、第１音声情報ＳＵＡ、及び第２音声情報ＳＵＢに対応する音声を、スピーカー１４０に出力させる。
【0057】
第１ログ生成部１１３は、画像音声受付部１１１が、第１音声情報ＳＵＡ、第２音声情報ＳＵＢ、又は第３音声情報ＳＵＣを受け付けた場合に、第３ログ情報ＬＧＣを生成する。第１ログ生成部１１３は、生成した第３ログ情報ＬＧＣを第１ログ記憶部１１６に記憶させる。また、第１ログ生成部１１３は、生成した第３ログ情報ＬＧＣをサーバー装置２００へ送信する。
第１ログ生成部１１３は、例えば、画像音声受付部１１１が第３音声情報ＳＵＣを受け付けた場合には、第３参照情報ＲＦＣとして、第３カーソル位置ＣＲＣ、第３視線方向ＤＥＣ、第３検索ワードＷＳＣ、及び第３発言内容ＣＳＣ、を生成する。
第１ログ生成部１１３は、例えば、画像音声受付部１１１が第３音声情報ＳＵＣを受け付けた場合には、第３参照情報ＲＦＣとして、第３カーソル位置ＣＲＣ、第３視線方向ＤＥＣ、第３検索ワードＷＳＣ、及び第３発言内容ＣＳＣ、を生成する。
【0058】
第１ログ生成部１１３は、第３カーソル位置ＣＲＣを、例えば、第１表示機構１６０から取得する。第１ログ生成部１１３は、例えば、第３視線方向ＤＥＣを第３ユーザー画像ＰＵＣに基づき決定する。第１ログ生成部１１３は、例えば、第３検索ワードＷＳＣを、第１表示機構１６０から取得する。第１ログ生成部１１３は、例えば、検索エンジンにおいてキーワードが入力されるキーワード入力欄に、第１操作機構１５０によって入力されたキーワードを第３検索ワードＷＳ３として取得する。第１ログ生成部１１３は、例えば、第３発言内容ＣＳＣを、第３音声情報ＳＵＣに対して音声認識処理を実行することによって決定する。
【0059】
第１ログ生成部１１３は、例えば、画像音声受付部１１１が第１音声情報ＳＵＡを受け付けた場合には、第３参照情報ＲＦＣとして、第３カーソル位置ＣＲＣ、第３視線方向ＤＥＣ、第３検索ワードＷＳＣ、及び第３リアクションＲＥＣ、を生成する。第１ログ生成部１１３は、例えば、第３リアクションＲＥＣを、第３ユーザー画像ＰＵＣに基づき決定する。この場合には、第３リアクションＲＥＣは、第１音声情報ＳＵＡに対する第３ユーザーＵＣのリアクションを示す。
第１ログ生成部１１３は、例えば、画像音声受付部１１１が第２音声情報ＳＵＢを受け付けた場合には、第３参照情報ＲＦＣとして、第３カーソル位置ＣＲＣ、第３視線方向ＤＥＣ、第３検索ワードＷＳＣ、及び第３リアクションＲＥＣ、を生成する。この場合には、第３リアクションＲＥＣは、第２音声情報ＳＵＢに対する第３ユーザーＵＣのリアクションを示す。
第１ログ生成部１１３は、例えば、画像音声受付部１１１が第２音声情報ＳＵＢを受け付けた場合には、第３参照情報ＲＦＣとして、第３カーソル位置ＣＲＣ、第３視線方向ＤＥＣ、第３検索ワードＷＳＣ、及び第３リアクションＲＥＣ、を生成する。この場合には、第３リアクションＲＥＣは、第２音声情報ＳＵＢに対する第３ユーザーＵＣのリアクションを示す。
【0060】
表示制御部１１４は、第１通信制御部１１５が、サーバー装置２００から第１画像ＰＤＡを受信したときに、第１画像ＰＤＡを第１表示機構１６０のＬＣＤに表示させる。
【0061】
第１通信制御部１１５は、第３ユーザー画像ＰＵＣ、及び第３音声情報ＳＵＣをサーバー装置２００へ送信する。
また、第１通信制御部１１５は、第１ログ生成部１１３が第３ログ情報ＬＧＣを生成する度に、生成された第３ログ情報ＬＧＣをサーバー装置２００へ送信する。
また、第１通信制御部１１５は、第１画像ＰＤＡをサーバー装置２００から受信する。また、第１通信制御部１１５は、第１ユーザー画像ＰＵＡ、第２ユーザー画像ＰＵＢ、第１音声情報ＳＵＡ、及び第２音声情報ＳＵＢを、サーバー装置２００から受信する。
また、第１通信制御部１１５は、第１ログ生成部１１３が第３ログ情報ＬＧＣを生成する度に、生成された第３ログ情報ＬＧＣをサーバー装置２００へ送信する。
また、第１通信制御部１１５は、第１画像ＰＤＡをサーバー装置２００から受信する。また、第１通信制御部１１５は、第１ユーザー画像ＰＵＡ、第２ユーザー画像ＰＵＢ、第１音声情報ＳＵＡ、及び第２音声情報ＳＵＢを、サーバー装置２００から受信する。
【0062】
［３．サーバー装置の構成］
次に、図５を参照して、サーバー装置２００の構成について説明する。図５は、本実施形態に係るサーバー装置２００の構成の一例を示す図である。図５に示すように、サーバー装置２００は、第２制御部２１０、第２操作機構２２０、第２表示機構２３０、及び第２通信インターフェース２４０を備える。第２制御部２１０は、第２プロセッサー２１０Ａ、及び第２メモリー２１０Ｂを備える。第２制御部２１０は、サーバー装置２００の各部の動作を制御する。
また、第２制御部２１０には、第２操作機構２２０、第２表示機構２３０、及び第２通信インターフェース２４０が接続される。
次に、図５を参照して、サーバー装置２００の構成について説明する。図５は、本実施形態に係るサーバー装置２００の構成の一例を示す図である。図５に示すように、サーバー装置２００は、第２制御部２１０、第２操作機構２２０、第２表示機構２３０、及び第２通信インターフェース２４０を備える。第２制御部２１０は、第２プロセッサー２１０Ａ、及び第２メモリー２１０Ｂを備える。第２制御部２１０は、サーバー装置２００の各部の動作を制御する。
また、第２制御部２１０には、第２操作機構２２０、第２表示機構２３０、及び第２通信インターフェース２４０が接続される。
【0063】
第２操作機構２２０は、種々のキー、ボタン等を備え、ユーザーからの操作を受け付ける。ユーザーは、例えば、サーバー装置２００の管理者である。そして、第２操作機構２２０は、受け付けた操作に対応する操作信号を生成し、生成した操作信号を第２制御部２１０へ出力する。
第２表示機構２３０は、ＬＣＤ等を備え、第２制御部２１０からの指示に従って、種々の画像をＬＣＤに表示する。
第２通信インターフェース２４０は、コネクター及びインターフェース回路を備え、第２制御部２１０に接続される。本実施形態では、第２通信インターフェース２４０は、例えば、Ｅｔｈｅｒｎｅｔ（登録商標）規格に則って、第１端末装置１００Ａ、第２端末装置１００Ｂ、及び第３端末装置１００Ｃの各々と通信するためのインターフェースである。
第２通信インターフェース２４０は、「通信インターフェース」の一例に対応する。
第２表示機構２３０は、ＬＣＤ等を備え、第２制御部２１０からの指示に従って、種々の画像をＬＣＤに表示する。
第２通信インターフェース２４０は、コネクター及びインターフェース回路を備え、第２制御部２１０に接続される。本実施形態では、第２通信インターフェース２４０は、例えば、Ｅｔｈｅｒｎｅｔ（登録商標）規格に則って、第１端末装置１００Ａ、第２端末装置１００Ｂ、及び第３端末装置１００Ｃの各々と通信するためのインターフェースである。
第２通信インターフェース２４０は、「通信インターフェース」の一例に対応する。
【0064】
第２プロセッサー２１０Ａは、ＣＰＵ、ＤＳＰ、マイコン等で構成される。第２プロセッサー２１０Ａは、複数のプロセッサーにより構成されてもよいし、単一のプロセッサーで構成されてもよい。
第２プロセッサー２１０Ａが、後述する各部の機能を実現するようにプログラムされたハードウェアであってもよい。すなわち、第２プロセッサー２１０Ａは、第２制御プログラムＰＧ２をハードウェア回路として搭載した構成であってもよい。この場合には、例えば、第２プロセッサー２１０Ａは、ＡＳＩＣ、ＦＰＧＡ等で構成される。
以下の説明では、第２プロセッサー２１０Ａが第２制御プログラムＰＧ２を実行することによって、第２制御部２１０の各種の機能を実現する場合について説明する。
第２プロセッサー２１０Ａが、後述する各部の機能を実現するようにプログラムされたハードウェアであってもよい。すなわち、第２プロセッサー２１０Ａは、第２制御プログラムＰＧ２をハードウェア回路として搭載した構成であってもよい。この場合には、例えば、第２プロセッサー２１０Ａは、ＡＳＩＣ、ＦＰＧＡ等で構成される。
以下の説明では、第２プロセッサー２１０Ａが第２制御プログラムＰＧ２を実行することによって、第２制御部２１０の各種の機能を実現する場合について説明する。
【0065】
第２メモリー２１０Ｂは、第２プロセッサー２１０Ａが実行するプログラムや、第２プロセッサー２１０Ａにより処理されるデータを記憶する記憶領域を有する。第２メモリー２１０Ｂは、第２プロセッサー２１０Ａが実行する第２制御プログラムＰＧ２、及び、サーバー装置２００の動作に関する各種の画像データ、設定データ等を記憶する。
第２メモリー２１０Ｂは、プログラムやデータを不揮発的に記憶する不揮発性記憶領域を有する。第２メモリー２１０Ｂは、不揮発性記憶領域として、例えば、ＲＯＭ、ＨＤＤ、ＳＳＤ等を備えてもよい。また、第２メモリー２１０Ｂは、揮発性記憶領域を備え、第２プロセッサー２１０Ａが実行するプログラムや処理対象のデータを一時的に記憶するワークエリアを構成してもよい。第２メモリー２１０Ｂは、揮発性記憶領域として、例えば、ＲＡＭ等を備えてもよい。
第２メモリー２１０Ｂは、プログラムやデータを不揮発的に記憶する不揮発性記憶領域を有する。第２メモリー２１０Ｂは、不揮発性記憶領域として、例えば、ＲＯＭ、ＨＤＤ、ＳＳＤ等を備えてもよい。また、第２メモリー２１０Ｂは、揮発性記憶領域を備え、第２プロセッサー２１０Ａが実行するプログラムや処理対象のデータを一時的に記憶するワークエリアを構成してもよい。第２メモリー２１０Ｂは、揮発性記憶領域として、例えば、ＲＡＭ等を備えてもよい。
【0066】
また、図５に示すように、第２制御部２１０は、画像制御部２１１、音声制御部２１２、取得部２１３、第２ログ生成部２１４、決定部２１５、画像処理部２１６、第２通信制御部２１７、第２ログ記憶部２１８、及び第２表示画像記憶部２１９、を備える。これらの各部は、例えば、第２プロセッサー２１０Ａが第２制御プログラムＰＧ２を実行することによって、ソフトウェアとハードウェアとの協働により実現される。
第２制御プログラムＰＧ２は、「プログラム」の一例に対応する。
第２プロセッサー２１０Ａは、「少なくとも１つのプロセッサー」の一例に対応する。
第２制御プログラムＰＧ２は、「プログラム」の一例に対応する。
第２プロセッサー２１０Ａは、「少なくとも１つのプロセッサー」の一例に対応する。
【0067】
第２ログ記憶部２１８は、会議ログ情報ＬＧを記憶する。会議ログ情報ＬＧは、第２ログ生成部２１４によって、第１ログ情報ＬＧＡ、第２ログ情報ＬＧＢ、第３ログ情報ＬＧＣに基づいて生成される。また、会議ログ情報ＬＧは、第２ログ生成部２１４によって、第２ログ記憶部２１８に記憶される。
【0068】
第２表示画像記憶部２１９は、第１画像ＰＤＡ、及び複製画像ＰＤＡ１を記憶する。第１画像ＰＤＡは、取得部２１３によって、第１端末装置１００Ａから取得され、取得部２１３によって、第２表示画像記憶部２１９に記憶される。複製画像ＰＤＡ１は、画像処理部２１６によって生成され、第２表示画像記憶部２１９に記憶される。
また、第２表示画像記憶部２１９は、第１合成画像ＰＳ１、及び第２合成画像ＰＳ２を記憶する。第１合成画像ＰＳ１、及び、第２合成画像ＰＳ２の各々は、画像処理部２１６によって生成され、画像処理部２１６によって第２表示画像記憶部２１９に記憶される。
また、第２表示画像記憶部２１９は、第１合成画像ＰＳ１、及び第２合成画像ＰＳ２を記憶する。第１合成画像ＰＳ１、及び、第２合成画像ＰＳ２の各々は、画像処理部２１６によって生成され、画像処理部２１６によって第２表示画像記憶部２１９に記憶される。
【0069】
画像制御部２１１は、第１端末装置１００Ａから第１ユーザー画像ＰＵＡを受け付ける。また、画像制御部２１１は、第２端末装置１００Ｂから第２ユーザー画像ＰＵＢを受け付ける。また、画像制御部２１１は、第３端末装置１００Ｃから第３ユーザー画像ＰＵＣを受け付ける。
また、画像制御部２１１は、第２通信インターフェース２４０を制御して、第１端末装置１００Ａに、第２ユーザー画像ＰＵＢ、及び第３ユーザー画像ＰＵＣを送信することによって、第１端末装置１００Ａに、第２ユーザー画像ＰＵＢ、及び第３ユーザー画像ＰＵＣを表示させる。また、画像制御部２１１は、第２通信インターフェース２４０を制御して、第２端末装置１００Ｂに、第１ユーザー画像ＰＵＡ、及び第３ユーザー画像ＰＵＣを送信することによって、第２端末装置１００Ｂに、第１ユーザー画像ＰＵＡ、及び第３ユーザー画像ＰＵＣを表示させる。また、画像制御部２１１は、第２通信インターフェース２４０を制御して、第３端末装置１００Ｃに、第１ユーザー画像ＰＵＡ、及び第２ユーザー画像ＰＵＢを送信することによって、第３端末装置１００Ｃに、第１ユーザー画像ＰＵＡ、及び第２ユーザー画像ＰＵＢを表示させる。
また、画像制御部２１１は、第２通信インターフェース２４０を制御して、第１端末装置１００Ａに、第２ユーザー画像ＰＵＢ、及び第３ユーザー画像ＰＵＣを送信することによって、第１端末装置１００Ａに、第２ユーザー画像ＰＵＢ、及び第３ユーザー画像ＰＵＣを表示させる。また、画像制御部２１１は、第２通信インターフェース２４０を制御して、第２端末装置１００Ｂに、第１ユーザー画像ＰＵＡ、及び第３ユーザー画像ＰＵＣを送信することによって、第２端末装置１００Ｂに、第１ユーザー画像ＰＵＡ、及び第３ユーザー画像ＰＵＣを表示させる。また、画像制御部２１１は、第２通信インターフェース２４０を制御して、第３端末装置１００Ｃに、第１ユーザー画像ＰＵＡ、及び第２ユーザー画像ＰＵＢを送信することによって、第３端末装置１００Ｃに、第１ユーザー画像ＰＵＡ、及び第２ユーザー画像ＰＵＢを表示させる。
【0070】
音声制御部２１２は、第１端末装置１００Ａから第１音声情報ＳＵＡを受け付ける。また、音声制御部２１２は、第２端末装置１００Ｂから第２音声情報ＳＵＢを受け付ける。また、音声制御部２１２は、第３端末装置１００Ｃから第３音声情報ＳＵＣを受け付ける。
また、音声制御部２１２は、第１端末装置１００Ａに、第２音声情報ＳＵＢ及び第３音声情報ＳＵＣに対応する音声を出力させる。また、音声制御部２１２は、第２端末装置１００Ｂに、第１音声情報ＳＵＡ及び第３音声情報ＳＵＣに対応する音声を出力させる。また、音声制御部２１２は、第３端末装置１００Ｃに、第１音声情報ＳＵＡ及び第２音声情報ＳＵＢに対応する音声を出力させる。
また、音声制御部２１２は、第１端末装置１００Ａに、第２音声情報ＳＵＢ及び第３音声情報ＳＵＣに対応する音声を出力させる。また、音声制御部２１２は、第２端末装置１００Ｂに、第１音声情報ＳＵＡ及び第３音声情報ＳＵＣに対応する音声を出力させる。また、音声制御部２１２は、第３端末装置１００Ｃに、第１音声情報ＳＵＡ及び第２音声情報ＳＵＢに対応する音声を出力させる。
【0071】
取得部２１３は、第１端末装置１００Ａから第１画像ＰＤＡを取得する。取得部２１３は、第１画像ＰＤＡを、第２表示画像記憶部２１９に記憶させる。
取得部２１３は、例えば、第１端末装置１００Ａから、第１画像ＰＤＡを第２端末装置１００Ｂ、及び第３端末装置１００Ｃと共有する旨の指示を受け付けた場合に、第１端末装置１００Ａから第１画像ＰＤＡを取得する。
取得部２１３は、例えば、第１端末装置１００Ａから、第１画像ＰＤＡを第２端末装置１００Ｂ、及び第３端末装置１００Ｃと共有する旨の指示を受け付けた場合に、第１端末装置１００Ａから第１画像ＰＤＡを取得する。
【0072】
第２ログ生成部２１４は、第１端末装置１００Ａから第１ログ情報ＬＧＡを受け付け、第２端末装置１００Ｂから第２ログ情報ＬＧＢを受け付け、第３端末装置１００Ｃから第３ログ情報ＬＧＣを受け付ける。そして、第２ログ生成部２１４は、第１ログ情報ＬＧＡ、第２ログ情報ＬＧＢ、及び第３ログ情報ＬＧＣに基づいて、会議ログ情報ＬＧを生成する。
第２ログ生成部２１４は、第１ログ情報ＬＧＡ、第２ログ情報ＬＧＢ、及び第３ログ情報ＬＧＣを、１つの会議ログ情報ＬＧに合成することによって会議ログ情報ＬＧを生成する。また、第２ログ生成部２１４は、第１ログ情報ＬＧＡ、第２ログ情報ＬＧＢ、及び第３ログ情報ＬＧＣを、会議開始からの経過時間ＴＭに基づいて、並び替えることによって会議ログ情報ＬＧを生成する。
会議ログ情報ＬＧについては、図９を参照して更に説明する。
第２ログ生成部２１４は、第１ログ情報ＬＧＡ、第２ログ情報ＬＧＢ、及び第３ログ情報ＬＧＣを、１つの会議ログ情報ＬＧに合成することによって会議ログ情報ＬＧを生成する。また、第２ログ生成部２１４は、第１ログ情報ＬＧＡ、第２ログ情報ＬＧＢ、及び第３ログ情報ＬＧＣを、会議開始からの経過時間ＴＭに基づいて、並び替えることによって会議ログ情報ＬＧを生成する。
会議ログ情報ＬＧについては、図９を参照して更に説明する。
【0073】
決定部２１５は、音声制御部２１２が第１端末装置１００Ａから第１音声情報ＳＵＡを受け付けた場合に、第１画像ＰＤＡの第１部分ＱＡ１を決定する。第１部分ＱＡ１は、第１画像ＰＤＡにおいて、第１音声情報ＳＵＡに対応する部分である。
決定部２１５は、例えば、第１音声情報ＳＵＡに対応する第１参照情報ＲＦＡに基づいて、第１部分ＱＡ１を決定する。また、決定部２１５は、例えば、第１音声情報ＳＵＡに対応する第２参照情報ＲＦＢ、及び第３参照情報ＲＦＣに基づいて、第１部分ＱＡ１を決定する。
決定部２１５は、例えば、第１音声情報ＳＵＡに対応する第１参照情報ＲＦＡに基づいて、第１部分ＱＡ１を決定する。また、決定部２１５は、例えば、第１音声情報ＳＵＡに対応する第２参照情報ＲＦＢ、及び第３参照情報ＲＦＣに基づいて、第１部分ＱＡ１を決定する。
【0074】
決定部２１５は、音声制御部２１２が第２端末装置１００Ｂから第２音声情報ＳＵＢを受け付けた場合に、第１画像ＰＤＡの第２部分ＱＡ２を決定する。第２部分ＱＡ２は、第１画像ＰＤＡにおいて、第２音声情報ＳＵＢに対応する部分である。
決定部２１５は、例えば、第２音声情報ＳＵＢに対応する第２参照情報ＲＦＢに基づいて、第２部分ＱＡ２を決定する。また、決定部２１５は、例えば、第２音声情報ＳＵＢに対応する第１参照情報ＲＦＡ、及び第３参照情報ＲＦＣに基づいて、第２部分ＱＡ２を決定する。
決定部２１５は、例えば、第２音声情報ＳＵＢに対応する第２参照情報ＲＦＢに基づいて、第２部分ＱＡ２を決定する。また、決定部２１５は、例えば、第２音声情報ＳＵＢに対応する第１参照情報ＲＦＡ、及び第３参照情報ＲＦＣに基づいて、第２部分ＱＡ２を決定する。
【0075】
決定部２１５は、音声制御部２１２が第３端末装置１００Ｃから第３音声情報ＳＵＣを受け付けた場合に、第１画像ＰＤＡの第３部分ＱＡ３を決定する。第３部分ＱＡ３は、第１画像ＰＤＡにおいて、第３音声情報ＳＵＣに対応する部分である。
決定部２１５は、例えば、第３音声情報ＳＵＣに対応する第３参照情報ＲＦＣに基づいて、第３部分ＱＡ３を決定する。また、決定部２１５は、例えば、第３音声情報ＳＵＣに対応する第１参照情報ＲＦＡ、及び第２参照情報ＲＦＢに基づいて、第３部分ＱＡ３を決定する。
決定部２１５は、例えば、第３音声情報ＳＵＣに対応する第３参照情報ＲＦＣに基づいて、第３部分ＱＡ３を決定する。また、決定部２１５は、例えば、第３音声情報ＳＵＣに対応する第１参照情報ＲＦＡ、及び第２参照情報ＲＦＢに基づいて、第３部分ＱＡ３を決定する。
【0076】
画像処理部２１６は、取得部２１３が第１端末装置１００Ａから第１画像ＰＤＡを取得した場合に、第２通信インターフェース２４０を制御して、第１画像ＰＤＡを第２端末装置１００Ｂ、及び第３端末装置１００Ｃに送信することによって、第１画像ＰＤＡを第２端末装置１００Ｂ、及び第３端末装置１００Ｃに表示させる。
なお、以下の説明では、まず、音声制御部２１２が第２端末装置１００Ｂから第２音声情報ＳＵＢを受け付けて、その後、音声制御部２１２が第３端末装置１００Ｃから第３音声情報ＳＵＣを受け付ける場合について説明する。
なお、以下の説明では、まず、音声制御部２１２が第２端末装置１００Ｂから第２音声情報ＳＵＢを受け付けて、その後、音声制御部２１２が第３端末装置１００Ｃから第３音声情報ＳＵＣを受け付ける場合について説明する。
【0077】
次に、図５、及び図６を参照して、決定部２１５、及び画像処理部２１６の処理について説明する。図６は、決定部２１５、及び画像処理部２１６の処理の一例を示す図である。
図６に示すように、画像処理部２１６は、第１画像ＰＤＡを複製した複製画像ＰＤＡ１を生成し、生成した複製画像ＰＤＡ１を第２表示画像記憶部２１９に記憶させる。
図６に示すように、画像処理部２１６は、第１画像ＰＤＡを複製した複製画像ＰＤＡ１を生成し、生成した複製画像ＰＤＡ１を第２表示画像記憶部２１９に記憶させる。
【0078】
音声制御部２１２が第２端末装置１００Ｂから第２音声情報ＳＵＢを受け付けた場合に、決定部２１５は、第２音声情報ＳＵＢに対応する第２参照情報ＲＦＢに基づいて、第２部分ＱＡ２を決定する。また、決定部２１５は、第２音声情報ＳＵＢに対応する第２参照情報ＲＦＢに加えて、第２音声情報ＳＵＢに対応する第１参照情報ＲＦＡ、及び第２音声情報ＳＵＢに対応する第３参照情報ＲＦＣに基づいて、第２部分ＱＡ２を決定する。
また、画像処理部２１６は、第１合成画像ＰＳ１を生成し、第２通信インターフェース２４０を制御して、第１合成画像ＰＳ１を第１端末装置１００Ａに送信することによって、第１合成画像ＰＳ１を第１端末装置１００Ａに表示させる。
図６に示すように、第１合成画像ＰＳ１は、第２音声情報ＳＵＢを示す第２画像ＰＤＢを第１画像ＰＤＡの第２部分ＱＡ２に付加した画像である。第２画像ＰＤＢは、例えば、第２音声情報ＳＵＢに対応する第２参照情報ＲＦＢに含まれる第２発言内容ＣＳＢを示す。なお、第２画像ＰＤＢは、第１画像ＰＤＡの第１表示態様とは異なる第２表示態様の画像である。
画像処理部２１６は、例えば、以下の手順で、第１合成画像ＰＳ１を第２表示画像記憶部２１９に記憶させる。まず、画像処理部２１６は、第２画像ＰＤＢを複製画像ＰＤＡ１の第２部分ＱＡ２に付加して、第１合成画像ＰＳ１を生成する。次に、画像処理部２１６は、生成した第１合成画像ＰＳ１を、複製画像ＰＤＡ１に換えて、第２表示画像記憶部２１９に記憶させる。例えば、画像処理部２１６は、第２表示画像記憶部２１９に記憶されている複製画像ＰＤＡ１を第１合成画像ＰＳ１で上書きする。なお、画像処理部２１６は、複製画像ＰＤＡ１に加えて、第１合成画像ＰＳ１を第２表示画像記憶部２１９に記憶させてもよい。この場合には、保存した時刻が最新の画像を、第２通信インターフェース２４０を制御して、第１端末装置１００Ａに送信することによって、保存した時刻が最新の画像を第１端末装置１００Ａに表示させる。
また、画像処理部２１６は、第１合成画像ＰＳ１を生成し、第２通信インターフェース２４０を制御して、第１合成画像ＰＳ１を第１端末装置１００Ａに送信することによって、第１合成画像ＰＳ１を第１端末装置１００Ａに表示させる。
図６に示すように、第１合成画像ＰＳ１は、第２音声情報ＳＵＢを示す第２画像ＰＤＢを第１画像ＰＤＡの第２部分ＱＡ２に付加した画像である。第２画像ＰＤＢは、例えば、第２音声情報ＳＵＢに対応する第２参照情報ＲＦＢに含まれる第２発言内容ＣＳＢを示す。なお、第２画像ＰＤＢは、第１画像ＰＤＡの第１表示態様とは異なる第２表示態様の画像である。
画像処理部２１６は、例えば、以下の手順で、第１合成画像ＰＳ１を第２表示画像記憶部２１９に記憶させる。まず、画像処理部２１６は、第２画像ＰＤＢを複製画像ＰＤＡ１の第２部分ＱＡ２に付加して、第１合成画像ＰＳ１を生成する。次に、画像処理部２１６は、生成した第１合成画像ＰＳ１を、複製画像ＰＤＡ１に換えて、第２表示画像記憶部２１９に記憶させる。例えば、画像処理部２１６は、第２表示画像記憶部２１９に記憶されている複製画像ＰＤＡ１を第１合成画像ＰＳ１で上書きする。なお、画像処理部２１６は、複製画像ＰＤＡ１に加えて、第１合成画像ＰＳ１を第２表示画像記憶部２１９に記憶させてもよい。この場合には、保存した時刻が最新の画像を、第２通信インターフェース２４０を制御して、第１端末装置１００Ａに送信することによって、保存した時刻が最新の画像を第１端末装置１００Ａに表示させる。
【0079】
音声制御部２１２が、第２端末装置１００Ｂから第２音声情報ＳＵＢを受け付けた後に、第３端末装置１００Ｃから第３音声情報ＳＵＣを受け付けた場合に、決定部２１５は、及び画像処理部２１６は、以下の処理を実行する。
まず、決定部２１５は、第３音声情報ＳＵＣに対応する第３参照情報ＲＦＣに基づいて、第３部分ＱＡ３を決定する。また、決定部２１５は、第３音声情報ＳＵＣに対応する第３参照情報ＲＦＣに加えて、第３音声情報ＳＵＣに対応する第１参照情報ＲＦＡ、及び第３音声情報ＳＵＣに対応する第２参照情報ＲＦＢに基づいて、第３部分ＱＡ３を決定する。
また、画像処理部２１６は、第２合成画像ＰＳ２を生成し、第２通信インターフェース２４０を制御して、第２合成画像ＰＳ２を第１端末装置１００Ａに送信することによって、第２合成画像ＰＳ２を第１端末装置１００Ａに表示させる。
図６に示すように、第２合成画像ＰＳ２は、第３音声情報ＳＵＣを示す第３画像ＰＤＣを第１合成画像ＰＳ１の第３部分ＱＡ３に付加した画像である。第３画像ＰＤＣは、例えば、第３音声情報ＳＵＣに対応する第３参照情報ＲＦＣに含まれる第３発言内容ＣＳＣを示す。なお、第３画像ＰＤＣは、第１画像ＰＤＡの第１表示態様とは異なる第２表示態様の画像である。
画像処理部２１６は、例えば、以下の手順で、第２合成画像ＰＳ２を第２表示画像記憶部２１９に記憶させる。まず、画像処理部２１６は、第３画像ＰＤＣを第１合成画像ＰＳ１の第３部分ＱＡ３に付加して、第２合成画像ＰＳ２を生成する。次に、画像処理部２１６は、生成した第２合成画像ＰＳ２を、第１合成画像ＰＳ１に換えて、第２表示画像記憶部２１９に記憶させる。例えば、画像処理部２１６は、第２表示画像記憶部２１９に記憶されている第１合成画像ＰＳ１を第２合成画像ＰＳ２で上書きする。なお、画像処理部２１６は、第１合成画像ＰＳ１に加えて、第２合成画像ＰＳ２を第２表示画像記憶部２１９に記憶させてもよい。この場合には、保存した時刻が最新の画像を、第２通信インターフェース２４０を制御して、第１端末装置１００Ａに送信することによって、保存した時刻が最新の画像を第１端末装置１００Ａに表示させる。
まず、決定部２１５は、第３音声情報ＳＵＣに対応する第３参照情報ＲＦＣに基づいて、第３部分ＱＡ３を決定する。また、決定部２１５は、第３音声情報ＳＵＣに対応する第３参照情報ＲＦＣに加えて、第３音声情報ＳＵＣに対応する第１参照情報ＲＦＡ、及び第３音声情報ＳＵＣに対応する第２参照情報ＲＦＢに基づいて、第３部分ＱＡ３を決定する。
また、画像処理部２１６は、第２合成画像ＰＳ２を生成し、第２通信インターフェース２４０を制御して、第２合成画像ＰＳ２を第１端末装置１００Ａに送信することによって、第２合成画像ＰＳ２を第１端末装置１００Ａに表示させる。
図６に示すように、第２合成画像ＰＳ２は、第３音声情報ＳＵＣを示す第３画像ＰＤＣを第１合成画像ＰＳ１の第３部分ＱＡ３に付加した画像である。第３画像ＰＤＣは、例えば、第３音声情報ＳＵＣに対応する第３参照情報ＲＦＣに含まれる第３発言内容ＣＳＣを示す。なお、第３画像ＰＤＣは、第１画像ＰＤＡの第１表示態様とは異なる第２表示態様の画像である。
画像処理部２１６は、例えば、以下の手順で、第２合成画像ＰＳ２を第２表示画像記憶部２１９に記憶させる。まず、画像処理部２１６は、第３画像ＰＤＣを第１合成画像ＰＳ１の第３部分ＱＡ３に付加して、第２合成画像ＰＳ２を生成する。次に、画像処理部２１６は、生成した第２合成画像ＰＳ２を、第１合成画像ＰＳ１に換えて、第２表示画像記憶部２１９に記憶させる。例えば、画像処理部２１６は、第２表示画像記憶部２１９に記憶されている第１合成画像ＰＳ１を第２合成画像ＰＳ２で上書きする。なお、画像処理部２１６は、第１合成画像ＰＳ１に加えて、第２合成画像ＰＳ２を第２表示画像記憶部２１９に記憶させてもよい。この場合には、保存した時刻が最新の画像を、第２通信インターフェース２４０を制御して、第１端末装置１００Ａに送信することによって、保存した時刻が最新の画像を第１端末装置１００Ａに表示させる。
【0080】
第２通信制御部２１７が、第１端末装置１００Ａ、第２端末装置１００Ｂ、又は第３端末装置１００Ｃから会議の終了を示す終了情報ＪＥを受け付けた場合には、画像処理部２１６は、第２合成画像ＰＳ２のリンク画像を第１端末装置１００Ａに表示させる。リンク画像は、リンク情報ＬＮを示す画像である。リンク画像は、例えば、ショートカット画像である。
第２通信制御部２１７が、終了情報ＪＥを受け付けた場合には、第２表示画像記憶部２１９は、第１画像ＰＤＡと第２合成画像ＰＳ２とを記憶する。
第２通信制御部２１７が、終了情報ＪＥを受け付けた場合には、第２表示画像記憶部２１９は、第１画像ＰＤＡと第２合成画像ＰＳ２とを記憶する。
【0081】
第２通信制御部２１７は、第１ユーザー画像ＰＵＡ、及び第１音声情報ＳＵＡを第１端末装置１００Ａから受信する。また、第２通信制御部２１７は、第２ユーザー画像ＰＵＢ、及び第２音声情報ＳＵＢを第２端末装置１００Ｂから受信する。また、第２通信制御部２１７は、第３ユーザー画像ＰＵＣ、及び第３音声情報ＳＵＣを第３端末装置１００Ｃから受信する。
また、第２通信制御部２１７は、第２ユーザー画像ＰＵＢ、第３ユーザー画像ＰＵＣ、第２音声情報ＳＵＢ、及び第３音声情報ＳＵＣを第１端末装置１００Ａへ送信する。また、第２通信制御部２１７は、第１ユーザー画像ＰＵＡ、第３ユーザー画像ＰＵＣ、第１音声情報ＳＵＡ、及び第３音声情報ＳＵＣを第２端末装置１００Ｂへ送信する。また、第２通信制御部２１７は、第１ユーザー画像ＰＵＡ、第２ユーザー画像ＰＵＢ、第１音声情報ＳＵＡ、及び第２音声情報ＳＵＢを第３端末装置１００Ｃへ送信する。
また、第２通信制御部２１７は、第２ユーザー画像ＰＵＢ、第３ユーザー画像ＰＵＣ、第２音声情報ＳＵＢ、及び第３音声情報ＳＵＣを第１端末装置１００Ａへ送信する。また、第２通信制御部２１７は、第１ユーザー画像ＰＵＡ、第３ユーザー画像ＰＵＣ、第１音声情報ＳＵＡ、及び第３音声情報ＳＵＣを第２端末装置１００Ｂへ送信する。また、第２通信制御部２１７は、第１ユーザー画像ＰＵＡ、第２ユーザー画像ＰＵＢ、第１音声情報ＳＵＡ、及び第２音声情報ＳＵＢを第３端末装置１００Ｃへ送信する。
【0082】
また、第２通信制御部２１７は、第１端末装置１００Ａから第１画像ＰＤＡを受信する。また、第２通信制御部２１７は、第２端末装置１００Ｂから第２ログ情報ＬＧＢを受信する。また、第２通信制御部２１７は、第３端末装置１００Ｃから第３ログ情報ＬＧＣを受信する。また、第２通信制御部２１７は、第１端末装置１００Ａ、第２端末装置１００Ｂ、又は第３端末装置１００Ｃから終了情報ＪＥを受信する。
画像処理部２１６が第１合成画像ＰＳ１を生成した場合に、第２通信制御部２１７は、第１合成画像ＰＳ１を第１端末装置１００Ａに送信する。画像処理部２１６が第２合成画像ＰＳ２を生成した場合に、第２通信制御部２１７は、第２合成画像ＰＳ２を第１端末装置１００Ａに送信する。
また、第２通信制御部２１７が終了情報ＪＥを受け付けた場合には、第２通信制御部２１７は、第２合成画像ＰＳ２のリンク情報ＬＮを第１端末装置１００Ａに送信する。
画像処理部２１６が第１合成画像ＰＳ１を生成した場合に、第２通信制御部２１７は、第１合成画像ＰＳ１を第１端末装置１００Ａに送信する。画像処理部２１６が第２合成画像ＰＳ２を生成した場合に、第２通信制御部２１７は、第２合成画像ＰＳ２を第１端末装置１００Ａに送信する。
また、第２通信制御部２１７が終了情報ＪＥを受け付けた場合には、第２通信制御部２１７は、第２合成画像ＰＳ２のリンク情報ＬＮを第１端末装置１００Ａに送信する。
【0083】
［４．画像の具体例］
次に、図７及び図８を参照して、第１画像ＰＤＡ、及び第２合成画像ＰＳ２の具体例について説明する。
まず、図７を参照して、第１画像ＰＤＡについて説明する。図７は、第１画像ＰＤＡの一例を示す図である。第１画像ＰＤＡは、会議資料を示す。
次に、図７及び図８を参照して、第１画像ＰＤＡ、及び第２合成画像ＰＳ２の具体例について説明する。
まず、図７を参照して、第１画像ＰＤＡについて説明する。図７は、第１画像ＰＤＡの一例を示す図である。第１画像ＰＤＡは、会議資料を示す。
【0084】
図７に示すように、第１画像ＰＤＡは、例えば、カレーの作り方の資料である。第１画像ＰＤＡは、タイトル３０１、第１手順表示部３０２、第２手順表示部３０３、第３手順表示部３０４、及び第４手順表示部３０５を含む。
例えば、第１手順表示部３０２には、「材料をきる」と記載され、第１手順が「材料をきる」であることを示す。
例えば、第２手順表示部３０３には、「スパイスを調合する」と記載され、第２手順が「スパイスを調合する」であることを示す。
また、図７に示すように、複製画像ＰＤＡ１は、第１画像ＰＤＡと同一の内容の画像である。
例えば、第１手順表示部３０２には、「材料をきる」と記載され、第１手順が「材料をきる」であることを示す。
例えば、第２手順表示部３０３には、「スパイスを調合する」と記載され、第２手順が「スパイスを調合する」であることを示す。
また、図７に示すように、複製画像ＰＤＡ１は、第１画像ＰＤＡと同一の内容の画像である。
【0085】
次に、図８を参照して、第２合成画像ＰＳ２について説明する。図８は、第１端末装置１００Ａに表示される第２合成画像ＰＳ２の一例を示す図である。
図９に示すように、第２合成画像ＰＳ２は、第２画像ＰＤＢを複製画像ＰＤＡ１の第２部分ＱＡ２に付加し、第３画像ＰＤＣを複製画像ＰＤＡ１の第３部分ＱＡ３に付加した画像である。第２合成画像ＰＳ２は、サーバー装置２００の画像処理部２１６によって生成される。第２部分ＱＡ２は、例えば、第１手順表示部３０２である。また、第３部分ＱＡ３は、例えば、第１手順表示部３０２である。
図９に示すように、第２合成画像ＰＳ２は、第２画像ＰＤＢを複製画像ＰＤＡ１の第２部分ＱＡ２に付加し、第３画像ＰＤＣを複製画像ＰＤＡ１の第３部分ＱＡ３に付加した画像である。第２合成画像ＰＳ２は、サーバー装置２００の画像処理部２１６によって生成される。第２部分ＱＡ２は、例えば、第１手順表示部３０２である。また、第３部分ＱＡ３は、例えば、第１手順表示部３０２である。
【0086】
第２合成画像ＰＳ２は、吹出画像ＳＢを含む。吹出画像ＳＢは、第２部分ＱＡ２及び第３部分ＱＡ３の各々に対応する第１手順表示部３０２に対応付けて表示される。
吹出画像ＳＢは、第２ユーザー名ＵＢＮ、第３ユーザー名ＵＣＮ、第２画像ＰＤＢ、及び第３画像ＰＤＣを含む。
第２ユーザー名ＵＢＮは、例えば、「田中」であり、第２画像ＰＤＢは、例えば、「何肉をいれましょう」を示す文字画像である。すなわち、第２画像ＰＤＢは、第２参照情報ＲＦＢに含まれる第２発言内容ＣＳＢを示す文字画像である。
第３ユーザー名ＵＣＮは、例えば、「山田」であり、第３画像ＰＤＣは、例えば、「肉は牛肉がよい」を示す文字画像である。すなわち、第３画像ＰＤＣは、第３参照情報ＲＦＣに含まれる第３発言内容ＣＳＣを示す文字画像である。
吹出画像ＳＢは、第２ユーザー名ＵＢＮ、第３ユーザー名ＵＣＮ、第２画像ＰＤＢ、及び第３画像ＰＤＣを含む。
第２ユーザー名ＵＢＮは、例えば、「田中」であり、第２画像ＰＤＢは、例えば、「何肉をいれましょう」を示す文字画像である。すなわち、第２画像ＰＤＢは、第２参照情報ＲＦＢに含まれる第２発言内容ＣＳＢを示す文字画像である。
第３ユーザー名ＵＣＮは、例えば、「山田」であり、第３画像ＰＤＣは、例えば、「肉は牛肉がよい」を示す文字画像である。すなわち、第３画像ＰＤＣは、第３参照情報ＲＦＣに含まれる第３発言内容ＣＳＣを示す文字画像である。
【0087】
このように、ユーザー名に対応付けて、第２画像ＰＤＢ及び第３画像ＰＤＣが表示されるため、第１ユーザーＵＡは、第２画像ＰＤＢに対応する第２音声情報ＳＵＢの発言者名、及び第３画像ＰＤＣに対応する第３音声情報ＳＵＣの発言者名を確認できる。
【0088】
本実施形態では、第２画像ＰＤＢが吹出画像ＳＢに配置されている場合について説明するが、これに限定されない。第２画像ＰＤＢが第１画像ＰＤＡの第１表示態様とは異なる第２表示態様の画像であればよい。例えば、第２画像ＰＤＢの文字の色、フォント、及びサイズの少なくとも１つが、第１画像ＰＤＡの文字の色、フォント、及びサイズと相違してもよい。この場合には、第１画像ＰＤＡの第１表示態様は、第１画像ＰＤＡの文字の色、フォント、及びサイズであり、第２画像ＰＤＢの第２表示態様は、第２画像ＰＤＢの文字の色、フォント、及びサイズである。
【0089】
本実施形態では、第２画像ＰＤＢが、第２音声情報ＳＵＢに対応する第２参照情報ＲＦＢに含まれる第２発言内容ＣＳＢを示す場合について説明するが、これに限定されない。第２画像ＰＤＢが、第１画像ＰＤＡの第２部分ＱＡ２に付与される画像であって、第２音声情報ＳＵＢを示す画像であればよい。例えば、第２画像ＰＤＢが、第２部分ＱＡ２に付与されるマーク画像でもよい。マーク画像は、第２部分ＱＡ２に対する音声情報、すなわち、第２音声情報ＳＵＢを示す。マーク画像は、例えば、図８に示すように、第１画像ＰＤＡの第２部分ＱＡ２を囲む矩形、又は楕円形のマーク画像ＭＫである。また、マーク画像は、例えば、第１画像ＰＤＡの第２部分ＱＡ２に付与される下線でもよい。
この場合には、マーク画像ＭＫが「第２画像」の一例に対応する。
また、マーク画像ＭＫが第１ユーザーＵＡによって、例えば、クリック操作された場合に、画像処理部２１６が、吹出画像ＳＢを表示してもよい。
この場合には、マーク画像ＭＫが「第２画像」の一例に対応する。
また、マーク画像ＭＫが第１ユーザーＵＡによって、例えば、クリック操作された場合に、画像処理部２１６が、吹出画像ＳＢを表示してもよい。
【0090】
［５．会議ログ情報の具体例］
次に、図９を参照して、会議ログ情報ＬＧの具体例について説明する。図９は、サーバー装置２００に記憶される会議ログ情報ＬＧの一例を示す図表である。会議ログ情報ＬＧは、第２ログ生成部２１４によって、第１ログ情報ＬＧＡ、第２ログ情報ＬＧＢ、及び第３ログ情報ＬＧＣに基づいて生成される。
第１ログ情報ＬＧＡは、第１ユーザーＵＡの状態、及び動作を示す。第２ログ情報ＬＧＢは、第２ユーザーＵＢの状態、及び動作を示す。第３ログ情報ＬＧＣは、第３ユーザーＵＣの状態、及び動作を示す。
次に、図９を参照して、会議ログ情報ＬＧの具体例について説明する。図９は、サーバー装置２００に記憶される会議ログ情報ＬＧの一例を示す図表である。会議ログ情報ＬＧは、第２ログ生成部２１４によって、第１ログ情報ＬＧＡ、第２ログ情報ＬＧＢ、及び第３ログ情報ＬＧＣに基づいて生成される。
第１ログ情報ＬＧＡは、第１ユーザーＵＡの状態、及び動作を示す。第２ログ情報ＬＧＢは、第２ユーザーＵＢの状態、及び動作を示す。第３ログ情報ＬＧＣは、第３ユーザーＵＣの状態、及び動作を示す。
【0091】
会議ログ情報ＬＧは、第１ログ情報ＬＧＡ、第２ログ情報ＬＧＢ、及び第３ログ情報ＬＧＣを含む。第１ログ情報ＬＧＡは、第１端末装置１００Ａから送信される。第２ログ情報ＬＧＢは、第２端末装置１００Ｂから送信される。第３ログ情報ＬＧＣは、第３端末装置１００Ｃから送信される。
【0092】
第２端末装置１００Ｂの画像音声受付部１１１が「何肉をいれましょう」という第２音声情報ＳＵＢを受け付けたときに、第２端末装置１００Ｂの第１ログ生成部１１３は、以下の処理を行う。すなわち、第２端末装置１００Ｂの第１ログ生成部１１３は、第２参照情報ＲＦＢを会議開始からの経過時間ＴＭと対応付けて、第２ログ情報ＬＧＢを生成する。第２参照情報ＲＦＢは、第２カーソル位置ＣＲＢ、第２視線方向ＤＥＢ、第２検索ワードＷＳＢ、及び第２発言内容ＣＳＢ、を含む。第２発言内容ＣＳＢは、「何肉をいれましょう」という文字情報である。
【0093】
例えば、第２カーソル位置ＣＲＢは、第２端末装置１００Ｂの第１表示機構１６０のＬＣＤに表示するカーソルＣＲの位置である。図９に示すように、第２カーソル位置ＣＲＢは、例えば、「座標：ｘ５ｙ３」である。ｘ座標に対応するｘ軸の正方向は、ＬＣＤの右方向である。ｙ座標に対応するｙ軸の正方向は、ＬＣＤの下方向である。ｘ軸、及びｙ軸の一例を図７に示す。図７に示すように、ｘ座標の最小値、及びｙ座標の最小値の各々は、「０」である。ｘ座標の最大値は、「１２７」であり、ｙ座標の最大値は、「６３」である。すなわち、第２カーソル位置ＣＲＢの「座標：ｘ５ｙ３」は、ＬＣＤの左上部に位置する。
【0094】
また、例えば、第２視線方向ＤＥＢは、第２ユーザーＵＢの視線方向である。図９に示すように、第２視線方向ＤＥＢは、第２端末装置１００Ｂの第１表示機構１６０のＬＣＤの「左上」に向かう。すなわち、第２ユーザーＵＢの視線方向は、ＬＣＤの左上に向かう。
また、例えば、第２検索ワードＷＳＢは、第２端末装置１００Ｂにおいて検索エンジンによって検索処理が実行された検索ワードである。図９に示すように、第２検索ワードＷＳＢは、「カレー 肉」である。
また、例えば、第２検索ワードＷＳＢは、第２端末装置１００Ｂにおいて検索エンジンによって検索処理が実行された検索ワードである。図９に示すように、第２検索ワードＷＳＢは、「カレー 肉」である。
【0095】
決定部２１５は、例えば、第２カーソル位置ＣＲＢ、第２視線方向ＤＥＢ、第２検索ワードＷＳＢ、及び、第２発言内容ＣＳＢに基づいて、第２部分ＱＡ２を決定する。
第１手順表示部３０２には、「材料をきる」と記載され、例えば、第２発言内容ＣＳＢが、「何肉をいれましょう」という文字情報である。「肉」はカレーの「材料」の一つであるため、決定部２１５は、第２部分ＱＡ２を第１手順表示部３０２に決定する。
また、第１手順表示部３０２には、「材料をきる」と記載され、例えば、第２検索ワードＷＳＢが「カレー 肉」である。「肉」は「カレー」の「材料」の一つであるため、決定部２１５は、第２部分ＱＡ２を第１手順表示部３０２に決定する。
また、第２ユーザーＵＢが第２音声情報ＳＵＢに対応する音声を発する場合には、第２音声情報ＳＵＢに対応する位置にカーソルＣＲを移動する可能性が高く、且つ、第２音声情報ＳＵＢに対応する位置に視線を向ける可能性が高い。そこで、例えば、第２カーソル位置ＣＲＢ、及び第２視線方向ＤＥＢは、ＬＣＤの左上であるため、決定部２１５は、第２部分ＱＡ２を第１手順表示部３０２に決定する。
第１手順表示部３０２には、「材料をきる」と記載され、例えば、第２発言内容ＣＳＢが、「何肉をいれましょう」という文字情報である。「肉」はカレーの「材料」の一つであるため、決定部２１５は、第２部分ＱＡ２を第１手順表示部３０２に決定する。
また、第１手順表示部３０２には、「材料をきる」と記載され、例えば、第２検索ワードＷＳＢが「カレー 肉」である。「肉」は「カレー」の「材料」の一つであるため、決定部２１５は、第２部分ＱＡ２を第１手順表示部３０２に決定する。
また、第２ユーザーＵＢが第２音声情報ＳＵＢに対応する音声を発する場合には、第２音声情報ＳＵＢに対応する位置にカーソルＣＲを移動する可能性が高く、且つ、第２音声情報ＳＵＢに対応する位置に視線を向ける可能性が高い。そこで、例えば、第２カーソル位置ＣＲＢ、及び第２視線方向ＤＥＢは、ＬＣＤの左上であるため、決定部２１５は、第２部分ＱＡ２を第１手順表示部３０２に決定する。
【0096】
第２端末装置１００Ｂの画像音声受付部１１１が「何肉をいれましょう」という第２音声情報ＳＵＢを受け付け、サーバー装置２００を介して第３端末装置１００Ｃが第２音声情報ＳＵＢを受け付けたときに、第３端末装置１００Ｃの第１ログ生成部１１３は、以下の処理を行う。すなわち、第３端末装置１００Ｃの第１ログ生成部１１３は、第３参照情報ＲＦＣを会議開始からの経過時間ＴＭと対応付けて、第３ログ情報ＬＧＣを生成する。第３参照情報ＲＦＣは、第３カーソル位置ＣＲＣ、第３視線方向ＤＥＣ、第３検索ワードＷＳＣ、及び第３リアクションＲＥＣを含む。
図９に示すように、第３リアクションＲＥＣは、「首を傾げる」であり、「何肉をいれましょう」という第２音声情報ＳＵＢに対して、第３ユーザーＵＣが考えていることが推定できる。
図９に示すように、第３リアクションＲＥＣは、「首を傾げる」であり、「何肉をいれましょう」という第２音声情報ＳＵＢに対して、第３ユーザーＵＣが考えていることが推定できる。
【0097】
第２端末装置１００Ｂの画像音声受付部１１１が「何肉をいれましょう」という第２音声情報ＳＵＢを受け付け、サーバー装置２００を介して第１端末装置１００Ａが第２音声情報ＳＵＢを受け付けたときに、第１端末装置１００Ａの第１ログ生成部１１３は、以下の処理を行う。すなわち、第１端末装置１００Ａの第１ログ生成部１１３は、第１参照情報ＲＦＡを会議開始からの経過時間ＴＭと対応付けて、第１ログ情報ＬＧＡを生成する。第１参照情報ＲＦＡは、第１カーソル位置ＣＲＡ、第１視線方向ＤＥＡ、第１検索ワードＷＳＡ、及び第１リアクションＲＥＡを含む。
図９に示すように、第１リアクションＲＥＡは、「首を傾げる」であり、「何肉をいれましょう」という第２音声情報ＳＵＢに対して、第１ユーザーＵＡが考えていることが推定できる。
図９に示すように、第１リアクションＲＥＡは、「首を傾げる」であり、「何肉をいれましょう」という第２音声情報ＳＵＢに対して、第１ユーザーＵＡが考えていることが推定できる。
【0098】
このように、音声を発したユーザー以外のユーザーが、音声に対するリアクションを行った場合には、第２ログ生成部２１４は、この音声は重要な音声であると判定する。ここでは、音声を発したユーザーは、第２ユーザーＵＢである。ここでは、音声を発したユーザー以外のユーザーは、第１ユーザーＵＡ、及び第３ユーザーＵＣである。そして、第２ログ生成部２１４は、この音声を示す第２音声情報ＳＵＢに対応する第１ログ情報ＬＧＡ、第２ログ情報ＬＧＢ、及び第３ログ情報ＬＧＣに基づき、会議ログ情報ＬＧを生成する。
【0099】
換言すれば、第２ログ生成部２１４は、第１リアクションＲＥＡ、第２リアクションＲＥＢ、及び第３リアクションＲＥＣに基づき、第１音声情報ＳＵＡ、第２音声情報ＳＵＢ、及び第３音声情報ＳＵＣの各々の重要度を判定する。そして、例えば、重要度が予め設定された閾値以上である場合に、第１音声情報ＳＵＡ、第２音声情報ＳＵＢ、及び第３音声情報ＳＵＣの各々に対応する会議ログ情報ＬＧを生成する。
【0100】
図９を参照して説明したように、重要度が予め設定された閾値以上である場合に、第１音声情報ＳＵＡ、第２音声情報ＳＵＢ、及び第３音声情報ＳＵＣの各々に対応する会議ログ情報ＬＧを生成するため、会議ログ情報ＬＧに適正な情報を記録できる。その結果、第１合成画像ＰＳ１、及び第２合成画像ＰＳ２として、適正な画像を生成できる。したがって、ユーザーの利便性を向上できる。
また、ユーザーは、重要度の関する閾値を、所望する値に設定することによって、会議ログ情報ＬＧにユーザーの所望する情報を記録できる。その結果、第１合成画像ＰＳ１、及び第２合成画像ＰＳ２として、ユーザーの所望する画像を生成できる。したがって、ユーザーの利便性を向上できる。
また、ユーザーは、重要度の関する閾値を、所望する値に設定することによって、会議ログ情報ＬＧにユーザーの所望する情報を記録できる。その結果、第１合成画像ＰＳ１、及び第２合成画像ＰＳ２として、ユーザーの所望する画像を生成できる。したがって、ユーザーの利便性を向上できる。
【0101】
［６．制御部の処理］
次に、図１０及び図１１を参照して、サーバー装置２００の第２制御部２１０の処理について説明する。図１０及び図１１は、サーバー装置２００の処理の一例を示すフローチャートである。
本実施形態では、サーバー装置２００が、第２端末装置１００Ｂから第２音声情報ＳＵＢを受け付けた後に、第３端末装置１００Ｃから第３音声情報ＳＵＣを受け付ける場合について説明する。また、サーバー装置２００が、第３端末装置１００Ｃから第３音声情報ＳＵＣを受け付けた後に、第１端末装置１００Ａ、第２端末装置１００Ｂ、又は、第３端末装置１００Ｃから終了情報ＪＥを受け付ける場合について説明する。
次に、図１０及び図１１を参照して、サーバー装置２００の第２制御部２１０の処理について説明する。図１０及び図１１は、サーバー装置２００の処理の一例を示すフローチャートである。
本実施形態では、サーバー装置２００が、第２端末装置１００Ｂから第２音声情報ＳＵＢを受け付けた後に、第３端末装置１００Ｃから第３音声情報ＳＵＣを受け付ける場合について説明する。また、サーバー装置２００が、第３端末装置１００Ｃから第３音声情報ＳＵＣを受け付けた後に、第１端末装置１００Ａ、第２端末装置１００Ｂ、又は、第３端末装置１００Ｃから終了情報ＪＥを受け付ける場合について説明する。
【0102】
図１０に示すように、まず、ステップＳ１０１において、取得部２１３は、第１端末装置１００Ａから第１画像ＰＤＡを取得する。
次に、ステップＳ１０３において、画像処理部２１６は、例えば、第２通信インターフェース２４０を制御して、第１画像ＰＤＡを第２端末装置１００Ｂ、及び第３端末装置１００Ｃに送信することによって、第１画像ＰＤＡを第２端末装置１００Ｂ、及び第３端末装置１００Ｃに表示させる。
次に、ステップＳ１０５において、音声制御部２１２は、第２端末装置１００Ｂから第２音声情報ＳＵＢを受け付けたか否かを判定する。
第２端末装置１００Ｂから第２音声情報ＳＵＢを受け付けていないと音声制御部２１２が判定した場合（ステップＳ１０５；ＮＯ）には、処理が図１１のステップＳ１２１へ進む。第２端末装置１００Ｂから第２音声情報ＳＵＢを受け付けたと音声制御部２１２が判定した場合（ステップＳ１０５；ＹＥＳ）には、処理がステップＳ１０７へ進む。
次に、ステップＳ１０３において、画像処理部２１６は、例えば、第２通信インターフェース２４０を制御して、第１画像ＰＤＡを第２端末装置１００Ｂ、及び第３端末装置１００Ｃに送信することによって、第１画像ＰＤＡを第２端末装置１００Ｂ、及び第３端末装置１００Ｃに表示させる。
次に、ステップＳ１０５において、音声制御部２１２は、第２端末装置１００Ｂから第２音声情報ＳＵＢを受け付けたか否かを判定する。
第２端末装置１００Ｂから第２音声情報ＳＵＢを受け付けていないと音声制御部２１２が判定した場合（ステップＳ１０５；ＮＯ）には、処理が図１１のステップＳ１２１へ進む。第２端末装置１００Ｂから第２音声情報ＳＵＢを受け付けたと音声制御部２１２が判定した場合（ステップＳ１０５；ＹＥＳ）には、処理がステップＳ１０７へ進む。
【0103】
そして、ステップＳ１０７において、第２ログ生成部２１４は、第１端末装置１００Ａから第２音声情報ＳＵＢに対応する第１ログ情報ＬＧＡを受け付け、第２端末装置１００Ｂから第２音声情報ＳＵＢに対応する第２ログ情報ＬＧＢを受け付け、第３端末装置１００Ｃから第２音声情報ＳＵＢに対応する第３ログ情報ＬＧＣを受け付ける。そして、決定部２１５は、第２音声情報ＳＵＢに対応する第１参照情報ＲＦＡ、第２参照情報ＲＦＢ、及び第３参照情報ＲＦＣに基づいて、第１画像ＰＤＡの第２部分ＱＡ２を決定する。
次に、ステップＳ１０９において、画像処理部２１６は、第１合成画像ＰＳ１を生成する。
次に、ステップＳ１１１において、画像処理部２１６は、例えば、第２通信インターフェース２４０を制御して、第１合成画像ＰＳ１を第１端末装置１００Ａに送信することによって、第１合成画像ＰＳ１を第１端末装置１００Ａに表示させる。換言すれば、画像処理部２１６は、第１画像ＰＤＡに換えて、第１合成画像ＰＳ１を第１端末装置１００Ａに表示させる。
次に、ステップＳ１１３において、音声制御部２１２は、第３端末装置１００Ｃから第３音声情報ＳＵＣを受け付けたか否かを判定する。
第３端末装置１００Ｃから第３音声情報ＳＵＣを受け付けていないと音声制御部２１２が判定した場合（ステップＳ１１３；ＮＯ）には、処理が図１１のステップＳ１２１へ進む。第３端末装置１００Ｃから第３音声情報ＳＵＣを受け付けたと音声制御部２１２が判定した場合（ステップＳ１１３；ＹＥＳ）には、処理がステップＳ１１５へ進む。
次に、ステップＳ１０９において、画像処理部２１６は、第１合成画像ＰＳ１を生成する。
次に、ステップＳ１１１において、画像処理部２１６は、例えば、第２通信インターフェース２４０を制御して、第１合成画像ＰＳ１を第１端末装置１００Ａに送信することによって、第１合成画像ＰＳ１を第１端末装置１００Ａに表示させる。換言すれば、画像処理部２１６は、第１画像ＰＤＡに換えて、第１合成画像ＰＳ１を第１端末装置１００Ａに表示させる。
次に、ステップＳ１１３において、音声制御部２１２は、第３端末装置１００Ｃから第３音声情報ＳＵＣを受け付けたか否かを判定する。
第３端末装置１００Ｃから第３音声情報ＳＵＣを受け付けていないと音声制御部２１２が判定した場合（ステップＳ１１３；ＮＯ）には、処理が図１１のステップＳ１２１へ進む。第３端末装置１００Ｃから第３音声情報ＳＵＣを受け付けたと音声制御部２１２が判定した場合（ステップＳ１１３；ＹＥＳ）には、処理がステップＳ１１５へ進む。
【0104】
そして、ステップＳ１１５において、第２ログ生成部２１４は、第１端末装置１００Ａから第３音声情報ＳＵＣに対応する第１ログ情報ＬＧＡを受け付け、第２端末装置１００Ｂから第３音声情報ＳＵＣに対応する第２ログ情報ＬＧＢを受け付け、第３端末装置１００Ｃから第３音声情報ＳＵＣに対応する第３ログ情報ＬＧＣを受け付ける。そして、決定部２１５は、第３音声情報ＳＵＣに対応する第１参照情報ＲＦＡ、第２参照情報ＲＦＢ、及び第３参照情報ＲＦＣに基づいて、第１画像ＰＤＡの第３部分ＱＡ３を決定する。
次に、ステップＳ１１７において、画像処理部２１６は、第２合成画像ＰＳ２を生成する。
次に、ステップＳ１１９において、画像処理部２１６は、例えば、第２通信インターフェース２４０を制御して、第２合成画像ＰＳ２を第１端末装置１００Ａに送信することによって、第２合成画像ＰＳ２を第１端末装置１００Ａに表示させる。換言すれば、画像処理部２１６は、第１合成画像ＰＳ１に換えて、第２合成画像ＰＳ２を第１端末装置１００Ａに表示させる。
次に、ステップＳ１１７において、画像処理部２１６は、第２合成画像ＰＳ２を生成する。
次に、ステップＳ１１９において、画像処理部２１６は、例えば、第２通信インターフェース２４０を制御して、第２合成画像ＰＳ２を第１端末装置１００Ａに送信することによって、第２合成画像ＰＳ２を第１端末装置１００Ａに表示させる。換言すれば、画像処理部２１６は、第１合成画像ＰＳ１に換えて、第２合成画像ＰＳ２を第１端末装置１００Ａに表示させる。
【0105】
次に、図１１に示すように、ステップＳ１２１において、第２通信制御部２１７は、第１端末装置１００Ａ、第２端末装置１００Ｂ、又は、第３端末装置１００Ｃから終了情報ＪＥを受け付けたか否かを判定する。
終了情報ＪＥを受け付けていないと第２通信制御部２１７が判定した場合（ステップＳ１２１；ＮＯ）には、処理が図１０のステップＳ１０５へ戻る。終了情報ＪＥを受け付けたと第２ログ生成部２１４が判定した場合（ステップＳ１２１；ＹＥＳ）には、処理がステップＳ１２３へ進む。
そして、ステップＳ１２３において、画像処理部２１６は、第２合成画像ＰＳ２のリンク情報ＬＮを第１端末装置１００Ａに送信し、リンク画像を表示させる。換言すれば、画像処理部２１６は、第１端末装置１００Ａに、第２合成画像ＰＳ２の表示を終了させて、リンク画像を表示させる。また、画像処理部２１６は、第２端末装置１００Ｂに第１画像ＰＤＡの表示を終了させる。また、画像処理部２１６は、第３端末装置１００Ｃに第１画像ＰＤＡの表示を終了させる。その後、処理が終了する。
終了情報ＪＥを受け付けていないと第２通信制御部２１７が判定した場合（ステップＳ１２１；ＮＯ）には、処理が図１０のステップＳ１０５へ戻る。終了情報ＪＥを受け付けたと第２ログ生成部２１４が判定した場合（ステップＳ１２１；ＹＥＳ）には、処理がステップＳ１２３へ進む。
そして、ステップＳ１２３において、画像処理部２１６は、第２合成画像ＰＳ２のリンク情報ＬＮを第１端末装置１００Ａに送信し、リンク画像を表示させる。換言すれば、画像処理部２１６は、第１端末装置１００Ａに、第２合成画像ＰＳ２の表示を終了させて、リンク画像を表示させる。また、画像処理部２１６は、第２端末装置１００Ｂに第１画像ＰＤＡの表示を終了させる。また、画像処理部２１６は、第３端末装置１００Ｃに第１画像ＰＤＡの表示を終了させる。その後、処理が終了する。
【0106】
［７．構成と効果］
以上説明したように、本実施形態の会議システム１の制御方法は、第１端末装置１００Ａ、及び第２端末装置１００Ｂと通信するサーバー装置２００が、第１端末装置１００Ａから会議資料を示す第１画像ＰＤＡを取得することと、第１画像ＰＤＡを第２端末装置１００Ｂに表示させることと、第２端末装置１００Ｂから第２音声情報ＳＵＢを受け付けた場合に、第１画像ＰＤＡにおいて、第２音声情報ＳＵＢに対応する第２部分ＱＡ２を決定することと、第１画像ＰＤＡの第２部分ＱＡ２に第２音声情報ＳＵＢを示す第２画像ＰＤＢを付加した第１合成画像ＰＳ１を、第１端末装置１００Ａに表示させることと、を実行する。
以上説明したように、本実施形態の会議システム１の制御方法は、第１端末装置１００Ａ、及び第２端末装置１００Ｂと通信するサーバー装置２００が、第１端末装置１００Ａから会議資料を示す第１画像ＰＤＡを取得することと、第１画像ＰＤＡを第２端末装置１００Ｂに表示させることと、第２端末装置１００Ｂから第２音声情報ＳＵＢを受け付けた場合に、第１画像ＰＤＡにおいて、第２音声情報ＳＵＢに対応する第２部分ＱＡ２を決定することと、第１画像ＰＤＡの第２部分ＱＡ２に第２音声情報ＳＵＢを示す第２画像ＰＤＢを付加した第１合成画像ＰＳ１を、第１端末装置１００Ａに表示させることと、を実行する。
【0107】
この構成によれば、第２端末装置１００Ｂから第２音声情報ＳＵＢを受け付けた場合に、会議資料を示す第１画像ＰＤＡにおいて、第２音声情報ＳＵＢに対応する第２部分ＱＡ２を決定する。そして、第１画像ＰＤＡの第２部分ＱＡ２に第２音声情報ＳＵＢを示す第２画像ＰＤＢを付加した第１合成画像ＰＳ１を、第１端末装置１００Ａに表示させる。
よって、第１画像ＰＤＡにおいて、第２音声情報ＳＵＢに対応する第２部分ＱＡ２に、第２音声情報ＳＵＢを示す第２画像ＰＤＢを付加した第１合成画像ＰＳ１が第１端末装置１００Ａに表示される。したがって、第１ユーザーＵＡは、第１画像ＰＤＡにおいて、第２音声情報ＳＵＢに対応する第２部分ＱＡ２を、第１合成画像ＰＳ１によって容易に視認できる。その結果、第１ユーザーＵＡの利便性を向上できる。
よって、第１画像ＰＤＡにおいて、第２音声情報ＳＵＢに対応する第２部分ＱＡ２に、第２音声情報ＳＵＢを示す第２画像ＰＤＢを付加した第１合成画像ＰＳ１が第１端末装置１００Ａに表示される。したがって、第１ユーザーＵＡは、第１画像ＰＤＡにおいて、第２音声情報ＳＵＢに対応する第２部分ＱＡ２を、第１合成画像ＰＳ１によって容易に視認できる。その結果、第１ユーザーＵＡの利便性を向上できる。
【0108】
また、第２部分ＱＡ２を決定することは、第２端末装置１００Ｂが第２音声情報ＳＵＢを受け付けたときの第２端末装置１００ＢにおけるカーソルＣＲの位置を示す第２カーソル位置ＣＲＢを取得することと、第２カーソル位置ＣＲＢに基づいて、第２部分ＱＡ２を決定することと、を含む。
この構成によれば、第２端末装置１００Ｂが第２音声情報ＳＵＢを受け付けたときの第２端末装置１００ＢにおけるカーソルＣＲの位置を示す第２カーソル位置ＣＲＢに基づいて、第２部分ＱＡ２を決定する。
一方、ユーザー、ここでは、第２ユーザーＵＢ、は、注目する位置にカーソルＣＲを配置する可能性が高い。したがって、第２カーソル位置ＣＲＢに基づいて、第２部分ＱＡ２を決定するため、第２部分ＱＡ２を適正に決定できる。
この構成によれば、第２端末装置１００Ｂが第２音声情報ＳＵＢを受け付けたときの第２端末装置１００ＢにおけるカーソルＣＲの位置を示す第２カーソル位置ＣＲＢに基づいて、第２部分ＱＡ２を決定する。
一方、ユーザー、ここでは、第２ユーザーＵＢ、は、注目する位置にカーソルＣＲを配置する可能性が高い。したがって、第２カーソル位置ＣＲＢに基づいて、第２部分ＱＡ２を決定するため、第２部分ＱＡ２を適正に決定できる。
【0109】
また、第２部分ＱＡ２を決定することは、第２端末装置１００Ｂが第２音声情報ＳＵＢを受け付けたときの第２端末装置１００Ｂにおける第２ユーザーＵＢの視線方向を示す第２視線方向ＤＥＢを取得することと、第２視線方向ＤＥＢに基づいて、第２部分ＱＡ２を決定することと、を含む。
この構成によれば、第２端末装置１００Ｂにおける第２ユーザーＵＢの視線方向を示す第２視線方向ＤＥＢに基づいて、第２部分ＱＡ２を決定する。
一方、ユーザー、ここでは、第２ユーザーＵＢ、は、注目する位置に視線方向を向ける可能性が高い。したがって、第２視線方向ＤＥＢに基づいて、第２部分ＱＡ２を決定するため、第２部分ＱＡ２を適正に決定できる。
この構成によれば、第２端末装置１００Ｂにおける第２ユーザーＵＢの視線方向を示す第２視線方向ＤＥＢに基づいて、第２部分ＱＡ２を決定する。
一方、ユーザー、ここでは、第２ユーザーＵＢ、は、注目する位置に視線方向を向ける可能性が高い。したがって、第２視線方向ＤＥＢに基づいて、第２部分ＱＡ２を決定するため、第２部分ＱＡ２を適正に決定できる。
【0110】
また、第２部分ＱＡ２を決定することは、第２端末装置１００Ｂが第２音声情報ＳＵＢを受け付けたときに、第２端末装置１００Ｂにおいて検索エンジンによって検索処理が実行された検索ワードを示す第２検索ワードＷＳＢを取得することと、第２検索ワードＷＳＢに基づいて、第２部分ＱＡ２を決定することと、を含む。
この構成によれば、第２端末装置１００Ｂにおいて検索エンジンによって検索処理が実行された検索ワードを示す第２検索ワードＷＳＢに基づいて、第２部分ＱＡ２を決定する。
一方、ユーザー、ここでは、第２ユーザーＵＢ、は、注目する位置に表示されている内容に関して、検索エンジンに、検索ワードを入力して検索処理を実行する可能性が高い。したがって、第２検索ワードＷＳＢに基づいて、第２部分ＱＡ２を決定するため、第２部分ＱＡ２を適正に決定できる。
この構成によれば、第２端末装置１００Ｂにおいて検索エンジンによって検索処理が実行された検索ワードを示す第２検索ワードＷＳＢに基づいて、第２部分ＱＡ２を決定する。
一方、ユーザー、ここでは、第２ユーザーＵＢ、は、注目する位置に表示されている内容に関して、検索エンジンに、検索ワードを入力して検索処理を実行する可能性が高い。したがって、第２検索ワードＷＳＢに基づいて、第２部分ＱＡ２を決定するため、第２部分ＱＡ２を適正に決定できる。
【0111】
また、第２画像ＰＤＢは、第１画像ＰＤＡの第１表示態様とは異なる第２表示態様の画像である。
この構成によれば、第２画像ＰＤＢは、第１画像ＰＤＡの第１表示態様とは異なる第２表示態様の画像である。
すなわち、第１画像ＰＤＡの第２部分ＱＡ２に、第１画像ＰＤＡの第１表示態様とは異なる第２表示態様の第２画像ＰＤＢが表示される。したがって、第２部分ＱＡ２の位置を第１ユーザーＵＡが容易に視認できる。
この構成によれば、第２画像ＰＤＢは、第１画像ＰＤＡの第１表示態様とは異なる第２表示態様の画像である。
すなわち、第１画像ＰＤＡの第２部分ＱＡ２に、第１画像ＰＤＡの第１表示態様とは異なる第２表示態様の第２画像ＰＤＢが表示される。したがって、第２部分ＱＡ２の位置を第１ユーザーＵＡが容易に視認できる。
【0112】
また、第１端末装置１００Ａから第１合成画像ＰＳ１に対する位置を示す入力を取得することと、前記位置が第２画像ＰＤＢに対応する位置である場合に、第２音声情報ＳＵＢに対応する文字情報である第２発言内容ＣＳＢを表示することと、を実行する。
この構成によれば、第１合成画像ＰＳ１に対する入力の位置が第２画像ＰＤＢに対応する位置である場合に、第２音声情報ＳＵＢに対応する文字情報である第２発言内容ＣＳＢを表示する。
よって、第１ユーザーＵＡは、第１合成画像ＰＳ１の第２画像ＰＤＢに対応する位置、すなわち、第１画像ＰＤＡの第２部分ＱＡ２に対して、入力、例えば、クリック操作、を行うことによって、第２発言内容ＣＳＢを視認できる。したがって、第２音声情報ＳＵＢに対応する文字情報である第２発言内容ＣＳＢを容易に視認できる。その結果、第１ユーザーＵＡの利便性を向上できる。
この構成によれば、第１合成画像ＰＳ１に対する入力の位置が第２画像ＰＤＢに対応する位置である場合に、第２音声情報ＳＵＢに対応する文字情報である第２発言内容ＣＳＢを表示する。
よって、第１ユーザーＵＡは、第１合成画像ＰＳ１の第２画像ＰＤＢに対応する位置、すなわち、第１画像ＰＤＡの第２部分ＱＡ２に対して、入力、例えば、クリック操作、を行うことによって、第２発言内容ＣＳＢを視認できる。したがって、第２音声情報ＳＵＢに対応する文字情報である第２発言内容ＣＳＢを容易に視認できる。その結果、第１ユーザーＵＡの利便性を向上できる。
【0113】
また、第１合成画像ＰＳ１は、第１画像ＰＤＡを複製した複製画像ＰＤＡ１と、第２画像ＰＤＢとを合成した画像である。
この構成によれば、第１合成画像ＰＳ１は、第１画像ＰＤＡを複製した複製画像ＰＤＡ１と、第２画像ＰＤＢとを合成した画像である。
よって、第１画像ＰＤＡに加工が施されることなく、第１合成画像ＰＳ１を生成できる。したがって、例えば、会議中に、第２端末装置１００Ｂとサーバー装置２００との通信が中断した場合であっても、第２端末装置１００Ｂに容易に第１画像ＰＤＡを表示できる。よって、ユーザーの利便性を向上できる。
この構成によれば、第１合成画像ＰＳ１は、第１画像ＰＤＡを複製した複製画像ＰＤＡ１と、第２画像ＰＤＢとを合成した画像である。
よって、第１画像ＰＤＡに加工が施されることなく、第１合成画像ＰＳ１を生成できる。したがって、例えば、会議中に、第２端末装置１００Ｂとサーバー装置２００との通信が中断した場合であっても、第２端末装置１００Ｂに容易に第１画像ＰＤＡを表示できる。よって、ユーザーの利便性を向上できる。
【0114】
本実施形態のサーバー装置２００は、第１端末装置１００Ａ、及び第２端末装置１００Ｂと通信する第２通信インターフェース２４０と、第２プロセッサー２１０Ａと、を含み、第２プロセッサー２１０Ａは、第２通信インターフェース２４０を制御することによって、第１端末装置１００Ａから会議資料を示す第１画像ＰＤＡを取得することと、第２通信インターフェース２４０を制御することによって、第１画像ＰＤＡを第２端末装置１００Ｂに表示させることと、第２端末装置１００Ｂから第２音声情報ＳＵＢを受け付けた場合に、第１画像ＰＤＡにおいて、第２音声情報ＳＵＢに対応する第２部分ＱＡ２を決定することと、第１画像ＰＤＡの第２部分ＱＡ２に第２音声情報ＳＵＢを示す第２画像ＰＤＢを付加した第１合成画像ＰＳ１を、第２通信インターフェース２４０を制御することによって、第１端末装置１００Ａに表示させることと、を実行する。
本実施形態のサーバー装置２００によれば、本実施形態の会議システム１の制御方法と同様の作用効果を奏する。
本実施形態のサーバー装置２００によれば、本実施形態の会議システム１の制御方法と同様の作用効果を奏する。
【0115】
本実施形態の第２制御プログラムＰＧ２は、第１端末装置１００Ａ、及び第２端末装置１００Ｂと通信するサーバー装置２００の第２プロセッサー２１０Ａに、第１端末装置１００Ａから会議資料を示す第１画像ＰＤＡを取得することと、第１画像ＰＤＡを第２端末装置１００Ｂに表示させることと、第２端末装置１００Ｂから第２音声情報ＳＵＢを受け付けた場合に、第１画像ＰＤＡにおいて、第２音声情報ＳＵＢに対応する第２部分ＱＡ２を決定することと、第１画像ＰＤＡの第２部分ＱＡ２に第２音声情報ＳＵＢを示す第２画像ＰＤＢを付加した第１合成画像ＰＳ１を、第１端末装置１００Ａに表示させることと、を実行させる。
本実施形態の第２制御プログラムＰＧ２によれば、本実施形態の会議システム１の制御方法と同様の作用効果を奏する。
本実施形態の第２制御プログラムＰＧ２によれば、本実施形態の会議システム１の制御方法と同様の作用効果を奏する。
【0116】
［８．他の実施形態］
上述した実施形態は、本発明の一態様を例示したものであって、本発明の趣旨を逸脱しない範囲で任意に変形、及び応用が可能である。
上述した実施形態は、本発明の一態様を例示したものであって、本発明の趣旨を逸脱しない範囲で任意に変形、及び応用が可能である。
【0117】
本実施形態では、便宜上、会議システム１が３台の端末装置１００を含む場合について説明するが、これに限定されない。会議システム１が２台又は４台以上の端末装置１００を含んでもよい。
【0118】
また、本実施形態では、端末装置１００が、パーソナルコンピューターである場合について説明するが、これに限定されない。端末装置１００が、タブレット端末でもよいし、スマートフォンでもよい。
【0119】
また、例えば、図１０及び図１１のフローチャートの処理単位は、サーバー装置２００の第２制御部２１０の処理を理解容易にするために、主な処理内容に応じて分割したものであり、処理単位の分割の仕方や名称によって、本発明が限定されることはない。処理内容に応じて、さらに多くの処理単位に分割してもよい。また、１つの処理単位がさらに多くの処理を含むように分割してもよい。また、その処理の順番は、本発明の趣旨に支障のない範囲で適宜に入れ替えてもよい。
【0120】
また、図２～図５の各々に示した各機能部は機能的構成を示すものであって、具体的な実装形態は特に限定されない。つまり、必ずしも各機能部に個別に対応するハードウェアが実装される必要はなく、一つのプロセッサーがプログラムを実行することで複数の機能部の機能を実現する構成とすることも可能である。また、上述した実施形態においてソフトウェアで実現される機能の一部をハードウェアとしてもよく、或いは、ハードウェアで実現される機能の一部をソフトウェアで実現してもよい。その他、端末装置１００、及びサーバー装置２００の各々における他の各部の具体的な細部構成についても、本発明の趣旨を逸脱しない範囲で任意に変更可能である。
【0121】
また、図５に示すサーバー装置２００の第２制御部２１０の機能ブロックは、サーバー装置２００の第２制御部２１０が備える第２プロセッサー２１０Ａに、第２メモリー２１０Ｂに記憶された第２制御プログラムＰＧ２を実行させることで実現できる。また、この第２制御プログラムＰＧ２は、コンピューターで読み取り可能に記録した記録媒体に記録しておくことも可能である。
記録媒体としては、磁気的、光学的記録媒体又は半導体メモリーデバイスを用いることができる。具体的には、フレキシブルディスク、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）、Ｂｌｕ－ｒａｙ（登録商標） Ｄｉｓｃ、光磁気ディスク、フラッシュメモリー、カード型記録媒体等の可搬型、或いは固定式の記録媒体が挙げられる。また、記録媒体は、サーバー装置２００の第２制御部２１０が備える内部記憶装置であるＲＡＭ、ＲＯＭ、ＨＤＤ等の不揮発性記憶装置であってもよい。また、この第２制御プログラムＰＧ２を他のサーバー装置等に記憶させておき、他のサーバー装置からサーバー装置２００の第２制御部２１０に、第２制御プログラムＰＧ２をダウンロードすることでサーバー装置２００の第２制御部２１０の機能ブロックを実現することもできる。
記録媒体としては、磁気的、光学的記録媒体又は半導体メモリーデバイスを用いることができる。具体的には、フレキシブルディスク、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）、Ｂｌｕ－ｒａｙ（登録商標） Ｄｉｓｃ、光磁気ディスク、フラッシュメモリー、カード型記録媒体等の可搬型、或いは固定式の記録媒体が挙げられる。また、記録媒体は、サーバー装置２００の第２制御部２１０が備える内部記憶装置であるＲＡＭ、ＲＯＭ、ＨＤＤ等の不揮発性記憶装置であってもよい。また、この第２制御プログラムＰＧ２を他のサーバー装置等に記憶させておき、他のサーバー装置からサーバー装置２００の第２制御部２１０に、第２制御プログラムＰＧ２をダウンロードすることでサーバー装置２００の第２制御部２１０の機能ブロックを実現することもできる。
【0122】
［９．本開示のまとめ］
以下、本開示のまとめを付記する。
（付記１）
第１端末装置、及び第２端末装置と通信するサーバー装置が、前記第１端末装置から会議資料を示す第１画像を取得することと、前記第１画像を前記第２端末装置に表示させることと、前記第２端末装置から音声情報を受け付けた場合に、前記第１画像において、前記音声情報に対応する対応部分を決定することと、前記第１画像の前記対応部分に前記音声情報を示す第２画像を付加した合成画像を、前記第１端末装置に表示させることと、を実行する、会議システムの制御方法。
以下、本開示のまとめを付記する。
（付記１）
第１端末装置、及び第２端末装置と通信するサーバー装置が、前記第１端末装置から会議資料を示す第１画像を取得することと、前記第１画像を前記第２端末装置に表示させることと、前記第２端末装置から音声情報を受け付けた場合に、前記第１画像において、前記音声情報に対応する対応部分を決定することと、前記第１画像の前記対応部分に前記音声情報を示す第２画像を付加した合成画像を、前記第１端末装置に表示させることと、を実行する、会議システムの制御方法。
【0123】
これにより、会議資料を示す第１画像において、第２端末装置から受け付けた音声情報に対応する対応部分に前記音声情報を示す第２画像を付加した合成画像が、第１端末装置に表示される。したがって、第１端末装置のユーザーは、第１画像において、第２端末装置から受け付けた音声情報に対応する対応部分を、合成画像によって容易に視認できる。その結果、第１端末装置のユーザーの利便性を向上できる。
【0124】
（付記２）
前記対応部分を決定することは、前記第２端末装置が前記音声情報を受け付けたときの前記第２端末装置におけるカーソルの位置を取得することと、前記カーソルの位置に基づいて、前記対応部分を決定することと、を含む、付記１に記載の会議システムの制御方法。
前記対応部分を決定することは、前記第２端末装置が前記音声情報を受け付けたときの前記第２端末装置におけるカーソルの位置を取得することと、前記カーソルの位置に基づいて、前記対応部分を決定することと、を含む、付記１に記載の会議システムの制御方法。
【0125】
これにより、前記第２端末装置が前記音声情報を受け付けたときの前記第２端末装置におけるカーソルの位置に基づいて、前記対応部分を決定する。一方、前記第２端末装置のユーザーは、注目する位置に前記カーソルを配置する可能性が高い。したがって、前記第２端末装置におけるカーソルの位置に基づいて前記対応部分を決定するため、前記対応部分を適正に決定できる。
【0126】
（付記３）
前記対応部分を決定することは、前記第２端末装置が前記音声情報を受け付けたときの前記第２端末装置におけるユーザーの視線方向を取得することと、前記視線方向に基づいて、前記対応部分を決定することと、を含む、付記１又は付記２に記載の会議システムの制御方法。
前記対応部分を決定することは、前記第２端末装置が前記音声情報を受け付けたときの前記第２端末装置におけるユーザーの視線方向を取得することと、前記視線方向に基づいて、前記対応部分を決定することと、を含む、付記１又は付記２に記載の会議システムの制御方法。
【0127】
これにより、前記第２端末装置が前記音声情報を受け付けたときの前記第２端末装置におけるユーザーの視線方向に基づいて、前記対応部分を決定する。一方、前記第２端末装置のユーザーは、注目する位置に視線方向を向ける可能性が高い。したがって、前記第２端末装置におけるユーザーの視線方向に基づいて前記対応部分を決定するため、前記対応部分を適正に決定できる。
【0128】
（付記４）
前記対応部分を決定することは、前記第２端末装置が前記音声情報を受け付けたときに、前記第２端末装置において検索エンジンによって検索処理が実行された検索ワードを取得することと、前記検索ワードに基づいて、前記対応部分を決定することと、を含む、付記１から付記３のいずれか１つに記載の会議システムの制御方法。
前記対応部分を決定することは、前記第２端末装置が前記音声情報を受け付けたときに、前記第２端末装置において検索エンジンによって検索処理が実行された検索ワードを取得することと、前記検索ワードに基づいて、前記対応部分を決定することと、を含む、付記１から付記３のいずれか１つに記載の会議システムの制御方法。
【0129】
これにより、前記第２端末装置において検索エンジンによって検索処理が実行された検索ワードに基づいて、前記対応部分を決定する。一方、前記第２端末装置のユーザーは、注目する位置に表示されている内容に関して、検索エンジンに、検索ワードを入力して検索処理を実行する可能性が高い。したがって、前記第２端末装置において検索処理が実行された検索ワードに基づいて前記対応部分を決定するため、前記対応部分を適正に決定できる。
【0130】
（付記５）
前記第２画像は、前記第１画像の第１表示態様とは異なる第２表示態様の画像である、付記１から付記４のいずれか１つに記載の会議システムの制御方法。
前記第２画像は、前記第１画像の第１表示態様とは異なる第２表示態様の画像である、付記１から付記４のいずれか１つに記載の会議システムの制御方法。
【0131】
これにより、前記第１画像の前記対応部分に、前記第１画像の第１表示態様とは異なる第２表示態様の前記第２画像が表示される。したがって、前記対応部分の位置を、第１端末装置のユーザーが容易に視認できる。
【0132】
（付記６）
前記第１端末装置から前記合成画像に対する位置を示す入力を取得することと、前記位置が前記第２画像に対応する位置である場合に、前記音声情報に対応する文字情報を表示することと、を実行する、付記５に記載の会議システムの制御方法。
前記第１端末装置から前記合成画像に対する位置を示す入力を取得することと、前記位置が前記第２画像に対応する位置である場合に、前記音声情報に対応する文字情報を表示することと、を実行する、付記５に記載の会議システムの制御方法。
【0133】
これにより、前記合成画像に対する入力の位置が前記第２画像に対応する位置である場合に、前記音声情報に対応する文字情報を表示する。よって、第１端末装置のユーザーは、前記合成画像の前記第２画像に対応する位置に対して、入力、例えば、クリック操作、を行うことによって、前記音声情報に対応する文字情報を視認できる。したがって、第１端末装置のユーザーは、前記音声情報に対応する文字情報を容易に視認できる。その結果、第１端末装置のユーザーの利便性を向上できる。
【0134】
（付記７）
前記合成画像は、前記第１画像を複製した複製画像と、前記第２画像とを合成した画像である、付記１から付記６のいずれか１つに記載の会議システムの制御方法。
前記合成画像は、前記第１画像を複製した複製画像と、前記第２画像とを合成した画像である、付記１から付記６のいずれか１つに記載の会議システムの制御方法。
【0135】
これにより、前記第１画像に加工が施されることなく、前記合成画像が生成される。したがって、例えば、会議中に、前記第２端末装置と前記サーバー装置との通信が中断した場合であっても、前記第２端末装置に容易に前記第１画像を表示できる。よって、ユーザーの利便性を向上できる。
【0136】
（付記８）
第１端末装置、及び第２端末装置と通信する通信インターフェースと、少なくとも１つのプロセッサーと、を含み、前記少なくとも１つのプロセッサーは、前記通信インターフェースを制御することによって、前記第１端末装置から会議資料を示す第１画像を取得することと、前記通信インターフェースを制御することによって、前記第１画像を前記第２端末装置に表示させることと、前記第２端末装置から音声情報を受け付けた場合に、前記第１画像において、前記音声情報に対応する対応部分を決定することと、前記第１画像の前記対応部分に前記音声情報を示す第２画像を付加した合成画像を、前記通信インターフェースを制御することによって、前記第１端末装置に表示させることと、を実行する、サーバー装置。
第１端末装置、及び第２端末装置と通信する通信インターフェースと、少なくとも１つのプロセッサーと、を含み、前記少なくとも１つのプロセッサーは、前記通信インターフェースを制御することによって、前記第１端末装置から会議資料を示す第１画像を取得することと、前記通信インターフェースを制御することによって、前記第１画像を前記第２端末装置に表示させることと、前記第２端末装置から音声情報を受け付けた場合に、前記第１画像において、前記音声情報に対応する対応部分を決定することと、前記第１画像の前記対応部分に前記音声情報を示す第２画像を付加した合成画像を、前記通信インターフェースを制御することによって、前記第１端末装置に表示させることと、を実行する、サーバー装置。
【0137】
これにより、付記８に記載のサーバー装置は、付記１に記載の会議システムの制御方法と同様の効果を奏する。
【0138】
（付記９）
第１端末装置、及び第２端末装置と通信するサーバー装置のプロセッサーに、前記第１端末装置から会議資料を示す第１画像を取得することと、前記第１画像を前記第２端末装置に表示させることと、前記第２端末装置から音声情報を受け付けた場合に、前記第１画像において、前記音声情報に対応する対応部分を決定することと、前記第１画像の前記対応部分に前記音声情報を示す第２画像を付加した合成画像を、前記第１端末装置に表示させることと、を実行させる、プログラム。
第１端末装置、及び第２端末装置と通信するサーバー装置のプロセッサーに、前記第１端末装置から会議資料を示す第１画像を取得することと、前記第１画像を前記第２端末装置に表示させることと、前記第２端末装置から音声情報を受け付けた場合に、前記第１画像において、前記音声情報に対応する対応部分を決定することと、前記第１画像の前記対応部分に前記音声情報を示す第２画像を付加した合成画像を、前記第１端末装置に表示させることと、を実行させる、プログラム。
【0139】
これにより、付記９に記載のプログラムは、付記１に記載の会議システムの制御方法と同様の効果を奏する。
【符号の説明】
【0140】
１…会議システム、１００…端末装置、１００Ａ…第１端末装置、１００Ｂ…第２端末装置、１００Ｃ…第２端末装置、２００…サーバー装置、２１０…第２制御部、２１０Ａ…第２プロセッサー（少なくとも１つのプロセッサー）、２１０Ｂ…第２メモリー、２１１…画像制御部、２１２…音声制御部、２１３…取得部、２１４…第２ログ生成部、２１５…決定部、２１６…画像処理部、２１７…第２通信制御部、２１８…第２ログ記憶部、２１９…第２表示画像記憶部、２４０…第２通信インターフェース（通信インターフェース）、ＣＲＢ…第２カーソル位置、ＣＳＢ…第２発言内容、ＤＥＢ…第２視線方向、ＬＧ…会議ログ情報、ＬＧＡ…第１ログ情報、ＬＧＢ…第２ログ情報、ＬＧＣ…第３ログ情報、ＰＤＡ…第１画像、ＰＤＡ１…複製画像、ＰＤＢ…第２画像、ＰＧ２…第２制御プログラム（プログラム）、ＰＳ１…第１合成画像（合成画像）、ＱＡ２…第２部分（対応部分）、ＲＦＡ…第１参照情報、ＲＦＢ…第２参照情報、ＲＦＣ…第３参照情報、ＳＵＡ…第１音声情報、ＳＵＢ…第２音声情報（音声情報）、ＳＵＣ…第３音声情報、ＴＭ…経過時間、ＷＳＢ…第２検索ワード（検索ワード）。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】