ホーム > 特許ランキング > 本田技研工業株式会社
知財求人 - 知財ポータルサイト「IP Force」
特開2024-131836電子会議システム、電子会議システムの制御方法、及びプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024131836
(43)【公開日】2024-09-30
(54)【発明の名称】電子会議システム、電子会議システムの制御方法、及びプログラム
(51)【国際特許分類】
H04N 7/15 20060101AFI20240920BHJP
H04N 21/442 20110101ALI20240920BHJP
【ＦＩ】
H04N7/15
H04N21/442
【審査請求】未請求
【請求項の数】11
【出願形態】ＯＬ
(21)【出願番号】P 2023042313
(22)【出願日】2023-03-16
(71)【出願人】
【識別番号】000005326
【氏名又は名称】本田技研工業株式会社
(74)【代理人】
【識別番号】110001081
【氏名又は名称】弁理士法人クシブチ国際特許事務所
(72)【発明者】
【氏名】野口 敬史
【テーマコード（参考）】
5C164
【Ｆターム（参考）】
5C164FA10
5C164UB41P
5C164UB81S
5C164VA07P
5C164VA35P
5C164YA21
(57)【要約】
【課題】ユーザが移動体に搭乗して電子会議に参加する場合に、会議に関する画面の表示を適切な状態に維持する。
【解決手段】電子会議に参加する複数のユーザのそれぞれに対応する表示オブジェクトを含む電子会議画面を端末装置に表示させ、移動体で撮影された画像のデータ、及び、移動体で検出された音声のデータのうち少なくともいずれかを用いてユーザの状態を解析し、解析結果に基づいて表示オブジェクトを変化させるオブジェクト変更処理と、端末装置が備えるプロセッサの負荷の判定、及び、サーバと端末装置との通信の状態の判定を実行し、これらの判定結果に応じてオブジェクト変更処理に用いるデータの選択またはオブジェクト変更処理の実行の可否の決定を行う調整処理と、を実行する、電子会議システム。
【選択図】図１
【解決手段】電子会議に参加する複数のユーザのそれぞれに対応する表示オブジェクトを含む電子会議画面を端末装置に表示させ、移動体で撮影された画像のデータ、及び、移動体で検出された音声のデータのうち少なくともいずれかを用いてユーザの状態を解析し、解析結果に基づいて表示オブジェクトを変化させるオブジェクト変更処理と、端末装置が備えるプロセッサの負荷の判定、及び、サーバと端末装置との通信の状態の判定を実行し、これらの判定結果に応じてオブジェクト変更処理に用いるデータの選択またはオブジェクト変更処理の実行の可否の決定を行う調整処理と、を実行する、電子会議システム。
【選択図】図１
【特許請求の範囲】
【請求項1】
サーバと、前記サーバと通信する端末装置と、を備え、
前記サーバは、電子会議に参加する複数のユーザのそれぞれに対応する表示オブジェクトを含む電子会議画面を、前記端末装置に表示させ、
前記端末装置は、移動体に搭乗する前記ユーザを前記電子会議に参加させる電子会議プログラムを含む、複数のアプリケーションプログラムを実行するプロセッサを備え、
前記移動体で撮影された画像のデータ、及び、前記移動体で検出された音声のデータのうち少なくともいずれかを用いて前記ユーザの状態を解析し、解析結果に基づいて前記表示オブジェクトを変化させるオブジェクト変更処理と、
前記端末装置が備える前記プロセッサの負荷の判定、及び、前記サーバと前記端末装置との通信の状態の判定を実行し、これらの判定結果に応じて前記オブジェクト変更処理に用いるデータの選択または前記オブジェクト変更処理の実行の可否の決定を行う調整処理と、を実行する、
電子会議システム。
前記サーバは、電子会議に参加する複数のユーザのそれぞれに対応する表示オブジェクトを含む電子会議画面を、前記端末装置に表示させ、
前記端末装置は、移動体に搭乗する前記ユーザを前記電子会議に参加させる電子会議プログラムを含む、複数のアプリケーションプログラムを実行するプロセッサを備え、
前記移動体で撮影された画像のデータ、及び、前記移動体で検出された音声のデータのうち少なくともいずれかを用いて前記ユーザの状態を解析し、解析結果に基づいて前記表示オブジェクトを変化させるオブジェクト変更処理と、
前記端末装置が備える前記プロセッサの負荷の判定、及び、前記サーバと前記端末装置との通信の状態の判定を実行し、これらの判定結果に応じて前記オブジェクト変更処理に用いるデータの選択または前記オブジェクト変更処理の実行の可否の決定を行う調整処理と、を実行する、
電子会議システム。
【請求項2】
前記オブジェクト変更処理を前記端末装置により実行する端末モードと、前記オブジェクト変更処理を前記サーバにより実行するサーバモードと、を実行可能であり、
前記端末モードを実行する場合、
前記端末装置は、前記オブジェクト変更処理で変化させた前記表示オブジェクトを前記サーバに送信し、
前記サーバは、前記端末装置から送信される前記表示オブジェクトを含む前記電子会議画面を前記端末装置に表示させ、
前記サーバモードを実行する場合、
前記端末装置は、前記移動体で撮影された画像のデータ、及び、前記移動体で検出された音声のデータのうち少なくともいずれかを含む検出データを前記サーバに送信し、
前記サーバは、前記端末装置から送信される前記検出データを用いて前記オブジェクト変更処理を実行し、前記オブジェクト変更処理で変化させた前記表示オブジェクトを含む前記電子会議画面を前記端末装置に表示させる、
請求項１に記載の電子会議システム。
前記端末モードを実行する場合、
前記端末装置は、前記オブジェクト変更処理で変化させた前記表示オブジェクトを前記サーバに送信し、
前記サーバは、前記端末装置から送信される前記表示オブジェクトを含む前記電子会議画面を前記端末装置に表示させ、
前記サーバモードを実行する場合、
前記端末装置は、前記移動体で撮影された画像のデータ、及び、前記移動体で検出された音声のデータのうち少なくともいずれかを含む検出データを前記サーバに送信し、
前記サーバは、前記端末装置から送信される前記検出データを用いて前記オブジェクト変更処理を実行し、前記オブジェクト変更処理で変化させた前記表示オブジェクトを含む前記電子会議画面を前記端末装置に表示させる、
請求項１に記載の電子会議システム。
【請求項3】
前記調整処理によって、前記端末モード及び前記サーバモードのどちらを実行しているかに応じて、前記オブジェクト変更処理に用いるデータの選択または前記オブジェクト変更処理の実行の可否の決定を行う、請求項２に記載の電子会議システム。
【請求項4】
前記調整処理によって、前記サーバモードを実行する場合であって前記サーバと前記端末装置との通信の状態が良好であると判定した場合は、前記プロセッサの負荷の判定結果に関わらず、前記オブジェクト変更処理によって前記画像のデータを用いて前記ユーザの状態を解析することを決定する、請求項３に記載の電子会議システム。
【請求項5】
前記調整処理によって、前記端末モードを実行する場合であって前記プロセッサの負荷が高負荷であると判定した場合は、前記サーバと前記端末装置との通信の状態の判定結果が良好であっても、前記オブジェクト変更処理によって前記音声のデータを用いて前記ユーザの状態を解析することを決定する、請求項３に記載の電子会議システム。
【請求項6】
前記調整処理によって、
前記サーバと前記端末装置との通信の状態として、前記端末装置から前記サーバにデータを送信する方向における通信の状態を判定し、
前記サーバモードを実行する場合であって、前記サーバと前記端末装置との通信の状態が良好でないと判定した場合に、前記オブジェクト変更処理によって前記音声のデータを用いて前記ユーザの状態を解析することを決定する、請求項３に記載の電子会議システム。
前記サーバと前記端末装置との通信の状態として、前記端末装置から前記サーバにデータを送信する方向における通信の状態を判定し、
前記サーバモードを実行する場合であって、前記サーバと前記端末装置との通信の状態が良好でないと判定した場合に、前記オブジェクト変更処理によって前記音声のデータを用いて前記ユーザの状態を解析することを決定する、請求項３に記載の電子会議システム。
【請求項7】
前記調整処理によって、
前記サーバと前記端末装置との通信の状態として、前記端末装置から前記サーバにデータを送信する方向における通信の状態を判定し、
前記端末モードを実行する場合であって、前記サーバと前記端末装置との通信の状態が良好でないと判定した場合に、前記オブジェクト変更処理を実行しないことを決定する、請求項３に記載の電子会議システム。
前記サーバと前記端末装置との通信の状態として、前記端末装置から前記サーバにデータを送信する方向における通信の状態を判定し、
前記端末モードを実行する場合であって、前記サーバと前記端末装置との通信の状態が良好でないと判定した場合に、前記オブジェクト変更処理を実行しないことを決定する、請求項３に記載の電子会議システム。
【請求項8】
前記調整処理によって、前記サーバと前記端末装置との通信の状態として、前記端末装置から前記サーバにデータを送信する第１方向における通信の状態、及び、前記サーバから前記端末装置にデータを送信する第２方向における通信の状態をそれぞれ判定し、
前記端末装置は、前記サーバモードまたは前記端末モードを実行する場合であって、前記第１方向の通信の状態が良好であると判定し、かつ、前記第２方向の通信の状態が良好でないと判定した場合に、前記電子会議画面に前記表示オブジェクトを表示しない、請求項３に記載の電子会議システム。
前記端末装置は、前記サーバモードまたは前記端末モードを実行する場合であって、前記第１方向の通信の状態が良好であると判定し、かつ、前記第２方向の通信の状態が良好でないと判定した場合に、前記電子会議画面に前記表示オブジェクトを表示しない、請求項３に記載の電子会議システム。
【請求項9】
前記オブジェクト変更処理は、前記移動体で撮影された画像のデータ、及び、前記移動体で検出された音声のデータのうち少なくともいずれかを解析することにより、前記ユーザの感情を推定し、推定した前記ユーザの感情に応じて前記表示オブジェクトを変化させる処理である、請求項１から請求項８のいずれか１項に記載の電子会議システム。
【請求項10】
サーバと、前記サーバと通信する端末装置と、を備える電子会議システムにおいて、
前記サーバによって、電子会議に参加する複数のユーザのそれぞれに対応する表示オブジェクトを含む電子会議画面を、前記端末装置に表示させ、
前記端末装置によって、プロセッサにより、移動体に搭乗する前記ユーザを前記電子会議に参加させる電子会議プログラムを含む、複数のアプリケーションプログラムを実行し、
前記移動体で撮影された画像のデータ、及び、前記移動体で検出された音声のデータのうち少なくともいずれかを用いて前記ユーザの状態を解析し、解析結果に基づいて前記表示オブジェクトを変化させるオブジェクト変更処理と、
前記端末装置が備える前記プロセッサの負荷の判定、及び、前記サーバと前記端末装置との通信の状態の判定を実行し、これらの判定結果に応じて前記オブジェクト変更処理に用いるデータの選択または前記オブジェクト変更処理の実行の可否の決定を行う調整処理と、を実行する、
電子会議システムの制御方法。
前記サーバによって、電子会議に参加する複数のユーザのそれぞれに対応する表示オブジェクトを含む電子会議画面を、前記端末装置に表示させ、
前記端末装置によって、プロセッサにより、移動体に搭乗する前記ユーザを前記電子会議に参加させる電子会議プログラムを含む、複数のアプリケーションプログラムを実行し、
前記移動体で撮影された画像のデータ、及び、前記移動体で検出された音声のデータのうち少なくともいずれかを用いて前記ユーザの状態を解析し、解析結果に基づいて前記表示オブジェクトを変化させるオブジェクト変更処理と、
前記端末装置が備える前記プロセッサの負荷の判定、及び、前記サーバと前記端末装置との通信の状態の判定を実行し、これらの判定結果に応じて前記オブジェクト変更処理に用いるデータの選択または前記オブジェクト変更処理の実行の可否の決定を行う調整処理と、を実行する、
電子会議システムの制御方法。
【請求項11】
サーバと、前記サーバと通信する端末装置と、を備え、
前記サーバは、電子会議に参加する複数のユーザのそれぞれに対応する表示オブジェクトを含む電子会議画面を、前記端末装置に表示させ、
前記端末装置が、移動体に搭乗する前記ユーザを前記電子会議に参加させる電子会議プログラムを含む、複数のアプリケーションプログラムを実行するプロセッサを備える構成とした電子会議システムが構成される場合に、
前記プロセッサに、
前記移動体で撮影された画像のデータ、及び、前記移動体で検出された音声のデータのうち少なくともいずれかを用いて前記ユーザの状態を解析し、解析結果に基づいて前記表示オブジェクトを変化させるオブジェクト変更処理と、
前記端末装置が備える前記プロセッサの負荷の判定、及び、前記サーバと前記端末装置との通信の状態の判定を実行し、これらの判定結果に応じて前記オブジェクト変更処理に用いるデータの選択または前記オブジェクト変更処理の実行の可否の決定を行う調整処理と、を実行させる、プログラム。
前記サーバは、電子会議に参加する複数のユーザのそれぞれに対応する表示オブジェクトを含む電子会議画面を、前記端末装置に表示させ、
前記端末装置が、移動体に搭乗する前記ユーザを前記電子会議に参加させる電子会議プログラムを含む、複数のアプリケーションプログラムを実行するプロセッサを備える構成とした電子会議システムが構成される場合に、
前記プロセッサに、
前記移動体で撮影された画像のデータ、及び、前記移動体で検出された音声のデータのうち少なくともいずれかを用いて前記ユーザの状態を解析し、解析結果に基づいて前記表示オブジェクトを変化させるオブジェクト変更処理と、
前記端末装置が備える前記プロセッサの負荷の判定、及び、前記サーバと前記端末装置との通信の状態の判定を実行し、これらの判定結果に応じて前記オブジェクト変更処理に用いるデータの選択または前記オブジェクト変更処理の実行の可否の決定を行う調整処理と、を実行させる、プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、電子会議システム、電子会議システムの制御方法、及びプログラムに関する。
【背景技術】
【0002】
近年、交通参加者の中でも高齢者や障がい者や子供といった脆弱な立場にある人々にも配慮した持続可能な輸送システムへのアクセスを提供する取り組みが活発化している。この実現に向けて車両の居住性に関する開発を通して交通の安全性や利便性をより一層改善する研究開発に注力している。
例えば、特許文献１は、移動体に会議の設備を設け、移動体内のユーザが通信を利用して会議を行うことが可能な構成を開示する。また、電子会議において、装置の表示画面に、会議参加者に対応する画像を表示することが知られている（例えば、特許文献２参照）。
例えば、特許文献１は、移動体に会議の設備を設け、移動体内のユーザが通信を利用して会議を行うことが可能な構成を開示する。また、電子会議において、装置の表示画面に、会議参加者に対応する画像を表示することが知られている（例えば、特許文献２参照）。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０２１－０４７５０１号公報
【特許文献2】特開２０２３－０１２０７７号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
オンライン会議、或いは電子会議と呼ばれる会議では、会議に関する多くのデータを送受信する必要がある。このため、通信の状態が良好でない場合は、会議に関する画面が適切に表示されない等の事象が発生する。具体的には、会議に関して表示される画面の変化が遅延したり、画面が変化しなくなったりする。しかしながら、移動体においてユーザが電子会議を利用する場合、移動体の移動に伴って通信の状態が変化するので、通信の状態を良好に維持することは難しい。また、移動体においてユーザが使用する機器の負荷が高い場合にも、会議に関する画面が適切に表示されない等の事象が発生する。
本発明は、上述した事情に鑑みてなされたものであり、ユーザが移動体に搭乗して電子会議に参加する場合に、会議に関する画面の表示を適切な状態に維持することを目的とする。
本発明は、上述した事情に鑑みてなされたものであり、ユーザが移動体に搭乗して電子会議に参加する場合に、会議に関する画面の表示を適切な状態に維持することを目的とする。
【課題を解決するための手段】
【0005】
本発明の一態様は、サーバと、前記サーバと通信する端末装置と、を備え、前記サーバは、電子会議に参加する複数のユーザのそれぞれに対応する表示オブジェクトを含む電子会議画面を、前記端末装置に表示させ、前記端末装置は、移動体に搭乗する前記ユーザを前記電子会議に参加させる電子会議プログラムを含む、複数のアプリケーションプログラムを実行するプロセッサを備え、前記移動体で撮影された画像のデータ、及び、前記移動体で検出された音声のデータのうち少なくともいずれかを用いて前記ユーザの状態を解析し、解析結果に基づいて前記表示オブジェクトを変化させるオブジェクト変更処理と、前記端末装置が備える前記プロセッサの負荷の判定、及び、前記サーバと前記端末装置との通信の状態の判定を実行し、これらの判定結果に応じて前記オブジェクト変更処理に用いるデータの選択または前記オブジェクト変更処理の実行の可否の決定を行う調整処理と、を実行する、電子会議システムである。
【発明の効果】
【0006】
本発明の一態様によれば、端末装置のプロセッサの負荷や通信の状態に対応して、表示オブジェクトを変化させる処理を調整するので、移動体に搭乗するユーザが使用する端末装置において、会議に関する画面の表示を適切な状態に維持できる。
【図面の簡単な説明】
【0007】
【発明を実施するための形態】
【0008】
［１．電子会議システムの構成］
図１は、電子会議システム１０００の構成例を示す図である。
電子会議システム１０００は、会議サーバ２と、複数の端末装置を含み、端末装置を使用する複数のユーザＵが参加する電子会議を実行する。電子会議は、オンライン会議とも呼ばれ、会議の参加者が端末装置を利用して、通信ネットワークＮＷを通じて音声や情報を共有することによって実行される会議である。電子会議に参加するユーザＵの数、及び、端末装置の数に制限はない。図１には、電子会議の参加者であるユーザＵ１、Ｕ２、Ｕ３がそれぞれ使用する端末装置１０、４、５を含む電子会議システム１０００を一例として示す。以下では、ユーザＵ１、Ｕ２、Ｕ３を区別しない場合にユーザＵと記載する。
図１は、電子会議システム１０００の構成例を示す図である。
電子会議システム１０００は、会議サーバ２と、複数の端末装置を含み、端末装置を使用する複数のユーザＵが参加する電子会議を実行する。電子会議は、オンライン会議とも呼ばれ、会議の参加者が端末装置を利用して、通信ネットワークＮＷを通じて音声や情報を共有することによって実行される会議である。電子会議に参加するユーザＵの数、及び、端末装置の数に制限はない。図１には、電子会議の参加者であるユーザＵ１、Ｕ２、Ｕ３がそれぞれ使用する端末装置１０、４、５を含む電子会議システム１０００を一例として示す。以下では、ユーザＵ１、Ｕ２、Ｕ３を区別しない場合にユーザＵと記載する。
【0009】
会議サーバ２は、通信ネットワークＮＷを介して端末装置１０、４、５に接続され、電子会議に関するデータを送受信するコンピュータである。会議サーバ２は、単一のサーバコンピュータであってもよいし、複数のサーバコンピュータにより構成されてもよいし、クラウドサーバであってもよい。
【0010】
会議サーバ２は、会議の参加者として登録された端末装置４、５、１０からのアクセスに応じて、端末装置４、５、１０による電子会議への参加を受け付ける。会議サーバ２は、端末装置４、５、１０から音声データを受信し、受信した音声データに基づいて電子会議の音声データを生成する。電子会議の音声データは、電子会議に参加しているユーザＵの音声を重畳または集約した音声のデータである。また、会議サーバ２は、端末装置４、５、１０から映像や画像のデータを受信し、受信した映像や画像を用いて会議画面５１（図２）のデータを生成する。会議画面５１は、例えば、電子会議に参加している各ユーザＵに対応するユーザ画像を配置した画面である。会議画面５１の詳細は後述する。通信ネットワークＮＷは、公衆回線網や、専用線、その他の通信回路などで構成される通信ネットワークである。会議画面５１は、「電子会議画面」の一例に対応する。会議サーバ２は、会議画面５１のデータを端末装置４、５、１０に送信することにより、会議画面５１を端末装置４、５、１０に表示させる。
【0011】
本実施形態では、ユーザＵ１が車両１の中において端末装置１０を使用し、ユーザＵ２が住宅Ｈにおいて端末装置４を使用し、ユーザＵ３が住宅Ｈにおいて端末装置５を使用する例を説明する。車両１は「移動体」の一例である。車両１は、ユーザＵ１が搭乗するキャビン（乗員室）を備えていればよく、「移動体」は、４輪の車両に限定されず、５輪以上の車両でもよく、３輪以下の車両でもよい。また、「移動体」としての車両は、バス等の大型車両、商用車両、或いは作業用車両等であってもよい。また、移動体としては、上記の自動車のような陸上移動体のほか、船舶、潜水艇等の海洋移動体、ｅＶＴＯＬ（Ｅｌｅｃｔｒｉｃ Ｖｅｒｔｉｃａｌ Ｔａｋｅ－Ｏｆｆ ａｎｄ Ｌａｎｄｉｎｇ ａｉｒｃｒａｆｔ）を含む航空機、飛行船等の空中移動体、あるいは、宇宙船、人工衛星などの宇宙移動体であってもよい。住宅Ｈは、一般的な建物である。
【0012】
ユーザＵ１は、車両１に搭乗し、車両１に搭乗している間に電子会議に参加する人物である。ユーザＵ１は、車両１を操縦する運転者であってもよいし、ユーザＵ１とは異なる人が操縦する車両１に乗車する乗員であってもよい。
【0013】
［２．端末装置の構成］
端末装置１０は、車両１に搭載される装置であり、プロセッサ１００を有するコンピュータである。端末装置１０は、車両１に固定された装置であってもよいし、携帯可能な装置であって車両１に一時的に設置される装置であってもよい。例えば、端末装置１０として、スマートフォン、タブレット型コンピュータ、その他の形態のパーソナルコンピュータ、カーナビゲーション装置、または、ディスプレイオーディオ装置を採用できる。
端末装置１０は、車両１に搭載される装置であり、プロセッサ１００を有するコンピュータである。端末装置１０は、車両１に固定された装置であってもよいし、携帯可能な装置であって車両１に一時的に設置される装置であってもよい。例えば、端末装置１０として、スマートフォン、タブレット型コンピュータ、その他の形態のパーソナルコンピュータ、カーナビゲーション装置、または、ディスプレイオーディオ装置を採用できる。
【0014】
端末装置１０には、通信装置１３、ＧＮＳＳ（Ｇｌｏｂａｌ Ｎａｖｉｇａｔｉｏｎ Ｓａｔｅｌｌｉｔｅ Ｓｙｓｔｅｍ）１４、タッチパネル１５、スピーカ１６、マイク１７、及び、カメラ１８が接続される。これらの装置を端末装置１０が内蔵する構成であってもよい。
【0015】
通信装置１３は、データを送信するトランスミッタ、及び、データを受信するレシーバを備える無線通信装置であり、セルラー通信を実行する。通信装置１３は、プロセッサ１００の制御に従って通信ネットワークＮＷに接続し、通信ネットワークＮＷを通じて会議サーバ２との間でデータ通信を実行する。
【0016】
ＧＮＳＳ１４は、人工衛星からの信号を受信することによって車両１の位置を検出し、車両１の位置情報を生成し、位置情報を端末装置１０に出力する。
タッチパネル１５は、液晶表示パネルや有機ＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）パネルで構成される表示画面、及び、表示画面に重畳配置されたタッチセンサを有する。タッチパネル１５は、端末装置１０が出力する表示信号またはデジタル表示データに基づいて、表示画面に文字や画像を表示する。タッチパネル１５は、ユーザＵ１による表示画面へのタッチ操作を検出し、検出したタッチ操作の操作位置を特定し、特定した操作位置を示すデータを端末装置１０に出力する。
タッチパネル１５は、液晶表示パネルや有機ＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）パネルで構成される表示画面、及び、表示画面に重畳配置されたタッチセンサを有する。タッチパネル１５は、端末装置１０が出力する表示信号またはデジタル表示データに基づいて、表示画面に文字や画像を表示する。タッチパネル１５は、ユーザＵ１による表示画面へのタッチ操作を検出し、検出したタッチ操作の操作位置を特定し、特定した操作位置を示すデータを端末装置１０に出力する。
【0017】
スピーカ１６は、端末装置１０が出力する音声信号、または、デジタル音声データに基づいて音を出力する。マイク１７は、音を集音し、集音した音の音声信号またはデジタル音声データを、端末装置１０に出力する。カメラ１８は、端末装置１０の制御に従って撮影を実行するデジタルカメラであり、撮影画像データを端末装置１０に出力する。スピーカ１６、マイク１７、及び、カメラ１８は、車両１のキャビンに複数設置されてもよい。
【0018】
端末装置１０は、プロセッサ１００、及び、メモリ１２０を備える。プロセッサ１００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、或いはその他の集積回路で構成されるコンピュータである。メモリ１２０は、プログラムやデータを記憶する記憶装置である。プロセッサ１００は、揮発性のＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）をワークエリアとして利用してもよい。ＲＡＭは、プロセッサ１００に統合して実装されてもよいし、メモリ１２０がＲＡＭを備える構成であってもよい。
【0019】
メモリ１２０は、書き換え可能な不揮発性の記憶装置であり、プロセッサ１００が実行するプログラム、及び、プロセッサ１００により処理されるデータを記憶する。メモリ１２０は、例えば、フラッシュＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）やＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｉｓｋ）等の半導体記憶デバイス、或いは、磁気的記憶デバイスで構成される。メモリ１２０は、制御プログラム１２１、会議アプリ１２２、ＡＶ（Ａｕｄｉｏ Ｖｉｓｕａｌ）処理アプリ１２３、設定情報１２４、及び、会議情報１２５を記憶する。
【0020】
制御プログラム１２１、会議アプリ１２２及びＡＶ処理アプリ１２３はプロセッサ１００が実行するプログラムであり、プロセッサ１００により読み取り可能にメモリ１２０に記憶される。制御プログラム１２１は、プロセッサ１００が端末装置１０の各部を制御するための基本制御プログラムであり、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）である。会議アプリ１２２及びＡＶ処理アプリ１２３は、ＯＳ上で実行されるアプリケーションプログラムである。
【0021】
プロセッサ１００は、機能部として、会議クライアント１０１、画像処理部１０２、及び、調整処理部１０４を有する。これらの機能部は、プロセッサ１００が会議アプリ１２２を実行することにより、実現される。会議アプリ１２２は、「プログラム」及び「電子会議プログラム」の一例である。また、プロセッサ１００は、ＡＶ処理部１０５を有する。ＡＶ処理部１０５は、プロセッサ１００がＡＶ処理アプリ１２３を実行することにより、実現される。ＡＶ処理部１０５は、プロセッサ１００が実行する機能のうち、電子会議とは異なる機能を実行する構成の一例である。ＡＶ処理アプリ１２３は「アプリケーションプログラム」の一例である。つまり、プロセッサ１００は、ユーザＵ１を電子会議に参加させる会議アプリ１２２を含む複数のアプリケーションプログラムを実行する。
【0022】
会議クライアント１０１は、電子会議の参加者が使用する端末装置としての機能を実行し、通信装置１３により会議サーバ２に接続する。会議クライアント１０１は、電子会議の参加者であるユーザＵ１のアカウントで会議サーバ２にログインする処理を実行してもよい。
【0023】
会議クライアント１０１は、マイク１７により集音された音声のデータを会議サーバ２に送信する。会議クライアント１０１は、画像処理部１０２が送信する電子会議の音声のデータを受信し、受信したデータに基づきスピーカ１６から電子会議の音声を出力させる。
【0024】
会議クライアント１０１は、カメラ１８の撮影画像データを取得し、取得した撮影画像データ、または、取得した撮影画像データを用いて生成するユーザ画像を、画像処理部１０２に送信する。
会議クライアント１０１は、画像処理部１０２が送信する会議画面５１のデータを受信し、受信したデータに基づいて、会議画面５１をタッチパネル１５に表示させる。
会議クライアント１０１は、画像処理部１０２が送信する会議画面５１のデータを受信し、受信したデータに基づいて、会議画面５１をタッチパネル１５に表示させる。
【0025】
図２は、会議画面５１の構成例を示す図である。図２に示すように、会議画面５１は、電子会議に参加するユーザＵの様子を示す第１ユーザ画像５１１、第２ユーザ画像５１２、及び、自装置画像５１３を含む。自装置画像５１３は、会議画面５１が表示される装置を使用するユーザＵ１自身の様子を示す画像である。図２の会議画面５１は、ユーザＵ１が使用するタッチパネル１５に表示される画面であるため、ユーザＵ１の様子を示す画像が自装置画像５１３として表示される。第１ユーザ画像５１１及び第２ユーザ画像５１２は、電子会議に参加するユーザのうち、ユーザＵ１とは異なるユーザの様子を示す画像である。本実施形態では、第１ユーザ画像５１１はユーザＵ２の様子を示す画像であり、第２ユーザ画像５１２はユーザＵ３の様子を示す画像である。また、会議画面５１は、電子会議に参加するユーザＵの氏名やアカウント名を一覧表示する参加者表示部５１４を含んでもよい。
【0026】
第１ユーザ画像５１１は、端末装置４が撮影したユーザＵ２の撮影画像であってもよい。同様に、第２ユーザ画像５１２は端末装置５が撮影したユーザＵ３の撮影画像であってもよく、自装置画像５１３は、カメラ１８が撮影したユーザＵ１の撮影画像であってもよい。
電子会議システム１０００では、第１ユーザ画像５１１、第２ユーザ画像５１２、及び、自装置画像５１３として、撮影画像ではなく、ユーザ画像を用いる。ユーザ画像は、現実の撮影画像とは異なる、いわゆるアバターと呼ばれる画像である。具体的には、ユーザ画像は、例えば、予め用意されたイラスト、アイコン、或いはその他の静止画像である。ユーザ画像は会議参加者であるユーザＵの名前が重畳された画像であってもよい。電子会議システム１０００は、ユーザ画像として、人間または人間を模したキャラクタの顔の画像を利用する。
電子会議システム１０００では、第１ユーザ画像５１１、第２ユーザ画像５１２、及び、自装置画像５１３として、撮影画像ではなく、ユーザ画像を用いる。ユーザ画像は、現実の撮影画像とは異なる、いわゆるアバターと呼ばれる画像である。具体的には、ユーザ画像は、例えば、予め用意されたイラスト、アイコン、或いはその他の静止画像である。ユーザ画像は会議参加者であるユーザＵの名前が重畳された画像であってもよい。電子会議システム１０００は、ユーザ画像として、人間または人間を模したキャラクタの顔の画像を利用する。
【0027】
図２に示す会議画面５１は、端末装置１０がタッチパネル１５に表示させる画面である。会議サーバ２は、端末装置４、５、１０のそれぞれに対応する会議画面５１のデータを生成する。例えば、端末装置４が表示する会議画面５１では、ユーザＵ２のユーザ画像が自装置画像５１３に配置され、端末装置５が表示する会議画面５１では、ユーザＵ３のユーザ画像が自装置画像５１３に配置される。
【0028】
電子会議システム１０００は、キャラクタの顔の画像であるユーザ画像を、ユーザＵの状態に応じて変化させる機能を有する。ユーザＵの状態とは、ユーザＵの動作であってもよい。例えば、電子会議システム１０００は、ユーザＵ１が発話しているときと、ユーザＵ１が発話していないときとで、ユーザ画像である自装置画像５１３を変化させてもよい。本実施形態では、ユーザＵの状態として、ユーザＵの感情の推定結果を利用する。すなわち、電子会議システム１０００は、ユーザＵの感情を推定し、推定したユーザＵの感情を表す画像となるように、ユーザ画像を変化させる。例えば、電子会議システム１０００は、ユーザＵの感情が、喜、怒、哀、楽、平穏のいずれであるかを推定し、推定結果に応じて、喜、怒、哀、楽、平穏のそれぞれに対応する５つの画像のいずれかをユーザ画像とする。電子会議システム１０００は、ユーザＵの感情を、より細かく推定することも可能であり、ユーザ画像を、より多くの状態に変化させてもよい。
【0029】
電子会議システム１０００がユーザＵの状態に応じてユーザ画像を変化させる処理を、ユーザ画像変更処理と呼ぶ。ユーザ画像変更処理は、「オブジェクト変更処理」の一例である。すなわち、第１ユーザ画像５１１、第２ユーザ画像５１２、及び、自装置画像５１３として用いられるユーザ画像は、「表示オブジェクト」の一例である。
【0030】
電子会議システム１０００は、ユーザ画像変更処理を会議サーバ２が実行する動作状態と、ユーザ画像変更処理を端末装置４、５、１０が実行する動作状態との両方を実行可能である。以下では、ユーザ画像変更処理を会議サーバ２が実行する動作状態をサーバモードと呼び、ユーザ画像変更処理を端末装置４、５、１０が実行する動作状態を端末モードと呼ぶ。電子会議システム１０００は、サーバモードと端末モードとを切り替えて実行する。この切替は、端末装置４、５、１０毎に行ってもよい。例えば、電子会議システム１０００は、ユーザＵ１のユーザ画像に関するユーザ画像変更処理と、ユーザＵ２のユーザ画像に関するユーザ画像変更処理と、ユーザＵ３のユーザ画像に関するユーザ画像変更処理とを、個別に、サーバモードまたは端末モードで実行してもよい。
【0031】
画像処理部１０２は、端末装置１０が端末モードを実行する場合に、ユーザ画像変更処理を実行する。ユーザ画像変更処理において、画像処理部１０２は、ユーザ画像の生成、及び、ユーザ画像を変化させる処理を行う。画像処理部１０２は、感情推定部１０３を有する。感情推定部１０３は、マイク１７により集音されたユーザＵ１の音声、及び、カメラ１８が撮影したユーザＵ１の撮影画像を解析することにより、ユーザＵ１の感情を推定する。ユーザＵ１の感情を推定する処理としては、種々の公知の技術を利用できる。
【0032】
感情推定部１０３は、マイク１７が集音した音声のデータ、及び、カメラ１８の撮影画像データの少なくともいずれかを利用して、ユーザＵ１の感情を推定する。音声のデータを利用する場合、感情推定部１０３は、例えば、マイク１７が集音した音声のデータを解析し、声の抑揚、声の大きさの変化、声質、ユーザＵ１が発話した語の早さ、口調等の項目についてスコアを求め、求めたスコアからユーザＵ１の感情を推定する。例えば、感情推定部１０３は、マイク１７が集音した音声のデータを解析し、声の抑揚、声の大きさの変化、声質、ユーザＵ１が発話した語の早さ、口調等の項目についてスコアを求め、求めたスコアからユーザＵ１の感情を推定する。撮影画像データを利用する場合、感情推定部１０３は、例えば、撮影画像データからユーザＵ１の表情を解析して、ユーザＵ１の目、口、鼻の形状や動きを特定することにより、ユーザＵ１の感情を推定する。
【0033】
画像処理部１０２は、感情推定部１０３が推定したユーザＵ１の感情に対応するように、ユーザ画像を生成し、或いは、ユーザ画像を変化させる。画像処理部１０２は、ユーザ画像変更処理の後のユーザ画像を、会議サーバ２に送信する。会議サーバ２は、端末装置１０から受信したユーザ画像を利用して会議画面５１のデータを生成し、端末装置４、５、１０に送信する。
【0034】
このように、画像処理部１０２は、ユーザ画像変更処理において、車両１で撮影された撮影画像データ、及び、車両１で検出された音声のデータのうち少なくともいずれかを用いてユーザＵ１の状態を解析する。そして、画像処理部１０２は、ユーザＵ１の感情を推定し、推定したユーザＵ１の感情に応じてユーザ画像を変化させる。
【0035】
画像処理部１０２及び感情推定部１０３は、ユーザＵ１に関するユーザ画像変更処理がサーバモードで実行される場合、動作しない。
【0036】
調整処理部１０４は、ユーザ画像変更処理に関する調整処理を実行する。調整処理は、ユーザ画像変更処理の内容を調整する処理であり、例えば、ユーザ画像変更処理に用いるデータの選択、及び、ユーザ画像変更処理の実行の可否の決定の少なくともいずれかを含む。
【0037】
調整処理部１０４は、プロセッサ１００の負荷の判定、及び、端末装置１０と会議サーバ２との間の通信の状態の判定を行い、これらの判定結果に応じてユーザ画像変更処理を調整する。調整処理部１０４は、例えば、プロセッサ１００の使用率を算出し、使用率が、予め設定された閾値以上である場合に、プロセッサ１００の負荷が高負荷であると判定する。この場合、プロセッサ１００の使用率が閾値より低い場合に、プロセッサ１００の負荷が低負荷であると判定する。また、調整処理部１０４は、端末装置１０と会議サーバ２との間の通信の状態として、例えば、通信速度、遅延またはｐｉｎｇ値、ジッタ値を測定する。この測定は、例えば、端末装置１０から会議サーバ２にデータを送信する方向である上り方向と、会議サーバ２から端末装置１０にデータを送信する方向である下り方向とのそれぞれにおいて行われる。上り方向は「第１方向」の一例であり、下り方向は「第２方向」の一例である。調整処理部１０４は、測定した通信速度が予め設定された閾値以上であり、かつ、遅延が予め設定された閾値より小さい値である場合に、通信の状態が良好であると判定し、それ以外の場合に通信の状態が良好でないと判定する。調整処理部１０４は、端末装置１０と会議サーバ２とを接続する通信経路における通信の状態を直接判定しなくてもよい。例えば、調整処理部１０４は、端末装置１０が会議サーバ２との間のデータ通信で使用する通信経路の一部を対象として、通信の状態を判定してもよい。調整処理部１０４が使用する各種の閾値は、例えば、設定情報１２４に含まれてメモリ１２０に記憶される。
【0038】
調整処理部１０４は、プロセッサ１００の負荷が高負荷であるか低負荷であるか、及び、通信の状態が良好であるか否かをもとに、ユーザ画像変更処理で用いるデータを選択する。具体的には、調整処理部１０４は、ユーザ画像変更処理で映像データを用いるか、映像データを用いず音声データのみを用いるかを決定する。ユーザ画像変更処理で映像データを用いることは、映像データのみを用いること、及び、音声データを合わせて用いることを含む。調整処理部１０４は、ユーザ画像変更処理をサーバモードで実行するか、端末モードで実行するかのそれぞれに応じて、ユーザ画像変更処理で用いるデータを選択する。さらに、調整処理部１０４は、プロセッサ１００の負荷と通信の状態の判定結果に基づき、ユーザ画像変更処理を行わないことを決定してもよい。この場合、ユーザ画像変更処理は実行されず、会議画面５１におけるユーザ画像は変化しない。
【0039】
ＡＶ処理部１０５は、ユーザＵ１の操作に従って、映像コンテンツや音楽コンテンツの管理および再生を行う。ＡＶ処理部１０５は、ユーザＵ１により指定される映像コンテンツを再生し、映像をタッチパネル１５に表示させ、映像コンテンツに含まれる音声をスピーカ１６から出力させる。また、ＡＶ処理部１０５は、ユーザＵ１により指定される音楽コンテンツを再生し、スピーカ１６から音声を出力させる。ＡＶ処理部１０５が再生する映像コンテンツや音楽コンテンツのデータは、例えば、メモリ１２０に記憶される。また、ＡＶ処理部１０５は、ユーザＵ１の操作に従って、映像コンテンツや音楽コンテンツのデータを、通信装置１３を利用してダウンロードする。また、ＡＶ処理部１０５は、メモリ１２０が記憶する映像コンテンツや音楽コンテンツの削除等を、ユーザＵ１の操作に従って実行する。
【0040】
ＡＶ処理部１０５は、会議クライアント１０１、画像処理部１０２及び調整処理部１０４とは独立して動作を実行する。例えば、会議クライアント１０１が電子会議に参加している間に、ＡＶ処理部１０５は、音楽コンテンツの再生や映像コンテンツのダウンロード等を実行できる。
【0041】
ＡＶ処理部１０５は、プロセッサ１００が、電子会議に関するプログラムとは異なるアプリケーションプログラムを実行する機能の一例である。プロセッサ１００は、例えば、ＡＶ処理部１０５の代わりに、或いは、ＡＶ処理部１０５に加えて、他の機能を有する構成であってもよい。例えば、プロセッサ１００は、ナビゲーション用のアプリケーションプログラムを実行することにより、カーナビゲーション装置としての機能を実行してもよい。
【0042】
端末装置４、及び、端末装置５は、端末装置１０と同様に構成することができる。この場合、端末装置４、５は、端末装置１０が備えるプロセッサ１００、及び、メモリ１２０を有する構成とすることができる。また、端末装置４、５は、ＡＶ処理部１０５、及び、ＡＶ処理アプリ１２３を有しない構成とすることができる。また、端末装置４、５は、通信装置１３、タッチパネル１５、スピーカ１６、マイク１７、カメラ１８の各部に相当する構成を備えることが好ましく、ＧＮＳＳ１４に相当する構成は必須ではない。
【0043】
［３．会議サーバの構成］
会議サーバ２は、プロセッサ２００、及び、メモリ２２０を備える。プロセッサ２００は、ＣＰＵ、ＭＰＵ、或いはその他の集積回路で構成される。メモリ２２０は、プログラムやデータを記憶する記憶装置である。プロセッサ２００は、揮発性のＲＡＭをワークエリアとして利用してもよい。ＲＡＭは、プロセッサ２００に統合して実装されてもよいし、メモリ２２０がＲＡＭを備える構成であってもよい。
会議サーバ２は、プロセッサ２００、及び、メモリ２２０を備える。プロセッサ２００は、ＣＰＵ、ＭＰＵ、或いはその他の集積回路で構成される。メモリ２２０は、プログラムやデータを記憶する記憶装置である。プロセッサ２００は、揮発性のＲＡＭをワークエリアとして利用してもよい。ＲＡＭは、プロセッサ２００に統合して実装されてもよいし、メモリ２２０がＲＡＭを備える構成であってもよい。
【0044】
メモリ２２０は、書き換え可能な不揮発性の記憶装置であり、プロセッサ２００が実行するプログラム、及び、プロセッサ２００により処理されるデータを記憶する。メモリ２２０は、例えば、フラッシュＲＯＭやＳＳＤ（等の半導体記憶デバイス、或いは、磁気的記憶デバイスで構成される。メモリ２２０は、制御プログラム２２１、及び、会議データ２２２を記憶する。
【0045】
制御プログラム２２１はプロセッサ２００が実行するプログラムであり、プロセッサ２００により読み取り可能にメモリ２２０に記憶される。制御プログラム２２１は、プロセッサ２００が会議サーバ２の各部を制御するための基本制御プログラムであり、いわゆるＯＳである。
【0046】
プロセッサ２００は、機能部として、会議処理部２０１及び画像処理部２０２を有する。これらの機能部は、プロセッサ２００がプログラムを実行することにより、実現される。
会議処理部２０１は、複数のユーザＵが参加する電子会議を実行する。会議処理部２０１は、端末装置４、５、１０が送信する音声のデータを受信し、受信したデータに基づいて会議の音声のデータを生成し、端末装置４、５、１０に送信する。
会議処理部２０１は、複数のユーザＵが参加する電子会議を実行する。会議処理部２０１は、端末装置４、５、１０が送信する音声のデータを受信し、受信したデータに基づいて会議の音声のデータを生成し、端末装置４、５、１０に送信する。
【0047】
会議処理部２０１は、端末装置４、５、１０が送信するデータに基づいて、各ユーザＵに対応するユーザ画像を含む会議画面５１のデータを生成し、端末装置４、５、１０に送信する。
【0048】
画像処理部２０２は、サーバモードにおいてユーザ画像変更処理を実行する。画像処理部２０２は、感情推定部２０３を有する。感情推定部２０３は、端末装置４、５、１０が送信する音声のデータ、及び、端末装置４、５、１０が送信する撮影画像データを解析することにより、ユーザＵの感情を推定する。ユーザＵの感情を推定する処理としては、種々の公知の技術を利用できる。例えば、感情推定部２０３は、感情推定部１０３と同様の処理を行う。
【0049】
画像処理部２０２は、感情推定部２０３が推定したユーザＵの感情に対応するように、ユーザ画像を生成し、或いは、ユーザ画像を変化させる。画像処理部２０２は、ユーザ画像変更処理の後のユーザ画像を含む会議画面５１を生成し、端末装置４、５、１０に送信する。
【0050】
例えば、画像処理部２０２は、ユーザＵ１に関するユーザ画像変更処理をサーバモードで実行する場合、車両１で撮影された撮影画像データ、及び、車両１で検出された音声のデータのうち少なくともいずれかを用いてユーザＵ１の状態を解析する。そして、画像処理部２０２は、ユーザＵ１の感情を推定し、推定したユーザＵ１の感情に応じてユーザ画像を変化させる。
【0051】
画像処理部２０２及び感情推定部２０３は、ユーザＵ１に関するユーザ画像変更処理が端末モードで実行される場合、ユーザＵ１に関する処理を行わない。
【0052】
また、画像処理部２０２は、ユーザ画像変更処理をサーバモードで実行するときに、端末装置１０から、ユーザ画像変更処理の条件を示す通知を受信した場合、通知された条件に従ってユーザ画像変更処理を実行する。
【0053】
［４．電子会議システムの動作］
図３及び図４は、電子会議システム１０００の動作例を示すシーケンス図である。図３は、サーバモードにおけるユーザ画像変更処理を示し、図４は端末モードにおけるユーザ画像変更処理を示す。ステップＳＡ１－ＳＡ５は端末装置１０の会議クライアント１０１により実行され、ステップＳＡ１１－ＳＡ１４は画像処理部１０２により実行される。ステップＳＢ１、ＳＢ５－ＳＢ６、ＳＢ１１－ＳＢ１３は会議サーバ２の会議処理部２０１により実行され、ＳＢ２－ＳＢ４は画像処理部２０２により実行される。
図３及び図４は、電子会議システム１０００の動作例を示すシーケンス図である。図３は、サーバモードにおけるユーザ画像変更処理を示し、図４は端末モードにおけるユーザ画像変更処理を示す。ステップＳＡ１－ＳＡ５は端末装置１０の会議クライアント１０１により実行され、ステップＳＡ１１－ＳＡ１４は画像処理部１０２により実行される。ステップＳＢ１、ＳＢ５－ＳＢ６、ＳＢ１１－ＳＢ１３は会議サーバ２の会議処理部２０１により実行され、ＳＢ２－ＳＢ４は画像処理部２０２により実行される。
【0054】
図３において、端末装置１０は、マイク１７により音声を検出し（ステップＳＡ１）、カメラ１８の撮影画像データを取得する（ステップＳＡ２）。端末装置１０は、マイク１７で検出した音声のデータと撮影画像データとを、通信装置１３によって会議サーバ２に送信する（ステップＳＡ３）。ステップＳＡ３で端末装置１０が会議サーバ２に送信するデータは、「検出データ」の一例である。
【0055】
会議サーバ２は、端末装置１０が送信したデータを受信し（ステップＳＢ１）、受信したデータから、感情推定部２０３が使用する解析用のデータを取得する（ステップＳＢ２）。会議サーバ２は、感情推定部２０３による感情推定処理を実行し（ステップＳＢ４）、推定したユーザＵ１の感情に応じて、ユーザＵ１のユーザ画像を更新する（ステップＳＢ４）。最初にステップＳＢ４を実行する場合、会議サーバ２はユーザ画像を生成する。会議サーバ２は、更新後のユーザＵ１のユーザ画像を含む会議画面５１のデータを生成する（ステップＳＢ５）。会議サーバ２は、会議画面５１を表示するためのデータを端末装置１０に送信する（ステップＳＢ６）。
【0056】
端末装置１０は、会議画面５１を表示するためのデータを会議サーバ２から受信し（ステップＳＡ４）、タッチパネル１５における会議画面５１の表示を更新する（ステップＳＡ５）。
【0057】
図４の動作において、図３と共通する処理には同じステップ番号を付して説明を省略する。図４において、端末装置１０は、ステップＳＡ１－ＳＡ２を実行し、感情推定部１０３が用いる解析用のデータを取得する（ステップＳＡ１１）。ステップＳＡ１１で、端末装置１０は、例えば、音声のデータ、及び、撮影画像データの少なくともいずれかを取得する。
【0058】
端末装置１０は、感情推定部１０３による感情推定処理を実行し（ステップＳＡ１２）、推定したユーザＵ１の感情に応じて、ユーザＵ１のユーザ画像を更新する（ステップＳＡ１３）。最初にステップＳＡ１３を実行する場合、端末装置１０はユーザＵ１のユーザ画像を生成する。端末装置１０は、更新後のユーザＵ１のユーザ画像を、会議サーバ２に送信する（ステップＳＡ１４）。
【0059】
会議サーバ２は、端末装置１０によって更新されたユーザＵ１のユーザ画像を受信し（ステップＳＢ１１）、受信したユーザ画像を含む会議画面５１のデータを生成する（ステップＳＢ１２）。会議サーバ２は、会議画面５１を表示するためのデータを端末装置１０に送信する（ステップＳＢ１３）。
【0060】
端末装置１０は、会議画面５１を表示するためのデータを会議サーバ２から受信し（ステップＳＡ４）、タッチパネル１５における会議画面５１の表示を更新する（ステップＳＡ５）。
【0061】
このように、ユーザ画像変更処理を端末モードで実行する場合、端末装置１０は、ユーザ画像変更処理で変化させたユーザ画像を会議サーバ２に送信し、会議サーバ２は、端末装置１０から送信されるユーザ画像を含む会議画面５１を端末装置１０に表示させる。また、ユーザ画像変更処理をサーバモードで実行する場合、端末装置１０は、車両１で撮影された画像のデータ、及び、車両１で検出された音声のデータのうち少なくともいずれかを含む検出データを会議サーバ２に送信し、会議サーバ２は、端末装置１０から送信される検出データを用いてユーザ画像変更処理を実行し、ユーザ画像変更処理で変化させたユーザ画像を含む会議画面５１を端末装置１０に表示させる。
【0062】
続いて、調整処理部１０４が実行する調整処理を説明する。
図５は、処理条件データ１２６の構成例を示す図である。処理条件データ１２６は、調整処理において調整処理部１０４が参照するデータであり、通信の状態、プロセッサ１００の負荷、及び、ユーザ画像変更処理がサーバモードであるか端末モードであるかに対応付けて、ユーザ画像変更処理の条件を定めるデータである。処理条件データ１２６は、例えば、設定情報１２４に含まれてメモリ１２０に記憶される。
図５は、処理条件データ１２６の構成例を示す図である。処理条件データ１２６は、調整処理において調整処理部１０４が参照するデータであり、通信の状態、プロセッサ１００の負荷、及び、ユーザ画像変更処理がサーバモードであるか端末モードであるかに対応付けて、ユーザ画像変更処理の条件を定めるデータである。処理条件データ１２６は、例えば、設定情報１２４に含まれてメモリ１２０に記憶される。
【0063】
図３及び図４に示したように、ユーザ画像変更処理では、カメラ１８の撮影画像データ及びマイク１７の音声データの送受信、または、端末装置１０が変更したユーザＵ１のユーザ画像の送受信が発生する。また、会議サーバ２が生成する会議画面５１のデータを通信装置１３が受信する処理も発生する。車両１は走行する移動体であるから、通信装置１３と会議サーバ２との間の通信の状態は、常に良好とは限らない。端末装置１０と会議サーバ２との間の通信の状態が良好でない場合には、通信の遅延により、会議画面５１におけるユーザ画像の変化のタイミングが遅れたり、会議画面５１の乱れを生じたりするなど、会議画面５１を適切に維持することが難しくなる。また、プロセッサ１００は、上述したように、会議アプリ１２２以外のアプリケーションプログラムを実行する。このため、電子会議にユーザＵ１が参加している間に、プロセッサ１００の負荷が高負荷となり、電子会議の音声の出力や会議画面５１の表示が乱れる可能性がある。また、ユーザ画像変更処理によってプロセッサ１００の負荷が高まると、プロセッサ１００が過負荷となり、会議アプリ１２２以外のアプリケーションプログラムの実行に影響を及ぼす可能性がある。
【0064】
そこで、調整処理部１０４が、処理条件データ１２６に示すように調整処理を実行して、ユーザ画像変更処理の条件を決定する。これにより、電子会議システム１０００は、通信の遅延に起因する会議画面５１の表示の乱れ、及び、プロセッサ１００の過負荷を防止する。
【0065】
処理条件データ１２６は、上り方向の通信の状態と、下り方向の通信の状態とのそれぞれを区別して、ユーザ画像変更処理の条件を定める。図５において、「○」は通信状態が良好であることを示し、「×」は通信状態が良好でないことを示す。また、図５において、「ＬＯＷ」はプロセッサ１００の負荷が低負荷であることを示し、「ＨＩＧＨ」はプロセッサ１００の負荷が高負荷であることを示す。図５において、動作モードはユーザ画像変更処理のモードを指し、「サーバ」はサーバモードを実行中の場合を示し、「端末」は端末モードを実行中の場合を示す。
【0066】
調整処理部１０４は、処理条件データ１２６に従ってユーザ画像変更処理の条件を決定する。例えば、上りの通信状態と下りの通信状態とが良好である場合の端末モードの条件は、Ｎｏ．２及びＮｏ．４に示すように、プロセッサ１００の負荷が低負荷である場合は、ユーザ画像変更処理において画像処理部１０２が撮影画像を解析することに決定され、プロセッサ１００の負荷が高負荷である場合は音声を解析することに決定される。言い換えれば、図５のＮｏ．４は、端末モードを実行する場合であって、プロセッサ１００の負荷が高負荷であると判定した場合は、通信の状態が良好であっても、ユーザ画像変更処理で音声のデータを用いることを示す。ユーザ画像変更処理で音声のデータを用いることは、撮影画像データを用いないことを意味する。
【0067】
つまり、プロセッサ１００の負荷が低負荷であれば、画像処理部１０２は、カメラ１８の撮影画像データを利用して、ユーザＵ１の状態の判定とユーザ画像の変更を行う。プロセッサ１００の負荷が高負荷である場合、画像処理部１０２は、マイク１７が集音した音声のデータを利用してユーザＵ１の状態の判定とユーザ画像の変更を行う。画像処理部１０２が音声データを処理する場合、撮影画像データを処理する場合に比べ、処理するデータ量が小さいことから、ユーザＵ１の状態を判定するための演算量が小さい。このため、プロセッサ１００が高負荷の状態であっても、ユーザ画像変更処理の遅延等を発生させることがなく、会議画面５１の乱れや遅延を防止し、会議画面５１を適切な状態で表示できる。
【0068】
また、例えば、上りの通信状態と下りの通信状態とが良好である場合、図５のＮｏ．１及びＮｏ．３に示すように、サーバモードの条件は、プロセッサ１００の負荷が低負荷であっても高負荷であっても、画像処理部２０２が撮影画像を解析することに決定される。この場合、画像処理部２０２は、端末装置１０が送信する撮影画像データを利用して、ユーザＵ１の状態の判定とユーザ画像の変更を行う。サーバモードでは、ユーザ画像変更処理を会議サーバ２が実行するため、プロセッサ１００の負荷が高負荷であっても撮影画像データを問題なく処理できる。
【0069】
また、例えば、Ｎｏ．６及びＮｏ．８に示すように、端末モードを実行する場合であって、上り方向の通信の状態が良好でない場合、プロセッサ１００の負荷に関わらず、ユーザ画像変更処理を行わない。端末装置１０は、画像処理部１０２によるユーザＵ１のユーザ画像を変更する処理を行わず、会議サーバ２にユーザ画像を送信しない。また、会議画面５１において自装置画像５１３に、ユーザ画像の代わりに、予めメモリ１２０に記憶したアイコンやその他の静止画像を表示する。これにより、端末装置１０から会議サーバ２へ送信するデータの容量が低減される。このため、ユーザ画像を用いて会議サーバ２が会議画面５１のデータを生成する処理の遅延を防止できる。また、端末装置１０が電子会議とは異なる機能に基づき通信装置１３による通信を行う場合に、その通信の帯域を阻害しないという利点がある。
【0070】
また、例えば、Ｎｏ．５及びＮｏ．７に示すように、サーバモードを実行する場合であって、会議サーバ２から端末装置１０への上り方向の通信の状態が良好でないと判定した場合に、ユーザ画像変更処理で音声のデータを解析することを決定する。この場合、さらに、調整処理部１０４は、会議サーバ２から端末装置１０に撮影画像データを送信しないことを決定してもよい。この場合、会議サーバ２から端末装置１０へ大容量の画像データを送信せずに画像処理部２０２がユーザ画像変更処理を実行できる。
【0071】
Ｎｏ．９－Ｎｏ．１２で、調整処理部１０４は、会議サーバ２が送信する会議画面５１のデータを用いずに、会議画面５１を表示することを決定する。Ｎｏ．９－Ｎｏ．１２では、上り方向の通信の状態が良好であり、下り方向の通信の状態が良好でない。この場合に、端末装置１０は、会議サーバ２が送信する会議画面５１のデータを利用しない。具体的には、会議クライアント１０１は、会議画面５１を表示せずに、ユーザＵ１を音声のみで電子会議に参加させる。また、会議クライアント１０１は、ユーザ画像を含まない会議画面５１を表示してもよい。具体的には、会議クライアント１０１は、第１ユーザ画像５１１、第２ユーザ画像５１２、及び、自装置画像５１３に、予めメモリ１２０に記憶したアイコンやその他の静止画像を配置した会議画面５１を生成し、表示する。これにより、端末装置１０は、会議サーバ２が送信する会議画面５１のデータを待たずに、会議画面５１を表示できる。このため、会議サーバ２から端末装置１０への通信の状態が良好でなくても、会議画面５１の表示の乱れ等を防止できる。
【0072】
さらに、Ｎｏ．９－Ｎｏ．１２で、調整処理部１０４は、会議サーバ２及び端末装置１０におけるユーザ画像変更処理を実行することを決定してもよい。例えば、ユーザ画像変更処理の条件として、サーバモードでは撮影画像データを用い、端末モードでは、プロセッサ１００の負荷に応じて撮影画像データの利用と音声データの利用とを切り替える。つまり、電子会議システム１０００は、ユーザＵ１のユーザ画像を変更するユーザ画像変更処理を行うが、端末装置１０においてはユーザＵ１のユーザ画像を使用しない。これにより、上り方向の通信の状態が良好であることから、端末装置１０以外の端末装置４、５では会議画面５１を通常通り表示できる。
【0073】
また、例えば、Ｎｏ．１３－Ｎｏ．１６で、調整処理部１０４は、ユーザ画像変更処理を実行しないことを決定する。これらのケースでは上り方向の通信及び下り方向の通信のいずれも状態が良好でないことから、端末装置１０を用いて電子会議を安定的に実行することが難しい。このため、調整処理部１０４は、ユーザ画像変更処理を行わないことで、プロセッサ１００、２００のリソースの利用を効率化できる。
【0074】
図６は、端末装置１０の動作例を示すフローチャートであり、調整処理を示す。ステップＳＡ２１－ＳＡ２８は、調整処理部１０４により実行される。
端末装置１０は、ユーザ画像変更処理のモードがサーバモードであるか端末モードであるかを判定する（ステップＳＡ２１）。端末装置１０は、端末装置１０と会議サーバ２との間における上り方向の通信の状態を判定し（ステップＳＡ２２）、下り方向の通信の状態を判定する（ステップＳＡ２３）。端末装置１０は、プロセッサ１００の負荷を判定する（ステップＳＡ２４）。
端末装置１０は、ユーザ画像変更処理のモードがサーバモードであるか端末モードであるかを判定する（ステップＳＡ２１）。端末装置１０は、端末装置１０と会議サーバ２との間における上り方向の通信の状態を判定し（ステップＳＡ２２）、下り方向の通信の状態を判定する（ステップＳＡ２３）。端末装置１０は、プロセッサ１００の負荷を判定する（ステップＳＡ２４）。
【0075】
端末装置１０は、ステップＳＡ２１－ＳＡ２４の判定結果に基づいて、処理条件データ１２６を参照することにより、ユーザ画像変更処理の条件を決定する（ステップＳＡ２５）。ステップＳＡ２５で、端末装置１０は、ユーザ画像変更処理を行わないことを含む決定を行う。
【0076】
端末装置１０は、ステップＳＡ２５で決定した条件を、ユーザ画像変更処理に反映させる（ステップＳＡ２６）。すなわち、ユーザ画像変更処理のうち端末装置１０が実行するステップＳＡ３－ＳＡ４、ＳＡ１１－ＳＡ１４の内容を、ステップＳＡ２５で決定した条件に合わせて変更する。さらに、端末装置１０は、ステップＳＡ２５で決定した条件を会議サーバ２に通知し、ユーザ画像変更処理に反映させる（ステップＳＡ２７）。すなわち、ユーザ画像変更処理のうち会議サーバ２が実行するステップＳＢ２－ＳＢ５、ＳＢ１１－ＳＢ１３の内容を、ステップＳＡ２５で決定した条件に合わせて変更するよう通知する。
【0077】
調整処理部１０４は、電子会議が終了するか否かを判定し（ステップＳＡ２８）、終了しない場合は（ステップＳＡ２８；ＮＯ）、ステップＳＡ２１に戻る。また、電子会議が終了する場合は（ステップＳＡ２８；ＹＥＳ）、本処理を終了する。
【0078】
［５．他の実施形態］
上述した実施形態は、あくまでも一態様を示すものであり任意に変形及び応用が可能である。
上述した実施形態は、あくまでも一態様を示すものであり任意に変形及び応用が可能である。
【0079】
上記実施形態では、調整処理部１０４が調整処理において処理条件データ１２６を参照する動作を説明したが、これは一例である。例えば、処理条件データ１２６と同様の判定が行われるように構成したアルゴリズムを調整処理において実行し、処理条件データ１２６を利用しなくてもよい。
【0080】
上記実施形態では、調整処理を端末装置１０の調整処理部１０４が実行する場合を説明したが、これは一例である。例えば、調整処理を、端末装置１０と会議サーバ２とが協働して実行してもよい。例えば、通信の状態の判定及びプロセッサ１００の負荷の判定を端末装置１０が実行し、判定結果に基づきユーザ画像変更処理の条件を決定する処理を会議サーバ２が実行してもよい。
【0081】
また、端末装置１０は、車両１に固定された装置でなくてもよく、携帯可能な装置であって車両１に一時的に設置される装置であってもよい。例えば、端末装置１０は、スマートフォン、タブレット型コンピュータ、その他の形態のパーソナルコンピュータ、カーナビゲーション装置、または、ディスプレイオーディオ装置であってもよい。
【0082】
プロセッサ１００及びプロセッサ２００は、単一のプロセッサにより構成されてもよいし、複数のプロセッサにより構成されていてもよい。プロセッサ１００及びプロセッサ２００は、対応する機能部を実現するようプログラムされたハードウェアでもよい。すなわち、プロセッサ１００及びプロセッサ２００は、例えば、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）やＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）で構成されてもよい。
【0083】
また、図２に示した電子会議システム１０００の各部の構成は一例であって、具体的な実装形態は特に限定されない。つまり、必ずしも各部に個別に対応するハードウェアが実装される必要はなく、一つのプロセッサがプログラムを実行することで各部の機能を実現する構成とすることも勿論可能である。また、上述した実施形態においてソフトウェアで実現される機能の一部をハードウェアとしてもよく、或いは、ハードウェアで実現される機能の一部をソフトウェアで実現してもよい。
【0084】
また、図３、図４、及び図６に示す動作のステップ単位は、動作の理解を容易にするために、主な処理内容に応じて分割したものであり、処理単位の分割の仕方や名称によって、本発明が限定されることはない。処理内容に応じて、さらに多くのステップ単位に分割してもよい。また、１つのステップ単位がさらに多くの処理を含むように分割してもよい。また、そのステップの順番は、本発明の趣旨に支障のない範囲で適宜に入れ替えてもよい。
【0085】
また、上述した電子会議システム１０００の制御方法を、プロセッサ１００を用いて実現する場合、プロセッサ１００に実行させるプログラムを非一時的な記録媒体、又はこのプログラムを伝送する伝送媒体の態様で構成することも可能である。すなわち、会議アプリ１２２は、可搬型の情報記録媒体に会議アプリ１２２を記録した状態で実現することも可能である。情報記録媒体は、ハードディスク等の磁気的記録媒体、ＣＤ等の光学的記録媒体、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリやＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の半導体記憶デバイスが挙げられるが、その他の記録媒体を用いることも可能である。
【0086】
［６．上記実施形態によりサポートされる構成］
上記実施形態は、以下の構成をサポートする。
上記実施形態は、以下の構成をサポートする。
【0087】
（構成１）サーバと、前記サーバと通信する端末装置と、を備え、前記サーバは、電子会議に参加する複数のユーザのそれぞれに対応する表示オブジェクトを含む電子会議画面を、前記端末装置に表示させ、前記端末装置は、移動体に搭乗する前記ユーザを前記電子会議に参加させる電子会議プログラムを含む、複数のアプリケーションプログラムを実行するプロセッサを備え、前記移動体で撮影された画像のデータ、及び、前記移動体で検出された音声のデータのうち少なくともいずれかを用いて前記ユーザの状態を解析し、解析結果に基づいて前記表示オブジェクトを変化させるオブジェクト変更処理と、前記端末装置が備える前記プロセッサの負荷の判定、及び、前記サーバと前記端末装置との通信の状態の判定を実行し、これらの判定結果に応じて前記オブジェクト変更処理に用いるデータの選択または前記オブジェクト変更処理の実行の可否の決定を行う調整処理と、を実行する、電子会議システム。
構成１の電子会議システムによれば、端末装置のプロセッサの負荷や通信の状態に対応して、表示オブジェクトを変化させる処理を調整できる。このため、通信状態が不安定になり易い移動体からユーザが電子会議に参加する場合に、通信状態に起因する表示の乱れ等を防止できる。また、端末装置のプロセッサが過負荷になることを防止し、ユーザが端末装置の機能を快適に利用できる等の種々の効果が得られる。これにより、移動体に搭乗するユーザが使用する端末装置において、会議に関する画面の表示を適切な状態に維持できる。
構成１の電子会議システムによれば、端末装置のプロセッサの負荷や通信の状態に対応して、表示オブジェクトを変化させる処理を調整できる。このため、通信状態が不安定になり易い移動体からユーザが電子会議に参加する場合に、通信状態に起因する表示の乱れ等を防止できる。また、端末装置のプロセッサが過負荷になることを防止し、ユーザが端末装置の機能を快適に利用できる等の種々の効果が得られる。これにより、移動体に搭乗するユーザが使用する端末装置において、会議に関する画面の表示を適切な状態に維持できる。
【0088】
（構成２）前記オブジェクト変更処理を前記端末装置により実行する端末モードと、前記オブジェクト変更処理を前記サーバにより実行するサーバモードと、を実行可能であり、前記端末モードを実行する場合、前記端末装置は、前記オブジェクト変更処理で変化させた前記表示オブジェクトを前記サーバに送信し、前記サーバは、前記端末装置から送信される前記表示オブジェクトを含む前記電子会議画面を前記端末装置に表示させ、前記サーバモードを実行する場合、前記端末装置は、前記移動体で撮影された画像のデータ、及び、前記移動体で検出された音声のデータのうち少なくともいずれかを含む検出データを前記サーバに送信し、前記サーバは、前記端末装置から送信される前記検出データを用いて前記オブジェクト変更処理を実行し、前記オブジェクト変更処理で変化させた前記表示オブジェクトを含む前記電子会議画面を前記端末装置に表示させる、構成１に記載の電子会議システム。
構成２の電子会議システムによれば、オブジェクト変更処理を端末装置が実行する場合と、サーバが実行する場合とのそれぞれに対応して、表示オブジェクトを変化させる処理を調整できる。このため、移動体に搭乗するユーザが使用する端末装置において、会議に関する画面の表示を適切な状態に維持できる。
構成２の電子会議システムによれば、オブジェクト変更処理を端末装置が実行する場合と、サーバが実行する場合とのそれぞれに対応して、表示オブジェクトを変化させる処理を調整できる。このため、移動体に搭乗するユーザが使用する端末装置において、会議に関する画面の表示を適切な状態に維持できる。
【0089】
（構成３）前記調整処理によって、前記端末モード及び前記サーバモードのどちらを実行しているかに応じて、前記オブジェクト変更処理に用いるデータの選択または前記オブジェクト変更処理の実行の可否の決定を行う、構成２に記載の電子会議システム。
構成３の電子会議システムによれば、オブジェクト変更処理を端末装置が実行する場合と、サーバが実行する場合とのそれぞれに対応して、オブジェクト変更処理を行わないことを含む調整を実施できる。このため、移動体に搭乗するユーザに電子会議を快適に利用させることができる。
構成３の電子会議システムによれば、オブジェクト変更処理を端末装置が実行する場合と、サーバが実行する場合とのそれぞれに対応して、オブジェクト変更処理を行わないことを含む調整を実施できる。このため、移動体に搭乗するユーザに電子会議を快適に利用させることができる。
【0090】
（構成４）前記調整処理によって、前記サーバモードを実行する場合であって前記サーバと前記端末装置との通信の状態が良好であると判定した場合は、前記プロセッサの負荷の判定結果に関わらず、前記オブジェクト変更処理によって前記画像のデータを用いて前記ユーザの状態を解析することを決定する、構成３に記載の電子会議システム。
構成４の電子会議システムによれば、サーバと端末装置との通信の状態が良好である場合に、画像のデータを利用することによって、ユーザの状態をより詳細に反映するオブジェクト変更処理を実行できる。
構成４の電子会議システムによれば、サーバと端末装置との通信の状態が良好である場合に、画像のデータを利用することによって、ユーザの状態をより詳細に反映するオブジェクト変更処理を実行できる。
【0091】
（構成５）前記調整処理によって、前記端末モードを実行する場合であって前記プロセッサの負荷が高負荷であると判定した場合は、前記サーバと前記端末装置との通信の状態の判定結果が良好であっても、前記オブジェクト変更処理によって前記音声のデータを用いて前記ユーザの状態を解析することを決定する、構成３に記載の電子会議システム。
構成５の電子会議システムによれば、オブジェクト変更処理において音声のデータを利用することによって、端末装置のプロセッサの過負荷を防止でき、移動体に搭乗するユーザが端末装置の機能を快適に利用できる。
構成５の電子会議システムによれば、オブジェクト変更処理において音声のデータを利用することによって、端末装置のプロセッサの過負荷を防止でき、移動体に搭乗するユーザが端末装置の機能を快適に利用できる。
【0092】
（構成６）前記調整処理によって、前記サーバと前記端末装置との通信の状態として、前記端末装置から前記サーバにデータを送信する方向における通信の状態を判定し、前記サーバモードを実行する場合であって、前記サーバと前記端末装置との通信の状態が良好でないと判定した場合に、前記オブジェクト変更処理によって前記音声のデータを用いて前記ユーザの状態を解析することを決定する、構成３に記載の電子会議システム。
構成６の電子会議システムによれば、端末装置からサーバにデータを送信する方向における通信の状態が良好でない場合に、通信の遅延に起因する表示の乱れ等を防止し、移動体に搭乗するユーザに電子会議を快適に利用させることができる。
構成６の電子会議システムによれば、端末装置からサーバにデータを送信する方向における通信の状態が良好でない場合に、通信の遅延に起因する表示の乱れ等を防止し、移動体に搭乗するユーザに電子会議を快適に利用させることができる。
【0093】
（構成７）前記調整処理によって、前記サーバと前記端末装置との通信の状態として、前記端末装置から前記サーバにデータを送信する方向における通信の状態を判定し、前記端末モードを実行する場合であって、前記サーバと前記端末装置との通信の状態が良好でないと判定した場合に、前記オブジェクト変更処理を実行しないことを決定する、構成３に記載の電子会議システム。
構成７の電子会議システムによれば、端末装置からサーバにデータを送信する方向における通信の状態が良好でない場合に、オブジェクト変更処理を実行させないことによって、電子会議に関する表示を安定させ、さらに、端末装置のプロセッサの負荷を軽減し、プロセッサのリソースを効率よく利用できる。
構成７の電子会議システムによれば、端末装置からサーバにデータを送信する方向における通信の状態が良好でない場合に、オブジェクト変更処理を実行させないことによって、電子会議に関する表示を安定させ、さらに、端末装置のプロセッサの負荷を軽減し、プロセッサのリソースを効率よく利用できる。
【0094】
（構成８）前記調整処理によって、前記サーバと前記端末装置との通信の状態として、前記端末装置から前記サーバにデータを送信する第１方向における通信の状態、及び、前記サーバから前記端末装置にデータを送信する第２方向における通信の状態をそれぞれ判定し、前記端末装置は、前記サーバモードまたは前記端末モードを実行する場合であって、前記第１方向の通信の状態が良好であると判定し、かつ、前記第２方向の通信の状態が良好でないと判定した場合に、前記電子会議画面に前記表示オブジェクトを表示しない、構成３に記載の電子会議システム。
構成８の電子会議システムによれば、第１方向と第２方向の通信の状態に対応して、サーバがデータを利用できる状態を維持しながら、通信の遅延に起因する表示の乱れ等を防止し、移動体に搭乗するユーザに電子会議を快適に利用させることができる。
構成８の電子会議システムによれば、第１方向と第２方向の通信の状態に対応して、サーバがデータを利用できる状態を維持しながら、通信の遅延に起因する表示の乱れ等を防止し、移動体に搭乗するユーザに電子会議を快適に利用させることができる。
【0095】
（構成９）前記オブジェクト変更処理は、前記移動体で撮影された画像のデータ、及び、前記移動体で検出された音声のデータのうち少なくともいずれかを解析することにより、前記ユーザの感情を推定し、推定した前記ユーザの感情に応じて前記表示オブジェクトを変化させる処理である、構成１から構成８のいずれか１項に記載の電子会議システム。
構成９の電子会議システムによれば、ユーザの感情を表示オブジェクトに反映させることにより、より臨場感に富む電子会議を実現できる。
構成９の電子会議システムによれば、ユーザの感情を表示オブジェクトに反映させることにより、より臨場感に富む電子会議を実現できる。
【0096】
（構成１０）サーバと、前記サーバと通信する端末装置と、を備える電子会議システムにおいて、前記サーバによって、電子会議に参加する複数のユーザのそれぞれに対応する表示オブジェクトを含む電子会議画面を、前記端末装置に表示させ、前記端末装置によって、プロセッサにより、移動体に搭乗する前記ユーザを前記電子会議に参加させる電子会議プログラムを含む、複数のアプリケーションプログラムを実行し、前記移動体で撮影された画像のデータ、及び、前記移動体で検出された音声のデータのうち少なくともいずれかを用いて前記ユーザの状態を解析し、解析結果に基づいて前記表示オブジェクトを変化させるオブジェクト変更処理と、前記端末装置が備える前記プロセッサの負荷の判定、及び、前記サーバと前記端末装置との通信の状態の判定を実行し、これらの判定結果に応じて前記オブジェクト変更処理に用いるデータの選択または前記オブジェクト変更処理の実行の可否の決定を行う調整処理と、を実行する、電子会議システムの制御方法。
構成１０の電子会議システムの制御方法によれば、端末装置のプロセッサの負荷や通信の状態に対応して、表示オブジェクトを変化させる処理を調整できる。このため、移動体に搭乗するユーザが使用する端末装置において、会議に関する画面の表示を適切な状態に維持できる。
構成１０の電子会議システムの制御方法によれば、端末装置のプロセッサの負荷や通信の状態に対応して、表示オブジェクトを変化させる処理を調整できる。このため、移動体に搭乗するユーザが使用する端末装置において、会議に関する画面の表示を適切な状態に維持できる。
【0097】
（構成１１）サーバと、前記サーバと通信する端末装置と、を備え、前記サーバは、電子会議に参加する複数のユーザのそれぞれに対応する表示オブジェクトを含む電子会議画面を、前記端末装置に表示させ、前記端末装置が、移動体に搭乗する前記ユーザを前記電子会議に参加させる電子会議プログラムを含む、複数のアプリケーションプログラムを実行するプロセッサを備える構成とした電子会議システムが構成される場合に、前記プロセッサに、前記移動体で撮影された画像のデータ、及び、前記移動体で検出された音声のデータのうち少なくともいずれかを用いて前記ユーザの状態を解析し、解析結果に基づいて前記表示オブジェクトを変化させるオブジェクト変更処理と、前記端末装置が備える前記プロセッサの負荷の判定、及び、前記サーバと前記端末装置との通信の状態の判定を実行し、これらの判定結果に応じて前記オブジェクト変更処理に用いるデータの選択または前記オブジェクト変更処理の実行の可否の決定を行う調整処理と、を実行させる、プログラム。
構成１１のプログラムを実行することにより、端末装置のプロセッサの負荷や通信の状態に対応して、表示オブジェクトを変化させる処理を調整できる。このため、移動体に搭乗するユーザが使用する端末装置において、会議に関する画面の表示を適切な状態に維持できる。
構成１１のプログラムを実行することにより、端末装置のプロセッサの負荷や通信の状態に対応して、表示オブジェクトを変化させる処理を調整できる。このため、移動体に搭乗するユーザが使用する端末装置において、会議に関する画面の表示を適切な状態に維持できる。
【符号の説明】
【0098】
１…車両（移動体）、２…会議サーバ（サーバ）、４、5…端末装置、１０…端末装置、１３…通信装置、１４…ＧＮＳＳ、１５…タッチパネル、１６…スピーカ、１７…マイク、１８…カメラ、５１…会議画面、１００…プロセッサ、１０１…会議クライアント、１０２…画像処理部、１０３…感情推定部、１０４…調整処理部、１０５…ＡＶ処理部、１２０…メモリ、１２１…制御プログラム、１２２…会議アプリ、１２３…ＡＶ処理アプリ、１２４…設定情報、１２５…会議情報、１２６…処理条件データ、２００…プロセッサ、２０１…会議処理部、２０２…画像処理部、２０３…感情推定部、２２０…メモリ、２２１…制御プログラム、５１１…第１ユーザ画像（表示オブジェクト）、５１２…第２ユーザ画像（表示オブジェクト）、５１３…自装置画像（表示オブジェクト）、５１４…参加者表示部、１０００…電子会議システム、ＮＷ…通信ネットワーク、Ｕ、Ｕ１、Ｕ２、Ｕ３…ユーザ。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】