特開 2023-146493 会議制御装置、会議制御方法及びコンピュータープログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023146493

(43)【公開日】2023-10-12

(54)【発明の名称】会議制御装置、会議制御方法及びコンピュータープログラム

(51)【国際特許分類】

   H04M 3/56 20060101AFI20231004BHJP

   H04N 7/15 20060101ALI20231004BHJP

【ＦＩ】

H04M3/56 C

H04N7/15 120

H04N7/15

【審査請求】未請求

【請求項の数】3

【出願形態】ＯＬ

(21)【出願番号】P 2022053694

(22)【出願日】2022-03-29

(71)【出願人】

【識別番号】399035766

【氏名又は名称】エヌ・ティ・ティ・コミュニケーションズ株式会社

(74)【代理人】

【識別番号】110001634

【氏名又は名称】弁理士法人志賀国際特許事務所

(72)【発明者】

【氏名】小柴 聡

【テーマコード（参考）】

5C164

5K201

【Ｆターム（参考）】

5C164FA10

5C164UB88S

5C164VA07P

5C164VA13P

5K201BB09

5K201CA01

5K201CA04

5K201CB13

5K201CC01

5K201CC08

5K201CC10

5K201DC05

5K201EC06

5K201ED05

5K201EF03

5K201EF10

(57)【要約】

【課題】ネットワークを介して行われる会議において、他の参加者の状況や環境をより容易に確認しやすくすること。
【解決手段】ネットワークを介して行われる会議に参加しているユーザーについて、前記ユーザーの状態を示す状態情報又は前記ユーザーの環境を示す環境情報を取得し、取得された前記状態情報又は前記環境情報に応じた付加表示情報を取得し、前記ユーザーに関する情報を表示するユーザー領域に前記付加表示情報を含む表示情報を生成し、前記表示情報を他のユーザーによって使用されるユーザー端末に送信する表示情報生成部と、前記会議における音声を制御する音声制御部と、を備える会議制御装置である。
【選択図】図１

【特許請求の範囲】

【請求項1】

ネットワークを介して行われる会議に参加しているユーザーについて、前記ユーザーの状態を示す状態情報又は前記ユーザーの環境を示す環境情報を取得し、取得された前記状態情報又は前記環境情報に応じた付加表示情報を取得し、前記ユーザーに関する情報を表示するユーザー領域に前記付加表示情報を含む表示情報を生成し、前記表示情報を他のユーザーによって使用されるユーザー端末に送信する表示情報生成部と、
前記会議における音声を制御する音声制御部と、
を備える会議制御装置。

【請求項2】

コンピューターが、ネットワークを介して行われる会議に参加しているユーザーについて、前記ユーザーの状態を示す状態情報又は前記ユーザーの環境を示す環境情報を取得する情報取得ステップと、
コンピューターが、取得された前記状態情報又は前記環境情報に応じた付加表示情報を取得し、前記ユーザーに関する情報を表示するユーザー領域に前記付加表示情報を含む表示情報を生成する表示情報生成ステップと、
コンピューターが、前記表示情報を他のユーザーによって使用されるユーザー端末に送信する表示情報送信ステップと、
前記会議における音声を制御する音声制御ステップと、
を有する会議制御方法。

【請求項3】

請求項１に記載の会議制御装置としてコンピューターを機能させるためのコンピュータープログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、オンラインで話をすることを支援する技術に関する。

【背景技術】

【0002】

従来から、ネットワークを介して会議を行うためのシステムが提案されている（例えば特許文献１参照）。このようなネットワークを介して会議や会話が行われる場合には、参加者はそれぞれ異なる場所から参加することが多い。特に近年では、働く場所の自由度を高めるような社会的傾向もあり、それぞれ異なる都道府県から参加するなど、お互いに遠く離れた場所から参加することも珍しくない。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１５－１５４３１５号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

このように互いに離れた者同士が会議や会話を行う場合、相手の状況や相手が置かれた環境について認識することが難しい。そのため、コミュニケーションを図るときに不自由が生じることがあった。
上記事情に鑑み、本発明は、ネットワークを介して行われる会議において、他の参加者の状況や環境をより容易に確認しやすくすることが可能となる技術の提供を目的としている。

【課題を解決するための手段】

【0005】

本発明の一態様は、ネットワークを介して行われる会議に参加しているユーザーについて、前記ユーザーの状態を示す状態情報又は前記ユーザーの環境を示す環境情報を取得し、取得された前記状態情報又は前記環境情報に応じた付加表示情報を取得し、前記ユーザーに関する情報を表示するユーザー領域に前記付加表示情報を含む表示情報を生成し、前記表示情報を他のユーザーによって使用されるユーザー端末に送信する表示情報生成部と、前記会議における音声を制御する音声制御部と、を備える会議制御装置である。

【0006】

本発明の一態様は、コンピューターが、ネットワークを介して行われる会議に参加しているユーザーについて、前記ユーザーの状態を示す状態情報又は前記ユーザーの環境を示す環境情報を取得する情報取得ステップと、コンピューターが、取得された前記状態情報又は前記環境情報に応じた付加表示情報を取得し、前記ユーザーに関する情報を表示するユーザー領域に前記付加表示情報を含む表示情報を生成する表示情報生成ステップと、コンピューターが、前記表示情報を他のユーザーによって使用されるユーザー端末に送信する表示情報送信ステップと、前記会議における音声を制御する音声制御ステップと、を有する会議制御方法である。

【0007】

本発明の一態様は、上記の会議制御装置としてコンピューターを機能させるためのコンピュータープログラムである。

【発明の効果】

【0008】

本発明により、ネットワークを介して行われる会議において、他の参加者の状況や環境をより容易に確認しやすくすることが可能となる。

【図面の簡単な説明】

【0009】

【図1】本発明の会議システム１００のシステム構成を示す概略ブロック図である。

【図2】ユーザー端末１０の機能構成の具体例を示す概略ブロック図である。

【図3】会議制御装置２０の機能構成の具体例を示す概略ブロック図である。

【図4】ユーザー端末１０に表示される画像の具体例を示す図である。

【図5】ユーザー端末１０の表示部１３に表示される画像の具体例を示す図である。

【図6】ユーザー端末１０の表示部１３に表示される画像の具体例を示す図である。

【図7】ユーザー端末１０の表示部１３に表示される画像の具体例を示す図である。

【図8】ユーザー端末１０の表示部１３に表示される画像の具体例を示す図である。

【図9】ユーザー端末１０に表示される画像の具体例を示す図である。

【図10】ユーザー端末１０の表示部１３に表示される画像の具体例を示す図である。

【図11】ユーザー端末１０に表示される画像の具体例を示す図である。

【図12】会議システム１００の処理の流れの具体例を示すシーケンスチャートである。

【発明を実施するための形態】

【0010】

以下、本発明の具体的な構成例について、図面を参照しながら説明する。なお、以下の説明では、２名以上のユーザーが他者に対して発話を行うための仮想的な繋がりを示す概念を会議室と呼ぶ。そのため、以下の説明における会議室は、必ずしもその名称が会議室である必要は無く、例えば単に会話と呼ばれたりセッションと呼ばれたりするものであっても、２名以上のユーザーが他者に対して発話を行う仮想的な場であれば全て以下の説明における会議室に相当する。例えば、特定のユーザー（例えば講師）が複数（50名や100名などの多数を含む）の他者に対して一方的に発話を行うセミナーやプレゼンテーションが行われる仮想的な繋がりも、以下の説明における会議室に含まれる。

【0011】

図１は、本発明の会議システム１００のシステム構成を示す概略ブロック図である。会議システム１００は、ユーザー端末１０を操作するユーザー同士がネットワーク３０を介して会議を行うためのシステムである。会議システム１００は、複数のユーザー端末１０及び会議制御装置２０を含む。複数のユーザー端末１０及び会議制御装置２０は、ネットワーク３０を介して通信可能に接続される。ネットワーク３０は、無線通信を用いたネットワークであってもよいし、有線通信を用いたネットワークであってもよい。ネットワーク３０は、複数のネットワークが組み合わされて構成されてもよい。

【0012】

図２は、ユーザー端末１０の機能構成の具体例を示す概略ブロック図である。ユーザー端末１０は、例えばスマートフォン、タブレット、パーソナルコンピューター、携帯ゲーム機、据え置き型ゲーム機、専用機器などの情報機器を用いて構成される。ユーザー端末１０は、通信部１１、操作部１２、表示部１３、音声入力部１４１、音声出力部１４２、状態情報取得部１５、環境情報取得部１６、基礎情報取得部１７、記憶部１８及び制御部１９を備える。

【0013】

通信部１１は、通信機器である。通信部１１は、例えばネットワークインターフェースとして構成されてもよい。通信部１１は、制御部１９の制御に応じて、ネットワーク３０を介して他の装置とデータ通信する。通信部１１は、無線通信を行う装置であってもよいし、有線通信を行う装置であってもよい。

【0014】

操作部１２は、キーボード、ポインティングデバイス（マウス、タブレット等）、ボタン、タッチパネル等の既存の入力装置を用いて構成される。操作部１２は、ユーザーの指示をユーザー端末１０に入力する際にユーザーによって操作される。操作部１２は、入力装置をユーザー端末１０に接続するためのインターフェースであっても良い。この場合、操作部１２は、入力装置においてユーザーの入力に応じ生成された入力信号をユーザー端末１０に入力する。操作部１２は、マイク及び音声認識装置を用いて構成されてもよい。この場合、操作部１２はユーザーによって発話された文言を音声認識し、認識結果の文字列情報をユーザー端末１０に入力する。この場合、操作部１２は音声入力部１４１と一体に構成されてもよい。操作部１２は、ユーザーの指示をユーザー端末１０に入力可能な構成であればどのように構成されてもよい。

【0015】

表示部１３は、液晶ディスプレイ、有機ＥＬ（Electro Luminescence）ディスプレイ等の画像表示装置である。表示部１３は、会議を行う際に用いられる画像データを表示する。表示部１３は、画像表示装置をユーザー端末１０に接続するためのインターフェースであっても良い。この場合、表示部１３は、画像データを表示するための映像信号を生成し、自身に接続されている画像表示装置に映像信号を出力する。

【0016】

音声入力部１４１は、マイクを用いて構成される。音声入力部１４１は、マイクそのものとして構成されてもよいし、外部機器としてマイクをユーザー端末１０に接続するためのインターフェースとして構成されてもよい。マイクは、会議を行うユーザーの発話音声を取得する。音声入力部１４１は、マイクによって取得された音声のデータを制御部１９に出力する。

【0017】

音声出力部１４２は、スピーカーやヘッドホンやイヤホン等の音声出力装置を用いて構成される。音声出力部１４２は、音声出力装置そのものとして構成されてもよいし、外部機器として音声出力装置をユーザー端末１０に接続するためのインターフェースとして構成されてもよい。音声出力装置は、会議を行うユーザーが音声を聞き取ることができるように音声を出力することが望ましい。音声出力部１４２は、制御部１９によって出力される音声信号に応じた音声を出力する。

【0018】

状態情報取得部１５は、状態情報を取得する。状態情報は、ユーザー端末１０を操作するユーザーの身体の状態に関する情報である。状態情報は、例えばユーザーの生体情報を含んでもよい。生体情報は、例えば体温、血圧、心拍数、心電、単位時間当たりの呼吸数、ストレスレベル等の値を含んでもよい。状態情報は、例えばユーザーの感情の状態を示す情報を含んでもよいし、ユーザーの体調を示す情報を含んでもよい。状態情報取得部１５は、例えば上述したような状態情報の少なくとも一つを取得する装置である。状態情報取得部１５は、例えば上述したような状態情報の少なくとも一つを取得する装置から状態情報の入力を受けるインターフェースであってもよい。この場合、状態情報取得部１５は、上記装置と物理的に接続されるインターフェースであってもよいし、上記装置と無線通信する通信装置であってもよい。

【0019】

環境情報取得部１６は、環境情報を取得する。環境情報は、ユーザー端末１０を操作するユーザーの環境に関する情報である。環境情報は、例えばユーザーの周囲の室温、室内の湿度、騒音レベル、時間帯、天候、外部の気温、外部の湿度、外部の風の強さ、外部の風の向き等の値を含んでもよい。環境情報取得部１６は、例えば上述したような環境情報の少なくとも一つを取得する装置（例えばセンサー）である。環境情報取得部１６は、例えば上述したような環境情報の少なくとも一つを取得する装置から環境情報の入力を受けるインターフェースであってもよい。この場合、環境情報取得部１６は、上記装置と物理的に接続されるインターフェースであってもよいし、上記装置と無線通信する通信装置であってもよい。

【0020】

基礎情報取得部１７は、基礎情報を取得する。基礎情報は、状態情報又は環境情報を取得するために用いられる情報である。基礎情報は、例えばユーザーの画像であってもよいし、ユーザー端末１０の現在位置を示す位置情報であってもよい。基礎情報がユーザーの顔画像である場合、基礎情報取得部１７はカメラを用いて構成されてもよい。基礎情報がユーザー端末１０の現在位置である場合、基礎情報取得部１７は位置情報取得装置を用いて構成されてもよい。位置情報取得装置は、例えば衛星測位システムや携帯電話網の基地局との通信などによって現在位置の位置情報を取得する。衛星測位システムの具体例として、ＧＰＳ（Global Positioning System）やＧａｌｉｌｅｏ等がある。

【0021】

基礎情報は、上記の状態情報又は環境情報の一部であってもよい。例えば、状態情報としてストレスレベルを取得しようとした場合、ユーザーの心電の値や心拍の値や血圧の値が用いられることがある。このような場合には、ユーザーの心電の値や心拍の値や血圧の値が基礎情報として取得されても良い。

【0022】

記憶部１８は、磁気ハードディスク装置や半導体記憶装置等の記憶装置を用いて構成される。記憶部１８は、制御部１９によって使用されるデータを記憶する。記憶部１８は、例えばユーザー情報記憶部１８１及び発話情報記憶部１８２として機能してもよい。

【0023】

ユーザー情報記憶部１８１は、ユーザー端末１０を操作するユーザーに関する情報（以下「ユーザー情報」という。）を記憶する。ユーザー情報は、例えばユーザーの識別情報や属性情報を含んでもよい。属性情報は、例えばユーザーの年齢や性別等に関する情報を含んでもよい。

【0024】

制御部１９は、ＣＰＵ（Central Processing Unit）等のプロセッサーとメモリーとを用いて構成される。制御部１９は、プロセッサーがプログラムを実行することによって、表示制御部１９１、会議制御部１９２及び音声制御部１９３として機能する。なお、制御部１９の各機能の全て又は一部は、ＡＳＩＣ（Application Specific Integrated Circuit）やＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されても良い。上記のプログラムは、コンピューター読み取り可能な記録媒体に記録されても良い。コンピューター読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ、半導体記憶装置（例えばＳＳＤ：Solid State Drive）等の可搬媒体、コンピューターシステムに内蔵されるハードディスクや半導体記憶装置等の記憶装置である。上記のプログラムは、電気通信回線を介して送信されてもよい。

【0025】

表示制御部１９１は、通信部１１を介して会議制御装置２０から表示情報を受信する。表示制御部１９１は、取得された表示情報に基づいて画像信号を生成し、表示部１３に表示させる。表示情報は、例えば表示される画像そのものを示す画像データであってもよい。この場合、画像データを生成する主体（画像データ生成部）は会議制御装置２０である。表示情報は、例えば表示される画像を生成するために必要となる情報（例えば、参加しているユーザーに関する情報）を示すデータであってもよい。この場合、表示制御部１９１は、表示データに基づいて、表示部１３に表示するための画像データを生成する。この場合、画像データを生成する主体（画像データ生成部）は表示制御部１９１である。

【0026】

会議制御部１９２は、会議制御装置２０において仮想的に設けられる会議に関する制御を行う。例えば、ユーザーが操作部１２を操作することによって会議制御装置２０が提供する会議サービスへログインすることを指示した場合、会議制御部１９２は、ログインするための処理を行う。例えば、ユーザーが操作部１２を操作することによって新規の会議室を設置することを指示した場合、会議制御部１９２は、新規の会議室を設置するための処理を行う。例えば、ユーザーが操作部１２を操作することによって会議室に入室することを指示した場合、会議制御部１９２は、指示された会議室へ入室するための処理を行う。会議室への入室はどのような形で行われてもよい。例えば、会議室を示す文字やボタンやアイコンが１又は複数表示されている画面において、いずれかの文字、ボタン又はアイコンが操作されることによってその会議室への入室が行われてもよい。会議室毎に割り当てられたアドレス（例えば特定の識別番号やＵＬＲ（Uniform Resource Locator）など）に対してアクセスが行われることによって、その会議室への入室が行われてもよい。会議制御部１９２は、状態情報取得部１５によって取得された状態情報を会議制御装置２０に送信する。会議制御部１９２は、環境情報取得部１６によって取得された環境情報を会議制御装置２０に送信する。会議制御部１９２は、基礎情報取得部１７によって取得された基礎情報を会議制御装置２０に送信する。

【0027】

音声制御部１９３は、他のユーザー端末１０のユーザーとの間でやりとりされる音声に関する制御を行う。会議室に入室すると、その会議室に入室している他のユーザーとの間で音声の送受信が行われる。音声制御部１９３は、例えば音声入力部１４１から入力された音声データを、通信部１１を介して会議制御装置２０へ送信する。音声制御部１９３は、会議制御装置２０から音声データを受信すると、受信された音声データを音声出力部１４２から出力する。

【0028】

図３は、会議制御装置２０の機能構成の具体例を示す概略ブロック図である。会議制御装置２０は、例えばパーソナルコンピューターやサーバー装置などの情報処理装置を用いて構成される。会議制御装置２０は、通信部２１、記憶部２２及び制御部２３を備える。

【0029】

通信部２１は、通信機器である。通信部２１は、例えばネットワークインターフェースとして構成されてもよい。通信部２１は、制御部２３の制御に応じて、ネットワーク３０を介して他の装置とデータ通信する。通信部２１は、無線通信を行う装置であってもよいし、有線通信を行う装置であってもよい。

【0030】

記憶部２２は、磁気ハードディスク装置や半導体記憶装置等の記憶装置を用いて構成される。記憶部２２は、制御部２３によって使用されるデータを記憶する。記憶部２２は、例えばユーザー情報記憶部２２１、会議室情報記憶部２２２及び付加情報記憶部２２３として機能してもよい。ユーザー情報記憶部２２１は、ユーザー端末１０を操作する複数のユーザーに関する情報（ユーザー情報）を記憶する。

【0031】

会議室情報記憶部２２２は、会議室に関する情報（以下「会議室情報」という。）を記憶する。会議室とは、会議システム１００においてユーザーが会議を行うために設置する仮想的な部屋である。会議室情報は、例えばその会議室のＩＤ、会議室に設定されている名前を示す情報、会議室が設置される予約の日時を示す情報、会議室の属性に関する情報を含んでもよい。会議室の属性に関する情報とは、例えばその会議室に入室可能な人数や、会議室に入室可能なユーザーを示す情報を含んでもよい。

【0032】

付加情報記憶部２２３は、制御部２３によって取得される付加情報を記憶する。付加情報は、状態情報又は環境情報を含む。状態情報は、制御部２３の状態情報取得部２３５によって取得される。環境情報は、制御部２３の環境情報取得部２３６によって取得される。

【0033】

制御部２３は、ＣＰＵ等のプロセッサーとメモリーとを用いて構成される。制御部２３は、プロセッサーがプログラムを実行することによって、ユーザー制御部２３１、会議室制御部２３２、表示情報生成部２３３、音声制御部２３４、状態情報取得部２３５及び環境情報取得部２３６として機能する。なお、制御部２３の各機能の全て又は一部は、ＡＳＩＣやＰＬＤやＦＰＧＡ等のハードウェアを用いて実現されても良い。上記のプログラムは、コンピューター読み取り可能な記録媒体に記録されても良い。コンピューター読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ、半導体記憶装置（例えばＳＳＤ）等の可搬媒体、コンピューターシステムに内蔵されるハードディスクや半導体記憶装置等の記憶装置である。上記のプログラムは、電気通信回線を介して送信されてもよい。

【0034】

ユーザー制御部２３１は、ユーザーに関する制御処理を行う。例えば、ユーザー制御部２３１は、会議制御装置２０にアクセスしてくるユーザー端末１０についてログインのための処理（例えば認証処理）を行ってもよい。ユーザー制御部２３１は、ユーザー端末１０から受信されたユーザー情報をユーザー情報記憶部２２１に登録してもよい。

【0035】

会議室制御部２３２は、会議室に関する制御処理を行う。例えば、会議室制御部２３２は、会議室を新たに設置することについてユーザー端末１０から指示を受けた場合には、受信される情報に基づいて会議室情報を生成し、会議室情報記憶部２２２に登録してもよい。また、会議室制御部２３２は、会議室を設置するタイミングになった場合には、その会議室を仮想的に設置する。会議室を設置するタイミングとは、例えば即時に会議室を新設することについてユーザー端末１０から指示された場合にはその時であるし、予め会議室の設置の予約が登録されていた場合にはその日時が到来した時である。会議室制御部２３２は、ユーザーによって会議室へ参加するための所定の操作が行われた場合、所定の条件が満たされると、その会議室へユーザーを参加させるための処理を行う。例えば、会議室制御部２３２は、会議室情報記憶部２２２を更新することによって、会議室に新たなユーザーが参加したことを登録する。

【0036】

表示情報生成部２３３は、ユーザー端末１０において表示される画像の生成に必要となる情報（表示情報）を生成する。表示情報は、例えば現在設置されている会議室に関する情報や、各会議室に入室している各ユーザー端末１０のユーザーに関する情報（以下「ユーザー情報」という。）を含んでもよい。ユーザー情報は、各ユーザー端末１０のユーザーの付加情報（状態情報及び環境情報）を含んでもよい。ユーザー情報は、各ユーザーの顔画像のデータを含んでもよい。

【0037】

ユーザー情報は、各ユーザーの状態情報又は環境情報の内容を表示するための情報（以下「付加表示情報」という。）を含んでもよい。付加表示情報は、文字で表されてもよいし画像で表されてもよい。付加表示情報は、例えばユーザー情報の表示に関する設定が所定の条件を満たしている場合（例えば付加表示情報の表示のオンオフを示す設定項目がオンに設定されている場合）にそのユーザーに関する情報として他のユーザーのユーザー端末１０に表示されてもよい。付加表示情報は、例えばユーザーの状態情報が所定の条件を満たした場合に、そのユーザーに関する情報として他のユーザーのユーザー端末１０に表示されてもよい。表示情報生成部２３３は、各ユーザーについて状態情報が所定の条件を満たしていないか判定する。表示情報生成部２３３は、状態情報が所定の条件を満たしている場合には、その状態情報に応じた付加表示情報をそのユーザーのユーザー情報に含める。付加表示情報は、例えばユーザーの環境情報が所定の条件を満たした場合に、そのユーザーに関する情報として他のユーザーのユーザー端末１０に表示されてもよい。表示情報生成部２３３は、各ユーザーについて環境情報が所定の条件を満たしていないか判定する。表示情報生成部２３３は、環境情報が所定の条件を満たしている場合には、その環境情報に応じた付加表示情報をそのユーザーのユーザー情報に含める。
表示情報生成部２３３は、生成された表示情報を、ユーザー端末１０に対して送信する。

【0038】

音声制御部２３４は、ユーザー端末１０から音声データを受信する。音声制御部２３４は、各ユーザー端末１０に対して出力されるべき音声データ（以下「会議音声データ」という。）を生成し、各ユーザー端末１０に会議音声データを送信する。音声制御部２３４は、例えば各ユーザー端末１０に対し、そのユーザーが入室している会議室における会議音声データを送信してもよい。

【0039】

状態情報取得部２３５は、各会議室に参加している各ユーザーについて、状態情報を取得する。状態情報取得部２３５は、例えばユーザー端末１０から送信される状態情報を受信することによって状態情報を取得しても良い。状態情報取得部２３５は、例えばユーザー端末１０から送信される基礎情報を受信し、受信された基礎情報に基づいて状態情報を推定することによって状態情報を取得してもよい。例えば、基礎情報としてユーザーの顔画像が受信された場合、状態情報取得部２３５は、ユーザーの顔画像に基づいてユーザーの心拍数の値を状態情報として取得しても良い。

【0040】

環境情報取得部２３６は、各会議室に参加している各ユーザーについて、環境情報を取得する。環境情報取得部２３６は、例えばユーザー端末１０から送信される環境情報を受信することによって環境情報を取得しても良い。環境情報取得部２３６は、例えばユーザー端末１０から送信される基礎情報を受信し、受信された基礎情報に基づいて環境情報を推定することによって環境情報を取得してもよい。例えば、基礎情報としてユーザー端末１０の位置情報が受信された場合、環境情報取得部２３６は、位置情報が示す位置の時間帯、天候、外部の気温、外部の湿度、外部の風の強さ、外部の風の向き等の値を環境情報として取得しても良い。このような位置情報に応じた環境情報は、例えばそれらの情報を提供する外部のサーバーとネットワーク３０を介して通信することによって取得されてもよい。

【0041】

なお、状態情報取得部２３５及び環境情報取得部２３６の処理の具体例についていくつか説明したが、上述した以外の処理によって状態情報又は環境情報が取得されてもよい。

【0042】

図４は、ユーザー端末１０に表示される画像の具体例を示す図である。表示部１３に表示される会議画像１３１には、会議室に入室している１又は複数のユーザーのユーザー領域５１が表示される。会議画像１３１は、例えば会議室で会話を行うためのアプリケーションに割り当てられたウィンドウとして表示されてもよいし、表示部１３の画面全体を占める画像として表示されてもよい。ユーザー領域５１は、各ユーザーの情報を表示するための領域である。ユーザー領域５１に表示される各ユーザーの画像は、各ユーザーのユーザー端末１０に接続されたカメラで撮影されている動画像であってもよいし、静止画像（例えばアイコン画像）であってもよい。静止画像である場合には、予め各ユーザーによって使用することを設定された画像がユーザー領域５１に表示されてもよい。各ユーザー領域５１に表示される画像は、表示情報生成部２３３によって定義される。図４に示される例では、どのユーザーの状態情報及び環境情報も所定の条件を満たしていないため、付加表示情報は表示されていない。

【0043】

図５は、ユーザー端末１０の表示部１３に表示される画像の具体例を示す図である。図５は、図４と同じ参加者が参加している会議室において、左上のユーザーの状態情報が所定の条件を満たしている場合にユーザー端末１０の表示部１３に表示される画像の具体例を示す。

【0044】

左上のユーザー領域５１に表示されているユーザーの状態情報は、眠さを示す所定の条件を満たしている。このような条件には、例えばユーザーの顔画像に基づいて判定される条件が定義されてもよいし、ユーザーの生体情報（例えば血圧、脈拍数、心拍数、心電など）に基づいて判定される条件が定義されてもよい。眠さを示す所定の条件が満たされたため、左上のユーザー領域５１には、付加表示情報６１が表示されている。図５の例では、“ＺＺＺ”という眠さを示す擬音語を示す画像が付加表示情報６１ａとして用いられている。図５の例では、さらに眠さを示す画像として鼻ちょうちんを示す画像が付加表示情報６１ｂとして用いられている。これらの付加表示情報６１は、図５の例ではユーザーの画像に対して重畳して表示される。特に鼻ちょうちんを示す付加表示情報６１ｂは、ユーザーの画像のうち鼻の位置が検出されてその位置に重畳して配置されて表示される。このような付加表示情報６１ｂの表示位置は、表示情報生成部２３３によって決定されてもよいし、ユーザー端末１０の表示制御部１９１によって決定されてもよい。

【0045】

図６は、ユーザー端末１０の表示部１３に表示される画像の具体例を示す図である。図６は、図４と同じ参加者が参加している会議室において、左上のユーザーの環境情報が所定の条件を満たしている場合にユーザー端末１０の表示部１３に表示される画像の具体例を示す。

【0046】

左上のユーザー領域５１に表示されているユーザーの環境情報は、天候を示す所定の条件を満たしている。このような条件には、例えばユーザーの位置における天候を示す指標（例えば気温、降水量、風速、積雪量）に基づいて判定される条件が定義されてもよいし、官庁（例えば気象庁）から出される警報や注意報に基づいて判定される条件が定義されてもよい。雨降りを示す所定の条件（例えば降水量が閾値を超えること）が満たされたため、左上のユーザー領域５１には、付加表示情報６１が表示されている。図６の例では、雨雲と降雨を示す画像が付加表示情報６１ｃとして用いられている。このような付加表示情報６１は、図６の例ではユーザーの画像に対して重畳して表示される。付加表示情報６１ｃは、ユーザーの画像のうち頭の上に雨雲が重畳して配置されて表示される。このような付加表示情報６１ｃの表示位置は、表示情報生成部２３３によって決定されてもよいし、ユーザー端末１０の表示制御部１９１によって決定されてもよい。

【0047】

図７は、ユーザー端末１０の表示部１３に表示される画像の具体例を示す図である。図７は、図４と同じ参加者が参加している会議室において、左上のユーザーの環境情報が所定の条件を満たしている場合にユーザー端末１０の表示部１３に表示される画像の具体例を示す。

【0048】

左上のユーザー領域５１に表示されているユーザーの環境情報は、時間帯を示す所定の条件を満たしている。このような条件には、例えばユーザーの位置における時間帯に基づいて判定される条件が定義されてもよい。より具体的には、時刻が所定の時間帯（例えば深夜を示す時間帯（例えば２３時から５時の間）であることが条件として定義されてもよいし、同じ会議室に入室している他のユーザーと比べて異なる標準時の土地に位置していることが条件として定義されてもよい。他のユーザーと比べて異なる、という条件は、例えば同じ会議室に入室している全ユーザーのうち相対的に少ない集合に属していることを示す条件である。全員が同じ標準時の土地に位置している場合には、時間帯を示す所定の条件は満たさないと判定されてもよい。一人でも標準時が異なる土地に位置している場合には、そのユーザーのみについて時間帯を示す所定の条件が満たされたと判定されてもよいし、他の全てのユーザーについて時間帯を示す所定の条件が満たされたと判定されてもよい。

【0049】

時間帯に関する所定の条件が満たされたため、左上のユーザー領域５１には、付加表示情報６１が表示されている。図７の例では、深夜であることを示す画像が付加表示情報６１ｄとして用いられている。このような付加表示情報６１は、図７の例ではユーザーの画像の背景として表示される。付加表示情報６１ｄは、ユーザーの画像のうち前景部分（ユーザーの顔の部分）は表示され、それ以外の部分については付加表示情報６１ｄが表示される。このような付加表示情報６１ｄの表示位置は、表示情報生成部２３３によって決定されてもよいし、ユーザー端末１０の表示制御部１９１によって決定されてもよい。

【0050】

なお、時間帯ではなく、季節に関しても同様に判定されてもよい。この場合は、ユーザーの位置が北半球か南半球かに基づいて判定される。少ない人数（例えば１人）が異なる季節の土地に位置している場合には、そのユーザーの付加表示情報６１としてその季節を表す画像が表示されてもよい。

【0051】

図８は、ユーザー端末１０の表示部１３に表示される画像の具体例を示す図である。図８は、図４と同じ参加者が参加している会議室において、左上のユーザーの表示に関する設定項目が所定の条件を満たしている場合にユーザー端末１０の表示部１３に表示される画像の具体例を示す。

【0052】

左上のユーザー領域５１に表示されているユーザーについては、付加表示情報の表示がオンに設定されている。そのため、左上のユーザー領域５１には、付加表示情報６１が表示されている。図６の例では、ユーザーが居る部屋の室温を示す文字と音のレベルを示す文字とが付加表示情報６１ｅとして用いられている。このような付加表示情報６１は、図８の例ではユーザー領域５１内の端部に寄せて表示されている。このような表示位置は予め設定されていてもよい。

【0053】

図４～図８の例では、会議画像１３１において４つのユーザー領域５１が設けられているが、ユーザー領域５１の大きさや数は図４の例に限定される必要はない。例えば、会議画像１３１において、ユーザー領域５１以外の画像が表示されてもよい。

【0054】

図９は、ユーザー端末１０に表示される画像の具体例を示す図である。表示部１３に表示される会議画像１３１には、会議室で行われている会話の内容を示す会話領域５２と、会議室に入室している１又は複数のユーザーの情報を示す参加者領域５３と、が表示される。会話領域５２には、会話の内容を示す文字列が表示されている。参加者領域５３には、会議室に参加しているユーザーの情報を示す１又は複数のユーザー領域５１が表示される。図９の例では、ユーザー領域５１は、その領域の枠を示す線は表示されていないが、各ユーザーにユーザー領域５１が割り当てられている。図９の例では、各ユーザー領域５１を分かりやすさのために破線で示している。ユーザー領域５１に表示される各ユーザーの画像は、各ユーザーのユーザー端末１０に接続されたカメラで撮影されている動画像であってもよいし、静止画像（例えばアイコン画像）であってもよい。図９の例では、ユーザー領域５１には、予め定められているアイコン画像６２が表示される。各ユーザー領域５１に表示される画像は、表示情報生成部２３３によって定義される。図９に示される例では、どのユーザーの状態情報及び環境情報も所定の条件を満たしていないため、付加表示情報は表示されていない。

【0055】

図１０は、ユーザー端末１０の表示部１３に表示される画像の具体例を示す図である。図１０は、図９と同じ参加者が参加している会議室において、一番上のユーザーの状態情報が所定の条件を満たしている場合にユーザー端末１０の表示部１３に表示される画像の具体例を示す。

【0056】

一番上のユーザー領域５１に表示されているユーザーの状態情報は、眠さを示す所定の条件を満たしている。条件の内容や条件の判定処理は図５において説明したとおりである。眠さを示す所定の条件が満たされたため、一番上のユーザー領域５１には、付加表示情報６１が表示されている。図１０の例では、ユーザーの画像が付加表示情報６１に置き換えて表示されている。具体的には、通常時に表示されるアイコン画像６２とは異なり、寝ていることを想起させるアイコン画像が付加表示情報６１ｆとして用いられている。

【0057】

図１１は、ユーザー端末１０に表示される画像の具体例を示す図である。表示部１３に表示される会議画像１３１には、三次元の仮想空間としての会議室を示す三次元空間領域５４と、仮想空間に入っている１又は複数のユーザーの情報を示すユーザー領域５１と、が表示される。このような会議画像１３１は、例えばメタバースを用いて実現されてもよい。この場合、会議室は、必ずしも会話を行うための空間ではなく、ユーザーを示すアバターが存在できる空間として設けられてもよい。三次元空間領域５４には、アバターの位置に応じてそのアバターに対応するユーザー領域５１が動的に構成される。

【0058】

ユーザー領域５１には、アバター画像（二次元画像であってもよいし、三次元画像であってもよい）６４と、付加表示領域６１ｇ及び付加表示領域６１ｈとが表示されている。付加表示領域６１ｇ及び付加表示領域６１ｈには、それぞれ環境情報や状態情報が表示されている。また、付加表示領域６１ｇには、雨雲と降雨を示す画像が表示されており、その雨雲を示す画像の内側にさらに他の環境情報を示す文字列が表示されている。

【0059】

図１２は、会議システム１００の処理の流れの具体例を示すシーケンスチャートである。図１２が示す処理は、会議室で会話が開始された後の処理である。所定のタイミングでユーザー端末１０の会議制御部１９２は、自装置の状態情報取得部１５、環境情報取得部１６及び基礎情報取得部１７によって取得された情報（状態情報、環境情報、基礎情報）を会議制御装置２０に送信する（ステップＳ１０１）。

【0060】

会議制御装置２０の制御部２３は、状態情報又は環境情報を取得する（ステップＳ１０２）。このとき、制御部２３の状態情報取得部２３５は、受信された基礎情報に基づいて状態情報を取得してもよいし、状態情報を受信することによって状態情報を取得してもよい。制御部２３の環境情報取得部２３６は、受信された基礎情報に基づいて環境情報を取得してもよいし、環境情報を受信することによって環境情報を取得してもよい。

【0061】

表示情報生成部２３３は、取得された状態情報及び環境情報と所定の条件とに基づいて付加表示情報を生成する（ステップＳ１０３）。ただし、いずれの所定の条件も満たされない場合には、付加表示情報は生成されない。表示情報生成部２３３は、付加表示情報が生成された場合には、付加表示情報を含む表示情報を生成する（ステップＳ１０４）。表示情報生成部２３３は、生成された表示情報をユーザー端末１０に送信する（ステップＳ１０５）。

【0062】

ユーザー端末１０の表示制御部１９１は、表示情報を受信すると、受信された表示情報に応じた画像を表示部１３の画面に表示させる（ステップＳ１０６）。

【0063】

このように構成された会議システム１００によれば、ネットワークを介して行われる会議において、他の参加者の状況や環境をより容易に確認しやすくすることが可能となる。具体的には以下の通りである。ユーザー端末１０において、状態情報、環境情報又は基礎情報が取得される。そして、ユーザー端末１０の表示部１３には、他のユーザーの状態情報又は環境情報に応じた付加表示情報６１が表示される。そのため、各ユーザーは、付加表示情報６１を視認することによって他のユーザーの状態又は環境について容易に確認することが可能となる。

【0064】

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

【符号の説明】

【0065】

１００…会議システム， １０…ユーザー端末， ２０…会議制御装置， １１…通信部， １２…操作部， １３…表示部， １４１…音声入力部， １４２…音声出力部， １５…状態情報取得部， １６…環境情報取得部， １７…基礎情報取得部， １８…記憶部， １８１…ユーザー情報記憶部， １９…制御部， １９１…表示制御部， １９２…会議制御部， １９３…音声制御部， ２１…通信部， ２２…記憶部， ２２１…ユーザー情報記憶部， ２２２…会議室情報記憶部， ２２３…付加情報記憶部， ２３…制御部， ２３１…ユーザー制御部， ２３２…会議室制御部， ２３３…表示情報生成部， ２３４…音声制御部， ２３５…状態情報取得部， ２３６…環境情報取得部， ５１…ユーザー領域， ６１…付加表示情報

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】