特開 2023-15877 会議制御装置、会議制御方法及びコンピュータープログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023015877

(43)【公開日】2023-02-01

(54)【発明の名称】会議制御装置、会議制御方法及びコンピュータープログラム

(51)【国際特許分類】

   H04N 7/15 20060101AFI20230125BHJP

   H04N 21/2343 20110101ALI20230125BHJP

   H04N 21/258 20110101ALI20230125BHJP

   H04M 3/56 20060101ALI20230125BHJP

【ＦＩ】

H04N7/15 170

H04N21/2343

H04N21/258

H04M3/56 C

【審査請求】未請求

【請求項の数】6

【出願形態】ＯＬ

(21)【出願番号】P 2021119941

(22)【出願日】2021-07-20

(71)【出願人】

【識別番号】399035766

【氏名又は名称】エヌ・ティ・ティ・コミュニケーションズ株式会社

(74)【代理人】

【識別番号】110001634

【氏名又は名称】弁理士法人志賀国際特許事務所

(72)【発明者】

【氏名】小柴 聡

(72)【発明者】

【氏名】若林 進

(72)【発明者】

【氏名】岸本 幸典

【テーマコード（参考）】

5C164

5K201

【Ｆターム（参考）】

5C164FA10

5C164GA07

5C164PA39

5C164SB02P

5C164SC11P

5C164VA35P

5C164YA12

5C164YA21

5K201AA05

5K201BB09

5K201CA01

5K201CA06

5K201CC10

5K201DC05

5K201EC06

5K201ED05

5K201ED07

5K201EF09

(57)【要約】

【課題】ネットワークを介して行われる会議において、他の参加者の状況をより容易に確認しやすくすることを可能とすること。
【解決手段】本発明の一態様は、ネットワークを介して行われる会議に参加しているユーザーの画像について、所定の基準に近づくように画像処理を行い、画像処理が行われた前記ユーザーの画像を含む表示情報を生成し、前記表示情報を他のユーザーによって使用されるユーザー端末に送信する表示情報生成部と、前記会議における音声を制御する音声制御部と、を備える会議制御装置である。
【選択図】図１

【特許請求の範囲】

【請求項1】

ネットワークを介して行われる会議に参加しているユーザーの画像について、所定の基準に近づくように画像処理を行い、画像処理が行われた前記ユーザーの画像を含む表示情報を生成し、前記表示情報を他のユーザーによって使用されるユーザー端末に送信する表示情報生成部と、
前記会議における音声を制御する音声制御部と、
を備える会議制御装置。

【請求項2】

前記所定の基準は、前記ユーザーの顔の画像の大きさに関する基準である、請求項１に記載の会議制御装置。

【請求項3】

前記所定の基準は、前記ユーザーの顔の画像のホワイトバランス又はコントラストに関する基準である、請求項１に記載の会議制御装置。

【請求項4】

前記ユーザーの画像に基づいて前記ユーザーの感情状態を推定する推定部をさらに備え、
前記表示情報生成部は、前記推定部における推定結果の感情状態に応じて前記画像に画像処理を行う、請求項１から３のいずれか一項に記載の会議制御装置。

【請求項5】

ネットワークを介して行われる会議に参加しているユーザーの画像について、所定の基準に近づくように画像処理を行い、画像処理が行われた前記ユーザーの画像を含む表示情報を生成し、前記表示情報を他のユーザーによって使用されるユーザー端末に送信する表示情報生成ステップと、
前記会議における音声を制御する音声制御ステップと、
を有する会議制御方法。

【請求項6】

請求項１から４のいずれか一項に記載の会議制御装置としてコンピューターを機能させるためのコンピュータープログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、オンラインで話をすることを支援する技術に関する。

【背景技術】

【0002】

従来から、ネットワークを介して会議を行うためのシステムが提案されている。最近では特に、各参加者がそれぞれカメラを使用して自身の顔を含む画像を他者と共有しながら会議を行う仕組みも普及している（例えば特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１５－１５４３１５号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、会議の状況や各参加者のカメラの使用環境など種々の要因により、他の参加者の状況が確認しにくくなってしまうことがあった。
上記事情に鑑み、本発明は、ネットワークを介して行われる会議において、他の参加者の状況をより容易に確認しやすくすることが可能となる技術の提供を目的としている。

【課題を解決するための手段】

【0005】

本発明の一態様は、ネットワークを介して行われる会議に参加しているユーザーの画像について、所定の基準に近づくように画像処理を行い、画像処理が行われた前記ユーザーの画像を含む表示情報を生成し、前記表示情報を他のユーザーによって使用されるユーザー端末に送信する表示情報生成部と、前記会議における音声を制御する音声制御部と、を備える会議制御装置である。

【0006】

本発明の一態様は、上記の会議制御装置であって、前記所定の基準は、前記ユーザーの顔の画像の大きさに関する基準である。

【0007】

本発明の一態様は、上記の会議制御装置であって、前記所定の基準は、前記ユーザーの顔の画像のホワイトバランス又はコントラストに関する基準である。

【0008】

本発明の一態様は、上記の会議制御装置であって、前記ユーザーの画像に基づいて前記ユーザーの感情状態を推定する推定部をさらに備え、前記表示情報生成部は、前記推定部における推定結果の感情状態に応じて前記画像に画像処理を行う。

【0009】

本発明の一態様は、ネットワークを介して行われる会議に参加しているユーザーの画像について、所定の基準に近づくように画像処理を行い、画像処理が行われた前記ユーザーの画像を含む表示情報を生成し、前記表示情報を他のユーザーによって使用されるユーザー端末に送信する表示情報生成ステップと、前記会議における音声を制御する音声制御ステップと、を有する会議制御方法である。

【0010】

本発明の一態様は、上記の会議制御装置としてコンピューターを機能させるためのコンピュータープログラムである。

【発明の効果】

【0011】

本発明により、ネットワークを介して行われる会議において、他の参加者の状況をより容易に確認しやすくすることが可能となる。

【図面の簡単な説明】

【0012】

【図1】本発明の会議システム１００のシステム構成を示す概略ブロック図である。

【図2】ユーザー端末１０の機能構成の具体例を示す概略ブロック図である。

【図3】会議制御装置２０の機能構成の具体例を示す概略ブロック図である。

【図4】従来の技術でユーザー端末に表示される画像の具体例を示す図である。

【図5】ユーザー端末１０の表示部１３に表示される画像の具体例を示す図である。

【図6】ユーザー端末１０の表示部１３に表示される画像の具体例を示す図である。

【図7】ユーザー端末１０の表示部１３に表示される画像の具体例を示す図である。

【図8】ユーザー端末１０の表示部１３に表示される画像の具体例を示す図である。

【図9】ユーザー端末１０の表示部１３に表示される画像の具体例を示す図である。

【図10】会議システム１００の処理の流れの具体例を示すシーケンスチャートである。

【発明を実施するための形態】

【0013】

以下、本発明の具体的な構成例について、図面を参照しながら説明する。なお、以下の説明では、２名以上のユーザーが他者に対して発話を行うための仮想的な繋がりを示す概念を会議室と呼ぶ。そのため、以下の説明における会議室は、必ずしもその名称が会議室である必要は無く、例えば単に会話と呼ばれたりセッションと呼ばれたりするものであっても、２名以上のユーザーが他者に対して発話を行う仮想的な場であれば全て以下の説明における会議室に相当する。例えば、特定のユーザー（例えば講師）が複数（50名や100名などの多数を含む）の他者に対して一方的に発話を行うセミナーやプレゼンテーションが行われる仮想的な繋がりも、以下の説明における会議室に含まれる。

【0014】

図１は、本発明の会議システム１００のシステム構成を示す概略ブロック図である。会議システム１００は、ユーザー端末１０を操作するユーザー同士がネットワーク４０を介して会議を行うためのシステムである。会議システム１００は、複数のユーザー端末１０及び会議制御装置２０を含む。複数のユーザー端末１０及び会議制御装置２０は、ネットワーク３０を介して通信可能に接続される。ネットワーク３０は、無線通信を用いたネットワークであってもよいし、有線通信を用いたネットワークであってもよい。ネットワーク３０は、複数のネットワークが組み合わされて構成されてもよい。

【0015】

図２は、ユーザー端末１０の機能構成の具体例を示す概略ブロック図である。ユーザー端末１０は、例えばスマートフォン、タブレット、パーソナルコンピューター、携帯ゲーム機、据え置き型ゲーム機、専用機器などの情報機器を用いて構成される。ユーザー端末１０は、通信部１１、操作部１２、表示部１３、音声入力部１４、音声出力部１５、記憶部１６及び制御部１７を備える。

【0016】

通信部１１は、通信機器である。通信部１１は、例えばネットワークインターフェースとして構成されてもよい。通信部１１は、制御部１７の制御に応じて、ネットワーク３０を介して他の装置とデータ通信する。通信部１１は、無線通信を行う装置であってもよいし、有線通信を行う装置であってもよい。

【0017】

操作部１２は、キーボード、ポインティングデバイス（マウス、タブレット等）、ボタン、タッチパネル等の既存の入力装置を用いて構成される。操作部１２は、ユーザーの指示をユーザー端末１０に入力する際にユーザーによって操作される。操作部１２は、入力装置をユーザー端末１０に接続するためのインターフェースであっても良い。この場合、操作部１２は、入力装置においてユーザーの入力に応じ生成された入力信号をユーザー端末１０に入力する。操作部１２は、マイク及び音声認識装置を用いて構成されてもよい。この場合、操作部１２はユーザーによって発話された文言を音声認識し、認識結果の文字列情報をユーザー端末１０に入力する。この場合、操作部１２は音声入力部１４と一体に構成されてもよい。操作部１２は、ユーザーの指示をユーザー端末１０に入力可能な構成であればどのように構成されてもよい。

【0018】

表示部１３は、液晶ディスプレイ、有機ＥＬ（Electro Luminescence）ディスプレイ等の画像表示装置である。表示部１３は、会議を行う際に用いられる画像データを表示する。表示部１３は、画像表示装置をユーザー端末１０に接続するためのインターフェースであっても良い。この場合、表示部１３は、画像データを表示するための映像信号を生成し、自身に接続されている画像表示装置に映像信号を出力する。

【0019】

音声入力部１４は、マイクを用いて構成される。音声入力部１４は、マイクそのものとして構成されてもよいし、外部機器としてマイクをユーザー端末１０に接続するためのインターフェースとして構成されてもよい。マイクは、会議を行うユーザーの発話音声を取得する。音声入力部１４は、マイクによって取得された音声のデータを制御部１７に出力する。

【0020】

音声出力部１５は、スピーカーやヘッドホンやイヤホン等の音声出力装置を用いて構成される。音声出力部１５は、音声出力装置そのものとして構成されてもよいし、外部機器として音声出力装置をユーザー端末１０に接続するためのインターフェースとして構成されてもよい。音声出力装置は、会議を行うユーザーが音声を聞き取ることができるように音声を出力することが望ましい。音声出力部１５は、制御部１７によって出力される音声信号に応じた音声を出力する。

【0021】

記憶部１６は、磁気ハードディスク装置や半導体記憶装置等の記憶装置を用いて構成される。記憶部１６は、制御部１７によって使用されるデータを記憶する。記憶部１６は、例えばユーザー情報記憶部１６１及び発話情報記憶部１６２として機能してもよい。

【0022】

ユーザー情報記憶部１６１は、ユーザー端末１０を操作するユーザーに関する情報（以下「ユーザー情報」という。）を記憶する。ユーザー情報は、例えばユーザーの識別情報や属性情報を含んでもよい。属性情報は、例えばユーザーの年齢や性別等に関する情報を含んでもよい。

【0023】

制御部１７は、ＣＰＵ（Central Processing Unit）等のプロセッサーとメモリーとを用いて構成される。制御部１７は、プロセッサーがプログラムを実行することによって、表示制御部１７１、会議制御部１７２及び音声制御部１７３として機能する。なお、制御部１７の各機能の全て又は一部は、ＡＳＩＣ（Application Specific Integrated Circuit）やＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されても良い。上記のプログラムは、コンピューター読み取り可能な記録媒体に記録されても良い。コンピューター読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ、半導体記憶装置（例えばＳＳＤ：Solid State Drive）等の可搬媒体、コンピューターシステムに内蔵されるハードディスクや半導体記憶装置等の記憶装置である。上記のプログラムは、電気通信回線を介して送信されてもよい。

【0024】

表示制御部１７１は、通信部１１を介して会議制御装置２０から表示情報を受信する。表示制御部１７１は、取得された表示情報に基づいて画像信号を生成し、表示部１３に表示させる。表示情報は、例えば表示される画像そのものを示す画像データであってもよい。この場合、画像データを生成する主体（画像データ生成部）は会議制御装置２０である。表示情報は、例えば表示される画像を生成するために必要となる情報（例えば、参加しているユーザーに関する情報）を示すデータであってもよい。この場合、表示制御部１７１は、表示データに基づいて、表示部１３に表示するための画像データを生成する。この場合、画像データを生成する主体（画像データ生成部）は表示制御部１７１である。

【0025】

会議制御部１７２は、会議制御装置２０において仮想的に設けられる会議に関する制御を行う。例えば、ユーザーが操作部１２を操作することによって会議制御装置２０が提供する会議サービスへログインすることを指示した場合、会議制御部１７２は、ログインするための処理を行う。例えば、ユーザーが操作部１２を操作することによって新規の会議室を設置することを指示した場合、会議制御部１７２は、新規の会議室を設置するための処理を行う。例えば、ユーザーが操作部１２を操作することによって会議室に入室することを指示した場合、会議制御部１７２は、指示された会議室へ入室するための処理を行う。会議室への入室はどのような形で行われてもよい。例えば、会議室を示す文字やボタンやアイコンが１又は複数表示されている画面において、いずれかの文字、ボタン又はアイコンが操作されることによってその会議室への入室が行われてもよい。会議室毎に割り当てられたアドレス（例えば特定の識別番号やＵＬＲ（Uniform Resource Locator）など）に対してアクセスが行われることによって、その会議室への入室が行われてもよい。

【0026】

音声制御部１７３は、他のユーザー端末１０のユーザーとの間で行われるやりとりされる音声に関する制御を行う。会議室に入室すると、その会議室に入室している他のユーザーとの間で音声の送受信が行われる。音声制御部１７３は、例えば音声入力部１４から入力された音声データを、通信部１１を介して会議制御装置２０へ送信する。音声制御部１７３は、会議制御装置２０から音声データを受信すると、受信された音声データを音声出力部１５から出力する。

【0027】

図３は、会議制御装置２０の機能構成の具体例を示す概略ブロック図である。会議制御装置２０は、例えばパーソナルコンピューターやサーバー装置などの情報処理装置を用いて構成される。会議制御装置２０は、通信部２１、記憶部２２及び制御部２３を備える。

【0028】

通信部２１は、通信機器である。通信部２１は、例えばネットワークインターフェースとして構成されてもよい。通信部２１は、制御部２３の制御に応じて、ネットワーク３０を介して他の装置とデータ通信する。通信部２１は、無線通信を行う装置であってもよいし、有線通信を行う装置であってもよい。

【0029】

記憶部２２は、磁気ハードディスク装置や半導体記憶装置等の記憶装置を用いて構成される。記憶部２２は、制御部２３によって使用されるデータを記憶する。記憶部２２は、例えばユーザー情報記憶部２２１、会議室情報記憶部２２２及び感情状態情報記憶部２２３として機能してもよい。ユーザー情報記憶部２２１は、ユーザー端末１０を操作する複数のユーザーに関する情報（ユーザー情報）を記憶する。

【0030】

会議室情報記憶部２２２は、会議室に関する情報（以下「会議室情報」という。）を記憶する。会議室とは、会議システム１００においてユーザーが会議を行うために設置する仮想的な部屋である。会議室情報は、例えばその会議室のＩＤ、会議室に設定されている名前を示す情報、会議室が設置される予約の日時を示す情報、会議室の属性に関する情報を含んでもよい。会議室の属性に関する情報とは、例えばその会議室に入室可能な人数や、会議室に入室可能なユーザーを示す情報を含んでもよい。

【0031】

感情状態情報記憶部２２３は、制御部２３の推定部２３５によって推定される各ユーザー（各参加者）の感情状態を示す情報（以下「感情状態情報」という。）を記憶する。例えば、感情状態情報記憶部２２３は、感情状態情報を、会議毎に記憶してもよい。この場合、感情状態情報は、その会議に参加した各参加者について、所定のタイミング（例えば１秒毎、５秒毎、１分毎、など）毎の感情状態の推定結果を表してもよい。

【0032】

制御部２３は、ＣＰＵ等のプロセッサーとメモリーとを用いて構成される。制御部２３は、プロセッサーがプログラムを実行することによって、ユーザー制御部２３１、会議室制御部２３２、表示情報生成部２３３、音声制御部２３４、推定部２３５及び評価部２３６として機能する。なお、制御部２３の各機能の全て又は一部は、ＡＳＩＣやＰＬＤやＦＰＧＡ等のハードウェアを用いて実現されても良い。上記のプログラムは、コンピューター読み取り可能な記録媒体に記録されても良い。コンピューター読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ、半導体記憶装置（例えばＳＳＤ）等の可搬媒体、コンピューターシステムに内蔵されるハードディスクや半導体記憶装置等の記憶装置である。上記のプログラムは、電気通信回線を介して送信されてもよい。

【0033】

ユーザー制御部２３１は、ユーザーに関する制御処理を行う。例えば、ユーザー制御部２３１は、会議制御装置２０にアクセスしてくるユーザー端末１０についてログインのための処理（例えば認証処理）を行ってもよい。ユーザー制御部２３１は、ユーザー端末１０から受信されたユーザー情報をユーザー情報記憶部２２１に登録してもよい。

【0034】

会議室制御部２３２は、会議室に関する制御処理を行う。例えば、会議室制御部２３２は、会議室を新たに設置することについてユーザー端末１０から指示を受けた場合には、受信される情報に基づいて会議室情報を生成し、会議室情報記憶部２２２に登録してもよい。また、会議室制御部２３２は、会議室を設置するタイミングになった場合には、その会議室を仮想的に設置する。会議室を設置するタイミングとは、例えば即時に会議室を新設することについてユーザー端末１０から指示された場合にはその時であるし、予め会議室の設置の予約が登録されていた場合にはその日時が到来した時である。会議室制御部２３２は、ユーザーによって会議室へ参加するための所定の操作が行われた場合、所定の条件が満たされると、その会議室へユーザーを参加させるための処理を行う。例えば、会議室制御部２３２は、会議室情報記憶部２２２を更新することによって、会議室に新たなユーザーが参加したことを登録する。

【0035】

表示情報生成部２３３は、ユーザー端末１０において表示される画像の生成に必要となる情報（表示情報）を生成する。表示情報は、例えば現在設置されている会議室に関する情報や、各会議室に入室している各ユーザー端末１０のユーザーに関する情報を含んでもよい。表示情報は、各ユーザー端末１０のユーザーの感情状態について推定部２３５が推定した結果を示す情報を含んでもよい。

【0036】

表示情報は、各ユーザーの顔画像のデータを含んでもよい。表示情報生成部２３３は、各ユーザーの顔画像について、画像の品質に関する所定の適切な基準を満たしているか否か判定する。画像の品質に関する所定の基準とは、例えば顔部分の大きさに関する基準（例えば、顔部分の大きさが適切な所定の範囲内の大きさであることを示す基準）であってもよい。画像の品質に関する所定の基準とは、例えば顔部分の適切なホワイトバランス（明るさ）に関する基準（例えば、顔部分の明るさやエッジの強さを示す基準）であってもよい。画像の品質に関する所定の基準とは、例えば顔部分の適切なコントラストに関する基準（例えば、顔部分の明暗差を示す基準）であってもよい。表示情報生成部２３３は、画像の品質に関する所定の基準が満たされていない画像については、その画質が適切な基準に近づくように予め定められた画像処理を実行する。そして、表示情報生成部２３３は、画像処理が行われた画像を用いて表示情報を生成する。表示情報生成部２３３は、生成された表示情報を、ユーザー端末１０に対して送信する。

【0037】

音声制御部２３４は、ユーザー端末１０から音声データを受信する。音声制御部２３４は、各ユーザー端末１０に対して出力されるべき音声データ（以下「会議音声データ」という。）を生成し、各ユーザー端末１０に会議音声データを送信する。音声制御部２３４は、例えば各ユーザー端末１０に対し、そのユーザーが入室している会議室における会議音声データを送信してもよい。

【0038】

推定部２３５は、各会議室に参加している各ユーザーについて、感情状態を推定する。推定部２３５は、例えば、各ユーザーの顔画像に基づいて、どのような感情状態であるか推定する。推定される感情状態は、例えば喜・怒・哀・楽のいずれかであってもよいし、喜び・怒り・驚き・悲しい・平常のいずれかであってもよい。推定される感情状態は、例えば会議室で流れている音声の内容に対する興味の程度であってもよい。感情状態は、顔画像における表情を示す所定の特徴量に基づいて画像認識によって推定されてもよい。推定部２３５は、推定結果を時系列に沿って感情状態情報記憶部２２３に記録する。このような画像認識は、例えば予め教師画像等を用いて機械学習を行うことによって得られている学習済みモデルを用いて実行されてもよい。

【0039】

感情状態は、例えば顔画像の大きさに基づいて推定されてもよい。顔画像の大きさに基づいて推定される場合には、例えば顔画像が大きいほど画面に近づいて見ていることが推定されるため、より大きな興味を持っていると推定されてもよい。顔画像の大きさに基づいて推定される場合には、例えば顔画像が小さいほど画面から遠ざかって見ていることが推定されるため、より小さな興味を持っていると推定されてもよい。

【0040】

感情状態は、各ユーザーの動きに基づいて推定されてもよい。例えば、予め教師画像等を用いて機械学習を行うことによって得られている学習済みモデルを用いて、各ユーザーのうなずく動作を検出し、うなずきの単位時間当たりの回数や大きさ等に基づいて感情状態が推定されてもよい。例えば、うなずきの単位時間当たりの回数がより多いほどより大きな興味を持っていると推定されてもよい。例えば、うなずきの大きさがより大きいほどより大きな興味を持っていると推定されてもよい。単位時間当たりの回数及び大きさに基づいて推定されてもよい。

【0041】

感情状態の推定処理の具体例についていくつか説明したが、上述した以外の処理によって感情状態が推定されてもよい。

【0042】

評価部２３６は、会議の内容について評価する。例えば、評価部２３６は、感情状態情報記憶部２２３に記憶されている感情状態情報に基づいて、会議の内容を評価してもよい。例えば、評価部２３６は、各ユーザーの興味の程度を示す値の統計値が興味を示していることを示す値として高い値をしめすほど、良い会議であったことを示す評価を行っても良い。評価部２３６は、喜び又は驚きを示す人がより多く、怒り・悲しいを示す人がより少ないほど、良い会議であったことを示す評価を行っても良い。

【0043】

評価部２３６は、感情状態情報記憶部２２３に記憶されている感情状態情報に基づいて、個々の参加者の出席態度について評価しても良い。例えば、感情情報が取得されている時間が相対的に長いほど、良い出席態度であったことを示す評価が行われても良い。感情情報が取得されているということは、モニターの前にモニターに向かって顔が位置していたことを示しており、きちんと会議に出席していたと推定できるためである。

【0044】

図４は、従来の技術でユーザー端末に表示される画像の具体例を示す図である。各ユーザー領域９１には、その会議室に入室しているユーザーの画像が表示される。ユーザー領域９１に表示される各ユーザーの画像は、各ユーザーのユーザー端末に接続されたカメラで撮影されている動画像である。左上のユーザーの顔画像は、適度な大きさ、適度なホワイトバランスで表示されている。

【0045】

右上のユーザーの顔画像は、大きすぎる。そのため、ユーザー領域９１から顔画像の一部がはみ出ている。また、右上のユーザーの顔画像は、撮影された環境が明るすぎることやカメラのパラメータの設定が不適切であることなどが起因して、ホワイトバランスが不適切な状態で撮影されている。そのため、顔画像が白くなりすぎている（いわゆる『白飛び』の状態である）。その結果、右上のユーザーの顔画像は見づらい状態になっている。

【0046】

左下のユーザーの顔画像は、大きさが少し小さめである。また、左下のユーザーの顔画像は、撮影された環境が暗すぎることやカメラのパラメータの設定が不適切であることなどが起因して、ホワイトバランスが不適切な状態で撮影されている。そのため、顔画像が黒くなりすぎている（いわゆる『黒つぶれ』の状態である）。その結果、左下のユーザーの顔画像は見づらい状態になっている。

【0047】

右下のユーザーの顔画像は、大きさがかなり小さめである。その結果、右下のユーザーの顔画像は見づらい状態になっている。

【0048】

図５は、ユーザー端末１０の表示部１３に表示される画像の具体例を示す図である。図５は、図４と同じ状況において、本発明のユーザー端末１０の表示部１３に表示される画像の具体例を示す。図５において、表示部１３には、会議室内画面が表示されている。会議室内画面とは、ユーザーが会議室に入室している最中に表示される画像である。会議室内画面では、その会議室に入室している一部又は全部のユーザーの画像が表示される。表示される画面は１又は複数のユーザー領域５１で形成される。各ユーザー領域５１には、入室しているユーザーの画像が表示される。ユーザー領域５１に表示される各ユーザーの画像は、各ユーザーのユーザー端末１０に接続されたカメラで撮影されている動画像であってもよいし、静止画像（例えばアイコン画像）であってもよい。各ユーザー領域５１に表示される画像は、表示情報生成部２３３によって生成される。

【0049】

左上のユーザーの顔画像は、適度な大きさ、適度なホワイトバランス及びコントラストで撮影された画像である。すなわち、左上のユーザーの顔画像の画像データにおいて、ユーザーの顔画像の大きさは、所定の範囲内の大きさである。また、左上のユーザーの顔画像の画像データにおいて、ユーザーの顔画像の画質は、ホワイトバランス及びコントラストに関する所定の条件を満たしている。そのため、左上のユーザーの顔画像については画像処理が実行されてなくてもよい。

【0050】

右上のユーザーの顔画像は、撮影されて会議制御装置２０に受信された時点では、その顔の大きさが大きすぎていた。そのため、表示情報生成部２３３は、右上のユーザーの顔画像を、顔の大きさが所定の大きさになるように縮小している。また、右上のユーザーの顔画像は白とびしていた。そのため、表示情報生成部２３３は、右上のユーザーの顔画像に対して輝度を下げるなどの画像処理を実行することによって、白とびを軽減させている。このような画像処理が行われた後の顔画像のデータが右上のユーザーの顔画像のデータとして各ユーザー端末１０に送信されている。

【0051】

左下のユーザーの顔画像は、撮影されて会議制御装置２０に受信された時点では、大きさが少し小さめであった。そのため、表示情報生成部２３３は、左下のユーザーの顔画像を、顔の大きさが所定の大きさになるように拡大している。また、左下のユーザーの顔画像は黒つぶれしていた。そのため、表示情報生成部２３３は、左下のユーザーの顔画像に対して輝度を上げるなどの画像処理を実行することによって、黒つぶれを軽減させている。このような画像処理が行われた後の顔画像のデータが左下のユーザーの顔画像のデータとして各ユーザー端末１０に送信されている。

【0052】

右下のユーザーの顔画像は、撮影されて会議制御装置２０に受信された時点では、大きさがかなり小さめであった。そのため、表示情報生成部２３３は、右下のユーザーの顔画像を、顔の大きさが所定の大きさになるように拡大している。このような画像処理が行われた後の顔画像のデータが右下のユーザーの顔画像のデータとして各ユーザー端末１０に送信されている。

【0053】

このように、表示情報生成部２３３は、各ユーザー領域５１に表示される顔の大きさが所定の大きさ（略同一の大きさ）になるように各ユーザーの画像に画像処理を行う。また、表示情報生成部２３３は、各ユーザー領域５１に表示される顔の明るさが所定の明るさ（例えば顔領域内の輝度の平均値が略同一）になるように各ユーザーの画像に画像処理を行う。

【0054】

図６は、ユーザー端末１０の表示部１３に表示される画像の具体例を示す図である。図６に示す画像では、図５に示された各ユーザー領域５１の顔画像に対して、推定部２３５が推定した結果に基づいた画像処理が行われている。具体的には、推定部２３５によって推定された各ユーザーの感情状態に応じた画像処理が行われている。例えば、喜びと推定されたユーザーの顔画像（左上の顔画像）には、顔画像の周囲を囲む破線の円が重畳されている。例えば、怒りと推定されたユーザーの顔画像（右上の顔画像）には、顔画像の周囲を囲む一点鎖線の円が重畳されている。例えば、悲しいと推定されたユーザーの顔画像（左下の顔画像）には、顔画像の周囲を囲む点線の円が重畳されている。例えば、驚きと推定されたユーザーの顔画像（右下の顔画像）には、顔画像の周囲を囲む二点鎖線の円が重畳されている。なお、上述した各円の表示態様は、一具体例にすぎない。このように各円の線種が異なってもよいし、線の太さや色が異なってもよい。また、各顔画像を囲む幾何学図形は、円形に限られる必要は無い。例えば、矩形や楕円形や多角形であってもよいし、それぞれ異なる形であってもよい。また、各顔画像に対して重畳される画像は、上述したような円形等の幾何学図形である必要は無く、それぞれの感情状態を示すピクトグラムや文字が重畳されてもよい。

【0055】

また、感情状態に応じた画像処理では、背景の色を変化させるような画像処理が行われてもよいし、ユーザー領域５１の全体の色や模様を変更するような画像処理が行われても良い。このとき、ユーザーの顔画像が視認可能な状態で表示されないほどに画像処理が行われても良い。例えば、各感情状態に応じた色又は模様でユーザー領域５１が塗りつぶされていても良い。図７は、ユーザー端末１０の表示部１３に表示される画像の具体例を示す図である。図７では、４８名分のユーザーのユーザー領域５１が表示されている。各ユーザー領域５１は、ユーザーの画像に基づいて喜び・怒り・驚き・悲しい・平常のいずれかの感情に分類され、分類された感情状態に応じた模様（パターン）で塗りつぶされている。

【0056】

通常の表示装置を用いている場合には、そもそも４８名もの大勢の顔画像が表示されたところで、各ユーザー領域５１の大きさは小さくなってしまうため、各ユーザーの表情を読み取ることは困難である。そのような状況において、このように感情状態に応じた色や模様で各ユーザー領域５１が示されると、ユーザーはより容易に各ユーザーの感情状態を認識することが可能となる。また、顔画像が通信される場合に比べて、色や模様で塗りつぶされている画像が通信される方が、通信に要するデータ量を抑えることが可能となる。そのため、ネットワークを介した会議をより安定して実現することが可能となる。また、データ量を抑えることにより、安価なスマートフォン等のように描画能力が高くない装置がユーザー端末１０として使用された場合であっても、処理落ちなどの問題の発生を低減することが可能となる。

【0057】

図８は、ユーザー端末１０の表示部１３に表示される画像の具体例を示す図である。図８では、同じ会議室に参加しているユーザーの感情状態の数が棒グラフで表示されている。表示情報生成部２３３は、図８に示されるような、各感情状態に分類されたユーザーの数を示す情報を表示するように表示情報を生成してもよい。このような表示情報は、図５～図７に示される画像とともに表示されるように生成されてもよい。

【0058】

図９は、ユーザー端末１０の表示部１３に表示される画像の具体例を示す図である。図９では、同じ会議室に参加しているユーザーの感情状態の数が、時系列の変化を示す折れ線グラフで表示されている。表示情報生成部２３３は、図９に示されるような、各感情状態に分類されたユーザーの数の時系列変化を示す情報を表示するように表示情報を生成してもよい。このような表示情報は、図５～図７に示される画像とともに表示されるように生成されてもよい。図９の表示情報では、時間の変化を示す横軸において、会議の進行状況（例えば、挨拶、第１部、第２部及び質疑応答）を示す情報が示されてもよい。図９の表示情報では、時間の変化を示す横軸において、所定のイベント（例えば、新商品発表）を示す情報が、そのイベントが発生された時刻にあった位置に示されてもよい。

【0059】

図１０は、会議システム１００の処理の流れの具体例を示すシーケンスチャートである。まず、ユーザー端末１０は、所定のタイミングでユーザー（出席者）の画像を撮像して会議制御装置２０に送信する（ステップＳ１０１）。

【0060】

会議制御装置２０は、各ユーザーの画像を受信すると、画像修正処理を実行する（ステップＳ１０２）。画像修正処理において、会議制御装置２０は、顔の大きさを略同一にする画像処理や、顔の明るさを略同一にする画像処理等を実行する。会議制御装置２０は、ユーザーの画像に基づいて感情状態を推定する処理を実行する（ステップＳ１０３）。会議制御装置２０は、推定された感情状態に応じて表示情報を生成する（ステップＳ１０４）。そして、会議制御装置２０は、生成された表示情報をユーザー端末１０に送信する（ステップＳ１０５）。ユーザー端末１０は、受信された表示情報に基づいて表示部１３に画像や文字を表示する（ステップＳ１０６）。

【0061】

このように構成された会議システム１００によれば、ネットワークを介して行われる会議において、他の参加者の状況をより容易に確認することが可能となる。より具体的には以下の通りである。会議システム１００では、各ユーザーの顔画像が適切な基準に近づくように画像処理が行われる。例えば、顔の大きさやホワイトバランスやコントラストが適切な基準に近づくように画像処理が行われる。そのため、各参加者の顔の表情や状態をより容易に確認することが可能となる。また、会議システム１００では、各ユーザーの感情状態が推定され、その推定結果に応じた画像処理が行われる。このような処理によっても、各参加者の状態をより容易に確認することが可能となる。

【0062】

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

【符号の説明】

【0063】

１００…会議システム， １０…ユーザー端末， ２０…会議制御装置， １１…通信部， １２…操作部， １３…表示部， １４…音声入力部， １５…音声出力部， １６…記憶部， １６１…ユーザー情報記憶部， １７…制御部， １７１…表示制御部， １７２…会議制御部， １７３…音声制御部， ２１…通信部， ２２…記憶部， ２２１…ユーザー情報記憶部， ２２２…会議室情報記憶部， ２２３…感情状態情報記憶部， ２３…制御部， ２３１…ユーザー制御部， ２３２…会議室制御部， ２３３…表示情報生成部， ２３４…音声制御部， ２３５…推定部， ２３６…評価部， ５１…ユーザー領域

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】