(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024159244
(43)【公開日】2024-11-08
(54)【発明の名称】情報処理装置、情報処理方法および情報処理プログラム
(51)【国際特許分類】
A61B 5/16 20060101AFI20241031BHJP
【FI】
A61B5/16 130
【審査請求】未請求
【請求項の数】11
【出願形態】OL
(21)【出願番号】P 2023075100
(22)【出願日】2023-04-28
(71)【出願人】
【識別番号】000005223
【氏名又は名称】富士通株式会社
(74)【代理人】
【識別番号】110002918
【氏名又は名称】弁理士法人扶桑国際特許事務所
(72)【発明者】
【氏名】竹内 啓人
(72)【発明者】
【氏名】菅野谷 知佳
(72)【発明者】
【氏名】宮崎 拓海
(72)【発明者】
【氏名】手島 聖人
(72)【発明者】
【氏名】山本 貢嗣
(72)【発明者】
【氏名】那須 美早
(72)【発明者】
【氏名】炭澤 幸佑
【テーマコード(参考)】
4C038
【Fターム(参考)】
4C038PP05
4C038PR01
4C038PR04
4C038PS07
(57)【要約】
【課題】電子会議における聴講者の集中度を高精度に計測する。
【解決手段】処理部12は、聴講者が電子会議を聴講している第1の期間において、所定手法で計測された聴講者の集中度についての第1の計測値を複数回収集し、収集された第1の計測値に基づいて、聴講者の集中度の計測基準を示す基準情報13を算出して記憶部11に格納する。また、処理部12は、聴講者が電子会議を聴講している第2の期間において、所定手法で計測された聴講者の集中度についての第2の計測値を取得し、基準情報13に基づいて第2の計測値を補正した値を、聴講者についての補正集中度として出力する。
【選択図】
図1
【特許請求の範囲】
【請求項1】
記憶部と、処理部とを有し、
前記処理部は、
聴講者が電子会議を聴講している第1の期間において、所定手法で計測された前記聴講者の集中度についての第1の計測値を複数回収集し、収集された前記第1の計測値に基づいて、前記聴講者の前記集中度の計測基準を示す基準情報を算出して前記記憶部に格納し、
前記聴講者が電子会議を聴講している第2の期間において、前記所定手法で計測された前記聴講者の前記集中度についての第2の計測値を取得し、前記基準情報に基づいて前記第2の計測値を補正した値を、前記聴講者についての補正集中度として出力する、
情報処理装置。
【請求項2】
前記処理部は、
前記聴講者を含む複数の聴講者のそれぞれについて、前記基準情報を算出して前記記憶部に格納し、
前記第2の期間において、前記複数の聴講者のそれぞれについて、前記第2の計測値を取得し、対応する聴講者について取得した前記第2の計測値と当該聴講者の前記基準情報とに基づいて当該聴講者の前記補正集中度を算出し、前記複数の聴講者のそれぞれについて算出された前記補正集中度を統合して統合集中度を算出し、前記第2の期間における電子会議での発表者が視認する会議画面に前記統合集中度を表示する、
請求項1記載の情報処理装置。
【請求項3】
前記処理部は、
前記第1の期間に収集された前記第1の計測値の平均値を前記基準情報として算出し、
前記第2の計測値と前記基準情報との差分値を前記補正集中度として出力する、
請求項1記載の情報処理装置。
【請求項4】
前記処理部は、
前記第1の期間において、前記第1の計測値と、前記第1の計測値の計測時における、前記集中度に影響を与え得る要因の度合いを示す第1の要因指標とを収集し、収集された前記第1の計測値および前記第1の要因指標に基づき、前記基準情報として、前記第1の要因指標と前記第1の計測値との対応関係を示す対応情報を算出して前記記憶部に格納し、
前記第2の期間において、前記第2の計測値と、前記第2の計測値の計測時における前記要因の度合いを示す第2の要因指標とを取得し、前記対応情報に基づいて、取得した前記第2の要因指標に対応する前記第1の計測値を基準値として特定し、取得した前記第2の計測値と前記基準値との差分値を前記補正集中度として出力する、
請求項1記載の情報処理装置。
【請求項5】
前記処理部は、
前記聴講者を含む複数の聴講者のそれぞれについて、前記対応情報を算出して前記記憶部に格納し、
前記第2の期間において、前記複数の聴講者のそれぞれについて、前記第2の計測値と前記第2の要因指標とを取得し、対応する聴講者の前記対応情報に基づいて、当該聴講者の前記第2の要因指標に対応する前記第1の計測値を当該聴講者に対応する前記基準値として特定し、当該聴講者についての前記第2の計測値と前記基準値との差分値を当該聴講者についての前記補正集中度として算出し、前記複数の聴講者のそれぞれについて算出された前記補正集中度を統合して統合集中度を算出し、前記第2の期間における電子会議での発表者が視認する会議画面に前記統合集中度を表示する、
請求項4記載の情報処理装置。
【請求項6】
前記処理部は、
前記第2の期間において前記統合集中度を複数回算出し、前記統合集中度の推移を示す情報を前記会議画面に表示する、
請求項5記載の情報処理装置。
【請求項7】
前記処理部は、
前記第2の期間において、前記統合集中度を複数回算出するとともに、前記発表者を含む複数の発表者が電子会議において交代で発表する場合に、前記複数の発表者のうち現在発表中の発表者を示す識別情報を、算出された前記統合集中度に対応付けて前記記憶部に記録し、
前記統合集中度の推移を示す情報を、前記複数の発表者のうち発表中の発表者を識別可能な状態で画面に表示する、
請求項5記載の情報処理装置。
【請求項8】
前記第1の要因指標および前記第2の要因指標は、前記聴講者の睡眠時間を示す、
請求項4記載の情報処理装置。
【請求項9】
前記第1の計測値および前記第2の計測値は、前記聴講者が写った画像に基づいて計測される、
請求項1記載の情報処理装置。
【請求項10】
コンピュータが、
聴講者が電子会議を聴講している第1の期間において、所定手法で計測された前記聴講者の集中度についての第1の計測値を複数回収集し、収集された前記第1の計測値に基づいて、前記聴講者の前記集中度の計測基準を示す基準情報を算出して、前記コンピュータが有する記憶部に格納し、
前記聴講者が電子会議を聴講している第2の期間において、前記所定手法で計測された前記聴講者の前記集中度についての第2の計測値を取得し、前記基準情報に基づいて前記第2の計測値を補正した値を、前記聴講者についての補正集中度として出力する、
情報処理方法。
【請求項11】
コンピュータに、
聴講者が電子会議を聴講している第1の期間において、所定手法で計測された前記聴講者の集中度についての第1の計測値を複数回収集し、収集された前記第1の計測値に基づいて、前記聴講者の前記集中度の計測基準を示す基準情報を算出して、前記コンピュータが有する記憶部に格納し、
前記聴講者が電子会議を聴講している第2の期間において、前記所定手法で計測された前記聴講者の前記集中度についての第2の計測値を取得し、前記基準情報に基づいて前記第2の計測値を補正した値を、前記聴講者についての補正集中度として出力する、
処理を実行させる情報処理プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理装置、情報処理方法および情報処理プログラムに関する。
【背景技術】
【0002】
近年、遠隔で会議を行うことが可能な電子会議システムが広く利用されている。このような電子会議システムに関しては、例えば、聴講者の集中度を示すスコアを算出し、算出されたスコアを発言者に提供する情報処理装置が提案されている。また、一の会議室に、それぞれ他の会議室の画像が表示される複数の再生装置が配置され、一の会議室の参加者の視線や顔の向きに基づいて各再生装置に対する注目度が検出されるシステムも提案されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2022-133177号公報
【特許文献2】国際公開第00/22823号
【発明の概要】
【発明が解決しようとする課題】
【0004】
ところで、電子会議における聴講者の集中度の測定に関しては、聴講者ごとに計測精度のバラツキが生じ得るという問題がある。例えば、身体の向きや姿勢に基づいて集中度を計測する場合、各聴講者の向きや姿勢が同じであっても各聴講者の集中度が同じであるとは必ずしもいえないので、聴講者の間で計測精度が一定になりにくい。換言すると、集中度の計測に関しては、各聴講者の真の集中度を計測することが難しいという問題がある。
【0005】
1つの側面では、本発明は、電子会議における聴講者の集中度を高精度に計測可能な情報処理装置、情報処理方法および情報処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【0006】
1つの案では、記憶部と処理部とを有する情報処理装置が提供される。この情報処理装置において、処理部は、聴講者が電子会議を聴講している第1の期間において、所定手法で計測された聴講者の集中度についての第1の計測値を複数回収集し、収集された第1の計測値に基づいて、聴講者の集中度の計測基準を示す基準情報を算出して記憶部に格納する。また、処理部は、聴講者が電子会議を聴講している第2の期間において、所定手法で計測された聴講者の集中度についての第2の計測値を取得し、基準情報に基づいて第2の計測値を補正した値を、聴講者についての補正集中度として出力する。
【0007】
また、1つの案では、上記の情報処理装置と同様の処理をコンピュータが実行する情報処理方法が提供される。
さらに、1つの案では、上記の情報処理装置と同様の処理をコンピュータに実行させる情報処理プログラムが提供される。
【発明の効果】
【0008】
1つの側面では、電子会議における聴講者の集中度を高精度に計測できる。
【図面の簡単な説明】
【0009】
【
図1】第1の実施の形態に係る情報処理システムの構成例および処理例を示す図である。
【
図2】第2の実施の形態に係る電子会議システムの構成例を示す図である。
【
図3】電子会議サーバのハードウェア構成例を示す図である。
【
図4】参加者端末および電子会議サーバが備える処理機能の構成例を示す図である。
【
図5】集中度に対する睡眠時間の影響を説明するための図である。
【
図10】統合スコアの第2の表示例を示す図である。
【
図11】聴講者が使用する参加者端末の処理例を示すフローチャートである。
【
図12】電子会議サーバにおけるモデル作成/スコア算出の処理例を示すフローチャート(その1)である。
【
図13】電子会議サーバにおけるモデル作成/スコア算出の処理例を示すフローチャート(その2)である。
【
図14】電子会議サーバにおけるスコア表示の処理例を示すフローチャートである。
【発明を実施するための形態】
【0010】
以下、本発明の実施の形態について図面を参照して説明する。
〔第1の実施の形態〕
図1は、第1の実施の形態に係る情報処理システムの構成例および処理例を示す図である。
図1に示す情報処理システムは、情報処理装置10と端末装置20a,20b,・・・を含む。
【0011】
情報処理装置10は、記憶部11と処理部12を有する。記憶部11は、情報処理装置10が備える記憶装置に確保される記憶領域である。処理部12は、例えば、情報処理装置10が備えるプロセッサである。この情報処理装置10は、例えば、電子会議を制御するサーバ装置である。
【0012】
端末装置20a,20b,・・・は、電子会議に参加する参加者が使用するクライアント端末である。上記のように情報処理装置10が電子会議を制御するサーバ装置である場合、端末装置20a,20b,・・・は、カメラによって撮影された画像のデータやマイクロフォンによって収音された音声のデータを情報処理装置10に送信する。情報処理装置10は、端末装置20a,20b,・・・のうち、一の端末装置に対して、他の端末装置のそれぞれから受信した画像および音声のデータを送信する。端末装置20a,20b,・・・のそれぞれは、他の端末装置で撮影された画像を表示し、他の端末装置で収音された音声を出力する。これにより、端末装置20a,20b,・・・をそれぞれ使用する参加者の間で電子会議が行われる。
【0013】
また、情報処理装置10は、端末装置20a,20b,・・・のそれぞれを使用する参加者の集中度を計測した計測値を取得可能になっている。参加者の集中度は、例えば、その参加者が使用する端末装置により、参加者を撮影した画像に基づいて測定される。また、各参加者の集中度は同一の手法によって計測される。
【0014】
ここで、各参加者の集中度が同一の手法で計測された場合でも、参加者ごとに計測精度のバラツキが生じ得るという問題がある。例えば、参加者が写る画像から認識される身体の向きや姿勢に基づいて集中度を計測する場合、各参加者の向きや姿勢が同じであっても各参加者の集中度が同じであるとは必ずしもいえないので、参加者の間で計測精度が一定になりにくい。換言すると、集中度の計測に関しては、各参加者の真の集中度を計測することが難しいという問題がある。
【0015】
このような問題に対して、情報処理装置10の処理部12は、次のような処理により、参加者ごとに測定された集中度の測定値を補正する。なお、集中度の計測および補正は、電子会議の参加者のうち、少なくとも電子会議を聴講する聴講者について行われればよい。このため、以下の説明では、聴講者の集中度の測定について例示する。
【0016】
処理部12は、ある聴講者(聴講者Aとする)が電子会議を聴講している第1の期間において、上記手法で計測された集中度の計測値を複数回収集する。
図1の例では、1日目から3日目までの3日間において1日1回電子会議が行われ、聴講者Aが聴講したものとする。この場合、処理部12は、それぞれの電子会議の際に計測された集中度を取得する。
図1に示すグラフ31は、1日目の電子会議の際に計測された集中度を示し、グラフ32は、2日目の電子会議の際に計測された集中度を示し、グラフ33は、3日目の電子会議の際に計測された集中度を示す。
【0017】
処理部12は、このようにして収集された集中度の計測値に基づいて、聴講者Aの集中度の計測基準を示す基準情報13を算出して、記憶部11に格納する。
図1の例では、収集された集中度の平均値が算出されることで、基準情報13として基準値V1が算出されている。
【0018】
その後、処理部12は、聴講者Aが電子会議を聴講している第2の期間において、上記と同一手法で計測された、聴講者Aの集中度の計測値を取得する。すると、処理部12は、基準情報13に基づいて、取得した計測値を補正し、補正された計測値を聴講者Aについての補正集中度として出力する。
【0019】
図1の例では、基準値V1を基準として聴講者Aの集中度の計測値が補正される。具体的には、グラフ41に示すように、集中度の計測値と基準値V1との差分値が補正集中度として算出される。例えば、グラフ41において、時刻t1における集中度の計測値は基準値V1より大きいので、時刻t1における補正集中度V2は正の値として算出される。
【0020】
このような処理によれば、第1の期間における聴講者Aの集中度の計測値に基づいて、聴講者Aの集中度の傾向に応じた基準情報13が算出される。そして、第2の期間では、このような基準情報13に基づいて、計測された聴講者Aの集中度が補正される。したがって、聴講者Aの集中度の計測精度を向上させることができる。
【0021】
情報処理装置10は、例えば、参加者のうちの1人が発表を行っている状態において、他の参加者(聴講者)のそれぞれについて測定された集中度を統合して統合集中度を算出し、発表者に提示することができる。例えば、発表者が使用する端末装置に表示された電子会議画面に、統合集中度が表示される。これにより、発表者は、例えば、自分自身の発表の仕方や発表内容を評価することができる。
【0022】
ここで、上記のような基準情報13の算出および集中度の補正処理が聴講者ごとに実行されることで、各聴講者の集中度の計測値が、聴講者間における集中度の傾向の違いの影響が低減されるように補正される。このため、聴講者間における補正集中度の算出精度のバラツキが低減される。したがって、算出された補正集中度をそのまま統合して(例えば、各補正集中度を加算して、または各補正集中度を平均して)、統合集中度を精度よく算出できる。
【0023】
なお、以上の例では、基準情報13として基準値V1が算出されたが、他の例として、基準情報13は、補正集中度の計算の基準となる基準値を算出するための数式やデータテーブルであってもよい。以下の第2の実施の形態では、基準情報13として基準値を算出するための数式(計算モデル)が算出される例について説明する。
【0024】
〔第2の実施の形態〕
図2は、第2の実施の形態に係る電子会議システムの構成例を示す図である。
図2に示す電子会議システムは、参加者端末50a,50b,50c,・・・と電子会議サーバ100を含む。参加者端末50a,50b,50c,・・・と電子会議サーバ100とは、ネットワーク60を介して接続されている。ネットワーク60は、例えば、インターネットなどの広域通信網である。なお、電子会議サーバ100は、
図1に示した情報処理装置10の一例であり、参加者端末50a,50b,50c,・・・は、
図1に示した端末装置20a,20b,・・・の一例である。
【0025】
電子会議サーバ100は、電子会議サービスを提供するサーバコンピュータである。参加者端末50a,50b,50c,・・・は、電子会議サーバ100に対応するクライアント装置であり、電子会議に参加する参加者によって使用される。参加者端末50a,50b,50c,・・・は、例えば、パーソナルコンピュータ、タブレット端末、スマートフォンなどの端末装置である。参加者端末50a,50b,50c,・・・には、それぞれカメラ51a,51b,51c,・・・が接続されている。また、参加者端末50a,50b,50c,・・・には、図示しないマイクロフォン、表示装置および音声出力装置(例えばスピーカ)が接続されている。
【0026】
参加者端末50a,50b,50c,・・・は、カメラによって撮影された画像のデータ、およびマイクロフォンによって収音された音声のデータを電子会議サーバ100に送信する。電子会議サーバ100は、参加者端末50a,50b,50c,・・・のうち一の参加者端末に対して、他の参加者端末から受信した画像および音声のデータを送信する。これにより、参加者端末50a,50b,50c,・・・はそれぞれ、他の参加者端末で撮影された参加者の画像を表示装置に表示させ、他の参加者端末で収音された音声を音声出力装置から出力させる。
【0027】
また、本実施の形態において、参加者端末50a,50b,50c,・・・にそれぞれ接続されたカメラ51a,51b,51c,・・・は、参加者の集中度を計測するためにも用いられる。
【0028】
さらに、本実施の形態では、参加者の集中度に影響を与え得る外的要因の一例として、参加者の睡眠時間が用いられる。参加者の睡眠時間は、参加者の入力操作によって電子会議サーバ100に通知されてもよいし、機器によって計測されて電子会議サーバ100に直接的に、または参加者端末を介して送信されてもよい。
【0029】
図2では、参加者端末50aを使用する参加者の睡眠時間を計測する計測用端末60aが例示されている。計測用端末60aは、例えば、スマートウォッチなどのウェアラブル端末やスマートフォンであり、参加者端末50aと無線通信可能になっている。計測用端末60aは、前日の夜から当日(現在の日付)の朝までの睡眠時間を計測し、参加者端末50aに送信する。計測された睡眠時間は、参加者端末50aから電子会議サーバ100に送信される。なお、計測用端末60aがネットワーク60に接続され、計測された睡眠時間が参加者端末50aを介さずに、計測用端末60aからネットワーク60を介して電子会議サーバ100に送信されてもよい。
【0030】
図3は、電子会議サーバのハードウェア構成例を示す図である。電子会議サーバ100は、例えば、
図3に示すようなコンピュータとして実現される。
図3に示す電子会議サーバ100は、プロセッサ101、RAM(Random Access Memory)102、HDD(Hard Disk Drive)103、GPU(Graphics Processing Unit)104、入力インタフェース(I/F)105、読み取り装置106およびネットワークインタフェース(I/F)107を備える。
【0031】
プロセッサ101は、電子会議サーバ100全体を統括的に制御する。プロセッサ101は、例えば、CPU(Central Processing Unit)、MPU(Micro Processing Unit)、DSP(Digital Signal Processor)、ASIC(Application Specific Integrated Circuit)またはPLD(Programmable Logic Device)である。また、プロセッサ101は、CPU、MPU、DSP、ASIC、PLDのうちの2以上の要素の組み合わせであってもよい。
【0032】
RAM102は、電子会議サーバ100の主記憶装置として使用される。RAM102には、プロセッサ101に実行させるOS(Operating System)プログラムやアプリケーションプログラムの少なくとも一部が一時的に格納される。また、RAM102には、プロセッサ101による処理に必要な各種データが格納される。
【0033】
HDD103は、電子会議サーバ100の補助記憶装置として使用される。HDD103には、OSプログラム、アプリケーションプログラム、および各種データが格納される。なお、補助記憶装置としては、SSD(Solid State Drive)などの他の種類の不揮発性記憶装置を使用することもできる。
【0034】
GPU104には、表示装置104aが接続されている。GPU104は、プロセッサ101からの命令にしたがって、画像を表示装置104aに表示させる。表示装置104aとしては、液晶ディスプレイや有機EL(ElectroLuminescence)ディスプレイなどがある。
【0035】
入力インタフェース105には、入力装置105aが接続されている。入力インタフェース105は、入力装置105aから出力される信号をプロセッサ101に送信する。入力装置105aとしては、キーボードやポインティングデバイスなどがある。ポインティングデバイスとしては、マウス、タッチパネル、タブレット、タッチパッド、トラックボールなどがある。
【0036】
読み取り装置106には、可搬型記録媒体106aが脱着される。読み取り装置106は、可搬型記録媒体106aに記録されたデータを読み取ってプロセッサ101に送信する。可搬型記録媒体106aとしては、光ディスク、半導体メモリなどがある。
【0037】
ネットワークインタフェース107は、ネットワーク60を介して、参加者端末50a,50b,50c,・・・などの他の装置との間でデータの送受信を行う。
以上のようなハードウェア構成によって、電子会議サーバ100の処理機能を実現することができる。なお、参加者端末50a,50b,50c,・・・も、
図3のようなハードウェア構成を有するコンピュータとして実現可能である。
【0038】
ところで、本実施の形態の電子会議システムでは、電子会議に参加する参加者それぞれの集中度が計測される。参加者の集中度は、一例として、参加者端末に接続されたカメラによって撮影された参加者の画像に基づいて計測される。電子会議サーバ100は、参加者の1人が発表者として発表を行っている状態において、発表者以外の他の参加者(聴講者)の集中度を統合して「統合スコア」を算出し、発表者に提示する。
【0039】
一般的に電子会議では、各聴講者を撮影した画像が画面上に一覧表示されるので、発表者はそれらの画像を視認することで、各聴講者の集中度を認識することができる。発表者は例えば、各聴講者の集中度を認識することで、発表の仕方や発表内容を評価できる。また、発表者は、各聴講者の集中度の推移を認識することで、各聴講者の疲れなどによる聴講意欲の低下を認識でき、発表内容をその推移に応じて変更したり、休憩するべきかを判断することができる。
【0040】
しかし、電子会議の画面上に表示される各聴講者の画像は小さく、発表者が各聴講者の状態を十分に判断できるものではないため、発表者が各聴講者の画像から集中度を確実に認識することは困難である。これに対して、上記の統合スコアを発表者に提示することで、発表者は、各聴講者の総合的な集中度を容易に認識できるようになり、発表の質を向上させることが可能となる。
【0041】
ただし、各聴講者の集中度を、各聴講者の画像に基づいて同一の方法で計測したとしても、必ずしも各聴講者の集中度を均一に高精度で計測できるとは限らない。例えば、画像から集中度を計測する方法としては、撮影された聴講者の視線の動きや姿勢などの身体の状態を基に計測する方法がある。しかし、身体の状態と集中度や聴講意欲との関係は聴講者ごとに異なる場合がある。例えば、聴講時の姿勢は聴講者ごとに異なるため、必ずしも特定の姿勢をとった聴講者の集中度が高いとはいえない。このため、画像から認識される身体の状態だけから、集中度を高精度で計測できるとはいえない。また、聴講者間で集中度の計測精度にバラツキが生じ得るため、各聴講者の集中度をそのまま統合して統合スコアを算出した場合、統合スコアの算出精度が低下してしまう。
【0042】
一方で、聴講者の集中度は、天候や睡眠時間、運動量、曜日など、画像からは認識できない外的要因の影響を受けると考えられる。そこで、本実施の形態の電子会議サーバ100は、外的要因を加味して各聴講者の集中度を補正し、補正された集中度を用いて上記の統合スコアを算出する。
【0043】
以下の説明では、外的要因の一例として、聴講者の睡眠時間を利用した場合について説明する。
図4は、参加者端末および電子会議サーバが備える処理機能の構成例を示す図である。
【0044】
図4に示す参加者端末50は、
図2に示した参加者端末50a,50b,50c,・・・の1つである。参加者端末50は、クライアント処理部52を備える。クライアント処理部52の処理は、例えば、参加者端末50が備える図示しないプロセッサが電子会議のクライアントプログラムを実行することで実現される。
【0045】
クライアント処理部52は、電子会議に関するクライアント処理を実行する。例えば、クライアント処理部52は、カメラによって撮影された画像のデータ、およびマイクロフォンによって収音された音声のデータを電子会議サーバ100に送信する。また、クライアント処理部52は、電子会議サーバ100から受信した画像データに基づいて会議画面を表示装置に表示させる。会議画面には、他の参加者の参加者端末50で撮影された画像が一覧表示される。また、クライアント処理部52は、電子会議サーバ100から受信した音声データに基づいて、他の参加者の参加者端末50で収音された音声を出力する。
【0046】
クライアント処理部52は、集中度計測部53および評価結果表示処理部54を備える。
集中度計測部53は、参加者端末50を使用する参加者が聴講者となっている場合に、カメラによって撮影された、参加者が写った画像から参加者の身体特徴を解析し、その解析結果に基づいて参加者の集中度を計測する。例えば、集中度計測部53は、撮影画像から参加者の顔の表情、顔の向き、顔を含めた身体の動きを解析し、その解析結果に基づいて参加者の集中度を計測する。集中度計測部53は、一定時間間隔で参加者の集中度を計測し、集中度の計測値を電子会議サーバ100に送信する。
【0047】
評価結果表示処理部54は、参加者端末50を使用する参加者が発表者となっている場合に、各聴講者の集中度に関する評価結果、すなわち前述の統合スコアを、会議画面内に表示させる。
【0048】
電子会議サーバ100は、記憶部110とサーバ処理部120を備える。
記憶部110は、RAM102、HDD103など、電子会議サーバ100が備える記憶装置に確保される記憶領域である。記憶部110には、計測結果情報111、モデル情報112および評価結果情報113が記憶される。
【0049】
計測結果情報111には、各聴講者について計測された集中度の計測結果が登録される。計測結果情報111に登録された計測結果は、聴講者ごとの集中度の補正値(以下、「個別スコア」と記載する)やそれらを統合した統合スコアの算出に用いられる。
【0050】
モデル情報112には、個別スコアの算出に用いられる基準値を算出するための計算モデルを示すモデルデータが、聴講者ごとに登録される。この計算モデルは、外的要因を示す指標(ここでは睡眠時間)と集中度の計測値との関係を示す数式である。
【0051】
評価結果情報113には、算出された統合スコアが登録される。評価結果情報113には、例えば、算出された統合スコアに対して、発表者を示す識別情報が対応付けて登録される。
【0052】
サーバ処理部120の処理は、例えば、プロセッサ101が電子会議のサーバプログラムを実行することで実現される。サーバ処理部120は、電子会議に関するサーバ処理を実行する。例えば、サーバ処理部120は、各参加者端末50で撮影された画像のデータおよび収音された音声のデータを受信する。サーバ処理部120は、各参加者端末50に、他の参加者端末50で撮影された画像を一覧表示した会議画面を表示させる。また、サーバ処理部120は、各参加者端末50に、他の参加者端末50で収音された音声のデータを送信して出力させる。
【0053】
サーバ処理部120は、モデル作成部121、集中度評価部122および評価結果出力処理部123を備える。
モデル作成部121は、個別スコアの算出に用いられる判定閾値を算出するための計算モデルを、聴講者ごとに作成し、作成された計算モデルを示すデータをモデル情報112に登録する。
【0054】
集中度評価部122は、各参加者端末50から聴講者の睡眠時間と集中度の計測値とを取得し、聴講者に対応する計算モデルを用いて聴講者の個別スコアを算出する。集中度評価部122は、聴講者ごとに算出された個別スコアを統合して統合スコアを算出し、評価結果情報113に登録する。
【0055】
評価結果出力処理部123は、発表者が使用する参加者端末50に表示させる会議画面内に、集中度の評価結果、すなわち統合スコアを表示させる。評価結果出力処理部123は、例えば、統合スコアの推移を示すグラフを会議画面内に表示させる。
【0056】
図5は、集中度に対する睡眠時間の影響を説明するための図である。
図5の左側に示すグラフは、聴講者の睡眠時間が7時間である場合の例を示し、
図5の右側に示すグラフは、聴講者の睡眠時間が4時間である場合の例を示す。各グラフの横軸は、聴講開始からの経過時間を示す。
【0057】
図5の各グラフが示すように、一般的に、聴講者の集中度は聴講開始からの時間経過に伴って徐々に低下していく。これに加えて、
図5の各グラフを比較することでわかるように、聴講者の集中度は全体的に睡眠時間が短いほど低下すると考えられる。そこで、電子会議サーバ100のモデル作成部121は、集中度を評価するための前処理として、睡眠時間と集中度の計測値とを取得してそれらを解析し、睡眠時間と集中度との関係を示す計算モデルを聴講者ごとに作成する。この計算モデルは、睡眠時間が与えられたときに、聴講者の集中度の平均値を出力するものである。集中度評価部122は、計算モデルによって得られる集中度の平均値を、個別スコアを算出するための「集中度基準値」として使用する。
【0058】
図6は、計算モデルの作成例を示す図である。
参加者端末50は、集中度基準値の計算モデルが作成される「モデル作成モード」と、作成された計算モデルを用いて個別スコアが算出され、個別スコアに基づく統合スコアが発表者に提示される「スコア提示モード」のいずれかに設定される。
【0059】
モデル作成モードでは、参加者端末50の集中度計測部53は、聴講者の睡眠時間を電子会議サーバ100に送信するとともに、カメラによって撮影された聴講者の画像を基に一定時間ごとに聴講者の集中度を計測し、電子会議サーバ100に送信する。電子会議サーバ100のモデル作成部121は、送信された集中度および睡眠時間を記憶部110に登録する。モデル作成部121は、電子会議から聴講者が退出するか、または電子会議が終了すると、計測された集中度の平均を算出し、算出された平均集中度を睡眠時間に対応付けて計測結果情報111に登録する。モデル作成部121は、各聴講者についてのこのような平均集中度の登録処理を、睡眠時間と集中度との対応関係を推定可能と考えられる十分なデータが取得されるまで実行する。
【0060】
図6に示す測定値テーブル111aは、ある聴講者について上記登録処理によって得られた睡眠時間と平均集中度の一覧を示す。この例では、2月1日から2月7日までの間に計測された、睡眠時間と平均集中度との対応関係が登録されている。モデル作成部121は、例えば、測定値テーブル111aに基づいて、データ分析用の分析データテーブル111bを作成する。分析データテーブル111bには、計測された睡眠時間ごとに平均集中度が登録される。分析データテーブル111bの作成では、測定値テーブル111aにおいて同一の睡眠時間に対して複数の平均集中度が登録されていた場合、それらの平均集中度の平均値が算出されて分析データテーブル111bに登録される。
図6の例では、睡眠時間「5時間」について、測定された平均集中度の平均値「50」が分析データテーブル111bに登録される。なお、測定値テーブル111aおよび分析データテーブル111bは、計測結果情報111に記録されるデータテーブルの一例である。
【0061】
モデル作成部121は、分析データテーブル111bに基づいて、集中度基準値を算出するための計算モデルを作成する。
図6の例では、モデル作成部121は、分析データテーブル111bに基づいて、平均集中度(=集中度基準値μ)を睡眠時間tによって推測する単回帰モデルを作成する。
【0062】
ここでは一例として、単回帰モデルとして一次関数であるμ(t)=a*t+bが作成されるものとする。このμ(t)は、睡眠時間と平均集中度(=集中度基準値μ)との関係を、
図6右下のグラフの直線によって近似するものである。モデル作成部121は、最小二乗法を用いて、次の式(1),(2)によって係数a,bを算出する。なお、式(1),(2)のnは、睡眠時間のデータ数を表す。
【0063】
【0064】
分析データテーブル111bを用いた場合、式(1),(2)の各項については、Σt=39.5、Σμ=360、Σt2=277.25、Σt*μ=2500と算出される。これらの値を式(1),(2)に代入することで、a=7.554479、b=10.26634と算出される。モデル作成部121は、聴講者に対応する計算モデルのデータとして、算出された係数a,bの値をモデル情報112に登録する。
【0065】
図7は、個別スコアの算出例を示す図である。参加者端末50がスコア提示モードである場合、電子会議サーバ100の集中度評価部122は、聴講者に対応する計算モデルを使用し、参加者端末50から取得した睡眠時間および集中度に基づいて聴講者の個別スコアを算出する。
【0066】
図7の例では、参加者端末50aを使用する聴講者が電子会議に参加した際に、睡眠時間「6時間」が電子会議サーバ100に通知されたとする。集中度評価部122は、聴講者に対応する計算モデルとして、
図7の右下のグラフに示した直線を表す一次関数を、モデル情報112に基づいて特定する。集中度評価部122は、特定された一次関数にt=6を代入したμ(6)を算出し、算出されたμ(6)を聴講者に対応する集中度基準値Vsとする。そして、集中度評価部122は、参加者端末50aによって計測された、聴講者の集中度を取得し、
図7の右上のグラフに示すように、集中度の計測値と集中度基準値Vs(=μ(6))との差分値を、個別スコアとして算出する。
【0067】
このようにして算出された個別スコアは、集中度の計測値を、聴講者の睡眠時間という外的要因の影響が排除されるように補正した値となり、元の計測値と比較して聴講者の真の集中度に近い値となる。したがって、上記処理により、聴講者の集中度を高精度に推定することが可能となる。
【0068】
図8は、統合スコアの算出例を示す図である。
図8では、上記処理が聴講者A~Cのそれぞれについて行われたとする。
すなわち、聴講者A~Cのそれぞれについての計算モデルが作成される。その後、聴講者Aの睡眠時間が取得され、聴講者Aの計算モデルに基づいて睡眠時間に対応する集中度基準値Vs_aが算出される。そして、聴講者Aについての集中度の計測値と集中度基準値Vs_aとの差分値が、聴講者Aの個別スコアとして算出される。聴講者Bについても同様に、睡眠時間が取得され、聴講者Bの計算モデルに基づいて睡眠時間に対応する集中度基準値Vs_bが算出される。そして、聴講者Bについての集中度の計測値と集中度基準値Vs_bとの差分値が、聴講者Bの個別スコアとして算出される。聴講者Cについても同様に、睡眠時間が取得され、聴講者Cの計算モデルに基づいて睡眠時間に対応する集中度基準値Vs_cが算出される。そして、聴講者Cについての集中度の計測値と集中度基準値Vs_cとの差分値が、聴講者Cの個別スコアとして算出される。
【0069】
集中度評価部122は、同一時刻における聴講者A~Cの個別スコアを統合して、統合スコアを算出する。統合スコアは、例えば、聴講者A~Cの個別スコアの加算値、または聴講者A~Cの個別スコアの平均値として算出される。
図8の例では、会議の開始時刻から15分経過した時点での聴講者A~Cの個別スコアが、それぞれ「+15」「+1」「-8」と算出されたとする。この場合、統合スコアは、例えばこれらの個別スコアを加算した「+8」と算出される。評価結果出力処理部123は、発表者が使用する参加者端末50に表示させる会議画面内に、算出された統合スコアを表示させる。
【0070】
上記のように、聴講者A~Cのそれぞれの個別スコアは、聴講者A~Cのそれぞれについての集中度の計測値を、睡眠時間の影響が排除されるように補正した値となる。このため、聴講者A~Cのそれぞれの個別スコアは、聴講者A~Cのそれぞれについての集中度の計測値を聴講者A~Cの間で正規化した値(聴講者A~Cの間での誤差を排除した値)となり、同列に取り扱い可能な値である。したがって、聴講者A~Cの個別スコアを単純に加算したり、平均化することで、聴講者A~Cの全体における平均的な集中度のスコアを示す統合スコアを高精度に算出可能となる。
【0071】
図9は、統合スコアの第1の表示例を示す図である。
図9に示す会議画面150は、会議の発表者が発表中の状態において、発表者が使用する参加者端末50に表示される画面の一例である。この会議画面150は、評価結果出力処理部123の制御によって参加者端末50に表示される。
【0072】
会議画面150は、発表者自身の画像が表示される発表者画像部151と、他の参加者(すなわち聴講者)の画像が表示される聴講者画像部152と、統合スコアが表示されるスコア表示部153を含む。スコア表示部153には、会議開始からの時間経過に応じた統合スコアの推移を示すグラフが表示される。
【0073】
また、会議画面150にはさらに、発表者ボタン154、スコア表示ボタン155および退出ボタン156が表示される。発表者ボタン154は、会議画面150を視認する参加者が発表者となって発表を開始する際に押下される。発表者ボタン154が押下されると、発表者の識別情報が、算出される統合スコアに対応付けて評価結果情報113に記録される。スコア表示ボタン155は、会議画面150を視認する参加者が発表者ボタン154の押下により発表者となった場合に押下可能となるボタンである。スコア表示ボタン155が押下されると、会議画面150にスコア表示部153が表示される。この状態でスコア表示ボタン155が再度押下されると、スコア表示部153が非表示状態になる。退出ボタン156は、会議画面150を視認する参加者が電子会議から退出する場合に押下される。
【0074】
発表者は、このような会議画面150を視認しながら発表を行うことで、聴講者全体の正確な集中度を容易に認識することが可能となる。これにより、発表者は、自分自身の発表の仕方や発表内容を評価することができ、発表内容を集中度の推移に応じて変更したり、休憩すべきかを判断することができる。
【0075】
図10は、統合スコアの第2の表示例を示す図である。
図10に示す評価結果画面160は、例えば、電子会議の終了後において、発表者が使用する参加者端末50に表示される画面の一例である。この評価結果画面160は、評価結果出力処理部123の制御によって参加者端末50に表示される。
【0076】
評価結果画面160には、会議開始からの時間経過に応じた統合スコアの推移を示すグラフ161と、発表を行っている発表者を示す発表者表示部162とが表示される。上記の
図9に示した発表者ボタン154の押下により、統合スコアは発表者を示す識別情報に対応付けて評価結果情報113に記録される。評価結果画面160は、このようにして記録された統合スコアおよび識別情報に基づいて表示される。
【0077】
発表者は、このような評価結果画面160を視認することで、自分自身の発表時における集中度の推移と他の発表者の発表時における集中度の推移とを比較することが可能となる。これにより、発表者は、自分自身の発表の仕方や発表内容を客観的に評価できるようになる。
【0078】
なお、評価結果画面160の表示内容は、電子会議の実行中において会議画面150のスコア表示部153に表示されてもよい。
次に、参加者端末50および電子会議サーバ100の処理について、フローチャートを用いて説明する。
【0079】
図11は、聴講者が使用する参加者端末の処理例を示すフローチャートである。
[ステップS11]参加者端末50のクライアント処理部52は、電子会議に入室すると、電子会議サーバ100から送信される画像データに基づいてモード選択画面を表示装置に表示させる。モード選択画面には、モデル作成モードとスコア提示モードのいずれかを選択するための選択ボタンが表示される。クライアント処理部52は、いずれかの選択ボタンが押下されると、選択された動作モードを示す情報を電子会議サーバ100に送信する。その後、クライアント処理部52は、電子会議サーバ100から送信される画像データに基づいて電子会議画面を表示装置に表示させる。
【0080】
[ステップS12]クライアント処理部52は、前夜から今朝までの聴講者の睡眠時間を計測用端末60aから取得し、電子会議サーバ100に送信する。なお、睡眠時間は、計測用端末60aから電子会議サーバ100に直接送信されてもよい。また、睡眠時間は、聴講者の操作によって入力されてもよい。例えば、電子会議サーバ100からの画像データに基づいて、睡眠時間の入力画面が参加者端末50に表示される。聴講者は、睡眠時間を入力画面に入力して、送信を指示する操作を行う。これにより、入力された睡眠時間が電子会議サーバ100に送信される。
【0081】
[ステップS13]集中度計測部53は、カメラによって聴講者が撮影された画像に基づいて、聴講者の集中度を計測し、集中度の計測値を電子会議サーバ100に送信する。
[ステップS14]集中度計測部53は、電子会議が続行されるかを判定する。例えば、電子会議画面内の退出ボタンが押下されて聴講者が退出する場合、または電子会議自体が終了した場合に、電子会議が続行されないと判定されて、
図11の処理が終了する。一方、電子会議が続行されると判定された場合、処理がステップS15に進められる。
【0082】
[ステップS15]集中度計測部53は、ステップS13の実行から一定時間が経過したかを判定する。一定時間が経過していない場合、処理がステップS14に進められ、一定時間が経過した場合、処理がステップS13に進められる。
【0083】
図12、
図13は、電子会議サーバにおけるモデル作成/スコア算出の処理例を示すフローチャートである。
[ステップS21]電子会議サーバ100のサーバ処理部120は、参加者(ここでは聴講者)が参加者端末50から電子会議に入室すると、参加者端末50にモード選択画面を表示させる。サーバ処理部120は、モード選択画面から動作モードの選択を受け付ける。動作モードとしてモデル作成モードが選択された場合、処理がステップS22に進められ、スコア提示モードが選択された場合、処理がステップS31に進められる。
【0084】
[ステップS22]モデル作成部121は、参加者端末50から聴講者の睡眠時間を取得する。なお、モデル作成部121は、睡眠時間を計測用端末60aから直接取得してもよい。
【0085】
[ステップS23]モデル作成部121は、参加者端末50から集中度の計測値を受信したかを判定する。集中度の計測値を受信していない場合、処理がステップS25に進められ、集中度の計測値を受信した場合、処理がステップS24に進められる。
【0086】
[ステップS24]モデル作成部121は、受信した集中度の計測値を、ステップS22で取得した睡眠時間および聴講者の識別番号と対応付けて、記憶部110に記録する。
[ステップS25]モデル作成部121は、電子会議が続行されるかを判定する。例えば、電子会議画面内の退出ボタンが押下されて聴講者が退出する場合、または電子会議自体が終了した場合に、電子会議が続行されないと判定されて、処理がステップS26に進められる。一方、電子会議が続行されると判定された場合、処理がステップS23に進められる。
【0087】
[ステップS26]モデル作成部121は、ステップS24で記録された集中度の平均値を算出し、算出された平均集中度を、ステップS22で取得した睡眠時間および聴講者の識別番号と対応付けて計測結果情報111に登録する。
【0088】
[ステップS27]モデル作成部121は、聴講者に対応する計算モデルを作成するかを判定する。例えば、モデル作成部121は、計算モデルの作成に必要とされる十分なデータが取得されている場合に、計算モデルを作成すると判定する。一例として、あらかじめ決められた段階的な睡眠時間の数値のうち、所定数以上の数値に対して、集中度の平均値が1回以上算出されている場合に、計算モデルを作成すると判定される。
【0089】
計算モデルを作成すると判定された場合、処理がステップS28に進められ、計算モデルを作成しないと判定された場合、処理が終了される。
[ステップS28]モデル作成部121は、計測結果情報111に登録された、該当聴講者に対応する平均集中度と睡眠時間との対応情報(ステップS24で登録された対応情報)に基づいて、計算モデルを作成する。計算モデルの作成手順は、
図6で説明した通りである。モデル作成部121は、作成された計算モデルのデータ(例えば前述の係数a,b)を、聴講者の識別番号に対応付けてモデル情報112に登録する。
【0090】
以下、
図13を参照して説明を続ける。
[ステップS31]集中度評価部122は、ステップS22と同様の手順で、聴講者の睡眠時間を取得する。
【0091】
[ステップS32]集中度評価部122は、モデル情報112から、聴講者に対応する計算モデルのデータを取得する。集中度評価部122は、取得したデータに基づく計算モデルにステップS31で取得した睡眠時間を入力することで、集中度基準値を算出する。
【0092】
[ステップS33]集中度評価部122は、参加者端末50から集中度の計測値を受信したかを判定する。集中度の計測値を受信していない場合、処理がステップS35に進められ、集中度の計測値を受信した場合、処理がステップS34に進められる。
【0093】
[ステップS34]集中度評価部122は、受信した集中度の計測値と、ステップS32で算出された集中度基準値との差分値を算出し、算出された差分値を個別スコアとして評価結果情報113に登録する。
【0094】
[ステップS35]集中度評価部122は、電子会議が続行されるかを判定する。例えば、電子会議画面内の退出ボタンが押下されて聴講者が退出する場合、または電子会議自体が終了した場合に、電子会議が続行されないと判定されて、処理が終了する。一方、電子会議が続行されると判定された場合、処理がステップS33に進められる。
【0095】
なお、ステップS22~S28のモデル作成処理は、スコア提示モードが選択された場合でも、ステップS31~S35のスコア算出処理と並列に実行されてもよい。これにより、スコア提示モードにおいても聴講者の個別スコアを更新し続けることができる。
【0096】
以上の
図12、
図13の処理が聴講者ごとに実行されることで、評価結果情報113には各聴講者に対応する個別スコアが登録されることになる。次の
図14の処理では、評価結果情報113に登録されたこれらの個別スコアを用いて統合スコアが算出され、発表者に提示される。
【0097】
図14は、電子会議サーバにおけるスコア表示の処理例を示すフローチャートである。
[ステップS41]集中度評価部122は、評価結果情報113に登録された、各聴講者に対応する最新の個別スコアを取得する。
【0098】
[ステップS42]集中度評価部122は、取得した個別スコアを統合することで統合スコアを算出する。例えば、個別スコアを加算することで、または個別スコアの平均値を算出することで統合スコアが算出される。
【0099】
[ステップS43]評価結果出力処理部123は、統合スコアの推移を示すグラフを作成し、発表者が使用する参加者端末の電子会議画面に表示させる。
[ステップS44]評価結果出力処理部123は、例えば、電子会議の終了操作の有無によって、電子会議を終了するかを判定する。電子会議の終了操作が行われた場合、処理が終了し、電子会議の終了操作が行われない場合、処理がステップS45に進められる。
【0100】
[ステップS45]評価結果出力処理部123は、ステップS43の実行から一定時間が経過したかを判定する。一定時間が経過していない場合、処理がステップS44に進められ、一定時間が経過した場合、処理がステップS41に進められる。
【0101】
なお、上記の第2の実施の形態では、睡眠時間を基に集中度基準値を計算する計算モデルが用いられたが、例えば、このような計算モデルの代わりにデータテーブルが用いられてもよい。例えば、
図6に示した分析データテーブル111bを基に、あらかじめ決められた複数段階の睡眠時間の数値に対して平均集中度が対応付けられたデータテーブルが作成される。そして、スコア提示モードでは、参加者端末50から取得された睡眠時間に対応する平均集中度がデータテーブルから取得され、集中度基準値として用いられる。取得された睡眠時間がデータテーブルにおける隣接する段階の数値の間の値である場合には、例えば、補間演算によって睡眠時間に対応する平均集中度が取得されればよい。
【0102】
また、第2の実施の形態では、モデル作成モードにおいて、睡眠時間と平均集中度との関係が直線によって近似されたが、例えばこの関係が曲線によって近似されてもよい。
また、前述のように、集中度に影響を与え得る外的要因としては、睡眠時間の他に、天候、運動量、曜日などを採用することができる。さらに、複数種類の外的要因の指標が用いられてもよい。この場合、集中度基準値を計算する計算モデルとしては、例えば、重回帰モデルが用いられればよい。
【0103】
なお、上記の各実施の形態に示した装置(例えば、情報処理装置10、電子会議サーバ100)の処理機能は、コンピュータによって実現することができる。その場合、各装置が有すべき機能の処理内容を記述したプログラムが提供され、そのプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、磁気記憶装置、光ディスク、半導体メモリなどがある。磁気記憶装置には、ハードディスク装置(HDD)、磁気テープなどがある。光ディスクには、CD(Compact Disc)、DVD(Digital Versatile Disc)、ブルーレイディスク(Blu-ray Disc:BD、登録商標)などがある。
【0104】
プログラムを流通させる場合には、例えば、そのプログラムが記録されたDVD、CDなどの可搬型記録媒体が販売される。また、プログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することもできる。
【0105】
プログラムを実行するコンピュータは、例えば、可搬型記録媒体に記録されたプログラムまたはサーバコンピュータから転送されたプログラムを、自己の記憶装置に格納する。そして、コンピュータは、自己の記憶装置からプログラムを読み取り、プログラムにしたがった処理を実行する。なお、コンピュータは、可搬型記録媒体から直接プログラムを読み取り、そのプログラムにしたがった処理を実行することもできる。また、コンピュータは、ネットワークを介して接続されたサーバコンピュータからプログラムが転送されるごとに、逐次、受け取ったプログラムにしたがった処理を実行することもできる。
【符号の説明】
【0106】
10 情報処理装置
11 記憶部
12 処理部
13 基準情報
20a,20b 端末装置
31~33,41 グラフ
t1 時刻
V1 基準値
V2 補正集中度