IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ NECプラットフォームズ株式会社の特許一覧

特許7640147情報処理装置、情報処理システム、情報処理方法、およびプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B1)
(11)【特許番号】
(24)【登録日】2025-02-25
(45)【発行日】2025-03-05
(54)【発明の名称】情報処理装置、情報処理システム、情報処理方法、およびプログラム
(51)【国際特許分類】
   G06Q 10/10 20230101AFI20250226BHJP
【FI】
G06Q10/10
【請求項の数】 9
(21)【出願番号】P 2024014430
(22)【出願日】2024-02-01
【審査請求日】2024-02-01
(73)【特許権者】
【識別番号】000227205
【氏名又は名称】NECプラットフォームズ株式会社
(74)【代理人】
【識別番号】100149548
【弁理士】
【氏名又は名称】松沼 泰史
(74)【代理人】
【識別番号】100181135
【弁理士】
【氏名又は名称】橋本 隆史
(72)【発明者】
【氏名】原 和樹
(72)【発明者】
【氏名】平川 真里
【審査官】山崎 雄司
(56)【参考文献】
【文献】特開2022-094027(JP,A)
【文献】特開2022-058315(JP,A)
【文献】特開2017-215943(JP,A)
【文献】特開2013-250931(JP,A)
【文献】特開2012-168614(JP,A)
【文献】特開2022-072949(JP,A)
【文献】特開2003-219382(JP,A)
【文献】中国特許出願公開第116628264(CN,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06Q 10/00-99/00
(57)【特許請求の範囲】
【請求項1】
Web会議に参加しているユーザの反応を示す反応データを、前記ユーザが前記Web会議で使用しているユーザ端末から受信し、前記反応データを解析するデータ解析手段であって、前記ユーザ端末が備えるカメラが生成した映像データを前記反応データとして受信し、前記映像データに基づいて前記ユーザの感情を解析し、または、前記ユーザ端末が備えるマイクが生成した音声データを前記反応データとして受信し、前記音声データに基づいて前記ユーザの会議経過時間に対する発言時間の割合を解析し、または、前記ユーザが前記ユーザ端末に入力した入力データを前記反応データとして受信し、前記入力データに基づいて前記ユーザの会議経過時間に対する非入力時間の割合を解析するデータ解析手段と、
前記感情を示す値、前記発言時間の割合を示す値、および前記非入力時間の割合を示す値のうちのいずれか1つの値または少なくとも2つを合成した値を前記ユーザの理解度として算出する理解度算出手段と、
前記Web会議において使用されている単語の理解を確認するための質問を生成する質問生成手段と、
前記理解度が予め設定された基準よりも低いユーザのユーザ端末に前記質問を送信する質問送信手段と、
前記質問の回答を前記ユーザ端末から受信する回答受信手段と、
前記回答が誤りである場合に前記単語の意味を示す情報を生成し、前記理解度が前記基準よりも低い前記ユーザの前記ユーザ端末に前記情報を送信する回答処理手段と、
を備える、
情報処理装置。
【請求項2】
前記理解度算出手段は、前記回答が正しい場合に前記理解度を増加させることにより前記理解度を更新する、
請求項1に記載の情報処理装置。
【請求項3】
前記理解度算出手段は、前記感情を示す値、前記発言時間の割合を示す値、および前記非入力時間の割合を示す値のうちのいずれか1つの値または少なくとも2つを合成した値に、前記ユーザの役職に応じた値を加算することにより前記理解度を算出する
請求項1または2に記載の情報処理装置。
【請求項4】
前記音声データを受信し、前記音声データに基づいて前記ユーザの発言に含まれる単語を抽出する単語抽出手段をさらに備え、
抽出された前記単語が、単語および当該単語の意味を保持するデータベースに登録されている場合、前記質問生成手段は、前記単語の前記意味に基づいて前記質問を生成する、
請求項1または2に記載の情報処理装置。
【請求項5】
抽出された前記単語が前記データベースに登録されていない場合、前記質問生成手段は、インターネットを経由して、前記単語の意味を取得し、取得した前記意味に基づいて前記質問を生成すると共に、前記データベースを更新する、
請求項に記載の情報処理装置。
【請求項6】
インターネットを経由して前記単語の意味を取得できない場合、前記回答処理手段は、前記ユーザ端末がチャットにて他ユーザから取得した前記単語の意味に基づいて、前記データベースを更新する、
請求項に記載の情報処理装置。
【請求項7】
請求項1または2に記載の情報処理装置と、
前記反応データおよび前記回答を前記情報処理装置に送信し、前記質問および前記情報を前記情報処理装置から受信する前記ユーザ端末と、
を備える、
情報処理システム。
【請求項8】
Web会議に参加しているユーザの反応を示す反応データを、前記ユーザが前記Web会議で使用しているユーザ端末から受信し、
前記ユーザ端末が備えるカメラが生成した映像データを前記反応データとして受信し、前記映像データに基づいて前記ユーザの感情を解析し、または、前記ユーザ端末が備えるマイクが生成した音声データを前記反応データとして受信し、前記音声データに基づいて前記ユーザの会議経過時間に対する発言時間の割合を解析し、または、前記ユーザが前記ユーザ端末に入力した入力データを前記反応データとして受信し、前記入力データに基づいて前記ユーザの会議経過時間に対する非入力時間の割合を解析し、
前記感情を示す値、前記発言時間の割合を示す値、および前記非入力時間の割合を示す値のうちのいずれか1つの値または少なくとも2つを合成した値を前記ユーザの理解度として算出し、
前記Web会議において使用されている単語の理解を確認するための質問を生成し、
前記理解度が予め設定された基準よりも低いユーザのユーザ端末に前記質問を送信し、
前記質問の回答を前記ユーザ端末から受信し、
前記回答が誤りである場合に前記単語の意味を示す情報を生成し、
前記理解度が前記基準よりも低い前記ユーザの前記ユーザ端末に前記情報を送信する、
情報処理装置の情報処理方法。
【請求項9】
情報処理装置に請求項8に記載の情報処理方法を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、情報処理装置、情報処理システム、情報処理方法、およびプログラムに関する。
【背景技術】
【0002】
近年、テレワークの普及に伴ってWeb会議の機会が増えている。対面の会議と比較して、オンラインの会議では場の雰囲気、参加者の目線、参加者の態度等の情報が欠如する。そのため、参加者が発言の機会を得られない状況が発生しやすい。意味が理解できない単語(以下、不明語と記載)が登場すると、参加者が会議の内容を理解できず、会議の質が低下するという問題が発生している。
【0003】
不明語が一般的な用語であれば、参加者が自分で調査することはできる。しかしながら、調査の間、参加者は会議に参加できず、内容を把握できないままに会議が進行する。また、不明語が社内用語であれば、参加者は他の参加者に質問することができる。しかしながら、参加者が質問することで会議の進行を妨げることが問題である。
【0004】
例えば、特許文献1には、教育用コンテンツを視認するユーザをアシストするシステムが記載されている。そのシステムは、ユーザの眼の動きに基づいて、コンテンツに対するユーザの理解度を推定し、ユーザの理解を促進させるためのアシスト情報を出力する。
【先行技術文献】
【特許文献】
【0005】
【文献】特開2022-58315号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
特許文献1に記載されたシステムは、教育用コンテンツを視認するユーザをアシストする。しかしながら、そのシステムは、Web会議に参加しているユーザをアシストするものではない。Web会議では、参加者がリアルタイムに発言するが、参加者の発言は、予め用意されたコンテンツとは異なる。
【0007】
本開示の目的は、上述の課題を解決する情報処理装置、情報処理システム、情報処理方法、およびプログラムを提供することにある。
【課題を解決するための手段】
【0008】
本開示の一態様に係る情報処理装置は、Web会議に参加しているユーザの反応を示す反応データを、前記ユーザが前記Web会議で使用しているユーザ端末から受信し、前記反応データを解析するデータ解析手段であって、前記ユーザ端末が備えるカメラが生成した映像データを前記反応データとして受信し、前記映像データに基づいて前記ユーザの感情を解析し、または、前記ユーザ端末が備えるマイクが生成した音声データを前記反応データとして受信し、前記音声データに基づいて前記ユーザの会議経過時間に対する発言時間の割合を解析し、または、前記ユーザが前記ユーザ端末に入力した入力データを前記反応データとして受信し、前記入力データに基づいて前記ユーザの会議経過時間に対する非入力時間の割合を解析するデータ解析手段と、前記感情を示す値、前記発言時間の割合を示す値、および前記非入力時間の割合を示す値のうちのいずれか1つの値または少なくとも2つを合成した値を前記ユーザの理解度として算出する理解度算出手段と、前記Web会議において使用されている単語の理解を確認するための質問を生成する質問生成手段と、前記理解度が予め設定された基準よりも低いユーザのユーザ端末に前記質問を送信する質問送信手段と、前記質問の回答を前記ユーザ端末から受信する回答受信手段と、前記回答が誤りである場合に前記単語の意味を示す情報を生成し、前記理解度が前記基準よりも低い前記ユーザの前記ユーザ端末に前記情報を送信する回答処理手段と、を備える。
【0009】
本開示の一態様に係る情報処理システムは、上記の情報処理装置と、前記反応データおよび前記回答を前記情報処理装置に送信し、前記質問および前記情報を前記情報処理装置から受信する前記ユーザ端末と、を備える。
【0010】
本開示の一態様に係る情報処理方法は、Web会議に参加しているユーザの反応を示す反応データを、前記ユーザが前記Web会議で使用しているユーザ端末から受信し、前記ユーザ端末が備えるカメラが生成した映像データを前記反応データとして受信し、前記映像データに基づいて前記ユーザの感情を解析し、または、前記ユーザ端末が備えるマイクが生成した音声データを前記反応データとして受信し、前記音声データに基づいて前記ユーザの会議経過時間に対する発言時間の割合を解析し、または、前記ユーザが前記ユーザ端末に入力した入力データを前記反応データとして受信し、前記入力データに基づいて前記ユーザの会議経過時間に対する非入力時間の割合を解析し、前記感情を示す値、前記発言時間の割合を示す値、および前記非入力時間の割合を示す値のうちのいずれか1つの値または少なくとも2つを合成した値を前記ユーザの理解度として算出し、前記Web会議において使用されている単語の理解を確認するための質問を生成し、前記理解度が予め設定された基準よりも低いユーザのユーザ端末に前記質問を送信し、前記質問の回答を前記ユーザ端末から受信し、前記回答が誤りである場合に前記単語の意味を示す情報を生成し、前記理解度が前記基準よりも低い前記ユーザの前記ユーザ端末に前記情報を送信する。
【0011】
本開示の一態様に係るプログラムは、情報処理装置に前記情報処理方法を実行させる。
【発明の効果】
【0012】
上記一態様によれば、Web会議に参加しているユーザの理解度を向上させることができる。
【図面の簡単な説明】
【0013】
図1】本開示に係るWeb会議システムのブロック図である。
図2】本開示に係る社員情報データベース(DB)が保持する社員情報の例を示す図である。
図3】本開示に係る理解度DBが保持する理解度情報の例を示す図である。
図4】本開示に係る単語DBが保持する単語情報の例を示す図である。
図5】本開示に係るWeb会議サーバのハードウェア構成図である。
図6】本開示に係るDBサーバのハードウェア構成図である。
図7】本開示に係るユーザ端末のハードウェア構成図である。
図8】本開示に係るWeb会議システムのシーケンス図である。
図9】本開示に係るWeb会議システムのシーケンス図である。
図10】本開示に係るWeb会議システムのシーケンス図である。
図11】本開示に係るWeb会議サーバの動作を示すフローチャートである。
図12】本開示に係るWeb会議サーバの動作を示す模式図である。
図13】本開示に係る理解度の例を示す図である。
図14】本開示に係る音声データの例を示す図である。
図15】本開示に係るキーボード入力の例を示す図である。
図16】本開示に係る社員情報DBが保持する社員情報の例を示す図である。
図17】本開示に係る役職ごとの補正値の例を示す図である。
図18】本開示に係る単語DBが保持する単語情報の例を示す図である。
図19】本開示に係るユーザ端末のディスプレイの画面の例を示す図である。
図20】本開示に係るユーザ端末のディスプレイの画面の例を示す図である。
図21】本開示に係る理解度の例を示す図である。
図22】本開示に係る理解度DBが保持する理解度情報の例を示す図である。
図23】本開示に係る理解度の例を示す図である。
図24】本開示に係る理解度の例を示す図である。
図25】本開示に係る理解度DBが保持する理解度情報の例を示す図である。
図26】本開示に係る理解度の例を示す図である。
図27】本開示に係る理解度の例を示す図である。
図28】本開示に係る理解度DBが保持する理解度情報の例を示す図である。
図29】本開示に係るWeb会議システムのブロック図である。
図30】本開示に係るWeb会議サーバの動作を示すフローチャートである。
図31】本開示に係るユーザ端末のディスプレイの画面の例を示す図である。
図32】本開示に係るユーザ端末のディスプレイの画面の例を示す図である。
図33】本開示に係るユーザ端末のディスプレイの画面の例を示す図である。
図34】本開示に係るユーザ端末のディスプレイの画面の例を示す図である。
図35】本開示に係るユーザ端末のディスプレイの画面の例を示す図である。
図36】本開示に係る単語DBが保持する単語情報の例を示す図である。
図37】本開示に係る情報処理装置のブロック図である。
【発明を実施するための形態】
【0014】
以下、各実施形態について、図面を用いて説明する。すべての図面において同一または相当する構成には同一の符号を付し、共通する説明は省略する。
【0015】
<第1の実施形態>
以下、本開示に係る一実施形態について、図を用いて説明する。図1は、本実施形態のWeb会議システム100の機能構成を示す。Web会議システム100は、会議内容に対する各ユーザの理解度をリアルタイムに算出し、理解度の低いユーザに対して、会議内で使用されている単語の理解を確認するための質問を実施する。Web会議システム100は、その質問に対する回答に基づいて、理解を促進する情報をユーザに提供する。
【0016】
Web会議システム100は、自動的に質問をユーザに与え、回答を得ることができる。そのため、ユーザ自身が調査する、または他者に質問することにより会議の進行を妨げることなく、Web会議システム100はユーザの理解度を向上させることができ、会議の質を向上させることができる。
【0017】
Web会議システム100は、Web会議サーバ1と、データベース(DB)サーバ2と、ユーザ端末3とを備える。Web会議サーバ1およびDBサーバ2は、パーソナルコンピュータ(PC)などのコンピュータシステムである。ユーザ端末3は、PC、スマートフォン、またはタブレット端末などの情報機器である。
【0018】
Web会議サーバ1は、ネットワークに接続し、Web会議の中継を行う。DBサーバ2は、Web会議サーバ1が処理した内容を保持する。ユーザ端末3は、ネットワークを経由してWeb会議サーバ1と通信を実行する。Web会議システム100は複数のユーザ端末3を備えるが、1つのユーザ端末3の構成が図1に示されている。
【0019】
Web会議サーバ1は、ユーザ識別部11と、感情分析部12と、発言量解析部13と、キーボード入力解析部14と、回答処理部15と、理解度算出部16と、質問生成部17と、質問送信部18とを備える。DBサーバ2は、社員情報DB21と、理解度DB22と、単語DB23とを備える。ユーザ端末3は、カメラ31と、マイク32と、キーボード33と、質問回答部34とを備える。
【0020】
ユーザ識別部11は、以下の機能を有する。ユーザ識別部11は、DBサーバ2の社員情報DB21を参照し、社員情報DB21に保存されたユーザ(Web会議の参加者)を識別する。ユーザ識別部11は、Web会議に参加しているユーザの社員情報を社員情報DB21から取得する。
【0021】
感情分析部12は、以下の機能を有する。感情分析部12は、ユーザ端末3のカメラ31が生成した映像データをユーザ端末3から受信する。感情分析部12は、映像データに基づいて、[喜び、信頼、恐れ、驚き、悲しみ、嫌悪、怒り、期待]の各感情の度合いを分析する。感情分析部12は、分析結果を理解度算出部16に送信する。
【0022】
発言量解析部13は、以下の機能を有する。発言量解析部13は、ユーザ端末3のマイク32が生成した音声データをユーザ端末3から受信する。発言量解析部13は、発話区間の長さを解析することにより、ユーザの発言量を解析する。発言量解析部13は、解析結果を理解度算出部16に送信する。発言量解析部13は、全てのユーザ端末3から受信した音声データから頻出単語を抽出し、頻出単語を質問生成部17に送信する。
【0023】
キーボード入力解析部14は、以下の機能を有する。キーボード入力解析部14は、ユーザ端末3のキーボード33が生成した入力データをユーザ端末3から受信する。キーボード入力解析部14は、打鍵時間の長さを解析することにより、ユーザの入力頻度を解析する。キーボード入力解析部14は、解析結果を理解度算出部16に送信する。
【0024】
理解度算出部16は、以下の機能を有する。理解度算出部16は、感情分析部12、発言量解析部13、キーボード入力解析部14、および回答処理部15が送信したデータを受信し、Web会議に参加しているユーザの理解度を算出する。理解度算出部16は、算出した理解度をDBサーバ2の理解度DB22に登録する。理解度算出部16は、全ての参加者の理解度から閾値を決定し、質問を送信する対象ユーザを選択する。理解度算出部16は、対象ユーザのユーザ端末3の情報を質問送信部18に送信する。理解度算出部16は、回答処理部15が送信する正誤データに基づいてユーザの理解度を更新する。正誤データは、ユーザの回答が正しいか否かを示す。理解度算出部16は、更新した理解度をDBサーバ2の理解度DB22に登録する。
【0025】
質問生成部17は、以下の機能を有する。質問生成部17は、頻出単語を発言量解析部13から受信する。質問生成部17は、DBサーバ2の単語DB23を参照し、発言量解析部13から受信した頻出単語の意味を単語DB23から取得する。質問生成部17は、発言量解析部13から受信した頻出単語を含む質問文章の文字列である質問データを生成する。質問生成部17は、生成した質問データを質問送信部18に送信する。質問生成部17は、頻出単語の意味を使用することにより、質問データと対になる正解データを生成し、正解データを回答処理部15に送信する。
【0026】
質問送信部18は、以下の機能を有する。質問送信部18は、質問を送信する対象ユーザのユーザ端末3の情報を理解度算出部16から受信し、質問データを質問生成部17から受信する。質問送信部18は、質問データを対象ユーザのユーザ端末3の質問回答部34に送信する。
【0027】
回答処理部15は、以下の機能を有する。回答処理部15は、ユーザ端末3の質問回答部34が送信した回答データを受信し、質問生成部17が送信した正解データを受信する。回答処理部15は、回答データおよび正解データに基づいて、正誤データを生成し、正誤データを理解度算出部16および質問回答部34に送信する。回答処理部15は、質問データを生成するために使用された頻出単語の意味を質問回答部34に送信する。
【0028】
社員情報DB21は、社員の役職を含む社員情報を保持する。図2は、社員情報DB21が保持する社員情報の例を示す。社員情報は、各ユーザのID211、社員名212、および役職213を含む。社員情報DB21は、外部サービスにより提供されてもよい。
【0029】
理解度DB22は、各ユーザの会議の理解度情報を保持する。図3は、理解度DB22が保持する理解度情報の例を示す。理解度情報は、各ユーザのID221、社員名222、および理解度223を含む。
【0030】
単語DB23は、単語情報を保持する。図4は、単語DB23が保持する単語情報の例を示す。単語情報は、ID231、単語232、および意味233を含む。
【0031】
カメラ31、マイク32、およびキーボード33は、Web会議に参加しているユーザの反応を示す反応データを生成する。
【0032】
カメラ31は、以下の機能を有する。カメラ31は、ユーザ端末3を使用してWeb会議に参加しているユーザの顔を撮影し、反応データとして映像データを生成する。ユーザ端末3は、映像データをWeb会議サーバ1の感情分析部12に送信する。
【0033】
マイク32は、以下の機能を有する。マイク32は、ユーザ端末3を使用してWeb会議に参加しているユーザの音声を収集し、反応データとして音声データを生成する。ユーザ端末3は、音声データをWeb会議サーバ1の発言量解析部13に送信する。
【0034】
キーボード33は、以下の機能を有する。キーボード33は、Web会議に参加しているユーザが情報入力に使用する入力装置である。キーボード33は、ユーザが入力した情報に基づいて、反応データとして入力データを生成する。例えば、入力データは、ユーザが入力した文字列を示す。ユーザ端末3は、入力データをWeb会議サーバ1のキーボード入力解析部14に送信する。
【0035】
ユーザ端末3は、キーボード33以外の入力装置を備えてもよい。例えば、ユーザ端末3は入力装置としてボタンまたはタッチスクリーン等を備えてもよい。
【0036】
質問回答部34は、以下の機能を有する。質問回答部34は、Web会議サーバ1の質問送信部18が送信した質問データを受信し、質問と2択の回答用ボタンとをディスプレイ309に表示する。ユーザが2択の回答用ボタンを押下したとき、質問回答部34はユーザの回答を示す回答データをWeb会議サーバ1の回答処理部15に送信する。質問回答部34は、回答処理部15が送信した正誤データおよび頻出単語の意味を受信する。質問回答部34は、ユーザの回答が正しいか否かと、頻出単語の意味とをディスプレイ309に表示する。
【0037】
図5は、Web会議サーバ1のハードウェア構成を示す。Web会議サーバ1は、CPU(Central Processing Unit)101、ROM(Read Only Memory)102、RAM(Random Access Memory)103、他の記憶装置104、通信装置105等の各ハードウェアを備えたコンピュータである。CPU101は、ROM102に格納されたプログラムを実行することにより、ユーザ識別部11、感情分析部12、発言量解析部13、キーボード入力解析部14、回答処理部15、理解度算出部16、質問生成部17、および質問送信部18の機能を実現する。通信装置105は、DBサーバ2およびユーザ端末3と通信を実行する。
【0038】
図6は、DBサーバ2のハードウェア構成を示す。DBサーバ2は、CPU201、ROM202、RAM203、他の記憶装置204、通信装置205等の各ハードウェアを備えたコンピュータである。記憶装置204は、社員情報DB21、理解度DB22、および単語DB23を保持する。通信装置105は、Web会議サーバ1と通信を実行する。
【0039】
図7は、ユーザ端末3のハードウェア構成を示す。ユーザ端末3は、CPU301、ROM302、RAM303、他の記憶装置304、通信装置305、カメラ306、マイク307、キーボード308、およびディスプレイ309等の各ハードウェアを備えたコンピュータである。CPU301は、ROM302に格納されたプログラムを実行することにより、質問回答部34の機能を実現する。通信装置305は、Web会議サーバ1と通信を実行する。カメラ306は、カメラ31と対応する。マイク307は、マイク32と対応する。キーボード308は、キーボード33と対応する。ディスプレイ309は、質問データ等を表示する。
【0040】
Web会議サーバ1、DBサーバ2、およびユーザ端末3のそれぞれの機能を実現するためのプログラムは、コンピュータ読み取り可能な記録媒体(上記の例ではROM)に記録されている。「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD-ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ(RAM)のように、一定時間プログラムを保持しているものも含む。
【0041】
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク(通信網)や電話回線等の通信回線(通信線)のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であってもよい。
【0042】
Web会議システム100の動作を説明する。図8図9、および図10は、Web会議システム100の動作の例を示す。図8図9、および図10に示す処理が実行される順番は一例であり、これに限らない。
【0043】
ユーザ端末3のカメラ31は映像データを生成し、ユーザ端末3は、カメラ31が生成した映像データをWeb会議サーバ1の感情分析部12に送信する(ステップS301)。感情分析部12は、映像データを受信する(ステップS101)。映像データの送信および受信は繰り返される。
【0044】
ユーザ端末3のマイク32は音声データを生成し、ユーザ端末3は、マイク32が生成した音声データをWeb会議サーバ1の発言量解析部13に送信する(ステップS302)。発言量解析部13は、音声データを受信する(ステップS102)。音声データの送信および受信は繰り返される。
【0045】
ユーザ端末3のキーボード33は入力データを生成し、ユーザ端末3は、キーボード33が生成した入力データをWeb会議サーバ1のキーボード入力解析部14に送信する(ステップS303)。キーボード入力解析部14は、入力データを受信する(ステップS103)。入力データの送信および受信は繰り返される。
【0046】
感情分析部12は、受信した映像データを処理し、ユーザの感情を分析する。通常、ユーザが会議の内容を理解している場合には、喜怒哀楽のうち、ポジティブな感情が強く表れる。逆に、ユーザが会議の内容を理解できていない場合には、ネガティブな感情が強く表れる。感情分析部12は、分析結果を理解度算出部16に送信する(ステップS104)。
【0047】
発言量解析部13は、受信した音声データを処理し、ユーザの発言量を解析する。具体的には、発言量解析部13は、会議の経過時間に対してマイク32のミュートが解除されている時間を算出し、会議へのユーザの参加割合を算出する。会議においてユーザが積極的に発言している場合、発言量解析部13は、ユーザが会議の内容を十分に把握していると判断し、理解度が高い状態であると判断する。発言量解析部13は、解析結果を理解度算出部16に送信する(ステップS105)。
【0048】
キーボード入力解析部14は、受信した入力データを処理し、ユーザの入力頻度を解析する。会議中にキーボードの入力が少ない場合、ユーザは会議に集中している。そのような場合、キーボード入力解析部14は、理解度が高い状態であると判断する。会議中にキーボードの入力が多い場合、ユーザが会議の内容とは別の作業を実施している場合があり、会議に集中していない可能性がある。そのような場合、キーボード入力解析部14は、理解度が低い状態であると判断する。キーボード入力解析部14は、解析結果を理解度算出部16に送信する(ステップS106)。
【0049】
会議開始から5分が経過するごとに、感情分析部12、発言量解析部13、およびキーボード入力解析部14は上記の処理を実行する。感情分析部12は、ユーザの感情の分析結果として感情分析値Eを算出する。発言量解析部13は、ユーザの発言量の解析結果として音声検出値Vを算出する。キーボード入力解析部14は、ユーザの入力頻度の解析値として非打鍵検出値Kを算出する。
【0050】
ステップS104、ステップS105、およびステップS106の順番は、図8に示す順番に限らない。ステップS104、ステップS105、およびステップS106は、任意の順番で実行可能である。
【0051】
感情分析部12がステップS104において感情分析値Eを算出する処理の詳細を説明する。学習モデルによって様々な感情が出力されるが、本実施形態ではプルチックの感情の輪に基づく8つの感情を使用する例を説明する。ただし、8つの感情以外を出力する学習モデルに対しても、本実施形態と同様の算出方法を適用することができる。
【0052】
プルチックの感情の輪は、「喜び」、「信頼」、「恐れ」、「驚き」、「悲しみ」、「嫌悪」、「怒り」、「期待」の8つの基本感情を組み合わせることにより多くの感情が表現できることを示す感情モデルである。これらの基本感情のうち「喜び」および「信頼」をポジティブな感情に分類し、「悲しみ」、「嫌悪」、「怒り」、および「恐れ」をネガティブな感情に分類し、「驚き」および「期待」を中立の感情に分類する。
【0053】
ユーザがポジティブな感情を表すときは理解度が高く、ユーザがネガティブな感情を表すときは理解度が低く、ユーザが中立の感情を表すときは理解度が中程度であると定義する。また、感情分析値は0から100までの範囲に含まれ、数字が大きければ理解度が高いと定義する。
【0054】
ポジティブな感情の理解度を100、中立の感情の理解度を50、ネガティブな感情の理解度を0と定義する。感情分析部12は、それぞれの感情に分類された確率の和をとり、各感情に対応する理解度を各確率の和に掛け合わせ、その結果の総和を算出する。感情分析値Eは以下の式(1)で表される。
=100×(ポジティブな感情の確率の総和)+50×(中立の感情の確率の総和)+0×(ネガティブな感情の確率の総和) ・・・(1)
【0055】
例えば、感情分析の結果が[喜び80%、信頼10%、恐れ1%、驚き5%、悲しみ0.5%、嫌悪0.5%、怒り0.5%、期待2.5%]である場合、感情分析の結果をポジティブ、ネガティブ、中立に分類すると、以下のようになる。
ポジティブな感情:喜び(80%)+信頼(10%)=90
中立の感情:驚き(5%)+期待(2.5%)=7.5
ネガティブな感情:悲しみ(0.5%)+嫌悪(0.5%)+怒り(0.5%)+恐れ(1%)=2.5
感情分析値:100×90/100+50×7.5/100+0×2.5/100=93.75
【0056】
上記の感情分析値の小数点以下を四捨五入することにより、感情分析部12は感情分析値Eとして94を得る。
【0057】
発言量解析部13がステップS105において音声検出値Vを算出する処理の詳細を説明する。マイク32のミュート解除時間とユーザの発言時間とは同義であると定義する。また、会議において、発言の多い人は会議の内容を理解しており、発言が少ない人は会議の内容を理解していないと定義する。会議経過時間に対し、ユーザが発言した累計時間の割合を音声検出値Vと定義する。音声検出値Vは以下の式(2)で表される。
【0058】
【数1】
【0059】
例えば30分の会議において、発話時間が10分であれば、式(2)の値(10/30=33%)から音声検出値Vは33となる。
【0060】
キーボード入力解析部14がステップS106において非打鍵検出値Kを算出する処理の詳細を説明する。会議中にキーボード入力が多い場合、ユーザが会議の内容とは別の作業を実施している場合がある。そのため、会議中にキーボード入力が多い場合には会議に対するユーザの理解度が低いと定義する。一方、キーボード入力が少ない場合には会議に対するユーザの理解度が高いと定義する。
【0061】
キーボード入力解析部14は、入力データに基づいてキーボード33の状態を監視する。1秒以上キーボード入力がなければ、キーボード入力解析部14はキーボード33の状態が「キーボード非入力」状態であると判断し、時間の計測を開始する。次にキーボード入力を検出したとき、キーボード入力解析部14は時間の計測を終了する。キーボード入力解析部14は、会議の経過時間に対し、この「キーボード非入力」状態の累計時間の割合を非打鍵検出値Kとして算出する。非打鍵検出値Kは、以下の式(3)で表される。
【0062】
【数2】
【0063】
例えば、30分の会議において、ユーザがキーボード入力を行っている時間が20分であれば、ユーザがキーボード入力を行っていない時間は10分である。この場合、式(3)の値(10/30=33%)から非打鍵検出値Kは33となる。
【0064】
理解度算出部16は、感情分析値Eを感情分析部12から受信し、音声検出値Vを発言量解析部13から受信し、非打鍵検出値Kをキーボード入力解析部14から受信する。理解度算出部16は、感情分析値E、音声検出値V、および非打鍵検出値Kを1つの測定値ベクトルとして表し、測定値ベクトルの絶対値を測定値Mとして算出する(ステップS107)。測定値Mは、以下の式(4)で表される。
【0065】
【数3】
【0066】
会議参加者の予備知識は、役職が高くなるほど多いと想定される。そのため、理解度算出部16は、上記のように算出した測定値Mに対して、社員の属性に応じて補正を行う。本実施形態では、理解度算出部16は社員の属性として社員の役職を使用する。
【0067】
ユーザ識別部11は、DBサーバ2の社員情報DB21にアクセスする。ユーザ識別部11は、Web会議に参加している各ユーザのIDを保持しており、そのIDをDBサーバ2に送信する。DBサーバ2は、ユーザ識別部11から受信したIDを持つユーザの役職を社員情報DB21から取得し、その役職をユーザ識別部11に送信する(ステップS211)。ユーザ識別部11は、DBサーバ2が送信した役職を受信し、その役職と上記のIDとを理解度算出部16に送信する(ステップS111)。
【0068】
理解度算出部16は、DBサーバ2の理解度DB22にアクセスする。このとき、理解度算出部16は、ユーザ識別部11から受信したIDをDBサーバ2に送信する。DBサーバ2は、理解度算出部16から受信したIDを持つユーザの理解度を理解度DB22から取得し、その理解度をユーザ識別部11に送信する(ステップS212)。理解度算出部16は、DBサーバ2が送信した理解度を受信する(ステップS112)。
【0069】
理解度DB22は、理解度算出部16が前回算出した理解度を保持する。理解度算出部16が理解度を最初に算出する前、理解度DB22が保持する理解度は初期値(例えば0)である。
【0070】
理解度算出部16は、会議開始後の初回のみ、測定値Mに対して、役職に応じた役職補正値Cを加算する。理解度算出部16は、補正値Cを加算した測定値Mに対して、さらに前回の理解度を加算することにより、各ユーザの判定用理解度Jを算出する(ステップS113)。
【0071】
判定用理解度Jは、前回の理解度Pt-1、今回の測定値M、役職補正値C(初回のみ)を使用することにより、以下の式(5)で表される。
=Pt-1+M+C(初回のみ) ・・・(5)
【0072】
理解度算出部16は、判定用理解度Jに基づいて、質問を行う対象ユーザを決定する。具体的には、理解度算出部16は、会議に参加している全てのユーザの判定用理解度の中央値に倍率を掛けることにより閾値Thを算出する。例えば、倍率は0.7倍であるが、これに限らない。理解度算出部16は、閾値Thを決定し、判定用理解度Jが閾値Th未満であるユーザを対象ユーザとして選択する。理解度算出部16は、対象ユーザのユーザ端末3を識別する情報を質問送信部18に送信する(ステップS114)。
【0073】
発言量解析部13は、ユーザ端末3から受信した音声データに対して音声認識を実行し、音声データを文字列データに変換する。その後、発言量解析部13は、各単語の登場回数を5分間隔でカウントし、5分の期間において登場回数が最も多い単語(頻出単語)を抽出する。発言量解析部13は、会議に参加している全てのユーザのユーザ端末3から受信した音声データを使用することにより、この処理を実行する。頻出単語は、会議に参加している全てのユーザの発話において登場回数が最も多い単語である。発言量解析部13は、抽出した頻出単語を質問生成部17に送信する(ステップS115)。
【0074】
質問生成部17は、図11に示す処理を実行することにより、質問データおよび正解データを生成する(ステップS116)。図11を参照し、ステップS116の詳細を説明する。
【0075】
質問生成部17は、DBサーバ2の単語DB23にアクセスする。このとき、質問生成部17は、発言量解析部13から受信した頻出単語をDBサーバ2に送信する(ステップS1161)。DBサーバ2は、質問生成部17から受信した頻出単語の意味を単語DB23から取得し、その意味を質問生成部17に送信する(図9のステップS213)。
【0076】
質問生成部17は、DBサーバ2が送信した意味を受信する。質問生成部17は、発言量解析部13から受信した頻出単語と、DBサーバ2から受信した意味とを使用し、質問データを予め定められた定型文で生成する。質問生成部17は、生成AI(Artificial Intelligence)を使用することにより質問データを生成してもよい。また、質問生成部17は、DBサーバ2から受信した意味を使用することにより、質問の正解データを生成する。質問生成部17は、質問データを質問送信部18に送信し、正解データと、質問データを生成するために使用された頻出単語の意味とを回答処理部15に送信する(ステップS1162)。
【0077】
例えば、上記の定型文は「〇〇(頻出単語)とは、××(単語の意味)です。」というような文字列であり、Web会議を実施する組織に応じて定型文を変更または追加してもよい。ユーザが会議中に簡単に質問に対応できるようにするために、質問は「はい」または「いいえ」の2択で回答できるクローズ質問である。質問生成部17は、質問データを生成する際に「××(単語の意味)」として、50%の確率で単語DB23上の他の単語の意味を使用する。正解データは「××(単語の意味)」として頻出単語の意味を使用したか否かを示す真偽型のデータである。
【0078】
図10を参照し、ステップS116以降のWeb会議システム100の動作を説明する。質問送信部18は、質問を送信する対象ユーザのユーザ端末3の情報を理解度算出部16から受信し、質問データを質問生成部17から受信する。質問送信部18は、質問データを対象ユーザのユーザ端末3の質問回答部34に送信する(ステップS121)。
【0079】
質問回答部34は、質問送信部18が送信した質問データを受信し、質問と2択の回答用ボタンとをディスプレイ309に表示する(ステップS321)。ユーザは質問に対して「はい」または「いいえ」で回答する。ユーザが2択の回答用ボタンを押下したとき、質問回答部34はユーザの回答を示す回答データを生成し、回答データをWeb会議サーバ1の回答処理部15に送信する(ステップS322)。回答処理部15は、回答データを受信する(ステップS122)。
【0080】
回答処理部15は、質問回答部34から受信した回答データと質問生成部17から受信した正解データとを比較し、正誤データを生成する。正誤データは、真偽値データである。つまり、回答データと正解データとが一致すれば正誤データは真を示し、回答データと正解データとが一致しなければ正誤データは偽を示す。回答処理部15は、正誤データを理解度算出部16に送信する(ステップS123)。
【0081】
理解度算出部16は、正誤データを回答処理部15から受信し、正誤データに基づいてユーザの理解度を更新する(ステップS124)。
【0082】
図12を参照し、理解度算出部16が理解度を更新する処理の例を説明する。この例では、2つのユーザ端末3があり、一方のユーザ端末3のユーザ(日電五郎さん)は質問に正しく回答し、他方のユーザ端末3のユーザ(日電六郎さん)は質問に対して、誤った回答を行う。回答処理部15は、2つのユーザ端末3の質問回答部34から送信された回答データを受信する。
【0083】
回答処理部15は、質問生成部17が送信した正解データと、質問回答部34から送信された回答データとを比較し、正誤データを生成する。その後、回答処理部15は、正誤データを理解度算出部16に送信する。日電五郎さんの判定用理解度は、例えば30であり、日電六郎さんの判定用理解度は、例えば20である。
【0084】
理解度算出部16は、正誤データを回答処理部15から受信する。理解度算出部16は、質問を送信した対象ユーザの判定用理解度を補正することにより、理解度を算出する。理解度Pは、判定用理解度Jおよび質問補正値Qを使用することにより、以下の式(6)で表される。
=J+Q ・・・(6)
【0085】
正誤データが真である場合、理解度算出部16は判定用理解度Jに1以上の質問補正値Qを加算する。正誤データが偽である場合、理解度算出部16は判定用理解度Jを変化させない。図12に示す例では、日電五郎さんは質問に正解したため、理解度Pは判定用理解度J(例えば30)と質問補正値Q(例えば10)との和(40)である。また、図12に示す例では、日電六郎さんは質問に正解しなかったため、理解度Pは判定用理解度J(例えば20)と同じである。この例では、質問補正値Qは10であるが、利用シーンに応じて変更してもよい。
【0086】
上記の例では、質問に正解しなかったユーザの理解度は判定用理解度から変化しない。理解度算出部16は、質問に正解しなかったユーザの判定用理解度を減少させることにより理解度を算出してもよい。
【0087】
図10を参照し、ステップS124以降のWeb会議システム100の動作を説明する。理解度算出部16は、DBサーバ2の理解度DB22にアクセスする。このとき、理解度算出部16は、ユーザ識別部11から受信したIDと、ステップS124において算出した理解度とをDBサーバ2に送信する(ステップS125)。DBサーバ2は、理解度算出部16から受信したIDを持つユーザの理解度を理解度DB22から検索し、その理解度を理解度算出部16から受信した理解度で更新する(ステップS221)。
【0088】
回答処理部15は、正誤データおよび頻出単語の意味をユーザ端末3の質問回答部34に送信する(ステップS126)。質問回答部34は、正誤データおよび頻出単語の意味を受信し、ユーザの回答が正しいか否かと、頻出単語の意味とをディスプレイ309に表示する(ステップS323)。
【0089】
回答処理部15は、ユーザの回答が正しいであるか否かにかかわらず頻出単語の意味を質問回答部34に送信してもよい。あるいは、回答処理部15は、ユーザの回答が正しいときには頻出単語の意味を質問回答部34に送信せず、ユーザの回答が誤っているときには頻出単語の意味を質問回答部34に送信してもよい。
【0090】
Web会議システム100の動作の具体例を説明する。複数人で構成されるWeb会議が開催される。各ユーザ端末3は、映像データ、音声データ、および入力データをWeb会議サーバ1に送信する。Web会議サーバ1は、各ユーザ端末3から受信した映像データ、音声データ、および入力データに基づいて判定用理解度を算出する。
【0091】
Web会議サーバ1は、各ユーザの判定用理解度から閾値を決定し、判定用理解度が閾値以上のユーザに対しては何もせず、判定用理解度が閾値未満のユーザに対して、会議に登場する単語に関する質問を実施する。質問されたユーザは「はい」または「いいえ」で回答を行う。ユーザの回答が正しい場合にはWeb会議サーバ1はそのユーザの理解度を算出し、DBサーバ2の理解度DB22に保存する。
【0092】
以下の例では、Web会議サーバ1は、判定用理解度を算出した後、ユーザ端末3への質問データの送信と、ユーザの回答結果に応じた理解度の算出とを含む処理ループを会議開始から5分間隔で実施する。以下では、会議開始から15分が経過するまでの流れを示す。
【0093】
まず、新人の日電Aさん、主任の日電Bさん、および事業部長の日電Cさんの3人が参加するWeb会議が開催される。各ユーザ端末3は、映像データ、音声データ、および入力データをWeb会議サーバ1に送信する。Web会議サーバ1は、各ユーザ端末3から受信した映像データ、音声データ、および入力データに基づいて測定値を算出し、測定値と各ユーザの属性とに基づいて判定用理解度を算出する。
【0094】
図13は、会議開始から5分が経過した後であって、Web会議サーバ1が質問データをユーザ端末3に送信する前の時点における各ユーザの理解度の例を示す。図13は、この時点における各ユーザの氏名N10、前回の理解度P10、今回の測定値M10、役職補正値C10、および判定用理解度J10を示す。
【0095】
会議開始から5分が経過した時点では理解度算出部16が初めて判定用理解度を算出するため、前回の理解度P10は0である。理解度算出部16は、感情分析値E、音声検出値V、および非打鍵検出値Kに基づいて測定値M10を算出する。
【0096】
感情分析部12は、ユーザ端末3のカメラ31が生成した映像データを分析し、感情分析値Eを算出する。感情分析値Eは、会議開始からt分が経過した時点の感情分析値である。日電Aさんの感情分析をEtAで表し、以下の説明における記号もこれと同様に表す。
【0097】
以下では、日電Aさんの感情分析値EtAを説明する。日電Aさんの感情は以下のように表される。
日電Aさん:[喜び:10%、信頼:5%、恐れ:2%、驚き:5%、悲しみ:60%、嫌悪:10%、怒り:3%、期待:5%]
【0098】
上記の感情を式(1)に適用する。
ポジティブな感情:喜び(10%)+信頼(5%)=15
中立の感情:驚き(5%)+期待(5%)=10
ネガティブな感情:悲しみ(60%)+嫌悪(10%)+怒り(3%)+恐れ(2%)=75
感情分析値=100×15/100+50×10/100+0×75/100=20
【0099】
上記により、会議開始から5分が経過した時点における感情分析値E5Aは20となる。
【0100】
発言量解析部13は、ユーザ端末3のマイク32が生成した音声データに基づいて発言量を解析し、音声検出値Vを算出する。図14を参照し、発言量解析部13が発言量を解析する処理について説明する。
【0101】
図14は、音声データの例を示す。図14の横方向は時間を示し、図14の縦方向は音声の振幅を示す。音声データは、各時刻においてユーザが発した音量を示す。日電Aさんの2回の発話時間(マイク32のミュート解除時間)の合計は2分であり、会議経過時間は5分である。これらを式(2)に適用することにより、音声検出値V5Aは40(=2/5)となる。
【0102】
キーボード入力解析部14は、ユーザ端末3のキーボード33が生成した入力データに基づいてユーザの入力頻度を解析し、非打鍵検出値Kを算出する。図15を参照し、キーボード入力解析部14がユーザの入力頻度を解析する処理について説明する。
【0103】
図15は、ユーザのキーボード入力の例を示す。図15の横方向は時間を示す。音声データは、各時刻においてユーザが入力した文字を示す。日電Aさんのキーボード非入力時間の合計(2分)と会議経過時間(5分)とを式(3)に適用することにより、非打鍵検出値K5Aは40(=2/5)となる。
【0104】
理解度算出部16は、感情分析値E、音声検出値V、および非打鍵検出値Kを1つの測定値ベクトルとして表し、測定値ベクトルの絶対値を測定値Mとして算出する。具体的には、理解度算出部16は、日電Aさんの感情分析値E5A、音声検出値V5A、および非打鍵検出値K5Aを式(4)に適用することにより測定値M5Aを算出する。理解度算出部16は、日電Bさんおよび日電Cさんについても上記と同様の処理を実行する。
【0105】
日電Aさん、日電Bさん、および日電Cさんのそれぞれの測定値ベクトルおよび測定値を以下に示す。
日電Aさんの測定値ベクトル:[20,40,40]、測定値M5A:60
日電Bさんの測定値ベクトル:[90,42,68]、測定値M5B:120
日電Cさんの測定値ベクトル:[20,18,30]、測定値M5C:40
【0106】
理解度算出部16は、上記のように算出した測定値に対して、初回のみ役職補正値Cを加算する。理解度算出部16は、各ユーザの役職をDBサーバ2の社員情報DB21から取得し、その役職の補正値を決定する。
【0107】
図16は、社員情報DB21が保持する社員情報における社員名212および役職213の例を示す。理解度算出部16は、日電Aさん、日電Bさん、および日電Cさんのそれぞれの社員名212と関連付けられている役職213を取得する。日電Aさんの役職213は新人であり、日電Bさんの役職213は主任であり、日電Cさんの役職213は事業部長である。
【0108】
図17は、役職ごとの補正値の例を示す。役職T10に対して補正値C11が予め関連付けられている。理解度算出部16は、日電Aさん、日電Bさん、および日電Cさんのそれぞれの役職T10と関連付けられている補正値C11を参照する。新人である日電Aさんの補正値C11は5であり、主任である日電Bさんの補正値C11は20であり、事業部長である日電Cさんの補正値C11は200である。これらの補正値C11は、図13に示す役職補正値C10と同じである。
【0109】
理解度算出部16は、前回の理解度Pt-1、今回の測定値M、および役職補正値Cを式(5)に適用することにより、判定用理解度Jを算出する。3人の判定用理解度Jを以下に示す。
日電Aさん:前回の理解度P0A(0)+今回の測定値M5A(60)+役職補正値C(5)=65
日電Bさん:前回の理解度P0B(0)+今回の測定値M5B(120)+役職補正値C(20)=140
日電Cさん:前回の理解度P0C(0)+今回の測定値M5C(40)+役職補正値C(200)=240
【0110】
理解度算出部16は、会議に参加している全てのユーザの判定用理解度の中央値に倍率を掛けることにより閾値Thを算出する。この例では、倍率は0.7倍である。したがって、閾値Thは、日電Bさんの判定用理解度(140)を0.7倍した98となる。
【0111】
理解度算出部16は、判定用理解度Jが閾値Th未満であるユーザを、質問を送信する対象ユーザとして選択する。日電Aさんの判定用理解度(65)は閾値Th(98)よりも小さいため、質問を送信する対象ユーザは日電Aさんとなる。Web会議サーバ1は、質問データを日電Bさんおよび日電Cさんのユーザ端末3に送信しない。
【0112】
質問生成部17は、頻出単語の意味をDBサーバ2の単語DB23から取得する。図18は、単語DB23が保持する単語情報における単語232および意味233の例を示す。頻出単語が「UcaaS」である場合、質問生成部17は「UcaaS」と関連付けられている意味233を取得する。質問生成部17は、頻出単語とその意味とを生成AIとを使用することにより、質問データを生成する。また、質問生成部17は正解データを生成する。
【0113】
質問データ、正解データ、および頻出単語の意味の例を以下に示す。
質問データ:「UCaaSとは、クラウドコンピューティングのうちの1つで、仮想化技術を利用してハードウェアリソース(CPU/メモリ/ストレージ)などのデジタルインフラをインターネット経由でオンデマンドで提供するサービスです。」
正解データ:『いいえ』
頻出単語の意味:「UCaaSとは、企業が業務上必要とするすべてのコミュニケーションを一つのソリューションに統合し、単一のベンダーがクラウド上でホストするクラウドベースのソリューションです。」
【0114】
質問生成部17は、質問データを質問送信部18に送信し、正解データと、質問データを生成するために使用された頻出単語の意味とを回答処理部15に送信する。質問送信部18は、対象ユーザである日電Aさんのユーザ端末3の質問回答部34に質問データを送信する。質問回答部34は、質問送信部18が送信した質問データを受信し、質問と回答用ボタンとをディスプレイ309に表示する。
【0115】
図19は、ユーザ端末3のディスプレイ309の画面の例を示す。ディスプレイ309は、質問QU10、「はい」ボタンB10、および「いいえ」ボタンB11を画面SC10上に表示する。
【0116】
例えば、日電Aさんは、質問に対する回答として「いいえ」を選択するために「いいえ」ボタンB11を押下する。質問回答部34は、「いいえ」を示す回答データをWeb会議サーバ1の回答処理部15に送信する。回答処理部15は、正解データと回答データとを比較し、正誤データを生成する。
【0117】
回答処理部15は、正誤データおよび頻出単語の意味をユーザ端末3の質問回答部34に送信する。質問回答部34は、正誤データおよび頻出単語の意味を受信し、ユーザの回答が正しいか否かと頻出単語の意味とをディスプレイ309に表示する。
【0118】
図20は、ユーザ端末3のディスプレイ309の画面の例を示す。ディスプレイ309は、ユーザの回答が正しいか否かを示す文字列CH10と、頻出単語の意味を示す文章TX10とを画面SC10上に表示する。日電Aさんは回答として「いいえ」を選択し、その回答が正しいため、文字列CH10は日電Aさんの回答が正しいことを示す。日電Aさんは文章TX10を確認することにより、会議の内容に関連する単語の理解を深めることができる。
【0119】
理解度算出部16は、判定用理解度Jおよび質問補正値Qを式(6)に適用することにより理解度Pを算出する。ユーザの回答が正しい場合、質問補正値Qは1以上である。この例では、質問補正値Qは10である。ユーザの回答が誤っている、または質問を実施していない場合、質問補正値Qは0である。
【0120】
日電Aさんの回答が正しかったため、理解度算出部16は質問補正値Q(10)を日電Aさんの判定用理解度J(65)に加算する。日電Bさんおよび日電Cさんに対しては質問を実施していないため、理解度算出部16は質問補正値Q(0)を日電Bさんおよび日電Cさんの判定用理解度Jに加算する。
【0121】
3人の判定用理解度Jを以下に示す。
日電Aさん:判定用理解度J5A(65)+質問補正値Q5A(10)=75
日電Bさん:判定用理解度J5B(140)+質問補正値Q5A(0)=140
日電Cさん:判定用理解度J5C(240)+質問補正値Q5A(0)=240
【0122】
図21は、会議開始から5分が経過し、Web会議サーバ1が各ユーザの回答を得た時点における各ユーザの理解度の例を示す。図21は、この時点における各ユーザの氏名N10、前回の理解度P10、今回の測定値M10、役職補正値C10、判定用理解度J10、質問補正値Q10、および理解度P11を示す。
【0123】
理解度算出部16は、上記のように算出した理解度をDBサーバ2に送信する。DBサーバ2は、理解度DB22における理解度を理解度算出部16から受信した理解度で更新する。
【0124】
図22は、会議開始から5分が経過し、更新された理解度DB22が保持する理解度情報における社員名222および理解度223の例を示す。日電Aさん、日電Bさん、日電Cさんの理解度は、それぞれ75、140、240である。
【0125】
理解度算出部16は、前述した処理を実行し、測定値Mを算出する。例えば、日電Aさん、日電Bさん、日電Cさんの測定値は、それぞれ90、110、40である。
【0126】
理解度算出部16は、前回の理解度Pt-1、今回の測定値M、および役職補正値Cを式(5)に適用することにより、判定用理解度Jを算出する。理解度算出部16は、会議開始後の初回のみ、役職補正値Cを測定値Mに加算するが、2回目以降は役職補正値Cを測定値Mに加算しない。
【0127】
3人の判定用理解度Jを以下に示す。
日電Aさん:前回の理解度P5A(75)+今回の測定値M10A(90)=165
日電Bさん:前回の理解度P5B(140)+今回の測定値M10B(110)=250
日電Cさん:前回の理解度P5C(240)+今回の測定値M10C(40)=280
【0128】
図23は、会議開始から10分が経過した後であって、Web会議サーバ1が質問データをユーザ端末3に送信する前の時点における各ユーザの理解度の例を示す。図23は、この時点における各ユーザの氏名N10、前回の理解度P11、今回の測定値M11、役職補正値C11、および判定用理解度J11を示す。
【0129】
前回の理解度P11は、会議開始から5分が経過した時点における理解度である。日電Aさん、日電Bさん、日電Cさんの理解度P11は、それぞれ75、140、240である。上記のように、日電Aさん、日電Bさん、日電Cさんの測定値M11は、それぞれ90、110、40である。2回目以降の理解度の算出において役職補正値C11は加算されない。上記のように、日電Aさん、日電Bさん、日電Cさんの判定用理解度J11は、165、250、280である。
【0130】
理解度算出部16は、会議に参加している全てのユーザの判定用理解度の中央値に倍率を掛けることにより閾値Thを算出する。この例では、倍率は0.7倍である。したがって、閾値Thは、日電Bさんの判定用理解度(250)を0.7倍した175となる。
【0131】
理解度算出部16は、判定用理解度Jが閾値Th未満であるユーザを、質問を送信する対象ユーザとして選択する。日電Aさんの判定用理解度(165)は閾値Th(175)よりも小さいため、質問を送信する対象ユーザは日電Aさんとなる。Web会議サーバ1は、質問データを日電Bさんおよび日電Cさんのユーザ端末3に送信しない。
【0132】
理解度算出部16は、判定用理解度Jおよび質問補正値Qを式(6)に適用することにより理解度Pを算出する。日電Aさんの回答が正しかったため、理解度算出部16は質問補正値Q(10)を日電Aさんの判定用理解度J(165)に加算する。日電Bさんおよび日電Cさんに対しては質問を実施していないため、理解度算出部16は質問補正値Q(0)を日電Bさんおよび日電Cさんの判定用理解度Jに加算する。
【0133】
3人の判定用理解度Jを以下に示す。
日電Aさん:判定用理解度J10A(165)+質問補正値Q10A(10)=175
日電Bさん:判定用理解度J10B(250)+質問補正値Q10A(0)=250
日電Cさん:判定用理解度J10C(280)+質問補正値Q10A(0)=280
【0134】
図24は、会議開始から10分が経過し、Web会議サーバ1が各ユーザの回答を得た時点における各ユーザの理解度の例を示す。図24は、この時点における各ユーザの氏名N10、前回の理解度P11、今回の測定値M11、役職補正値C11、判定用理解度J11、質問補正値Q11、および理解度P12を示す。
【0135】
理解度算出部16は、上記のように算出した理解度をDBサーバ2に送信する。DBサーバ2は、理解度DB22における理解度を理解度算出部16から受信した理解度で更新する。
【0136】
図25は、会議開始から10分が経過し、更新された理解度DB22が保持する理解度情報における社員名222および理解度223の例を示す。日電Aさん、日電Bさん、日電Cさんの理解度は、それぞれ175、250、280である。
【0137】
理解度算出部16は、前述した処理を実行し、測定値Mを算出する。例えば、日電Aさん、日電Bさん、日電Cさんの測定値は、それぞれ100、90、40である。
【0138】
理解度算出部16は、前回の理解度Pt-1、今回の測定値M、および役職補正値Cを式(5)に適用することにより、判定用理解度Jを算出する。理解度算出部16は、会議開始後の初回のみ、役職補正値Cを測定値Mに加算するが、2回目以降は役職補正値Cを測定値Mに加算しない。
【0139】
3人の判定用理解度Jを以下に示す。
日電Aさん:前回の理解度P10A(175)+今回の測定値M15A(100)=275
日電Bさん:前回の理解度P10B(250)+今回の測定値M15B(90)=340
日電Cさん:前回の理解度P10C(280)+今回の測定値M15C(40)=320
【0140】
図26は、会議開始から15分が経過した後であって、Web会議サーバ1が質問データをユーザ端末3に送信する前の時点における各ユーザの理解度の例を示す。図26は、この時点における各ユーザの氏名N10、前回の理解度P12、今回の測定値M12、役職補正値C11、および判定用理解度J12を示す。
【0141】
前回の理解度P12は、会議開始から10分が経過した時点における理解度である。日電Aさん、日電Bさん、日電Cさんの理解度P12は、それぞれ175、250、280である。上記のように、日電Aさん、日電Bさん、日電Cさんの測定値M12は、それぞれ100、90、40である。2回目以降の理解度の算出において役職補正値C11は加算されない。上記のように、日電Aさん、日電Bさん、日電Cさんの判定用理解度J12は、275、340、320である。
【0142】
理解度算出部16は、会議に参加している全てのユーザの判定用理解度の中央値に倍率を掛けることにより閾値Thを算出する。この例では、倍率は0.7倍である。したがって、閾値Thは、日電Cさんの判定用理解度(320)を0.7倍した224となる。
【0143】
理解度算出部16は、判定用理解度Jが閾値Th未満であるユーザを、質問を送信する対象ユーザとして選択する。3人の判定用理解度は閾値Th(175)よりも大きいため、Web会議サーバ1は、質問データを日電Aさん、日電Bさん、および日電Cさんのユーザ端末3に送信しない。
【0144】
理解度算出部16は、判定用理解度Jおよび質問補正値Qを式(6)に適用することにより理解度Pを算出する。日電Aさん、日電Bさん、および日電Cさんに対しては質問を実施していないため、理解度算出部16は質問補正値Q(0)を日電Aさん、日電Bさん、および日電Cさんの判定用理解度Jに加算する。
【0145】
3人の判定用理解度Jを以下に示す。
日電Aさん:判定用理解度J15A(275)+質問補正値Q15A(0)=275
日電Bさん:判定用理解度J15B(340)+質問補正値Q15A(0)=340
日電Cさん:判定用理解度J15C(320)+質問補正値Q15A(0)=320
【0146】
図27は、会議開始から15分が経過し、Web会議サーバ1が各ユーザの回答を得た時点における各ユーザの理解度の例を示す。図27は、この時点における各ユーザの氏名N10、前回の理解度P12、今回の測定値M12、役職補正値C11、判定用理解度J12、質問補正値Q12、および理解度P13を示す。
【0147】
理解度算出部16は、上記のように算出した理解度をDBサーバ2に送信する。DBサーバ2は、理解度DB22における理解度を理解度算出部16から受信した理解度で更新する。
【0148】
図28は、会議開始から15分が経過し、更新された理解度DB22が保持する理解度情報における社員名222および理解度223の例を示す。日電Aさん、日電Bさん、日電Cさんの理解度は、それぞれ275、340、320である。
【0149】
これ以降も、Web会議システム100は上記の処理と同様の処理を実行する。
【0150】
上記の例では、所定時間(5分)が経過するたびにWeb会議サーバ1は理解度を算出する。Web会議サーバ1は、理解度を算出する間隔を任意の時間に変更してもよい。
【0151】
本実施形態のWeb会議サーバ1は、Web会議において使用されている単語の理解を確認するための質問を、理解度が予め設定された基準よりも低いユーザのユーザ端末3に送信する。また、Web会議サーバ1は、ユーザの回答に基づいて単語に関する情報を生成し、理解度が基準よりも低いユーザのユーザ端末3にその情報を送信する。そのため、Web会議サーバ1は、Web会議に参加しているユーザの理解度を向上させることができる。
【0152】
Web会議サーバ1は、単語に関する質問を自動で実施する。そのため、ユーザが単語の意味を自ら自覚していない場合においても、Web会議サーバ1はユーザの理解度を向上させることができる。また、Web会議サーバ1は会議の進行を妨げずに質問を実施することができる。
【0153】
Web会議サーバ1は、理解度に応じて適切な頻度で質問を実施する。そのため、質問を定期的に実施するシステムと比較して、質問過多によるWeb会議の妨害が抑制される。
【0154】
Web会議サーバ1は、ユーザ端末3から取得したデータを解析した結果に基づいて理解度を算出した後、質問に対するユーザの回答に基づいて理解度を更新する。Web会議サーバ1は、Web会議の進行に応じて理解度をリアルタイムに更新することができる。
【0155】
Web会議サーバ1は、ユーザ端末3のカメラ31が生成した映像データに基づいてユーザの感情を解析する。Web会議サーバ1は、ユーザの感情に基づいて理解度を推定することができる。
【0156】
Web会議サーバ1は、ユーザ端末3のマイク32が生成した音声データに基づいてユーザの発言量を解析する。Web会議サーバ1は、ユーザの発言量に基づいて理解度を推定することができる。
【0157】
Web会議サーバ1は、ユーザ端末3の入力装置であるキーボード33が生成した入力データに基づいてユーザの入力頻度を解析する。Web会議サーバ1は、ユーザの入力頻度に基づいて理解度を推定することができる。
【0158】
<第2の実施形態>
以下、本開示に係る一実施形態について、図を用いて説明する。図29は、本実施形態のWeb会議システム100aの機能構成を示す。Web会議システム100aは、Web会議サーバ1と、DBサーバ2と、ユーザ端末3aとを備える。図1に示すWeb会議システム100におけるユーザ端末3はユーザ端末3aに変更される。ユーザ端末3aは、カメラ31と、マイク32と、キーボード33と、質問回答部34と、チャットシステム35とを備える。
【0159】
回答処理部15は、以下の追加された機能を有する。回答処理部15は、「質問」ボタン表示指示を質問回答部34に送信する。回答処理部15は、チャット投稿データおよびチャット投稿データ要約指示を質問回答部34から受信する。回答処理部15は、全てのユーザ端末3の質問回答部34から受信したチャット投稿データを単語の意味として解釈し、要約する。回答処理部15は、要約データを生成し、要約データを質問回答部34に送信する。回答処理部15は、編集済み要約データを質問回答部34から受信し、単語DB23に登録する。
【0160】
質問回答部34は、以下の追加された機能を有する。質問回答部34は、回答処理部15が送信した「質問」ボタン表示指示を受信し、「質問」ボタンをディスプレイ309に表示する。ユーザが「質問」ボタンを押下したとき、質問回答部34は会議に参加者しているユーザとのチャットを開始するためのチャット開始指示をチャットシステム35に送信する。質問回答部34は、チャットシステム35が送信したチャット投稿データおよびチャット投稿データ要約指示を受信し、チャット投稿データおよびチャット投稿データ要約指示を回答処理部15に送信する。質問回答部34は、回答処理部15が送信した要約データを受信し、要約データをチャットシステム35に送信する。質問回答部34は、チャットシステム35が送信した編集済み要約データを受信し、編集済み要約データを回答処理部15に送信する。
【0161】
チャットシステム35は、以下の機能を有する。チャットシステム35は、質問回答部34が送信したチャット開始指示を受信し、会議に参加者しているユーザとのチャットを開始する。チャットシステム35は、チャット上に文字情報を投稿し、投稿された文字情報を含むチャット投稿データを質問回答部34に送信する。チャットシステム35は、「単語登録」ボタンをディスプレイ309に表示する。ユーザが「単語登録」ボタンを押下したとき、チャットシステム35はチャット投稿データ要約指示を質問回答部34に送信する。
【0162】
チャットシステム35は、質問回答部34が送信した要約データを受信し、要約データをディスプレイ309に表示する。チャットシステム35は、要約データを編集するための「編集」ボタンをディスプレイ309に表示する。ユーザが「編集」ボタンを押下したとき、チャットシステム35は要約データを編集する。チャットシステム35は、編集済み要約データをDBサーバ2の単語DB23に登録するための「登録」ボタンをディスプレイ309に表示する。ユーザが「登録」ボタンを押下したとき、チャットシステム35は編集済み要約データを質問回答部34に送信する。
【0163】
質問生成部17は、図30に示す処理を実行することにより、質問データを生成する。図11は、図30に変更される。図30に示す処理の詳細を説明する。
【0164】
質問生成部17は、DBサーバ2の単語DB23にアクセスする。このとき、質問生成部17は、発言量解析部13から受信した頻出単語をDBサーバ2に送信する(ステップS1161)。
【0165】
DBサーバ2は、質問生成部17から受信した頻出単語を単語DB23において検索する。頻出単語が単語DB23に登録されている場合、DBサーバ2は頻出単語の意味を単語DB23から取得し、その意味を質問生成部17に送信する。頻出単語が単語DB23に登録されていない場合、DBサーバ2はその旨を示す情報を質問生成部17に送信する。
【0166】
質問生成部17は、DBサーバ2から受信した情報に基づいて、頻出単語が単語DB23に登録されているか否かを判断する。頻出単語の意味をDBサーバ2から受信した場合、質問生成部17は頻出単語が単語DB23に登録されていると判断する。頻出単語が単語DB23に登録されていないことを示す情報をDBサーバ2から受信した場合、質問生成部17は頻出単語が単語DB23に登録されていないと判断する(ステップS1163)。
【0167】
頻出単語が単語DB23に登録されている場合、質問生成部17は、発言量解析部13から受信した頻出単語と、DBサーバ2から受信した意味とを使用し、質問データを予め定められた定型文で生成する。また、質問生成部17は、DBサーバ2から受信した意味を使用することにより、質問の正解データを生成する。質問生成部17は、質問データを質問送信部18に送信し、正解データと、質問データを生成するために使用された頻出単語の意味とを回答処理部15に送信する(ステップS1162)。
【0168】
頻出単語が単語DB23に登録されていない場合、質問生成部17は、頻出単語が一般用語であるか社内用語であるかを判断する。質問生成部17は、インターネット上の情報を学習し自然言語を学習する生成AIを使用し、この判断を行う。質問生成部17は、頻出単語の意味を理解できるか否かを示す回答が「はい」または「いいえ」の2択となる質問を生成AIに実施する。
【0169】
生成AIへの質問は、例えば「〇〇という単語の意味を回答できるか、『はい』か『いいえ』で答えよ」(〇〇は頻出単語)のような形式を持つ。質問に使用する文言は、生成AIに適した文言に変更してもよい。生成AIの回答が「はい」である場合、質問生成部17は、頻出単語が一般用語であり、生成AIが頻出単語の意味を理解できると判断する。生成AIの回答が「いいえ」である場合、質問生成部17は、頻出単語が社内用語であり、生成AIが頻出単語の意味を理解できないと判断する(ステップS1164)。
【0170】
生成AIが頻出単語の意味を理解できる場合、生成AIは、インターネットを経由して取得した頻出単語の意味を質問生成部17に通知する。質問生成部17は、生成AIを使用することにより、質問データおよび正解データを生成する。質問生成部17は、質問データを質問送信部18に送信し、正解データと頻出単語の意味とを回答処理部15に送信する(ステップS1165)。
【0171】
生成AIが頻出単語の意味を理解できない場合、質問生成部17は以下の例に示す定型文で質問データを生成する。質問生成部17は、質問データを質問送信部18に送信する(ステップS1166)。定型文は利用シーンに応じて変更してもよい。
定型文:「○○(頻出単語)の意味、分かりますか?」
【0172】
生成AIが頻出単語の意味を理解できない場合、質問生成部17は正解データを生成せず、正解データおよび頻出単語の意味を回答処理部15に送信しない。この場合、回答処理部15は正解データおよび頻出単語の意味を保持しない。
【0173】
質問生成部17は、生成AIを使用せずに、頻出単語をインターネット上で検索してもよい。頻出単語を含むホームページまたはSNS(Social Networking Service)の投稿などが見つかった場合、質問生成部17はホームページまたはSNSの投稿などから頻出単語の意味を抽出してもよい。例えば、質問生成部17は、「○○(頻出単語)とは」という文字列を含む文章に続く文章を頻出単語の意味として取得してもよい。この場合、質問生成部17はステップS1165と同様の処理を実行してもよい。頻出単語を含むホームページまたはSNSの投稿などが見つからなかった場合、質問生成部17はステップS1166と同様の処理を実行してもよい。
【0174】
質問送信部18は、質問データをユーザ端末3の質問回答部34に送信する。質問回答部34は、質問送信部18が送信した質問データを受信し、質問と2択の回答用ボタンとをディスプレイ309に表示する。回答処理部15が正解データを保持している場合、図19に示す例と同様に、質問回答部34は、質問QU10、「はい」ボタンB10、および「いいえ」ボタンB11をディスプレイ309に表示する。
【0175】
図31は、回答処理部15が正解データを保持していない場合におけるユーザ端末3のディスプレイ309の画面の例を示す。ディスプレイ309は、質問QU11、「はい」ボタンB10、および「いいえ」ボタンB11を画面SC10上に表示する。質問QU11は、定型文を使用することにより生成した質問である。ユーザが「はい」ボタンB10または「いいえ」ボタンB11を押下したとき、質問回答部34は回答データを回答処理部15に送信する。回答処理部15は正誤データの代わりに回答データを理解度算出部16に送信する。
【0176】
理解度算出部16は、回答データに基づいてユーザの回答を判断する。ユーザが「はい」ボタンB10を押下した場合、理解度算出部16は判定用理解度Jに1以上の質問補正値Qを加算することにより理解度Pを算出する。ユーザが「いいえ」ボタンB11を押下した場合、理解度算出部16は判定用理解度Jを変化させず、そのまま理解度Pとして使用する。
【0177】
ユーザが「はい」ボタンB10を押下するか、「いいえ」ボタンB11を押下するかにかかわらず、回答処理部15は「質問」ボタン表示指示を質問回答部34に送信する。質問回答部34は、「質問」ボタン表示指示を受信し、「質問」ボタンをディスプレイ309に表示する。
【0178】
図32は、質問回答部34が「質問」ボタン表示指示を受信した場合におけるユーザ端末3のディスプレイ309の画面の例を示す。ディスプレイ309は、頻出単語の意味を示す文章TX11と、「閉じる」ボタンB12と、「質問」ボタンB13とを画面SC10上に表示する。
【0179】
回答処理部15が正解データを保持していない場合、回答処理部15は正誤データを生成しない。回答処理部15は、正誤データおよび頻出単語の意味を質問回答部34に送信する代わりに、定型文を質問回答部34に送信する。質問回答部34は、その定型文を文章TX11としてディスプレイ309に表示する。
【0180】
ユーザが「閉じる」ボタンB12を押下したとき、文章TX11、「閉じる」ボタンB12、および「質問」ボタンB13が消える。利用シーンに応じて、「閉じる」ボタンB12が表示されなくてもよい。ユーザが「質問」ボタンB13を押下したとき、質問回答部34はチャット開始指示をチャットシステム35に送信する。
【0181】
チャットシステム35は、チャット開始指示を質問回答部34から受信し、会議に参加者している全てのユーザを対象に、単語の意味を質問するためのチャットを開始する。図33は、チャットシステム35がチャットを開始した後のユーザ端末3のディスプレイ309の画面の例を示す。
【0182】
チャットシステム35は、「○○(単語)の意味を教えてください。」という投稿PS10を行う。投稿PS10に対し、他のユーザは単語に関する回答を投稿する(投稿PS11、PS12)。チャットシステム35は、このチャットに投稿したデータを適宜、質問回答部34に送信し、質問回答部34はそのデータをチャット投稿データとして回答処理部15に送信する。
【0183】
チャットが開始されたとき、チャットシステム35は「単語登録」ボタンB14をディスプレイ309に表示する。「質問」ボタンB13を押下したユーザは、他のユーザからの投稿から単語の意味を十分に把握できたと判断した場合、「単語登録」ボタンB14を押下する。ユーザが「単語登録」ボタンB14を押下したとき、チャットシステム35はチャット投稿データ要約指示を質問回答部34に送信する。
【0184】
質問回答部34は、チャットシステム35が送信したチャット投稿データ要約指示を受信し、チャット投稿データ要約指示を回答処理部15に送信する。回答処理部15は、チャット投稿データ要約指示を受信し、生成AIを使用することにより、会議に参加している全てのユーザのチャット投稿データを単語の意味として解釈し、要約する。回答処理部15は、要約データを生成し、要約データを質問回答部34に送信する。要約データは、単語と、その単語の要約した意味とを含む。
【0185】
質問回答部34は、回答処理部15が送信した要約データを受信し、要約データをチャットシステム35に送信する。チャットシステム35は要約データを受信する。図34は、チャットシステム35が要約データを受信したときのユーザ端末3のディスプレイ309の画面の例を示す。
【0186】
ディスプレイ309は、要約データAB10、「編集」ボタンB15、および「登録」ボタンB16を画面SC10上に表示する。ユーザは、「編集」ボタンB15を押下することにより、要約データAB10を編集することができる。例えば、ユーザは、誤っている表現を修正する、または追加情報を加えることができる。ユーザが「登録」ボタンB16を押下したとき、チャットシステム35は要約データAB10に編集を加えた編集済み要約データを生成し、編集済み要約データを質問回答部34に送信する。編集済み要約データは、単語と、その単語の要約した意味とを含む。
【0187】
質問回答部34は、チャットシステム35が送信した編集済み要約データを受信し、編集済み要約データを回答処理部15に送信する。回答処理部15は、質問回答部34が送信した編集済み要約データを受信し、単語と、その単語の要約した意味とをDBサーバ2の単語DB23に登録する。これにより、Web会議システム100aは、登録された単語を次回以降の質問生成に活用することができる。
【0188】
Web会議システム100aの動作の具体例を説明する。複数人で構成されるWeb会議が開催される。各ユーザ端末3は、映像データ、音声データ、および入力データをWeb会議サーバ1に送信する。Web会議サーバ1は、各ユーザ端末3から受信した映像データ、音声データ、および入力データに基づいて判定用理解度を算出する。
【0189】
Web会議サーバ1は、各ユーザの判定用理解度から閾値を決定し、判定用理解度が閾値以上のユーザに対しては何もせず、判定用理解度が閾値未満のユーザに対して、会議に登場する単語に関する質問を実施する。Web会議サーバ1は上記の処理を5分間隔で実行する。以下では、会議開始から5分が経過した時点と10分が経過した時点とにおいて、頻出単語が単語DB23に登録されていない場合の例を説明する。
【0190】
まず、新人の日電Aさん、主任の日電Bさん、および事業部長の日電Cさんの3人が参加するWeb会議が開催される。各ユーザ端末3は、映像データ、音声データ、および入力データをWeb会議サーバ1に送信する。Web会議サーバ1は、各ユーザ端末3から受信した映像データ、音声データ、および入力データに基づいて測定値を算出し、測定値と各ユーザの属性とに基づいて判定用理解度を算出する。
【0191】
Web会議の開始から5分が経過した時点において日電Aさんの判定用理解度が閾値未満となる。質問生成部17は、発言量解析部13から頻出単語として受信した「PaaS」に関する質問を生成するために、図30に示す処理を実行する。質問生成部17は、単語DB23にアクセスし、「PaaS」の意味の取得を試みる。「PaaS」の意味が単語DB23に登録されていないため、質問生成部17は、生成AIを使用することによりインターネットを経由して単語の意味を取得する。質問生成部17は、頻出単語とその意味と生成AIとを使用することにより、質問データを生成する。また、質問生成部17は正解データを生成する。
【0192】
質問データ、正解データ、および頻出単語の意味の例を以下に示す。
質問データ:「PaaSとは、クラウドコンピューティングのうちの1つで、仮想化技術を利用してハードウェアリソース(CPU/メモリ/ストレージ)などのデジタルインフラをインターネット経由でオンデマンドで提供するサービスです。」
回答データ:『いいえ』
頻出単語の意味:「PaaSとは、仮想化されたアプリケーションサーバやデータベースなど、アプリケーション実行用のプラットフォーム機能をインターネット上のサービスとして提供を行うもの」
【0193】
質問生成部17は、質問データを質問送信部18に送信し、正解データと、質問データを生成するために使用された頻出単語の意味とを回答処理部15に送信する。質問送信部18は、対象ユーザである日電Aさんのユーザ端末3の質問回答部34に質問データを送信する。質問回答部34は、質問送信部18が送信した質問データを受信し、質問と回答用ボタンとをディスプレイ309に表示する。
【0194】
図35は、ユーザ端末3のディスプレイ309の画面の例を示す。ディスプレイ309は、質問QU12、「はい」ボタンB10、および「いいえ」ボタンB11を画面SC10上に表示する。
【0195】
例えば、日電Aさんは、質問に対する回答として「いいえ」を選択するために「いいえ」ボタンB11を押下する。質問回答部34は、「いいえ」を示す回答データをWeb会議サーバ1の回答処理部15に送信する。回答処理部15は、正解データと回答データとを比較し、正誤データを生成する。
【0196】
回答処理部15は、正誤データおよび頻出単語の意味をユーザ端末3の質問回答部34に送信する。質問回答部34は、正誤データおよび頻出単語の意味を受信し、ユーザの回答が正しいか否かと頻出単語の意味とをディスプレイ309に表示する。
【0197】
理解度算出部16は、理解度を算出し、理解度をDBサーバ2に送信する。DBサーバ2は、理解度DB22における理解度を理解度算出部16から受信した理解度で更新する。
【0198】
Web会議の開始から10分が経過した時点において日電Aさんの判定用理解度が再度閾値未満となる。質問生成部17は、発言量解析部13から頻出単語として受信した「SV95」に関する質問を生成するために、図30に示す処理を実行する。質問生成部17は、単語DB23にアクセスし、「SV95」の意味の取得を試みる。「SV95」の意味は単語DB23に登録されてなく、かつ「SV95」はインターネット上に存在しない社内用語である。
【0199】
質問生成部17は、回答データを生成せず、『「SV95」の意味、分かりますか?』という定型文の質問データを質問送信部18に送信する。質問送信部18は、対象ユーザである日電Aさんのユーザ端末3の質問回答部34に質問データを送信する。質問回答部34は、質問送信部18が送信した質問データを受信し、質問と回答用ボタンとをディスプレイ309に表示する。
【0200】
例えば、日電Aさんは、質問に対する回答として「いいえ」を選択するために「いいえ」ボタンを押下する。質問回答部34は、「いいえ」を示す回答データをWeb会議サーバ1の回答処理部15に送信する。回答処理部15は回答データを受信し、回答データを理解度算出部16に送信する。ユーザが「いいえ」ボタンを押下したため、理解度算出部16は理解度を判定用理解度で更新する。
【0201】
回答処理部15は「質問」ボタン表示指示を質問回答部34に送信する。質問回答部34は、「質問」ボタン表示指示を受信し、「質問」ボタンをディスプレイ309に表示する。
【0202】
日電Aさんが「質問」ボタンを押下したとき、質問回答部34はチャット開始指示をチャットシステム35に送信する。チャットシステム35はチャットを開始し、図33に示すように「SV95の意味を教えてください。」という投稿PS10を行う。投稿PS10に対し、他のユーザは単語に関する回答を投稿する(投稿PS11、PS12)。チャットシステム35は、このチャットに投稿したデータを適宜、質問回答部34に送信し、質問回答部34はそのデータをチャット投稿データとして回答処理部15に送信する。
【0203】
日電Aさんは、単語の意味を十分に把握できたとき、図33に示す「単語登録」ボタンB14を押下する。ユーザが「単語登録」ボタンB14を押下したとき、チャットシステム35はチャット投稿データ要約指示を質問回答部34に送信する。
【0204】
質問回答部34は、チャット投稿データ要約指示を回答処理部15に送信する。回答処理部15は、チャット投稿データを要約し、要約データを生成する。回答処理部15は、要約データを質問回答部34に送信する。
【0205】
質問回答部34は、回答処理部15が送信した要約データを受信し、要約データをチャットシステム35に送信する。チャットシステム35は要約データを受信し、図34に示す要約データAB10、「編集」ボタンB15、および「登録」ボタンB16をディスプレイ309に表示する。
【0206】
日電Aさんは、「編集」ボタンB15を押下することにより要約データを編集できるが、編集の必要がないと判断し、編集を行わずに「登録」ボタンB16を押下する。日電Aさんが「登録」ボタンB16を押下したとき、チャットシステム35は要約データAB10に基づいて編集済み要約データを生成し、編集済み要約データを質問回答部34に送信する。
【0207】
質問回答部34は、編集済み要約データを回答処理部15に送信する。回答処理部15は、編集済み要約データが示す単語と、その単語の要約した意味とを単語DB23に登録する。
【0208】
図36は、単語DB23が保持する単語情報における単語232および意味233の例を示す。「SV95」を示す単語W10と、「SV95」の意味M10とが新たに登録される。
【0209】
上記のように、Web会議システム100は、会議内容に応じて単語DB23を構築することができる。会議の回数を重ねていくごとに単語DB23のデータが蓄積され、ユーザがチャットによる質問を行う回数が少なくなる。そのため、ユーザは、会議に登場する不明語をスムーズに理解することができ、会議の質が向上する。
【0210】
頻出単語が単語DB23に登録されていない場合、質問生成部17は、インターネットを経由して、頻出単語の意味を取得し、取得した意味に基づいて質問データを生成する。頻出単語が単語DB23に登録されてなくても、その意味をインターネット上の情報から取得できる場合には、Web会議サーバ1は会議の進行を妨げずに質問を実施することができる。
【0211】
<第3の実施形態>
以下、本開示に係る一実施形態について、図を用いて説明する。図37は、本実施形態の情報処理装置4の機能構成を示す。情報処理装置4は、データ解析手段41と、理解度算出手段42と、質問生成手段43と、質問送信手段44と、回答受信手段45と、回答処理手段46とを備える。データ解析手段41は、Web会議に参加しているユーザの反応を示す反応データを、ユーザがWeb会議で使用しているユーザ端末から受信し、反応データを解析する。理解度算出手段42は、データ解析手段41が反応データを解析した結果に基づいてユーザの理解度を算出する。質問生成手段43は、Web会議において使用されている単語の理解を確認するための質問を生成する。質問送信手段44は、理解度が予め設定された基準よりも低いユーザのユーザ端末に質問を送信する。回答受信手段45は、質問の回答をユーザ端末から受信する。回答処理手段46は、回答に基づいて単語に関する情報を生成し、理解度が基準よりも低いユーザのユーザ端末に情報を送信する。
【0212】
情報処理装置4は、上記の構成を備えることにより、Web会議に参加しているユーザの理解度を向上させることができる。
【0213】
以上、実施形態を参照して本開示を説明したが、本開示は上述の実施形態に限定されるものではない。本開示の構成や詳細には、本開示のスコープ内で当業者が理解し得る様々な変更をすることができる。そして、各実施の形態は、適宜他の実施の形態と組み合わせることができる。
【0214】
上記の実施形態は、教育分野で利用されてもよい。近年、学校または学習塾等の教育機関において、オンライン授業が普及している。オンライン授業では、Web会議システムを経由して、教員が遠隔地にいる生徒に対して授業を行う。オンライン授業の形式として、リアルタイムで双方向にやり取りを行うライブ配信型のほか、予め録画した授業を配信するオンデマンド型が存在する。
【0215】
例えば、上記の実施形態は、ライブ配信型のオンライン授業に利用可能である。ライブ配信型のオンライン授業は、基本的に1人の教員に対し複数の生徒で構成され、教員が全ての生徒を気にかける必要がある。しかし、授業の進行を妨げず、かつ時間の制限を受けながら、教員が各生徒のフォローを行うことは困難である。生徒は教員からフォローされないと授業についていけなくなる場合が存在する。上記の実施形態をオンライン授業に適用することにより、授業の理解度が向上し、教員および生徒にメリットがある。
【0216】
上記の実施形態の一部または全部は、以下の付記のようにも記載されうるが、以下には限らない。
【0217】
(付記1)
Web会議に参加しているユーザの反応を示す反応データを、前記ユーザが前記Web会議で使用しているユーザ端末から受信し、前記反応データを解析するデータ解析手段と、
前記反応データを解析した結果に基づいて前記ユーザの理解度を算出する理解度算出手段と、
前記Web会議において使用されている単語の理解を確認するための質問を生成する質問生成手段と、
前記理解度が予め設定された基準よりも低いユーザのユーザ端末に前記質問を送信する質問送信手段と、
前記質問の回答を前記ユーザ端末から受信する回答受信手段と、
前記回答に基づいて前記単語に関する情報を生成し、前記理解度が前記基準よりも低い前記ユーザの前記ユーザ端末に前記情報を送信する回答処理手段と、
を備える、
情報処理装置。
【0218】
(付記2)
前記理解度算出手段は、前記回答に基づいて前記理解度を更新する、
付記1に記載の情報処理装置。
【0219】
(付記3)
前記データ解析手段は、前記ユーザ端末が備えるカメラが生成した映像データを前記反応データとして受信し、前記映像データに基づいて前記ユーザの感情を解析する、
付記1または2に記載の情報処理装置。
【0220】
(付記4)
前記データ解析手段は、前記ユーザ端末が備えるマイクが生成した音声データを前記反応データとして受信し、前記音声データに基づいて前記ユーザの発言量を解析する、
付記1から3のいずれか1つに記載の情報処理装置。
【0221】
(付記5)
前記データ解析手段は、前記ユーザが前記ユーザ端末に入力した入力データを前記反応データとして受信し、前記入力データに基づいて前記ユーザの入力頻度を解析する、
付記1から4のいずれか1つに記載の情報処理装置。
【0222】
(付記6)
前記ユーザ端末が備えるマイクが生成した音声データを受信し、前記音声データに基づいて前記ユーザの発言に含まれる単語を抽出する単語抽出手段をさらに備え、
抽出された前記単語が、単語および当該単語の意味を保持するデータベースに登録されている場合、前記質問生成手段は、前記単語の前記意味に基づいて前記質問を生成する、
付記1から5のいずれか1つに記載の情報処理装置。
【0223】
(付記7)
抽出された前記単語が前記データベースに登録されていない場合、前記質問生成手段は、インターネットを経由して、前記単語の意味を取得し、取得した前記意味に基づいて前記質問を生成すると共に、前記データベースを更新する、
付記6に記載の情報処理装置。
【0224】
(付記8)
インターネットを経由して前記単語の意味を取得できない場合、前記回答処理手段は、前記ユーザ端末がチャットにて他ユーザから取得した前記単語の意味に基づいて、前記データベースを更新する、
付記7に記載の情報処理装置。
【0225】
(付記9)
付記1から8のいずれか1つに記載の情報処理装置と、
前記反応データおよび前記回答を前記情報処理装置に送信し、前記質問および前記情報を前記情報処理装置から受信する前記ユーザ端末と、
を備える、
情報処理システム。
【0226】
(付記10)
Web会議に参加しているユーザの反応を示す反応データを、前記ユーザが前記Web会議で使用しているユーザ端末から受信し、
前記反応データを解析し、
前記反応データを解析した結果に基づいて前記ユーザの理解度を算出し、
前記Web会議において使用されている単語の理解を確認するための質問を生成し、
前記理解度が予め設定された基準よりも低いユーザのユーザ端末に前記質問を送信し、
前記質問の回答を前記ユーザ端末から受信し、
前記回答に基づいて前記単語に関する情報を生成し、
前記理解度が前記基準よりも低い前記ユーザの前記ユーザ端末に前記情報を送信する、
情報処理装置の情報処理方法。
【0227】
(付記11)
前記回答に基づいて前記理解度を更新する、
付記10に記載の情報処理方法。
【0228】
(付記12)
前記ユーザ端末が備えるカメラが生成した映像データを前記反応データとして受信し、
前記映像データに基づいて前記ユーザの感情を解析する、
付記10または11に記載の情報処理方法。
【0229】
(付記13)
前記ユーザ端末が備えるマイクが生成した音声データを前記反応データとして受信し、
前記音声データに基づいて前記ユーザの発言量を解析する、
付記10から12のいずれか1つに記載の情報処理方法。
【0230】
(付記14)
前記ユーザが前記ユーザ端末に入力した入力データを前記反応データとして受信し、
前記入力データに基づいて前記ユーザの入力頻度を解析する、
付記10から13のいずれか1つに記載の情報処理方法。
【0231】
(付記15)
前記ユーザ端末が備えるマイクが生成した音声データを受信し、
前記音声データに基づいて前記ユーザの発言に含まれる単語を抽出し、
抽出された前記単語が、単語および当該単語の意味を保持するデータベースに登録されている場合、前記単語の前記意味に基づいて前記質問を生成する、
付記10から14のいずれか1つに記載の情報処理方法。
【0232】
(付記16)
抽出された前記単語が前記データベースに登録されていない場合、インターネットを経由して、前記単語の意味を取得し、
取得した前記意味に基づいて前記質問を生成すると共に、
前記データベースを更新する、
付記15に記載の情報処理方法。
【0233】
(付記17)
インターネットを経由して前記単語の意味を取得できない場合、前記ユーザ端末がチャットにて他ユーザから取得した前記単語の意味に基づいて、前記データベースを更新する、
付記16に記載の情報処理装置。
【0234】
(付記18)
コンピュータに、付記10から17のいずれか1つに記載の情報処理方法を実行させるためのプログラム。
【符号の説明】
【0235】
100,100a Web会議システム
1 Web会議サーバ
2 DBサーバ
3,3a ユーザ端末
4 情報処理装置
11 ユーザ識別部
12 感情分析部
13 発言量解析部
14 キーボード入力解析部
15 回答処理部
16 理解度算出部
17 質問生成部
18 質問送信部
21 社員情報DB
22 理解度DB
23 単語DB
31 カメラ
32 マイク
33 キーボード
34 質問回答部
35 チャットシステム
41 データ解析手段
42 理解度算出手段
43 質問生成手段
44 質問送信手段
45 回答受信手段
46 回答処理手段
【要約】
【課題】Web会議に参加しているユーザの理解度を向上させることができる情報処理装置、情報処理システム、情報処理方法、およびプログラムを提供する。
【解決手段】情報処理装置において、データ解析手段は、Web会議に参加しているユーザの反応を示す反応データを解析する。理解度算出手段は、前記反応データの解析結果に基づいて前記ユーザの理解度を算出する。質問生成手段は、単語の理解を確認するための質問を生成する。質問送信手段は、前記理解度が予め設定された基準よりも低いユーザのユーザ端末に前記質問を送信する。回答受信手段は、前記質問の回答を前記ユーザ端末から受信する。回答処理手段は、前記回答に基づいて前記単語に関する情報を生成し、前記理解度が前記基準よりも低い前記ユーザの前記ユーザ端末に前記情報を送信する。
【選択図】図37
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18
図19
図20
図21
図22
図23
図24
図25
図26
図27
図28
図29
図30
図31
図32
図33
図34
図35
図36
図37