2024-153494 会議管理装置、会議管理方法、及び会議管理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024153494

(43)【公開日】2024-10-29

(54)【発明の名称】会議管理装置、会議管理方法、及び会議管理プログラム

(51)【国際特許分類】

   G06Q 10/10 20230101AFI20241022BHJP

【ＦＩ】

G06Q10/10

【審査請求】未請求

【請求項の数】16

【出願形態】ＯＬ

(21)【出願番号】P 2023067427

(22)【出願日】2023-04-17

(71)【出願人】

【識別番号】000233055

【氏名又は名称】株式会社日立ソリューションズ

(74)【代理人】

【識別番号】110000176

【氏名又は名称】弁理士法人一色国際特許事務所

(72)【発明者】

【氏名】花香 大輝

【テーマコード（参考）】

5L010

5L049

【Ｆターム（参考）】

5L010AA11

5L049AA11

(57)【要約】

【課題】会議の参加者の健康状態を管理する。
【解決手段】会議中の参加者の各発言の音声データから変換された各テキストデータを記憶する記憶装置、及び、各テキストデータに基づき、参加者の負の感情の大きさを、各テキストデータについて算出するデータ分析処理と、算出した各負の感情の大きさが所定の傾向を示しているか否かを判定し、各負の感情の大きさの傾向が所定の傾向を示している場合に、会議中に警告を出力する警告処理と、を実行する制御装置を備える、会議管理装置。
【選択図】図２

【特許請求の範囲】

【請求項1】

会議中の参加者の各発言の音声データから変換された各テキストデータを記憶する記憶装置、及び、
前記各テキストデータに基づき、前記参加者の負の感情の大きさを、前記各テキストデータについて算出するデータ分析処理と、
前記算出した各負の感情の大きさが所定の傾向を示しているか否かを判定し、前記各負の感情の大きさの傾向が前記所定の傾向を示している場合に、前記会議中に警告を出力する警告処理と、
を実行する制御装置
を備える、会議管理装置。

【請求項2】

前記制御装置は、前記警告処理において、前記会議中に、所定大きさ以上の前記負の感情の大きさを所定の頻度以上で算出したか否かを判定し、前記所定大きさ以上の前記負の感情の大きさを前記所定の頻度以上で算出した場合に警告を出力する、
請求項１に記載の会議管理装置。

【請求項3】

前記制御装置は、
前記発言のタイミングでの前記参加者の画像を取得するデータ取得処理を実行し、
前記データ分析処理において、前記取得した画像の特徴を特定し、前記参加者の負の感情の大きさを、前記テキストデータと、前記特定した画像の特徴とに基づき算出する、
請求項１に記載の会議管理装置。

【請求項4】

前記制御装置は、前記警告処理において、前記会議を実行する前記会議実行システムにより表示されている前記会議の画面のうち前記参加者の表示領域に前記警告を出力する、
請求項１に記載の会議管理装置。

【請求項5】

会議中の参加者の各発言の音声データから変換された各テキストデータを記憶する記憶装置、及び、
前記各テキストデータに基づき、前記参加者の負の感情の大きさを、前記各テキストデータについて算出し、前記算出した前記各負の感情の大きさに基づき、前記会議全体における負の感情の大きさの総合評価を算出するデータ分析処理と、
前記算出した総合評価を出力する結果出力処理と、
を実行する制御装置
を備える、会議管理装置。

【請求項6】

前記制御装置は、
前記データ分析処理において、前記各負の感情の大きさが所定大きさの負の感情であった回数又は頻度を算出し、前記算出した回数又は頻度と、前記算出した前記各テキストデータとに基づき、前記総合評価を算出する、
請求項５に記載の会議管理装置。
を備える、会議管理装置。

【請求項7】

前記制御装置は、
前記発言のタイミングでの前記参加者の画像を取得するデータ取得処理を実行し、
前記データ分析処理において、前記取得した画像の特徴を特定し、前記参加者の負の感情の大きさを、前記テキストデータと、前記特定した画像の特徴とに基づき算出する、
請求項５に記載の会議管理装置。

【請求項8】

前記制御装置は、
前記データ分析処理において、前記テキストデータに基づき算出した前記負の感情の大きさが所定の負の大きさである場合にのみ、前記参加者の負の感情の大きさを、前記テキストデータと、前記特定した画像の特徴とに基づき算出する、
請求項７に記載の会議管理装置。

【請求項9】

前記制御装置は、
前記結果出力処理において、所定期間に行われた１又は複数の会議での各発言に係るテキストデータのうち、前記負の感情の大きさが所定の負の大きさであるテキストデータを出力する、
請求項５に記載の会議管理装置。

【請求項10】

前記制御装置は、
前記結果出力処理において、所定の大きさの前記負の感情の大きさである前記テキストデータに係る発言がなされた回数を、前記発言がなされた時間帯ごとに出力する、
請求項５に記載の会議管理装置。

【請求項11】

前記制御装置は、
前記結果出力処理において、前記負の感情の大きさが所定の大きさであった前記テキストデータに係る発言がなされた回数を、前記発言がなされた会議の属性ごとに出力する、
請求項５に記載の会議管理装置。

【請求項12】

前記制御装置は、
前記結果出力処理において、前記発言に係るテキストデータと、当該発言に係る前記画像の特徴とを対応付けて出力する、
請求項７に記載の会議管理装置。

【請求項13】

情報処理装置が、
会議中の参加者の各発言の音声データから変換された各テキストデータを記憶し、
前記各テキストデータに基づき、前記参加者の負の感情の大きさを、前記各テキストデータについて算出するデータ分析処理と、
前記算出した各負の感情の大きさが所定の傾向を示しているか否かを判定し、前記各負の感情の大きさの傾向が前記所定の傾向を示している場合に、前記会議中に警告を出力する警告処理と、
を実行する、会議管理方法。

【請求項14】

情報処理装置が、
会議中の参加者の各発言の音声データから変換された各テキストデータを記憶し、
前記各テキストデータに基づき、前記参加者の負の感情の大きさを、前記各テキストデータについて算出し、前記算出した前記各負の感情の大きさに基づき、前記会議全体における負の感情の大きさの総合評価を算出するデータ分析処理と、
前記算出した総合評価を出力する結果出力処理と、
を実行する、会議管理方法。

【請求項15】

情報処理装置に、
会議中の参加者の各発言の音声データから変換された各テキストデータを記憶させ、
前記各テキストデータに基づき、前記参加者の負の感情の大きさを、前記各テキストデータについて算出するデータ分析処理と、
前記算出した各負の感情の大きさが所定の傾向を示しているか否かを判定し、前記各負の感情の大きさの傾向が前記所定の傾向を示している場合に、前記会議中に警告を出力する警告処理と、
を実行させる、会議管理プログラム。

【請求項16】

情報処理装置に、
会議中の参加者の各発言の音声データから変換された各テキストデータを記憶させ、
前記各テキストデータに基づき、前記参加者の負の感情の大きさを、前記各テキストデータについて算出し、前記算出した前記各負の感情の大きさに基づき、前記会議全体における負の感情の大きさの総合評価を算出するデータ分析処理と、
前記算出した総合評価を出力する結果出力処理と、
を実行させる、会議管理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、会議管理装置、会議管理方法、及び会議管理プログラムに関する。

【背景技術】

【0002】

近年、社会情勢の変化やＩＴ（Information Technology）技術の発達により、在宅勤務を導入する企業が増加している。

【0003】

例えば、特許文献１には、オンライン会議を実現するための技術として、オンライン会議に関する会議情報に基づいて、オンライン会議の参加者の端末装置に出力される、オンライン会議を補完する補完情報をカスタマイズする生成部と、生成部によってカスタマイズされた補完情報を参加者の端末装置に出力するよう制御する出力制御部とを備える情報処理装置が開示されている。

【0004】

また、特許文献２には、オンライン会議の評価をリアルタイムに出力させるための技術として、感情データ取得部、分析データ生成部、および出力部を備え、感情データ取得部は、オンライン会議における参加者の会議中の顔画像データに基づき第１期間ごとに生成された感情データを、逐次に取得し、分析データ生成部が、少なくとも最新のものを含む感情データに基づいて、開催中のオンライン会議における第２期間についての評価に関する１つの分析値を示す分析データを生成し、出力部が、分析データ生成部で生成された分析データを逐次に出力する分析装置が開示されている。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２０２２－５６１０８号公報

【特許文献2】国際公開第２０２２／０７９７７４号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

このような技術を背景に、オンライン会議を通じて、企業による在宅勤務の勤怠管理もできるようになっている。一方で、企業による勤務者の健康状態の把握は難しくなっている。健康状態の把握には、勤務者に対する細やかな観察が必要であることが多い。したがって、オンライン会議の開催の機会が増え、勤務者同士が対面で接する機会が減少している状況では、企業が勤務者の健康状態の変化を察知することがより難しくなっている。

【0007】

本発明はこのような背景に鑑みてなされたものであり、その目的は、会議の参加者の健康状態を管理することが可能な会議管理装置、会議管理方法、及び会議管理プログラムを提供することにある。

【課題を解決するための手段】

【0008】

前記の課題を解決するための本発明の一つは、会議中の参加者の各発言の音声データから変換された各テキストデータを記憶する記憶装置、及び、前記各テキストデータに基づき、前記参加者の負の感情の大きさを、前記各テキストデータについて算出するデータ分析処理と、前記算出した各負の感情の大きさが所定の傾向を示しているか否かを判定し、前記各負の感情の大きさの傾向が前記所定の傾向を示している場合に、前記会議中に警告を出力する警告処理と、を実行する制御装置を備える、会議管理装置、である。

【0009】

前記の課題を解決するための本発明の他の一つは、会議中の参加者の各発言の音声データから変換された各テキストデータを記憶する記憶装置、及び、前記各テキストデータに基づき、前記参加者の負の感情の大きさを、前記各テキストデータについて算出し、前記算出した前記各負の感情の大きさに基づき、前記会議全体における負の感情の大きさの総合評価を算出するデータ分析処理と、前記算出した総合評価を出力する結果出力処理と、
を実行する制御装置を備える、会議管理装置、である。

【発明の効果】

【0010】

本発明によれば、会議の参加者の健康状態を管理することができることができる。

【図面の簡単な説明】

【0011】

【図1】本実施形態に係る会議システムの構成の一例を示す図である。

【図2】ユーザ装置が備えるハードウェア及びユーザ装置が有する機能の一例を説明する図である。

【図3】会議システムにおいて行われる会議支援処理の概要を説明するフロー図である。

【図4】分析対象データ生成処理の一例を説明するフロー図である。

【図5】表情点の算出方法の一例を説明する図である。

【図6】生成される発言履歴データの一例を示す図である。

【図7】生成される発言スコアデータの一例を示す図である。

【図8】警告判定処理の一例を説明するフロー図である。

【図9】会議進行画面の一例を示す図である。

【図10】ネガティブ発言レポート画面の一例を示す図である。

【図11】発言表情対応確認画面の一例を示す図である。

【図12】会議システムの他の構成の一例を示す図である。

【発明を実施するための形態】

【0012】

図１は、本実施形態に係る会議システム１の構成の一例を示す図である。会議システム１は、オンライン会議を実行する会議実行システム１０と、複数のユーザ装置２０（会議管理装置）とを含んで構成される。各ユーザ装置２０及び会議実行システム１０の間は、例えば、インターネット、ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）、又は専用線等の有線又は無線の通信ネットワーク５により接続される。

【0013】

ユーザ装置２０は、会議実行システム１０によって実現されるオンライン会議に参加する参加者が使用する情報処理装置である。各ユーザ装置２０は、オンライン会議に参加中の参加者が発した発言のデータ（音声のデータ）を取得し生成するマイク３０と、参加者の顔等の画像データ（動画データ）を取得し生成するカメラ４０とを備える。なお、マイク３０及びカメラ４０は、ユーザ装置２０からの指示により、その機能を無効又は有効にすることができる。

【0014】

会議実行システム１０は、各参加者によるオンライン会議の機能を実現する情報処理システムである。例えば、会議実行システム１０は、各ユーザ装置２０から、マイク３０及びカメラ４０に基づく音声データ及び画像データ（動画データ）をそれぞれ受信し、受信した音声データ及び画像データを全ユーザ装置２０に送信（共有）する。各ユーザ装置２０は、会議実行システム１０から受信した音声データ及び画像データに基づき、会議に参加中の各参加者の画像及び発言（音声）を出力する。なお、会議実行システム１０は、ユーザ装置２０からの指示により、音声データ及び画像データを出力しない（音声ミュート及び画像停止）ようにすることができる。

【0015】

図２は、ユーザ装置２０が備えるハードウェア及びユーザ装置２０が有する機能の一例を説明する図である。

【0016】

ユーザ装置２０は、ＣＰＵ（Central Processing Unit）などの制御装置２１（プロセッサ）と、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）等の記憶装置２２と、キーボード、マウス、タッチパネルなどからなる入力装置２３と、モニタ（ディスプレイ）等からなる、画面表示を行う出力装置２４と、ＮＩＣ（Network Interface Card）、無線通信モジュール、USB（Universal Serial Interface）モジュール、又はシリアル通信モジュール等で構成される通信装置２５とを備える。

【0017】

そして、ユーザ装置２０は、データ取得部２０１、データ分析部２０２、モニタリング部２０３、警告出力部２０４、及び結果出力部２０５の各機能部（プログラム）を記憶する。また、ユーザ装置２０は、会議音声画像データ５００、発言履歴データ６００、発言スコアデータ７００を記憶する。

【0018】

データ取得部２０１は、マイク３０及びカメラ４０から、会議中の参加者の音声データ及び画像データをそれぞれ取得し、会議音声画像データ５００に記憶する。なお、データ取得部２０１は、音声データ及び画像データをマイク３０及びカメラ４０から直接取得してもよいし、会議実行システム１０から受信してもよい。

【0019】

次に、データ分析部２０２は、音声解析部２０６、画像解析部２０７、及びスコア算出部２０８を備える。

【0020】

音声解析部２０６は、会議中の参加者の各発言の音声データをテキストデータに変換し、記憶する。

【0021】

画像解析部２０７は、画像データの画像の特徴を特定する。具体的には、画像解析部２０７は、参加者の顔の領域の部分の画像データの特徴量を算出する。

【0022】

スコア算出部２０８は、音声解析部２０６で変換したテキストデータと、このテキストデータに対応する、画像解析部２０７で特定した画像の特徴とに基づき、参加者の負の感情の大きさを、各テキストデータについて算出する。

【0023】

テキストデータに関して、本実施形態では、スコア算出部２０８は、テキストデータの種類（カテゴリ）を特定し、また、その種類に応じた点数（以下、音声点という）を算出する。スコア算出部２０８は、音声点を用いて、参加者の負の感情の大きさを表す点数（以下、感情点という）を算出する。

【0024】

また、画像の特徴に関して、本実施形態では、スコア算出部２０８は、画像解析部２０７で特定した画像の特徴から、参加者の表情の種類（カテゴリ）を特定し、また、その種類に応じた点数（以下、表情点という）を算出する。スコア算出部２０８は、この表情点と音声点とを用いて、感情点を算出する。

【0025】

さらに、スコア算出部２０８は、上記算出した各負の感情の大きさ（感情点）に基づき、会議全体における負の感情の大きさの総合評価を算出する。

【0026】

この際、スコア算出部２０８は、各負の感情の大きさが所定大きさの負の感情であった回数又は頻度を算出し、算出した回数又は頻度と、上記各テキストデータ及び画像に基づき、総合評価を算出する。

【0027】

本実施形態では、スコア算出部２０８は、上記回数を表す点数である累積点と、音声点及び表情点に基づく感情点とに基づき、総合評価を表す点数である感情総合点を算出するものとする。

【0028】

スコア算出部２０８は、これらの算出結果を発言履歴データ６００及び発言スコアデータ７００に記憶する。

【0029】

モニタリング部２０３は、データ分析部２０２で算出した各データを監視する。

【0030】

警告出力部２０４は、データ分析部２０２で算出した各負の感情の大きさが所定の傾向を示しているか否かを判定し、各負の感情の大きさの傾向が所定の傾向を示している場合に、会議中に警告を出力する。

【0031】

具体的には、警告出力部２０４は、会議中に、所定大きさ以上の負の感情の大きさを所定の頻度以上で算出した（本実施形態では、負の感情の大きさが大きい発言が所定回数以上連続している場合）か否かを判定し、所定大きさ以上の負の感情の大きさを所定の頻度以上で算出した場合に警告を出力する。

【0032】

結果出力部２０５は、データ分析部２０２で算出した総合評価（感情総合点）を出力する。

【0033】

また、結果出力部２０５は、所定期間に行われた１又は複数の会議での各発言に係るテキストデータのうち、負の感情の大きさが所定の負の大きさを超えたテキストデータを出力する。

【0034】

以上に説明した各情報処理装置の機能は、会議システム１における各情報処理装置のハードウェアによって、もしくは、各情報処理装置の制御装置２１が、記憶装置２２に記憶されている各プログラムを読み出して実行することにより実現される。また、これらのプログラムは、例えば、二次記憶デバイスや不揮発性半導体メモリ、ハードディスクドライブ、ＳＳＤなどの記憶デバイス、又は、ＩＣカード、ＳＤカード、ＤＶＤなどの、情報処理装置で読み取り可能な記録媒体に格納される。なお、会議システム１における各情報処理装置の全部または一部の機能は、例えば、クラウドシステムによって提供される仮想サーバのように、仮想化技術やプロセス空間分離技術等を用いて提供される仮想的な情報処理資源を用いて実現されるものであってもよい。また、これらの装置によって提供される機能の全部または一部は、例えば、クラウドシステムがＡＰＩ（Application Programming Interface）等を介して提供するサービスによって実現してもよい。
次に、会議システム１において行われる処理について説明する。

【0035】

図３は、会議システム１において行われる処理（会議支援処理）の概要を説明するフロー図である。会議支援処理は、例えば、会議実行システム１０により各参加者の会議が開始されたことを契機に開始される。

【0036】

各参加者のユーザ装置２０は、音声データ及び画像データに基づき、参加者の健康状態を推定するために必要なデータ（例えば、音声点、表情点、感情点、累積点、感情総合点のデータ）を生成する分析対象データ生成処理ｓ１０を実行する。分析対象データ生成処理ｓ１０は、所定のタイミング（例えば、所定の時刻、所定の時間間隔）で繰り返し実行される。

【0037】

また、各参加者のユーザ装置２０は、分析対象データ生成処理ｓ１０により生成された各データに基づき、参加者の健康状態に問題があるか否かを判定し、問題がある場合にはユーザ装置２０に警告を出力する警告判定処理ｓ３０を実行する。警告判定処理ｓ３０は、所定のタイミング（例えば、所定の時刻、所定の時間間隔）で繰り返し実行される。

【0038】

各参加者のユーザ装置２０は、会議実行システム１０による会議が終了したか否かを判定する（ｓ４０）。例えば、ユーザ装置２０は、会議実行システム１０との通信が終了したか否かを判定する。

【0039】

会議実行システム１０による会議が終了した場合は（ｓ４０：ＹＥＳ）、ユーザ装置２０はｓ５０の処理を実行し、会議実行システム１０による会議が終了していない場合は（ｓ４０：ＮＯ）、ユーザ装置２０は、分析対象データ生成処理ｓ１０及び警告判定処理ｓ３０の処理を続行する。

【0040】

ｓ５０においてユーザ装置２０は、これまでの分析対象データ生成処理ｓ１０の実行結果の情報を出力する結果出力処理ｓ５０を実行する。結果出力処理ｓ５０は、例えば、各会議の終了後、所定のタイミング（例えば、所定の時間間隔、又は参加者からユーザ装置２０に所定の入力がなされた場合）で実行される。
以下、各処理の詳細を説明する。

【0041】

＜分析対象データ生成処理＞
図４は、分析対象データ生成処理ｓ１０の一例を説明するフロー図である。

【0042】

データ取得部２０１は、会議音声画像データ５００における音声データのうち、これまでに分析対象データ生成処理ｓ１０で処理していない音声データ（例えば、最新の発言に係る音声データ）を取得する（ｓ１１）。

【0043】

データ分析部２０２は、ｓ１１で取得した音声データを解析してテキストデータに変換し、テキストデータを所定の処理単位（例えば、単語又はフレーズ等の意味のある単位。）に分割する。そして、データ分析部２０２は、各テキストデータに係るテキストの意味内容を特定する（ｓ１２）。

【0044】

例えば、データ分析部２０２は、音響モデル等を用いて音声データから各音素を抽出し、音声辞書等による各音素のパターンマッチングを行うことにより、音声をテキストに変換する。データ分析部２０２は、形態素解析等を行うことで、変換したテキストを処理単位に分割する。そして、データ分析部２０２は、各処理単位について、所定の言葉カテゴリデータベースを参照することで、その意味内容を特定する。

【0045】

本実施形態では、データ分析部２０２は、各処理単位のテキスト（音声）が表す感情の種類がそれぞれ、喜びを意味する「嬉しい」、悲しみを意味する「悲しい」、又はそれ以外のいずれであるかを特定するものとする。例えば、「悲しい」に属する処理単位の音声は、「つらい」又は「疲れた」である。なお、以下では、「悲しい」に係る処理単位のテキスト（又はこれに対応する音声）を、ネガティブ発言と称する。

【0046】

なお、テキストを所定の感情のカテゴリに分類する手法は、例えば、特開平１１－１４３８７５号公報に開示されている。

【0047】

また、データ分析部２０２は、会議音声画像データ５００に画像データが存在する場合は、その画像データのうち、これまでに分析対象データ生成処理ｓ１０で処理していない画像データ（例えば、最新の発言に係る画像データ）を取得する。そして、データ分析部２０２は、取得した画像データのうち、ｓ１２で処理した各処理単位の音声データに対応するタイミング（同じタイミングの）の各画像データを取得する（ｓ１３）。

【0048】

データ分析部２０２は、ｓ１３で取得した各画像データから、画像の特徴量（具体的には、参加者の顔の領域のデータの特徴量）を算出する（ｓ１４）。

【0049】

例えば、データ分析部２０２は、画像データのうち人間の顔の領域又は当該領域内の各部分（目、鼻、口等）を、パターンマッチングの処理又はニューラルネットワーク（Convolutional Neural Network：CNN等）による学習済みモデル等により特定し、当該領域又は各部分における画像データの特徴量を算出することにより、表情の種類を特定する。なお、画像データから顔の表情を判定する手法は、例えば、特開２００８－３１０７７５号公報に開示されている。

【0050】

本実施形態では、データ分析部２０２は、各処理単位の画像データが表す表情の種類がそれぞれ、喜びを意味する「Good」、悲しみを意味する「Bad」、又はそれ以外のいずれであるかを特定するものとする。

【0051】

なお、Ｓ１２及びＳ１４の処理に関して、単語又は文章を所定のカテゴリ（感情のカテゴリ等）に分類又は認識する手法は、例えば、特開２００４－３３４７６６号公報、特開２００５－２２２９４号公報に開示されている。また、音声データから感情を推定する方法は、例えば、特開２００２－９１４８２号公報に開示されており、この技術を用いてもよい。

【0052】

データ分析部２０２は、以上の処理の結果を発言履歴データ６００に登録する（ｓ１５）。

【0053】

次に、データ分析部２０２は、ｓ１２で特定した各処理単位の音声の種類及びｓ１４で特定した表情の種類に基づき、音声点、表情点、累積点、感情点、及び感情総合点を算出する（ｓ１６－１８）。

【0054】

具体的には、まず、データ分析部２０２は、各処理単位について、音声の種類に応じた音声点を算出する（ｓ１６）。本実施形態では、データ分析部２０２は、ｓ１２で特定した音声の種類が「悲しい」であれば音声点を１．０に設定し、ｓ１２で特定した音声の種類が「嬉しい」であれば音声点を０．０に設定する。なお、ここで説明した音声点の算出方法は一例である。

【0055】

次に、データ分析部２０２は、音声の種類及び表情の種類に応じた表情点を算出する（ｓ１７）。

【0056】

図５は、表情点の算出方法の一例を説明する図である。データ分析部２０２は、ｓ１２で特定した音声の種類が「悲しい」である場合、ｓ１４で特定した表情の種類が「Good」であれば表情点を０．５に設定し（符号５０１）、ｓ１４で特定した表情の種類が「Normal」であれば表情点を１．０に設定し（符号５０２）、ｓ１４で特定した表情の種類が「Bad」であれば表情点を２．０に設定する（符号５０３）。一方、データ分析部２０２は、ｓ１２で特定した音声の種類が「嬉しい」である場合、ｓ１４で特定した表情の種類がいずれであっても、表情点を０に設定する（符号５０４）。なお、ここで説明した表情点の算出方法は一例である。

【0057】

次に、図４に示すように、データ分析部２０２は、過去に同じ単語が発せられた回数に応じた累積点を算出する（ｓ１８）。

【0058】

具体的には、まず、データ分析部２０２は、発言履歴データ６００を参照し、各処理単位について、その処理単位のテキスト（単語）が現在進行中の会議中でこれまで発せられた回数（累積回数）を取得する。そして、データ分析部２０２は、特定した累積回数に応じた累積点を算出する。本実施形態では、データ分析部２０２は、累積回数に０．５を乗算することで累積点を算出するものとする。なお、ここで説明した累積点の算出方法は一例である。例えば、データ分析部２０２は、累積回数ではなく、過去に同じ単語が発せられた頻度に応じて累積点を算出するようにしてもよい。

【0059】

次に、データ分析部２０２は、各処理単位について、その音声の種類が「悲しい」であるか（音声点が１．０であるか）否かを判定する（ｓ１９）。音声の種類が「悲しい」である場合には（ｓ１９：ＹＥＳ）、データ分析部２０２は、その処理単位についてｓ２０の処理を実行し、音声の種類が「悲しい」でない場合には（ｓ１９：ＮＯ）、データ分析部２０２は、その処理単位についてｓ２１の処理を実行する。

【0060】

ｓ２０においてデータ分析部２０２は、その処理単位についての感情総合点を算出して発言スコアデータ７００に記憶し、分析対象データ生成処理ｓ１０は終了する。

【0061】

具体的には、データ分析部２０２は、ｓ１６、ｓ１７で算出した音声点及び表情点の乗算値（感情点）を算出し、算出した感情点に、ｓ１８で算出した累積点を加算することで、処理単位についての感情総合点を算出する。なお、ここでの音声点、表情点、及び累積点による感情総合点の算出方法は一例である。

【0062】

一方、ｓ２１においてデータ分析部２０２は、その処理単位についての感情総合点を０に設定して発言スコアデータ７００に記憶し、分析対象データ生成処理ｓ１０は終了する。

【0063】

（発言履歴データ）
図６は、生成される発言履歴データ６００の一例を示す図である。発言履歴データ６００は、参加者のＩＤが設定されるユーザＩＤ６０１、参加者が発した発言に係る処理単位の識別子（処理単位ＩＤ）が設定される単語ＩＤ６０２、その処理単位のテキストが設定される単語６０３、その処理単位の音声の種類が設定される音声種類６０４、その処理単位における発言者の表情の種類が設定される表情種類６０５、その処理単位の音声が発せられた日が設定される日付６０６、その処理単位の音声が発せられた時刻が設定される時間６０７、その処理単位の音声が発せられた会議の名称が設定される会議名６０８、その会議の種類又は属性が設定される会議タイプ６０９、及び、その処理単位に係る単語が連続して発せられた場合のその連続回数設定される連続回数６１０の各データ項目を有する。なお、発言履歴データ６００においては、同一の処理単位に対して複数の表情の種類が算出された場合は、その表情の種類のそれぞれに応じて複数のレコードが生成されるものとする。

【0064】

会議タイプ６０９は、例えば、会議の開催頻度、会議に参加する参加者の種類、会議で討論されるトピックの種類である。

【0065】

なお、連続回数６１０に関して、本実施形態では、連続して単語が発せられた場合とは、連続する文で単語が発せられた場合をいうものとするが、所定時間内に複数の単語が発せられた場合をいうものとしてもよい。

【0066】

（発言スコアデータ）
図７は、生成される発言スコアデータ７００の一例を示す図である。発言スコアデータ７００は、参加者のＩＤが設定されるユーザＩＤ７０１、会議の名称（種類又は属性）が設定される会議名７０２、その会議で参加者が発した発言に係る処理単位の識別子（処理単位ＩＤ）が設定される単語ＩＤ７０３、その処理単位のテキストが設定される単語７０４、その処理単位の音声が表す感情の種類が設定される音声種類７０５、その処理単位の音声が発せられたタイミングにおける発言者の表情の種類が設定される表情種類７０６、上記単語７０４及び上記表情種類７０６に係る発言が上記会議名７０２の会議中になされた累積回数が設定される累積回数７０７、処理単位に係る音声点が設定される音声点７０８、処理単位に係る表情点が設定される表情点７０９、累積回数に係る点数である累積点が設定される累積点７１０、及び、処理単位の感情総合点が設定される加算値７１１の各データ項目を有する。なお、発言スコアデータ７００においては、同一の処理単位に対して複数の表情の種類が算出された場合は、その表情の種類のそれぞれに応じて複数のレコードが生成されるものとする。

【0067】

＜警告判定処理＞
次に、図８は、警告判定処理ｓ３０の一例を説明するフロー図である。

【0068】

モニタリング部２０３は、発言履歴データ６００の更新を監視している。そして、警告出力部２０４は、発言履歴データ６００の更新を検知すると、その発言履歴データ６００を取得する（ｓ３１）。警告出力部２０４は、その発言履歴データ６００の各レコードの連続回数６１０を参照することにより、参加者が、所定回数（例えば、１０回）、その種類が「悲しい」（音声点が１．０）である発言を連続して行ったか否かを判定する（ｓ３２）。

【0069】

参加者が所定回数、その種類が「悲しい」である発言を連続して行った場合は（ｓ３２：ＹＥＳ）、警告出力部２０４はｓ３３の処理を実行し、参加者が所定回数、その種類が「悲しい」である発言を連続して行っていない場合は（ｓ３２：ＮＯ）、警告判定処理ｓ３０は終了する。

【0070】

ｓ３３において警告出力部２０４は、警告メッセージを生成する。例えば、警告メッセージは、参加者が上記発言を連続して行っていることを示すテキストを生成する。

【0071】

そして、警告出力部２０４は、ｓ３３で生成したメッセージを、ユーザ装置２０の、会議実行システム１０による会議の実行画面に表示する（ｓ３４）。以上で警告判定処理ｓ３０は終了する。

【0072】

（警告画面）
図９は、ユーザ装置２０の画面に表示される会議進行画面９００の一例を示す図である。同図に示すように、この会議進行画面９００には、会議実行システム１０による会議中の画面として、複数の参加者の画面９０１、９０２が表示されている。このうち、警告の対象である参加者に係る画面９０２の所定位置に、ｓ３４で生成された警告メッセージ９０３が表示されている。

【0073】

なお、このような警告メッセージ９０３が頻繁に表示されると、参加者にとって会議の支障となることがありうる。そこで、ユーザ装置２０は予め、ｓ３２における閾値を設定し、また、警告メッセージ９０３自体を表示しないようにする指示の入力を参加者から受け付けてもよい。

【0074】

（ネガティブ発言レポート画面）
次に、図１０は、結果出力処理ｓ４０において出力される画面の一例を示す図である。この画面（ネガティブ発言レポート画面１０００）は、所定の期間（例えば、参加者が指定した期間）に参加者が参加した会議における、ネガティブ発言の統計を表示した画面である。

【0075】

具体的には、ネガティブ発言レポート画面１０００は、感情総合点表示欄１０１０と、ネガティブ発言一覧表示欄１０２０と、時間帯別ネガティブ発言グラフ表示欄１０３０と、会議種類別ネガティブ発言グラフ表示欄１０４０とを有する。

【0076】

感情総合点表示欄１０１０には、上記所定の期間に参加者が参加した全会議の全発言に対する感情総合点の合計値が表示される。具体的には、結果出力部２０５は、発言スコアデータ７００を参照し、上記所定の期間に係る全レコードの加算値７１１を合計した値を、感情総合点表示欄１０１０に表示する。なお、感情総合点表示欄１０１０には、上記所定の期間の前の期間における感情総合点の合計値との比較値１０１１が表示されてもよい。

【0077】

ネガティブ発言一覧表示欄１０２０には、各会議で発言された音声１０２１（ネガティブ発言に係るテキスト）、その発言のタイミングでの参加者の表情の種類１０２２、そのタイミングの日時１０２３、及び会議名１０２４の一覧が表示される。

【0078】

時間帯別ネガティブ発言グラフ表示欄１０３０には、ネガティブ発言ごと及びネガティブ発言の時間帯ごとに、そのネガティブ発言が発せられた回数の合計値を示したグラフが表示される。

【0079】

会議種類別ネガティブ発言グラフ表示欄１０４０には、ネガティブ発言ごと及び会議の種類ごとに、そのネガティブ発言が発せられた回数の合計値を示したグラフが表示される。

【0080】

なお、ネガティブ発言レポート画面１０００の内容は、所定のファイルとして出力されてもよい。

【0081】

（発言表情対応確認画面）
次に、図１１は、結果出力処理ｓ４０において出力される画面の一例を示す図である。この画面（発言表情対応確認画面１１００）は、会議におけるネガティブ発言（例えば、参加者が指定した会議における、参加者が指定したネガティブ発言）をした際の顔の表情の統計を表示した画面である。

【0082】

発言表情対応確認画面１１００は、ネガティブ発言及び会議等の表示欄１１０１と、統計表示欄１１０２とを有する。統計表示欄１１０２には、ネガティブ発言及び会議等の表示欄１１０１に表示されている会議において発言したネガティブ発言に関して、対応する表情（ネガティブ発言のタイミングでの表情）の種類の回数が表示される。

【0083】

同図の例では、「××会議」において参加者が発したネガティブ発言「つらい」について、その発言の際に表情の種類が「Good」（嬉しい）、「Bad」（悲しい）、「Normal」（それ以外）にそれぞれ該当した回数が表示されている。これにより、発言と表情の対応関係（矛盾していないか等）を把握し、参加者の微妙な体調変化に気づくことができる。

【0084】

以上説明したように、本実施形態のユーザ装置２０は、会議中の参加者の各発言の音声データから変換された各テキストデータに基づき、参加者の負の感情の高さ（テキストデータの種類及び感情点）を各テキストデータについて算出し、算出した各負の感情の大きさが所定の傾向を示している場合に、会議中に警告を出力する。

【0085】

このように、本実施形態のユーザ装置２０（会議管理装置）は、会議中の参加者の各発言の負の感情の高さの傾向に応じて警告を行うことで、会議中の参加者の些細な健康状態の変化を通知することができる。例えば、在宅勤務が増加している近年において日常的に開催されるオンライン会議を通じて、特別な対応（面談等）をすることなく、勤務者の健康状態の管理をすることができる。

【0086】

以上のように、本実施形態のユーザ装置２０によれば、会議の参加者の健康状態を管理することができる。

【0087】

また、本実施形態のユーザ装置２０は、会議中に、所定大きさ以上の負の感情の大きさを所定の頻度以上で算出した場合（所定回数以上連続して、「悲しい」に属する音声を発した場合）に警告を出力する。

【0088】

これにより、参加者の重要な負の感情の状態を的確に検出することができる。

【0089】

また、本実施形態のユーザ装置２０は、参加者の負の感情の大きさ（感情点）を、音声データから変換されたテキストデータ（音声点）と、参加者の画像の特徴（表情点）とに基づき算出する。

【0090】

このように、音声点だけでなく表情点に基づいて感情点を算出することで、参加者の負の感情の高さをより精度良く算出することができる。

【0091】

また、本実施形態のユーザ装置２０は、会議実行システム１０により表示されている会議の画面のうち参加者の表示領域（会議進行画面の参加者の画面９０１）に警告を出力する。

【0092】

これにより、参加者は、自身の健康状態に問題があることを会議中に迅速に知ることができる。

【0093】

さらに、本実施形態のユーザ装置２０は、各負の感情の大きさ（感情点）に基づき、会議全体における負の感情の大きさの総合評価（感情総合点）を算出する。

【0094】

このように、本実施形態のユーザ装置２０は、会議における各感情点の総合点を出力するこで、その会議全体を通じて参加者の健康状態を知ることができる。すなわち、本実施形態のユーザ装置２０によれば、会議に参加する参加者の健康状態を管理することができる。

【0095】

また、本実施形態のユーザ装置２０は、各負の感情の大きさが所定大きさの負の感情（テキスト（音声）の種類が「悲しい」）であった回数又は頻度を算出し（累積点）、算出した回数又は頻度と、各テキストデータ（音声点）等とに基づき、総合評価（感情総合点）を算出する。

【0096】

同じ種類の発言が繰り返されるような場合には、参加者の感情又は体調に異変が起きている可能性がある。そこで、このような状況を反映した累積点に基づき感情総合点を算出することで、参加者の些細な健康状態の変化を精度よく検出することができる。

【0097】

また、感情総合点の算出に際して、本実施形態のユーザ装置２０は、感情点を、上記テキストデータ（音声点）と、上記画像の特徴（感情点）とに基づき算出することで、感情総合点を算出する。

【0098】

このように、音声だけでなく、参加者の画像に基づいて感情総合点を算出することで、会議における参加者の健康状態をより精度良く知ることができる。

【0099】

特に、本実施形態のユーザ装置２０は、テキストデータに基づき算出した負の感情の大きさが所定の負の大きさである場合にのみ（「悲しい」の場合にのみ）、感情点を、音声点と感情点とに基づき算出する。

【0100】

会議においては、表情よりも音声の方が体調の変化の兆候が無意識のうちに表れやすいことがある。そこで、上記構成とすることで、参加者の健康状態をより精度良く知ることができる。

【0101】

また、本実施形態のユーザ装置２０は、所定期間に行われた１又は複数の会議での各発言に係るテキストデータのうち、負の感情の大きさが所定の負の大きさであるテキストデータ（ネガティブ発言）を出力する（ネガティブ発言レポート画面１０００のネガティブ発言一覧表示欄１０２０）。

【0102】

これにより、参加者は、自身が具体的にどのようなネガティブ発言をする傾向があったかを知ることができる。

【0103】

また、本実施形態のユーザ装置２０は、所定の大きさの負の感情の大きさであるテキストデータに係る発言がなされた回数（ネガティブ発言がなされた回数）を、発言がなされた時間帯ごとに出力する（ネガティブ発言レポート画面１０００の時間帯別ネガティブ発言グラフ表示欄１０３０）。

【0104】

これにより、参加者は、自身がどの程度ネガティブ発言をする傾向があったかを知ることができる。

【0105】

また、本実施形態のユーザ装置２０は、負の感情の大きさが所定の大きさであったテキストデータに係る発言がなされた回数（ネガティブ発言がなされた回数）を、発言がなされた会議の属性ごとに出力する（ネガティブ発言レポート画面１０００の会議種類別ネガティブ発言グラフ表示欄１０４０）。

【0106】

これにより、参加者は、自身がどのような会議でネガティブ発言をする傾向があったかを知ることができる。

【0107】

また、本実施形態のユーザ装置２０は、参加者の発言に係るテキストデータ（参加者のネガティブ発言）と、その発言に係る画像の特徴（表情の種類）とを対応付けて出力する（発言表情対応確認画面１１００）。

【0108】

これにより、参加者は、自身の発言と表情等との間の関係を知ることができる。例えば、ネガティブ発言であるのに表情は良好であるといったように、外見では判断しにくいが健康状態に問題が起きている可能性があることを察知することができる。

【0109】

以上の実施形態の説明は、本発明の理解を容易にするためのものであり、本発明を限定するものではない。本発明はその趣旨を逸脱することなく、変更、改良され得ると共に本発明にはその等価物が含まれる。

【0110】

例えば、本実施形態で説明した発言及び表情のカテゴリ化（種類の特定）の方法及び点数の算出方法は一例であり、他の様々な方法を採用し得る。

【0111】

また、本実施形態の各装置が備えるハードウェアの一部は、他の装置に設けてもよい。

【0112】

また、各装置の各プログラムは他の装置に設けてもよいし、あるプログラムを複数のプログラムからなるものとしてもよいし、複数のプログラムを一つのプログラムに統合してもよい。

【0113】

例えば、図１２は、会議システムの他の構成の一例を示す図である。同図に示すように、この会議システム２は、ユーザ装置２０及び会議実行システム１０に加えて、会議管理装置５０を有し、これらは通信ネットワーク５により通信可能に接続される。この場合、各ユーザ装置は、会議実行システム１０に基づくオンライン会議を実行する機能のみを有する。一方、会議管理装置５０は、それ以外の機能すなわち会議支援処理を実行する機能を有するものとする。このように、会議管理装置５０を、各ユーザ装置２０についての会議支援処理を統括して実行するようにしてもよい。

【符号の説明】

【0114】

１ 会議システム、１０ 会議実行システム、２０ ユーザ装置、５０ 会議管理装置、２０２ データ分析部、２０４ 警告出力部、２０５ 結果出力部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】