(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024079546
(43)【公開日】2024-06-11
(54)【発明の名称】情報解析システム、情報解析装置、情報解析方法及びプログラム
(51)【国際特許分類】
G06Q 10/10 20230101AFI20240604BHJP
【FI】
G06Q10/10
【審査請求】未請求
【請求項の数】16
【出願形態】OL
(21)【出願番号】P 2023086826
(22)【出願日】2023-05-26
(31)【優先権主張番号】P 2022191494
(32)【優先日】2022-11-30
(33)【優先権主張国・地域又は機関】JP
(71)【出願人】
【識別番号】000006747
【氏名又は名称】株式会社リコー
(74)【代理人】
【識別番号】110002147
【氏名又は名称】弁理士法人酒井国際特許事務所
(72)【発明者】
【氏名】萩田 健太郎
(72)【発明者】
【氏名】長能 卓哉
(72)【発明者】
【氏名】鈴木 友規
(72)【発明者】
【氏名】齋藤 涼
(72)【発明者】
【氏名】大槻 隆志
(72)【発明者】
【氏名】大内田 茂
(72)【発明者】
【氏名】泉谷 一磨
【テーマコード(参考)】
5L010
5L049
【Fターム(参考)】
5L010AA12
5L049AA12
(57)【要約】
【課題】従来の技術では、オンラインを利用したイベントでは、発話に基づく参加者の状態を把握することはできても、表情に基づく参加者の状態とあわせて把握し、発話と表情から得られる情報を活かすことが困難であるという課題がある。
【解決手段】情報解析システム1における通信端末3は、Webカメラ等により各参加者の顔を含む画像に係る画像データ、並びに、音声マイク等により各参加者の発話に係る音声データを取得し(ステップS103)、取得した複数の参加者の画像データ及び音声データを情報解析装置5に対して送信する(ステップS106)。情報解析装置5は、通信端末3が送信した画像データ及び音声データに基づいて複数の参加者の状態を解析し、通信端末3で表示可能な解析結果に係るレポートデータを生成する(ステップS108)。
【選択図】
図12
【特許請求の範囲】
【請求項1】
オンラインで開催される所定のイベントに参加した複数の参加者に係る情報を取得可能な通信端末と、前記通信端末が送信した前記情報を解析する情報解析装置と、を有する情報解析システムであって、
前記通信端末は、
前記複数の参加者の画像情報及び音声情報を取得する取得手段と、
取得した前記画像情報及び前記音声情報を前記情報解析装置に対して送信する第1の送信手段と、
を有し、
前記情報解析装置は、
前記通信端末が送信した前記画像情報及び前記音声情報に基づいて、前記複数の参加者の状態を解析する解析手段と、
解析した前記複数の参加者の状態に基づいて、前記通信端末で表示可能な状態通知を生成する生成手段と、
を有する、
ことを特徴とする情報解析システム。
【請求項2】
前記画像情報は、前記所定のイベント中の前記複数の参加者の各々の画像に含まれる頷きに係る情報及び笑顔に係る情報のうち少なくとも一方を表し、前記音声情報は、前記所定のイベント中の前記複数の参加者の各々の発話に係る情報を表し、
前記解析手段は、
前記複数の参加者の各々の、前記頷きに係る情報及び前記笑顔に係る情報のうち少なくとも一方、並びに前記発話に係る情報、に基づいて前記複数の参加者の状態を解析する、
ことを特徴とする請求項1に記載の情報解析システム。
【請求項3】
前記解析手段は、
前記頷きに係る情報及び前記笑顔に係る情報のうち少なくとも一方に対して機械学習モデルを用いた解析を行うことにより、前記複数の参加者の状態を解析する、
ことを特徴とする請求項2に記載の情報解析システム。
【請求項4】
前記解析手段は、
前記複数の参加者のうち特定の参加者が使用する通信端末が送信した前記画像情報及び前記音声情報、又は、前記複数の参加者のそれぞれが使用する通信端末が送信した前記画像情報及び前記音声情報のいずれかに基づいて、前記複数の参加者の状態を解析する、
ことを特徴とする請求項1乃至3のいずれか一項に記載の情報解析システム。
【請求項5】
前記複数の参加者の状態は、
前記頷きの回数及び前記笑顔の回数のうち少なくとも一方に基づく前記複数の参加者の各々の表情検出状態、並びに、前記複数の参加者の各々の表情検出状態に基づく前記複数の参加者全体の活性状態を表し、
前記生成手段は、
前記複数の参加者の各々の表情検出状態と前記活性状態とに基づいて、前記状態通知を生成する、
ことを特徴とする請求項2乃至3のいずれか一項に記載の情報解析システム。
【請求項6】
前記生成手段は、
前記状態通知として、前記複数の参加者の各々の表情検出状態と前記活性状態とをそれぞれ視覚的に表現した結果としての図表、及び、前記複数の参加者のうちの特定の参加者への前記結果に対するコメントを生成する、
ことを特徴とする請求項5に記載の情報解析システム。
【請求項7】
請求項1乃至3のいずれか一項に記載の情報解析システムであって、
前記情報解析装置は、更に、
前記所定のイベントに対する参加者通知情報として、前記所定のイベントが実行される前に、前記所定のイベントに参加する前記複数の参加者の前記画像情報及び各参加者の電子メールアドレスを、ユーザの情報を管理するユーザ情報管理手段に予め登録する登録手段、
を有する、
ことを特徴とする情報解析システム。
【請求項8】
請求項1乃至3のいずれか一項に記載の情報解析システムであって、
前記情報解析装置は、更に、
生成した前記状態通知を前記通信端末に対して送信する第2の送信手段、
を有する、
ことを特徴とする情報解析システム。
【請求項9】
請求項1乃至3のいずれか一項に記載の情報解析システムであって、
前記通信端末は、更に、
前記情報解析装置が送信した前記状態通知を表示手段に表示させる表示制御手段、
を有する、
ことを特徴とする情報解析システム。
【請求項10】
オンラインで開催される所定のイベントに参加した複数の参加者に係る情報を解析する情報解析装置であって、
前記複数の参加者に係る画像情報及び音声情報を取得した通信端末が送信した前記画像情報及び前記音声情報に基づいて、前記複数の参加者の状態を解析する解析手段と、
解析した前記複数の参加者の状態に基づいて、前記通信端末で表示可能な状態通知を生成する生成手段と、
を有する、
ことを特徴とする情報解析装置。
【請求項11】
オンラインで開催される所定のイベントに参加した複数の参加者に係る情報を解析する情報解析装置が実行する情報解析方法であって、
前記複数の参加者に係る画像情報及び音声情報を取得した通信端末が送信した前記画像情報及び前記音声情報に基づいて、前記複数の参加者の状態を解析する解析ステップと、
解析した前記複数の参加者の状態に基づいて、前記通信端末で表示可能な状態通知を生成する生成ステップと、
を含む処理を実行する、
ことを特徴とする情報解析方法。
【請求項12】
オンラインで開催される所定のイベントに参加した複数の参加者に係る情報を解析する情報解析装置に、
前記複数の参加者に係る画像情報及び音声情報を取得した通信端末が送信した前記画像情報及び前記音声情報に基づいて、前記複数の参加者の状態を解析する解析ステップと、
解析した前記複数の参加者の状態に基づいて、前記通信端末で表示可能な状態通知を生成する生成ステップと、
を含む処理を実行させるプログラム。
【請求項13】
前記表示制御手段は、
前記複数の参加者の状態を解析する目的を各参加者に伝えるための説明動画を再生可能なアイコンを、前記表示手段に表示させる、
ことを特徴とする請求項9に記載の情報解析システム。
【請求項14】
前記表示制御手段は、更に、
前記解析のためのデータの取得を許可するか否かを選択可能な取得許可選択部を、前記表示手段に表示させる、
ことを特徴とする請求項13に記載の情報解析システム。
【請求項15】
前記表示制御手段は、
前記解析手段によって解析が行われた後、解析結果に係る通知を受け取るか否かを選択可能な通知受取選択部を、前記表示手段に表示させる、
ことを特徴とする請求項14に記載の情報解析システム。
【請求項16】
前記表示制御手段は、
特定の参加者に係る解析結果を前記特定の参加者のリーダーに開示することを許可するか否かを選択可能な開示許可選択部を、前記表示手段に表示させる、
ことを特徴とする請求項14に記載の情報解析システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報解析システム、情報解析装置、情報解析方法及びプログラムに関する。
【背景技術】
【0002】
グループにおける個人の発話をもとに、その個人の活性度を取得し出力する仕組みが従来から知られている。
【0003】
そのひとつとして、グループにおける複数の個人のそれぞれの個人の発話に関する活性度を取得し、取得したそれぞれの個人の発話に関する活性度に基づいて、グループにおけるそれぞれの個人の発話に関する基準値を設定し、設定した基準値と、取得したそれぞれの個人の発話に関する活性度とを比較した結果を出力する技術が知られている(例えば、特許文献1参照)。
【0004】
その一方で、働き方の多様化に伴い、人々が物理的に同一の空間を利用して会議などを行う従来の方法から、Web会議などのリモート環境を利用したオンラインによる方法が普及してきている。
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、従来の技術では、オンラインを利用したイベントでは、発話に基づく参加者の状態を把握することはできても、表情に基づく参加者の状態とあわせて把握し、発話と表情から得られる情報を活かすことが困難であるという課題がある。
【課題を解決するための手段】
【0006】
上述した課題を解決するために、請求項1に係る発明は、オンラインで開催される所定のイベントに参加した複数の参加者に係る情報を取得可能な通信端末と、前記通信端末が送信した前記情報を解析する情報解析装置と、を有する情報解析システムであって、前記通信端末は、前記複数の参加者の画像情報及び音声情報を取得する取得手段と、取得した前記画像情報及び前記音声情報を前記情報解析装置に対して送信する第1の送信手段と、を有し、前記情報解析装置は、前記通信端末が送信した前記画像情報及び前記音声情報に基づいて、前記複数の参加者の状態を解析する解析手段と、解析した前記複数の参加者の状態に基づいて、前記通信端末で表示可能な状態通知を生成する生成手段と、を有する、ことを特徴とする情報解析システムを提供する。
【発明の効果】
【0007】
以上説明したように本発明によれば、オンラインを利用したイベントにおいても、発話のみならず表情に基づく参加者の状態を把握し、発話と表情から得られる情報を活かすことが可能になるという効果を奏する。
【図面の簡単な説明】
【0008】
【
図1】情報解析システムの全体構成の一例を示す図である。
【
図2】畳み込みニューラルネットワークの一例を示す概念図であり、(a)はLate fusionでの頷き検出の一例を示し、(b)はEarly fusionでの頷き検出の一例を示す。
【
図4】通信端末のハードウエア構成の一例を示す図である。
【
図5】情報解析装置のハードウエア構成の一例を示す図である。
【
図6】情報解析システムの機能構成の一例を示す図である。
【
図7】ユーザ情報管理テーブルの一例を示す概念図である。
【
図8】解析履歴管理テーブルの一例を示す概念図である。
【
図9】個人元気度管理テーブルの一例を示す概念図である。
【
図10】集団活性度管理テーブルの一例を示す概念図である。
【
図11】参加者情報通知、メンバー登録及び認証の各処理の一例を示すシーケンス図である。
【
図12】オンラインイベントでの情報解析処理の一例を示すシーケンス図である。
【
図13】オンラインイベントでの通信端末における表示画面の一例を示す図である。
【
図14A】オンラインイベントでの情報解析処理の詳細を示すフローチャートである。
【
図14B】オンラインイベントでの情報解析処理の詳細を示すフローチャートである。
【
図15】通信端末におけるレポート表示画面(朝礼点数)の一例を示す図である。
【
図16】通信端末におけるレポート表示画面(元気点数)の一例を示す図である。
【
図17】通信端末におけるレポート表示画面(過去のオンライン朝礼点数)の一例を示す図である。
【
図18】通信端末におけるレポート表示画面(頷き検出時)の一例を示す図である。
【
図19】通信端末におけるレポート表示画面(笑顔検出時)の一例を示す図である。
【
図20】通信端末におけるレポート表示画面(発話比率)の一例を示す図である。
【
図21】通信端末におけるレポート表示画面(発話者)の一例を示す図である。
【
図22】通信端末におけるレポート表示画面(感謝のことば検出時)の一例を示す図である。
【
図23】第2の実施形態に係るオンラインイベントでの情報解析処理の一例を示すシーケンス図である。
【
図24】第2の実施形態に係るオンラインイベントでの通信端末における表示画面の一例を示す図である。
【
図25】実施形態の変形例に係るオンラインイベントでの情報解析処理の一例を示すシーケンス図である。
【
図26】第3の実施形態に係る情報解析システムの全体構成の一例を示す図である。
【
図27】第3の実施形態に係る個人データ利用管理テーブルの一例を示す概念図である。
【
図28】第3の実施形態に係る個人データ利用設定処理の一例を示すシーケンス図である。
【
図29】第3の実施形態に係る通信端末におけるサインイン画面の一例を示す図である。
【
図30】第3の実施形態に係る通信端末における動画再生画面の一例を示す図である。
【
図31】第3の実施形態に係る通信端末における確認及び同意に係る登録画面の一例を示す図である。
【
図32】第3の実施形態に係る通信端末における利用者設定画面の一例を示す図である。
【
図33】第3の実施形態に係るオンラインイベントでの情報解析処理の一例を示すシーケンス図である。
【
図34A】第3の実施形態に係るオンラインイベントでの情報解析処理の詳細を示すフローチャートである。
【
図34B】第3の実施形態に係るオンラインイベントでの情報解析処理の詳細を示すフローチャートである。
【
図35】第3の実施形態に係るレポートデータ生成処理の詳細を示すフローチャートである。
【
図36】第3の実施形態に係る通信端末におけるレポート表示画面(元気点数)の一例を示す図である。
【発明を実施するための形態】
【0009】
以下、図面を用いて、発明を実施するための形態について説明する。なお、図面の説明において同一要素には同一符号を付し、重複する部分があればその説明を省略する。
【0010】
〔第1の実施形態〕
〔情報解析システムの全体構成〕
図1は、情報解析システムの全体構成の一例を示す図である。
図1に示されているように、情報解析システム1は、通信端末3及び情報解析装置5を含む各装置及び端末を有している。なお、通信端末3と情報解析装置5とは、点線で囲まれたオンラインイベント開催空間においてWeb会議(オンライン朝礼、オンライン打合せ)などが開催される。なお、オンラインイベント開催空間は、オンラインを利用したWeb会議が開催される仮想的な空間を表すものとして便宜上示したものである。更に、情報解析システム1では、通信端末3及び情報解析装置5は、通信ネットワーク100を介してそれぞれ互いに接続されている。なお、通信端末3は、通信ネットワーク100の内側に設けられたファイアウォールを介して情報解析装置5と接続されていてもよい。
【0011】
通信ネットワーク100は、不特定多数の通信が行われる通信ネットワークであり、インターネット、イントラネット、LAN(Local Area Network)等によって構築されている。なお、通信ネットワーク100には、有線通信だけでなく、4G(4th Generation)、5G(5th Generation)、WiMAX(Worldwide Interoperability for Microwave Access)、LTE(Long Term Evolution)等の無線通信による通信ネットワークが含まれてもよい。
【0012】
<通信端末>
通信端末3は、情報解析システム1を利用するユーザ(参加者、リーダー等)によって利用され、オンラインで開催される所定のイベントに参加した複数の参加者に係る情報を取得可能な通信端末である。また、通信端末3は、一般的なOSなどが搭載された通信を行うための情報処理装置(コンピュータシステム)によって実現され、情報解析システム1を構築する一つの構成要素である。また、通信端末3は、情報解析装置5と通信を行うための通信アプリ、並びに、オンラインで開催されるオンライン会議アプリ等を記憶手段にインストールして記憶している。
【0013】
なお、通信端末3は、一般的に使用されるPC(Personal Computer)、携帯型ノートPC、携帯電話、スマートフォン、タブレット端末、ウェアラブル端末(サングラス型、腕時計型等)の通信機能に加えて、画像を撮影して取得する画像取得部、及び音声を集音して取得する音声取得部をそれぞれ有する通信端末であってもよい。通信端末3は更に、ブラウザソフトウエア、各種アプリのソフトウエアを動作させることが可能な通信装置又は通信端末が用いられてもよい。
【0014】
<情報解析装置>
情報解析装置5は、通信端末3が送信した情報を解析する装置である。また、情報解析装置5は、一般的なサーバOSなどが搭載された一以上の情報処理装置(コンピュータシステム)によって実現される。また、情報解析装置5は、他の装置、通信端末と通信を行うための通信アプリを記憶手段にインストールして記憶している。
【0015】
なお、情報解析装置5は、一般的に使用されるPC(Personal Computer)、携帯型ノートPC等の単一のコンピュータによって構築されてもよいし、ストレージ等の各部(機能又は手段)を分割して任意に割り当てられた複数のコンピュータによって構築されてもよい。また、情報解析装置5の機能の全てまたは一部は、クラウド環境に存在するサーバコンピュータであってもよいし、オンプレミス環境に存在するサーバコンピュータであってもよい。情報解析装置5は、更に、ブラウザソフトウエア等のソフトウエアを動作させることが可能な通信装置又は通信端末が用いられてもよい。
【0016】
また、情報解析装置5は、一般的に知られているクラウドを利用したWebサービスで利用可能なシステム(例えば、AWS:Amazon Web Services)を利用可能な環境を有するものであってもよい。
【0017】
情報解析装置5は、通信端末3に対してレポート等を送信する際、プッシュ通知(送信)によりデータ(情報)を通知(送信)してもよい。その場合、情報解析装置5は、例えば、プッシュ通知サーバの一例であるFCM(Firebase Cloud Messaging)を介してプッシュ通知が行われる。
【0018】
●用語について●
本実施形態においてイベントとは、複数の参加者が所定の日時に話題、議題を共有して行う活動の総称である。イベントには、例えば、会議、朝礼、昼礼、夕礼、打合せが含まれる。本実施形態では、これらのイベントがWebサービスを利用したオンラインにより開催されることを前提としている。このような前提に基づいて、本実施形態における「オンラインで開催される所定のイベント」は、「オンラインにおける通信」の一例として扱われるものとする。そして通信には、画像情報(画像データ)及び音声情報(音声データ)が含まれるものとする。なお、画像情報は、所定のイベント中の複数の参加者の各々の画像に含まれる頷きに係る情報及び笑顔に係る情報のうち少なくとも一方を表す。また音声情報は、所定のイベント中の複数の参加者の各々の発話に係る情報を表す。
【0019】
また、本実施形態においてユーザとは、通信端末3を用いてオンラインイベントに参加する各参加者、又は、各参加者を管理する管理者(リーダー等)をいう。以降、本実施形態ではこれらをまとめて、便宜上「ユーザ」と呼ぶこともある。
【0020】
<頷き検出>
まず、本実施形態において、所定のオンラインイベントに参加した参加者の「頷き」を検出する方法について説明する。
図2は、畳み込みニューラルネットワークの一例を示す概念図であり、(a)はLate fusionでの頷き検出の一例を示し、(b)はEarly fusionでの頷き検出の一例を示す。なお、
図2に示した頷き検出に関する機械学習モデルの概念図は、下記参考文献1に示されたものを一部簡略化して示したものである。また、
図2では、発話区間を除いた機械学習モデルを用いることも可能である。
【0021】
参考文献1:Analyzing Multifunctionality of Head Movements in Face-to-Face Conversations Using Deep Convolutional Neural Networks
KAZUHIRO OTSUKA 1, (Member, IEEE), AND MASAHIRO TSUMORI2
畳み込みニューラルネットワーク(CNN:Convolutional neural network)モデルの構造として、
図2(a)は後期融合モデル、
図2(b)は初期融合モデルを示している。どちらのモデルも、畳み込み層(conv1)とプーリング層(pool1)、2番目の畳み込み層(conv2)とプーリング層(pool2)、3番目の畳み込み層(conv3)、全結合層(fc4)、及び最終全結合層(fc5)で構成されている。なお、詳細については、上述の参考文献1を参照するものとして、説明を省略する。
【0022】
本実施形態では、頷き検出の流れとして、例えば、以下の手順を提示する。
・ステップ1:データ収集
データ収集では、動画全体に対しての頷きを示すプレト動画データと、所定のオンラインイベントで録画された動画データと、を収集する。
・ステップ2:アノテーション
アノテーションでは、ステップ1に対して頷きをアノテーションし、教師データを作成(生成)する。
・ステップ3:データセットの特徴量検出
データセットの特徴量検出では、既存のライブラリ(例えばMediaPipeライブラリ。)により顔のキーポイントを取得する。その後、取得したキーポイントから頭部運動を算出する。
【0023】
ステップ4:モデル作成(生成)
モデル作成(生成)では、既存の論文情報(上記参考文献1)からモデルを構築する。
【0024】
なお、頷き検出に関しては、下記参考文献2における情報を利用してもよい。
【0025】
参考文献2:Nodding detection system based on head motion and voice rhythm
Shunsuke OTA*,Seiko TAKI**,Mitsuru JINDAI*** and Toshiyuki YASUDA***
ステップ5:モデル評価
モデル評価では、構築したモデルの評価を実施する。
【0026】
以上のステップ1-5を一例として、オンラインイベントにて取得された画像データから、参加者の「頷き」を検出することが可能である。
【0027】
<笑顔検出>
次に、所定のオンラインイベントに参加した参加者の「笑顔」を検出する方法について説明する。
図3は、笑顔検出の一例を示す概念図である。本実施形態では、
図3を用いた笑顔検出にあたっては、参加者のマスク着用の有無に応じたそれぞれの処理を行なうことを前提とする。この前提をもとに、
図3において四角で囲んだRAN(Region Attention Networks)について説明する。なお、
図3に示した他の処理については説明を省略する。
【0028】
RANでは、入力画像の一部を切り出したクロップ画像を数種類生成し、生成されたクロップ画像それぞれをニューラルネットワークに入力し、それぞれの"重要度"を加味したうえで、最終的な評価(笑顔かどうか)を出力する。なお、各クロップ画像の”重要度”も同時にニューラルネットワークで算出される。このような構成にすることで、顔画像のうち表情認識に重要な部分のみに着目して推論することができ、顔の一部が隠れている場合においてもロバストに推論可能となる。
【0029】
<<マスク着用判定>>
ここで、マスク着用判定について説明する。マスク着用判定は、人の顔画像を入力として、顔画像として撮影された人の顔にマスクが着用されているかどうかを示す2値の情報を出力するマスク着用判定モデルにより行われる。マスク着用判定モデルは、畳み込みニューラルネットワーク(CNN)などの公知の機械学習アルゴリズムを用いて、人の顔画像と、顔画像に撮影された人の顔にマスクが着用されているかどうかを示す2値の情報と、から成るペアで構成される訓練データを用いた教師あり機械学習により生成される。
【0030】
<<マスク着用時/マスク非着用時の笑顔検出>>
続いてマスク着用時/マスク非着用時の笑顔検出について説明する。笑顔検出は、人の顔画像を入力として、顔画像に撮影された人の顔が笑顔であるかどうかを示す2値の情報を出力する笑顔検出モデルにより行われる。ただし、入力画像がマスクを着用した人の顔画像である場合は、マスク着用時笑顔検出モデルにより笑顔検出を行い、入力画像がマスクを着用していない人の顔画像である場合は、マスク非着用時笑顔検出モデルにより笑顔検出を行う。マスク着用時笑顔検出モデル、及び、マスク非着用時笑顔検出モデルは、ともに、RANを用いて、人の顔画像と、顔画像に撮影された人の顔が笑顔であるかどうかを示す2値の情報と、から成るペアで構成される訓練データを用いた教師あり機械学習により生成される。但し、マスク着用時笑顔検出モデルの生成に用いる訓練データは、マスクを着用した人の顔画像のみを用いて構成されるものであり、マスク非着用時笑顔検出モデルの生成に用いる訓練データは、マスクを着用していない人の顔画像のみを用いて構成されるものである。
【0031】
〔実施形態における評価指標の考え方〕
ここで、本実施形態における評価指標の考え方について説明する。ここでは、評価指標として、オンラインイベントに参加している参加者個人の元気度を示す「個人元気度」、複数の参加者から構成されるグループ(チーム)としての集団の活性度を示す「集団活性度」、をそれぞれ定義する。
【0032】
<個人元気度の算出>
まず、本実施形態において実行される「個人元気度」の算出について、その概要を説明する。
【0033】
オンラインイベントに参加している各参加者の元気度(以下、「個人元気度」と呼ぶ)は、画像データのみを用いて算出される。具体的には、「頷き」及び「笑顔」の時間が検出される。個人元気度を算出するためには、参加者が朝礼等のオンラインイベント(以下、単に「オンラインイベント」という)中に行動として現れやすい指標を用いる必要がある。特に、「頷き」と「笑顔」は、オンラインイベント中の参加者の行動の変化として現れやすい。そのため、個人元気度を算出するために「頷き」と「笑顔」とを用いる。
【0034】
個人元気度を絶対値で評価してしまうと、参加者のパーソナリティによって差が激しくなってしまい、各個人の個人元気度を算出することが困難となる。そのため、少なくとも過去数回分(例えば、過去3回分)のデータを用いることによって、その課題をクリアするようにしてもよい。
【0035】
<グループ(チーム)における集団活性度の算出>
次に、本実施形態において実行される「集団活性度」の算出について、その概要を説明する。
【0036】
オンラインイベントが行われている際、グループ(チーム)の活性度(以下、「集団活性度」と呼ぶ)は、各参加者の画像データと音声データとを用いて算出される。具体的には、画像データを用いて各参加者の「頷き」及び「笑顔」の時間が検出される。また、音声データを用いて各参加者の発話比率(誰がどのくらいの割合で発話していたか)、発話者の割合(発話したのは誰か)、感謝のことばの数がそれぞれ検出される。
【0037】
本実施形態では、「頷き」、「笑顔」、「発話比率」、「発話者割合」、「感謝」をそれぞれ点数化し、その合計した点数をグループ(チーム)の集団活性度(点数)として表示する。後述するように「頷き」、「笑顔」、「発話比率」、「発話者割合」、「感謝」は、例えば、それぞれ20点満点で評価をしているが、これらの点数の比率は変えてもよい。また、グループ(チーム)の集団活性度を点数ではなく、記号やマークなどで表示してもよい。
【0038】
また、グループ(チーム)の集団活性度を向上させるには、心理的安全性を確保する必要がある。心理的安全性を向上するためには、「頷き」と「笑顔」が大切な指標となる。オンラインイベントを含め、所定のイベントが行われている場(空間)において、「頷き」を多くすることで参加者の共感を生み出し、相手に安心感を与えることができる。また、一人の笑顔が増えることで周囲の人にも伝搬させることができるため、良い雰囲気のグループ(チーム)づくりには「笑顔」が重要な指標となる。また、動画像から検出しやすい特性でもあるという理由から、本実施形態では、「頷き」と「笑顔」とを採用した。
【0039】
更に、心理的安全性の確保には「感謝」も重要な指標となる。感謝のない組織では「当然の権利」や「当たり前」が横行してしまう危険性がある。そのため、「感謝」を言語化することで、グループ(チーム)の心理的安全性、連帯感などが生まれる。
【0040】
また、オンラインによる朝礼という短い会議であったとしても、コミュニケーションの向上を図るのであれば、特定の人物のみが発話している状態は好ましくない。そのため、特定の人物(リーダー等のファシリテータ)以外の参加者がどの程度発話しているのか、その比率を計測、可視化して提供することで、リーダーに他の参加者へ話を振る回数を増やすことも期待できる。但し、特定のメンバーのみが発話している状態も好ましくはないため、本実施形態では、誰が発話していたのか、という発話者を可視化することで、均等に他の参加者へ話題を振ることも可能にする。
【0041】
本実施形態における情報解析システムは、以上の評価指標を定義し、オンラインで開催される所定のイベントに参加した各参加者の「個人元気度」及び「集団活性度」を算出し、その結果をレポートとして提供する。これにより、オンラインを利用したイベント、すなわち各参加者の表情等を直接把握することができない環境においても、発話のみならず表情に基づく参加者の状態を把握し、発話と表情から得られる情報を活かすことを可能にする。
【0042】
〔ハードウエア構成〕
続いて、
図4及び
図5を用いて、実施形態に係る情報解析システムを構成する通信端末又は装置のハードウエア構成について説明する。なお、
図4及び
図5に示されている通信端末又は装置のハードウエア構成は、必要に応じて構成要素が追加又は削除されてもよい。
【0043】
<通信端末のハードウエア構成>
図4は通信端末のハードウエア構成の一例を示す図である。
図4に示されているように、通信端末3は、例えばコンピュータによって構築されており、CPU301、ROM302、RAM303、EEPROM304、ディスプレイ307、近距離通信I/F308、CMOSセンサ309、撮像素子I/F310を備えている。通信端末3は更に、ネットワークI/F311、タッチパネル312、ポインティングデバイス313、メディアI/F315、外部機器接続I/F316、音入出力I/F317、マイク318、スピーカ319及びバスライン320を備えている。但し、Webカメラ等の画像取得部としての機能を構成するCMOSセンサ309及び撮像素子I/F310、並びに、音声マイク等の音声取得部としての機能を構成する音入出力I/F317及びマイク318は、それぞれ通信端末3に取外し可能に外付けされる構成であってもよい。
【0044】
これらのうち、CPU301は、通信端末3全体の動作を制御する。ROM302は、CPU301の駆動に用いられるプログラム等を記憶する。RAM303は、CPU301のワークエリアとして使用される。EEPROM304は、CPU301の制御にしたがって、アプリ等の各種データの読出し又は書込みを行う。ディスプレイ307は、カーソル、メニュー、ウィンドウ、文字又は画像などの各種情報を表示する。本実施形態において、ディスプレイ307は、表示手段の一例として機能する。近距離通信I/F308は、NFC(Near Field Communication)、Bluetooth(登録商標。以下省略)、Wi-Fi(登録商標。以下省略)等の無線通信インターフェイスを備える通信装置又は通信端末等とデータ通信を行うための通信回路である。CMOSセンサ309は、CPU301の制御にしたがって被写体を撮像して画像データ又は動画データを得る内蔵型の撮像手段の一種である。なお、撮像手段は、CMOSセンサではなく、CCD(Charge Coupled Device)センサ等で構成される撮像手段であってもよい。撮像素子I/F310は、CMOSセンサ309の駆動を制御する回路である。
【0045】
ネットワークI/F311は、通信ネットワーク100を利用してデータ通信をするためのインターフェイスである。タッチパネル412は、ユーザがディスプレイ307上に配置された所定のボタン、アイコン等に対して押下、クリック又はタップ等の操作をすることで、通信端末3を操作するための入力手段の一種である。ポインティングデバイス313は、各種指示の選択や実行、処理対象の選択、カーソルの移動などを行う入力手段の一種である。なお、通信端末3は、ポインティングデバイス313に代えて又は加えて、タッチパネル及びキーボードのうち少なくとも一方による入力手段を有するものであってもよい。メディアI/F315は、フラッシュメモリ等の記録メディア314に対するデータの読出し又は書込み(記憶)を制御する。外部機器接続I/F416は、各種の外部機器を接続するためのインターフェイスである。この場合の外部機器は、例えば、USB(Universal Serial Bus)メモリ等である。音入出力I/F317は、CPU301の制御にしたがってマイク318及びスピーカ319との間で音信号の入出力を処理する回路である。マイク318は、音を電気信号に変える内蔵型の回路であり、外部のスピーカ等から発する音声や音波を取得し電気信号を用いた情報を取得する。スピーカ319は、電気信号を物理振動に変えて音楽や音声などの音を生み出す内蔵型の回路である。バスライン320は、CPU301等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。
【0046】
<情報解析装置のハードウエア構成>
図5は、情報解析装置のハードウエア構成の一例を示す図である。
図5に示されているように、情報解析装置5は、例えばコンピュータによって構築されており、CPU501、ROM502、RAM503、EEPROM504、HD(Hard Disk)505、HDD(Hard Disk Drive)コントローラ506、ネットワークI/F511、メディアI/F515、外部機器接続I/F516及びバスライン520を備えている。これらのハードウエア資源は、通信端末3のCPU301、ROM302、RAM303、EEPROM304、ネットワークI/F311、メディアI/F315及び外部機器接続I/F316及びバスライン320の各ハードウエア資源と同様であるため、説明を省略する。
【0047】
ここで、HD505は、プログラム等の各種データを記憶する。HDDコントローラ506は、CPU501の制御にしたがってHD505に対する各種データの読出し又は書込みを制御する。ここで、情報解析装置5は、HD505及びHDDコントローラ506に代えて、SSD(Solid State Drive)を搭載したハードウエア構成であってもよい。
【0048】
なお、上記プログラムは、インストール可能な形式又は実行可能な形式のファイルで、コンピュータで読取り可能な記録媒体に記録、又はネットワークを介してダウンロードを行い流通させるようにしてもよい。記録媒体の例として、CD-R(Compact Disc Recordable)、DVD(Digital Versatile Disk)、Blu-ray Disc(Blu-rayは登録商標。以下省略)、SDカード、USBメモリ等が挙げられる。また、記録媒体は、プログラム製品(Program Product)として、国内又は国外へ提供されることができる。例えば、情報解析装置5は、本発明に係るプログラムが実行されることで、本発明に係る情報解析方法を実現する。
【0049】
〔情報解析システムの機能構成〕
次に、
図6乃至
図10を用いて、本実施形態の機能構成について説明する。
図6は、情報解析システムの機能構成の一例を示す図である。なお、
図6は、
図1に示されている通信端末3又は情報解析装置5のうち、後述する処理又は動作に関連するものを示す。
【0050】
<通信端末の機能構成>
次に、通信端末3の機能構成について説明する。
図6に示されているように、通信端末3は、送受信部31、操作受付部32、取得部33、表示制御部34、起動部36、登録部38及び記憶読出部39を有する。これら各機能部は、
図4に示された各ハードウエア資源のいずれかが、ROM302、EEPROM304及び記録メディア314のうち少なくとも一つからRAM303に展開された通信端末3用のプログラムに従ったCPU301からの命令により動作することで実現される機能又は手段である。また、通信端末3は、
図4に示されているROM302、EEPROM304及び記録メディア314のうち少なくとも一つにより構築される記憶部3000を有している。更に、記憶部3000には、各装置、各端末と通信ネットワーク100を介して通信を行うための通信プログラム(通信アプリ)、ブラウザアプリ、オンライン会議、オンライン朝礼等を行うためのビデオ会議アプリ等がインストールされ記憶されている。
【0051】
<<通信端末の各機能構成>>
次に、通信端末3の各機能構成について詳細に説明する。
図6に示されている通信端末3の送受信部31は、主に、ネットワークI/F311及び近距離通信I/F308に対するCPU301の処理によって実現され、通信ネットワーク100を介して情報解析装置5との間で各種データ(又は情報)の送受信を行う。また、送受信部31は、取得した画像情報及び音声情報を情報解析装置に対して送信する。送受信部31は更に、参加者情報通知として、各参加者の顔画像データ、各参加者の電子メールアドレスを含む各種情報を情報解析装置5に対して送信する。本実施形態において送受信部31は、第1の送信手段及び第1の受信手段のうち少なくとも一方の手段の一例として機能する。
【0052】
操作受付部32は、主に、ディスプレイ307、タッチパネル312及びポインティングデバイス313のうち少なくとも一方が受け付けた各種操作により生成された信号をCPU301が処理することによって実現される。なお、操作受付部32は、ディスプレイ307、タッチパネル312及びポインティングデバイス313に代えて、キーボード等の入力手段が受け付けた各種操作により生成された信号が用いられてもよい。なお、ディスプレイ307とタッチパネル312とは、そのハードウエア資源及び機能を共有するものであってもよい。また、操作受付部32は、オンライン朝礼等のイベントにおいて、各参加者又はリーダーによるオンライン朝礼の開始操作及び終了操作を受け付ける。本実施形態において操作受付部32は、受付手段の一例として機能する。
【0053】
取得部33は、主に、CPU301の処理によって実現され、送受信部31によって受信された各種情報を取得する。また、取得部33は、オンライン朝礼等における各参加者の顔画像データ及び発話音声データを、それぞれのハードウエア資源を用いて取得する。ここで、顔画像データは画像情報(視覚情報)の一例であり、発話音声データは音声情報の一例である。取得部33は更に、情報解析装置5が送信した所定の内容を含むレポートデータ(状態通知の一例)を、送受信部31を介して取得する。本実施形態において取得部33は、取得手段の一例として機能する。
【0054】
表示制御部34は、主に、ディスプレイ307に対するCPU301の処理によって実現され、通信端末3における各種画面及び情報(データ)の表示制御を行う。また、表示制御部34は、情報解析装置5が送信した複数の参加者の状態に係るレポートデータを、ディスプレイ307に表示させる。本実施形態において「参加者の状態」とは、参加者の頷きの回数及び笑顔の回数のうち少なくとも一方に基づく複数の参加者の各々の表情検出状態、並びに、複数の参加者の各々の表情検出状態に基づく複数の参加者全体の活性状態を示す。ここで、表情検出状態とは、後述する笑顔の検出状態及び頷きの検出状態を含む。更に、参加者全体の活性状態とは、後述する集団活性度を含む。なお、本実施形態では、表示制御部34に代えて、又は加えて、情報解析装置5の表示制御部54が、レポートデータで示される解析結果画面において、第1の選択肢及び第2の選択肢に対する選択に応じた画面をディスプレイ307(表示手段の一例)に表示させる機能を有していてもよい。また、表示制御部34は、例えば、ブラウザを用いて、HTML等により生成された表示画面を、ディスプレイ307に表示させる。本実施形態において表示制御部34は、表示制御手段の一例として機能する。
【0055】
起動部36は、主に、CPU301の処理によって実現され、通信端末3におけるビデオ会議アプリを含む各種アプリの起動を行う。本実施形態において起動部36は、起動手段の一例として機能する。
【0056】
登録部38は、主に、CPU301の処理によって実現され、通信端末3における各種情報の登録を行う。本実施形態において登録部38は、登録手段の一例として機能する。
【0057】
記憶読出部39は、主に、ROM302、EEPROM304及び記録メディア314のうち少なくとも一つに対するCPU301の処理によって実現され、記憶部3000に各種データ(又は情報)を記憶したり、記憶部3000から各種データ(又は情報)を読み出したりする。本実施形態において記憶読出部39は、記憶読出手段の一例として機能する。
【0058】
<情報解析装置の機能構成>
次に、情報解析装置5の機能構成について説明する。
図6に示されているように、情報解析装置5は、送受信部51、取得部52、認証部53、表示制御部54、判断部55、解析処理部56、生成部57、登録部58及び記憶読出部59を有する。これら各機能部は、
図5に示された各ハードウエア資源のいずれかが、ROM502、EEPROM504、HD505及び記録メディア514のうち少なくとも一つからRAM503に展開された情報解析装置5用のプログラムに従ったCPU501からの命令により動作することで実現される機能又は手段である。また、情報解析装置5は、
図5に示されているROM502、EEPROM504、HD505及び記録メディア514のうち少なくとも一つにより構築される記憶部5000を有している。更に、記憶部5000には、通信端末3と通信ネットワーク100を介して通信を行うための通信プログラム(通信アプリ)、ブラウザアプリ等がインストールされ記憶されている。
【0059】
<<情報解析装置の各機能構成>>
次に、情報解析装置5の各機能構成について詳細に説明する。
図6に示されている情報解析装置5の送受信部51は、主に、ネットワークI/F511及び近距離通信I/F508に対するCPU501の処理によって実現され、通信ネットワーク100を介して通信端末3との間で各種データ(又は情報)の送受信を行う。また、送受信部51は、後述する生成部57によって生成された複数の参加者の状態に係るレポートデータ(状態通知の一例)を、通信端末3に対して送信する。本実施形態において送受信部51は、第2の送信手段及び第2の受信手段のうち少なくとも一方の手段の一例として機能する。
【0060】
取得部52は、主に、CPU501の処理によって実現され、例えば、通信端末3が送信(投稿)した投稿文書(ファイル)を取得する。また、取得部52は、通信端末3が送信した参加者情報通知として、各参加者の顔画像データ(画像情報)、発話に係る音声データ(音声情報)、各参加者の電子メールアドレスを含む各種情報を、送受信部51を介して取得する。また、取得部52は、複数の参加者のうち特定の参加者が使用する通信端末3が送信した画像情報及び音声情報、又は、複数の参加者のそれぞれが使用する通信端末3が送信した画像情報及び音声情報のいずれかを取得する。なお、画像情報には、参加者の表情画像としての「頷き」及び「笑顔」が含まれる。また、音声情報には、参加者の発話音声としての「発言内容」、「感謝のことば」が含まれる。本実施形態において取得部52は、取得手段の一例として機能する。
【0061】
認証部53は、主に、CPU501の処理によって実現され、通信端末3が送信した各参加者(メンバー)の顔画像データ、電子メールアドレスに基づいて認証処理を実行する。また、認証部53は、オンラインによるイベントが実行される際の各参加者のパスワード管理、ユーザ管理を行う。本実施形態において認証部53は、認証手段の一例、処理手段の一例として機能する。
【0062】
表示制御部54は、主に、通信端末3のディスプレイ307に対するCPU501の処理によって実現され、通信端末3に対する各種画面及び情報(データ)の表示制御を行う。また、表示制御部54は、例えば、ブラウザを用いて、HTML等により生成された表示画面を、通信端末3のディスプレイ307に表示させる。本実施形態において表示制御部54は、表示制御手段の一例として機能する。
【0063】
判断部55は、主にCPU501の処理によって実現され、情報解析装置5全体における各種判断処理を行う。本実施形態において判断部55は、判断手段の一例として機能する。
【0064】
解析処理部56は、主に、CPU501の処理によって実現され、情報解析装置5において機械学習モデルを用いた一連の情報解析を行う。また、解析処理部56は、通信端末3が送信した画像情報及び音声に基づいて、複数の参加者の状態を解析する。また、解析処理部56は、複数の参加者の各々の、頷きに係る情報及び笑顔に係る情報のうち少なくとも一方、並びに、発話に係る情報、に基づいて複数の参加者の状態を解析する。解析処理部56は更に、頷きに係る情報及び笑顔に係る情報のうち少なくとも一方に対して機械学習モデルを用いた解析を行うことにより、複数の参加者の状態を解析する。解析処理部56は更に、複数の参加者のうち特定の参加者が使用する通信端末3が送信した画像情報及び音声情報、又は、複数の参加者のそれぞれが使用する通信端末3が送信した画像情報及び音声情報のいずれかに基づいて、複数の参加者の状態を解析する。本実施形態において解析処理部56は、解析処理手段の一例として機能する。なお、解析処理部56は、上述したAWSが用いられてもよい。
【0065】
生成部57は、主に、CPU501の処理によって実現され、情報解析装置5における各種情報(データ)を生成する。また、生成部57は、解析した複数の参加者の状態に基づいて、通信端末3で表示可能な状態通知としてのレポートデータ(状態通知の一例)を生成する。また、生成部57は、複数の参加者の各々の表情検出状態と活性状態とに基づいて、状態通知を生成する。また、生成部57は、状態通知として、複数の参加者の各々の表情検出状態と活性状態とをそれぞれ視覚的に表現した結果としての図表(グラフ形式、表形式等)、及び、複数の参加者のうちの特定の参加者への結果に対するコメントを生成する。本実施形態において生成部57は、生成手段の一例として機能する。
【0066】
登録部58は、主に、CPU501の処理によって実現され、情報解析装置5で管理される各種データテーブルにおける情報の登録を行う。また、登録部58は、所定のイベントに対する参加者通知情報として、所定のイベントが実行される前に、所定のイベントに参加する複数の参加者の画像情報及び各参加者の電子メールアドレスを、ユーザの情報を管理する後述のユーザ情報管理DB(ユーザ情報管理手段の一例)に予め登録する。また、登録部58は、所定のイベントが実行される前に予め登録、認証され、所定のイベントに参加した複数の参加者のユーザID(電子メールアドレス)及び各参加者の画像情報を登録する。本実施形態において登録部58は、登録手段の一例として機能する。
【0067】
記憶読出部59は、主に、ROM502、EEPROM504、HD505及び記録メディア514のうち少なくとも一つに対するCPU501の処理によって実現され、記憶部5000に各種データ(又は情報)を記憶したり、記憶部5000から各種データ(又は情報)を読み出したりする。本実施形態において記憶読出部59は、記憶読出手段の一例として機能する。
【0068】
●ユーザ情報管理テーブル●
図7は、ユーザ情報管理テーブルの一例を示す概念図である。なお、以下に説明するデータテーブルの構造は一例であり、これに限るものではない。記憶部5000には、
図7に示されているようなユーザ情報管理テーブルによって構成されたユーザ情報管理DB5001が構築されている。ユーザ情報管理テーブルでは、ユーザID(電子メールアドレス)ごとに、グループ(チーム)名、リーダーフラグ及びユーザ名が関連付けられて記憶、管理されている。これらのうち、ユーザIDは、オンライン朝礼等の所定のイベントに参加する参加者(特定の参加者の一例であるリーダーを含む)の識別情報であり、例えば、電子メールアドレスである。グループ(チーム)名は、参加者が所属するグループ又はチームの名称である。リーダーフラグは、各ユーザがあるグループ又はチームのリーダーであるか否かを示すフラグであり、「True」であればリーダーであることを示す。ユーザ名は、ユーザIDに対応付けられたユーザの名前である。なお本実施形態では、以降「ID」と記載した場合、「識別情報」としての意味を含めるものとする。
【0069】
本実施形態においてユーザ情報管理テーブル(ユーザ情報管理DB5001)は、ユーザ情報管理手段の一例として機能する。
【0070】
●解析履歴管理テーブル●
図8は、解析履歴管理テーブルの一例を示す概念図である。なお、以下に説明するデータテーブルは一例であり、これに限るものではない。記憶部5000には、
図8に示されているような解析履歴管理テーブルによって構成された解析履歴管理DB5002が構築されている。解析履歴管理テーブルでは、ユーザIDごとに、グループ(チーム)名、日時、イベントの内容、参加フラグ、レポート生成フラグ、画像内での未検出時間、頷きの時間、笑顔の時間、発言の時間、感謝のことばの発話回数及び合計時間が関連付けられて記憶、管理されている。これらのうち、日時は、オンラインによるイベントを含むイベントが開催された日時を示す。イベントの内容は、オンライン朝礼等のタイトルである。参加フラグは、ユーザIDで示される参加者が対応するイベントに参加したか否かを示すフラグであり、「True」であれば参加済みであることを示す。レポート生成フラグは、対応するイベントに対するレポートが生成されたか否かを示すフラグであり、「True」であればレポート生成済みであることを示す。画像内での未検出時間は、イベントを録画した画像(映像)内で、ユーザIDで対応付けられた参加者が未検出となった時間を[秒]単位で示したものである。なお、画像内での未検出時間は、その値が他の参加者の時間よりも過度に長い場合、その参加者に対してアラートを示すレポートが作成される指標になる。頷きの時間は、ユーザIDで対応付けられた参加者がイベント中に頷きとして検出された時間を[秒]単位で示したものである。笑顔の時間は、ユーザIDで対応付けられた参加者がイベント中に笑顔として検出された時間を[秒]単位で示したものである。発言の時間は、ユーザIDで対応付けられた参加者がイベント中に発言(発話)した時間を[秒]単位で示したものである。感謝のことばの発話回数は、ユーザIDで対応付けられた参加者がイベント中に感謝のことばを発話(発言)した回数を示したものである。合計時間は、オンライン朝礼等の開始から終了までの時間である。解析履歴管理テーブルでは、上述した各管理項目が、ユーザIDごとに履歴として蓄積、管理されていく。
【0071】
本実施形態において解析履歴管理テーブル(解析履歴管理DB5002)は、解析履歴管理手段の一例として機能する。
【0072】
●個人元気度管理テーブル●
図9は、個人元気度管理テーブルの一例を示す概念図である。なお、以下に説明するデータテーブルは一例であり、これに限るものではない。記憶部5000には、
図9に示されているような個人元気度管理テーブルによって構成された個人元気度管理DB5003が構築されている。個人元気度管理テーブルでは、ユーザIDをタブとしたそれぞれのタブごとに、日時、イベントの内容、頷きの時間[秒]、笑顔の時間[秒]、個人元気度が関連付けられて記憶、管理されている。
【0073】
これらのうち、日時は、イベントが開催された日時である。イベントの内容は、オンライン朝礼、オンライン会議等の開催名、議題等である。このイベントは、日ごと、週ごと、月ごと等の定期的な開催であってもよい。頷きの時間は、所定のイベントにおける各参加者の頷きが検出された時間を秒単位で表したものである。笑顔の時間は、所定のイベントにおける各参加者の笑顔が検出された時間を秒単位で表したものである。個人元気度は、頷きの時間、笑顔の時間に基づいて機械学習モデルを用いて算出された、所定のイベントにおける参加者個人の表情に対する度合いを数値化したものである。この個人元気度は、例えば、0点から20点までの点数で示されていてもよい。
【0074】
本実施形態において個人元気度管理テーブル(個人元気度管理DB5003)は、個人元気度管理手段の一例として機能する。
【0075】
●集団活性度管理テーブル●
図10は、集団活性度管理テーブルの一例を示す概念図である。なお、以下に説明するデータテーブルは一例であり、これに限るものではない。記憶部5000には、
図10に示されているような集団活性度管理テーブルによって構成された集団活性度管理DB5004が構築されている。集団活性度管理テーブルでは、グループIDをタブとしたそれぞれのタブごとに、構成メンバー、日時、イベントの点数が関連付けられて記憶、管理されている。
【0076】
これらのうち、構成メンバーは、グループ(チーム)を構成するメンバーを示す。なお、構成メンバーは、そのグループ(チーム)を構成する全員を表すため、オンラインで開催される所定のイベントに欠席者がいた場合は、参加者に一致するとは限らない。イベント点数は、オンラインで開催された朝礼等の点数(朝礼点数)である。イベント点数は、上述した各構成メンバー(各ユーザIDで示される各参加者)の個人元気度に基づいて算出された点数である。このイベント点数が、後述する通信端末3に送信されるレポートのうちの集団活性度を表す。
【0077】
本実施形態において集団活性度管理テーブル(集団活性度管理DB5004)は、集団活性度管理手段の一例として機能する。
【0078】
〔実施形態の処理又は動作〕
次に、
図11乃至
図22を用いて、第1の実施形態に係る情報解析システムにおける各処理又は動作を説明する。
【0079】
<参加者情報通知、メンバー登録及び認証処理>
まず、参加者情報通知、メンバー登録及び認証処理について説明する。
図11は、参加者情報通知、メンバー登録及び認証の各処理の一例を示すシーケンス図である。
図11に示されているように、情報解析システム1を利用するユーザは、通信端末3を用いてオンライン会議アプリ又は所定のURLをアクセスすることによりWebブラウザを起動する(ステップS11)。
【0080】
次に、通信端末3の送受信部31は、情報解析装置5に対して、参加者情報通知を送信する(ステップS12)。これにより、情報解析装置5の送受信部51は、通信端末3が送信した参加者情報通知を受信する。このとき、参加者情報通知には、各参加者名、各参加者の顔画像データ、各参加者の電子メールアドレスが含まれる。なお、各参加者の顔画像データは、参加者毎に予め撮影された顔画像データ(例えば、社員証の写真データ)であってもよい。
【0081】
次に、情報解析装置5の登録部58は、メンバー登録処理を実行する(ステップS13)。具体的には、登録部58は、ステップS12で受信した参加者情報通知に含まれる各参加者の電子メールアドレスを、ユーザ情報管理DB5001(
図7参照)のユーザIDに登録する。
【0082】
なお、上述したステップS13のメンバー登録処理は、通信端末3からの参加者情報の送信に代えて、情報解析装置5がアクセス可能な上述したAWS上の所定のデータベースに対して、各参加者情報の登録を実行するようにしてもよい。更に、メンバー登録処理は、一般的に知られているWebサービスと同様に、各参加者がそれぞれ自信を登録してもよいし、各参加者のリーダーが一括してグループ(チーム)のメンバーを登録してもよい。更に、情報解析を伴うサービス実施者が各参加者に係る参加者情報を受け取り、ユーザ登録を行うようにしてもよい。
【0083】
続いて、認証部53は、認証処理を実行する(ステップS14)。具体的には、認証部53は、ステップS13で登録されたメンバーと、開催されるオンラインイベントに参加する各参加者の情報を比較し、登録情報が無い場合は、そのオンラインイベントに係るサービスを行わないようにすることを前提としている。
【0084】
上述したステップS11-S14の処理は、オンライン会議アプリ又はオンライン会議用のWebブラウザを起動した際の初回の処理に限られてもよい。そのため、通信端末3は、以降に説明する情報解析装置5との通信において、上述したステップによる各種処理が完了し、互いに通信可能な状態となっていることを前提としてもよい。
【0085】
<オンラインイベントにおける情報解析処理>
続いて、オンラインイベントにおける情報解析処理について説明する。
図12は、オンラインイベントでの情報解析処理の一例を示すシーケンス図である。
図12に示されているように、通信端末3の表示制御部34は、ステップS11のオンライン会議アプリの起動に応じて、ディスプレイ307にオンライン朝礼画面を表示させる(ステップS101)。
【0086】
●画面表示例●
ここで、通信端末3における表示画面例について説明する。
図13は、所定のイベント開催時の通信端末における表示画面の一例を示す図である。
図13に示されているように、通信端末3のディスプレイ307には、表示制御部34によってオンライン朝礼画面3111が表示される。ここで、通信端末3で起動されるオンライン会議アプリは、一般的に知られているようなオンラインで利用される会議ツールであってよい。この場合、ユーザの操作に基づいて開催される朝礼(イベント)が指定され、入室(参加)ボタン、アイコン等の操作に応じたオンライン朝礼画面が通信端末3のディスプレイ307に表示される。オンライン朝礼画面3111には、オンライン朝礼に参加している各参加者(参加者A,B,C,D,E,F(リーダー))のそれぞれの顔画像データ(静止画又は動画)が左上からZ字形の順番に並べられる。このように、通信端末3で表示される参加者の画像の位置と情報解析装置5で管理される参加者情報とを対応付けることで、情報解析装置5は、通信端末3から送信された各画像データに含まれる参加者を特定しやすくすることができる。また、タスクバーには、録画ボタン3551、録音ボタン3552、開始ボタン3553、及び終了ボタン3554が表示される。参加者は、これらのボタンに対してカーソル等を用いて操作して、オンライン朝礼における録画、録音、開始及び終了の各操作を行うことができる。なお、各操作は、オンライン朝礼に参加しているグループ(チーム)のリーダーが使用する通信端末3を用いて代表して行うことができる。他方、オンライン朝礼に参加しているグループ(チーム)の各メンバーがそれぞれの通信端末3を用いて行うこともできる。また、オンライン朝礼画面3111では、表示制御部34により、発話をしている発話者の枠内に、発話(発言)中表示マーク3112が表示される。これにより、オンライン朝礼に参加中のメンバーのうち、誰が発言(発話)しているかを目視でも確認することができる。オンライン朝礼画面3111では更に、表示制御部34により、各参加者の顔の動きにあわせて追従するような表情検出モニタ(四角い点線枠)が表示され、リアルタイムで各参加者の表情をモニタするようにしてもよい。本実施形態において、以降「ボタン」と記載した場合は、ディスプレイ307上に表示された「アイコン」を含むものとする。
【0087】
図12に戻り、通信端末3の操作受付部32は、オンライン朝礼開始操作を受け付ける(ステップS102)。具体的には、操作受付部32は、
図13に示した開始ボタン3553に対する各参加者又はリーダーによる操作を受け付ける。
【0088】
次に、取得部33及び記憶読出部39は、参加者の画像データ及び音声データを取得・保存する(ステップS103)。具体的には、オンライン朝礼に参加した各参加者が使用する各通信端末3の取得部33が、Webカメラ等で構成される画像取得部により通信端末3を使用する各参加者の顔を含む画像に係る画像データ、並びに、音声マイク等で構成される音声取得部により各参加者の発話に係る音声データを取得する。その後、記憶読出部39は、取得した画像データ及び音声データを、記憶部3000の所定領域に記憶、保存する。このとき、記憶読出部39は、画像データ及び音声データを、各参加者が使用する通信端末3にそれぞれ記憶、保存してもよいし、リーダーが使用する通信端末3にまとめて記憶、保存してもよい。なお、別の方法として、記憶読出部39は、記憶部3000の所定領域に代えて、専用のデータベースを用いて画像データ及び音声データを記憶、保存するようにしてもよい。なお、通信端末3の記憶読出部39は、オンライン朝礼が開催されている間、上述した画像取得部及び音声取得部を用いて次のオンライン朝礼操作終了操作が受け付けられるまで、ステップS103の処理を所定時間間隔(例えば5秒間隔)で繰り返し実行するようにしてもよい(ループ処理の実行)。
【0089】
次に、操作受付部32は、オンライン朝礼終了操作を受け付ける(ステップS104)。具体的には、操作受付部32は、
図13に示した終了ボタン3554に対する操作を受け付ける。
【0090】
次に、記憶読出部59は、参加者の画像データ及び音声データを読み出す(ステップS105)。具体的には、記憶読出部59は、ステップS103で保存した画像データ及び音声データを各通信端末3の記憶部3000の所定領域から読み出す。このとき、記憶読出部59は、読み出した画像データを所定の画像(動画)データフォーマット(例えば、mp4)に変換し、音声データを所定の音声データフォーマット(例えば、wav)にそれぞれ変換する。その後、記憶読出部59は、生成部57と協働して、フォーマット変換されたそれぞれの画像データ及び音声データに対して、各参加者のユーザIDごとにフォルダを生成する。
【0091】
次に、送受信部31は、情報解析装置5に対して、ステップS105で取得した複数の参加者の画像データ及び音声データを送信(アップロード)する(ステップS106)。これにより、情報解析装置5の送受信部51は、通信端末3が送信したデータを受信する。このとき、受信したデータには、アップロード対象の全員の画像データ、音声データ、及び各参加者のメールアドレスにより生成されたフォルダが含まれる。なお、アップロードされるデータは、オンライン会議アプリを用いて朝礼中に録画、録音されたデータでもよいし、オンライン会議ツールにより録画、録音されたデータでもよい。
【0092】
続いて、情報解析装置5の記憶読出部59は、データの保存処理を行う(ステップS107)。具体的には、記憶読出部59は、ステップS106で受信したアップロード対象の全員の画像データ及び音声データを、記憶部5000の所定領域に記憶、保存する。より具体的には、記憶読出部59は、所定のジョブキューに受信した値を追加し、指定時刻が来たタイミングでグループ(チーム)のリストと結果のインデックスを確認して、ジョブキューを追加する。このとき、キューの属性として、ユーザID、グループ(チーム)名、追加日時、参加者の出欠情報などが含まれる。
【0093】
次に、解析処理部56は、情報解析処理を実行する(ステップS108)。具体的には、解析処理部56は、通信端末3が送信した画像情報(画像データ)及び音声情報(音声データ)に基づいて、オンラインで開催される所定のイベントに参加した複数の参加者の状態を解析する。その後、生成部57は、解析した複数の参加者の状態に基づいて、通信端末3で表示可能な状態通知としてのレポートデータ(状態通知の一例)を生成する。ステップS108の情報解析処理については、以降にて詳細に説明する。
【0094】
<<情報解析処理の詳細>>
続いて、情報解析処理の詳細について説明する。
図14A及び
図14Bは、オンラインイベントでの情報解析処理の詳細を示すフローチャートである。なお、以下に示す各処理は情報解析処理の一例であり、これに限らない。
図14Aにおいて、まず、取得部52は、取得した画像データ(録画データ)及び音声データ(録音データ)を記憶読出部59を介して読み出し、コピー画像及びコピー音声を取得する(ステップS108-1)。なお、取得されたコピー画像を表すコピー画像データは、後述する頷きの回数、笑顔の回数、時間の少なくとも一方の検出に用いられる。また、取得されたコピー音声を表すコピー音声データは、後述する発話比率、発話者の発話有無の処理、感謝のことばの検出に用いられる。
【0095】
次に、解析処理部56は、取得したコピー画像を表すコピー画像データに対して、機械学習モデルを用いて各参加者の顔のキーポイントを検出する(ステップS108-2)。具体的には、解析処理部56は、コピー画像を表すコピー画像データに対して、一般的に知られている顔を抽出するための動画解析用パッケージ(例えば、FaceMesh)を利用して各参加者の顔のキーポイントを検出する。
【0096】
続いて、解析処理部56は、機械学習モデルを用いて笑顔を検出する(ステップS108-3)。具体的には、解析処理部56は、ステップS108-2で検出した顔のキーポイントと学習済みのニューラルネットワークとを用いて、各参加者の顔画像から笑顔を検出する。
【0097】
ステップS108-2の処理を実行した後、解析処理部56は別の処理として、各参加者の頭部運動を算出する(ステップS108-4)。具体的には、解析処理部56は、ステップS108-2で検出した顔のキーポイントに基づいて、各参加者の頭部の運動を算出する。
【0098】
次に、解析処理部56は、機械学習モデルを用いて頷きを検出する(ステップS108-5)。具体的には、解析処理部56は、ステップS108-4で検出した頭部運動の算出値と学習済みのニューラルネットワークとを用いて、各参加者の顔画像から頷きを検出する。
【0099】
ステップS108-1の処理を実行した後、解析処理部56は更に別の処理として、ノイズ低減処理を実行する(ステップS108-6)。具体的には、解析処理部56は、取得したコピー音声を表すコピー音声データに対して、ノイズ低減処理を実行する。
【0100】
続いて、解析処理部56は、音声データをテキストに変換する(ステップS108-7)。具体的には、解析処理部56は、ステップS108-6のノイズ低減処理を実行した後、例えば、一般的に知られている音声、手話等を文字に起こす処理(transcribe)を実行する。
【0101】
続いて、解析処理部56は、生成部57と協働して、発話区間データを生成し(ステップS108-8)、その後、ステップS108-2の処理に戻る。
【0102】
ステップS108-7の処理を実行した後、解析処理部56は更に別の処理として、感謝の数の検出(ステップS108-9)と、発話比率の検出(ステップS108-10)と、をそれぞれ実行する。
【0103】
なお、上述したステップS108-3,S108-5,S108-9及びS108-10の各処理で検出された笑顔、頷き、感謝の数、発話比率は、記憶部5000の所定領域に一時保存されておいてもよい。
【0104】
ステップS108-3,S108-5,S108-9及びS108-10の各処理を実行した後、解析処理部56は、個人元気度を解析して算出する(ステップS108-11)。具体的には、まず解析処理部56は、上述した笑顔検出処理、頷き検出処理、感謝の数の検出処理、及び発話比率の検出処理を実行した後、各参加者のユーザID(電子メールアドレス)を検索キーとして解析履歴管理DB5002(
図8参照)を検索することにより、対応する笑顔の時間、頷きの時間をそれぞれ読み出す。その後、解析処理部56は、読み出したそれぞれの値を各参加者の過去履歴における参考値として、上述したステップS108-3及びS108-5で検出した各値との間で個人元気度を解析して算出する。より具体的には、解析処理部56は、例えば、ある参加者の笑顔に基づく個人元気度を解析、算出する場合、解析履歴管理DB5002で管理されているその参加者の笑顔の時間及び頷きの時間を参照する。このとき、解析処理部56は、現在解析対象となっているイベント(例えば、「今週の業務進捗」)と同じ若しくは同類のイベント(過去に行われた「今週の業務進捗」)における笑顔の時間及び頷きの時間を参照することが好ましい。このような方法を一例とし、上述した機械学習モデル(学習済みのニューラルネットワーク)を用いて、解析処理部56は、各参加者の笑顔及び頷きをそれぞれ解析して算出する。その後、記憶読出部59は、算出された個人元気度を、個人元気度管理DB5003(
図9参照)の対応する個人元気度の項目に記憶、保存する。その後、情報解析装置5は、(丸A)以降の処理に遷移する。
【0105】
図14Bの(丸A)に続き、判断部55は、チーム全員分が揃っているかを判断する(ステップS108-12)。具体的には、判断部55は記憶読出部59を介して、ステップS106で受信した各参加者の電子メールアドレスを検索キーとしてユーザ情報管理DB5001(
図7参照)を検索する。その後、判断部55は、解析対象のイベントに参加しているグループ(チーム)の参加者全員と、ユーザ情報管理DB5001に登録されそのグループ(チーム)に属するユーザIDと、を比較し、予め判明している欠席者を除く参加者が揃っているかを判断する。
【0106】
チーム全員分が揃っていると判断された場合(ステップS108-12:YES)、解析処理部56は、集団活性度を解析して算出する(ステップS108-13)。具体的には、解析処理部56は、ステップS108-9で検出した感謝のことばの数、並びに、ステップS108-10で検出した発話回数、発言の時間、発話比率との間で集団活性度を解析して算出する。より具体的には、解析処理部56は、ステップS108-11で算出した個人元気度、並びに、解析履歴管理DB5002で管理されている発話回数、発言の時間、及び算出された発話比率に基づいて、集団活性度を解析して算出する。なお、集団活性度を算出する場合、個人元気度を解析して算出する場合と同様に、現在解析対象となっているイベント(例えば、「今週の業務進捗」)と同じ若しくは同類のイベント(過去に行われた「今週の業務進捗」)における感謝のことばの数、発話回数、発言の時間、発話比率をそれぞれ参照することが好ましい。このような方法を一例とし、上述した機械学習モデル(学習済みのニューラルネットワーク)を用いて、解析処理部56は、チーム全員分の解析結果に基づく集団活性度を解析して算出する。その後、記憶読出部59は、算出された集団活性度を、集団活性度管理DB5004(
図10参照)の対応するイベント点数の項目に記憶、保存する。
【0107】
続いて、生成部57は、算出した集団活性度に応じたUI画面データ(レポートデータ)を生成する(ステップS108-14)。具体的には、生成部57は、個人元気度管理DB5003(
図9参照)及び集団活性度管理DB5004(
図10参照)をそれぞれ参照して、ステップS108-11で算出された個人元気度及びステップS108-13で算出されたイベント点数(集団活性度)に対応したレポートデータを生成する。このレポートデータには、オンライン朝礼に参加した各参加者又はグループ(チーム)のリーダーに対するフィードバックコメントが含まれる。なお、レポートデータに含まれるフィードバックコメントは、算出されたそれぞれの点数に応じて情報解析装置5が適宜コメントを生成、若しくは予め用意された複数のコメントから選択するようなものであってもよい。その後、記憶読出部59は、記憶部5000の所定領域に生成したレポートデータを記憶してこのフローを抜ける。このとき、解析処理部56は、終了した対象ジョブをジョブキューから削除した後このフローを抜けるようにしてもよい。そして、ステップS108-12の判断処理を含む情報解析処理は、各個人のデータがバッチ処理に登録されるたびに実行される。
【0108】
チーム全員分が揃っていないと判断された場合(ステップS108-12:NO)、解析処理部56は所定時間待機し(ステップS108-15)、その後、判断部55は、再度チーム全員分が揃っているかを判断する(ステップS108-16)。
【0109】
所定時間待機後にチーム全員分が揃っている場合(ステップS108-16:YES)、判断部55は、上述したステップS108-13及びS108-14の処理を実行し、このフローを抜ける。
【0110】
他方、所定時間待機後もチーム全員分が揃っていない場合(ステップS108-16:NO)、解析処理部56は、欠席メンバーを除いた集団活性度を解析して算出する(ステップS108-17)。具体的には、解析処理部56は、ステップS108-9で検出した感謝のことばの数、並びに、ステップS108-10で検出した発話回数、発言の時間、発話比率との間で、現在揃っている参加者に関する集団活性度を解析して算出する。より具体的には、解析処理部56は、ステップS108-11で算出した個人元気度、並びに、解析履歴管理DB5002で管理されている発話回数、発言の時間、及び算出された発話比率に基づいて、現在揃っている参加者に関する集団活性度を解析して算出する。このときの処理の方法は、上述したステップS108-13における手法と同様であるため、説明を省略する。
【0111】
次に、生成部57は、欠席メンバーを除いた集団活性度に応じたUI画面データ(レポートデータ。例えば、PDF)を生成する(ステップS108-18)。なお、ステップS108-18におけるレポートデータの生成についても、ステップS108-14で説明したような方法と同様であってよい。その後、記憶読出部59は、記憶部5000の所定領域に生成したレポートデータを記憶してこのフローを抜ける。
【0112】
なお、上述したステップS108-15では、情報解析装置5は、事前に所定の締切時間(所定時間)を設定し、その締切時間分待機した時点でデータがない参加者を欠席者として、ステップS108-17以降の処理を実行するようにしてもよい。更に、情報解析装置5は、ステップS108-15の所定時間待機後に行うステップS108-16の判断処理に代えて、ステップS108-16の判断処理を所定時間繰り返し行う(ループ処理を行なう)ようにしてもよい。
【0113】
図12に再び戻り、情報解析装置5の送受信部51は、通信端末3に対して、ステップS108で生成したそれぞれの場合におけるレポートデータを送信する(ステップS109)。これにより、通信端末3の送受信部31は、情報解析装置5が送信した各レポートデータを受信する。
【0114】
なお、ステップS109における情報解析装置5からのレポートの送信処理は、イベントの開催中(イベントの終了前)に実行されてもよい。
【0115】
また、情報解析装置5は、ステップS109における通信端末3に対するレポートの送信に代えて、上述したステップS108において、以下のようにレポートを生成してもよい。例えば、情報解析装置5は、通信端末3を利用する参加者(ユーザ)による所定のWebブラウザへのアクセスに応じて、通信端末3で操作されるWebブラウザ上に表示可能な状態のレポートを生成するようにしてもよい。より具体的には、情報解析装置5は、レポートを生成した後、自動で参加者(例えば、リーダー)のもとへ電子メール等でレポートを送信する代わりに、Webブラウザ上に生成したレポートを保存し、そのWebブラウザにリーダーがアクセスした際に、Webブラウザ上に生成したレポートを表示するようにしてもよい。その場合、例えば、
・オンラインで開催されたオンライン朝礼を解析した後、情報解析装置5又は専用のサーバ側で生成したレポートを保持する。
・オンライン朝礼に参加した参加者を含むユーザが、Webブラウザへアクセスする。
・情報解析装置5又は専用のサーバで管理されているデータベース(DB)からレポートが渡され、Webブラウザ上にそのレポートが表示される。
といった手順にしたがって生成されたレポートの提供及び表示の形態が考えられる。
【0116】
次に、通信端末3の表示制御部34は、ステップS109で受信したレポートデータを、ディスプレイ307に表示させる(ステップS110)。このとき、表示制御部34は、情報解析装置5が送信した電子メールを通信端末3のディスプレイ307にレポートとして表示してもよいし、Webブラウザ上にレポートの内容を表示してもよい。
【0117】
●画面表示例●
以下、本実施形態に係る通信端末3におけるレポート表示画面例について説明する。なお、通信端末3における画面表示については、既存の画面表示方法を用いて通信端末3のディスプレイ307に所定の画像を表示する方法が採用されてよい。
図15以降に示すUI画面例に含まれるレポートは、例えば、オンライン朝礼における朝礼点数及び元気点数(個人元気度)といった全体の概要を提示し、その後に各参加者の頷き、笑顔等の詳細を提示する。なお、
図15乃至
図22に示したレポートの内容及び表示形態は一例であり、これらに限らない。
【0118】
〇朝礼点数(集団活性度)〇
図15は、通信端末におけるレポート表示画面(朝礼点数)の一例を示す図である。
図15に示されているように、通信端末3のディスプレイ307には、表示制御部34により朝礼点数画面3121が表示される。朝礼点数画面3121には、ステップS108-11で算出された各参加者の個人元気度に基づく集団活性度(朝礼点数)が表示される。その内訳は、頷き(うなずき)点数、笑顔点数、発話者点数、発話比率点数、感謝点数であり、それぞれ例えば、20点満点中の点数で表される。そして、総合評価点数として、最高点(100点満点)中の合計点数が表示される。朝礼点数画面3121には更に、総評としてこの点数に対するコメントが付記される。これにより、このレポートを受信した各参加者若しくはグループ(チーム)のリーダーは、通知された点数及び総評を参考に、そのグループ(チーム)の次のオンライン朝礼に活かすことが可能になる。なお、
図15では、集団活性度を点数化しているが、点数に代えて記号、マーク等で与えられてもよい。例えば、晴れ、曇り、雨などのマーク、記号を用いてもよい。このような表示形態は、以降、点数として表示されるものすべてに適用可能である。
【0119】
〇元気点数(個人元気度)〇
図16は、通信端末におけるレポート表示画面(元気点数)の一例を示す図である。
図16に示されているように、通信端末3のディスプレイ307には、表示制御部34により元気点数画面3131が表示される。元気点数画面3131には、ステップS108-11で算出された個人元気度に基づく元気点数が表示される。その内訳は、ある日時に開催されたイベント(例えば、朝礼)における各参加者の元気点数であり、例えば、10点満点中の点数で表される。元気点数画面3131には更に、総評として各参加者の点数に対するコメントが付記される。これにより、このレポートを受信した各参加者若しくはグループ(チーム)のリーダーは、各参加者の個人元気度を一度に把握することが可能になる。特に、リーダーは、点数が低い参加者がいた場合、その参加者にアラートを出して声掛けを促すことも可能になる。
【0120】
なお、
図15、
図16では、個人情報保護の観点から、参加者全員若しくはリーダーに各メンバーの個人情報をそのまま返すのではなく、チーム全体の点数と、各参加者の結果のみを返すようにしてもよい。
【0121】
〇過去のオンライン朝礼点数〇
図17は、通信端末におけるレポート表示画面(過去のオンライン朝礼点数)の一例を示す図である。
図17に示されているように、通信端末3のディスプレイ307には、表示制御部34により過去朝礼点数画面3141が表示される。過去朝礼点数画面3141には、ステップS108-11で算出された個人元気度に基づくある参加者の過去朝礼点数が表示される。その内訳は、最新の朝礼開催日を含む過去数回の朝礼におけるグループ(チーム)の頷き点数、笑顔点数、発話者点数、発話比率点数及び感謝点数が20点満点で表示される。なお、過去朝礼点数画面3141における結果は、過去のオンライン朝礼の開催日時とそれぞれの点数とを対応させた図表(グラフ形式、表形式等)で表示されてもよい。これにより、このレポートを受信した各参加者若しくはグループ(チーム)のリーダーは、過去のオンライン朝礼におけるそれぞれの点数を一度に把握することが可能になり、日時の変化、朝礼に内容といった要因による各参加者の変化を推測することも可能になる。
【0122】
〇頷き点数〇
図18は、通信端末におけるレポート表示画面(頷き検出時)の一例を示す図である。
図18に示されているように、通信端末3のディスプレイ307には、表示制御部34により頷き点数画面3151が表示される。頷き点数画面3151には、ステップS108-11で算出された個人元気度に基づく1分間あたりの頷き回数が4回以上の参加者の頷き回数及び頷き点数が、グラフ化、点数化して表示される。頷き点数画面3151における上段のグラフは、解析した日の会議の結果が示され、下段のグラフは、過去との比較結果が示されている。頷き点数画面3151には更に、頷きの点数に応じたコメント、及び過去との比較を踏まえたコメントがそれぞれフィードバックされる。これにより、このレポートを受信した各参加者若しくはグループ(チーム)のリーダーは、解析した日のイベントとこれまでのイベントとの結果を容易に把握、比較できるようになる。なお、本実施例では頷きの回数をカウントしているが、頷き回数ではなく頷き時間として解析してもよい。
【0123】
〇笑顔点数〇
図19は、通信端末におけるレポート表示画面(笑顔検出時)の一例を示す図である。
図19に示されているように、通信端末3のディスプレイ307には、表示制御部34により笑顔点数画面3161が表示される。笑顔点数画面3161には、ステップS108-11で算出された個人元気度に基づく笑顔回数が2回以上の参加者の笑顔回数及び笑顔点数が、グラフ化、点数化して表示される。笑顔点数画面3161における上段のグラフは、解析した日の会議の結果が示され、下段のグラフは、過去との比較結果が示されている。笑顔点数画面3161には更に、笑顔の点数に応じたコメント、及び過去との比較を踏まえたコメントがそれぞれフィードバックされる。これにより、このレポートを受信した各参加者若しくはグループ(チーム)のリーダーは、解析した日のイベントとこれまでのイベントとの結果を容易に把握、比較できるようになる。なお、本実施例では笑顔の回数をカウントしているが、笑顔の回数ではなく笑顔の時間として解析してもよい。
【0124】
〇発話比率〇
図20は、通信端末におけるレポート表示画面(発話比率)の一例を示す図である。
図20に示されているように、通信端末3のディスプレイ307には、表示制御部34により発話比率点数画面3171が表示される。発話比率点数画面3171には、ステップS108-11で算出された個人元気度に基づくファシリテータの発話比率の割合として、ファシリテータ(例えば、リーダー)以外の参加者の発話時間が、グラフ化、点数化して表示される。発話比率点数画面3171における上段のグラフは、解析した日の会議の結果が示され、下段のグラフは、過去との比較結果が示されている。発話比率点数画面3171には更に、発話比率の点数に応じたコメント、及び過去との比較を踏まえたコメントがそれぞれフィードバックされる。これにより、このレポートを受信した各参加者若しくはグループ(チーム)のリーダーは、ファシリテータ以外の参加者の発話時間の関係を容易に把握、比較できるようになる。
【0125】
〇発話者点数〇
図21は、通信端末におけるレポート表示画面(発話者)の一例を示す図である。
図21に示されているように、通信端末3のディスプレイ307には、表示制御部34により発話者点数画面3181が表示される。発話者点数画面3181には、ステップS108-11で算出された個人元気度に基づく発話者の人数の関係が○、×表記で表示される。発話者点数画面3181における上段の表は、解析した日の会議の結果が示され、下段のグラフは、過去との比較結果が示されている。発話者点数画面3181には更に、各参加者の発話(発言)結果に応じたコメント、及び過去との比較を踏まえたコメントがそれぞれフィードバックされる。これにより、このレポートを受信した各参加者若しくはグループ(チーム)のリーダーは、各参加者の発話状況を容易に把握し、参加者間の発話状況を容易に比較できるようになる。また、例えば会議の冒頭に挨拶をした場合なども発話としてカウントしてしまうと、ほぼ参加者全員が発話者としてカウントされてしまうため、1回の発話時間に閾値(例えば、6秒間)を設けている。これによって単純な挨拶のみや、問いかけに対する短い返答を発話として認識させないようにしている。なお、本実施形態では発話者点数を○、×表記で表示しているが、棒グラフなどで表示してもよい。
【0126】
〇感謝点数〇
図22は、通信端末におけるレポート表示画面(感謝のことば検出時)の一例を示す図である。
図22に示されているように、通信端末3のディスプレイ307には、表示制御部34により感謝点数画面3191が表示される。感謝点数画面3191には、ステップS108-11で算出された個人元気度に基づく感謝を伝えた数がグラフ化、点数化して表示される。この場合の感謝は、発話に関しては例えば、「ありがとう」、「助かりました」、「おかげさまで」などのことばであってよく、日本語のみならず外国語による感謝のことばが含まれていてもよい。感謝点数画面3191における上段の表は、解析した日の会議の結果が示され、下段のグラフは、過去との比較結果が示されている。感謝点数画面3191には更に、各参加者間で感謝された数に応じたコメント、及び過去との比較を踏まえたコメントがそれぞれフィードバックされる。これにより、このレポートを受信した各参加者若しくはグループ(チーム)のリーダーは、各参加者の感謝の度合いを容易に把握することができるようになる。
【0127】
本実施形態に係る情報解析システムでは、例えば、上述したステップS106及びS109の処理が実行される場合、通信端末3と情報解析装置5との間に他の装置等が存在してもよい。つまり、通信端末3と情報解析装置5との間で送受信される各情報(データ)は、一度他の装置等を介して送受信されるような構成であってもよい。上述した構成は、通信端末3と情報解析装置5との間に他の処理ステップが存在した場合でも適用することが可能である。
【0128】
〔第1の実施形態の主な効果〕
以上説明したように本実施形態によれば、情報解析システム1における通信端末3は、Webカメラ等により各参加者の顔を含む画像に係る画像データ、並びに、音声マイク等により各参加者の発話に係る音声データを取得し(ステップS103)、取得した複数の参加者の画像データ及び音声データを情報解析装置5に対して送信する(ステップS106)。
情報解析装置5は、通信端末3が送信した画像データ及び音声データに基づいて、複数の参加者の状態を解析して通信端末3で表示可能な解析結果に係るレポートデータを生成する(ステップS108)。これにより、オンラインを利用したイベントにおいても、発話のみならず表情に基づく参加者の状態を把握し、発話と表情から得られる情報を活かすことが可能になるという効果を奏する。
【0129】
〔第2の実施形態〕
次に、第2の実施形態について説明する。第2の実施形態では、オンラインイベントの一例であるオンライン朝礼に参加した各参加者が使用する各通信端末3が、各参加者に対する録画及び録音を行い、録画データ及び録音データを個別に情報解析装置5に対して送信する形態である。そのため、情報解析システム1を構成する通信端末3及び情報解析装置5を構成するハードウエア資源は、実施形態1と同様であるため、説明を省略する。更に、通信端末3及び情報解析装置5の機能構成も実施形態と同様であるため、説明を省略する。
【0130】
<オンラインイベントにおける情報解析処理>
続いて、オンラインイベントにおける情報解析処理について説明する。
図23は、第2の実施形態に係るオンラインイベントでの情報解析処理の一例を示すシーケンス図である。なお、
図23に示されているステップS201(オンライン朝礼画面の表示),S202(オンライン朝礼開始操作の受付)の処理は、第1の実施形態で説明したステップS101,S102の各処理と同様である。なお、第2の実施形態で開催されるオンラインイベントは、第1の実施形態と同様にオンライン朝礼とする。
【0131】
●画面表示例●
ここで、通信端末3における表示画面例について説明する。
図24は、第2の実施形態に係るオンラインイベントでの通信端末における表示画面の一例を示す図である。
図24に示されているように、通信端末3のディスプレイ307には、表示制御部34によってオンライン朝礼画面3211が表示される。ここで、通信端末3で起動されるオンライン会議アプリは、一般的に知られているようなオンラインで利用される会議ツールであってよい。この場合、オンライン朝礼に参加している各ユーザの操作に基づいて開催される朝礼(イベント)が指定され、入室(参加)ボタン、アイコン等の操作に応じたオンライン朝礼画面が各通信端末3のディスプレイ307に表示される。オンライン朝礼画面3211には、オンライン朝礼に参加している参加者Aの顔画像データ(静止画又は動画)が表示される。このとき、他の参加者B,C,D,E,Fの画像は、参加者Aの画像の横に参加者Aの顔画像よりも小さいサイズで表示される。したがって、この表示形態の場合は、参加者Aの顔の表情だけ表情検出モニタが起動される。また、タスクバーには、録画ボタン3651、録音ボタン3652、開始ボタン3653、及び終了ボタン3654が表示される。各参加者は、これらのボタンに対してカーソル等を用いて操作して、オンライン朝礼における録画、録音、開始及び終了の各操作を各参加者のタイミングで行うことができる。また、オンライン朝礼画面3211では、表示制御部34により、発話をしている発話者の枠内が太く表示、若しくは枠が点滅するように表示されてもよい。これにより、オンライン朝礼に参加中のメンバーのうち、誰が発言(発話)しているかを目視でも確認することができる。
【0132】
図23に戻り、取得部33及び記憶読出部39は、参加者の画像データ及び音声データを取得・保存する(ステップS203)。具体的には、オンライン朝礼に参加した各参加者が使用する各通信端末3の取得部33が、Webカメラ等で構成される画像取得部により通信端末3を使用する参加者の顔を含む画像に係る画像データ、並びに、音声マイク等で構成される音声取得部により各参加者の発話に係る音声データを取得する。その後、記憶読出部39は、取得した画像データ及び音声データを、記憶部3000の所定領域に記憶、保存する。なお、通信端末3の記憶読出部39は、オンライン朝礼が開催されている間、上述した画像取得部及び音声取得部を用いて次のオンライン朝礼操作終了操作が受け付けられるまで、ステップS203の処理を所定時間間隔(例えば5秒間隔)で繰り返し実行するようにしてもよい(ループ処理の実行)。
【0133】
続くステップS204の処理は、第1の実施形態で説明したステップS104の処理と同様である。
【0134】
次に、記憶読出部59は、参加者の画像データ及び音声データを読み出す(ステップS105)。具体的には、記憶読出部59は、ステップS203で保存した画像データ及び音声データを各通信端末3の記憶部3000の所定領域から読み出す。このとき、記憶読出部59は、読み出した画像データを所定の画像(動画)データフォーマット(例えば、mp4)に変換し、音声データを所定の音声データフォーマット(例えば、wav)にそれぞれ変換する。その後、記憶読出部59は、生成部57と協働して、フォーマット変換されたそれぞれの画像データ及び音声データに対して、各参加者のユーザIDごとにフォルダを生成する。
【0135】
次に、各通信端末3の送受信部31は、情報解析装置5に対して、ステップS205で取得したデータを各通信端末3の任意のタイミングで送信(アップロード)する(ステップS206)。これにより、情報解析装置5の送受信部51は、各通信端末3が送信したそれぞれのデータを受信する。このとき、受信したそれぞれのデータには、アップロード対象の各参加者の画像データ、音声データ、及び参加者のメールアドレスにより生成されたフォルダが含まれる。なお、アップロードされるデータは、各通信端末3が起動したオンライン会議アプリを用いて朝礼中に録画、録音されたデータでもよいし、オンライン会議ツールにより録画、録音されたデータでもよい。
【0136】
ステップS207-S210までの処理は、第1の実施形態で説明したステップS107-S110までの処理と同様であるため、説明を省略する。
【0137】
なお、上述した実施形態は、第1の実施形態における画像データ及び音声データの取得・保存方式、並びにデータアップロード方式と、第2の実施形態における画像データ及び音声データの取得・保存方式、並びにデータアップロード方式と、のそれぞれの方式を任意に組み合せたものであってもよい。
【0138】
〔第2の実施形態の主な効果〕
以上説明したように本実施形態によれば、情報解析システム1における各通信端末3は、それぞれの参加者の任意のタイミングで参加者自身の画像データ及び音声データを取得し、任意のタイミングで情報解析装置5に対して取得した画像データ及び音声データをアップロードする。これにより、第1の実施形態による効果に加えて、参加者の所属するグループ(チーム)のリーダーなどに画像データ及び音声データの取得操作、並びにデータのアップロードを行わせないため、リーダーなどの業務の負荷を軽減させることが可能になるという効果を奏する。
【0139】
〔実施形態の変形例〕
次に、実施形態の変形例について説明する。実施形態の変形例においても、第1の実施形態及び第2の実施形態に示したシステム構成、ハードウエア構成及び機能構成と共通であるため、それらの説明を省略する。ここでの変形例では、通信端末3で取得した各参加者の画像データ及び音声データを、オンラインイベントの終了を待たずに、オンラインイベント中に情報解析装置5に送信(アップロード)する場合を示している。
【0140】
<オンラインイベントにおける情報解析処理>
続いて、オンラインイベントにおける情報解析処理について説明する。
図25は、実施形態の変形例に係るオンラインイベントでの情報解析処理の一例を示すシーケンス図である。なお、
図25に示されているステップS251(オンライン朝礼画面の表示),S252(オンライン朝礼開始操作の受付)の処理は、第1の実施形態で説明したステップS101,S102の各処理と同様である。なお、変形例で開催されるオンラインイベントは、第1の実施形態と同様にオンライン朝礼とする。
【0141】
次に、取得部33は、参加者の画像データ及び音声データを取得する(ステップS253)。具体的には、オンライン朝礼に参加した各参加者が使用する各通信端末3の取得部33が、Webカメラ等で構成される画像取得部により通信端末3を使用する各参加者の顔を含む画像に係る画像データ、並びに、音声マイク等で構成される音声取得部により各参加者の発話に係る音声データを取得する。
【0142】
続いて、通信端末3の送受信部31は、ステップS253で取得した情報解析装置5に対してデータを送信(アップロード)する(ステップS254)。これにより、情報解析装置5の送受信部51は、各通信端末3が送信したデータを受信する。このとき、受信したデータには、アップロード対象の各参加者の画像データ、音声データ、及び参加者のメールアドレスにより生成されたフォルダが含まれる。なお、アップロードされるデータは、各通信端末3が起動したオンライン会議アプリを用いて朝礼中に録画、録音されたデータでもよいし、オンライン会議ツールにより録画、録音されたデータでもよい。
【0143】
次のステップS255の処理は、第1の実施形態で説明したステップS107の処理と同様であるため、説明を省略する。なお、ステップS253-S255の処理は、次のオンライン朝礼操作終了操作が受け付けられるまで所定時間間隔(例えば5秒間隔)で繰り返し実行されるようにしてもよい(ループ処理の実行)。
【0144】
次に、通信端末3の操作受付部32は、オンライン朝礼終了操作を受け付ける(ステップS256)。
【0145】
続いて、送受信部31は、情報解析装置5に対して、朝礼終了通知を送信する(ステップS257)。これにより、情報解析装置5の送受信部51は、通信端末3が送信した
朝礼終了通知を受信する。このとき、朝礼終了通知には、朝礼終了を示す終了通知ボタン情報が含まれる。
【0146】
以降、ステップS258-S260までの処理は、第1の実施形態のステップS108-S110までの処理と同様であるため、説明を省略する。
【0147】
〔実施形態の変形例の主な効果〕
以上説明したように本実施形態によれば、通信端末3は、Webカメラ等で構成される画像取得部により通信端末3を使用する各参加者の顔を含む画像に係る画像データ、並びに、音声マイク等で構成される音声取得部により各参加者の発話に係る音声データを取得し、情報解析装置5に対して送信(アップロード)する。これにより、通信端末3では、取得した参加者の画像データ及び音声データを記憶させる必要がないため、例えば、通信端末3の記憶手段の増大に係るパフォーマンス、コストへの影響を考慮せずにオンラインイベントへの参加を実現することが可能になるという効果を奏する。
【0148】
〔第3の実施形態〕
次に、第3の実施形態について説明する。第3の実施形態では、これまでに説明した第1の実施形態、第2の実施形態及び実施形態の変形例に対し、情報解析装置5においてオンライン朝礼に参加した各参加者に係るデータの取得可否、各参加者の解析結果の取扱いの観点にフォーカスし、それを実現する一例を説明する。具体的には、第3の実施形態では、後述する各参加者のダッシュボードにおいて操作される入力内容に応じて、各参加者に係る取得データの取扱いを予め設定する。これにより、オンラインで開催される所定のイベントに参加した複数の参加者のそれぞれに対し、各参加者に係るデータ(情報)の取扱いに対する合意形成を実現することを可能にする。
【0149】
第3の実施形態では、情報解析システム1を構成する通信端末3及び情報解析装置5を構成するハードウエア資源は、実施形態1と同様であるため、説明を省略する。更に、通信端末3及び情報解析装置5の機能構成も実施形態と同様であるため、説明を省略する。但し、情報解析装置5は、後述する個人データ利用管理DB5005を新たに管理する。
【0150】
〔情報解析システムの機能構成〕
次に、
図26及び
図27を用いて、本実施形態の機能構成について説明する。
図26は、第3の実施形態に係る情報解析システムの全体構成の一例を示す図である。なお、通信端末3の一部の機能及び情報解析装置5の各機能構成は、第1の実施形態で説明した内容と同様であるため、説明を省略する。
【0151】
<<通信端末の各機能構成>>
第3の実施形態に係る通信端末3の各機能構成のうち、表示制御部34は、複数の参加者の状態を解析する目的を各参加者に伝えるための説明動画を再生可能なアイコンを、ディスプレイ307に表示させる。また表示制御部34は、説明動画が再生された後、解析のためのデータの取得を許可するか否かを選択可能な取得許可選択部を、ディスプレイ307に表示させる。但し、表示制御部34は、上述した説明動画を再生可能なアイコンの表示を省略してもよい。その場合、通信端末3は、説明動画の再生も省略してもよい。また表示制御部34は、解析処理部56によって解析が行われた後、解析結果に係る通知を受け取るか否かを選択可能な通知受取選択部を、ディスプレイ307に表示させる。表示制御部34は更に、特定の参加者に係る解析結果を特定の参加者のリーダーに開示することを許可するか否かを選択可能な開示許可選択部を、ディスプレイ307に表示させる。
【0152】
<<情報解析装置の各機能構成>>
第3の実施形態に係る情報解析装置5では、次に説明する個人データ利用管理テーブル(個人データ利用管理DB5005)が追加される。この個人データ利用管理テーブルについて、以下に説明する。
【0153】
●個人データ利用管理テーブル●
図27は、第3の実施形態に係る個人データ利用管理テーブルの一例を示す概念図である。なお、以下に説明するデータテーブルの構造は一例であり、これに限るものではない。記憶部5000には、
図27に示されているような個人データ利用管理テーブルによって構成された個人データ利用管理DB5005が構築されている。個人データ利用管理テーブルでは、イベントID(又はイベントの内容)をタブとしたそれぞれのタブごとに、ユーザID、グループ(チーム)名、ユーザ名、データ取得の許否、通知の受取り、データ開示の許否を含む項目が関連付けられて記憶、管理されている。
【0154】
これらのうち、データ取得の許否は、オンライン朝礼に参加した参加者に係る解析データの取得を許可するか否かを管理する項目である。通知の受取りは、解析完了時のメール等による通知を受け取るか否かを管理する項目である。データ開示の許否は、自分の解析結果をリーダーに開示することを許可するか否かを管理する項目である。このように、個人データ利用管理テーブルでは、所定のイベントのリーダー以外の参加者(メンバー)に係る各種許否情報を管理するデータテーブルとして利用されてもよい。
【0155】
なお、データ取得の許否、通知の受取り、データ開示の許否については、後述する各参加者の通信端末3のダッシュボード上に表示された利用者設定画面において選択入力された内容が、ユーザIDごとに対応付けられて設定される。
【0156】
本実施形態において個人データ利用管理テーブル(個人データ利用管理DB5005)は、個人データ利用管理手段の一例として機能する。
【0157】
<個人データ利用設定処理>
次に、個人データ利用設定処理について説明する。
図28は、第3の実施形態に係る個人データ利用設定処理の一例を示すシーケンス図である。
図28に示されているように、情報解析システム1を利用するユーザ(オンライン朝礼の参加者)は、通信端末3を用いてオンライン会議アプリ又は所定のURLをアクセスすることによりWebブラウザを起動する。これにより、通信端末3の表示制御部34は、通信端末3のディスプレイ307にログイン(サインイン)画面を表示させる(ステップS301)。
【0158】
続いて、オンライン朝礼の参加者はログイン(サインイン)操作を行う。これにより、操作受付部32は、参加者によるログイン(サインイン)操作を受け受ける(ステップS302)。
【0159】
●画面表示例●
ここで、通信端末3における表示画面例について説明する。
図29は、第3の実施形態に係る通信端末におけるサインイン画面の一例を示す図である。
図29に示されているように、通信端末3のディスプレイ307には、表示制御部34によってサインイン画面3221が表示される。サインイン画面3221では、ステップS301で起動された朝礼診断ソリューションのタイトル、ユーザ名及びパスワードを入力する入力欄と、サインインを実行するためのサインインボタン3752が表示される。これにより、オンライン朝礼に参加する予定の各参加者は、各々の通信端末3を利用してサインインを行うことができる。
【0160】
図28に戻り、表示制御部34は、サービス内容紹介動画再生アイコンを表示する(ステップS303)。具体的には、表示制御部34は、ディスプレイ307にサービス内容紹介動画再生アイコンを含む画面を表示させる。
【0161】
●画面表示例●
図30は、第3の実施形態に係る通信端末における動画再生画面の一例を示す図である。
図30に示されているように、通信端末3のディスプレイ307には、表示制御部34によってサービス内容紹介画面3222が表示される。サービス内容紹介画面3222では、ステップS301で起動された朝礼診断ソリューションのタイトル、サービス内容動画を再生するための再生アイコン(四角内に右向き三角マーク)3231が表示される。ここで、サービス内容動画は例えば、複数の参加者の状態を解析する目的を各参加者に伝えるための動画である。動画による提供は、サービス内容、利用上の注意、ソフトウエア使用許諾等に係る各種情報をテキスト情報で与えた場合、最後まで読まずに同意等の処理をしてしまう利用者(参加者)を考慮した一つの解決手段(方法)である。これにより、オンライン朝礼に参加する予定の各参加者は、再生アイコン3231を操作して動画を再生させ、動画の視聴を終了した時点で「次へ」ボタン3752を操作して他の画面に遷移させることができる。
【0162】
図28に再び戻り、表示制御部34は、同意登録画面を表示する(ステップS304)。具体的には、表示制御部34は、ディスプレイ307に確認及び同意に係る登録画面を表示させる。
【0163】
●画面表示例●
図31は、第3の実施形態に係る通信端末における確認及び同意に係る登録画面の一例を示す図である。
図31に示されているように、通信端末3のディスプレイ307には、表示制御部34によって確認同意登録画面3223が表示される。確認同意登録画面3223では、ステップS301で起動された朝礼診断ソリューションのタイトル、参加者の書誌情報(所属企業名、名字、名前)、利用上の注意を確認したことをチェックするチェックボックス、ソフトウエア使用契約許諾に同意することをチェックするチェックボックスが表示される。これにより、オンライン朝礼に参加する予定の各参加者は、利用上の注意を確認したこと、ソフトウエア使用契約許諾に同意すること、を「登録」ボタン3752を操作することにより、情報解析装置5に対して登録させることができる。
【0164】
図28に再び戻り、操作受付部32は、同意登録操作を受け付ける(ステップS305)。具体的には、操作受付部32は、
図31に示した確認同意登録画面3223中の書誌事項の入力の受付、利用上の注意を確認したことのチェック入力、ソフトウエア使用契約許諾に同意することのチェック入力、「登録」ボタン3752に対する操作を、それぞれ受け付ける。
【0165】
続いて表示制御部34は、ダッシュボード画面を表示させる(ステップS306)。具体的には、上述したステップS305において「登録」ボタン3752が操作されたことを起点に、表示制御部34は、参加者の通信端末3のディスプレイ307にその参加者のダッシュボード画面を表示させる。
【0166】
●画面表示例●
図32は、第3の実施形態に係る通信端末における利用者設定画面の一例を示す図である。
図32に示されているように、通信端末3のディスプレイ307には、表示制御部34によってダッシュボード画面3311が表示される。ダッシュボード画面3311では、各参加者の名称を含むメニュータブ(Report, Schedule, Setting, Sign Out)、メニュータブに対応する設定画面が表示される。
図32に示した例では、メニュータブのうち「Setting」について、
・プルダウンキーでチーム名を選択可能な領域
と、各メンバーに対して、
・データの所得を許可するためのスライド式の切替ボタン
・解析完了時にメールによる通知を受け取るためのスライド式の切替ボタン
・自分の解析結果をリーダーに開示することを許可するためのスライド式の切替ボタン
がそれぞれ表示される。なお、各選択ボタンの初期状態は、それぞれON(許否選択のうちの「許可する」又は「受け取る」)が選択されている。これにより、各参加者は、オンライン朝礼等の所定のイベントに対して、その日の自身の体調、精神的な状態などに応じて、データの取得の許否、通知の受取りの許否、解析結果のリーダーへの開示許否を自由に選択することができる。
【0167】
図28に再び戻り、操作受付部32は、個人データ利用設定操作を受け付ける(ステップS307)。具体的には、操作受付部32は、
図32に示したダッシュボード画面3311中のデータの所得許否の選択入力、通知受取許否の選択入力を、解析結果の開示許否の選択入力をそれぞれ受け付ける。
【0168】
次に、送受信部31は、情報解析装置5に対して個人データ利用設定要求を送信する(ステップS308)。これにより、情報解析装置5の送受信部51は、通信端末3が送信した個人データ利用設定要求を受信する。このとき、個人データ利用設定要求には、イベントID、イベント名等のイベント情報、各参加者の電子メールアドレス、ダッシュボード画面3311において各参加者が入力した操作入力データが含まれる。
【0169】
次に、情報解析装置5の解析処理部56は、個人データ利用設定処理を行う(ステップS309)。具体的には、解析処理部56は記憶読出部59を介して、個人データ利用管理DB5005(
図27参照)で管理されている各項目の対応する項目に、ステップS308で受信した個人データ利用設定要求に含まれる情報を設定する。より具体的には、解析処理部56は、イベントID、イベント名等のイベント情報、各参加者の電子メールアドレス、操作入力データ(データ取得の許否、通知の受取り、データ開示の許否)を、個人データ利用管理DB5005の対応する項目に対して設定する。
【0170】
次に、送受信部51は、ステップS308で受信した個人データ利用設定要求に対する応答としての個人データ利用設定応答を、通信端末3に対して送信する(ステップS310)。これにより、通信端末3の送受信部31は、情報解析装置5が送信した個人データ利用設定応答を受信する。このとき、個人データ利用設定応答には、個人データ利用設定が完了した旨を示すメッセージ、フラグ等が含まれてよい。
【0171】
なお、
図28に示した個人データ利用設定処理における通信端末3は、オンライン朝礼等の所定のイベントに参加する各参加者の各通信端末である。そのため、により行われる。つまり、上述したステップS101-S310までの処理は、各通信端末3により個別に行われる処理となる。
【0172】
<オンラインイベントにおける情報解析処理>
続いて、オンラインイベントにおける情報解析処理について説明する。
図33は、第3の実施形態に係るオンラインイベントでの情報解析処理の一例を示すシーケンス図である。
図33に示したステップS321-S330の処理は、
図12に示したステップS101-S110の処理と同様であるため、説明を省略する。但し、第3の実施形態では、ステップS328の処理において、上述したステップS309で個人データ利用管理DB5005(
図27参照)に対して設定した個人データ利用設定情報を読み出し、結果に応じた通知画面データを生成する処理が追加される。
【0173】
<<情報解析処理の詳細>>
続いて、情報解析処理の詳細について説明する。
図34A及び
図34Bは、第3の実施形態に係るオンラインイベントでの情報解析処理の詳細を示すフローチャートである。なお、
図34Aに示したステップS328-1-S328-11の処理は、
図14Aに示したステップS108-1-S108-11の処理と同様であるため、説明を省略する。
【0174】
続く
図34Bは、第3の実施形態に係るオンラインイベントでの情報解析処理の詳細を示すフローチャートである。なお、
図34Bに示したステップS328-12-S328-18の処理は、
図14Aに示したステップS108-12-S108-18の処理の間で、ステップS308-14及びS308-18を除いて同様である。そのため、詳細の説明を省略する。なお、ステップS308-14及びS308-18の処理については、別途詳細に説明する。
【0175】
<レポートデータの生成>
図35は、第3の実施形態に係るレポートデータ生成処理の詳細を示すフローチャートである。なお、以下に示す各処理は情報解析処理の一例であり、第3の実施形態においてこれに限らない。
図35に示したように、情報解析装置5は、
図34Bに示したステップS328-13に係る詳細処理として、以下のステップS328-14-1-S328-14-10までの処理を、イベントに参加した参加者全員分について繰り返し実行する。これは、欠席メンバーが存在する場合のステップS328-18に係る詳細処理についても同様である。以下では、ステップS328-14の詳細について説明する。
【0176】
続いて、記憶読出部59は、個人データ毎の利用設定を読み出す(ステップS328-14-2)。具体的には、記憶読出部59は、イベントに参加した参加者のユーザID(電子メールアドレス)を検索キーとして個人データ利用管理DB5005(
図27参照)を検索することにより、対応する情報としてデータ取得の許否、通知の受取り、データ開示の許否の各情報を読み出す。
【0177】
次に、判断部55は、データの取得を許可しているかを判断する(ステップS328-14-3)。具体的には、判断部55は記憶読出部59を介して、ステップS328-14-2で読み出した特定の参加者に係る情報のうち、データ取得の許否の項目に対して許可(ON)が設定されているかを判断する。
【0178】
データの取得を許可していないと判断した場合(ステップS328-14-3:NO)、生成部57は、対象参加者の解析結果の取得を不許可とするUI画面データ(レポートデータ)を生成した後(ステップS328-14-4)、ステップS328-14-10を経由して他の参加者に対する処理に移行する。
【0179】
他方、データの取得を許可していると判断した場合(ステップS328-14-3:YES)、判断部55は更に、解析完了時に通知を受け取るかを判断する(ステップS328-14-5)。具体的には、判断部55は記憶読出部59を介して、ステップS328-14-2で読み出した特定の参加者に係る情報のうち、通知の受取りの項目に対して受け取る(ON)が設定されているかを判断する。
【0180】
解析完了時に通知を受け取らないと判断した場合(ステップS328-14-5:NO)、生成部57は、対象参加者の解析結果を通知しないUI画面データ(レポートデータ)を生成した後(ステップS328-14-6)、ステップS328-14-10を経由して他の参加者に対する処理に移行する。
【0181】
他方、解析完了時に通知を受け取ると判断した場合(ステップS328-14-5:YES)、判断部55は更に丸Bを経由して、解析結果のリーダーへの通知を許可するかを判断する(ステップS328-14-7)。具体的には、判断部55は記憶読出部59を介して、ステップS328-14-2で読み出した特定の参加者に係る情報のうち、データ開示の許否の項目に対して許可(ON)が設定されているかを判断する。
【0182】
解析結果のリーダーへの通知を許可すると判断した場合(ステップS328-14-7:YES)、生成部57は、対象参加者の解析結果を本人とリーダーに通知するUI画面データ(レポートデータ)を生成した後(ステップS328-14-8)、ステップS328-14-10を経由して他の参加者に対する処理に移行する。
【0183】
他方、解析結果のリーダーへの通知を許可しないと判断した場合(ステップS328-14-7:NO)、生成部57は、対象参加者の解析結果を本人のみに通知するUI画面データ(レポートデータ)を生成した後(ステップS328-14-9)、ステップS328-14-10を経由して他の参加者に対する処理に移行する。
【0184】
このように、情報解析装置5は、上述したステップS328-14-1-S328-14-10の処理を各参加者に対して実行する。これにより、情報解析装置5は、オンライン朝礼等の所定のイベントに参加したリーダーを除く参加者全員に対して同様の処理を繰り返し、各参加者が入力設定した情報に応じた解析結果を各参加者又はリーダーに対して提供する。
【0185】
なお、
図35のフローにおける処理は、上述した各判断の組合せや順序以外の処理が行われてもよい。これは、
図34Bに示したステップS328-16における詳細処理(サブルーチン)の処理についても同様である。
【0186】
また、本実施形態において、
図35に示したフローを
図34Aに示したステップS328-1の前で実行するようにしてもよい。これにより、
図32で各参加者により入力された情報に基づき、データの取得を許可しない不許可利用者に対するデータ取得処理を最初の段階で取得せずに済むという効果が期待できる。
【0187】
図33に戻り、ステップS329の処理を経て、通信端末3の表示制御部34は、レポートを表示する(ステップS330)。具体的には、通信端末3の表示制御部34は、情報解析装置5が送信した各参加者に係るレポートデータを、ディスプレイ307に表示させる。
【0188】
●画面表示例●
図36は、第3の実施形態に係る通信端末におけるレポート表示画面(元気点数)の一例を示す図である。
図36に示されているように、通信端末3のディスプレイ307には、表示制御部34により元気点数画面3411が表示される。元気点数画面3411における第1の実施形態に係る元気点数画面3131との相違点は、データの取得を不許可に設定した参加者Bさんの解析結果と、自身の解析結果をリーダーに開示不許可に設定した参加者Iさんの解析結果と、が、非表示になっている点である。非表示形態に関しては、例えば、データの取得を不許可にした場合は、その参加者のアイコン上に「取得不許可」と表示されるようにしてもよい。また、自身の解析結果のリーダーへの開示を不許可にした場合は、その参加者のアイコン上に「開示不許可」と表示されるようにしてもよい。更に、総評のコメントに、Bさん、Iさんがデータ非開示である旨のコメントを追記するようにしてもよい。これらにより、参加者Bさんと参加者Iさんのオンライン朝礼におけるプライバシーが守られるとともに、このレポートを受信したグループ(チーム)のリーダーは、各参加者のうちBさん、Iさんが、今回のオンライン朝礼の解析結果のデータ取得及び開示を望んでいないことを把握することが可能になる。
【0189】
〔第3の実施形態の主な効果〕
以上説明したように本実施形態によれば、オンライン朝礼等の所定のイベントに参加する参加者に対して事前に意思の確認を行い、確認結果(設定内容)に応じた解析結果を許可された人物にのみ開示若しくは通知する。これにより、第1の実施形態による効果に加えて、オンラインで開催されるオンライン朝礼等の所定のイベントに参加した複数の参加者のそれぞれに対し、各参加者に係るデータ(情報)の取扱いに対する合意形成を実現することが可能になるという効果を奏する。
【0190】
〔実施形態の補足〕
上述した実施形態の各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウエアによって各機能を実行するようプログラミングされたデバイスを含むものとする。このデバイスとは、例えば、プロセッサ、上記で説明した各機能を実行するよう設計されたASIC(Application Specific Integrated Circuit)、DSP(digital signal processor)、FPGA(field programmable gate array)、SOC(System on a chip)、GPU(Graphics Processing Unit)、及び従来の回路モジュール等をいう。
【0191】
これまで本発明の一実施形態に係る情報解析システム、情報解析装置、情報解析方法及びプログラムについて説明してきたが、本発明は、上述した実施形態に限定されるものではなく、他の実施形態の追加、変更又は削除等、当業者が想到することができる範囲内で変更することができ、いずれの態様においても本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。
【0192】
■まとめ■
本発明に係る態様は、例えば、以下のとおりである。
【0193】
<第1態様>
第1態様としての情報解析システム1(情報解析システムの一例。以下省略)は、オンラインで開催される所定のイベントに参加した複数の参加者に係る情報を取得可能な通信端末3(通信端末の一例。以下省略)と、通信端末が送信した情報を解析する情報解析装置5(情報解析装置の一例。以下省略)と、を有し、通信端末3は、複数の参加者の画像情報及び音声情報を取得する取得部33(取得手段の一例。以下省略)と、取得した画像情報及び音声情報を情報解析装置5に対して送信する送受信部31(第1の送信手段の一例。以下省略)と、を有し、情報解析装置5は、通信端末3が送信した画像情報及び音声情報に基づいて、複数の参加者の状態を解析する解析処理部56(解析手段の一例。以下省略)と、解析した複数の参加者の状態に基づいて、通信端末3で表示可能な状態通知を生成する生成部57(生成手段の一例。以下省略)と、を有する。
【0194】
第1態様によれば、オンラインを利用したイベントにおいても、発話のみならず表情に基づく参加者の状態を把握し、発話と表情から得られる情報を活かすことが可能になる。
【0195】
<第2態様>
第2態様としての情報解析システム1における情報解析装置5は、第1態様において、画像情報が、所定のイベント中の複数の参加者の各々の画像に含まれる頷きに係る情報及び笑顔に係る情報のうち少なくとも一方を表し、音声情報が、所定のイベント中の複数の参加者の各々の発話に係る情報を表し、解析処理部56が、複数の参加者の各々の、頷きに係る情報及び笑顔に係る情報のうち少なくとも一方、並びに発話に係る情報、に基づいて複数の参加者の状態を解析する。
【0196】
第2態様によれば、参加者の頷きに係る情報及び笑顔に係る情報のうち少なくとも一方により得られる各参加者への共感、相手への安心感といった、前向きな効果を与える情報を提供することが可能になる。
【0197】
<第3態様>
第3態様としての情報解析システム1における情報解析装置5は、第2態様において、解析処理部56が、頷きに係る情報及び笑顔に係る情報のうち少なくとも一方に対して機械学習モデルを用いた解析を行うことにより、複数の参加者の状態を解析する。
【0198】
第3態様によれば、過去に学習済みの学習モデルを利用することで、より高精度な解析結果を得ることが可能になる。
【0199】
<第4態様>
第4態様としての情報解析システム1における情報解析装置5は、第1態様乃至第3態様のいずれかにおいて、解析処理部56が、複数の参加者のうち特定の参加者が使用する通信端末3が送信した画像情報及び音声情報、又は、複数の参加者のそれぞれが使用する通信端末3が送信した画像情報及び音声情報のいずれかに基づいて、複数の参加者の状態を解析する。
【0200】
第4態様によれば、参加者の画像情報及び音声情報を提供(アップロード)する形態のバリエーションを増やすことが可能になる。
【0201】
<第5態様>
第5態様としての情報解析システム1における情報解析装置5は、第2態様又は第3態様において、複数の参加者の状態が、頷きの回数及び笑顔の回数のうち少なくとも一方に基づく複数の参加者の各々の表情検出状態、並びに、複数の参加者の各々の表情検出状態に基づく複数の参加者全体の活性状態を表し、生成部57が、複数の参加者の各々の表情検出状態と活性状態とに基づいて、状態通知を生成する。
【0202】
第5態様によれば、参加者個人の指標に留まらず、各参加者が所属するグループ(チーム)の集団活性度を提供することが可能になる。
【0203】
<第6態様>
第6態様としての情報解析システム1における情報解析装置5は、第5態様において、生成部57が、状態通知として、複数の参加者の各々の表情検出状態と活性状態とをそれぞれ視覚的に表現した結果としての図表(グラフ形式、表形式等)、及び、複数の参加者のうちの特定の参加者への結果に対するコメントを生成する。
【0204】
第6態様によれば、集団活性度の視認性を向上させることが可能になる。
【0205】
<第7態様>
第7態様としての情報解析システム1における情報解析装置5は、第1態様乃至第6態様のいずれかにおいて、所定のイベントに対する参加者通知情報として、所定のイベントが実行される前に、所定のイベントに参加する複数の参加者の画像情報及び各参加者の電子メールアドレスを、ユーザの情報を管理するユーザ情報管理DB5001(ユーザ情報管理手段の一例。以下省略)に予め登録する登録部58(登録手段の一例。以下省略)、を有する。
【0206】
第7態様によれば、登録されたメンバーに限り個人元気度及び集団活性度を算出、提供することにより、組織内の情報の秘匿性を維持することが可能になる。
【0207】
<第8態様>
第8態様としての情報解析システム1における情報解析装置5は、第1態様乃至第7態様のいずれかにおいて、生成した状態通知をオンラインで開催される所定のイベントに参加した複数の参加者に係る情報を取得可能な通信端末3(通信端末3の一例。以下省略)に対して送信する送受信部51(第2の送信手段の一例。以下省略)を有する。
【0208】
第8態様によれば、オンラインにより開催されるイベントに参加した参加者に対するフィードバックを参加者の通信端末に送信することにより、参加者は、フィードバックを確認することが可能になる。
【0209】
<第9態様>
第9態様としての情報解析システム1における通信端末3は、第1態様乃至第8態様のいずれかにおいて、情報解析装置5が送信した状態通知をディスプレイ307(表示手段の一例。以下省略)に表示させる表示制御部34(表示制御手段の一例。以下省略)を有する。
【0210】
第9態様によれば、オンラインにより開催されるイベントに参加した参加者に対するフィードバックを参加者の通信端末に表示させることにより、個人の情報の秘匿性を確保することが可能になる。
【0211】
<第10態様>
第10態様としてのオンラインで開催される所定のイベントに参加した複数の参加者に係る情報を解析する情報解析装置5は、オンラインで開催される所定のイベントに参加した複数の参加者に係る情報を取得可能な通信端末が送信した画像情報及び音声情報に基づいて、複数の参加者の状態を解析する解析処理部56(解析手段の一例。以下省略)と、解析した複数の参加者の状態に基づいて、通信端末3で表示可能な状態通知を生成する生成部57(生成手段の一例。以下省略)と、を有する。
【0212】
第10態様によれば、第1態様と同様に、オンラインを利用したイベントにおいても、発話のみならず表情に基づく参加者の状態を把握し、発話と表情から得られる情報を活かすことが可能になる。
【0213】
<第11態様>
第11態様としてのオンラインで開催される所定のイベントに参加した複数の参加者に係る情報を解析する情報解析装置5が実行する情報解析方法は、オンラインで開催される所定のイベントに参加した複数の参加者に係る情報を取得可能な通信端末3が送信した画像情報及び音声情報に基づいて、複数の参加者の状態を解析する解析ステップと、解析した複数の参加者の状態に基づいて、通信端末3で表示可能な状態通知を生成する生成ステップと、を含む処理を実行する。
【0214】
第11態様によれば、第1態様と同様に、オンラインを利用したイベントにおいても、発話のみならず表情に基づく参加者の状態を把握し、発話と表情から得られる情報を活かすことが可能になる。
【0215】
<第12態様>
第12態様としてのプログラムは、オンラインで開催される所定のイベントに参加した複数の参加者に係る情報を解析する情報解析装置5に、オンラインで開催される所定のイベントに参加した複数の参加者に係る情報を取得可能な通信端末3が送信した画像情報及び音声情報に基づいて、複数の参加者の状態を解析する解析ステップと、解析した複数の参加者の状態に基づいて、通信端末3で表示可能な状態通知を生成する生成ステップと、を含む処理を実行させる。
【0216】
第12態様によれば、第1態様と同様に、オンラインを利用したイベントにおいても、発話のみならず表情に基づく参加者の状態を把握し、発話と表情から得られる情報を活かすことが可能になる。
【0217】
<第13態様>
第13態様としての情報解析システム1における情報解析装置5の表示制御部34は、第9態様において、複数の参加者の状態を解析する目的を各参加者に伝えるための説明動画を再生可能なアイコンを、ディスプレイ307に表示させる。
【0218】
第13態様によれば、参加者の負担を軽減させるとともに、参加者に対して利用目的の理解を深めさせることが可能になる。
【0219】
<第14態様>
第14態様としての情報解析システム1における情報解析装置5の表示制御部34は、第13態様において、解析のためのデータの取得を許可するか否かを選択可能な取得許可選択部を、ディスプレイ307に表示させる。
【0220】
第14態様によれば、個人の情報に係る秘匿性をより確実に確保することが可能になる。
【0221】
<第15態様>
第15態様としての情報解析システム1における情報解析装置5の表示制御部34は、第14態様において、解析処理部56によって解析が行われた後、解析結果に係る通知を受け取るか否かを選択可能な通知受取選択部を、ディスプレイ307に表示させる。
【0222】
第15態様によれば、参加者の状態や希望に応じた解析結果の提供を行うことが可能になる。
【0223】
<第16態様>
第16態様としての情報解析システム1における情報解析装置5の表示制御部34は、第14態様において、特定の参加者に係る解析結果を特定の参加者のリーダーに開示することを許可するか否かを選択可能な開示許可選択部を、ディスプレイ307に表示させる。
【0224】
第16態様によれば、解析結果の共有についてより柔軟な運用を行うことが可能になる。
【符号の説明】
【0225】
1 情報解析システム
3 通信端末
5 情報解析装置
31 送受信部(第1の受信手段の一例、第1の送信手段の一例)
33 取得部(取得手段の一例)
34 表示制御部(表示制御手段の一例)
51 送受信部(第2の受信手段の一例、第2の送信手段の一例)
52 取得処理部(取得手段の一例)
56 解析処理部(解析手段の一例)
57 生成部(生成手段の一例)
58 登録部(登録手段の一例)
307 ディスプレイ(表示手段の一例)
【先行技術文献】
【特許文献】
【0226】