(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B1)
(11)【特許番号】
(24)【登録日】2022-12-20
(45)【発行日】2022-12-28
(54)【発明の名称】ビデオミーティング評価端末
(51)【国際特許分類】
H04N 7/15 20060101AFI20221221BHJP
【FI】
H04N7/15
(21)【出願番号】P 2022517951
(86)(22)【出願日】2021-10-14
(86)【国際出願番号】 JP2021038123
【審査請求日】2022-07-14
【早期審査対象出願】
(73)【特許権者】
【識別番号】520408744
【氏名又は名称】株式会社I’mbesideyou
(74)【代理人】
【識別番号】110002790
【氏名又は名称】One ip弁理士法人
(72)【発明者】
【氏名】神谷 渉三
【審査官】松元 伸次
(56)【参考文献】
【文献】特開2020-148931(JP,A)
【文献】特開2020-173787(JP,A)
【文献】国際公開第2017/064891(WO,A1)
【文献】米国特許出願公開第2012/0290508(US,A1)
【文献】特開2020-123884(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
A61B5/06-5/22
G06Q10/00-10/10
30/00-30/08
50/00-50/20
50/26-99/00
G06T1/00-1/40
3/00-7/90
G06V10/00-20/90
30/418
40/16
40/20
G16Z99/00
H04M3/00
3/16-3/20
3/38-3/58
7/00-7/16
11/00-11/10
H04N7/10
7/14-7/173
7/20-7/56
21/00-21/858
(57)【特許請求の範囲】
【請求項1】
複数のユーザでビデオミーティングが行われる環境において、前記ユーザを撮影することによって得られる動画像をもとに前記ユーザの反応を分析する動画像分析システムであって、
前記ビデオミーティング中に前記ユーザを撮影することによって得られる動画像を取得する動画像取得部と、
取得した動画像を分析して参加者を特定する参加者分析部と、
前記ユーザと前記ビデオミーティングを行った前記参加者の情報を少なくとも含む統計情報を生成する統計情報生成部と、を備える、
ビデオミーティング評価端末であって、
前記複数のユーザのそれぞれについて
目線の動きを解析して目線の方向を示すヒートマップを生成し、生成されたヒートマップと他のユーザについて生成されたヒートマップとの対比により
前記ユーザについての生体反応の変化が前記他のユーザについて解析された前記生体反応の変化と比べて特異的か否かを判定する、判定部を更に備えている、
ビデオミーティング評価端末。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、複数人の参加者で行われるオンラインセッションによって得られる動画像をもとに参加者の生体反応を解析するビデオミーティング評価端末に関する。
【背景技術】
【0002】
発言者の発言に対して他者が受ける感情を解析する技術が知られている(例えば、特許文献1参照)。対象者の表情の変化を長期間にわたり時系列的に解析し、その間に抱いた感情を推定する技術も知られている(例えば、特許文献2参照)。感情の変化に最も影響を与えた要素を特定する技術も知られている(例えば、特許文献3~5参照)。対象者の普段の表情と現在の表情とを比較して、表情が暗い場合にアラートを発する技術も知られている(例えば、特許文献6参照)。対象者の平常時(無表情時)の表情と現在の表情とを比較して、対象者の感情の度合いを判定するようにした技術も知られている(例えば、特許文献7~9参照)。組織としての感情や、個人が感じるグループ内の雰囲気を分析する技術も知られている(例えば、特許文献10、11参照)。
【先行技術文献】
【特許文献】
【0003】
【文献】特開2019-58625号公報
【文献】特開2016-149063号公報
【文献】特開2020-86559号公報
【文献】特開2000-76421号公報
【文献】特開2017-201499号公報
【文献】特開2018-112831号公報
【文献】特開2011-154665号公報
【文献】特開2012-8949号公報
【文献】特開2013-300号公報
【文献】特開2011-186521号公報
【文献】WO15/174426号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
上述したすべての技術は、現実空間におけるコミュニケーションが主である状況におけるサブ的な機能にすぎない。即ち、昨今の業務のDX(Digital Transformation)化や、世界的な感染症の流行等を受け、業務や授業等のコミュニケーションがオンラインで行われることが主とされる状況に生まれたものではない。
【0005】
本発明は、会議や講義等、オンラインコミュニケーションが主となる状況において、より効率的なコミュニケーションを行うために、これらのコミュニケーションを客観的に評価することを目的とする。
【課題を解決するための手段】
【0006】
本発明によれば、
複数のユーザでビデオミーティングが行われる環境において、ビデオミーティング中にユーザが画面に表示されているか否かによらず前記ユーザを撮影することによって得られる動画像をもとに前記ユーザの反応を分析する動画像分析システムであって、
前記ビデオミーティング中に前記ユーザを撮影することによって得られる動画像を取得する動画像取得部と、
取得した動画像を分析して参加者を特定する参加者分析部と、
前記ユーザと前記ビデオミーティングを行った前記参加者の情報を少なくとも含む統計情報を生成する統計情報生成部と、を備える、
ビデオミーティング評価端末が得られる。
【発明の効果】
【0007】
本開示によれば、ビデオセッションの動画像を分析評価することにより、特に内容に関する評価を客観的に行うことができる。
【図面の簡単な説明】
【0008】
【
図1】本発明の実施の形態によるシステム全体図を示す図である。
【
図2】本発明の実施の形態による評価端末の機能ブロック図の一例である。
【
図3】本発明の実施の形態による評価端末の機能構成例1を示す図である。
【
図4】本発明の実施の形態による評価端末の機能構成例2を示す図である。
【
図5】本発明の実施の形態による評価端末の機能構成例3を示す図である。
【
図6】
図6の機能構成例3による画面表示例である。
【
図7】
図6の機能構成例3による他の画面表示例である。
【
図8】本発明の実施の形態による評価端末の機能構成例3の他の構成を示す図である。
【
図9】本発明の実施の形態による評価端末の機能構成例3の他の構成を示す図である。
【
図10】本発明の実施の形態による統計情報生成部の構成を示す図である。
【発明を実施するための形態】
【0009】
本開示の実施形態の内容を列記して説明する。本開示は、以下のような構成を備える。
[項目1]
複数のユーザでビデオミーティングが行われる環境において、ビデオミーティング中にユーザが画面に表示されているか否かによらず前記ユーザを撮影することによって得られる動画像をもとに前記ユーザの反応を分析する動画像分析システムであって、
前記ビデオミーティング中に前記ユーザを撮影することによって得られる動画像を取得する動画像取得部と、
取得した動画像を分析して参加者を特定する参加者分析部と、
前記ユーザと前記ビデオミーティングを行った前記参加者の情報を少なくとも含む統計情報を生成する統計情報生成部と、を備える、
ビデオミーティング評価端末。
[項目2]
項目1に記載のビデオミーティング評価端末であって、
前記動画像取得部により取得された動画像に基づいて、前記ユーザについて生体反応の変化を解析する解析部と、
前記解析の結果をユーザに提供する提供部とを備える、
ビデオミーティング評価端末。
[項目3]
項目2に記載のビデオミーティング評価端末であって、
前記統計情報生成部は、前記ユーザと前記参加者の双方の前記生体反応の変化を解析した結果に基づいて、前記ユーザと前記参加者との相性に関する統計情報を生成する、
ビデオミーティング評価端末。
[項目4]
項目2又は項目3に記載のビデオミーティング評価端末であって、
前記参加者分析部は、取得した前記動画像に含まれる顔を認識することによってそれぞれの顔に基づいて予め記憶されている情報を参照して氏名を特定する、
ビデオミーティング評価端末。
[項目5]
項目2乃至項目4のいずれかに記載のビデオミーティング評価端末であって、
前記統計情報生成部は、前記ビデオミーティングにおけるユーザ及び参加者のミーティング時間、それぞれの発話時間、発話頻度、発話の順序、発話した単語の少なくともいずれかを含む、
ビデオミーティング評価端末。
[項目6]
項目2乃至項目5のいずれかに記載のビデオミーティング評価端末であって、
前記統計情報生成部は、前記ユーザと前記参加者の現在及び過去の統計情報の変化に関する情報を生成する、
ビデオミーティング評価端末。
[項目7]
項目1に記載のビデオミーティング評価端末であって、
前記生体反応の変化に基づいて、複数のユーザ間で平準化された評価基準に従って前記ユーザの感情の度合いを評価する感情評価部を更に備え、
前記感情評価部は、平常時の生体反応に対する現在の生体反応の違いの大きさに基づく感情の程度であって、前記ユーザによる同じ感情の生起しやすさに応じて調整された感情の度合いを評価する、
ビデオミーティング評価端末。
[項目8]
項目1に記載のビデオミーティング評価端末であって、
一のビデオミーティングに関してユーザについて解析された前記生体反応の変化が前記一のビデオミーティングより時間的に前のビデオミーティングに関して前記ユーザについて解析された前記生体反応の変化と比べて特異的か否かを判定し、特異的であると判定された生体反応の変化の内容および以前からの変化の大きさに基づいて前記生体反応の変化パターンをクラスタリングする、
ビデオミーティング評価端末。
[項目9]
項目1に記載のビデオミーティング評価端末であって、
前記複数のユーザのそれぞれについて前記目線の動きを解析して目線の方向を示すヒートマップを生成し、生成されたヒートマップと他のユーザについて生成されたヒートマップとの対比により前記ユーザについて解析された前記生体反応の変化が前記他のユーザについて解析された前記生体反応の変化と比べて特異的か否かを判定する、判定部を更に備えている、
ビデオミーティング評価端末。
[項目10]
項目1に記載のビデオミーティング評価端末であって、
前記ユーザについて解析された前記生体反応の変化が他の前記ユーザについて解析された前記生体反応の変化と比べて特異的か否かを判定し、前記ユーザに特異的であると判定された生体反応の変化が起きたときに前記ユーザ、他の前記ユーザ又環境の少なくとも1つに関して発生している事象を特定し、前記ユーザの前記生体反応の変化と前記事象との相関の程度を解析し、前記相関が一定レベル以上であると判定された場合にその相関の解析結果に基づいて前記ユーザ又は前記事象をクラスタリングする、
ビデオミーティング評価端末。
【0010】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【0011】
<基本機能>
本実施形態のビデオセッション評価システムは、複数人でビデオセッション(以下、一方向及び双方向含めてオンラインセッションという)が行われる環境において、当該複数人の中の解析対象者について他者とは異なる特異的な感情(自分または他人の言動に対して起こる気持ち。快・不快またはその程度など)を解析し評価するシステムである。オンラインセッションは、例えばオンライン会議、オンライン授業、オンラインチャットなどであり、複数の場所に設置された端末をインターネットなどの通信ネットワークを介してサーバに接続し、当該サーバを通じて複数の端末間で動画像をやり取りできるようにしたものである。オンラインセッションで扱う動画像には、端末を使用するユーザの顔画像や音声が含まれる。また、動画像には、複数のユーザが共有して閲覧する資料などの画像も含まれる。各端末の画面上に顔画像と資料画像とを切り替えて何れか一方のみを表示させたり、表示領域を分けて顔画像と資料画像とを同時に表示させたりすることが可能である。また、複数人のうち1人の画像を全画面表示させたり、一部または全部のユーザの画像を小画面に分割して表示させたりすることが可能である。端末を使用してオンラインセッションに参加する複数のユーザのうち、何れか1人または複数人を解析対象者として指定することが可能である。例えば、オンラインセッションの主導者、進行者または管理者(以下、まとめて主催者という)が何れかのユーザを解析対象者として指定する。オンラインセッションの主催者は、例えばオンライン授業の講師、オンライン会議の議長やファシリテータ、コーチングを目的としたセッションのコーチなどである。オンラインセッションの主催者は、オンラインセッションに参加する複数のユーザの中の一人であるのが普通であるが、オンラインセッションに参加しない別人であってもよい。なお、解析対象者を指定せず全ての参加者を解析対象としてもよい。また、オンラインセッションの主導者、進行者または管理者(以下、まとめて主催者という)が何れかのユーザを解析対象者として指定することも可能である。オンラインセッションの主催者は、例えばオンライン授業の講師、オンライン会議の議長やファシリテータ、コーチングを目的としたセッションのコーチなどである。オンラインセッションの主催者は、オンラインセッションに参加する複数のユーザの中の一人であるのが普通であるが、オンラインセッションに参加しない別人であってもよい。
【0012】
本実施の形態によるビデオセッション評価システムは、複数の端末間においてビデオセッションセッションが確立された場合に、当該ビデオセッションから取得される少なくとも動画像を表示される。表示された動画像は、端末によって取得され、動画像内に含まれる少なくとも顔画像を所定のフレーム単位ごとに識別される。その後、識別された顔画像に関する評価値が算出される。当該評価値は必要に応じて共有される。特に、本実施の形態においては、取得した動画像は当該端末に保存され、端末上で分析評価され、その結果が当該端末のユーザに提供される。従って、例えば個人情報を含むビデオセッションや機密情報を含むビデオセッションであっても、その動画自体を外部の評価機関等に提供することなく分析評価できる。また、必要に応じて、当該評価結果(評価値)だけを外部端末に提供することによって、結果を可視化したり、クロス分析等行うことができる。
【0013】
図1に示されるように、本実施の形態によるビデオセッション評価システムは、少なくともカメラ部及びマイク部等の入力部と、ディスプレイ等の表示部とスピーカー等の出力部とを有するユーザ端末10、20と、ユーザ端末10、20に双方向のビデオセッションを提供するビデオセッションサービス端末30と、ビデオセッションに関する評価の一部を行う評価端末40とを備えている。
【0014】
<ハードウェア構成例>
以下に説明する各機能ブロック、機能単位、機能モジュールは、例えばコンピュータに備えられたハードウェア、DSP(Digital Signal Processor)、ソフトウェアの何れによっても構成することが可能である。例えばソフトウェアによって構成する場合、実際にはコンピュータのCPU、RAM、ROMなどを備えて構成され、RAMやROM、ハードディスクまたは半導体メモリ等の記録媒体に記憶されたプログラムが動作することによって実現される。本明細書において説明するシステム及び端末による一連の処理は、ソフトウェア、ハードウェア、及びソフトウェアとハードウェアとの組合せのいずれを用いて実現されてもよい。本実施形態に係るユーザ端末10の各機能を実現するためのコンピュータプログラムを作製し、PC等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することが可能である。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。
【0015】
本実施の形態による評価端末は、ビデオセッションサービス端末から動画像を取得し、当該動画像内に含まれる少なくとも顔画像を所定のフレーム単位ごとに識別すると共に、顔画像に関する評価値を算出する(詳しくは後述する)。
【0016】
<動画の取得方法>
図2に示されるように、ビデオセッションサービス端末が提供するビデオセッションサービス(以下、単に「本サービス」と言うことがある」)は、ユーザ端末10、20に対して双方向に画像および音声によって通信が可能となるものである。本サービスは、ユーザ端末のディスプレイに相手のユーザ端末のカメラ部で取得した動画像を表示し、相手のユーザ端末のマイク部で取得した音声をスピーカーから出力可能となっている。また、本サービスは双方の又はいずれかのユーザ端末によって、動画像及び音声(これらを合わせて「動画像等」という)を少なくともいずれかのユーザ端末上の記憶部に記録(レコーディング)することが可能に構成されている。記録された動画像情報Vs(以下「記録情報」という)は、記録を開始したユーザ端末にキャッシュされつついずれかのユーザ端末のローカルのみに記録されることとなる。ユーザは、必要があれば当該記録情報を本サービスの利用の範囲内で自分で視聴、他者に共有等行うこともできる。
【0017】
<機能構成例1>
図3は、本実施形態による構成例を示すブロック図である。
図3に示すように、本実施形態のビデオセッション評価システムは、ユーザ端末10が有する機能構成として実現される。すなわち、ユーザ端末10はその機能として、動画像取得部11、生体反応解析部12、特異判定部13、関連事象特定部14、クラスタリング部15および解析結果通知部16を備えている。
【0018】
動画像取得部11は、オンラインセッション中に各端末が備えるカメラにより複数人(複数のユーザ)を撮影することによって得られる動画像を各端末から取得する。各端末から取得する動画像は、各端末の画面上に表示されるように設定されているものか否かは問わない。すなわち、動画像取得部11は、各端末に表示中の動画像および非表示中の動画像を含めて、動画像を各端末から取得する。
【0019】
生体反応解析部12は、動画像取得部11により取得された動画像(画面上に表示中のものか否かは問わない)に基づいて、複数人のそれぞれについて生体反応の変化を解析する。本実施形態において生体反応解析部12は、動画像取得部11により取得された動画像を画像のセット(フレーム画像の集まり)と音声とに分離し、それぞれから生体反応の変化を解析する。
【0020】
例えば、生体反応解析部12は、動画像取得部11により取得された動画像から分離したフレーム画像を用いてユーザの顔画像を解析することにより、表情、目線、脈拍、顔の動きの少なくとも1つに関する生体反応の変化を解析する。また、生体反応解析部12は、動画像取得部11により取得された動画像から分離した音声を解析することにより、ユーザの発言内容、声質の少なくとも1つに関する生体反応の変化を解析する。
【0021】
人は感情が変化すると、それが表情、目線、脈拍、顔の動き、発言内容、声質などの生体反応の変化となって現れる。本実施形態では、ユーザの生体反応の変化を解析することを通じて、ユーザの感情の変化を解析する。本実施形態において解析する感情は、一例として、快/不快の程度である。本実施形態において生体反応解析部12は、生体反応の変化を所定の基準に従って数値化することにより、生体反応の変化の内容を反映させた生体反応指標値を算出する。
【0022】
表情の変化の解析は、例えば以下のようにして行う。すなわち、フレーム画像ごとに、フレーム画像の中から顔の領域を特定し、事前に機械学習させた画像解析モデルに従って特定した顔の表情を複数に分類する。そして、その分類結果に基づいて、連続するフレーム画像間でポジティブな表情変化が起きているか、ネガティブな表情変化が起きているか、およびどの程度の大きさの表情変化が起きているかを解析し、その解析結果に応じた表情変化指標値を出力する。
【0023】
目線の変化の解析は、例えば以下のようにして行う。すなわち、フレーム画像ごとに、フレーム画像の中から目の領域を特定し、両目の向きを解析することにより、ユーザがどこを見ているかを解析する。例えば、表示中の話者の顔を見ているか、表示中の共有資料を見ているか、画面の外を見ているかなどを解析する。また、目線の動きが大きいか小さいか、動きの頻度が多いか少ないかなどを解析するようにしてもよい。目線の変化はユーザの集中度にも関連する。生体反応解析部12は、目線の変化の解析結果に応じた目線変化指標値を出力する。
【0024】
脈拍の変化の解析は、例えば以下のようにして行う。すなわち、フレーム画像ごとに、フレーム画像の中から顔の領域を特定する。そして、顔の色情報(RGBのG)の数値を捉える学習済みの画像解析モデルを用いて、顔表面のG色の変化を解析する。その結果を時間軸に合わせて並べることによって色情報の変化を表した波形を形成し、この波形から脈拍を特定する。人は緊張すると脈拍が速くなり、気持ちが落ち着くと脈拍が遅くなる。生体反応解析部12は、脈拍の変化の解析結果に応じた脈拍変化指標値を出力する。
【0025】
顔の動きの変化の解析は、例えば以下のようにして行う。すなわち、フレーム画像ごとに、フレーム画像の中から顔の領域を特定し、顔の向きを解析することにより、ユーザがどこを見ているかを解析する。例えば、表示中の話者の顔を見ているか、表示中の共有資料を見ているか、画面の外を見ているかなどを解析する。また、顔の動きが大きいか小さいか、動きの頻度が多いか少ないかなどを解析するようにしてもよい。顔の動きと目線の動きとを合わせて解析するようにしてもよい。例えば、表示中の話者の顔をまっすぐ見ているか、上目遣いまたは下目使いに見ているか、斜めから見ているかなどを解析するようにしてもよい。生体反応解析部12は、顔の向きの変化の解析結果に応じた顔向き変化指標値を出力する。
【0026】
発言内容の解析は、例えば以下のようにして行う。すなわち、生体反応解析部12は、指定した時間(例えば、30~150秒程度の時間)の音声について公知の音声認識処理を行うことによって音声を文字列に変換し、当該文字列を形態素解析することにより、助詞、冠詞などの会話を表す上で不要なワードを取り除く。そして、残ったワードをベクトル化し、ポジティブな感情変化が起きているか、ネガティブな感情変化が起きているか、およびどの程度の大きさの感情変化が起きているかを解析し、その解析結果に応じた発言内容指標値を出力する。
【0027】
声質の解析は、例えば以下のようにして行う。すなわち、生体反応解析部12は、指定した時間(例えば、30~150秒程度の時間)の音声について公知の音声解析処理を行うことによって音声の音響的特徴を特定する。そして、その音響的特徴に基づいて、ポジティブな声質変化が起きているか、ネガティブな声質変化が起きているか、およびどの程度の大きさの声質変化が起きているかを解析し、その解析結果に応じた声質変化指標値を出力する。
【0028】
生体反応解析部12は、以上のようにして算出した表情変化指標値、目線変化指標値、脈拍変化指標値、顔向き変化指標値、発言内容指標値、声質変化指標値の少なくとも1つを用いて生体反応指標値を算出する。例えば、表情変化指標値、目線変化指標値、脈拍変化指標値、顔向き変化指標値、発言内容指標値および声質変化指標値を重み付け計算することにより、生体反応指標値を算出する。
【0029】
特異判定部13は、解析対象者について解析された生体反応の変化が、解析対象者以外の他者について解析された生体反応の変化と比べて特異的か否かを判定する。本実施形態において、特異判定部13は、生体反応解析部12により複数のユーザのそれぞれについて算出された生体反応指標値に基づいて、解析対象者について解析された生体反応の変化が他者と比べて特異的か否かを判定する。
【0030】
例えば、特異判定部13は、生体反応解析部12により複数人のそれぞれについて算出された生体反応指標値の分散を算出し、解析対象者について算出された生体反応指標値と分散との対比により、解析対象者について解析された生体反応の変化が他者と比べて特異的か否かを判定する。
【0031】
解析対象者について解析された生体反応の変化が他者と比べて特異的である場合として、次の3パターンが考えられる。1つ目は、他者については特に大きな生体反応の変化が起きていないが、解析対象者について比較的大きな生体反応の変化が起きた場合である。2つ目は、解析対象者については特に大きな生体反応の変化が起きていないが、他者について比較的大きな生体反応の変化が起きた場合である。3つ目は、解析対象者についても他者についても比較的大きな生体反応の変化が起きているが、変化の内容が解析対象者と他者とで異なる場合である。
【0032】
関連事象特定部14は、特異判定部13により特異的であると判定された生体反応の変化が起きたときに解析対象者、他者および環境の少なくとも1つに関して発生している事象を特定する。例えば、関連事象特定部14は、解析対象者について特異的な生体反応の変化が起きたときにおける解析対象者自身の言動を動画像から特定する。また、関連事象特定部14は、解析対象者について特異的な生体反応の変化が起きたときにおける他者の言動を動画像から特定する。また、関連事象特定部14は、解析対象者について特異的な生体反応の変化が起きたときにおける環境を動画像から特定する。環境は、例えば画面に表示中の共有資料、解析対象者の背景に写っているものなどである。
【0033】
クラスタリング部15は、特異判定部13により特異的であると判定された生体反応の変化(例えば、目線、脈拍、顔の動き、発言内容、声質のうち1つまたは複数の組み合わせ)と、当該特異的な生体反応の変化が起きたときに発生している事象(関連事象特定部14により特定された事象)との相関の程度を解析し、相関が一定レベル以上であると判定された場合に、その相関の解析結果に基づいて解析対象者または事象をクラスタリングする。
【0034】
例えば、特異的な生体反応の変化がネガティブな感情変化に相当するものであり、当該特異的な生体反応の変化が起きたときに発生している事象もネガティブな事象である場合には一定レベル以上の相関が検出される。クラスタリング部15は、その事象の内容やネガティブな度合い、相関の大きさなどに応じて、あらかじめセグメント化した複数の分類の何れかに解析対象者または事象をクラスタリングする。
【0035】
同様に、特異的な生体反応の変化がポジティブな感情変化に相当するものであり、当該特異的な生体反応の変化が起きたときに発生している事象もポジティブな事象である場合には一定レベル以上の相関が検出される。クラスタリング部15は、その事象の内容やポジティブな度合い、相関の大きさなどに応じて、あらかじめセグメント化した複数の分類の何れかに解析対象者または事象をクラスタリングする。
【0036】
解析結果通知部16は、特異判定部13により特異的であると判定された生体反応の変化、関連事象特定部14により特定された事象、およびクラスタリング部15によりクラスタリングされた分類の少なくとも1つを、解析対象者の指定者(解析対象者またはオンラインセッションの主催者)に通知する。
【0037】
例えば、解析結果通知部16は、解析対象者について他者とは異なる特異的な生体反応の変化が起きたとき(上述した3パターンの何れか。以下同様)に発生している事象として解析対象者自身の言動を解析対象者自身に通知する。これにより、解析対象者は、自分がある言動を行ったときに他者とは違う感情を持っていることを把握することができる。このとき、解析対象者について特定された特異的な生体反応の変化も併せて解析対象者に通知するようにしてもよい。さらに、対比される他者の生体反応の変化を更に解析対象者に通知するようにしてもよい。
【0038】
例えば、解析対象者が普段どおりの感情で特に意識せずに行った言動、または、解析対象者がある感情を伴って特に意識して行った言動に対して他者が受けた感情と、言動の際に解析対象者自身が抱いていた感情とが相違している場合に、そのときの解析対象者自身の言動が解析対象者に通知される。これにより、自分の意識に反して他者の受けが良い言動や他者の受けが良くない言動などを発見することも可能である。
【0039】
また、解析結果通知部16は、解析対象者について他者とは異なる特異的な生体反応の変化が起きたときに発生している事象を、特異的な生体反応の変化と共にオンラインセッションの主催者に通知する。これにより、オンラインセッションの主催者は、指定した解析対象者に特有の現象として、どのような事象がどのような感情の変化に影響を与えているのかを知ることができる。そして、その把握した内容に応じて適切な処置を解析対象者に対して行うことが可能となる。
【0040】
また、解析結果通知部16は、解析対象者について他者とは異なる特異的な生体反応の変化が起きたときに発生している事象または解析対象者のクラスタリング結果をオンラインセッションの主催者に通知する。これにより、オンラインセッションの主催者は、指定した解析対象者がどの分類にクラスタリングされたかによって、解析対象者に特有の行動の傾向を把握したり、今後起こり得る行動や状態などを予測したりすることができる。そして、それに対して適切な処置を解析対象者に対して行うことが可能となる。
【0041】
なお、上記実施形態では、生体反応の変化を所定の基準に従って数値化することによって生体反応指標値を算出し、複数人のそれぞれについて算出された生体反応指標値に基づいて、解析対象者について解析された生体反応の変化が他者と比べて特異的か否かを判定する例について説明したが、この例に限定されない。例えば、以下のようにしてもよい。
【0042】
すなわち、生体反応解析部12は、複数人のそれぞれについて目線の動きを解析して目線の方向を示すヒートマップを生成する。特異判定部13は、生体反応解析部12により解析対象者について生成されたヒートマップと他者について生成されたヒートマップとの対比により、解析対象者について解析された生体反応の変化が、他者について解析された生体反応の変化と比べて特異的か否かを判定する。
【0043】
このように、本実施の形態においては、ビデオセッションの動画像をユーザ端末10のローカルストレージに保存し、ユーザ端末10上で上述した分析を行うこととしている。ユーザ端末10のマシンスペックに依存する可能性があるとはいえ、動画像の情報を外部に提供することなく分析することが可能となる。
【0044】
<機能構成例2>
図4に示すように、本実施形態のビデオセッション評価システムは、機能構成として、動画像取得部11、生体反応解析部12および反応情報提示部13aを備えていてもよい。
【0045】
反応情報提示部13aは、画面に表示されていない参加者を含めて生体反応解析部12により解析された生体反応の変化を示す情報を提示する。例えば、反応情報提示部13aは、生体反応の変化を示す情報をオンラインセッションの主導者、進行者または管理者(以下、まとめて主催者という)に提示する。オンラインセッションの主催者は、例えばオンライン授業の講師、オンライン会議の議長やファシリテータ、コーチングを目的としたセッションのコーチなどである。オンラインセッションの主催者は、オンラインセッションに参加する複数のユーザの中の一人であるのが普通であるが、オンラインセッションに参加しない別人であってもよい。
【0046】
このようにすることにより、オンラインセッションの主催者は、複数人でオンラインセッションが行われる環境において、画面に表示されていない参加者の様子も把握することができる。
【0047】
<機能構成例3>
図5は、本実施形態による構成例を示すブロック図である。
図5に示すように、本実施形態のビデオセッション評価システムは、機能構成として、上述した実施の形態1と類似する機能については同一つの参照符号を付して説明を省略することがある。
【0048】
本実施の形態によるシステムは、ビデオセッションの映像を取得するカメラ部及び音声を取得するマイク部と、動画像を分析及び評価する解析部、取得した動画像を評価することによって得られた情報に基づいて表示オブジェクト(後述する)を生成するオブジェクト生成部、前記ビデオセッション実行中にビデオセッションの動画像と表示オブジェクトの両方を表示する表示部と、を備えている。
【0049】
解析部は、上述した説明と同様に、動画像取得部11、生体反応解析部12、特異判定部13、関連事象特定部14、クラスタリング部15および解析結果通知部16を備えている。各要素の機能については上述したとおりである。
【0050】
図6に示されるように、オブジェクト生成部は、解析部によってビデオセッションから取得される動画像を解析した結果に基づいて、必要に応じて、当該認識した顔の部分を示すオブジェクト50と、上述した分析・評価した内容を示す情報100を当該動画像に重畳して表示する。当該オブジェクト50は、複数人の顔が動画像内に移っている場合には、複数人全員の顔を識別し、表示することとしてもよい。
【0051】
また、オブジェクト50は、例えば、相手側の端末において、ビデオセッションのカメラ機能を停止している場合(即ち、物理的にカメラを覆う等ではなく、ビデオセッションのアプリケーション内においてソフトウェア的に停止している場合)であっても、相手側のカメラで相手の顔を認識していた場合には、相手の顔が位置している部分にオブジェクト50やオブジェクト100を表示することとしてもよい。これにより、カメラ機能がオフになっていたとしても、相手側が端末の前にいることがお互い確認することが可能となる。この場合、例えば、ビデオセッションのアプリケーションにおいては、カメラから取得した情報を非表示にする一方、解析部によって認識された顔に対応するオブジェクト50やオブジェクト100のみを表示することとしてもよい。また、ビデオセッションから取得される映像情報と、解析部によって認識され得られた情報とを異なる表示レイヤーに分け、前者の情報に関するレイヤーを非表示にすることとしてもよい。
【0052】
本実施の形態におけるオブジェクト100は、例えば、感情に対応するアイコン(笑顔アイコン、悲しみアイコン、怒りアイコン、驚きアイコン等)であってもいい。このようなアイコンの表示を行うことにより直感的に相手の感情が理解しやすくなる。また、
図7に示されるように、感情の表出の度合い(強さ)によっては対応するアイコンの数を増やすこととしたり、対応するアイコンの大きさを大きくしたり(図示せず)してもよい。
【0053】
オブジェクト50やオブジェクト100は、複数の動画像を表示する領域がある場合には、すべての領域又は一部の領域のみに表示することとしてもよい。例えば、
図7に示されるように、ゲスト側の動画像のみに表示することとしてもよい。
【0054】
以上説明した機能構成例1乃至機能構成例3において説明した発明の実施の形態は、単独の装置として実現されてもよく、一部または全部がネットワークで接続された複数の装置(例えばクラウドサーバ)等により実現されてもよい。例えば、各端末10の制御部110およびストレージ130は、互いにネットワークで接続された異なるサーバにより実現されてもよい。即ち、本システムは、ユーザ端末10、20と、ユーザ端末10、20に双方向のビデオセッションを提供するビデオセッションサービス端末30と、ビデオセッションに関する評価を行う評価端末40とを含んでいるところ、以下のような構成のバリエーション組み合わせが考えられる。
(1)すべてをユーザ端末のみで処理
図8に示されるように、解析部による処理をビデオセッションを行っている端末で行うことにより、(一定の処理能力は必要なものの)ビデオセッションを行っている時間と同時に(リアルタイムに)分析・評価結果を得ることができる。
(2)ユーザ端末と評価端末とで処理
図9に示されるように、ネットワーク等で接続された評価端末に解析部を備えさせることとしてもよい。この場合、ユーザ端末で取得された動画像は、ビデオセッションと同時に又は事後的に評価端末に共有され、評価端末における解析部によって分析・評価されたのちに、オブジェクト50及びオブジェクト100の情報がユーザ端末に動画像データと共に又は別に(即ち、少なくとも解析データを含む情報が)共有され表示部に表示される。
【0055】
上述した機能構成例1乃至機能構成例3の各構成又はそれらの組み合わせを用いて、以下のシステムが実現する。
【0056】
<実施の形態>
本実施の形態による動画像分析システムは、複数のユーザでオンラインセッションが行われる環境においてオンラインセッション中にユーザが画面に表示されているか否かによらずユーザを撮影することによって得られる動画像をもとにユーザの反応を分析する動画像分析システムである。
【0057】
図10に示されるように、本システムは、上述した機能構成例1乃至機能構成例3の解析部のほかに、ビデオミーティングの動画像を取得する動画像取得部と、取得した動画像を分析して参加者を特定する参加者分析部と、ユーザと参加者に関して所定の評価を統計的に行い統計情報を生成する統計情報生成部と、を備えている。
【0058】
統計情報生成部は、上述した生体反応の変化の解析をユーザ及び参加者に対して行いユーザと参加者との相性に関する統計情報を生成する。相性に関する統計情報は例えば、笑顔の出現頻度、恐怖の出現頻度、会話の内容、表情の変化等様々な観点で行うことが可能である。
【0059】
本実施の形態による参加者分析部は、取得した動画像に含まれる顔を認識し、当該認識した顔毎に予めモデル教師データとして記憶されている情報(顔の特徴量と氏名とが関連付けられているデータセット)を参照して参加者の氏名を特定する。なお、例えば、ビデオミーティングのスケジュールやタイトル等に含まれる固有名詞等を補助的に組み合わせて使用することとしてもよい。更には、ユーザの音声を解析することにより、参加者に対する呼びかけ(「鈴木さん」「一郎さん」等)を補助的に組み合わせて使用することとしてもよい。
【0060】
また、統計情報生成部は、ビデオミーティングにおけるユーザ及び参加者のミーティング時間、それぞれの発話時間、発話頻度、発話の順序、発話した単語を含んでいてもよい。
【0061】
統計情報生成部は、ユーザと参加者の現在及び過去の統計情報の変化に関する情報を生成することとしてもよい。例えば、過去に生成した統計情報と比較して、現在の統計情報がどのように変化したのか(笑顔が増えたのか減ったのか等のような所定の感情の発露の変化等)を含めることとしてもよい。
【0062】
このように、本実施の形態によれば、ビデオミーティングの動画像から自動的に参加者を認識して、ユーザがビデオミーティングを行った参加者との統計的な情報を入手することが可能となる。
【0063】
本明細書においてフローチャート図を用いて説明した処理は、必ずしも図示された順序で実行されなくてもよい。いくつかの処理ステップは、並列的に実行されてもよい。また、追加的な処理ステップが採用されてもよく、一部の処理ステップが省略されてもよい。
【0064】
以上説明した実施の形態を適宜組み合わせて実施することとしてもよい。また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
【符号の説明】
【0065】
10、20 ユーザ端末
22 位置情報取得部
23 イベント情報取得部
24 統計情報生成部
25 出力部
30 ビデオセッションサービス端末
40 評価端末
【要約】
【課題】オンラインコミュニケーションが主となる状況におけるコミュニケーションを客観的に評価すること。
【解決手段】本開示のシステムは、複数のユーザでビデオミーティングが行われる環境において、ビデオミーティング中にユーザが画面に表示されているか否かによらずユーザを撮影することによって得られる動画像をもとにユーザの反応を分析する動画像分析システムであって、ビデオミーティング中にユーザを撮影することによって得られる動画像を取得する動画像取得部と、取得した動画像を分析して参加者を特定する参加者分析部と、ユーザとビデオミーティングを行った参加者の情報を少なくとも含む統計情報を生成する統計情報生成部とを備えている。
【選択図】
図1