特許 7445331 ビデオミーティング評価端末及びビデオミーティング評価方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-02-28

(45)【発行日】2024-03-07

(54)【発明の名称】ビデオミーティング評価端末及びビデオミーティング評価方法

(51)【国際特許分類】

   H04N 5/765 20060101AFI20240229BHJP

   H04N 7/15 20060101ALI20240229BHJP

   H04N 21/258 20110101ALI20240229BHJP

【ＦＩ】

H04N5/765

H04N7/15 150

H04N21/258

【請求項の数】 13

(21)【出願番号】P 2022515716

(86)(22)【出願日】2020-11-26

(86)【国際出願番号】 JP2020044126

(87)【国際公開番号】W WO2022113248

(87)【国際公開日】2022-06-02

【審査請求日】2023-11-27

【早期審査対象出願】

(73)【特許権者】

【識別番号】520408744

【氏名又は名称】株式会社Ｉ’ｍｂｅｓｉｄｅｙｏｕ

(74)【代理人】

【識別番号】110002790

【氏名又は名称】Ｏｎｅ ｉｐ弁理士法人

(72)【発明者】

【氏名】神谷 渉三

【審査官】松元 伸次

(56)【参考文献】

【文献】特開２０１８－０６８６１８（ＪＰ，Ａ）

【文献】特開２０１５－１８１８４１（ＪＰ，Ａ）

【文献】中国特許出願公開第１１０８０７３９４（ＣＮ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ５／０６－５／２２

Ｇ０６Ｑ１０／００－１０／１０

３０／００－３０／０８

５０／００－５０／２０

５０／２６－９９／００

Ｇ０６Ｔ１／００－１／４０

３／００－７／９０

Ｇ０６Ｖ１０／００－２０／９０

３０／４１８

４０／１６

４０／２０

Ｇ１６Ｚ９９／００

Ｈ０４Ｍ３／００

３／１６－３／２０

３／３８－３／５８

７／００－７／１６

１１／００－１１／１０

Ｈ０４Ｎ５／７６－５／７７５

５／８０－５／９５６

７／１０

７／１４－７／１７３

７／２０－７／５６

２１／００－２１／８５８

(57)【特許請求の範囲】

【請求項1】

ビデオミーティングから得られる動画像をもとに前記ビデオミーティングに含まれるユーザの反応を分析するビデオミーティング評価端末であって、
前記ビデオミーティングを実行した前記ユーザの端末から、前記ユーザの操作によって評価対象フラグが関連付けられた動画像のみを取得する動画像取得部と、
前記動画像内に含まれる少なくとも前記ユーザの顔画像及び音声に基づいて前記ユーザの感情の変化に起因する生体反応の変化を評価値として解析する解析部と、を備える
ビデオミーティング評価端末。

【請求項2】

請求項１に記載のビデオミーティング評価端末であって、
評価対象特定部は、前記動画像をファイル単位で評価対象であるか否かを特定する、
ビデオミーティング評価端末。

【請求項3】

請求項１に記載のビデオミーティング評価端末であって、
評価対象特定部は、少なくとも一の前記動画像内おける所定数のフレームからなるフレーム群単位で評価対象であるか否かを特定する、
ビデオミーティング評価端末。

【請求項4】

請求項３に記載のビデオミーティング評価端末であって、
評価対象特定部は、所定の音声が含まれている時間又は無音時間の少なくともいずれかを前記フレーム群として特定する、
ビデオミーティング評価端末。

【請求項5】

請求項３に記載のビデオミーティング評価端末であって、
評価対象特定部は、所定の対象物が映っている時間又は所定の対象物が映っていない時間の少なくともいずれかを前記フレーム群として特定する、
ビデオミーティング評価端末。

【請求項6】

請求項１乃至請求項５のいずれかに記載のビデオミーティング評価端末であって、
ビデオミーティング評価端末は、前記評価値の時系列によるグラフ情報を提供する、
ビデオミーティング評価端末。

【請求項7】

請求項１乃至請求項６のいずれかに記載のビデオミーティング評価端末であって、
前記ビデオミーティング評価端末は、前記顔画像を複数の異なる観点によって評価した複数の評価値を算出する、
ビデオミーティング評価端末。

【請求項8】

請求項１乃至請求項７のいずれかに記載のビデオミーティング評価端末であって、
前記ビデオミーティング評価端末は、前記動画像に含まれる音声と共に前記評価値を算出する、
ビデオミーティング評価端末。

【請求項9】

請求項１乃至請求項８のいずれかに記載のビデオミーティング評価端末であって、
前記ビデオミーティング評価端末は、前記動画像内に含まれる前記顔画像以外の対象物と共に前記評価値を算出する、
ビデオミーティング評価端末。

【請求項10】

請求項１乃至請求項９のいずれかに記載のビデオミーティング評価端末であって、
前記動画像に関連付けられた識別子を生成する識別子生成手段と、
前記識別子及び前記評価値を対応付けて共有する共有手段をさらに有する、
ビデオミーティング評価端末。

【請求項11】

請求項１に記載のビデオミーティング評価端末であって、
前記解析部は、複数のユーザのそれぞれについて目線の動きを解析して目線の方向を示すヒートマップを生成し、生成されたヒートマップと他のユーザについて生成されたヒートマップとの対比により、前記ユーザについて解析された前記生体反応の変化が、前記他のユーザについて解析された前記生体反応の変化と比べて特異的か否かを判定する、
ビデオミーティング評価端末。

【請求項12】

請求項１に記載のビデオミーティング評価端末であって、
前記解析部は、前記ユーザについて解析された前記生体反応の変化が他の前記ユーザについて解析された前記生体反応の変化と比べて特異的か否かを判定し、前記ユーザに特異的であると判定された生体反応の変化が起きたときに前記ユーザ、他の前記ユーザ又環境の少なくとも１つに関して発生している事象を特定し、前記ユーザの前記生体反応の変化と前記事象との相関の程度を解析し、前記相関が一定レベル以上であると判定された場合にその相関の解析結果に基づいて前記ユーザ又は前記事象をクラスタリングする、
ビデオミーティング評価端末。

【請求項13】

ビデオミーティングから得られる動画像をもとに前記ビデオミーティングに含まれるユーザの反応を分析するビデオミーティング評価プログラムであって、
ビデオミーティング評価端末を
前記ビデオミーティングを実行した前記ユーザの端末から、前記ユーザの操作によって評価対象フラグが関連付けられた動画像のみを取得する動画像取得部と、
前記動画像内に含まれる少なくとも前記ユーザの顔画像及び音声に基づいて前記ユーザの感情の変化に起因する生体反応の変化を評価値として解析する解析部として機能させる
ビデオミーティング評価プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、ビデオミーティング評価端末、ビデオミーティング評価システム、ビデオミーティング評価プログラム、ビデオミーティング評価方法に関する。

【背景技術】

【0002】

従来、オンラインで何らかの知識を教授したり、説明等を行うためのシステムが知られている（例えば、特許文献１参照）。

【0003】

また、このようなオンラインで行われるビデオミーティングの効果測定の方法として、例えば、ビデオミーティング後にアンケート等を行う方法も提案されている（例えば、特許文献２参照）。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１９－５８６２５号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

上述したアンケートによる効果測定の方法は、主観的になりがちであり、ビデオミーティングの内容に関して客観的な効果測定を行う方法としては不十分である。

【0006】

また、第三者によってビデオミーティングを監視し、第三者による客観的な評価を取得する方法も考えられるが、手間と時間がかかりすぎて現実的ではない。

【0007】

そこで、本発明は、ビデオミーティングの特に内容に関する評価を客観的に行うことを目的とする。

【課題を解決するための手段】

【0008】

本発明によれば、
ユーザ端末間で実行されたビデオミーティングから得られる動画像を記憶する記憶部と、
記憶した動画像の評価対象を特定する評価対象特定部と、
特定された前記動画像内に含まれる少なくとも顔画像又は音声に関する評価値を算出する評価部とを備える、
ビデオミーティング評価端末が得られる。

【発明の効果】

【0009】

本開示によれば、ビデオミーティングの動画像を評価することにより、特に内容に関する評価を客観的に行うことができる。

【図面の簡単な説明】

【0010】

【図1】本実施の形態によるシステム全体図を示す図である。

【図2】本実施の形態による端末の構成例を示す図である。

【図3】本実施の形態による評価端末の機能ブロック図の一例である。

【図4】本実施の形態による実施例を示す図である。

【図5】本実施の形態による実施例を示す図である。

【図6】本実施の形態による実施例を示す図である。

【図7】本実施の形態による実施例を示す図である。

【図8】本実施の形態による実施例を示す図である。

【発明を実施するための形態】

【0011】

本開示の実施形態の内容を列記して説明する。本開示は、以下のような構成を備える。
［項目１］
ユーザ端末間で実行されたビデオミーティングから得られる動画像を記憶する記憶部と、
記憶した動画像から評価対象を特定する評価対象特定部と、
特定された前記動画像内に含まれる少なくとも顔画像又は音声に関する評価値を算出する評価部とを備える、
ビデオミーティング評価端末。
［項目２］
項目１に記載のビデオミーティング評価端末であって、
前記評価対象特定部は、前記動画像をファイル単位で評価対象であるか否かを特定する、
ビデオミーティング評価端末。
［項目３］
項目１に記載のビデオミーティング評価端末であって、
前記評価対象特定部は、少なくとも一の前記動画像内おける所定数の前記フレームからなるフレーム群単位で評価対象であるか否かを特定する、
ビデオミーティング評価端末。
［項目４］
項目３に記載のビデオミーティング評価端末であって、
前記評価対象特定部は、所定の音声が含まれている時間又は無音時間の少なくともいずれかを前記フレーム群として特定する、
ビデオミーティング評価端末。
［項目５］
項目３に記載のビデオミーティング評価端末であって、
前記評価対象特定部は、所定の対象物が映っている時間又は所定の対象物が映っていない時間の少なくともいずれかを前記フレーム群として特定する、
ビデオミーティング評価端末。
［項目６］
項目１乃至項目５のいずれかに記載のビデオミーティング評価端末であって、
ビデオミーティング評価端末は、前記評価値の時系列によるグラフ情報を提供する、
ビデオミーティング評価端末。
［項目７］
項目１乃至項目６のいずれかに記載のビデオミーティング評価端末であって、
前記ビデオミーティング評価端末は、前記顔画像を複数の異なる観点によって評価した複数の評価値を算出する、
ビデオミーティング評価端末。
［項目８］
項目１乃至項目７のいずれかに記載のビデオミーティング評価端末であって、
前記ビデオミーティング評価端末は、前記動画像に含まれる音声と共に前記評価値を算出する、
ビデオミーティング評価端末。
［項目９］
項目１乃至項目８のいずれかに記載のビデオミーティング評価端末であって、
前記ビデオミーティング評価端末は、前記動画像内に含まれる前記顔画像以外の対象物と共に前記評価値を算出する、
ビデオミーティング評価端末。
［項目１０］
項目１乃至項目９のいずれかに記載のビデオミーティング評価端末であって、
前記動画像に関連付けられた識別子を生成する識別子生成手段と、
前記識別子及び前記前記評価値を対応付けて共有する共有手段をさらに有する、
ビデオミーティング評価端末。
［項目１１］
実行されたビデオミーティングから得られる動画像を記憶する記憶部、
記憶した動画像の評価対象を特定する評価対象特定部、
特定された前記動画像内に含まれる少なくとも顔画像又は音声に関する評価値を算出する評価部として、ビデオミーティング評価端末を機能させる
ビデオミーティング評価プログラム。
［項目１２］
ユーザ端末間で実行されたビデオミーティングから得られる動画像を記憶する記憶ステップ、
記憶した動画像の評価対象を特定する評価対象特定ステップ、
特定された前記動画像内に含まれる少なくとも顔画像又は音声に関する評価値を算出する評価ステップを含む、
ビデオミーティング評価方法。
［項目１３］
少なくとも第１ユーザ端末と第２ユーザ端末とを備えるビデオミーティング評価システムであって、
少なくとも前記第１ユーザ端末は、
前記第２ユーザ端末との間で実行されたビデオミーティングから得られる動画像を記憶する記憶部と、
記憶した動画像の評価対象を特定する評価対象特定部と、
特定された前記動画像内に含まれる少なくとも顔画像又は音声に関する評価値を算出する評価部とを備える、
ビデオミーティング評価システム。
［項目１４］
少なくとも第１ユーザ端末と第２ユーザ端末とサーバ装置とを備えるビデオミーティング評価システムであって、
少なくとも前記サーバ装置は、
前記ビデオミーティングから得られる動画像を記憶する記憶部と、
記憶した動画像の評価対象を特定する評価対象特定部と、
特定された前記動画像内に含まれる少なくとも顔画像又は音声に関する評価値を算出する評価部とを備える、
ビデオミーティング評価システム。

【0012】

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

【0013】

＜基本機能＞

【0014】

本実施形態の感情解析システムは、複数人でビデオミーティング（以下、一方向及び双方向含めてオンラインセッションという）が行われる環境において、当該複数人の中の解析対象者について他者とは異なる特異的な感情（自分または他人の言動に対して起こる気持ち。快・不快またはその程度など）や発話内容を解析するシステムである。

【0015】

オンラインセッションは、例えばオンライン会議、オンライン授業、オンラインチャットなどであり、複数の場所に設置された端末をインターネットなどの通信ネットワークを介してサーバに接続し、当該サーバを通じて複数の端末間で動画像をやり取りできるようにしたものである。

【0016】

オンラインセッションで扱う動画像には、端末を使用するユーザの顔画像や音声が含まれる。また、動画像には、複数のユーザが共有して閲覧する資料などの画像も含まれる。各端末の画面上に顔画像と資料画像とを切り替えて何れか一方のみを表示させたり、表示領域を分けて顔画像と資料画像とを同時に表示させたりすることが可能である。また、複数人のうち１人の画像を全画面表示させたり、一部または全部のユーザの画像を小画面に分割して表示させたりすることが可能である。

【0017】

端末を使用してオンラインセッションに参加する複数のユーザのうち、何れか１人または複数人を解析対象者として指定することが可能である。例えば、オンラインセッションの主導者、進行者または管理者（以下、まとめて主催者という）が何れかのユーザを解析対象者として指定する。オンラインセッションの主催者は、例えばオンライン授業の講師、オンライン会議の議長やファシリテータ、コーチングを目的としたセッションのコーチなどである。オンラインセッションの主催者は、オンラインセッションに参加する複数のユーザの中の一人であるのが普通であるが、オンラインセッションに参加しない別人であってもよい。なお、解析対象者を指定せず全ての参加者を解析対象としてもよい。

【0018】

また、オンラインセッションの主導者、進行者または管理者（以下、まとめて主催者という）が何れかのユーザを解析対象者として指定することも可能である。オンラインセッションの主催者は、例えばオンライン授業の講師、オンライン会議の議長やファシリテータ、コーチングを目的としたセッションのコーチなどである。オンラインセッションの主催者は、オンラインセッションに参加する複数のユーザの中の一人であるのが普通であるが、オンラインセッションに参加しない別人であってもよい。

【0019】

図１に示されるように、本実施の形態によるビデオミーティング評価システムは、少なくともカメラ部及びマイク部等の入力部と、ディスプレイ等の表示部とスピーカー等の出力部とを有し、第１ユーザ及び第２ユーザの夫々が利用するユーザ端末１０及び２０と、ユーザ端末１０及び２０に双方向のビデオミーティングを提供するビデオミーティングサービス端末３０と、ビデオミーティングに関する評価を行う評価端末４０とを備えている。なお、本実施の形態によるビデオミーティングは、ユーザ端末１０及び２０同士がいわゆるエンドツーエンドで通信されるように構成することとしてもよい。

【0020】

＜ハードウェア構成例＞
図２は、本実施形態に係る各端末１０乃至４０を実現するコンピュータのハードウェア構成例を示す図である。コンピュータは、少なくとも、制御部１１、メモリ１２、ストレージ１３、通信部１４および入出力部１５等を備える。これらはバス１６を通じて相互に電気的に接続される。

【0021】

制御部１１は、各端末全体の動作を制御し、各要素間におけるデータの送受信の制御、及びアプリケーションの実行及び認証処理に必要な情報処理等を行う演算装置である。例えば制御部１１は、ＣＰＵ等のプロセッサであり、ストレージ１３に格納されメモリ１２に展開されたプログラム等を実行して各情報処理を実施する。

【0022】

メモリ１２は、ＤＲＡＭ等の揮発性記憶装置で構成される主記憶と、フラッシュメモリまたはＨＤＤ等の不揮発性記憶装置で構成される補助記憶と、を含む。メモリ１２は、制御部１１のワークエリア等として使用され、また、情報共有支援装置１０の起動時に実行されるＢＩＯＳ、及び各種設定情報等を格納する。

【0023】

ストレージ１３は、アプリケーション・プログラム等の各種プログラムを格納する。各処理に用いられるデータを格納したデータベースがストレージ１３に構築されていてもよい。特にビデオミーティングサービス端末３０にはオンラインセッションにおける動画像を記録しストレージ１３に格納することとしてもよい。また、評価端末４０は、動画像を取得し、評価端末４０の管理するストレージ１３にその解析結果（評価結果）と共に格納することとしてもよい。

【0024】

通信部１４は、情報共有支援装置１０をネットワークに接続する。通信部１４は、例えば、有線ＬＡＮ、無線ＬＡＮ、Ｗｉ－Ｆｉ（登録商標）、赤外線通信、Ｂｌｕｅｔｏｏｔｈ（登録商標）、近距離または非接触通信等の方式で、外部機器と直接またはネットワークアクセスポイントを介して通信する。

【0025】

入出力部１５は、例えば、キーボード、マウス、タッチパネル等の情報入力機器、及びディスプレイ等の出力機器である。

【0026】

バス１６は、上記各要素に共通に接続され、例えば、アドレス信号、データ信号及び各種制御信号を伝達する。

【0027】

特に、本実施の形態による評価端末は、ビデオミーティングサービス端末から動画像を取得し、当該動画像内に含まれる少なくとも顔画像を所定のフレーム単位ごとに識別すると共に、顔画像に関する評価値を算出する（詳しくは後述する）。

【0028】

＜動画の取得方法＞
図３に示されるように、ビデオミーティングサービス端末が提供するビデオミーティングサービス（以下、単に「本サービス」と言うことがある」）は、ユーザ端末１０、２０に対して双方向に画像および音声によって通信が可能となるものである。本サービスは、ユーザ端末のディスプレイに相手のユーザ端末のカメラ部で取得した動画像を表示し、相手のユーザ端末のマイク部で取得した音声をスピーカーから出力可能となっている。

【0029】

また、本サービスは双方の又はいずれかのユーザ端末によって、動画像及び音声（これらを合わせて「動画像等」という）を記録（レコーディング）することが可能に構成されている。記録された情報Ｖｓ１、Ｖｓ２（以下「記録情報」という）は、一時的には記録を開始したユーザ端末にキャッシュされつつ、ビデオミーティングサービス端末側か、またはいずれかのユーザ端末のローカルのみ、またはその両方に記録されることとなる。ユーザは、当該記録情報を本サービスの利用の範囲内で自分で視聴、他者に共有等行うことができる。

【0030】

評価端末４０は、当該記録情報を取得して、後述するような分析及び評価を行う。記録情報の取得方法としては、レコーディングされた情報がビデオミーティングサービス端末側及びユーザ端末側のいずれに記憶されるかによって取得のルートが異なる（図の点線矢印参照）。また、情報の特定方法としては、例えば、直接にダウンロードリクエストを行うこととしてもよいし、所定のＵＲＬを経由してアクセスすることとしてもよい。

【0031】

評価端末４０は、以上のようにして取得した動画を以下のような分析によって評価を行う。

【0032】

以下、本発明の一実施形態を図面に基づいて説明する。図４は、本実施形態による評価の一連の処理に用いられる構成例を示すブロック図である。図４に示すように、本実施形態のビデオミーティング評価システムは、機能構成として、他のユーザ端末との通信を制御する通信制御部２０１、通信制御部２０１を介してビデオミーティングを制御するビデオミーティング制御部２０３、ビデオミーティングから得られる動画像を記憶する記憶部２０５、記憶した動画像から評価対象を特定する評価対象特定部２０７と、特定された動画像内に含まれる少なくとも顔画像又は音声に関する評価値を算出する評価部２０９とを備えている。評価部２０９の詳細は後述する。

【0033】

＜ファイル単位の評価＞
図５に示されるように、評価対象特定部２０７は、動画像をファイル単位で評価対象であるか否かを特定する。図は、ビデオミーティングサービス端末３０内に動画像が記憶される例を示したものである。

【0034】

図示されるように、動画像は、各動画を識別するＩＤと、内容に関する情報と、評価対象とするかどうかのフラグ情報が関連座けられてデータベースに格納されている。本実施の形態においては、１のフラグが関連付けられている動画像は評価対象とし、０のフラグが関連付けられている動画像は評価対象とはしない。例えば、ＩＤが「Urawa20201019001」の動画像についてはオンライン授業に関する動画像であり、講師の講義に対して受講生の表情や感情を評価することとしている。一方、ＩＤが「Omiya20201019003」の動画像については個人面談に関する動画像であり個人情報やプライバシーの観点から評価すべき対象からは外されている。

【0035】

このように、ファイル単位で、評価対象か否かのフラグを関連付けることとすれば、評価すべきでない動画自体を評価端末に送信することも防ぐことが可能となる。フラグは、動画像の属性情報（内容、時間帯、関連付けられている人等）に基づいて自動で付与されることとしてもよいし、手動での付与を受け付けることとしてもよい。

【0036】

＜フレーム群単位の評価＞
図６に示されるように、評価対象特定部２０７は、少なくとも一の動画像内おける所定数のフレーム群ｔ１～ｔ５（幅の概念は、時間、フレーム数等例示できるがこれに限られない）からなるフレーム群単位で評価対象であるか否かを特定することとしてもよい。図示されるように、フレーム群ｔ２及びｔ４が評価対象となっている。即ち、評価部２０９は、フレーム群ｔ２及びｔ４に属するフレームのみを評価する。

【0037】

図７に示されるように、評価対象特定部２０７は、所定の音声が含まれている有音時間（又は無音時間）の少なくともいずれかを評価対象であるフレーム群として自動的に特定することとしてもよい。

【0038】

また、図示しないが、評価対象特定部２０７は、所定の対象物が映っている時間（又は所定の対象物が映っていない時間）の少なくともいずれかを評価対象であるフレーム群として自動的に特定することとしてもよい。この場合、例えば、動画像のフレーム内において識別できる人数が一定以上（又は一定以下）のときに当該フレーム群を評価対象とする（しない）としてもよい。

【0039】

続いて、図４に戻り、評価部２０９の機能を説明する。評価部２０９は、動画像取得部１１、生体反応解析部１２、特異判定部１３、関連事象特定部１４、クラスタリング部１５および解析結果通知部１６を備えている。

【0040】

上記各機能ブロック１１～１６は、例えば評価端末４０に備えられたハードウェア、ＤＳＰ（Digital Signal Processor）、ソフトウェアの何れによっても構成することが可能である。例えばソフトウェアによって構成する場合、上記各機能ブロック１１～１６は、実際にはコンピュータのＣＰＵ、ＲＡＭ、ＲＯＭなどを備えて構成され、ＲＡＭやＲＯＭ、ハードディスクまたは半導体メモリ等の記録媒体に記憶されたプログラムが動作することによって実現される。

【0041】

動画像取得部１１は、オンラインセッション中に各端末が備えるカメラにより複数人（複数のユーザ）を撮影することによって得られる動画像を各端末から取得する。各端末から取得する動画像は、各端末の画面上に表示されるように設定されているものか否かは問わない。すなわち、動画像取得部１１は、各端末に表示中の動画像および非表示中の動画像を含めて、動画像を各端末から取得する。

【0042】

生体反応解析部１２は、動画像取得部１１により取得された動画像（画面上に表示中のものか否かは問わない）に基づいて、複数人のそれぞれについて生体反応の変化を解析する。本実施形態において生体反応解析部１２は、動画像取得部１１により取得された動画像を画像のセット（フレーム画像の集まり）と音声とに分離し、それぞれから生体反応の変化を解析する。

【0043】

例えば、生体反応解析部１２は、動画像取得部１１により取得された動画像から分離したフレーム画像を用いてユーザの顔画像を解析することにより、表情、目線、脈拍、顔の動きの少なくとも１つに関する生体反応の変化を解析する。また、生体反応解析部１２は、動画像取得部１１により取得された動画像から分離した音声を解析することにより、ユーザの発言内容、声質の少なくとも１つに関する生体反応の変化を解析する。

【0044】

人は感情が変化すると、それが表情、目線、脈拍、顔の動き、発言内容、声質などの生体反応の変化となって現れる。本実施形態では、ユーザの生体反応の変化を解析することを通じて、ユーザの感情の変化を解析する。本実施形態において解析する感情は、一例として、快／不快の程度である。本実施形態において生体反応解析部１２は、生体反応の変化を所定の基準に従って数値化することにより、生体反応の変化の内容を反映させた生体反応指標値を算出する。

【0045】

表情の変化の解析は、例えば以下のようにして行う。すなわち、フレーム画像ごとに、フレーム画像の中から顔の領域を特定し、事前に機械学習させた画像解析モデルに従って特定した顔の表情を複数に分類する。そして、その分類結果に基づいて、連続するフレーム画像間でポジティブな表情変化が起きているか、ネガティブな表情変化が起きているか、およびどの程度の大きさの表情変化が起きているかを解析し、その解析結果に応じた表情変化指標値を出力する。

【0046】

目線の変化の解析は、例えば以下のようにして行う。すなわち、フレーム画像ごとに、フレーム画像の中から目の領域を特定し、両目の向きを解析することにより、ユーザがどこを見ているかを解析する。例えば、表示中の話者の顔を見ているか、表示中の共有資料を見ているか、画面の外を見ているかなどを解析する。また、目線の動きが大きいか小さいか、動きの頻度が多いか少ないかなどを解析するようにしてもよい。目線の変化はユーザの集中度にも関連する。生体反応解析部１２は、目線の変化の解析結果に応じた目線変化指標値を出力する。

【0047】

脈拍の変化の解析は、例えば以下のようにして行う。すなわち、フレーム画像ごとに、フレーム画像の中から顔の領域を特定する。そして、顔の色情報（ＲＧＢのＧ）の数値を捉える学習済みの画像解析モデルを用いて、顔表面のＧ色の変化を解析する。その結果を時間軸に合わせて並べることによって色情報の変化を表した波形を形成し、この波形から脈拍を特定する。人は緊張すると脈拍が速くなり、気持ちが落ち着くと脈拍が遅くなる。生体反応解析部１２は、脈拍の変化の解析結果に応じた脈拍変化指標値を出力する。

【0048】

顔の動きの変化の解析は、例えば以下のようにして行う。すなわち、フレーム画像ごとに、フレーム画像の中から顔の領域を特定し、顔の向きを解析することにより、ユーザがどこを見ているかを解析する。例えば、表示中の話者の顔を見ているか、表示中の共有資料を見ているか、画面の外を見ているかなどを解析する。また、顔の動きが大きいか小さいか、動きの頻度が多いか少ないかなどを解析するようにしてもよい。顔の動きと目線の動きとを合わせて解析するようにしてもよい。例えば、表示中の話者の顔をまっすぐ見ているか、上目遣いまたは下目使いに見ているか、斜めから見ているかなどを解析するようにしてもよい。生体反応解析部１２は、顔の向きの変化の解析結果に応じた顔向き変化指標値を出力する。

【0049】

発言内容の解析は、例えば以下のようにして行う。すなわち、生体反応解析部１２は、指定した時間（例えば、３０～１５０秒程度の時間）の音声について公知の音声認識処理を行うことによって音声を文字列に変換し、当該文字列を形態素解析することにより、助詞、冠詞などの会話を表す上で不要なワードを取り除く。そして、残ったワードをベクトル化し、ポジティブな感情変化が起きているか、ネガティブな感情変化が起きているか、およびどの程度の大きさの感情変化が起きているかを解析し、その解析結果に応じた発言内容指標値を出力する。

【0050】

声質の解析は、例えば以下のようにして行う。すなわち、生体反応解析部１２は、指定した時間（例えば、３０～１５０秒程度の時間）の音声について公知の音声解析処理を行うことによって音声の音響的特徴を特定する。そして、その音響的特徴に基づいて、ポジティブな声質変化が起きているか、ネガティブな声質変化が起きているか、およびどの程度の大きさの声質変化が起きているかを解析し、その解析結果に応じた声質変化指標値を出力する。

【0051】

生体反応解析部１２は、以上のようにして算出した表情変化指標値、目線変化指標値、脈拍変化指標値、顔向き変化指標値、発言内容指標値、声質変化指標値の少なくとも１つを用いて生体反応指標値を算出する。例えば、表情変化指標値、目線変化指標値、脈拍変化指標値、顔向き変化指標値、発言内容指標値および声質変化指標値を重み付け計算することにより、生体反応指標値を算出する。

【0052】

特異判定部１３は、解析対象者について解析された生体反応の変化が、解析対象者以外の他者について解析された生体反応の変化と比べて特異的か否かを判定する。本実施形態において、特異判定部１３は、生体反応解析部１２により複数のユーザのそれぞれについて算出された生体反応指標値に基づいて、解析対象者について解析された生体反応の変化が他者と比べて特異的か否かを判定する。

【0053】

例えば、特異判定部１３は、生体反応解析部１２により複数人のそれぞれについて算出された生体反応指標値の分散を算出し、解析対象者について算出された生体反応指標値と分散との対比により、解析対象者について解析された生体反応の変化が他者と比べて特異的か否かを判定する。

【0054】

解析対象者について解析された生体反応の変化が他者と比べて特異的である場合として、次の３パターンが考えられる。１つ目は、他者については特に大きな生体反応の変化が起きていないが、解析対象者について比較的大きな生体反応の変化が起きた場合である。２つ目は、解析対象者については特に大きな生体反応の変化が起きていないが、他者について比較的大きな生体反応の変化が起きた場合である。３つ目は、解析対象者についても他者についても比較的大きな生体反応の変化が起きているが、変化の内容が解析対象者と他者とで異なる場合である。

【0055】

関連事象特定部１４は、特異判定部１３により特異的であると判定された生体反応の変化が起きたときに解析対象者、他者および環境の少なくとも１つに関して発生している事象を特定する。例えば、関連事象特定部１４は、解析対象者について特異的な生体反応の変化が起きたときにおける解析対象者自身の言動を動画像から特定する。また、関連事象特定部１４は、解析対象者について特異的な生体反応の変化が起きたときにおける他者の言動を動画像から特定する。また、関連事象特定部１４は、解析対象者について特異的な生体反応の変化が起きたときにおける環境を動画像から特定する。環境は、例えば画面に表示中の共有資料、解析対象者の背景に写っているものなどである。

【0056】

クラスタリング部１５は、特異判定部１３により特異的であると判定された生体反応の変化（例えば、目線、脈拍、顔の動き、発言内容、声質のうち１つまたは複数の組み合わせ）と、当該特異的な生体反応の変化が起きたときに発生している事象（関連事象特定部１４により特定された事象）との相関の程度を解析し、相関が一定レベル以上であると判定された場合に、その相関の解析結果に基づいて解析対象者または事象をクラスタリングする。

【0057】

例えば、特異的な生体反応の変化がネガティブな感情変化に相当するものであり、当該特異的な生体反応の変化が起きたときに発生している事象もネガティブな事象である場合には一定レベル以上の相関が検出される。クラスタリング部１５は、その事象の内容やネガティブな度合い、相関の大きさなどに応じて、あらかじめセグメント化した複数の分類の何れかに解析対象者または事象をクラスタリングする。

【0058】

同様に、特異的な生体反応の変化がポジティブな感情変化に相当するものであり、当該特異的な生体反応の変化が起きたときに発生している事象もポジティブな事象である場合には一定レベル以上の相関が検出される。クラスタリング部１５は、その事象の内容やポジティブな度合い、相関の大きさなどに応じて、あらかじめセグメント化した複数の分類の何れかに解析対象者または事象をクラスタリングする。

【0059】

解析結果通知部１６は、特異判定部１３により特異的であると判定された生体反応の変化、関連事象特定部１４により特定された事象、およびクラスタリング部１５によりクラスタリングされた分類の少なくとも１つを、解析対象者の指定者（解析対象者またはオンラインセッションの主催者）に通知する。

【0060】

例えば、解析結果通知部１６は、解析対象者について他者とは異なる特異的な生体反応の変化が起きたとき（上述した３パターンの何れか。以下同様）に発生している事象として解析対象者自身の言動を解析対象者自身に通知する。これにより、解析対象者は、自分がある言動を行ったときに他者とは違う感情を持っていることを把握することができる。このとき、解析対象者について特定された特異的な生体反応の変化も併せて解析対象者に通知するようにしてもよい。さらに、対比される他者の生体反応の変化を更に解析対象者に通知するようにしてもよい。

【0061】

例えば、解析対象者が普段どおりの感情で特に意識せずに行った言動、または、解析対象者がある感情を伴って特に意識して行った言動に対して他者が受けた感情と、言動の際に解析対象者自身が抱いていた感情とが相違している場合に、そのときの解析対象者自身の言動が解析対象者に通知される。これにより、自分の意識に反して他者の受けが良い言動や他者の受けが良くない言動などを発見することも可能である。

【0062】

また、解析結果通知部１６は、解析対象者について他者とは異なる特異的な生体反応の変化が起きたときに発生している事象を、特異的な生体反応の変化と共にオンラインセッションの主催者に通知する。これにより、オンラインセッションの主催者は、指定した解析対象者に特有の現象として、どのような事象がどのような感情の変化に影響を与えているのかを知ることができる。そして、その把握した内容に応じて適切な処置を解析対象者に対して行うことが可能となる。

【0063】

また、解析結果通知部１６は、解析対象者について他者とは異なる特異的な生体反応の変化が起きたときに発生している事象または解析対象者のクラスタリング結果をオンラインセッションの主催者に通知する。これにより、オンラインセッションの主催者は、指定した解析対象者がどの分類にクラスタリングされたかによって、解析対象者に特有の行動の傾向を把握したり、今後起こり得る行動や状態などを予測したりすることができる。そして、それに対して適切な処置を解析対象者に対して行うことが可能となる。

【0064】

なお、上記実施形態では、生体反応の変化を所定の基準に従って数値化することによって生体反応指標値を算出し、複数人のそれぞれについて算出された生体反応指標値に基づいて、解析対象者について解析された生体反応の変化が他者と比べて特異的か否かを判定する例について説明したが、この例に限定されない。例えば、以下のようにしてもよい。

【0065】

すなわち、生体反応解析部１２は、複数人のそれぞれについて目線の動きを解析して目線の方向を示すヒートマップを生成する。特異判定部１３は、生体反応解析部１２により解析対象者について生成されたヒートマップと他者について生成されたヒートマップとの対比により、解析対象者について解析された生体反応の変化が、他者について解析された生体反応の変化と比べて特異的か否かを判定する。

【0066】

＜変形例＞
なお、図８に示すように、本実施形態のビデオミーティング評価システムは、機能構成として、動画像取得部１１、生体反応解析部１２および反応情報提示部１３ａを備えている。

【0067】

反応情報提示部１３ａは、画面に表示されていない参加者を含めて生体反応解析部１２ａにより解析された生体反応の変化を示す情報を提示する。例えば、反応情報提示部１３ａは、生体反応の変化を示す情報をオンラインセッションの主導者、進行者または管理者（以下、まとめて主催者という）に提示する。オンラインセッションの主催者は、例えばオンライン授業の講師、オンライン会議の議長やファシリテータ、コーチングを目的としたセッションのコーチなどである。オンラインセッションの主催者は、オンラインセッションに参加する複数のユーザの中の一人であるのが普通であるが、オンラインセッションに参加しない別人であってもよい。

【0068】

このようにすることにより、オンラインセッションの主催者は、複数人でオンラインセッションが行われる環境において、画面に表示されていない参加者の様子も把握することができる。

【0069】

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

【0070】

本明細書において説明した装置は、単独の装置として実現されてもよく、一部または全部がネットワークで接続された複数の装置（例えばクラウドサーバ）等により実現されてもよい。例えば、情報共有支援装置１０の制御部１１およびストレージ１３は、互いにネットワークで接続された異なるサーバにより実現されてもよい。

【0071】

本明細書において説明した装置による一連の処理は、ソフトウェア、ハードウェア、及びソフトウェアとハードウェアとの組合せのいずれを用いて実現されてもよい。本実施形態に係る情報共有支援装置１０の各機能を実現するためのコンピュータプログラムを作製し、ＰＣ等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することが可能である。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。

【0072】

また、本明細書においてフローチャート図を用いて説明した処理は、必ずしも図示された順序で実行されなくてもよい。いくつかの処理ステップは、並列的に実行されてもよい。また、追加的な処理ステップが採用されてもよく、一部の処理ステップが省略されてもよい。

【0073】

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

【0074】

以下の構成も本発明に含み得る。
＜構成１＞
複数人でオンラインセッションが行われる環境において、当該複数人の中の解析対象者について他者とは異なる特異的な感情を解析するビデオミーティング評価システム。
＜構成２＞
上記オンラインセッション中に上記複数人を撮影することによって得られる動画像を取得する動画像取得部と、
上記動画像取得部により取得された動画像に基づいて、上記複数人のそれぞれについて生体反応の変化を解析する生体反応解析部と、
上記解析対象者について解析された上記生体反応の変化が、上記解析対象者以外の他者について解析された上記生体反応の変化と比べて特異的か否かを判定する特異判定部とを備えた
ことを特徴とするビデオミーティング評価システム。
＜構成３＞
上記生体反応解析部は、上記動画像取得部により取得された動画像にける顔画像を解析することにより、表情、目線、脈拍、顔の動きの少なくとも１つに関する生体反応の変化を解析することを特徴とする構成２に記載のビデオミーティング評価システム。
＜構成４＞
上記生体反応解析部は、上記動画像取得部により取得された動画像にける音声を解析することにより、発言内容、声質の少なくとも１つに関する生体反応の変化を解析することを特徴とする構成２または３に記載のビデオミーティング評価システム。
＜構成５＞
上記生体反応解析部は、上記生体反応の変化を所定の基準に従って数値化することによって生体反応指標値を算出し、
上記特異判定部は、上記生体反応解析部により上記複数人のそれぞれについて算出された上記生体反応指標値に基づいて、上記解析対象者について解析された上記生体反応の変化が、上記解析対象者以外の他者について解析された上記生体反応の変化と比べて特異的か否かを判定する
ことを特徴とする構成２～４の何れか１項に記載のビデオミーティング評価システム。
＜構成６＞
上記特異判定部は、上記生体反応解析部により上記複数人のそれぞれについて算出された上記生体反応指標値の分散を算出し、上記解析対象者について算出された上記生体反応指標値と上記分散との対比により、上記解析対象者について解析された上記生体反応の変化が、上記他者について解析された上記生体反応の変化と比べて特異的か否かを判定することを特徴とする構成５に記載のビデオミーティング評価システム。
＜構成７＞
上記生体反応解析部は、上記複数人のそれぞれについて上記目線の動きを解析して目線の方向を示すヒートマップを生成し、
上記特異判定部は、上記生体反応解析部により上記解析対象者について生成されたヒートマップと上記他者について生成されたヒートマップとの対比により、上記解析対象者について解析された上記生体反応の変化が、上記他者について解析された上記生体反応の変化と比べて特異的か否かを判定する
ことを特徴とする構成３に記載のビデオミーティング評価システム。
＜構成８＞
上記特異判定部により特異的であると判定された生体反応の変化が起きたときに上記解析対象者、上記他者および環境の少なくとも１つに関して発生している事象を特定する関連事象特定部を更に備えたことを特徴とする構成２～７の何れか１項に記載のビデオミーティング評価システム。
＜構成９＞
上記特異判定部により特異的であると判定された生体反応の変化と、当該特異的な生体反応の変化が起きたときに発生している事象との相関の程度を解析し、相関が一定レベル以上であると判定された場合に、その相関の解析結果に基づいて上記解析対象者または上記事象をクラスタリングするクラスタリング部を更に備えたことを特徴とする構成８に記載のビデオミーティング評価システム。
＜構成１０＞
上記特異判定部により特異的であると判定された生体反応の変化および上記関連事象特定部により特定された事象の少なくとも一方を、上記解析対象者または上記オンラインセッションの主催者に通知する解析結果通知部を更に備えたことを特徴とする構成８に記載のビデオミーティング評価システム。
＜構成１１＞
上記特異判定部により特異的であると判定された生体反応の変化、上記関連事象特定部により特定された事象、および上記クラスタリング部によりクラスタリングされた分類の少なくとも１つを、上記解析対象者または上記オンラインセッションの主催者に通知する解析結果通知部を更に備えたことを特徴とする請求項９に記載のビデオミーティング評価システム。
＜構成１２＞
複数人の参加者でオンラインセッションが行われる環境において、オンラインセッション中に参加者が画面に表示されているか否かによらず、上記参加者を撮影することによって得られる動画像をもとに上記参加者の反応を解析し、その解析結果を提示する反応解析システム。
＜構成１３＞
上記オンラインセッション中に上記参加者を撮影することによって得られる動画像を取得する動画像取得部と、
上記動画像取得部により取得された動画像に基づいて、上記参加者について生体反応の変化を解析する生体反応解析部と、
上記画面に表示されていない参加者を含めて上記生体反応解析部により解析された上記生体反応の変化を示す情報を提示する反応情報提示部とを備えた
ことを特徴とする項目１２に記載の反応解析システム。
＜構成１４＞
上記生体反応解析部は、上記動画像取得部により取得された動画像にける顔画像を解析することにより、表情、目線、脈拍、顔の動きの少なくとも１つに関する生体反応の変化を解析することを特徴とする項目１３に記載の反応解析システム。
＜構成１５＞
上記生体反応解析部は、上記動画像取得部により取得された動画像にける音声を解析することにより、発言内容、声質の少なくとも１つに関する生体反応の変化を解析することを特徴とする項目１３又は項目１４に記載の反応解析システム。
＜構成１６＞
上記生体反応解析部は、上記画面に表示されていない参加者が、上記画面に表示されている共有資料のどこを見ているかを解析することを特徴とする項目１３に記載の反応解析システム。
＜構成１７＞
上記生体反応解析部は、上記画面に表示されていない参加者が、上記オンラインセッション中のどのタイミングで声を出したかを解析することを特徴とする項目１３に記載の反応解析システム。
＜構成１８＞
上記反応情報提示部は、上記生体反応の変化を示す情報を上記オンラインセッションの主催者に提示することを特徴とする項目１３乃至項目１７の何れか１項に記載の反応解析システム。

【符号の説明】

【0075】

１０、２０ ユーザ端末
３０ ビデオミーティングサービス端末
４０ 評価端末

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】