(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-10-26
(45)【発行日】2022-11-04
(54)【発明の名称】感情解析システムおよび感情解析装置
(51)【国際特許分類】
G06T 7/20 20170101AFI20221027BHJP
【ＦＩ】
G06T7/20 300B
【請求項の数】
13
(21)【出願番号】P 2022540269
(86)(22)【出願日】2021-07-26
(86)【国際出願番号】 JP2021027452
(87)【国際公開番号】W WO2022024956
(87)【国際公開日】2022-02-03
【審査請求日】2022-08-18
(31)【優先権主張番号】PCT/JP2020/028748
(32)【優先日】2020-07-27
(33)【優先権主張国・地域又は機関】JP
【早期審査対象出願】
(73)【特許権者】
【識別番号】520408744
【氏名又は名称】株式会社Ｉ’ｍｂｅｓｉｄｅｙｏｕ
(74)【代理人】
【識別番号】110002790
【氏名又は名称】Ｏｎｅ ｉｐ弁理士法人
(72)【発明者】
【氏名】神谷 渉三
【審査官】新井 則和
(56)【参考文献】
【文献】特開２０１９－０５８６２５（ＪＰ，Ａ）
【文献】特開２０１５－０７５９０８（ＪＰ，Ａ）
【文献】特開２０１８－０６８６１８（ＪＰ，Ａ）
【文献】特開２０１８－１２１７５２（ＪＰ，Ａ）
【文献】特開２０２０－１０９５７８（ＪＰ，Ａ）
【文献】曽根田 悠介 外2名，オンラインミーティングを対象とした会議の質評価システムの設計と構築，情報処理学会 第８１回（２０１９年）全国大会講演論文集（３） ネットワーク セキュリティ，2019年02月28日
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ ７／００－７／９０
(57)【特許請求の範囲】
【請求項1】
複数人の参加者が使用する複数のユーザ端末の間でセッション管理サーバを通じてオンラインセッションが行われる環境において、上記参加者の感情を解析する感情解析システムであって、上記複数人の参加者の中から解析対象者を指定する対象者指定部と、
上記オンラインセッション中に上記複数人の参加者のそれぞれについて上記ユーザ端末から送信される動画像を取得する動画像取得部と、
上記動画像取得部により取得された動画像に基づいて、上記複数人の参加者のそれぞれについて、感情の変化に起因して起こる生体反応の変化を解析する生体反応解析部と、
上記対象者指定部により指定された上記解析対象者について解析された上記生体反応の変化が、上記解析対象者以外の他者について解析された上記生体反応の変化と比べて特異的か否かを判定する特異判定部とを備えた
ことを特徴とする感情解析システム。
【請求項2】
上記特異判定部は、上記解析対象者がアクションを起こしたときに上記解析対象者について解析された上記生体反応の変化が、上記他者について解析された上記生体反応の変化と比べて特異的か否かを判定することを特徴とする請求項１に記載の感情解析システム。【請求項3】
上記特異判定部は、上記他者の中の１人がアクションを起こしたときに上記解析対象者について解析された上記生体反応の変化が、上記他者について解析された上記生体反応の変化と比べて特異的か否かを判定することを特徴とする請求項１に記載の感情解析システム。【請求項4】
上記生体反応解析部は、上記動画像取得部により取得された動画像にける顔画像に基づいて、上記複数人の参加者のそれぞれについて目線の動きを解析して目線の方向を示すヒートマップを生成し、上記特異判定部は、上記生体反応解析部により上記解析対象者について生成されたヒートマップと上記他者について生成されたヒートマップとの対比により、上記解析対象者について解析された上記生体反応の変化が、上記他者について解析された上記生体反応の変化と比べて特異的か否かを判定する
ことを特徴とする請求項１～３の何れか１項に記載の感情解析システム。
【請求項5】
上記特異判定部により特異的であると判定された生体反応の変化が起きたときに上記解析対象者、上記他者および環境の少なくとも１つに関して発生している事象を特定する関連事象特定部を更に備えたことを特徴とする請求項１～４の何れか１項に記載の感情解析システム。【請求項6】
上記特異判定部により特異的であると判定された生体反応の変化と、上記関連事象特定部により特定された事象との相関を解析し、その相関の解析結果に基づいて上記解析対象者または上記事象をクラスタリングするクラスタリング部を更に備えたことを特徴とする請求項５に記載の感情解析システム。【請求項7】
上記特異判定部により特異的であると判定された生体反応の変化および上記関連事象特定部により特定された事象の少なくとも一方を、上記解析対象者または上記オンラインセッションの主催者に通知する解析結果通知部を更に備えたことを特徴とする請求項５に記載の感情解析システム。【請求項8】
上記特異判定部により特異的であると判定された生体反応の変化、上記関連事象特定部により特定された事象、および上記クラスタリング部によりクラスタリングされた分類の少なくとも１つを、上記解析対象者または上記オンラインセッションの主催者に通知する解析結果通知部を更に備えたことを特徴とする請求項６に記載の感情解析システム。【請求項9】
複数人の参加者でオンラインセッションが行われる環境において、上記参加者の感情を解析する感情解析装置であって、上記複数人の参加者の中から解析対象者を指定する対象者指定部と、
上記複数人の参加者のそれぞれについて取得された動画像に基づいて、上記複数人の参加者のそれぞれについて、感情の変化に起因して起こる生体反応の変化を解析する生体反応解析部と、
上記対象者指定部により指定された上記解析対象者について解析された上記生体反応の変化が、上記解析対象者以外の他者について解析された上記生体反応の変化と比べて特異的か否かを判定する特異判定部とを備えた
ことを特徴とする感情解析装置。
【請求項10】
上記特異判定部は、上記解析対象者がアクションを起こしたときに上記解析対象者について解析された上記生体反応の変化が、上記他者について解析された上記生体反応の変化と比べて特異的か否かを判定することを特徴とする請求項９に記載の感情解析装置。【請求項11】
上記特異判定部は、上記他者の中の１人がアクションを起こしたときに上記解析対象者について解析された上記生体反応の変化が、上記他者について解析された上記生体反応の変化と比べて特異的か否かを判定することを特徴とする請求項９に記載の感情解析装置。【請求項12】
上記生体反応解析部は、上記動画像取得部により取得された動画像にける顔画像に基づいて、上記複数人の参加者のそれぞれについて目線の動きを解析して目線の方向を示すヒートマップを生成し、上記特異判定部は、上記生体反応解析部により上記解析対象者について生成されたヒートマップと上記他者について生成されたヒートマップとの対比により、上記解析対象者について解析された上記生体反応の変化が、上記他者について解析された上記生体反応の変化と比べて特異的か否かを判定する
ことを特徴とする請求項９～１１の何れか１項に記載の感情解析装置。
【請求項13】
上記特異判定部により特異的であると判定された生体反応の変化が起きたときに上記解析対象者、上記他者および環境の少なくとも１つに関して発生している事象を特定する関連事象特定部と、上記特異判定部により特異的であると判定された生体反応の変化と、上記関連事象特定部により特定された事象との相関を解析し、その相関の解析結果に基づいて上記解析対象者または上記事象をクラスタリングするクラスタリング部とを更に備えた
ことを特徴とする請求項９～１２の何れか１項に記載の感情解析装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、感情解析システムおよび感情解析装置に関し、特にオンラインセッションに参加しているユーザの感情を解析するシステムおよび装置に関するものである。
【背景技術】
【0002】
従来、ある一人の発言や行動に対して他者が受ける感情を解析する技術が知られている（例えば、特許文献１，２参照）。特許文献１には、複数人の対象者の顔面から取得した表情の情報から感情の表出度合を解析することが開示されている。また、特許文献１には、複数人の対象者の互いの呼応の状況やその場の共感度、共感度に対する対象者の感情の差異を測ることも開示されている。
【0003】
また、特許文献２には、Ｎ人（Ｎ≧２）以上が撮影された映像から、表情や視線その他の行動をもとに２人の間の感情（共感／反感／何れでもない）の度合いを感情情報として求め、Ｎ人の中から選択された１人である第一の人物と他者との間の感情情報に応じて、その他者の映像の大きさを変化させて表示装置に表示することが開示されている。第一の人物の選び方は、ユーザの指定であっても、予め指定された人物であってもよいとされている。
【0004】
【文献】特開２０１９－５８６２５号公報
【文献】特開２０１５－７５９０８号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
上記特許文献１，２に記載の技術によれば、ある一人の発言や行動に対して他者が共感しているのか反感しているのか、その共感または反感の程度を解析することが可能である。しかしながら、対象者間の関係で解析しているのは、一人の言動に対する周囲の共感／反感の感情のみであり、それ以上のことを把握することはできない。
【0006】
本発明は、このような問題を解決するためになされたものであり、複数人でオンラインセッションが行われる環境において、当該複数人の中の解析対象者について、他者とは異なる特異的な感情が起きているか否かを把握できるようにすることを目的とする。
【課題を解決するための手段】
【0007】
上記した課題を解決するために、本発明の感情解析システムでは、オンラインセッション中に複数人の参加者について得られる動画像に基づいて、複数人の参加者のそれぞれについて、感情の変化に起因して起こる生体反応の変化を解析し、複数人の参加者の中から指定された解析対象者について解析された生体反応の変化が、解析対象者以外の他者について解析された生体反応の変化と比べて特異的か否かを判定するようにしている。
【発明の効果】
【0008】
上記のように構成した本発明によれば、複数人の参加者でオンラインセッションが行われる環境において、解析対象者について他者とは異なる特異的な感情が起きると、当該解析対象者について解析される生体反応の変化が他者とは異なる特異的なものとなり、そのことが本発明によって解析されるので、解析対象者について他者とは異なる特異的な感情が起きているか否かを把握することができる。
【図面の簡単な説明】
【0009】
【図1】本実施形態による感情解析システムの全体構成例を示す図である。
【図2】本実施形態による感情解析装置の機能構成例を示すブロック図である。
【図3】変形例に係る感情解析装置の機能構成例を示すブロック図である。
【発明を実施するための形態】
【0010】
以下、本発明の一実施形態を図面に基づいて説明する。図１は、本実施形態による感情解析システムの全体構成例を示す図である。図１に示すように、本実施形態の感情解析システムは、感情解析装置１００、複数のユーザ端末２００-1，２００-2，・・・（以下、特に区別しないときは単にユーザ端末２００と記す）およびセッション管理サーバ３００を備えて構成される。これらの感情解析装置１００、ユーザ端末２００およびセッション管理サーバ３００は、インターネットや携帯電話網などの通信ネットワーク５００を介して接続される。
【0011】
本実施形態の感情解析システムは、複数人の参加者でオンラインセッションが行われる環境において、当該複数人の参加者の感情を解析し、複数人の中から指定された解析対象者について他者とは異なる特異的な感情が起きているか否かを解析するシステムである。
【0012】
オンラインセッションは、例えばオンライン会議、オンライン授業、オンラインチャットなどであり、複数の場所に設置された複数のユーザ端末２００を通信ネットワーク５００を介して感情解析装置１００およびセッション管理サーバ３００に接続し、当該感情解析装置１００およびセッション管理サーバ３００を通じて複数のユーザ端末２００間で動画像をやり取りできるようにしたものである。複数のユーザ端末２００には、オンラインセッションで動画像をやり取りするために必要なアプリケーションプログラム（以下、セッションアプリという）がインストールされている。
【0013】
オンラインセッションで扱う動画像には、ユーザ端末２００を使用するユーザの顔画像（実際には、顔以外の身体の部位や背景の画像も含まれる）や音声が含まれる。ユーザの顔画像と音声は、ユーザ端末２００に備えられた、またはユーザ端末２００に接続されたカメラおよびマイクにより取得され、セッション管理サーバ３００に送信される。そして、セッション管理サーバ３００に送信された各ユーザの顔画像と音声は感情解析装置１００によって取得され、感情解析装置１００から各ユーザ端末２００のセッションアプリに送信される。なお、ユーザ端末２００から送信された動画像を感情解析装置１００にて取得し、これを感情解析装置１００からセッション管理サーバ３００に転送するようにしてもよい。あるいは、ユーザ端末２００から動画像を感情解析装置１００およびセッション管理サーバ３００の両方に送信するようにしてもよい。
【0014】
また、動画像には、複数のユーザが共有して閲覧する資料などの画像も含まれる。ユーザが閲覧する資料画像は、何れかのユーザ端末２００からセッション管理サーバ３００に送信される。そして、セッション管理サーバ３００に送信された資料画像は感情解析装置１００によって取得され、感情解析装置１００から各ユーザ端末２００のセッションアプリに送信される。
【0015】
以上の動作により、複数のユーザ端末２００のそれぞれにおいて、複数のユーザの顔画像または資料画像がディスプレイに表示され、複数のユーザの音声がスピーカから出力される。ここで、ユーザ端末２００にインストールされているセッションアプリの機能により、ディスプレイの画面上に顔画像と資料画像とを切り替えて何れか一方のみを表示させたり、表示領域を分けて顔画像と資料画像とを同時に表示させたりすることが可能である。また、複数人のユーザのうち１人の画像を全画面表示させたり、一部または全部のユーザの画像を小画面に分割して表示させたりすることが可能である。
【0016】
また、ユーザ端末２００にインストールされているセッションアプリの機能により、カメラのオン／オフを切り替えたり、マイクのオン／オフを切り替えたりすることも可能である。例えば、ユーザ端末２００-1においてカメラをオフにした場合、ユーザ端末２００-1のカメラにより撮影された顔画像はセッション管理サーバ３００および感情解析装置１００に送信されるが、感情解析装置１００から各ユーザ端末２００に送信されない。同様に、ユーザ端末２００-1においてマイクをオフにした場合、ユーザ端末２００-1のマイクにより集音された音声はセッション管理サーバ３００および感情解析装置１００に送信されるが、感情解析装置１００から各ユーザ端末２００に送信されない。
【0017】
本実施形態において、複数のユーザ端末２００-1，２００-2，・・・は、オンラインセッションの主催者（主導者、進行者または管理者を含む）が使用する端末と、オンラインセッションに参加する参加者が使用する端末とを含む。オンラインセッションの主催者は、例えばオンライン授業の講師、オンライン会議の議長やファシリテータ、コーチングを目的としたセッションのコーチなどである。オンラインセッションの主催者は、オンラインセッションに参加する複数の参加者の中の一人であってもよいし、オンラインセッションに参加しない別人であってもよい。なお、以下の説明において、主催者と参加者とを特に区別しないときは「ユーザ」と記す。
【0018】
本実施形態において、感情解析装置１００は、複数のユーザ端末２００から送信された動画像を取得し、この動画像に基づいてオンラインセッションの参加者の感情を解析する。オンラインセッションの主催者が参加者にもなる場合、主催者の感情を解析することは必須ではない。
【0019】
本実施形態では、オンラインセッションに参加する複数の参加者のうち、何れか１人または複数人を解析対象者として指定し、指定した解析対象者について、他者とは異なる特異的な感情が起きているか否かを解析する。解析対象者の指定は、例えば解析対象者自身で行う（自分で自分のことを解析対象者として指定する）ことが可能である。また、オンラインセッションの主催者が何れかの参加者を解析対象者として指定することも可能である。
【0020】
図２は、本実施形態による感情解析装置１００の機能構成例を示すブロック図である。図２に示すように、本実施形態の感情解析装置１００は、機能構成として、対象者指定部１０、動画像取得部１１、生体反応解析部１２、特異判定部１３、関連事象特定部１４および解析結果通知部１６を備えている。また、本実施形態の感情解析装置１００は、記憶媒体として、動画像記憶部１０１を備えている。
【0021】
上記各機能ブロック１０～１６は、ハードウェア、ＤＳＰ（Digital Signal Processor）、ソフトウェアの何れによっても構成することが可能である。例えばソフトウェアによって構成する場合、上記各機能ブロック１０～１６は、実際にはコンピュータのＣＰＵ、ＲＡＭ、ＲＯＭなどを備えて構成され、ＲＡＭやＲＯＭ、ハードディスクまたは半導体メモリ等の記録媒体に記憶されたプログラムが動作することによって実現される。
【0022】
対象者指定部１０は、オンラインセッションの複数人の参加者の中から１人または複数人を解析対象者として指定する。具体的には、対象者指定部１０は、何れかのユーザ端末２００から感情解析装置１００に送られてくる指示に従って、何れかの参加者を解析対象者として指定する。上述したように、オンラインセッションの参加者が自らを解析対象者として指定すること、またはオンラインセッションの主催者が何れかの参加者を解析対象者として指定することが可能である。
【0023】
動画像取得部１１は、オンラインセッション中に各ユーザ端末２００から送信される動画像（顔画像、音声、資料画像）をセッション管理サーバ３００から取得する。動画像取得部１１は、各ユーザ端末２００からセッション管理サーバ３００を介して取得した動画像を、各ユーザを識別可能な情報（例えば、ユーザＩＤ）に関連付けて動画像記憶部１０１に記憶させる。
【0024】
セッション管理サーバ３００から取得する顔画像は、各ユーザ端末２００の画面上に表示されるように設定されているものか否か（カメラがオンに設定されているかオフに設定されているか）は問わない。すなわち、動画像取得部１１は、各ユーザ端末２００のディスプレイに表示中の顔画像および非表示中の顔画像を含めて、顔画像をセッション管理サーバ３００から取得する。また、セッション管理サーバ３００から取得する音声は、各ユーザ端末２００のスピーカから出力されるように設定されているものか否か（マイクがオンに設定されているかオフに設定されているか）は問わない。すなわち、動画像取得部１１は、各ユーザ端末２００のスピーカから出力中の音声および非出力中の音声を含めて、音声をセッション管理サーバ３００から取得する。
【0025】
生体反応解析部１２は、動画像取得部１１により取得され動画像記憶部１０１に記憶された動画像（ユーザ端末２００の画面上に表示中の顔画像か否か、ユーザ端末２００のスピーカから出力中の音声か否かは問わない）に基づいて、複数人の参加者のそれぞれについて、感情の変化に起因して起こる生体反応の変化を解析する。本実施形態において生体反応解析部１２は、動画像取得部１１により取得された動画像を顔画像のセット（フレーム画像の集まり）と音声とに分離し、それぞれから生体反応の変化を解析する。
【0026】
例えば、生体反応解析部１２は、動画像取得部１１により取得された動画像から分離したフレーム画像を用いてユーザの顔画像を解析することにより、表情、目線、脈拍、顔の動きの少なくとも１つに関する生体反応の変化を解析する。また、生体反応解析部１２は、動画像取得部１１により取得された動画像から分離した音声を解析することにより、ユーザの発言内容、声質の少なくとも１つに関する生体反応の変化を解析する。
【0027】
人は感情が変化すると、それが表情、目線、脈拍、顔の動き、発言内容、声質などの生体反応の変化となって現れる。本実施形態では、ユーザの生体反応の変化を解析することを通じて、ユーザの感情の変化を解析する。本実施形態において生体反応解析部１２は、生体反応の変化を所定の基準に従って数値化することにより、生体反応の変化の内容を反映させた生体反応指標値を算出する。
【0028】
表情の変化の解析は、例えば以下のようにして行う。すなわち、生体反応解析部１２は、フレーム画像ごとに、フレーム画像の中から顔の領域を特定し、事前に機械学習させた画像解析モデルに従って、顔の表情がどの表情要素に該当するかを解析する。そして、その解析結果に基づいて、連続するフレーム画像間で表情変化が起きているか否か、表情変化が起きている場合はそれがポジティブな表情変化かネガティブな表情変化か、およびどの程度の大きさの表情変化が起きているかを解析し、その解析結果に応じた表情変化指標値を算出する。
【0029】
顔の表情要素は、例えば、中立（neutral）／落ち着き（calm）／喜び（happy）／驚き（surprised）／悲しみ（sad）／怒り（angry）／恐れ（fearful）／嫌悪感（disgust）などである。このうち、喜びおよび驚きはポジティブな表情要素であり、悲しみ、怒り、恐れ、嫌悪感はネガティブな表情要素である。
【0030】
生体反応解析部１２は、各フレーム画像における顔の表情について、複数の表情要素ごとに合計１００となるスコアを算出する。例えば、中立＝１０、落ち着き＝１０、喜び＝３０、驚き＝２０、悲しみ＝１０、怒り＝１０、恐れ＝５、嫌悪感＝５といったように、各表情要素に該当する可能性の高さに応じたスコアを表情要素ごとに算出する。そして、例えばスコアが最大の表情要素を、そのフレーム画像における顔の表情として決定する。以下では、フレーム画像ごとに決定される顔の表情のスコア（複数の表情要素について算出されたスコアのうち最大のスコア）を「表情スコア」という。
【0031】
生体反応解析部１２は、このようにしてフレーム画像ごとに決定される表情要素およびフレーム画像ごとに算出される表情スコアの少なくとも一方が前フレームから変化したか否かによって、連続するフレーム画像間で表情変化が起きているか否かを判定する。ここで、生体反応解析部１２は、最大スコアの表情要素に変化がない場合に、前フレームからのスコア変化量が所定の閾値以上の場合に表情変化が起きていると判定するようにしてもよい。表情変化の大きさは、表情スコアの前フレームからの変化量によって判定することが可能である。
【0032】
また、生体反応解析部１２は、ポジティブな表情の表情スコアが前フレームから増加した場合、および、前フレームのネガティブな表情から現フレームのポジティブな表情に変化した場合に、ポジティブな表情変化が起きていると判定する。一方、生体反応解析部１２は、ネガティブな表情の表情スコアが前フレームから増加した場合、および、前フレームのポジティブな表情から現フレームのネガティブな表情に変化した場合に、ネガティブな表情変化が起きていると判定する。
【0033】
さらに、生体反応解析部１２は、表情変化の方向（ポジティブ→ポジティブ、ポジティブ→ネガティブ、ネガティブ→ポジティブ、ネガティブ→ネガティブ）と、表情変化の大きさとを説明変数とし、表情変化指標値を目的変数とする所定の関数を用いて、表情変化指標値を算出する。この関数は、例えば、表情が逆転する場合（ポジティブ→ネガティブ、ネガティブ→ポジティブ）には逆転しない場合に比べて表情変化指標値の絶対値が大きくなり、かつ、表情変化の程度が大きいほど表情変化指標値の絶対値が大きくなるような関数で、表情がポジティブな方向に変化する場合（ポジティブ→ポジティブ、ネガティブ→ポジティブ）は正の値となり、表情がネガティブな方向に変化する場合（ポジティブ→ネガティブ、ネガティブ→ネガティブ）は負の値となるような関数とすることが可能である。
【0034】
ここでは、連続するフレーム画像間での表情変化を解析する例について説明したが、所定の時間区間ごと（例えば、５００ミリ秒ごと）に表情変化を解析するようにしてもよい。これは、以下に述べる目線の変化の解析、脈拍の変化の解析、顔の動きの変化の解析についても同様である。
【0035】
目線の変化の解析は、例えば以下のようにして行う。すなわち、生体反応解析部１２は、フレーム画像ごとに、フレーム画像の中から目の領域を特定し、両目の向き（目線）を解析する。そして、生体反応解析部１２は、目線の変化の解析結果に応じた目線変化指標値を算出する。例えば、生体反応解析部１２は、フレーム画像ごとに正面からの視線の角度を算出し、当該角度の複数フレーム間の移動平均または移動分散を目線変化指標値として算出する。
【0036】
なお、生体反応解析部１２は、ユーザがどこを見ているかを解析するようにしてもよい。目線の変化はユーザの集中度にも関連する。例えば、表示中の話者の顔を見ているか、表示中の共有資料を見ているか、画面の外を見ているかなどを解析する。また、目線の動きが大きいか小さいか、動きの頻度が多いか少ないかなどを解析するようにしてもよい。そして、生体反応解析部１２は、目線の変化の解析結果に応じた目線変化指標値を算出する。
【0037】
例えば、生体反応解析部１２は、見ている場所（話者の顔、共有資料、画面の外）と、目線の動きの大きさと、目線の動きの頻度とを説明変数とし、目線変化指標値を目的変数とする所定の関数を用いて、目線変化指標値を算出する。この関数は、例えば、見ている場所によって目線変化指標値の絶対値が変わり、目線の動きが大きいほど、また目線の動きの頻度が大きいほど目線変化指標値の絶対値が大きくなるような関数とすることが可能である。
【0038】
脈拍の変化の解析は、例えば以下のようにして行う。すなわち、フレーム画像ごとに、フレーム画像の中から顔の領域を特定する。そして、顔の色情報（ＲＧＢのＧ）の数値を捉える学習済みの画像解析モデルを用いて、顔表面のＧ色の変化を解析する。その結果を時間軸に合わせて並べることによって色情報の変化を表した波形を形成し、この波形から脈拍を特定する。人は緊張すると脈拍が速くなり、気持ちが落ち着くと脈拍が遅くなる。生体反応解析部１２は、脈拍の変化の解析結果に応じた脈拍変化指標値を算出する。例えば、生体反応解析部１２は、各フレームごとに特定した脈拍値の、複数フレーム間の移動平均または移動分散を脈拍変化指標値として算出する。
【0039】
顔の動きの変化の解析は、例えば以下のようにして行う。すなわち、生体反応解析部１２は、フレーム画像ごとに、フレーム画像の中から顔の領域を特定し、顔の向きを解析する。そして、生体反応解析部１２は、顔の向きの変化の解析結果に応じた顔向き変化指標値を算出する。例えば、生体反応解析部１２は、フレーム画像ごとに正体時との顔の向きの差分をロール・ピッチ・ヨーで算出し、当該差分の複数フレーム間の移動平均または移動分散を顔向き変化指標値として算出する。
【0040】
なお、生体反応解析部１２は、ユーザがどこを見ているかを解析するようにしてもよい。例えば、表示中の話者の顔を見ているか、表示中の共有資料を見ているか、画面の外を見ているかなどを解析する。また、顔の動きが大きいか小さいか、動きの頻度が多いか少ないかなどを解析するようにしてもよい。顔の動きと目線の動きとを合わせて解析するようにしてもよい。例えば、表示中の話者の顔をまっすぐ見ているか、上目遣いまたは下目使いに見ているか、斜めから見ているかなどを解析するようにしてもよい。生体反応解析部１２は、顔の向きの変化の解析結果に応じた顔向き変化指標値を算出する。
【0041】
例えば、生体反応解析部１２は、見ている場所（話者の顔、共有資料、画面の外）と、その場所を見ている向きと、顔の動きの大きさと、顔の動きの頻度とを説明変数とし、顔向き変化指標値を目的変数とする所定の関数を用いて、顔向き変化指標値を算出する。この関数は、例えば、見ている場所およびその場所を見ている向きによって顔向き変化指標値の絶対値が変わり、顔の動きが大きいほど、また顔の動きの頻度が大きいほど顔向き変化指標値の絶対値が大きくなるような関数とすることが可能である。
【0042】
発言内容の解析は、例えば以下のようにして行う。すなわち、生体反応解析部１２は、指定した時間（例えば、３０～１５０秒程度の時間）の音声について公知の音声認識処理を行うことによって音声を文字列に変換し、当該文字列を形態素解析することにより、助詞、冠詞などの会話を表す上で不要なワードを取り除く。そして、残ったワードをＴＦ－ＩＤＦ（Term Frequency - Inverse Document Frequency）法などによりベクトル化し、ベクトルの特徴に基づいて、ポジティブな感情変化が起きているか、ネガティブな感情変化が起きているかを解析し、その解析結果に応じた発言内容指標値を算出する。例えば、発言内容に応じて算出されるベクトルの特徴に基づいて、ベクトルの特徴量と発言内容の種類とを関連付ける情報を格納したデータベース等を利用して、どのような種類の発言内容であるかを推定する。そして、その推定結果を説明変数とし、発言内容指標値を目的変数とする所定の関数を用いて、発言内容指標値を算出するようにすることが可能である。
【0043】
別の例として、以下のようにしてもよい。すなわち、生体反応解析部１２は、指定した時間内の発言内容から抽出したワードを辞書（各ワードがポジティブかネガティブかが定義されたもの）と突き合わせ、ポジティブなワードの出現回数とネガティブなワードの出現回数とをカウントする。そして、生体反応解析部１２は、それぞれのカウント値を説明変数とし、発言内容指標値を目的変数とする所定の関数を用いて、発言内容指標値を算出する。
【0044】
声質の解析は、例えば以下のようにして行う。すなわち、生体反応解析部１２は、指定した時間（例えば、３０～１５０秒程度の時間）の音声について公知の音声解析処理を行うことによって音声の音響的特徴を特定する。そして、その音響的特徴を表す値に基づいて、声質変化指標値を算出する。例えば、生体反応解析部１２は、音声の音響的特徴としてＭＦＣＣ（メル周波数ケプストラム係数）を算出し、当該ＭＦＣＣの所定の時間区間ごとの移動平均または移動分散を声質変化指標値として算出する。ＭＦＣＣは一例であり、これに限定されるものではない。
【0045】
なお、生体反応解析部１２は、音声の音響的特徴に基づいて、ポジティブな声質変化が起きているか、ネガティブな声質変化が起きているか、およびどの程度の大きさの声質変化が起きているかを解析し、その解析結果に応じた声質変化指標値を算出するようにしてもよい。例えば、顔の表情の解析と同様に、事前に機械学習させた音声解析モデルに従って、音声が中立／落ち着き／喜び／驚き／悲しみ／怒り／恐れ／嫌悪感のどの感情要素に該当するかを解析する。そして、その解析結果に基づいて、所定の時間区間ごとに感情変化が起きているか否か、感情変化が起きている場合はそれがポジティブな感情変化かネガティブな感情変化か、およびどの程度の大きさの感情変化が起きているかを解析し、その解析結果に応じた声質変化指標値を算出する。
【0046】
生体反応解析部１２は、以上のようにして算出した表情変化指標値、目線変化指標値、脈拍変化指標値、顔向き変化指標値、発言内容指標値、声質変化指標値の少なくとも１つを用いて生体反応指標値を算出する。例えば、表情変化指標値、目線変化指標値、脈拍変化指標値、顔向き変化指標値、発言内容指標値および声質変化指標値を重み付け計算することにより、生体反応指標値を算出する。
【0047】
特異判定部１３は、対象者指定部１０により指定された解析対象者について解析された生体反応の変化が、解析対象者以外の他者について解析された生体反応の変化と比べて特異的か否かを判定する。解析対象者について解析された生体反応の変化が他者と比べて特異的である場合として、次の３パターンが考えられる。
【0048】
１つ目は、他者については特に大きな生体反応の変化が起きていないが、解析対象者について比較的大きな生体反応の変化が起きた場合である。２つ目は、解析対象者については特に大きな生体反応の変化が起きていないが、他者について比較的大きな生体反応の変化が起きた場合である。３つ目は、解析対象者についても他者についても比較的大きな生体反応の変化が起きているが、変化の内容が解析対象者と他者とで異なる場合である。
【0049】
ここで、特異判定部１３は、解析対象者がアクションを起こしたときに解析対象者について解析された生体反応の変化が、他者について解析された生体反応の変化と比べて特異的か否かを判定するようにしてもよい。解析対象者が起こすアクションとは、例えば発言、身振り（ボディランゲージ）などである。このようにすれば、解析対象者が発言や身振りを行ったときに解析対象者自身が抱いていた感情が、その発言や身振りを受けて他者が抱いた感情と比べて特異的か否かを判定することができる。
【0050】
また、特異判定部１３は、他者の中の１人がアクションを起こしたときに解析対象者について解析された生体反応の変化が、他者について解析された生体反応の変化と比べて特異的か否かを判定するようにしてもよい。他者が起こすアクションとは、例えば発言、身振りなどである。このようにすれば、他者の１人による発言や身振りを受けて解析対象者が抱いた感情が、解析対象者以外の他者が抱いた感情と比べて特異的か否かを判定することができる。
【0051】
本実施形態において、特異判定部１３は、生体反応解析部１２により複数の参加者のそれぞれについて算出された生体反応指標値に基づいて、解析対象者について解析された生体反応の変化が他者と比べて特異的か否かを判定する。
【0052】
例えば、特異判定部１３は、複数人のそれぞれについて、生体反応解析部１２により動画像の所定時間区間ごとに算出された複数の生体反応指標値の分散を算出する。そして、解析対象者について算出された複数の生体反応指標値の分散と、他者について算出された複数の生体反応指標値の分散との対比により、解析対象者について解析された生体反応の変化が他者と比べて特異的か否かを判定する。
【0053】
別の方法として、特異判定部１３は、生体反応解析部１２により解析対象者以外の他者について算出された生体反応指標値の平均値を算出し、解析対象者について算出された生体反応指標値と平均値との対比により、解析対象者について解析された生体反応の変化が他者と比べて特異的か否かを判定するようにしてもよい。例えば、解析対象者について算出された生体反応指標値と平均値との差分が所定の閾値以上の場合に、解析対象者に関する生体反応の変化が他者と比べて特異的であると判定するようにすることが可能である。
【0054】
関連事象特定部１４は、特異判定部１３により特異的であると判定された生体反応の変化が起きたときに解析対象者、他者および環境の少なくとも１つに関して発生している事象を特定する。例えば、関連事象特定部１４は、解析対象者について特異的な生体反応の変化が起きたときにおける解析対象者自身の言動を動画像から特定する。また、関連事象特定部１４は、解析対象者について特異的な生体反応の変化が起きたときにおける他者の言動を動画像から特定する。また、関連事象特定部１４は、解析対象者について特異的な生体反応の変化が起きたときにおける環境を動画像から特定する。環境は、例えば画面に表示中の共有資料、解析対象者の背景に写っているものなどである。
【0055】
解析結果通知部１６は、特異判定部１３により特異的であると判定された生体反応の変化および関連事象特定部１４により特定された事象の少なくとも一方を、解析対象者の指定者（解析対象者またはオンラインセッションの主催者）に通知する。
【0056】
例えば、解析結果通知部１６は、解析対象者について他者とは異なる特異的な生体反応の変化が起きたとき（上述した３パターンの何れか。以下同様）に発生している事象として解析対象者自身の言動を解析対象者自身に通知する。これにより、解析対象者は、自分がある言動を行ったときに他者とは違う感情を持っていることを把握することができる。このとき、解析対象者について特定された特異的な生体反応の変化も併せて解析対象者に通知するようにしてもよい。さらに、対比される他者の生体反応の変化を更に解析対象者に通知するようにしてもよい。
【0057】
例えば、解析対象者が普段どおりの感情で特に意識せずに行った言動、または、解析対象者がある感情を伴って特に意識して行った言動に対して他者が受けた感情と、言動の際に解析対象者自身が抱いていた感情とが相違している場合に、そのときの解析対象者自身の言動が解析対象者に通知される。これにより、自分の意識に反して他者の受けが良い言動や他者の受けが良くない言動などを発見することも可能である。
【0058】
また、解析結果通知部１６は、解析対象者について他者とは異なる特異的な生体反応の変化が起きたときに発生している事象を、特異的な生体反応の変化と共にオンラインセッションの主催者に通知する。これにより、オンラインセッションの主催者は、指定した解析対象者に特有の現象として、どのような事象がどのような感情の変化に影響を与えているのかを知ることができる。そして、その把握した内容に応じて適切な処置を解析対象者に対して行うことが可能となる。
【0059】
以上詳しく説明したように、本実施形態では、オンラインセッション中に複数人の参加者について得られる動画像に基づいて、複数人の参加者のそれぞれについて、感情の変化に起因して起こる生体反応の変化を解析し、複数人の中から指定された解析対象者について解析された生体反応の変化が、解析対象者以外の他者について解析された生体反応の変化と比べて特異的か否かを判定するようにしている。
【0060】
このように構成した本実施形態によれば、複数人の参加者でオンラインセッションが行われる環境において、解析対象者について他者とは異なる特異的な感情が起きると、当該解析対象者について解析される生体反応の変化が他者とは異なる特異的なものとなり、そのことが感情解析装置１００によって解析されるので、解析対象者について他者とは異なる特異的な感情が起きているか否かを把握することができる。
【0061】
なお、以上説明した生体反応解析部１２、特異判定部１３、関連事象特定部１４および解析結果通知部１６の処理は、動画像取得部１１が複数のユーザの動画像を取得したときにリアルタイムに行うようにしてもよいし、動画像記憶部１０１に記憶された動画像を用いて事後的に行うようにしてもよい。
【0062】
次に、本実施形態の変形例について説明する。図３は、変形例に係る感情解析装置１００Ａの機能構成例を示すブロック図である。この図３において、図２に示した符号と同一の符号を付したものは同一の機能を有するものであるので、ここでは重複する説明を省略する。図３に示すように、変形例に係る感情解析装置１００Ａは、機能構成として、クラスタリング部１５を更に備えている。また、解析結果通知部１６に代えて解析結果通知部１６Ａを備えている。
【0063】
クラスタリング部１５は、特異判定部１３により特異的であると判定された生体反応の変化（例えば、表情、目線、脈拍、顔の動き、発言内容、声質のうち１つまたは複数の組み合わせ）と、当該特異的な生体反応の変化が起きたときに発生している事象（関連事象特定部１４により特定された事象）との相関を解析し、その相関の解析結果に基づいて解析対象者または事象をクラスタリングする。
【0064】
例えば、クラスタリング部１５は、特異判定部１３により特異的であると判定された生体反応の変化を、ポジティブな感情変化であるかネガティブな感情変化であるかという形で分類する。表情、発言内容、声質に関しては、上述した方法によってポジティブ／ネガティブの判定を行うことが可能である。目線および顔の動きに関しては、例えば、目線、顔の動きの変化が大きいほど（例えば、変化量が所定の閾値以上の場合に）ネガティブな変化と定義する。脈拍に関しては、脈拍の変化が大きいほど（例えば、変化量またはその人の平均脈拍数からの乖離が所定の閾値以上の場合に）ネガティブな変化と定義する。
【0065】
また、クラスタリング部１５は、特異的な生体反応の変化が起きたときに発生している事象についても同様に、発言内容がポジティブ／ネガティブの何れであるか、身振り（ボディランゲージ）がポジティブ／ネガティブの何れであるか、環境がポジティブ／ネガティブの何れであるかという形で分類する。発言内容に関しては、上述した方法によってポジティブ／ネガティブの判定を行うことが可能である。ボディランゲージに関しては、検出されたボディランゲージを辞書（各ボディランゲージがポジティブかネガティブかが定義されたデータベース等）と突合することによってポジティブ／ネガティブの判定を行うことが可能である。環境（画面に表示中の共有資料、解析対象者の背景に写っているものなど）に関しては、検出された環境の種類を辞書（各環境がポジティブかネガティブかが定義されたデータベース等）と突合することによってポジティブ／ネガティブの判定を行うことが可能である。
【0066】
そして、クラスタリング部１５は、特異的であると判定された生体反応の変化に関して特定された分類（ポジティブ／ネガティブの何れか）と、特異的な生体反応の変化が起きたときに発生している事象に関して特定された分類（ポジティブ／ネガティブの何れか）との組み合わせを相関として特定し、相関が同じ複数の解析対象者を同じクラスタに分類する一方、相関が異なる複数の解析対象者を異なるクラスタに分類する。同様に、クラスタリング部１５は、相関が同じ複数の事象を同じクラスタに分類する一方、相関が異なる複数の事象を異なるクラスタに分類する。
【0067】
例えば、特異的な生体反応の変化がネガティブな感情変化に相当するものであり、当該特異的な生体反応の変化が起きたときに発生している事象もネガティブな事象であるという相関がある場合には、そのような相関が特定された複数の解析対象者または事象を第１クラスタに分類する。
【0068】
また、特異的な生体反応の変化がポジティブな感情変化に相当するものであり、当該特異的な生体反応の変化が起きたときに発生している事象もポジティブな事象であるという相関がある場合には、そのような相関が特定された複数の解析対象者または事象を第２クラスタに分類する。
【0069】
また、特異的な生体反応の変化がネガティブな感情変化に相当するものであり、当該特異的な生体反応の変化が起きたときに発生している事象がポジティブな事象であるという相関がある場合には、そのような相関が特定された複数の解析対象者または事象を第３クラスタに分類する。
【0070】
また、特異的な生体反応の変化がポジティブな感情変化に相当するものであり、当該特異的な生体反応の変化が起きたときに発生している事象がネガティブな事象であるという相関がある場合には、そのような相関が特定された複数の解析対象者または事象を第４クラスタに分類する。
【0071】
以上のように複数の解析対象者をクラスタリングすることにより、ネガティブな事象が発生したときにネガティブな感情を抱く傾向のある解析対象者、ポジティブな事象が発生したときにポジティブな感情を抱く傾向のある解析対象者、ネガティブな事象が発生したときにポジティブな感情を抱く傾向のある解析対象者、ポジティブな事象が発生したときにネガティブな感情を抱く傾向のある解析対象者という形で複数の解析対象者をクラスタリングすることが可能である。
【0072】
同様に、解析対象者がネガティブな感情を抱く傾向のあるネガティブな事象、解析対象者がポジティブな感情を抱く傾向のあるポジティブな事象、解析対象者がネガティブな感情を抱く傾向のあるポジティブな事象、解析対象者がポジティブな感情を抱く傾向のあるネガティブな事象という形で複数の事象をクラスタリングすることも可能である。
【0073】
解析結果通知部１６Ａは、特異判定部１３により特異的であると判定された生体反応の変化、関連事象特定部１４により特定された事象、およびクラスタリング部１５によりクラスタリングされた分類の少なくとも１つを、解析対象者の指定者（解析対象者またはオンラインセッションの主催者）に通知する。
【0074】
例えば、解析結果通知部１６Ａは、解析対象者について他者とは異なる特異的な生体反応の変化が起きたときに発生している事象または解析対象者のクラスタリング結果をオンラインセッションの主催者に通知する。これにより、オンラインセッションの主催者は、指定した解析対象者がどの分類にクラスタリングされたかによって、解析対象者に特有の行動の傾向を把握したり、今後起こり得る行動や状態などを予測したりすることができる。そして、それに対して適切な処置を解析対象者に対して行うことが可能となる。
【0075】
なお、ここでは、特異的であると判定された生体反応の変化をポジティブ／ネガティブの何れかに分類するとともに、特異的な生体反応の変化が起きたときに発生している事象をポジティブ／ネガティブの何れかに分類する例について説明したが、これに限定されない。例えば、ポジティブ／ネガティブという観点に加えて、エンゲージメントの度合いが高い／低いという観点から生体反応の変化および事象を分類するようにしてもよい。この場合、ポジティブ／ネガティブの何れかに特定された分類と、エンゲージメントの度合いが高い／低いの何れかに特定された分類との組み合わせによって相関を特定する。エンゲージメントの度合いは、例えば、目線または顔の動きの変化が大きいほどエンゲージメントの度合いが低いと定義することが可能である。
【0076】
なお、上記実施形態では、生体反応の変化を所定の基準に従って数値化することによって生体反応指標値を算出し、複数人のそれぞれについて算出された生体反応指標値に基づいて、解析対象者について解析された生体反応の変化が他者と比べて特異的か否かを判定する例について説明したが、この例に限定されない。例えば、以下のようにしてもよい。
【0077】
すなわち、生体反応解析部１２は、複数人のそれぞれについて目線の動きを解析して目線の方向を示すヒートマップを生成する。特異判定部１３は、生体反応解析部１２により解析対象者について生成されたヒートマップと他者について生成されたヒートマップとの対比により、解析対象者について解析された生体反応の変化が、他者について解析された生体反応の変化と比べて特異的か否かを判定する。
【0078】
例えば、生体反応解析部１２は、ヒートマップを画像として扱い、画像のヒストグラムを生成して対比することにより、解析対象者について解析された生体反応の変化が、他者について解析された生体反応の変化と比べて特異的か否かを判定する。具体的には、解析対象者のヒートマップに関するヒストグラムと、他者のヒートマップに関するヒストグラムとの類似度を算出し、類似度が所定値未満の場合に、解析対象者について解析された生体反応の変化が特異的であると判定する。
【0079】
また、上記実施形態では、感情解析装置１００（１００Ａ）とセッション管理サーバ３００とが別に構成されている例について説明したが、本発明はこれに限定されない。例えば、感情解析装置１００（１００Ａ）がセッション管理サーバ３００の機能を備える構成、またはセッション管理サーバ３００が感情解析装置１００（１００Ａ）の機能を備える構成としてもよい。
【0080】
その他、上記実施形態は、何れも本発明を実施するにあたっての具体化の一例を示したものに過ぎず、これによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその要旨、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。
【符号の説明】
【0081】
１０ 対象者指定部
１１ 動画像取得部
１２ 生体反応解析部
１３ 特異判定部
１４ 関連事象特定部
１５ クラスタリング部
１６，１６Ａ 解析結果通知部
１００，１００Ａ 感情解析装置
１１ 動画像取得部
１２ 生体反応解析部
１３ 特異判定部
１４ 関連事象特定部
１５ クラスタリング部
１６，１６Ａ 解析結果通知部
１００，１００Ａ 感情解析装置
【図1】
【図2】
【図3】
