(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-12-20
(45)【発行日】2022-12-28
(54)【発明の名称】反応解析システムおよび反応解析装置
(51)【国際特許分類】
G06Q 10/10 20120101AFI20221221BHJP
【ＦＩ】
G06Q10/10
【請求項の数】
10
(21)【出願番号】P 2022539466
(86)(22)【出願日】2021-07-27
(86)【国際出願番号】 JP2021027637
(87)【国際公開番号】W WO2022025024
(87)【国際公開日】2022-02-03
【審査請求日】2022-08-18
(31)【優先権主張番号】PCT/JP2020/029466
(32)【優先日】2020-07-31
(33)【優先権主張国・地域又は機関】JP
【早期審査対象出願】
(73)【特許権者】
【識別番号】520408744
【氏名又は名称】株式会社Ｉ’ｍｂｅｓｉｄｅｙｏｕ
(74)【代理人】
【識別番号】110002790
【氏名又は名称】Ｏｎｅ ｉｐ弁理士法人
(72)【発明者】
【氏名】神谷 渉三
【審査官】上田 威
(56)【参考文献】
【文献】特開２００５－２６９２０７（ＪＰ，Ａ）
【文献】特開２００７－２１３３６４（ＪＰ，Ａ）
【文献】米国特許出願公開第２０２０／０１６９６９３（ＵＳ，Ａ１）
【文献】特開２０１１－０６５４６７（ＪＰ，Ａ）
【文献】特開２００８－２９４７２４（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｑ １０／００ － ９９／００
(57)【特許請求の範囲】
【請求項1】
複数人の参加者でオンラインセッションが行われる環境において、上記参加者の生体反応を解析する反応解析システムであって、上記オンラインセッション中に上記参加者のユーザ端末から送信される動画像を取得する動画像取得部と、
上記動画像取得部により取得された動画像に基づいて、少なくとも上記オンラインセッション中に上記ユーザ端末の画面に顔画像が表示されていない参加者である非表示参加者について、生体反応の変化を解析する生体反応解析部と、
上記生体反応解析部により少なくとも上記非表示参加者について解析された上記生体反応の変化を示す情報を提示する反応情報提示部とを備え、
上記生体反応解析部は、上記動画像取得部により取得された動画像における音声に基づいて、上記オンラインセッション中に上記画面に表示されている共有資料のどの部分が表示されているときに参加者が声を出したかを解析し、
上記反応情報提示部は、上記オンラインセッション中に上記共有資料のどの部分が表示されているときに参加者が声を出したかという解析結果をもとに、ヒートマップを上記共有資料に投影して表示させる
ことを特徴とする反応解析システム。
【請求項2】
上記生体反応解析部は、上記動画像取得部により取得された動画像に基づいて、上記オンラインセッション中に上記ユーザ端末の画面に顔画像が表示されている参加者である表示参加者についても、上記生体反応の変化を解析し、上記反応情報提示部は、上記生体反応解析部により上記非表示参加者および上記表示参加者について解析された上記生体反応の変化を示す情報を提示する
ことを特徴とする請求項１に記載の反応解析システム。
【請求項3】
上記生体反応解析部は、上記動画像取得部により取得された動画像にける顔画像に基づいて、目線の動きおよび顔の動きの少なくとも一方に関する生体反応の変化を解析することにより、参加者が上記画面に表示されている共有資料のどこを見ているかを解析し、上記反応情報提示部は、上記参加者が上記画面に表示されている共有資料のどこを見ているかという解析結果をもとに、ヒートマップを上記共有資料に投影して表示させる
ことを特徴とする請求項１または２に記載の反応解析システム。
【請求項4】
上記反応情報提示部は、上記生体反応の変化を示す情報を上記オンラインセッションの主催者に提示することを特徴とする請求項１～３の何れか１項に記載の反応解析システム。
【請求項5】
上記生体反応の変化を示す情報を上記主催者に提示するか否かを、上記主催者または上記参加者が指定可能としたことを特徴とする請求項４に記載の反応解析システム。
【請求項6】
上記生体反応解析部は、上記生体反応の変化の解析を通じて、上記参加者の感情の変化を解析し、上記反応情報提示部は、上記生体反応の変化を示す情報に代えてまたは加えて、上記感情の変化を示す情報を提示する
ことを特徴とする請求項１～５の何れか１項に記載の反応解析システム。
【請求項7】
複数人の参加者で行われるオンラインセッション中に上記参加者について得られる動画像に基づいて、少なくとも上記オンラインセッション中にユーザ端末の画面に顔画像が表示されていない参加者である非表示参加者について、生体反応の変化を解析する生体反応解析部と、上記生体反応解析部により少なくとも上記非表示参加者について解析された上記生体反応の変化を示す情報を提示する反応情報提示部とを備え、
上記生体反応解析部は、上記動画像における音声に基づいて、上記オンラインセッション中に上記画面に表示されている共有資料のどの部分が表示されているときに参加者が声を出したかを解析し、
上記反応情報提示部は、上記オンラインセッション中に上記画面に表示されている共有資料のどの部分が表示されているときに参加者が声を出したかという解析結果をもとに、ヒートマップを上記共有資料に投影して表示させる
ことを特徴とする反応解析装置。
【請求項8】
上記生体反応解析部は、上記動画像に基づいて、上記オンラインセッション中に上記ユーザ端末の画面に顔画像が表示されている参加者である表示参加者についても、上記生体反応の変化を解析し、上記反応情報提示部は、上記生体反応解析部により上記非表示参加者および上記表示参加者について解析された上記生体反応の変化を示す情報を提示する
ことを特徴とする請求項７に記載の反応解析装置。
【請求項9】
上記生体反応解析部は、上記動画像にける顔画像に基づいて、目線の動きおよび顔の動きの少なくとも一方に関する生体反応の変化を解析することにより、参加者が上記画面に表示されている共有資料のどこを見ているかを解析し、上記反応情報提示部は、上記参加者が上記画面に表示されている共有資料のどこを見ているかという解析結果をもとに、ヒートマップを上記共有資料に投影して表示させる
ことを特徴とする請求項７または８に記載の反応解析装置。
【請求項10】
上記生体反応解析部は、上記生体反応の変化の解析を通じて、上記参加者の感情の変化を解析し、上記反応情報提示部は、上記生体反応の変化を示す情報に代えてまたは加えて、上記感情の変化を示す情報を提示する
ことを特徴とする請求項７～９の何れか１項に記載の反応解析装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、反応解析システムおよび反応解析装置に関し、特にオンラインセッションに参加しているユーザの生体反応を解析するシステムおよび装置に関するものである。
【背景技術】
【0002】
従来、複数人が参加するオンライン会議などにおいて、カメラで撮影した参加者の画像を画面に表示させることによって参加者の様子を把握できるようにしたシステムが知られている。また、オンライン会議などにおいて共有資料をメイン画面に表示している際に、参加者の顔画像を小画面に表示させることによって参加者の様子を把握できるようにしたシステムも知られている（例えば、特許文献１参照）。
【0003】
一方、テレビ電話において、使用者が自分の顔をそのまま相手の画面に表示させることを嫌う傾向があることに鑑みて、会話中の撮影画像から表情の変化を解析し、その解析結果をデフォルトの表情画像に反映させて相手側に送信することが特許文献２に開示されている。特許文献２には、上述の処理を常に行う実施形態の他、通話中にボタン操作を行った場合に上述の処理を行う一方で、ボタン操作を行わない場合はデフォルトの表情画像を相手側に送信する実施形態が開示されている。
【0004】
なお、カメラで撮影した人物の顔画像をもとに、その人物の感情を解析する技術も知られている（例えば、特許文献３，４参照）。特許文献３には、複数人の対象者の顔面から取得した表情の情報から感情の表出度合を解析することが開示されている。また、特許文献４には、テレビ会議システムにおいて、話者の映像に含まれる顔画像から視線位置を検出し、話者の心情を推定して、発言中の話者に提示することが開示されている。
【0005】
【文献】特開２０２０－４８１４９号公報
【文献】特開２００７－２１３３６４号公報
【文献】特開２０１９－５８６２５号公報
【文献】特開２００５－２６９２０７号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
最近のウェブ会議システムは、カメラのオン／オフ機能を有し、参加者の撮影画像を画面に表示させるか否かを切り替えることができるようになっているものが多い。カメラがオフに設定されていると、参加者の撮影画像が画面に表示されないため、カメラをオフに設定した参加者の様子を他の参加者が把握することはできない。これに対し、上記特許文献２に記載の技術を用いれば、撮影画像から解析される表情の変化を反映させて生成した表情画像を相手側に送信することにより、相手側は送信元の話者の表情の変化を把握することが可能である。
【0007】
しかしながら、特許文献２に記載のシステムでは、デフォルトの表情画像（初期設定画像）を相手側に送信するか、これに話者の表情の変化を反映させて生成した表情画像（編集画像）を相手側に送信するかの何れかであり、話者の撮影画像が相手側に送信されることはない。そのため、撮影画像によって相手側の様子を把握することが一切できないという問題があった。
【0008】
本発明は、このような問題を解決するためになされたものであり、複数人でオンラインセッションが行われる環境において、参加者による撮影画像の表示／非表示の切り替えに応じて、それぞれに適した態様で参加者の様子を把握できるようにすることを目的とする。
【課題を解決するための手段】
【0009】
上記した課題を解決するために、本発明の反応解析システムでは、複数人の参加者でオンラインセッションが行われる環境において、オンラインセッション中に参加者のユーザ端末から得られる動画像をもとに、少なくともオンラインセッション中にユーザ端末の画面に顔画像が表示されていない参加者である非表示参加者について、生体反応を解析し、その解析結果を提示するようにしている。
【発明の効果】
【0010】
上記のように構成した本発明によれば、複数人でオンラインセッションが行われる環境において、顔画像が画面に表示されるように設定されている参加者については少なくとも顔画像が提示され、顔画像が画面に表示されないように設定されている参加者については少なくとも生体反応の変化の解析結果が提示されるので、参加者による撮影画像の表示／非表示の切り替えに応じて、それぞれに適した態様で参加者の様子を把握することができる。
【図面の簡単な説明】
【0011】
【図1】本実施形態による反応解析システムの全体構成例を示すブロック図である。
【図2】本実施形態による反応解析装置の機能構成例を示すブロック図である。
【図3】ユーザ端末に表示される感情の変化を示す情報の一例を示す図である。
【発明を実施するための形態】
【0012】
以下、本発明の一実施形態を図面に基づいて説明する。図１は、本実施形態による反応解析システムの全体構成例を示す図である。図１に示すように、本実施形態の反応解析システムは、反応解析装置１００、複数のユーザ端末２００-1，２００-2，・・・（以下、特に区別しないときは単にユーザ端末２００と記す）およびセッション管理サーバ３００を備えて構成される。これらの反応解析装置１００、ユーザ端末２００およびセッション管理サーバ３００は、インターネットや携帯電話網などの通信ネットワーク５００を介して接続される。
【0013】
本実施形態の反応解析システムは、複数人の参加者でオンラインセッションが行われる環境において、少なくともオンラインセッション中にユーザ端末２００の画面に顔画像が表示されていない参加者（以下、非表示参加者という）について、ユーザ端末２００から得られる動画像をもとに生体反応を解析し、その解析結果を提示するシステムである。なお、生体反応の解析を通じて、参加者の感情を解析してもよい。
【0014】
オンラインセッションは、例えばオンライン会議、オンライン授業、オンラインチャットなどであり、複数の場所に設置された複数のユーザ端末２００を通信ネットワーク５００を介して反応解析装置１００およびセッション管理サーバ３００に接続し、当該反応解析装置１００およびセッション管理サーバ３００を通じて複数のユーザ端末２００間で動画像をやり取りできるようにしたものである。複数のユーザ端末２００には、オンラインセッションで動画像をやり取りするために必要なアプリケーションプログラム（以下、セッションアプリという）がインストールされている。
【0015】
オンラインセッションで扱う動画像には、ユーザ端末２００を使用するユーザの顔画像（実際には、顔以外の身体の部位や背景の画像も含まれる）や音声が含まれる。ユーザの顔画像と音声は、ユーザ端末２００に備えられた、またはユーザ端末２００に接続されたカメラおよびマイクにより取得され、セッション管理サーバ３００に送信される。そして、セッション管理サーバ３００に送信された各ユーザの顔画像と音声は反応解析装置１００によって取得され、反応解析装置１００から各ユーザ端末２００のセッションアプリに送信される。なお、ユーザ端末２００から送信された動画像を反応解析装置１００にて取得し、これを反応解析装置１００からセッション管理サーバ３００に転送するようにしてもよい。あるいは、ユーザ端末２００から動画像を反応解析装置１００およびセッション管理サーバ３００の両方に送信するようにしてもよい。
【0016】
また、動画像には、複数のユーザが共有して閲覧する資料などの画像も含まれる。ユーザが閲覧する資料画像は、何れかのユーザ端末２００からセッション管理サーバ３００に送信される。そして、セッション管理サーバ３００に送信された資料画像は反応解析装置１００によって取得され、反応解析装置１００から各ユーザ端末２００のセッションアプリに送信される。
【0017】
以上の動作により、複数のユーザ端末２００のそれぞれにおいて、複数のユーザの顔画像または資料画像がディスプレイに表示され、複数のユーザの音声がスピーカから出力される。ここで、ユーザ端末２００にインストールされているセッションアプリの機能により、ディスプレイの画面上に顔画像と資料画像とを切り替えて何れか一方のみを表示させたり、表示領域を分けて顔画像と資料画像とを同時に表示させたりすることが可能である。また、複数人のユーザのうち１人の画像を全画面表示させたり、一部または全部のユーザの画像を小画面に分割して表示させたりすることが可能である。
【0018】
また、ユーザ端末２００にインストールされているセッションアプリの機能により、カメラのオン／オフを切り替えたり、マイクのオン／オフを切り替えたりすることも可能である。例えば、ユーザ端末２００-1においてカメラをオフにした場合、ユーザ端末２００-1のカメラにより撮影された顔画像はセッション管理サーバ３００および反応解析装置１００に送信されるが、反応解析装置１００から各ユーザ端末２００に送信されない。同様に、ユーザ端末２００-1においてマイクをオフにした場合、ユーザ端末２００-1のマイクにより集音された音声はセッション管理サーバ３００および反応解析装置１００に送信されるが、反応解析装置１００から各ユーザ端末２００に送信されない。
【0019】
本実施形態において、複数のユーザ端末２００-1，２００-2，・・・は、オンラインセッションの主催者（主導者、進行者または管理者を含む）が使用する端末と、オンラインセッションに参加する参加者が使用する端末とを含む。オンラインセッションの主催者は、例えばオンライン授業の講師、オンライン会議の議長やファシリテータ、コーチングを目的としたセッションのコーチなどである。オンラインセッションの主催者は、オンラインセッションに参加する複数の参加者の中の一人であってもよいし、オンラインセッションに参加しない別人であってもよい。なお、以下の説明において、主催者と参加者とを特に区別しないときは「ユーザ」と記す。
【0020】
本実施形態において、反応解析装置１００は、複数のユーザ端末２００から送信された動画像を取得し、この動画像に基づいてオンラインセッションの参加者の生体反応を解析する。オンラインセッションの主催者が参加者にもなる場合、主催者の生体反応を解析することは必須ではない。
【0021】
図２は、本実施形態による反応解析装置１００の機能構成例を示すブロック図である。図２に示すように、本実施形態の反応解析装置１００は、機能構成として、動画像取得部１１、生体反応解析部１２および反応情報提示部１３を備えている。また、本実施形態の反応解析装置１００は、記憶媒体として、動画像記憶部１０１を備えている。
【0022】
上記各機能ブロック１０～１３は、ハードウェア、ＤＳＰ（Digital Signal Processor）、ソフトウェアの何れによっても構成することが可能である。例えばソフトウェアによって構成する場合、上記各機能ブロック１０～１３は、実際にはコンピュータのＣＰＵ、ＲＡＭ、ＲＯＭなどを備えて構成され、ＲＡＭやＲＯＭ、ハードディスクまたは半導体メモリ等の記録媒体に記憶されたプログラムが動作することによって実現される。
【0023】
動画像取得部１１は、オンラインセッション中に各ユーザ端末２００から送信される動画像（顔画像、音声、資料画像）をセッション管理サーバ３００から取得する。動画像取得部１１は、各ユーザ端末２００からセッション管理サーバ３００を介して取得した動画像を、各ユーザを識別可能な情報（例えば、ユーザＩＤ）に関連付けて動画像記憶部１０１に記憶させる。
【0024】
セッション管理サーバ３００から取得する顔画像は、各ユーザ端末２００の画面上に表示されるように設定されているものか否か（カメラがオンに設定されているかオフに設定されているか）は問わない。すなわち、動画像取得部１１は、各ユーザ端末２００のディスプレイに表示中の顔画像および非表示中の顔画像を含めて、顔画像をセッション管理サーバ３００から取得する。また、セッション管理サーバ３００から取得する音声は、各ユーザ端末２００のスピーカから出力されるように設定されているものか否か（マイクがオンに設定されているかオフに設定されているか）は問わない。すなわち、動画像取得部１１は、各ユーザ端末２００のスピーカから出力中の音声および非出力中の音声を含めて、音声をセッション管理サーバ３００から取得する。
【0025】
生体反応解析部１２は、動画像取得部１１により取得され動画像記憶部１０１に記憶された動画像に基づいて、オンラインセッション中にユーザ端末２００の画面に顔画像が表示されていない非表示参加者（例えば、カメラをオフに設定している参加者）について、感情の変化に起因して起こる生体反応の変化を解析する。本実施形態において生体反応解析部１２は、動画像取得部１１により取得された動画像を顔画像のセット（フレーム画像の集まり）と音声とに分離し、それぞれから生体反応の変化を解析する。
【0026】
例えば、生体反応解析部１２は、動画像取得部１１により取得された動画像から分離したフレーム画像を用いてユーザの顔画像を解析することにより、表情、目線、脈拍、顔の動きの少なくとも１つに関する生体反応の変化を解析する。また、生体反応解析部１２は、動画像取得部１１により取得された動画像から分離した音声を解析することにより、ユーザの発言内容、声質の少なくとも１つに関する生体反応の変化を解析する。
【0027】
人は感情が変化すると、それが表情、目線、脈拍、顔の動き、発言内容、声質などの生体反応の変化となって現れる。本実施形態では、ユーザの感情の変化に起因して起こる生体反応の変化を解析する。また、生体反応の変化を解析することを通じて、ユーザの感情の変化を解析するようにしてもよい。
【0028】
表情の変化の解析は、例えば以下のようにして行う。すなわち、生体反応解析部１２は、フレーム画像ごとに、フレーム画像の中から顔の領域を特定し、事前に機械学習させた画像解析モデルに従って、顔の表情がどの表情要素に該当するかを解析する。そして、その解析結果に基づいて、連続するフレーム画像間で表情変化が起きているか否か、表情変化が起きている場合はそれがポジティブな表情変化かネガティブな表情変化か、およびどの程度の大きさの表情変化が起きているかを解析する。
【0029】
顔の表情要素は、例えば、中立（neutral）／落ち着き（calm）／喜び（happy）／驚き（surprised）／悲しみ（sad）／怒り（angry）／恐れ（fearful）／嫌悪感（disgust）などである。このうち、喜びおよび驚きはポジティブな表情要素であり、悲しみ、怒り、恐れ、嫌悪感はネガティブな表情要素である。
【0030】
生体反応解析部１２は、各フレーム画像における顔の表情について、複数の表情要素ごとに合計１００となるスコアを算出する。例えば、中立＝１０、落ち着き＝１０、喜び＝３０、驚き＝２０、悲しみ＝１０、怒り＝１０、恐れ＝５、嫌悪感＝５といったように、各表情要素に該当する可能性の高さに応じたスコアを表情要素ごとに算出する。そして、例えばスコアが最大の表情要素を、そのフレーム画像における顔の表情として決定する。以下では、フレーム画像ごとに決定される顔の表情のスコア（複数の表情要素について算出されたスコアのうち最大のスコア）を「表情スコア」という。
【0031】
生体反応解析部１２は、このようにしてフレーム画像ごとに決定される表情要素およびフレーム画像ごとに算出される表情スコアの少なくとも一方が前フレームから変化したか否かによって、連続するフレーム画像間で表情変化が起きているか否かを判定する。ここで、生体反応解析部１２は、最大スコアの表情要素に変化がない場合に、前フレームからのスコア変化量が所定の閾値以上の場合に表情変化が起きていると判定するようにしてもよい。表情変化の大きさは、表情スコアの前フレームからの変化量によって判定することが可能である。
【0032】
また、生体反応解析部１２は、ポジティブな表情の表情スコアが前フレームから増加した場合、および、前フレームのネガティブな表情から現フレームのポジティブな表情に変化した場合に、ポジティブな表情変化が起きていると判定する。一方、生体反応解析部１２は、ネガティブな表情の表情スコアが前フレームから増加した場合、および、前フレームのポジティブな表情から現フレームのネガティブな表情に変化した場合に、ネガティブな表情変化が起きていると判定する。
【0033】
ここでは、連続するフレーム画像間での表情変化を解析する例について説明したが、所定の時間区間ごと（例えば、５００ミリ秒ごと）に表情変化を解析するようにしてもよい。これは、以下に述べる目線の変化の解析、脈拍の変化の解析、顔の動きの変化の解析についても同様である。
【0034】
目線の変化の解析は、例えば以下のようにして行う。すなわち、生体反応解析部１２は、フレーム画像ごとに、フレーム画像の中から目の領域を特定し、両目の向き（目線）を解析する。例えば、表示中の話者の顔を見ているか、表示中の共有資料を見ているか、表示中の共有資料のどこを見ているか、画面の外を見ているかなどを解析する。また、目線の動きが大きいか小さいか、動きの頻度が多いか少ないかなどを解析するようにしてもよい。目線の変化はユーザの集中度にも関連する。
【0035】
脈拍の変化の解析は、例えば以下のようにして行う。すなわち、フレーム画像ごとに、フレーム画像の中から顔の領域を特定する。そして、顔の色情報（ＲＧＢのＧ）の数値を捉える学習済みの画像解析モデルを用いて、顔表面のＧ色の変化を解析する。その結果を時間軸に合わせて並べることによって色情報の変化を表した波形を形成し、この波形から脈拍を特定する。人は緊張すると脈拍が速くなり、気持ちが落ち着くと脈拍が遅くなる。
【0036】
顔の動きの変化の解析は、例えば以下のようにして行う。すなわち、生体反応解析部１２は、フレーム画像ごとに、フレーム画像の中から顔の領域を特定し、顔の向きを解析することにより、ユーザがどこを見ているかを解析する。例えば、表示中の話者の顔を見ているか、表示中の共有資料を見ているか、表示中の共有資料のどこを見ているか、画面の外を見ているかなどを解析する。また、顔の動きが大きいか小さいか、動きの頻度が多いか少ないかなどを解析するようにしてもよい。顔の動きと目線の動きとを合わせて解析するようにしてもよい。例えば、表示中の話者の顔をまっすぐ見ているか、上目遣いまたは下目使いに見ているか、斜めから見ているかなどを解析するようにしてもよい。
【0037】
発言内容の解析は、例えば以下のようにして行う。すなわち、生体反応解析部１２は、指定した時間（例えば、３０～１５０秒程度の時間）の音声について公知の音声認識処理を行うことによって音声を文字列に変換し、当該文字列を形態素解析することにより、助詞、冠詞などの会話を表す上で不要なワードを取り除く。そして、残ったワードをＴＦ－ＩＤＦ（Term Frequency - Inverse Document Frequency）法などによりベクトル化し、ベクトルの特徴に基づいて、ポジティブな感情変化が起きているか、ネガティブな感情変化が起きているか、およびどの程度の大きさの感情変化が起きているかを解析する。例えば、発言内容に応じて算出されるベクトルの特徴に基づいて、ベクトルの特徴量と発言内容の種類とを関連付ける情報を格納したデータベース等を利用して、どのような種類の発言内容であるかを推定する。
【0038】
別の例として、以下のようにしてもよい。すなわち、生体反応解析部１２は、指定した時間内の発言内容から抽出したワードを辞書（各ワードがポジティブかネガティブかが定義されたもの）と突き合わせ、ポジティブなワードの出現回数とネガティブなワードの出現回数とをカウントすることにより、ポジティブな感情変化が起きているか、ネガティブな感情変化が起きているか、およびどの程度の大きさの感情変化が起きているかを解析する。
【0039】
声質の解析は、例えば以下のようにして行う。すなわち、生体反応解析部１２は、指定した時間（例えば、３０～１５０秒程度の時間）の音声について公知の音声解析処理を行うことによって音声の音響的特徴（例えば、ＭＦＣＣ（メル周波数ケプストラム係数））を特定する。そして、その音響的特徴を表す値に基づいて、ポジティブな声質変化が起きているか、ネガティブな声質変化が起きているか、およびどの程度の大きさの声質変化が起きているかを解析する。例えば、顔の表情の解析と同様に、事前に機械学習させた音声解析モデルに従って、音声が中立／落ち着き／喜び／驚き／悲しみ／怒り／恐れ／嫌悪感のどの感情要素に該当するかを解析する。そして、その解析結果に基づいて、所定の時間区間ごとに感情変化が起きているか否か、感情変化が起きている場合はそれがポジティブな感情変化かネガティブな感情変化か、およびどの程度の大きさの感情変化が起きているかを解析する。なお、音声の音響的特徴としてＭＦＣＣは一例であり、これに限定されるものではない。
【0040】
また、本実施形態では、生体反応解析部１２は、動画像取得部１１により取得された動画像にける音声に基づいて、画面に表示されていない非表示参加者が、オンラインセッション中において画面に表示されている共有資料のどの部分が表示されているときに声を出したかを解析する。例えば、生体反応解析部１２は、複数のページを有する共有資料のうち、どのページが表示されているときに非表示参加者が声を出したかを解析する。
【0041】
反応情報提示部１３は、ユーザ端末２００の画面に表示されていない非表示参加者について生体反応解析部１２により解析された生体反応の変化を示す情報を提示する。例えば、反応情報提示部１３は、生体反応の変化を示す情報をオンラインセッションの主催者に提示する。これにより、主催者が使用するユーザ端末２００の画面には、非表示参加者に関して解析された生体反応の変化を示す情報が表示される。
【0042】
なお、反応情報提示部１３は、生体反応の変化を示す情報に代えてまたは加えて、感情の変化を示す情報を提示するようにしてもよい。例えば、生体反応解析部１２により解析される感情要素（中立、落ち着き、喜び、驚き、悲しみ、怒り、恐れ、嫌悪感の何れか）を提示するようにしてもよい。あるいは、喜びおよび驚きの２つを「快」の感情と定義する一方、悲しみ、怒り、恐れおよび嫌悪感の４つを「不快」の感情と定義し、生体反応解析部１２により解析される感情要素に基づいて、「快」または「不快」の何れかの感情を示す情報を提示するようにしてもよい。
【0043】
例えば、反応情報提示部１３は、非表示参加者の識別情報（氏名、ニックネームまたはＩＤ等）が一覧表示されたダッシュボード画面を主催者のユーザ端末２００に表示させ、その中から主催者が何れかの非表示参加者を指定したときに、当該指定された非表示参加者に関する生体反応の変化を示す情報または感情の変化を示す情報を表示させるようにすることが可能である。図３は、このようにしてユーザ端末２００に表示される感情の変化を示す情報の一例を示す図である。
【0044】
図３（ａ）は、顔の表情または声質をもとに解析される複数の感情要素ごとのスコアを、フレーム画像間隔または所定の時間間隔（例えば、５００ミリ秒間隔）で時系列に表した折れ線グラフである。図３（ｂ）は、複数の感情要素ごとに、図３（ａ）のように時系列で得られる複数のスコアの平均値（オンラインセッションを通しての平均スコア）を示したものである。
【0045】
ここでは、生体反応の変化を示す情報または感情の変化を示す情報の一例として、各感情要素のスコアを表示する例を示したが、本発明はこれに限定されない。例えば、目線の変化または顔の動きをもとにオンラインセッションに対する集中度を表すスコアを算出し、そのスコアを折れ線グラフで時系列に表示したり、オンラインセッションを通しての平均スコアを表示したりするようにしてもよい。また、脈拍の変化をもとに、感情要素のうち落ち着き（calm）の程度を表すスコアを算出し、そのスコアを折れ線グラフで時系列に表示したり、オンラインセッションを通しての平均スコアを表示したりするようにしてもよい。あるいは、顔の表情、発言内容または音質をもとにポジティブ度またはネガティブ度を表すスコアを算出し、そのスコアを折れ線グラフで時系列に表示したり、オンラインセッションを通しての平均スコアを表示したりするようにしてもよい。
【0046】
また、反応情報提示部１３は、顔画像が画面に表示されるように設定されている参加者（例えば、カメラをオンに設定している参加者。以下、表示参加者という）については顔画像を主催者のユーザ端末２００に提示する一方で、顔画像が画面に表示されないように設定されている非表示参加者については生体反応の変化を示す情報を主催者のユーザ端末２００に提示するようにしてもよい。主催者のユーザ端末２００では、例えば、参加者の人数分の小画面に分割し、表示参加者用の小画面には顔画像を表示させ、非表示参加者用の小画面には生体反応の変化を示す情報を表示させるようにすることが可能である。なお、人数分の小画面は、ディスプレイに全てが一度に表示されるようにしてもよいし、ディスプレイに一部の参加者の小画面のみを表示してスクロールできるようにしてもよい。あるいは、生体反応の変化を示す情報または感情の変化を示す情報を表示させる対象の表示参加者および／または非表示参加者を主催者が指定できるようにしてもよい。
【0047】
以上詳しく説明したように、本実施形態によれば、オンラインセッションの主催者が使用するユーザ端末２００の画面において、表示参加者については顔画像が表示され、非表示参加者については生体反応の変化または感情の変化の解析結果が表示される。このため、主催者は、複数人の参加者でオンラインセッションが行われる環境において、顔画像が画面に表示されている表示参加者についてはその顔画像によって様子を把握することができる一方で、顔画像が画面に表示されていない非表示参加者については、生体反応の変化または感情の変化を示す情報によって様子を把握することができる。これにより、主催者は、参加者による顔画像の表示／非表示の切り替えに応じて、それぞれに適した態様で参加者の様子を把握することが可能である。
【0048】
以上説明した生体反応解析部１２および反応情報提示部１３の処理は、動画像取得部１１が複数の参加者の動画像を取得したときにリアルタイムに行うようにしてもよいし、動画像記憶部１０１に記憶された動画像を用いて事後的に行うようにしてもよい。
【0049】
上記実施形態において、顔画像が画面に表示されないように設定されている参加者は、ユーザ端末２００のカメラをオフに設定している参加者であると説明したが、これに限定されない。例えば、画面に共有資料のみが表示されているときは、カメラをオンに設定している参加者であっても、共有資料の表示中は顔画像が画面に表示されないように設定されている非表示参加者となる。
【0050】
また、上記実施形態では、非表示参加者についてのみ生体反応の変化を解析する例について説明したが、本発明はこれに限定されない。例えば、生体反応解析部１２は、動画像取得部１１により取得された動画像に基づいて、オンラインセッション中にユーザ端末２００の画面に顔画像が表示されている表示参加者についても、生体反応の変化を解析するようにしてもよい。
【0051】
この場合、反応情報提示部１３は、生体反応解析部２により非表示参加者および表示参加者について解析された生体反応の変化（または感情の変化）を示す情報を提示するようにしてもよい。表示参加者については、画面に表示される顔画像によって様子を把握することが可能であるが、これに加えて生体反応の変化（または感情の変化）を示す情報を提示することにより、主催者は、画像と解析結果の両面から表示参加者の様子を把握することが可能である。
【0052】
生体反応解析部１２がオンラインセッションの参加者の全員（表示参加者および非表示参加者）について生体反応の変化を解析する場合において、表示参加者について解析された生体反応の変化（または感情の変化）を示す情報を主催者に提示するか否かを、主催者または表示参加者がユーザ端末２００から指定できるようにしてもよい。同様に、非表示参加者について解析された生体反応の変化（または感情の変化）を示す情報を主催者に提示するか否かを、主催者または非表示参加者がユーザ端末２００から指定できるようにしてもよい。
【0053】
また、上記実施形態において、反応情報提示部１３は、目線の動きおよび顔の動きの少なくとも一方に関する生体反応の変化に基づいて参加者（非表示参加者のみ、または表示参加者を含む参加者の全員の何れでもよい。以下、同様）が表示中の共有資料のどこを見ていたかという解析結果をもとに、画面上の共有資料の上にヒートマップを投影して表示させるようにしてもよい。ここでいうヒートマップは、例えば、複数の参加者が多く見ている場所ほど色が濃くなるようなマップである。
【0054】
あるいは、反応情報提示部１３は、共有資料のどの部分（ページ）が表示されているときに参加者が声を出したかという音声に関する解析結果をもとに、画面上の共有資料の上にヒートマップを投影して表示させるようにしてもよい。ここでいうヒートマップは、例えば、複数のページを有する共有資料のうち、複数の参加者が多く声を出したときに表示されていたページほど色が濃くなるようなマップである。
【0055】
更に別の例として、反応情報提示部１３は、参加者が表示中の共有資料のどこを見ていたかという目線および顔の動きの少なくとも一方に関する第１の解析結果と、共有資料のどの部分が表示されているときに参加者が声を出したかという音声に関する第２の解析結果とをもとに、ヒートマップを投影して表示させるようにしてもよい。ここでいうヒートマップは、例えば、第１の解析結果を反映させたページ内の特定エリアの色と、第２の解析結果を反映させたページ全体の色とが重なったマップである。
【0056】
なお、上記実施形態は、何れも本発明を実施するにあたっての具体化の一例を示したものに過ぎず、これによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその要旨、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。
【符号の説明】
【0057】
１１ 動画像取得部
１２ 生体反応解析部
１３ 反応情報提示部
１２ 生体反応解析部
１３ 反応情報提示部
【図1】
【図2】
【図3】
