特許 7553128 感情解析システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-09-09

(45)【発行日】2024-09-18

(54)【発明の名称】感情解析システム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240910BHJP

   G06T 7/20 20170101ALI20240910BHJP

【ＦＩ】

G06T7/00 660A

G06T7/20 300B

G06T7/00 P

【請求項の数】 7

(21)【出願番号】P 2022515718

(86)(22)【出願日】2020-09-24

(86)【国際出願番号】 JP2020036151

(87)【国際公開番号】W WO2022064622

(87)【国際公開日】2022-03-31

【審査請求日】2023-08-10

(73)【特許権者】

【識別番号】520408744

【氏名又は名称】株式会社Ｉ’ｍｂｅｓｉｄｅｙｏｕ

(74)【代理人】

【識別番号】110002790

【氏名又は名称】Ｏｎｅ ｉｐ弁理士法人

(72)【発明者】

【氏名】神谷 渉三

【審査官】新井 則和

(56)【参考文献】

【文献】特開２０１９－１４８８５２（ＪＰ，Ａ）

【文献】特開２０１６－１４７００６（ＪＰ，Ａ）

【文献】特開２０１５－０７５９０８（ＪＰ，Ａ）

【文献】特開２０１８－０６８６１８（ＪＰ，Ａ）

【文献】特開２０１９－０５８６２５（ＪＰ，Ａ）

【文献】特開２０１１－１５４６６５（ＪＰ，Ａ）

【文献】特開２０１２－００８９４９（ＪＰ，Ａ）

【文献】特開２０１３－０００３００（ＪＰ，Ａ）

【文献】韓国公開特許第１０－２０２０－００２４６４０（ＫＲ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００

Ｇ０６Ｔ ７／２０

(57)【特許請求の範囲】

【請求項1】

対象者を撮影することによって得られる動画像を取得する動画像取得部と、
上記動画像取得部により取得された動画像に基づいて、上記対象者について生体反応の変化を解析する生体反応解析部と、
上記生体反応解析部により上記対象者について解析された上記生体反応の変化に基づいて、特定の感情について、他の動画に含まれる当該対象者で平準化された評価基準に従って上記対象者の前記感情の度合いを評価し、上記対象者が前記感情を生起する頻度に応じて前記度合を調整する感情評価部とを備えた
ことを特徴とする感情解析システム。

【請求項2】

上記感情評価部は、平常時の生体反応に対する現在の生体反応の違いの大きさに基づく感情の程度であって、上記対象者による同じ感情の生起しやすさに応じて調整された感情の度合いを評価することを特徴とする請求項１に記載の感情解析システム。

【請求項3】

上記生体反応解析部は、上記生体反応の変化を所定の基準に従って数値化することによって生体反応指標値を算出し、
上記感情評価部は、上記生体反応解析部により算出された上記生体反応指標値を上記対象者による同じ感情の生起しやすさに応じて調整した値である感情反応絶対値を算出する
ことを特徴とする請求項１に記載の感情分析システム。

【請求項4】

上記生体反応解析部は、上記生体反応の変化を所定の基準に従って数値化することによって生体反応指標値を算出し、
上記感情評価部は、上記生体反応解析部により算出された上記生体反応指標値を、平常時の生体反応に対する現在の生体反応の違いの大きさと、上記対象者による同じ感情の生起しやすさとに応じて調整することによって感情反応絶対値を算出する
ことを特徴とする請求項２に記載の感情分析システム。

【請求項5】

上記生体反応解析部は、上記動画像取得部により取得された動画像にける顔画像を解析することにより、表情、目線、脈拍、顔の動きの少なくとも１つに関する生体反応の変化を解析することを特徴とする請求項１～４の何れか１項に記載の感情解析システム。

【請求項6】

上記生体反応解析部は、上記動画像取得部により取得された動画像にける音声を解析することにより、発言内容、声質の少なくとも１つに関する生体反応の変化を解析することを特徴とする請求項１～５の何れか１項に記載の感情解析システム。

【請求項7】

対象者を撮影することによって得られる動画像を取得する動画像取得部と、
上記動画像取得部により取得された動画像に基づいて、上記対象者について生体反応の変化を解析する生体反応解析部と、
上記生体反応解析部により上記対象者について解析された上記生体反応の変化に基づいて、特定の感情について、他の動画に含まれる当該対象者で平準化された評価基準に従って上記対象者の前記感情の度合いを評価し、上記対象者による前記感情の生起しやすさに応じて前記度合いを調整する感情評価部とを備えた
ことを特徴とする感情解析システム

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、感情解析システムに関するものである。

【背景技術】

【0002】

従来、発言者の発言に対して他者が受ける感情を解析する技術が知られている（例えば、特許文献１参照）。また、対象者の平常時（無表情時）の表情と現在の表情とを比較して、対象者の感情の度合いを判定するようにした技術も知られている（例えば、特許文献２～４参照）。

【0003】

【文献】特開２０１９－５８６２５号公報

【文献】特開２０１１－１５４６６５号公報

【文献】特開２０１２－８９４９号公報

【文献】特開２０１３－３００号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

上記特許文献２～４に記載の技術では、平常時の表情から現在の表情がどの程度変化しているかによって感情の度合いを評価しているだけである。そのため、この評価情報は、異なる対象者間で感情の度合いを客観的に対比するための情報としては用いることができないという問題があった。

【0005】

例えば、対象者Ａが自身の平常時の表情との違いから現在の感情Ｘの度合いがレベル３と判定され、対象者Ｂについても同様に現在の感情Ｘの度合いがレベル３と判定されたとする。しかしながら、感情Ｘを生起しやすい対象者Ａのレベル３と、感情Ｘを生起しにくい対象者Ｂのレベル３とでは感情Ｘの意味合い（真の意味での感情の度合い）が違う。上記特許文献２～４に記載の技術では、このような真の意味での感情の度合いを評価することができないため、異なる対象者間で感情の度合いを客観的に対比することができない。

【0006】

本発明は、対象者に関する真の意味での感情の度合いを評価可能とすることで、異なる対象者間で感情の度合いを客観的に対比することができるようにすることを目的とする。

【課題を解決するための手段】

【0007】

上記した課題を解決するために、本発明の感情解析システムでは、対象者を撮影することによって得られる動画像に基づいて、対象者について生体反応の変化を解析し、解析された生体反応の変化に基づいて、他の動画に含まれる当該対象者で平準化された評価基準に従って対象者の感情の度合いを評価する。

【発明の効果】

【0008】

上記のように構成した本発明によれば、対象者に関する真の意味での感情の度合いを評価することが可能となり、異なる対象者間で感情の度合いを客観的に対比することができる。

【図面の簡単な説明】

【0009】

【図1】本実施形態による感情解析システムの機能構成例を示すブロック図である。

【発明を実施するための形態】

【0010】

本実施形態の感情解析システムは、例えば複数人でオンラインセッションが行われる環境において、対象者（オンラインセッションの参加者）を撮影することによって得られる動画像に基づいて、対象者について生体反応の変化を解析し、解析された生体反応の変化に基づいて、他の動画に含まれる当該対象者で平準化された評価基準に従って対象者の感情の度合いを評価するシステムである。

【0011】

オンラインセッションは、例えばオンライン会議、オンライン授業、オンラインチャットなどであり、複数の場所に設置された端末をインターネットなどの通信ネットワークを介してサーバに接続し、当該サーバを通じて複数の端末間で動画像をやり取りできるようにしたものである。

【0012】

オンラインセッションで扱う動画像には、端末を使用するユーザの顔画像や音声が含まれる。また、動画像には、複数のユーザが共有して閲覧する資料などの画像も含まれる。各端末の画面上に顔画像と資料画像とを切り替えて何れか一方のみを表示させたり、表示領域を分けて顔画像と資料画像とを同時に表示させたりすることが可能である。また、複数人のうち１人の画像を全画面表示させたり、一部または全部のユーザの画像を小画面に分割して表示させたりすることが可能である。

【0013】

以下、本発明の一実施形態を図面に基づいて説明する。図１は、本実施形態による感情解析システムの機能構成例を示すブロック図である。図１に示すように、本実施形態の感情解析システムは、機能構成として、動画像取得部１１、生体反応解析部１２および感情評価部１３を備えている。

【0014】

上記各機能ブロック１１～１３は、例えばサーバ装置に備えられたハードウェア、ＤＳＰ（Digital Signal Processor）、ソフトウェアの何れによっても構成することが可能である。例えばソフトウェアによって構成する場合、上記各機能ブロック１１～１３は、実際にはコンピュータのＣＰＵ、ＲＡＭ、ＲＯＭなどを備えて構成され、ＲＡＭやＲＯＭ、ハードディスクまたは半導体メモリ等の記録媒体に記憶されたプログラムが動作することによって実現される。

【0015】

動画像取得部１１は、オンラインセッション中に各端末が備えるカメラにより複数人（複数のユーザ）を撮影することによって得られる動画像を各端末から取得する。各端末から取得する動画像は、各端末の画面上に表示されるように設定されているものか否かは問わない。すなわち、動画像取得部１１は、各端末に表示中の動画像および非表示中の動画像を含めて、動画像を各端末から取得する。

【0016】

生体反応解析部１２は、動画像取得部１１により取得された動画像に基づいて、複数人のそれぞれについて生体反応の変化を解析する。本実施形態において生体反応解析部１２は、動画像取得部１１により取得された動画像を画像のセット（フレーム画像の集まり）と音声とに分離し、それぞれから生体反応の変化を解析する。

【0017】

例えば、生体反応解析部１２は、動画像取得部１１により取得された動画像から分離したフレーム画像を用いてユーザの顔画像を解析することにより、表情、目線、脈拍、顔の動きの少なくとも１つに関する生体反応の変化を解析する。また、生体反応解析部１２は、動画像取得部１１により取得された動画像から分離した音声を解析することにより、ユーザの発言内容、声質の少なくとも１つに関する生体反応の変化を解析する。

【0018】

人は感情が変化すると、それが表情、目線、脈拍、顔の動き、発言内容、声質などの生体反応の変化となって現れる。本実施形態では、ユーザの生体反応の変化を解析することを通じて、ユーザの感情の変化を解析する。本実施形態において解析する感情は、一例として、快／不快の程度である。本実施形態において生体反応解析部１２は、生体反応の変化を所定の基準に従って数値化することにより、生体反応の変化の内容を反映させた生体反応指標値を算出する。

【0019】

表情の変化の解析は、例えば以下のようにして行う。すなわち、フレーム画像ごとに、フレーム画像の中から顔の領域を特定し、事前に機械学習させた画像解析モデルに従って特定した顔の表情を複数に分類する。そして、その分類結果に基づいて、連続するフレーム画像間でポジティブな表情変化が起きているか、ネガティブな表情変化が起きているか、およびどの程度の大きさの表情変化が起きているかを解析し、その解析結果に応じた表情変化指標値を出力する。

【0020】

目線の変化の解析は、例えば以下のようにして行う。すなわち、フレーム画像ごとに、フレーム画像の中から目の領域を特定し、両目の向きを解析することにより、ユーザがどこを見ているかを解析する。例えば、表示中の話者の顔を見ているか、表示中の共有資料を見ているか、画面の外を見ているかなどを解析する。また、目線の動きが大きいか小さいか、動きの頻度が多いか少ないかなどを解析するようにしてもよい。目線の変化はユーザの集中度にも関連する。生体反応解析部１２は、目線の変化の解析結果に応じた目線変化指標値を出力する。

【0021】

脈拍の変化の解析は、例えば以下のようにして行う。すなわち、フレーム画像ごとに、フレーム画像の中から顔の領域を特定する。そして、顔の色情報（ＲＧＢのＧ）の数値を捉える学習済みの画像解析モデルを用いて、顔表面のＧ色の変化を解析する。その結果を時間軸に合わせて並べることによって色情報の変化を表した波形を形成し、この波形から脈拍を特定する。人は緊張すると脈拍が速くなり、気持ちが落ち着くと脈拍が遅くなる。生体反応解析部１２は、脈拍の変化の解析結果に応じた脈拍変化指標値を出力する。

【0022】

顔の動きの変化の解析は、例えば以下のようにして行う。すなわち、フレーム画像ごとに、フレーム画像の中から顔の領域を特定し、顔の向きを解析することにより、ユーザがどこを見ているかを解析する。例えば、表示中の話者の顔を見ているか、表示中の共有資料を見ているか、画面の外を見ているかなどを解析する。また、顔の動きが大きいか小さいか、動きの頻度が多いか少ないかなどを解析するようにしてもよい。顔の動きと目線の動きとを合わせて解析するようにしてもよい。例えば、表示中の話者の顔をまっすぐ見ているか、上目遣いまたは下目使いに見ているか、斜めから見ているかなどを解析するようにしてもよい。生体反応解析部１２は、顔の向きの変化の解析結果に応じた顔向き変化指標値を出力する。

【0023】

発言内容の解析は、例えば以下のようにして行う。すなわち、生体反応解析部１２は、指定した時間（例えば、３０～１５０秒程度の時間）の音声について公知の音声認識処理を行うことによって音声を文字列に変換し、当該文字列を形態素解析することにより、助詞、冠詞などの会話を表す上で不要なワードを取り除く。そして、残ったワードをベクトル化し、ポジティブな感情変化が起きているか、ネガティブな感情変化が起きているか、およびどの程度の大きさの感情変化が起きているかを解析し、その解析結果に応じた発言内容指標値を出力する。

【0024】

声質の解析は、例えば以下のようにして行う。すなわち、生体反応解析部１２は、指定した時間（例えば、３０～１５０秒程度の時間）の音声について公知の音声解析処理を行うことによって音声の音響的特徴を特定する。そして、その音響的特徴に基づいて、ポジティブな声質変化が起きているか、ネガティブな声質変化が起きているか、およびどの程度の大きさの声質変化が起きているかを解析し、その解析結果に応じた声質変化指標値を出力する。

【0025】

生体反応解析部１２は、以上のようにして算出した表情変化指標値、目線変化指標値、脈拍変化指標値、顔向き変化指標値、発言内容指標値、声質変化指標値の少なくとも１つを用いて生体反応指標値を算出する。例えば、表情変化指標値、目線変化指標値、脈拍変化指標値、顔向き変化指標値、発言内容指標値および声質変化指標値を重み付け計算することにより、生体反応指標値を算出する。

【0026】

感情評価部１３は、生体反応解析部１２により対象者について解析された生体反応の変化に基づいて、他の動画に含まれる当該対象者で平準化された評価基準に従って対象者の感情の度合いを評価する。例えば、感情評価部１３は、生体反応解析部１２により対象者について解析された生体反応の変化（生体反応指標値）に基づいて、他の動画に含まれる当該対象者で平準化された評価基準に基づく感情反応絶対値を算出する。他の動画とは、時と場所を異にして取得された動画であって当該対象者が含まれる動画をいう。これにより、過去の動画等との比較が可能となる。

【0027】

感情評価部１３が算出する感情反応絶対値は、例えば、生体反応解析部１２により算出された生体反応指標値を、対象者による同じ感情の生起しやすさに応じて調整した値である。例えば、感情評価部１３は、生体反応解析部１２により算出された生体反応指標値に対し、同じ感情を生起する頻度に応じた重み値を乗算することによって感情反応絶対値を算出する。

【0028】

例えば、過去のある時点の対象者Ａについて算出された生体反応指標値と現在の同一の対象者Ａについて算出された生体反応指標値とを比較することにより、その対象者が平均的に有している感情の生起しやすさ（同じ感情を生起する頻度）の平均の状態を把握することができることから、それと比べて現在の対象者Ａの反応を評価することができる。

【0029】

このように算出した感情反応絶対値を用いることにより、対象者に関する真の意味での感情の度合いを評価することが可能となり、異なる時期の同一対象者間で感情の度合いを客観的に対比することができる。

【0030】

なお、感情評価部１３は、平常時の生体反応に対する現在の生体反応の違いの大きさに基づく感情の程度であって、対象者による同じ感情の生起しやすさに応じて調整された感情の度合いを評価するようにしてもよい。例えば、感情評価部１３は、生体反応解析部１２により算出された生体反応指標値を、平常時の生体反応に対する現在の生体反応の違いの大きさと、対象者による同じ感情の生起しやすさとに応じて調整することによって感情反応絶対値を算出する。このように算出される感情反応絶対値は、平常時の生体反応に対する現在の生体反応の違いの大きさに基づく感情の程度を表す値であって、対象者が同じ感情を生起しやすいまたは生起しにくい度合いに応じて調整された値である。

【0031】

また、上記実施形態では、同じ感情の生起しやすさを表す尺度として、同じ感情を生起する頻度を用いる例について説明したが、これに限定されない。例えば、同じ感情を生起する頻度に代えてまたは加えて、対象者の性質または性格を用いるようにしてもよい。

【0032】

その他、上記実施形態は、何れも本発明を実施するにあたっての具体化の一例を示したものに過ぎず、これによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその要旨、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。

【符号の説明】

【0033】

１１ 動画像取得部
１２ 生体反応解析部
１３ 感情評価部

【図1】