特開 2023-152039 感情分析装置、感情分析方法、および、プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023152039

(43)【公開日】2023-10-16

(54)【発明の名称】感情分析装置、感情分析方法、および、プログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20231005BHJP

   G10L 15/10 20060101ALI20231005BHJP

【ＦＩ】

G06T7/00 660

G06T7/00 350B

G10L15/10 500N

【審査請求】未請求

【請求項の数】11

【出願形態】ＯＬ

(21)【出願番号】P 2022061966

(22)【出願日】2022-04-01

(71)【出願人】

【識別番号】522089055

【氏名又は名称】株式会社エモテック・ラボ

(74)【代理人】

【識別番号】100083806

【弁理士】

【氏名又は名称】三好 秀和

(74)【代理人】

【識別番号】100101247

【弁理士】

【氏名又は名称】高橋 俊一

(74)【代理人】

【識別番号】100095500

【弁理士】

【氏名又は名称】伊藤 正和

(74)【代理人】

【識別番号】100098327

【弁理士】

【氏名又は名称】高松 俊雄

(72)【発明者】

【氏名】山本 洋平

(72)【発明者】

【氏名】飯島 美帆

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096CA04

5L096DA02

5L096HA09

5L096HA11

5L096KA04

(57)【要約】

【課題】細く分類されたユーザの詳細感情を判定可能な技術を提供する。
【解決手段】画像に表示されたユーザの複数の基本感情の各割合を、外部システム３から取得する取得部１２と、前記画像と、前記複数の基本感情の各割合とを感情学習モデル１４に入力して、前記ユーザの詳細感情を判定する判定部１３と、を備え、前記詳細感情は、前記基本感情より細かく分類された感情である感情分析装置。
【選択図】図１

【特許請求の範囲】

【請求項1】

画像に表示されたユーザの複数の基本感情の各割合を、外部システムから取得する取得部と、
前記画像と、前記複数の基本感情の各割合とを感情学習モデルに入力して、前記ユーザの詳細感情を判定する判定部と、を備え、
前記詳細感情は、前記基本感情より細かく分類された感情である
感情分析装置。

【請求項2】

前記詳細感情は、複数の感情指標の各々に設定された各レベルに応じた感情であって、
前記判定部は、前記感情学習モデルが出力した各感情指標のレベルを用いて、前記ユーザの詳細感情を判定する
請求項１に記載の感情分析装置。

【請求項3】

前記レベルには、少なくとも１種類のポジティブレベル、ノーマルレベル、および、少なくとも１種類のネガティブレベルが含まれ、
前記判定部は、ノーマルレベル以外のレベルが設定された感情指標の詳細感情を、前記ユーザの詳細感情として判定する
請求項２に記載の感情分析装置。

【請求項4】

前記画像は、時系列な複数の映像フレームを含み、
前記取得部は、映像フレーム毎に前記複数の基本感情の各割合を取得し、
前記判定部は、映像フレーム毎に前記ユーザの詳細感情を判定する
請求項１に記載の感情分析装置。

【請求項5】

前記判定部が判定した、映像フレーム毎の詳細感情の推移を示す感情分析画像を生成する生成部を備え、
前記生成部は、映像フレーム毎の詳細感情を、当該詳細感情に対応付けた色を用いて表現する
請求項４に記載の感情分析装置。

【請求項6】

前記感情学習モデルから出力された各感情指標のレベルを、ファクター学習モデルに入力して、コミュニケーション能力に関する複数のファクターの中から、前記判定部が判定した詳細感情に影響を与えたファクターを推定する推定部を備える
請求項２に記載の感情分析装置。

【請求項7】

前記画像は、時系列な複数の映像フレームを含み、
前記推定部は、映像フレーム毎に前記判定部が判定した詳細感情に影響を与えたファクターを推定し、
前記推定された映像フレーム毎の前記ファクターの推移を示すファクター分析画像を生成する生成部を備える
請求項６に記載の感情分析装置。

【請求項8】

前記ユーザは、コンテンツを閲覧しているユーザであって、
前記感情学習モデルから出力された各感情指標のレベルを、ファクター学習モデルに入力して、前記コンテンツの評価に関する複数のファクターの中から、前記判定部が判定した詳細感情に影響を与えたファクターを推定する推定部を備える
請求項２に記載の感情分析装置。

【請求項9】

入力されたユーザの音声またはテキストから推定される、当該ユーザの複数の基本感情の各割合を、外部システムから取得する取得部と、
前記音声またはテキストと、前記複数の基本感情の各割合とを感情学習モデルに入力して、前記ユーザの詳細感情を判定する判定部と、を備え、
前記詳細感情は、前記基本感情より細かく分類された感情である
感情分析装置。

【請求項10】

感情分析装置が行う感情分析方法であって、
画像に表示されたユーザの複数の基本感情の各割合を、外部システムから取得するステップと、
前記画像と、前記複数の基本感情の各割合とを感情学習モデルに入力して、前記ユーザの詳細感情を判定するステップと、を行い、
前記詳細感情は、前記基本感情より細かく分類された感情である
感情分析方法。

【請求項11】

請求項１から９のいずれか１項に記載の感情分析装置としてコンピュータを機能させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報識別装置、情報識別方法、および、プログラムに関する。

【背景技術】

【0002】

人の顔画像を解析して、顔表情を６つの種類（喜び、驚き、恐れ、怒り、嫌悪、悲しみ）に分類する技術が知られている。また、顔表情の分類を容易にし、分類の精度を高める技術、および、画像から認識した顔表情に基づいてその人の感情を推定する技術が研究されている（特許文献１、２）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開2013-228847号公報

【特許文献2】特開2016-149063号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

人の感情には、喜び、驚き、恐れ、怒り、嫌悪、悲しみなどの基本的な感情だけでなく、判別しにくい些細な感情もある。このような細かな人の感情を分析し、分析結果を人材育成、能力開発などの教育、マーケティングなどの様々な分野での利用が求められている。

【0005】

しかしながら、人の感情は目に見えないものであり、人の感情を判定することは難く、特に細かく分類された感情を判定することは、熟練したカウンセラーなどの専門家であっても容易ではない。

【0006】

本発明は、上記事情に鑑みてなされたものであり、本発明の目的は、細く分類されたユーザの詳細感情を判定可能な技術を提供することにある。

【課題を解決するための手段】

【0007】

上記目的を達成するため、本発明の一態様は、感情分析装置であって、画像に表示されたユーザの複数の基本感情の各割合を、外部システム３から取得する取得部と、前記画像と、前記複数の基本感情の各割合とを感情学習モデルに入力して、前記ユーザの詳細感情を判定する判定部と、を備え、前記詳細感情は、前記基本感情より細かく分類された感情である。

【0008】

本発明の一態様は、感情分析装置であって、入力されたユーザの音声またはテキストから推定される、当該ユーザの複数の基本感情の各割合を、外部システム３から取得する取得部と、前記音声またはテキストと、前記複数の基本感情の各割合とを感情学習モデルに入力して、前記ユーザの詳細感情を判定する判定部と、を備え、前記詳細感情は、前記基本感情より細かく分類された感情である。

【0009】

本発明の一態様は、感情分析装置が行う感情分析方法であって、画像に表示されたユーザの複数の基本感情の各割合を、外部システム３から取得するステップと、前記画像と、前記複数の基本感情の各割合とを感情学習モデルに入力して、前記ユーザの詳細感情を判定するステップと、を行い、前記詳細感情は、前記基本感情より細かく分類された感情である。

【0010】

本発明の一態様は、上記感情分析装置としてコンピュータを機能させるプログラムである。

【発明の効果】

【0011】

本発明によれば、細く分類されたユーザの詳細感情を判定可能な技術を提供することができる。

【図面の簡単な説明】

【0012】

【図1】図１は、本実施形態の感情分析装置の構成例を示す。

【図2】図２は、詳細感情の一例を示す図である。

【図3】図３は、ファクターの一例を示す図である。

【図4】図４は、感情学習モデルの構成例を示す図である。

【図5】図５は、ファクター学習モデルの構成例を示す図である。

【図6】図６は、感情分析処理の一例を示すフローチャートである。

【図7】図７は、感情分析画像の一例を示す図である。

【図8】図８は、詳細感情の色を説明するためのカラーチャートである。

【図9】図９は、ファクター分析画像の一例を示す図である。

【図10】図１０は、変形例２のファクターの一例を示す図である。

【図11】図１１は、ハードウェア構成例である。

【発明を実施するための形態】

【0013】

以下、本発明の実施の形態について、図面を参照して説明する。

【0014】

＜情報識別装置の構成＞
図１に、本実施形態の感情分析装置１の構成例を示す。本実施形態の感情分析装置１は、分析対象のデータを入力して、前記データに含まれるユーザの感情を分析し、可視化する装置である。

【0015】

図示する感情分析装置１は、入力部１１と、取得部１２と、判定部１３と、感情学習モデル１４と、推定部１５と、ファクター学習モデル１６と、生成部１７と、学習部１８と、記憶部１９とを備える。

【0016】

入力部１１は、例えば利用者端末２などから送信（アップロード）された分析対象のデータを受信する。分析対象のデータには、画像、音声、テキストなどが含まれる。画像には、時系列な複数の映像フレームから構成される動画も含まれる。画像にはユーザの顔（表情）が含まれている。本実施形態では、分析対象のデータは画像の場合を例として以下説明するが、分析対象のデータは、画像に限定されない。

【0017】

取得部１２は、入力された画像に表示されたユーザの複数の基本感情の各割合を、外部システム３から取得する。具体的には、取得部１２は、利用者端末２から送信された画像を外部システム３に送信し、外部システム３が当該画像を解析した解析結果（複数の基本感情の各割合）を取得する。取得部１２は、画像が時系列な複数の映像フレームを含む場合、映像フレーム毎に複数の基本感情の各割合を取得する。

【0018】

外部システム３は、画像に含まれる顔画像を解析して、ユーザの複数の基本感情の各割合を数値化する。本実施形態では、外部システム３は、複数の基本感情の割合の合計が100％になるように、各基本感情を数値化する。

【0019】

ここでは、基本感情として、困惑、穏やか、驚き、恐れ、うんざり、悲しみ、怒り、幸せの８つの感情を用いる。ただし、基本感情はこの８感情に限定されず、７以下の感情でもよく、あるいは、９以上の感情であってもよい。

【0020】

判定部１３は、入力部１１に入力された画像と、取得部１２が取得した複数の基本感情の各割合とを感情学習モデル１４に入力して、ユーザの詳細感情を判定する。詳細感情は、基本感情より細かく分類された感情である。

【0021】

詳細感情は、複数の感情指標の各々に設定された各レベルに応じた感情であってもよい。 判定部１４は、感情学習モデル１４が出力した各感情指標のレベルを用いて、ユーザの詳細感情を判定してもよい。具体的には、レベルには、少なくとも１種類のポジティブレベル、ノーマルレベル、および、少なくとも１種類のネガティブレベルが含まれ、判定部１３は、ノーマルレベル以外のレベルが設定された感情指標の詳細感情を、前記ユーザの詳細感情として判定してもよい。詳細感情については、後述する。判定部１３は、画像が時系列な複数の映像フレームを含む場合、映像フレーム毎に、前記ユーザの詳細感情を判定する。

【0022】

推定部１５は、感情学習モデル１４から出力された各感情指標のレベルを、ファクター学習モデル１６に入力して、コミュニケーション能力に関する複数のファクターの中から、判定部１３が判定した詳細感情に影響を与えたファクターを推定する。推定部１５は、画像が時系列な複数の映像フレームを含む場合、映像フレーム毎に、判定部１３が判定した詳細感情に影響を与えたファクターを推定する。ファクターについては後述する。

【0023】

生成部１７は、判定部１３が判定した映像フレーム毎の詳細感情の推移を示す感情分析画像を生成する。生成部１７は、映像フレーム毎の詳細感情を、当該詳細感情に対応付けた色を用いて表現してもよい。また、生成部１７は、推定部１５が推定した映像フレーム毎のファクターの推移を示すファクター分析画像を生成してもよい。

【0024】

学習部１８は、機械学習を行って、感情学習モデル１４およびファクター学習モデル１６を生成する。感情学習モデル１４およびファクター学習モデル１６については、後述する。

【0025】

記憶部１９には、各種データが格納される。本実施形態の記憶部１９は、分析対象データ（画像、音声、テキスト等）、判定部１３の判定結果、推定部１５の推定結果、感情分析画像、ファクター分析画像などが記憶される。

【0026】

＜詳細感情＞
図２は、詳細感情の一例を示す図である。図示する詳細感情は、複数の感情指標毎のノーマルレベルを除いた数のレベルに応じた感情を示す。感情指標は、詳細感情を示すための指標である。図示する例では10個の感情指標を示すが、感情指標の数は10以外であってもよい。

【0027】

各感情指標は、複数のレベルを有し、図示する例では5つのレベルを示す。すなわち2種類のポジティブレベルと、ノーマルレベルと、2種類のネガティブレベルとを有する。図２では、ポジティブの度合いが大きいレベルをポジティブ＋＋とし、ポジティブの度合いが小さいレベルをポジティブ＋と記載している。また、ネガティブの度合いが大きいレベルをネガティブ－－とし、ポジティブの度合いが小さいレベルをポジティブ－と記載している。また、各感情指標において、ポジティブでもネガティブでもない場合、詳細感情はノーマルとなる。

【0028】

例えば、感情指標が「感/不」指標の場合、ポジティブ＋＋に対応する詳細感情は崇拝で、ポジティブ＋に対応する詳細感情は好感で、ネガティブ－に対応する詳細感情は怪しいで、ネガティブ－－に対応する詳細感情は侮蔑である。ここでは、10個の感情指標で、ノーマルレベルを除いて4つのレベルを設定しているため、詳細感情は40個（10×4）となる。

【0029】

感情学習モデル１４は、ポジティブおよびネガティブの各レベルと、ノーマルレベルとを数値化して出力する。例えば感情学習モデル１４は、ポジティブ＋＋をn1、ポジティブ＋をn2、ノーマルをn3、ネガティブ－をn4、ネガティブ－－をn5とする。n1～n5は、例えば正の整数で、n1＞n2＞n3＞n4＞n5としてもよい。

【0030】

なお、図２では、感情指標の名称に、ポジティブおよびネガティブの各詳細感情に近い意味を示す漢字１文字を便宜的に用いているが、感情指標の名称には、任意の名称（例えば、感情指標A、感情指標B、感情指標C、・・・等）を用いてもよい。また、図示する詳細感情は一例であって、感情指標およびレベルの数を調整することで、判定する詳細感情の細分化のレベルを感情分析装置１の使用目的に応じて容易に変更することができる。

【0031】

＜ファクター＞
図３は、コミュニケーション能力に関する複数のファクター（機微ファクター）の一例を示す図である。コミュニケーション能力には、例えば機微力が含まれる。機微力は、相手の気持ちを察し、心地よいコミュニケーションで相手との関係を築くことができる力である。すなわち、機微力は、相手の感情変化を察し、汲み取り、寄り添うための能力である。

【0032】

本実施形態では、複数のファクターは、複数の領域のいずれかに分類できるものとする。図示する例では、複数のファクターは、感知（PER: perception）と、感情（EMO: emotion）、行動（ACT: action）の3つの領域に分類される。感知領域には、例えば状況想像力、フラットさ、などのファクターが含まれる。感情領域には、例えばなつき力、気持ち察し力などのファクターが含まれる。行動領域には、例えばリアクション力、社交的などのファクターが含まれる。本実施形態では、領域毎に6つのファクターがあり、全部で18個のファクターがあるものとする。なお、領域およびファクターの項目および数は、図示する例に限定されない。また、ファクターを分類する領域は、なくてもよい。

【0033】

また、各ファクターは、複数のレベルを有する。本実施形態では、各ファクターは、2種類の高レベル（high level）と、中間レベル（middle level）と、2種類の低レベル（low level）の5つのレベルを有する。高レベルおよび低レベルの種類は、2つに限定されるものではなく、１つでも３つ以上でもよい。

【0034】

ファクター学習モデル１６は、2種類の高レベルと、中間レベルと、２種類の低レベルとを、数値化して出力する。例えばファクター学習モデル１６は、より高い高レベル（high level＋＋）をm1、前記高レベルより低い高レベル（high level＋）m2、中間レベルをm3、低レベル（low level－）をm4、前記低レベルより低い低レベル（（low level－－）をm5とする。m1～m5は、例えば正の整数で、m1＞m2＞m3＞m4＞m5としてもよい。

【0035】

＜学習モデル＞
図４は、感情学習モデル１４の構成例を示す。感情学習モデル１４は、入力層と、少なくとも１つの中間層と、出力層とを備える。図示する感情学習モデル１４の入力データ４１は、入力部１１に入力された画像と、取得部１２が取得した複数の基本感情の各割合である。出力データ４２は、感情指標毎のレベルである。感情学習モデル１４は、各詳細感情のレベルを、前述の通り数値化して出力する。

【0036】

判定部１３は、感情学習モデル１４の出力データ４２を用いて、ユーザの詳細感情を判定する。例えば、判定部１３は、ノーマルレベルを示すn3以外の数値が出力された感情指標のレベルに対応する詳細感情をユーザの詳細感情と判定する。なお、感情学習モデル１４が複数の詳細感情でn3以外の数値を出力した場合、判定部１３は、複数の詳細感情をユーザの詳細感情と判定する。

【0037】

学習部１８は、感情学習モデル１４の教師データを例えば、以下のように作成してもよい。すなわち、学習部１８は、詳細感情毎に、当該詳細感情に該当する顔の画像を複数（所定数）収集し、収集した各画像に対して、当該画像の人物の複数の基本感情の各割合を、外部システム３から取得する。具体的には、学習部１８は、収集した各画像を外部システム３に送信し、外部システム３が解析した解析結果を取得する。学習部１８は、取得部１２を用いて外部システム３から基本感情の各割合を取得してもよい。

【0038】

そして、学習部１８は、画像と、複数の基本感情の各割合と、詳細感情（ラベル）とを含む教師データを生成する。詳細感情（ラベル）には、正解とする詳細感情の感情指標に対応する数値化されたレベルが設定され、その他の感情指標には数値化されたノーマルレベル（n3）が設置される。学習部１８は、教師データを機械学習（例えばディープラーニング等）させて感情学習モデル１４を生成する。これにより、感情学習モデル１４は、入力データ４１（画像、複数の基本感情の割合）を入力すると、感情指標毎の数値化されたレベルを出力データ４２として出力する。

【0039】

図５は、ファクター学習モデル１６の構成例を示す。ファクター学習モデル１６は、入力層と、少なくとも１つの中間層と、出力層とを備える。図示するファクター学習モデル１６の入力データ５１は、感情学習モデル１４の出力データ４２である。すなわち、入力データ５１は、感情指標毎の数値化されたレベルである。ファクター学習モデル１６の出力データ５２は、ファクター毎のレベルである。ファクター学習モデル１６は、各ファクターのレベルを、前述の通り数値化して出力する。

【0040】

推定部１５は、ファクター学習モデル１６の出力データ５２を用いて、判定部１３が判定した詳細感情に影響を与えたファクターを推定する。例えば、推定部１５は、中間レベルを示すm3以外の数値が出力されたファクターを、詳細感情に影響を与えたファクターであると判定する。なお、ファクター学習モデル１６が、複数のファクターでm3以外の数値を出力した場合、推定部１５は、複数のファクターを、影響を与えたファクターとして推定する。

【0041】

ファクター学習モデル１６の教師データは、入力データ５１と、正解となる出力データ５２（ラベル）とを組み合わせたデータである。学習部１８は、教師データを機械学習（例えばディープラーニング等）させてファクター学習モデル１６を生成する。これにより、ファクター学習モデル１６は、入力データ５１（感情指標毎の数値化されたレベル）を入力すると、ファクター毎の数値化されたレベルを出力データ５２として出力する。

【0042】

＜感情分析処理＞
図６は、感情分析装置１が行う感情分析処理の一例を示すフローチャートである。

【0043】

感情分析装置１を利用する利用者は、分析対象データを、利用者端末２を用いて感情分析装置１に送信（アップロード）する。ここでは、例えば会議、面接などにおいて、相手とコミュニケーションを取っているユーザを分析対象とし、当該ユーザの顔が撮影された動画を分析対象データとする。

【0044】

感情分析装置１の入力部１１は、利用者端末２から送信された動画を受信する（Ｓ１１）。入力部１１は、受け付けた動画から所定の間隔で映像フレーム（画像）を抽出し、記憶部１９に記憶する（Ｓ１２）。例えば、感情分析装置１は、n秒毎に1枚の映像フレームを抽出する。また、入力部１１は、画像処理を用いることで、変化があった映像フレームを抽出してもよい。具体的には、入力部１１は、動画を構成する時系列な複数の映像フレームにおいて、前後の映像フレームの差分を算出し、差分が所定値以上の場合に変化があった映像フレームと判定して、当該映像フレームを抽出してもよい。入力部１１は、抽出した各映像フレームに、画像ID（識別情報）を設定して記憶部１９に記憶する。

【0045】

感情分析装置１は、Ｓ１２で抽出した映像フレーム毎にＳ１３～Ｓ１９の処理を繰り返し行う。判定部１３は、抽出した映像フレームの中から、撮影時刻が早い順に映像フレームを読み込む（Ｓ１３）。判定部１３は、読み込んだ映像フレームを外部システム３に送信し、当該映像フレームの複数の基本感情の各割合を外部システム３から取得する（Ｓ１４）。

【0046】

そして、判定部１３は、Ｓ１３で読み込んだ映像フレームと、Ｓ１４で取得した基本感情の各割合とを感情学習モデル１４に入力して、各感情指標のレベルを取得する（Ｓ１５）。感情学習モデル１４は、複数の感情指標毎に数値化されたレベルを出力する。

【0047】

判定部１３は、感情学習モデル１４の出力を用いて、映像フレームに含まれるユーザの詳細感情を判定し、判定結果を記憶部１９に記憶する（Ｓ１６）。具体的には、判定部１３は、感情学習モデル１４の出力データにおいて、ノーマルレベル（n3）以外のレベル（n1、n2、n4、n5）が設定された感情指標の当該レベルに対応する詳細感情を、ユーザの詳細感情として判定する。

【0048】

例えば、図２に示す感情指標において、感/不指標のレベルがポジティブ＋＋（n1）で、他の感情指標が全てノーマルレベル（n3）の場合、判定部１３は、詳細感情は崇拝であると判定する。なお、ノーマルレベル（n3）以外のレベルが設定された感情指標が複数ある場合、感情分析装置１は、当該感情指標の各レベルに対応する複数の詳細感情を、ユーザの詳細感情として判定する。

【0049】

判定部１３は、詳細感情の判定結果を記憶部１９に記憶する。判定結果には、処理対象の映像フレームの画像ID、当該映像フレームの撮影時刻、感情学習モデル１４の出力データ、判定された詳細感情などが含まれる。

【0050】

そして、推定部１５は、Ｓ１５で感情学習モデル１４が出力した出力データをファクター学習モデル１６に入力して、各ファクターのレベルを取得する（Ｓ１７）。ファクター学習モデル１６は、ファクター毎に数値化されたレベルを出力する。

【0051】

推定部１５は、ファクター学習モデル１６の出力データを用いて、複数のファクターの中から、Ｓ１６で判定された詳細感情に影響を与えたファクターを推定し、推定結果を記憶部１９に記憶する（Ｓ１８）。具体的には、推定部１５は、ファクター学習モデル１６の出力データにおいて、中間レベル（m3）以外のレベル（m1、m2、m4、m5）が設定されたファクターを、詳細感情に影響を与えたファクターと推定する。

【0052】

例えば、図３に示すファクターにおいて、状況想像力のファクターのレベルが高レベル＋＋（m1）で、他のファクターが全て中間レベル（m3）の場合、推定部１５は、影響を与えたファクターは状況想像力であると推定する。なお、中間レベル（m3）以外のレベルが設定されたファクターが複数ある場合、推定部１５は、複数のファクターを、影響を与えたファクターと推定する。

【0053】

推定部１５は、ファクターの推定結果を記憶部１９に記憶する。推定結果には、処理対象の映像フレームの画像ID、当該映像フレームの撮影時刻、ファクター学習モデル１６の出力データ、推定されたファクターおよびそのレベルなどが含まれる。

【0054】

そして、感情分析装置１は、未処理の次の映像フレームがある場合（Ｓ１９：ＹＥＳ）、Ｓ１３に戻り次の映像フレームを読み込み、以降の処理を行う。未処理の次の映像フレームがない場合（Ｓ１９：ＮＯ）、生成部１７は、記憶部１９に記憶されたＳ１６の判定結果を用いて、感情分析画像を生成し、記憶部１９に記憶する（Ｓ２０）。感情分析画像については、後述する。

【0055】

そして、生成部１７は、記憶部１９に記憶されたＳ１８の推定結果を用いて、ファクター分析画像を生成し、記憶部１９に記憶する（Ｓ２１）。ファクター分析画像については、後述する。

【0056】

＜感情分析画像＞
図７は、感情分析画像の一例を示す図である。感情分析画像は、分析対象ユーザの詳細感情の推移を示す図である。生成部１７は、映像フレーム毎にＳ１６で判定した詳細感情を、時系列に示す分析画像を生成する。図示する感情分析画像は、グラフ７１と、色相環７２とを含む。

【0057】

グラフ７１の縦軸は感情指標のレベルで、横軸は動画の撮影開始からの経過時間である。生成部１７は、記憶部１９の判定結果を用いて、各映像フレームのノーマルレベル以外のレベルを、グラフ７１の対応する経過時間にプロットして、曲線グラフ７１１（または折れ線グラフ）を生成する。なお、生成部１７は、ノーマルレベル以外のレベルが複数ある映像フレームの場合、その平均を対応する経過時間にプロットする。また、生成部１７は、映像フレーム毎に判定された詳細感情を、当該詳細感情に対応付けた色（色彩）を用いて、グラフ７１の中で表現する。具体的には、生成部１７は、映像フレーム毎に判定された詳細感情に対応する色を曲線グラフ７１１の下部に着色し、前後の映像フレームの詳細感情の色と連続するようにグラデーション処理を施して、グラフ７１を生成する。

【0058】

図８は、詳細感情の色を説明するためのカラーチャートである。本実施形態では、カラーチャートを、円または円環を用いて表現する。ここでは、１０個の感情指標のポジティブおよびネガティブの４つのレベルに対応する４０個の詳細感情の色を、円の中で表している。４０個の詳細感情には、それぞれ異なる色が割り当てられている。

【0059】

図示するカラーチャートでは、上部にポジティブの２０個の詳細感情８１が配置され、下部にネガティブの２０個の詳細感情８２が配置されている。また、各感情指標のポジティブの詳細感情とネガティブの詳細感情とは、相対する位置（円を中心とする対角線上）に配置される。例えば、感/不指標８３a、８３ｂについては、嬉しい（ポジティブ＋＋）と、嫉妬（ポジティブ＋）と、恨めしい（ネガティブ－）、侮蔑（ネガティブ－－）とが相対する位置に配置される。同様に、悦/脅指標８４a、８４ｂについては、崇拝（ポジティブ＋＋）と、好感（ポジティブ＋）と、怪しい（ネガティブ－）、侮蔑（ネガティブ－－）とが相対する位置に配置される。また、レベルが高い詳細感情（ポジティブ＋＋、ネガティブ－－）は円の外側に配置され、レベルが低い詳細感情（ポジティブ＋、ネガティブ－）は円の内側に配置される。

【0060】

ポジティブの詳細感情８１には、明るい色彩（例えば暖色系）の色を用い、ネガティブの詳細感情８２には、暗い色彩（例えば寒色系）を用いてもよい。また、詳細感情のレベルに応じて明度を変えてもよい。例えば、ポジティブ＋＋の明度は、ポジティブ＋の明度より高く（明るく）してもよい。一方、ネガティブ－－の明度は、ネガティブ－の明度より低く（暗く）してもよい。各詳細感情の色は、日本の伝統色をCMYK（Cyan、Magenta、Yellow、Key Plate）へ変換して作成した色を用いてもよい。

【0061】

図７の色相環７２は、図８の詳細感情のカラーチャートを、２つの色相環を用いて表現したものである。生成部１７は、図８の色の配置と同様に、レベルの高い詳細感情（ポジティブ＋＋、ネガティブ－－）の色相環を外側に配置し、レベルの低い詳細感情（ポジティブ＋、ネガティブ－）の色相環を内側に配置して、色相環７２を生成する。また、図示する例では、生成部１７は、色相環７２をポジティブな詳細感情の部分７２１と、ネガティブな詳細感情の部分７２２とに分割し、各部分７２１、７２２が扇子を180度に広げたような形状で色相環７２を生成する。扇子は、複数の細長い棒の一端を束ねて固定し、棒には紙などが貼られ、使用時に広げて風を起こすものである。

【0062】

生成部１７が生成する感情分析画像は、利用者の操作に応じて表示内容を変化させる機能を有する。具体的には、利用者が、利用者端末２に表示された感情分析画像の曲線グラフ７１１の所望の位置にマウスなど（入力手段）を用いてポインタ７１２を指し示すと、曲線グラフ７１１に埋め込まれた詳細感情およびそのレベル７１３がグラフ７１に表示される。また、色相環７２においては、ポインタ７１２の時点の詳細感情に対応する部分が目立つように何らかの印７２３が設定される。

【0063】

図７に示す例では、グラフ７１では、ポインタの位置７１２（開始から７０分経過）の映像フレームの詳細感情は、心地よさでポジティブ＋のレベルであることを示している。また、色相環７２では、詳細感情に対応する部分７２３が白く光っているように表示される。

【0064】

利用者端末２は、利用者の指示を受け付けて、感情分析画像を感情分析装置１から取得して、ディスプレイに表示する。利用者は、表示された感情分析画像をマウスなどを用いて操作し、所望の時点の詳細感情を容易に把握することができる。

【0065】

＜ファクター分析画像＞
図９は、ファクター分析画像の一例を示す図である。ファクター分析画像は、推定部１５が推定したファクターの推移を示す図である。生成部１７は、映像フレーム毎にＳ１８で推定されたファクターを時系列に示すファクター分析画像を生成する。図示するファクター分析画像は、グラフ９１と、円チャート９２とを含む。

【0066】

グラフ９１の縦軸はファクターのレベルで、横軸は動画の撮影開始からの経過時間である。生成部１７は、記憶部１９の推定結果を用いて、各映像フレームの中間レベル以外のレベルを、グラフ９１の対応する経過時間にプロットして、曲線グラフ９１１（または折れ線グラフ）を生成する。なお、生成部１７は、中間レベル以外のレベルが複数ある映像フレームの場合、その平均を対応する経過時間にプロットする。

【0067】

また、生成部１７は、曲線グラフ９１１の下部を、レベル応じて色の明度を変化させて着色してもよい。ここでは、生成部１７は、レベルが低いほど明度が高くなるようにグラデーション処理を施して着色する。

【0068】

円チャート９２は、ある時点において推定されたファクターおよびレベルを示す。生成部１７は、推定されたファクターに割り当てられた部分を着色することで、レベルを示す。図示する例では、４つのファクター（リアクション、あたたかさ、おおらかさ、外交的手腕）のそれぞれ４つの部分のうち、円の内側から外側に向かって３つの部分が着色されている。これは、レベルが高レベル＋であることを示している。

【0069】

なお、４つの部分のうち、内側の１つの部分が着色されている場合は低レベル－－を示し、内側から２つの部分が着色されている場合は低レベル－－を示し、内側から３つの部分が着色されている場合は高レベル＋を示し、内側から４つの全ての部分が着色されている場合は高レベル＋＋を示す。また、４つの部分に着色される色の明度は、内側が最も低く（暗く）、外側が最も高く（明るく）なるように設定してもよい。

【0070】

また、着色される色の色相は、領域毎（感知:PER、感情：EMO、行動：ACT）に異なる色とする。したがって、同じ領域に属するファクターは、同じ色で着色される。これにより、推定されたファクターがどの領域のファクターであるのかを、利用者は直感的に理解することができる。

【0071】

生成部１７が生成するファクター分析画像は、利用者の操作に応じて表示内容を変化させる機能を有する。具体的には、利用者が、利用者端末２に表示されたファクター分析画像の曲線グラフ９１１の所望の位置にマウスを用いてポインタ９１２を指し示すと、曲線グラフ９１１に埋め込まれたファクターとそのレベル９１３がグラフ９１に表示される。また、円チャート９２においては、ポインタ９１２の時点のファクターに対応する部分が、レベルに応じた数だけ着色される。

【0072】

図９に示す例では、グラフ９１では、利用者のポインタの位置９１２（開始から７０分経過）の映像フレームのファクター９１３は、リアクション、あたたかさ、おおらかさ、外交的手腕で、高レベル＋であることを示す。円チャート９２は、各ファクターに対応する３つの部分が着色されている。

【0073】

利用者端末２は、利用者の指示を受け付けて、ファクター分析画像を感情分析装置１から取得して、ディスプレイに表示する。利用者は、表示されたファクター分析画像をマウスなどを用いて操作し、所望の時点のファクターを容易に把握することができる。

【0074】

＜効果＞
上記説明した本実施形態の感情分析装置１は、画像に表示されたユーザの複数の基本感情の各割合を、外部システム３から取得する取得部１２と、画像と、複数の基本感情の各割合とを感情学習モデル１４に入力して、ユーザの詳細感情を判定する判定部１３と、を備え、詳細感情は、基本感情より細かく分類された感情である。

【0075】

これにより、本実施形態では、ユーザの顔が表示された画像を入力するだけで、当該ユーザの細かく分類された詳細感情を判定することができる。したがって、感情分析装置１は、感情を察することが可能な人の心と同様の役割を果たすことができる。

【0076】

人の感情は目に見えないものであり、人の感情を判定することは難く、特に細かなレベルで分類された詳細感情を判定することは専門家であっても容易ではないが、本実施形態ではユーザの詳細感情を効率的に判定し、この判定結果を人材育成、能力開発などの教育、マーケティングなどの様々な分野での利用することができる。

【0077】

本実施形態の詳細感情は、複数の感情指標の各々に設定された各レベルに応じた感情であって、判定部１３は、感情学習モデル１４が出力した各感情指標のレベルを用いて、ユーザの詳細感情を判定する。このように複数の感情指標および複数のレベルを設定することで、詳細感情を論理的に分類でき、ユーザの詳細感情を高精度に判定することができる。

【0078】

本実施形態のレベルには、少なくとも１種類のポジティブレベル、ノーマルレベル、および、少なくとも１種類のネガティブレベルが含まれ、判定部１３は、ノーマルレベル以外のレベルが設定された感情指標の詳細感情を、前記ユーザの詳細感情として判定する。ポジティブレベルおよびネガティブレベルの種類を増やすことで、詳細感情の種類を容易に増やし、より細かく分類された精緻な詳細感情を判定することができる。

【0079】

本実施形態では、感情学習モデル１４から出力された各感情指標のレベルを、ファクター学習モデル１６に入力して、コミュニケーション能力に関する複数のファクターの中から、判定部１３が判定した詳細感情に影響を与えたファクターを推定する推定部１５を備える。詳細感情に影響を与えたファクターを推定することで、ユーザのコミュニケーション能力（例えば、相手の気持ちを察し、心地よいコミュニケーションで相手との関係を築くことができる機微力など）の向上に役立てることができる。

【0080】

本実施形態では、判定部１３が判定した、映像フレーム毎の詳細感情の推移を示す感情分析画像を生成する生成部１７を備え、生成部１７は、映像フレーム毎の詳細感情を、当該詳細感情に対応付けた色を用いて表現する。これにより、ユーザの詳細感情の推移を可視化することができる。本実施形態の利用者は、感情分析画像を見ることで、ユーザの詳細感情の推移を直感的に容易に把握することができる。

【0081】

本実施形態では、推定された映像フレーム毎の前記ファクターの推移を示すファクター分析画像を生成する生成部１７を備える。これにより、判定部１３が判定した詳細感情に影響を与えたファクターの推移を可視化することができる。本実施形態の利用者は、ファクター分析画像を見ることで、詳細感情に影響を与えたファクターの推移を直感的容易に把握することができる。

【0082】

＜変形例１＞
以下に上記実施形態の変形例について説明する。上記実施形態では、感情分析装置１に入力される分析対象データとして画像（動画）を用いたが、分析対象データは、画像に限定されない。分析対象データに、音声、テキストなどを用いてもよい。音声は、動画から抽出した音声であってもよい。本変形例の感情分析装置１は、図１に示す感情分析装置１と同様である。

【0083】

分析対象データとしてユーザの音声が感情分析装置１に入力された場合、入力部１１は、音声をテキストに変換し、変換したテキスト（文字列）を形態素解析することで、テキストを所定の長さの文節に区切る。そして、感情分析装置１は、図６に示すフローチャートのＳ１３からＳ１９の処理を、映像フレームのかわりに、文節に区切ったテキスト毎に繰り返し行い、感情分析画像およびファクター分析画像を生成する（Ｓ２０、Ｓ２１）。この場合、感情分析装置１は、音声用（テキスト用）に機械学習させて生成した感情学習モデル１４およびファクター学習モデル１６を用いる。

【0084】

分析対象データとしてテキストが感情分析装置１に入力された場合、感情分析装置１は、音声と同様に、入力されたテキストを所定の長さの文節に区切り、映像フレームのかわりに、文節に区切ったテキストを用いて図６に示すフローチャートのＳ１３以降の処理を行う。

【0085】

本変形例の感情分析装置１は、入力されたユーザの音声またはテキストから推定される、当該ユーザの複数の基本感情の各割合を、外部システム３から取得する取得部１２と、前記音声またはテキストと、複数の基本感情の各割合とを感情学習モデル１４に入力して、前記ユーザの詳細感情を判定する判定部１３と、を備え、前記詳細感情は、前記基本感情より細かく分類された感情である。

【0086】

これにより、本変形例では、上記実施形態と同様に、ユーザの音声またはテキストを入力するだけで、当該ユーザの細かく分類された詳細感情を判定することができる。

【0087】

＜変形例２＞
上記実施形態の感情分析装置１は、会議、面接などにおいて、人（対話相手）とコミュニケーションを取っている状態のユーザの感情を分析する場合について説明したが、本発明は、これに限定されない。例えば、広告、プロモーション動画などのコンテンツの評価に、本実施形態の感情分析装置１を適用してもよい。本変形例の感情分析装置１は、図１に示す感情分析装置１と同様である。

【0088】

具体的には、コンテンツがユーザ（ターゲットユーザ）の感情・感性にどのような影響を与えたのかを分析することで、デジタルにとらえにくいユーザの些細な感情変化を可視化することができる。

【0089】

本変形例では、様々な場所に設置されるディスプレイ装置（例えばデジタルサイネージなど）に表示される広告、プロモーション動画などのコンテンツを視聴しているユーザの顔を撮影できるように、Ｗｅｂカメラを設置する。

【0090】

例えば、ユーザが、ディスプレイ装置に表示されるコンテンツを視聴するために立ち止まり、ディスプレイ装置が備える入力手段（タッチパネル、ボタン、キーボード等）を用いて、コンテンツの開始指示および、および、Ｗｅｂカメラの撮影開始指示を入力する。これにより、ディスプレイ装置はコンテンツを再生し、Ｗｅｂカメラはユーザの顔（表情）を撮影する。また、ディスプレイ装置の前に人感センサを設置し、人感センサがディスプレイ装置の前にユーザがいることを検知して、ディスプレイ装置にコンテンツの再生を指示し、Ｗｅｂカメラに撮影開始を指示してもよい。

【0091】

本変形例の感情分析装置１は、Ｗｅｂカメラが撮影した画像（動画）を入力し、上記実施説明した図６の処理を行うことで、ユーザの詳細感情を判定し、当該詳細感情に影響を与えたファクターを推定する。

【0092】

図１０は、本変形例の複数のファクターの一例を示す図である。ここでは、２１個のファクターを有するものとするが、これに限定されない。また、図示するファクターは、コンテンツを表示するディスプレイ装置に入力手段がある場合を想定したファクターであるが、入力装置がないディスプレイ装置の場合には、操作に関するファクター（例えば、レスポンス性など）は不要である。

【0093】

なお、本変形例の感情分析装置１は、コンテンツ評価用に機械学習させて生成した感情学習モデル１４およびファクター学習モデル１６を用いる。

【0094】

以上説明した本変形例の感情分析装置１は、上記実施形態の感情分析装置１と同様に、 画像に表示されたユーザの複数の基本感情の各割合を、外部システム３から取得する取得部１２と、前記画像と、前記複数の基本感情の各割合とを感情学習モデル１４に入力して、前記ユーザの詳細感情を判定する判定部１３と、を備え、前記詳細感情は、前記基本感情より細かく分類された感情である。詳細感情は、複数の感情指標の各々に設定された各レベルに応じた感情であって、判定部１３は、感情学習モデル１４が出力した各感情指標のレベルを用いて、ユーザの詳細感情を判定する。

【0095】

そして、本変形例の感情分析装置１のユーザは、コンテンツを閲覧しているユーザであって、感情学習モデル１４から出力された各感情指標のレベルを、ファクター学習モデル１６に入力して、コンテンツの評価に関する複数のファクターの中から、判定部１３が判定した詳細感情に影響を与えたファクターを推定する推定部１５を備える。

【0096】

本変形例では、広告、プロモーション動画、デジタルサイネージなどのコンテンツを視聴しているユーザの詳細感情を判定することで、コンテンツを評価することができる。すなわち、ユーザが、コンテンツのどの部分で、どのような感情が発生したかを判定し、コンテンツがユーザに及ぼす影響を分析することができる。

【0097】

また、本変形例では、ユーザの感情変化に影響を与えたファクターを推定することで、企業の広告戦略に寄与するようなコンテンツの作成に役立てることができる。

【0098】

なお、本変形例に入力される分析対象データは、画像（動画）だけでなく、コンテンツを視聴中のユーザが発した音声、コンテンツを視聴したユーザがアンケート調査に答えたテキストなどを用いてもよい。

【0099】

＜ハードウェア＞
上記説明した感情分析装置１は、例えば、図１１に示すような汎用的なコンピュータシステムを用いることができる。図示するコンピュータシステムは、CPU（Central Processing Unit、プロセッサ）９０１と、メモリ９０２と、ストレージ９０３（HDD：Hard Disk Drive、SSD：Solid State Drive）と、通信装置９０４と、入力装置９０５と、出力装置９０６とを備える。メモリ９０２およびストレージ９０３は、記憶装置である。このコンピュータシステムにおいて、CPU９０１がメモリ９０２上にロードされた所定のプログラムを実行することにより、感情分析装置１の機能が実現される。

【0100】

感情分析装置１は、１つのコンピュータで実装されてもよく、あるいは複数のコンピュータで実装されても良い。また、感情分析装置１は、コンピュータに実装される仮想マシンであっても良い。感情分析装置１のプログラムは、HDD、SSD、USB（Universal Serial Bus）メモリ、CD (Compact Disc)、DVD (Digital Versatile Disc)などのコンピュータ読取り可能な記録媒体に記憶することも、ネットワークを介して配信することもできる。

【0101】

なお、本発明は上記実施形態に限定されるものではなく、その要旨の範囲内で数々の変形が可能である。

【符号の説明】

【0102】

１ ：感情分析装置
１１：入力部
１２：取得部
１３：判定部
１４：感情学習モデル
１５：推定部
１６：ファクター学習モデル
１７：生成部
１８：学習部
１９：記憶部
２ ：利用者端末
３ ：外部システム

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】