特開 2018-102519 感情推定方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】特開2018-102519(P2018-102519A)

(43)【公開日】2018年7月5日

(54)【発明の名称】感情推定方法

(51)【国際特許分類】

   A61B 5/16 20060101AFI20180608BHJP

【ＦＩ】

   A61B5/16

【審査請求】未請求

【請求項の数】11

【出願形態】ＯＬ

【全頁数】14

(21)【出願番号】特願2016-251067(P2016-251067)

(22)【出願日】2016年12月26日

【国等の委託研究の成果に係る記載事項】（出願人による申告）国等の委託研究の成果に係る特許出願（平成２８年度、国立研究開発法人科学技術振興機構研究成果展開事業 センター・オブ・イノベーションプログラム「精神的価値が成長する感性イノベーション拠点」委託研究開発、産業技術力強化法第１９条の適用を受ける特許出願）

(71)【出願人】

【識別番号】504136568

【氏名又は名称】国立大学法人広島大学

(74)【代理人】

【識別番号】110001427

【氏名又は名称】特許業務法人前田特許事務所

(72)【発明者】

【氏名】難波 修史

(72)【発明者】

【氏名】中尾 敬

【テーマコード（参考）】

4C038

【Ｆターム（参考）】

4C038PP03

4C038PR01

4C038PR04

(57)【要約】

【課題】人の顔面動作と感情との関連性を明確に特定した上で人の顔面動作からその人の感情を推定する。
【解決手段】特定の感情を生起させる刺激を被験者に与え、与えた刺激により何らかの感情が生起した被験者の各種顔面動作を測定し、与えた刺激により被験者に生起した各種感情の主観評定値を取得し、多数の被験者を対象に上記ステップを実行し、測定した各種顔面動作を目的変数とし、取得した各種感情の主観評定値を説明変数として回帰分析を行って、顔面動作別の感情予測モデルを構築し、構築した各感情予測モデルにおいて有意差のある感情をその感情予測モデルに係る顔面動作に関連する感情であると特定し、特定した顔面動作と感情との関連性に基づいて、人の顔面動作からその人の感情を推定する。
【選択図】図２

【特許請求の範囲】

【請求項1】

特定の感情を生起させる刺激を被験者に与える第１のステップと、
前記第１のステップで与えた刺激により何らかの感情が生起した被験者の各種顔面動作を測定する第２のステップと、
前記第１のステップで与えた刺激により被験者に生起した各種感情の主観評定値を取得する第３のステップと、
多数の被験者を対象に前記第１のステップ、前記第２のステップおよび前記第３のステップを実行し、前記第２のステップで測定した各種顔面動作を目的変数とし、前記第３のステップで取得した各種感情の主観評定値を説明変数として回帰分析を行って、顔面動作別の感情予測モデルを構築する第４のステップと、
前記第４のステップで構築した各感情予測モデルにおいて有意差のある感情をその感情予測モデルに係る顔面動作に関連する感情であると特定する第５のステップと、
前記第５のステップで特定した顔面動作と感情との関連性に基づいて、人の顔面動作からその人の感情を推定する第６のステップとを備えた感情推定方法。

【請求項2】

前記第３のステップで取得する各種感情の主観評定値が怒り、驚き、悲しみ、恐怖、軽蔑、嫌悪および幸福の７感情の主観評定値である、請求項１に記載の感情推定方法。

【請求項3】

前記第１のステップで被験者に与える刺激が被験者に特定の感情の経験記憶を想起させる刺激である、請求項２に記載の感情推定方法。

【請求項4】

前記第１のステップで被験者に与える刺激が視覚的および聴覚的刺激である、請求項３に記載の感情推定方法。

【請求項5】

前記第４のステップにおける目的変数値が各種顔面動作の表出の有無を表す２値である、請求項２ないし４のいずれかに記載の感情推定方法。

【請求項6】

前記第４のステップにおける目的変数値が各種顔面動作の表出回数である、請求項２ないし４のいずれかに記載の感情推定方法。

【請求項7】

前記第３のステップで取得する各種感情の主観評定値が快／不快および活性／非活性の２感情の主観評定値である、請求項１に記載の感情推定方法。

【請求項8】

前記第１のステップで被験者に与える刺激が視覚的刺激である、請求項７に記載の感情推定方法。

【請求項9】

前記第２のステップにおいて被験者の感情がピークに達したときの各種顔面動作を測定し、
前記第４のステップにおける目的変数値が各種顔面動作の表出の有無を表す２値である、請求項７または８に記載の感情推定方法。

【請求項10】

前記第２のステップで測定する顔面動作がＦＡＣＳ（Facial Action Coding System）に準拠したコードにより表される、請求項１ないし９のいずれかに記載の感情推定方法。

【請求項11】

前記第１のステップにおいて、さらに、特定の感情に偏らない中立的な感情を生起させる刺激を被験者に与える、請求項１ないし１０のいずれかに記載の感情推定方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、感情推定方法に関し、特に、人の表情からその人の感情を推定する方法に関する。

【背景技術】

【0002】

人の表情と感情とには密接な関連性があり、人が何らかの感情を抱いたとき、その感情は無意識に表情となって現れることがある。したがって、そのような原因（すなわち感情の生起）と結果（すなわち表情の表出）を逆に辿れば、人の表情を観察することでその人が抱いている感情を推定することが可能である。

【0003】

例えば、下記特許文献１には、人の表情の中でも特に眼と口に着目し、口、右眼および左眼の各形状をフーリエ記述子を用いて定量的に表して、あらかじめ設定されている複数の基本感情に関する感情確信度を求め、各表情要素ごとの重要度を加味して人の心理状態を推定することが記載されている。

【0004】

また、下記特許文献２には、人の表情を時系列で撮影して推定対象期間における表情の時間的変化に関わる特徴を検出し、その検出した特徴に基づいて推定対象期間において人が抱いた感情を推定することが記載されている。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２００７−６５９６９号公報

【特許文献2】特開２０１６−１４９０６３号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

上記特許文献１，２では人の表情要素と特定の感情との関連性をあらかじめ定義しておく必要があるが、表情と感情との関連性については未知の部分も多く、その定義がどのような根拠に基づいてなされたものなのか明確にされていない。したがって、上記特許文献１，２では、人の表情要素と特定の感情とが必ずしも適切に関連づけられているとは言い得ない。

【0007】

上記問題に鑑み、本開示は、人の表情、特に人の顔面動作と感情との関連性を明確に特定した上で人の顔面動作からその人の感情を推定することを課題とする。

【課題を解決するための手段】

【0008】

本開示に係る感情推定方法は、特定の感情を生起させる刺激を被験者に与える第１のステップと、第１のステップで与えた刺激により何らかの感情が生起した被験者の各種顔面動作を測定する第２のステップと、第１のステップで与えた刺激により被験者に生起した各種感情の主観評定値を取得する第３のステップと、多数の被験者を対象に第１のステップ、第２のステップおよび第３のステップを実行し、第２のステップで測定した各種顔面動作を目的変数とし、第３のステップで取得した各種感情の主観評定値を説明変数として回帰分析を行って、顔面動作別の感情予測モデルを構築する第４のステップと、第４のステップで構築した各感情予測モデルにおいて有意差のある感情をその感情予測モデルに係る顔面動作に関連する感情であると特定する第５のステップと、第５のステップで特定した顔面動作と感情との関連性に基づいて、人の顔面動作からその人の感情を推定する第６のステップとを備えている。

【0009】

これによると、多数の被験者を対象に、特定の感情を生起させる刺激を被験者に与えたときに測定される各種顔面動作と生起した各種感情の主観評定値に基づいて感情予測モデルが構築され、当該感情予測モデルに基づいて各種顔面動作と各種感情との関連性が特定され、当該特定された顔面動作と感情との関連性に基づいて、人の顔面動作からその人の感情を推定することができる。

【0010】

第３のステップで取得する各種感情の主観評定値が怒り、驚き、悲しみ、恐怖、軽蔑、嫌悪および幸福の７感情の主観評定値であってもよい。

【0011】

これによると、各種顔面動作と７感情との関連性が特定され、それに基づいて人の顔面動作からその人の感情を推定することができる。

【0012】

第１のステップで被験者に与える刺激が被験者に特定の感情の経験記憶を想起させる刺激であってもよい。

【0013】

これによると、被験者の経験記憶に基づいて生起する感情から感情予測モデルを構築することができる。

【0014】

第１のステップで被験者に与える刺激が視覚的および聴覚的刺激であってもよい。

【0015】

これによると、被験者に視覚的および聴覚的な複合的な刺激を与えることにより被験者により強い感情を生起させることができ、そのような強い感情が各種感情の主観評定値に反映され、より信頼性の高い感情予測モデルを構築することができる。

【0016】

第４のステップにおける目的変数値が各種顔面動作の表出の有無を表す２値であってもよい。あるいは、第４のステップにおける目的変数値が各種顔面動作の表出回数であってもよい。

【0017】

このように、第４のステップにおける目的変数値が取り得る値は任意である。例えば、目的変数値に２値を採用する場合には、被験者の感情がピークに達したときの各種顔面動作を測定すればよいため、より短時間で測定を終えることができる。一方、目的変数に各種顔面動作の表出回数を採用する場合には、被験者の各種顔面動作の測定を一定期間続ける必要があるため測定時間が長くなるが、ある顔面動作の表出回数は多いが別の顔面動作の表出回数は少ないといった各種顔面動作の表出度合いを知ることができる。

【0018】

第３のステップで取得する各種感情の主観評定値が快／不快および活性／非活性の２感情の主観評定値であってもよい。

【0019】

これによると、感情予測モデルにおける説明変数が２つに削減されるため、個人差による誤差の影響を極力排除した感情予測モデルを構築することができる。

【0020】

第１のステップで被験者に与える刺激が視覚的刺激であってもよい。

【0021】

これによると、被験者に与える刺激が視覚的な刺激だけ、例えば、映像を見せるだけで済むため、より簡易な方法で被験者に特定の感情を生起させる刺激を与えることができる。

【0022】

第２のステップにおいて被験者の感情がピークに達したときの各種顔面動作を測定し、第４のステップにおける目的変数値が各種顔面動作の表出の有無を表す２値であってもよい。

【0023】

これによると、被験者のピークの感情に基づく、より信頼性の高い感情予測モデルを構築することができる。

【0024】

第２のステップで測定する顔面動作がＦＡＣＳ（Facial Action Coding System）に準拠したコードにより表されてもよい。

【0025】

これによると、ＦＡＣＳを用いて人の顔面動作をより適切に測定することができる。

【0026】

第１のステップにおいて、さらに、特定の感情に偏らない中立的な感情を生起させる刺激を被験者に与えてもよい。

【0027】

これによると、感情予測モデルから被験者に潜在する感情の影響を除去して、より信頼性の高い感情予測モデルを構築することができる。

【発明の効果】

【0028】

以上説明したように、本開示に係る感情推定方法によると、人の顔面動作と感情との関連性を明確に特定した上で人の顔面動作からその人の感情を推定することができる。

【図面の簡単な説明】

【0029】

【図1】本開示に係る感情推定方法を実施するための装置構成を示す図

【図2】本開示に係る感情推定方法の実施手順を示すフローチャート

【図3】第１の実施例に係る実験の概略を説明する図

【図4】第１の実施例の感情主観評定での質問内容を示す図

【図5】第１の実施例で特定されたＡＵ２３と各種感情との関連性を説明する図

【図6】第１の実施例で特定されたＡＵ２８と各種感情との関連性を説明する図

【図7】第２の実施例に係る実験の概略を説明する図

【図8】第２の実施例の感情主観評定での質問内容を示す図

【図9】第２の実施例で特定されたＡＵ１２と各種感情との関連性を説明する図

【図10】第２の実施例で特定されたＡＵ６と各種感情との関連性を説明する図

【発明を実施するための形態】

【0030】

以下、適宜図面を参照しながら、実施の形態を詳細に説明する。ただし、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。

【0031】

なお、発明者は、当業者が本発明を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。

【0032】

≪感情推定方法の実施装置の構成例≫
まず、本開示に係る感情推定方法を実施するための装置構成について説明する。図１は、本開示に係る感情推定方法を実施するための装置構成例を示す。実施装置１００は、例えば、ディスプレイ１０と、スピーカー２０と、カメラ３０と、コンピュータ４０とを備えている。

【0033】

ディスプレイ１０は、被験者２００に視覚的な刺激、すなわち、刺激映像を表示する。ディスプレイ１０に表示される刺激映像は、動画、静止画、単なる文字情報などである。

【0034】

スピーカー２０は、ディスプレイ１０での映像表示に合わせて、被験者２００に聴覚的な刺激、すなわち、刺激音を出力する。スピーカー２０から出力される刺激音は、音楽、音声、自然音、効果音、ノイズ音などである。

【0035】

カメラ３０は、ディスプレイ１０およびスピーカー２０により視覚的および聴覚的刺激が与えられている最中の被験者２００の表情を撮影する。

【0036】

コンピュータ４０は、ディスプレイ１０、スピーカー２０およびカメラ３０に接続されており、ディスプレイ１０における映像の表示制御、およびスピーカー２０の出音制御を行う。すなわち、コンピュータ４０は、ディスプレイ１０に上記の刺激映像を一定時間および一定回数表示させるとともに、刺激映像の提示に合わせてスピーカー２０から上記の刺激音を出力させる。

【0037】

また、コンピュータ４０は、カメラ３０から撮像データを取得し、さらに被験者２００による各種感情の主観評定値を取得し、これら取得した情報を処理することで、顔面動作と感情とを関連づけた感情予測モデルを構築する。そして、コンピュータ４０は、感情予測モデルにより表される顔面動作と感情との関連性に基づいて、人の顔面動作からその人の感情を推定する。

【0038】

≪感情推定方法の実施手順≫
次に、本開示に係る感情推定方法の実施手順について説明する。図２は、本開示に係る感情推定方法の実施手順を示すフローチャートである。

【0039】

Ｓ１：コンピュータ４０がディスプレイ１０およびスピーカー２０を制御して、特定の感情を生起させる刺激を被験者に与える。例えば、コンピュータ４０は、ディスプレイ１０に悲しげな映像を表示するとともにスピーカー２０から悲しげな音楽を出力することで、被験者に、悲しみの感情を生起させる刺激を与える。

【0040】

なお、ステップＳ１で被験者に与える刺激は映像単独または音単独であってもよいし、それ以外に触覚、味覚、痛覚、嗅覚などによる刺激であってもよい。要は、被験者に特定の感情を生起させることができるものであれば、どのような手段の刺激であってもよい。

【0041】

Ｓ２：ステップＳ１で与えられた刺激により被験者に何らかの感情が生起すると、その感情は無意識にその被験者の表情となって現れる。そこで、カメラ３０で被験者を撮影して被験者の表情を捉え、コンピュータ４０がその撮影データを処理して被験者の各種顔面動作を測定する。なお、被験者が意識して表情を作るあるいは表情を抑制することがないように、カメラ３０で撮影することは被験者には伏せておく。

【0042】

ここで、顔面動作の記述手段として、P.Ekman、W.V.Friesenらによって開発されたＦＡＣＳ（Facial Action Coding System）を利用することができる。ＦＡＣＳは、表情筋の解剖学的知見に基づいて、人の顔面動作を複数の動作単位（ＡＵ：Action Unit）で包括的かつ客観的に記述する方法である。次表にＦＡＣＳの代表的なＡＵを示す。

【0043】

【表1】

【0044】

なお、ステップＳ２での各種顔面動作の測定精度を上げるために、認定ＦＡＣＳコーダー、すなわち、人が補助的にまたはコンピュータ４０に代わって被験者の各種顔面動作を記述するようにしてもよい。

【0045】

Ｓ３：被験者に、ステップＳ１で刺激が与えられることで自身に生起した各種感情の主観評定をしてもらい、コンピュータ４０がその主観評定値を取得する。例えば、悲しみの感情を生起させる刺激が与えられた被験者には、悲しみの感情だけでなく、場合によっては怒りや恐れの感情も生起することがある。そこで、被験者に生起した各種感情の度合いを知るために、被験者に主観評定をしてもらう。

【0046】

ここで、各種感情として、怒り、驚き、悲しみ、恐怖、軽蔑、嫌悪および幸福の７感情を採用することができる。あるいは、各種感情として、ラッセルの円環モデルに基づく快／不快および活性／非活性の２感情を採用することができる。

【0047】

なお、被験者がコンピュータ４０のユーザーインターフェイスを通じて各種感情の主観評定値をコンピュータ４０に入力してもよいし、質問紙に記入する形で被験者に主観評定をしてもらってその質問紙をコンピュータ４０が読み取るようにしてもよい。

【0048】

Ｓ４：上記のステップＳ１、ステップＳ２およびステップＳ３を多数の被験者を対象に実行し、各種顔面動作および各種感情の主観評定値に関する多くのデータを収集する。そして、コンピュータ４０が、当該収集したデータを統計学的手法で処理する。具体的には、コンピュータ４０が、各種顔面動作を目的変数とし、各種感情の主観評定値を説明変数として回帰分析を行って、顔面動作別の感情予測モデルを構築する。なお、目的変数値として、各種顔面動作の表出の有無を表す２値、または、各種顔面動作の表出回数を用いることができる。

【0049】

例えば、顔面動作ＡＵ＊（ただし、＊はＡＵ番号であり、ＡＵ番号の組み合わせもあり得る。）を目的変数とし、怒り、驚き、悲しみ、恐怖、軽蔑、嫌悪および幸福の７感情の主観評定値を説明変数とすると、顔面動作ＡＵ＊の感情予測モデルは次式で表される。

【0050】

ＡＵ＊＝β＋α_１×（怒り）＋α_２×（驚き）＋α_３×（悲しみ）＋α_４×（恐怖）＋α_５×（軽蔑）＋α_６×（嫌悪）＋α_７×（幸福）
ここで、βは切片、（○○）は各種感情の主観評定値、αは各種感情の主観評定値に対する係数である。

【0051】

なお、コンピュータ４０は、感情予測モデルを構築するに当たってＡＩＣ基準に基づくモデル選択を行ってもよい。具体的には、統計プログラム言語であるＲ言語における関数Ｓｔｅｐ（）を用いることでモデル選択を行うことができる。これにより、説明変数が削減された予測誤差の小さいモデルを選択することができる。

【0052】

Ｓ５：コンピュータ４０が、各感情予測モデルごとに有意差のある説明変数を特定する。例えば、ｔ検定において危険率が５％以下の説明変数を有意差のある説明変数であると特定する。そして、コンピュータ４０が、有意差のある説明変数に対応する感情をその感情予測モデルに係る顔面動作に関連する感情であると特定する。例えば、ＡＵ２３の感情予測モデルにおいて、怒り、悲しみ、嫌悪の３感情に有意差が見られる場合、ＡＵ２３（上下唇の緊張）は、怒り、悲しみ、嫌悪の３感情に関連する特定される。これにより、各種顔面動作と各種感情との関連性が明らかになる。

【0053】

Ｓ６：コンピュータ４０が、ステップＳ５で特定した顔面動作と感情との関連性に基づいて、人の顔面動作からその人の感情を推定する。例えば、人の表情からＡＵ２３が測定された場合、コンピュータ４０は、後述するように、その人に悲しみおよび嫌悪の感情が生起しているが怒りの感情は生起していないと推定する。これにより、人の表情から少なくとも一つの顔面動作を測定できれば、その人に生起している少なくとも一つの感情を推定することができる。すなわち、人の表情のごく一部分の情報から、複雑に入り組んだ感情を精度よく推定することができる。

【0054】

次に、上述の感情推定方法の実施例、特に、感情予測モデルを構築し、顔面動作と感情との関連性を特定する実施例について説明する。

【0055】

≪第１の実施例（怒り、驚きなどの７感情に基づくモデル例）≫
図３は、第１の実施例に係る実験の概略を説明する図である。第１の実施例には２８名の被験者が参加した。

【0056】

まず、ディスプレイ１０に固視点を１．５秒間表示して被験者にそれを注視してもらい、その後、ディスプレイ１０に悲しみの経験記憶を想起させるスクリプトを表示する。ここでの経験記憶とは、特定の感情に関する体験や記憶のことをいう。当該スクリプトは、被験者からあらかじめ聞き取りした悲しみの体験談を綴ったものである。すなわち、被験者に悲しい体験を思い出してもらって被験者に悲しみの感情を生起させる。また、悲しみの体験談のスクリプト表示に合わせて、スピーカー２０から悲しげな音楽を流す。体験談のスクリプトが最後まで表示されると、ディスプレイ１０に「体験に集中してください」と表示して、被験者に３０秒間、悲しい体験に集中してもらってより深い悲しみに誘う。

【0057】

上記試行を２回繰り返した後、被験者に各種感情の主観評定をしてもらう。図４は、第１の実施例の感情主観評定での質問内容を示す。例えば、図４に示したような質問内容が記載された質問紙を被験者に配布し、被験者に、怒り、驚き、悲しみ、恐怖、軽蔑、嫌悪および幸福の７感情について０から８までの９段階で主観評定をしてもらう。

【0058】

また、実験試行中にカメラ３０で被験者の表情を撮影する。そして、被験者が悲しみの経験記憶を想起中に当該被験者の表情に表出する顔面動作をＦＡＣＳに基づいて記述する。なお、カメラ３０で撮影していることは被験者には伏せておく。これは、被験者がカメラ３０で撮影されていることを知って意識的に表情を作るあるいは表情を抑制することを防ぐためである。

【0059】

さらに、特定の感情に偏らない中立的な感情を生起させる刺激を被験者に与えて上記と同様に被験者に各種感情の主観評定をしてもらう。例えば、日常生活における何気ない出来事（例えば、「私は昨日家に帰って洗濯物を畳み、それからテレビを見ながら夕食をとった」など）を綴ったスクリプトをディスプレイ１０に表示して被験者に見せるとともに特定の感情を生起させないような中立的な音楽をスピーカー２０から流し、その後、被験者に各種感情の主観評定をしてもらう。

【0060】

このように特定の感情に偏らない中立的な感情を生起させる刺激を与えたときに生起する各種感情の主観評定値も採取する理由は、被験者には常に何らかの感情が潜在している、例えば、常に幸福感を感じているということが想定されるため、そのような潜在的な感情も考慮するためである。このように、特定の感情に偏らない中立的な感情を生起させる刺激を与えたときの被験者の各種感情の主観評定値を取得することで、感情予測モデルから被験者の潜在的な感情の影響を除去することができる。

【0061】

上記実験を通じて得られるデータをまとめると次表のようになる。

【0062】

【表2】

【0063】

なお、ＩＤ番号は被験者の識別番号であり、第１の実施例ではｎ＝２８である。ａ_ｉ（ｉ＝１，２，…，ｎ）はＡＵ＊（ただし、＊はＡＵ番号であり、ＡＵ番号の組み合わせもあり得る。）の測定値であり、下述のステップワイズ・ロジスティック回帰分析を行う場合には０または１、ステップワイズ・ポアソン回帰分析を行う場合には０以上の整数値である。ｂ_ｉｊ（ｉ＝１，２，…，ｎ、ｊ＝１，２，…，７）は図４の質問紙に回答してもらった感情の主観評定値であり、０から８までの整数である。

【0064】

上記実験を通じて得られたデータをコンピュータ４０を用いて回帰分析することで感情予測モデルが生成される。回帰分析の手法としてさまざまなものがあるが、ここではＡＩＣ基準に基づくステップワイズ・ロジスティック回帰分析およびステップワイズ・ポアソン回帰分析を行った。以下、各回帰分析により生成された感情予測モデルについて説明する。

【0065】

＜ＡＩＣ基準に基づくステップワイズ・ロジスティック回帰分析結果＞
上記実験を通じて得られたデータについてＡＩＣ基準に基づくステップワイズ・ロジスティック回帰分析を行ったところ、ＡＵ１４（唇端の緊張）、ＡＵ２３（上下唇の緊張）、ＡＵ２８（唇を口の中に押し込む）、ＡＵ１４＋２３（唇端の緊張および上下唇の緊張）について次のような感情予測モデルが得られた。

【0066】

【数1】

【0067】

なお、有意差が見られたパラメータは四角枠で囲んでいる。

【0068】

図５は、第１の実施例で特定されたＡＵ２３と各種感情との関連性を説明する図である。ＡＵ２３の感情予測モデルからＡＵ２３（上下唇の緊張）と悲しみおよび嫌悪との間には正の関連性があり、ＡＵ２３と怒りとの間には負の関連性があることがわかる。このことから、人の表情にＡＵ２３が表出した場合、その人に悲しみと嫌悪の感情が生起しており、怒りの感情は生起していないであろうと推定することができる。具体的には、ＡＵ２３が表出するとは、目的変数としてのＡＵ２３の値が「１」となることである。ＡＵ２３の感情予測モデルにおいて、パラメータ（軽蔑）および（幸福）には有意差が見られず、有意差が見られたパラメータ（嫌悪）および（悲しみ）には正の関連性、パラメータ（怒り）には負の関連性があることから、パラメータ（嫌悪）および（悲しみ）が大きな値を示し、パラメータ（怒り）が小さな値（ほぼゼロ）を示さないと、ＡＵ２３が表出しないことが理解できる。つまり、ＡＵ２３が表出することは、嫌悪および悲しみの感情がかなり大きく、怒りの感情はほとんどないことがわかる。

【0069】

図６は、第１の実施例で特定されたＡＵ２８と各種感情との関連性を説明する図である。ＡＵ２８の感情予測モデルからＡＵ２８（唇を口の中に押し込む）と悲しみとの間には正の関連性があることがわかる。このことから、人の表情にＡＵ２８が表出した場合、その人に悲しみの感情が生起している推定することができる。具体的には、ＡＵ２８が表出するとは、目的変数としてのＡＵ２８の値が「１」となることである。ＡＵ２８の感情予測モデルにおいて、パラメータ（驚き）および（軽蔑）には有意差が見られず、有意差が見られたパラメータ（悲しみ）には正の関連性があることから、パラメータ（悲しみ）が大きな値を示さないと、ＡＵ２８が表出しないことが理解できる。つなり、ＡＵ２８が表出することは、悲しみの感情がかなり大きいことがわかる。

【0070】

その他、ＡＵ１４の感情予測モデルからＡＵ１４（唇端の緊張）と悲しみとの間に正の関連性があることがわかる。また、ＡＵ１４＋２３の感情予測モデルからＡＵ１４＋２３（唇端の緊張および上下唇の緊張）と悲しみおよび嫌悪との間には正の関連性があり、ＡＵ１４＋２３と怒りとの間には負の関連性があることがわかる。

【0071】

＜ＡＩＣ基準に基づくステップワイズ・ポアソン回帰分析結果＞
上記実験を通じて得られたデータについてＡＩＣ基準に基づくステップワイズ・ポアソン回帰分析を行ったところ、ＡＵ１４（唇端の緊張）、ＡＵ２３（上下唇の緊張）について次のような感情予測モデルが得られた。

【0072】

【数2】

【0073】

なお、有意差が見られたパラメータは四角枠で囲んでいる。

【0074】

ＡＵ１４の感情予測モデルからＡＵ１４（唇端の緊張）と悲しみおよび嫌悪との間には正の関連性があり、ＡＵ１４と恐怖および幸福との間には負の関連性があることがわかる。また、ＡＵ２３の感情予測モデルからＡＵ２３（上下唇の緊張）と悲しみおよび嫌悪との間には正の関連性があり、ＡＵ２３と怒りおよび恐怖との間には負の関連性があることがわかる。

【0075】

≪第２の実施例（ラッセルの２感情の円環モデル例）≫
図７は、第２の実施例に係る実験の概略を説明する図である。第２の実施例には２８名の被験者が参加した。

【0076】

第２の実施例では、嫌悪、驚きおよび幸福の各感情を生起させる３種類の映像を用意し、まず１番目の映像を被験者に視聴してもらい、当該映像の視聴後に被験者に各種感情の主観評定をしてもらう。次に２番目の映像を被験者に視聴してもらい、当該映像の視聴後に被験者に各種感情の主観評定をしてもらう。最後に３番目の映像を被験者に視聴してもらい、当該映像の視聴後に被験者に各種感情の主観評定をしてもらう。

【0077】

図８は、第２の実施例の感情主観評定での質問内容を示す。例えば、図８に示したような質問内容が記載された質問紙を被験者に配布し、被験者に、ラッセルの円環モデルに基づく快／不快および活性／非活性の２感情について１から９までの９段階で主観評定をしてもらう。

【0078】

また、実験試行中にカメラ３０で被験者の表情を撮影する。そして、被験者が映像の視聴中に当該被験者の表情に表出する顔面動作をＦＡＣＳに基づいて記述する。ただし、映像の視聴中に被験者の感情がピークに達したときの各種顔面動作を測定する。したがって、第２の実施例では各種顔面動作が表出したか否かを測定する。なお、カメラ３０で撮影していることは被験者には伏せておく。これは、被験者がカメラ３０で撮影されていることを知って意識的に表情を作るあるいは表情を抑制することを防ぐためである。

【0079】

上記実験を通じて得られたデータをコンピュータ４０を用いて回帰分析することで感情予測モデルが生成される。第２の実施例では目的変数値が各種顔面動作が表出したか否かの２値で表されるため、ＡＩＣ基準に基づくステップワイズ・ロジスティック回帰分析により感情予測モデルを生成する。例えば、ＡＵ２（外眉の上昇）、ＡＵ６（眼輪筋の緊張；目が笑っている）、ＡＵ１２（唇の端を引っ張る；笑顔）について次のような感情予測モデルが得られた。

【0080】

【数3】

【0081】

なお、有意差が見られたパラメータは四角枠で囲んでいる。

【0082】

図９は、第２の実施例で特定されたＡＵ１２と各種感情との関連性を説明する図である。ＡＵ１２の感情予測モデルからＡＵ１２（唇の端を引っ張る；笑顔）と活性／非活性との間には負の関連性があることがわかる。このことから、人の表情にＡＵ１２に表出した場合、その人の活性レベルが低いと推定することができる。

【0083】

図１０は、第２の実施例で特定されたＡＵ６と各種感情との関連性を説明する図である。ＡＵ６の感情予測モデルからＡＵ６（眼輪筋の緊張；目が笑っている）と快／不快との間には正の関連性があることがわかる。このことから、人の表情にＡＵ６に表出した場合、その人が快いと感じていると推定することができる。

【0084】

その他、ＡＵ２の感情予測モデルからＡＵ２と活性／非活性との間に正の関連性があることがわかる。

【0085】

以上説明したように、本開示に係る感情推定方法によると、人の顔面動作と感情との関連性を明確に特定した上で人の顔面動作からその人の感情を推定することができる。

【0086】

以上、本発明における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。

【0087】

したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。

【0088】

また、上述の実施の形態は、本発明における技術を例示するためのものであるから、特許請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。

【産業上の利用可能性】

【0089】

本開示に係る感情推定方法は、例えば、人の顔を撮像し、その人の顔面動作やその他の生理指標を用いるなどしてその人の感情を推定する感情メーターの基礎技術として有用である。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】