特許 7008385 感情推定装置、感情推定方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2022-01-13

(45)【発行日】2022-01-25

(54)【発明の名称】感情推定装置、感情推定方法、及びプログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20220118BHJP

【ＦＩ】

G06T7/00 660A

【請求項の数】 5

(21)【出願番号】P 2021557258

(86)(22)【出願日】2021-06-11

(86)【国際出願番号】 JP2021022419

【審査請求日】2021-09-24

【早期審査対象出願】

(73)【特許権者】

【識別番号】518237129

【氏名又は名称】株式会社ライフクエスト

(74)【代理人】

【識別番号】100123618

【弁理士】

【氏名又は名称】雨宮 康仁

(72)【発明者】

【氏名】浜口 玲央

(72)【発明者】

【氏名】香山 哲

【審査官】山田 辰美

(56)【参考文献】

【文献】特開２０１９－２００６５６（ＪＰ，Ａ）

【文献】特開２００２－０９１４８２（ＪＰ，Ａ）

【文献】米国特許出願公開第２００３／０１８２１２３（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ７／００－７／９０

(57)【特許請求の範囲】

【請求項1】

被験者に表情を指示するガイダンスに従って該表情が変化する該被験者の顔を撮像する撮像部（１３）と、
前記撮像部（１３）で撮像して得られた前記被験者の顔の画像から、該被験者の顔に表れる微表情を検出し、該検出した微表情の種類毎の割合に基づいて、該被験者の感情を推定し、前記微表情を検出できなかった場合、前記撮像部（１３）で撮像して得られた前記被験者の顔の画像から、前記被験者の表情の変化速度を求め、該変化速度に基づいて、該被験者の感情を推定する制御部（１４）と、
を備える感情推定装置（１）。

【請求項2】

前記制御部（１４）は、検出した微表情をタイプ別に分類し、該タイプ別に分類した各微表情の割合に基づいて、該被験者の感情を推定する、
ことを特徴とする請求項１に記載の感情推定装置（１）。

【請求項3】

前記感情毎に、前記表情の変化速度のパターンを対応付けて登録する変化速度パターンテーブル（３）をさらに備え、
前記制御部（１４）は、前記変化速度パターンテーブル（３）において、前記被験者の顔の画像から求めた前記表情の変化速度のパターンに対応する前記感情を、前記被験者の感情として推定する、
ことを特徴とする請求項１に記載の感情推定装置（１）。

【請求項4】

撮像部（１３）が、被験者に表情を指示するガイダンスに従って該表情が変化する該被験者の顔を撮像し、
制御部（１４）が、前記撮像部（１３）で撮像して得られた前記被験者の顔の画像から、該被験者の顔に表れる微表情を検出し、
該制御部（１４）が、該検出した微表情の種類毎の割合に基づいて、該被験者の感情を推定し、前記微表情を検出できなかった場合、前記撮像部（１３）で撮像して得られた前記被験者の顔の画像から、前記被験者の表情の変化速度を求め、該変化速度に基づいて、該被験者の感情を推定する、
ことを特徴とする感情推定方法。

【請求項5】

コンピュータに、
被験者に表情を指示するガイダンスに従って該表情が変化する該被験者の顔を撮像する手順と、
該撮像して得られた前記被験者の顔の画像から、該被験者の顔に表れる微表情を検出する手順と、
該検出した微表情の種類毎の割合に基づいて、該被験者の感情を推定し、前記微表情を検出できなかった場合、前記撮像して得られた前記被験者の顔の画像から、前記被験者の表情の変化速度を求め、該変化速度に基づいて、該被験者の感情を推定する手順と、
を実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、感情推定装置、感情推定方法、及びプログラムに関し、特に、感情を正確に推定可能な感情推定装置、感情推定方法、及びプログラムに関する。

【背景技術】

【0002】

人物の表情を認識してその人物の感情を推定する感情推定装置が知られている（例えば特許文献１参照）。なお、本明細書中に特許文献１の明細書、特許請求の範囲、図面全体を参考として取り込むものとする。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２００８－１４６３１８号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、人間は、表情を作ることができる。また、人間の感情は、一つではなく、様々な感情が複雑に入り組んでいる。このため、単純に表情のみから人間の感情を正確に推定することはできない。

【0005】

本発明は、上記の課題を解決するためになされたものであって、感情を正確に推定可能な感情推定装置、感情推定方法、及びプログラムを提供することを目的とする。

【課題を解決するための手段】

【0006】

上記の目的を達成するため、本発明の第１の観点に係る感情推定装置（１）は、被験者の顔を撮像する撮像部（１３）と、前記撮像部（１３）で撮像して得られた前記被験者の顔の画像から、該被験者の顔に表れる微表情を検出し、該検出した微表情の種類毎の割合に基づいて、該被験者の感情を推定する制御部（１４）と、を備える。

【0007】

上記の感情推定装置（１）において、前記制御部（１４）は、検出した微表情をタイプ別に分類し、該タイプ別に分類した各微表情の割合に基づいて、該被験者の感情を推定する、ことを特徴とする。

【0008】

上記の感情推定装置（１）において、前記撮像部（１３）は、前記被験者に表情を指示するガイダンスに従って該表情が変化する該被験者の顔を撮像し、前記制御部（１４）は、前記微表情を検出できなかった場合、前記撮像部（１３）で撮像して得られた前記被験者の顔の画像から、前記被験者の表情の変化速度を求め、該変化速度に基づいて、該被験者の感情を推定する、ことを特徴とする。

【0009】

上記の感情推定装置（１）は、前記感情毎に、前記表情の変化速度のパターンを対応付けて登録する変化速度パターンテーブル（３）をさらに備え、前記制御部（１４）は、前記変化速度パターンテーブル（３）において、前記被験者の顔の画像から求めた前記表情の変化速度のパターンに対応する前記感情を、前記被験者の感情として推定する、ことを特徴とする。

【0010】

本発明の第２の観点に係る感情推定装置（１）は、被験者に表情を指示するガイダンスに従って表情が変化する被験者の顔を撮像する撮像部（１３）と、前記撮像部（１３）で撮像して得られた前記被験者の顔の画像から、前記被験者の表情の変化速度を求め、該変化速度に基づいて、該被験者の感情を推定する制御部（１４）と、を備える。

【0011】

本発明の第３の観点に係る感情推定方法は、撮像部（１３）が、被験者の顔を撮像し、制御部（１４）が、前記撮像部（１３）で撮像して得られた前記被験者の顔の画像から、該被験者の顔に表れる微表情を検出し、該制御部（１４）が、該検出した微表情の種類毎の割合に基づいて、該被験者の感情を推定する、ことを特徴とする。

【0012】

本発明の第４の観点に係る感情推定方法は、撮像部（１３）が、被験者に表情を指示するガイダンスに従って表情が変化する被験者の顔を撮像し、制御部（１４）が、前記撮像部（１３）で撮像して得られた前記被験者の顔の画像から、前記被験者の表情の変化速度を求め、制御部（１４）が、該変化速度に基づいて、該被験者の感情を推定する、ことを特徴とする。

【0013】

本発明の第５の観点に係るプログラムは、コンピュータに、被験者の顔を撮像する手順と、該撮像して得られた前記被験者の顔の画像から、該被験者の顔に表れる微表情を検出する手順と、該検出した微表情の種類毎の割合に基づいて、該被験者の感情を推定する手順と、を実行させる。

【0014】

本発明の第６の観点に係るプログラムは、コンピュータに、被験者に表情を指示するガイダンスに従って表情が変化する被験者の顔を撮像する手順と、該撮像して得られた前記被験者の顔の画像から、前記被験者の表情の変化速度を求める手順と、該変化速度に基づいて、該被験者の感情を推定する手順と、を実行させる。

【発明の効果】

【0015】

本発明によれば、感情を正確に推定可能な感情推定装置、感情推定方法、及びプログラムを提供することができる。

【図面の簡単な説明】

【0016】

【図1】本実施形態に係る感情推定装置の構成例を示すブロック図である。

【図2】ガイダンステーブルの構成例を示す図である。

【図3】変化速度パターンテーブルの構成例を示す図である。

【図4】感情推定処理の詳細を示すフローチャートである。

【発明を実施するための形態】

【0017】

以下、本発明を実施するための最良の形態について説明する。

【0018】

まず、本発明の実施形態に係る感情推定装置の構成について図面を参照しつつ説明する。

【0019】

本実施形態に係る感情推定装置は、被験者の顔に表れる微表情から、被験者の感情を推定するもので、例えば汎用のスマートフォンや、タブレットコンピュータ、パーソナルコンピュータ等から構成される。

【0020】

ここで、「微表情」とは、抑制された感情に基づいて一瞬表れて消える極めて素早い顔の動きであって、無意識に表出され得るものである。微表情が表れる時間長は例えば１秒以下であり、一般的に５０分の１秒程度の時間長である。したがって、瞬き、痙攣、眼球の移動、及び顔全体の動き等に起因して顔の部分に発生する変化は微表情には含まれない。なお、微表情は、感情に基づいて発生する僅かな顔の動き（微細表情）を含んでもよく、微細表情が表れる時間長は１秒以上でもよい。なお、微表情の定義はこの限りではなく、今後の微表情に関する研究によって変わり得る。微表情の種類、つまり微表情として表れる感情の種類には複数の種類があり、例えば「怒り」、「嫌悪」、「恐怖（恐れ）」、「喜び（幸福、幸せ）」、「悲しみ」、及び「驚き」等の種類がある。微表情の種類によって、変化する顔の部位（目、眉、唇、頬等）と変化の仕方（変化量、変化方向、変化時間等）が異なっている。

【0021】

例えば、「怒り」の微表情は、両まゆ毛を中央に引き寄せる動作と、目を見開く動作と、まぶたに力を入れる動作と、唇を固く閉じる動作と、口を開ける動作と、の組み合わせである。
「嫌悪」の微表情は、鼻にしわを寄せる動作である。
「恐怖」の微表情は、両眉を上げる動作と、両眉を中央に引き寄せる動作と、目を見開く動作と、まぶたに力を入れる動作と、口角を横に引く動作と、の組み合わせである。
「喜び」の微表情は、頬を上げる動作と、口角を上げる動作と、口角のみを上げる動作と、の組み合わせである。
「悲しみ」の微表情は、眉の内側を上げる動作と、両眉を中央に引き寄せる動作と、口角を下げる動作と、下唇を上げる動作と、の組み合わせである。
「驚き」の微表情は、両眉を上げる動作と、目を見開く動作と、口を開ける動作と、の組み合わせである。

【0022】

図１は、本実施形態に係る感情推定装置の構成例を示すブロック図である。

【0023】

図１に示すように、感情推定装置１は、記憶部１１と、タッチパネル１２と、撮像部１３と、制御部１４と、を備え、これらはバス等を介して接続される。

【0024】

記憶部１１は、例えば汎用のフラッシュメモリ等の不揮発性メモリ等から構成される。記憶部１１には、各種アプリケーションプログラムがインストールされている。本実施形態において、記憶部１１には、被験者の顔に表れる微表情から、被験者の感情を推定するための感情推定アプリケーションプログラム（以下、「感情推定アプリ」という。）等がインストールされている。

【0025】

また、記憶部１１は、被験者に表情をイラストで指示するガイダンスを登録するガイダンステーブルと、被験者の表情が変化する速度（変化速度）のパターン（変化速度パターン）を登録する変化速度パターンテーブルと、を記憶する。さらに、記憶部１１は、タッチパネル１２に表示するガイダンスを指定するガイダンスポインタを記憶する。

【0026】

図２は、ガイダンステーブルの構成例を示す図である。

【0027】

図２に示すように、ガイダンステーブル２は、１２個のガイダンスを、ガイダンスポインタの値に対応付けて登録する。本実施形態において、ガイダンスは、被験者に異なる二つの表情を２秒ずつイラストで指示した後、１秒間、無表情とすることを指示する計５秒間の画像である。例えば、ガイダンス＃１－２は、最初、被験者に２秒間「喜び」の表情をすることを指示した後、次に２秒間「怒り」の表情をすることを指示し、最後に１秒間、無表情とすることを指示する。

【0028】

図３は、変化速度パターンテーブルの構成例を示す図である。

【0029】

図３に示すように、変化速度パターンテーブル３は、１２個のガイダンスに対応付けて、変化速度パターン＃２～＃４を登録する。変化速度パターン＃２は、被験者の感情が“ハッピー”である場合に、変化速度パターン＃３は、“イライラ”である場合に、変化速度パターン＃４は、“落ち込み”である場合に、それぞれ対応するものである。即ち、変化速度パターンテーブル３は、感情毎に、変化速度パターン＃２～＃４を対応付けて登録する。変化速度パターン＃２～＃４には、それぞれ３６個の被験者の表情の変化のうち、変化速度の遅速が２１個ずつ予め設定されている。

【0030】

例えば、被験者の感情が“ハッピー”である場合において、ガイダンス＃１－２に従って被験者が表情を変化させたときには、変化速度パターン＃２に示すように、最初の「喜び」への変化速度は通常よりも速く、次の「喜び」から「怒り」への変化速度は通常よりも遅くなる。また、ガイダンス＃１－３及び＃１－４に従って被験者が表情を変化させたときにも、最初の「喜び」への変化速度は通常よりも速く、次の「喜び」から「悲しみ」及び「嫌悪」といった「喜び」以外の表情への変化速度は通常よりも遅くなる。
一方、ガイダンス＃１－２～＃１－４以外のガイダンスに従って被験者が表情を変化させたときには、変化速度パターン＃２に示すように、最初の「喜び」以外の表情への変化速度は通常よりも遅くなる。
また、ガイダンス＃２－１、＃３－１、及び＃４－１に従って被験者が表情を変化させたときには、変化速度パターン＃２に示すように、最初の「喜び」以外の表情への変化速度は通常よりも遅く、次の「喜び」への変化速度は通常よりも速く、最後の「無表情」への変化速度は通常よりも遅くなる。

【0031】

被験者の感情が“イライラ”である場合において、ガイダンス＃２－１、＃２－３、及び＃２－４に従って被験者が表情を変化させたときには、変化速度パターン＃３に示すように、最初の「怒り」への変化速度は通常よりも速く、次の「怒り」から「怒り」以外への表情への変化速度は通常よりも遅くなる。
一方、ガイダンス＃２－１、＃２－３、及び＃２－４以外のガイダンスに従って被験者が表情を変化させたときには、変化速度パターン＃３に示すように、最初の「怒り」以外の表情への変化速度は通常よりも遅くなる。
また、ガイダンス＃１－２、＃３－２、及び＃４－２に従って被験者が表情を変化させたときには、変化速度パターン＃３に示すように、最初の「怒り」以外の表情への変化速度は通常よりも遅く、次の「怒り」への変化速度は通常よりも速く、最後の「無表情」への変化速度は通常よりも遅くなる。

【0032】

被験者の感情が“落ち込み”である場合において、ガイダンス＃３－１、＃３－２、及び＃３－４に従って被験者が表情を変化させたときには、変化速度パターン＃４に示すように、最初の「悲しみ」への変化速度は通常よりも速く、次の「悲しみ」から「悲しみ」以外への表情への変化速度は通常よりも遅くなる。
一方、ガイダンス＃３－１、＃３－２、及び＃３－４以外のガイダンスに従って被験者が表情を変化させたときには、変化速度パターン＃４に示すように、最初の「悲しみ」以外の表情への変化速度は通常よりも遅くなる。
また、ガイダンス＃１－３、＃２－３、及び＃４－３に従って被験者が表情を変化させたときには、変化速度パターン＃４に示すように、最初の「悲しみ」以外の表情への変化速度は通常よりも遅く、次の「悲しみ」への変化速度は通常よりも速く、最後の「無表情」への変化速度は通常よりも遅くなる。

【0033】

図１に示すタッチパネル１２は、例えば液晶表示装置とポインティングデバイスとを組み合わせた汎用のタッチパネル等から構成される。タッチパネル１２は、各種画面を表示するとともに、被験者による各種操作を受け付ける。本実施形態において、被験者は、タッチパネル１２に表示される感情推定アプリのアイコンをタップして、感情推定アプリを起動したり、被験者の感情の推定を指示したりする。また、タッチパネル１２には、被験者に表情をイラストで指示するガイダンスが表示される。

【0034】

撮像部１３は、例えばＣＣＤ（Charge Coupled Device）等の受光素子を含んで構成される。本実施形態において、被験者は、ガイダンスに従って表情が変化する自身の顔を撮像部１３で撮像（自撮り）する。

【0035】

制御部１４は、例えばＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、及びＲＡＭ（Random Access Memory）等から構成される。ＣＰＵは、ＲＡＭをワークメモリとして用い、ＲＯＭ及び記憶部１１に記憶されている各種プログラム等を適宜実行することによって、感情推定装置１の各種動作を制御する。

【0036】

本実施形態において、制御部１４は、被験者がタッチパネル１２に表示される感情推定アプリにおいて被験者の感情の推定を指示したことに応答して、ガイダンスポインタの値を“０”に初期化する。次に、制御部１４は、ガイダンスポインタの値に対応するガイダンスをガイダンステーブル２から読み出す。例えば、ガイダンスポインタの値が“０”である場合、制御部１４は、ガイダンス＃１－２をガイダンステーブル２から読み出す。

【0037】

そして、制御部１４は、ガイダンステーブル２から読み出したガイダンスをタッチパネル１２に表示するとともに、ガイダンスに従って表情が変化する被験者の顔を撮像部１３で撮像して、３０～６０フレームレートの動画像を取得する。

【0038】

続いて、制御部１４は、ガイダンスポインタの値が上限値である“１１”であるか否かを判別する。制御部１４は、ガイダンスポインタの値が“１１”未満であれば、全てのガイダンスを未だ表示していないとして、ガイダンスポインタの値を１加算した後、加算後のガイダンスポインタの値に対応するガイダンスをタッチパネル１２に表示して、被験者の顔の動画像を撮像部１３で再度撮像する。

【0039】

これに対して、制御部１４は、ガイダンスポインタの値が“１１”であれば、全てのガイダンスを表示したとして、取得した被験者の顔の動画像から、被験者の顔に表れる微表情を検出する。具体的に、制御部１４は、動画像を構成するフレーム画像毎に、微表情を検出する。

【0040】

ここで、西欧文化に触れたことのない民族を調査した結果によると、「喜び」、「怒り」、「嫌悪」、及び「悲しみ」の四つの表情については、文化による違いがなく認識される一方、「恐れ」及び「驚き」の二つの表情については、見分けがつかないことがわかっている。そこで、制御部１４は、微表情を少なくとも一つ検出できた場合、検出した微表情毎に、微表情のタイプを“Positive”、“Negative1”、“Negative2”、及び“Other”のいずれかに分類する。

【0041】

具体的に、制御部１４は、検出した微表情が「喜び」である場合、微表情のタイプを“Positive”に分類する。制御部１４は、検出した微表情が「怒り」である場合、微表情のタイプを“Negative1”に分類する。
また、制御部１４は、検出した微表情が「悲しみ」である場合、微表情のタイプを“Negative2”に分類する。
さらに、制御部１４は、検出した微表情が「嫌悪」である場合、鼻以外の顔の動作から、「怒り」寄りであるか「悲しみ」寄りであるかを判別し、「怒り」寄りであれば、微表情のタイプを“Negative1”に分類する一方、「悲しみ」寄りであれば、“Negative2”に分類する。
また、制御部１４は、検出した微表情が「恐怖」である場合、その継続期間が所定期間以上であるか否かにより、瞬間的であるか継続的であるかを判別し、継続期間が所定期間未満であれば瞬間的であると判別し、微表情のタイプを“Other”に分類する。一方、制御部１４は、継続期間が所定期間以上であれば継続的であると判別し、鼻以外の顔の動作から、「怒り」寄りであるか「悲しみ」寄りであるかを判別する。そして、制御部１４は、「怒り」寄りであれば、微表情のタイプを“Negative1”に分類する一方、「悲しみ」寄りであれば、“Negative2”に分類する。

【0042】

ここで、人間の感情は、通常一つではなく、複数の感情が複雑に混在しており、それが被験者の顔に微表情として表れる。そこで、制御部１４は、被験者の顔の動画像における、タイプ別に分類された各微表情の割合を求める。例えば、制御部１４は、“Positive”に分類される微表情が写っているフレーム画像を１５個検出し、“Negative1”に分類される微表情が写っているフレーム画像を５個検出し、“Negative2”に分類される微表情が写っているフレーム画像を５個検出した場合、“Positive”に分類される微表情の割合を６０％と求め、“Negative1”に分類される微表情の割合を２０％と求め、“Negative2”に分類される微表情の割合を２０％と求める。

【0043】

そして、制御部１４は、各微表情の割合、即ち微表情の種類毎の割合に基づいて、被験者の感情を、“ニュートラル”、“ハッピー”、“イライラ”、及び“落ち込み”のいずれかに推定する。

【0044】

具体的に、制御部１４は、“Positive”に分類される微表情の割合と、“Negative1”及び“Negative2”のいずれかに分類される微表情の割合と、が略等しい場合、被験者の感情を“ニュートラル”であるものと推定する。
また、制御部１４は、“Positive”に分類される微表情の割合が、“Negative1”及び“Negative2”のいずれかに分類される微表情の割合よりも高い場合、被験者の感情を“ハッピー”であるものと推定する。
さらに、制御部１４は、“Negative1”に分類される微表情の割合が、“Positive”及び“Negative2”のいずれかに分類される微表情の割合よりも高い場合、被験者の感情を“イライラ”しているものと推定する。
そして、制御部１４は、“Negative2”に分類される微表情の割合が、“Positive”及び“Negative1”のいずれかに分類される微表情の割合よりも高い場合、被験者の感情を“落ち込み”しているものと推定する。

【0045】

これに対して、制御部１４は、微表情を一つも検出できなかった場合、被験者がガイダンスに従って表情を変化させる際に要した期間（変化期間）を測定する。具体的に、制御部１４は、表情が変化するまでに要したフレーム画像の枚数から、表情の変化期間を測定する。例えば、図２に示すガイダンス＃１－２に従って被験者が表情を「喜び」→「怒り」→「無表情」と変化させた場合、制御部１４は、被験者が表情を「喜び」に変化させるまでに要した期間と、「怒り」に変化させるまでに要した期間と、「無表情」に変化させるまでに要した期間と、の三つの変化期間を測定する。制御部１４は、図２に示す全１２個のガイダンスに従って、計３６個の変化期間を測定する。

【0046】

続いて、制御部１４は、測定した計３６個の変化期間毎に、所定の基準範囲と比較して、変化速度の遅速を判別する。具体的に、制御部１４は、変化期間が所定の基準範囲よりも長い場合、変化速度が「遅い」と判別し、所定の基準範囲内である場合、「通常」と判別し、所定の基準範囲よりも短い場合、「速い」と判別する。ここで、主な被験者は、労働年齢の成人であることから、例えば、職業性ストレス簡易調査票により平均的なストレスレベルと判定される被験者から変化時間の平均値±標準偏差を取得し、これを所定の基準範囲とすればよい。

【0047】

そして、制御部１４は、判別した３６個の変化速度の遅速のパターンと、図３に示す変化速度パターン＃２～＃４と、のマッチングを行って、被験者の感情を、“ニュートラル”、“ハッピー”、“イライラ”、及び“落ち込み”のいずれかに推定する。

【0048】

具体的に、制御部１４は、判別した３６個の変化速度の遅速と、変化速度パターン＃２～＃４に設定された２１個の変化速度の遅速と、のマッチングをそれぞれ行って、２１個中１１個以上、即ち５０％以上合致している変化速度パターン＃２～＃４を検出する。
制御部１４は、判別した３６個の変化速度の遅速が、変化速度パターン＃２に設定された２１個の変化速度の遅速に５０％以上合致していれば、被験者の感情を、変化速度パターン＃２に対応する“ハッピー”であるものと推定する。
また、制御部１４は、判別した３６個の変化速度の遅速が、変化速度パターン＃３に設定された２１個の変化速度の遅速に５０％以上合致していれば、被験者の感情を、変化速度パターン＃３に対応する“イライラ”しているものと推定する。
さらに、制御部１４は、判別した３６個の変化速度の遅速が、変化速度パターン＃４に設定された２１個の変化速度の遅速に５０％以上合致していれば、被験者の感情を、変化速度パターン＃４に対応する“落ち込み”しているものと推定する。
このように、制御部１４は、図３に示す変化速度パターンテーブル３において、被験者の顔の動画像から求めた表情の変化速度のパターンに対応する感情を、被験者の感情として推定する。

【0049】

また、制御部１４は、変化速度パターン＃２～＃４のいずれとも合致しているものが３個未満、即ち合致度が１５％未満である場合、被験者の感情を“ニュートラル”であるものと推定する。

【0050】

さらに、制御部１４は、変化速度パターン＃２～＃４いずれとも合致しているものが３個以上１１個未満である場合、即ち合致度が１５％以上５０％未満である場合、被験者の感情を、合致度が最も高い変化速度パターンに対応する感情に推定する。

【0051】

次に、上記構成を備える感情推定装置１が実行する感情推定処理について図面を参照して説明する。

【0052】

被験者がタッチパネル１２に表示される感情推定アプリのアイコンをタップして感情推定アプリを起動した後、被験者の感情の推定を指示したことに応答して、感情推定装置１は、感情推定処理を開始する。

【0053】

図４は、感情推定処理の詳細を示すフローチャートである。

【0054】

図４に示す感情推定処理において、まず、制御部１４は、ガイダンスポインタの値を“０”に初期化する（ステップＳ４０１）。

【0055】

次に、制御部１４は、ガイダンスポインタの値に対応するガイダンスをガイダンステーブル２から読み出す（ステップＳ４０２）。

【0056】

そして、制御部１４は、ステップＳ４０２で読み出したガイダンスをタッチパネル１２に表示するとともに（ステップＳ４０３）、ガイダンスに従って表情が変化する被験者の顔を撮像部１３で撮像して、３０～６０フレームレートの動画像を取得する（ステップＳ４０４）。

【0057】

続いて、制御部１４は、ガイダンスポインタの値が上限値である“１１”であるか否かを判別する（ステップＳ４０５）。

【0058】

制御部１４は、ガイダンスポインタの値が“１１”未満であれば（ステップＳ４０５；Ｎｏ）、全てのガイダンスを未だ表示していないとして、ガイダンスポインタの値を１加算した後（ステップＳ４０６）、ステップＳ４０２に戻る。

【0059】

これに対して、制御部１４は、ガイダンスポインタの値が“１１”であれば（ステップＳ４０５；Ｙｅｓ）、全てのガイダンスを表示したとして、ステップＳ４０４で取得した被験者の顔の動画像から、被験者の顔に表れる微表情を検出する（ステップＳ４０７）。

【0060】

制御部１４は、ステップＳ４０７で微表情を少なくとも一つ検出できた場合（ステップＳ４０８；Ｙｅｓ）、ステップＳ４０７で検出した微表情毎に、微表情のタイプを“Positive”、“Negative1”、“Negative2”、及び“Other”のいずれかに分類する（ステップＳ４０９）。

【0061】

続いて、制御部１４は、被験者の顔の動画像における、タイプ別に分類された各微表情の割合を求める（ステップＳ４１０）。

【0062】

そして、制御部１４は、各微表情の割合、即ち微表情の種類毎の割合に基づいて、被験者の感情を、“ニュートラル”、“ハッピー”、“イライラ”、及び“落ち込み”のいずれかに推定してから（ステップＳ４１１）、感情推定処理を終了する。

【0063】

これに対して、制御部１４は、ステップＳ４０７で微表情を一つも検出できなかった場合（ステップＳ４０８；Ｎｏ）、被験者がガイダンスに従って表情を変化させる際に要した期間（変化期間）を測定する（ステップＳ４１２）。

【0064】

続いて、制御部１４は、ステップＳ４１２で測定した計３６個の変化期間毎に、所定の基準範囲と比較して、変化速度の遅速を判別する（ステップＳ４１３）。

【0065】

そして、制御部１４は、ステップＳ４１３で判別した３６個の変化速度の遅速と、図３に示す変化速度パターン＃２～＃４と、のパターンマッチングを行って、被験者の感情を、“ニュートラル”、“ハッピー”、“イライラ”、及び“落ち込み”のいずれかに推定してから（ステップＳ４１４）、感情推定処理を終了する。

【0066】

以上説明したように、本実施形態に係る感情推定装置１は、撮像部１３と、制御部１４と、を備える。撮像部１３は、被験者に表情を指示するガイダンスに従って表情が変化する被験者の顔を撮像する。制御部１４は、撮像部１３で撮像して得られた被験者の顔の画像（動画像）から、被験者の顔に表れる微表情を検出する。そして、制御部１４は、検出した微表情の種類毎の割合に基づいて、被験者の感情を推定する。具体的に、制御部１４は、検出した微表情をタイプ別に分類し、タイプ別に分類した各微表情の割合に基づいて、被験者の感情を推定する。

【0067】

このように、被験者の顔の動画像から検出した微表情の種類毎の割合に基づいて、被験者の感情を推定することで、複数の感情が複雑に入り組んだ被験者の真の感情を正確に推定することができる。

【0068】

また、制御部１４は、微表情を検出できなかった場合、撮像部１３で撮像して得られた被験者の顔の動画像から、被験者の表情の変化速度を求める。そして、制御部１４は、求めた変化速度に基づいて、被験者の感情を推定する。具体的に、感情推定装置１は、感情毎に、表情の変化速度のパターンを対応付けて登録する変化速度パターンテーブル３をさらに備える。制御部１４は、変化速度パターンテーブル３において、被験者の顔の動画像から求めた表情の変化速度のパターンに対応する感情を、被験者の感情として推定する。

【0069】

このように、被験者の顔の動画像から求めた表情の変化速度に基づいて、被験者の感情を推定することで、複数の感情が複雑に入り組んだ被験者の真の感情を正確に推定することができる。

【0070】

なお、本発明は、上記の実施形態に限定されず、種々の変形、応用が可能である。以下、本発明に適用可能な上記の実施形態の変形態様について、説明する。

【0071】

上記の実施形態において、制御部１４は、検出した微表情毎に、微表情のタイプを“Positive”、“Negative1”、“Negative2”、及び“Other”のいずれかに分類するものとして説明した。しかしながら、本発明はこれに限定されるものではなく、制御部１４は、微表情のタイプを分類しなくてもよい。この場合、検出した微表情の種類毎の割合、即ち「怒り」、「嫌悪」、「恐怖」、「喜び」、「悲しみ」、及び「驚き」といった６種類の微表情毎の検出割合に基づいて、被験者の感情を推定すればよい。

【0072】

上記の実施形態において、制御部１４は、撮像部１３で撮像して得られた被験者の顔の動画像から、被験者の顔に表れる微表情を検出し、検出した微表情の種類毎の割合に基づいて、被験者の感情を推定し、微表情を検出できなかった場合、撮像部１３で撮像して得られた被験者の顔の動画像から、被験者の表情の変化速度を求め、変化速度に基づいて、被験者の感情を推定するものとして説明した。しかしながら、本発明はこれに限定されるものではなく、制御部１４は、微表情を検出することなく、撮像部１３で撮像して得られた被験者の顔の動画像から、被験者の表情の変化速度を求め、変化速度に基づいて、被験者の感情を推定するものであってもよい。

【0073】

上記の実施形態において、感情推定装置１の制御部１４が被験者の感情を推定するものとして説明した。しかしながら、本発明はこれに限定されるものではなく、感情推定装置１とネットワークを介して接続された所定のサーバ装置（サーバコンピュータ）が被験者の感情を推定してもよい。この場合、感情推定装置１の制御部１４は、撮像部１３で撮像して得られた被験者の顔の動画像をネットワークを介してサーバ装置に送信する。そして、サーバ装置は、感情推定装置１からネットワークを介して受信した被験者の顔の動画像から、被験者の顔に表れる微表情を検出し、検出した微表情の種類毎の割合に基づいて、被験者の感情を推定すればよい。また、サーバ装置は、撮像部１３で撮像して得られた被験者の顔の動画像から、被験者の表情の変化速度を求め、変化速度に基づいて、被験者の感情を推定してもよい。そして、サーバ装置は、推定した被害者の感情をネットワークを介して感情推定装置１に送信すればよい。

【0074】

上記の実施形態において、制御部１４のＣＰＵが実行するプログラムは、予めＲＯＭ、並びに記憶部１１等に記憶されるものとして説明したが、本発明はこれに限定されるものではなく、上述の処理を実行させるためのプログラムを、既存の汎用コンピュータに適用することで、上記の実施形態に係る感情推定装置１として機能させてもよい。

【0075】

このようなプログラムの提供方法は任意であり、例えばコンピュータが読取可能な記録媒体（フレキシブルディスク、ＣＤ（Compact Disc）－ＲＯＭ、ＤＶＤ（Digital Versatile Disc）－ＲＯＭ等）に格納して配布してもよいし、インターネット等のネットワーク上のストレージにプログラムを格納しておき、これをダウンロードさせることにより提供してもよい。

【0076】

さらに、上記の処理をＯＳ（Operating System）とアプリケーションプログラムとの分担、又はＯＳとアプリケーションプログラムとの協働によって実行する場合には、アプリケーションプログラムのみを記録媒体やストレージに格納してもよい。また、搬送波にプログラムを重畳し、ネットワークを介して配信することも可能である。例えば、ネットワーク上の掲示板（ＢＢＳ：Bulletin Board System）に上記プログラムを掲示し、ネットワークを介してプログラムを配信してもよい。そして、このプログラムを起動し、ＯＳの制御下で、他のアプリケーションプログラムと同様に実行することにより、上記の処理を実行できるように構成してもよい。

【0077】

なお、本発明は、本発明の広義の精神と範囲を逸脱することなく、様々な実施の形態及び変形が可能とされるものである。また、上述した実施の形態は、本発明の一実施例を説明するためのものであり、本発明の範囲を限定するものではない。

【符号の説明】

【0078】

１ 感情推定装置
１１ 記憶部
１２ タッチパネル
１３ 撮像部
１４ 制御部
２ ガイダンステーブル
３ 変化速度パターンテーブル

【要約】

感情を正確に推定する。
感情推定装置（１）は、撮像部（１３）と、制御部（１４）と、を備える。撮像部（１３）は、被験者に表情を指示するガイダンスに従って表情が変化する被験者の顔を撮像する。制御部（１４）は、撮像部（１３）で撮像して得られた被験者の顔の画像動画像から、被験者の顔に表れる微表情を検出する。そして、制御部（１４）は、検出した微表情の種類毎の割合に基づいて、被験者の感情を推定する。また、制御部（１４）は、微表情を検出できなかった場合、撮像部（１３）で撮像して得られた被験者の顔の動画像から、被験者の表情の変化速度を求め、変化速度に基づいて、被験者の感情を推定する。

【図1】

【図2】

【図3】

【図4】