特許 6985005 感情推定方法、感情推定装置、及び、プログラムを記録した記録媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6985005

(24)【登録日】2021年11月29日

(45)【発行日】2021年12月22日

(54)【発明の名称】感情推定方法、感情推定装置、及び、プログラムを記録した記録媒体

(51)【国際特許分類】

   A61B 5/16 20060101AFI20211213BHJP

   A61B 5/0245 20060101ALI20211213BHJP

   A61B 5/11 20060101ALI20211213BHJP

   A61B 5/113 20060101ALI20211213BHJP

   A61B 5/352 20210101ALI20211213BHJP

【ＦＩ】

   A61B5/16 120

   A61B5/0245 A

   A61B5/11 120

   A61B5/113

   A61B5/352

【請求項の数】10

【全頁数】37

(21)【出願番号】特願2016-196799(P2016-196799)

(22)【出願日】2016年10月4日

(65)【公開番号】特開2017-144222(P2017-144222A)

(43)【公開日】2017年8月24日

【審査請求日】2019年4月18日

(31)【優先権主張番号】62/241,374

(32)【優先日】2015年10月14日

(33)【優先権主張国】US

(31)【優先権主張番号】特願2016-29363(P2016-29363)

(32)【優先日】2016年2月18日

(33)【優先権主張国】JP

(73)【特許権者】

【識別番号】514136668

【氏名又は名称】パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ

【氏名又は名称原語表記】Ｐａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ

(74)【代理人】

【識別番号】100109210

【弁理士】

【氏名又は名称】新居 広守

(74)【代理人】

【識別番号】100137235

【弁理士】

【氏名又は名称】寺谷 英作

(74)【代理人】

【識別番号】100131417

【弁理士】

【氏名又は名称】道坂 伸一

(72)【発明者】

【氏名】シラワン ナワット

(72)【発明者】

【氏名】楠亀 弘一

(72)【発明者】

【氏名】内田 真司

(72)【発明者】

【氏名】式井 愼一

(72)【発明者】

【氏名】米田 亜旗

(72)【発明者】

【氏名】伊藤 達男

【審査官】 藤原 伸二

(56)【参考文献】

【文献】 特表２０１３−５３７４３５（ＪＰ，Ａ）

【文献】 特開２０１３−０２７５７０（ＪＰ，Ａ）

【文献】 特開２０１２−０５９１０７（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１４／０２５３７０９（ＵＳ，Ａ１）

【文献】 国際公開第２００８／１４９５５９（ＷＯ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ａ６１Ｂ ５／００−５／０５３８

Ａ６１Ｂ ５／０８−５／１１３

Ａ６１Ｂ ５／１４５−５／２２

Ａ６１Ｂ ５／３１８−５／３８６

Ｇ０６Ｔ ７／００

ＪＳＴＰｌｕｓ／ＪＭＥＤＰｌｕｓ／ＪＳＴ７５８０（ＪＤｒｅａｍＩＩＩ）

(57)【特許請求の範囲】

【請求項1】

被験者の感情を推定する感情推定装置における感情推定方法であって、
（ａ）前記被験者の生体の機能に関するデータである生理学データに対応する第一データであって前記被験者の心拍数を少なくとも含む第一データと、（ｂ）前記被験者の生体に関するデータのうち生理学データではないデータである非生理学データに対応する第二データであって前記被験者の表情を少なくとも含む第二データとを前記被験者から取得し、
取得した前記第一データと前記第二データとに基づいて、前記第一データと所定の第一基準値との差異の大きさ、及び、前記第二データと所定の第二基準値との差異の大きさを利用して、前記被験者の覚醒の度合いを示す第一値と、前記被験者の快適さの度合いを示す第二値とを算出し、
算出した前記第一値及び前記第二値から前記被験者の感情を、メモリに予め記憶された人の覚醒の度合い及び快適さの度合いの組と前記人の感情とを対応付けた所定の対応付けに基づいて推定し、
推定した前記感情を示す情報を出力し、
前記算出において、さらに、
当該第一値に基づいて推定される前記被験者の感情の正しさを示す指標である第一信頼性を、前記第一値の算出に用いられた前記第一データに含まれるノイズの量の大きさを利用して算出し、
当該第二値に基づいて推定される前記被験者の感情の正しさを示す指標である第二信頼性を、前記第二値の算出に用いられた前記第二データに含まれるノイズの量の大きさを利用して算出し、
前記感情を示す情報とともに、前記第一信頼性及び前記第二信頼性の少なくとも一方を示す情報を出力し、
前記第一信頼性及び前記第二信頼性の少なくとも一方が所定の閾値より小さい場合には、警告を出力する
感情推定方法。

【請求項2】

前記算出において、
前記第一データに基づいて、前記第一データと前記所定の第一基準値との差異の大きさを利用して、前記第一値を算出し、
前記第二データに基づいて、前記第二データと前記所定の第二基準値との差異の大きさを利用して、前記第二値を算出する
請求項１に記載の感情推定方法。

【請求項3】

前記感情推定装置は、前記被験者の顔を撮像し、動画像データを生成するカメラを備え、
前記取得において、
前記カメラにより生成された前記動画像データに基づいて前記被験者の心拍数を前記第一データとして取得し、
前記カメラにより生成された前記動画像データにおける前記被験者の顔の特徴点の位置に基づいて特定される前記被験者の表情を前記第二データとして取得する
請求項１に記載の感情推定方法。

【請求項4】

前記出力において、前記第一値と前記第二値とを２つの座標軸とする平面上の点を前記被験者の感情を示す情報として前記感情推定装置が備える表示装置の表示画面に出力する
請求項１に記載の感情推定方法。

【請求項5】

前記出力において、前記第一値及び前記第二値の少なくとも一方を前記被験者の感情を示す情報として前記感情推定装置が備える表示装置の表示画面に出力する
請求項１に記載の感情推定方法。

【請求項6】

前記感情推定方法では、
前記取得において、
１以上の前記第一データおよび１以上の前記第二データを取得し、
前記算出において、
取得した１以上の前記第一データのそれぞれについて、第一値と、第一信頼性とを算出し、
算出した前記第一値の前記第一信頼性を重みとした加重平均により、前記被験者の覚醒の度合いを示す第一値を算出し、
取得した１以上の前記第二データのそれぞれについて、第二値と、第二信頼性とを算出し、
算出した前記第二値の前記第二信頼性を重みとした加重平均により、前記被験者の快適さの度合いを示す第二値を算出する
請求項１〜５のいずれか１項に記載の感情推定方法。

【請求項7】

前記感情推定方法は、さらに、
前記被験者の身体的特徴に関連する情報を取得し、
取得した前記被験者の身体的特徴に関連する情報に基づいて、前記所定の第一基準値又は前記所定の第二基準値を被験者の性別、国籍、年齢及び肌の色の少なくとも１つに基づいて算出することで調整する
請求項１〜６のいずれか１項に記載の感情推定方法。

【請求項8】

前記感情推定方法では、さらに、
人の顔の予め定められた複数の領域のうち、前記第二データとしての表情を取得するのに用いる領域の選択をユーザから受け付け、
前記取得において、
前記被験者の顔のうち前記領域に含まれる特徴点を前記第二データとして取得し、
前記算出において、
前記被験者の顔のうち前記領域に含まれる特徴点に基づいて前記第二値を算出する
請求項３に記載の感情推定方法。

【請求項9】

（ａ）被験者の生体の機能に関するデータである生理学データに対応する第一データであって前記被験者の心拍数を少なくとも含む第一データと、（ｂ）前記被験者の生体に関するデータのうち生理学データではないデータである非生理学データに対応する第二データであって前記被験者の表情を少なくとも含む第二データとを前記被験者から取得する取得部と、
（ｉ）取得した前記第一データと前記第二データとに基づいて、前記第一データと所定の第一基準値との差異の大きさ、及び、前記第二データと所定の第二基準値との差異の大きさを利用して、前記被験者の覚醒の度合いを示す第一値と、前記被験者の快適さの度合いを示す第二値とを算出し、（ｉｉ）算出した前記第一値及び前記第二値から前記被験者の感情を、メモリに予め記憶された人の覚醒の度合い及び快適さの度合いの組と前記人の感情とを対応付けた所定の対応付けに基づいて推定する推定部と、
推定した前記感情を示す情報を出力する出力部とを備え、
前記推定部は、前記算出において、さらに、
当該第一値に基づいて推定される前記被験者の感情の正しさを示す指標である第一信頼性を、前記第一値の算出に用いられた前記第一データに含まれるノイズの量の大きさを利用して算出し、
当該第二値に基づいて推定される前記被験者の感情の正しさを示す指標である第二信頼性を、前記第二値の算出に用いられた前記第二データに含まれるノイズの量の大きさを利用して算出し、
前記感情を示す情報とともに、前記第一信頼性及び前記第二信頼性の少なくとも一方を示す情報を出力し、
前記第一信頼性及び前記第二信頼性の少なくとも一方が所定の閾値より小さい場合には、警告を出力する
感情推定装置。

【請求項10】

コンピュータプログラムを記録した非一時的記録媒体であって、
前記コンピュータプログラムは、コンピュータに、
（ａ）被験者の生体の機能に関するデータである生理学データに対応する第一データであって前記被験者の心拍数を少なくとも含む第一データと、（ｂ）前記被験者の生体に関するデータのうち生理学データではないデータである非生理学データに対応する第二データであって前記被験者の表情を少なくとも含む第二データとを前記被験者から取得するステップと、
取得した前記第一データと前記第二データとに基づいて、前記第一データと所定の第一基準値との差異の大きさ、及び、前記第二データと所定の第二基準値との差異の大きさを利用して、前記被験者の覚醒の度合いを示す第一値と、前記被験者の快適さの度合いを示す第二値とを算出するステップと、
算出した前記第一値及び前記第二値から前記被験者の感情を、メモリに予め記憶された人の覚醒の度合い及び快適さの度合いの組と前記人の感情とを対応付けた所定の対応付けに基づいて推定するステップと、
推定した前記感情を示す情報を出力するステップとを実行させ、
前記算出するステップにおいて、さらに、
当該第一値に基づいて推定される前記被験者の感情の正しさを示す指標である第一信頼性を、前記第一値の算出に用いられた前記第一データに含まれるノイズの量の大きさを利用して算出し、
当該第二値に基づいて推定される前記被験者の感情の正しさを示す指標である第二信頼性を、前記第二値の算出に用いられた前記第二データに含まれるノイズの量の大きさを利用して算出し、
前記感情を示す情報とともに、前記第一信頼性及び前記第二信頼性の少なくとも一方を示す情報を出力し、
前記第一信頼性及び前記第二信頼性の少なくとも一方が所定の閾値より小さい場合には、警告を出力する
非一時的記録媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、感情推定方法、感情推定装置、及び、プログラムを記録した記録媒体に関する。

【背景技術】

【0002】

特許文献１は、センサにより取得した人の表情等に基づいて、その表情等が当該人の感情の自然な表れである可能性を示す情報を評価する解析装置を開示している。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特許第５７６８６６７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、特許文献１が開示する技術では、喜び又は驚きのような、人が抱くさまざまな感情を評価することができないという問題がある。

【0005】

そこで、本発明は、人が抱いているさまざまな感情を推定する感情推定装置等を提供する。

【課題を解決するための手段】

【0006】

本開示の一態様に係る感情推定方法は、被験者の感情を推定する感情推定装置における感情推定方法であって、生理学データに対応する第一データと、前記第一データとは異なる生理学データおよび非生理学データのうちの一方に対応する第二データとを前記被験者から取得し、取得した前記第一データと前記第二データとに基づいて、前記被験者の覚醒の度合いを示す第一値と、前記被験者の快適さの度合いを示す第二値とを算出し、算出した前記第一値及び前記第二値から前記被験者の感情を、メモリに予め記憶された人の覚醒の度合い及び快適さの度合いと前記人の感情との所定の対応付けに基づいて推定し、推定した前記感情を示す情報を出力する。

【0007】

なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。

【発明の効果】

【0008】

本開示の感情推定方法では、人が抱いているさまざまな感情を推定することができる。

【図面の簡単な説明】

【0009】

【図1】図１は、人の感情の二次元モデルの一例の説明図である。

【図2】図２は、実施の形態に係る感情推定装置のハードウェア構成を示すブロック図である。

【図3】図３は、実施の形態に係る感情推定装置の機能構成を示すブロック図である。

【図4】図４は、実施の形態に係る感情推定装置による感情の推定方法を示す模式図である。

【図5】図５は、実施の形態に係る感情推定装置による感情の出力方法を示す模式図である。

【図6】図６は、実施の形態に係る感情推定装置の機能構成の第一の具体例を示すブロック図である。

【図7】図７は、実施の形態に係る感情推定装置の機能構成の第二の具体例を示すブロック図である。

【図8】図８は、実施の形態に係る感情推定装置の機能構成の第二の具体例における感情推定処理を示すブロック図である。

【図9】図９は、実施の形態に係る感情推定装置の機能構成の第三の具体例を示すブロック図である。

【図10】図１０は、実施の形態に係る感情推定装置の機能構成の第四の具体例を示すブロック図である。

【図11】図１１は、実施の形態に係る感情推定装置により推定される感情の推定方法を示すフロー図である。

【図12】図１２は、実施の形態に係る取得部がデータ取得に用いるセンサの選択、及び、取得するデータの選択をユーザから受け付けるための画像の説明図である。

【図13】図１３は、実施の形態に係る出力部が出力する情報の選択をユーザから受け付けるための画像の説明図である。

【図14】図１４は、実施の形態に係るセンサの設定をユーザから受け付けるための画像の説明図である。

【図15】図１５は、実施の形態に係るセンサの信頼性の調整をユーザから受け付けるための画像の説明図である。

【図16】図１６は、実施の形態に係る出力情報に関する計算式の設定のための画像の説明図である。

【図17】図１７は、実施の形態に係る出力情報に関する計算式の確認のための画像の説明図である。

【図18】図１８は、実施の形態に係る感情を示す情報の出力の選択のための画像の説明図である。

【図19】図１９は、実施の形態に係る感情を示す情報の表現の設定のための画像の説明図である。

【図20】図２０は、実施の形態に係る推定部が推定した感情を示す情報を含む画像の第一例の説明図である。

【図21】図２１は、実施の形態に係る推定部が推定した感情を示す情報を含む画像の第二例の説明図である。

【図22】図２２は、実施の形態に係る推定部が推定した感情を示す情報を含む画像の第三例の説明図である。

【図23】図２３は、実施の形態に係る推定部が推定した感情を示す情報を含む画像の第四例の説明図である。

【図24】図２４は、実施の形態に係る推定部が推定した感情を示す情報を含む画像の第五例の説明図である。

【図25】図２５は、実施の形態に係る推定部が推定した感情を示す情報を含む画像の第六例の説明図である。

【図26A】図２６Ａは、実施の形態に係る推定部が推定した感情を示す情報を含む画像の第七例の説明図である。

【図26B】図２６Ｂは、実施の形態に係る推定部が推定した感情を示す情報を含む画像の第八例の説明図である。

【図27】図２７は、実施の形態に係る被験者情報の登録のための画像の説明図である。

【図28】図２８は、実施の形態に係る被験者の顔の登録のための画像の第一例の説明図である。

【図29】図２９は、実施の形態に係る被験者の顔の登録のための画像の第二例の説明図である。

【図30】図３０は、実施の形態に係る被験者の顔から表情を検知する領域の選択の画像の第一例の説明図である。

【図31】図３１は、実施の形態に係る被験者の顔から表情を検知する領域の選択の画像の第二例の説明図である。

【図32】図３２は、感情推定装置により顔の表情または感情を決定する際に、顔のしわの情報を用いるかどうかの選択をユーザに選択させるための画像の一例である。

【図33】図３３は、実施の形態の変形例に係る感情推定装置のハードウェア構成を示すブロック図である。

【発明を実施するための形態】

【0010】

本開示の一態様に係る感情推定方法は、被験者の感情を推定する感情推定装置における感情推定方法であって、生理学データに対応する第一データと、前記第一データとは異なる生理学データおよび非生理学データのうちの一方に対応する第二データとを前記被験者から取得し、取得した前記第一データと前記第二データとに基づいて、前記被験者の覚醒の度合いを示す第一値と、前記被験者の快適さの度合いを示す第二値とを算出し、算出した前記第一値及び前記第二値から前記被験者の感情を、メモリに予め記憶された人の覚醒の度合い及び快適さの度合いと前記人の感情との所定の対応付けに基づいて推定し、推定した前記感情を示す情報を出力する。

【0011】

上記態様によれば、感情推定装置は、被験者から取得した生理学データおよび上記生理学データとは異なる被験者から取得した生理学データ又は非生理学データを含む、2以上のデータを用いて所定の対応付けに基づいて被験者の感情を推定することができる。ここで、感情推定装置は、上記２以上のデータを用いことで被験者の第一値（覚醒感）及び第二値（快適感）の２つの指標を算出することにより、被験者が抱いているさまざまな感情を適切に推定することができる。

【0012】

例えば、前記第二データは、非生理学データであってもよい。

【0013】

上記態様によれば、感情推定装置は、被験者から取得した生理学データ及び非生理学データを用いて、所定の対応付けに基づいて被験者の感情を推定することができる。生理学データは覚醒感との相関が比較的大きく、非生理学データは快適感との相関が比較的大きい。よって、生理学データ及び非生理学データを用いることにより覚醒感及び快適感をより正確に算出し、その結果、被験者の感情をより正確に推定することができる。

【0014】

例えば、前記算出において、前記第一データに基づいて前記第一値を算出し、前記第二データに基づいて前記第二値を算出してもよい。

【0015】

上記態様によれば、感情推定装置は、被験者から取得した生理学データを用いて生理学データに相関が比較的大きい覚醒感を算出し、また、非生理学データを用いて非生理学データに相関が比較的大きい快適感を算出する。よって、被験者の覚醒感及び快適感をより正確に算出し、その結果、被験者の感情をより正確に推定することができる。

【0016】

例えば、前記感情推定装置は、前記被験者の顔を撮像し、動画像データを生成するカメラを備え、前記取得において、前記カメラにより生成された前記動画像データに基づいて前記被験者の心拍数を前記第一データとして取得し、前記カメラにより生成された前記動画像データにおける前記被験者の顔の特徴点の位置に基づいて特定される前記被験者の表情を前記第二データとして取得してもよい。

【0017】

上記態様によれば、感情推定装置は、被験者の生理学データとしての心拍数と、非生理学データとしての表情とをともにカメラを用いて取得し、被験者の感情を推定する。このように、カメラという１つのデバイスを用いて生理学データ及び非生理学データの両方を取得して感情を推定することで、被験者の負担を削減するとともに、利便性が向上する。

【0018】

例えば、前記出力において、前記第一値と前記第二値とを２つの座標軸とする平面上の点として前記被験者の感情を示す情報を前記感情推定装置が備える表示装置の表示画面に出力してもよい。

【0019】

上記態様によれば、感情推定装置は、被験者の覚醒感と快適感とを平面上の点として表現して出力する。これにより、ユーザ又は被験者は、被験者の感情を、被験者が取り得るさまざまな感情のうちのどれであるか、また、併せてその感情の強度を直観的に知ることができる。

【0020】

例えば、前記出力において、前記第一値及び前記第二値の少なくとも一方を前記被験者の感情を示す情報として前記感情推定装置が備える表示装置の表示画面に出力してもよい。

【0021】

上記態様によれば、感情推定装置は、被験者の覚醒感と快適感との少なくとも一方を出力する。これにより、ユーザ又は被験者は、被験者の感情だけでなく、被験者が感じている覚醒感及び／又は快適感を知ることができる。

【0022】

例えば、前記出力において、前記被験者の所定の感情の強さを示す値を、前記被験者の感情を示す情報として前記感情推定装置が備える表示装置の表示画面に出力してもよい。

【0023】

上記態様によれば、感情推定装置は、被験者の特定の感情（例えば、喜び）の強さ（言い換えれば、感情の度合い）を出力する。例えば、感情推定装置は、単に「喜び」という感情を出力するだけでなく、喜びの度合いを出力する。これにより、ユーザ又は被験者は、被験者の感情だけでなく、その感情の強さ又は度合いを知ることができる。

【0024】

例えば、前記算出において、さらに、当該第一値に基づいて推定される前記被験者の感情の正しさを示す指標である第一信頼性を算出し、当該第二値に基づいて推定される前記被験者の感情の正しさを示す指標である第二信頼性を算出し、前記出力において、さらに前記感情を示す情報とともに、前記第一信頼性及び前記第二信頼性の少なくとも一方を示す情報を出力してもよい。

【0025】

上記態様によれば、感情推定装置は、推定した感情がどれだけ正しく被験者の感情を表しているかを信頼性として出力する。これにより、ユーザ又は被験者は、被験者の感情だけでなく、その感情がどれだけ正しく被験者の感情を表しているかを知ることができる。

【0026】

例えば、前記感情推定方法では、前記取得において、１以上の前記第一データおよび１以上の前記第二データを取得し、前記算出において、取得した１以上の前記第一データのそれぞれについて、第一値と、第一信頼性とを算出し、算出した前記第一値の前記第一信頼性を重みとした加重平均により、前記被験者の覚醒の度合いを示す第一値を算出し、取得した１以上の前記第二データのそれぞれについて、第二値と、第二信頼性とを算出し、算出した前記第二値の前記第二信頼性を重みとした加重平均により、前記被験者の快適さ度合いを示す第二値を算出してもよい。

【0027】

上記態様によれば、感情推定装置は、複数の生理学データ及び非生理学データにより覚醒感又は快適感が算出され得る場合に、これら複数の生理学データ及び非生理学データを信頼性に基づいて適切に評価して、被験者の感情を推定することができる。

【0028】

例えば、前記出力において、さらに、前記第一信頼性及び前記第二信頼性の少なくとも一方が所定の閾値より小さい場合には、警告を出力してもよい。

【0029】

上記態様によれば、感情推定装置は、推定した感情が被験者の感情をそれほど正しく表していないと評価される場合に警告を出力する。これにより、ユーザ又は被験者は、推定された感情が被験者の感情をそれほど正しく表していないことを明確に知ることができる。

【0030】

例えば、前記算出において、前記第一データを所定の第一基準値と比較することで前記第一値を算出し、前記第二データを所定の第二基準値と比較することで前記第二値を算出し、前記感情推定方法は、さらに、前記被験者の身体的特徴に関連する情報を取得し、取得した前記被験者の身体的特徴に関連する情報に基づいて、前記所定の第一基準値又は前記所定の第二基準値を調整してもよい。

【0031】

上記態様によれば、感情推定装置は、被験者の身体的特徴に関連する情報（例えば、性別又は年齢など）に基づいて覚醒感及び快適感の基準値を変動させることで、覚醒感及び快適感を被験者の身体的特徴に合わせて調整することができ、より適切に感情を推定することができる。

【0032】

例えば、前記感情推定方法では、さらに、人の顔の予め定められた複数の領域のうち、前記第二データとしての表情を取得するのに用いる領域の選択をユーザから受け付け、前記取得において、前記被験者の顔のうち前記領域に含まれる特徴点を前記第二データとして取得し、前記算出において、前記被験者の顔のうち前記領域に含まれる特徴点に基づいて前記第二値を算出してもよい。

【0033】

上記態様によれば、感情推定装置は、被験者の表情を取得するための顔の領域についての設定を受け付け、これを用いて被験者の表情を取得する。例えば被験者がサングラスを着用している場合には被験者の目の部分がサングラスにより隠されるので、目の部分から表情に関する情報を取得することができない。このような場合に、被験者の目の部分を除く部分から被験者の表情を取得するようにすることで、感情推定装置は、表情の検出をより適切に行うことができる。

【0034】

例えば、前記生理学データは、顔の色、心拍数、心拍数変動、心拍数変動のＬＦ／ＨＦ（Ｌｏｗ Ｆｒｅｑｕｅｎｃｙ／Ｈｉｇｈ Ｆｒｅｑｕｅｎｃｙ）、Ｒ−Ｒ間隔、脈波、脈拍変動、脳波、呼吸数、呼吸量、血流、血流変動、血圧、血圧変動、酸素飽和度、身体の部分の動き、身体の筋肉の動き、顔の筋肉の動き、体温、皮膚温、皮膚コンダクタンス、皮膚抵抗、発汗量及び発汗レートの少なくとも１つを含んでもよい。

【0035】

上記態様によれば、感情推定装置は、顔の色などの生理学データを用いてより具体的に被験者が抱く感情を推定することができる。

【0036】

例えば、前記非生理学データは、表情、感情、接触入力信号、音声、言語表現、文章及び身振りの少なくとも１つを含んでもよい。

【0037】

上記態様によれば、感情推定装置は、表情などの非生理学データを用いてより具体的に被験者が抱く感情を推定することができる。

【0038】

例えば、前記所定の第一基準値又は前記所定の第二基準値は、被験者の性別、国籍、年齢及び肌の色の少なくとも１つに基づいて算出されてもよい。

【0039】

上記態様によれば、感情推定装置は、性別などの情報を用いてより具体的に被験者が抱く感情を推定することができる。

【0040】

また、本開示の一態様に係る感情推定装置は、生理学データに対応する第一データと、前記第一データとは異なる生理学データおよび非生理学データの内の一方に対応する第二データとを被験者から取得する取得部と、（ｉ）取得した前記第一データと前記第二データとに基づいて、前記被験者の覚醒の度合いを示す第一値と、前記被験者の快適さの度合いを示す第二値とを算出し、（ｉｉ）算出した前記第一値及び前記第二値から前記被験者の感情を、メモリに予め記憶された人の覚醒の度合い及び快適さの度合いと前記人の感情との所定の対応付けに基づいて推定する推定部と、推定した前記感情を示す情報を出力する出力部とを備える。

【0041】

上記態様によれば、上記感情推定装置と同様の効果を奏する。

【0042】

また、本開示の一態様に係る記録媒体は、コンピュータプログラムを記録した非一時的記録媒体であって、前記プログラムは、コンピュータに、生理学データに対応する第一データと、前記第一データとは異なる生理学データおよび非生理学データのうちの一方に対応する第二データとを被験者から取得し、取得した前記第一データと前記第二データとに基づいて、前記被験者の覚醒の度合いを示す第一値と、前記被験者の快適さの度合いを示す第二値とを算出し、算出した前記第一値及び前記第二値から前記被験者の感情を、メモリに予め記憶された人の覚醒の度合い及び快適さの度合いと前記人の感情との所定の対応付けに基づいて推定し、推定した前記感情を示す情報を出力する処理を実行させる。

【0043】

上記態様によれば、上記感情推定装置と同様の効果を奏する。

【0044】

なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されてもよい。

【0045】

以下、実施の形態について、図面を参照しながら具体的に説明する。

【0046】

なお、以下で説明する実施の形態は、いずれも包括的または具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。

【0047】

（実施の形態）
本実施の形態において、人が抱いているさまざまな感情を推定する感情推定装置、及び、感情推定装置における感情推定方法について説明する。なお、以降の説明において、感情推定装置により感情を推定する対象の人のことを被験者といい、感情推定装置を操作する人のことをユーザという。被験者とユーザとが同一の人であってもよい。

【0048】

図１は、人の感情の二次元モデルの一例の説明図である。より具体的には、図１に示される感情の二次元モデルはラッセル円環モデルと呼ばれるものである。

【0049】

人は、喜び又は驚きというようなさまざまな感情を抱く。図１は、人が抱くさまざまな感情を、覚醒の度合いである覚醒感（Ａｒｏｕｓａｌ Ｌｅｖｅｌ）と、快適さの度合いである快適感（Ｖａｌｅｎｃｅ Ｌｅｖｅｌ）とを２軸とする平面に配置したものである。図１に示されるように、人が抱くさまざまな感情は、この平面において円環状に配置され得ることが知られている。

【0050】

発明者らは、被験者の顔の表情のみを用いてラッセル円環モデルに基づく感情の推定を行った場合、推定結果と実際の感情とが十分一致しないという結果を得た。発明者らは、この点に関して検討を重ねた結果、顔の表情をはじめとする非生理学データは、ラッセル円環モデルにおける快適感との相関が大きい一方、覚醒感との相関は小さいという知見を得た。また、本願発明者らは、ラッセル円環モデルにおける覚醒感は、心拍数などの生理学データとの相関が大きいという知見を得た。

【0051】

発明者らは、以上の知見に基づき、非生理学データと生理学データとを適切に用いることにより、より高い精度でラッセル円環モデルを用いた感情推定を行うことができることに着想し、本開示に至った。

【0052】

本実施の形態に係る感情推定装置は、生理学データ又は非生理学データから、上記の相関関係に基づいて、被験者が抱いているさまざまな感情を推定する。以降において、感情推定装置の構成及び動作について順に説明する。

【0053】

図２は、本実施の形態に係る感情推定装置１０のハードウェア構成を示すブロック図である。

【0054】

図２に示されるように、感情推定装置１０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１と、メモリ１２と、センサ１３と、表示装置１４と、操作入力ＩＦ（Ｉｎｔｅｒｆａｃｅ）１５とを備える。

【0055】

ＣＰＵ１１は、メモリ１２に記憶された制御プログラムを実行するプロセッサである。感情推定装置１０の後述する各機能ブロックは、ＣＰＵ１１が制御プログラムを実行することで実現され得る。

【0056】

メモリ１２は、記憶装置であり、ＣＰＵ１１が制御プログラムを実行するときに使用するワークエリアとして用いられる揮発性の記憶領域、並びに、制御プログラムなどを保持する不揮発性の記憶領域を含む。

【0057】

センサ１３は、人である被験者Ｕの生理学データ又は非生理学データを被験者Ｕから取得するセンサである。センサ１３は、複数のセンサ素子を含む。複数のセンサ素子のそれぞれは、生理学データ又は非生理学データを被験者Ｕから検知することで取得する。上記複数のセンサ素子の少なくとも１つは、生理学データを取得するセンサ素子（生理学センサ）である。上記複数のセンサ素子のうちの上記１つを除くものは、生理学センサであってもよいし、非生理学データを取得するセンサ素子（非生理学センサ）であってもよい。

【0058】

生理学データは、生体の機能に関するデータであり、例えば、顔の色、心拍数、心拍数変動、心拍数変動のＬＦ／ＨＦ（Ｌｏｗ Ｆｒｅｑｕｅｎｃｙ／Ｈｉｇｈ Ｆｒｅｑｕｅｎｃｙ）、Ｒ−Ｒ間隔、脈波、脈拍変動、脳波、呼吸数、呼吸量、血流、血流変動、血圧、血圧変動、酸素飽和度（ＳＯ２）、身体の部分の動き、身体の筋肉の動き、顔の筋肉の動き、体温、皮膚温、皮膚コンダクタンス、皮膚抵抗、皮膚のザラツキ、皮膚のテカリ、発汗量及び発汗レートの少なくとも１つを含む。ここで、身体の部分の動きとして、例えば瞬きの頻度、速度などが挙げられる。なお、生理学データは、後述する「表情データ」との対比のため、「非表情データ」とも称する。

【0059】

生理学センサは、例えば、カメラ（可視光カメラ又は特定の電磁波フィルタを有するカメラ）、心電センサ（ＥＫＧ又はＥＣＧ）、光電式容積脈波記録法（フォトプレチスモグラフィ）センシング、脳波測定器具（ＥＥＧ）、肺活量計、呼吸活性測定器、ＴＯＦ（Ｔｉｍｅ−ｏｆ−Ｆｌｉｇｈｔ）センサ、ミリ波センサ、ミリ波レーダ、パルスオキシメータ、サーモグラファー、サーマルイメージャ、赤外イメージャ、顔の筋肉の動きの検知器、皮膚温コンダクタンスセンサ、皮膚抵抗センサ、発汗量センサ、近赤外分光器及びコンピュータ断層撮影器（ＣＴ）の少なくとも１つを含む。

【0060】

非生理学データは、生体に関するデータのうち、生理学データでないデータであり、例えば、表情、感情、接触入力信号、音声、言語表現、文章及び身振り（ジェスチャ）の少なくとも１つを含む。なお、非生理学データとしての感情は、感情推定装置１０が推定する感情のことではなく、他の方法により得られる感情のことであり、例えば、被験者Ｕが自身の感情として入力するものである。また、非生理学データのうち、例えば顔の画像から読み取れる情報（口や目、眉毛などの位置や形）のような、表情の推定に用いるデータを「表情データ」と称する。

【0061】

非生理学センサは、例えば、カメラ、感情検出装置、接触入力器（タッチスクリーン）、マイク、ＴＯＦセンサ、ミリ波センサ、ミリ波レーダ、入力用キーボードによる言葉、文章の入力、マイクによる音声入力に基づく言葉、文章の入力及び歩行センサの少なくとも１つを含む。

【0062】

表示装置１４は、各種情報を出力する一例として、各種情報を画像として表示する表示画面を備える表示装置である。表示装置１４は、例えば、タッチパネル式ディスプレイのディスプレイ部分である。

【0063】

操作入力ＩＦ１５は、ユーザによる感情推定装置１０に対する操作を受け付ける操作入力インタフェースである。操作入力ＩＦ１５は、例えば、タッチパネル式ディスプレイのタッチパネル部分である。

【0064】

図３は、本実施の形態に係る感情推定装置１０の機能構成を示すブロック図である。図４は、本実施の形態に係る感情推定装置１０による感情の推定方法を示す模式図である。図５は、本実施の形態に係る感情推定装置１０による感情の出力方法を示す模式図である。これらを参照しながら感情推定装置１０の機能について説明する。

【0065】

図３に示されるように、感情推定装置１０は、機能ブロックとして、取得部２０と、推定部３０と、出力部４０とを備える。

【0066】

取得部２０は、被験者Ｕから生理学データ等を取得する処理部である。具体的には、取得部２０は、生理学データ（第一データに相当）と、上記生理学データとは異なる生理学データ又は非生理学データ（第二データに相当）とを取得する。取得部２０は、生理学データ取得部２１と、データ取得部２２とを備える。なお、取得部２０は、１つ以上のデータ取得部２２（データ取得部２ｎ等）を備えてもよい。

【0067】

取得部２０が、被験者Ｕから取得した第一データ、第二データなどは、推定部３０へ出力される。

【0068】

生理学データ取得部２１は、被験者Ｕから被験者Ｕの生理学データを取得する処理部である。生理学データ取得部２１は、センサ１３に含まれる生理学センサを用いて、被験者Ｕの生理学データを取得する。なお、生理学データ取得部２１は、他の装置が保有している被験者Ｕの生理学データを取得してもよい。

【0069】

データ取得部２２は、被験者Ｕから被験者Ｕの生理学データ又は非生理学データを取得する処理部である。データ取得部２２は、センサ１３に含まれる生理学センサ又は非生理学センサを用いて、被験者Ｕの生理学データ又は非生理学データを取得する。なお、データ取得部２２は、他の装置が保有している被験者Ｕの生理学データ又は非生理学データを取得してもよい。

【0070】

生理学データ取得部２１とデータ取得部２２とは、同一の被験者Ｕから、実質的に同時に、生理学データ及び非生理学データを取得する。

【0071】

なお、データ取得部２２が複数ある場合、複数のデータ取得部２２のそれぞれは、独立に生理学データ又は非生理学データを取得する。よって、取得部２０が取得する複数のデータのうちの少なくとも１つは生理学データであり、その他は、生理学データ又は非生理学データである。例えば、取得部２０が１つの生理学データと１つの非生理学データとを取得することもあるし、２つの生理学データを取得する（非生理学データを１つも取得しない）こともある。

【0072】

推定部３０は、取得部２０が取得したデータに基づいて推定される被験者Ｕの感情を推定する処理部である。推定部３０は、覚醒成分算出部３１と、快適成分算出部３２と、感情推定部３３とを備える。また、推定部３０は、補正部３７を備えてもよい。

【0073】

覚醒成分算出部３１は、取得部２０が取得したデータに基づいて、被験者Ｕの覚醒の度合いを示す覚醒感ＡＲ（図４参照）を算出する処理部である。より具体的には、覚醒成分算出部３１は、生理学データ取得部２１及びデータ取得部２２が取得した生理学データ及び非生理学データのそれぞれを取得し、これらのデータに基づいて覚醒感ＡＲを算出する。覚醒成分算出部３１は、生理学データ及び非生理学データについての基準値となるパラメータ３４を保有しており、取得部２０が取得したデータを基準値と比較することで覚醒感ＡＲを算出する。なお、上記のように「生理学データ取得部２１及びデータ取得部２２が取得した生理学データ及び非生理学データ」という場合、非生理学データが含まれないこともある。覚醒感は、第一値に相当する。

【0074】

なお、覚醒成分算出部３１は、生理学データ及び非生理学データのうち、覚醒感との相関が比較的小さいとして定められているデータを除外して、覚醒感ＡＲを算出してもよい。

【0075】

例えば、覚醒成分算出部３１が生理学データとしての顔の色に基づいて覚醒感ＡＲを算出するときには、覚醒成分算出部３１は、例えば、生理学データ取得部２１が取得した被験者Ｕの顔の色の赤色の輝度値と、パラメータ３４として保有している顔の色の赤色の輝度値の基準値とを比較する。そして、被験者Ｕの顔の色の赤色の輝度値が上記基準値と等しい場合に覚醒感ＡＲをゼロと算出し、被験者Ｕの顔の色の赤色の輝度値が大きいほど大きい（言い換えれば、輝度値が小さいほど小さい）覚醒感ＡＲを算出する。

【0076】

快適成分算出部３２は、取得部２０が取得したデータに基づいて、被験者Ｕの快適さの度合いを示す快適感ＶＡ（図４参照）を算出する処理部である。より具体的には、快適成分算出部３２は、生理学データ取得部２１及びデータ取得部２２が取得した生理学データ及び非生理学データのそれぞれを取得し、これらのデータに基づいて快適感ＶＡを算出する。快適成分算出部３２は、生理学データ及び非生理学データについての基準値となるパラメータ３５を保有しており、取得部２０が取得したデータを基準値と比較することで快適感ＶＡを算出する。快適感は、第二値に相当する。

【0077】

なお、快適成分算出部３２は、生理学データ及び非生理学データのうち、快適感との相関が比較的小さいとして定められているデータを除外して、快適感ＶＡを算出してもよい。

【0078】

例えば、快適成分算出部３２が非生理学データとしての表情に基づいて快適感ＶＡを算出するときには、快適成分算出部３２は、例えば、データ取得部２２が取得した被験者Ｕの顔のパーツの特徴点から表情を特定し、特定した表情について所定の対応付けに基づいて快適感ＶＡを算出する。

【0079】

感情推定部３３は、覚醒成分算出部３１が算出した覚醒感ＡＲと、快適成分算出部３２が算出した快適感ＶＡとから被験者Ｕの感情を推定する処理部である。感情推定部３３は、例えば、人の覚醒感と快適感との所定の対応付け（例えば図１に示すラッセル円環モデル）を予めメモリに保有している。このメモリは、図２に示すメモリ１２であってもよいし、感情推定装置１０が備えるメモリ１２とは、別のメモリであってもよい。別のメモリとは、例えば、感情推定装置１０とは別体の記憶装置（外部記憶装置ともいう）であってもよい。感情推定装置１０がメモリから上述の所定の対応付けに関する情報を読み出したり、このメモリへ情報を書き込んだりすることができる構成であれば、所定の対応付けを記憶したメモリは、感情推定装置１０に含まれていてもよいし、そうでなくてもよい。

【0080】

そして、感情推定部３３は、覚醒成分算出部３１が算出した覚醒感ＡＲと、快適成分算出部３２が算出した快適感ＶＡとを取得し、取得した覚醒感ＡＲ及び快適感ＶＡに、上記所定の対応付けにより対応付けられている感情を選択することで、被験者Ｕの感情を推定する。

【0081】

所定の対応付けとしてラッセル円環モデルを用いる場合、感情推定部３３は、覚醒感を縦軸とし、快適感を横軸とした平面上に、取得した覚醒感ＡＲ及び快適感ＶＡに対応する点をプロットし、ラッセル円環モデルにおいてその点に割り当てられている感情を、被験者Ｕの感情として推定する（図４参照）。

【0082】

感情推定部３３は、覚醒感ＡＲと快適感ＶＡとに基づいて感情を推定する際の基準となるパラメータ３６を保有している。パラメータ３６は、例えば、覚醒感ＡＲと快適感ＶＡとのどちらに比重を置くかを示す割合を示す基準値である。感情推定部３３は、覚醒感ＡＲと快適感ＶＡとに基づいて、パラメータ３６を基準として被験者Ｕの感情を推定する。

【0083】

補正部３７は、覚醒成分算出部３１が保有しているパラメータ３４、快適成分算出部３２が保有しているパラメータ３５、及び、感情推定部３３が保有しているパラメータ３６を補正する処理部である。補正部３７は、被験者Ｕの身体的特徴に関する情報、より具体的には性別、国籍、年齢、又は、肌の色などの情報に基づいて、パラメータ３４、３５及び３６を調整することで補正する。例えば、補正部３７は、生理学データとしての心拍数から覚醒感ＡＲを算出する場合、被験者Ｕが男性である場合に心拍数の基準値を比較的低い値に設定する。これにより、覚醒成分算出部３１は、同じ心拍数であっても、男性の被験者の覚醒感を女性の被験者の覚醒感より高い値として算出するようになる。一般に平常時の心拍数は女性より男性の方が低いので、同じ心拍数であれば、男性の方が、平常時からの差分が大きいからである。

【0084】

推定部３０は、推定した感情を示す情報を出力部４０へ出力する。

【0085】

出力部４０は、推定部３０が推定した感情を示す情報を出力する処理部である。出力部４０は、表示部４１を備える。表示部４１は、推定部３０が推定した感情を示す情報を画像として、表示装置１４の表示画面に表示する処理部である。

【0086】

出力部４０は、例えば図５のように、取得部２０が取得したデータと、推定部３０が推定した感情を示す情報とを並べた画像を表示装置１４に表示する。図５に示される画像は、生理学データ取得部２１が生理学データとして取得した被験者Ｕの顔の色を示す画像５１と、データ取得部２２が非生理学データとして取得した被験者Ｕの表情を示す画像５２と、推定部３０が推定した被験者Ｕの感情を示す画像５３とを含む。画像５３は、快適感と覚醒感とを２つの座標軸とする平面上の点として被験者Ｕの感情を示す画像の一例である。なお、画像５３は、快適感と覚醒感との少なくとも一方を示す画像であってもよい。また、画像５３は、被験者Ｕの所定の感情（例えば、喜び）の強さを示す値を示す画像であってもよい。また、画像５３は、被験者Ｕの覚醒感の信頼性及び快適感の信頼性の少なくとも一方を示す画像であってもよい。

【0087】

なお、出力部４０による出力方法は、図５に示されるものに限られず、例えば覚醒感だけを出力する、特定の感情の強度を出力する等、さまざまなバリエーションがある。バリエーションについては後で詳しく説明する。

【0088】

以降において、感情推定装置１０のより具体的な構成について説明する。

【0089】

図６は、本実施の形態に係る感情推定装置１０の機能構成の第一の具体例としての感情推定装置１０Ａを示すブロック図である。なお、感情推定装置１０の構成要素と同一のものについては、同一の符号を付し、詳細な説明を省略する。以降も同様とする。

【0090】

図６に示されるように、感情推定装置１０Ａは、感情推定装置１０における取得部２０及び推定部３０として、それぞれ、取得部２０Ａ及び推定部３０Ａを備える。その他の構成要素は、感情推定装置１０におけるものと同じである。

【0091】

取得部２０Ａは、生理学データ取得部２１Ａと、非生理学データ取得部２２Ａとを備える。

【0092】

生理学データ取得部２１Ａは、感情推定装置１０の生理学データ取得部２１の一具体例であり、被験者Ｕの生理学データを取得する処理部である。生理学データ取得部２１Ａは、取得した生理学データを覚醒成分算出部３１Ａに提供する。

【0093】

非生理学データ取得部２２Ａは、感情推定装置１０のデータ取得部２２の一具体例であり、被験者Ｕの非生理学データを取得する処理部である。非生理学データ取得部２２Ａは、取得した非生理学データを快適成分算出部３２Ａに提供する。

【0094】

推定部３０Ａは、覚醒成分算出部３１Ａと、快適成分算出部３２Ａとを備える。

【0095】

覚醒成分算出部３１Ａは、感情推定装置１０の覚醒成分算出部３１の一具体例であり、生理学データ取得部２１Ａが取得した生理学データに基づいて覚醒感を算出する処理部である。覚醒成分算出部３１Ａは、覚醒感を算出するために、生理学データ取得部２１Ａが取得した生理学データを用い、また、非生理学データ取得部２２Ａが取得した非生理学データを用いない。

【0096】

快適成分算出部３２Ａは、感情推定装置１０の快適成分算出部３２の一具体例であり、非生理学データ取得部２２Ａが取得した非生理学データに基づいて快適感を算出する処理部である。快適成分算出部３２Ａは、快適感を算出するために、非生理学データ取得部２２Ａが取得した非生理学データを用い、また、生理学データ取得部２１Ａが取得した生理学データを用いない。

【0097】

感情推定装置１０Ａは、覚醒感との相関が比較的小さい非生理学データを用いて覚醒感を算出すること、及び、快適感との相関が比較的小さい生理学データを用いて快適感を算出することを回避することができる。その結果、覚醒感及び快適感それぞれに相関が大きいデータに基づいて被験者Ｕの感情を推定することができる利点がある。また、構成が単純化されるので、装置の開発コストの削減、保守運用コストの削減の効果もある。

【0098】

図７は、本実施の形態に係る感情推定装置１０の機能構成の第二の具体例としての感情推定装置１０Ｂを示すブロック図である。図８は、本実施の形態に係る感情推定装置１０の機能構成の第二の具体例としての感情推定装置１０Ｂの感情推定処理を示すブロック図である。

【0099】

図７に示されるように、感情推定装置１０Ｂは、感情推定装置１０における取得部２０及び推定部３０として、それぞれ、取得部２０Ｂ及び推定部３０Ｂを備える。その他の構成要素は、感情推定装置１０におけるものと同じである。

【0100】

取得部２０Ｂは、生理学データ取得部２１Ｂと、非生理学データ取得部２２Ｂとを備える。

【0101】

生理学データ取得部２１Ｂは、感情推定装置１０における生理学データ取得部２１の一具体例であり、被験者Ｕの生理学データを取得する処理部である。生理学データ取得部２１Ｂは、取得した生理学データを、覚醒成分算出部３１Ａと快適成分算出部３２Ａとに提供する。このように、生理学データ取得部２１Ｂは、取得した生理学データを提供する先が生理学データ取得部２１と異なる。

【0102】

非生理学データ取得部２２Ｂは、感情推定装置１０におけるデータ取得部２２の一具体例であり、被験者Ｕの非生理学データを取得する処理部である。非生理学データ取得部２２Ｂは、取得した非生理学データを、覚醒成分算出部３１Ｂと快適成分算出部３２Ｂとに提供する。このように、非生理学データ取得部２２Ｂは、取得した非生理学データを提供する先がデータ取得部２２と異なる。

【0103】

推定部３０Ｂは、覚醒成分算出部３１Ａ及び３１Ｂと、快適成分算出部３２Ａ及び３２Ｂとを備える。覚醒成分算出部３１Ａ及び３１Ｂが、感情推定装置１０の覚醒成分算出部３１に相当し、快適成分算出部３２Ａ及び３２Ｂが、感情推定装置１０の快適成分算出部３２に相当する。

【0104】

覚醒成分算出部３１Ａは、生理学データ取得部２１Ｂが取得した生理学データに基づいて覚醒感（図８の覚醒感ＡＲ１）を算出する処理部である。また、覚醒成分算出部３１Ａは、算出する覚醒感に基づく感情推定の正しさの指標である信頼性（図８の信頼性ｒ１）を算出する。

【0105】

信頼性を算出する方法は、さまざまな方法があり得る。例えば、生理学データ取得部２１Ｂが取得した生理学データに含まれるノイズの量が大きいほど、低い信頼性を算出してもよい。また、生理学データ取得部２１Ｂが被験者Ｕから生理学データを取得するのに用いるセンサ１３の種別により設定されてもよいし、ユーザにより任意に設定されてもよい。

【0106】

覚醒成分算出部３１Ｂは、非生理学データ取得部２２Ｂが取得した非生理学データに基づいて覚醒感（図８の覚醒感ＡＲ２）を算出する処理部である。また、覚醒成分算出部３１Ｂは、算出する覚醒感の信頼性（図８の信頼性ｒ２）を算出する。

【0107】

快適成分算出部３２Ａは、生理学データ取得部２１Ｂが取得した生理学データに基づいて快適感（図８の快適感ＶＡ１）を算出する処理部である。また、快適成分算出部３２Ａは、算出する快適感の信頼性（図８の信頼性ｒ３）を算出する。

【0108】

快適成分算出部３２Ｂは、非生理学データ取得部２２Ｂが取得した非生理学データに基づいて快適感（図８の快適感ＶＡ２）を算出する処理部である。また、快適成分算出部３２Ｂは、算出する快適感の信頼性（図８の信頼性ｒ４）を算出する。

【0109】

感情推定部３３Ｂは、覚醒成分算出部３１Ｂ及び３２Ｂそれぞれから覚醒感を取得し、また、快適成分算出部３２Ａ及び３２Ｂそれぞれから快適感を取得し、被験者Ｕの感情を推定する。

【0110】

感情推定部３３Ｂは、複数の覚醒感を取得した場合、複数の覚醒感に基づいて１つの覚醒感を算出する。複数の覚醒感に基づいて１つの覚醒感を算出する方法はさまざまな方法があり得るが、例えば、複数の覚醒感の平均をとる、複数の覚醒感について各覚醒感の信頼性を重みとして加重平均をとる、複数の覚醒感の中央値をとる、というような方法があり得る。

【0111】

加重平均をとる方法について図８に示している。感情推定部３３Ｂは、複数の覚醒感ＡＲ１及びＡＲ２それぞれの信頼性ｒ１及びｒ２を用いて１つの覚醒感ＡＲを以下の（式１）により算出する。

【0112】

ＡＲ＝（ｒ１×ＡＲ１＋ｒ２×ＡＲ２）／（ｒ１＋ｒ２） （式１）

【0113】

また、感情推定部３３Ｂは、複数の快適感ＶＡ１及びＶＡ２それぞれの信頼性ｒ３及びｒ４を用いて１つの快適感ＶＡを以下の（式２）により算出する。

【0114】

ＶＡ＝（ｒ３×ＶＡ１＋ｒ４×ＶＡ２）／（ｒ３＋ｒ４） （式２）

【0115】

そして、感情推定部３３Ｂは、算出した覚醒感ＡＲと快適感ＶＡとに、所定の対応付け（例えばラッセル円環モデル）により対応付けられている感情を選択することで、被験者Ｕの感情を推定する。

【0116】

図９は、本実施の形態に係る感情推定装置１０の機能構成の第三の具体例としての感情推定装置１０Ｃを示すブロック図である。

【0117】

図９に示されるように、感情推定装置１０Ｃは、感情推定装置１０における取得部２０及び推定部３０として、それぞれ、取得部２０Ｃ及び推定部３０Ｂを備える。その他の構成要素は、感情推定装置１０におけるものと同じである。

【0118】

取得部２０Ｃは、生理学データ取得部２１Ａ及び２２Ｃと、非生理学データ取得部２２Ａ及び２２Ｄとを備える。

【0119】

生理学データ取得部２１Ａは、感情推定装置１０における生理学データ取得部２１の一具体例であり、被験者Ｕの生理学データを取得する処理部である。生理学データ取得部２１Ａは、取得した生理学データを、覚醒成分算出部３１Ａに提供する。

【0120】

生理学データ取得部２２Ｃは、感情推定装置１０におけるデータ取得部２２の一具体例であり、被験者Ｕの生理学データを取得する処理部である。生理学データ取得部２２Ｃは、取得した生理学データを、覚醒成分算出部３１Ｂに提供する。

【0121】

非生理学データ取得部２２Ａ及び２２Ｄは、それぞれ、感情推定装置１０におけるデータ取得部２２の一具体例であり、被験者Ｕの非生理学データを取得する処理部である。非生理学データ取得部２２Ａ及び２２Ｄは、それぞれ、取得した非生理学データを快適成分算出部３２Ａ及び３２Ｂに提供する。

【0122】

推定部３０Ｂは、感情推定装置１０Ｂにおける場合と同様に、複数の覚醒感及び快適感に基づいて、被験者Ｕの感情を推定する。

【0123】

図１０は、本実施の形態に係る感情推定装置１０の機能構成の第四の具体例としての感情推定装置１０Ｄを示すブロック図である。

【0124】

図１０に示されるように、感情推定装置１０Ｄは、感情推定装置１０Ａにおける取得部２０Ａ及び推定部３０Ａを、それぞれ、取得部２０Ｄ及び推定部３０Ｄとしてより具体的に示すものである。

【0125】

取得部２０Ｄは、カメラ６１と、解析部６２と、心拍取得部６３と、特徴点抽出部６４と、表情特定部６５とを備える。

【0126】

カメラ６１は、被験者Ｕの顔の動画像を撮影し、動画像データを生成する撮像装置である。カメラ６１は、生成した動画像データを、解析部６２及び特徴点抽出部６４に提供する。

【0127】

解析部６２は、カメラ６１が生成した動画像データに基づいて、被験者Ｕの顔の色の微小な変化を解析する処理部である。解析部６２は、カメラ６１が生成した動画像データを取得し、動画像における被験者Ｕの顔の領域を抽出する。そして、抽出した顔の領域に含まれる画素の色を示す時系列データを生成する。顔の色は、脈波（心拍）に基づいて微小な変化をするので、この時系列データは、脈波に基づいて変化する成分を有している。

【0128】

心拍取得部６３は、解析部６２が生成した時系列データから被験者Ｕの心拍数を取得する処理部である。心拍取得部６３は、解析部６２が生成した時系列データを取得し、取得した時系列データから周波数フィルタなどを用いて脈波に応じて変化する成分を抽出し、心拍数を取得する。

【0129】

特徴点抽出部６４は、カメラ６１が生成した動画像データに基づいて、被験者Ｕの顔の特徴点を抽出する処理部である。特徴点抽出部６４は、動画像データから被験者Ｕの眉、目、鼻又は口等のパーツを抽出し、さらに、各パーツの特徴点（例えば上下左右の端点）の位置を抽出する。

【0130】

表情特定部６５は、特徴点抽出部６４が抽出したパーツの位置に基づいて被験者Ｕの表情を特定する処理部である。表情特定部６５は、例えば、口の左右の端点が基準位置より上にある場合に、被験者Ｕの表情が笑顔であると特定する。

【0131】

推定部３０Ｄは、覚醒成分算出部３１Ｄと、快適成分算出部３２Ｄと、感情推定部３３とを備える。

【0132】

覚醒成分算出部３１Ｄは、心拍取得部６３が取得した被験者Ｕの心拍数を基準値と比較し、被験者Ｕの覚醒感を算出する。例えば、心拍取得部６３が取得した被験者Ｕの心拍数が基準値と等しい場合に覚醒感をゼロと算出し、心拍取得部６３が取得した被験者Ｕの心拍数が大きいほど大きい（言い換えれば、心拍数が小さいほど小さい）覚醒感を算出する。

【0133】

快適成分算出部３２Ｄは、表情特定部６５が特定した被験者Ｕの表情に基づいて快適感を算出する。例えば、表情特定部６５が特定した被験者Ｕの表情が笑顔である場合、快適感を比較的大きな値として算出する。

【0134】

感情推定部３３は、上記のように覚醒成分算出部３１Ｄが算出した覚醒感、及び、快適成分算出部３２Ｄが算出した快適感に基づいて、被験者Ｕの感情を推定する。

【0135】

以上のように構成された感情推定装置１０の処理について、以下で説明する。

【0136】

図１１は、本実施の形態に係る感情推定装置１０により推定される感情の推定方法を示すフロー図である。

【0137】

まず、感情推定装置１０は、ステップＳ１（ステップＳ１０１〜Ｓ１０３）において被験者Ｕから生理学データを取得し、また、ステップＳ２（ステップＳ１０４〜Ｓ１０６）において被験者Ｕから生理学データ又は非生理学データを取得する。なお、ステップＳ１とＳ２とは、どちらが先に行われてもよいし、同時並行的に行われてもよい。

【0138】

ステップＳ１０１において、生理学データ取得部２１は、生理学センサにより被験者Ｕの生理学データを取得する。

【0139】

ステップＳ１０２において、補正部３７は、覚醒成分算出部３１のパラメータ３４の調整を行う。なお、ステップＳ１０２は必須の処理ステップではなく、実行されなくてもよい。

【0140】

ステップＳ１０３において、覚醒成分算出部３１は、ステップＳ１０１で取得した生理学データに基づいて覚醒感を算出する。

【0141】

ステップＳ１０４において、データ取得部２２は、生理学センサ又は非生理学センサにより被験者Ｕの生理学データ又は非生理学データを取得する。

【0142】

ステップＳ１０５において、補正部３７は、快適成分算出部３２のパラメータ３５の調整を行う。なお、ステップＳ１０５は必須の処理ステップではなく、実行されなくてもよい。

【0143】

ステップＳ１０６において、快適成分算出部３２は、ステップＳ１０４で取得した生理学データ又は非生理学データに基づいて快適感を算出する。

【0144】

ステップＳ１０７において、補正部３７は、感情推定部３３のパラメータ３６の調整を行う。なお、ステップＳ１０７は必須の処理ステップではなく、実行されなくてもよい。

【0145】

ステップＳ１０８において、感情推定部３３は、ステップＳ１０３で算出した覚醒感と、ステップＳ１０６で算出した快適感とに基づいて、被験者Ｕの感情を推定する。

【0146】

ステップＳ１０９において、表示部４１は、ステップＳ１０８で推定した被験者Ｕの感情を示す情報を表示する。

【0147】

以上の一連の処理により、感情推定装置１０は、被験者Ｕから取得する生理学データ及び非生理学データに基づいて被験者Ｕが抱いているさまざまな感情を推定する。

【0148】

以降において、感情推定装置１０が表示装置１４に表示する画像等について説明する。

【0149】

図１２は、本実施の形態に係る取得部２０がデータ取得に用いるセンサ１３の選択、及び、取得するデータの選択をユーザから受け付けるための画像の説明図である。

【0150】

図１２に示される画像は、取得部２０がデータ取得に用いるセンサ１３の選択、及び、取得するデータの選択をユーザから受け付けるための画像であり、表示装置１４に表示されるものである。この画像は、センサ１３を示すボタン１２１を複数含んでおり、また、データ種別を示すボタン１２２を複数含んでいる。

【0151】

センサ１３を示すボタン１２１は、より具体的には、センサ１３としてのカメラ、マイク、及び、赤外線カメラをそれぞれ示すボタン１２１Ａ、１２１Ｂ、及び、１２１Ｃを含む。ユーザは、上記ボタンのうち、取得部２０によるデータ取得に用いるセンサ１３を示すボタンを操作（例えばタッチ）すると、この操作を操作入力ＩＦ１５が受け付け、操作がなされたボタンに対応するセンサ１３を用いて取得部２０がデータを取得するように制御する。

【0152】

データ種別を示すボタン１２２は、より具体的には、データ種別としての顔の色、心拍数、及び、血圧をそれぞれ示すボタン１２２Ａ、１２２Ｂ、及び、１２２Ｃを含む。ユーザは、上記ボタンのうち、取得部２０により取得されるデータ種別を示すボタンを操作すると、この操作を操作入力ＩＦ１５が受け付け、操作がなされたボタンに対応するデータ種別のデータを取得部２０が取得するように制御する。

【0153】

なお、センサ１３又はデータ種別は、複数選択されてよく、選択されるセンサ１３の個数に上限又は下限が設けられていてもよい。また、センサ１３及びデータ種別に互いに関連するものが含まれる場合、それらが連動して選択されてもよい。例えば、センサ１３としてカメラが選択された場合に、カメラにより取得可能なデータ種別である顔の色と心拍数とが自動的に選択されるようにしてもよい。

【0154】

図１３は、本実施の形態に係る出力部４０が出力する情報の選択をユーザから受け付けるための画像の説明図である。図１３に示される画像は、出力部４０が出力する情報の選択をユーザから受け付けるための画像であり、表示装置１４に表示されるものである。この画像は、出力する情報を示すボタン１３１及び１３２を複数含んでいる。

【0155】

ボタン１３１は、例えば一般ユーザ用のボタンであり、より具体的には、感情、覚醒感、快適感、及び、喜びレベルをそれぞれ示すボタン１３１Ａ、１３１Ｂ、１３１Ｃ、及び、１３１Ｄを含む。ユーザが、上記ボタンのうち、出力部４０により出力させる情報を示すボタンを操作すると、この操作を操作入力ＩＦ１５が受け付け、操作がなされたボタンに対応する情報を出力部４０が出力するように制御する。例えば、ユーザがボタン１３１Ａを操作した場合には、出力部４０は、推定した被験者Ｕの感情を出力する。また、ユーザがボタン１３１Ｂを操作した場合には、出力部４０は、被験者Ｕの覚醒感を出力する。

【0156】

ボタン１３２は、例えば開発者用のボタンであり、より具体的には、３つの特別出力それぞれを示すボタン１３２Ａ、１３２Ｂ、及び、１３２Ｃを含む。特別出力とは、覚醒感及び快適感の算出方法を試験的に調整するなどのために設けられる出力方法である。ユーザが、上記ボタンのうち、出力部４０により出力させる情報を示すボタンを操作すると、この操作を操作入力ＩＦ１５が受け付け、操作がなされたボタンに対応する情報を出力部４０が出力するように制御する。

【0157】

なお、出力する情報は、複数選択されてよく、選択されるセンサ１３の個数に上限又は下限が設けられていてもよい。

【0158】

図１４は、本実施の形態に係るセンサ１３の設定をユーザから受け付けるための画像の説明図である。図１４に示される画像は、センサ１３の種別等についての設定をユーザから受け付けるための画像であり、表示装置１４に表示されるものである。この画像は、センサ１３の種別を示すボタン１４１、センサ１３のハードウェア状態を示す表示領域１４２、覚醒感の信頼性を示す表示領域１４３、覚醒感の信頼性を調整するためのボタン１４４、快適感の信頼性を示す表示領域１４５、及び、快適感の信頼性を調整するためのボタン１４６を含む。

【0159】

センサ１３の種別を変更するときには、ユーザは、ボタン１４１を操作し、その後、変更後のセンサ１３の種別を入力する操作を行う。この操作を操作入力ＩＦ１５が受け付け、センサ１３の種別を変更し、ボタン１４１に表示する文字列を変更後のセンサ１３の種別に変更するよう制御する。

【0160】

表示領域１４２は、センサ１３が感情推定装置１０に適切に接続されているか否かを示す情報を表示する表示領域である。センサ１３が適切に接続されているときには「接続状態」と表示され、センサ１３が適切に接続されていないときには「非接続状態」と表示される。

【0161】

表示領域１４３及び１４５は、それぞれ、覚醒感及び快適感の信頼性を表示する表示領域である。ユーザがこの信頼性を調整する場合には、ユーザは、ボタン１４４又は１４６を操作し、その後、信頼性を変更する操作を行う。

【0162】

図１５は、本実施の形態に係るセンサ１３の信頼性の調整をユーザから受け付けるための画像の説明図である。図１５に示される画像は、センサ１３の信頼性の調整（具体的には増加又は減少）についての設定をユーザから受け付けるための画像であり、表示装置１４に表示されるものである。この画像は、例えば、図１４のボタン１４４又は１４６に対するユーザによる操作を操作入力ＩＦ１５が受け付けたときに表示される。

【0163】

この画像は、覚醒感及び快適感のそれぞれの信頼性を表示する表示領域１５１及び１５４を含んでいる。また、覚醒感及び快適感のそれぞれの信頼性を増加させるボタン１５２及び１５５、並びに、覚醒感及び快適感のそれぞれの信頼性を減少させるボタン１５３及び１５６を含んでいる。

【0164】

ユーザは、センサ１３の覚醒感の信頼性を増加又は減少させるときには、それぞれ、ボタン１５２又は１５３を操作する。この操作を操作入力ＩＦ１５が受け付けると、この操作に従って、センサ１３の覚醒感の信頼性を増加又は減少させ、表示領域１５１に表示している覚醒感を示す数値を増加または減少させる。このようにして、感情推定装置１０は、ユーザに快適感の信頼性を示す数値を提示しながら調整させることができる。なお、快適感についても上記と同様であるので説明を省略する。

【0165】

図１６は、本実施の形態に係る出力情報に関する計算式の設定のための画像の説明図である。図１６に示される画像は、出力情報の１つである特別出力のための計算式の設定をユーザから受け付けるための画像であり、表示装置１４に表示されるものである。この画像は、例えば、図１３のボタン１３２Ａ等に対するユーザによる操作を操作入力ＩＦ１５が受け付けたときに表示される。

【0166】

この画像は、計算式の表示領域１６１と、演算子の入力のための複数のボタン１６２と、計算式を決定するためのボタン１６３とを含んでいる。ボタン１６２に対するユーザによる操作がなされると、この操作を操作入力ＩＦ１５が受け付け、表示領域１６１に表示される計算式を更新する。そして、ボタン１６３に対するユーザによる操作がなされると、この操作を操作入力ＩＦ１５が受け付け、表示領域１６１に表示された計算式が特別出力１の計算式として決定される。

【0167】

ユーザは、特別出力の内容を変更するときには、表示領域１６１に表示される計算式を視認するとともに、複数のボタン１６２を操作することにより計算式を変更することができる。

【0168】

図１７は、本実施の形態に係る出力情報に関する計算式の確認のための画像の説明図である。図１７に示される画像は、出力情報の１つである特別出力のための計算式をユーザに閲覧させるための画像であり、表示装置１４に表示されるものである。この画像は、例えば、図１６のボタン１６３に対するユーザによる操作を操作入力ＩＦ１５が受け付けたときに表示される。

【0169】

この画像は、３つの特別出力の計算式のそれぞれを示す表示領域１７１、１７２及び１７３を含む。これらの表示領域には、例えば図１６に示される画像に基づいてユーザが設定した計算式が表示される。ユーザは、３つの特別出力の計算式を１つの画像として閲覧することで、効率よく、これらの計算式同士の関係を把握したり、計算式の修正点を発見したりすることができる。

【0170】

図１８は、本実施の形態に係る感情を示す情報の出力の選択のための画像の説明図である。図１８に示される画像は、感情推定装置１０が、推定した感情として出力する情報を設定するための画像であり、表示装置１４に表示されるものである。

【0171】

この画像は、感情推定装置１０が、推定した感情として出力する情報の候補を示すボタン１８１、１８２及び１８３を含む。これらのボタンそれぞれには、感情を示す文字列が付されており、ユーザによりボタンに対する操作がなされると、この操作を操作入力ＩＦ１５が受け付け、操作がなされたボタンに対応する感情を、推定した感情として出力するか出力しないかを切り替えるよう制御する。例えば、ユーザによるボタン操作により、「Ｈａｐｐｙ Ｌｅｖｅｌを出力する」、「Ｓｕｒｐｒｉｓｅｄ Ｌｅｖｅｌを出力する」、及び、「Ａｎｇｒｙ Ｌｅｖｅｌを出力しない」ということが決定された場合、推定部３０が被験者Ｕの感情として「Ｈａｐｐｙ」及び「Ｓｕｒｐｒｉｓｅｄ」を示す情報を出力することは許容されるが、「Ａｎｇｒｙ」を示す情報を出力することは抑制される。

【0172】

ユーザは、出力される感情を一部のものに限定することができる。これにより、ユーザは、例えば被験者Ｕにとって必要な推定結果のみを得ることができる、又は、ユーザ自身が被験者Ｕであって他人に見られることが想定される場合に他人に見せたくない推定結果を出力させないようにすることができるという利点がある。

【0173】

図１９は、本実施の形態に係る感情を示す情報の表現の設定のための画像の説明図である。図１９に示される画像は、感情推定装置１０が、推定した感情として出力する情報の表現を設定するための画像であり、表示装置１４に表示されるものである。

【0174】

この画像は、感情推定装置１０が、推定した感情として出力する情報の表現の候補を示すボタン１９１、１９２、１９３及び１９４を含む。これらのボタンそれぞれには、喜びの感情又はこれに類似する感情を示す複数の表現の文字列が付されている。ユーザによりボタンに対する操作がなされると、この操作を操作入力ＩＦ１５が受け付け、操作がなされたボタンに対応する表現を用いた情報を、出力部４０が出力するよう制御する。例えば、ユーザによるボタン操作により、ボタン１９１の「Ｈａｐｐｙ」を選択すると、喜びの感情を出力する場合に「Ｈａｐｐｙ」という表現を出力する。

【0175】

図２０は、本実施の形態に係る推定部３０が推定した感情を示す情報を含む画像の第一例の説明図である。

【0176】

図２０に示される画像は、推定部３０が推定した感情として出力する情報を設定するための画像であり、表示装置１４に表示されるものである。

【0177】

この画像は、入力に関する画像を左側に含み、出力に関する情報を右側に含んでいる。

【0178】

図２０に示される画像のうちの左側には、生理学データとしての「顔の色」と、非生理学データとしての「表情」とを被験者Ｕから取得するか否かを選択するためのボタン２０１及び２０２、並びに、被験者Ｕから取得しているデータを示す画像２０３が含まれている。ユーザは、上記ボタンのうち、取得部２０により取得するデータを示すボタンを操作すると、この操作を操作入力ＩＦ１５が受け付け、操作がなされたボタンに対応するデータを取得部２０が取得するように制御する。図２０では、取得部２０が「顔の色」を取得するように制御されている状態であり、ボタン２０１の色が濃い色で示されている。また、実際に被験者Ｕから取得している顔の色が、画像２０３により示されている。

【0179】

図２０に示される画像のうちの右側には、推定部３０が推定した被験者Ｕの感情を示す画像２０４と、覚醒感及び快適感それぞれを出力するか否かを選択するためのボタン２０５及び２０６とが含まれている。図２０では、推定部３０が覚醒感を用いて、また、快適感を用いずに、感情を推定する状態であり、ボタン２０５が濃い色で示されている。また、画像２０４では、推定部３０が推定した感情を、覚醒感だけを用いて示している。

【0180】

このように、ユーザ又は被験者Ｕは、被験者Ｕから取得されたデータと、そのデータに基づいて推定される感情とが並んだ１の画像を視認することで、直観的に被験者Ｕの感情の推定結果を把握することができる。

【0181】

図２１は、本実施の形態に係る推定部３０が推定した感情を示す情報を含む画像の第二例の説明図である。図２１に示される画像の全体的な構成は、図２０に示される画像と同じであるが、図２０に示される画像とは、被験者Ｕから取得する情報、及び、出力する情報が異なる。

【0182】

図２１に示される画像のうちの左側には、図２０に示される画像と同様、「顔の色」と「表情」とを被験者Ｕから取得するか否かを選択するためのボタン２１１及び２１２、並びに、取得しているデータを示す画像２１３が含まれている。図２１では、取得部２０が「表情」を取得するように制御されている状態であり、ボタン２１２の色が濃い色で示されている。また、実際に被験者Ｕから取得している顔の色が、画像２１３により示されている。

【0183】

図２１に示される画像のうちの右側には、被験者Ｕの感情を示す画像２１４と、覚醒感及び快適感それぞれを出力するか否かを選択するためのボタン２１５及び２１６とが含まれている。図２１では、推定部３０が快適感を用いて、また、覚醒感を用いずに、感情を推定する状態であり、ボタン２１６が濃い色で示されている。また、画像２１４では、推定部３０が推定した感情を、快適感だけを用いて示している。

【0184】

図２２は、本実施の形態に係る推定部３０が推定した感情を示す情報を含む画像の第三例の説明図である。図２２に示される画像の全体的な構成は、図２０に示される画像と同じであるが、図２０に示される画像とは、被験者Ｕから取得する情報、及び、出力する情報が異なる。

【0185】

図２２に示される画像のうちの左側には、図２０に示される画像と同様、「顔の色」と「表情」とを被験者Ｕから取得するか否かを選択するためのボタン２２１及び２２２、並びに、取得しているデータを示す画像２２３及び２２４が含まれている。図２２では、取得部２０が「顔の色」及び「表情」を取得するように制御されている状態であり、ボタン２２１及び２２２の色が濃い色で示されている。また、実際に被験者Ｕから取得している顔の色及び表情が、画像２２３及び２２４により示されている。

【0186】

図２２に示される画像のうちの右側には、被験者Ｕの感情を示す画像２２５と、覚醒感及び快適感それぞれを出力するか否かを選択するためのボタン２２６及び２２７と、推定した感情を出力するか否かを選択するボタン２２８と、推定した感情を示す文字列２２９とが含まれている。図２２では、推定部３０が覚醒感及び快適感を用いて感情を推定する状態であり、ボタン２２６及び２２７が濃い色で示されている。画像２２５では、推定部３０が推定した感情を、覚醒感及び快適感を用いて示している。

【0187】

さらに、図２２では、推定した感情を出力する状態であり、ボタン２２８が濃い色で示されている。この場合、推定した感情を示す文字列２２９が示されている。なお、ボタン２２８は、ボタン２２６及び２２７により、覚醒感及び快適感の両方を出力することが選択されているときにのみ表示されるようにしてもよい。覚醒感及び快適感の一方だけを出力する場合に、覚醒感及び快適感の両方から推定される感情を示すことは適当でないからである。

【0188】

図２３は、本実施の形態に係る推定部３０が推定した感情を示す情報を含む画像の第四例の説明図である。図２３に示される画像の上側の部分は、図２２に示される画像と同じである。図２３に示される画像の下側の部分は、取得部２０が取得する生理学データ及び非生理学データ（入力データ）の信頼性を設定するための画像を含む。

【0189】

入力データの信頼性を設定するための画像には、取得部２０が取得する生理学データ及び非生理学データとしての「顔の色」及び「表情」それぞれの信頼性を表示する表示領域２３１及び２３４、並びに、上記信頼性を調整するためのボタン２３２、２３３、２３５及び２３６が含まれている。信頼性の調整方法は、図１５におけるものと同じであるので説明を省略する。

【0190】

図２４は、本実施の形態に係る推定部３０が推定した感情を示す情報を含む画像の第五例の説明図である。図２４に示される画像の全体的な構成は、図２０に示される画像と同じであるが、図２０に示される画像とは、被験者Ｕから取得する情報、及び、出力する情報が異なる。

【0191】

図２４に示される画像のうちの左側は、図２０におけるものと同じである。つまり、取得部２０が「顔の色」を取得するように制御されている状態である。

【0192】

図２４に示される画像のうちの右側は、推定部３０が覚醒感及び快適感を用いて感情を推定する状態であることを示しており、また、推定した感情を示す情報が表示されている。

【0193】

また、図２４に示される画像は、生理学データとしての「顔の色」から推定される快適感の信頼性が低いことを示す警告のための画像２４１を含む。

【0194】

このように、出力部４０は、覚醒感及び快適感から推定した感情を表示する一方で、その覚醒感及び快適感の少なくとも一方の信頼性が所定値より低い場合に、その旨を示す画像を表示する。ユーザ又は被験者Ｕは、この画像を視認すると、警告とともに出力されている感情は、それほど正しくないものであると判断することができる。

【0195】

図２５は、本実施の形態に係る推定部３０が推定した感情を示す情報を含む画像の第六例の説明図である。図２５に示される画像の全体的な構成は、図２２に示される画像と同じであるが、図２２に示される画像とは、被験者Ｕから取得する生理学データを示す情報が異なる。

【0196】

図２５に示される画像のうちの左側には、生理学データとしての「心拍」を被験者Ｕから取得するか否かを設定するためのボタン２５１、及び、取得している心拍の波形の時系列データを示す画像２５２が含まれている。

【0197】

このように、ユーザ又は被験者Ｕは、心拍と表情とに基づいて推定される被験者Ｕの感情を把握することができる。

【0198】

図２６Ａは、本実施の形態に係る推定部３０が推定した感情を示す情報を含む画像の第七例の説明図である。図２６Ａに示される画像の全体的な構成は、図２２に示される画像と同じであるが、図２２に示される画像とは、被験者Ｕから取得する非生理学データを示す情報が異なる。

【0199】

図２６Ａに示される画像のうちの左側には、非生理学データとしての音声及び言語表現を被験者Ｕから取得するか否かを設定するためのボタン２６１及び２６２、並びに、取得している音声の大きさの大小を示す画像２６３、及び、取得している言語表現の強弱を示す画像２６４が含まれている。

【0200】

図２６Ｂは、本実施の形態に係る推定部３０が推定した感情を示す情報を含む画像の第八例の説明図である。図２６Ｂに示される画像の全体的な構成は、図２６Ａに示される画像と同じであるが、図２６Ａに示される画像とは、被験者Ｕから取得する生理学データを示す情報が異なる。

【0201】

図２６Ｂに示される画像のうちの左側には、生理学データとしての心拍を被験者から取得するか否かを設定するためのボタン２６５、及び、取得している心拍の波形を示す画像２６６が含まれている。

【0202】

このように、ユーザ又は被験者Ｕは、顔の色、音声、及び、言語表現に基づいて推定される被験者Ｕの感情を把握することができる。

【0203】

図２７は、本実施の形態に係る被験者情報の登録のための画像の説明図である。

【0204】

図２７に示される画像は、感情推定装置１０により感情を推定する対象となる被験者Ｕに関する情報（被験者情報ともいう）を感情推定装置１０に登録するための画像であり、表示装置１４に表示されるものである。

【0205】

この画像は、被験者Ｕに関する情報として、被験者Ｕの国籍、性別、年齢、平常時の平均心拍数、平常時の血圧、肌の色、及び、慢性疾患等についての登録のための操作をユーザから受け付けるための画像を含んでいる。ユーザは、上記の各情報が表示された領域に対して操作すると、この操作を操作入力ＩＦ１５が受け付け、操作がなされたボタンに対応するデータを変更するよう制御する。データの変更の際には、設定し得る文字又は記号などの選択肢を表示しユーザに選択させる等、既知の方法が採用され得る。

【0206】

図２８は、本実施の形態に係る被験者Ｕの顔の登録のための画像の第一例の説明図である。

【0207】

図２８に示される画像は、感情推定装置１０により感情を推定する対象となる被験者Ｕの顔を登録するための画像であり、表示装置１４に表示されるものである。

【0208】

この画像は、感情推定装置１０に登録する被験者Ｕの顔を示す画像２８１、平常時の平均心拍数を示す表示領域２８２、平常時の平均呼吸数を示す表示領域２８３、及び、登録のためのボタン２８４を含む。画像２８１は、記憶媒体に保存されていたデータを読みだしたものであってもよいし、感情推定装置１０がカメラを備えている場合にはカメラで撮影したものであってもよい。平均心拍数及び平均呼吸数は、ユーザにより入力されたものであってもよいし、センサ１３によりユーザから取得したものであってもよい。

【0209】

ボタン２８４に対するユーザによる操作がなされると、この操作を操作入力ＩＦ１５が受け付け、操作がなされたときの画像２８１が、被験者Ｕの顔として登録される。このように登録された被験者Ｕの顔に基づいて、非生理学データとしての表情の分析がなされる。

【0210】

図２９は、本実施の形態に係る被験者Ｕの顔の登録のための画像の第二例の説明図である。

【0211】

図２９に示される画像は、感情推定装置１０により感情を推定する対象となる被験者Ｕのさまざまな表情の顔を登録するための画像であり、表示装置１４に表示されるものである。

【0212】

この画像は、感情推定装置１０に登録する被験者Ｕの顔を示す画像２９１、登録のためのボタン２９３、及び、被験者Ｕの表情を形成させるための画像２９４を含む。なお、感情推定装置１０がカメラを備えている場合には、被験者Ｕにさまざまな表情をさせるためのメッセージ２９２を含んでもよい。

【0213】

画像２９１は、記憶媒体に保存されていたデータを読みだしたものであってもよいし、感情推定装置１０がカメラを備えている場合にはカメラで撮影したものであってもよい。

【0214】

メッセージ２９２は、登録すべき被験者Ｕの表情（例えば、怒った表情）を被験者Ｕにさせるためのメッセージである。被験者Ｕは、メッセージ２９２を視認し、メッセージ２９２の内容に従って表情を形成する。

【0215】

ボタン２９３に対するユーザによる操作がなされると、この操作を操作入力ＩＦ１５が受け付け、操作がなされたときの画像２９１が、登録すべき表情の被験者Ｕの顔として登録される。このように登録された被験者Ｕの顔に基づいて、非生理学データとしての表情の分析がなされる。登録すべき表情は、複数あってもよいが、例えばラッセル円環モデル（図１）に含まれる感情のすべてに対応する表情それぞれを登録する必要はない。人の感情と表情との関連は、例えば特徴点の動き等を用いた方法等がすでに知られており、登録された被験者Ｕの顔に含まれる特徴点の位置を所定の関係に基づいて動かすことで、所定の感情の顔を形成することができるからである。

【0216】

画像２９４は、被験者Ｕの表情を形成させるための画像である。例えば、画像２９４は、被験者Ｕに怒った表情をさせたい場合に、その表情の例として、被験者Ｕの顔の画像に基づいてコンピュータグラフィックスにより生成された被験者Ｕの怒った表情を示す画像である。なお、画像２９４は、被験者Ｕが自発的に表情を形成するように感情を抱かせる画像であってもよい。例えば、被験者Ｕの笑顔を登録したい場合に、被験者Ｕと異なる人物の笑顔を示す画像としてもよいし、動物の画像などにしてもよい。また、言葉又は文字表現（例えば、「とても美しいですね」というような言葉）を含んでもよい。

【0217】

図３０は、本実施の形態に係る被験者Ｕの顔から表情を検知する領域の選択の画像の第一例の説明図である。図３０に示される画像は、取得部２０により非生理学データとしての表情を取得する対象となる被験者Ｕの顔の領域を設定するための画像であり、表示装置１４に表示されるものである。

【0218】

この画像は、表情を取得する対象となる領域のパターンを被験者Ｕの顔に重畳させて示す画像３０１と、上記領域のパターンの候補を示す複数の画像３０２Ａ、３０２Ｂ及び３０２Ｃと、カーソル３０３と、登録のためのボタン３０４とを含む。

【0219】

画像３０１は、複数の画像３０２Ａのうちカーソル３０３により指定される領域のパターンを被験者Ｕの顔に重畳させた画像である。領域のパターンの候補は、顔を特徴ある複数の部分に区分した上で、これらの部分の組み合わせのさまざまなパターンとして形成される。例えば、顔の目を含む部分、鼻及び頬を含む部分、鼻及び眉間を含む部分、及び、口を含む部分に区分した上で、これらの部分をさまざまに組み合わせることで、複数の画像３０２Ａ等に示されるような上記複数の領域のパターンが形成される。

【0220】

カーソル３０３は、複数の画像３０２Ａのうちのいずれかを指定するカーソルであり、ユーザによる操作により移動され得る。

【0221】

ボタン３０４に対するユーザによる操作がなされると、この操作を操作入力ＩＦ１５が受け付け、操作がなされたときの画像３０１が、表情を取得する対象となる領域のパターンとして登録される。

【0222】

図３１は、本実施の形態に係る被験者Ｕの顔から表情を検知する領域の選択の画像の第二例の説明図である。図３１に示される画像の全体的な構成及び役割は、図３０に示される画像と同じである。

【0223】

図３１に示される画像３１１に含まる被験者Ｕの顔は、目を含む部分がサングラスにより覆われており、目の部分に基づく表情の分析が困難であると考えられる。このような場合には、目の部分を含まない領域のパターンである画像３０２Ｂに対応する領域のパターンを、表情を取得する対象となる領域のパターンとして登録するようにしてもよい。

【0224】

なお、顔のしわの情報を含めると、感情推定装置１０における顔の表情または感情の決定精度を向上させることができる。加えて、感情推定装置１０が個人を識別する機能を有する場合、個人識別の精度をも向上させることができる。

【0225】

図３２は、感情推定装置１０により顔の表情または感情を決定する際に、顔のしわの情報を用いるかどうかの選択をユーザに選択させるための画像の一例であり、表示装置１４に表示されるものである。

【0226】

図３２に示される画像は、感情推定装置１０により顔の表情または感情を決定する際に顔のしわの情報を用いないモード（しわ非使用モード）を選択するためのボタン３２１と、上記の際に顔のしわの情報を用いるモード（しわ使用モード）を選択するボタン３２２とを含む。ユーザは、これらのいずれかのボタンを操作することで、感情推定装置１０により顔の表情または感情を決定する際に、顔のしわの情報を用いるかどうかを選択することができる。

【0227】

なお、図３２の例において、顔のしわの情報を用いることで顔の表情と感情の決定精度を向上させることが可能である旨をユーザに示してもよい。

【0228】

（実施の形態の変形例）
本変形例において、人が抱いているさまざまな感情を推定する感情推定装置の別構成について説明する。なお、実施の形態と同じ構成要素には、同じ符号を付し、詳細な説明を省略する。

【0229】

図３３は、本変形例に係る感情推定装置１０Ｅのハードウェア構成を示すブロック図である。

【0230】

図３３に示されるように、感情推定装置１０Ｅは、ＣＰＵ１１と、メモリ１２と、表示装置１４と、操作入力ＩＦ１５と、センサ入力ＩＦ１６と、センサ１７とを備える。感情推定装置１０Ｅは、センサ１３の代わりに、センサ入力ＩＦ１６を備える点で、感情推定装置１０と異なる。

【0231】

センサ入力ＩＦ１６は、人である被験者Ｕの生理学データ又は非生理学データを被験者Ｕから取得するセンサ１７に接続されている。センサ１７は、感情推定装置１０のセンサ１３と同等のものでよい。

【0232】

感情推定装置１０Ｅにおいて、取得部２０は、センサ入力ＩＦ１６を介してセンサ１７から情報を取得し、実施の形態の感情推定装置１０と同様の処理を行う。

【0233】

この構成によれば、感情推定装置１０Ｅは、自装置にセンサを備えることなく、感情推定装置１０Ｅの外部のセンサ１７から情報を取得し、被験者の感情を推定することができる。

【0234】

以上のように、本実施の形態の感情推定装置は、被験者から取得した生理学データ又は非生理学データを含むであって、少なくとも１つの生理学データを含む２以上のデータを用いて、所定の対応付けに基づいて被験者の感情を推定することができる。ここで、感情推定装置は、上記２以上のデータを用いことで被験者の第一値（覚醒感）及び第二値（快適感）の２つの指標を算出することにより、被験者が抱いているさまざまな感情を適切に推定することができる。

【0235】

また、感情推定装置は、被験者から取得した生理学データ及び非生理学データを用いて、所定の対応付けに基づいて被験者の感情を推定することができる。生理学データは覚醒感との相関が比較的大きく、非生理学データは快適感との相関が比較的大きい。よって、生理学データ及び非生理学データを用いることにより覚醒感及び快適感をより正確に算出し、その結果、被験者の感情をより正確に推定することができる。

【0236】

また、感情推定装置は、被験者から取得した生理学データを用いて生理学データに相関が比較的大きい覚醒感を算出し、また、非生理学データを用いて非生理学データに相関が比較的大きい快適感を算出する。よって、被験者の覚醒感及び快適感をより正確に算出し、その結果、被験者の感情をより正確に推定することができる。

【0237】

また、感情推定装置は、被験者の生理学データとしての心拍数と、非生理学データとしての表情とをともにカメラを用いて取得し、被験者の感情を推定する。このように、カメラという１つのデバイスを用いて生理学データ及び非生理学データの両方を取得して感情を推定することで、被験者の負担を削減するとともに、利便性が向上する。

【0238】

また、感情推定装置は、被験者の覚醒感と快適感とを平面上の点として表現して出力する。これにより、ユーザ又は被験者は、被験者の感情を、被験者が取り得るさまざまな感情のうちのどれであるか、また、併せてその感情の強度を直観的に知ることができる。

【0239】

また、感情推定装置は、被験者の覚醒感と快適感との少なくとも一方を出力する。これにより、ユーザ又は被験者は、被験者の感情だけでなく、被験者が感じている覚醒感及び／又は快適感を知ることができる。

【0240】

また、感情推定装置は、被験者の特定の感情（例えば、喜び）の強さ（言い換えれば、感情の度合い）を出力する。例えば、感情推定装置は、単に「喜び」という感情を出力するだけでなく、喜びの度合いを出力する。これにより、ユーザ又は被験者は、被験者の感情だけでなく、その感情の強さ又は度合いを知ることができる。

【0241】

また、感情推定装置は、推定した感情がどれだけ正しく被験者の感情を表しているかを信頼性として出力する。これにより、ユーザ又は被験者は、被験者の感情だけでなく、その感情がどれだけ正しく被験者の感情を表しているかを知ることができる。

【0242】

また、感情推定装置は、複数の生理学データ及び非生理学データにより覚醒感又は快適感が算出され得る場合に、これら複数の生理学データ及び非生理学データを信頼性に基づいて適切に評価して、被験者の感情を推定することができる。

【0243】

また、感情推定装置は、推定した感情が被験者の感情をそれほど正しく表していないと評価される場合に警告を出力する。これにより、ユーザ又は被験者は、推定された感情が被験者の感情をそれほど正しく表していないことを明確に知ることができる。

【0244】

また、感情推定装置は、被験者の身体的特徴に関連する情報（例えば、性別又は年齢など）に基づいて覚醒感及び快適感の基準値を変動させることで、覚醒感及び快適感を被験者の身体的特徴に合わせて調整することができ、より適切に感情を推定することができる。

【0245】

また、感情推定装置は、被験者の表情を取得するための顔の領域についての設定を受け付け、これを用いて被験者の表情を取得する。例えば被験者がサングラスを着用している場合には被験者の目の部分がサングラスにより隠されるので、目の部分から表情に関する情報を取得することができない。このような場合に、被験者の目の部分を除く部分から被験者の表情を取得するようにすることで、感情推定装置は、表情の検出をより適切に行うことができる。

【0246】

また、感情推定装置は、顔の色などの生理学データを用いてより具体的に被験者が抱く感情を推定することができる。

【0247】

また、感情推定装置は、表情などの非生理学データを用いてより具体的に被験者が抱く感情を推定することができる。

【0248】

また、感情推定装置は、性別などの情報を用いてより具体的に被験者が抱く感情を推定することができる。

【0249】

なお、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。ここで、上記各実施の形態の感情推定装置などを実現するソフトウェアは、次のようなプログラムである。

【0250】

すなわち、このプログラムは、コンピュータに、被験者の感情を推定する感情推定装置における感情推定方法であって、生理学データに対応する第一データと、前記第一データとは異なる生理学データおよび非生理学データのうちの一方に対応する第二データとを前記被験者から取得し、取得した前記第一データと前記第二データとに基づいて、前記被験者の覚醒の度合いを示す第一値と、前記被験者の快適さの度合いを示す第二値とを算出し、算出した前記第一値及び前記第二値から前記被験者の感情を、コンピュータのメモリに予め記憶された人の覚醒の度合い及び快適さの度合いと前記人の感情との所定の対応付けに基づいて推定し、推定した前記感情を示す情報を出力する感情推定方法を実行させる。

【0251】

以上、一つまたは複数の態様に係る感情推定装置などについて、実施の形態に基づいて説明したが、本開示は、この実施の形態に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、一つまたは複数の態様の範囲内に含まれてもよい。

【産業上の利用可能性】

【0252】

本開示は、人が抱いているさまざまな感情を推定する感情推定方法、感情推定装置などに利用可能である。

【符号の説明】

【0253】

１０、１０Ａ、１０Ｂ、１０Ｃ、１０Ｄ、１０Ｅ 感情推定装置
１１ ＣＰＵ
１２ メモリ
１３、１７ センサ
１４ 表示装置
１５ 操作入力ＩＦ
１６ センサ入力ＩＦ
２０、２０Ａ、２０Ｂ、２０Ｃ、２０Ｄ 取得部
２１、２１Ａ、２１Ｂ、２２Ｃ 生理学データ取得部
２２、２ｎ データ取得部
２２Ａ、２２Ｂ、２２Ｄ 非生理学データ取得部
３０、３０Ａ、３０Ｂ、３０Ｄ 推定部
３１、３１Ａ、３１Ｂ、３１Ｄ 覚醒成分算出部
３２、３２Ａ、３２Ｂ、３２Ｄ 快適成分算出部
３３、３３Ｂ 感情推定部
３４、３５、３６ パラメータ
３７ 補正部
４０ 出力部
４１ 表示部
５１、５２、５３、２０３、２０４、２１３、２１４、２２３、２２４、２２５、２４１、２５２、２６３、２６４、２６６、２８１、２９１、２９４、３０１、３０２Ａ、３０２Ｂ、３０２Ｃ、３１１ 画像
６１ カメラ
６２ 解析部
６３ 心拍取得部
６４ 特徴点抽出部
６５ 表情特定部
１２１、１２１Ａ、１２１Ｂ、１２１Ｃ、１２２、１２２Ａ、１２２Ｂ、１２２Ｃ、１３１、１３１Ａ、１３１Ｂ、１３１Ｃ、１３１Ｄ、１３２、１３２Ａ、１３２Ｂ、１３２Ｃ、１４１、１４４、１４６、１５２、１５３、１５５、１５６、１６２、１６３、１８１、１８２、１８３、１９１、１９２、１９３、１９４、２０１、２０２、２０５、２０６、２１１、２１２、２１５、２１６、２２１、２２２、２２６、２２７、２２８、２３２、２３３、２３５、２３６、２５１、２６１、２６２、２６５、２８４、２９３、３０４、３２１、３２２ ボタン
１４２、１４３、１４５、１５１、１５４、１６１、１７１、１７２、１７３、２３１、２３４、２８２、２８３ 表示領域
２２９ 文字列
２９２ メッセージ
３０３ カーソル
ＡＲ、ＡＲ１、ＡＲ２ 覚醒感
Ｕ 被験者
ＶＡ、ＶＡ１、ＶＡ２ 快適感
ｒ１、ｒ２、ｒ３、ｒ４ 信頼性

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26A】

【図26B】

【図27】

【図28】

【図29】

【図30】

【図31】

【図32】

【図33】