特開 2025-25188 感情推定装置、感情推定方法、感情推定プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2025025188

(43)【公開日】2025-02-21

(54)【発明の名称】感情推定装置、感情推定方法、感情推定プログラム

(51)【国際特許分類】

   A61B 5/16 20060101AFI20250214BHJP

   A61B 5/02 20060101ALI20250214BHJP

   A61B 5/0245 20060101ALI20250214BHJP

   A61B 5/11 20060101ALI20250214BHJP

【ＦＩ】

A61B5/16 120

A61B5/02 310Z

A61B5/0245 100B

A61B5/11 120

【審査請求】未請求

【請求項の数】4

【出願形態】ＯＬ

(21)【出願番号】P 2023129753

(22)【出願日】2023-08-09

(71)【出願人】

【識別番号】593006630

【氏名又は名称】学校法人立命館

(74)【代理人】

【識別番号】100154014

【弁理士】

【氏名又は名称】正木 裕士

(74)【代理人】

【識別番号】100154520

【弁理士】

【氏名又は名称】三上 祐子

(72)【発明者】

【氏名】岡田 志麻

【テーマコード（参考）】

4C017

4C038

【Ｆターム（参考）】

4C017AA10

4C017AB06

4C017AC26

4C017BC11

4C038PP03

4C038PQ06

4C038PR01

4C038PS00

4C038PS07

4C038VA04

4C038VB03

4C038VB31

4C038VC05

(57)【要約】

【課題】感情を推定する精度を向上させることができる感情推定装置を提供する。
【解決手段】被験者の自律神経情報（例えば、脈拍数）及び行動情報（例えば、体動量、表情）に対し、学習済みニューラルネットワークを用いて、被験者の感情価と覚醒度を算定する推定感情値生成部３６を備えている。さらに、推定感情値生成部３６にて算定した被験者の感情価と覚醒度に基づいて、被験者の感情を推定する推定感情推定部３７を備えている。これにより、感情を推定する精度を向上させることができる。
【選択図】図２

【特許請求の範囲】

【請求項1】

被験者の自律神経情報及び行動情報に対し、学習済みニューラルネットワークを用いて、前記被験者の感情価と覚醒度を算定する算定手段と、
前記算定手段にて算定した前記被験者の前記感情価と前記覚醒度に基づいて、前記被験者の感情を推定する推定手段と、を有してなる感情推定装置。

【請求項2】

前記被験者の自律神経情報及び行動情報は、前記被験者を撮像手段にて撮像した撮像画像に基づいて算定されたものである請求項１に記載の感情推定装置。

【請求項3】

所定の装置を用いて実行される感情推定方法において、
被験者の自律神経情報及び行動情報に対し、学習済みニューラルネットワークを用いて、前記被験者の感情価と覚醒度を算定するステップと、
前記算定した前記被験者の前記感情価と前記覚醒度に基づいて、前記被験者の感情を推定するステップと、を含んでなる感情推定方法。

【請求項4】

コンピュータに、
被験者の自律神経情報及び行動情報に対し、学習済みニューラルネットワークを用いて、前記被験者の感情価と覚醒度を算定する第１処理と、
前記算定した前記被験者の前記感情価と前記覚醒度に基づいて、前記被験者の感情を推定する第２処理と、を実行させる感情推定プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、感情推定装置、感情推定方法、感情推定プログラムに関する。

【背景技術】

【0002】

新型コロナウィルスの流行により、医療の効率化に問題があることが浮上した。そこで、オンラインによるオンライン診療が提案されているが、オンライン診療では、医師は患者の主観的な説明でしか患者の状態を把握することができず、正確な診断が出来ているか疑義が生じる可能性があるという問題があった。また、対面診療では、患者の緊張感と感覚の偏りによって誤診などが発生する可能性があるという問題があった。特に、医師が装着しているマスクやフェースシールドなどの保護具が、距離感をさらに広げ、コミュニケーションの障害を大きくしていた。さらに、医師と患者との関係に限らず、カスタマーサービス分野、接客業、あるいは、マーケティング分野など、ビジネスシーンにおいても相手の感情を察知したコミュニケーションの向上が重要視されてきている。

【0003】

そこで、このような問題を解決すべく、特許文献１，２に記載のような技術が提案されている。特許文献１に記載の発明は、予め表情と感情との対応付けを学習して表情マップを作成しておき、表情マップに基づいて、人物の表情から感情を推定するというものである。また、特許文献２に記載の発明は、脈波などの脳波以外の生体情報から、被験者の脳波を推定し、感情に対応つけて格納された脳波の特徴パターンと比較して被験者の感情を推定するというものである。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２００８－１４６３１８号公報

【特許文献2】特開２０１５－１０９９６４号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、特許文献１に記載の発明のように、被験者の表情から感情推定する場合、表情だけでは推定しにくい感情（表情に出にくい感情、又は、わざと違う表情で実際の感情を隠そうしたりする場合）があり、感情を推定する精度が低いという問題があった。

【0006】

また、特許文献２に記載の発明は、生体情報から推定した脳波を、感情に対応付けて格納された脳波パターンと比較して感情を推定しているが、脳波は、脳のどの箇所が活性化しているか活性化していないかで感情を推定するものであるため、表面的な現象でしか推定することができず、感情を推定する精度が低いという問題があった。

【0007】

そこで、本発明は、上記問題に鑑み、感情を推定する精度を向上させることができる感情推定装置、感情推定方法、感情推定プログラムを提供することを目的としている。

【課題を解決するための手段】

【0008】

上記本発明の目的は、以下の手段によって達成される。なお、括弧内は、後述する実施形態の参照符号を付したものであるが、本発明はこれに限定されるものではない。

【0009】

請求項１に係る感情推定装置は、被験者（例えば、図１に示す被験者ＨＭ）の自律神経情報（例えば、脈拍数）及び行動情報（例えば、体動量、表情）に対し、学習済みニューラルネットワークを用いて、前記被験者の感情価と覚醒度を算定する算定手段（例えば、図２に示す推定感情値生成部３６）と、
前記算定手段にて算定した前記被験者の前記感情価と前記覚醒度に基づいて、前記被験者の感情を推定する推定手段（例えば、図２に示す推定感情推定部３７）と、を有してなることを特徴としている。

【0010】

請求項２に係る感情推定装置は、上記請求項１に記載の感情推定装置において、前記被験者（例えば、図１に示す被験者ＨＭ）の自律神経情報（例えば、脈拍数）及び行動情報（例えば、体動量、表情）は、前記被験者を撮像手段（例えば、図１に示す撮像装置２）にて撮像した撮像画像に基づいて算定されたものであることを特徴としている。

【0011】

請求項３に係る感情推定方法は、所定の装置（例えば、図１に示す感情推定装置３）を用いて実行される感情推定方法において、
被験者（例えば、図１に示す被験者ＨＭ）の自律神経情報（例えば、脈拍数）及び行動情報（例えば、体動量、表情）に対し、学習済みニューラルネットワークを用いて、前記被験者の感情価と覚醒度を算定するステップ（例えば、図３に示すステップＳ５参照）と、
前記算定した前記被験者の前記感情価と前記覚醒度に基づいて、前記被験者の感情を推定するステップ（例えば、図３に示すステップＳ６参照）と、を含んでなることを特徴としている。

【0012】

請求項４に係わる感情推定プログラムは、コンピュータ（例えば、図１に示す感情推定装置３）に、
被験者（例えば、図１に示す被験者ＨＭ）の自律神経情報（例えば、脈拍数）及び行動情報（例えば、体動量、表情）に対し、学習済みニューラルネットワークを用いて、前記被験者の感情価と覚醒度を算定する第１処理（例えば、図２に示す推定感情値生成部３６）と、
前記算定した前記被験者の前記感情価と前記覚醒度に基づいて、前記被験者の感情を推定する第２処理（例えば、図２に示す推定感情推定部３７）と、を実行させることを特徴としている。

【発明の効果】

【0013】

次に、本発明の効果について、図面の参照符号を付して説明する。なお、括弧内は、後述する実施形態の参照符号を付したものであるが、本発明はこれに限定されるものではない。

【0014】

請求項１，３，４に係る発明によれば、被験者（例えば、図１に示す被験者ＨＭ）の自律神経情報（例えば、脈拍数）及び行動情報（例えば、体動量、表情）に対し、学習済みニューラルネットワークを使用して、被験者の感情価と覚醒度を算定するようにしている。そして、その算定した被験者の感情価と覚醒度に基づいて、被験者の感情を推定するようにしている。これにより、本発明によれば、感情を推定する精度を向上させることができる。

【0015】

請求項２に係る発明によれば、被験者（例えば、図１に示す被験者ＨＭ）が所定の装置を装着しなくとも良いため、手間が省けると共に、被験者の警戒心を低くすることができる。

【図面の簡単な説明】

【0016】

【図1】本発明の一実施形態に係る感情推定システムの概略全体図である。

【図2】同実施形態に係る感情推定装置の機能構成図である。

【図3】同実施形態に係る感情推定装置の処理内容を示すフローチャート図である。

【図4】（ａ）は、被験者の顔画像の差分をとった際の差分画像のイメージ図、（ｂ）は、画像時間差分の積分値と画像時間差分の周期性変化を示すグラフ図である。

【図5】同実施形態に係るニューラルネットワークの模式図である。

【図6】ラッセル円環モデルを示す図である。

【発明を実施するための形態】

【0017】

以下、本発明に係る感情推定装置を用いた感情推定システムの一実施形態を、図面を参照して具体的に説明する。なお、以下の説明において、上下左右の方向を示す場合は、図示正面から見た場合の上下左右をいうものとする。

【0018】

＜感情推定システムの概略説明＞
本実施形態に係る感情推定システムは、感情を推定する精度を向上させることができるものである。具体的には、図１に示す感情推定システム１は、被験者の顔の撮像画像を解析することで自律神経情報（脈拍数等）及び行動情報（体動量、表情等）を検出し、被験者の感情状態を推定するというものである。以下、図面を参照し、感情推定システム１の内容について詳しく説明する。

【0019】

図１に示すように、感情推定システム１は、撮像装置２と、感情推定装置３と、で構成されている。以下、各構成について詳しく説明する。

【0020】

＜撮像装置の説明＞
撮像装置２は、図１に示すような、Ｈｏｌｏｌｅｎｓ（登録商標）、Ｖｉｓｉｏｎ Ｐｒｏ（登録商標）、Ｇｏｏｇｌｅ ｇｌａｓｓ（登録商標）などのヘッドマウント型ＭＲデバイスからなるものである。このヘッドマウント型ＭＲデバイスは、ＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）技術の延長として、仮想世界と現実世界を融合させ、仮想の物体を量化してホログラムという形で仮想物体を操作する機能を付加したものである。かくして、このような撮像装置２は、図１に示すように、使用者ＵＭの頭に装着できるようになっており、レンズ２ａを通して、被験者ＨＭを視認できるようになっている。そして、この撮像装置２には、カメラが内蔵されており、被験者ＨＭの顔を撮像できるようになっている。なお、撮像装置２にて撮像された被験者ＨＭの顔画像は、図１に示す感情推定装置３に出力できるようになっている。

【0021】

＜感情推定装置の説明＞
感情推定装置３は、スマートフォンやＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）等で構成されている。具体的には、図１に示すように、感情推定装置３が備える各機能を実行、制御するＣＰＵ３ａと、マウスやキーボード、タッチパネル等にて外部から所定データを感情推定装置３に入力することができる入力部３ｂと、感情推定装置３外に所定データを出力することができる出力部３ｃと、所定のプログラム等を格納した書込み可能なフラッシュＲＯＭ等からなるＲＯＭ３ｄと、作業領域やバッファメモリ等として機能するＲＡＭ３ｅと、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）等からなる表示部３ｆと、で構成されている。なお、後述する感情推定装置３の機能や処理は、ＣＰＵ３ａがＲＯＭ３ｄに格納されているプログラムを読み出し、このプログラムを実行することにより実現することとなる。

【0022】

＜感情推定装置の機能構成の説明＞
次に、図２を用いて、感情推定装置３の機能構成について説明する。図２に示すように、感情推定装置３の機能構成としては、判断部３０と、記憶部３１と、顔画像取得部３２と、脈拍検出部３３と、体動検出部３４と、表情検出部３５と、推定感情値生成部３６と、推定感情推定部３７と、で構成されている。以下、各構成について説明する。

【0023】

判断部３０は、判断部３０が保持する状態または、各機能ブロックが保持する状態に基づいて、各機能ブロック間との情報をやり取りするものである。そしてさらに、判断部３０は、撮像装置２とのやり取りも行うようになっている。

【0024】

記憶部３１は、処理に必要なデータ等を記憶するものである。

【0025】

顔画像取得部３２は、図１に示す被験者ＨＭの顔画像を取得するものである。具体的には、図１に示す使用者ＵＭが頭に装着している撮像装置２にて、被験者ＨＭの顔画像を撮像すると撮像装置２は、その撮像した被験者ＨＭの顔画像を感情推定装置３に出力する。これを受けて、顔画像取得部３２は、図１に示す被験者ＨＭの顔画像を取得するようになっている。

【0026】

脈拍検出部３３は、顔画像取得部３２にて取得した被験者ＨＭの顔画像から、被験者ＨＭの脈拍数を検出するものである。

【0027】

体動検出部３４は、顔画像取得部３２にて取得した被験者ＨＭの顔画像から、被験者ＨＭの体動量を検出するものである。

【0028】

表情検出部３５は、顔画像取得部３２にて取得した被験者ＨＭの顔画像から、被験者ＨＭの表情を検出するものである。具体的には、先行研究（Ali Mollahosseini, Student Member, IEEE, Behzad Hasani, Student Member, IEEE, and Mohammad H. Mahoor , Senior Member, IEEE,” AffectNet: A Database for Facial Expression,Valence, and Arousal Computing in the Wild”, IEEE TRANSACTIONS ON AFFECTIVE COMPUTING, VOL. 10, NO. 1, JANUARY-MARCH 2019）であるＡｆｆｅｃｔＮｅｔモデルを用いて、表情検出部３５は、顔画像取得部３２にて取得した被験者ＨＭの顔画像から、被験者ＨＭの表情感情価の値と、被験者ＨＭの表情覚醒度の値とを推定するものである。

【0029】

推定感情値生成部３６は、学習済みニューラルネットワークを用いて、被験者ＨＭの感情値を推定するものである。具体的には、このニューラルネットワークは、例えば、図５に示すように、４つの入力ニューロンと、２つの出力ニューロンを持つフィードフォワードニューラルネットワークからなる。そして、図５に示すように、このニューラルネットワークのネットワークは、５つの層を持ち、第１層は４つのニューロンからなり、第２層は８つのニューロンからなり、第３層は６つのニューロンからなり、第４層は４つのニューロンからなり、第５層は２つのニューロンから構成されている。そしてさらに、このニューラルネットワークのネットワークは、教師ありバックプロパゲーション学習法で、予測出力と実出力の誤差を最小化するようにネットワークの重みとバイアスを調整しており、前方伝播で入力がネットワークを通過して予測出力を生成し、後方伝播で誤差がネットワークを逆伝播して重みとバイアスを調整するようにしている。

【0030】

ところで、このようなニューラルネットワークのネットワークの学習について、ラベル付けされた入力と出力を持つデータセットが必要であり、本実施形態においては、具体的な学習サンプルデータとして、ＥｍｏＭａｄｒｉｄという画像データセットを使用する。この画像データセットは、静止画像により被験者の各種感情を喚起し、その時の顔画像をとり、学習サンプルデータとしている。そして、各画像が喚起する感情の感情価と覚醒度ラベルの答えが、準備されている。なお、この画像による正解ラベルは、感情価と覚醒度の数値として準備されている。

【0031】

かくして、このような学習済みニューラルネットワークを用いて、被験者ＨＭの感情値を推定するようにする。具体的には、推定感情値生成部３６は、脈拍検出部３３にて検出した被験者ＨＭの脈拍数、体動検出部３４にて検出した被験者ＨＭの体動量、表情検出部３５にて検出した被験者ＨＭの表情（表情感情価の値と、表情覚醒度の値）を説明変数とする。これにより、推定感情値生成部３６は、目的変数として、被験者ＨＭの推定感情の感情価と、被験者ＨＭの推定感情の覚醒度との値を生成することができる。

【0032】

推定感情推定部３７は、推定感情値生成部３６にて生成した被験者ＨＭの推定感情の感情価と、被験者ＨＭの推定感情の覚醒度との値に基づいて、被験者ＨＭの感情を推定するものである。具体的には、図６に示すようなラッセル円環モデルを用いて被験者ＨＭの感情を推定するようにしている。このラッセル円環モデルは、図６に示すように、感情価を横軸として、覚醒度を縦軸としている。かくして、このようなラッセル円環モデルに、推定感情推定部３７は、推定感情値生成部３６にて生成した被験者ＨＭの推定感情の感情価の値と、被験者ＨＭの推定感情の覚醒度の値とをプロットすることにより、被験者ＨＭの感情を推定するようにしている。なお、感情価は、被験者の本質的な魅力性（良い）、又は、嫌悪性（悪い）を評価する数値であり、覚醒度は、被験者の感情が引き起こす身体的、認知的喚起の程度を示す値である。

【0033】

＜感情推定システムの一使用例の説明＞
次に、図３に示すフローチャートも参照し、本実施形態に示す感情推定システム１の一使用例について説明する。

【0034】

まず、図１に示す使用者ＵＭが頭に装着している撮像装置２にて、被験者ＨＭの顔画像を撮像する。これにより、撮像装置２は、その撮像した被験者ＨＭの顔画像を感情推定装置３に出力する。これを受けて、図２に示す判断部３０は、撮像装置２にて撮像された被験者ＨＭの顔画像を受信し、顔画像取得部３２に出力する。これにより、顔画像取得部３２は、撮像装置２にて撮像された被験者ＨＭの顔画像を取得する（ステップＳ１）。

【0035】

次に、判断部３０は、図２に示す顔画像取得部３２にて取得された撮像装置２にて撮像された被験者ＨＭの顔画像を顔画像取得部３２から受けて、図２に示す脈拍検出部３３に出力する。これを受けて、脈拍検出部３３は、被験者ＨＭの脈拍数を検出する。具体的には、脈拍検出部３３は、被験者ＨＭの顔画像から、ＲＯＩ（Ｒｅｇｉｏｎ ｏｆ Ｉｎｔｅｒｅｓｔ）関心領域（例えば、被験者ＨＭの前額中央部と左右頬部）を切り抜き、赤チャンネル、青チャンネルのデータを消去し、緑チャンネルのデータのみを残す処理を行う。そして、脈拍検出部３３は、メディアンフィルターをかけ、関心領域内のデータを平滑化し、ノイズ低減処理を行う。この際得られた画像は、平滑化された関心領域内での皮膚表面緑色画像である。この得られた画像に対して、脈拍検出部３３は、ヘモグロビンが反射する緑色光の変化が少ないことから、ヒストグラムを平坦化する。このヒストグラムの平坦化は、偏って分布している色のヒストグラムを［０，２５５］（色分解能８ｂｉｔ）に均等になるように調整することで、画像の明るさとコントラストを調整する手法である。かくして、このようにヒストグラムを平坦化した画像に対して、脈拍検出部３３は、各画素緑チャンネルの値を合計する。これにより、該当フレームでの該当ＲＯＩ領域のヘモグロビンの反射光量を得られることとなる。したがって、顔画像取得部３２にて取得された被験者ＨＭの顔画像の動画フレームレートを３０ｆｐｓとした場合、脈拍検出部３３は、１秒間に３０枚の画像を分析し、各ＲＯＩ領域におけるヘモグロビンの反射光の１秒間の時系列データを生成できることとなる。この際、ヘモグロビンの反射光時系列データの周期性は、脈拍の周期特性と同じであるから、脈拍検出部３３は、生成した１秒間の時系列データの周波数を算出することにより、被験者ＨＭの脈拍数を検出することができる（ステップＳ２）。

【0036】

次に、判断部３０は、図２に示す顔画像取得部３２にて取得された撮像装置２にて撮像された被験者ＨＭの顔画像を顔画像取得部３２から受けて、図２に示す体動検出部３４に出力する。これを受けて、体動検出部３４は、被験者ＨＭの体動量を検出する。具体的には、人は、外界からの刺激に対して、中枢系（脳）で様々な感情が発起され、最終的に行動という出力に至る。このように外界から得た刺激により喚起された感情によって、人間の体が無意識に運動する。例えば、戦慄・動揺・興奮などの感情が、頭部運動として出力される。そのため、体動量は動画から検出し易い。それゆえ、体動検出部３４は、被験者ＨＭの顔画像の差分をとる。この差分をとった際の差分画像のイメージ図が、図４（ａ）に示すものである。そして、体動検出部３４は、このような差分画像の所定周期内の画像時間差分の積分値を体動量とする。具体的には、体動検出部３４は、時間差分の積分値をフレーム毎に分析し、時系列データを生成する。そして、体動検出部３４は、この時系列データを生成する際、ＤＦＴ（離散フーリエ変換）分析で周期性変化を抽出することによって、体動の回数も量化可能にする。すなわち、体動検出部３４は、被験者ＨＭの体動量を、画像時間差分の積分値と画像時間差分の周期性変化に量化する。この例が、図４（ｂ）に示すグラフ図である。かくして、このようにして、体動検出部３４は、被験者ＨＭの体動量を検出することができる（ステップＳ３）。

【0037】

次に、判断部３０は、図２に示す顔画像取得部３２にて取得された撮像装置２にて撮像された被験者ＨＭの顔画像を顔画像取得部３２から受けて、図２に示す表情検出部３５に出力する。これを受けて、表情検出部３５は、上記説明したＡｆｆｅｃｔＮｅｔモデルを用いて、被験者ＨＭの顔画像から、被験者ＨＭの表情感情価の値と、被験者ＨＭの表情覚醒度の値とを推定することによって、被験者ＨＭの表情を検出する（ステップＳ４）。

【0038】

次に、判断部３０は、脈拍検出部３３にて検出された被験者ＨＭの脈拍数を脈拍検出部３３から受けて、図２に示す推定感情値生成部３６に出力する。さらに、判断部３０は、体動検出部３４にて検出された被験者ＨＭの体動量を体動検出部３４から受けて、図２に示す推定感情値生成部３６に出力する。そしてさらに、判断部３０は、表情検出部３５にて検出された被験者ＨＭの表情（被験者ＨＭの表情感情価の値と、被験者ＨＭの表情覚醒度の値）を表情検出部３５から受けて、図２に示す推定感情値生成部３６に出力する。

【0039】

かくして、推定感情値生成部３６は、これら情報を受けて、脈拍検出部３３にて検出した被験者ＨＭの脈拍数、体動検出部３４にて検出した被験者ＨＭの体動量、表情検出部３５にて検出した被験者ＨＭの表情（感情価の値と、表情覚醒度の値）を説明変数とする。これにより、推定感情値生成部３６は、目的変数として、被験者ＨＭの推定感情の感情価と、被験者ＨＭの推定感情の覚醒度との値を生成することができる（ステップＳ５）。

【0040】

次に、判断部３０は、推定感情値生成部３６にて生成された被験者ＨＭの推定感情の感情価と、被験者ＨＭの推定感情の覚醒度との値を推定感情値生成部３６から受けて、図２に示す推定感情推定部３７に出力する。これを受けて、推定感情推定部３７は、図６に示すラッセル円環モデルに、推定感情値生成部３６にて生成した被験者ＨＭの推定感情の感情価の値と、被験者ＨＭの推定感情の覚醒度の値とをプロットする。例えば、被験者ＨＭの推定感情の感情価の値が、－１．４７で、被験者ＨＭの推定感情の覚醒度の値が１．３９であれば、図６に示すラッセル円環モデルの図示左上の現象に位置することとなる。このことから、推定感情推定部３７は、被験者ＨＭの感情は「嫌悪」の状態であると推定することとなる。また、例えば、被験者ＨＭの推定感情の感情価の値が、１．０８で、被験者ＨＭの推定感情の覚醒度の値が０．３２であれば、図６に示すラッセル円環モデルの図示右上の現象に位置することとなる。このことから、推定感情推定部３７は、被験者ＨＭの感情は「歓喜」の状態であると推定することとなる。またさらに、例えば、被験者ＨＭの推定感情の感情価の値が、－０．４６で、被験者ＨＭの推定感情の覚醒度の値が－０．２１であれば、図６に示すラッセル円環モデルの図示左上の現象と図示左下の現象の境界付近に位置することとなる。このことから、推定感情推定部３７は、被験者ＨＭの感情は「不快」の状態であると推定することとなる。

【0041】

かくして、このようにして、推定感情推定部３７は、被験者ＨＭの感情を推定することとなる（ステップＳ６）。なお、推定感情推定部３７にて推定された被験者ＨＭの感情は、判断部３０によって、撮像装置２に出力される。これにより、撮像装置２のレンズ２ａに、推定された被験者ＨＭの感情が表示されることとなる。そのため、図１に示す使用者ＵＭは、レンズ２ａを通して、被験者ＨＭを観察するだけで、被験者ＨＭの推定感情を認識できることなる。

【0042】

したがって、以上説明してきた本実施形態によれば、被験者ＨＭの自律神経情報（本実施形態においては、脈拍数を例示）及び行動情報（本実施形態においては、被験者ＨＭの体動量、被験者ＨＭの表情を例示）に対し、学習済みニューラルネットワークを使用して、被験者Ｍの感情価と覚醒度を算定するようにしている。そして、その算定した被験者ＨＭの感情価と覚醒度に基づいて、被験者ＨＭの感情を推定するようにしている。これにより、本実施形態によれば、感情を推定する精度を向上させることができる。

【0043】

＜変形例の説明＞
なお、本実施形態において示した形状等はあくまで一例であり、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。本実施形態によれば、自律神経情報として、脈拍数を例示したが、それに限らず、被験者ＨＭの血管の拡張収縮を検出して、自律神経情報を検出するようにしても良い。また、自律神経情報として、複数の情報を用いても良いし、単数の情報だけでも良い。ただし、複数の情報を用いるようにすれば、精度が向上するため、複数の情報を用いた方が好ましい。

【0044】

また、本実施形態においては、行動情報として、被験者ＨＭの体動量、被験者ＨＭの表情を例示したが、それに限らず、どのようなものでも良い。また、行動情報として、複数の情報を用いても良いし、単数の情報だけでも良い。ただし、複数の情報を用いるようにすれば、精度が向上するため、複数の情報を用いた方が好ましい。

【0045】

また、本実施形態においては、撮像装置２として、ヘッドマウント型ＭＲデバイスを例示したが、それに限らず、単に、カメラにて撮像するだけでも良い。また、撮像装置２を用いず、被験者ＨＭに所定の装置（例えば、ウェラブル装置など）を装着してもらい、被験者ＨＭの自律神経情報及び行動情報を取得するようにしても良い。しかしながら、被験者ＨＭを撮像した方が好ましい。被験者ＨＭが所定の装置を装着してもらう手間が省けると共に、被験者ＨＭの警戒心を低くすることができるためである。

【0046】

また、本実施形態において例示した感情推定装置３としては、本実施形態のような感情推定装置３として提供しても良いし、クラウド上に設置しても良い。また、アプリケーションプログラムとして提供し、既存のスマートフォンやＰＣ等にインストールして、感情推定装置３として使用できるようにしても良い。

【産業上の利用可能性】

【0047】

ところで、本実施形態における感情推定システムとしては、車の自動運転や、医療など、様々な分野に適用することができる。

【符号の説明】

【0048】

１ 感情推定システム
２ 撮像装置（撮像手段）
３ 感情推定装置（所定の装置、コンピュータ）
３６ 推定感情値生成部（算定手段）
３７ 推定感情推定部（推定手段）
ＨＭ 被験者

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】