特許 7504045 感情判定装置、感情出力システム、および感情判定方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-06-13

(45)【発行日】2024-06-21

(54)【発明の名称】感情判定装置、感情出力システム、および感情判定方法

(51)【国際特許分類】

   A61B 5/16 20060101AFI20240614BHJP

   A61B 5/0245 20060101ALI20240614BHJP

   A61B 5/02 20060101ALI20240614BHJP

   A61B 5/369 20210101ALI20240614BHJP

【ＦＩ】

A61B5/16 120

A61B5/0245 Z

A61B5/02 C

A61B5/369

【請求項の数】 8

(21)【出願番号】P 2021034442

(22)【出願日】2021-03-04

(65)【公開番号】P2022134929

(43)【公開日】2022-09-15

【審査請求日】2023-09-29

(73)【特許権者】

【識別番号】000237592

【氏名又は名称】株式会社デンソーテン

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】加藤 徹洋

(72)【発明者】

【氏名】村下 君孝

【審査官】遠藤 直恵

(56)【参考文献】

【文献】特開２００９－０２２４７８（ＪＰ，Ａ）

【文献】国際公開第２０１１／１５８９６５（ＷＯ，Ａ１）

【文献】特開２０２０－１７４７５６（ＪＰ，Ａ）

【文献】特開２０１８－１４０１６２（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１９／０３４３４４２（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ ５／０２－５／０３、５／０５－５／０５３８、５／０６－５／２２、５／２４－５／３９８

(57)【特許請求の範囲】

【請求項1】

被験者の心拍データに基づいた指標値と、前記被験者の心拍データ以外の生体データに基づいた副交感神経活性度との相関を推定する推定部と、
前記心拍データに基づいた指標値と、前記副交感神経活性度との相関に基づいて、前記心拍データへの前記副交感神経活性度の影響状態を判定する判定部と
を備えることを特徴とする感情判定装置。

【請求項2】

前記心拍データへの前記副交感神経活性度の影響状態に応じて、前記被験者について推定される感情の出力結果を変更する設定部
を備えることを特徴とする請求項１に記載の感情判定装置。

【請求項3】

前記推定部は、所定区間における、前記心拍データに基づいた指標値の変化と、前記副交感神経活性度の変化とが、被験者毎に設定される所定条件を満たす場合に、前記心拍データに基づいた指標値と、前記副交感神経活性度との相関が有ると推定する、
ことを特徴とする請求項２に記載の感情判定装置。

【請求項4】

前記所定条件は、同一被験者における過去の前記指標値と過去の前記副交感神経活性度との相関に基づいて設定される、
ことを特徴とする請求項３に記載の感情判定装置。

【請求項5】

前記所定条件は、環境状況に対する同一被験者の過去の前記指標値と過去の前記副交感神経活性度との相関に基づいて設定される、
ことを特徴とする請求項３または４に記載の感情判定装置。

【請求項6】

前記推定部は、
前記指標値と、前記副交感神経活性度とに基づいて、前記被験者の感情を推定し、
前記指標値と、前記副交感神経活性度との相関に基づいて、前記被験者の感情の信頼度
を設定する
ことを特徴とする請求項１～５のいずれか１つに記載の感情判定装置。

【請求項7】

請求項１～６のいずれか１つに記載の感情判定装置と、
前記感情判定装置における前記被験者の感情判定結果に基づいて、前記被験者の周囲環境を設定する出力装置と、
を備える感情出力システム。

【請求項8】

被験者の心拍データに基づいた指標値を推定する工程と、
前記被験者の心拍データ以外の生体データに基づいた副交感神経活性度を推定する工程と、
前記指標値と、前記副交感神経活性度との相関に基づいて、前記心拍データへの前記副交感神経活性度の影響状態を判定する工程と
を有することを特徴とする感情判定方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、感情判定装置、感情出力システム、および感情判定方法に関する。

【背景技術】

【0002】

従来、被験者の交感神経の活動レベルと被験者の副交感神経の活動レベルとに基づいて被験者の感情を評価する感情判定装置が知られている（例えば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１３－２１５３３４号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

交感神経の活動レベルを推定する方法として、例えば心臓の動きから推定する方法等がある。しかしながら、心臓は、交感神経、および副交感神経と繋がっており、心拍データから交換神経の活動レベルが推定される場合、心拍データへの副交感神経の影響によって、被験者の感情を誤判定するおそれがある。

【0005】

本発明は、上記に鑑みてなされたものであって、被験者の感情を正確に判定する感情判定装置、感情出力システム、および感情判定方法を提供することを目的とする。

【課題を解決するための手段】

【0006】

実施形態の一態様に係る感情判定装置は、推定部と、判定部とを備える。推定部は、被験者の心拍データに基づいた指標値と、被験者の心拍データ以外の生体データに基づいた副交感神経活性度との相関を推定する。判定部は、心拍データに基づいた指標値と、副交感神経活性度との相関に基づいて、心拍データへの副交感神経活性度の影響状態を判定する。

【発明の効果】

【0007】

実施形態の一態様によれば、被験者の感情を正確に判定することができる。

【図面の簡単な説明】

【0008】

【図1】図１は、ラッセル円環モデルを示す図である。

【図2】図２は、実施形態に係る感情判定方法の概要を示す図である。

【図3】図３は、第１実施形態に係る感情出力システムを説明するブロック図である。

【図4】図４は、副交感神経活性度と、心拍データに基づいた指標値との変化の一例を示す図である。

【図5】図５は、第１実施形態に係る感情判定処理を説明するフローチャートである。

【発明を実施するための形態】

【0009】

以下、添付図面を参照して、実施形態に係る感情判定装置、感情出力システム、および感情判定方法について詳細に説明する。なお、本実施形態によりこの発明が限定されるものではない。

【0010】

＜感情判定方法の概要＞
まず、実施形態に係る感情判定方法の概要について説明する。被験者の感情を推定する方法としては、例えば、図１に示すラッセル円環モデルを用いることが知られている。図１は、ラッセル円環モデルを示す図である。ラッセル円環モデルでは、覚醒軸の値（以下、「覚醒度」と称する。）、および快適軸の値（以下、「快適度」と称する。）に応じて、被験者の感情が推定される。

【0011】

覚醒度は、被験者が活発であるか、沈静であるかを示す指標である。覚醒度は、副交感神経活性度に対し逆相関が高いことが知られている。副交感神経活性度は、例えば、脳波データに基づいて推定される。

【0012】

また、快適度は、被験者が快適であるか、不快であるかを示す指標である。快適度は、交感神経活性度に対し相関が高いことが知られている。交感神経活性度は、例えば、心拍データに基づいて推定される。

【0013】

ところで、心臓は、交感神経、および副交感神経に繋がっていることが知られている。そのため、心拍データに基づいて推定される交換神経活性度は、副交感神経の影響を受けることがある。

【0014】

従って、覚醒度、および快適度に基づいて被験者の感情が推定される場合に、快適度が、副交感神経の影響を受け、被験者の感情が正確に推定されないおそれがある。そこで、被験者の感情を正確に推定するため、以下の実施形態に係る感情判定方法が実行される。

【0015】

図２は、実施形態に係る感情判定方法の概要を示す図である。実施形態に係る感情判定方法は、感情判定装置４（図３参照）によって実行される。

【0016】

感情判定装置４は、心拍データに基づいた指標値を推定する（Ｓ１０）。心拍データに基づいた指標値は、交換神経活性度に関する指標値である。心拍データは、被験者の心拍を検出するセンサによって検出される。

【0017】

感情判定装置４は、心拍データ以外の生体データ、具体的には脳波データに基づいて副交感神経活性度を推定する（Ｓ１１）。脳波データは、被験者の脳波を検出するセンサによって検出される。

【0018】

感情判定装置４は、心拍データに基づいた指標値と、副交感神経活性度との相関を推定する（Ｓ１２）。例えば、感情判定装置４は、心拍データに基づいた指標値の変化と、副交感神経活性度の変化とが関連する場合、心拍データに基づいた指標値と、副交感神経活性度との相関が有ると推定する。感情判定装置４は、心拍データに基づいた指標値の変化と、副交感神経活性度の変化とが関連しない場合、心拍データに基づいた指標値と、副交感神経活性度との相関が無いと推定する。

【0019】

感情判定装置４は、心拍データに基づいた指標値と、副交感神経活性度との相関推定結果に基づいて、心拍データへの副交感神経活性度の影響状態を判定する（Ｓ１３）。心拍データへの副交感神経活性度の影響状態は、心拍データへの副交感神経活性度の影響の有無を含む。心拍データへの副交感神経活性度の影響状態は、心拍データへの副交感神経活性度の影響の程度を含んでもよい。感情判定装置４は、心拍データに基づいた指標値と、副交感神経活性度との相関が有る場合、心拍データへの副交感神経活性度の影響が有ると判定する。感情判定装置４は、心拍データに基づいた指標値と、副交感神経活性度との相関が無い場合、心拍データへの副交感神経活性度の影響が無いと判定する。

【0020】

感情判定装置４は、心拍データに基づいた指標値と、副交感神経活性度とに基づいて、被験者の感情を推定する（Ｓ１４）。感情判定装置４は、心拍データに基づいた指標値を快適度とし、副交感神経活性度を覚醒度として、例えば、ラッセル円環モデルを用いて被験者の感情を推定する。

【0021】

感情判定装置４は、心拍データへの副交感神経活性度の影響の有無に応じて、推定した被験者の感情の出力する（Ｓ１５）。具体的には、感情判定装置４は、心拍データへの副交感神経活性度の影響の有無に応じて、被験者の感情の出力結果を変更する。

【0022】

例えば、感情判定装置４は、心拍データへの副交感神経活性度の影響が無い場合、推定した被験者の感情を出力する。例えば、感情判定装置４は、推定した被験者の感情をモニタに出力する。

【0023】

例えば、感情判定装置４は、心拍データへの副交感神経活性度の影響が有る場合、推定した被験者の感情を出力しない。心拍データへの副交感神経活性度の影響が有る場合、心拍データに基づいた快適度は、副交感神経活性度の影響を受けているおそれがある。そのため、被験者の感情の推定精度が低下するおそれがある。従って、感情判定装置４は、心拍データへの副交感神経活性度の影響が有る場合、推定した被験者の感情を出力しない。

【0024】

（第１実施形態）
次に、第１実施形態に係る感情判定装置４を含む感情出力システム１について図３を参照し説明する。図３は、第１実施形態に係る感情出力システム１を説明するブロック図である。

【0025】

感情出力システム１は、第１バイタルセンサ２と、第２バイタルセンサ３と、感情判定装置４と、出力装置５とを備える。

【0026】

第１バイタルセンサ２は、被験者の心拍データを検出するセンサである。第１バイタルセンサ２によって検出された被験者の心拍データは、感情判定装置４に出力される。

【0027】

第２バイタルセンサ３は、被験者の心拍データ以外のバイタルデータを検出するセンサである。第２バイタルセンサ３は、脳波データを検出するセンサである。第２バイタルセンサ３によって検出された被験者の脳波データは、感情判定装置４に出力される。

【0028】

出力装置５は、感情判定装置４における被験者の感情判定結果に基づいて、被験者の周囲環境を設定する。出力装置５は、例えば、モニタである。モニタには、感情判定装置４によって推定された被験者の感情が表示される。被験者の周囲環境は、例えば、モニタに表示される被験者の感情の表示形態を含む。

【0029】

感情判定装置４は、制御部１０と、記憶部１１とを備える。記憶部１１は、例えば、ＲＡＭ（Random Access Memory）、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。記憶部１１は、後述する所定条件などを記憶する。

【0030】

制御部１０は、取得部２０と、推定部２１と、判定部２２と、設定部２３とを備える。制御部１０は、例えば、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ、ハードディスクドライブ、入出力ポートなどを有するコンピュータや各種の回路を含む。

【0031】

コンピュータのＣＰＵは、例えば、ＲＯＭ等の記憶デバイスに記憶されたプログラムを読み出して実行することによって、制御部１０の取得部２０、推定部２１、判定部２２、および設定部２３として機能する。

【0032】

また、制御部１０の取得部２０、推定部２１、判定部２２、および設定部２３の少なくともいずれか一部または全部をＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアで構成することもできる。また、取得部２０、推定部２１、判定部２２、および設定部２３は、統合されてもよく、さらに複数に分けられてもよい。

【0033】

取得部２０は、第１バイタルセンサ２から出力される心拍データを取得する。取得部２０は、第２バイタルセンサ３から出力される脳波データを取得する。

【0034】

推定部２１は、取得された心拍データに基づいて、心拍データに基づいた指標値を推定する。例えば、推定部２１は、心拍データに基づいて心拍間隔を算出する。推定部２１は、算出した心拍間隔のデータに周波数解析処理を行い、低周波数成分のパワースペクトルに対する高周波成分のパワースペクトルの割合を、心拍データに基づいた指標値として推定する。

【0035】

また、心拍データに基づいた指標値の推定方法は、上記方法に限られるものではない。例えば、推定部２１は、低周波成分の揺らぎを用いて心拍データに基づいた指標値として推定してもよい。また、推定部２１は、心拍データを時間領域で解析し、心拍データにおけるＲＲ間隔が５０ミリ以上の心拍回数を心拍データに基づいた指標値として推定してもよい。

【0036】

推定部２１は、取得された脳波データに基づいて、副交感神経活性度を推定する。例えば、推定部２１は、脳波データに含まれるα波、およびβ波に基づいて副交感神経活性度を推定する。推定部２１は、脳波データに周波数解析処理を行い、α波のパワースペクトルに対するβ波のパワースペクトルの割合を、副交感神経活性度として推定する。

【0037】

また、副交感神経活性度の推定方法は、上記方法に限定されるものではない。例えば、推定部２１は、脳波データを周波数領域で統計解析し、事前収集データから、副交感神経活性度に支配的な周波数帯域を算出する。そして、推定部２１は、副交感神経活性度に支配的な周波数帯域のパワースペクトルから、副交感神経活性度を推定してもよい。

【0038】

推定部２１は、心拍データに基づいた指標値と、副交感神経活性度との相関を推定する。推定部２１は、例えば、心拍データに基づいた指標値の所定区間における変化と、副交感神経活性度の所定区間における変化とを比較し、各変化が所定条件を満たすか否かを判定する。所定区間は、時系列における予め設定された時間であり、例えば、１０秒、または２０秒である。推定部２１は、各変化が所定条件を満たす場合、心拍データに基づいた指標値と、副交感神経活性度との相関が有ると推定する。推定部２１は、各変化が所定条件を満たさない場合、心拍データに基づいた指標値と、副交感神経活性度との相関が無いと推定する。

【0039】

推定部２１は、例えば、副交感神経活性度の変化量と、心拍データに基づいた指標値の変化量とを同一の時刻を含む所定区間において算出する。推定部２１は、副交感神経活性度の変化量が予め設定された第１所定値以上であり、かつ心拍データに基づいた指標値の変化量が予め設定された第２所定値以上である場合、各変化が所定条件を満たすと判定する。

【0040】

推定部２１は、副交感神経活性度の変化量が第１所定値よりも小さい場合、または心拍データに基づいた指標値の変化量が第２所定値よりも小さい場合、各変化が所定条件を満たさないと判定する。第１所定値、および第２所定値は、各変化に関連性が有ると判定可能な値である。

【0041】

例えば、図４に示すように、所定区間において、副交感神経活性度の変化量Ｄ１が、第１所定値Ｄｔ１以上であり、かつ心拍データに基づいた指標値（図４中、実線）の変化量Ｄ２が、第２所定値Ｄｔ２以上である場合、推定部２１は、各変化が所定条件を満たすと判定する。図４は、副交感神経活性度と、心拍データに基づいた指標値との変化の一例を示す図である。

【0042】

また、所定区間において、副交感神経活性度の変化量Ｄ１が、第１所定値Ｄｔ１以上であり、かつ心拍データに基づいた指標値（図４中、破線）の変化量Ｄ３が、第２所定値Ｄｔ２よりも小さい場合、推定部２１は、各変化が所定条件を満たさないと判定する。

【0043】

なお、所定条件については、上記条件に限られることはない。例えば、所定区間における心拍データに基づいた指標値の波形と、所定区間における副交感神経活性度の波形との位相のずれがあるものの、位相のずれが小さく、かつ各変化の差が小さい場合、推定部２１は、各変化が所定条件を満たすと判定してもよい。例えば、所定区間における心拍データに基づいた指標値の波形と、所定区間における副交感神経活性度の変化とが位相のずれが大きい場合、または各変化の差が大きい場合、推定部２１は、各変化が所定条件を満たさないと判定してもよい。

【0044】

また、推定部２１は、心拍データに基づいた指標値が正規化され、正規化後の心拍データに基づいた指標値の変化と、および副交感神経活性度が正規化され、正規化後の副交感神経活性度の変化とを用いて、相関を推定してもよい。すなわち、推定部２１は、スケール調整がされた心拍データに基づいた指標値、およびスケール調整がされた副交感神経活性度を用いて、各変化が所定条件を満たすか否かを判定してもよい。

【0045】

また、推定部２１は、心拍データに基づいた指標値と、副交感神経活性度との相関関数を用いて、心拍データに基づいた指標値と、副交感神経活性度との相関を推定してもよい。

【0046】

つまり、推定部２１は、心拍データに基づいた指標値と、副交感神経活性度の動き（変化方向、タイミング）とに類似性があり（方向については値の定義により逆類似となる）、かつその大きさがある程度大きい場合に相関があると推定している。

【0047】

推定部２１は、心拍データに基づいた指標値（交感神経活性度を示す指標として使用）と、副交感神経活性度とに基づいて、被験者の感情を推定する。推定部２１は、例えば、ラッセル円環モデルを用いて被験者の感情を推定する。推定部２１は、ラッセル円環モデルにおける第１象限、第２象限、第３象限、および第４象限を「喜」、「怒」、「哀」、および「楽」に分けて、被験者の感情を推定してもよい。

【0048】

判定部２２は、心拍データに基づいた指標値と、副交感神経活性度との相関推定結果に基づいて、心拍データへの副交感神経活性度の影響の有無を判定する。判定部２２は、心拍データに基づいた指標値と、副交感神経活性度との相関が有る場合、心拍データへの副交感神経活性度の影響が有ると判定する。判定部２２は、心拍データに基づいた指標値と、副交感神経活性度との相関が無い場合、心拍データへの副交感神経活性度の影響が無いと判定する。

【0049】

設定部２３は、出力装置５に出力する信号を設定する。設定部２３は、感情推定結果に基づいて、被験者の感情に関する信号を生成し、生成した信号を出力装置５に出力する。設定部２３は、心拍データへの副交感神経活性度の影響の有無に応じて、出力装置５への出力結果を変更する。例えば、設定部２３は、心拍データへの副交感神経活性度の影響が有ると判定された場合、被験者の感情に関する信号を出力装置５に出力しない。設定部２３は、心拍データへの副交感神経活性度の影響が無いと判定された場合、被験者の感情に関する信号を出力装置５に出力する。

【0050】

なお、設定部２３は、心拍データへの副交感神経活性度の影響が有ると判定された場合、心拍データへの副交感神経活性度の影響が有ることを示す信号を生成し、生成した信号を出力装置５に出力してもよい。これにより、例えば、出力装置５には、心拍データへの副交感神経活性度の影響が有ることを示すメッセージなどが表示される。

【0051】

次に、実施形態に係る感情判定処理について図５を参照し説明する。図５は、実施形態に係る感情判定処理を説明するフローチャートである。なお、感情判定処理は、予め設定された処理周期に基づいて、実行される。

【0052】

感情判定装置４は、被験者の心拍データ、および被験者の脳波データを取得する（Ｓ１００）。

【0053】

感情判定装置４は、心拍データに基づいて、心拍データに基づいた指標値を算出する（Ｓ１０１）。感情判定装置４は、脳波データに基づいて、副交感神経活性度を算出する（Ｓ１０２）。

【0054】

感情判定装置４は、心配データに基づいた指標値、および副交感神経活性度に基づいて、被験者の感情を推定する（Ｓ１０３）。

【0055】

感情判定装置４は、所定区間における、心拍データに基づいた指標値と、副交感神経活性度との相関を推定する（Ｓ１０４）。感情判定装置４は、推定された相関推定結果に基づいて、心拍データへの副交感神経活性度の影響の有無を判定する（Ｓ１０５）。

【0056】

感情判定装置４は、心拍データへの副交感神経活性度の影響が有る場合（Ｓ１０５：Ｙｅｓ）、推定した被験者の感情に関する信号を出力しない（Ｓ１０６）。

【0057】

感情判定装置４は、心拍データへの副交感神経活性度の影響が無い場合（Ｓ１０５：Ｎｏ）、推定した被験者の感情に関する信号を出力する（Ｓ１０７）。

【0058】

なお、感情判定装置４は、心拍データへの副交感神経活性度の影響が無い場合にのみ、被験者の感情を推定してもよい。すなわち、感情判定装置４は、ステップＳ１０５において、心拍データへの副交感神経活性度の影響が無いと判定された場合にステップＳ１０３の処理を実行してもよい。

【0059】

感情判定装置４は、推定部２１と、判定部２２とを備える。推定部２１は、被験者の心拍データに基づいた指標値と、被験者の脳波データに基づいた副交感神経活性度との相関を推定する。判定部２２は、心拍データに基づいた指標値と、副交感神経活性度との相関に基づいて、心拍データへの副交感神経活性度の影響状態、例えば影響の有無を判定する。

【0060】

これにより、感情判定装置４は、心拍データへの副交感神経活性度の影響の有無に応じて、被験者の感情を正確に推定することができる。

【0061】

感情判定装置４は、設定部２３を備える。設定部２３は、心拍データへの副交感神経活性度の影響の有無に応じて、被験者について推定される感情の出力結果を変更する。

【0062】

これにより、感情判定装置４は、心拍データへの副交感神経活性度の影響の有無に応じて、例えば、出力装置５に出力される被験者の感情を変更することができる。すなわち、感情判定装置４は、出力装置５に出力される被験者の感情を正確に出力させることができる。

【0063】

（第２実施形態）
次に、第２実施形態に係る感情判定装置４について説明する。ここでは、第１実施形態と異なる箇所を中心に説明する。第１実施形態と同様の構成、および制御処理についての説明は省略する。

【0064】

第２実施形態に係る感情判定装置４において、心拍データに基づいた指標値と、副交感神経活性度との相関を推定するための所定条件は、被験者毎に設定される。被験者毎の所定条件は、記憶部１１に記憶される。所定条件は、同一の被験者における過去の心拍データに基づいた指標値、および同一の被験者における過去の副交感神経活性度との相関に基づいて設定される。

【0065】

例えば、同一の被験者における心拍データに基づいた指標値と、および同一の被験者における過去の副交感神経活性度との統計学的な偏差などに応じて、所定条件は設定される。例えば、被験者の副交感神経活性度が変化した場合に、同一の被験者の心拍データに基づいた指標値がどれくらい変化するかが検出される。そして、変化に対して閾値が設定され、被験者に対する所定条件が設定される。

【0066】

これにより、心拍データに基づいた指標値の被験者における特徴と、副交感神経活性度の被験者における特徴とに基づいて、心拍データに基づいた指標値と、副交感神経活性度との相関が推定される。すなわち、感情判定装置４は、被験者の特徴に合わせた所定条件が設定されることで、心拍データへの副交感神経活性度の影響の有無を被験者毎に正確に判定することができる。従って、感情判定装置４は、被験者の感情を正確に推定することができる。

【0067】

所定条件は、感情判定装置４によって設定されてもよく、感情判定装置４とは異なる装置によって設定されてもよい。感情判定装置４とは異なる装置によって設定された所定条件は、例えば、インターネットを介して、感情判定装置４に送信される。感情判定装置４は、所定条件を受信し、受信した所定条件を記憶部１１に記憶する。

【0068】

（第３実施形態）
次に、第３実施形態に係る感情判定装置４について説明する。ここでは、第１実施形態、および第２実施形態とは異なる箇所について説明する。第１実施形態、および第２実施形態と同様の構成、および制御処理についての説明は省略する。

【0069】

第３実施形態にかかる感情判定装置４において、心拍データに基づいた指標値と、副交感神経活性度との相関を推定するための所定条件は、環境状況に対する被験者の過去の心拍データに基づいた指標値と、環境状況に対する被験者の過去の副交感神経活性度との相関に基づいて設定される。

【0070】

環境状況は、被験者の感情に影響を与える状況である。環境状況は、被験者の感情に影響を与える映像、および被験者の感情に影響を与える音を含む。例えば、環境状況は、被験者をリラックスさせる効果がある川のせせらぎの映像や、被験者を不愉快にさせる映像などである。

【0071】

所定条件は、様々な環境状況下における、被験者の心拍データに基づいた指標値と、被験者の副交感神経活性度との相関に基づいて設定される。

【0072】

すなわち、所定条件は、様々なシチュエーション下における、被験者の心拍データに基づいた指標値、および被験者の副交感神経活性度との相関に関する実験に基づいて、設定される。

【0073】

これにより、心拍データに基づいた指標値の被験者における特徴と、副交感神経活性度の被験者における特徴とに基づいて、心拍データに基づいた指標値と、副交感神経活性度との相関が推定される。そのため、感情判定装置４は、被験者の感情を正確に推定することができる。

【0074】

変形例に係る感情判定装置４は、心拍データへの副交感神経活性度の影響の有無に応じて、信頼度を出力してもよい。変形例に係る感情判定装置４は、心拍データに基づいた指標値と、副交感神経活性度との相関について、相関度合い、例えば、心拍データに基づいた指標値と、副交感神経活性度とのずれ量に応じて、信頼度を設定する。例えば、心拍データに基づいた指標値と、副交感神経活性度とのずれ量が大きいほど、心拍データへの副交感神経活性度の影響が小さく、推定される被験者の感情の信頼度は高くなる。具体的には、例えば、心拍データに基づいた指標値と、副交感神経活性度とのずれ量を複数の閾値と比較し、その比較結果状況に応じて、信頼度レベルを求めると言った方法を用いて信頼度を求めることができる。変形例に係る感情判定装置４は、出力装置５に、被験者の感情を出力させる場合、設定した信頼度を、推定した被験者の感情とともに、出力装置５に出力させる。例えば、出力装置５がモニタである場合、モニタには、被験者の感情とともに、信頼度が表示される。

【0075】

これにより、変形例に係る感情判定装置４は、被験者に提供する情報を多くすることができ、被験者の満足度を高めることができる。

【0076】

変形例に係る感情出力システム１において、出力装置５は、車載機器や、ゲーム機器などであってもよい。例えば、出力装置５が、車載機器である場合、出力装置５は、ドライバの感情に基づいた運転の注意喚起行う。また、出力装置５は、車内に流れる音楽を設定する。例えば、出力装置５が、ゲーム機器である場合、出力装置５は、ゲームの使用者の感情に基づいてゲームの種類や、ゲールのレベルなどを設定する。また、出力装置５は、ゲームの使用者の感情に基づいてゲームの種類や、ゲールのレベルなどを提案する。

【0077】

出力装置５は、工場に設置される装置であってもよい。出力装置５は、工場に設置される装置である場合、被験者の感情に応じて工場内にかかる音楽の種類や、音楽の音量などを制御する。また、出力装置５は、工場に設置される装置である場合、被験者の感情に応じて工場におけるラインのスピードなどを変更してもよい。例えば、被験者が興奮している場合、工場におけるラインのスピードが遅くなる。

【0078】

出力装置５は、オンライン会議システムにおける表示制御装置であってもよい。例えば、出力装置５は、被験者の感情に応じて表示制御装置に表示されるアイコンの表示形態を変更する。

【0079】

なお、出力装置５は、信頼度に応じて出力装置５における制御内容、例えば、表示形態を変更してもよい。

【0080】

また、変形例に係る感情判定装置４は、心拍データへの副交感神経活性度の影響レベルを推定し、推定した影響レベルを出力装置５に出力させてもよい。影響レベルは、信頼度と同様に複数の閾値を用いて推定される。出力装置５による出力方法は、メッセージの表示や、音声出力などを含む。また、出力装置５は、車載機器や、ゲーム機器や、工場に設置される装置などであってもよい。出力装置５では影響レベルに応じて、注意喚起や、ゲームの種類の提案や、工場におけるラインのスピードなどが変更される。

【0081】

さらなる効果や変形例は、当業者によって容易に導き出すことができる。このため、本発明のより広範な態様は、以上のように表しかつ記述した特定の詳細および代表的な実施形態に限定されるものではない。従って、添付の特許請求の範囲およびその均等物によって定義される総括的な発明の概念の精神または範囲から逸脱することなく、様々な変更が可能である。

【符号の説明】

【0082】

１ 感情出力システム
２ 第１バイタルセンサ
３ 第２バイタルセンサ
４ 感情判定装置
５ 出力装置
１０ 制御部
２０ 取得部
２１ 推定部
２２ 判定部
２３ 設定部

【図1】

【図2】

【図3】

【図4】

【図5】