IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

7058383情動判定装置、情動判定方法、及びプログラム
<>
  • -情動判定装置、情動判定方法、及びプログラム 図1
  • -情動判定装置、情動判定方法、及びプログラム 図2
  • -情動判定装置、情動判定方法、及びプログラム 図3
  • -情動判定装置、情動判定方法、及びプログラム 図4
  • -情動判定装置、情動判定方法、及びプログラム 図5
  • -情動判定装置、情動判定方法、及びプログラム 図6
  • -情動判定装置、情動判定方法、及びプログラム 図7
  • -情動判定装置、情動判定方法、及びプログラム 図8
  • -情動判定装置、情動判定方法、及びプログラム 図9
  • -情動判定装置、情動判定方法、及びプログラム 図10
  • -情動判定装置、情動判定方法、及びプログラム 図11
  • -情動判定装置、情動判定方法、及びプログラム 図12
  • -情動判定装置、情動判定方法、及びプログラム 図13
  • -情動判定装置、情動判定方法、及びプログラム 図14
  • -情動判定装置、情動判定方法、及びプログラム 図15
  • -情動判定装置、情動判定方法、及びプログラム 図16
  • -情動判定装置、情動判定方法、及びプログラム 図17
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-04-14
(45)【発行日】2022-04-22
(54)【発明の名称】情動判定装置、情動判定方法、及びプログラム
(51)【国際特許分類】
   A61B 5/16 20060101AFI20220415BHJP
   A61B 5/352 20210101ALI20220415BHJP
【FI】
A61B5/16 120
A61B5/352 100
A61B5/16 110
【請求項の数】 11
(21)【出願番号】P 2017193092
(22)【出願日】2017-10-02
(65)【公開番号】P2019063324
(43)【公開日】2019-04-25
【審査請求日】2020-09-08
(73)【特許権者】
【識別番号】000004237
【氏名又は名称】日本電気株式会社
(73)【特許権者】
【識別番号】506218664
【氏名又は名称】公立大学法人名古屋市立大学
(74)【代理人】
【識別番号】100106909
【弁理士】
【氏名又は名称】棚井 澄雄
(74)【代理人】
【識別番号】100134544
【弁理士】
【氏名又は名称】森 隆一郎
(74)【代理人】
【識別番号】100149548
【弁理士】
【氏名又は名称】松沼 泰史
(74)【代理人】
【識別番号】100162868
【弁理士】
【氏名又は名称】伊藤 英輔
(72)【発明者】
【氏名】湯田 恵美
(72)【発明者】
【氏名】早野 順一郎
【審査官】松本 隆彦
(56)【参考文献】
【文献】特開2017-121286(JP,A)
【文献】特開2017-073107(JP,A)
【文献】国際公開第2016/108754(WO,A1)
【文献】特開2015-128579(JP,A)
【文献】米国特許出願公開第2017/0105662(US,A1)
【文献】SHI, Hongyu et al.,Differences of Heart Rate Variability Between Happiness and Sadness Emotion States: A Pilot Study,J. Med. Biol.Eng.,2017年08月,Vol.37, Issue 4,527-539
(58)【調査した分野】(Int.Cl.,DB名)
A61B 5/16
A61B 5/24-5/398
(57)【特許請求の範囲】
【請求項1】
被験者の心拍動間隔の時間変化を示す心拍動情報に基づく少なくとも2つの指標を第1指標及び第2指標として取得する取得部と、
予め定められた前記第1指標の基準及び前記第2指標の基準が、前記被験者の情動の種類毎に互いに対応付けられた判定基準と、前記取得部によって取得された前記被験者の前記第1指標及び前記第2指標とに基づいて、前記被験者の情動を判定する判定部と、
を備え、
前記判定部は、前記判定基準と、前記取得部によって時系列に取得された前記被験者の前記第1指標及び前記第2指標とに基づいて、前記被験者の情動の時間変化を更に判定する、
情動判定装置。
【請求項2】
被験者の心拍動間隔の時間変化を示す心拍動情報に基づく少なくとも2つの指標を第1指標及び第2指標として取得する取得部と、
予め定められた前記第1指標の基準及び前記第2指標の基準が、前記被験者の情動の種類毎に互いに対応付けられた判定基準と、前記取得部によって取得された前記被験者の前記第1指標及び前記第2指標とに基づいて、前記被験者の情動を判定する判定部と、
を備え、
前記第1指標とは、前記心拍動間隔のRR間隔に基づく指標であって、
前記第2指標とは、前記RR間隔の低周波成分の振幅の標準偏差に基づく指標である、
情動判定装置。
【請求項3】
被験者の心拍動間隔の時間変化を示す心拍動情報に基づく少なくとも2つの指標を第1指標及び第2指標として取得する取得部と、
予め定められた前記第1指標の基準及び前記第2指標の基準が、前記被験者の情動の種類毎に互いに対応付けられた判定基準と、前記取得部によって取得された前記被験者の前記第1指標及び前記第2指標とに基づいて、前記被験者の情動を判定する判定部と、
を備え、
前記第1指標とは、前記心拍動間隔のRR間隔の高周波成分の振幅の平均値に基づく指標であって、
前記第2指標とは、前記RR間隔の低周波成分に基づく指標である、
情動判定装置。
【請求項4】
前記判定部は、前記判定基準と、前記取得部によって時系列に取得された前記被験者の前記第1指標及び前記第2指標とに基づいて、前記被験者の情動の時間変化を更に判定する、
請求項2または請求項3に記載の情動判定装置。
【請求項5】
前記判定部は、
前記判定基準と、所定の期間において前記取得部によって取得された前記被験者の前記第1指標及び前記第2指標に基づいて、前記所定の期間における前記被験者の情動の時間変化を更に判定する、
請求項2から請求項4のいずれか一項に記載の情動判定装置。
【請求項6】
コンピュータが、
被験者の心拍動間隔の時間変化を示す心拍動情報に基づく少なくとも2つの指標を第1指標及び第2指標として取得し、
予め定められた前記第1指標の基準及び前記第2指標の基準が、前記被験者の情動の種類毎に互いに対応付けられた判定基準と、取得された前記被験者の前記第1指標及び前記第2指標とに基づいて、前記被験者の情動を判定し、
前記判定基準と、時系列に取得された前記被験者の前記第1指標及び前記第2指標とに基づいて、前記被験者の情動の時間変化を更に判定する、
情動判定方法。
【請求項7】
コンピュータが、
被験者の心拍動間隔の時間変化を示す心拍動情報に基づく少なくとも2つの指標を第1指標及び第2指標として取得し、
予め定められた前記第1指標の基準及び前記第2指標の基準が、前記被験者の情動の種類毎に互いに対応付けられた判定基準と、取得された前記被験者の前記第1指標及び前記第2指標とに基づいて、前記被験者の情動を判定する情動判定方法であって、
前記第1指標とは、前記心拍動間隔のRR間隔に基づく指標であって、
前記第2指標とは、前記RR間隔の低周波成分の振幅の標準偏差に基づく指標である、
情動判定方法。
【請求項8】
コンピュータが、
被験者の心拍動間隔の時間変化を示す心拍動情報に基づく少なくとも2つの指標を第1指標及び第2指標として取得し、
予め定められた前記第1指標の基準及び前記第2指標の基準が、前記被験者の情動の種類毎に互いに対応付けられた判定基準と、取得された前記被験者の前記第1指標及び前記第2指標とに基づいて、前記被験者の情動を判定する情動判定方法であって、
前記第1指標とは、前記心拍動間隔のRR間隔の高周波成分の振幅の平均値に基づく指標であって、
前記第2指標とは、前記RR間隔の低周波成分に基づく指標である、
情動判定方法。
【請求項9】
コンピュータに、
被験者の心拍動間隔の時間変化を示す心拍動情報に基づく少なくとも2つの指標を第1指標及び第2指標として取得する取得ステップと、
予め定められた前記第1指標の基準及び前記第2指標の基準が、前記被験者の情動の種類毎に互いに対応付けられた判定基準と、前記取得ステップによって取得された前記被験者の前記第1指標及び前記第2指標とに基づいて、前記被験者の情動を判定する判定ステップと、
前記判定基準と、時系列に取得された前記被験者の前記第1指標及び前記第2指標とに基づいて、前記被験者の情動の時間変化を更に判定するステップと、
を実行させるためのプログラム。
【請求項10】
コンピュータに、
被験者の心拍動間隔の時間変化を示す心拍動情報に基づく少なくとも2つの指標を第1指標及び第2指標として取得する取得ステップと、
予め定められた前記第1指標の基準及び前記第2指標の基準が、前記被験者の情動の種類毎に互いに対応付けられた判定基準と、前記取得ステップによって取得された前記被験者の前記第1指標及び前記第2指標とに基づいて、前記被験者の情動を判定する判定ステップと、
を実行させるためのプログラムであって、
前記第1指標とは、前記心拍動間隔のRR間隔に基づく指標であって、
前記第2指標とは、前記RR間隔の低周波成分の振幅の標準偏差に基づく指標である、
プログラム。
【請求項11】
コンピュータに、
被験者の心拍動間隔の時間変化を示す心拍動情報に基づく少なくとも2つの指標を第1指標及び第2指標として取得する取得ステップと、
予め定められた前記第1指標の基準及び前記第2指標の基準が、前記被験者の情動の種類毎に互いに対応付けられた判定基準と、前記取得ステップによって取得された前記被験者の前記第1指標及び前記第2指標とに基づいて、前記被験者の情動を判定する判定ステップと、
を実行させるためのプログラムであって、
前記第1指標とは、前記心拍動間隔のRR間隔の高周波成分の振幅の平均値に基づく指標であって、
前記第2指標とは、前記RR間隔の低周波成分に基づく指標である、
プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情動判定装置、情動判定方法、及びプログラムに関する。
【背景技術】
【0002】
従来、撮像装置によってテスト中の被験者の表情を撮像し、被験者の行動反応から当該被験者の客観的な情動を判定する技術が開示されている(例えば、特許文献1)。
【先行技術文献】
【特許文献】
【0003】
【文献】特開2012-120206号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、従来の技術では、被験者の表情を撮像するため、被験者は、撮像装置の前でテストを実施することが求められる。この場合、被験者には、撮像されているという意識が働く。このため、従来の技術では、より自然な被験者の行動反応を取得することが困難であり、正確に被験者の情動を判定することが困難であるおそれがあった。
ここで、被験者の生理的反応には、行動反応に比べて被験者の意識の影響が表れにくい、したがって、被験者の生理的反応に基づいて、被験者の情動を判定することができれば、情動の判定結果への影響を低減させることができる。
本発明は、上記問題に鑑みて為されたものであり、被験者の生理的反応に基づいて当該被験者の情動を判定する情動判定装置、情動判定方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【0005】
本発明の一態様は、被験者の心拍動間隔の時間変化を示す心拍動情報に基づく少なくとも2つの指標を第1指標及び第2指標として取得する取得部と、予め定められた前記第1指標の基準及び前記第2指標の基準が、前記被験者の情動の種類毎に互いに対応付けられた判定基準と、前記取得部によって取得された前記被験者の前記第1指標及び前記第2指標とに基づいて、前記被験者の情動を判定する判定部と、を備える情動判定装置である。
【0006】
また、本発明の一態様の情動判定装置において、前記第1指標とは、前記心拍動間隔のRR間隔に基づく指標であって、前記第2指標とは、前記RR間隔の低周波成分に基づく指標である。
【0007】
また、本発明の一態様の情動判定装置において、前記第1指標とは、前記心拍動間隔のRR間隔の高周波成分に基づく指標であって、前記第2指標とは、前記RR間隔の低周波成分に基づく指標である。
【0008】
また、本発明の一態様の情動判定装置において、前記判定部は、前記判定基準と、前記取得部によって時系列に取得された前記被験者の前記第1指標及び前記第2指標に基づいて、前記被験者の情動の時間変化を更に判定する。
【0009】
また、本発明の一態様の情動判定装置において、前記判定部は、前記被験者の情動の時間変化の基準である変化基準に更に基づいて、前記被験者の情動の時間変化を判定する。
【0010】
また、本発明の一態様の情動判定装置において、前記判定部は、前記判定基準と、所定の期間において前記取得部によって取得された前記被験者の前記第1指標及び前記第2指標に基づいて、前記所定の期間における前記被験者の情動の期間変化を更に判定する。
【0011】
また、本発明の一態様は、コンピュータが、被験者の心拍動間隔の時間変化を示す心拍動情報に基づく少なくとも2つの指標を第1指標及び第2指標として取得し、予め定められた前記第1指標の基準及び前記第2指標の基準が、前記被験者の情動の種類毎に互いに対応付けられた判定基準と、取得された前記被験者の前記第1指標及び前記第2指標とに基づいて、前記被験者の情動を判定する、情動判定方法である。
【0012】
また、本発明の一態様は、コンピュータに、被験者の心拍動間隔の時間変化を示す心拍動情報に基づく少なくとも2つの指標を第1指標及び第2指標として取得する取得ステップと、予め定められた前記第1指標の基準及び前記第2指標の基準が、前記被験者の情動の種類毎に互いに対応付けられた判定基準と、前記取得ステップによって取得された前記被験者の前記第1指標及び前記第2指標とに基づいて、前記被験者の情動を判定する判定ステップと、を実行させるためのプログラムである。
【発明の効果】
【0013】
本発明によれば、被験者の生理的反応によって当該被験者の情動を判定することができる。
【図面の簡単な説明】
【0014】
図1】第1実施形態に係る情動判定システムの概要を示す図である。
図2】第1実施形態に係る情動判定システムの構成の一例を示す図である。
図3】ラッセルの円環モデルの一例を示す図である。
図4】第1実施形態に係る判定基準情報の一例を示す図である。
図5】被験者が「喜び」を感じている場合のRR間隔の加算平均の一例を示す図である。
図6】被験者が「心配」を感じている場合のRR間隔の加算平均の一例を示す図である。
図7】被験者が「驚き」を感じている場合のRR間隔の加算平均の一例を示す図である。
図8】被験者が「悲しみ」を感じている場合のRR間隔の加算平均の一例を示す図である。
図9】被験者が「喜び」を感じている場合の低周波数成分の振幅の加算平均の一例を示す図である。
図10】被験者が「心配」を感じている場合の低周波数成分の振幅の加算平均の一例を示す図である。
図11】被験者が「驚き」を感じている場合の低周波数成分の振幅の加算平均の一例を示す図である。
図12】被験者が「悲しみ」を感じている場合の低周波数成分の振幅の加算平均の一例を示す図である。
図13】第1実施形態に係る情動判定装置の動作の一例を示す図である。
図14】第1実施形態に係る被験者の情動の判定結果の一例を示す図である。
図15】第2実施形態に係る情動判定システムの概要を示す図である。
図16】第2実施形態に係る変化基準情報の一例を示す図である。
図17】第2実施形態に係る被験者の情動の判定結果の一例を示す図である。
【発明を実施するための形態】
【0015】
[第1実施形態]
以下、本発明の第1実施形態について図面を参照しながら説明する。まず、図1を参照して、情動判定システム1の概要について説明する。
【0016】
<情動判定システム1の概要>
図1は、第1実施形態に係る情動判定システム1の概要を示す図である。情動判定システム1は、電極SC1と、情動判定装置10とを備える。電極SC1は、情動の判定対象の被験者(以下、被験者EN)の皮膚に貼付される。電極SC1は、被験者ENの皮膚表面に生じる電位であって、心臓の活動電位を検出する。電極SC1は、検出した心臓の活動電位を示す信号(以下,心電位信号)を情動判定装置10に供給する。
【0017】
情動判定装置10は、電極SC1から心電位信号を取得する。情動判定装置10は、取得した心電位信号に基づいて被験者ENの心拍の時間間隔(以下、心拍動間隔)を取得する。また、情動判定装置10は、取得された心拍動間隔に基づく指標によって、被験者ENの情動を判定する。
【0018】
<情動判定システム1の構成>
図2は、第1実施形態に係る情動判定システム1の構成の一例を示す図である。
図2に示す通り、情動判定装置10は、制御部100と、記憶部200とを備える。記憶部200は、例えば、HDD(Hard Disk Drive)や、フラッシュメモリ、RAM(Random Access Memory)、ROM(Read Only Memory)などにより実現される。記憶部200には、予め判定基準情報D1が記憶される。
【0019】
<判定基準情報D1について>
図3は、ラッセルの円環モデルの一例を示す図である。
従来、情感は、覚醒度(Arousal)の指標と、感情のポジティブ度又はネガティブ度(Valence)の指標とを軸とする二次元によって定義できる可能性があることが知られている。本実施形態において、情動判定装置10は、覚醒度(Arousal)の指標として、心拍動間隔、つまり、RR間隔の平均値(以下、平均RR間隔)を用いる。また、情動判定装置10は、感情のポジティブ度又はネガティブ度(Valence)の指標として、RR間隔の低周波成分の振幅の標準偏差(以下、LF(Low Frequency)振幅標準偏差)を用いる。平均RR間隔及びLF振幅標準偏差の具体的な取得方法については、後述する。本実施形態において、判定基準情報D1とは、予め定められた平均RR間隔の基準及びLF振幅標準偏差の基準が、被験者ENの種類毎に互いに対応付けられた情報である。ここで、平均RR間隔とは、第1指標の一例である。また、LF振幅標準偏差とは、第2指標の一例である。なお、心拍動間隔は、RR間隔の他、あるQ波から次のQ波までの間隔であってもよく、あるQRS波から次のQRS波までの間隔であってもよい。
【0020】
図4は、第1実施形態に係る判定基準情報D1の一例を示す図である。
図4に示される通り、本実施形態において、情動判定装置10は、「喜び」、「心配」、「驚き」及び「悲しみ」を判定する。具体的には、
判定基準情報D1には、「喜び」の基準として、「782[ms]」程度の平均RR間隔と、「2.14[ms]」程度のLF振幅標準偏差とが、互いに対応付けられる。
また、判定基準情報D1には、「心配」を示す基準として、「737[ms]」程度の平均RR間隔と、「1.04[ms]」程度のLF振幅標準偏差とが、互いに対応付けられる。
また、判定基準情報D1は、「悲しみ」を示す基準として、「788[ms]」程度の平均RR間隔と、「1.37[ms]」程度のLF振幅標準偏差とが、互いに対応付けられる。
また、判定基準情報D1は、「驚き」を示す基準として、「817[ms]」程度の平均RR間隔と、「1.94[ms]」程度のLF振幅標準偏差とが、互いに対応付けられる。
【0021】
<制御部100について>
図2に戻り、制御部100は、CPU(Central Processing Unit)などのプロセッサが記憶部200に記憶されたプログラムを実行することによって実現される。制御部100は、例えば、取得部110と、指標取得部120と、判定部130と、出力部140とをその機能部として備える。これらの機能部は、LSI(Large Scale Integration)、ASIC(Application Specific Integrated Circuit)、FPGA(Field-Programmable Gate Array)等のハードウェアによって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。
【0022】
取得部110は、電極SC1から被験者ENの心電位信号を取得する。本実施形態において、取得部110は、取得した心電位信号と、当該心電位信号を取得した時刻とを対応付けて、常時又は所定の時間間隔において指標取得部120に供給する。
【0023】
指標取得部120は、取得部110によって取得された心電位信号の時間変化に基づいて、第1指標と、第2指標とを取得する。指標取得部120は、例えば、取得部110から心電位信号を取得する度に、心電位信号を取得した時刻よりも所定の時間だけ過去の間において取得された心電位信号に基づいて、被験者ENのRR間隔を取得する。所定の時間とは、例えば、1分程度の間である。また、指標取得部120は、取得したRR間隔に基づいて、平均RR間隔(つまり、第1指標)を取得する。
【0024】
図5は、被験者ENが「喜び」を感じている場合のRR間隔の加算平均の一例を示す図である。図5に示す波形WRR1は、7人の被験者ENがそれぞれ「喜び」を感じている場合のRR間隔の加算平均波形である。図6は、被験者ENが「心配」を感じている場合のRR間隔の加算平均の一例を示す図である。図6に示す波形WRR2は、16人の被験者ENがそれぞれ「心配」を感じている場合のRR間隔の加算平均波形である。図7は、被験者ENが「驚き」を感じている場合のRR間隔の加算平均の一例を示す図である。図7に示す波形WRR3は、9人の被験者ENがそれぞれ「驚き」を感じている場合のRR間隔の加算平均波形である。図8は、被験者ENが「悲しみ」を感じている場合のRR間隔の加算平均の一例を示す図である。図8に示す波形WRR4は、10人の被験者ENがそれぞれ「悲しみ」を感じている場合のRR間隔の加算平均波形である。
【0025】
図2に戻り、指標取得部120は、例えば、complex demodulation法を用いて取得したRR間隔から低周波数成分を求める。ここで、RR間隔の低周波成分とは、例えば、RR間隔に含まれる周波数成分のうち、0.04[Hz]から0.15[Hz]までの周波数成分である。指標取得部120は、取得したRR間隔に含まれる低周波数成分に基づいて、低周波成分の振幅の標準偏差であるLF振幅標準偏差(つまり、第2指標)を取得する。
【0026】
図9は、被験者ENが「喜び」を感じている場合の低周波数成分の振幅の加算平均の一例を示す図である。図9に示す波形WLF1は、7人の被験者ENがそれぞれ「喜び」を感じている場合のRR間隔のLF成分の振幅の加算平均波形である。図10は、被験者ENが「心配」を感じている場合の低周波数成分の振幅の加算平均の一例を示す図である。図10に示す波形WLF2は、16人の被験者ENがそれぞれ「心配」を感じている場合のRR間隔のLF成分の振幅の加算平均波形である。図11は、被験者ENが「驚き」を感じている場合の低周波数成分の振幅の加算平均の一例を示す図である。図11に示す波形WLF3は、9人の被験者ENがそれぞれ「驚き」を感じている場合のRR間隔のLF成分の振幅の加算平均波形である。図12は、被験者ENが「悲しみ」を感じている場合の低周波数成分の振幅の加算平均の一例を示す図である。図12に示す波形WLF4は、10人の被験者ENがそれぞれ「悲しみ」を感じている場合のRR間隔のLF成分の振幅の加算平均波形である。
【0027】
図2に戻り、判定部130は、判定基準情報D1と、指標取得部120が取得した被験者ENの平均RR間隔及びLF振幅標準偏差に基づいて、被験者ENの情動を判定する。具体的には、判定部130は、指標取得部120が取得した被験者ENの平均RR間隔の値と、LF振幅標準偏差の値とが、判定基準情報D1に示される各情動の範囲と合致する場合、被験者ENが当該情動を感じていると判定する。各情動の範囲とは、判定基準情報D1に示される各情動の基準値から、平均RR間隔の値が「±0.5」以内であって、かつLF振幅標準偏差の値が「±0.5」以内の範囲である。また、指標取得部120は、当該範囲内に被験者ENの平均RR間隔及びLF振幅標準偏差が合致しない場合、被験者ENには、判定基準情報D1に示す各情動(この一例では、「喜び」、「心配」、「驚き」及び「悲しみ」)を感じていないと判定する。判定部130は、被験者ENの情動を判定した判定結果を示す情報を出力部140に供給する。
【0028】
出力部140は、判定部130が判定した判定結果を示す情報を出力する。出力部140は、例えば、情動判定装置10と情報の送受信が可能に接続された端末(不図示)に対して判定結果を示す情報を送信してもよく、判定結果を示す情報を記憶部200に出力し記憶させてもよい。
【0029】
<情動判定装置10の動作について>
図13は、第1実施形態に係る情動判定装置10の動作の一例を示す図である。
取得部110は、電極SC1から心電位信号を取得する(ステップS110)。指標取得部120は、取得部110によって取得された心電位信号の時間変化に基づいて、第1指標と、第2指標とを取得する(ステップS120)。判定部130は、指標取得部120が取得した第1指標及び第2指標が、判定基準情報D1が示す各情動の基準と合致するか否かを判定する(ステップS130)。判定部130は、指標取得部120が取得した第1指標及び第2指標が判定基準情報D1の示す各情動の範囲のいずれかと合致する場合(ステップS130;YES)、被験者ENが合致する情動を感じていると判定する(ステップS140)。判定部130は、指標取得部120が取得した第1指標及び第2指標が判定基準情報D1の示す各情動の範囲のいずれかと合致しない場合(ステップS130;NO)、被験者ENが判定基準情報D1に示す情動を感じていないと判定する(ステップS150)。
【0030】
<情動判定装置10による被験者ENの情動の判定結果>
図14は、第1実施形態に係る被験者ENの情動の判定結果の一例を示す図である。
情動判定装置10は、図5に示すRR間隔に基づく平均RR間隔及び図9に示す低周波数成分の振幅に基づくLF振幅標準偏差(図示する点P1)と、判定基準情報D1とに基づいて、当該被験者ENが「喜び」を感じていると判定する。また、情動判定装置10は、図6に示すRR間隔に基づく平均RR間隔及び図10に示す低周波数成分の振幅に基づくLF振幅標準偏差(図示する点P2)と、判定基準情報D1とに基づいて、当該被験者ENが「心配」を感じていると判定する。また、情動判定装置10は、図7に示すRR間隔に基づく平均RR間隔及び図11に示す低周波数成分の振幅に基づくLF振幅標準偏差(図示する点P3)と、判定基準情報D1とに基づいて、当該被験者ENが「驚き」を感じていると判定する。また、情動判定装置10は、図8に示すRR間隔に基づく平均RR間隔及び図12に示す低周波数成分の振幅に基づくLF振幅標準偏差(図示する点P4)と、判定基準情報D1とに基づいて、当該被験者ENが「悲しみ」を感じていると判定する。
【0031】
<第1実施形態のまとめ>
以上説明したように、本実施形態の情動判定装置10は、被験者ENの心拍動間隔の時間変化を示す心拍動情報に基づく少なくとも2つの指標を第1指標(この一例では、平均RR間隔)及び第2指標(この一例では、LF振幅標準偏差)として取得する取得部(この一例では、指標取得部120)と、予め定められた平均RR間隔の基準及びLF振幅標準偏差の基準が、被験者ENの情動の種類毎に互いに対応付けられた判定基準(この一例では、判定基準情報D1)と、指標取得部120によって取得された被験者ENの平均RR間隔及びLF振幅標準偏差に基づいて、被験者ENの情動を判定する判定部130と、を備える。
【0032】
従来、被験者ENの表情の変化等の行動反応に基づいて、当該被験者ENの情動を判定する技術が知られている。行動反応は、被験者ENの意識によっては情動を適切に示さない場合がある。例えば、被験者ENが笑いをこらえたり、無表情を保とうと意識したりすることにより、被験者ENの表情には、当該被験者ENの情動が示されない。
【0033】
これに対し、本実施形態の情動判定装置10は、被験者ENの生理的反応である心拍動間隔によって当該被験者ENの情動を判定する。被験者ENは、一般に、心拍等の生理的反応の変化を意識して抑制することが困難である。したがって、本実施形態の情動判定装置10は、被験者ENの生理的反応に基づいて、当該被験者ENの情動をより精度高く判定することができる。
【0034】
また、従来、被験者ENの情動を生理的反応に基づいて判定する手段として、ポリグラフが知られている。しかしながら、ポリグラフを用いて被験者ENの情動を判定する場合、当該被験者ENの呼吸、脈拍及び血圧等の複数の生理的反応を同時に取得することが求められる場合があった。
本実施形態の情動判定装置10によれば、被験者ENの生理的反応として心拍動間隔のみを取得することによって、当該被験者ENの情動を簡便な構成、かつ客観的に判定することができる。
【0035】
[第2実施形態]
以下、本発明の第2実施形態について図面を参照しながら説明する。まず、図15を参照して、本実施形態の情動判定システム(以下、情動判定システム2)の概要について説明する。
【0036】
<情動判定システム2の概要>
図15は、第2実施形態に係る情動判定システム2の概要を示す図である。情動判定システム2は、電極SC1と、情動判定装置11とを備える。情動判定装置11は、制御部100と、記憶部201とを備える。記憶部201には、判定基準情報D1と、変化基準情報D2とが記憶される。変化基準情報D2とは、被験者ENの情動の時間変化の基準を示す。
【0037】
<変化基準情報D2について>
図16は、第2実施形態に係る変化基準情報D2の一例を示す図である。
本実施形態において、被験者ENには、情動の時間変化が「驚き」、「喜び」、「心配」及び「悲しみ」の順に生じるような試験が行われる。この試験とは、例えば、映像コンテンツの視聴や、書籍や雑誌の閲覧や、芸術作品の鑑賞等である。これに伴い、変化基準情報D2は、指標取得部120によって時系列に取得された被験者ENの情動の時間変化が「驚き」、「喜び」、「心配」及び「悲しみ」の順に生じることを示す。
【0038】
図15に戻り、本実施形態の指標取得部120は、所定のタイミングにおいて、取得部110から心電位信号を取得する。所定のタイミングとは、被験者ENに与えられる試験の期間のうち、被験者ENの情動が変化するタイミングである。この一例では、指標取得部120は、「驚き」、「喜び」、「心配」及び「悲しみ」が生じるような試験が行われている各タイミングにおいて心電位信号を取得する。指標取得部120は、各タイミングにおいて取得した心電位信号の時間変化に基づいて、平均RR間隔と及びLF振幅標準偏差を取得する。
判定部130は、指標取得部120が各タイミングにおいて取得した平均RR間隔と及びLF振幅標準偏差に基づいて、被験者ENの情動の時間変化を判定する。
【0039】
図17は、第2実施形態に係る被験者ENの情動の判定結果の一例を示す図である。
情動判定装置11は、図7に示すRR間隔に基づく平均RR間隔及び図11に示す低周波数成分の振幅に基づくLF振幅標準偏差(図示する点P11)と、判定基準情報D1とに基づいて、当該被験者ENが「驚き」を感じていると判定する。次に、情動判定装置11は、図5に示すRR間隔に基づく平均RR間隔及び図9に示す低周波数成分の振幅に基づくLF振幅標準偏差(図示する点P12)と、判定基準情報D1とに基づいて、当該被験者ENが「喜び」を感じていると判定する。次に、情動判定装置11は、図8に示すRR間隔に基づく平均RR間隔及び図12に示す低周波数成分の振幅に基づくLF振幅標準偏差(図示する点P13)と、判定基準情報D1とに基づいて、当該被験者ENが「悲しみ」を感じていると判定する。次に、情動判定装置11は、図6に示すRR間隔に基づく平均RR間隔及び図10に示す低周波数成分の振幅に基づくLF振幅標準偏差(図示する点P14)と、判定基準情報D1とに基づいて、当該被験者ENが「心配」を感じていると判定する。
【0040】
これにより、判定部130は、被験者ENの情動の時間変化が「驚き」、「喜び」、「悲しみ」及び「心配」の順に変化していると判定する。上述したように、変化基準情報D2は、指標取得部120によって時系列に取得された被験者ENの情動の時間変化が「驚き」、「喜び」、「心配」及び「悲しみ」の順に生じることを示す。つまり、被験者ENの情動の時間変化と、変化基準情報D2が示す被験者ENの情動の時間変化の基準とは、合致しない。したがって、判定部130は、被験者ENの情動の時間変化が適切ではないと判定する。
【0041】
<第2実施形態のまとめ>
以上説明したように、本実施形態の情動判定装置11の判定部130は、判定基準情報D1と、指標取得部120によって時系列に取得された被験者ENの第1指標(この一例では、平均RR間隔)及び第2指標(この一例では、LF振幅標準偏差)と、被験者ENの情動の時間変化の基準である変化基準(この一例では、変化基準情報D2)に更に基づいて、被験者ENの情動の時間変化を判定する。
【0042】
ここで、被験者ENに認知症の症状が現れている場合、被験者ENに対して情動に変化が生じるような試験が行われていても、当該被験者ENの情動に時間変化が生じない場合がある。本実施形態の情動判定装置11によれば、被験者ENに対して情動に変化が生じるような試験を行い、適切に情動が時間変化しているか否かを判定することができる。したがって、本実施形態の情動判定装置11によれば、被験者ENに認知症の症状が現れているかを診断する際の参考となる情報を提供することができる。
【0043】
また、映像コンテンツの作成者等は、作成した映像コンテンツによって所望の情動の変化を被験者ENに生じさせたい場合がある。本実施形態の情動判定装置11によれば、所望の情動の時間変化が被験者ENに生じているか否かを客観的に判定することができる。
【0044】
<被験者ENに何らかの情動の変化が生じているか否かを判定する場合>
なお、上述では、判定部130が、被験者ENの情動の時間変化が変化基準情報D2と合致するか否かを判定する場合について説明したが、これに限られない。判定部130は、例えば、試験によって、被験者ENの情動に何らかの変化(時間変化)が生じているか否かを判定する構成であってもよい。この場合、判定部130は、指標取得部120によって時系列に取得された被験者ENの平均RR間隔及びLF振幅標準偏差と、判定基準情報D1とに基づいて、被験者ENの情動の時間変化を判定する。これにより、本実施形態の情動判定装置11は、試験によって、被験者ENに情動の時間変化が生じているか否かを判定し、被験者ENに認知症の症状が現れているかを診断する際の参考となる情報を提供することができる。また、本実施形態の情動判定装置11は、映像コンテンツ等によって被験者ENに情動の時間変化を生じさせることができるか否かを判断する際の参考となる情報を提供することができる。
【0045】
<被験者ENに何らかの情動の変化が生じているか否かを判定する場合>
また、上述では、判定部130が、指標取得部120によって時系列に取得された被験者ENの平均RR間隔及びLF振幅標準偏差と、判定基準情報D1とに基づいて、被験者ENの情動の時間変化を判定する場合について説明したが、これに限られない。判定部130は、例えば、所定の期間中(例えば、試験が行われている期間中)において、被験者ENに何らかの情動が生じているか否かを判定する構成であってもよい。この場合、判定部130は、所定の期間において指標取得部120によって取得された被験者ENの平均RR間隔及びLF振幅標準偏差に基づいて、前記所定の期間における前記被験者の情動の時間変化を判定する。これにより、本実施形態の情動判定装置11は、試験によって、被験者ENに情動が生じているか否かを判定し、被験者ENに認知症の症状が現れているかを診断する際の参考となる情報を提供することができる。また、本実施形態の情動判定装置11は、映像コンテンツ等によって被験者ENに情動を生じさせることができるか否かを判断する際の参考となる情報を提供することができる。
【0046】
<平均RR間隔の形状及び平均LF振幅の形状>
なお、上述では、情動判定装置10が平均RR間隔の値及びLF振幅標準偏差の値に基づいて、被験者ENの情動を判定する場合について説明したが、これに限られない。情動判定装置10は、例えば、所定の期間における平均RR間隔を示す波形の形状及び、所定の期間における平均LF振幅の波形の形状に基づいて、被験者ENの情動を判定する構成であってもよい。この場合、判定基準情報D1は、被験者ENの平均RR間隔の基準波形を示す情報と、平均LF振幅の基準波形を示す情報とが、情動の種類毎に互いに対応付けられた情報である。基準波形を示す情報とは、当該基準波形の値を所定の時間間隔(分解能)によって示す情報であってもよく、当該基準波形を示す画像であってもよい。
判定部130は、例えば、被験者ENの平均RR間隔を示す波形の形状及び平均LF振幅を示す波形が、判定基準情報D1が示す、ある情動の平均RR間隔の基準波形及び平均LF振幅の基準波形と合致、又は相似する波形の形状である場合、被験者ENが当該情動を感じていると判定する。
なお、平均RR間隔の波形の形状、平均LF振幅の波形の形状を取得する所定の期間は、情動の種類毎に長さが異なる期間であってもよい。
【0047】
なお、上述では、第1指標が平均RR間隔である場合について説明したが、これに限られない。第1指標は、例えば、平均RR間隔に代えて、RR間隔に含まれる高周波数成分の振幅に基づいて、高周波成分の振幅の平均値を用いる構成であってもよい。ここで、RR間隔の高周波成分とは、例えば、RR間隔に含まれる周波数成分のうち、0.15[Hz]から0.40[Hz]までの周波数成分である。
【0048】
また、上述では、電極SC1によって取得した心電位信号に基づいて、被験者ENの心拍動間隔を取得する場合について説明したが、これに限られない。心拍動間隔は、例えば、被験者ENを撮像した画像に基づいて、当該被験者ENの心拍動間隔が取得されてもよく、脈波信号に基づいて、当該被験者ENの脈拍間隔を取得し、心拍動間隔の代りに用いてもよい。
【0049】
また、上述では、被験者ENのRR間隔を周波数領域(周波数スペクトル)によって第1指標及び第2指標を取得する場合について説明したが、これに限られない。第1指標及び第2指標は、被験者ENのRR間隔の非線形領域の解析によって取得されてもよく、被験者ENのRR間隔の時間領域の解析によって取得されてもよい。
【0050】
また、上記の各実施形態における情動判定装置10又は情動判定装置11が備える各部は、専用のハードウェアにより実現されるものであってもよく、また、メモリおよびマイクロプロセッサにより実現させるものであってもよい。
【0051】
また、情動判定装置10又は情動判定装置11が備える各部は、メモリおよびCPU(中央演算装置)により構成され、情動判定装置10又は情動判定装置11が備える各部の機能を実現するためのプログラムをメモリにロードして実行することによりその機能を実現させるものであってもよい。
【0052】
また、情動判定装置10又は情動判定装置11が備える各部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。
【0053】
また、「コンピュータシステム」は、WWWシステムを利用している場合であれば、ホームページ提供環境(あるいは表示環境)も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD-ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。
【0054】
以上、本発明の実施形態を、図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更を加えることができる。上述した各実施形態に記載の構成を組み合わせてもよい。
【符号の説明】
【0055】
1、2…情動判定システム、10、11…情動判定装置、100…制御部、110…取得部、120…指標取得部、130…判定部、140…出力部、200、201…記憶部、D1…判定基準情報、D2…変化基準情報、EN…被験者
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17