IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

<>
  • -感情推定システム、および感情推定装置 図1
  • -感情推定システム、および感情推定装置 図2
  • -感情推定システム、および感情推定装置 図3
  • -感情推定システム、および感情推定装置 図4
  • -感情推定システム、および感情推定装置 図5
  • -感情推定システム、および感情推定装置 図6
  • -感情推定システム、および感情推定装置 図7
  • -感情推定システム、および感情推定装置 図8
  • -感情推定システム、および感情推定装置 図9
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-11-15
(45)【発行日】2023-11-24
(54)【発明の名称】感情推定システム、および感情推定装置
(51)【国際特許分類】
   A61B 5/16 20060101AFI20231116BHJP
【FI】
A61B5/16 120
【請求項の数】 6
(21)【出願番号】P 2019091325
(22)【出願日】2019-05-14
(65)【公開番号】P2020185138
(43)【公開日】2020-11-19
【審査請求日】2022-04-25
(73)【特許権者】
【識別番号】599016431
【氏名又は名称】学校法人 芝浦工業大学
(74)【代理人】
【識別番号】110001416
【氏名又は名称】弁理士法人信栄事務所
(72)【発明者】
【氏名】菅谷 みどり
(72)【発明者】
【氏名】池田 悠平
(72)【発明者】
【氏名】川上 洋平
【審査官】牧尾 尚能
(56)【参考文献】
【文献】特開2017-144222(JP,A)
【文献】特開2017-176580(JP,A)
【文献】特開2006-106711(JP,A)
【文献】特開2019-000937(JP,A)
【文献】特開2018-169906(JP,A)
【文献】特開2005-058449(JP,A)
【文献】特開2018-189720(JP,A)
【文献】国際公開第2010/001512(WO,A1)
(58)【調査した分野】(Int.Cl.,DB名)
A61B 5/06- 5/22
(57)【特許請求の範囲】
【請求項1】
対象者の脈拍に対応する第一生体信号と当該対象者の脳波に対応する第二生体信号を受け付ける入力インターフェースと、
前記第一生体信号に対応する第一の値と前記第二生体信号に対応する第二の値を含む第一データセットを、ラッセルの円環モデル上に配置された複数種の感情の量に対応する複数の感情値を含む第二データセットに変換するプロセッサと、
前記複数種の感情の各々に対応付けられた色を記憶しているストレージと、
表示装置と、
を備えており、
前記プロセッサは、
前記複数種の感情値のうち最大値を有する一つに対応する前記複数種の感情に含まれる第一感情を特定し、
特定された前記第一感情に基づいて、前記複数種の感情に含まれる当該第一感情とは異なる第二感情を設定し、
前記第二感情に対応付けられた色を前記表示装置に表示させる、
感情推定システム。
【請求項2】
前記プロセッサは、前記第二感情に対応付けられた色の表示に先立ち、前記第一感情に対応付けられた色を前記表示装置に表示させる、
請求項1に記載の感情推定システム。
【請求項3】
前記プロセッサは、前記第二感情に対応付けられた色の表示に先立ち、前記第一感情に対応付けられた色と前記第二感情に対応付けられた色の中間色を前記表示装置に表示させる、
請求項1または2に記載の感情推定システム。
【請求項4】
対象者の脈拍に対応する第一生体信号と当該対象者の脳波に対応する第二生体信号を受け付ける入力インターフェースと、
前記第一生体信号に対応する第一の値と前記第二生体信号に対応する第二の値を含む第一データセットを、ラッセルの円環モデル上に配置された複数種の感情の量に対応する複数の感情値を含む第二データセットに変換するプロセッサと、
前記複数種の感情の各々に対応付けられた音、香り、画像、および言語の少なくとも一つを記憶しているストレージと、
出力装置と、
を備えており、
前記プロセッサは、
前記複数種の感情値のうち最大値を有する一つに対応する前記複数種の感情に含まれる第一感情を特定し、
特定された前記第一感情に基づいて、前記複数種の感情に含まれる当該第一感情とは異なる第二感情を設定し、
前記第二感情に対応付けられた音、香り、画像、および言語の少なくとも一つを前記出力装置に出力させる、
感情推定システム。
【請求項5】
対象者の脈拍に対応する第一生体信号と当該対象者の脳波に対応する第二生体信号を受け付ける入力インターフェースと、
前記第一生体信号に対応する第一の値と前記第二生体信号に対応する第二の値を含む第一データセットを、ラッセルの円環モデル上に配置された複数種の感情の量に対応する複数の感情値を含む第二データセットに変換するプロセッサと、
前記複数種の感情の各々に対応付けられた色を記憶しているストレージと、
出力インターフェースと、
を備えており、
前記プロセッサは、
前記複数種の感情値のうち最大値を有する一つに対応する前記複数種の感情に含まれる第一感情を特定し、
特定された前記第一感情に基づいて、前記複数種の感情に含まれる当該第一感情とは異なる第二感情を設定し、
前記第二感情に対応付けられた色を表示装置に表示させる表示信号を、前記出力インターフェースに出力させる、
感情推定装置。
【請求項6】
対象者の脈拍に対応する第一生体信号と当該対象者の脳波に対応する第二生体信号を受け付ける入力インターフェースと、
前記第一生体信号に対応する第一の値と前記第二生体信号に対応する第二の値を含む第一データセットを、ラッセルの円環モデル上に配置された複数種の感情の量に対応する複数の感情値を含む第二データセットに変換するプロセッサと、
前記複数種の感情の各々に対応付けられた音、香り、画像、および言語の少なくとも一つを記憶しているストレージと、
出力インターフェースと、
を備えており、
前記プロセッサは、
前記複数種の感情値のうち最大値を有する一つに対応する前記複数種の感情に含まれる第一感情を特定し、
特定された前記第一感情に基づいて、前記複数種の感情に含まれる当該第一感情とは異なる第二感情を設定し、
前記第二感情に対応付けられた音、香り、画像、および言語の少なくとも一つを出力装置に出力させる制御信号を、前記出力インターフェースに出力させる、
感情推定装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、対象者の感情を推定する技術に関連する。
【背景技術】
【0002】
特許文献1は、対象者より取得された生体情報に基づいて当該対象者の感情を推定する技術を開示している。
【先行技術文献】
【特許文献】
【0003】
【文献】特開2013-046691号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
本発明の目的は、生体情報の取得を通じて推定された対象者の感情に基づく新規なユーザインターフェースを提供することである。
【課題を解決するための手段】
【0005】
上記目的を達成するための一態様は、感情推定システムであって、
対象者の脈拍に対応する第一生体信号と当該対象者の脳波に対応する第二生体信号を受け付ける入力インターフェースと、
前記第一生体信号に対応する第一の値と前記第二生体信号に対応する第二の値を含む第一データセットを、ラッセルの円環モデル上に配置された複数種の感情の量に対応する複数の感情値を含む第二データセットに変換するプロセッサと、
前記複数の感情の各々に対応付けられた色を記憶しているストレージと、
前記第一生体信号に対応する第一座標軸と前記第二生体信号に対応する第二座標軸により形成される座標平面を表示する表示装置と、
を備えており、
前記プロセッサは、前記第一データセットにより定まる前記座標平面上の位置に標識を表示させるとともに、前記複数の感情値のうち最大値を有する一つに対応付けられた色を前記表示装置に表示させる。
【0006】
上記目的を達成するための一態様は、感情推定装置であって、
対象者の脈拍に対応する第一生体信号と当該対象者の脳波に対応する第二生体信号を受け付ける入力インターフェースと、
前記第一生体信号に対応する第一の値と前記第二生体信号に対応する第二の値を含む第一データセットを、ラッセルの円環モデル上に配置された複数種の感情の量に対応する複数の感情値を含む第二データセットに変換するプロセッサと、
前記複数の感情の各々に対応付けられた色を記憶しているストレージと、
出力インターフェースと、
を備えており、
前記プロセッサは、
前記第一生体信号に対応する第一座標軸と前記第二生体信号に対応する第二座標軸により形成される座標平面を表示装置に表示させるとともに、前記第一データセットにより定まる当該座標平面上の位置に標識を表示させる第一表示信号と、
前記複数の感情値のうち最大値を有する一つに対応付けられた色を前記表示装置に表示させる第二表示信号と、
を前記出力インターフェースに出力させる。
【0007】
座標平面を形成している二つの座標軸は、対象者の心拍と脳波に対応している。心拍と脳波は、心理学において知られているPleasantness-Unpleasantness(快/不快)とArousal-Sleep(覚醒/眠気)という二つの指標となじみがよい。したがって、当該二つの指標を座標軸として形成される座標平面上に対象者の心拍と脳波に対応する標識を表示させ、さらにラッセルの円環モデルで用いられている形容詞を対応付けることにより、当該モデルからの類推に基づいて対象者の心理状態を直感的に把握できる。さらに、推定された対象者の感情に対応づけられた色が同時に表示されるので、感情の視覚的把握がさらに促されうる。
【0008】
心拍や脳波といった生体情報は、意識的に変えることが難しい。しかしながら、上記のような構成によれば、座標平面上の標識と推定された感情に対応付けられた色の表示を通じて、対象者の外見に表出しない感情の把握が容易になる。これにより、他者による対象者の感情理解、あるいは対象者による自身の感情理解が促されうる。
【0009】
したがって、生体情報の取得を通じて推定された対象者の感情に基づく新規なユーザインターフェースを提供できる。
【0010】
上記目的を達成するための一態様は、感情推定システムであって、
対象者の脈拍に対応する第一生体信号と当該対象者の脳波に対応する第二生体信号を受け付ける入力インターフェースと、
前記第一生体信号に対応する第一の値と前記第二生体信号に対応する第二の値を含む第一データセットを、ラッセルの円環モデル上に配置された複数種の感情の量に対応する複数の感情値を含む第二データセットに変換するプロセッサと、
前記複数の感情の各々に対応付けられた色を記憶しているストレージと、
表示装置と、
を備えており、
前記プロセッサは、
前記複数の感情値のうち最大値を有する一つに対応する前記複数の感情に含まれる第一感情を特定し、
特定された前記第一感情に基づいて、前記複数の感情に含まれる当該第一感情とは異なる第二感情を設定し、
前記第二感情に対応付けられた色を前記表示装置に表示させる。
【0011】
上記目的を達成するための一態様は、感情推定装置であって、
対象者の脈拍に対応する第一生体信号と当該対象者の脳波に対応する第二生体信号を受け付ける入力インターフェースと、
前記第一生体信号に対応する第一の値と前記第二生体信号に対応する第二の値を含む第一データセットを、ラッセルの円環モデル上に配置された複数種の感情の量に対応する複数の感情値を含む第二データセットに変換するプロセッサと、
前記複数の感情の各々に対応付けられた色を記憶しているストレージと、
出力インターフェースと、
を備えており、
前記プロセッサは、
前記複数の感情値のうち最大値を有する一つに対応する前記複数の感情に含まれる第一感情を特定し、
特定された前記第一感情に基づいて、前記複数の感情に含まれる当該第一感情とは異なる第二感情を設定し、
前記第二感情に対応付けられた色を表示装置に表示させる表示信号を、前記出力インターフェースに出力させる。
【0012】
上記のような構成によれば、意識的に変えることが難しい心拍や脳波といった生体情報に基づいて推定された対象者の現在感情が、色の表示を通じて目標感情へ導かれうる。換言すると、対象者の表情や所作に依存しない感情制御を可能にする新規なユーザインターフェースを提供できる。
【0013】
上記目的を達成するための一態様は、感情推定システムであって、
対象者の脈拍に対応する第一生体信号と当該対象者の脳波に対応する第二生体信号を受け付ける入力インターフェースと、
前記第一生体信号に対応する第一の値と前記第二生体信号に対応する第二の値を含む第一データセットを、ラッセルの円環モデル上に配置された複数種の感情の量に対応する複数の感情値を含む第二データセットに変換するプロセッサと、
前記複数の感情の各々に対応付けられた音、香り、画像、および言語の少なくとも一つを記憶しているストレージと、
出力装置と、
を備えており、
前記プロセッサは、
前記複数の感情値のうち最大値を有する一つに対応づけられた音、香り、画像、および言語の少なくとも一つを前記出力装置に出力させる。
【0014】
上記目的を達成するための一態様は、感情推定装置であって、
対象者の脈拍に対応する第一生体信号と当該対象者の脳波に対応する第二生体信号を受け付ける入力インターフェースと、
前記第一生体信号に対応する第一の値と前記第二生体信号に対応する第二の値を含む第一データセットを、ラッセルの円環モデル上に配置された複数種の感情の量に対応する複数の感情値を含む第二データセットに変換するプロセッサと、
前記複数の感情の各々に対応付けられた音、香り、画像、および言語の少なくとも一つを記憶しているストレージと、
出力インターフェースと、
を備えており、
前記プロセッサは、
前記複数の感情値のうち最大値を有する一つに対応づけられた音、香り、画像、および言語の少なくとも一つを出力装置に出力させる制御信号を、前記出力インターフェースに出力させる。
【0015】
心拍や脳波といった生体情報は、意識的に変えることが難しい。しかしながら、上記のような構成によれば、推定された感情に対応付けられた音、香り、画像、および言語の少なくとも一つの提示を通じて、対象者の外見に表出しない感情の把握が容易になる。これにより、他者による対象者の感情理解、あるいは対象者による自身の感情理解が促されうる。
【0016】
したがって、生体情報の取得を通じて推定された対象者の感情に基づく新規なユーザインターフェースを提供できる。
【0017】
上記目的を達成するための一態様は、感情推定システムであって、
対象者の脈拍に対応する第一生体信号と当該対象者の脳波に対応する第二生体信号を受け付ける入力インターフェースと、
前記第一生体信号に対応する第一の値と前記第二生体信号に対応する第二の値を含む第一データセットを、ラッセルの円環モデル上に配置された複数種の感情の量に対応する複数の感情値を含む第二データセットに変換するプロセッサと、
前記複数の感情の各々に対応付けられた音、香り、画像、および言語の少なくとも一つを記憶しているストレージと、
出力装置と、
を備えており、
前記プロセッサは、
前記複数の感情値のうち最大値を有する一つに対応する前記複数の感情に含まれる第一感情を特定し、
特定された前記第一感情に基づいて、前記複数の感情に含まれる当該第一感情とは異なる第二感情を設定し、
前記第二感情に対応付けられた音、香り、画像、および言語の少なくとも一つを前記出力装置に出力させる。
【0018】
上記目的を達成するための一態様は、感情推定装置であって、
対象者の脈拍に対応する第一生体信号と当該対象者の脳波に対応する第二生体信号を受け付ける入力インターフェースと、
前記第一生体信号に対応する第一の値と前記第二生体信号に対応する第二の値を含む第一データセットを、ラッセルの円環モデル上に配置された複数種の感情の量に対応する複数の感情値を含む第二データセットに変換するプロセッサと、
前記複数の感情の各々に対応付けられた音、香り、画像、および言語の少なくとも一つを記憶しているストレージと、
出力インターフェースと、
を備えており、
前記プロセッサは、
前記複数の感情値のうち最大値を有する一つに対応する前記複数の感情に含まれる第一感情を特定し、
特定された前記第一感情に基づいて、前記複数の感情に含まれる当該第一感情とは異なる第二感情を設定し、
前記第二感情に対応付けられた音、香り、画像、および言語の少なくとも一つを出力装置に出力させる制御信号を、前記出力インターフェースに出力させる。
【0019】
上記のような構成によれば、意識的に変えることが難しい心拍や脳波といった生体情報に基づいて推定された対象者の現在感情が、音、香り、画像、および言語の少なくとも一つの提示を通じて目標感情へ導かれうる。換言すると、対象者の表情や所作に依存しない感情制御を可能にする新規なユーザインターフェースを提供できる。
【0020】
上記目的を達成するための一態様は、感情推定装置であって、
対象者の脈拍に対応する第一生体信号と当該対象者の脳波に対応する第二生体信号を受け付ける入力インターフェースと、
前記第一生体信号に対応する第一の値と前記第二生体信号に対応する第二の値を含む第一データセットを、ラッセルの円環モデル上に配置された複数種の感情の量に対応する複数の感情値を含む第二データセットに変換するプロセッサと、
出力インターフェースと、
を備えており、
前記プロセッサは、特定の期間における前記複数の感情値の各々の経時変化に対応する第一パラメータ信号、当該特定の期間における当該経時変化の第一時間積分値に対応する第二パラメータ信号、および当該特定の期間における当該第一時間積分値の第二時間積分値に対応する第三パラメータ信号の少なくとも一つを、前記出力インターフェースに出力させる。
【0021】
上記のような構成によれば、意識的に変えることが難しい心拍や脳波といった生体情報に基づいて推定された対象者の感情に対して、物理学における加速度、速度、移動距離に対応しうるパラメータを定義できる。これにより、感情の時間変化に係る定量的な分析が可能となり、対象者の感情変化に対する理解が促されうる。
【図面の簡単な説明】
【0022】
図1】第一実施形態に係る感情推定システムの構成を例示している。
図2図1の感情推定システムにおいて実行される処理の一例を示している。
図3図2の処理の詳細を例示している。
図4図2の処理の詳細を例示している。
図5図1の感情推定システムにおいて実行される処理の別例を示している。
図6図5の処理の詳細を例示している。
図7】第二実施形態に係る感情推定システムの構成を例示している。
図8図7の感情推定システムにおいて実行される処理の一例を示している。
図9図7の感情推定システムにおいて実行される処理の別例を示している。
【発明を実施するための形態】
【0023】
添付の図面を参照しつつ、実施形態の例について以下詳細に説明する。
【0024】
図1は、第一実施形態に係る感情推定システム10の構成を例示している。感情推定システム10は、感情推定装置11と表示装置12を備えている。
【0025】
感情推定装置11は、対象者に装着された脈拍センサ51と脳波センサ52より取得された脈拍と脳波に基づいて当該対象者の感情を推定し、推定結果に基づく動作を表示装置12に行なわせる装置である。
【0026】
脈拍センサ51は、対象者の脈拍を検出し、検出された脈拍に対応する第一生体信号VS1を出力するように構成されている。例えば、脈拍センサ51は、対象者の指先、手首、耳朶などに装着され、光電式容積脈波記録法に基づいて脈拍を検出する。このような脈拍センサ51の構成自体は周知であるので、詳細な説明は省略する。脈拍は、心電図、血圧、心音などに基づいて検出されてもよい。
【0027】
具体的には、第一生体信号VS1は、自律神経の状態の評価に用いられる心拍数のゆらぎに対応させることができる。心拍数のゆらぎは、pNNxなどの指標により表現されうる。例えば、pNN50は、30個の連続する心拍において、隣接する心拍波形のピーク同士の間隔であるRR間隔が50ミリ秒を超える心拍の割合を示している。pNNxの値が大きいほど、交感神経が優位であり、身体活動が活発であることを示している。
【0028】
脳波センサ52は、対象者の脳波を検出し、検出された脳波に対応する第二生体信号VS2を出力するように構成されている。脳波センサ52は、対象者の頭部に装着される非侵襲型のセンサであり、例えば、耳朶と額の電位差を取得することによって当該対象者の脳波を検出する。
【0029】
このような脳波センサ52の一例として、NeuroSky社のMindWave Mobileが知られている。当該装置は、取得されたβ波に基づいて対象者の集中の度合いを表すAttentionという指標値を出力する。また、当該装置は、取得されたα波に基づいて対象者の安静の度合いを表すMeditationという指標値を出力する。第二生体信号VS2は、Attentionの値とMeditationの値の差分に対応している。Attentionの値の方が大きいほど、覚醒状態にあることを示している。Meditationの値が大きいほど、眠気が強い状態にあることを示している。最終的に単一の値を有する第二生体信号VS2が得られるのであれば、適宜の脳波センサが使用されうる。
【0030】
感情推定装置11は、入力インターフェース111とプロセッサ112を備えている。入力インターフェース111は、脈拍センサ51から出力された第一生体信号VS1と脳波センサ52から出力された第二生体信号VS2を受け付ける。入力インターフェース111は、必要に応じて、後述するプロセッサ112による処理が可能なように第一生体信号VS1と第二生体信号VS2を変換する信号変換回路を含みうる。
【0031】
入力インターフェース111と脈拍センサ51および脳波センサ52との間の通信は、有線接続を介して行なわれてもよいし、無線接続を介して行なわれてもよい。
【0032】
図2は、プロセッサ112により実行される処理の流れの一例を示している。プロセッサ112は、入力インターフェース111により受け付けられた第一生体信号VS1と第二生体信号VS2に基づいて、第一データセットD1を取得する(STEP11)。第一データセットD1は、ある時点における第一生体信号VS1の値(第一の値)と第二生体信号VS2の値(第二の値)を含んでいる。すなわち、第一データセットD1は、当該時点における対象者の心拍のゆらぎと脳波状態を表している。
【0033】
第一データセットD1は、図3の(A)に示される座標平面CP上の点として表されうる。座標平面CPは、第一生体信号VS1に対応する横軸と第二生体信号VS2に対応する縦軸により形成される二次元座標平面である。横軸は、第一座標軸の一例である。縦軸は、第二座標軸の一例である。
【0034】
座標平面CPは、ラッセルの円環モデルにおいて用いられる座標平面に対応させることができる。ラッセルの円環モデルは、心理学の分野において高い信頼性とともに心理計測に使用されている。当該座標平面は、快/不快を表す横軸(Valence-Unpleasant)と覚醒/眠気(Arousal-Deactivation)を表す縦軸により形成されている。
【0035】
ラッセルの円環モデルにおいては、様々な感情を表す形容詞が、二次元平面上に円環状に配置されている。本実施形態においては、ラッセルの円環モデルから代表的な八つの感情を選び、図3の(B)に示される四つの感情座標軸を定義している。四つの感情座標軸の各々は、ラッセルの円環モデル上に配置された複数の感情のうち対をなすものに対応付けられている。具体的には、四つの感情座標軸は、「驚き-眠い」に対応する感情座標軸、「興奮-憂鬱」に対応する感情座標軸、「喜び-悲しみ」に対応する感情座標軸、および「リラックス-怒り」に対応する感情座標軸を含んでいる。
【0036】
本例においては、四つの感情座標軸同士の間に形成される角度は一定値をとる(45°)。上述した座標平面CPとラッセルの円環モデルの対応性に基づき、四つの感情座標軸は、原点を共有するように、座標平面CPと重ねることができる。
【0037】
続いて、プロセッサ112は、第一データセットD1を第二データセットD2に変換する(図2におけるSTEP12)。第二データセットD2は、八つの感情値を含んでいる。八つの感情値の各々は、四つの感情座標軸のいずれか一つにおける値を表している。
【0038】
第一データセットD1から第二データセットD2への変換は、以下のようにして行なわれる。まず、図4の(A)に示されるように、ある時点における第一データセットD1により特定される点Pの最も近くに位置している感情座標軸と次に近くに位置している感情座標軸が特定される。二つの感情座標軸は、点Pから座標平面CPの横軸と縦軸に下ろした二つの垂線と交差する三つの感情座標軸のうち、原点から交点までの長さが最も長い感情座標軸と次に長い感情座標軸として選ばれる。図示された例においては、「喜び」を含む感情座標軸と「興奮」を含む感情座標軸が選ばれている。
【0039】
なお、点Pが座標平面CPにおける横軸と縦軸のいずれかの上に位置している場合、選ばれる感情座標軸は一つとなる。
【0040】
続いて、図4の(B)に示されるように、選ばれた二つの感情座標軸について、原点から点Pへ向かうベクトルの分解が行なわれる。結果として、一つまたは二つの感情座標軸に対応付けられた感情が有意な値を持つ。図示された例においては、「喜び」と「興奮」が有意な値を持っている。残りの感情座標軸の各々に対応付けられた感情の値はゼロとされる。
【0041】
続いて、プロセッサ112は、対象者の感情の推定を行なう(図2におけるSTEP13)。具体的には、ラッセルの円環モデルから選ばれた八つの感情の一つが、ある時点t1における対象者の推定感情として特定される。より具体的には、前述の処理により最も大きい感情値を有する感情座標軸に対応付けられた感情が特定される。図4の(B)に示される例においては、「喜び」に対応づけられた感情座標軸が最も大きい感情値を有している。したがって、プロセッサ112は、ある時点t1における対象者の感情として「喜び」を推定する。
【0042】
図1に示されるように、感情推定装置11は、ストレージ113を備えている。ストレージ113は、プロセッサ112と協働して所定のデータを記憶可能な装置である。ストレージ113としては、半導体メモリやハードディスクドライブ装置が例示されうる。
【0043】
図3の(B)に示されるように、本実施形態においては、上記の八つの感情の各々に一つの色が対応付けられている。ストレージ113には、八つの感情に対応付けられた八つの色に対応する色データが格納されている。
【0044】
続いて、プロセッサ112は、脈拍センサ51と脳波センサ52による検出結果、および対象者の感情の推定結果に基づいて、表示装置12に表示動作を行なわせる(図2におけるSTEP14)。表示装置12は、図3の(A)に示される座標平面CPを表示できるように構成されている。表示装置12は、感情の推定結果に基づく複数の色を表示できるように構成されている。
【0045】
具体的には、プロセッサ112は、第一表示信号DS1を生成する。第一表示信号DS1は、表示装置12に座標平面CPを表示させるとともに、第一データセットD1により定まる座標平面CP上の位置に標識を表示させる信号である。図3の(A)に示される例においては、時点t1における第一生体信号VS1と第二生体信号VS2に基づく第一データセットD1により定まる位置に、標識M1が表示されている。
【0046】
図1に示されるように、感情推定装置11は、出力インターフェース114を備えている。出力インターフェース114は、表示装置12と通信可能に接続されている。プロセッサ112は、出力インターフェース114に第一表示信号DS1を出力させる。出力インターフェース114は、表示装置12の仕様に応じた変換を第一表示信号DS1に適用する信号変換回路を含みうる。
【0047】
出力インターフェース114と表示装置12との間の通信は、有線接続を介して行なわれてもよいし、無線接続を介して行なわれてもよい。
【0048】
プロセッサ112は、STEP13において推定された感情に対応付けられた色を示す色データをストレージ113から読み出し、第二表示信号DS2を生成する。第二表示信号DS2は、推定された感情に対応付けられた色を表示装置12に表示させる信号である。プロセッサ112は、出力インターフェース114に第二表示信号DS2を出力させる。出力インターフェース114は、表示装置12の仕様に応じた変換を第二表示信号DS2に適用する信号変換回路を含みうる。
【0049】
図3の(A)に示される例においては、標識M1に対応する第一データセットD1に基づいて推定された対象者の感情は、「喜び」である。したがって、「喜び」に対応付けられた「黄緑」が、表示装置12に表示される。例えば、座標平面CPの背景色が、黄緑色に変更される。
【0050】
図3の(A)に示される例においては、時点t2において取得された第一データセットD1に対応する位置に標識M2が表示されている。この第一データセットD1に基づいて推定された時点t2における対象者の感情は、「怒り」である。したがって、「怒り」に対応付けられた色である「赤」が、表示装置12に表示される。例えば、座標平面CPの背景色が、赤色に変更される。
【0051】
第二表示信号DS2に基づく色の表示は、様々な態様でなされうる。座標平面CPの背景色に代えて標識の色が変更されてもよいし、座標平面CPとは異なる箇所に設けられた表示領域が発色してもよい。
【0052】
続いて、図2に示されるように、プロセッサ112により行なわれる処理は、STEP11に戻る。すなわち、脈拍センサ51と脳波センサ52の検出結果に対応する第一データセットD1が取得される度に、対象者の感情が推定される。表示装置12においては、第一データセットD1に対応する座標平面CP上の位置に標識が表示されるとともに、推定された感情に対応付けられた色が表示される。検出結果が変化すれば、標識は、座標平面CP上を移動する。推定された感情が変化すれば、表示される色が変化する。
【0053】
座標平面CPを形成している二つの座標軸は、対象者の心拍と脳波に対応している。心拍と脳波は、心理学において知られているPleasantness-Unpleasantness(快/不快)とArousal-Sleep(覚醒/眠気)という二つの指標となじみがよい。したがって、当該二つの指標を座標軸として形成される座標平面CP上に対象者の心拍と脳波に対応する標識を表示させ、さらにラッセルの円環モデルで用いられている形容詞を対応付けることにより、当該モデルからの類推に基づいて対象者の心理状態を直感的に把握できる。さらに、推定された対象者の感情に対応づけられた色が同時に表示されるので、感情の視覚的把握がさらに促されうる。
【0054】
心拍や脳波といった生体情報は、意識的に変えることが難しい。しかしながら、上記のような構成によれば、座標平面CP上の標識と推定された感情に対応付けられた色の表示を通じて、対象者の外見に表出しない感情の把握が容易になる。これにより、他者による対象者の感情理解、あるいは対象者による自身の感情理解が促されうる。
【0055】
したがって、生体情報の取得を通じて推定された対象者の感情に基づく新規なユーザインターフェースを提供できる。
【0056】
図1に示されるように、プロセッサ112は、第一パラメータ信号PS1、第二パラメータ信号PS2、第三パラメータ信号PS3の少なくとも一つを生成しうる。プロセッサ112は、生成された第一パラメータ信号PS1、第二パラメータ信号PS2、第三パラメータ信号PS3の少なくとも一つを、出力インターフェース114に出力させうる。
【0057】
第一パラメータ信号PS1は、特定の期間における各感情値の経時変化を表す第一パラメータPR1に対応している。時点tnにおける第一パラメータPR1(tn)は、次式によって表される。
【数1】
ここでE(tn)は、時点tnにおけるある感情座標軸の感情値(感情量)を表している。E(tn-1)は、時点tn-1における当該感情座標軸の感情値(感情量)を表している。
【0058】
第二パラメータ信号PS2は、当該特定の期間における第一パラメータPR1の時間積分値を表す第二パラメータPR2に対応している。時点tnにおける第二パラメータPR2(tn)は、次式によって表される。
【数2】
【0059】
第三パラメータ信号PS3は、当該特定の期間における第二パラメータPR2の時間積分値を表す第三パラメータPR3に対応している。時点tnにおける第三パラメータPR3(tn)は、次式によって表される。
【数3】
【0060】
各感情座標軸について得られた感情値(感情量)に対して物理学における加速度、速度、移動距離に対応しうるパラメータを定義することにより、感情の時間変化に係る定量的な分析が可能とされうる。これにより、対象者の感情変化に対する理解が促されうる。
【0061】
図1に示されるように、プロセッサ112は、合成パラメータ信号SPSを生成しうる。プロセッサ112は、生成された合成パラメータ信号SPSを、出力インターフェース114に出力させうる。
【0062】
合成パラメータ信号SPSは、八つの感情座標軸について得られた八つの第一パラメータPR1の合成値である合成パラメータSPRに対応している。時点tnにおける合成パラメータSPR(tn)は、次式によって表される。
【数4】
第二パラメータPR2と第三パラメータPR3についても同様に合成パラメータが定義されうる。プロセッサ112は、第一パラメータPR1、第二パラメータPR2、および第三パラメータPR3の少なくとも一つについて合成パラメータを演算し、得られた合成パラメータに対応する合成パラメータ信号SPSを出力しうる。
【0063】
各感情座標軸について得られた感情値(感情量)の合成値に対応する合成パラメータを定義することにより、感情の総体に係る定量的な分析が可能とされうる。これにより、対象者の感情の全体像に対する理解が促されうる。
【0064】
また、より複雑な推定感情に対応する出力を得ることができる。例えば、図3の(B)に示される例の場合、第一データセットD1に基づいて推定された対象者の感情は、「喜び」と「興奮」の合成感情である。上記の合成パラメータ信号SPSは、この合成感情に対応する値を持ちうる。表示装置12においては、この合成感情を表す色が表示されうる。例えば、「喜び」に対応する黄緑色と「興奮」に対応する黄色の中間色が表示されうる。
【0065】
なお、感情推定装置11は、第一表示信号DS1と第二表示信号DS2の出力に代えて、第一パラメータ信号PS1、第二パラメータ信号PS2、第三パラメータ信号PS3、および合成パラメータ信号SPSの少なくとも一つを出力する装置として構成されうる。
【0066】
図5は、プロセッサ112により実行される処理の別例を示している。図2を参照して説明したものと実質的に同一の処理については、同一の参照符号を付与し、繰り返しとなる説明は省略する。
【0067】
本例においては、プロセッサ112は、図2に示されるSTEP13と同様の手法により、対象者の現在感情を推定する(STEP23)。現在感情は、第一感情の一例である。すなわち、ラッセルの円環モデルから選ばれた八つの感情の一つが、現時点における対象者の推定感情として特定される。図6に示される例においては、「怒り」が対象者の現在感情として推定されている。
【0068】
続いて、プロセッサ112は、目標感情を設定する(STEP24)。目標感情は、第二感情の一例である。目標感情もまた、第二データセットD2への変換時に使用されるラッセルの円環モデルから選ばれた八つの感情の一つとして選択される。図6に示される例においては、「リラックス」が目標感情として設定されている。
【0069】
目標感情は、対象者の現在感情に依らず特定の感情として予め設定されうる。例えば、「喜び」や「リラックス」といったポジティブな感情が予め選択されうる。あるいは、ラッセルの円環モデルにおいて原点を挟んで現在感情と反対側に位置する感情が、目標感情として自動的に設定されうる。例えば、現在感情が「憂鬱」である場合に「興奮」が目標感情として設定されうる。
【0070】
続いて、プロセッサ112は、目標感情に対応付けられた色を、表示装置12に表示させる(STEP25)。具体的には、STEP23において設定された目標感情に対応付けられた色を示す色データをストレージ113から読み出し、当該色を表示装置12に表示させる第二表示信号DS2を生成する。プロセッサ112は、出力インターフェース114に第二表示信号DS2を出力させる。
【0071】
図6に示される例においては、目標感情である「リラックス」に対応付けられた「緑」が表示装置12に表示される。現在感情として「怒り」を抱いている対象者は、表示装置12に表示された「緑」を見ることにより、「リラックス」した状態への移行を促されうる。対象者が色と感情の対応付けを予め認識していると、感情の移行がより円滑に促されうる。
【0072】
なお、本例においては、第一表示信号DS1に基づく座標平面CPへの指標の表示は、必須ではない。
【0073】
上記のような構成によれば、意識的に変えることが難しい心拍や脳波といった生体情報に基づいて推定された対象者の現在感情が、色の表示を通じて目標感情へ導かれうる。換言すると、対象者の表情や所作に依存しない感情制御を可能にする新規なユーザインターフェースを提供できる。
【0074】
図5に示されるように、プロセッサ112は、目標感情に対応付けられた色の表示に先立ち、対象者の現在感情に対応付けられた色を、表示装置12に表示させうる(STEP26)。
【0075】
具体的には、プロセッサ112は、STEP23において推定された感情に対応付けられた色を示す色データをストレージ113から読み出し、当該色を表示装置12に表示させる第二表示信号DS2を生成する。プロセッサ112は、出力インターフェース114に第二表示信号DS2を出力させる。
【0076】
図6に示される例においては、現在感情である「怒り」に対応付けられた「赤」が、まず表示装置12に表示される。続いて、目標感情である「リラックス」に対応付けられた「緑」が、表示装置12に表示される。
【0077】
このような構成によれば、感情制御の起点となる対象者の現在の感情が視覚的に把握されうる。心拍や脳波といった生体情報は意識的に変えることが難しいので、対象者の表情や所作に依らず、感情制御の起点となる感情に対する他者あるいは対象者自身による理解が促されうる。
【0078】
図5に示されるSTEP26に加えてあるいは代えて、プロセッサ112は、目標感情に対応付けられた色の表示に先立ち、対象者の現在感情に対応付けられた色と目標感情に対応付けられた色の中間色を、表示装置12に表示させうる(STEP27)。
【0079】
具体的には、プロセッサ112は、ラッセルの円環モデルにおいて現在感情と目標感情の間に位置する少なくとも一つの感情に対応付けられた少なくとも一つの色を示す色データをストレージ113から読み出し、当該少なくとも一つの色を表示装置12に表示させる第二表示信号DS2を生成する。プロセッサ112は、出力インターフェース114に第二表示信号DS2を出力させる。当該少なくとも一つの色は、中間色の一例である。
【0080】
図6に示される例においては、現在感情である「怒り」と目標感情である「リラックス」の間に位置する「驚き」、「興奮」、および「喜び」にそれぞれ対応付けられた「橙」、「黄」、および「黄緑」の少なくとも一つがまず表示装置12に表示される。続いて、目標感情である「リラックス」に対応付けられた「緑」が、表示装置12に表示される。複数の中間色が表示される場合、ラッセルの円環モデルにおける現在感情から目標感情へ至る経路上に配置された感情の順序に基づいて表示がなされることが好ましい。図示の例においては、「橙」、「黄」、および「黄緑」の順序で表示がなされうる。
【0081】
このような構成によれば、現在感情から目標感情への移行を円滑にできる。特に現在感情と目標感情の差異が大きいほど、目標感情に対応付けられた色の提示に伴う唐突感が抑制され、滑らかな感情移行が促されうる。
【0082】
上述したプロセッサ112の機能は、汎用メモリと協働して動作する汎用マイクロプロセッサにより実現されうる。汎用マイクロプロセッサとしては、CPU、MPU、GPUが例示されうる。汎用メモリとしては、ROMやRAMが例示されうる。この場合、ROMには、上述した処理を実行するコンピュータプログラムが記憶されうる。ROMは、コンピュータプログラムを記憶している記憶媒体の一例である。プロセッサ112は、ROM上に記憶されたプログラムの少なくとも一部を指定してRAM上に展開し、RAMと協働して上述した処理を実行する。ストレージ113は、上記の汎用メモリとして使用されてもよい。プロセッサ112は、上述した処理を実現するコンピュータプログラムを実行可能なマイクロコントローラ、ASIC、FPGAなどの専用集積回路によって実現されてもよい。プロセッサ112は、汎用マイクロプロセッサと専用集積回路の組合せによって実現されてもよい。
【0083】
感情推定システム1は、様々な態様で実現されうる。例えば、独立して稼働する装置に感情推定装置11と表示装置12が内蔵されてもよいし、遠隔に位置する感情推定装置11による処理の結果が、ユーザの近傍に位置する表示装置12に表示されてもよい。
【0084】
図7は、第二実施形態に係る感情推定システム20の構成を例示している。感情推定システム20は、感情推定装置21と出力装置22を備えている。第一実施形態に係る感情推定システム10を参照して説明したものと実質的に同一の構成要素については、同一の参照符号を付与し、繰り返しとなる説明を省略する。
【0085】
感情推定装置21は、プロセッサ212とストレージ213を備えている。ストレージ213は、プロセッサ212と協働して所定のデータを記憶可能な装置である。ストレージ213としては、半導体メモリやハードディスクドライブ装置が例示されうる。ストレージ213には、図3の(B)に示される八つの感情の各々に対応付けられた音、香り、画像、および言語の少なくとも一つに対応する出力データが格納されている。
【0086】
図8は、プロセッサ212により実行される処理の流れの一例を示している。図2を参照して説明したものと実質的に同一の処理については、同一の参照符号を付与し、繰り返しとなる説明は省略する。
【0087】
プロセッサ212は、脈拍センサ51と脳波センサ52による検出結果、および対象者の感情の推定結果に基づいて、出力装置22に出力動作を行なわせる(STEP34)。
【0088】
具体的には、プロセッサ212は、STEP13において推定された感情に対応付けられた音、香り、画像、および言語の少なくとも一つを示す出力データをストレージ213から読み出し、制御信号CSを生成する。制御信号CSは、推定された感情に対応付けられた音、香り、画像、および言語を出力装置22に出力させる信号である。
【0089】
図7に示されるように、感情推定装置21は、出力インターフェース214を備えている。出力インターフェース214は、出力装置22と通信可能に接続されている。出力インターフェース214と出力装置22との間の通信は、有線接続を介して行なわれてもよいし、無線接続を介して行なわれてもよい。プロセッサ212は、出力インターフェース214に制御信号CSを出力させる。出力インターフェース214は、出力装置22の仕様に応じた変換を制御信号CSに適用する信号変換回路を含みうる。
【0090】
例えば、STEP13において推定された感情が図3の(B)に示される「喜び」である場合、「喜び」に対応付けられた音、香り、画像、および言語の少なくとも一つが、出力装置22から出力される。
【0091】
心拍や脳波といった生体情報は、意識的に変えることが難しい。しかしながら、上記のような構成によれば、推定された感情に対応付けられた音、香り、画像、および言語の少なくとも一つの提示を通じて、対象者の外見に表出しない感情の把握が容易になる。これにより、他者による対象者の感情理解、あるいは対象者による自身の感情理解が促されうる。
【0092】
したがって、生体情報の取得を通じて推定された対象者の感情に基づく新規なユーザインターフェースを提供できる。
【0093】
図9は、プロセッサ212により実行される処理の別例を示している。図8を参照して説明したものと実質的に同一の処理については、同一の参照符号を付与し、繰り返しとなる説明は省略する。
【0094】
本例においては、プロセッサ212は、図8に示されるSTEP13と同様の手法により、対象者の現在感情を推定する(STEP43)。現在感情は、第一感情の一例である。すなわち、ラッセルの円環モデルから選ばれた八つの感情の一つが、現時点における対象者の推定感情として特定される。図6に示される例においては、「怒り」が対象者の現在感情として推定されている。
【0095】
続いて、プロセッサ212は、目標感情を設定する(STEP44)。目標感情は、第二感情の一例である。目標感情もまた、第二データセットD2への変換時に使用されるラッセルの円環モデルから選ばれた八つの感情の一つとして選択される。図6に示される例においては、「リラックス」が目標感情として設定されている。
【0096】
目標感情は、対象者の現在感情に依らず特定の感情として予め設定されうる。例えば、「喜び」や「リラックス」といったポジティブな感情が予め選択されうる。あるいは、ラッセルの円環モデルにおいて原点を挟んで現在感情と反対側に位置する感情が、目標感情として自動的に設定されうる。例えば、現在感情が「憂鬱」である場合に「興奮」が目標感情として設定されうる。
【0097】
続いて、プロセッサ212は、目標感情に対応付けられた音、香り、画像、および言語の少なくとも一つを、出力装置22に出力させる(STEP45)。具体的には、STEP23において設定された目標感情に対応付けられた音、香り、画像および言語の少なくとも一つを示す出力データをストレージ213から読み出し、当該音、香り、画像および言語の少なくとも一つを出力装置22に出力させる制御信号CSを生成する。プロセッサ212は、出力インターフェース214に制御信号CSを出力させる。
【0098】
図6に示される例においては、目標感情である「リラックス」に対応付けられた音、香り、画像および言語の少なくとも一つが、出力装置22から出力される。現在感情として「怒り」を抱いている対象者は、出力装置22から音、香り、画像および言語の少なくとも一つの提示を受けることにより、「リラックス」した状態への移行を促されうる。対象者が音、香り、画像および言語の少なくとも一つと感情の対応付けを予め認識していると、感情の移行がより円滑に促されうる。
【0099】
上記のような構成によれば、意識的に変えることが難しい心拍や脳波といった生体情報に基づいて推定された対象者の現在感情が、音、香り、画像および言語の少なくとも一つの提示を通じて目標感情へ導かれうる。換言すると、対象者の表情や所作に依存しない感情制御を可能にする新規なユーザインターフェースを提供できる。
【0100】
図9に示されるように、プロセッサ212は、目標感情に対応付けられた音、香り、画像および言語の少なくとも一つの出力に先立ち、対象者の現在感情に対応付けられた音、香り、画像および言語の少なくとも一つを、出力装置22に出力させうる(STEP46)。
【0101】
具体的には、プロセッサ212は、STEP43において推定された感情に対応付けられた音、香り、画像および言語の少なくとも一つを示す出力データをストレージ213から読み出し、当該音、香り、画像および言語の少なくとも一つを出力装置22に出力させる制御信号CSを生成する。プロセッサ212は、出力インターフェース214に制御信号CSを出力させる。
【0102】
図6に示される例においては、現在感情である「怒り」に対応付けられた音、香り、画像および言語の少なくとも一つが、まず出力装置22から出力される。続いて、目標感情である「リラックス」に対応付けられた音、香り、画像および言語の少なくとも一つが、出力装置22から出力される。
【0103】
このような構成によれば、感情制御の起点となる対象者の現在の感情が感覚的に把握されうる。心拍や脳波といった生体情報は意識的に変えることが難しいので、対象者の表情や所作に依らず、感情制御の起点となる感情に対する他者あるいは対象者自身による理解が促されうる。
【0104】
図9に示されるSTEP46に加えてあるいは代えて、プロセッサ112は、目標感情に対応付けられた音、香り、画像および言語の少なくとも一つの出力に先立ち、対象者の現在感情に対応付けられた音、香り、画像および言語の少なくとも一つを、出力装置22に出力させうる(STEP47)。
【0105】
具体的には、プロセッサ212は、ラッセルの円環モデルにおいて現在感情と目標感情の間に位置する少なくとも一つの感情に対応付けられた音、香り、画像および言語の少なくとも一つを示す出力データをストレージ213から読み出し、当該音、香り、画像および言語の少なくとも一つを出力装置22に表示させる制御信号CSを生成する。プロセッサ212は、出力インターフェース214に制御信号を出力させる。
【0106】
図6に示される例においては、現在感情である「怒り」と目標感情である「リラックス」の間に位置する「驚き」、「興奮」、および「喜び」の少なくとも一つに対応付けられた音、香り、画像および言語の少なくとも一つがまず出力装置22から出力される。続いて、目標感情である「リラックス」に対応付けられた音、香り、画像および言語の少なくとも一つが、出力装置22から出力される。複数種の中間感情に対応する音、香り、画像および言語の少なくとも一つが表示される場合、ラッセルの円環モデルにおける現在感情から目標感情へ至る経路上に配置された中間感情の順序に基づいて、音、香り、画像および言語の少なくとも一つの出力がなされることが好ましい。図示の例においては、「驚き」、「興奮」、および「喜び」の順序で、対応する音、香り、画像および言語の少なくとも一つの出力がなされうる。
【0107】
このような構成によれば、現在感情から目標感情への移行を円滑にできる。特に現在感情と目標感情の差異が大きいほど、目標感情に対応付けられた音、香り、画像および言語の少なくとも一つの提示に伴う唐突感が抑制され、滑らかな感情移行が促されうる。
【0108】
上述したプロセッサ212の機能は、汎用メモリと協働して動作する汎用マイクロプロセッサにより実現されうる。汎用マイクロプロセッサとしては、CPU、MPU、GPUが例示されうる。汎用メモリとしては、ROMやRAMが例示されうる。この場合、ROMには、上述した処理を実行するコンピュータプログラムが記憶されうる。ROMは、コンピュータプログラムを記憶している記憶媒体の一例である。プロセッサ212は、ROM上に記憶されたプログラムの少なくとも一部を指定してRAM上に展開し、RAMと協働して上述した処理を実行する。ストレージ213は、上記の汎用メモリとして使用されてもよい。プロセッサ212は、上述した処理を実現するコンピュータプログラムを実行可能なマイクロコントローラ、ASIC、FPGAなどの専用集積回路によって実現されてもよい。プロセッサ212は、汎用マイクロプロセッサと専用集積回路の組合せによって実現されてもよい。
【0109】
感情推定システム2は、様々な態様で実現されうる。例えば、独立して稼働する装置に感情推定装置21と出力装置22が内蔵されてもよいし、遠隔に位置する感情推定装置21による処理の結果が、ユーザの近傍に位置する出力装置22から出力されてもよい。
【0110】
上記の各実施形態は、本発明の理解を容易にするための例示にすぎない。上記の各実施形態に係る構成は、本発明の趣旨を逸脱しなければ、適宜に変更・改良されうる。
【0111】
上記の各実施形態においては、第二データセットD2を構成する複数の感情値に対応付けられた複数の感情として、ラッセルの円環モデル上に配置された八つの感情が選ばれている。また、当該八つの感情に対応する四つの感情座標軸同士の角度間隔は、一定とされている。しかしながら、ラッセルの円環モデルから選ばれる複数の感情の数と種別は、任意に定められうる。例えば、「喜び」、「怒り」、および「悲しみ」に対応する三つの感情座標軸が定義されうる。したがって、選ばれる複数の感情の数と種別によっては、複数の感情座標軸同士の角度間隔は一定でなくてもよい。また、上記の八つの感情以外のものが選ばれてもよい。
【符号の説明】
【0112】
10、20:感情推定システム、11、21:感情推定装置、111:入力インターフェース、112、212:プロセッサ、113、213:ストレージ、114、214:出力インターフェース、12:表示装置、22:出力装置、VS1:第一生体信号、VS2:第二生体信号、D1:第一データセット、D2:第二データセット、CP:座標平面、DS1:第一表示信号、DS2:第二表示信号、PS1:第一パラメータ信号、PS2:第二パラメータ信号、PS3:第三パラメータ信号、SPS:合成パラメータ信号、CS:制御信号
図1
図2
図3
図4
図5
図6
図7
図8
図9