IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 住友電気工業株式会社の特許一覧 ▶ 住友理工株式会社の特許一覧

特許7395429感情解析装置、感情解析システム、感情解析方法、及びコンピュータプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-12-01
(45)【発行日】2023-12-11
(54)【発明の名称】感情解析装置、感情解析システム、感情解析方法、及びコンピュータプログラム
(51)【国際特許分類】
   A61B 5/16 20060101AFI20231204BHJP
   G06Q 50/10 20120101ALI20231204BHJP
   G16Y 10/65 20200101ALI20231204BHJP
   G16Y 20/40 20200101ALI20231204BHJP
【FI】
A61B5/16 120
G06Q50/10
G16Y10/65
G16Y20/40
【請求項の数】 15
(21)【出願番号】P 2020103742
(22)【出願日】2020-06-16
(65)【公開番号】P2021194296
(43)【公開日】2021-12-27
【審査請求日】2022-12-21
(73)【特許権者】
【識別番号】000002130
【氏名又は名称】住友電気工業株式会社
(73)【特許権者】
【識別番号】000219602
【氏名又は名称】住友理工株式会社
(74)【代理人】
【識別番号】100123021
【弁理士】
【氏名又は名称】渥美 元幸
(74)【代理人】
【識別番号】100126538
【弁理士】
【氏名又は名称】嶺 直道
(72)【発明者】
【氏名】前川 智哉
(72)【発明者】
【氏名】林 春彦
(72)【発明者】
【氏名】池本 歩
(72)【発明者】
【氏名】小柳津 直樹
(72)【発明者】
【氏名】別府 有香
(72)【発明者】
【氏名】上田 篤
【審査官】▲高▼木 尚哉
(56)【参考文献】
【文献】国際公開第2019/073661(WO,A1)
【文献】特開平10-021393(JP,A)
【文献】特開2012-203872(JP,A)
【文献】米国特許出願公開第2003/0032890(US,A1)
【文献】特開2019-175108(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
A61B 5/06-5/22
G06Q 50/10
G16Y 10/65
G16Y 20/40
(57)【特許請求の範囲】
【請求項1】
イベントの参加者であるユーザの感情を解析する感情解析装置であって、
前記イベントの開催時におけるユーザの感情に関連する物理量の計測値と、当該物理量の計測時刻及び計測場所の少なくとも一方を示す第1属性値とを取得する第1取得部と、
前記第1属性値と同種の値であり、かつ、前記イベントの制作者によってあらかじめ設定された時刻及び場所をそれぞれ示す期待時刻及び期待場所の少なくとも一方を示す第2属性値と、前記第2属性値が示す前記期待時刻及び前記期待場所の少なくとも一方における、前記イベントの制作者によってあらかじめ設定された前記物理量の期待値とを取得する第2取得部と、
前記第1取得部が取得した前記計測値及び前記第1属性値と、前記第2取得部が取得した前記期待値及び前記第2属性値とに基づいて、前記計測値及び前記期待値の類似性を示す評価値を算出する算出部とを備える、感情解析装置。
【請求項2】
前記期待値及び前記第2属性値は、前記第1取得部による前記計測値の取得時に開催されている前記イベントよりも過去のイベントにおいて前記第1取得部により取得された複数のユーザの前記計測値及び前記第1属性値に基づいて算出される、請求項1に記載の感情解析装置。
【請求項3】
ユーザの感情を解析する感情解析装置であって、
ユーザの感情に関連する物理量の計測値と、当該物理量の計測時刻及び計測場所の少なくとも一方を示す第1属性値とを取得する第1取得部と、
前記第1属性値と同種の値であり、かつ、あらかじめ設定された時刻及び場所をそれぞれ示す期待時刻及び期待場所の少なくとも一方を示す第2属性値と、前記第2属性値が示す前記期待時刻及び前記期待場所の少なくとも一方における前記物理量の期待値とを取得する第2取得部と、
前記第1取得部が取得した前記計測値及び前記第1属性値と、前記第2取得部が取得した前記期待値及び前記第2属性値とに基づいて、前記計測値及び前記期待値の類似性を示す評価値を算出する算出部とを備え、
前記第1属性値は前記計測時刻を示し、
前記第2属性値は前記期待時刻を示し、
前記算出部は、前記計測時刻及び前記期待時刻の一方を所定の反応時間だけずらした上で前記評価値を算出する、感情解析装置。
【請求項4】
ユーザの感情を解析する感情解析装置であって、
ユーザの感情に関連する物理量の計測値と、当該物理量の計測時刻及び計測場所の少なくとも一方を示す第1属性値とを取得する第1取得部と、
前記第1属性値と同種の値であり、かつ、あらかじめ設定された時刻及び場所をそれぞれ示す期待時刻及び期待場所の少なくとも一方を示す第2属性値と、前記第2属性値が示す前記期待時刻及び前記期待場所の少なくとも一方における前記物理量の期待値とを取得する第2取得部と、
前記第1取得部が取得した前記計測値及び前記第1属性値と、前記第2取得部が取得した前記期待値及び前記第2属性値とに基づいて、前記計測値及び前記期待値の類似性を示す評価値を算出する算出部とを備え、
前記第1属性値は前記計測時刻を示し、
前記第2属性値は前記期待時刻を示し、
前記算出部は、さらに、前記評価値に基づいて前記計測時刻及び前記期待時刻の差を算出する、感情解析装置。
【請求項5】
前記算出部は、前記計測値及び前記第1属性値と、前記期待値及び前記第2属性値とに基づいて、前記評価値として、前記計測値及び前記期待値の正規化相互相関を算出する、請求項1から請求項4のいずれか1項に記載の感情解析装置。
【請求項6】
前記算出部は、前記計測値及び前記第1属性値と、前記期待値及び前記第2属性値とに基づいて、前記評価値として、前記計測値及び前記期待値の平均絶対値誤差を算出する、請求項1から請求項4のいずれか1項に記載の感情解析装置。
【請求項7】
前記算出部は、前記計測値及び前記第1属性値と、前記期待値及び前記第2属性値とに基づいて、前記評価値として、前記計測値及び前記期待値の平均平方二乗誤差を算出する、請求項1から請求項4のいずれか1項に記載の感情解析装置。
【請求項8】
ユーザの感情を解析する感情解析装置であって、
ユーザの感情に関連する物理量の計測値と、当該物理量の計測時刻及び計測場所の少なくとも一方を示す第1属性値とを取得する第1取得部と、
前記第1属性値と同種の値であり、かつ、あらかじめ設定された時刻及び場所をそれぞれ示す期待時刻及び期待場所の少なくとも一方を示す第2属性値と、前記第2属性値が示す前記期待時刻及び前記期待場所の少なくとも一方における前記物理量の期待値とを取得する第2取得部と、
前記第1取得部が取得した前記計測値及び前記第1属性値と、前記第2取得部が取得した前記期待値及び前記第2属性値とに基づいて、前記計測値及び前記期待値の類似性を示す評価値を算出する算出部とを備え、
前記算出部は、前記計測値及び前記第1属性値と、前記期待値及び前記第2属性値とに基づいて、前記計測値及び前記期待値の少なくとも一方を正規化し、少なくとも一方が正規化された前記計測値及び前記期待値の類似性を示す評価値を算出する、感情解析装置。
【請求項9】
前記第1取得部は、前記ユーザの顔に接触させたセンサから、前記ユーザの顔の形状の変化の度合いを示す前記物理量の計測値を取得する、請求項1から請求項8のいずれか1項に記載の感情解析装置。
【請求項10】
イベントの参加者であるユーザの顔に接触させるセンサと、
前記ユーザの感情を解析する感情解析装置とを備え、
前記感情解析装置は、
前記センサから前記イベントの開催時における前記ユーザの感情に関連する物理量の計測値を取得し、当該物理量の計測時刻及び計測場所の少なくとも一方を示す第1属性値を取得する第1取得部と、
前記第1属性値と同種の値であり、かつ、前記イベントの制作者によってあらかじめ設定された時刻及び場所をそれぞれ示す期待時刻及び期待場所の少なくとも一方を示す第2属性値と、前記第2属性値が示す前記期待時刻及び前記期待場所の少なくとも一方における、前記イベントの制作者によってあらかじめ設定された前記物理量の期待値とを取得する第2取得部と、
前記第1取得部が取得した前記計測値及び前記第1属性値と、前記第2取得部が取得した前記期待値及び前記第2属性値とに基づいて、前記計測値及び前記期待値の類似性を示す評価値を算出する算出部とを有する、感情解析システム。
【請求項11】
イベントの参加者であるユーザの感情を解析する感情解析方法であって、
前記イベントの開催時におけるユーザの感情に関連する物理量の計測値と、当該物理量の計測時刻及び計測場所の少なくとも一方を示す第1属性値とを取得するステップと、
前記第1属性値と同種の値であり、かつ、前記イベントの制作者によってあらかじめ設定された時刻及び場所をそれぞれ示す期待時刻及び期待場所の少なくとも一方を示す第2属性値と、前記第2属性値が示す前記期待時刻及び前記期待場所の少なくとも一方における、前記イベントの制作者によってあらかじめ設定された前記物理量の期待値とを取得するステップと、
取得された前記計測値及び前記第1属性値と、取得された前記期待値及び前記第2属性値とに基づいて、前記計測値及び前記期待値の類似性を示す評価値を算出するステップとを含む、感情解析方法。
【請求項12】
ユーザの感情を解析する感情解析方法であって、
ユーザの感情に関連する物理量の計測値と、当該物理量の計測時刻及び計測場所の少なくとも一方を示す第1属性値とを取得するステップと、
前記第1属性値と同種の値であり、かつ、あらかじめ設定された時刻及び場所をそれぞれ示す期待時刻及び期待場所の少なくとも一方を示す第2属性値と、前記第2属性値が示す前記期待時刻及び前記期待場所の少なくとも一方における前記物理量の期待値とを取得するステップと、
取得された前記計測値及び前記第1属性値と、取得された前記期待値及び前記第2属性値とに基づいて、前記計測値及び前記期待値の類似性を示す評価値を算出するステップとを含み、
前記第1属性値は前記計測時刻を示し、
前記第2属性値は前記期待時刻を示し、
前記評価値を算出するステップでは、前記計測時刻及び前記期待時刻の一方を所定の反応時間だけずらした上で前記評価値を算出する、感情解析方法。
【請求項13】
ユーザの感情を解析する感情解析方法であって、
ユーザの感情に関連する物理量の計測値と、当該物理量の計測時刻及び計測場所の少なくとも一方を示す第1属性値とを取得するステップと、
前記第1属性値と同種の値であり、かつ、あらかじめ設定された時刻及び場所をそれぞれ示す期待時刻及び期待場所の少なくとも一方を示す第2属性値と、前記第2属性値が示す前記期待時刻及び前記期待場所の少なくとも一方における前記物理量の期待値とを取得するステップと、
取得された前記計測値及び前記第1属性値と、取得された前記期待値及び前記第2属性値とに基づいて、前記計測値及び前記期待値の類似性を示す評価値を算出するステップとを含み、
前記第1属性値は前記計測時刻を示し、
前記第2属性値は前記期待時刻を示し、
前記評価値を算出するステップでは、さらに、前記評価値に基づいて前記計測時刻及び前記期待時刻の差を算出する、感情解析方法。
【請求項14】
ユーザの感情を解析する感情解析方法であって、
ユーザの感情に関連する物理量の計測値と、当該物理量の計測時刻及び計測場所の少なくとも一方を示す第1属性値とを取得するステップと、
前記第1属性値と同種の値であり、かつ、あらかじめ設定された時刻及び場所をそれぞれ示す期待時刻及び期待場所の少なくとも一方を示す第2属性値と、前記第2属性値が示す前記期待時刻及び前記期待場所の少なくとも一方における前記物理量の期待値とを取得するステップと、
取得された前記計測値及び前記第1属性値と、取得された前記期待値及び前記第2属性値とに基づいて、前記計測値及び前記期待値の類似性を示す評価値を算出するステップとを含み、
前記評価値を算出するステップでは、前記計測値及び前記第1属性値と、前記期待値及び前記第2属性値とに基づいて、前記計測値及び前記期待値の少なくとも一方を正規化し、少なくとも一方が正規化された前記計測値及び前記期待値の類似性を示す評価値を算出する、感情解析方法。
【請求項15】
イベントの参加者であるユーザの感情を解析する感情解析装置としてコンピュータを機能させるためのコンピュータプログラムであって、
前記コンピュータを、
前記イベントの開催時におけるユーザの感情に関連する物理量の計測値と、当該物理量の計測時刻及び計測場所の少なくとも一方を示す第1属性値とを取得する第1取得部と、
前記第1属性値と同種の値であり、かつ、前記イベントの制作者によってあらかじめ設定された時刻及び場所をそれぞれ示す期待時刻及び期待場所の少なくとも一方を示す第2属性値と、前記第2属性値が示す前記期待時刻及び前記期待場所の少なくとも一方における、前記イベントの制作者によってあらかじめ設定された前記物理量の期待値とを取得する第2取得部と、
前記第1取得部が取得した前記計測値及び前記第1属性値と、前記第2取得部が取得した前記期待値及び前記第2属性値とに基づいて、前記計測値及び前記期待値の類似性を示す評価値を算出する算出部として機能させる、コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、感情解析装置、感情解析システム、感情解析方法、及びコンピュータプログラムに関する。
【背景技術】
【0002】
従来、コンサートなどのライブ会場において、イベント参加者の表情をカメラで撮影した映像から、イベント参加者の感情の推移を解析するシステムが開発されている(例えば、非特許文献1参照)。
【先行技術文献】
【非特許文献】
【0003】
【文献】“エイベックス×MSが観客の感情を捉える--エンタメ業界でAIを活用するという挑戦”、[online]、cnet Japan(朝日インタラクティブ株式会社)、[2020年4月3日検索]、インターネット<URL:https://japan.cnet.com/article/35116085/>
【文献】“薄型フレキシブル電池(Air Patch Battery)(開発中)”、[online]、マクセルホールディングス株式会社、[2019年12月9日検索]、インターネット<URL:https://biz.maxell.com/ja/primary_batteries/air_patch_battery.html>
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、従来のシステムによると、イベント参加者の感情を知ることはできるものの、イベント参加者の感情がコンサートや映画などのイベントの制作者の意図に合致しているかを知ることが困難である。
【0005】
本開示は、このような事情に鑑みてなされたものであり、イベント制作者の意図に基づくイベント参加者の感情を解析することのできる感情解析装置、感情解析システム、感情解析方法、及びコンピュータプログラムを提供することを目的とする。
【課題を解決するための手段】
【0006】
本開示の一態様に係る感情解析装置は、ユーザの感情を解析する感情解析装置であって、ユーザの感情に関連する物理量の計測値と、当該物理量の計測時刻及び計測場所の少なくとも一方を示す第1属性値とを取得する第1取得部と、前記第1属性値と同種の値であり、かつ、あらかじめ設定された時刻及び場所をそれぞれ示す期待時刻及び期待場所の少なくとも一方を示す第2属性値と、前記第2属性値が示す前記期待時刻及び前記期待場所の少なくとも一方における前記物理量の期待値とを取得する第2取得部と、前記第1取得部が取得した前記計測値及び前記第1属性値と、前記第2取得部が取得した前記期待値及び前記第2属性値とに基づいて、前記計測値及び前記期待値の類似性を示す評価値を算出する算出部とを備える。
【0007】
本開示の他の態様に係る感情解析システムは、ユーザの顔に接触させるセンサと、前記ユーザの感情を解析する感情解析装置とを備え、前記感情解析装置は、前記センサから前記ユーザの感情に関連する物理量の計測値を取得し、当該物理量の計測時刻及び計測場所の少なくとも一方を示す第1属性値を取得する第1取得部と、前記第1属性値と同種の値であり、かつ、あらかじめ設定された時刻及び場所をそれぞれ示す期待時刻及び期待場所の少なくとも一方を示す第2属性値と、前記第2属性値が示す前記期待時刻及び前記期待場所の少なくとも一方における前記物理量の期待値とを取得する第2取得部と、前記第1取得部が取得した前記計測値及び前記第1属性値と、前記第2取得部が取得した前記期待値及び前記第2属性値とに基づいて、前記計測値及び前記期待値の類似性を示す評価値を算出する算出部とを有する。
【0008】
本開示の他の態様に係る感情解析方法は、ユーザの感情を解析する感情解析方法であって、ユーザの感情に関連する物理量の計測値と、当該物理量の計測時刻及び計測場所の少なくとも一方を示す第1属性値とを取得するステップと、前記第1属性値と同種の値であり、かつ、あらかじめ設定された時刻及び場所をそれぞれ示す期待時刻及び期待場所の少なくとも一方を示す第2属性値と、前記第2属性値が示す前記期待時刻及び前記期待場所の少なくとも一方における前記物理量の期待値とを取得するステップと、取得された前記計測値及び前記第1属性値と、取得された前記期待値及び前記第2属性値とに基づいて、前記計測値及び前記期待値の類似性を示す評価値を算出するステップとを含む。
【0009】
本開示の他の態様に係るコンピュータプログラムは、ユーザの感情を解析する感情解析装置としてコンピュータを機能させるためのコンピュータプログラムであって、前記コンピュータを、ユーザの感情に関連する物理量の計測値と、当該物理量の計測時刻及び計測場所の少なくとも一方を示す第1属性値とを取得する第1取得部と、前記第1属性値と同種の値であり、かつ、あらかじめ設定された時刻及び場所をそれぞれ示す期待時刻及び期待場所の少なくとも一方を示す第2属性値と、前記第2属性値が示す前記期待時刻及び前記期待場所の少なくとも一方における前記物理量の期待値とを取得する第2取得部と、前記第1取得部が取得した前記計測値及び前記第1属性値と、前記第2取得部が取得した前記期待値及び前記第2属性値とに基づいて、前記計測値及び前記期待値の類似性を示す評価値を算出する算出部として機能させる。
【0010】
なお、本開示は、感情解析方法に含まれる特徴的なステップをコンピュータに実行させるためのコンピュータプログラムとして実現することもできる。そして、そのようなコンピュータプログラムを、CD-ROM(Compact Disc-Read Only Memory)等のコンピュータ読取可能な非一時的な記録媒体やインターネット等の通信ネットワークを介して流通させることができるのは、言うまでもない。また、本開示は、感情解析装置の一部又は全部を実現する半導体集積回路として実現することもできる。
【発明の効果】
【0011】
本開示によると、イベント制作者の意図に基づくイベント参加者の感情を解析することができる。
【図面の簡単な説明】
【0012】
図1図1は、実施形態1に係る感情解析システムの全体構成を示す図である。
図2図2は、実施形態1に係る感情解析システムを構成するシール型センサ及びサーバのそれぞれの機能構成を示すブロック図である。
図3図3は、実施形態1に係るシール型センサの構成を示す図である。
図4図4は、回路層へのひずみゲージの配置位置の一例を示す図である。
図5図5は、実施形態1に係る感情解析システムによるひずみ量の収集処理の手順の一例を示すシーケンス図である。
図6図6は、実施形態1に係るサーバによる感情解析処理の手順の一例を示すフローチャートである。
図7図7は、計測値データの一例を示す図である。
図8図8は、期待値データの一例を示す図である。
図9図9は、ひずみ量の計測値及びひずみ量の期待値の時間的推移を示すグラフの一例を示す図である。
図10図10は、記憶部に記憶される類似度の一例を示す図である。
図11図11は、ひずみ量の計測値の時間的推移を示すグラフの一例を示す図である。
図12A図12Aは、ひずみ量の計測値及びひずみ量の期待値の時間的推移を示すグラフの一例を示す図である。
図12B図12Bは、ひずみ量の計測値及びひずみ量の期待値の時間的推移を示すグラフの一例を示す図である。
図13A図13Aは、ひずみ量の計測値及びひずみ量の期待値の時間的推移を示すグラフの一例を示す図である。
図13B図13Bは、ひずみ量の計測値及びひずみ量の期待値の時間的推移を示すグラフの一例を示す図である。
図14A図14Aは、正規化前のひずみ量の計測値及びひずみ量の期待値の時間的推移を示すグラフの一例を示す図である。
図14B図14Bは、正規化後のひずみ量の計測値及びひずみ量の期待値の時間的推移を示すグラフの一例を示す図である。
図15図15は、アトラクションの一例を示す図である。
【発明を実施するための形態】
【0013】
[本開示の実施形態の概要]
最初に本開示の実施形態の概要を列記して説明する。
(1)本開示の一実施形態に係る感情解析装置は、ユーザの感情を解析する感情解析装置であって、ユーザの感情に関連する物理量の計測値と、当該物理量の計測時刻及び計測場所の少なくとも一方を示す第1属性値とを取得する第1取得部と、前記第1属性値と同種の値であり、かつ、あらかじめ設定された時刻及び場所をそれぞれ示す期待時刻及び期待場所の少なくとも一方を示す第2属性値と、前記第2属性値が示す前記期待時刻及び前記期待場所の少なくとも一方における前記物理量の期待値とを取得する第2取得部と、前記第1取得部が取得した前記計測値及び前記第1属性値と、前記第2取得部が取得した前記期待値及び前記第2属性値とに基づいて、前記計測値及び前記期待値の類似性を示す評価値を算出する算出部とを備える。
【0014】
この構成によると、イベントにおけるあらかじめ設定された期待時刻及び期待場所の少なくとも一方において、物理量の期待値とどれくらい一致した物理量をイベント参加者であるユーザが示したかを知ることができる。この物理量は感情と関連している。つまり、期待する感情とどれくらい一致した感情をユーザが示したかを知ることができる。よって、イベント制作者の意図に基づくイベント参加者の感情を解析することができる。
【0015】
(2)好ましくは、前記期待値及び前記第2属性値は、前記第1取得部により取得された複数のユーザの前記計測値及び前記第1属性値に基づいて算出される。
【0016】
この構成によると、効率的かつ自動的に期待値及び第2属性値を作成することができる。これにより、例えば、同じ内容のコンテンツが繰り返し実行されるイベント(例えば、映画、テーマパークのアトラクション、演劇、コンサート)において、過去にユーザが示した反応をイベント制作者の意図として、イベント制作者の意図に基づくイベント参加者の感情を解析することができる。
【0017】
(3)さらに好ましくは、前記第1属性値は前記計測時刻を示し、前記第2属性値は前記期待時刻を示し、前記算出部は、前記計測時刻及び前記期待時刻の一方を所定の反応時間だけずらした上で前記評価値を算出する。
【0018】
この構成によると、ユーザの反応時間をあらかじめ想定した上で物理量の計測値及び物理量の期待値の類似性を示す評価値を算出することができる。何らかの事象の変化がユーザの感情の表出につながるが、事象が変化してから感情の表出までの間には時間がかかる。例えば、お化け屋敷などのアトラクションにおいて、ユーザを驚かす事象が発生した場合には、その事象が発生してから顔の筋肉が震えるなどの感情の表出までの間には時間がかかる。この時間を反応時間として事前に設定しておくことで、事象の発生時刻に期待時刻を設定したとしても反応時間を考慮した上で上記評価値を正確に算出することができる。
【0019】
(4)また、前記第1属性値は前記計測時刻を示し、前記第2属性値は前記期待時刻を示し、前記算出部は、さらに、前記評価値に基づいて前記計測時刻及び前記期待時刻の差を算出してもよい。
【0020】
この構成によると、イベント制作者の意図する期待時刻とずれた時刻にユーザが感情を表出した場合に、その時刻の差を算出することができる。例えば、音楽コンサートにおいて演奏時間がイベント制作者の意図よりも長くなるなど、イベントの時間長が当初予定していた時間長からずれる場合がある。このような場合であっても、計測時刻及び期待時刻の一方をずらすことにより類似度が最大となるときの計測時刻及び期待時刻の差を算出することができる。これにより、イベント制作者は、計測時刻のずれを知ることができる。また、計測時刻のずれを考慮することで、イベント制作者の意図に基づくイベント参加者の感情をより正確に解析することができる。
【0021】
(5)また、前記算出部は、前記計測値及び前記第1属性値と、前記期待値及び前記第2属性値とに基づいて、前記評価値として、前記計測値及び前記期待値の正規化相互相関を算出してもよい。
【0022】
この構成によると、計測値及び期待値の正規化相互相関により、計測値及び期待値の類似性を評価することができる。
【0023】
(6)また、前記算出部は、前記計測値及び前記第1属性値と、前記期待値及び前記第2属性値とに基づいて、前記評価値として、前記計測値及び前記期待値の平均絶対値誤差を算出してもよい。
【0024】
この構成によると、計測値及び期待値の平均絶対値誤差により、計測値及び期待値の類似性を評価することができる。
【0025】
(7)また、前記算出部は、前記計測値及び前記第1属性値と、前記期待値及び前記第2属性値とに基づいて、前記評価値として、前記計測値及び前記期待値の平均平方二乗誤差を算出してもよい。
【0026】
この構成によると、計測値及び期待値の平均平方二乗誤差により、計測値及び期待値の類似性を評価することができる。
【0027】
(8)また、前記算出部は、前記計測値及び前記第1属性値と、前記期待値及び前記第2属性値とに基づいて、前記計測値及び前記期待値の少なくとも一方を正規化し、少なくとも一方が正規化された前記計測値及び前記期待値の類似性を示す評価値を算出してもよい。
【0028】
この構成によると、感情の出方の異なる複数のユーザについて計測値を正規化することができるため、複数のユーザ間で類似性を示す評価値を精度よく比較することが可能になる。
【0029】
(9)また、前記第1取得部は、前記ユーザの顔に接触させたセンサから、前記ユーザの顔の形状の変化の度合いを示す前記物理量の計測値を取得してもよい。
【0030】
ユーザは、感情が変化して笑ったり、怒ったりした場合には、顔の表情筋が変化する。このため、顔の形状の変化の度合いを示す物理量の計測値をセンサから直接的に取得することにより、任意の時刻及び場所においてユーザの感情を解析することができる。
【0031】
(10)本開示の一実施形態に係る感情解析システムは、ユーザの顔に接触させるセンサと、前記ユーザの感情を解析する感情解析装置とを備え、前記感情解析装置は、前記センサから前記ユーザの感情に関連する物理量の計測値を取得し、当該物理量の計測時刻及び計測場所の少なくとも一方を示す第1属性値を取得する第1取得部と、前記第1属性値と同種の値であり、かつ、あらかじめ設定された時刻及び場所をそれぞれ示す期待時刻及び期待場所の少なくとも一方を示す第2属性値と、前記第2属性値が示す前記期待時刻及び前記期待場所の少なくとも一方における前記物理量の期待値とを取得する第2取得部と、前記第1取得部が取得した前記計測値及び前記第1属性値と、前記第2取得部が取得した前記期待値及び前記第2属性値とに基づいて、前記計測値及び前記期待値の類似性を示す評価値を算出する算出部とを有する。
【0032】
この構成によると、イベントにおけるあらかじめ設定された期待時刻及び期待場所の少なくとも一方において、物理量の期待値とどれくらい一致した物理量をイベント参加者であるユーザが示したかを知ることができる。この物理量は感情と関連している。つまり、期待する感情とどれくらい一致した感情をユーザが示したかを知ることができる。よって、イベント制作者の意図に基づくイベント参加者の感情を解析することができる。また、ユーザは、感情が変化して笑ったり、怒ったりした場合には、顔の表情筋が変化する。このため、顔の形状の変化の度合いを示す物理量の計測値をセンサから直接的に取得することにより、任意の時刻及び場所においてユーザの感情を解析することができる。
【0033】
(11)本開示の一実施形態に係る感情解析方法は、ユーザの感情を解析する感情解析方法であって、ユーザの感情に関連する物理量の計測値と、当該物理量の計測時刻及び計測場所の少なくとも一方を示す第1属性値とを取得するステップと、前記第1属性値と同種の値であり、かつ、あらかじめ設定された時刻及び場所をそれぞれ示す期待時刻及び期待場所の少なくとも一方を示す第2属性値と、前記第2属性値が示す前記期待時刻及び前記期待場所の少なくとも一方における前記物理量の期待値とを取得するステップと、取得された前記計測値及び前記第1属性値と、取得された前記期待値及び前記第2属性値とに基づいて、前記計測値及び前記期待値の類似性を示す評価値を算出するステップとを含む。
【0034】
この構成は、上述の感情解析装置における特徴的な処理をステップとして含む。このため、この構成によると、上述の感情解析装置と同様の作用及び効果を奏することができる。
【0035】
(12)本開示の他の実施形態に係るコンピュータプログラムは、ユーザの感情を解析する感情解析装置としてコンピュータを機能させるためのコンピュータプログラムであって、前記コンピュータを、ユーザの感情に関連する物理量の計測値と、当該物理量の計測時刻及び計測場所の少なくとも一方を示す第1属性値とを取得する第1取得部と、前記第1属性値と同種の値であり、かつ、あらかじめ設定された時刻及び場所をそれぞれ示す期待時刻及び期待場所の少なくとも一方を示す第2属性値と、前記第2属性値が示す前記期待時刻及び前記期待場所の少なくとも一方における前記物理量の期待値とを取得する第2取得部と、前記第1取得部が取得した前記計測値及び前記第1属性値と、前記第2取得部が取得した前記期待値及び前記第2属性値とに基づいて、前記計測値及び前記期待値の類似性を示す評価値を算出する算出部として機能させる。
【0036】
この構成によると、コンピュータを、上述の感情解析装置として機能させることができる。このため、上述の感情解析装置と同様の作用及び効果を奏することができる。
【0037】
[本開示の実施形態の詳細]
以下、本開示の実施形態について、図面を参照しながら説明する。なお、以下で説明する実施形態は、いずれも本開示の一具体例を示すものである。以下の実施形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本開示を限定するものではない。また、以下の実施形態における構成要素のうち、独立請求項に記載されていない構成要素については、任意に付加可能な構成要素である。また、各図は、模式図であり、必ずしも厳密に図示されたものではない。
また、同一の構成要素には同一の符号を付す。それらの機能及び名称も同様であるため、それらの説明は適宜省略する。
【0038】
<実施形態1>
〔感情解析システムの全体構成〕
図1は、本開示の実施形態1に係る感情解析システムの全体構成を示す図である。
【0039】
感情解析システム1は、シール型センサ3と、サーバ4とを備える。
【0040】
シール型センサ3は、接着面を有し、かつシート状をなす。シール型センサ3は、例えば、接着面によりユーザ2の顔に貼り付けられ、表情の変化に応じた顔の形状の変化の度合いを示す物理量を計測する。
【0041】
なお、図1では、一人のユーザ2に貼り付けられたシール型センサ3のみを示しているが、複数のユーザ2の各々に、シール型センサ3が貼り付けられるものとする。
【0042】
シール型センサ3は無線通信が可能であり、アクセスポイント7(中継器)を介してインターネット又はLAN(Local Area Network)等のネットワーク6に接続される。
【0043】
サーバ4は、感情解析装置として機能し、ネットワーク6に有線又は無線により接続され、ネットワーク6を介して複数のシール型センサ3の各々から物理量の計測値を受信する。サーバ4は、受信した物理量の計測値に基づいて、シール型センサ3を顔に接着させたユーザ2の感情を解析する。サーバ4は、感情の解析結果をサーバ4に接続された表示装置に表示したり、ネットワーク6を介して他の装置に送信したりする。
【0044】
例えば、映画館、音楽コンサート会場、劇場又はアトラクション会場などのイベント会場への入場時に、イベント開催者が参加者であるユーザ2にシール型センサ3を配布する。シール型センサ3を受け取ったユーザ2は、自身の顔(例えば、頬の部分)にシール型センサ3を貼る。ユーザ2が抵抗なくシール型センサ3を貼れるように、シール型センサ3の他者から視認可能な面には文字や画像(例えば、応援するチームのマーク)などが印刷されているのが望ましい。これにより、ユーザ2は、フェイスシールを貼る感覚でシール型センサ3を顔に貼ることができる。
【0045】
アクセスポイント7は、イベント会場の複数の個所に設置されていることが望ましい。これにより、サーバ4は、会場内をユーザ2が移動しても、シール型センサ3から物理量の計測値を満遍なく収集することができる。また、サーバ4は、アクセスポイント7の位置と、アクセスポイント7が受信した物理量の計測値とを対応付けることができる。このため、アクセスポイント7の位置ごとにユーザ2の感情を解析することができる。なお、アクセスポイント7は、特に、イベント制作者が感情の解析が必要だと思う場所に配置されるのが望ましい。例えば、アトラクション(イベント)の事象発生場所(例えば、ジェットコースターが急降下する場所、お化け屋敷においてユーザを驚かす場所)毎にアクセスポイント7が設置される。これにより、サーバ4は、イベントの事象発生場所ごとにユーザの感情を分析することができ、事象発生場所においてユーザがイベント制作者の意図通りの感情を抱いたか否かを分析することができる。
【0046】
〔シール型センサ3及びサーバ4の構成〕
図2は、実施形態1に係る感情解析システム1を構成するシール型センサ3及びサーバ4のそれぞれの機能構成を示すブロック図である。
【0047】
シール型センサ3は、電源部31と、センサ部32と、計時部33と、無線通信部34と、記憶部39とを備える。
【0048】
電源部31は、センサ部32、計時部33及び無線通信部34に、各処理部を駆動するための電力を供給する。電源部31は、例えば、シート型電池又はパッチ型電池である(例えば、非特許文献2参照)。図2では、電力の供給線を破線で示している。
【0049】
また、電源部31は、生体のエネルギーを利用して発電を行い、発電電力を供給してもよい。電源部31は、例えば、シール型センサ3が貼り付けられるユーザ2の熱エネルギーを利用した温度差発電を行う。より詳細には、電源部31は、ユーザ2の皮膚に接触されるシート状のゼーベック素子(熱電素子)を備え、ゼーベック素子内部の温度差により起電力を生じるゼーベック効果を利用して発電を行う。
【0050】
また、電源部31は、生体の汗を利用して発電を行ってもよい。より詳細には、電源部31は、ユーザ2の皮膚に接触されるシート状のバイオ燃料電池を備え、バイオ燃料電池が、人間の汗に含まれている乳酸を酸化させる酵素により汗を電流に変換することで発電を行う。
【0051】
計時部33は、時刻を計時するクロック又はタイマである。
【0052】
センサ部32は、センサ部32の接着面が接触する面(ユーザ2の顔面)の形状の変化の度合いを示す物理量を計測する。センサ部32は、例えば、ひずみゲージを備える。ひずみゲージはユーザ2の顔の皮膚が動くことによりひずみゲージに加わった力を電圧(以下、「ひずみ量」という。)として計測する。センサ部32は、ひずみゲージが計測したひずみ量を無線通信部34に出力する。
【0053】
無線通信部34は、小型かつ省電力の無線通信を行う通信インタフェースを備える。無線通信部34は、例えば、Wi-SUN(Wireless Smart Utility Network)、BLE(Bluetooth(登録商標) Low Energy)又はZigBee(登録商標)などの通信規格に従ってデータ通信を行う。無線通信部34は、センサ部32からひずみ量の計測値を受け、計時部33からひずみ量の計測時刻を受け、ひずみ量及び計測時刻にシール型センサ3のID(識別子)(以下、「センサID」という。)を付加して、アクセスポイント7及びネットワーク6を経由してこれらのデータをサーバ4に送信する。なお、センサIDは、例えば、記憶部39にあらかじめ記憶されており、無線通信部34は、記憶部39からセンサIDを読み出して、ひずみ量の計測値に付加するものとする。
【0054】
記憶部39は、センサ部32により計測された物理量を記憶するための記憶装置である。
【0055】
センサ部32は、計測したひずみ量を計時部33から取得したひずみ量の計測時刻と対応付けて、記憶部39に書き込む。
【0056】
無線通信部34は、記憶部39から、複数の時刻において計測されたひずみ量を読み出し、読み出したひずみ量の計測値及び計測時刻にセンサIDを付加してサーバ4に送信する。
【0057】
サーバ4は、通信部41、処理部42及び記憶部43を備える。
【0058】
サーバ4は、CPU、ROM、RAM、HDD、通信インタフェース等を備えるコンピュータにより実現することができる。処理部42は、ROM又はHDD等の不揮発性メモリに記憶されたコンピュータプログラムをRAMに展開して、CPU上で実行することにより機能的に実現される。
【0059】
通信部41は、ネットワーク6を介して、シール型センサ3から、ひずみ量の計測値、計測時刻及びセンサIDを受信する。
【0060】
処理部42は、第1取得部42aと、第2取得部42bと、算出部42cとを有する。
【0061】
第1取得部42aは、通信部41が受信したひずみ量の計測値と、ひずみ量の計測時刻及びセンサIDとを計測値データとして記憶部43に記憶する。なお、計測値データには、計測時刻とともに又は計測時刻の代わりに、ひずみ量の計測場所の情報が含まれていてもよい。ここで、ひずみ量の計測場所の情報として、ひずみ量の計測値を受信したアクセスポイント7の情報(例えば、アクセスポイント7のID)を利用することができる。ひずみ量の計測時刻又は計測場所は、ひずみ量の計測値の属性を示す第1属性値である。
また、第1取得部42aは、記憶部43から計測値データを読み出す。
【0062】
第2取得部42bは、記憶部43から、記憶部43に事前に記憶されている期待値データを読み出す。ここで、期待値データは、イベントごとにあらかじめ設定された時刻(以下、「期待時刻」という)と、期待時刻における物理量(ひずみ量)の期待値とを含む。期待値データは、例えば、イベント制作者により設定される。なお、期待値データには、期待時刻とともに又は期待時刻の代わりに、あらかじめ設定された場所(以下、「期待場所」という)が含まれていてもよい。なお、期待値データの設定者はイベント制作者に限定されるものではなく、それ以外の者であってもよい。ひずみ量の期待時刻又は期待場所は、ひずみ量の期待値の属性を示す第2属性値である。なお、第1属性値と第2属性値とは同種の値である。つまり、第1属性値が計測時刻を示す場合には、第2属性値は期待時刻を示し、第1属性値が計測場所を示す場合には、第2属性値は期待場所を示す。また、第1属性値が計測時刻及び計測場所を示す場合には、第2属性値は期待時刻及び期待場所を示す。
【0063】
算出部42cは、第1取得部42aが取得した計測値データと、第2取得部42bが取得した期待値データとに基づいて、計測値データが示すひずみ量の計測値と、期待値データが示すひずみ量の期待値との類似度を算出することによって、センサIDごとに感情を解析する。ここで、解析の対象とする感情は、例えば、ユーザ2の喜びである。ユーザ2の喜びが大きいほどユーザ2は笑顔になるためひずみ量の計測値が大きくなり、ユーザ2の喜びが小さいほどユーザ2は素の顔になるためひずみ量の計測値が小さくなる。
【0064】
例えば、イベントが映画などの映像コンテンツの再生イベントである場合には、映像コンテンツの再生時刻が期待時刻と予め対応付けられている。また、計測値データは、コンテンツの再生時刻において計測されたユーザ2のひずみ量を含む。このため、算出部42cは、期待時刻において計測されたユーザ2のひずみ量の計測値と、計測時刻におけるひずみ量の期待値との類似度を算出することができる。類似度が大きいほど、イベント制作者の意図通りのひずみ量をユーザが示したことになる。つまり、類似度が大きいほどイベント制作者の意図通りの感情をユーザが示したことになる。他方、類似度が小さいほど、イベント制作者の意図と反したひずみ量をユーザが示したことになる。つまり、類似度が小さいほど、イベント制作者の意図と反した感情をユーザが示したことになる。
算出部42cは、算出した類似度を表示装置の画面に表示してもよいし、外部の装置に出力してもよい。
【0065】
記憶部43は、上述した計測値データ及び期待値データ等の感情解析処理に必要なデータを記憶する記憶装置であり、例えば、SRAM(Static Random Access Memory)、DRAM(Dynamic Random Access Memory)等の揮発性メモリ、又はフラッシュメモリ、ハードディスク等の不揮発性メモリにより構成される。
【0066】
図3は、実施形態1に係るシール型センサ3の構成を示す図である。図3では、シール型センサ3を通常の使用方法で皮膚に貼り付ける場合に、皮膚に近い側を「下方」、皮膚から遠い側を「上方」とする。シール型センサ3は、例えば、シート状の接着層3Aと、シート状の回路層3Bと、シート状の印刷層3Cとの3層により構成される。接着層3Aには、下方に皮膚への刺激が少ない肌用の粘着剤が塗布されている。また、粘着剤の下方には、剥離シート3Dが設けられている。ユーザ2は、剥離シート3Dを剥がした後に、接着層3Aの下方を肌に接触させることによりシール型センサ3を皮膚に貼り付ける。
【0067】
接着層3Aの上方には、回路層3Bが配置されている。回路層3Bには、上述した電源部31、センサ部32、計時部33及び無線通信部34を実現する回路が構成される。回路層3Bは、例えばフレキシブル基板上にIC(Integrated Circuit)チップを配置することにより構成される。なお、電源部31が温度差発電又は汗を利用した発電を行う場合には、ゼーベック素子又はバイオ燃料電池を皮膚に接触させることが望ましい。このため、ゼーベック素子又はバイオ燃料電池の下方には、接着層3Aは配置されておらず、ゼーベック素子又はバイオ燃料電池が皮膚に接触する構成とする。
【0068】
印刷層3Cは、回路層3Bの上方に配置され、印刷面を有する。印刷面は、印刷層3Cの上方に位置し、印刷面には、文字及び画像の少なくとも一方が印刷可能である。なお、ユーザ2が印刷面にペン等で文字又は画像を書き込むことができるように、印刷面の一部又は全部が白色等の無地であってもよいし、透明もしくは半透明であってもよい。
【0069】
図4は、回路層3Bへのひずみゲージ38の配置位置の一例を示す図である。ひずみゲージ38は、センサ部32の一部を構成する。回路層3Bには、例えば、四隅と中央部とにひずみゲージ38が配置されている。このように、複数の個所にひずみゲージ38を配置することにより、ひずみゲージ38を1つ配置する場合に比べて、高精度に顔の形状の変化の度合いを計測することができる。
【0070】
〔感情解析システム1によるひずみ量の収集処理〕
図5は、実施形態1に係る感情解析システム1によるひずみ量の収集処理の手順の一例を示すシーケンス図である。
【0071】
センサ部32は、計時部33から出力される時刻に基づいて、現在時刻がひずみ量の計測タイミングであるか否かを判断する(S1)。例えば、ひずみ量を1秒毎に計測する場合には、センサ部32は、時刻が正秒(小数点以下が0である秒)であれば、現在時刻がひずみ量の計測タイミングであると判断し、それ以外の時刻であればひずみ量の計測タイミングでないと判断する。
【0072】
センサ部32は、現在時刻がひずみ量の計測タイミングでなければ(S1でNO)、現在時刻が計測タイミングになるまで待機する(S1)。
【0073】
センサ部32は、現在時刻がひずみ量の計測タイミングであれば(S1でYES)、ひずみ量を計測する(S2)。なお、センサ部32は、回路層3Bに複数のひずみゲージ38が配置されている場合には、複数のひずみゲージ38が計測したひずみ量を計測値としてもよいし、複数のひずみ量の計測値から1以上のひずみ量を算出し、算出したひずみ量をひずみ量の計測値としてもよい。例えば、センサ部32は、複数のひずみ量の計測値の平均値を計測値としてもよいし、複数のひずみ量の計測値の最大値及び最小値を計測値としてもよい。
【0074】
センサ部32は、計時部33からひずみ量の計測時刻を取得し、ひずみ量の計測値と計測時刻とを記憶部39に書き込む(S3)。
【0075】
無線通信部34は、計時部33から出力される時刻と、送信周期を定義した条件(例えば、1分ごと)又は送信時刻を定義した条件(例えば、12時00分、イベント開始から30分後等)とに基づいて、現在時刻がひずみ量の計測値の送信タイミングであるか否かを判断する(S4)。
【0076】
現在時刻が送信タイミングでなければ(S4においてNO)、ステップS1に戻る。現在時刻が送信タイミングであれば(S4においてYES)、無線通信部34は、センサ部32により計測された未送信のひずみ量の計測値と、計時部33により計時されたひずみ量の計測時刻と、センサIDとを、計測値データとしてサーバ4に送信し、サーバ4の通信部41は、当該計測値データを受信する(S5)。具体的には、無線通信部34は、1つのセンサIDと、計測数分の計測時刻及びひずみ量の計測値の組とを含む計測値データをサーバ4に送信する。
【0077】
サーバ4の第1取得部42aは、通信部41が受信した計測値データを受け、当該データを記憶部43に書き込む(S6)。
【0078】
感情解析システム1は、図5のシーケンス図に示す処理を繰り返し実行することにより、サーバ4の記憶部43にひずみ量の計測値を含むデータを蓄積していく。
【0079】
〔サーバ4による感情解析処理〕
図6は、実施形態1に係るサーバ4による感情解析処理の手順の一例を示すフローチャートである。
【0080】
感情解析処理は、所定の周期(例えば、10分毎)に実行されてもよいし、サーバ4がシール型センサ3から計測値データを受信するたびに実行されてもよい。また、作業者の指示するタイミングに実行されてもよい。
【0081】
第1取得部42aは、ひずみ量の計測値、計測時刻及びセンサIDの組み合わせからなる計測値データを、記憶部43から読み出す(S101)。
【0082】
図7は、計測値データの一例を示す図である。計測値データは、ユーザ2ごとに計測時刻及び計測時刻に計測されたひずみ量の計測値を示すデータであり、ユーザIDと、計測時刻と、ひずみ量の計測値とを含む。例えば、ユーザID「U001」のユーザ2の顔面に貼られたシール型センサ3によって計測時刻「12:00:00」に計測されたひずみ量の計測値は50mVであり、計測時刻「12:00:01」に計測されたひずみ量の計測値は52mVである。また、ユーザID「U002」のユーザ2の顔面に貼られたシール型センサ3によって計測時刻「12:00:00」に計測されたひずみ量の計測値は64mVであり、計測時刻「12:00:01」に計測されたひずみ量の計測値は65mVである。
再び図6を参照して、第2取得部42bは、ひずみ量の計測値及び期待時刻からなる期待値データを、記憶部43から読み出す(S102)。
【0083】
図8は、期待値データの一例を示す図である。期待値データは、イベント制作者により設定された期待時刻と、期待時刻におけるひずみ量の期待値とを含む。例えば、期待時刻「12:00:00」におけるユーザ2の顔面に貼られたシール型センサ3により計測されるひずみ量の期待値は55mVであり、期待時刻「13:00:00」における期待値は150mVである。期待時刻「13:00:00」における期待値を、期待時刻「12:00:00」における期待値よりも大きい値に設定しているのは、期待時刻「13:00:00」においてユーザ2が喜ぶことをイベント制作者が意図しているためである。
【0084】
再び図6を参照して、算出部42cは、ステップS101で読み出された計測値データと、ステップS102で読み出された期待値データとに基づいて、ひずみ量の計測値とひずみ量の期待値との類似度を算出する(S103)。
【0085】
図9を用いて、ひずみ量の計測値とひずみ量の期待値との類似度の算出処理を説明する。図9は、ひずみ量の計測値及びひずみ量の期待値の時間的推移を示すグラフの一例を示す図であり、横軸が時間を示し、縦軸がひずみ量を示す。図9のグラフには、ひずみ量の期待値61の時間的推移と、ユーザA、ユーザB及びユーザCに貼付されたシール型センサ3により計測されたひずみ量の計測値62、63及び64のそれぞれの時間的推移を示している。なお、ユーザA、ユーザB及びユーザCは、互いに異なるユーザIDのユーザ2である。以下で説明するユーザD、ユーザE及びユーザFについても同様である。
【0086】
算出部42cは、期待値61があらかじめ定められた閾値Th(例えば、150mV)以上となる時間区間を検出し、各時間区間において、ユーザ2ごとに、ひずみ量の計測値とひずみ量の期待値との類似度を算出する。
【0087】
例えば、算出部42cは、期待値61が閾値Th以上となる時間区間として、再生時刻(期待時刻)t1から再生時刻t2までの時間区間T1と、再生時刻t3から再生時刻t4までの時間区間T2とを検出する。イベント制作者は、時間区間T1及びT2において、ユーザ2が笑うことを期待している。このため、これらの時間区間において、ひずみ量の期待値が他の時間に比べて大きくなっている。
【0088】
算出部42cは、時間区間T1において、ユーザAについて、計測値62と期待値61との類似度を算出する。例えば、算出部42cは、式1に従って、時間区間T1における計測値62と期待値61との正規化相互相関を類似度R(T1,A)として算出する。同様に、算出部42cは、時間区間T1において、ユーザBについて、計測値63と期待値61との類似度R(T1,B)を算出する。また、算出部42cは、時間区間T1において、ユーザCについて、計測値64と期待値61との類似度R(T1,C)を算出する。
【0089】
【数1】
ここで、M(t)は、時刻tにおけるユーザAのひずみ量の計測値62を示し、Ave(T1,M)は、時間区間T1における計測値62の平均値を示す。また、E(t)は、時刻tにおけるひずみ量の期待値61を示し、Ave(T1,E)は、時間区間T1における期待値61の平均値を示す。
【0090】
さらに、算出部42cは、他の時間区間(例えば、時間区間T2)についても、ユーザ2ごとに、計測値と期待値との類似度を算出する。
なお、計測値と期待値との類似度は、正規化相互相関に限定されるものではなく、計測値と期待値との類似性を示す値であれば、それ以外の値であってもよい。
【0091】
また、算出部42cは、計測値と期待値との類似性を示す評価値として、計測値と期待値との類似度の代わりに、計測値と期待値との誤差又は距離を算出してもよい。例えば、算出部42cは、式2に従って、時間区間T1におけるユーザAの計測値62と期待値61との平均絶対値誤差E(T1,A)を算出する。
【0092】
【数2】
ここで、n(T1)は、時間区間T1における期待値61又は計測値62のサンプル数を示す。
なお、計測値と期待値の誤差は、式2に示したものに限定されるものではなく、RMS(平均平方二乗)誤差であってもよい。
さらに、算出部42cは、各時間区間について、ユーザ2ごとに算出した評価値(類似度、誤差、距離等)の平均値を算出してもよい。
【0093】
算出部42cは、ステップS103で算出した類似度を記憶部43に記憶させる(S104)。なお、算出部42cは、算出した類似度を外部に出力するようにしてもよい。
【0094】
図10は、記憶部43に記憶される類似度の一例を示す図である。
図10は、映像コンテンツの各時間区間T1~T3について、ユーザA、B及びCのそれぞれについての期待値61と計測値との類似度を示している。また、時間区間ごとにユーザA、B及びCの類似度の平均値を示している。
【0095】
例えば、時間区間T1について、ひずみ量の期待値61とユーザAのひずみ量の計測値62との類似度は90である。また、時間区間T1について、ひずみ量の期待値61とユーザBのひずみ量の計測値63との類似度は75である。さらに、時間区間T1について、ひずみ量の期待値61とユーザCのひずみ量の計測値64との類似度は65である。また、時間区間T1において、ユーザA、B及びCの計測値62~64について算出された期待値61との類似度の平均値は76.6(=(90+75+65)/3)である。
【0096】
〔実施形態1の効果等〕
以上説明したように、本開示の実施形態1によると、あらかじめ設定された期待時刻において、物理量の期待値とどれくらい一致した物理量をユーザ2が示したかを知ることができる。この物理量は感情と関連している。つまり、期待する感情とどれくらい一致した感情をユーザ2が示したかを知ることができる。よって、イベント制作者の意図に基づくイベント参加者の感情を解析することができる。
【0097】
また、従来のシステムでは、個々のイベント参加者をカメラで撮影しているため、各参加者の顔画像から感情を解析するには、高解像度撮影が可能なカメラを用いたり、複数のカメラを用いたりしなければならず、コスト面でも問題があった。実施形態1によると、カメラを用いずにイベント参加者の感情を解析可能であるため、低コストで複数のイベント参加者の感情解析が可能である。
【0098】
また、第1取得部42aは、ユーザ2の顔に接触させたシール型センサ3から、ユーザ2の顔の形状の変化の度合いを示す物理量(ひずみ量)の計測値を取得している。ユーザ2は、感情が変化して笑ったり、怒ったりした場合には、顔の表情筋が変化する。このため、顔の形状の変化の度合いを示す物理量の計測値をシール型センサ3から直接的に取得することにより、任意の時刻及び場所においてユーザ2の感情を解析することができる。
【0099】
シール型センサ3を用いたユーザ2の感情解析では、例えば喜びの感情を怒りの感情と誤って解析してしまうこともあり得る。しかしながら、シール型センサ3は多数のユーザ2に低コストで配布が可能である。このため、多数のユーザ2の計測値を統計的に処理することによって、誤検知の影響を軽減することができる。
【0100】
例えば、ユーザ2がお笑いライブショーの観客である場合には、大多数のユーザ2は喜びの感情を抱くと考えられる。つまり、ユーザ2が怒りの感情を抱くとは考えにくい。このため、怒りの感情を抱いているユーザ2の計測値を喜びの感情についての計測値と考えて感情の解析処理を行ったとしても、そのようなユーザ2は全体のごく一部である。よって、怒りの感情を抱くユーザ2が含まれていたとしても、多数のユーザ2の計測値を統計的に処理することによって、誤検知の影響を軽減しつつ、喜びの感情の解析を行うことができる。このように、イベントの種類によっては、ユーザ2が表出する感情を限定することが可能であるため、多数のユーザ2の計測値を統計的に処理することにより、感情の誤検知の影響を軽減することができる。
【0101】
<実施形態2>
実施形態1では、イベント制作者が期待値データを作成することとした。実施形態2では、開催済みイベントの過去の計測値データを用いて期待値データを作成する例について説明する。
【0102】
図11を用いて、期待値データの作成処理を説明する。図11は、ひずみ量の計測値の時間的な推移を示すグラフの一例を示す図であり、横軸が時間を示し、縦軸がひずみ量を示す。図11には、ユーザA、ユーザB及びユーザCに貼付されたシール型センサ3により計測されたひずみ量の計測値62、63及び64のそれぞれの時間的推移を示している。ここでは、第1取得部42aが3名のユーザ2の計測値データを取得しているものとする。
【0103】
算出部42cは、ユーザA~Cのひずみ量の計測値の平均値を算出する。図11には、算出した平均値65の時間的な推移を示している。算出部42cは、算出した平均値65を次回のイベント開催時におけるひずみ量の期待値とする期待値データを作成し、当該期待値データを記憶部43に書き込む。これにより、次回のイベント開催時におけるひずみ量の計測値とひずみ量の期待値との類似度を算出する際には、第2取得部42bがひずみ量の期待値を示す期待値データを記憶部43から読み出し、算出部42cが読み出した期待値データを用いて類似度を算出する。
【0104】
以上説明したように、本開示の実施形態2によると、効率的かつ自動的に期待値データを作成することができる。これにより、例えば、同じ内容のコンテンツが繰り返し実行されるイベント(例えば、映画、演劇、コンサート、テーマパークのアトラクション)において、過去にユーザ2が示した反応をイベント制作者の意図として、イベント制作者の意図に基づくイベント参加者の感情を解析することができる。
【0105】
<実施形態3>
ユーザ2を驚かす又はユーザ2を笑わすなどの感覚刺激の提示を行ってからユーザ2が驚く又は笑うといった行動による反応が生じるまでには時間がかかる。実施形態3では、このような反応時間を考慮して物理量の計測値及び期待値の類似度を算出する例について説明する。
【0106】
図12A及び図12Bを用いて、反応時間を考慮した物理量の計測値及び期待値の類似度の算出方法について説明する。
図12Aは、ひずみ量の計測値及びひずみ量の期待値の時間的推移を示すグラフの一例を示す図であり、横軸が時間を示し、縦軸がひずみ量を示す。期待値61は、ひずみ量の期待値の時間的推移を示す。図12Aには、ユーザDに貼付されたシール型センサ3により計測されたひずみ量の計測値66の時間的推移を示す。
【0107】
算出部42cは、ひずみ量の計測値及び期待値の類似度を算出する際、計測時刻及び期待時刻の一方を所定の反応時間Δだけずらした上で類似度を算出する。ここで、反応時間Δはあらかじめ設定されているものとする。
【0108】
図12Bは、ひずみ量の計測値及びひずみ量の期待値の時間的推移を示すグラフの一例を示す図であり、横軸が時間を示し、縦軸がひずみ量を示す。図12Bでは、図12Aに示したひずみ量の期待値61を反応時間Δだけ時間的に後ろにずらしている。これにより、計測時刻t+Δに計測されたひずみ量の計測値が、イベント制作者により設定された期待時刻tにおけるひずみ量の期待値と対応付けられたうえで、実施形態1と同様にひずみ量の計測値及び期待値の類似度が算出される。
【0109】
以上説明したように、本開示の実施形態3によると、ユーザ2の反応時間をあらかじめ想定した上で物理量の計測値及び物理量の期待値の類似度を算出することができる。何らかの事象の変化がユーザの感情の表出につながるが、事象が変化してから感情の表出までの間には時間がかかる。例えば、お化け屋敷などのアトラクションにおいて、ユーザを驚かす事象が発生した場合には、その事象が発生してから顔の筋肉が震えるなどの感情の表出までの間には時間がかかる。同様に、お笑いライブショーなどのライブイベントにおいて、漫才師がユーザを笑わせる事象が発生した場合には、その事象が発生してから感情の表出までの間には時間がかかる。この時間を反応時間として事前に設定しておくことで、事象の発生時刻を期待時刻として設定したとしても反応時間を考慮した上で上記類似度を正確に算出することができる。
【0110】
<実施形態4>
映画などの映像コンテンツの再生や、特定の乗り物に乗って所定速度でユーザ2が移動するライド型アトラクションなどのイベントにおいては、ユーザ2の感情の変化を引き起こす事象の発生時刻が、イベント制作者が事前に設定した発生時刻と大きくずれる可能性は低い。これに対し、音楽コンサートやお笑いライブショーなどのライブイベントにおいては、このような発生時刻のずれが生じる可能性が高い。実施形態4では、ライブイベントのように事象の発生時刻にずれが生じる場合であっても、ユーザ2の感情を解析する例について説明する。
【0111】
図13A及び図13Bを用いて、事象の発生時刻のずれを考慮した物理量の計測値及び期待値の類似度の算出方法について説明する。
図13Aは、ひずみ量の計測値及びひずみ量の期待値の時間的推移を示すグラフの一例を示す図であり、横軸が時間を示し、縦軸がひずみ量を示す。図13Aには、ひずみ量の期待値61の時間的推移を示している。また、図13Aには、ユーザEに貼付されたシール型センサ3により計測されたひずみ量の計測値67の時間的推移を示している。
【0112】
算出部42cは、時間区間ごとにひずみ量の計測値及び期待値の類似度を算出する際、計測時刻及び期待時刻の一方を所定時間(例えば、1秒)ずつずらしながら類似度を算出し、類似度が最大となるときの計測時刻と期待時刻とのずれ時間を算出する。ただし、計測時刻又は期待時刻をずらすことが可能な時間範囲は事前に設定されているものとする。例えば、計測時刻は、前後10秒間の時間範囲内でしかずらすことができないものとする。
【0113】
図13Bは、ひずみ量の計測値及びひずみ量の期待値の時間的推移を示すグラフの一例を示す図であり、横軸が時間を示し、縦軸がひずみ量を示す。図13Bでは、図13Aに示したひずみ量の計測値67を時間TLだけ時間的に前にずらしている。これにより、計測時刻t+TLに計測されたひずみ量の計測値が、イベント制作者により設定された期待時刻tにおけるひずみ量の期待値と対応付けられたうえで、ひずみ量の計測値及び期待値の類似度が算出される。
【0114】
例えば、図13Aに示すように、時間区間T1について、ひずみ量の計測値との間の類似度が最大となるひずみ量の期待値のずれ時間TLは0である。
【0115】
他方、図13A及び図13Bに示すように、時間区間T2について、ひずみ量の計測値と期待値との類似度を算出する際には、計測値67を時間的に前にずらすことにより、類似度が最大となる。つまり、時刻t5に計測されたひずみ量の計測値と期待時刻t3のひずみ量の期待値とが対応付けられるように計測値67をずらした場合に、期待値61と計測値67の類似度が最大となる。このため、算出部42cは、期待時刻t3におけるひずみ量の期待値に対する計測値のずれ時間はTL(=t5-t3)であると算出する。算出部42cは、算出したずれ時間TLを時間区間T2及びユーザEの識別情報と対応付けて記憶部43に書き込んでもよい。また、算出部42cは、時間TLだけずらしたときの類似度を記憶部43に書き込んでもよい。また、算出部42cは、これらのデータを外部に出力してもよい。
【0116】
以上説明したように、本開示の実施形態4によると、イベント制作者の意図する期待時刻とずれた時刻にユーザ2が感情を表出した場合に、その時刻の差(ずれ時間)を算出することができる。例えば、音楽コンサートにおいて演奏時間がイベント制作者の意図よりも長くなるなど、イベントの時間長が当初予定していた時間長からずれる場合がある。このような場合であっても、計測時刻及び期待時刻の一方をずらすことにより類似度が最大となるときの計測時刻及び期待時刻の差を算出することができる。これにより、イベント制作者は、計測時刻のずれを知ることができる。また、計測時刻のずれを考慮することで、イベント制作者の意図に基づくイベント参加者の感情をより正確に解析することができる。
【0117】
<実施形態5>
感情表出の態様はユーザ2によって様々である。例えば、内心では大笑いをしているにもかかわらず、感情が出にくいユーザ2は感情が出やすいユーザ2に比べて表情の変化が乏しく、これに伴いひずみ量が小さい。このため、各ユーザ2のひずみ量のばらつきを抑えた上で感情を解析することにより、より正確な感情解析を行うことが期待できる。このため、本開示の実施形態5では、ユーザ2間のひずみ量のばらつき抑制のために、各ユーザ2のひずみ量の計測値を正規化する方法について説明する。
【0118】
図14A及び図14Bを用いて、ひずみ量の計測値を正規化する方法について説明する。
図14Aは、正規化前のひずみ量の計測値及びひずみ量の期待値の時間的推移を示すグラフの一例を示す図であり、横軸が時間を示し、縦軸がひずみ量を示す。図14Aには、ひずみ量の期待値61の時間的推移を示している。また、図14Aには、ユーザFに貼付されたシール型センサ3により計測されたひずみ量の計測値68の時間的推移を示している。
【0119】
サーバ4の算出部42cは、例えば連続する3つの時間区間T1~T3のそれぞれについて、期待値61の最大値と計測値68の最大値との差の絶対値d1~d3をそれぞれ計算する。なお、時間区間T1~T3の算出方法は、実施形態1に示した通りである。
【0120】
算出部42cは、絶対値d1~d3の最小値を算出する。ここでは、絶対値d3が最小値である。算出部42cは、最小値d3が0となるように、計測値68を正規化する。つまり、算出部42cは、絶対値の最小値に対応する時間区間Tmin(ここでは、最小値d3に対応する時間区間T3)を特定し、以下の式3に従い、計測値68を正規化する。
NM(t)=M(t)×max(E(t))/max(M(t)) …(式3)
【0121】
ここで、M(t)は正規化前の計測値68を示し、NM(t)は正規化後の計測値を示す。max(E(t))は、時間区間Tmin(時間区間T3)における期待値61の最大値を示し、max(M(t))は、時間区間Tmin(時間区間T3)における計測値68の最大値を示す。
【0122】
図14Bは、正規化後のひずみ量の計測値及びひずみ量の期待値の時間的推移を示すグラフの一例を示す図であり、横軸が時間を示し、縦軸がひずみ量を示す。図14Bには、ひずみ量の期待値61の時間的推移を示している。また、図14Bには、図14Aに示したひずみ量の計測値68を正規化した後の計測値69の時間的推移を示している。
算出部42cは、正規化後の計測値69に対して、実施形態1から実施形態4で示したように期待値61との類似性を評価する評価値を算出する。
【0123】
以上説明したように、本開示の実施形態5によると、感情の出方の異なる複数のユーザ2について計測値を正規化することができるため、複数のユーザ2間で類似性を示す評価値を精度よく比較することが可能になる。
【0124】
なお、正規化する際に3つの時間区間T1~T3を用いたが、時間区間の数は3に限定されるものではない。例えば、イベントの開始から終了までの間に存在するすべての時間区間を用いて正規化を行ってもよいし、特定の時間帯における時間区間を用いて正規化を行ってもよい。
【0125】
また、実施形態5では、計測値68を正規化したが、期待値61を正規化してもよい。例えば、上述の例では、算出部42cは、最小値d3が0となるように、期待値61を正規化してもよい。
【0126】
また、計測値68及び期待値61の両方を正規化してもよい。例えば、上述の例では、算出部42cは、最小値d3に対応した時間区間T3において、期待値61の最大値と計測値68の最大値とが、あらかじめ定められた値に一致するように、計測値68及び期待値61の両方を正規化してもよい。
【0127】
<実施形態6>
実施形態1から実施形態5では、計測値データ及び期待値データに計測時刻及び期待時刻がそれぞれ含まれる例を説明したが、実施形態6では、計測値データ及び期待値データに計測場所及び期待場所がそれぞれ含まれる例について説明する。
【0128】
図15は、アトラクションの一例を示す図である。ここでは、アトラクションとしてお化け屋敷を想定する。図15は、お化け屋敷を上方から見た模式図を示している。お化け屋敷70の内部には複数の壁72が設置され、ユーザ2は、入口からお化け屋敷70の内部に進入し、出口まで通路71を歩行する。通路の途中には、事象発生場所73が事前に設定されている。事象発生場所73とは、ユーザ2の感情の変化を引き起こすための事象を発生させる場所であり、例えば、事象発生場所73には、ユーザ2を驚かすための仕掛けが設置される。
【0129】
また、事象発生場所73の近傍には、事象発生場所73でのユーザ2のひずみ量を取得するためにアクセスポイント7が設置されているものとする。通信可能範囲74は、アクセスポイント7による通信可能範囲を示しており、通信可能範囲74に事象発生場所73が含まれるようにアクセスポイント7が設置されるのが好ましい。
【0130】
第1取得部42aは、通信部41が受信したひずみ量の計測値と、ひずみ量の計測時刻と、ひずみ量の計測場所と、センサIDとを示す計測値データを記憶部43に記憶する。ここで、ひずみ量の計測場所の情報は、ひずみ量の計測値を受信したアクセスポイント7(例えば、アクセスポイント7のID)又はアクセスポイント7に対応した位置を示す情報である。
【0131】
第2取得部42bが記憶部43から読み出す期待値データには、さらに、期待場所の情報が含まれている。
【0132】
算出部42cは、期待場所と計測場所との照合を行い、両者が一致する計測値データ及び期待値データに基づいて、ひずみ量の計測値及び期待値の類似度を算出する。類似度の算出方法については、実施形態1から実施形態5に示したものと同様である。このため、その詳細な説明はここでは繰り返さない。
【0133】
以上説明したように、本開示の実施形態6によると、あらかじめ設定された期待場所において、物理量の期待値とどれくらい一致した物理量をユーザ2が示したかを知ることができる。この物理量は感情と関連している。つまり、期待する感情とどれくらい一致した感情をユーザが示したかを知ることができる。よって、イベント制作者の意図に基づくイベント参加者の感情を解析することができる。
【0134】
<変形例1>
上述の実施形態では、シール型センサ3は、電源部31を備えることとしていたが、外部から供給されるエネルギーにより電力を発生可能な場合には、電源部31を備えていなくてもよい。
【0135】
例えば、サーバ4が、RFID(radio frequency identifier)リーダ/ライタ(中継器)を介して、シール型センサ3と通信を行うこととする。RFIDリーダ/ライタは、電磁波を用いて近距離の無線通信を行う装置の一例である。なお、電磁波を用いて近距離の無線通信を行うことのできる装置であれば、RFIDリーダ/ライタ以外の装置を用いることも可能である。
【0136】
RFIDリーダ/ライタは、ネットワーク6に直接接続されていてもよいし、アクセスポイント7などの他の機器を介して接続されていてもよい。
【0137】
シール型センサ3の無線通信部34は、RFIDリーダ/ライタとの間で電磁波を用いた通信を行うアンテナ(例えば、コイル状アンテナ)を備える。また、無線通信部34は、無線通信部34から受信した電磁波をアンテナで受けて電力を発生させる電源部の役割を有する。無線通信部34が発生した電力はセンサ部32、計時部33及び記憶部39に供給される。
【0138】
<変形例2>
上述の実施形態では、複数のひずみ量を記憶部39に蓄積し、送信タイミングにまとめて送信することとした。しかしながら、ひずみ量の計測タイミングと送信タイミングとが等しい場合、又はひずみ量の計測周期と送信周期とが等しい場合には、シール型センサ3は、ひずみ量の計測のたびに、ひずみ量を記憶部39に蓄積することなくサーバ4に送信してもよい。
【0139】
これにより、ひずみ量を記憶するための記憶部39の記憶領域を削減したり、シール型センサ3に記憶部39を設ける必要がなくなる。
【0140】
[付記]
以上、本開示の実施形態に係る感情解析システム1について説明したが、本開示は、この実施形態に限定されるものではない。
【0141】
たとえば、上記の各装置を構成する構成要素の一部又は全部は、1又は複数のシステムLSIなどの半導体装置から構成されていてもよい。システムLSIは、複数の構成部を1個のチップ上に集積して製造された超多機能LSIであり、具体的には、マイクロプロセッサ、ROM、RAMなどを含んで構成されるコンピュータシステムである。RAMには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、システムLSIは、その機能を達成する。
【0142】
上記したコンピュータプログラムを、コンピュータ読取可能な非一時的な記録媒体、例えば、HDD、CD-ROM、半導体メモリなどに記録して流通させてもよい。また、コンピュータプログラムを、電気通信回線、無線又は有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送して流通させてもよい。
【0143】
また、サーバ4は、複数のプロセッサ又は複数のコンピュータにより実現されてもよい。
【0144】
また、サーバ4の一部又は全部の機能がクラウドコンピューティングによって提供されてもよい。つまり、サーバ4の一部又は全部の機能がクラウドサーバにより実現されていてもよい。
【0145】
また、センサ部32は、筋電センサでもよい。筋電センサとは、筋肉で発生する微弱な電場の変化を検出するセンサである。
【0146】
さらに、上記実施形態及び上記変形例の少なくとも一部を任意に組み合わせてもよい。
【0147】
今回開示された実施形態はすべての点で例示であって制限的なものではないと考えられるべきである。本開示の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。
【符号の説明】
【0148】
1 感情解析システム
2 ユーザ
3 シール型センサ
3A 接着層
3B 回路層
3C 印刷層
3D 剥離シート
4 サーバ
6 ネットワーク
7 アクセスポイント
31 電源部
32 センサ部
33 計時部
34 無線通信部
38 ゲージ
39 記憶部
41 通信部
42 処理部
42a 第1取得部
42b 第2取得部
42c 算出部
43 記憶部
61 期待値
62 計測値
63 計測値
64 計測値
65 平均値
66 計測値
67 計測値
68 計測値
70 屋敷
71 通路
72 壁
73 事象発生場所
74 通信可能範囲
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12A
図12B
図13A
図13B
図14A
図14B
図15