特開2017-225489(P2017-225489A)IP Force 特許公報掲載プロジェクト 2015.5.11 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ソニー株式会社の特許一覧
特開2017-225489情報処理装置、情報処理方法及びプログラム
<>
  • 特開2017225489-情報処理装置、情報処理方法及びプログラム 図000005
  • 特開2017225489-情報処理装置、情報処理方法及びプログラム 図000006
  • 特開2017225489-情報処理装置、情報処理方法及びプログラム 図000007
  • 特開2017225489-情報処理装置、情報処理方法及びプログラム 図000008
  • 特開2017225489-情報処理装置、情報処理方法及びプログラム 図000009
  • 特開2017225489-情報処理装置、情報処理方法及びプログラム 図000010
  • 特開2017225489-情報処理装置、情報処理方法及びプログラム 図000011
  • 特開2017225489-情報処理装置、情報処理方法及びプログラム 図000012
  • 特開2017225489-情報処理装置、情報処理方法及びプログラム 図000013
  • 特開2017225489-情報処理装置、情報処理方法及びプログラム 図000014
  • 特開2017225489-情報処理装置、情報処理方法及びプログラム 図000015
  • 特開2017225489-情報処理装置、情報処理方法及びプログラム 図000016
  • 特開2017225489-情報処理装置、情報処理方法及びプログラム 図000017
  • 特開2017225489-情報処理装置、情報処理方法及びプログラム 図000018
  • 特開2017225489-情報処理装置、情報処理方法及びプログラム 図000019
  • 特開2017225489-情報処理装置、情報処理方法及びプログラム 図000020
  • 特開2017225489-情報処理装置、情報処理方法及びプログラム 図000021
  • 特開2017225489-情報処理装置、情報処理方法及びプログラム 図000022
  • 特開2017225489-情報処理装置、情報処理方法及びプログラム 図000023
  • 特開2017225489-情報処理装置、情報処理方法及びプログラム 図000024
  • 特開2017225489-情報処理装置、情報処理方法及びプログラム 図000025
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】特開2017-225489(P2017-225489A)
(43)【公開日】2017年12月28日
(54)【発明の名称】情報処理装置、情報処理方法及びプログラム
(51)【国際特許分類】
   A61B 5/05 20060101AFI20171201BHJP
   A61B 5/16 20060101ALI20171201BHJP
【FI】
   A61B5/05 C
   A61B5/16
【審査請求】未請求
【請求項の数】20
【出願形態】OL
【全頁数】36
(21)【出願番号】特願2016-121737(P2016-121737)
(22)【出願日】2016年6月20日
(71)【出願人】
【識別番号】000002185
【氏名又は名称】ソニー株式会社
(74)【代理人】
【識別番号】100095957
【弁理士】
【氏名又は名称】亀谷 美明
(74)【代理人】
【識別番号】100096389
【弁理士】
【氏名又は名称】金本 哲男
(74)【代理人】
【識別番号】100101557
【弁理士】
【氏名又は名称】萩原 康司
(74)【代理人】
【識別番号】100128587
【弁理士】
【氏名又は名称】松本 一騎
(72)【発明者】
【氏名】吉川 清士
(72)【発明者】
【氏名】佐塚 直也
(72)【発明者】
【氏名】脇田 能宏
【テーマコード(参考)】
4C038
4C127
【Fターム(参考)】
4C038VA04
4C038VB02
4C038VB12
4C038VB14
4C038VB31
4C038VC20
4C127AA01
4C127AA07
4C127GG15
(57)【要約】
【課題】自律神経の活動状態の推定精度を高く維持すること。
【解決手段】本技術に係る情報処理装置は、発汗センサにより取得される発汗データに含まれるノイズを、上記発汗センサとは異なる種類のセンサにより取得されたセンサデータに基づいて特定し、上記ノイズを前記発汗データから除去する補正処理を含む処理を行う処理部を備える。かかる技術により、上記発汗データから他のセンサデータにより推定されるノイズを除去することができ、後処理である自律神経の活動状態の推定精度を高く維持することが可能となる。
【選択図】図3
【特許請求の範囲】
【請求項1】
発汗センサにより取得される発汗データに含まれるノイズを、前記発汗センサとは異なる種類のセンサにより取得されたセンサデータに基づいて特定し、前記ノイズを前記発汗データから除去する補正処理を含む処理を行う処理部を備える、情報処理装置。
【請求項2】
前記処理部は、前記ノイズと前記発汗データおよび/または前記センサデータとの関係を示すノイズモデルを用いて、前記発汗データを補正する、請求項1に記載の情報処理装置。
【請求項3】
前記ノイズモデルは、前記発汗データ、当該発汗データの取得と同時に取得される前記センサデータ、および前記処理の結果を用いた機械学習により生成される、請求項2に記載の情報処理装置。
【請求項4】
前記ノイズモデルは、前記発汗データに対応する個体に関連付けられているノイズモデルである、請求項2に記載の情報処理装置。
【請求項5】
前記ノイズモデルは、前記処理部による処理の結果に対するユーザの入力により取得されるフィードバックに係る情報を用いて更新される、請求項2に記載の情報処理装置。
【請求項6】
前記処理部は、前記処理として、さらに、補正後の発汗データから、精神性発汗に由来する精神性発汗データを抽出する抽出処理を含む、請求項1に記載の情報処理装置。
【請求項7】
前記処理部は、前記抽出処理に用いられるパラメータと前記補正後の発汗データおよび/または前記センサデータとの関係を示す抽出モデルを用いて、前記精神性発汗データを抽出する、請求項6に記載の情報処理装置。
【請求項8】
前記処理部は、前記処理として、さらに、抽出された前記精神性発汗データに基づいて、前記発汗データに対応する個体の自律神経の活動状態を推定する推定処理を含む、請求項6に記載の情報処理装置。
【請求項9】
前記処理部は、前記精神性発汗データの時系列分布に基づいて、前記自律神経の活動状態を推定する、請求項8に記載の情報処理装置。
【請求項10】
前記処理部は、前記推定処理に用いられるパラメータと前記精神性発汗データおよび/または前記センサデータとの関係を示す活動状態推定モデルを用いて、前記発汗データに対応する個体の前記自律神経の活動状態を推定する、請求項8に記載の情報処理装置。
【請求項11】
前記抽出処理は、前記補正後の発汗データから、温熱性発汗に由来する温熱性発汗データをさらに抽出する処理を含み、
前記推定処理は、抽出された前記温熱性発汗データを用いて、前記発汗データに対応する個体の前記自律神経の活動状態を推定する処理を含む、請求項8に記載の情報処理装置。
【請求項12】
前記自律神経の活動状態は、交感神経の活動状態を含む、請求項8に記載の情報処理装置。
【請求項13】
前記自律神経の活動状態の推定結果に応じた出力を制御する出力制御部をさらに備える、請求項8に記載の情報処理装置。
【請求項14】
前記処理部は、前記発汗データの取得と同時に取得される前記センサデータに基づいて前記処理を行う、請求項1に記載の情報処理装置。
【請求項15】
前記発汗センサが装着または付着されている個体に係るコンテキストを取得するコンテキスト取得部をさらに備え、
前記処理部は、前記コンテキストをさらに用いて前記処理を行う、請求項1に記載の情報処理装置。
【請求項16】
前記発汗センサとは異なる種類のセンサは、個体に装着または付着される少なくとも一のセンサを含む、請求項1に記載の情報処理装置。
【請求項17】
前記個体に装着または付着されるセンサは、前記個体の生体情報を検知する生体センサおよび/または前記個体の動きを検知するトラッキングセンサを含む、請求項16に記載の情報処理装置。
【請求項18】
前記発汗センサとは異なる種類のセンサは、所定の空間に係る環境情報を取得する少なくとも一のセンサを含む、請求項1に記載の情報処理装置。
【請求項19】
プロセッサが、
発汗センサにより取得された発汗データを取得することと、
前記発汗センサとは異なる種類のセンサにより取得されたセンサデータに基づいて前記発汗データに含まれるノイズを特定し、前記ノイズを前記発汗データから除去することと、
を含む情報処理方法。
【請求項20】
コンピュータを、
発汗センサにより取得される発汗データに含まれるノイズを、前記発汗センサとは異なる種類のセンサにより取得されたセンサデータに基づいて特定し、前記ノイズを前記発汗データから除去する補正処理を含む処理を行う処理部として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、情報処理装置、情報処理方法及びプログラムに関する。
【背景技術】
【0002】
生体の発汗は、主に、緊張、不安、およびストレス等の精神的または心理的な原因により生じる精神性発汗と、体温を適正温度に保つために生じる温熱性発汗とに分けられる。精神性発汗は、交感神経系の緊張または覚醒水準の高さなど、交感神経の活動状態を反映している。そのため、精神性発汗を測定することにより、生体の自律神経、特に交感神経の活動状態を推定することができる。
【0003】
例えば、下記非特許文献1には、発汗により変化する皮膚コンダクタンス反応(Skin Conductance Responses:SCRs)に係るデータ(発汗データ)をトニックな活動データ(温熱性発汗に対応)およびフェージックな活動データ(精神性発汗に対応)に分離するための技術が開示されている。かかる技術により、発汗データから生体の交感神経の活動状態を推定することができる。
【先行技術文献】
【非特許文献】
【0004】
【非特許文献1】Benedek,M. Kaernbach,C.“A continuous measure of phasic electrodermal activity”Journal of Neuroscience Methods,190,(2010),80-91.
【発明の概要】
【発明が解決しようとする課題】
【0005】
上述した精神性発汗が生じ得る部位は、手首、腋、頭または足裏などに限られており、また、これらの部位は、日常生活において体動の比較的大きい部位である。したがって、精神性発汗が生じる部位から取得された発汗データには、体動等の要因によりノイズが多く含まれ得る。このようなノイズが発汗データに含まれると、自律神経の活動状態の推定精度が低下するおそれがある。
【0006】
そこで、本開示では、自律神経の活動状態の推定精度を高く維持することが可能な、新規かつ改良された情報処理装置、情報処理方法およびプログラムを提案する。
【課題を解決するための手段】
【0007】
本開示によれば、発汗センサにより取得される発汗データに含まれるノイズを、上記発汗センサとは異なる種類のセンサにより取得されたセンサデータに基づいて特定し、上記ノイズを上記発汗データから除去する補正処理を含む処理を行う処理部を備える、情報処理装置が提供される。
【0008】
また、本開示によれば、プロセッサが、発汗センサにより取得された発汗データを取得することと、上記発汗センサとは異なる種類のセンサにより取得されたセンサデータに基づいて上記発汗データに含まれるノイズを特定し、上記ノイズを上記発汗データから除去することと、を含む情報処理方法が提供される。
【0009】
また、本開示によれば、コンピュータを、発汗センサにより取得される発汗データに含まれるノイズを、上記発汗センサとは異なる種類のセンサにより取得されたセンサデータに基づいて特定し、上記ノイズを上記発汗データから除去する補正処理を含む処理を行う処理部として機能させるためのプログラムが提供される。
【発明の効果】
【0010】
以上説明したように本開示によれば、自律神経の活動状態の推定精度を高く維持することが可能である。
【0011】
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
【図面の簡単な説明】
【0012】
図1】本開示の一実施形態に係る情報処理システムの概要を説明するための図である。
図2】精神性発汗が生じる部位の例を示す概要図である。
図3】同実施形態に係る情報処理システムの構成例を示すブロック図である。
図4】環境センサとして用いられる温度センサにより生成された温度センサデータの一例を示す図である。
図5】同実施形態に係る制御部の機能構成例を示すブロック図である。
図6】発汗センサおよび加速度センサにより測定される測定値の時系列変化を示すグラフの一例である。
図7】補正前の発汗データを示すグラフである。
図8】補正後の発汗データを示すグラフである。
図9】同実施形態に係る抽出部により抽出された精神性発汗データおよび温熱性発汗データの抽出結果の一例を示すグラフである。
図10】精神性発汗データの時系列分布に基づく交感神経の推定方法の一例を説明するための図である。
図11】同実施形態に係る情報処理装置による処理の流れの一例を示すフローチャートである。
図12】第1の応用例における情報処理装置を装着するユーザの第1の状態を示す図である。
図13】ユーザの第1の状態に対応する推定結果を利用した表示の一例を示す図である。
図14】第1の応用例における情報処理装置を装着するユーザの第2の状態を示す図である。
図15】ユーザの第2の状態に対応する推定結果を利用した表示の一例を示す図である。
図16】第1の応用例における情報処理装置を装着するユーザの第3の状態を示す図である。
図17】ユーザの第3の状態に対応する推定結果を利用した表示の一例を示す図である。
図18】第2の応用例の適用状況の一例を示す図である。
図19】交感神経の活動状態の推定結果を用いた眠気検知処理の一例を示す図である。
図20】各種モデルの複数の情報処理装置間での共有利用について説明するための概要図である。
図21】本開示の一実施形態に係る情報処理装置のハードウェア構成例を示すブロック図である。
【発明を実施するための形態】
【0013】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【0014】
なお、説明は以下の順序で行うものとする。
1.システムの概要
2.本実施形態に係る情報処理システム
2.1.システム構成例および装置構成例
2.2.制御部の構成および機能
2.3.処理の流れ
3.応用例
3.1.作業効率向上のための使用
3.2.眠気検知および刺激付与
3.3.モデルの共有
4.ハードウェア構成例
5.まとめ
【0015】
<<1.システムの概要>>
図1は、本開示の一実施形態に係る情報処理システムの概要を説明するための図である。本実施形態に係る情報処理システムでは、例えば、図1に示すように、ユーザU1(個体の一例)の手首等に腕時計型デバイス10が装着または付着され得る。この腕時計型デバイス10は、後述する情報処理装置10の一例である。当該情報処理システムは、腕時計型デバイス10に備えられている発汗センサにより取得されるユーザU1の皮膚についての発汗データを用いて、ユーザU1の自律神経の活動状態、特に交感神経の活動状態を推定するものである。また、当該情報処理システムは、自律神経の活動状態の推定結果に基づいて、提示D1に記載されているような内容をユーザU1に対し多様な態様(例えば、表示、刺激もしくは音声、またはその組み合わせ)により出力し得る。これにより、ユーザU1は、集中力または覚醒状態など、自分自身の自律神経の活動状態について知ることができる。
【0016】
このような情報処理システムは、ユーザの集中力または覚醒状態を知得することが求められる状況または活動に適用され得る。例えば、図1に示すように、当該情報処理システムは、運動を行うユーザU1の集中力の持続状態を確認するために用いられてもよい。これにより、ユーザU1の運動によるトレーニング効果の効率性を向上させることができる。また、当該情報処理システムは、集中力が必要とされる作業、または長時間にわたって覚醒状態を強いられる作業を行う作業者に対して適用されてもよい。具体的には、勉強もしくはデスクワーク等の思考力が求められる作業、または貨物輸送もしくは高所作業等の安全性および集中力が求められる作業を行う作業者に対して適用されてもよい。
【0017】
また、当該情報処理システムを構成する情報処理装置10の態様は特に限定されない。詳しくは後述するが、精神性発汗に係る発汗データを取得することが可能であれば、本実施形態に係る情報処理装置10は、例えば図1に示したような腕時計型デバイス10に限られず、あらゆる態様により実現され得る。
【0018】
一般的に、自律神経は、交感神経および副交感神経の2つの神経系で構成されている。このような自律神経の活動状態に対する応答として、例えば、下記表1に示すものが挙げられる。以下に示す効果器のうち、瞳孔、唾液腺、血圧または心拍数など、効果器の状態または効果器から分泌される分泌物を測定することにより、自律神経の活動状態(例えば、交感神経がどの程度支配的であるか)をある程度推定することが可能である。
【0019】
【表1】
【0020】
このうち、皮膚の汗腺においては、交感神経が支配的になることにより、発汗量が増加することが知られている。このような発汗は、いわゆる精神性発汗と呼ばれている。精神性発汗は、ストレス、緊張または不安等の精神的または心理的な要因により、交感神経が支配的な状態となっている際にエクリン腺から放出される発汗である。すなわち、精神性発汗は、交感神経系の緊張または覚醒水準の高さなど、交感神経の活動状態を反映するものである。
【0021】
なお、一般的に、体温を調節するために放出される発汗は、温熱性発汗と呼ばれている。当該温熱性発汗は、自律神経の活動状態とは関係なく、生体の体温調整のために、視床下部の体温調節中枢により生じる発汗である。下記表2に、精神性発汗と温熱性発汗との違いを項目ごとに示す。
【0022】
【表2】
【0023】
まず、精神性発汗は、温熱性発汗と比較して、発汗潜時(生体に対する何らかの刺激が与えられてから発汗が生じるまでの時間)が短い。また、精神性発汗は、表1に示した他の効果器による反応の潜時よりも短いことが知られている。したがって、精神性発汗を測定することにより、他の効果器による反応(例えば血圧等)を測定するよりも、より迅速に自律神経の活動状態を推定することが可能になる。すなわち、自律神経の活動状態をリアルタイムに反映することが可能となる。
【0024】
一方、温熱性発汗は、基本的に全身の皮膚において生じ得るのに対し、精神性発汗は、手(手首、手指、手掌等)、頭、足底または腋等の局所的な部位において生じ得る。また、精神性発汗による発汗量は微量である。そのため、後述する発汗センサを用いて精神性発汗を検知したい場合は、このような部位に当該発汗センサを接触させることが求められる。すなわち、本実施形態に係る情報処理装置10は、上述した部位に装着または付着されることが好ましい。
【0025】
図2は、精神性発汗が生じる部位の例を示す概要図である。上述したように、例えば人体における精神性発汗は、手、頭、足底または腋等の局所的な部位において生じ得る。したがって、本実施形態に係る情報処理装置10は、これらの部位に装着または付着されるような態様により実現されることが好ましい。
【0026】
例えば、情報処理装置10は、リストバンド、手袋、活動量計、スマートウォッチまたは指輪など、ユーザの手の一部分に装着可能な態様に実現されてもよい。また、情報処理装置10が手に付着される場合、当該情報処理装置10は、例えば、ユーザの行う作業に係る物に備えられる形態であってもよい。具体的には、当該情報処理装置10は、携帯端末、スマートフォン、タブレット、マウス、キーボード、ハンドル、レバー、カメラ、運動用具(ゴルフクラブ、テニスラケット、アーチェリー等)または筆記用具など、手と接触し得る物の表面または内部に設けられてもよい。
【0027】
また、当該情報処理装置10は、帽子、ヘアバンド(鉢巻)、アクセサリ、ゴーグルまたは眼鏡など、ユーザの頭の一部分に装着される物に可能な態様に実現されてもよい。また、情報処理装置10は、スポーツウェア等の衣服、靴下、防具または靴等に設けられてもよい。この場合、当該情報処理装置10は、衣服または靴のうち、ユーザの腋または足底に付着し得る部分に設けられ得る。
【0028】
すなわち、情報処理装置10は、上述した精神性発汗が生じる部位に対して接触可能に設けられるのであれば、情報処理装置10を実現する態様は特に限定されない。かかる情報処理装置10により、精神性発汗が主に由来する発汗データを発汗センサにより取得することができる。
【0029】
しかし、発汗センサにより取得される発汗データには、精神性発汗に由来する発汗データおよび温熱性発汗に由来する発汗データが混在することが多い。生体の自律神経の活動状態を精度高く推定するためには、当該発汗データから精神性発汗に係る発汗データを抽出することが求められる。
【0030】
例えば、上述した非特許文献1(Benedek,M. Kaernbach,C.“A continuous measure of phasic electrodermal activity”Journal of Neuroscience Methods,190,(2010),80-91.)には、発汗により変化する皮膚コンダクタンス反応(SCRs)に係るデータ(発汗データ)をトニックな活動データ(温熱性発汗に対応)およびフェージックな活動データ(精神性発汗に対応)に分離するための技術が開示されている。これにより、発汗データから精神性発汗に係る発汗データを抽出することが可能となる。
【0031】
しかしながら、上述した精神性発汗が生じる部位は、頭、腋、手および足底など、体動の影響が発汗センサによる測定に対して及びやすい。すなわち、当該部位について取得された発汗データにはノイズが多く含まれ得る。このようなノイズを含む発汗データから精神性発汗に係る発汗データを精度高く抽出することは困難である。したがって、このようなノイズが発汗データに含まれると、自律神経の活動状態の推定精度が低下するおそれがある。
【0032】
そこで、本実施形態に係る情報処理システムは、発汗データに含まれるノイズを除去し、発汗データを補正することで、自律神経の活動状態の推定精度を向上させることを可能とする。具体的には、本実施形態に係る情報処理システムは、発汗センサとは異なる種類のセンサにより取得されたセンサデータに基づいて、発汗データに含まれるノイズを除去する。
【0033】
しかしながら、発汗データのみから、当該発汗データに含まれているノイズを特定することは困難である。そこで、発汗データとは異なる少なくとも1種類のセンサデータを利用する。これにより、発汗センサに与えられる外乱を特定することが可能となるので、発汗データに含まれるノイズを特定することができる。
【0034】
以上、本実施形態に係る情報処理システムの概要について説明した。
【0035】
<<2.本実施形態に係る情報処理システム>>
<2.1.システム構成例および装置構成例>
次に、本開示の一実施形態に係る情報処理システム1の構成例について説明する。図3は、本実施形態に係る情報処理システム1の構成例を示すブロック図である。図3を参照すると、本実施形態に係る情報処理システム1は、情報処理装置10、環境センサ30およびサーバ40を含む。
【0036】
(情報処理装置)
情報処理装置10は、ユーザに装着または付着される装置の一例である。図1では、情報処理装置10の例として、腕時計型デバイス10が示されているが、上述したように、情報処理装置10は、多様な態様により実現され得る。情報処理装置10は、処理回路、記憶装置、通信装置、および入出力装置等を含み得る。また、情報処理装置は、各種センサを含み得る。
【0037】
図3を参照すると、本実施形態に係る情報処理装置10は、発汗センサ11、生体センサ12、トラッキングセンサ13、入出力デバイス14、制御部20、通信部21、および記憶部22を備える。
【0038】
(発汗センサ)
発汗センサ11は、皮膚の汗腺(例えば、エクリン腺)から分泌される汗を検知するセンサである。発汗によって、皮膚は、電気が通りやすい状態となる。したがって、皮膚の電気活動状態(Electro Dermal Activity:EDA)を取得することにより、発汗を検知することができる。発汗センサ11は、取得するEDAに基づいて発汗データを生成する。生成された発汗データは、制御部20に出力される。本実施形態に係る発汗センサ11は、皮膚に微弱な電流を流して電気抵抗値を測定し、当該電気抵抗値の逆数として皮膚コンダクタンス(Skin Conductance Activity:SCA)を算出し得る。すなわち、SCAが発汗データとなる。なお、発汗センサ11は、SCAを算出するものに限られず、皮膚電位(Skin Potential Activity:SPA)を算出するものであってもよい。
【0039】
発汗センサ11は、例えば、情報処理装置10を格納する筐体の表面近傍に設けられ得る。これにより、発汗センサ11が皮膚と密に接触するので、連続的に発汗データを生成することができる。このような発汗センサ11は非侵襲であるため、被測定者であるユーザの負担が少ない。ただし、発汗センサ11は、予めユーザの皮下等に埋め込まれたものであってもよい。また、発汗センサ11の消費電力は比較的小さいため、長時間にわたって使用することが可能である。また、発汗センサ11のサンプリングレートは他のセンサよりも低い(数Hz程度)ため、取得される発汗データの処理に係る負担が小さい。
【0040】
(生体センサ)
生体センサ12は、発汗センサ11とは異なる種類のセンサで、個体に装着または付着されるセンサの一例であり、発汗を除くユーザの生体についての状態(生体情報)を検知し、生体データを生成するセンサである。生体センサ12は、例えば、脈波センサ、心拍センサ、血圧センサまたは体温センサ等であってもよい。かかる生体センサ12により、発汗データとともに、ユーザの生体状態に係る生体データを取得することができる。これらの生体センサ12は、情報処理装置10に1以上設けられ得る。生体センサ12により生成された生体データは、制御部20に出力される。
【0041】
(トラッキングセンサ)
トラッキングセンサ13は、発汗センサ11とは異なる種類のセンサで、個体に装着または付着されるセンサの一例であり、ユーザの体動または移動等の動きを検知し、トラッキングデータを生成するセンサである。トラッキングセンサ13は、例えば、加速度センサ、ジャイロセンサ、気圧センサ、地磁気センサまたはGNSS(Global Navigation Satellite System)受信モジュール等であってもよい。かかるトラッキングセンサ13により、発汗データとともに、ユーザの動きに係るトラッキングデータを取得することができる。これらのトラッキングセンサ13は、情報処理装置10に1以上設けられ得る。トラッキングセンサ13により生成されたトラッキングデータは、制御部20に出力される。
【0042】
なお、上述した生体センサ12およびトラッキングセンサ13は、どちらか一方のみが情報処理装置10に設けられてもよいし、両者が情報処理装置10に設けられてもよい。
【0043】
(入出力デバイス)
入出力デバイス14は、入力装置および出力装置としての機能を有する装置である。入出力デバイス14は、制御部20から出力された情報に応じて所定の態様により出力する機能、および/または、ユーザ等からの入力を受け付ける機能を有する。図3に示したブロック図では、入出力デバイス14は入力機能および出力機能が一体となって情報処理装置10に設けられているが、入出力デバイス14は、入力機能および出力機能がそれぞれ独立した構成により実現されてもよい。
【0044】
入出力デバイス14により発揮される入力機能は、操作体による物理的な操作、音声またはジェスチャ等を受け付ける装置により実現され得る。例えば、入出力デバイス14の入力機能を発揮する手段として、入出力デバイス14は、タッチパネル、ボタン、キーボード、ポインティングスティック、トラックボール、トラックパッド、加速度センサ、ジャイロセンサ、カメラ、LEDセンサまたはマイク等により実現されてもよい。また、入出力デバイス14により発揮される出力機能は、視覚、聴覚または触覚等により認識される態様により出力可能な装置により実現され得る。例えば、入出力デバイス14の出力機能を発揮する手段として、入出力デバイス14は、ディスプレイ(タッチパネルを含む)、LED等の光源、バイブレータ、電極(電気的な刺激を与えるための)またはスピーカ等により実現されてもよい。
【0045】
(制御部)
制御部20は、本実施形態に係る情報処理装置10の動作全般を制御する。制御部20の機能は、情報処理装置10が備えるCPU(Central Processing Unit)等の処理回路により実現される。また、制御部20は、後掲する図5に示すように、処理部210、コンテキスト取得部220、出力制御部230、フィードバック部240の各機能を含み、本実施形態に係る情報処理装置10の動作を主導的に行う。制御部20に含まれる各機能部の有する機能については後述する。
【0046】
(通信部)
通信部21は、情報処理装置10が備える通信手段であり、ネットワークを介して(あるいは直接的に)、外部装置と無線または有線により各種通信を行う。通信部21の機能は、情報処理装置10が備える通信装置により実現される。例えば、通信部21は、ネットワークNWを介して、環境センサ30およびサーバ40と通信を行う。これにより、環境センサ30により生成された環境センサデータ、およびサーバ40に格納されている各種モデルを取得することができる。また、通信部21は、図3に図示されていない他の装置と通信を行ってもよい。
【0047】
(記憶部)
記憶部22は、情報処理装置10が備える記憶手段であり、通信部21により取得された情報、または制御部20の有する各機能部により得られた情報等を記憶する。例えば、記憶部22は、サーバ40に格納されている各種モデルを記憶してもよい。また、記憶部22は、制御部20の有する各機能部、または通信部21からの要求に応じて、記憶されている情報を適宜出力する。
【0048】
以上、情報処理装置10の有する各機能部および装置について説明した。
【0049】
(環境センサ)
環境センサ30は、発汗センサ11とは異なる種類のセンサで、所定の空間に係る環境情報を取得するセンサの一例である。本実施形態に係る環境センサ30は、ユーザが存在している空間の任意の位置に設けられ、当該空間の環境についての状態を検知して、環境センサデータを生成するセンサである。環境センサ30により生成された環境センサデータは、ネットワークNWを介して(または直接的に)情報処理装置10に出力される。
【0050】
環境センサ30は、例えば、温度センサ、湿度センサ、気圧センサ、人感センサ、照度センサまたは音センサ(マイク)であってもよい。図4は、環境センサ30として用いられる温度センサにより生成された温度センサデータの一例を示す図である。環境センサ30として用いられる温度センサは、図4に示すように、単に所定の空間内の気温を測定するだけではなく、所定の対象物の温度の分布(サーモグラフィ)を、センサデータとして取得してもよい。これにより、例えば、ユーザの身体の各部位における温度を詳細に取得することができる。そうすると、詳しくは後述するが、発汗データの補正等の処理の精度をより向上させることが可能となる。
【0051】
また、環境センサ30は、いわゆるIoT(Internet of Things:モノのインターネット)機器に用いられているセンサであってもよい。例えば、環境センサ30は、ドアまたは窓の開閉状態または施錠状態を検知するセンサであってもよいし、勤怠管理等に用いられる認証機器等であってもよい。この場合、環境センサ30から出力される環境センサデータは、当該開閉状態または施錠状態を示すデータ、または、認証結果等であってもよい。
【0052】
他にも、環境センサ30は、本実施形態に係る情報処理システムが適用される状況において情報処理装置10の外部に設けられている多様なセンサまたはセンシング可能な装置であってもよい。例えば、当該システムが自動車等の輸送機器に用いられる場合、環境センサ30は、速度計、タコメータ、ブレーキ出力計、距離計、ドライブレコーダまたはステアリングに備えられるポテンショメータ等であってもよい。
【0053】
(サーバ)
サーバ40は、ネットワーク上の一または複数の情報処理装置によって構成される。サーバ40を構成する情報処理装置は、処理回路と、記憶装置と、通信装置を含み得る。図3は、サーバ40がクラウドの形態で示したサーバ群により実現される例を示しているが、サーバ40は、特定のサーバにより実現されてもよい。サーバ40は、ノイズモデル41、抽出モデル42および活動状態推定モデル43の各種モデルを格納する。これらのモデルは、後述する処理部210による各処理において用いられ得る。サーバ40は、情報処理装置10からの指示に応じて各種モデルを情報処理装置10に出力し、また、情報処理装置10により更新され、または新たに生成される各種モデルを取得し得る。
【0054】
なお、サーバ40に格納されている各種モデルは、情報処理装置10の記憶部22に格納されていてもよい。
【0055】
<2.2.制御部の構成および機能>
次に、制御部20の構成および機能について説明する。図5は、本実施形態に係る制御部20の機能構成例を示すブロック図である。図5を参照すると、制御部20は、処理部210、コンテキスト取得部220、出力制御部230およびフィードバック部240を備える。
【0056】
(処理部)
処理部210は、取得した発汗データに基づいて、交感神経の活動状態を推定する処理を行う機能を有する。本実施形態に係る処理部210は、主として、発汗データからノイズを除去する補正処理、発汗データから精神性発汗に係るデータ(精神性発汗データ)を抽出する抽出処理、および抽出された精神性発汗データから交感神経の活動状態を推定する状態推定処理を行う。これらの処理は、図5に示すように、処理部210に含まれる補正部211、抽出部212および推定部213の各構成要素の有する機能により行われる。以下、補正部211、抽出部212および推定部213の有する機能について説明する。
【0057】
(補正部)
補正部211は、発汗データに含まれるノイズを除去することにより当該発汗データを補正する機能を有する。具体的には、補正部211は、発汗センサ11とは異なる種類のセンサにより取得されたセンサデータに基づいて、当該発汗データに含まれるノイズを特定し、当該ノイズを当該発汗データから除去する補正処理を行う。ここで、異なる種類のセンサとは、図3に示した生体センサ12、トラッキングセンサ13または環境センサ30を意味する。また、センサデータとは、これらのセンサにより測定された測定値等を意味する。
【0058】
上述したように、精神性発汗が生じる部位は、手または足底など、体動の大きい部位である。そのため、当該部位に装着または付着される発汗センサ11により取得される発汗データには、体動または皮膚の変形等の影響で多くのノイズが含まれ得る。しかし、このようなノイズを発汗データの時系列変化のみを捉えることにより特定することは困難である。
【0059】
そこで、本実施形態に係る補正部211は、ノイズの要因となり、身体の状態または運動により生じ得る外乱を、発汗センサ11以外の種類のセンサ(例えば、生体センサ12、トラッキングセンサ13、環境センサ30)により取得されるセンサデータに基づいて特定することにより、発汗データのノイズを除去する。他のセンサデータから外乱を特定することにより、発汗データにおいて生じたと考えられ得るノイズが特定され、かかるノイズを除去することができる。これにより、発汗データの精度を向上させることができる。
【0060】
まず、補正部211は、発汗データに含まれるノイズを特定する処理を行う。以下、発汗データに含まれるノイズを特定するための一例を説明する。ここでは、被測定者の手首に発汗センサおよび加速度センサ(トラッキングセンサ13の一例)を装着し、各センサにより測定される測定値を時系列に取得した結果を示す。図6は、発汗センサおよび加速度センサにより測定される測定値の時系列変化を示すグラフの一例である。図6に示されているグラフDat01は、EDA(発汗データの一例)(単位:μS)の測定値の時系列変化を示すグラフであり、グラフDat02は、発汗データと同時に加速度センサにより測定された加速度(単位:m/s)の測定値の時系列変化を示すグラフである。横軸は、時間(単位:sec)を示す。
【0061】
図6のグラフDat02を参照すると、時刻T1において、加速度の測定値の急峻な変化が観測されている。また、時刻T2においても、時刻T1における測定値の変化よりは小さいが、加速度の測定値の振動が観測されている。これらの測定値の変化は、被測定者が腕を動かしたことにより、生じたものである。そして、当該時刻T1およびT2において、グラフDat01にも測定値の急峻の変化および振動が生じていることが分かる。例えば、時刻T1においては、EDAの測定値が急激に低下していることが分かる。これは、腕の運動による発汗センサと被測定者の皮膚との接触不良により、測定値が低下したものと考えられる。時刻T2においても、同様の要因が考えられる。したがって、当該時刻T1およびT2において、発汗データにノイズが多く含まれていることが推察される。
【0062】
このように、発汗センサ11以外の他のセンサにより取得されるセンサデータを用いることにより、発汗データに含まれるノイズを特定することができる。上述した例では、他のセンサとして加速度センサが用いられたが、図3に示した生体センサ12、トラッキングセンサ13または環境センサ30の少なくともいずれかを用いることも可能である。
【0063】
そして、補正部211は、特定されたノイズを発汗データから除去して発汗データを補正する処理を行う。なお、「ノイズを除去する」とは、真の発汗データに重畳された正または負の値を示すノイズを除去することを意味する。これにより、ノイズが除かれた発汗データ(補正後の発汗データ)を得ることができる。
【0064】
本実施形態に係る補正部211は、例えば、ノイズモデル41を用いて発汗データのノイズを特定し、当該ノイズを除去する補正処理を行ってもよい。ここで、ノイズモデル41とは、発汗データに含まれるノイズを推定するために生成されるモデルである。すなわち、ノイズモデル41は、発汗データに含まれるノイズと、発汗データおよび/またはセンサデータとの関係を示すモデルである。補正部211は、当該補正処理の際に、サーバ40に格納されているノイズモデル41を取得し、当該ノイズモデル41を用いて補正処理を行い得る。
【0065】
このノイズモデル41は、予め取得されたセンサデータに基づいて生成され得る。例えば、かかるノイズモデル41は、ノイズ値を目的変数として、単数または複数のセンサデータをパラメータとする関数等により表現されるモデルとして生成され得る。当該モデルを用いることにより、発汗データとは異なる他のセンサデータの値を用いて発汗データに含まれるノイズを推定することができる。よって、補正部211は、推定されたノイズを発汗データから除去して、当該発汗データを補正することができる。
【0066】
このようなノイズモデル41は、例えば、発汗データと、発汗データと同時に取得されるセンサデータと、その処理の出力結果(例えばノイズの有無、交感神経の活動状態の推定結果の正誤)を用いた機械学習により生成(または更新)されてもよい。かかる機械学習として、例えば、Deep Learningや種々のNeural Networkなど、公知のアルゴリズムが用いられ得る。ノイズパターンを学習することにより、ノイズの特定精度および除去精度を向上することができる。かかるノイズモデル41は、発汗センサ11と同時に使用可能なセンサの数およびその組み合わせ等に応じて、適宜生成され得る。また、かかるノイズモデル41は、処理部210による処理の際に発汗センサと同時に測定を行うセンサの種類等に応じて、適宜選択され得る。
【0067】
補正部211は、発汗センサ11と同時に他のセンサにより測定されたセンサデータをノイズモデル41に適用させることにより、発汗センサ11により取得された発汗データに含まれるノイズを特定し、かつ除去することができる。
【0068】
また、詳しくは後述するが、補正部211による補正処理に用いられるノイズモデル41は、適宜更新され得る。例えば、当該補正処理後に得られた交感神経の活動状態の推定結果が正しい、または誤っていると認められる場合、当該フィードバックをノイズモデル41に反映させることが可能である。これにより、ノイズモデル41の精度が向上し、以降の交感神経の活動状態の推定結果の精度も向上する。
【0069】
また、かかるノイズモデル41は、情報処理装置10を装着または付着するユーザに対応して生成または更新され得る。すなわち、ノイズモデル41は、当該情報処理装置10を装着または付着するユーザと関連付けられてもよい。ユーザに関連付けられたノイズモデル41は、ユーザの状態または体動等に係る特性に応じて、当該ユーザに最適化される。このような特定のユーザに最適化されたノイズモデル41を用いることにより、発汗センサ11により当該ユーザから取得された発汗データの補正処理の精度をさらに向上させることができる。
【0070】
また、詳しくは後述するが、一のユーザに関連付けられたノイズモデル41を構築することにより、異なる態様により実現される情報処理装置10の間で、サーバ40を介して、当該ノイズモデル41を共有することができる。これにより、ユーザが使用する情報処理装置10の態様が異なる場合においても、共有されたノイズモデル41を採用することにより、ユーザに係る発汗データの補正処理の精度を高く維持することができる。
【0071】
また、かかるノイズモデル41は、初期の段階においては、複数のユーザに対して共通に用いられるノイズモデル41であってもよい。すなわち、当該ノイズモデル41は、予め多数の発汗データおよびセンサデータを機械学習することにより生成された普遍的なモデルとして設けられてもよい。これにより、初めて当該情報処理装置10を使用するユーザの交感神経の活動状態の推定結果の精度を確保することができる。また、このような普遍的なノイズモデル41は、ユーザごとの継続的な使用およびフィードバックにより、そのユーザごとに特化したノイズモデルとして適宜更新され得る。
【0072】
なお、上述したノイズモデル41は、発汗センサ11により取得される発汗データのみからノイズを特定し、当該ノイズを除去するためにも用いられ得る。例えば、ノイズモデル41として、モデル生成時において単数または複数のセンサデータとノイズ値とを関連付けるとともに、当該ノイズ値をさらに発汗データそのものと関連付けたモデルが生成されてもよい。これにより、例えば、発汗データの時系列変化から、ノイズを推定することが可能となる。したがって、発汗センサ11のみが情報処理装置10に設けられている場合であっても、補正部211は、発汗データの補正処理を精度高く行うことができる。
【0073】
以上、補正部211によるノイズモデル41を用いたノイズの発汗データからの除去に係る補正処理について説明した。なお、補正部211は、上述したようなノイズモデル41を用いずに発汗データからノイズを除去してもよい。例えば、発汗センサと同時に測定を行うセンサにより取得されるセンサデータを直接的に用いて発汗データからノイズを除去してもよい。より具体的には、補正部211は、他のセンサから得られたセンサデータが所定の基準を超えて変化した場合に、当該変化の程度に応じて発汗データからノイズを除去する処理を行ってもよい。かかる処理により、ノイズモデル41が構築されていない、またはノイズモデル41の学習が十分ではない場合においても、発汗データの精度を向上させることができる。
【0074】
なお、補正部211は、コンテキスト取得部220から取得されるコンテキスト情報を用いて、補正処理を行ってもよい。コンテキスト情報を用いた処理については、後述する。
【0075】
次に、補正部211による補正処理の結果の一例について説明する。図7および図8は、補正前および補正後の発汗データを示すグラフである。図7に示すグラフDat1は、補正前の発汗データの時系列変化を示すグラフである。なお、当該補正処理においては、ノイズモデル41が用いられた。
【0076】
図7に示すように、グラフDat1には、2つの時刻帯(破線N1および破線N2に囲まれたグラフの極小値近傍を示す時刻帯)において、発汗データが急峻に変化していることが示されている。ここでは、図6のグラフに示したように、発汗センサが何らかの外乱により皮膚と離間し、発汗データが正確に測定されていなかったことが考えられる。また、これらの時刻以外において測定された発汗データにも、外乱要因の影響により、ノイズが含まれている可能性がある。
【0077】
一方、図8に示すグラフDat2は、補正部211により補正処理が施された後の発汗データの時系列変化を示すグラフである。まず、時刻N1およびN2において示されていた発汗データの急峻な変化は取り除かれている。また、他の部分においても、発汗データの特徴的な変化(例えば、小刻みな振動など)が補正により明確にされていることが分かる。
【0078】
以上、補正部221による補正処理について説明した。補正部211は、補正後の発汗データを抽出部212に出力する。
【0079】
(抽出部)
抽出部212は、補正後の発汗データから、精神性発汗に由来する精神性発汗データを抽出する機能を有する。具体的には、抽出部212は、所定のアルゴリズムに基づいて、補正後の発汗データを、精神性発汗データと、温熱性発汗データに識別し、各々のデータを抽出する。
【0080】
上記の所定のアルゴリズムとして、例えば、上記非特許文献1に開示されているphasic activity(精神性発汗に相当)の測定方法を用いることができる。この場合、抽出部212は、補正後の発汗データについてデコンボリューション演算を行って得られる時系列データに基づいて、tonic activity(温熱性発汗に相当)とphasic activityを算出する。これにより、補正後の発汗データが、精神性発汗データと温熱性発汗データとに抽出される。
【0081】
図9は、本実施形態に係る抽出部212により抽出された精神性発汗データおよび温熱性発汗データの抽出結果の一例を示すグラフである。領域Dat21は精神性発汗データに対応し、領域Dat22は温熱性発汗データに対応する。領域Dat22に係る温熱性発汗データの時系列変化は緩慢であるのに対し、領域Dat21に係る精神性発汗データの時系列変化は俊敏である。これは、精神性発汗に係る発汗潜時が、温熱性発汗に係る発汗潜時よりも短いためである。抽出部212は、所定のアルゴリズムを用いることにより、発汗データから図9に示すような精神性発汗データおよび温熱性発汗データのそれぞれを抽出する。
【0082】
なお、抽出部212は、当該抽出処理において、発汗センサ11とは異なる種類のセンサにより取得されたセンサデータを用いてもよい。例えば、温熱性発汗は、情報処理装置10を装着または付着するユーザの体温に応じて生じ得る。また、精神性発汗は、当該ユーザの緊張状態に応じて変化するので、当該緊張状態に応じて変化する効果器の生理現象を、当該抽出処理に反映させることができる。
【0083】
したがって、例えば、抽出部212は、生体センサ12により取得されるユーザの体温、脈波もしくは血圧、または、環境センサ30により取得される所定の空間の気温もしくは湿度に係るデータを、上記の所定のアルゴリズムに係る重みとして用いてもよい。なお、当該アルゴリズムに係る重みは、抽出処理に用いられるパラメータの一例である。これにより、phasic activityおよびtonic activityの算出精度が向上し得る。これらのセンサデータは、発汗センサ11による発汗データの取得と同時に各センサにより取得され得る。
【0084】
また、抽出部212は、抽出モデル42を用いて精神性発汗データの抽出処理を行ってもよい。ここで、抽出モデル42とは、発汗データから精神性発汗データを抽出するために生成されるモデルである。すなわち、抽出モデル42は、上記の抽出処理に用いられるパラメータと、補正後の発汗データおよび/またはセンサデータとの関係を示すモデルである。例えば、抽出部212は、上述した他のセンサにより取得されるセンサデータを、抽出モデル42に適用させて精神性発汗データの抽出処理を行ってもよい。また、抽出部212は、他のセンサからセンサデータを取得しない場合においては、補正後の発汗データおよび抽出モデル42のみを用いて当該抽出処理を行ってもよい。
【0085】
かかる抽出モデル42は、例えば、上記の所定のアルゴリズムにさせる重みを目的変数として、単数または複数のセンサデータをパラメータとする関数等により表現されるモデルとして生成され得る。当該モデルを用いることにより、精神性発汗データの抽出処理の精度を向上させることができる。この場合、抽出部212は、当該抽出処理の際に、サーバ40に格納されている抽出モデル42を取得し得る。
【0086】
このような抽出モデル42は、情報処理装置10を装着または付着するユーザに対応して生成または更新され得る。すなわち、抽出モデル42は、当該情報処理装置10を装着または付着するユーザと関連付けられてもよい。ユーザに関連付けられた抽出モデル42は、ユーザの状態または当該ユーザが情報処理装置10を使用する環境等に係る特性に応じて、当該ユーザに最適化される。例えば、多汗症やあがり症など、ユーザの体質によって精神性発汗および温熱性発汗における発汗量または発汗タイミングは異なる。そこで、抽出モデル42は、ユーザごとに応じたパラメータ等を有してもよく、また、ユーザごとに適したパラメータとなるように当該抽出モデル42が適宜更新され得る。このような特定のユーザに最適化された抽出モデル42を用いることにより、当該ユーザに係る補正された発汗データから精神性発汗データを抽出する処理の精度をさらに向上させることができる。
【0087】
また、かかる抽出モデル42は、初期の段階においては、複数のユーザに対して共通に用いられる抽出モデル42であってもよい。すなわち、当該抽出モデル42は、予め多数の発汗データおよびセンサデータを機械学習することにより生成された普遍的なモデルとして設けられてもよい。これにより、初めて当該情報処理装置10を使用するユーザの交感神経の活動状態の推定結果の精度を確保することができる。また、このような普遍的な抽出モデル42は、ユーザごとの継続的な使用およびフィードバックにより、そのユーザごとに特化した抽出モデルとして適宜更新され得る。
【0088】
なお、抽出部212は、コンテキスト取得部220から取得されるコンテキスト情報を用いて、上記の抽出処理を行ってもよい。コンテキスト情報を用いた処理については、後述する。
【0089】
抽出部212は、抽出した精神性発汗データ(および温熱性発汗データ)を推定部213に出力する。
【0090】
(推定部)
推定部213は、抽出された精神性発汗データに基づいて、発汗データに対応するユーザの交感神経の活動状態を推定する機能を有する。具体的には、推定部213は、精神性発汗データを用いて、発汗データに対応するユーザの交感神経の活動状態を推定する。上述したように、一般的に、精神性発汗は、交感神経の活動と連動しているが、副交感神経の活動とは連動していない。そのため、推定部213は、精神性発汗データに基づいて交感神経の活動状態を推定することは、実質的に、自律神経の活動状態を推定することに相当する。したがって、例えば、推定部213は、精神性発汗データに基づいて推定された交感神経の活動状態から、副交感神経の活動状態を間接的に推定することもできる。
【0091】
推定部213は、例えば、精神性発汗データの時系列分布に基づいて、ユーザの交感神経の活動状態を推定してもよい。例えば、推定部213は、所定時間内における精神性発汗データのピーク数、ピーク強度、分布に係るグラフの積分値(面積値)または当該データの変化の大きさに基づいて、ユーザの交感神経の活動状態を推定してもよい。これらは、推定処理に係るパラメータとして、適宜設定され得る。また、推定部213は、精神性発汗データを周波数解析することにより得られる周波数スペクトル等に基づいて、ユーザの交感神経の活動状態を推定してもよい。例えば、推定部213は、周波数スペクトルのピーク周波数の大小に基づいて、ユーザの交感神経の活動状態を推定してもよい。
【0092】
図10は、精神性発汗データの時系列分布に基づく交感神経の推定方法の一例を説明するための図である。図10Aは、手の指に装着された情報処理装置10により得られる精神性発汗データおよび温熱性発汗データの時系列分布を示すグラフであり、図10Bは、手首に装着された情報処理装置10により得られる精神性発汗データおよび温熱性発汗データの時系列分布を示すグラフである。図10Aおよび図10Bに示された「Relaxed」および「Tensed」という表記が付された区間は、それぞれ、被測定者が休息している時間帯、および心理的負荷のかかる作業を行っている時間帯である。そのため、「Relaxed」に係る区間においては副交感神経の活動状態が優位であり、「Tensed」に係る区間においては交感神経の活動状態が優位となっていると考えられる。
【0093】
図10Aおよび図10Bを参照すると、「Tensed」に係る区間においては、「Relaxed」に係る区間よりも、精神性発汗データのピーク数、ピーク強度、分布に係るグラフの積分値および当該データの変化が大きくなっていることが分かる。したがって、精神性発汗データの時系列分布から、交感神経の活動状態を推定することが可能である。
【0094】
推定部213は、例えば、所定時間内における精神性発汗データのピーク数、ピーク強度または当該データの変化に係る指標が所定の閾値を超えている場合に、交感神経の活動状態が優位であると推定してもよい。また、推定部213は、所定時間内における精神性発汗データのピーク数、ピーク強度または当該データの変化に係る指標の大きさに応じて、交感神経の活動状態の優位性に係る評価値を推定してもよい。これにより、どの程度交感神経の活動状態を定量的に推定することができる。すなわち、当該推定結果を用いたより詳細な解析または処理が可能となる。
【0095】
なお、図10Aを参照すると、「Tensed」に係る区間においては温熱性発汗のEDA値が上昇し、「Relaxed」に係る区間においては温熱性発汗のEDA値が下降していることが観察される。このことから、推定部213は、抽出された温熱性発汗データに基づいて、交感神経の活動状態を推定することもできる。なお、図10Bでは、被測定者の状態の変化に応じた温熱性発汗データの変化は明確に現れていない。これは、温熱性発汗に係る発汗量について、手首の方が手の指よりも大きいためである。
【0096】
なお、推定部213は、当該推定処理において、発汗センサ11とは異なる種類のセンサにより取得されたセンサデータを用いてもよい。例えば、上述したように、効果器の生理現象は、交感神経および副交感神経の活動状態と関係する。そのため、推定部213は、生体センサ12、トラッキングセンサ13または環境センサ30から取得したユーザの状態と関係するセンサデータを考慮して、交感神経の活動状態を推定してもよい。これにより、推定精度を向上させることができる。これらのセンサデータは、発汗センサ11による発汗データの取得と同時に各センサにより取得され得る。
【0097】
また、推定部213は、活動状態推定モデル43を用いて交感神経の活動状態の推定処理を行ってもよい。活動状態推定モデル43とは、交感神経の活動状態を推定するために生成されるモデルである。すなわち、活動状態推定モデル43は、上記の推定処理に用いられるパラメータと、精神性発汗データおよび/またはセンサデータとの関係を示すモデルである。例えば、推定部213は、上述した他のセンサにより取得されるセンサデータを、活動状態推定モデル43に適用させて交感神経の活動状態の推定処理を行ってもよい。また、推定部213は、他のセンサからセンサデータを取得しない場合においては、精神性発汗データおよび活動状態推定モデル43のみを用いて当該推定処理を行ってもよい。
【0098】
かかる活動状態推定モデル43は、例えば、上記の推定処理に係るパラメータを目的変数として、単数または複数のセンサデータをパラメータとする関数等により表現されるモデルとして生成され得る。当該モデルを用いることにより、交感神経の活動状態の推定処理の精度を向上させることができる。この場合、推定部213は、当該推定処理の際に、サーバ40に格納されている活動状態推定モデル43を取得し得る。
【0099】
このような活動状態推定モデル43は、情報処理装置10を装着または付着するユーザに対応して生成または更新され得る。すなわち、活動状態推定モデル43は、当該情報処理装置10を装着または付着するユーザと関連付けられてもよい。ユーザに関連付けられた活動状態推定モデル43は、ユーザの状態または当該ユーザが情報処理装置10を使用する環境等に係る特性に応じて、当該ユーザに最適化される。例えば、上述したように、多汗症やあがり症など、ユーザの体質によって精神性発汗および温熱性発汗における発汗量または発汗タイミングは異なる。つまり、精神性発汗データのピーク数、ピーク強度または当該データの変化に係る指標等の程度が、ユーザによって異なる。そこで、活動状態推定モデル43は、ユーザごとに応じた交感神経の活動状態の推定に係る閾値を有してもよく、また、ユーザごとに適した閾値となるように当該活動状態推定モデル43が適宜更新され得る。このような特定のユーザに最適化された活動状態推定モデル43を用いることにより、当該ユーザの交感神経の活動状態の推定精度をさらに向上させることができる。
【0100】
また、かかる活動状態推定モデル43は、初期の段階においては、複数のユーザに対して共通に用いられる活動状態推定モデル43であってもよい。すなわち、当該活動状態推定モデル43は、予め多数の発汗データおよびセンサデータを機械学習することにより生成された普遍的なモデルとして設けられてもよい。これにより、初めて当該情報処理装置10を使用するユーザの交感神経の活動状態の推定結果の精度を確保することができる。また、このような普遍的な活動状態推定モデル43は、ユーザごとの継続的な使用およびフィードバックにより、そのユーザごとに特化した活動状態推定モデルとして適宜更新され得る。
【0101】
なお、推定部213は、コンテキスト取得部220から取得されるコンテキスト情報を用いて、上記の推定処理を行ってもよい。コンテキスト情報を用いた処理については、後述する。
【0102】
推定部213は、交感神経の活動状態の推定結果を出力制御部230に出力する。また、推定部213は、当該推定結果をフィードバック部240に出力してもよい。
【0103】
(コンテキスト取得部)
コンテキスト取得部220は、発汗センサ11が装着または付着されているユーザに係るコンテキスト情報を取得する機能を有する。本実施形態に係るコンテキスト取得部220は、情報処理装置10が装着または付着されているユーザに係るコンテキスト情報を取得する。処理部210は、コンテキスト取得部220により取得されたコンテキスト情報を用いて、各処理を行ってもよい。例えば、補正部211は、当該コンテキスト情報を用いて補正処理を行ってもよい。また、抽出部212は、当該コンテキスト情報を用いて抽出処理を行ってもよい。また、推定部213は、当該コンテキスト情報を用いて推定処理を行ってもよい。
【0104】
ここでコンテキスト情報とは、当該ユーザの活動状況または当該ユーザの周囲の環境を示す情報である。例えば、コンテキスト情報には、ユーザの姿勢(立位、座位、臥位など)、動作(静止、作業、勉強、運動、会話、食事、操業、運転など)および行動履歴(移動手段、時間、行動目的、SNS(ソーシャルネットワーキングサービス)等に投稿されたテキスト情報もしくはタグ情報、スケジュールなど)に関する情報が含まれ得る。また、コンテキスト情報には、ユーザの周囲の環境のカテゴリ(屋内、屋外)、地域、季節、気温、湿度、家電(例えばエアコンディショナー等の空調機器)の稼働状況等に関する情報が含まれ得る。
【0105】
これらのコンテキスト情報は、効果器の生理現象と関連する。そのため、コンテキスト情報を上述した処理部210により行われる各処理に用いることにより、処理精度をさらに高めることができる。例えば、手首など、発汗センサ11の測定部位によっては、温熱性発汗に係る発汗量が多い部位も存在する。このような部位に係る発汗データについてコンテキスト情報を各処理に適用させることにより、発汗データのノイズ除去の精度を向上させ、精神性発汗データを精度高く抽出し、また、交感神経の活動状態を精度高く推定することが可能となる。
【0106】
(出力制御部)
出力制御部230は、処理部210(推定部213)から取得した交感神経の活動状態の推定結果についての出力を制御する。ここでいう出力とは、単に処理部210により処理されて得られた推定結果を制御部20の外部に出力することに限られない。例えば、出力制御部230は、当該推定結果に応じた出力を制御してもよい。
【0107】
当該推定結果に応じた出力とは、情報処理装置10を装着または付着するユーザに対してあらゆる態様により与えられる出力である。この出力は、交感神経の活動状態の推定結果を示す数値またはグラフ等による単純な提示に限られない。例えば、当該出力は、ユーザにとっての有益な情報、またはユーザの覚醒を促進させる情報または刺激であってもよい。有益な情報とは、例えば、ユーザに対する提案または助言等であってもよい。より詳細には、当該出力は、例えば、ユーザに休息を促す提案、または集中力が高まっていることを知らせる助言等であってもよい。また、ユーザの覚醒を促進させる情報または刺激は、例えば、警報または警告等の音声、画面または発光デバイスの点灯または点滅、物理的な刺激(振動または電気刺激)等であってもよい。かかる出力により、ユーザに対して適切に情報または刺激を供することが可能となる。
【0108】
このような出力は、例えば、入出力デバイス14により行われてもよい。この場合、出力制御部230は、当該出力に係る情報を、入出力デバイス14に出力する。また、当該提示は、情報処理装置10の外部に設けられる任意の出力デバイスにより行われてもよい。この場合、出力制御部230は、当該出力に係る情報を、通信部21およびネットワークNW等を介して、当該出力デバイスに出力してもよい。
【0109】
なお、出力制御部230による出力の制御の具体的な例は、後述する。
【0110】
(フィードバック部)
フィードバック部240は、処理部210により得られた推定結果に対するフィードバックに係る情報を取得し、当該フィードバックに係る情報に基づいて各種モデルの更新を行う。例えば、フィードバック部240は、当該フィードバックに係る情報に基づいて、ノイズモデル41、抽出モデル42および活動状態推定モデル43の少なくともいずれかを更新してもよい。
【0111】
フィードバック部240は、例えば、入出力デバイス14に対してユーザにより入力された情報を、フィードバックに係る情報として取得してもよい。このユーザにより入力された情報は、交感神経の活動状態の推定結果に対するユーザの回答に相当する。すなわち、ユーザは、当該推定結果の正誤に係る回答をフィードバックに係る情報として入出力デバイス14に入力し、フィードバック部240が当該フィードバックに係る情報を取得する。当該推定結果の正誤に係る回答は、当該推定結果の正しさの程度を示す数値等であってもよい。
【0112】
なお、上述したフィードバックに係る情報は、ユーザにより入力された情報に限定されない。例えば、当該フィードバックに係る情報は、発汗データから推定される交感神経の活動状態と、他のセンサにより取得されるセンサデータから推定され得る交感神経の活動状態との乖離の程度または差分等に基づく情報であってもよい。すなわち、当該フィードバックに係る情報は、ユーザによる入力ではなく、他のセンサデータに基づく推定結果との比較等に基づいて自動的に生成される情報であってもよい。
【0113】
次に、フィードバック部240は、取得したフィードバックに係る情報に基づいて、各モデルの少なくともいずれかを更新する。フィードバック部240は、例えば、当該推定結果が誤っていると回答された情報を取得した場合、誤りの原因を推定し、推定された原因に係るモデルを更新する。より詳細には、フィードバック部240は、ノイズの除去に係る処理に原因があると推定した場合、ノイズモデル41を更新してもよい。同様に、フィードバック部240は、精神性発汗データの抽出処理に原因があると推定した場合、抽出モデル42を更新してもよく、交感神経の活動状態の推定処理に原因があると推定した場合、活動状態推定モデル43を更新してもよい。なお、フィードバック部240による各モデルの更新処理は、例えば、Deep LearningまたはNeural Networkにおけるバックプロパゲーションまたは勾配法など、公知のアルゴリズムにより実現される。
【0114】
かかるフィードバック部240による各モデルの更新により、更新後の各モデルを用いた処理の各々の精度が向上し得る。また、各モデルがユーザと関連付けられている場合、そのユーザに最適化されたモデルを構築することができるので、ユーザに応じて適切な推定結果を得ることが可能となる。
【0115】
以上、図3図10を参照しながら、情報処理システム1および情報処理装置10の構成および機能について説明した。
【0116】
なお、図3および図5に示した情報処理システム1および情報処理装置10の機能構成は、あくまでも本開示の一実施形態における一例であり、かかる例に限定されない。例えば、ユーザに装着されるデバイスは、発汗センサ11、並びに生体センサ12およびトラッキングセンサ13の少なくともいずれかの機能を有するセンシングデバイスであってもよい。この場合、制御部20、通信部21および記憶部22が情報処理装置として単数または複数のサーバにより実現されてもよい。また、この場合、入出力デバイス14が独立した構成として設けられてもよい。すなわち、一実施形態として、情報処理装置10が、ユーザに装着または付着された発汗センサ11等の各センサから得られたセンサデータを取得し、取得したデータに基づいて交感神経の活動状態を推定する(すなわち、本実施形態の処理部210の機能を有する)ものであれば、情報処理装置10の具体的な態様は特に限定されない。
【0117】
また、サーバ40に格納されている各モデルは、記憶部22に格納されていてもよい。すなわち、各モデルは、情報処理装置10に固有に設けられるものであってもよい。
【0118】
<2.3.処理の流れ>
次に、図11を参照して、本実施形態に係る情報処理装置10による処理の流れの一例について説明する。図11は、本実施形態に係る情報処理装置10による処理の流れの一例を示すフローチャートである。
【0119】
図11を参照すると、情報処理装置10は処理を開始し(ステップS101/YES)、まず、発汗データを発汗センサ11から取得する(ステップS103)。
【0120】
次に、情報処理装置10は、発汗センサ11により得られた発汗データからノイズを除去し、発汗データを補正する補正処理を行う(ステップS105〜S109)。例えば、情報処理装置10が発汗センサ11により取得される発汗データと同時に他のセンサからセンサデータを取得している場合(ステップS105/YES)、情報処理装置10は、同時に取得されたセンサデータおよびノイズモデル41の少なくともいずれかを用いて、発汗データに含まれるノイズを除去する(ステップS107)。一方、情報処理装置10が発汗センサ11により取得される発汗データと同時に他のセンサからセンサデータを取得していない場合(ステップS105/NO)、情報処理装置10は、ノイズモデル41を用いて発汗データに含まれるノイズを除去する(ステップS109)。当該補正処理は、補正部211により行われる。
【0121】
次に、情報処理装置10は、補正後の発汗データから、少なくとも精神性発汗データを抽出する抽出処理を行う(ステップS111)。当該抽出処理は、抽出部212により行われる。
【0122】
次に、情報処理装置10は、抽出した精神性発汗データに基づいて、交感神経の活動状態を推定する推定処理を行う(ステップS113)。当該推定処理は、推定部213により行われる。
【0123】
次に、情報処理装置10は、推定結果に応じた出力を制御する(ステップS115)。当該出力の制御は、出力制御部230により行われる。また、当該出力は、入出力デバイス14により出力される。
【0124】
次に、情報処理装置10は、ユーザからのフィードバックを受け付ける(ステップS117)。ユーザによるフィードバックが入力された場合(ステップS117/YES)、情報処理装置10は、フィードバックに係る情報を用いて各モデルの更新に係る更新処理を行う(ステップS119)。当該更新処理は、フィードバック部240により行われる。
【0125】
情報処理装置10は、上述したステップS103〜S119に係る処理を、当該処理を終了するまで(ステップS101/NO)逐次繰り返し行う。
【0126】
以上、本実施形態に係る情報処理システム1および情報処理装置10について説明した
【0127】
<<3.応用例>>
次に、本実施形態に係る情報処理システム1の応用例について説明する。
【0128】
<3.1.作業効率向上のための使用>
本実施形態に係る情報処理システム1は、上述したように、交感神経の活動状態を推定することができる。情報処理システム1は、例えば、当該システムを使用するユーザの集中力の状態(交感神経の活動状態を反映する)を監視し、当該集中力に関する提案または助言に係る提示をユーザに対して出力してもよい。これにより、集中力の持続および回復をユーザに促すことができる。したがって、例えば、集中力が必要な作業に係る効率を向上させることができる。
【0129】
図12図17は、本実施形態に係る情報処理システム1の第1の応用例について説明するための図である。図12は、情報処理装置10を実現する一態様である腕時計型デバイス100を装着するユーザの第1の状態を示す図である。図13は、ユーザの第1の状態に対応する推定結果を利用した表示の一例を示す図である。図14は、腕時計型デバイス100を装着するユーザの第2の状態を示す図である。図15は、ユーザの第2の状態に対応する推定結果を利用した表示の一例を示す図である。図16は、腕時計型デバイス100を装着するユーザの第3の状態を示す図である。図17は、ユーザの第3の状態に対応する推定結果を利用した表示の一例を示す図である。
【0130】
図12を参照すると、腕時計型デバイス100を装着するユーザU2は、勉強をしているが、集中力を欠いてしまっているため、机に突っ伏している状態(第1の状態)である。この場合、腕時計型デバイス100は、上述した処理部210による処理を行い、交感神経の活動状態が低下していると推定し得る。そうすると、腕時計型デバイス100は、当該活動状態が低下していることに関する提示を行う。例えば、腕時計型デバイス100は、図12の吹き出しに示すように、「一度休憩しましょう」など、副交感神経の活動を促進させる提示を音声によりユーザU2に対して出力してもよい。また、腕時計型デバイス100は、図13に示すように、ユーザの集中力の状態を示す表示1001により、ユーザの集中力が低下しつつあることをユーザU2に対して出力してもよい。なお、表示1001に示すメータにおいて、指針の位置はユーザの集中力の程度を示すものである。具体的には、指針が右側に位置するほど集中力が持続していることが示され、指針が左側に位置するほど集中力が切れていることが示され得る。また、表示1001に示すように、指針の位置に対応する交感神経の活動状態を概略的に示すバーが併せて表示されてもよい。図13においては、集中力の低下により、指針が左側に移動していることが示され得る。
【0131】
次に、図14を参照すると、腕時計型デバイス100を装着するユーザU2は休息している(第2の状態)。この場合、腕時計型デバイス100は、交感神経の活動状態がほぼ停止していると推定し得る。そうすると、腕時計型デバイス100は、当該休息が十分行われたことに関する提示を行う。例えば、腕時計型デバイス100は、図14の吹き出しに示すように、「十分休めました」など、休息を中断し、作業を再開することを促す提示を音声によりユーザU2に対して出力してもよい。また、腕時計型デバイス100は、図15に示すように、表示1001により、ユーザU2が十分リラックスしている状態をユーザU2に対して出力してもよい。
【0132】
次に、図16を参照すると、腕時計型デバイス100を装着するユーザU2は勉強を再開している(第3の状態)。この場合、腕時計型デバイス100は、交感神経の活動状態がほぼ支配的になっていると推定し得る。そうすると、腕時計型デバイス100は、当該休息によって集中力が回復したことに関する提示を行う。例えば、腕時計型デバイス100は、図17に示すように、表示1001により、ユーザU2の集中力が完全に回復している状態をユーザU2に対して提示してもよい。このように、ユーザU2の交感神経の活動状態を推定し、集中力の持続および回復に係る提示を行うことにより、ユーザU2の作業効率を向上させることが可能となる。
【0133】
以上、本実施形態に係る情報処理システム1の第1の応用例について説明した。なお、当該情報処理システム1は、本応用例に示したような勉強等における作業効率の向上のための用途に限定されない。例えば、図1に示したように、集中力が要求されるスポーツまたはテーブルゲームにおけるプレイヤーの能力を十分に発揮させるために、本技術が用いられてもよい。また、コンテンツを鑑賞するユーザの当該コンテンツに対する集中力が切れた場合に、当該ユーザに対して、当該コンテンツの観賞中断または他のコンテンツへの観賞の切り替えを促すために、本技術が用いられてもよい。すなわち、ユーザの集中力の維持または回復が要求されるあらゆる場面に対し、当該情報処理システム1は適用可能である。
【0134】
<3.2.眠気検知および刺激付与>
また、本実施形態に係る情報処理システム1は、交感神経の活動状態の推定結果を用いて、当該情報処理システム1の監視対象であるユーザの眠気を検知してもよい。また、当該情報処理システム1は、当該検知結果に基づいて、当該ユーザに対し、警報等による刺激を付与してもよい。これにより、睡眠状態または入眠状態であるユーザを覚醒することが可能となる。
【0135】
図18および図19は、本実施形態に係る情報処理システム1の第2の応用例について説明するための図である。図18は、本応用例の適用状況の一例を示す図である。また、図19は、交感神経の活動状態の推定結果を用いた眠気検知処理の一例を示す図である。なお、当該眠気検知処理は、例えば、本実施形態に係る出力制御部230により行われ得る。
【0136】
図18を参照すると、ユーザU3は、自動車を運転しており、ハンドル101を操作している。当該ハンドル101の把持部には、発汗センサ11が設けられている。当該把持部には、さらに生体センサ12等が設けられてもよい。この場合、情報処理装置10の制御部20、通信部21および記憶部22は、例えば、自動車のECU(Engine Control Unit)、またはECUとは別に設けられるマイクロプロセッサ等により実現されてもよい。また、トラッキングセンサ13および環境センサ30は、例えば、自動車に設けられる種々のセンサにより実現されてもよい。例えば、当該センサは、タコメータ、加速度センサ、速度センサ、アクセルセンサ、ブレーキセンサ、圧力センサ、操舵角センサ、照度センサ、気圧センサ、車間距離センサまたは監視カメラ等であってもよい。また、図18に示すように、自動車の客室には、警報機140が設けられ得る。当該警報機140は、入出力デバイス14の一例である。
【0137】
図18に示すように、ユーザU3がハンドル101を握って運転している際に、情報処理システム1は、ユーザU3の交感神経の活動状態を推定し、その推定結果を用いて当該ユーザU3の眠気を検知する。図19を参照すると、交感神経の活動状態を示す強度についてのグラフが示されている。当該強度は、情報処理装置10による交感神経の活動状態の推定結果に応じた値である。交感神経の活動状態が優位である(すなわち覚醒している)場合は、当該強度は比較的高く、また、当該強度の振動が大きいことが分かる。一方で、交感神経の活動状態が低下すると、当該強度は低下し、また当該強度の振動の頻度も低下する。そして、副交感神経の活動状態が支配的となる(すなわち睡眠している)場合は、当該強度が所定の閾値(図19では閾値th1)を下回り、また、強度の振動はほとんど生じないことが分かる。
【0138】
このことを利用して、情報処理システム1は、当該強度が閾値th1を下回るか、または、強度の変化の頻度がある基準を下回ると判定した場合に、ユーザに対して覚醒を促すための出力を行う。例えば、図19では、時刻tAの際に当該強度が閾値th1を下回るので、情報処理システム1は、当該時刻tAにおいて、警報機140によりユーザU3に対して警報を発する。これにより、眠気を有するユーザU3の覚醒を促すことができる。
【0139】
特に、本実施形態に係る情報処理システム1は、発汗センサ11により取得された発汗データについて処理を行い、処理の結果得られた自律神経の活動状態の推定結果に基づく出力の制御を行う。精神性発汗の潜時は上述したように数秒程度であり、他の効果器よりも早い反応が見られる。したがって、本実施形態に係る情報処理システム1はリアルタイムにユーザの自律神経の活動状態を推定することが可能である。そうすると、上述した第2の応用例のように、車の運転など、眠気を有するユーザの一瞬の判断の遅れにより重大な事故または災害が発生することを予防することができる。
【0140】
また、自動車の位置情報などの他のセンサから得られるセンサデータと、ユーザの交感神経の活動状態の推定結果とを組み合わせることにより、車の運転においてユーザの集中力が途切れてしまう要因を突き止めることも可能となる。例えば、自動車の位置情報、速度または走行方向等とユーザの交感神経の活動状態が低下した際の時刻とを突き合わせることにより、事故が生じやすい道路の地点を特定することができる。また、これらの発汗データに基づく推定結果や他のセンサデータは、例えば、共通のデータベースに適宜蓄積されてもよい。これにより、事故が生じやすい道路の地点について共有できるだけではなく、事故が生じやすい道路に共通する特徴についての検討が可能となる。
【0141】
なお、図18では、ユーザに対して推定結果に応じた出力をするための入出力デバイス14の例として警報機140が設けられるとしたが、本技術はかかる例に限定されない。例えば、ユーザU3に対する出力は、自動車に設けられるエアコンディショナーの風力もしくは設定温度の変更、またはハンドル101を介してユーザU3に与えられる電気的な刺激等であってもよい。また、当該出力は、ユーザU3が踏むアクセルペダルまたはブレーキペダルの抵抗を調整する制御であってもよい。ユーザU3の覚醒を促し、かつ、ユーザU3の安全を確保できる出力態様であれば、あらゆる出力装置が入出力デバイス14として適用され得る。
【0142】
以上、本実施形態に係る情報処理システム1の第2の応用例について説明した。なお、当該情報処理システム1は、本応用例に示したような自動車の運転など、安全が求められる作業を行うユーザの覚醒促進のための用途に限定されない。例えば、本技術は、ユーザの入眠および覚醒を適切なタイミングに行うために用いられてもよい。具体的には、当該情報処理システム1は、入眠しようとするユーザの副交感神経の活動状態が優位になったと推定されたときにユーザに入眠を促し、起床予定時刻前後において、睡眠中のユーザの交感神経の活動状態が優位になったと推定されたときにユーザに覚醒を促してもよい。これにより、情報処理システム1を使用するユーザは、快適な睡眠をとることができる。
【0143】
<3.3.モデルの共有>
また、本実施形態に係る情報処理装置10の処理部210において用いられる各種モデル(ノイズモデル41、抽出モデル42および活動状態推定モデル43)は、複数の情報処理装置において共有されてもよい。
【0144】
図20は、各種モデルの複数の情報処理装置間での共有利用について説明するための概要図である。図20に示すように、ユーザU4は、腕時計型デバイス110、ヘアバンド型デバイス120およびスポーツウェアの態様を有するウェアラブルデバイス130(例えば、腋に対応する部位に少なくとも発汗センサ11が設けられている)を有しており、状況に応じてこれらを使い分けている。腕時計型デバイス110、ヘアバンド型デバイス120およびウェアラブルデバイス130は、少なくとも発汗センサ11を備え、情報処理システム1の一部を構成する。
【0145】
ユーザの精神性発汗の特性は、ユーザが行う作業の種類にかかわらず一定である。したがって、サーバ40に格納されている各種モデルを共有して使用することにより、デバイスの種類が異なっていても、当該ユーザに特化した処理が行われ得る。すなわち、デバイスの種類およびデバイスの使用頻度にかかわらず、当該ユーザの交感神経の活動状態の推定結果の精度を高く維持することができる。
【0146】
また、身体の部位によって、精神性発汗の検知の程度が異なる。例えば、精神性発汗は、手首に比べて、掌および額において顕著に検知され得る。一方で、日常生活においては、手首は、掌および額に比べて、情報処理装置(発汗センサ)の装着部位または付着部位として適切である。そのため、上述した各種モデルを複数の情報処理装置において共有して用いる場合、掌または額に装着または付着された情報処理装置(発汗センサ)を用いて上記各種モデルの学習が行われてもよい。そして、学習により構築された各種モデルは、手首に装着または付着された情報処理装置に適用されてもよい。これにより、単に手首のみに装着または付着された情報処理装置と比較して、より精度の高い処理を行うことが可能となる。
【0147】
なお、上述した各種モデルの共有については、特定のユーザに係るものとして説明したが、本技術はかかる例に限定されない。例えば、上述した各種モデルの共有は、本実施形態に係る情報処理装置10を使用する複数のユーザにより共有されるモデルであってもよい。これにより、当該複数のユーザから各種モデルについてのフィードバックがなされるので、汎用的なモデルを構築することができる。したがって、当該情報処理装置10の使用を開始するユーザの交感神経の活動状態の推定精度を、初期の段階から高くすることが可能となる。
【0148】
以上、本実施形態に係る情報処理システム1の応用例について説明した。
【0149】
<<4.ハードウェア構成例>>
次に、図21を参照して、本開示の実施形態に係る情報処理装置900のハードウェア構成について説明する。図21は、本開示の一実施形態に係る情報処理装置900のハードウェア構成例を示すブロック図である。図示された情報処理装置900は、例えば、上記の実施形態における情報処理装置を実現し得る。
【0150】
情報処理装置900は、CPU(Central Processing Unit)901、ROM(Read Only Memory)903、およびRAM(Random Access Memory)905を含む。また、情報処理装置900は、ホストバス907、ブリッジ909、外部バス911、インタフェース913、入力装置915、出力装置917、ストレージ装置919、ドライブ921、接続ポート925、通信装置929、およびセンサ931を含んでもよい。情報処理装置900は、CPU901に代えて、またはこれとともに、DSP(Digital Signal Processor)またはASIC(Application Specific Integrated Circuit)と呼ばれるような処理回路を有してもよい。
【0151】
CPU901は、演算処理装置および制御装置として機能し、ROM903、RAM905、ストレージ装置919、またはリムーバブル記録媒体923に記録された各種プログラムに従って、情報処理装置900内の動作全般またはその一部を制御する。ROM903は、CPU901が使用するプログラムや演算パラメータなどを記憶する。RAM905は、CPU901の実行において使用するプログラムや、その実行において適宜変化するパラメータなどを一時記憶する。例えば、CPU901、ROM903およびRAM905は、上記実施形態における制御部20の機能を実現し得る。CPU901、ROM903、およびRAM905は、CPUバスなどの内部バスにより構成されるホストバス907により相互に接続されている。さらに、ホストバス907は、ブリッジ909を介して、PCI(Peripheral Component Interconnect/Interface)バスなどの外部バス911に接続されている。
【0152】
入力装置915は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチおよびレバーなど、ユーザによって操作される装置である。入力装置915は、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよいし、情報処理装置900の颯太に対応した携帯電話などの外部接続機器927であってもよい。入力装置915は、ユーザが入力した情報に基づいて入力信号を生成してCPU901に出力する入力制御回路を含む。ユーザは、この入力装置915を操作することによって、情報処理装置900に対して各種のデータを入力したり処理動作を指示したりする。
【0153】
出力装置917は、取得した情報をユーザに対して視覚的にまたは聴覚的に通知することが可能な装置で構成される。出力装置917は、例えば、LCD(Liquid Crystal Display)、PDP(Plasma Display Panel)、OELD(Organic Electro−Luminescence Display)などの表示装置、スピーカおよびヘッドホンなどの音声出力装置、ならびにプリンタ装置などであり得る。出力装置917は、情報処理装置900の処理により得られた結果を、テキストまたは画像などの映像として出力したり、音声または音響などの音声として出力したりする。なお、入力装置915および出力装置917は、上記実施形態における入出力デバイス14の機能を実現し得る。
【0154】
ストレージ装置919は、情報処理装置900の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置919は、例えば、HDD(Hard Disk Drive)などの磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス、または光磁気記憶デバイスなどにより構成される。このストレージ装置919は、CPU901が実行するプログラムや各種データ、および外部から取得した各種のデータなどを格納する。
【0155】
ドライブ921は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブル記録媒体923のためのリーダライタであり、情報処理装置900に内蔵、あるいは外付けされる。ドライブ921は、装着されているリムーバブル記録媒体923に記録されている情報を読み出して、RAM905に出力する。また、ドライブ921は、装着されているリムーバブル記録媒体923に記録を書き込む。なお、ストレージ装置919、またはドライブ921およびリムーバブル記録媒体923の少なくともいずれかは、上記実施形態に係る記憶部22の機能を実現し得る。
【0156】
接続ポート925は、機器を情報処理装置900に直接接続するためのポートである。接続ポート925は、例えば、USB(Universal Serial Bus)ポート、IEEE1394ポート、SCSI(Small Computer System Interface)ポートなどでありうる。また、接続ポート925は、RS−232Cポート、光オーディオ端子、HDMI(登録商標)(High-Definition Multimedia Interface)ポートなどであってもよい。接続ポート925に外部接続機器927を接続することで、情報処理装置900と外部接続機器927との間で各種のデータが交換されうる。
【0157】
通信装置929は、例えば、通信ネットワークNWに接続するための通信デバイスなどで構成された通信インタフェースである。通信装置929は、例えば、有線または無線LAN(Local Area Network)、Bluetooth(登録商標)、またはWUSB(Wireless USB)用の通信カードなどでありうる。また、通信装置929は、光通信用のルータ、ADSL(Asymmetric Digital Subscriber Line)用のルータ、または、各種通信用のモデムなどであってもよい。通信装置929は、例えば、インターネットや他の通信機器との間で、TCP/IPなどの所定のプロトコルを用いて信号などを送受信する。また、通信装置929に接続される通信ネットワークNWは、有線または無線によって接続されたネットワークであり、例えば、インターネット、家庭内LAN、赤外線通信、ラジオ波通信または衛星通信などである。なお、接続ポート925または通信装置929の少なくともいずれかは、上記実施形態に係る通信部21の機能を実現し得る。
【0158】
以上、情報処理装置900のハードウェア構成の一例を示した。
【0159】
<<5.まとめ>>
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【0160】
なお、上記の実施形態では、情報処理システムおよび情報処理装置の適用対象がユーザ、すなわち人間である例を説明したが、本技術はかかる例に限定されない。例えば、上記の実施形態に係る情報処理システムおよび情報処理装置の適用対象は、家畜またはペット等の動物であってもよい。動物にかかる情報処理システムおよび情報処理装置を適用することにより、当該動物等に与えられているストレスの状態を把握することができ、動物の健康状態を把握することが容易となる。
【0161】
なお、本明細書の情報処理装置の処理における各ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はない。例えば、情報処理装置の処理における各ステップは、フローチャートとして記載した順序と異なる順序で処理されても、並列的に処理されてもよい。
【0162】
また、情報処理装置に内蔵されるCPU、ROMおよびRAMなどのハードウェアに、上述した情報処理装置の各構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、該コンピュータプログラムを記憶させた記録媒体も提供される。
【0163】
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
【0164】
なお、以下のような構成も本開示の技術的範囲に属する。
(1)
発汗センサにより取得される発汗データに含まれるノイズを、前記発汗センサとは異なる種類のセンサにより取得されたセンサデータに基づいて特定し、前記ノイズを前記発汗データから除去する補正処理を含む処理を行う処理部を備える、情報処理装置。
(2)
前記処理部は、前記ノイズと前記発汗データおよび/または前記センサデータとの関係を示すノイズモデルを用いて、前記発汗データを補正する、前記(1)に記載の情報処理装置。
(3)
前記ノイズモデルは、前記発汗データ、当該発汗データの取得と同時に取得される前記センサデータ、および前記処理の結果を用いた機械学習により生成される、前記(2)に記載の情報処理装置。
(4)
前記ノイズモデルは、前記発汗データに対応する個体に関連付けられているノイズモデルである、前記(2)または(3)に記載の情報処理装置。
(5)
前記ノイズモデルは、前記処理部による処理の結果に対するユーザの入力により取得されるフィードバックに係る情報を用いて更新される、前記(2)〜(4)のいずれか1項に記載の情報処理装置。
(6)
前記処理部は、前記処理として、さらに、補正後の発汗データから、精神性発汗に由来する精神性発汗データを抽出する抽出処理を含む、前記(1)〜(5)のいずれか1項に記載の情報処理装置。
(7)
前記処理部は、前記抽出処理に用いられるパラメータと前記補正後の発汗データおよび/または前記センサデータとの関係を示す抽出モデルを用いて、前記精神性発汗データを抽出する、前記(6)に記載の情報処理装置。
(8)
前記処理部は、前記処理として、さらに、抽出された前記精神性発汗データに基づいて、前記発汗データに対応する個体の自律神経の活動状態を推定する推定処理を含む、前記(6)または(7)に記載の情報処理装置。
(9)
前記処理部は、前記精神性発汗データの時系列分布に基づいて、前記自律神経の活動状態を推定する、前記(8)に記載の情報処理装置。
(10)
前記処理部は、前記推定処理に用いられるパラメータと前記精神性発汗データおよび/または前記センサデータとの関係を示す活動状態推定モデルを用いて、前記発汗データに対応する個体の前記自律神経の活動状態を推定する、前記(8)または(9)に記載の情報処理装置。
(11)
前記抽出処理は、前記補正後の発汗データから、温熱性発汗に由来する温熱性発汗データをさらに抽出する処理を含み、
前記推定処理は、抽出された前記温熱性発汗データを用いて、前記発汗データに対応する個体の前記自律神経の活動状態を推定する処理を含む、前記(8)〜(10)のいずれか1項に記載の情報処理装置。
(12)
前記自律神経の活動状態は、交感神経の活動状態を含む、前記(8)〜(11)のいずれか1項に記載の情報処理装置。
(13)
前記自律神経の活動状態の推定結果に応じた出力を制御する出力制御部をさらに備える、前記(8)〜(12)のいずれか1項に記載の情報処理装置。
(14)
前記処理部は、前記発汗データの取得と同時に取得される前記センサデータに基づいて前記処理を行う、前記(1)〜(13)のいずれか1項に記載の情報処理装置。
(15)
前記発汗センサが装着または付着されている個体に係るコンテキストを取得するコンテキスト取得部をさらに備え、
前記処理部は、前記コンテキストをさらに用いて前記処理を行う、前記(1)〜(14)のいずれか1項に記載の情報処理装置。
(16)
前記発汗センサとは異なる種類のセンサは、個体に装着または付着される少なくとも一のセンサを含む、前記(1)〜(15)のいずれか1項に記載の情報処理装置。
(17)
前記個体に装着または付着されるセンサは、前記個体の生体情報を検知する生体センサおよび/または前記個体の動きを検知するトラッキングセンサを含む、前記(16)に記載の情報処理装置。
(18)
前記発汗センサとは異なる種類のセンサは、所定の空間に係る環境情報を取得する少なくとも一のセンサを含む、前記(1)〜(17)のいずれか1項に記載の情報処理装置。
(19)
プロセッサが、
発汗センサにより取得された発汗データを取得することと、
前記発汗センサとは異なる種類のセンサにより取得されたセンサデータに基づいて前記発汗データに含まれるノイズを特定し、前記ノイズを前記発汗データから除去することと、
を含む情報処理方法。
(20)
コンピュータを、
発汗センサにより取得される発汗データに含まれるノイズを、前記発汗センサとは異なる種類のセンサにより取得されたセンサデータに基づいて特定し、前記ノイズを前記発汗データから除去する補正処理を含む処理を行う処理部として機能させるためのプログラム。
【符号の説明】
【0165】
1 情報処理システム
10 情報処理装置
11 発汗センサ
12 生体センサ
13 トラッキングセンサ
14 入出力デバイス
20 制御部
21 通信部
22 記憶部
30 環境センサ
40 サーバ
41 ノイズモデル
42 抽出モデル
43 活動状態推定モデル
210 処理部
211 補正部
212 抽出部
213 推定部
220 コンテキスト取得部
230 出力制御部
240 フィードバック部
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18
図19
図20
図21