(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-09-24
(45)【発行日】2024-10-02
(54)【発明の名称】情報処理装置、情報処理方法及びプログラム
(51)【国際特許分類】
A61B 5/16 20060101AFI20240925BHJP
A61B 5/0533 20210101ALI20240925BHJP
【FI】
A61B5/16 110
A61B5/0533
(21)【出願番号】P 2021561275
(86)(22)【出願日】2020-11-10
(86)【国際出願番号】 JP2020041894
(87)【国際公開番号】W WO2021106551
(87)【国際公開日】2021-06-03
【審査請求日】2023-09-21
(31)【優先権主張番号】P 2019216827
(32)【優先日】2019-11-29
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】000002185
【氏名又は名称】ソニーグループ株式会社
(74)【代理人】
【識別番号】110003339
【氏名又は名称】弁理士法人南青山国際特許事務所
(72)【発明者】
【氏名】兵動 靖英
【審査官】遠藤 直恵
(56)【参考文献】
【文献】国際公開第2015/056434(WO,A1)
(58)【調査した分野】(Int.Cl.,DB名)
A61B 5/05-5/0538、5/06-5/22、5/24-5/398
(57)【特許請求の範囲】
【請求項1】
発汗信号を第1の変動成分及び第2の変動成分に分離し、
第1の基準値に対する前記第1の変動成分の値に対して単調減少するゲインに基づいて、前記第2の変動成分を補正する制御部
を具備する情報処理装置。
【請求項2】
請求項
1に記載の情報処理装置であって、
前記制御部は、前記発汗信号に関する信号に基づいて、情動が生理的に安静状態であるかどうかを判定し、
前記第1の基準値は、前記情動が生理的に安静状態である場合における前記第1の変動成分である
情報処理装置。
【請求項3】
請求項
2に記載の情報処理装置であって、
前記制御部は、体動変化に基づく体動信号、又は、皮膚との間の圧力変化に基づく圧力信号のうち少なくとも一方に基づいて活動状態が安静状態であるかどうかを判定し、
前記第1の基準値は、前記活動状態が安静状態、かつ、前記情動が生理的に安静状態である場合における第1の変動成分である
情報処理装置。
【請求項4】
請求項1に記載の情報処理装置であって、
前記制御部は、第2の基準値に対する第2の変動成分の値を補正する
情報処理装置。
【請求項5】
請求項
4に記載の情報処理装置であって、
前記制御部は、前記発汗信号に関する信号に基づいて、情動が生理的に安静状態であるかどうかを判定し、
前記第2の基準値は、前記情動が生理的に安静状態である場合における前記第2の変動成分である
情報処理装置。
【請求項6】
請求項
5に記載の情報処理装置であって、
前記制御部は、体動変化に基づく体動信号、又は、皮膚との間の圧力変化に基づく圧力信号のうち少なくとも一方に基づいて活動状態が安静状態であるかどうかを判定し、
前記第2の基準値は 、前記活動状態が安静状態、かつ、前記情動が生理的に安静状態である場合における第2の変動成分である
情報処理装置。
【請求項7】
請求項1に記載の情報処理装置であって、
前記第1の変動成分は、発汗信号の基線変動成分である
情報処理装置。
【請求項8】
請求項1に記載の情報処理装置であって、
前記第2の変動成分は、発汗信号の瞬時変動成分である
情報処理装置。
【請求項9】
発汗信号を第1の変動成分及び第2の変動成分に分離し、
第1の基準値に対する前記第1の変動成分の値に対して単調減少するゲインに基づいて、前記第2の変動成分を補正する
情報処理方法。
【請求項10】
発汗信号を第1の変動成分及び第2の変動成分に分離し、
第1の基準値に対する前記第1の変動成分の値に対して単調減少するゲインに基づいて、前記第2の変動成分を補正する
処理をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本技術は、皮膚コンダクタンス信号等の発汗信号を処理する技術に関する。
【背景技術】
【0002】
近年、生体の情動(心理状態)を判断するための各種の計測技術が検討されている。生体の情動が変化すると、脳から自律神経系を介して信号が人体の各部に伝達され、例えば、心臓、呼吸、発汗、皮膚温、血管活動等の各機能に変化が生じる。この中で、覚醒度の心理状態を表す生理反応として、精神性発汗が知られている。精神性発汗は、検出部位に接触する電極によって検出された皮膚コンダクタンス信号や皮膚インピーダンス信号の値の変化として検出することができることが知られている。
【0003】
例えば、下記特許文献1、特許文献2、及び非特許文献1には、皮膚コンダクタンス信号、あるいは、皮膚インピーダンス信号の変化により精神性発汗を検出する技術が記載されている。
【0004】
皮膚コンダクタンス信号は、皮膚表面の緩やかな発汗の変化を示す皮膚コンダクタンスレベル(SCL:Skin Conductance Level)と、瞬時の発汗の変化を示す皮膚コンダクタンス応答(SCR:Skin Conductance Response)との重ね合わせであることが知られている。
【0005】
従来から、精神性発汗におけるSCL/SCR観測の生理メカニズムが研究されている。下記非特許文献2によると、SCRのSCLに対する依存性は、等価回路モデルを用いて、以下の式(1)により表される。
dG={G1
2/(G1+G2+y)2}dy・・・(1)
【0006】
なお、式(1)において、dGは、コンダクタンス変化(SCRとして観測)、G1は、真皮のコンダクタンス、G2は、角質層のコンダクタンス、dyは、汗腺活動のコンダクタンスである。このように、SCL/SCR観測は、角質層、真皮、汗腺活動による等価回路モデルによる表現できる。
【先行技術文献】
【特許文献】
【0007】
【文献】特表2016-516461号公報
【文献】特開平10-254613号公報
【文献】Jain, Swayambhoo, et al, "A compressed sensing based decomposition of electrodermal activity signals,"IEEE Transactions on Biomedical Engineering 64.9 (2017): 2142-2151.
【文献】Boucsein, Wolfram, "Electrodermal activity", Springer Science & Business Media, 2012.
【発明の概要】
【発明が解決しようとする課題】
【0008】
このような分野において、生体の情動を正確に推定することができる技術が求められている。
【0009】
以上のような事情に鑑み、本技術の目的は、生体の情動を正確に推定することができる技術を提供することにある。
【課題を解決するための手段】
【0010】
本技術に係る情報処理装置は、制御部を具備する。前記制御部は、発汗信号を第1の変動成分及び第2の変動成分に分離し、前記第1の変動成分に基づいて、前記第2の変動成分を補正する。
【0011】
このようにして補正された第2の変動成分に基づいて生体の情動を推定することで、生体の情動を正確に推定することができる。
【0012】
上記情報処理装置において、前記制御部は、前記第1の変動成分に関連するゲインにより、前記第2の変動成分を補正してもよい。
【0013】
上記情報処理装置において、前記ゲインは、第1の変動成分の値に対して単調減少する値であってもよい。
【0014】
上記情報処理装置において、前記ゲインは、第1の基準値に対する前記第1の変動成分の値に対して単調減少する値であってもよい。
【0015】
上記情報処理装置において、前記制御部は、前記発汗信号に関する信号に基づいて、情動が生理的に安静状態であるかどうかを判定してもよい。この場合、前記第1の基準値は、前記情動が生理的に安静状態である場合における前記第1の変動成分であってもよい。
【0016】
上記情報処理装置において、前記制御部は、体動変化に基づく体動信号、又は、皮膚との間の圧力変化に基づく圧力信号のうち少なくとも一方に基づいて活動状態が安静状態であるかどうかを判定してもよい。この場合、前記第1の基準値は、前記活動状態が安静状態、かつ、前記情動が生理的に安静状態である場合における第1の変動成分であってもよい。
【0017】
上記情報処理装置において、前記制御部は、第2の基準値に対する第2の変動成分の値を補正してもよい。
【0018】
上記情報処理装置において、前記制御部が、前記発汗信号に関する信号に基づいて、情動が生理的に安静状態であるかどうかを判定する場合、前記第2の基準値は、前記情動が生理的に安静状態である場合における前記第2の変動成分であってもよい。
【0019】
上記情報処理装置において、前記制御部が、体動変化に基づく体動信号、又は、皮膚との間の圧力変化に基づく圧力信号のうち少なくとも一方に基づいて活動状態が安静状態であるかどうかを判定する場合、前記第2の基準値は、前記活動状態が安静状態、かつ、前記情動が生理的に安静状態である場合における第2の変動成分であってもよい。
【0020】
上記情報処理装置において、前記第1の変動成分は、発汗信号の基線変動成分であってもよい。
【0021】
上記情報処理装置において、前記第2の変動成分は、発汗信号の瞬時変動成分であってもよい。
【0022】
本技術に係る情報処理方法は、発汗信号を第1の変動成分及び第2の変動成分に分離し、前記第1の変動成分に基づいて、前記第2の変動成分を補正することを含む。
【0023】
本技術に係るプログラムは、発汗信号を第1の変動成分及び第2の変動成分に分離し、前記第1の変動成分に基づいて、前記第2の変動成分を補正する処理をコンピュータに実行させる。
【図面の簡単な説明】
【0024】
【
図1】第1実施形態に係るウェアラブルデバイスを示す外観図である。
【
図2】第1実施形態に係るウェアラブルデバイスの電気的な構成を示すブロック図である。
【
図5】発汗センサと、圧力センサとの間に変形可能部材が配置されたとき様子を示す図である。
【
図6】制御部の一部における具体的な構成を示す図である。
【
図7】ゲインと、dSCLとの関係についての一例を示す図である
【
図8】実験タスク毎の指でのSCL及びSCR(dSCL及びdSCR)の関係を示す図である。
【
図9】実験タスク毎の手首でのSCL及びSCR(dSCL及びdSCR)の関係を示す図である。
【
図10】測定対象が手首とされた場合における補正無しのSCRと、補正有りのSCRとの関係を比較した図である。
【発明を実施するための形態】
【0025】
≪第1実施形態≫
<ウェアラブルデバイスの全体構成及び各部の構成>
以下、本技術に係る実施形態を、図面を参照しながら説明する。
図1は、第1実施形態に係るウェアラブルデバイス10を示す外観図である。
図2は、第1実施形態に係るウェアラブルデバイス10の電気的な構成を示すブロック図である。
【0026】
このウェアラブルデバイス10(情報処理装置の一例)は、腕時計型(リストバンド型)であり、ユーザの手首に巻き付けられて使用される。
【0027】
図1及び
図2に示すように、ウェアラブルデバイス10は、ケース11と、ケース11の両端側にそれぞれ設けられた2つのバンド12、13とを備えている。また、ウェアラブルデバイス10は、制御部1と、発汗センサ2と、慣性センサ3と、圧力センサ4と、記憶部5と、表示部6と、操作部7と、通信部8とを備えている。
【0028】
ケース11は、厚さが薄い直方体形状であり、例えば、金属、樹脂等の材料により構成されている。ケース11の上面には、表示部6が設けられており、ケース11の側面には操作部7が設けられている。また、ケース11の内部には、制御部1、慣性センサ3、記憶部5、通信部8等がモジュール化されて内蔵されている。
【0029】
表示部6は、例えば、液晶ディスプレイ、あるいは、ELディスプレイ(EL:Electro Luminescence)等により構成される。表示部6は、制御部1の制御に応じて、例えば、現在の時刻や、音楽、ゲーム、メール、ブラウザ等の各種のアプリケーションを示すアイコン、アプリケーション実行による動画、静止画等の各種の画像等を表示させる。
【0030】
操作部7は、例えば、押圧式、近接式等の各種のタイプの操作部であり、ユーザによる操作を検出して制御部1へと出力する。なお、操作部7は、表示部6上に設けられた近接センサを含んでいてもよい。
【0031】
バンド12、13は、薄く一方向に長い形状を有している。バンド12、13は、ユーザの手首に巻きつきやすく、かつ、手首(皮膚)に接触しやすいように、例えば、ゴム、皮革、有機樹脂等の材料により構成されている。
【0032】
図3は、バンド12を背面側からみた斜視図である。
図1及び
図3に示すように、バンド12の背面側(手首に接触する側)には、発汗センサ2における複数の電極対21が設けられている。発汗センサ2における電極対21は、第1の電極20a及び第2の電極20bを含む。複数の電極対21は、バンド12の長さ方向に沿って等間隔で配置されており、電極対21における第1の電極20a及び第2の電極20bは、幅方向に沿って並べられるようにして配置されている。
【0033】
発汗センサ2の電極対21は、バンド12が手首に巻き付けられたときにユーザの手首(皮膚)に接触しやすいように、バンド12の背面側から露出するようにバンド12に設けられている。
図1及び
図3に示す例では、電極20(第1の電極20a及び第2の電極20bの総称)の形状が円形とされているが、この形状は、三角、四角等の多角形であってもよく、電極20の形状については、特に限定されない。
【0034】
発汗センサ2は、生体情動に基づく皮膚コンダクタンス信号(発汗信号)を検出するセンサであり、皮膚コンダクタンス信号を制御部1に対して出力可能とされる。発汗センサ2は、ユーザの皮膚に接触して、皮膚の汗腺(例えば、エクリン腺)から分泌される汗を検出する。発汗センサ2は、発汗に基づく皮膚の電流の通りやすさ(皮膚コンダクタンス)の変化を、皮膚の電気活動状態(EDA :Electro Dermal Activity)として検出することが可能とされている。
【0035】
発汗センサ2は、第1の電極20a及び第2の電極20bを有する電極対21、第1の電極20a及び第2の電極20bの間に電位差を生じさせる電圧/電源部、並びに、第1の電極20a及び第2の電極20bの間に流れる電流をする検出部等を含む。また、発汗センサ2は、検出された電流を電圧に変換する電流/電圧変換部、皮膚コンダクタンス信号を増幅させる増幅部、及び増幅信号をフィルタ処理するフィルタ処理部等を含む。
【0036】
第1の電極20a及び第2の電極20bの間に印加される電圧は、交流であってもよいし、直流であってもよい。本実施形態では、発汗信号として、皮膚コンダクタンス信号が用いられるが、代わりに、皮膚インピーダンス信号(発汗信号)や、皮膚抵抗信号(発汗信号)等が用いられてもよい。
【0037】
図4は、
図3に示すA-A'間の断面図である。
図4に示すように、バンド12において、発汗センサ2の電極20の上側(電極20に対して皮膚側とは反対側)には、圧力センサ4がそれぞれ設けられている。つまり、発汗センサ2(電極20)、圧力センサ4及バンド12は、対応する箇所において皮膚側からこの順番に積層された3層構造とされている。
【0038】
圧力センサ4が配置された領域は、発汗センサ2(電極20)が配置された領域に重なっており、圧力センサ4は、発汗センサ2(電極20)に対して、皮膚側とは反対側でその直上に配置されている。
図4に示す例では、圧力センサ4は、全ての領域において発汗センサ2(電極20)と重なっているが、圧力センサ4は、一部の領域において発汗センサ2と重なっていてもよい。
【0039】
圧力センサ4は、皮膚との間の圧力変化(
図4の黒の矢印参照)に基づく圧力信号を検出するセンサであり、検出された圧力信号を制御部1に対して出力可能とされている。圧力センサ4は、例えば、圧力によって電圧、電流、抵抗などが変わる素子(例えば、圧電素子、感圧導電型エラストマ)等により構成される。典型的には、圧力センサ4は、圧力検出可能であればどのようなセンサが用いられてもよい。
【0040】
なお、発汗センサ2(電極20)と、圧力センサ4との間に変形可能部材14が配置されていてもよい。
図5は、発汗センサ2と、圧力センサ4との間に変形可能部材14が配置されたとき様子を示す図である。
【0041】
図5に示す例では、発汗センサ2(電極20)、変形可能部材14、圧力センサ4及バンド12は、対応する箇所において皮膚側からこの順番に積層された4層構造とされている。変形可能部材14は、例えば、圧力により変形し、かつ、圧力が解消されることによって元の形状を復元可能とされている。変形可能部材14に用いられる材料としては、例えば、シリコンゴムなどの各種のゴムや、有機樹脂等が挙げられる。典型的には、変形可能部材14は、同じ圧力で押されたときにバンド12よりも変形量が大きい材料によって構成される。
【0042】
変形可能部材14が設けられた場合、皮膚によって発汗センサ2が押し込まれたときに変形可能部材14が圧縮変形し、この圧縮変形の反力として生じた力が圧力センサ4に伝達されるので、皮膚との間の圧力をより適切に検出可能とされる。
【0043】
再び
図2を参照して、慣性センサ3は、体動変化に基づく慣性信号(体動信号:加速度信号、角速度信号等)を検出するセンサであり、この慣性信号を制御部1に対して出力可能とされる。この慣性センサ3は、3軸方向の加速度を検出する3軸の加速度センサと、3軸回りの角速度を検出する角速度センサとを含む。
【0044】
本実施形態では、慣性センサ3の検出軸が3軸とされているが、この検出軸は、1軸、あるいは、2軸であってもよい。また、本実施形態では、慣性センサ3として、2種類のセンサが用いられているが、慣性センサ3として1種類、あるいは、3種類以上のセンサが用いられてもよい。なお、慣性センサ3の他の例としては、速度センサ、角度センサ等が挙げられる。
【0045】
慣性センサ3及び圧力センサ4は、例えば、ユーザがウェアラブルデバイス10を装着したタイミング等、所定のタイミングでキャリブレーションされてもよい。
【0046】
制御部1は、記憶部5に記憶された各種のプログラムに基づき種々の演算を実行し、ウェアラブルデバイス10の各部を統括的に制御する。
【0047】
制御部1は、ハードウェア、又は、ハードウェア及びソフトウェアの組合せにより実現される。ハードウェアは、制御部1の一部又は全部として構成され、このハードウェアとしては、CPU(Central Processing Unit)、DSP(Digital Signal Processor)、FPGA(Field Programmable Gate Array)、ASIC(Application Specific Integrated Circuit)、あるいは、これらのうち2以上の組合せなどが挙げられる。
【0048】
なお、制御部1の具体的な構成及び処理については、後に詳述する。
【0049】
記憶部5は、制御部1の処理に必要な各種のプログラムや、各種のデータが記憶される不揮発性のメモリと、制御部1の作業領域として用いられる揮発性のメモリとを含む。
【0050】
通信部8は、ウェアラブルデバイス10以外の他の装置と通信可能に構成されている。ウェアラブルデバイス10と通信可能な他の機器としては、例えば、デスクトップPC(Personal Computer)等の各種のPCや、携帯電話機(スマートフォンを含む)、ネットワーク上のサーバ装置等が挙げられる。
【0051】
<本技術の手法>
ここで、制御部1の具体的な構成の説明の前に、本技術において用いられる手法について簡潔に説明する。
【0052】
人間に対する刺激は、感覚視床・感覚皮質を経由して扁桃体を通る高次経路と、感覚視床から扁桃体を通る低次経路がある。高次経路では刺激を分析して扁桃体に届けるので時間がかかるが、低次経路では高次な大脳皮質の処理を省略し刺激の迅速な評価が可能になる。扁桃体は視床下部・自律神経を通じて情動反応、自律反応、ホルモン分泌等の身体反応を引き起こすことが知られている。皮膚下に存在する汗腺は自律神経と繋がっており刺激に応じて発汗する。
【0053】
発汗は、熱い環境にいるときや運動時などに体温調節するための温熱性発汗、精神的緊張や情緒変動などの精神性刺激を受けたときの精神性発汗、辛いものや刺激のあるものを食べたとき等の味覚性発汗などに大別される。
【0054】
ところで、情動反応である精神性発汗が多い汗腺は存在位置が限られており、指先、掌及び足の裏等に多く、手首位置等の他の箇所は少ないと言われている。精神性発汗を計測するには指先、掌及び足の裏が適切だが、日常生活中の行動が制約を受けるため、被験者の負担が大きい。一方、手首位置等は、日常生活中の行動に影響を与えにくく、この点では、発汗計測には適している。
【0055】
しかしながら、手首位置等は、汗腺が少ない箇所であるので、精神性発汗に基づく皮膚コンダクタンス信号の値が微弱であり、適切に精神性発汗を検出できない可能性がある。
【0056】
上述のように、皮膚コンダクタンス信号は、皮膚表面の緩やかな発汗の変化を示す皮膚コンダクタンスレベル(以下、SCLと省略)と、瞬時の発汗の変化を示す皮膚コンダクタンス応答(以下、SCRと省略)との重ねせである。従って、皮膚コンダクタンス信号から、SCL及びSCRの2つの信号を分離することができる。
【0057】
このSCL及びSCRのうち、瞬時の発汗の変化を示すSCRは、ユーザの精神性発汗による情動(心理状態)を適切に表している。従って、SCRを正確に検出することができれば、ユーザの現在の情動を正確に判断することができると考えられる。
【0058】
一方、手首部分などの汗腺が少ない部分では、SCRを感度良く検出することができない。特に、手首部分などの汗腺が少ない部分では、SCRの立ち上がりが遅いといった問題がある。このため、例えば、ユーザのリアルタイムでの情動の情報を、例えば、ゲームなどの各種のアプリケーションにおいて使用する場合に制約となる。
【0059】
ここで、上述の非特許文献2に記載されている式(1)を再掲載する。
dG={G1
2/(G1+G2+y)2}dy・・・(1)
式(1)において、dGは、コンダクタンス変化(SCRとして観測)、G1は、真皮のコンダクタンス、G2は、角質層のコンダクタンス、dyは、汗腺活動のコンダクタンスである。
【0060】
式(1)から明らかなように、SCRは、SCLに対する依存性がある。本技術では、SCRにおけるSCLに対する依存性を利用し、SCLに基づいて、SCRを補正することによって、SCRの検出の感度を向上させるといった手法が採用される。
【0061】
式(1)による等価回路モデルにおいて、真皮のコンダクタンス、角質層のコンダクタンス、汗腺活動のコンダクタンスを直接的に測定することは困難であり、観測されるコンダクタンス値は、電極20の種類等の装置特性に依存する。このため、(1)式による等価回路モデルによる直接的なSCRの補正は困難である(つまり、本技術において、(1)式は、直接的には使用しない)。
【0062】
このため、本技術では、予め構築された補正モデル(後述のルックアップテーブル)によって、SCRが補正される。
【0063】
ここでの説明から理解されるように、本技術は、例えば、手首位置等の汗腺が少ない箇所で発汗を検出する場合に、特に有用な技術である。但し、これは、本技術が、手首位置等の汗腺が少ない箇所で発汗を検出する用途に限定されるといったこと意味するものではない。つまり、本技術は、汗腺の数の多少に関係なく、皮膚における発汗を検出する目的であれば、人(あるいは、動物)における体のどの部分にも用いられ得る。
【0064】
<制御部1の具体的な構成>
次に、制御部1の一部における具体的な構成について説明する。
図6は、制御部1の一部における具体的な構成を示す図である。
【0065】
図6に示すように、制御部1は、SCL/SCR分離部35と、差分抽出部36と、基準値記憶部37と、活動状態解析部38と、補正処理部39とを備えている。
【0066】
「SCL/SCR分離部35」
SCL/SCR分離部35には、バンドパスフィルタ31の通過により変動成分とされた皮膚コンダクタンス信号が入力される。SCL/SCR分離部35は、入力された皮膚コンダクタンス信号をSCL信号及びSCR信号へと分離可能に構成されている。また、SCL/SCR分離部35は、分離されたSCL信号及びSCR信号を、差分抽出部36と、基準値記憶部37とへ出力可能に構成されている。
【0067】
SCL(第1の変動成分)は、皮膚コンダクタンス信号の低周波成分であり、基線変動成分である。また、SCL(第2の変動成分)は、皮膚コンダクタンス信号の高周波成分であり、瞬時変動成分である。
【0068】
信号の分離においては、SCL/SCR分離部35は、例えば、平滑化フィルタによって皮膚コンダクタンス信号からSCL信号を抽出し、抽出されたSCL信号を皮膚コンダクタンス信号から差し引くことでSCR信号を算出する。
【0069】
あるいは、SCL/SCR分離部35は、皮膚コンダクタンス信号からSCL信号を指し引いた後、さらに、双指数関数型のフィルタによって、その信号からインパルス型の立ち上がり成分を抽出してもよい(SCRは立ち上がりが早く、下るのが遅い特性があるのでこの関係を利用)。そして、SCL/SCR分離部35は、抽出された信号を平滑化フィルタによって平滑化することでSCR信号を求めてもよい。
【0070】
「活動状態解析部38」
活動状態解析部38には、バンドパスフィルタ31の通過により変動成分とされた皮膚コンダクタンス信号が入力される。また、活動状態解析部38には、バンドパスフィルタ32の通過により変動成分とされた慣性信号(加速度信号、角速度信号)及びバンドパスフィルタ33の通過により変動成分とされた圧力信号が入力される。
【0071】
活動状態解析部38は、皮膚コンダクタンス信号に基づき、接触状態における状況が、接触状態及び非接触状態のうちいずれであるかを判定する。接触状態は、発汗センサ2(電極対21)が皮膚(生体)に接触している状態であり、非接触状態は、発汗センサ2(電極対21)が皮膚に接触していない状態である。
【0072】
典型的には、活動状態解析部38は、皮膚コンダクタンス信号の値と所定の閾値とを比較し、皮膚コンダクタンス信号の値が閾値以上である場合には、接触状態における状況が、接触状態であると判定する。一方、活動状態解析部38は、皮膚コンダクタンス信号の値が閾値未満である場合には、接触状態における状況が、非接触状態であると判定する。接触状態における状況が、非接触状態である場合、例えば、非接触状態であることが表示部6を介してユーザに通知されてもよい。
【0073】
また、活動状態解析部38は、慣性信号及び圧力信号に基づいて、生体の活動状態における状況が、活動状態、準活動状態、及び安静状態のうちいずれであるかを判定可能に構成されている。なお、活動状態における状況について、安静状態以外の状態(ここでの例では、活動状態及び準活動状態)を、非安静状態と呼ぶ。
【0074】
なお、活動状態解析部38は、接触/非接触状態の判定結果が、接触状態である場合に、この活動状態の判定を実行する。一方、活動状態解析部38は、接触/非接触状態の判定結果が、非接触状態である場合、典型的には、活動状態の判定を実行しない。
【0075】
活動状態は、例えば、運動やストレッチなどのように体や腕が大きく動いている状態である。準活動状態は、例えば、スマートフォンの操作時やPC作業等のように体の一部(指、手首等)が小さく動いている状態である。また、安静状態は、例えば、睡眠や仮眠、休憩中などにおいて体がほとんど動いていない状態である。
【0076】
活動状態解析部38は、慣性信号に基づいて、活動状態における状況が、活動状態及びそれ以外の状態(準活動状態、安静状態)のうちいずれであるかを判定する。典型的には、活動状態解析部38は、慣性信号の値と所定の閾値とを比較し、慣性信号の値が閾値以上である場合には、活動状態であると判定する。一方、活動状態解析部38は、慣性信号の値が閾値未満である場合には、活動状態における状況が、活動状態以外の状態(準活動状態及び安静状態)であると判定する。
【0077】
活動状態解析部38は、慣性信号に対して、ノルム値処理、バッファリング、最大値フィルタ処理等を実行可能に構成されていてもよい。この場合、活動状態解析部38は、慣性信号に対してノルム値処理を実行し、ノルム値化された慣性信号(加速度ノルム、角速度ノルム等)をバッファリングする。
【0078】
そして、活動状態解析部38は、バッファリングされたノルム値のうち、直近の所定時間内におけるノルム値に対して最大値フィルタ処理を実行し、ノルム値の最大値を取得する。このようにして、活動状態解析部38は、所定時間毎に、ノルム値の最大値を取得する。活動状態解析部38は、取得されたノルム値の最大値と、所定の閾値と比較し、活動状態における状況が、活動状態であるか、それ以外の状態(準活動状態、安静状態)であるかを判断する。
【0079】
また、活動状態における状況が、活動状態以外の状態である場合、さらに、活動状態解析部38は、圧力信号に基づいて、活動状態における状況が、準活動状態及び安静状態のうちいずれであるかを判定する。典型的には、活動状態解析部38は、圧力信号の値と所定の閾値とを比較し、圧力信号の値が閾値以上である場合には、準活動状態であると判定する。一方、活動状態解析部38は、圧力信号の値が閾値未満である場合には、安静状態であると判定する。
【0080】
活動状態解析部38は、圧力信号に対して、微分絶対値フィルタ処理、バッファリング、最大値フィルタ処理等を実行可能に構成されていてもよい。この場合、活動状態解析部38は、慣性信号に対して微分絶対値処理を実行し、微分絶対値化された圧力信号をバッファリングする。
【0081】
そして、活動状態解析部38は、バッファリングされた微分絶対値のうち、直近の所定時間内における微分絶対値に対して最大値フィルタ処理を実行し、微分絶対値の最大値を取得する。このようにして、活動状態解析部38は、所定時間毎に、圧力信号における微分絶対値の最大値を取得する。活動状態解析部38は、取得された微分絶対値の最大値と、所定の閾値と比較し、活動状態における状況が、準活動状態であるか、安静状態であるかを判断する。
【0082】
活動状態解析部38は、活動状態における状況を判定すると、その活動状態の判定の結果を基準値記憶部37に対して出力するように構成されている。
【0083】
なお、ここでの説明では、活動状態解析部38が、慣性信号及び圧力信号の両方に基づいて、活動状態における状況が、非安静状態(活動状態、準活動状態)及び安静状態のうちいずれであるかを判定する場合について説明した。一方、活動状態解析部38は、典型的には、慣性信号又は圧力信号のうち少なくとも一方に基づいて、活動状態における状況が、非安静状態及び安静状態のうちいずれであるかを判定可能なように構成されていればよい。
【0084】
例えば、活動状態解析部38は、慣性信号及び圧力信号のうち慣性信号にのみ基づいて、非安静状態及び安静状態を識別してもよい。この場合、圧力センサ4は省略することができる。この場合、例えば、活動状態解析部38は、慣性信号の値と、所定の閾値とを比較し、慣性信号の値が閾値以上である場合に、活動状態における状況が非安静状態であると判定する。一方、活動状態解析部38は、慣性信号の値が閾値未満である場合、活動状態における状況が安静状態であると判定する。
【0085】
また、例えば、活動状態解析部38は、慣性信号及び圧力信号のうち圧力信号にのみ基づいて、非安静状態及び安静状態を識別してもよい。この場合、慣性センサ3は省略することができる。この場合、例えば、活動状態解析部38は、圧力信号の値と、所定の閾値とを比較し、圧力信号の値が閾値以上である場合に、活動状態における状況が非安静状態であると判定する。一方、活動状態解析部38は、圧力信号の値が閾値未満である場合、活動状態における状況が安静状態であると判定する。
【0086】
「基準値記憶部37」
基準値記憶部37には、SCL信号及びSCR信号がSCL/SCR分離部35から入力される。また、基準値記憶部37には、活動状態における判定の結果(活動状態、準活動状態又は安静状態)が活動状態解析部38から入力される。
【0087】
基準値記憶部37は、SCLの基準値(以下、SCLbase:第1の基準値)と、SCRの基準値(SCRbase:第2の基準値)とを更新して記憶することが可能とされている。SCLbaseは、活動状態が安静状態であり、かつ、情動(心理状態)が生理的に安静状態である場合におけるSCLの値である。同様に、SCRbaseは、活動状態が安静状態であり、かつ、情動(心理状態)が生理的に安静状態である場合におけるSCRの値である。
【0088】
基準値記憶部37は、SCR信号に基づいて、情動が生理的に安静状態であるか、あるいは、生理的に非安静状態であるかを判定可能に構成されている。なお、基準値記憶部37は、活動状態解析部38により入力された判定結果について、活動状態における状況が安静状態である場合に、この生理的な安静状態/非安静状態の判定を実行する。一方、基準値記憶部37は、活動状態における状況が活動状態及び準活動状態である場合、典型的には、この生理的な安静状態/非安静状態の判定を実行しない。
【0089】
生理的な安静状態/非安静状態の判定については、基準値記憶部37は、SCR信号を解析して、SCRの発生頻度を求める。そして、基準値記憶部37は、SCRの発生頻度が閾値未満である場合に、情動が生理的に安静状態であると判定する。一方、基準値記憶部37は、SCRの発生頻度が閾値以上である場合に、情動が生理的な非安静状態であると判定する。
【0090】
なお、生理的な安静状態/非安静状態の判定に用いられるSCRは、補正前のSCRであってもよし、補正後のSCRであってもよい。また、生理的な安静状態/非安静状態の判定を実行する主体は、基準値記憶部37でなく、活動状態解析部38であってもよい。
【0091】
ここでの説明では、生理的な安静状態/非安静状態の判定において、SCR信号が用いられる場合について説明したが、この判定において、SCR信号に代えて、SCL信号が用いられてもよい。
【0092】
この場合、例えば、基準値記憶部37は、SCL信号における所定時間内の平均値を求める。そして、基準値記憶部37は、SCL信号の平均値が所定の閾値未満である場合に、情動が生理的に安静状態であると判定し、SCL信号の平均値が閾値以上である場合に、情動が生理的な非安静状態であると判定する。
【0093】
なお、生理的な安静状態/非安静状態の判定において、SCR信号及びSCL信号の両方が用いられてもよい。また、基準値記憶部37は、皮膚コンダクタンス信号(分離前)に基づいて、生理的な安静状態/非安静状態の判定を行ってもよい。典型的には、基準値記憶部37は、皮膚コンダクタンス信号(発汗信号)に関する信号(SCR信号、SCL信号、皮膚コンダクタンス信号自体)に基づいて、情動が生理的に安静状態であるか、あるいは、生理的に非安静状態であるかを判定可能に構成されていればよい。
【0094】
活動状態が安静状態であり、かつ、情動が生理的に安静状態である場合、基準値記憶部37は、そのときのSCLの値及びSCRの値を記憶する。一方、それ以外の場合、つまり、活動状態における状況が、活動状態及び準活動状態である場合、並びに、活動状態における状況が安静状態であるが、情動が生理的に非安静状態である場合、基準値記憶部37は、そのときのSCLの値及びSCRの値を記憶しない。
【0095】
基準値記憶部37は、活動状態が安静状態であり、かつ、情動が生理的に安静状態である場合のSCLの値及びSCLの値の平均値をそれぞれ算出する。基準値記憶部37は、このSCLの平均値をSCLbaseとして記憶し、また、SCRの平均値をSCRbaseとして記憶する。
【0096】
基準値記憶部37は、SCLbase及びSCRbaseの情報を差分抽出部36へと出力可能に構成されている。
【0097】
「差分抽出部36」
差分抽出部36には、SCL信号及びSCR信号がSCL/SCR分離部35から入力される。また、差分抽出部36には、SCLbase及びSCRbaseの情報が基準値記憶部37から入力される。
【0098】
差分抽出部36は、SCLの値及びSCLbaseの差分と、SCRの値及びSCRbaseの差分とを抽出可能に構成されている。差分抽出部36は、SCLの値からSCLbaseを減算し、差分であるdSCLを算出する。また、差分抽出部36は、SCRの値からSCRbaseを減算し、差分であるdSCRを算出する。
【0099】
差分抽出部36は、算出したdSCLの値及びdSCRの値を補正処理部39に出力可能に構成されている。
【0100】
「補正処理部39」
補正処理部39には、dSCLの値及びdSCRの値が差分抽出部36から入力される。補正処理部39は、dSCLに基づいて、dSCRを補正可能に構成されている。典型的には、補正処理部39は、dSCLに関連するゲインによりdSCRを補正可能に構成されており、ゲインは、dSCLに対して単調減少する値とされている。なお、ここでの例では、dSCLに基づいて、dSCRが補正される場合について説明するが、SCL自体に基づいて、SCR自体が補正されてもよい。
【0101】
具体的には、補正処理部39は、入力されたdSCLの値に対して、ルックアップテーブルを適用して、dSCLの関数であるゲインを求める。なお、gein=f(dSCL)である。そして、補正処理部39は、dSCRに対してゲインを乗算し、補正後のSCR(dSCR')を得る。なお、dSCR'=dSCR×geinである。
【0102】
ゲインは、入力変数であるdSCLの値に対して、単調減少する値である。
図7は、ゲインと、dSCLとの関係についての一例を示す図である。
図7に示す例では、gein=f(dSCL)=b×exp(-dSCL/a)の場合の一例が示されている。なお、ゲインは、dSCLの値に対して、単調減少する値であればよく、この例に限定されない。
【0103】
補正されたSCR信号は、生体の情動(心理状態)の解析に用いられる。例えば、補正後のSCR信号に基づいて、ユーザの緊張状態、リラックス状態、歓喜状態、悲観状態等の情動が識別される。情動の情報は、各種の用途に用いられ得る。
【0104】
例えば、ユーザの緊張状態、リラックス状態等に合わせてゲームの難易度が変化されてもよい。また、ユーザがゴルフをしているときに、ユーザの情動が解析され、リラックス状態でスイングが行えているかなどの判断に用いられてもよい。また、ユーザがヨガを行っているときに、ユーザの情動が解析され、ヨガが精神状態の改善につながっているかが判断されてもよい。
【0105】
<実験例>
次に、被験者に対して行われた心理的な実験タスク及びこのときのSCL及びSCRの関係について説明する。
【0106】
「"指"でのSCL及びSCRの値」
図8は、実験タスク毎の指でのSCL及びSCR(dSCL及びdSCR)の関係を示す図である。この実験タスクでは、19名の被験者の"指"に対してSCL及びSCR(dSCL及びdSCR)がそれぞれ測定された。この実験タスクでは、初期安静タスク、第1の集中タスク、第1の安静回復タスク、第2の集中タスク、第2の安静回復タスクの順番でタスクが行われた。
【0107】
なお、以降では、初期安静タスク、第1の安静回復タスク、第2の安静回復タスクの総称を、単に安静タスクと呼ぶ。また、第1の集中タスク及び第2の集中タスクの総称を単に集中タスクと呼ぶ。
【0108】
初期安静タスクでは、所定期間(数分から十数分程度)、被験者に安静にしてもらった。
図8に示すグラフは、初期安静タスクにおける19名分のSCL及びSCRの値の平均値が0とされて、19名分のSCL及びSCRの値の平均値が正規化されたグラフとされている。なお、初期安静タスクにおけるSCL及びSCRの平均値は、SCL
base及びSCR
baseに相当し、また、
図8では、この値が基準値(ゼロ)とされているので縦軸がdSCL及びdSCRに相当する。
【0109】
初期安静タスクでは、SCL及びSCR(dSCL及びdSCR)は、0付近で比較的に安定して推移している。
【0110】
第1の集中タスクでは、所定期間(数分から十数分程度)、被験者に対して、集中を惹起するための心理的な負荷タスクが行われた。
【0111】
この第1の集中タスクでは、SCL及びSCR(dSCL及びdSCR)は、初期安静タスクからの切り替わり時に急激に上昇して高い値を取り、その後、高い値で安定して推移している。
【0112】
第1の安静回復タスクでは、所定期間(数分から十数分程度)、回復のために被験者に安静にしてもらった。この第1の安静回復タスクでは、SCL(dSCL)は、緩やかに下降して0に近づいてから0付近で安定して推移している。一方、SCR(dSCR)は、第1の集中タスクからの切り替わり時にSCLよりも素早く下降して0に近づき、その後、0付近で安定して推移している。
【0113】
第2の集中タスクでは、所定期間(数分から十数分程度)、被験者に対して、集中を惹起するための心理的な負荷タスクが行われた。なお、この第2の集中タスクでは、第1の集中タスクとは異なるタスクが行われた。第2の集中タスクでは、前半において、比較的に心理的な負荷が小さいタスク(以下、前半タスク)が行われ、後半において比較的に心理的な負荷が大きいタスク(以下、後半タスク)が行われた。
【0114】
第2の集中タスクでは、SCL(dSCL)は、第1の安静回復タスクからの切り替わり時に急激に上昇して高い値を取り、その後、前半タスクの間は、その高い値で安定して推移している。また、SCL(dSCL)は、前半タスクと後半タスクとの切り替わり時において、一瞬さらに高い値を取った後、緩やかに下降して元の高い値付近に近づいている。
【0115】
また、第2の集中タスクでは、SCR(dSCR)は、第1の安静回復タスクからの切り替わり時に急激に上昇して高い値を取り、その後、前半タスクの間は、その高い値で安定して推移している。また、SCR(dSCR)は、前半タスクと後半タスクとの切り替わり時において、一瞬さらに高い値を取った後、SCLよりも素早く元の高い値に近づき、その高い値付近で推移している。
【0116】
第2の安静回復タスクでは、所定期間(数分から十数分程度)、回復のために被験者に安静にしてもらった。この第2の安静回復タスクでは、SCL(dSCL)は、緩やかに下降して0に近づいてから0付近で安定して推移している。一方、SCR(dSCR)は、第2の集中タスクからの切り替わり時にSCLよりも素早く下降して0に近づき、その後、0付近で安定して推移している。
【0117】
図8から明らかなように、SCL及びSCR(dSCL及びdSCR)は、初期安静タスク、第1の安静回復タスク、第2の安静回復タスクを含む安静タスクでは、比較的低い値を取るといった傾向がある。逆に、SCL及びSCR(dSCL及びdSCR)は、第1の集中タスク及び第2の集中タスクを含む集中タスクでは、比較的高い値を取るといった傾向がある。
【0118】
図8の右上には、安静タスクにおけるSCL(dSCL)と、集中タスクにおけるSCL(dSCL)との分離度がROC曲線(ROC:Receiver Operating Characteristic)のAUC(Area Under the Curve)によって表されている。また、
図8の右下には、安静タスクにおけるSCR(dSCR)と、集中タスクにおけるSCR(dSCR)との分離度がROC曲線のAUCによって表されている。
【0119】
ROC曲線の下部面積であるAUCの値は、安静タスクでの生理指標(SCL及びSCR)と、集中タスクにおける生理指標との分離度、つまり、これらがどの程度分離可能で識別可能であるかを示している。
【0120】
AUCの値は、0.5~1の間の値を取り、AUCの値が1であれば、完全な分離が可能であり、逆に、AUCの値が0.5であれば、完全にランダムな分離となる。
【0121】
図8の右上を参照して、SCL(dSCL)では、安静タスク及び集中タスク間の分離度が、AUC=0.91である。また、
図8の右下を参照して、SCR(dSCR)では、安静タスク及び集中タスク間の分離度が、AUC=0.88である。
【0122】
つまり、汗腺が多い箇所である"指"が測定対象とされた場合、SCL及びSCRは、両者とも安静タスクと集中タスクとの分離度が高い値を示す。これは、つまり、測定対象が指の場合、SCL及びSCRは、安静タスクと、集中タスクとで差が大きいことを意味している。
【0123】
なお、AUCの値が高く、分離度が高い方が生体の情動(心理状態)を正確に推定することができる。
【0124】
「"手首"でのSCL及びSCRの値」
図9は、実験タスク毎の手首でのSCL及びSCR(dSCL及びdSCR)の関係を示す図である。
図9に示す例では、測定対象が指ではなく、"手首"とされた。SCL及びSCRの測定の方法については、
図8で説明した場合と同じである。
【0125】
図9では、SCL及びSCR(dSCL及びdSCR)における縦軸のスケールが、
図8とは異なっている。つまり、
図8では、SCL(dSCL)における縦軸のスケールが、14[μS]であったのに対し、
図9では、SCL(dSCL)における縦軸のスケールが、5[μS]とされている。また、
図8では、SCR(dSCR)の縦軸におけるスケールが、2.5であったのに対し、
図9では、SCL(dSCL)の縦軸におけるスケールが、0.5とされている。
【0126】
図8及び
図9の比較から明らかなように、汗腺が少ない手首のSCL及びSCRの値は、汗腺が多い指のSCL及びSCRの値よりも明らかに低い値を示す。
【0127】
図9のグラフについて、具体的に説明する。初期安静タスクでは、SCL及びSCR(dSCL及びdSCR)は、0付近で比較的に安定して推移している。
【0128】
第1の集中タスクでは、SCL(dSCL)は、初期安静タスクからの切り替わり時から緩やかに上昇していく。また、SCR(dSCR)は、初期安静タスクからの切り替わり時に上昇し、その後、その値で安定して推移している。
【0129】
第1の安静タスクでは、SCL(dSCL)は、第1の集中タスクの切り替わり時から緩やかに下降していく。一方、SCR(dSCR)は、第1の集中タスクからの切り替わり時にSCLよりも素早く下降して0に近づき、その後、0付近で安定して推移している。
【0130】
第2の集中タスクでは、SCL(dSCL)は、前半タスクの間は、少し低い値を取ったまま安定して推移している。また、SCL(dSCL)は、前半タスクと後半タスクとの切り替わり時から緩やかに上昇している。
【0131】
また、第2の集中タスクでは、SCR(dSCR)は、第1の安静回復タスクからの切り替わり時に少しだけ上昇するが、前半タスクの間は、低い値のままで推移している。また、SCR(dSCR)は、前半タスクと後半タスクとの切り替わり時において、急激に上昇し、その後、緩やかに下降している。
【0132】
第2の安静回復タスクでは、SCL(dSCL)は、第2の集中タスクの切り替わり時から緩やかに下降している。一方、SCR(dSCR)は、第2の集中タスクからの切り替わり時にSCLよりも素早く下降して0に近づき、その後、0付近で安定して推移している。
【0133】
図9においても、SCL及びSCR(dSCL及びdSCR)は、安静タスクにおいて比較的低い値を取り、集中タスクでは、比較的高い値を取るといった傾向がある。しかしながら、
図9(手首)の場合、この傾向は、
図8(指)に比べて明らかに小さい。
【0134】
図9の右上には、安静タスクにおけるSCL(dSCL)と、集中タスクにおけるSCL(dSCL)との分離度がROC曲線のAUCによって表されている。また、
図9の右下には、安静タスクにおけるSCR(dSCR)と、集中タスクにおけるSCR(dSCR)との分離度がROC曲線のAUCによって表されている。
【0135】
図9の右上を参照して、SCL(dSCL)では、安静タスク及び集中タスク間の分離度が、AUC=0.67である。また、
図9の右下を参照して、SCR(dSCR)では、安静タスク及び集中タスク間の分離度が、AUC=0.68である。
【0136】
つまり、汗腺が少ない箇所である"手首"が測定対象とされた場合、SCL及びSCRは、両者とも安静タスクと集中タスクとの分離度が低い値を示す。これは、つまり、測定対象が手首の場合、SCL及びSCRは、安静タスクと、集中タスクとであまり差がないことを意味している。なお、AUCの値が低く、分離度が低いと、生体の情動(心理状態)の推定における精度が低下してしまう。
【0137】
ここで、
図8(指)及び
図9(手首)のSCR(dSCR)の値について、第2の集中タスクにおける前半の期間に着目する。この期間は、心理的な負荷タスクが行われており、被験者は精神的な緊張状態にある。
【0138】
図8(指)では、この前半の期間において、SCR(dSCR)は、比較的高い値、つまり、安静タスク時の値に比べて差が大きい値を保ったまま安定して推移している。一方、
図9(手首)の場合、この前半の期間において、SCR(dSCR)は、比較的に低い値、つまり、安静タスク時の値に比べてあまり差がない値を保ったまま推移してしまっている。
【0139】
このように、
図9(手首)の場合、SCR(dSCR)が、安静タスク時の値に比べてあまり差がない値を取ってしまうため、第2の集中タスクにおける前半の期間において被験者が緊張状態であるにもかかわらず、緊張状態にないと誤判定されてしまう可能性がある。
【0140】
このため、本技術では、SCL(dSCL)の値に基づいて、SCR(dSCL)の値が補正される。
【0141】
「"手首"における補正無しのSCR及び補正有のSCRの比較」
次に、測定対象が手首とされた場合における補正無し(補正前)のSCRと、補正有り(補正後)のSCRとの比較について説明する。
図10は、測定対象が手首とされた場合における補正無しのSCRと、補正有りのSCRとの関係を比較した図である。
【0142】
図10の上側には、手首における補正無し(補正前)のSCR(dSCR)が示されている。この
図10の上側に示されているSCR(dSCR)は、
図9の下側に示されているSCR(dSCR)と同じである。また、
図10の下側には、手首における補正有り(補正後)のSCR(dSCR)が示されている。
【0143】
図10の下側の補正有り(補正後)のSCR(dSCR)は、
図10の上側の補正無し(補正前)のSCR(dSCR)に対して、ゲイン(
図7参照)が乗算された値とされている。なお、上述のように、ゲインは、SCL(dSCL)の値に対して単調減少する値である。
【0144】
図10の説明では、
図9の上側に示されたSCLも参照される(SCRの補正においてSCLが関係するため)。なお、
図10において、上側の補正無しの場合と下側の補正有りの場合では、縦軸のスケールが多少異なっている。具体的には、補正無しのSCRにおける縦軸のスケールが0.5とされているのに対して、補正有りのSCRにおける縦軸のスケールが0.7とされている。
【0145】
まず、初期安静タスクについて説明する。
図9の上側に示すように、初期安静タスクでは、SCL(dSCL)の値は、0付近で安定して推移している(初期安静タスクでのSCLの平均値がSCL
baseに相当するため)。SCR(dSCR)に乗算されるゲインは、SCL(dSCL)の値に対して単調減少する値であり(
図7参照)、従って、初期安静タスクでは、比較的に高い値がゲインとして用いられる。
【0146】
図9の下側及び
図10の上側を参照して、初期安静タスクでは、SCR(dSCR)の値は、0付近で安定して推移している(初期安静タスクでのSCRの平均値がSCR
baseに相当するため)。従って、初期安静タスクでは、ゲインとして比較的に高い値が用いられるものの、SCR(dSCR)の値がそもそも0付近の値である。従って、
図10の上側及び下側での補正前後の比較から理解されるように、初期安静タスクでは、SCR(dSCR)は、ゲインが乗算されて補正が行われても、低い値のままであまり変化はない。
【0147】
次に、第1の集中タスクについて説明する。
図9の上側に示すように、第1の集中タスクでは、SCL(dSCL)の値は、比較的に高い値を取りつつ、緩やかに上昇している。従って、第1の集中タスクでは、比較的に低い値がゲインとして用いられる。また、第1の集中タスクでは、SCL(dSCL)の値は、緩やかに上昇しているので、ゲインは徐々に小さくなる。
【0148】
なお、ここでの例では、
図7に示されるように、SCL(dSCL)が4[μS]以下であれば、ゲインは、1以上の値が用いられる。
図9の上側に示すように、第1の集中タスクでは、SCL(dSCL)の値は、どの時刻でも4[μS]以下となっている。従って、第1の集中タスクでは、ゲインは、比較的に低い値が用いられるものの、1以下とならず、補正後のSCR(dSCL)の値は、元の値に対して少なからず上昇する。これについては、他のタスクでも同様である。
【0149】
図9の下側及び
図10の上側を参照して、第1の集中タスクでは、SCR(dSCR)の値は、比較的に高い値を取っている(緩やかな上昇傾向)。第1の集中タスクでは、この比較的に高いSCR(dSCR)の値に対して、比較的に低い値のゲイン(1以上)が乗算されて、補正が行われる。
図10の上側及び上側の比較から理解されるように、第1の集中タスクでは、SCR(dSCR)は、ゲインが乗算されて補正が行われると、全体的に補正前よりも高い値となる。
【0150】
次に、第1の安静回復タスクについて説明する。
図9の上側に示すように、第1の安静回復タスクでは、SCL(dSCL)の値は、比較的に高い値を取りつつ、緩やかに下降している。従って、第1の安静回復タスクでは、比較的に低い値がゲイン(1以上)として用いられる。また、第1の安静回復タスクでは、SCL(dSCL)の値は、緩やかに下降しているので、ゲインは徐々に大きくなる。
【0151】
図9の下側及び
図10の上側を参照して、第1の安静回復タスクでは、SCR(dSCR)の値は、最初に下降し、その後、0付近の値で安定して推移している。
【0152】
第1の安静回復タスクにおける最初の期間(数十秒)について説明する。第1の安静回復タスクにおける補正前のSCRは、最初の期間において、0付近に下降しきるまでは、少し高めの値を取ってしまう。一方、最初の期間において、対応するSCL(dSCL)の値が高く、従って、このSCRに乗算されるゲインの値が小さい。このため、
図10の上側及び下側の比較から理解されるように、第1の安静回復タスクでは、最初の期間において、SCR(dSCR)は、ゲインが乗算されて補正が行われても、あまり変化しない。
【0153】
第1の安静回復タスクにおける、最初の期間経過後の残りの期間について説明する。第1の安静回復タスクにおける補正前のSCRは、残りの期間において、0付近の値で安定して推移している。この0付近の値を取るSCR(dSCR)に対して、比較的に低い値のゲインが乗算されてSCRが補正される。従って、
図10の上側及び下側での比較から理解されるように、第1の安静回復タスクにおける残りの期間では、SCR(dSCR)は、補正が行われても低い値のままであまり変化はない。
【0154】
次に、第2の集中タスクについて説明する。
図9の上側に示すように、第2の集中タスクでは、SCL(dSCL)は、前半において、少し低い値を取ったまま安定して推移している。また、SCL(dSCL)は、前半タスクと後半タスクの切り替わり時から緩やかに上昇している。
【0155】
従って、第2の集中タスクの前半では、比較的に高い値がゲインとして用いられる。また、第2の集中タスクの前半では、ゲインは、比較的に高い値から徐々に減少して比較的に低い値となる。
【0156】
図9の下側及び
図10の上側を参照して、第2の集中タスクでは、SCR(dSCR)は、第1の安静回復タスクからの切り替わり時に少しだけ上昇するが、前半は、低い値のままで推移している。また、SCR(dSCR)は、前半タスクと後半タスクとの切り替わり時において、急激に上昇し、その後、緩やかに下降している。
【0157】
第2の集中タスクにおける前半の期間について説明する。第2の集中タスクにおける補正前のSCR(dSCR)は、前半の期間において低い値で推移するが、対応するSCL(dSCL)の値が比較的に低いので、このSCR(dSCR)に対して比較的に高い値のゲインが乗算されて補正が行われる。従って、
図10の上側及び下側の比較から理解されるように、第2の集中タスクでは、前半の期間において、SCR(dSCR)にゲインが乗算されて補正が行われると、SCR(dSCR)は、元の値に対して高い値を取る。
【0158】
第2の集中タスクにおける後半の期間について説明する。第2の集中タスクにおける補正前のSCR(dSCR)は、前半タスクと後半タスクとの切り替わり時において、急激に上昇し、その後、緩やかに下降している。一方、対応するSCL(dSCR)は、SCR(dSCR)よりも立ち上がりが遅く、SCRが既に下降していてもまだ緩やかに上昇している。従って、第2の集中タスクにおける後半の期間では、緩やかに下降するSCRに対して、緩やかに減少するゲイン(最初は比較的に高い)が乗算されて補正が行われる。
【0159】
従って、
図10の上側及び下側の比較から理解されるように、第2の集中タスクでは、後半の期間において、SCR(dSCR)にゲインが乗算されて補正が行われると、SCR(dSCR)は、元のSCRに比べて上下の差が少し大きくなる。
【0160】
第2の安静回復タスクにおいては、第1の安静回復タスクと略同じであるので説明を省略する。
【0161】
図10の右上を参照して、補正無し(補正前)のSCR(dSCR)では、安静タスク及び集中タスク間の分離度が、AUC=0.67である。一方、
図9の右下を参照して、補正有り(補正後の)のSCR(dSCR)では、安静タスク及び集中タスク間の分離度が、AUC=0.74である。
【0162】
つまり、本実施形態では、SCR(dSCR)を上述のように補正することによって、安静タスク及び集中タスク間の分離度を向上させることができる。このように、分離度を向上させることによって、生体の情動を的確に表したSCR信号を得ることができ、生体の情動(心理状態)の推定における精度を向上させることができる。
【0163】
特に、ここでの例では、第2の集中タスクにおける前半の期間でのSCR(dSCR)の値が、安静タスクにおけるSCR(dSCR)の値と分離可能な程度に適切に高くなっている。このため、被験者が緊張状態であるにもかかわらず、緊張状態にないと誤判定されてしまうことも防止することができる。
【0164】
ここで、仮に、SCR(dSCR)に乗算されるゲインが、SCL(dSCL)に対して単調増加である場合について考える。この場合において、第1の安静回復タスク、第2の安静回復タスクにおける最初の期間(数十秒)に着目する。
【0165】
図9の下側及び
図10の上側を参照して、安静回復タスク(第1の安静回復タスク、第2の安静回復タスクの総称)における最初の期間では、補正前のSCR(dSCR)は、0付近に下降しきるまでは、少し高めの値を取ってしまう。
図9の上側を参照して、安静回復タスクにおける最初の期間では、SCL(dSCL)の値は、下降し始めてはいるものの、高い値を取っている。この場合において、ゲインがSCL(dSCL)に対して、単調増加の関係にあるとすると、比較的に高い値がゲインとして用いられてしまう。
【0166】
従って、安静回復タスクの最初の期間では、比較的に高めの値であるSCR(dSCR)に対して、比較的に高い値のゲインが乗算されることで、SCR(dSCR)が補正されてしまう。この場合、安静回復タスクの最初の期間では、SCRが高い値として補正されて出力されてしまい、例えば、緊張状態にあると判定されてしまうおそれがある。一方、安静回復タスクの最初の期間は、本来、リラックス状態の開始期間であり、このような緊張状態にある期間ではない。
【0167】
このように、ゲインが、SCL(dSCL)に対して単調増加であると適切ではない場合が想定される。一方、本実施形態では、ゲインが、SCL(dSCL)に対して単調減少とされている。従って、上述のように、安静回復タスクにおける最初の期間において、SCR(dSCR)にゲインが乗算されて補正が行われても、SCR(dSCR)は、低い値のままであまり変化しない。このため、上述のような誤判定を防止することができる。
【0168】
つまり、本実施形態では、ゲインがSCL(dSCL)に対して単調減少であるので、例えば、第2の集中タスクの前半の期間のような本来高いことが望まれるSCRについては高く補正しつつ、一方で、安静回復タスクにおける最初の期間等のような低いままの値が望まれるSCRについては、低い値のままとすることができる。このように、本実施形態では、ゲインがSCL(dSCL)に対して単調減少であるので、SCRを適切に補正してSCRの検出感度を向上させることができる。
【0169】
<作用等>
以上説明したように、本実施形態では、皮膚コンダクタンス信号がSCL(dSCL)及びSCR(dSCL)に分離され、SCL(dSCL)に基づいて、SCR(dSCL)が補正される。
【0170】
これにより、生体の情動反応を的確に表した、検出感度が高くなるように補正されたSCRを得ることができ、この補正後のSCRを用いることで正確に生体の情動(心理状態)を推定することができる。特に、本実施形態では、例えば、手首などの汗腺が少ない部分で皮膚コンダクタンス信号を検出したとしても、適切にSCRを補正して、正確に生体の情動を推定することができる。
【0171】
また、本実施形態では、手首などの汗腺が少ない部分で皮膚コンダクタンス信号を検出したとしても、遅延のないリアルタイムでの情動の推定を行うことができる。これにより、例えば、ユーザのリアルタイムでの情動の情報を、例えば、ゲームなどの各種のアプリケーションにおいて使用することができ、各種のアプリケーションでの使用の拡大が期待される。
【0172】
また、本実施形態では、SCR(dSCR)に乗算されるゲインは、SCL(dSCL)に関連する値とされており、特に、ゲインが、SCL(dSCL)に対して単調減少とされている。これにより、SCR(dSCR)を適切に補正することができる。
【0173】
また、本実施形態では、SCLbaseに対するSCLの値であるdSCLと、SCRbaseに対するSCLの値であるdSCRとが用いられる。これにより、例えば、SCL及びSCRにおける個人差を吸収することができる。
【0174】
また、本実施形態では、SCLbaseは、活動状態が安静状態、かつ、情動が生理的に安静状態である場合におけるSCLとされている。また、SCRbaseは、活動状態が安静状態、かつ、情動が生理的に安静状態である場合におけるSCRとされている。これにより、基準値として適切なSCLbase及びSCRbaseを用いることができる。
【0175】
また、本実施形態では、活動状態における状況が、非安静状態であるか、又は、安静状態であるが、慣性信号及び圧力信号のうち少なくとも一方に基づいて判定される。これにより、活動状態における非安静状態/安静状態を適切に判定することができる。
【0176】
また、本実施形態では、情動が生理的に非安静状態であるか、又は、安静状態であるかが、皮膚コンダクタンス信号に関する信号(SCL信号、SCR信号(補正前及び補正後)、皮膚コンダクタンス信号自体)に基づいて判定される。これにより、情動における生理的な非安静状態/安静状態を適切に判定することができる。
【0177】
≪各種変形例≫
以上の説明では、皮膚コンダクタンス信号のSCR/SCRへの分離、SCRの補正等の各処理がウェアラブルデバイス10の制御部1により実行される場合について説明した。一方、上述の各処理は、例えば、携帯電話機(スマートフォンを含む)、PC(タブレットPC、ラップトップPC、デスクトップPC等)、ネットワーク上のサーバ装置等の外部機器により実行されてもよい。この場合、ウェアラブルデバイス10は、必要に応じて、皮膚コンダクタンス信号、慣性信号、圧力信号等の各情報を、外部機器に対して送信する。外部機器は、受信した各情報に基づいて、上述の各処理を実行する。なお、上述の各処理は、一部がウェアラブルデバイス10により実行され、他の一部が外部機器により実行されてもよい。
【0178】
以上の説明では、情報処理装置の一例として、腕時計型(リストバンド型)のウェアラブルデバイス10を例に挙げて説明したが、情報処理装置は、これに限られない。例えば、情報処理装置は、手袋型、指輪型、ヘッドバンド型、メガネ型、帽子型、アクセサリ型、衣服型、靴型等の各種の他のウェアラブルデバイス10であってもよい(接触位置の汗腺の多少は不問)。
【0179】
また、情報処理装置は、ウェアラブルデバイス10以外の装置であっても構わない。例えば、情報処理装置は、ユーザに接触する物体の表面又は内部に備えられる形態であってもよい。この場合の例としては、例えば、携帯電話機(スマートフォンを含む)、PC、マウス、キーボード、ハンドル、レバー、カメラ、運動用具(ゴルフクラブ、テニスラケット等)、筆記用具等が挙げられる。典型的には、情報処理装置は、人(あるいは動物)の皮膚に接触可能な形態であれば、どのような形態であっても構わない(接触位置の汗腺の多少は不問)。なお、情報処理装置は、上述のような外部機器(携帯電話機、PC、サーバ装置等)であってもよい。
【0180】
本技術は、以下の構成をとることもできる。
(1)発汗信号を第1の変動成分及び第2の変動成分に分離し、前記第1の変動成分に基づいて、前記第2の変動成分を補正する制御部
を具備する情報処理装置。
(2) 上記(1)に記載の情報処理装置であって、
前記制御部は、前記第1の変動成分に関連するゲインにより、前記第2の変動成分を補正する
情報処理装置。
(3) 上記(2)に記載の情報処理装置であって、
前記ゲインは、第1の変動成分の値に対して単調減少する値である
情報処理装置。
(4) 上記(3)に記載の情報処理装置であって、
前記ゲインは、第1の基準値に対する前記第1の変動成分の値に対して単調減少する値である
情報処理装置。
(5) 上記(4)に記載の情報処理装置であって、
前記制御部は、前記発汗信号に関する信号に基づいて、情動が生理的に安静状態であるかどうかを判定し、
前記第1の基準値は、前記情動が生理的に安静状態である場合における前記第1の変動成分である
情報処理装置。
(6) 上記(5)に記載の情報処理装置であって、
前記制御部は、体動変化に基づく体動信号、又は、皮膚との間の圧力変化に基づく圧力信号のうち少なくとも一方に基づいて活動状態が安静状態であるかどうかを判定し、
前記第1の基準値は、前記活動状態が安静状態、かつ、前記情動が生理的に安静状態である場合における第1の変動成分である
情報処理装置。
(7) 上記(1)~(6)のうちいずれか1つに記載の情報処理装置であって、
前記制御部は、第2の基準値に対する第2の変動成分の値を補正する
情報処理装置。
(8) 上記(7)に記載の情報処理装置であって、
前記制御部は、前記発汗信号に関する信号に基づいて、情動が生理的に安静状態であるかどうかを判定し、
前記第2の基準値は、前記情動が生理的に安静状態である場合における前記第2の変動成分である
情報処理装置。
(9) 上記(8)に記載の情報処理装置であって、
前記制御部は、体動変化に基づく体動信号、又は、皮膚との間の圧力変化に基づく圧力信号のうち少なくとも一方に基づいて活動状態が安静状態であるかどうかを判定し、
前記第2の基準値は 、前記活動状態が安静状態、かつ、前記情動が生理的に安静状態である場合における第2の変動成分である
情報処理装置。
(10) 上記(1)~(9)のうちいずれか1つに記載の情報処理装置であって、
前記第1の変動成分は、発汗信号の基線変動成分である
情報処理装置。
(11) 上記(1)~(10)のうちいずれか1つに記載の情報処理装置であって、
前記第2の変動成分は、発汗信号の瞬時変動成分である
情報処理装置。
(12) 発汗信号を第1の変動成分及び第2の変動成分に分離し、前記第1の変動成分に基づいて、前記第2の変動成分を補正する
情報処理方法。
(13) 発汗信号を第1の変動成分及び第2の変動成分に分離し、前記第1の変動成分に基づいて、前記第2の変動成分を補正する
処理をコンピュータに実行させるプログラム。
【符号の説明】
【0181】
1…制御部
2…発汗センサ
3…慣性センサ
4…圧力センサ
10…ウェアラブルデバイス
35…SCL/SCR分離部
36…差分抽出部
37…基準値記憶部
38…活動状態解析部
39…補正処理部