特許 6096857 感情判定装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】6096857

(24)【登録日】2017年2月24日

(45)【発行日】2017年3月15日

(54)【発明の名称】感情判定装置

(51)【国際特許分類】

   A61B 5/16 20060101AFI20170306BHJP

   A61B 5/01 20060101ALI20170306BHJP

   A61B 5/00 20060101ALI20170306BHJP

【ＦＩ】

   A61B5/16

   A61B5/00 101K

   A61B5/00 101A

【請求項の数】8

【全頁数】31

(21)【出願番号】特願2015-203357(P2015-203357)

(22)【出願日】2015年10月15日

【審査請求日】2016年10月26日

(73)【特許権者】

【識別番号】000002853

【氏名又は名称】ダイキン工業株式会社

(73)【特許権者】

【識別番号】304021417

【氏名又は名称】国立大学法人東京工業大学

(74)【代理人】

【識別番号】110000202

【氏名又は名称】新樹グローバル・アイピー特許業務法人

(72)【発明者】

【氏名】新井 潤一郎

(72)【発明者】

【氏名】後藤 尚志

(72)【発明者】

【氏名】岩亀 誠

(72)【発明者】

【氏名】日野 健一

(72)【発明者】

【氏名】平野 智也

(72)【発明者】

【氏名】小谷 泰則

(72)【発明者】

【氏名】大上 淑美

(72)【発明者】

【氏名】戸松 太郎

【審査官】 佐藤 高之

(56)【参考文献】

【文献】 特開２００６−２７１８１５（ＪＰ，Ａ）

【文献】 特開２０１３−１９８５７６（ＪＰ，Ａ）

【文献】 特開２０１２−２３９６６１（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ａ６１Ｂ ５／００−５／２２

(57)【特許請求の範囲】

【請求項1】

対象者の顔面から検出した皮膚温度データ及びその検出部位の位置データを含む顔面皮膚温度データを時系列で取得する顔面皮膚温度取得手段（２０）及び／又は対象者の顔面を時系列で撮影した撮影画像データに対して行われるＲＧＢ処理により得られた前記撮影画像データのＲＧＢデータに基づき顔面血行量データを時系列で取得する顔面血行量取得手段と、
前記顔面皮膚温度取得手段により取得された前記顔面皮膚温度データ及び／又は前記顔面血行量取得手段により取得された前記顔面血行量データを、特異値分解、主成分分析或いは独立成分分析により分解することで得られた複数の成分に基づき、前記対象者の脳活動を推定する脳活動推定手段（３０，１３０）と、
前記脳活動推定手段により推定された前記対象者の脳活動に基づき、前記対象者の感情を判定する感情判定手段（２００）と、
を備える感情判定装置（３００）。

【請求項2】

前記脳活動推定手段は、
前記複数の成分のうち、その成分波形の振幅が脳の安静時及び脳の賦活時の変化と相関関係にある成分を判定用成分として抽出し、
前記判定用成分に基づき、前記対象者の脳活動を推定する、
請求項１に記載の感情判定装置。

【請求項3】

前記顔面皮膚温度取得手段及び／又は前記顔面血行量取得手段は、前記対象者の顔面の副鼻腔周辺及び／又は前額部の前記顔面皮膚温度データ及び／又は前記顔面血行量データを少なくとも取得する、
請求項１又は２に記載の感情判定装置。

【請求項4】

脳活動の推定結果とヒトの感情を示す感情データとを関連付けて記憶する感情記憶部（２０３）をさらに備え、
前記脳活動推定手段は、脳活動の推定結果を算出し、
前記感情判定手段は、前記推定結果に基づいて前記感情記憶部から前記対象者の感情データを抽出して提示する、
請求項１から３のいずれか１項に記載の感情判定装置。

【請求項5】

前記対象者として乳児に用いられるものであり、
前記感情記憶部が、脳活動の推定値と乳児の感情を示す乳児感情データとを関連付けて記憶する、
請求項４に記載の感情判定装置。

【請求項6】

前記顔面皮膚温度取得手段及び／又は前記顔面血行量取得手段と、前記感情判定手段とがスマートデバイスに格納されている、
請求項１から５のいずれか１項に記載の感情判定装置。

【請求項7】

前記顔面皮膚温度取得手段及び／又は前記顔面血行量取得手段と、前記脳活動推定手段と、前記感情判定手段とがスマートデバイスに格納されている、
請求項１から６のいずれか１項に記載の感情判定装置。

【請求項8】

請求項１から７のいずれか１項に記載の感情判定装置であって、
ヒトに代えてヒト以外の動物の感情を判定する、感情判定装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、感情判定装置に関する。

【背景技術】

【0002】

近年、特許文献１（特開２０１３−１７６４０６号公報）に開示されているような脳波計測法（EEG）、磁気共鳴画像法（fMRI: functional Magnetic Resonance Imaging）、又は近赤外線分光法（NIRS）によって検出されたデータに基づいてヒトや動物の感情を判定することが試みられている。

【発明の概要】

【発明が解決しようとする課題】

【0003】

しかしながら、上述した各方法では、対象者に対して前処理の必要な電極を装着する必要がある等、準備段階での作業が繁雑であったり、所定の計測室でなければ計測できなかったり、多大なコストを要したりするといった問題がある。

【0004】

本発明の課題は、ヒトや動物の感情を簡便に判定し得る感情判定装置を提供することにある。

【課題を解決するための手段】

【0005】

本発明の第１観点に係る感情判定装置は、顔面皮膚温度取得手段及び／又は顔面血行量取得手段と、脳活動推定手段と、感情判定手段と、を備える。顔面皮膚温度取得手段は、顔面皮膚温度データを時系列で取得する。顔面皮膚温度データは、対象者の顔面から検出した皮膚温度データ及びその検出部位の位置データを含む。顔面血行量取得手段は、顔面血行量データを時系列で取得する。顔面血行量データは、対象者の顔面を時系列で撮影した撮影画像データに対してＲＧＢ処理を行い、ＲＧＢ処理により得られた撮影画像データのＲＧＢデータに基づき取得される。脳活動推定手段は、顔面皮膚温度データ及び／又は顔面血行量データを、特異値分解、主成分分析或いは独立成分分析により分解することで得られた複数の成分に基づき、対象者の脳活動を推定する。感情判定手段は、脳活動推定手段により推定された対象者の脳活動に基づき、対象者の感情を判定する。

【0006】

本発明の第１観点の係る感情判定装置では、顔面皮膚温度取得手段及び／又は顔面血行量取得手段によって取得された時系列の顔面皮膚温度データ及び／又は顔面血行量データに基づき対象者の脳活動が推定される。このため、この感情判定装置では、脳波電極等の装着前に処理が必要なセンサを装着しなくても、対象者の脳活動を推定することができる。結果として、ヒトや動物の感情を簡便に判定することができる。

【0007】

本発明の第２観点に係る感情判定装置は、第１観点の感情判定装置において、脳活動推定手段は、複数の成分のうち、その成分波形の振幅が脳の賦活時及び脳の非賦活時の変化と相関関係にある成分を判定用成分として抽出する。そして、脳活動推定手段は、判定用成分に基づき対象者の脳活動を推定する。この感情判定装置では、複数の成分のうちの脳の賦活／非賦活と相関関係にある成分が対象者の脳活動を推定する判定用成分として抽出される。このため、対象者の脳活動と関連性が高いと推測される成分から脳活動を推定することができる。結果として、ヒトや動物の感情の判定精度を高めることができる。

【0008】

本発明の第３観点に係る感情判定装置は、第１観点又は第２観点の感情判定装置において、顔面皮膚温度取得手段及び／又は顔面血行量取得手段は、対象者の顔面の副鼻腔周辺及び／又は前額部の顔面皮膚温度データ及び／又は顔面血行量データを少なくとも取得する。

【0009】

ここで、脳には、選択的脳冷却機構（Selective Brain Cooling System）という体温とは独立して脳を冷却する仕組みがある。選択的脳冷却機構としては、脳活動によって生じた熱を、副鼻腔及び前額部周辺を用いて排熱していることが知られている。また、顔面の皮膚温度は、顔面の血行量に比例すると考えられる。

【0010】

本発明の第３観点に係る感情判定装置では、脳活動を反映していると推測される副鼻腔及び／又は前額部における時系列の顔面皮膚温度データ及び／又は顔面血行量データに基づき、対象者の脳活動が推定される。このため、この感情判定装置では、対象者の脳活動を精度よく推定することができる。結果として、ヒトや動物の感情の判定精度を高めることができる。

【0011】

本発明の第４観点に係る感情判定装置は、第１観点から第３観点のいずれかの感情判定装置であって、感情記憶部をさらに備える。感情記憶部は、脳活動の推定結果とヒトの感情を示す感情データとを関連付けて記憶する。また、脳活動推定手段は、脳活動の推定結果を算出する。また、感情判定手段は、推定結果に基づいて感情記憶部から対象者の感情データを抽出して提示する。

【0012】

本発明の第４観点に係る感情判定装置では、感情記憶部が、脳活動の推定結果とヒトの感情を示す感情データとを関連付けて記憶するので、脳活動と感情との相関関係を逐次最適化することができる。

【0013】

本発明の第５観点に係る感情判定装置は、第４観点の感情判定装置であって、対象者として乳児に用いられるものである。また、感情記憶部が、脳活動の推定値と乳児の感情を示す乳児感情データとを関連付けて記憶する。

【0014】

本発明の第５観点に係る感情判定装置では、感情記憶部が、脳活動の推定値と乳児の感情を示す乳児感情データとを関連付けて記憶するので、乳児に特化した、脳活動と感情との相関関係を利用することができる。

【0015】

本発明の第６観点に係る感情判定装置は、第１観点から第５観点のいずれかの感情判定装置であって、顔面皮膚温度取得手段及び／又は顔面血行量取得手段と、感情判定手段とがスマートデバイスに格納されているものである。

【0016】

本発明の第６観点に係る感情判定装置では、スマートデバイスにより情報の入出力がなされるので、ヒトや動物の感情を簡便に判定できる。また、脳活動推定手段をサーバに設けることで、演算負荷を軽減することができる。

【0017】

本発明の第７観点に係る感情判定装置は、第１観点から第６観点のいずれかの感情判定装置であって、顔面皮膚温度取得手段及び／又は顔面血行量取得手段と、脳活動推定手段と、感情判定手段とがスマートデバイスに格納されているものである。

【0018】

本発明の第７観点に係る感情判定装置では、スマートデバイスにより情報の入出力及び演算がなされるので、ヒトや動物の感情を簡便に判定できる。

【0019】

本発明の第８観点に係る感情判定装置は、第１観点から第７観点のいずれかの感情判定装置であって、ヒトに代えてヒト以外の動物の感情を判定するものである。これにより愛玩動物（ペット）等の感情を簡便に判定できる。

【発明の効果】

【0020】

本発明の第１観点に係る感情判定装置では、ヒトや動物の感情を簡便に判定することができる。

【0021】

本発明の第２，３観点に係る感情判定装置では、ヒトや動物の感情の判定精度を高めることができる。

【0022】

本発明の第４観点に係る感情判定装置では、脳活動と感情との相関関係を逐次最適化できる。

【0023】

本発明の第５観点に係る感情判定装置では、乳児に特化した、脳活動と感情との相関関係を利用できる。

【0024】

本発明の第６，７観点に係る感情判定装置では、スマートデバイスを利用してヒトや動物の感情を簡便に判定できる。

【0025】

本発明の第８観点に係る感情判定装置では、愛玩動物（ペット）等の感情を簡便に判定できる。

【図面の簡単な説明】

【0026】

【図1】撮影画像データ及びこれを解析した結果の一例を示す図。

【図2】顔面皮膚温度データを解析した結果の一部を示す図。

【図3】顔面皮膚温度データを解析した結果の一部を示す図。

【図4】成分２の成分波形の振幅と、測定された脳波のうちのβ波の振幅とを示す図。

【図5】成分３の成分波形の振幅と、測定された脳波のうちのβ波の振幅とを示す図。

【図6】対照実験で得られた顔面皮膚温度データを解析した結果の一部を示す図。

【図7】顔面の撮影画像データに基づく成分波形と、測定された脳波のうちのβ波の振幅とを示す図。

【図8】顔面皮膚温度データに基づく成分波形と、測定された脳波のうちのβ波の振幅とを示す図。

【図9】顔面の撮影画像データに基づく成分波形と、測定された脳波のうちのβ波の振幅とを示す図。

【図10】顔面皮膚温度データに基づく成分波形と、測定された脳波のうちのβ波の振幅とを示す図。

【図11】顔面の撮影画像データに基づく成分波形と、測定された脳波のうちのβ波の振幅とを示す図。

【図12】顔面皮膚温度データに基づく成分波形と、測定された脳波のうちのβ波の振幅とを示す図。

【図13】顔面の撮影画像データに基づく成分波形と、測定された脳波のうちのβ波の振幅とを示す図。

【図14】顔面皮膚温度データに基づく成分波形と、測定された脳波のうちのβ波の振幅とを示す図。

【図15】顔面の撮影画像データに基づく成分波形と、測定された脳波のうちのβ波の振幅とを示す図。

【図16】顔面皮膚温度データに基づく成分波形と、測定された脳波のうちのβ波の振幅とを示す図。

【図17】顔面の撮影画像データに基づく成分波形と、測定された脳波のうちのβ波の振幅とを示す図。

【図18】顔面皮膚温度データに基づく成分波形と、測定された脳波のうちのβ波の振幅とを示す図。

【図19】本発明の一実施形態に係る脳活動可視化装置の概略図。

【図20】脳活動可視化装置において脳機能を反映した皮膚温度の変化を示す成分を同定する際の処理の流れの一例を示すフローチャート。

【図21】本発明の一実施形態に係る脳活動可視化装置の概略図。

【図22】脳活動可視化装置において脳機能を反映した顔面のＲＧＢ変化を示す成分を同定する際の処理の流れの一例を示すフローチャート。

【図23】本発明の一実施形態に係る感情判定装置の概略図。

【発明を実施するための形態】

【0027】

本発明の実施形態を説明する前に、まず、本発明者らが本発明を為すにあたって重要な基礎となった、本発明者らによる知見について説明する。

【0028】

（１）本発明者らによる知見の要点
人間の脳活動には、人間の知的活動（認知活動等）及び情動活動（快／不快等の活動）が反映されていることが知られている。そして、従来、人間の脳活動を推定する試みがされているが、この場合、脳波計測法、磁気共鳴画像法及び近赤外線分光法のいずれかの方法によって検出されたデータが利用されることが多い。

【0029】

ここで、検出方法として、例えば、脳波計測法が採用される場合には、被験者に対して脳波電極を装着する必要がある。そして、脳波電極を装着する際には皮膚と電極との間の抵抗を小さくする必要があるため、皮膚を研磨する処理を行ったり電極にペーストを塗布したりする等の作業が必要になる。また、磁気共鳴画像法が採用される場合には、ＭＲＩ室以外での測定が不可能であるとともに、測定室内に金属を持ち込むことができない等の測定条件に制約がある。さらに、近赤外線分光法が採用される場合には、被験者に対してプローブを装着する必要があるが、プローブを長時間装着することで被験者が痛みを感じたり、被験者の髪とプローブとの接触具合によっては正確に検出できなかったりすることがある。このように、人間の脳活動を測定するために従来の検出方法が採用される場合、脳波電極やプローブ等を装着する際の前処理が必要であったり、測定条件が限定されたりする等、被験者に与える負担が大きくなる。

【0030】

したがって、被験者の負担を軽減し、かつ簡便に人間の脳活動を推定できる手段の開発が求められている。

【0031】

そして、本発明者らは、人間の顔面の皮膚温度又は顔面の皮膚温度に比例すると考えられている顔面の血行状態に基づき人間の脳活動を推定することができるのではないか、と考えた。人間の顔面の皮膚温度であればサーモグラフィ等の測定装置を用いることで取得することができ、顔面の血行状態すなわち顔面の血行量であれば撮影装置を利用して得られる顔面の撮影画像のＲＧＢデータから推定することができる。このように、顔面の皮膚温度や顔面の撮影画像であれば、脳波電極やプローブ等の装着前に処理が必要なセンサを装着することなく取得することができる。

【0032】

一方で、人間の顔面の皮膚温度は、外気温度及び／又は自律神経の活動等の様々な要因の影響を受けて変化することが知られている。このため、顔面の皮膚温度に基づいて又は顔面の皮膚温度に比例すると考えられる顔面の血行量に基づいて脳活動を推定しようとすると、取得したデータが脳活動のみを反映しているかどうかを判断することは、非常に困難であると考えられる。

【0033】

本発明者らは、鋭意検討した結果、顔面の皮膚温度を検出し、検出した温度データ及び検出部位の位置データ（座標データ）を含む時系列の顔面皮膚温度データを、或いは、時系列の顔面の撮影画像データから得られるＲＧＢデータに基づき算出された時系列の顔面の血行量データを、特異値分解法、主成分分析法若しくは独立成分分析法を用いて複数の成分に分解し、分解した複数の成分について解析を行うことで、脳活動を反映した顔面の皮膚温度の変化或いは顔面の血行量の変化を示す成分を同定することができることを見いだした。そして、本発明者らは、対象者の脳活動を推定し、これを解析することで、推定した脳活動に基づき対象者の生理状態を可視化することのできる本発明に到達した。

【0034】

（２）顔面の各種データの取得方法、及び取得した各種データの解析方法
（２−１）顔面皮膚温度データの取得方法、及び顔面皮膚温度データの解析方法
次に、本発明者らが上記の知見を得るに際して用いた顔面皮膚温度データの取得方法、及び顔面皮膚温度データの解析方法について説明する。

【0035】

この試験では、６名の被験者から顔面皮膚温度データを取得した。具体的には、室温２５℃を維持した人工気象室内に設置した椅子に被験者を座らせて、赤外線サーモグラフィ装置を用いて、被験者の顔面全体から顔面皮膚温度データを取得した。赤外線サーモグラフィ装置は、対象物から出ている赤外線放射エネルギーを赤外線カメラで検出し、検出した赤外線放射エネルギーを対象物表面の温度（ここでは、摂氏での温度）に変換して、その温度分布を顔面皮膚温度データ（例えば、温度分布を表した画像データ）として表示、蓄積することが可能な装置である。なお、この試験では、赤外線サーモグラフィ装置として、NEC Avio 赤外線テクノロジー株式会社製のR300を使用した。また、赤外線カメラは、被験者の正面であって、被験者から１．５ｍ離れた地点に設置した。そして、顔面皮膚温度データは、３０分間取得した。

【0036】

また、この試験では、顔面皮膚温度データを取得している間に、被験者に対して脳機能賦活課題を与えた。これにより、脳の非賦活時の顔面皮膚温度データ、及び脳の賦活時の顔面皮膚温度データを取得した。脳機能賦活課題としては、被験者が表示装置等に表示された映像に基づいて、計算、又は、数値、形状及び色の認知、或いは、記号、文字ないし言語の記憶などの心理的作業が挙げられる。この試験では、脳機能賦活課題として「かけ算の暗算」を採用し、被験者に、表示装置に筆算形式で表示される数字を計算させ、その回答をキーボードに入力させる作業を課した。なお、この試験では、顔面皮膚温度データの取得開始から５分経過後から１０分間継続して、被験者に対して脳機能賦活課題を与えた。

【0037】

顔面皮膚温度データの解析としては、取得した顔面皮膚温度データを対象として、ＭＡＴＬＡＢ（登録商標）のＳＶＤ（Singular Value Decomposition）を分析ツールとして用いて特異値分解を行った。特異値分解では、時系列で取得した全ての顔面皮膚温度データ（３０分間のデータ）を対象とし、要因を３０秒毎の時間データ（３０分間で６０ time point）とし、測度をその期間（３０秒間）における顔面皮膚温度データ（２４０×３２０ pixels）とした。そして、特異値分解により、顔面皮膚温度データＸを、複数の成分に分解し、それぞれの成分の時間分布Ｖと、空間分布Ｕと、各成分の大きさを示す特異値Ｓとを算出した。なお、これらの関係は、以下の式で表される。また、Ｖ’は、Ｖの行と列とを入れ替えた行列である。

【0038】

【数1】

【0039】

そして、特異値分解によって求められた各成分の時間分布Ｖ及び空間分布Ｕをグラフにプロットし、各成分の成分波形図と温度分布図とを作成した。

【0040】

さらに、作成した各成分の成分波形図及び温度分布図について、脳活動を反映した皮膚温度の変化を示す成分を同定するための解析を行った。

【0041】

各成分の成分波形図については、その成分波形の振幅と、脳の非賦活時及び脳の賦活時との相関関係の有無について解析した。具体的には、各成分の成分波形図に示された振幅と、脳の非賦活期間／脳の賦活期間との間に相関関係があるか否かを評価した。この試験では、顔面皮膚温度データを取得している期間のうち、被験者に対して脳機能賦活課題が与えられていない期間であるデータ取得開始時点から５分が経過した時点までの５分間の期間、及びデータ取得開始時から１５分が経過した時点からデータ取得終了時点までの１５分間の期間を脳の非賦活時とし、被験者に対して脳機能賦活課題が与えられている期間であるデータ取得開始時から５分が経過した時点から１０分が経過した時点までの１０分間の期間を脳の賦活時とした。そして、各成分の成分波形図に示された振幅と、脳の非賦活時及び脳の賦活時との相関関係の有無について評価した。なお、相関関係の有無については、統計的相関分析を行い、有意水準（α）が０．０５以下の場合に相関があると判断した。

【0042】

各成分の温度分布図については、顔面の所定部位における温度変化の有無について解析した。ここで、脳には、選択的脳冷却機構（Selective Brain Cooling System）という体温とは独立して脳を冷却する仕組みがある。選択的脳冷却機構としては、脳活動によって生じた熱を前額部及び副鼻腔周辺（眉間及び鼻部周辺を含む）を用いて排熱していることが知られている。そこで、この試験では、各成分の温度分布図において、副鼻腔周辺及び前額部における温度変化があるか否かを評価した。なお、温度分布図における副鼻腔周辺及び前額部の温度変化の有無については、目視（visual inspection）による温度変化の有無、もしくは副鼻腔周辺及び前額部の温度が測定データ全体の平均温度から１標準偏差（ＳＤ）以上異なるか否かを温度変化の有無の基準とした。

【0043】

なお、空間分布Ｕ、特異値Ｓ及び時間分布Ｖの値の関係で、顔面皮膚温度データＸの極性（プラスマイナス）が決定するため、各成分の成分波形図及び温度分布図において極性が反転して現れることがある。このため、成分波形図及び温度分布図の評価に関して、極性については評価対象としないこととした。

【0044】

ここで、この赤外線サーモグラフィ装置では、上述しているように、対象物から検出された赤外線放射エネルギーを温度に変換して、その温度分布を顔面皮膚温度データとしている。ところで、人間を対象として赤外線サーモグラフィ装置を用いて顔面の皮膚温度を取得する場合、顔面の動き及び／又は自律神経の活動等の様々な脳活動とは関連しない温度変化（いわゆるノイズ）についても顔面皮膚温度データとして取得してしまう。そこで、このような脳活動とは関連しない温度変化を検出するために、３０秒毎の顔面皮膚温度データに含まれる温度データの全平均値を「０」とした相対的な顔面皮膚温度データを作成し、作成した顔面皮膚温度データについても、ＭＡＴＬＡＢ（登録商標）のＳＶＤを分析ツールとして用いて特異値分解を行い、特異値Ｓに応じた各成分の成分波形図と温度分布図とを作成し、脳活動を反映した皮膚温度の変化を示す成分を同定するための解析を行った。

【0045】

なお、以下より、説明の便宜上、赤外線サーモグラフィ装置で取得した顔面皮膚温度データを「温度換算データに応じた顔面皮膚温度データ」といい、所定時間毎（この試験では３０秒毎）の温度換算データに応じた顔面皮膚温度データに含まれる温度データの全平均値を「０」とした相対的な顔面皮膚温度データを「相対温度換算データに応じた顔面皮膚温度データ」という。

【0046】

また、６名の被験者のうちの１名に対しては、赤外線サーモグラフィ装置による顔面皮膚温度の検出の他に、被験者の頭皮上に電極を接続して脳波を測定し、覚醒時や意識が緊張した時に現れる波形として知られているβ波（１４〜３０Ｈｚの周波数の脳波）の振幅と、成分波形図の振幅との間の相関関係についても評価した。なお、脳波測定では、国際式１０−２０法に基づき、６つの部位（Ｆ３、Ｆ４，Ｃ３、Ｃ４、Ｃｚ、Ｐｚ）に電極を配置した。

【0047】

ところで、被験者に脳機能賦活課題が与えられている間、被験者の頭が上下に動くことが考えられる。そうすると、赤外線カメラに対する被験者の顔面の位置が変化することになる。この顔面の位置の変化が皮膚温度の変化に影響しているか否かを検証するために、被験者１名に対して対照試験を行った。顔面皮膚温度データを取得する際の被験者の動きの影響を検証するための対照試験では、上記試験と同様に赤外線サーモグラフィ装置を用いて被験者の顔面皮膚温度データを取得するが、脳機能賦活課題が与えられていない間（すなわち、脳の非賦活時）についてもランダムなタイミングでキーボードを押す作業を被験者に課した。この対照実験によって得られた温度換算データに応じた顔面皮膚温度データ及び相対温度換算データに応じた顔面皮膚温度データについても、ＭＡＴＬＡＢ（登録商標）のＳＶＤを分析ツールとして用いて特異値分解を行い、特異値Ｓに応じた各成分の成分波形図と温度分布図とを作成し、脳活動を反映した皮膚温度の変化を示す成分を同定するための解析を行った。

【0048】

（２−２）顔面撮影画像データの取得方法、及び顔面撮影画像データの解析方法
図１（ａ）は、撮影装置にて撮影した被験者の顔面の副鼻腔周辺の撮影画像データの一例を示す図である。図１（ｂ）は、血行量分布図（画像マップ）の一例を示す図である。

【0049】

次に、本発明者らが上記の知見を得るに際して用いた顔面撮影画像データの取得方法、及び顔面撮影画像データの解析方法について説明する。

【0050】

この試験では、６名の被験者から顔面の撮影画像データを取得した。具体的には、室温２５℃を維持した人工気象室内に設置した椅子に被験者を座らせて、時系列で画像を取得可能な撮影装置を用いて、被験者の顔面全体の副鼻腔周辺の撮影画像データを時系列で取得した。

【0051】

また、上述した選択的脳冷却機構に基づくと、脳活動に伴う顔面皮膚温度に比例すると考えられる顔面の血行量の変化は、前額部及び／又は副鼻腔周辺に出現すると考えられる。このことから、本発明者らは、少なくとも前額部及び／又は副鼻腔周辺の顔面の血行量の変化を捉えることができれば、精度良く脳活動を推定することができる、と考えた。そして、この試験では、被験者の顔面の副鼻腔周辺の撮影画像データを時系列で取得した。

【0052】

また、この試験では、撮影装置として、Apple社製のiPad Air（登録商標）の備える液晶画面側の撮影装置を使用し、時系列の撮影画像データとしてカラーの動画データを取得した。また、撮影装置を、被験者の正面側であって、被験者から１．０ｍ離れた地点に設置した。そして、撮影装置によって、３０フレーム／秒の撮影周期で時間軸に沿って３０分間の撮影画像データを連続撮影することで、顔面の動画データを得た。

【0053】

さらに、この試験では、顔面の動画データを取得している間に、被験者に対して脳機能賦活課題を与えた。これにより、脳の非賦活時の顔面の動画データ、及び脳の賦活時の顔面の動画データを取得した。この試験では、上記試験と同様に、脳機能賦活課題として「かけ算の暗算」を採用し、被験者に、表示装置に筆算形式で表示される数字を計算させ、その回答をキーボードに入力させる作業を課した。なお、この試験では、顔面の動画データの取得開始から５分経過後から１０分間継続して、被験者に対して脳機能賦活課題を与えた。

【0054】

顔面の動画データの解析としては、撮影した顔面の動画データより得られたＲＧＢデータに基づき血行量データを算出し、算出した時系列の血行量データを対象として、ＭＡＴＬＡＢ（登録商標）のＳＶＤを分析ツールとして用いて特異値分解を行った。ここでは、ＣＩＥ−Ｌ^*ａ^*ｂ^*表色系に従って、画像のＲＧＢデータより演算される肌の赤みやヘモグロビン量と相関のある紅斑指数「ａ^*」を求め、これを血行量データとした。また、特異値分解では、時系列で取得した全ての動画データ（３０分間のデータ）から得られたＲＧＢデータに基づく血行量データ（ここでは、紅斑指数）を対象とし、要因を３０秒毎の時間データ（３０分間で６０ time point）とし、測度をその期間（３０秒毎）におけるＲＧＢデータから演算した紅斑指数（３０秒毎に１秒間のフレームデータを取り出し、該フレームデータから得られるＲＧＢ値の平均値から演算した紅斑指数；２４０×３２０ pixels）とした。そして、特異値分解により、顔面の動画データより得られたＲＧＢデータに基づく時系列の血行量データを、複数の成分に分解し、それぞれの成分の時間分布Ｖと、空間分布Ｕと、各成分の大きさを示す特異値Ｓとを算出した。なお、これらの関係は、上記式（数１）と同様の式で表される。

【0055】

そして、特異値分解によって求められた各成分の時間分布Ｖ及び空間分布Ｕをグラフにプロットし、各成分の成分波形図と血行量分布図とを作成した。

【0056】

さらに、作成した各成分の成分波形図及び血行量分布図について、脳活動を反映した顔面の血行量の変化すなわち顔面のＲＧＢ変化を示す成分を同定するための解析を行った。

【0057】

各成分の成分波形図については、その成分波形の振幅と、脳の非賦活時及び脳の賦活時との相関関係の有無について解析した。具体的には、各成分の成分波形図に示された振幅と、脳の非賦活期間／脳の賦活期間との間に相関関係があるか否かを評価した。この試験では、顔面の撮影画像データを取得している期間のうち、被験者に対して脳機能賦活課題が与えられていない期間であるデータ取得開始時点から５分が経過した時点までの５分間の期間、及びデータ取得開始時から１５分が経過した時点からデータ取得終了時点までの１５分間の期間を脳の非賦活時とし、被験者に対して脳機能賦活課題が与えられている期間であるデータ取得開始時から５分が経過した時点から１０分が経過した時点までの１０分間の期間を脳の賦活時とした。そして、各成分の成分波形図に示された振幅と、脳の非賦活時及び脳の賦活時との相関関係の有無について評価した。なお、相関関係の有無については、統計的相関分析を行い、有意水準（α）が０．０１以下の場合に相関があると判断した。

【0058】

各成分の血行量分布図については、顔面の所定部位における血行量変化の有無について解析した。血行量分布図は、ピクセル毎に算出された空間分布Ｕを各ピクセルの位置に並べることで作成される。このように作成された各成分の血行量分布図において、副鼻腔周辺及び前額部における血行量の変化があるか否かを評価した。なお、血行量分布図における副鼻腔周辺及び前額部の血行量変化の有無については、目視（visual inspection）による血行量変化の有無、もしくは図１（ｂ）に示す副鼻腔周辺及び前額部の血行量の値が「0.000」でないことを血行量変化の有無の基準とした。

【0059】

なお、空間分布Ｕ、特異値Ｓ及び時間分布Ｖの値の関係で、血行量データＸの極性（プラスマイナス）が決定するため、各成分の成分波形図及び血行量分布図において極性が反転して現れることがある。このため、成分波形図及び血行量分布図の評価に関して、極性については評価対象としないこととした。

【0060】

さらに、顔面の皮膚温度と顔面の血行量との相関関係を検証するために、６名の被験者から顔面の撮影画像データを時系列で取得している間、赤外線サーモグラフィ装置により顔面皮膚温度データも時系列で取得し、取得した顔面皮膚温度データについてもＭＡＴＬＡＢ（登録商標）のＳＶＤを分析ツールとして用いて特異値分解を行い、特異値Ｓに応じた各成分の成分波形図を作成し、その成分波形の振幅と、脳の非賦活時及び脳の賦活時との相関関係の有無について解析した。なお、この試験では、赤外線サーモグラフィ装置として、上記試験と同様の装置を用いた。また、赤外線カメラは、被験者の正面であって、被験者から１．５ｍ離れた地点に設置した。

【0061】

ところで、撮影装置を用いて顔面の撮影画像データを取得する場合、撮影中に太陽の光等が顔に当たることで光が顔で反射し、この反射光が撮影装置のレンズに入り込んでしまうことがある。そうすると、撮影された顔面の撮影画像データにはこの反射光が記録されてしまうことになる。ここで、撮影画像データから得られるＲＧＢデータにおいて、顔面の血行量に基づく明度の変化は反射光に基づく明度の変化よりも小さいため、反射光の記録された撮影画像データから得られるＲＧＢデータに基づいて算出された血行量が解析されると、脳活動とは関連しない顔面のＲＧＢ変化（いわゆるノイズ）が混入してしまう可能性があると考えられた。そこで、このような脳活動とは関連しない顔面のＲＧＢ変化の混入を防ぐために、３０秒毎のＲＧＢデータの全平均値を「０」とした相対的なＲＧＢデータから相対的な血行量データを作成し、作成した血行量データについても、ＭＡＴＬＡＢ（登録商標）のＳＶＤを分析ツールとして用いて特異値分解を行い、特異値Ｓに応じた各成分の成分波形図と血行量分布図とを作成し、脳活動を反映した顔面のＲＧＢ変化を示す成分を同定するための解析を行った。

【0062】

なお、以下より、説明の便宜上、所定時間毎（この試験では３０秒毎）のＲＧＢデータの全平均値を「０」とした相対的なＲＧＢデータに基づく相対的な血行量データを「相対換算血行量データ」といい、相対的なＲＧＢデータに換算する前のＲＧＢデータに基づく血行量データを単に「血行量データ」という。

【0063】

また、６名の被験者に対して撮影装置によって顔面の時系列の撮影画像データを取得している間、各被験者の頭皮上に電極を接続して脳波を測定し、覚醒時等の脳細胞が活動している時に現れる波形として知られているβ波（１３〜３０Ｈｚの周波数の脳波）の振幅と、成分波形図の振幅との間の相関関係についても評価した。なお、脳波測定では、国際式１０−２０法に基づき、頭皮上１９の部位（Ｆｐ１、Ｆｐ２、Ｆ３、Ｆ４、Ｃ３、Ｃ４、Ｐ３、Ｐ４、Ｏ１、Ｏ２、Ｆ７、Ｆ８、Ｔ３、Ｔ４、Ｔ５、Ｔ６、Ｆｚ、Ｃｚ及びＰｚ）に電極を配置した。

【0064】

さらに、被験者に脳機能賦活課題が与えられている間、被験者の頭が上下に動くことが考えられる。そうすると、撮影装置に対する被験者の顔面の位置が変化することになる。この顔面の位置の変化が顔面のＲＧＢ変化に影響しているか否かを検証するために、被験者１名に対して対照試験を行った。対照試験では、上記試験と同様に撮影装置を用いて被験者の顔面の時系列の撮影画像データを取得するが、脳機能賦活課題が与えられていない間（すなわち、脳の非賦活時）についてもランダムなタイミングでキーボードを押す作業を被験者に対して課した。この対照実験によって撮影された顔面の時系列の撮影画像データから得られたＲＧＢデータに基づく時系列の血行量データについても、ＭＡＴＬＡＢ（登録商標）のＳＶＤを分析ツールとして用いて特異値分解を行い、特異値Ｓに応じた各成分の成分波形図を作成し、その成分波形の振幅と、脳の非賦活時及び脳の賦活時との相関関係の有無について解析した。また、各成分波形の振幅と、実際の顔面の動きとの相関関係の有無について解析した。実際の顔面の動きは、撮影画像データから顔の同一箇所の２次元座標を取得し、対照実験開始時の撮影画像データを基準として撮影時における３０秒毎の顔面の移動距離を算出することで評価した。さらに、各成分波形の振幅と、撮影中のキーボードの入力数との相関関係の有無についても解析した。撮影中のキーボードの入力数は、時系列の撮影画像データにおける３０秒毎の単純移動平均を算出することで評価した。

【0065】

（３）解析結果
以下、特異値の大きいものから順次「成分１，２，・・・」としている。各成分は全体の分散に占める割合を示しており、変化の大きい影響が成分１に反映される。具体的には、被験者の動作や外界ノイズの影響が成分１に反映される傾向がある。結果として、成分１より成分２の成分波形に脳活動の影響が反映されることが少なくない。

【0066】

（３−１）顔面皮膚温度データの解析結果
図２は、温度換算データに応じた顔面皮膚温度データを解析した結果の一部を示す図である。図２（ａ）は、被験者１の成分２の成分波形図を示している。図２（ｂ）は、被験者１の成分２の温度分布図を示している。図３（ａ）は、被験者１の成分３の成分波形図を示している。図３（ｂ）は、被験者１の成分３の温度分布図を示している。図４及び図５は、成分波形の振幅と、脳波との関係を示す図である。図４は、被験者１の成分２の成分波形の振幅と、測定された脳波のうちのβ波の振幅とを示す図である。図５は、被験者１の成分３の成分波形の振幅と、測定された脳波のうちのβ波の振幅とを示す図である。図６は、対照実験で得られた顔面皮膚温度データを解析した結果の一部を示す図である。図６（ａ）は、成分３の成分波形図を示している。図６（ｂ）は、成分３の温度分布図を示している。

【0067】

表１は、各被験者に対する顔面皮膚温度データの解析結果を示したものである。

【0068】

上記の顔面皮膚温度データの解析によって得られた結果から、時系列の顔面皮膚温度データを特異値分解により分解して得られた複数の成分のうち、成分２及び／又は成分３と、人間の脳活動との間に有意な相関があることが確認された。

【0069】

【表1】

【0070】

また、図４及び図５に示すように、脳波解析の結果から、成分２及び成分３の各成分波形の振幅と、脳波のβ波の振幅との間に有意な相関が確認された。

【0071】

さらに、対照実験では、脳機能賦活課題が与えられていない間に被験者に動きがある状態であっても、成分３と人間の脳活動との間に有意な相関があった（図６参照）。このことから、複数の成分のうち、成分３については、顔面皮膚温度データを取得する際の被験者の動きが影響していないことが認められた。

【0072】

これらの結果から、本発明者らは、以下の知見を得た。

【0073】

被験者から取得した時系列の顔面皮膚温度データを特異値分解により複数の成分に分解し、分解した各成分について解析した結果、複数の成分のうちの成分３が脳活動に関連する成分であると認められた。すなわち、時系列の顔面皮膚温度データを特異値分解により複数の成分に分解し、分解した複数の成分から脳の賦活／非賦活と相関のある成分を抽出し、抽出した成分について選択的脳冷却機構を利用した解析を行うことで、複数の成分から脳活動を反映した皮膚温度の変化を示す成分を同定することができることが判明した。このことから、本発明者らは、人間の顔面の皮膚温度に基づいて、脳活動を推定することができる、という知見を得た。

【0074】

（３−２）顔面の撮影画像データの解析結果
図７〜図１８は、顔面の撮影画像データ（血行量データ）又は顔面皮膚温度データに基づく成分波形図と、測定された脳波のうちのβ波の波形図を比較解析した結果の一部を示す図である。図７は、被験者１の撮影画像データに基づく成分２の成分波形の振幅と、測定された被験者１の脳波のうちのβ波の振幅とを示す図である。図８は、被験者１の顔面皮膚温度データに基づく成分２の成分波形の振幅と、測定された被験者１の脳波のうちのβ波の振幅とを示す図である。図９は、被験者２の撮影画像データに基づく成分２の成分波形の振幅と、測定された被験者２の脳波のうちのβ波の振幅とを示す図である。図１０は、被験者２の顔面皮膚温度データに基づく成分２の成分波形の振幅と、測定された被験者２の脳波のうちのβ波の振幅とを示す図である。図１１は、被験者３の撮影画像データに基づく成分４の成分波形の振幅と、測定された被験者３の脳波のうちのβ波の振幅とを示す図である。図１２は、被験者３の顔面皮膚温度データに基づく成分３の成分波形の振幅と、測定された被験者３の脳波のうちのβ波の振幅とを示す図である。図１３は、被験者４の撮影画像データに基づく成分３の成分波形の振幅と、測定された被験者４の脳波のうちのβ波の振幅とを示す図である。図１４は、被験者４の顔面皮膚温度データに基づく成分２の成分波形の振幅と、測定された被験者４の脳波のうちのβ波の振幅とを示す図である。図１５は、被験者５の撮影画像データに基づく成分２の成分波形の振幅と、測定された被験者５の脳波のうちのβ波の振幅とを示す図である。図１６は、被験者５の顔面皮膚温度データに基づく成分２の成分波形の振幅と、測定された被験者５の脳波のうちのβ波の振幅とを示す図である。図１７は、被験者６の撮影画像データに基づく成分４の成分波形の振幅と、測定された被験者６の脳波のうちのβ波の振幅とを示す図である。図１８は、被験者６の顔面皮膚温度データに基づく成分３の成分波形の振幅と、測定された被験者６の脳波のうちのβ波の振幅とを示す図である。

【0075】

図７〜図１８に示すように、各成分波形と脳波解析との結果から、顔面の皮膚温度と顔面の血行量とが相関関係にあることが確認された。なお、顔面の皮膚温度データ及び顔面の血行量データのいずれのデータに基づく解析においても、各成分波形の振幅と、頭頂部又は後頭部に装着した電極が測定した脳波のβ波の振幅との間に有意な相関が確認された。

【0076】

以下に示す表２は、各被験者に対する顔面の撮影画像データの解析結果を示したものである。

【0077】

【表2】

【0078】

表２に示すように、上記の顔面の撮影画像データの解析によって得られた結果から、顔面の撮影画像データに基づく時系列の血行量データを特異値分解により分解して得られた複数の成分のうち、成分１，２，３，４，５と人間の脳活動との間に有意な相関があることが確認された。なお、ここでは、血行量データに基づく相関において有意な相関が見られかつ相対換算血行量データに基づく相関において有意な相関が見られた成分だけでなく、血行量データに基づく相関においては有意な相関が見られなかったが相対換算血行量データに基づく相関において有意な相関が見られた成分も、人間の脳活動と有意な相関があると認めるようにした。

【0079】

また、以下に示す表３は、対照実験の結果を示したものである。

【0080】

【表3】

【0081】

表３に示すように、対照実験では、脳機能賦活課題が与えられていない間に被験者に動きがある場合、成分１，２の成分波形の振幅と脳の非賦活時及び脳の賦活時との間に有意な相関があった。さらに、成分２については、脳機能賦活課題が与えられていない間に被験者に動きがある場合でも、移動距離及びキーボード入力数それぞれとの間に有意な相関が認められなかった。このことから、顔面の撮影画像データから取得したＲＧＢデータに基づく血行量データを特異値分解することで得られる複数の成分において、脳活動との間に有意な相関がある成分については、顔面の時系列の撮影画像データを取得する際の被験者の動きによる影響を受けたとしても、その影響は脳の脳活動による影響（脳の賦活や非賦活による影響）よりも遙かに小さいことが確認された。

【0082】

これらの結果から、本発明者らは、以下の知見を得た。

【0083】

被験者から取得した時系列の顔面の撮影画像データに基づく顔面のＲＧＢデータから得られる血行量データを特異値分解により複数の成分に分解し、分解した各成分について解析した結果、複数の成分のうちの成分１，２，３，４，５が脳活動に関連する成分であると認められた。すなわち、時系列の顔面の撮影画像データに基づく顔面のＲＧＢデータから得られる血行量データを特異値分解により複数の成分に分解し、分解した複数の成分から脳の賦活／非賦活と相関のある成分を抽出し、抽出した成分について解析することで、複数の成分から脳活動を反映した顔面のＲＧＢ変化を示す成分を同定することができることが判明した。このことから、本発明者らは、人間の顔面の時系列の撮影画像データに基づいて、脳活動を推定することができる、という知見を得た。

【0084】

（４）脳活動可視化装置
次に、上記に説明した知見に基づいて、本発明者らが完成するに至った本発明の一実施形態に係る脳活動可視化装置１０，１１０について説明する。なお、本発明に係る脳活動可視化装置は、以下の実施形態に限定されるものではなく、要旨を逸脱しない範囲で適宜変更可能である。

【0085】

本発明の一実施形態に係る脳活動可視化装置１０，１１０は、顔面皮膚温度データに基づき脳活動を推定する脳活動推定手段３０、及び／又は顔面の撮影画像データに基づき脳活動を推定する脳活動推定手段１３０を備えている。以下では、本発明の一実施形態に係る脳活動可視化装置１０，１１０を説明する前に、各脳活動推定手段３０，１３０について説明する。

【0086】

（４−１）顔面皮膚温度データに基づき脳活動を推定する脳活動推定手段３０
図１９は、本発明の一実施形態に係る脳活動可視化装置１０の概略図である。図２０は、脳活動可視化装置１０において脳機能を反映した皮膚温度の変化を示す成分を同定する際の処理の流れを示すフローチャートである。

【0087】

脳活動可視化装置１０の備える脳活動推定手段３０は、個人（被験者）の顔面の皮膚温度から、個人の脳活動を推定する。脳活動可視化装置１０は、図１９に示すように、顔面皮膚温度取得手段２０と、脳活動推定手段３０と、状態可視化手段２００と、を備える。

【0088】

顔面皮膚温度取得手段２０は、個人の顔面の少なくとも一部の皮膚温度を検出し、検出した温度データ及びその検出部位の位置データを含む顔面皮膚温度データを時系列で取得する（ステップＳ１）。なお、ここでは、顔面皮膚温度取得手段２０は、赤外線サーモグラフィ装置であり、図１９に示すように、赤外線カメラ２１と、処理部２２と、を有する。赤外線カメラ２１は、個人の顔面から出ている赤外線放射エネルギーを検出するためのものである。そして、ここでは、赤外線カメラ２１は、個人の顔面全体から赤外線放射エネルギーを検出しているものとする。処理部２２は、赤外線カメラ２１によって検出した赤外線放射エネルギーを温度に変換して温度データとし、赤外線放射エネルギーの検出された部位を位置データ（座標データ）とした顔面全体における顔面皮膚温度の温度分布図を作成し、作成した温度分布図を温度換算データに応じた顔面皮膚温度データとして処理する。温度換算データに応じた顔面皮膚温度データは、処理部２２の有する記憶部（図示せず）に蓄積される。

【0089】

ここでは、処理部２２において、顔面全体における顔面皮膚温度の温度分布図が作成されているが、これに限定されず、少なくとも副鼻腔周辺及び／又は前額部を含む顔面皮膚温度の温度分布図が作成され、これが温度換算データに応じた顔面皮膚温度データとされてもよい。

【0090】

また、ここでは、顔面皮膚温度取得手段２０により温度換算データに応じた顔面皮膚温度データが取得されている間に、個人に対して脳機能賦活課題が一定期間与えられる。すなわち、顔面皮膚温度取得手段２０により取得される温度換算データに応じた顔面皮膚温度データには、個人に対して脳機能賦活課題が与えられている期間のデータが含まれていることになる。なお、個人に対して与えられる脳機能賦活課題としては、脳が賦活状態になると推定されるものであれば特に限定されるものではなく、例えば、脳活動可視化装置１０の利用目的に応じてその内容が適宜決定されるよう構成されていてもよい。

【0091】

脳活動推定手段３０は、顔面皮膚温度取得手段２０により取得された温度換算データに応じた顔面皮膚温度データに基づき、人間の脳活動を推定する。具体的には、脳活動推定手段３０は、図１９に示すように、換算部３１と、解析部３２と、推定部３３と、を有する。

【0092】

換算部３１は、温度換算データに応じた顔面皮膚温度データに含まれる温度データを相対的な温度データに換算し、換算した相対的な温度データに基づく顔面皮膚温度データすなわち相対温度換算データに応じた顔面皮膚温度データを作成する（ステップＳ２）。具体的には、換算部３１は、所定時間毎（例えば、３０秒）の温度換算データに応じた顔面皮膚温度データに含まれる温度データの平均値を基準値として、該温度データを相対的な温度データに換算する。そして、換算部３１は、換算した相対的な温度データ及び位置データを利用して、相対温度換算データに応じた顔面皮膚温度データを作成する。

【0093】

解析部３２は、時系列の温度換算データに応じた顔面皮膚温度データ及び相対温度換算データに応じた顔面皮膚温度データのそれぞれを、特異値分解、主成分分析或いは独立成分分析により複数の成分に分解する（ステップＳ３）。ここでは、解析部３２は、取得した温度換算データに応じた顔面皮膚温度データ及び換算した相対温度換算データに応じた顔面皮膚温度データのそれぞれを対象として、ＭＡＴＬＡＢ（登録商標）のＳＶＤを分析ツールとして用いて、特異値分解を行う。特異値分解は、時系列で取得した温度換算データに応じた顔面皮膚温度データ及び相対温度換算データに応じた顔面皮膚温度データについて、要因を所定期間（例えば、３０秒）毎の時間データとし、測度をその期間における温度換算データに応じた顔面皮膚温度データ及び相対温度換算データに応じた顔面皮膚温度データとして行われる。そして、特異値分解により、温度換算データに応じた顔面皮膚温度データ及び相対温度換算データに応じた顔面皮膚温度データのそれぞれを複数の成分に分解し、時間分布と、空間分布と、各成分の大きさを示す特異値とを算出する。

【0094】

また、解析部３２は、特異値分解によって分解した複数の成分から脳活動を反映した皮膚温度の変化を示す成分を同定するために、各成分が第１条件及び第２条件を満たすか否かを判定する（ステップＳ４ａ、ステップＳ４ｂ、ステップＳ５ａ、及びステップＳ５ｂ）。なお、ここでは、解析部３２において、まず、温度換算データに応じた顔面皮膚温度データに基づく各成分について第１条件が満たされているか否かが判定され（ステップＳ４ａ）、ステップＳ４ａにおいて第１条件が満たされていると判定された温度換算データに応じた顔面皮膚温度データに基づく成分について第２条件が満たされているか否かが判定される（ステップＳ４ｂ）。そして、相対温度換算データに応じた顔面皮膚温度データに基づく各成分のうちステップＳ４ａ及びステップＳ４ｂにおいて第１条件及び第２条件を満たすと判定された成分と一致する成分についてのみ第１条件が満たされているか否かが判定され（ステップＳ５ａ）、その後、ステップＳ５ａにおいて第１条件が満たされていると判定された相対温度換算データに応じた顔面皮膚温度データに基づく成分について第２条件が満たされているか否かが判定される（ステップＳ５ｂ）。しかしながら、解析部３２における該判定の順序はこれに限定されるものではなく、例えば、温度換算データに応じた顔面皮膚温度データに基づく各成分と、相対温度換算データに応じた顔面皮膚温度データに基づく各成分とが、第１条件及び第２条件を満たすか否かがそれぞれ判定され、判定結果の一致する成分が最終的に抽出されてもよい。

【0095】

第１条件とは、特異値分解によって分解した成分の成分波形の振幅が、脳の非賦活時及び脳の賦活時の変化と相関関係にある、という条件である。解析部３２は、複数の成分のうち、第１条件を満たす成分を、判定用成分として抽出する。なお、ここでは、温度換算データに応じた顔面皮膚温度データを取得している間に、個人に対して脳機能賦活課題が与えられている期間が一定期間ある。解析部３２は、個人に対して脳機能賦活課題が与えられていない期間を脳の非賦活時とし、個人に対して脳機能賦活課題が与えられている期間を脳の賦活時として、脳機能賦活課題が与えられている期間及び与えられていない期間と、各成分の成分波形とを比較解析する。解析部３２は、成分波形データに基づく比較解析結果を利用して、各成分の成分波形と脳の非賦活時及び脳の賦活時とが相関関係にあるか否かを評価し、複数の成分のうち相関関係にあると評価した成分を、第１条件を満たす判定用成分として抽出する。一方、解析部３２は、複数の成分のうち相関関係にないと評価した成分を、第１条件を満たさず人間の脳活動を反映した温度変化を示す成分ではないと判定する（ステップＳ６）。

【0096】

ここでは、温度換算データに応じた顔面皮膚温度データの取得時に個人に対して脳機能賦活課題が一定期間与えられており、これに基づき解析部３２は判定用成分を抽出しているが、第１条件の内容、すなわち解析部３２における判定用成分の抽出手段はこれに限定されない。例えば、予め実験等がされていることで複数の成分のうち脳の非賦活時及び脳の賦活時と相関関係にある成分波形を示す成分が特定されている場合には、解析部３２は、複数の成分から特定されている該成分を判定用成分として抽出する。また、本脳活動可視化装置において眼球運動又はまたたき等の脳の賦活／非賦活に関連することが知られている人間の動作が検出される場合には、解析部３２が、この検出結果と各成分の成分波形とを比較解析及び評価することで、複数の成分から判定用成分を抽出してもよい。なお、解析部３２による第１条件を満たすか否かの判定の基準は、脳活動可視化装置１０の利用目的等に応じて、シミュレーションや実験、机上計算等によって適宜決定される。

【0097】

第２条件は、抽出した判定用成分において、人間の顔面の所定部位における温度変化がある、という条件である。解析部３２は、判定用成分のうち、第２条件を満たす成分を、人間の脳活動に関連している可能性の高い成分と判定し、候補成分として抽出する。すなわち、解析部３２は、人間の顔面の所定部位における温度変化の有無に基づき、判定用成分が人間の脳活動に関連しているか否かを判定する。具体的には、解析部３２は、抽出した判定用成分の温度分布データに基づき、副鼻腔周辺及び／又は前額部において温度変化が生じているか否かを判定し、温度変化が生じている場合には該判定用成分が第２条件を満たす人間の脳活動に関連する可能性の高い成分であると判定し、候補成分として抽出する。一方で、解析部３２は、副鼻腔周辺及び／又は前額部において温度変化が生じていない場合には、該判定用成分は第２条件を満たさず脳活動を反映した皮膚温度の変化を示す成分ではない、と判定する（ステップＳ６）。なお、解析部３２による第２条件を満たすか否かの判定の基準は、脳活動可視化装置１０の利用目的等に応じて、シミュレーションや実験、机上計算等によって適宜決定される。

【0098】

そして、解析部３２は、ステップＳ５ｂにおいて第２条件を満たすと判定した成分を、脳活動を反映した皮膚温度の変化を示す成分として同定する（ステップＳ７）。すなわち、ステップＳ７において脳活動を反映した皮膚温度の変化を示す成分として同定される成分は、温度換算データに応じた顔面皮膚温度データを特異値分解により分解し解析することで抽出された候補成分と、相対温度換算データに応じた顔面皮膚温度データを特異値分解により分解し解析することで抽出された候補成分と、の間で一致している成分ということになる。なお、両解析で一致していない候補成分については、ステップＳ６において脳活動を反映した皮膚温度の変化を示す成分ではない、と判定されている。

【0099】

推定部３３は、解析部３２において人間の脳活動を反映した皮膚温度の変化を示す成分として同定された成分に基づいて、人間の脳活動を推定する。具体的には、推定部３３は、解析部３２において同定された成分の成分波形データに基づいて、顔面皮膚温度データの取得時における脳活動量を推定する。

【0100】

（４−１−１）変形例１Ａ
上記脳活動推定手段３０は換算部３１を有しており、換算部３１によって相対温度換算データに応じた顔面皮膚温度データが作成されている。そして、解析部３２が、顔面皮膚温度取得手段２０により取得された温度換算データに応じた顔面皮膚温度データだけでなく、相対的な温度データに換算された温度データに基づく相対温度データに応じた顔面皮膚温度データについても、特異値分解により複数の成分に分解し、各成分についての解析を行っている。

【0101】

これに代えて、脳活動推定手段３０が換算部３１を有していなくてもよい。この場合、相対温度換算データに応じた顔面皮膚温度データを作成したり、相対温度換算データに応じた顔面皮膚温度データに基づくデータの解析を行ったりする処理を省くことができる。

【0102】

ただし、人間の脳活動に関連する成分を精度よく同定するためには、上記実施形態のように脳活動推定手段３０が換算部３１を有しており、解析部３２によって、顔面皮膚温度取得手段２０により取得された温度換算データに応じた顔面皮膚温度データだけでなく、相対的な温度データに換算された温度データに基づく相対温度データに応じた顔面皮膚温度データについても、特異値分解により複数の成分に分解され、各成分についての解析が行われるほうが望ましい。

【0103】

（４−１−２）変形例１Ｂ
また、上記顔面皮膚温度取得手段２０は、対象物と非接触の状態で温度データを取得することができる赤外線サーモグラフィ装置である。

【0104】

しかしながら、個人の顔面の少なくとも一部の皮膚温度を検出し、検出した温度データ及びその検出部位の位置データを含む顔面皮膚温度データを時系列で取得することができれば、顔面皮膚温度取得手段は赤外線サーモグラフィ装置に限定されない。

【0105】

例えば、顔面皮膚温度取得手段が温度センサを含む装置であってもよい。具体的には、個人の顔面の所定部位に温度センサを装着し、温度センサによって検出される温度データと、温度センサを装着した部位の位置データとに基づいて、時系列の顔面皮膚温度データが取得されてもよい。このように、温度センサにより対象となる個人に接触した状態で顔面皮膚温度データが取得される場合であっても、温度センサは脳波電極等のように装着前の処理が必要ではないため、脳波計測法、磁気共鳴画像法、及び近赤外線分光法等の従来の検出方法と比較して、簡便にデータを取得することができる。これにより、簡便に人間の脳活動を推定することができる。

【0106】

（４−２）顔面の撮影画像データに基づき脳活動を推定する脳活動推定手段１３０
図２１は、本発明の実施形態に係る脳活動可視化装置１１０の概略図である。図２２は、脳活動可視化装置１１０において脳機能を反映した顔面のＲＧＢ変化を示す成分を同定する際の処理の流れの一例を示すフローチャートである。

【0107】

脳活動可視化装置１１０の備える脳活動推定手段１３０は、個人（被験者）の顔面の撮影画像データから、個人の脳活動を推定するための装置である。脳活動可視化装置１１０は、図２１に示すように、画像データ取得手段１２０と、脳活動推定手段１３０と、状態可視化手段２００と、を備える。

【0108】

画像データ取得手段１２０は、個人の顔面の少なくとも一部の撮影画像データを時系列で取得する（ステップＳ１０１）。なお、画像データ取得手段１２０は、少なくとも撮影装置を有するものであれば特に限定されるものではなく、例えば、スマートフォンやタブレット（例えば、iPad：登録商標）等の撮影装置内蔵型ポータブル端末等が挙げられる。ここでは、画像データ取得手段１２０は、図２１に示すように、撮影装置としてのカメラ１２１と、記憶部１２２とを有する。カメラ１２１は、個人の顔面の撮影画像データを時系列で取得するためのものである。ここでは、カメラ１２１は、個人の顔面全体の動画を撮影し、撮影した動画データを取得する。記憶部１２２は、撮影装置により撮影された時系列の撮影画像データを蓄積する。ここでは、記憶部１２２は、カメラ１２１によって取得された動画データを蓄積する。

【0109】

なお、ここでは、カメラ１２１によって顔面全体の動画が撮影されているが、これに限定されず、顔面の少なくとも前額部及び／又は副鼻腔周辺の画像を含む動画が撮影されていればよい。

【0110】

また、ここでは、画像データ取得手段１２０により顔面の時系列の撮影画像データが取得されている間に、個人に対して脳機能賦活課題が一定期間与えられる。すなわち、画像データ取得手段１２０により取得される撮影画像データには、個人に対して脳機能賦活課題が与えられている期間のデータが含まれていることになる。なお、個人に対して与えられる脳機能賦活課題としては、脳が賦活状態になると推定されるものであれば特に限定されるものではなく、例えば、脳活動可視化装置１１０の利用目的に応じてその内容が適宜決定されるよう構成されていてもよい。

【0111】

脳活動推定手段１３０は、画像データ取得手段１２０により取得された顔面の時系列の撮影画像データに基づき、人間の脳活動を推定する。具体的には、脳活動推定手段１３０は、図２１に示すように、ＲＧＢ処理部１３１と、換算部１３２と、血行量算出部１３３と、解析部１３４と、推定部１３５と、を有する。なお、図２１では、脳活動推定手段１３０が、ＲＧＢ処理部１３１、換算部１３２、血行量算出部１３３、解析部１３４及び推定部１３５を有する１つの装置として存在している態様が示されているが、本発明はこれに限定されるものではなく、ＲＧＢ処理部１３１、換算部１３２、血行量算出部１３３、解析部１３４及び推定部１３５の一部或いはそれぞれが独立した装置として存在していてもよい。また、ここでは、画像データ取得手段１２０、ＲＧＢ処理部１３１、換算部１３２、及び血行量算出部１３３により顔面血行量取得手段が構成されている。

【0112】

ＲＧＢ処理部１３１は、画像データ取得手段１２０により取得された撮影画像データに対して、Ｒ成分、Ｇ成分及びＢ成分の３つの色成分に分解するＲＧＢ処理を行う（ステップＳ１０２）。ここで、顔面全体の撮影画像データに対してＲＧＢ処理を行ってもよいが、ここでは、演算処理量及びノイズを減らすために、撮影画像データから前額部及び／又は副鼻腔周辺のデータを抽出し、抽出したデータについてのみＲＧＢ処理を行うものとする。

【0113】

換算部１３２は、ＲＧＢ処理により得られた撮影画像データのＲＧＢデータを相対的なＲＧＢデータに換算する（ステップＳ１０３）。具体的には、換算部１３２は、取得された所定時間毎（例えば、３０秒）の撮影画像データから得られるＲＧＢデータの平均値を基準値として、該ＲＧＢデータを相対的なＲＧＢデータに換算する。

【0114】

血行量算出部１３３は、ＲＧＢ処理により得られた撮影画像データのＲＧＢデータに基づき、顔面の時系列の血行量データを算出する（ステップＳ１０４）。

【0115】

解析部１３４は、時系列の相対換算血行量データを、特異値分解、主成分分析或いは独立成分分析により複数の成分に分解する（ステップＳ１０５）。ここでは、解析部１３４は、相対換算血行量データに対して、ＭＡＴＬＡＢ（登録商標）のＳＶＤを分析ツールとして用いて、特異値分解を行う。具体的には、特異値分解は、時系列の相対換算血行量データを対象として、要因を所定期間（例えば、３０秒）毎の時間データとし、測度をその期間毎における相対的なＲＧＢデータから演算したピクセル毎の相対換算血行量データとして行われる。そして、特異値分解により、時系列の相対換算血行量データを複数の成分に分解し、時間分布と、空間分布と、各成分の大きさを示す特異値とを算出する。

【0116】

また、解析部１３４は、特異値分解によって分解した複数の成分から脳活動を反映した顔面のＲＧＢ変化を示す成分を同定するために、各成分が所定条件を満たすか否かを判定する（ステップＳ１０６）。ここで、所定条件としては、例えば、特異値分解によって分解した成分の成分波形の振幅が、脳の非賦活時及び脳の賦活時の変化と相関関係にあるという条件（以下、第１条件という）や、特異値分解によって分解した成分において人間の顔面の所定部位に血行量変化があるという条件（以下、第２条件という）等が含まれる。解析部１３４において判定される所定条件としては、１又は複数の条件が設定されていればよく、ここでは、所定条件として第１条件が設定されているものとする。

【0117】

そして、解析部１３４は、複数の成分のうち所定条件を満たす成分を、判定用成分として抽出する。さらに、解析部１３４は、抽出した判定用成分のうち所定条件に含まれる全ての条件を満たす成分を、脳活動を反映した顔面のＲＧＢ変化を示す成分として同定する（ステップＳ１０７）。一方、解析部１３４は、複数の成分のうち所定条件に含まれる少なくとも１つの条件を満たさないと判定した成分を、脳活動を反映した顔面のＲＧＢ変化を示す成分ではないと判定する（ステップＳ１０８）。

【0118】

ここでは、上述のように所定条件として１つの条件（第１条件）のみが設定されており、顔面の時系列の撮影画像データを取得している間に、個人に対して脳機能賦活課題が与えられている期間が一定期間ある。このため、解析部１３４は、個人に対して脳機能賦活課題が与えられていない期間を脳の非賦活時とし、個人に対して脳機能賦活課題が与えられている期間を脳の賦活時として、脳機能賦活課題が与えられている期間及び与えられていない期間と、各成分の成分波形とを比較解析する。そして、解析部１３４は、成分波形データに基づく比較解析結果を利用して、各成分の成分波形と脳の非賦活時及び脳の賦活時とが相関関係にあるか否かを評価し、複数の成分のうち相関関係にあると評価した成分を、所定条件を満たす判定用成分として抽出すると共に、脳活動を反映した顔面のＲＧＢ変化を示す成分として同定する。一方、解析部１３４は、複数の成分のうち相関関係にないと評価した成分を、所定条件を満たさず人間の脳活動を反映した顔面のＲＧＢ変化を示す成分ではないと判定する。

【0119】

ここでは、顔面の時系列の撮影画像データが取得される際に個人に対して脳機能賦活課題が一定期間与えられており、これに基づき解析部１３４が判定用成分を抽出しているが、第１条件の内容、すなわち解析部１３４における判定用成分の抽出手段はこれに限定されない。例えば、予め実験等がされていることで複数の成分のうち脳の非賦活時及び脳の賦活時と相関関係にある成分波形を示す成分が特定されている場合には、解析部１３４は、複数の成分から特定されている該成分を判定用成分として抽出する。また、脳活動可視化装置１１０において眼球運動又はまたたき等の脳の賦活／非賦活に関連することが知られている人間の動作についても検出される場合には、解析部１３４が、この検出結果と各成分の成分波形とを比較解析及び評価することで、複数の成分から判定用成分を抽出してもよい。なお、解析部１３４による第１条件を満たすか否かの判定の基準は、脳活動可視化装置１１０の利用目的等に応じて、シミュレーションや実験、机上計算等によって適宜決定される。

【0120】

また、所定条件として第２条件が設定されている場合には、解析部１３４は、人間の顔面の所定部位における顔面の血行量変化の有無に基づき、判定用成分を抽出する。具体的には、解析部１３４は、特異値分解によって分解された複数の成分に応じた血行量分布図に基づき、副鼻腔周辺及び／又は前額部において血行量の変化が生じているか否かを判定し、血行量の変化が生じている場合には該成分が第２条件を満たしていると判定する。一方で、副鼻腔周辺及び／又は前額部において血行量の変化が生じていない場合には、解析部１３４は、該成分が第２条件を満たしていないと判定する。なお、解析部１３４による第２条件を満たすか否かの判定の基準は、脳活動可視化装置１１０の利用目的等に応じて、シミュレーションや実験、机上計算等によって適宜決定されるものとする。

【0121】

さらに、血行量算出部１３３によって相対的なＲＧＢデータに換算される前のＲＧＢデータに基づく時系列の血行量データが算出される場合には、解析部１３４によって、該血行量データを特異値分解等することで得られた複数の成分についても、上記第１条件及び／又は第２条件が満たされるか否かが判定され、判定用成分が抽出されてもよい。

【0122】

推定部１３５は、解析部１３４において人間の脳活動を反映した顔面のＲＧＢ変化を示す成分として同定された成分に基づいて、人間の脳活動を推定する。具体的には、推定部１３５は、解析部１３４において同定された成分の成分波形データに基づいて、顔面の撮影画像データの取得時における脳活動量を推定する。

【0123】

（４−２−１）変形例２Ａ
なお、上記血行量算出部１３３において、ＲＧＢデータに含まれる各画素のうちの主にＲ成分を用いて顔面の血行量データが算出されてもよい。また、ＲＧＢデータに基づき血行量データを算出できるのであれば、血行量データは必ずしも紅斑指数に限定されるものではない。

【0124】

（４−２−２）変形例２Ｂ
上記血行量算出部１３３は、換算部１３２によって換算された相対的なＲＧＢデータに基づき相対換算血行量データを算出するが、これに代えて或いはこれに加えて、相対的なＲＧＢデータに換算される前のＲＧＢデータに基づき血行量データが算出されてもよい。ここで、相対的なＲＧＢデータに換算される前のＲＧＢデータに基づき算出された血行量データには、脳活動と相関する成分が出やすい（検定力が高い）ため、例えば、相対的なＲＧＢデータに換算される前のＲＧＢデータに基づき算出された血行量データを、相対的なＲＧＢデータに基づき算出された相対換算血行量データよりも先行して解析してもよい。また、例えば、まず、血行量データを解析して有意な相関のある成分を抽出し、相対換算血行量データに関しては、前記抽出した成分に対応する成分のみを解析することで、演算処理量を減らすことができる。

【0125】

（４−３）状態可視化手段２００
状態可視化手段２００は、脳活動推定手段３０及び／又は脳活動推定手段１３０により推定された対象者の脳活動に基づき、対象者の生理状態を表示することにより可視化する。例えば、状態可視化手段２００が、対象者の脳活動量の変化を解析することで、対象者の生理状態を解析する解析部２０１を有していてもよい。具体的には、解析部２０１が、対象者に対して与えられた刺激（視覚刺激、聴覚刺激、触覚刺激、臭覚刺激或いは味覚刺激等）に対する脳活動量の変化を解析することで、対象者の生理状態を判定する。なお、生理状態の種類やレベルについては、脳活動量の上昇度合い及び／又は持続時間に基づき、脳活動可視化装置１０，１１０の用途に応じて適宜設置可能になっていてもよい。そして、解析部２０１により解析された対象者の生理状態を状態可視化手段２００の表示部２０２から管理者へと出力されることで、管理者は対象者の生理状態を知ることができる。表示部２０２としては、画像やメッセージを表示する表示デバイス等、解析した対象者の生理状態に関する情報を管理者に対して可視化できるものであればどのようなものであっても採用することができる。

【0126】

また、解析部３２，１３４において脳活動を反映する成分が同定された後に、さらに顔面皮膚温度取得手段２０及び／又は画像データ取得手段１２０により時系列の各種データが取得される場合には、脳活動可視化装置１０，１１０において、さらに取得された各種データが特異値分解により複数の成分に分解され、同定された成分のみが解析されることで、対象者の生理状態をリアルタイムで知ることができる。

【0127】

さらに、被験者の顔面の皮膚温度や撮影した画像から被験者の心拍情報や生体情報等を取得する技術が従来よりあるが、顔面皮膚温度取得手段２０及び／又は画像データ取得手段１２０から得られた各種データが特異値分解等されることで得られる成分に対して従来の技術を採用することで、心拍情報や生体情報を精度良く取得することができる。したがって、特異値分解した複数の成分を解析して心拍情報や生体情報を取得する機能を、解析部３２及び／又は解析部１３４に持たせ、取得した心拍情報や生体情報に基づき交換神経／副交感神経の働きを推定する機能を上記実施形態の推定部３３，１３５に持たせてもよい。

【0128】

（５）特徴
（５−１）
本実施形態では、顔面皮膚温度取得手段２０及び／又は画像データ取得手段１２０によって取得された時系列の顔面皮膚温度データ及び／又は顔面血行量データに基づき人間の脳活動が推定される。このため、脳波電極等の装着前に処理が必要なセンサを装着しなくても、人間の脳活動を推定することができる。したがって、簡便に人間の脳活動を推定し、推定した脳活動に基づき対象者の生理状態を可視化することができている。

【0129】

（５−２）
ここで、時系列の顔面の皮膚温度データ及び／又は画像データが取得される際に、人間に対して実際に脳機能賦活課題が与えられたり与えられなかったりすることにより、人間の脳が賦活化したり賦活化しなかったりする状況が作られている場合、各成分の成分波形と脳の賦活時及び非賦活時との間に相関関係のある成分は、脳活動を反映した皮膚温度及び／又は血行量の変化を示す成分である可能性が高い成分であるといえる。

【0130】

本実施形態では、顔面皮膚温度取得手段２０及び／又は画像データ取得手段１２０により時系列の顔面の皮膚温度データ及び／又は画像データが取得されている間に、個人に対して脳機能賦活課題が一定期間与えられている。すなわち、本実施形態では、個人に対して実際に脳機能賦活課題を与えたり与えなかったりすることにより、人間の脳が賦活化したり賦活化しなかったりする状況が作られている。そして、このように取得された時系列の各種データが特異値分解により複数の成分に分解され、各成分についてその成分波形と脳の賦活時及び非賦活時との相関関係が評価され、相関関係にある成分が判定用成分として複数の成分から抽出される。このため、例えば、予め実験等により特定された所定の成分が抽出用成分として複数の成分から抽出される場合と比較して、人間の脳活動と関連性の低い成分が抽出用成分として複数の成分から抽出されるおそれを低減することができている。

【0131】

（５−３）
ここで、脳には、選択的脳冷却機構という体温とは独立して脳を冷却する仕組みがある。選択的脳冷却機構としては、脳活動によって生じた熱を前額部及び副鼻腔周辺を用いて排熱していることが知られている。そうすると、脳活動に伴う顔面皮膚温度や顔面皮膚温度に相関する顔面の血行量の変化は、前額部及び／又は副鼻腔周辺に出現することになる。

【0132】

本実施形態では、前額部及び／又は副鼻腔周辺の各種データが解析されて、判定用成分が抽出されている。このため、人間の脳活動に関連する成分を精度よく抽出することができている。

【0133】

（６）脳活動可視化装置の用途例
次に、本発明に係る脳活動可視化装置の用途例について説明する。

【0134】

（６−１）感情の判定に用いる場合
上記実施形態又は上記変形例の脳活動可視化装置１０，１１０を、対象者の感情の判定に用いる場合の一例を説明する。例えば、上述した脳活動可視化装置１０，１１０を感情判定装置３００に組み込むことで、検査対象の感情の判定が可能になる。

【0135】

詳しくは、図２３に示すように、上記状態可視化手段２００に感情記憶部２０３を設ける。この感情記憶部２０３は、脳活動の推定結果とヒトの感情を示す「感情データ」を関連付けて記憶するメモリである。ここでは、例えば、対象者を「喜怒哀楽」のいずれかの状態にしておいてから、脳機能賦活課題を一定期間与えたときの脳活動量のデータを収集する。そして、これらのデータに基づいて脳活動の推定結果と感情データとを関連付けて感情記憶部２０３に格納する。なお、脳活動の推定結果と感情データとの相関関係は逐次最適化される。

【0136】

そして、状態可視化手段２００が、脳活動推定手段３０，１３０により算出された脳活動の推定結果から感情データを感情記憶部２０３から抽出する。これにより、感情判定装置３００は、対象者の感情を表示部２０２に提示することが可能となる。

【0137】

要するに、感情判定装置３００は、顔面皮膚温度取得手段２０及び／又は画像データ取得手段１２０と、脳活動推定手段３０，１３０と、状態可視化手段（感情判定手段）２００とを備える。顔面皮膚温度取得手段２０は、顔面皮膚温度データを時系列で取得する。画像データ取得手段１２０は、顔面の撮像画像データを時系列で取得する。脳活動推定手段３０，１３０は、顔面皮膚温度データ及び／又は顔面血行量データを、特異値分解、主成分分析或いは独立成分分析により分解することで得られた複数の成分に基づき、対象者の脳活動を推定する。状態可視化手段２００は、脳活動推定手段３０により推定された対象者の脳活動に基づき、対象者の感情を判定する。したがって、感情判定装置３００は、脳波電極等の装着前に処理が必要なセンサを装着しなくても、ヒトや動物の感情を簡便に判定することができる。

【0138】

（６−２）乳児の感情の判定に用いる場合
上記感情記憶部２０３は乳児の感情を示す「乳児感情データ」を記憶するものであってもよい。具体的には、乳児の脳活動の数値（昂進）と交換神経の数値（高値）の度合いを事前に分析しておき、脳活動の推定結果と乳児感情データとを関連付けて感情記憶部２０３に記憶しておく。乳児に特化した感情データを感情記憶部２０３に記憶しておくことで、脳活動の推定結果から乳児の感情を判定できるようになる。例えば、乳児が泣いている状況において、空腹であるからなのか、おむつが不快であるからなのか、痛みを感じているからなのかといった、泣いている理由を特定することができる。

【0139】

一般的に乳児の脳機能は未発達であるが、この感情判定装置３００を用いることで乳児であっても適切に感情を判定できる。

【0140】

（６−３）ヒト以外の動物の感情の判定に用いる場合
上記感情記憶部２０３はヒト以外の動物の感情を示す「動物感情データ」を記憶するものであってもよい。ヒト以外の動物の感情データを感情記憶部２０３に記憶しておくことで、それらの動物の感情を判定できる。この場合は、顔面皮膚温度取得手段２０又は画像データ取得手段１２０は、当該動物に合わせた最適な形態で情報を取得する。これにより、例えば愛玩動物（ペット）が快適な状況であるのか不快な状況であるのかといったことを飼い主が判断できるようになる。

【0141】

（７）スマートデバイスの利用
本実施形態に係る脳活動可視化装置１０，１１０は、スマートデバイスに格納されるものであってもよい。具体的には、顔面皮膚温度取得手段２０及び／又は画像データ取得手段１２０と、脳活動推定手段３０，１３０と、状態可視化手段２００とが多機能機能携帯電話等のスマートデバイスに格納されていてもよい。さらに、感情判定装置として利用する脳活動可視化装置１０，１１０をスマートデバイスに格納する場合、ユーザは携帯しているスマートデバイスにより情報の入出力及び演算が可能となるので、ヒトや動物の感情を簡便に判定できるようになる。

【0142】

なお、上述の形態に代えて、顔面皮膚温度取得手段２０及び／又は画像データ取得手段１２０と状態可視化手段２００とを多機能機能携帯電話等のスマートデバイスに格納し、脳活動推定手段３０，１３０をサーバ装置に格納する構成を採用してもよい。この場合、スマートデバイス本体の演算負荷を軽減することができる。また、サーバ装置上でデータ管理することで、多数のデータを収集し最適化していくことで、出力結果の精度を高めていくことができる。例えば脳活動の推定結果と検査対象の感情データとの関連を適時最適化していくことで、感情判定の精度を高めることができる。

【0143】

＜付記＞
なお、本発明は、上記実施形態そのままに限定されるものではない。本発明は、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、本発明は、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより種々の発明を形成できるものである。例えば、実施形態に示される全構成要素から幾つかの構成要素は削除してもよいものである。さらに、異なる実施形態に構成要素を適宜組み合わせてもよいものである。

【産業上の利用可能性】

【0144】

本発明によれば、簡便に脳活動を推定することができるため、脳活動に基づき対象者の生理状態を可視化する脳活動可視化装置への適用が有効である。

【符号の説明】

【0145】

２０ 顔面皮膚温度取得手段
２００ 状態可視化手段
２０１ 解析部
２０３ 感情記憶部２０３
３００ 感情判定装置
１０，１１０ 評価装置
３０，１３０ 脳活動推定手段

【先行技術文献】

【特許文献】

【0146】

【特許文献1】特開２０１３−１７６４０６号公報

【要約】

【課題】ヒトや動物の感情を簡便に判定し得る感情判定装置を提供する。
【解決手段】感情判定装置３００は、顔面皮膚温度取得手段２０及び／又は画像データ取得手段１２０と、脳活動推定手段３０，１３０と、状態可視化手段２００とを備える。顔面皮膚温度取得手段２０は、顔面皮膚温度データを時系列で取得する。画像データ取得手段１２０は、顔面の撮像画像データを時系列で取得する。脳活動推定手段３０，１３０は、顔面皮膚温度データ及び／又は顔面血行量データを、特異値分解、主成分分析或いは独立成分分析により分解することで得られた複数の成分に基づき、対象者の脳活動を推定する。状態可視化手段２００は、脳活動推定手段３０により推定された対象者の脳活動に基づき、対象者の感情を判定する。
【選択図】図２３

【図4】

【図5】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図1】

【図2】

【図3】

【図6】