特開 2022-62574 人の表出情報からの脳活動状態推定

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022062574

(43)【公開日】2022-04-20

(54)【発明の名称】人の表出情報からの脳活動状態推定

(51)【国際特許分類】

   A61B 5/16 20060101AFI20220413BHJP

   A61B 5/377 20210101ALI20220413BHJP

   A61B 5/055 20060101ALI20220413BHJP

   G06N 3/08 20060101ALI20220413BHJP

【ＦＩ】

A61B5/16 100

A61B5/04 320M

A61B5/055 390

A61B5/055 380

G06N3/08

【審査請求】未請求

【請求項の数】7

【出願形態】ＯＬ

(21)【出願番号】P 2020170682

(22)【出願日】2020-10-08

【国等の委託研究の成果に係る記載事項】（出願人による申告）平成２８年度、国立研究開発法人科学技術振興機構研究成果展開事業 センター・オブ・イノベーションプログラム「精神的価値が成長する感性イノベーション拠点」委託研究開発、産業技術力強化法第１７条の適用を受ける特許出願

(71)【出願人】

【識別番号】504136568

【氏名又は名称】国立大学法人広島大学

(71)【出願人】

【識別番号】510108951

【氏名又は名称】公立大学法人広島市立大学

(74)【代理人】

【識別番号】100163186

【弁理士】

【氏名又は名称】松永 裕吉

(72)【発明者】

【氏名】町澤 昌宏

(72)【発明者】

【氏名】山脇 成人

(72)【発明者】

【氏名】目良 和也

(72)【発明者】

【氏名】竹澤 寿幸

(72)【発明者】

【氏名】黒澤 義明

【テーマコード（参考）】

4C038

4C096

4C127

【Ｆターム（参考）】

4C038PP03

4C038PS03

4C096AA18

4C096AD14

4C096DC27

4C096DC32

4C127AA03

4C127BB05

4C127DD01

4C127GG01

4C127GG11

4C127GG15

(57)【要約】

【課題】表出情報から脳活動状態を直接推定してその推定結果に基づいて感情や感性を評価する。
【解決手段】感性評価システム１００は、ユーザの表出情報から特徴量を抽出する特徴量抽出部１１と、特徴量が入力され、表出情報を表出したときのユーザの脳活動状態を推定して出力するニューラルネットワーク１２と、ニューラルネットワーク１２から出力される脳活動状態から感性に関連する少なくとも一つの脳生理指標値を算出する脳生理指標値算出部１３と、脳生理指標値を所定の式に代入してユーザの感性評価値を算出する感性評価値算出部１４とを備える。
【選択図】図２９

【特許請求の範囲】

【請求項1】

人の表出情報から抽出された特徴量が入力される入力層と、
前記表出情報を表出したときのその人の脳活動状態を出力する出力層と、
人の表出情報から抽出された特徴量と当該表出情報を表出したときのその人の脳活動状態とを対応付けた教師データを用いて重み係数が学習された中間層とを備え、
前記入力層に入力された人の表出情報から抽出された特徴量に対し、前記中間層における学習済み重み係数に基づく演算を行なって、前記出力層から、当該表出情報を表出したときのその人の脳活動状態を出力するニューラルネットワーク。

【請求項2】

前記表出情報が表情および発話音声の少なくとも一つを含む、請求項１に記載のニューラルネットワーク。

【請求項3】

前記脳活動状態が脳の関心領域に関連する脳波独立成分の時間周波数スペクトラムを含む、請求項１または２に記載のニューラルネットワーク。

【請求項4】

コンピュータを、請求項１ないし３のいずれかに記載のニューラルネットワークとして機能させる、コンピュータプログラム。

【請求項5】

ユーザの表出情報から特徴量を抽出する特徴量抽出部と、
前記特徴量が入力され、前記表出情報を表出したときの前記ユーザの脳活動状態を推定して出力する、請求項１ないし３のいずれかに記載のニューラルネットワークと、
前記ニューラルネットワークから出力される脳活動状態から感性に関連する少なくとも一つの脳生理指標値を算出する脳生理指標値算出部と、
前記脳生理指標値を所定の式に代入して前記ユーザの感性評価値を算出する感性評価値算出部と、
を備えた感性評価システム。

【請求項6】

コンピュータが感性を評価する方法であって、
ユーザの表出情報から特徴量を抽出するステップと、
請求項１ないし３のいずれかに記載のニューラルネットワークに前記特徴量を入力して、前記表出情報を表出したときの前記ユーザの脳活動状態を推定させるステップと、
前記ニューラルネットワークから出力される脳活動状態から感性に関連する少なくとも一つの脳生理指標値を算出するステップと、
前記脳生理指標値を所定の式に代入して前記ユーザの感性評価値を算出するステップと、
を備えた感性評価方法。

【請求項7】

請求項１ないし３に記載のニューラルネットワークの生成方法であって、
被験者の脳活動状態と表出情報とを同時に計測するステップと、
前記計測した表出情報から特徴量を抽出するステップと、
前記特徴量と前記計測した脳活動状態とを対応付けた教師データを生成するステップと、
前記教師データを用いて前記中間層における重み係数を更新するステップと、
を備えたニューラルネットワークの生成方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、人の表出情報からその人の脳活動状態を推定する技術に関し、さらに、推定した脳活動状態から感情や感性を評価する技術に関する。

【背景技術】

【0002】

人が機械やコンピュータなどのモノを操作する場合、手や足などの身体の一部を使ってハンドル、レバー、ボタン、キーボード、マウスなどの補助デバイスを操作したり、発話やジェスチャーによりモノに意思を伝達するのが一般的である。近年、脳と機械とを直接接続して人が思った通りに機械を操作するＢＭＩ（Brain Machine Interface）あるいはＢＣＩ（Brain Computer Interface）と呼ばれる技術が研究開発されている。ＢＭＩあるいはＢＣＩは、人の意思をモノに直接的に伝達できるようになることでモノの使い勝手の向上に期待されるほか、事故や病気によって運動機能や感覚機能などを失った人が自分の意思でモノを操作してモノを通じて他人と意思疎通を図ることができるようになる点で、医療や福祉の分野で期待されている。

【0003】

人の無意識あるいは潜在意識、特に感性といった人の精神活動あるいは心の情報を読み取ることができれば、人に心に優しいモノづくりやサービス提供が可能になる。例えば、対象物に対して人が抱く感性を客観的に検出し、または予測することができれば、そのような感性を発揮させるような対象物を事前にデザインすることができる。さらに、読み取った感性の情報は、人の心のケアや人と人とのコミュニケーションに活かすこともできる。本発明者らは、人の感性を読み取り、感性情報を介して人と人、ヒトとモノを繋ぐＢＥＩ（Brain Emotion Interface）の開発を目指している。

【0004】

ＢＥＩを実現するには脳情報が必要となるところ、脳情報として脳波（Electroencephalogram：EEG）がよく用いられる。しかし、脳波を計測するには接触型脳計測装置が必要になるが、日常生活において装置を装着し続けることはユーザに対して大きな負担になるという問題がある。そこで、本発明者は、脳計測情報から推定される話者感情を、脳計測情報の代わりに発話音声の音響的特徴と発話時の表情遷移を用いて推定する手法を開発した（非特許文献１を参照）。

【先行技術文献】

【非特許文献】

【0005】

【非特許文献1】目良 和也、外４名、“脳計測情報の代用としての発話音声と表情からの感情推定手法”、[online]、2020年6月8日、2020年度第34回人工知能学会全国大会論文集

【発明の概要】

【発明が解決しようとする課題】

【0006】

上記先行研究では、被験者の発話音声や表情といった表出情報から他己評価に基づいて被験者の感情や感性を評価し、当該他己評価結果を教師信号として学習させた機械学習機を用いて被験者の発話音声および表情からの感情推定を試みている。しかし、他己評価された感情や感性は本人の主観を十分正確に反映しているとは言えず、他己評価の感情や感性を教師信号として学習させた機械学習機により推定される感情や感性は、本人評価の感情や感性から多分にずれており、機械学習機の推定精度は十分とは言えなかった。

【0007】

かかる問題に鑑み、本発明は、本人の主観さらに本人も無意識のうちに感じている感情や感性を反映する脳活動状態を直接推定して、その推定結果に基づいて感情や感性を評価することを課題とする。

【課題を解決するための手段】

【0008】

本発明の一局面に従うと、人の表出情報から抽出された特徴量が入力される入力層と、前記表出情報を表出したときのその人の脳活動状態を出力する出力層と、人の表出情報から抽出された特徴量と当該表出情報を表出したときのその人の脳活動状態とを対応付けた教師データを用いて重み係数が学習された中間層とを備え、前記入力層に入力された人の表出情報から抽出された特徴量に対し、前記中間層における学習済み重み係数に基づく演算を行なって、前記出力層から、当該表出情報を表出したときのその人の脳活動状態を出力するニューラルネットワークが提供される。

【0009】

さらに、本発明の別局面に従うと、ユーザの表出情報から特徴量を抽出する特徴量抽出部と、前記特徴量が入力され、前記表出情報を表出したときの前記ユーザの脳活動状態を推定して出力するニューラルネットワークと、前記ニューラルネットワークから出力される脳活動状態から感性に関連する少なくとも一つの脳生理指標値を算出する脳生理指標値算出部と、前記脳生理指標値を所定の式に代入して前記ユーザの感性評価値を算出する感性評価値算出部と、を備えた感性評価システムが提供される。

【発明の効果】

【0010】

本発明によると、脳計測装置を用いることなく、すなわち非接触で、より手軽に、表出情報から本人の脳活動状態を直接推定することができる。さらに、その推定結果に基づいて感情や感性を評価することができる。

【図面の簡単な説明】

【0011】

【図1】情動、感情、感性の関係を表す模式図

【図2】発明者が提唱する感性多軸モデルの模式図

【図3】感性多軸モデルの各軸に関連する関心領域を説明する図

【図4】快反応時のさまざまなｆＭＲＩ画像を示す図

【図5】快反応時のｆＭＲＩ画像およびＥＥＧ信号源をプロットした脳矢状断面を示す図

【図6】関心領域（快反応時の後帯状回）のＥＥＧ信号源の信号を時間周波数解析した結果を示す図

【図7】活性反応性時のｆＭＲＩ画像およびＥＥＧ信号源をプロットした脳矢状断面を示す図

【図8】関心領域（活性反応時の後帯状回）のＥＥＧ信号源の信号を時間周波数解析した結果を示す図

【図9】快／不快の刺激画像呈示実験の概要を説明する図

【図10】快画像予期時および不快画像予期時の各ｆＭＲＩ画像を示す図

【図11】快画像予期時と不快画像予期時のＥＥＧ信号の差分における信号源をプロットした脳矢状断面（頭頂葉部分）および当該部分のＥＥＧ信号の時間周波数分布を示す図

【図12】快画像予期時と不快画像予期時のＥＥＧ信号の差分における信号源をプロットした脳矢状断面（視覚野）および当該部分のＥＥＧ信号の時間周波数分布を示す図

【図13】主観心理軸決定のための自己評価の一例を示す図

【図14】関心領域の脳波独立成分および周波数帯域を特定するフローチャート

【図15】脳波信号の独立成分分析で抽出された各独立成分における信号強度分布を表したコンポーネント（脳波トポグラフィ）を示す図

【図16】独立信号成分の信号源の推定位置をプロットした脳矢状断面図

【図17】快・不快反応時のｆＭＲＩ画像を示す図

【図18】ＥＥＧ信号源の信号を時間周波数解析した結果を示す図

【図19】脳波を用いた感性のリアルタイム評価のフローチャート

【図20】脳波信号の独立成分分析で抽出された各独立成分における信号強度分布を表したコンポーネント（脳波トポグラフィ）を示す図

【図21】関心領域に関連する独立成分として特定されたコンポーネントを示す図

【図22】特定された独立成分についての時間周波数解析の結果を示す図

【図23】推定された快／不快軸の値を示す模式図

【図24】推定された活性／非活性軸および期待感軸の各値を示す模式図

【図25】本発明の概念を説明する図

【図26】表出情報の一つである発話音声から音響的特徴量を抽出する例を説明する図

【図27】表出情報の一つである表情から表情遷移特徴量を抽出する例を説明する図

【図28】本発明に係る脳活動状態推定に好適なニューラルネットワークの模式図

【図29】本発明の一実施形態に係る感性評価システムのブロック図

【発明を実施するための形態】

【0012】

以下、適宜図面を参照しながら、実施の形態を詳細に説明する。ただし、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、発明者は、当業者が本発明を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。

【0013】

本発明に係る脳活動状態推定は人の表出情報からその人の脳活動状態を推定できる点で感情や感性の評価・可視化に好適である。以下、感性の評価・可視化への応用を例に本発明の実施形態について説明する。

【0014】

１．感性の定義
人は何かを見たり、聞いたり、あるいは何かに触れたり、触れられたりしたときに、わくわくしたり、うきうきしたり、はらはらしたり、どきどきしたりする。これらは、単なる情動や感情と異なり、運動神経および感覚神経を含む体性神経系を通して脳に入ってくる外受容感覚、交感神経および副交感神経を含む自律神経系、それに基づく内受容感覚、さらには記憶や経験などが深く関与した複雑で高次の脳活動によってもたらされていると考えられる。

【0015】

本発明では、わくわく、うきうき、はらはら、どきどきなどの感情あるいは情動とは異なる複雑な高次脳機能を広く「感性」として捉える。すなわち、本発明において、感性を、外受容感覚情報（体性神経系）と内受容感覚情報（自律神経系）を統合し、過去の経験、記憶と照らし合わせて生じる情動反応を、より上位のレベルで俯瞰する高次脳機能と定義する。換言すると、感性は、予測（イメージ）と結果（感覚情報）とのギャップを経験・知識と比較することによって直感的に“はっ”と気付く高次脳機能であると言える。

【0016】

ここで、情動、感情、および感性の３つの概念を整理する。図１は情動、感情、感性の関係を表す模式図である。情動は外界からの刺激などによって引き起こされる無意識的・本能的な脳機能であり、３つの中で最も低次の脳機能である。感情は情動を意識化したより高次の脳機能である。そして、感性は経験・知識も反映したヒト特有の脳機能であり、３つの中で最も高次の脳機能である。

【0017】

このような高次脳機能である感性の全体像を把握するには、種々の観点あるいは側面から総合的に感性を捉える必要がある。

【0018】

例えば、人が快い、快適、あるいは心地よいと感じているか、あるいは反対に人が気持ち悪い、不快、あるいは心地よくないと感じているかといった「快／不快」の観点あるいは側面から感性を捉えることができる。

【0019】

また、例えば、人が覚醒、興奮、あるいは活性状態にあるか、あるいは反対に人がぼんやり、沈静、あるいは非活性状態にあるかといった「活性／非活性」の観点あるいは側面から感性を捉えることができる。

【0020】

また、例えば、人が何かを期待あるいは予期してわくわくしているか、あるいは期待が外れてがっかりしているかといった「期待感」の観点あるいは側面から感性を捉えることができる。

【0021】

快／不快および活性／非活性を２軸に表したラッセル（Russell）の円環モデルが知られている。感情はこの円環モデルで表すことができる。しかし、感性は予測（イメージ）と結果（感覚情報）とのギャップを経験・知識と比較する高次脳機能であるので、快／不快および活性／非活性の２軸からなる既存の円環モデルでは十分に表し得ないと本発明者は考える。そこで、本発明者は、ラッセルの円環モデルに、時間軸（例えば、期待感）を第３軸として加えた感性多軸モデルを提唱する。

【0022】

図２は、本発明らが提唱する感性多軸モデルの模式図である。感性多軸モデルは、例えば、「快／不快」を第１軸、「活性／非活性」を第２軸、「時間（期待感）」を第３軸として表すことができる。感性を多軸モデル化することのメリットは、各軸について評価値を算出し、それらを総合することで、漠然と広い概念の感性を定量的に評価する、すなわち、可視化することができる点にある。

【0023】

この高次脳機能である感性を正確に評価することができれば、ヒトとモノを繋ぐＢＥＩ技術の確立に繋がる。そして、多様な分野で感性情報を活用して新価値を創造して、新しい価値を生み出すことができる。例えば、使えば使うほどヒトの思いに的確に反応し、喜び、やる気、愛情などの精神的価値が成長する製品・システムの創出を通してＢＥＩ技術の社会実装を実現することができると考えられる。

【0024】

２．関心領域の特定
快／不快、活性／非可性、および期待感の各脳反応に伴い、脳のどの部位が活動するかをｆＭＲＩとＥＥＧにより測定した結果について説明する。この測定結果は、感性を可視化、数値化する上での基礎データになり、極めて重要な位置づけにある。

【0025】

ｆＭＲＩとは、ある心的過程と特定の脳構造を非侵襲的に対応づける脳機能画像法の一つであり、神経活動に伴う局所脳血流の酸素レベルに依存した信号強度を計測するものである。そのためｆＭＲＩはＢＯＬＤ（Blood Oxygen Level Dependent）法とも呼ばれる。

【0026】

脳の中で神経細胞の活動が生じると多くの酸素が要求されるため、脳血流を通して酸素と結合した酸化ヘモグロビン（oxyhemoglobin）が局所において流れ込んでくる。そのときに神経細胞の酸素摂取を上回る酸素が供給され、結果として酸素を運び終えた還元型ヘモグロビン（deoxyhemoglobin）が局所において相対的に減少することになる。この還元型ヘモグロビンは磁気的性質を持ち、血管周囲の磁場の局所的不均一性を引き起こす。ｆＭＲＩは、このような酸素との結合関係に応じて磁気的性質を変化させるヘモグロビンの特徴を利用して、神経細胞の活動に伴う脳血流の酸素化バランスの局所的変化によって二次的に起こる信号増強を捉えるものである。現在では、局所的な脳血流の変化を全脳にわたり、数ミリメートル程度の空間的解像度で、秒単位で計測することが可能である。

【0027】

図３は、感性多軸モデルの各軸に関連する関心領域を説明する図であり、各軸に関連する脳反応についてｆＭＲＩとＥＥＧにより測定した結果を示す。図３において、快・不快軸、活性・非活性軸のｆＭＲＩ画像、ＥＥＧ画像は、それぞれ、快反応時と不快反応時、活性反応時と非活性反応時との差分（変化分）を示すものである。また、期待感軸のｆＭＲＩ画像は快画面予期反応時のものであり、ＥＥＧ画像は快画像予期反応時と不快画像予期反応時との差分を示すものである。

【0028】

図３に示したように、「快・不快」と「活性・非活性」反応時には帯状回が活動していることがｆＭＲＩおよびＥＥＧの測定結果から示され、「期待感」反応時にはｆＭＲＩおよびＥＥＧの測定結果から、頭頂葉、視覚野において脳活動があることが示される。

【0029】

図３に示した感性多軸モデルの各軸に関連する関心領域は、ｆＭＲＩおよびＥＥＧを用いたさまざまな条件下での脳反応の観測実験を通じて得られた知見である。以下、その観測実験について具体的に説明する。

【0030】

（１）快／不快時の脳反応について
まず、国際感情画像システム（International Affective Picture System：IAPS）から抽出した快画像（例えば、愛くるしいアザラシの赤ちゃん画像）と不快画像（例えば、危険な産業廃棄物画像）を２７名の実験参加者に提示することにより、実験参加者の快／不快時の脳反応を観察する。

【0031】

図４は、快反応時のさまざまなｆＭＲＩ画像（脳の矢状断、冠状断、および水平断の各ｆＭＲＩ断面画像）を示す図である。図４において、不快反応時（不快画像を見た場合）と比較して快反応時（快画像を見た場合）に顕著に反応した領域に○印を付している。図４から明らかなように、快反応時には、後帯状回、視野野、線条体、眼窩前頭前野が賦活する。

【0032】

図５は、快反応時のｆＭＲＩ画像およびＥＥＧ信号源をプロットした脳矢状断面を示す図である。図５において、不快反応時と比較して快反応時に顕著に反応した領域に○印を付している。図５からわかるように、快反応時には後帯状回を含む領域の脳活動がｆＭＲＩとＥＥＧの観測結果で共通している。この結果から、帯状回を含む領域を快／不快反応時の関心領域として特定することができる。

【0033】

図６は、関心領域（快反応時の後帯状回）のＥＥＧ信号源の信号を時間周波数解析した結果を示す図である。図６左側は、関心領域（快反応時の後帯状回）のＥＥＧ信号源の信号を時間周波数解析した結果を示す図である。図６右側は快反応時と不快反応時の差分を示す。図６右側において色の濃い部分は差分が大きいことを表す。このＥＥＧの測定結果から、快反応時には関心領域のθ帯域の反応が関与していることがわかる。

【0034】

（２）活性／非活性時の脳反応について
ＩＡＰＳから抽出した活性画像（例えば、美味しそうな寿司の画像）および非活性画像（例えば、静かな田園にたたずむ館の画像）を２７名の実験参加者に提示することにより、実験参加者の活性／非活性時の脳反応を観察する。

【0035】

図７は、活性反応時のｆＭＲＩ画像およびＥＥＧ信号源をプロットした脳矢状断面を示す図である。図７において、非活性反応時（非活性画像を見た場合）と比較して活性反応時（活性画像を見た場合）に顕著に反応した領域に○印を付している。図７からわかるように、活性反応時には後帯状回を含む領域の脳活動がｆＭＲＩとＥＥＧの観測結果で共通している。この結果から、帯状回を含む領域を活性／非活性反応時の関心領域として特定することができる。

【0036】

図８は、関心領域（活性反応時の後帯状回）のＥＥＧ信号源の信号を時間周波数解析した結果を示す図である。図８左側は、関心領域（活性反応時の後帯状回）のＥＥＧ信号源の信号を時間周波数解析した結果を示す図である。図８右側は活性反応時と非活性反応時の差分を示す。図８右側において色の濃い部分は差分が大きいことを表す。このＥＥＧの測定結果から、活性反応時には関心領域のβ帯域の反応が関与していることがわかる。

【0037】

（３）期待時の脳反応について
まず、２７名の実験参加者に対して、情動を喚起する刺激画像を呈示し、画像を視認しているときの実験参加者の感情状態を評定させる実験を行う。刺激画像として、ＩＡＰＳから抽出した情動を喚起するカラー画像８０枚を用いる。そのうち４０枚が快さを喚起する画像（快画像）であり、残りの４０枚が不快を喚起する画像（不快画像）である。

【0038】

図９は、快／不快の刺激画像呈示実験の概要を説明する図である。刺激画像は、短いトーン音（Ｃｕｅ）を０．２５秒間鳴らして、その３．７５秒後に４秒間だけ呈示する。そして、呈示された画像を快いと感じたか、不快と感じたかを被験者にボタンで回答してもらう。ただし、低いトーン音（５００Ｈｚ）が鳴った後には必ず快画像が呈示される。高いトーン音（４０００Ｈｚ）が鳴った後には必ず不快画像が呈示される。そして、中くらいのトーン音（１５００Ｈｚ）が鳴った後には、５０％の確率で快画像または不快画像が呈示される。

【0039】

この実験において、いずれかのトーン音がなってから画像が呈示されるまでの４秒間は実験参加者が次に起こるであろうこと（この実験の場合には、快画像または不快画像が呈示されること）を予期している期間であり、この予期時における脳活動を観測した。例えば、低いトーン音が鳴ったとき、実験参加者は快画像が呈示されることを予期する「快画像予期」の状態にあり、高いトーン音が鳴ったとき、不快画像が呈示されることを予期する「不快画像予期」の状態にある。一方、中くらいのトーン音が鳴ったとき、実験参加者は快画像および不快画像のいずれが呈示されるのかがわからない「快・不快予期不可」の状態にある。

【0040】

図１０は、快画像予期時および不快画像予期時の各ｆＭＲＩ画像（脳の矢状断および水平断の各ｆＭＲＩ断面画像）を示す図である。図１０の○印部分から明らかなように、ｆＭＲＩでは快画像予期時と不快画像予期時には、頭頂葉、視覚野、島皮質を含む脳領域が関与していることがわかる。

【0041】

図１１は、ＥＥＧによる測定結果を示し、図１１ａは脳の矢状断の断面を示すものであり、不快画像予期時と比較して快画像予期時において顕著に反応した領域に破線○印を付している。また、図１１ｂは、関心領域（快画像予測時の頭頂葉の領域）のＥＥＧ信号源の信号を時間周波数解析した結果を示し、図１１ｃは、関心領域（不快画像予測時の頭頂葉の領域）のＥＥＧ信号源の信号を時間周波数解析した結果を示す。さらに、図１１ｄは、快予測時と不快予測時の差分を示した図であり、図中で丸で囲んだ部分は差分があった領域であり、その他の部分は差分がなかった領域である。このＥＥＧの測定結果から、快画像予測時において頭頂葉のβ帯域の反応が関与していることが理解される。

【0042】

図１２は、ＥＥＧによる測定結果を示し、図１２ａは脳の矢状断の断面を示すものであり、不快画像予期時と比較して快画像予期時において顕著に反応した領域に破線○印を付している。また、図１２ｂは、関心領域（快画像予測時の視覚野の領域）のＥＥＧ信号源の信号を時間周波数解析した結果を示し、図１２ｃは、関心領域（不快画像予測時の視覚野の領域）のＥＥＧ信号源の信号を時間周波数解析した結果を示す。さらに、図１２ｄは、快予測時と不快予測時の差分を示した図であり、図中で丸で囲んだ部分は差分があった領域であり、その他の部分は差分がなかった領域である。このＥＥＧの測定結果から、快画像予測時視覚野のα帯域の反応が関与していることが理解される。

【0043】

３．感性の可視化
感性を快／不快の軸、活性／非活性の軸、および期待感（時間）の軸の３軸を含む感性多軸モデルを用いて表すことについては上述したが、次は、具体的に感性をどのように可視化・数値化してＢＥＩ構築に結び付けできるかが課題になる。

【0044】

本発明者は、感性を構成する３軸は独立したものでなく相関性があるものであり、各軸の値を実測すると同時に各軸の感性に寄与する関係性を特定する必要があるとの知見に基づき、感性の主観心理軸と感性の脳生理指標を次のように融合させて感性の可視化を図っている。

【0045】

感性＝［主観心理軸］＊［脳生理指標］＝a＊EEG_快＋b＊EEG_活性＋c＊EEG_期待感…（式１）
ここで、主観心理軸は各軸の重み付け係数（a，b，c）を示し、脳生理指標はＥＥＧの測定結果に基づく各軸の値（EEG_快，EEG_活性，EEG_期待感)を示す。

【0046】

以下、主観心理軸の決定手順、および脳生理指標の選定手順について順に説明する。

【0047】

Ａ．主観心理軸の決定
感性の主観心理軸を用いた各軸の寄与率、すなわち重み付けは次の手順で決定することができる。

【0048】

（１）実験参加者（男女学生：２７名）に対して、上述の快／不快の刺激画像呈示実験を行う。ここでは、各トーン音が鳴ってから画像が呈示されるまでの４秒間（予期時）における脳の感性状態を実験参加者の自己評価により評定してもらう。

【0049】

（２）実験参加者には、３条件（快画像予期時、不快画像予期時、および快・不快予期不可）ごとに、わくわく（感性）度合、快度合（快軸）、活性度合（活性軸）、期待感度合（期待感軸）についてＶＡＳ（Visual Analog Scale）を用いて０から１００までの１０１段階で評定してもらう。図１３は、主観心理軸決定のための自己評価の一例を示す図であり、低いトーン音が鳴ったとき（快画像予期時）の快度合を評定している様子を示す。実験参加者は０から１００の間でカーソルを移動させて評定を行う。評定の結果、例えば、ある実験参加者から、快画像予期に関して、わくわく＝７３、快＝６８、活性＝４５、期待感＝７８といったような主観評定値が得られる。

【0050】

（３）実験参加者全員から得られた３条件それぞれの主観評定値から、線形回帰により主観心理軸の各係数を算出する。この結果、例えば次式のような主観心理軸における感性評価式が得られる。

【0051】

感性＝0.38＊主観_快＋0.11＊主観_活性＋0.51＊主観_期待感…（式２）
ただし、主観_快、主観_活性、主観_期待感は、実験参加者が評定した快度合、活性度合、期待感度合の各数値である。

【0052】

（４）主観心理軸における主観_快、主観_活性、主観_期待感と脳生理指標のEEG_快、EEG_活性、EEG_期待感とはそれぞれ対応関係にある。したがって、主観評定値の線形回帰により算出された主観心理軸の各軸の重み係数は脳生理指標のEEG_快、EEG_活性、EEG_期待感の各重み係数として用いることができる。そこで、式２で得られた各軸の重み係数を式１に適用することで、感性は、時々刻々測定されるEEG_快，EEG_活性，EEG_期待感を用いて次式のように表される。

【0053】

感性＝0.38＊EEG_快＋0.11＊EEG_活性＋0.51＊EEG_期待感…（式３）
すなわち、式３により感性を数値により可視化することができる。

【0054】

Ｂ．脳生理指標の選定
脳生理指標は、ＥＥＧの測定結果から計算される感性多軸モデルの各軸の推定値である。しかし、脳活動には個人差があるため、リアルタイムで感性を評価する前にあらかじめ各個人のＥＥＧを計測して各個人の脳波独立成分およびその周波数帯域を特定しておく必要がある。

【0055】

まず、被験者の快／不快、活性／非活性、期待感の各脳波測定時に用いる周波数帯域を特定する手順について説明する。図１４は、関心領域の脳波独立成分および周波数帯域を特定するフローチャートである。

【0056】

被験者に例えば快／不快を伴う画像を呈示して視覚刺激を与え、この刺激により誘発されたＥＥＧ脳波信号を計測する（Ｓ１）。なお、計測された脳波信号には、瞬き、目の動き、筋電に伴うノイズ（アーチファクト）が混在しているので、これらノイズを除去する。

【0057】

計測した脳波信号に対して独立成分分析（ICA：Independent Component Analysis）を行って複数の独立成分（信号源）を抽出する（Ｓ２）。例えば、３２チャンネルで脳波を計測した場合は、チャンネルの数に応じた３２の独立成分が抽出される。計測した脳波の独立成分分析の結果、信号源の位置が特定される（Ｓ３）。

【0058】

図１５は、ステップＳ２での脳波信号の独立成分分析で抽出された各独立成分における信号強度分布を表したコンポーネント（脳波トポグラフィ）を示す。また、図１６は、独立信号成分の信号源の推定位置をプロットした脳矢状断面を示す。

【0059】

なお、脳波の測定とは別にｆＭＲＩによる測定を行う。図１７は、快・不快反応時のｆＭＲＩ画像を示す。快・不快の反応時において、図１７中で○印で示すように帯状回が関与していることがわかる。

【0060】

このように別途行われるｆＭＲＩによる測定により、例えば、「快」の状態では帯状回が関与していることが判明しているため、「快」に関連する独立成分を選定する場合、関心領域の候補として帯状回付近に存在する信号源（独立成分）を選定することができる（Ｓ４）。例えば、３２の独立成分が取捨選択されて１０の独立成分に絞り込まれる。

【0061】

関心領域の候補となる信号源の信号（例えば１０の独立成分）のそれぞれについて、時間周波数解析を行って、各時間ポイントおよび各周波数ポイントにおけるパワー値を算出する（Ｓ５）。例えば、４０の時間ポイントのそれぞれにおいて２０の周波数のポイントを設定して合計８００ポイントでのパワー値を算出する。

【0062】

図１８は、ステップＳ５において、ＥＥＧ信号源の信号を時間周波数解析した結果を示す図である。図１８のグラフにおいて縦軸は周波数であり、横軸は時間である。周波数はβ、α、θの順で高い。グラフの色の濃淡は信号強度を表す。実際には時間周波数解析結果のグラフはカラーで表されるが、ここでは便宜上グレースケールで表している。

【0063】

次に、時間周波数に分解された各独立成分に対して主成分分析（PCA：Principal Component Analysis）を行って、時間および周波帯域の主成分に絞り込みを行う（Ｓ６）。これにより、特徴の数が絞り込まれる。例えば、上記の８００ポイントの特徴から４０の主成分に次元が削減される。

【0064】

各独立成分において、絞り込まれた時間周波数の主成分を対象に機械学習（SLR：Sparse Logistic Regression）を用いて判別学習を行う（Ｓ７）。これにより、その独立成分（信号源）における軸（例えば快／不快軸）の判別に寄与する主成分（時間周波数）が検出される。例えば、被験者の「快」測定時において、関心領域の信号源ではθ帯域が関係していることが判明する。また、例えば、快または不快の２択での判別精度が７０％であるといったように、その独立成分の周波帯域における判別精度が算出される。

【0065】

算出された判別精度を元に、有意な判別率をもつ独立成分およびその周波帯域を特定する（Ｓ８）。これにより、関心領域の候補である例えば１０の独立成分の中からトップの独立成分およびその周波帯域が１つ選定される。

【0066】

上記は快／不快の測定時における手順であるが、活性／非活性および期待感の各測定時においても同様の手順で関心領域の脳波独立成分および周波数帯域の特定を行う。この結果、活性／非活性の場合には関心領域のβ帯域が、期待感の場合には関心領域のθ～α帯域がそれぞれ関与していることが判明する。

【0067】

上記手順で得られた結果は、次の感性のリアルタイム評価において空間フィルタとして適用される。

【0068】

なお、上記のステップＳ３およびＳ４ではすべての独立成分に対する信号源を推定した後にｆＭＲＩ情報に基づいて信号源（独立成分）の絞り込みを行っているが、ｆＭＲＩ情報を用いずにステップＳ３～Ｓ７を実施し、最後のステップＳ８において有意に判別に寄与する独立成分の中から、ｆＭＲＩ情報を用いて独立成分（信号源）の選定を行い、その中で最も判別に寄与する独立成分を選択してもよい。このようにしても結果は同じになる。

【0069】

次に、上記手順で特定された独立成分の周波数帯域を用いて、時々刻々変化する被験者の脳活動を推定して感性をリアルタイムで評価する手順について説明する。図１９は、脳波を用いた感性のリアルタイム評価のフローチャートである。

【0070】

被験者の脳波を計測し、リアルタイムで脳波情報（各チャンネルでの脳活動）を抽出する（Ｓ１１）。なお、計測された各チャンネルの脳波信号には、瞬き、目の動き、筋電に伴うノイズ（アーチファクト）が混在しているので、これらノイズ成分を除去する。

【0071】

計測した脳波信号に対して独立成分分析を行って複数の独立成分（信号源）を抽出する（Ｓ１２）。例えば、３２チャンネルで脳波を計測した場合は、チャンネルの数に応じた３２の独立成分が抽出される。図２０は、ステップＳ１２での脳波信号の独立成分分析で抽出された各独立成分における信号強度分布を表したコンポーネント（脳波トポグラフィ）を示す。

【0072】

抽出された３２個の独立成分から、関心領域に関連する独立成分を特定する（Ｓ１３）。ここでは、図１４のフローチャートで示す手順により対象とする独立成分があらかじめ特定されているので、対象のコンポーネントは容易に特定される。図２１は、関心領域に関連する独立成分として特定されたコンポーネントを示す。

【0073】

次に、特定された独立成分について時間周波数解析を行って、時間周波数スペクトラムを算出する（Ｓ１４）。図２２は、特定された独立成分についての時間周波数解析の結果を示す。

【0074】

ここで、被験者の「快」測定時においてその独立成分（関心領域の信号源）では、対象となる周波帯域がθ帯域であることが判明しているため、当該帯域でのスペクトラム強度より、ある時点での、快／不快軸の値（脳生理指標値）が推定される（Ｓ１５）。脳生理指標値は、例えば、０～１００の数値で表される。図２３は、推定された快／不快軸の値を模式的に示す。例えば、図２３に示したように、快／不快軸の値としてEEG_快＝６３が推定される。

【0075】

上記は快／不快の測定時における手順であるが、活性／非活性および期待感の各測定時においても同様の手順で脳生理指標値を推定する。図２４は、推定された活性／非活性軸および期待感軸の各値を模式的に示す。例えば、図２４に示したように、活性／非活性軸の値としてEEG_活性＝４２が、期待感軸（時間軸）の値としてEEG_期待感＝７２が推定される。

【0076】

推定した脳生理指標値を式３に代入して感性の評価値を計算する（Ｓ１６）。例えば、EEG_快＝６３、EEG_活性＝４２、EEG_期待感＝７２という推定結果が得られた場合、前述の式３から、感性の評価値は６５．２８と計算される。

【0077】

４．表出情報に基づく脳活動状態の推定
次に、本発明のテーマである、表出情報に基づく脳活動状態の推定について説明する。図２５は、本発明の概念を説明する図である。上記説明では被験者に感情あるいは情動を惹起させる外部刺激を与えたときの脳波のみを計測しているが、本発明では、脳波だけでなく被験者（人）の表情や音声といった表出情報も同時に収集する。概して、本発明では、表出情報を入力信号、脳活動状態を教師信号としてニューラルネットワークを深層学習させ、学習済みのニューラルネットワークに人の表出情報を与えて当該表出情報を表出したときのその人の脳活動状態を推定させる。

【0078】

（教師データ）
被験者に脳計測装置を装着してもらい、感情あるいは情動を惹起させる外部刺激を与えたとき、例えばテレビゲームをプレイ中の被験者の脳波信号を計測、記録する。それと同時にビデオカメラおよびマイクロフォンで被験者の表情（顔画像動画）および発話音声などを記録する。ここで、脳波、顔画像動画、発話音声などの各種信号は時間軸を揃えて同期して適当な記憶装置に記録する。

【0079】

記録した表出情報から各種特徴量を抽出してニューラルネットワークへの入力信号とする。図２６は、表出情報の一つである発話音声から音響的特徴量を抽出する例を説明する図である。被験者の発話音声を記録した音響信号を、openSMILEソフトウェアを使って解析する。具体的には、音響信号を、５０ｍｓｅｃのフレームサイズのフレームを１０ｍｓｅｃずつシフトして、各フレームからopenSMILEによって算出された各種特徴量のうち、例えば、基本周波数、声である確率、および音圧の３つの値を選択し、これら３つの値の時系列データを音響的特徴量としてニューラルネットワークに入力する。一方、図２７は、表出情報の一つである表情から表情遷移特徴量を抽出する例を説明する図である。被験者の表情を記録した顔画像動画から、例えば３０ｍｓｅｃごとに静止画像を切り出してその静止画像中の顔画像に含まれる左目尻、左目中心、左目頭、右目尻、右目中心、右目頭、鼻左、鼻右、左口端、口中心、右口端、および口上の１２個の顔部位座標を算出する。これら１２個の座標の時系列データを表情遷移特徴量としてニューラルネットワークに入力する。

【0080】

記録した脳波信号については図１９のフローチャートにおけるＳ１２ないしＳ１４に相当する処理を行う。すなわち、計測された各チャンネルの脳波信号に含まれるアーチファクトなどのノイズ成分を除去して独立成分分析を行なって複数の独立成分を抽出し、抽出した複数の独立成分の中から関心領域に関連する独立成分を特定する。例えば、快反応時、活性反応時の脳活動状態が知りたければ後帯状回に関連する独立成分を、快画像予測時の脳活動状態が知りたければ頭頂葉および視覚野に関連する独立成分を特定する。そして、特定した独立成分について時間周波数解析を行って、時間周波数スペクトラムを算出する。時間周波数スペクトルは、図２２に示すように、周波数スペクトルの時間的変化を表している。このような時間周波数スペクトルにおいて、例えば、θ帯域、α帯域、β帯域の３つの周波数帯域の強度をニューラルネットワークの出力として定義することができる。したがって、被験者の表出情報から抽出した音響的特徴量および表情遷移特徴量の時系列データを入力信号、および当該表出情報を表出したときの被験者の脳波信号を解析して得られた時間周波数スペクトルの時系列データを教師信号とする教師データを用意して、当該教師データを用いてューラルネットワークを学習させることができる。

【0081】

（ニューラルネットワーク）
人の表出情報および脳活動状態は時間変化する信号であるため、本発明では、ニューラルネットワークとして、時系列データを扱うのに適した再帰型ニューラルネットワーク（Recurrent Neural Network: RNN）を用いる。さらに、時系列データの長期的な依存関係を学習しつつニューラルネットワークの過学習を防ぐためにＬＳＴＭ（Long Short-term memory）を採用することが好ましい。

【0082】

図２８は、本発明に係る脳活動状態推定に好適なニューラルネットワークの模式図である。概して、ニューラルネットワークは入力層１０１、中間層１０２、出力層１０３の３層から構成される。入力層１０１には人の表出情報から抽出した特徴量（ベクトルｘ）が入力される。より詳細には、入力層１０１は図略の複数の人工ニューロン（以下、単に「ニューロン」と称する。）を有しており、各ニューロンに、人の表出情報から抽出した各種特徴量（ベクトルｘの要素）が与えられる。出力層１０３からは脳活動状態を表す時間周波数スペクトル（ベクトルｙ）が出力される。より詳細には、出力層１０３は図略の複数のニューロンを有しており、各ニューロンから、脳波信号の所望の独立成分を時間周波数解析して得られた時間周波数スペクトルにおける各周波数帯域の強度（ベクトルｙの要素）が出力される。中間層１０２は隠れ層とも呼ばれ、図略の複数のニューロンを有しており、各ニューロンが入力層１０１の各ニューロンおよび出力層１０３の各ニューロンとさまざまな重み付け係数で結合されている。

【0083】

学習時には上記の教師データを用いてニューラルネットワークを学習、すなわち、中間層１０２の重み係数をチューニングする。評価時には実データ、すなわち、人の表出情報から抽出した特徴量（ベクトルｘ）をニューラルネットワークに入力することで、中間層１０２における学習済み重み係数に基づく演算が行われて、時間周波数スペクトル（ベクトルｙ）、すなわち、当該表出情報を表出したときのその人の脳活動状態が出力される。

【0084】

５．感性評価への応用
次に、脳活動状態推定を応用した感性の評価について説明する。図２９は、本発明の一実施形態に係る感性評価システムのブロック図である。概して、感性評価システム１００は、特徴量抽出部１１、ニューラルネットワーク１２、脳生理指標算出部１３、および感性評価値算出部１４を備えている。これら各ブロックは、ＣＰＵ（Central Processing Unit）にコンピュータプログラムを実行させてＣＰＵ上で実現することができる他、ハードウェアとして実現することも可能である。

【0085】

特徴量抽出部１１は、図略のビデオカメラやマイクロフォンなどで撮影・収音したユーザの顔画像動画や発話音声が入力され、それら信号から特徴量を抽出する。なお、音響信号および顔画像動画からの特徴量抽出例については図２６、２７を参照して説明した通りであり、ここで再度の説明は省略する。

【0086】

ニューラルネットワーク１２は、上述したように、人の表出情報を受けてその人の脳活動状態を推定する。具体的には、コンピュータ上の仮想空間に再現された、あるいは、ハードウェア回路として構成されたニューラルネットワーク構造に学習済み重み係数、すなわち、学習済みモデルを展開することで、人の表出情報からその人の脳活動状態を推定するニューラルネット１２を構成することができる。したがって、異なる教師データを用いて学習させた学習済みモデルを複数用意しておけば、所望の関心領域に応じて、ニューラルネットワーク１２に展開される学習済みモデルを入れ替えて、ユーザの表出情報から所望の関心領域に関する脳活動状態を推定させることができる。

【0087】

脳生理指標算出部１３は、ニューラルネットワーク１２から出力される脳活動状態から感性に関連する少なくとも一つの脳生理指標値を算出する。すなわち、脳生理指標算出部１３は、図１９のフローチャートにおけるＳ１５に相当する処理を行う。例えば、ニューラルネットワーク１２に展開される学習済みモデルが後帯状回に関するものであれば、ニューラルネットワーク１２から出力される脳活動状態のうちθ帯域のスペクトル強度から快反応時の脳生理指標値であるEEG_快を、β帯域のスペクトル強度から活性反応時の脳生理指標値であるEEG_活性をそれぞれ算出することができる。また、ニューラルネットワーク１２の学習済みモデルを頭頂葉に関するものに入れ替えれば、ニューラルネットワーク１２から出力される脳活動状態のうちβ帯域のスペクトル強度からEEG_期待感を算出することができる。

【0088】

感性評価値算出部１４は、脳生理指標値を例えば式３のような所定の式に代入してユーザの感性評価値を算出する。すなわち、感性評価値算出部１４は、図１９のフローチャートにおけるＳ１６に相当する処理を行う。

【0089】

以上のように、本実施形態に係る感性評価システム１００によると、ユーザに脳計測装置を装着して脳波の計測を行うことなく、ユーザの表情や発話音声といった表出情報からユーザの感性をリアルタイムで評価することができる。これにより、より手軽に、人の表出情報から脳活動状態を推定し、さらに、その推定結果に基づいて感性を評価することができる。

【0090】

≪変形例≫
上記説明ではニューラルネットワーク１２に入力される、発話音声から抽出された特徴量は基本周波数、声である確率、および音圧の３つであるとしたが、メル周波数ケプストラム係数（ＭＦＣＣ）、８分割された線スペクトル対周波数、時間軸方向での基本周波数の揺らぎ（ジッター）、ジッターの変化など、openSMILEにより算出されるさらに多くの特徴量をニューラルネットワーク１２に入力するようにしてもよい。同様に、表情から上記以外の部位の特徴量を抽出してニューラルネットワーク１２に入力するようにしてもよい。

【0091】

上記説明では表情および発話音声の２つを表出情報としてニューラルネットワーク１２の入力としているが、表情および発話音声のいずれか一方のみをニューラルネットワーク１２に入力するようにしてもよい。逆に、表情、発話音声以外に、発話音声のテキスト情報、仕草、体表温などのさまざまな情報を追加してマルチモーダルで脳活動状態推定を行うようにしてもよい。

【0092】

また、感性評価への応用について説明したが、図１を参照して説明したように、感性は便宜上、情動、感情よりも高次の脳機能であるということに過ぎない。したがって、本発明に係る脳活動状態推定は感情評価に応用することも可能である。

【0093】

以上のように、本発明における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。

【0094】

また、上述の実施の形態は、本発明における技術を例示するためのものであるから、特許請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。

【産業上の利用可能性】

【0095】

本発明に係る脳活動状態推定は、脳計測装置を用いることなく手軽に脳活動状態を推定することができるため、ヒトとモノを繋ぐＢＥＩを実現するための基礎技術として有用である。

【符号の説明】

【0096】

１００ 感性評価システム
１１ 特徴量抽出部
１２ ニューラルネットワーク
１３ 脳生理指標値算出部
１４ 感性評価値算出部
１０１ 入力層
１０２ 中間層
１０３ 出力層

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】

【図27】

【図28】

【図29】