特許 6203324 認知状態推定システム及び認知状態推定方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】6203324

(24)【登録日】2017年9月8日

(45)【発行日】2017年9月27日

(54)【発明の名称】認知状態推定システム及び認知状態推定方法

(51)【国際特許分類】

   A61B 5/0476 20060101AFI20170914BHJP

   A61B 10/00 20060101ALI20170914BHJP

   A61B 5/055 20060101ALI20170914BHJP

【ＦＩ】

   A61B5/04 322

   A61B5/04 324

   A61B10/00 B

   A61B5/05 380

【請求項の数】3

【全頁数】12

(21)【出願番号】特願2016-82809(P2016-82809)

(22)【出願日】2016年4月18日

【審査請求日】2016年4月18日

(73)【特許権者】

【識別番号】514028042

【氏名又は名称】株式会社アラヤ

(74)【代理人】

【識別番号】110000925

【氏名又は名称】特許業務法人信友国際特許事務所

(72)【発明者】

【氏名】金井 良太

(72)【発明者】

【氏名】田嶋 達裕

【審査官】 永田 浩司

(56)【参考文献】

【文献】 米国特許出願公開第２０１４／０１４８６５７（ＵＳ，Ａ１）

【文献】 国際公開第２０１５／１６４３００（ＷＯ，Ａ１）

【文献】 特開２００５−０００５２８（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ａ６１Ｂ ５／０４７６ − ５／０４８４

Ａ６１Ｂ ５／０５５

(57)【特許請求の範囲】

【請求項1】

機能的核磁気共鳴画像法によるｆＭＲＩ画像データと、頭部の電極から得た学習用の脳電図データとを使って、前記ｆＭＲＩ画像データと前記脳電図データとの対応を示す状態マッピング関数を算出する関数学習部と、
前記関数学習部で算出された状態マッピング関数を格納するデータベース部と、
推定用の脳電図データを取得する推定用脳電図データ取り込み部と、
前記推定用脳電図データ取り込み部が取得した脳電図データを構成する各電極の信号の時系列パターンから多次元の状態空間を再構成し、前記データベース部に格納された前記状態マッピング関数を使った演算により、ｆＭＲＩ画像データで得られる情報に相当する、脳全体の活動パターンの情報を復元して推定する推定処理部と、
前記推定処理部が推定した脳全体の活動パターンの情報を出力する出力部と、を備え、
前記関数学習部が前記状態マッピング関数を算出する際には、脳電図データから得られる少なくとも１つの電極から得た認知状態の値を、時間的に複数並べた多次元の状態ベクトルとして取得すると共に、前記多次元の状態ベクトルについて、脳全体の活動パターンの情報を復元する推定時の推定精度が最大化する次元数の状態ベクトルとするようにした
認知状態推定システム。

【請求項2】

機能的核磁気共鳴画像法によるｆＭＲＩ画像データを取得する画像取り込み部と、
学習用の脳電図データを取得する学習用脳電図データ取り込み部とを備え、
前記関数学習部は、前記画像取り込み部が取得したｆＭＲＩ画像データと、前記学習用脳電図データ取り込み部が取得した学習用脳電図データとから、前記状態マッピング関数を算出する
請求項１に記載の認知状態推定システム。

【請求項3】

頭部の電極から脳電図データを取得して、その取得した脳電図データに基づいた演算処理で脳全体の活動パターンの情報を得、得られた脳全体の活動パターンの情報を出力する認知状態推定システムを作動させるための認知状態推定方法であり、
機能的核磁気共鳴画像法によるｆＭＲＩ画像データと、頭部の電極から得た学習用の学習用脳電図データとを使って、前記ｆＭＲＩ画像データと前記脳電図データとの対応を示す状態マッピング関数を、前記認知状態推定システムが備える関数学習部で算出する関数学習処理と、
前記関数学習処理により算出された状態マッピング関数を格納するデータベースを作成して、前記認知状態推定システムが備えるデータベース部に格納する作成処理と、
推定用に取得した脳電図データを構成する各電極の信号の時系列パターンから多次元の状態空間を再構成し、前記データベースに格納された前記状態マッピング関数を使った演算で、ｆＭＲＩ画像データから得られる情報に相当する、脳全体の活動パターンの情報を、前記認知状態推定システムが備える推定処理部で復元して推定する推定処理と、
前記推定処理により推定した脳全体の活動パターンの情報を、前記認知状態推定システムが備える出力部が出力する出力処理と、を含み、
前記関数学習部で関数学習処理により前記状態マッピング関数を算出する際には、脳電図データから得られる少なくとも１つの電極から得た認知状態の値を、時間的に複数並べた多次元の状態ベクトルとして取得すると共に、前記多次元の状態ベクトルについて、脳全体の活動パターンの情報を復元する推定時の推定精度が最大化する次元数の状態ベクトルとする
認知状態推定方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、認知状態推定システム及び認知状態推定方法に関する。

【背景技術】

【0002】

従来、核磁気共鳴画像法（ＭＲＩ：magnetic resonance imaging）により、生体内の脳などの断層画像を得ることが行われている。このＭＲＩにより画像を得る手法として、機能的ＭＲＩ(functional ＭＲＩ：以下「ｆＭＲＩ」と称する)と称される、脳内の血流の変化を捉える手法が開発されている。脳内の血流の変化が画像として得られることで、例えば対象者の認知状態が推定できることが知られている。非特許文献１，２には、ｆＭＲＩの手法で得た脳の画像をもとに、認知状態を推定することについて記載されている。

【0003】

一方、従来から知られた別の脳活動を測定する手法として、脳電図（Electroencephalogram：ＥＥＧ）が知られている。脳電図は、脳波とも称され、計測対象者の頭部の表面に付着させた電極を通して、脳の活動状況に対応した波形を取得する手法である。非特許文献３には、脳電図により、睡眠，覚醒の違い等を反映する脳活動を計測することについて記載されている。

【先行技術文献】

【特許文献】

【0004】

【非特許文献1】Raichle, M. E. et al. A default mode of brain function. Proc. Natl. Acad. Sci. U. S. A. 98, 676-682 (2001).

【非特許文献2】Brookes, M. J. et al. Investigating the electrophysiological basis of resting state networks using magnetoencephalography. Proc. Natl. Acad. Sci. 108, 16783-16788 (2011).

【非特許文献3】Murphy, M. et al. Propofol anesthesia and sleep: a high-density EEG study. Sleep 34, 283-291 (2011).

【発明の概要】

【発明が解決しようとする課題】

【0005】

従来のｆＭＲＩを用いた方法で認知状態を推定する場合、推定に必要な脳活動の計測に非常に大掛かりな計測装置が必要である。しかし、こうしたｆＭＲＩの計測装置は高価で装置の維持コストも莫大であるため、大きな病院等を除いて整備されている機関が少なく、利用が制限されるという問題がある。また、これらの装置は計測対象者の身体を拘束するため、計測対象者にとっての負担が大きく、身体運動を伴う自然な状態での計測も困難であるという問題があった。

【0006】

また、ＥＥＧを用いた方法は，比較的安価に利用でき、かつ計測対象者の身体的拘束を少なく抑えられる。しかし、ＥＥＧでは頭皮上の電極を通して脳活動を記録するため、頭部の表面付近の脳活動しか記録できない。そのため、ｆＭＲＩで得られるような脳の深部の活動に反映される詳細な認知状態を推定するのが困難であるという問題があった。

【0007】

本発明はこれらの点に鑑みてなされたものであり、ｆＭＲＩを用いた場合と同様の脳の深部の活動に反映される詳細な認知状態の推定を、高価な計測装置を用いることなく簡単にできるようにすることを目的とする。

【課題を解決するための手段】

【0008】

本発明の認知状態推定システムは、機能的核磁気共鳴画像法によるｆＭＲＩ画像データと、頭部の電極から得た学習用の脳電図データとを使って、ｆＭＲＩ画像データと前記脳電図データとの対応を示す状態マッピング関数を算出する関数学習部と、関数学習部で算出された状態マッピング関数を格納するデータベース部と、推定用の脳電図データを取得する推定用脳電図データ取り込み部と、推定用脳電図データ取り込み部が取得した脳電図データを構成する各電極の信号の時系列パターンから多次元の状態空間を再構成し、データベース部に格納された状態マッピング関数を使った演算により、ｆＭＲＩ画像データで得られる情報に相当する、脳全体の活動パターンの情報を復元して推定する推定処理部と、推定処理部が推定した脳全体の活動パターンの情報を出力する出力部と、を備え、関数学習部が前記状態マッピング関数を算出する際には、脳電図データから得られる少なくとも１つの電極から得た認知状態の値を、時間的に複数並べた多次元の状態ベクトルとして取得すると共に、多次元の状態ベクトルについて、脳全体の活動パターンの情報を復元する推定時の推定精度が最大化する次元数の状態ベクトルとするようにしたものである。

【0009】

また本発明の認知状態推定方法は、頭部の電極から脳電図データを取得して、その取得した脳電図データに基づいた演算処理で脳全体の活動パターンの情報を得、得られた脳全体の活動パターンの情報を出力する認知状態推定システムを作動させるための認知状態推定方法であり、機能的核磁気共鳴画像法によるｆＭＲＩ画像データと、頭部の電極から得た学習用の学習用脳電図データとを使って、ｆＭＲＩ画像データと前記脳電図データとの対応を示す状態マッピング関数を、認知状態推定システムが備える関数学習部で算出する関数学習処理と、関数学習処理により算出された状態マッピング関数を格納するデータベースを作成して、認知状態推定システムが備えるデータベース部に格納する作成処理と、推定用に取得した脳電図データを構成する各電極の信号の時系列パターンから多次元の状態空間を再構成し、データベースに格納された状態マッピング関数を使った演算で、ｆＭＲＩ画像データから得られる情報に相当する、脳全体の活動パターンの情報を、認知状態推定システムが備える推定処理部で復元して推定する推定処理と、推定処理により推定した脳全体の活動パターンの情報を、認知状態推定システムが備える出力部が出力する出力処理と、を含み、関数学習部で関数学習処理により状態マッピング関数を算出する際には、脳電図データから得られる少なくとも１つの電極から得た認知状態の値を、時間的に複数並べた多次元の状態ベクトルとして取得すると共に、多次元の状態ベクトルについて、脳全体の活動パターンの情報を復元する推定時の推定精度が最大化する次元数の状態ベクトルとするようにしたものである。

【発明の効果】

【0010】

本発明によれば、脳波計を使って脳深部を含む脳全体の活動の特徴を、計測対象者の身体的拘束が少ない方法で計測することができると共に、ＭＲＩ装置のような高価な計測装置を必要とせずに、脳全体の活動の特徴を得ることができるという作用効果を奏する。

【図面の簡単な説明】

【0011】

【図1】本発明の一実施の形態例によるシステムの全体構成の例を示す図である。

【図2】本発明の一実施の形態例による端末装置の構成例を示すブロック図である。

【図3】本発明の一実施の形態例による関数学習部のアルゴリズムの例を示すフローチャートである。

【図4】本発明の一実施の形態例による推定処理部のアルゴリズムの例を示すフローチャートである。

【図5】ＥＥＧ信号とｆＭＲＩ独立成分の例を示す波形図である。

【図6】本発明の一実施の形態例による推定精度の例を示す特性図である。

【図7】本発明の一実施の形態例による推定結果表示例を示す図である。

【発明を実施するための形態】

【0012】

以下、本発明の一実施の形態例（以下、「本例」と称する。）を、添付図面を参照して説明する。
［１．システム全体の構成例］
図１は、本例のシステム全体の構成を示す。図１に示すように、本例のシステムは、データ処理を実行する端末装置１００を備える。端末装置１００は、例えばコンピュータ装置で構成され、後述する学習処理や推定処理を実行するためのプログラム（ソフトウェア）を実行することにより、脳電図のデータから認知状態を推定するための学習処理及び推定処理を行う。
端末装置１００には、各種パラメータなどを入力する入力装置１０と、ＭＲＩ装置２０と、脳波計３０と、データベース部４０と、表示装置５０とが接続されている。

【0013】

ＭＲＩ装置２０は、ｆＭＲＩ画像を撮影する装置であり、学習用の脳画像を取得するために使用する。脳波計３０は、脳電図を得る装置であり、学習用及び推定用の脳電図を得る。脳電図を得るための電極としては、頭部表面付近の比較的少数の電極でよい。以下の説明では、脳波計３０の電極で得られる信号をＥＥＧデータと称する。
データベース部４０は、学習用の脳画像及び脳電図を使って得た変換用のデータなどを記憶する。
表示装置５０は、端末装置１００での演算処理で得られた結果（学習結果や推定結果）を表示する。

【0014】

［２．端末装置の詳細構成例］
図２は、本例の端末装置１００の詳細構成例を示す機能ブロック図である。
端末装置１００は、計算処理を実行する処理部として、関数学習部１０１と推定処理部１０８とを備える。
端末装置１００の画像取り込み部１０２は、ＭＲＩ装置２０から供給される学習用ｆＭＲＩ画像データ２１を取り込み、取り込んだｆＭＩＲ画像データを成分分析処理部１０３に供給する。成分分析処理部１０３は、供給されるｆＭＩＲ画像データの成分分析処理を行い、成分分析結果を関数学習部１０１に供給する。

【0015】

また、端末装置１００の学習用ＥＥＧデータ取り込み部１０４は、脳波計３０の学習用脳電図データ（学習用ＥＥＧデータ）３１を取り込み、取り込んだＥＥＧデータ３１をデータ処理部１０５に供給する。画像取り込み部１０２が取り込む学習用ｆＭＲＩ画像データ２１と、学習用ＥＥＧデータ取り込み部１０４が取り込む学習用ＥＥＧデータ３１は、同一の計測対象者から同じタイミングに得たデータである。データ処理部１０５は、供給される学習用ＥＥＧデータ３１を一定周期でサンプリングして各種データ処理を施して、処理結果のデータを関数学習部１０１に供給する。データ処理部１０５では、例えば各電極から取得した学習用ＥＥＧデータ３１の各電極電位から参照電極電位値を差し引き正規化する処理が行われる。また、よりロバストな推定結果を得る目的で、周波数帯域を１〜２００Ｈｚ程度に限定するなど、推定対象としたい認知状態に応じて周波数フィルタをこの段階で施しても良い。さらに、データ処理部１０５では、必要により学習用ＥＥＧデータ３１からノイズを除去する処理が行われる。

【0016】

関数学習部１０１は、ｆＭＩＲ画像データを成分分析した結果と、データ処理部１０５が出力するＥＥＧデータとから、関数学習処理を行う。この関数学習処理を行う際には、入力装置１０の学習用パラメータ入力部１１から関数学習部１０１に学習用パラメータが供給される。学習用パラメータ入力部１１から入力されるパラメータは、計測対象者の情報を含む計測条件の情報である。
関数学習部１０１で得た関数学習処理結果は、データベース部４０に格納される。また、関数学習部１０１で得た関数学習処理結果は、学習結果出力部１１１から表示装置５０に供給され、表示装置５０の学習結果表示部５１に表示される。

【0017】

そして、端末装置１００の推定用ＥＥＧデータ取り込み部１０６は、脳波計３０の推定用脳電図データ（推定用ＥＥＧデータ）３２を取り込み、取り込んだ推定用ＥＥＧデータ３２をデータ処理部１０７に供給する。データ処理部１０７は、供給される推定用ＥＥＧデータ３２を一定周期でサンプリングして各種データ処理を施し、この処理結果のデータを推定処理部１０８に供給する。データ処理部１０７においても、例えば各電極から取得した推定用ＥＥＧデータ３２の各電極電位から参照電極電位値を差し引き正規化する処理が行われる。さらに、よりロバストな推定結果を得る目的で、周波数帯域を１〜２００Ｈｚ程度に限定するなど、推定対象としたい認知状態に応じて周波数フィルタをこの段階で施しても良い。また入力装置１０の推定用パラメータ入力部１２から、推定処理部１０８に推定用パラメータが供給される。推定用パラメータ入力部１２から入力されるパラメータは、計測対象者の情報を含む計測条件の情報である。

【0018】

推定処理部１０８は、データベース部４０に登録されたデータと、推定用パラメータ入力部１２から入力されたパラメータとを使用して、推定用ＥＥＧデータ３２から認知状態を推定するための推定処理を行う。推定処理部１０８で得られた推定結果のデータは、推定結果出力部１１２から表示装置５０に供給され、表示装置５０の推定結果表示部５２に認知状態の推定結果が表示される。

【0019】

［３．学習処理の例］
次に、図３のフローチャートを参照して、関数学習部１０１が、ｆＭＲＩ画像データ２１と学習用ＥＥＧデータ３１との関数学習処理を行う際のアルゴリズムを説明する。
まず、関数学習部１０１は、学習用パラメータ入力部１１から、学習用パラメータとして、時間遅れτ、最大埋め込み次元ｄmax、近傍点数ｋ、及び計測対象者の情報などを含む計測条件のデータを取得する（ステップＳ１１）。

【0020】

次に、関数学習部１０１は、ｆＭＲＩ画像データを成分分析した時系列データと、脳電図データ（学習用ＥＥＧデータ）３１の時系列データとを取り込む（ステップＳ１２）。
ここでは、関数学習部１０１は、時刻ｔにおける、学習用ＥＥＧデータ３１から得られる認知状態の値をｘ_ｔ、ｆＭＲＩ画像データから得られる認知状態の値をｙ_ｔとする。

【0021】

学習用ＥＥＧデータ３１から得られる認知状態の値ｘ_ｔは、１つの電極から得られる値でもよいし、複数の電極の値を並べたベクトルのいずれでもよい。ｆＭＲＩ画像データ２１から得られる認知状態の値ｙ_ｔは、ｆＭＲＩ画像データを独立成分分析等により変換したベクトルであってもよい。後述する図５に、特定の電極から得た波形に基づいた値ｘ_ｔと、ｆＭＲＩ画像データ２１を成分分析した値ｙ_ｔの一例を示す。このｆＭＲＩ画像データ２１を独立成分分析等により変換したベクトルは、計測対象者の注意状態などを反映する認知状態の指標として用いることができる。

【0022】

そして、関数学習部１０１は、学習用ＥＥＧデータ３１から得られる認知状態ｘ_ｔの時系列と、ｆＭＲＩ画像データ２１から得られる認知状態ｙ_ｔの時系列に基づいて、状態空間を再構成する（ステップＳ１３）。
ここでは、例えば脳電図データから得られる認知状態の値ｘ_ｔを、時間的に複数並べたベクトルｘ_ｔ^ｄmaxとしたとき、以下のように構成する。
ベクトルｘ_ｔ^ｄmax＝（ｘ_ｔ，ｘ_ｔ―τ，・・・ｘ_{ｔ―（ｄmax−１）τ}）
このベクトルｘ_ｔ^ｄmaxは、多次元（高次元）のベクトル（状態ベクトル）であり、これを表現する空間を状態空間と称する。

【0023】

なお、状態ベクトルとして、ベクトルｘ_ｔ^ｄmaxのかわりに、これを任意の変換Ｒで変換したベクトルｘ_ｔ^ｄmax＝Ｒｘ_ｔ^ｄmaxによる別の状態空間を用いてもよい。例えば、Ｒとして行例を用いてもよく、この場合、変換行列Ｒはｄ×ｄの正方行列である。あるいは、ベクトルｘ_ｔ^ｄmaxの要素に対する非線形変換を用いてもよい。なお、Ｒが恒等変換（単位行列）のときは、ｘ_ｔ^ｄmax＝ｘ_ｔ^ｄmaxであり、簡便な推定においては、Ｒを恒等変換としてもよい。あるいは、信号の周波数の変化や不均一性に対してよりロバストな推定結果を得るために、Ｒの各要素をガウス分布または一様分布からランダムにサンプリングした乱数を用いても良い。さらに、この方法で乱数により生成した行列Ｒについて、推定効率を上げるために、各基底が直行ベクトルとなるような変換を施しても良い。

【0024】

次に、関数学習部１０１は、状態空間でのデータ点間距離行列及び近傍関係を算出する（ステップＳ１４）。
ここでは、ベクトルｘ_ｔ^ｄmaxの第１番目から第ｄ番目までの要素を取り出した部分ベクトルをｘ_ｔ^ｄとすると、部分ベクトルｘ_ｔ^ｄは、ｄ次元の部分状態空間で表現される。データ内の２つの時刻のペア（ｔ，ｔ′）について、部分状態空間内でのデータ点ｘ_ｔ^ｄと、データ点ｘ_ｔ′^ｄとの間の距離をＤ_ｔ，ｔ′^ｄとする。これを全ての時間ペアについて計算したものが、行列（距離行列）として表現される。

【0025】

各データ点ｘ_ｔ^ｄについて、その他のデータ点から距離が近い順に、ｋ個のデータ点を選んで作ったデータ点の集合をＢ（ｘ_ｔ^ｄ）とし、この集合Ｂ（ｘ_ｔ^ｄ）をデータ点ｘ_ｔ^ｄの近傍と称する。このとき、汎化性能など学習効果を高める目的で、ｋ個のデータ点を選ぶ際には、データ点ｘ_ｔ^ｄと時間的に近いデータ点は対象から外してもよい。

【0026】

次に、関数学習部１０１は、学習用ＥＥＧデータ３１とｆＭＲＩ画像データ２１との対応を示す状態マッピング関数を算出する（ステップＳ１５）。
ここでは、学習用ＥＥＧデータ３１の状態ベクトルのデータｘ_ｔ^ｄから、ｆＭＲＩ画像データ２１に基づく認知状態ｙ_ｔの推定値ｙ^_ｔを求める。なお、記号「^」は、本来は「ｙ」の上に表記されるものであるが、表記上の制約のため、本明細書中では、推定値ｙ^_ｔのように示す。但し、数式では、記号「^」を正しい表記で示す。
このようにして求められる推定値ｙ^_ｔは、ここではＥＥＧ−ｆＭＲＩ状態マッピング関数と称する。ＥＥＧ−ｆＭＲＩ状態マッピング関数ｙ^_ｔは、例えば任意の重み関数ｗを用いて、次の式で示される。

【0027】

【数1】

【0028】

この［数１］式において、「ｔ′ｓ．ｔ．ｘ_ｔ′^ｄ∈Ｂ（ｘ_ｔ^ｄ）」は、時刻ｔ′が点ｘ_ｔ^ｄの近傍に含まれるデータ点の時刻であることを示す。
重み関数ｗは、例えば次の［数２］式を用いてもよい。

【0029】

【数2】

【0030】

なお、［数２］式において、αは任意のパラメータであり、例えばα＝１に設定される。

【0031】

ここで、推定精度の指標として、真の認知状態ｙ_ｔ′の推定値ｙ^_ｔの相関係数などを用いることができる。ここでは、様々な次元ｄに関して推定精度を計算して、推定精度ρを最大化する次元ｄを選ぶ。
また、同様にパラメータαについても、規定範囲内の全数検索あるいは任意の最適化アルゴリズムを用いて、推定精度を最大化するパラメータαを選択するようにしてもよい。
さらに、変換Ｒについても、乱数により多数生成したランダム行列から、推定精度を最大化する変換Ｒを選択したり、その他の任意の最適化アルゴリズムを用いたりして最適な変換Ｒの値を選択するようにしてもよい。

【0032】

そして、関数学習部１０１は、このようにして得られたＥＥＧ−ｆＭＲＩ状態マッピング関数及び各種パラメータを、学習結果としてデータベース部４０に格納する（ステップＳ１６）。また、関数学習部１０１で得られた学習結果は、表示装置５０の学習結果表示部５１に表示される（ステップＳ１７）。そして、学習結果表示部５１に表示された学習結果を確認することで、学習処理を実行する作業者は、学習精度を正確に確認することができるようになる。
学習処理が終了した後は、次に説明する推定処理により、推定用ＥＥＧデータ３２のみから認知状態を推定することが可能になる。

【0033】

［４．推定処理の例］
図４のフローチャートは、端末装置１００の推定処理部１０８が、推定用ＥＥＧデータ３２のみから認知状態を推定する処理のアルゴリズムの一例を示す。
まず、推定用パラメータ入力部１２から、計測対象者の情報などを含む計測条件を入力する（ステップＳ２１）。
そして、推定処理部１０８は、推定用脳電図データ（推定用ＥＥＧデータ）３２を時系列データとして取り込んで推定処理部１０８内に記憶させると共に、データベース部４０に登録された学習データを読み出す（ステップＳ２２）。

【0034】

次に、推定処理部１０８は、データベース４０から読み出した学習データを使って、取り込んだ推定用脳電図の時系列データである推定用ＥＥＧデータ３２に基づく状態空間の再構成処理を行う（ステップＳ２３）。
このときには、関数学習部１０１での処理と同様に、推定用脳電図の時系列データｘ^〜_ｔから、状態ベクトルｘ^〜_ｔ^ｄmaxを構成する。なお、記号「^〜」は、本来は「ｘ」の上に表記されるが、表記上の制約のため、本明細書中では、時系列データｘ^〜_ｔのように示す。但し、数式では記号「^〜」は正しい表記で示す。

【0035】

そして、推定処理部１０８は、状態空間でのデータ点間処理行列及び近傍関係を算出する（ステップＳ２４）。
ここでは、推定処理部１０８は、状態ベクトルｘ^〜_ｔ^ｄmaxの第１番目から第ｄ番目までの要素を取出し、部分ベクトルｘ^〜_ｔ^ｄを得る。そして、その部分ベクトルの推定用データ点ｘ^〜_ｔ^ｄと、学習用データ点ｘ_ｔ′^ｄとの間の距離を、Ｄ^〜_ｔ，ｔ′^ｄとする。推定処理部１０８は、この距離Ｄ^〜_ｔ，ｔ′^ｄを、全ての時刻のペア（ｔ，ｔ′）について計算する。
さらに、推定処理部１０８は、各推定用データ点ｘ^〜_ｔ^ｄについて、学習用データ点から距離が近い順に、ｋ個のデータ点を選んで作成したデータ点の集合（ｘ^〜_ｔ^ｄの近傍）Ｂ（ｘ^〜_ｔ^ｄ）を求める。

【0036】

そして、推定処理部１０８は、ステップＳ２２で読み出したＥＥＧ−ｆＭＲＩ状態マッピング関数を用いて、認知状態（活動パターン）の推定値を算出する（ステップＳ２５）。すなわち、推定処理部１０８は、脳電図データの状態ベクトルｘ^〜_ｔ^ｄから、ｆＭＲＩ画像データに基づく認知状態の推定値ｙ^ｔを次の［数３］式に基づいて算出する。

【0037】

【数3】

【0038】

そして、推定処理部１０８は、このようにして得られたＥＥＧ−ｆＭＲＩ状態マッピング関数及び各種パラメータを、推定結果としてデータベース部４０に格納させる（ステップＳ２６）。また、推定処理部１０８で得られた推定結果は、表示装置５０の推定結果表示部５２に表示させる（ステップＳ２７）。

【0039】

［５．推定結果の例］
図５〜図７は、本例の端末装置１００を使用して、学習用ＥＥＧデータ３１及び推定用ＥＥＧデータ３２から、認知状態を推定した例を示す。
図５は、実際の計測で得られるＥＥＧ信号（図５の上側）及びｆＭＲＩ画像の独立成分（図５の下側）を示す。

【0040】

ここでは、ＥＥＧ信号として、３１個の電極から得た信号波形を示す。図５に示す各波形は、例えば左前頭極部電極Ｆｐ１，右前頭極部電極Ｆｐ２，左前頭部電極Ｆ３，右前頭部電極Ｆ４，左中心部電極Ｃ３，右中心部電極Ｃ４などの、それぞれの符号に割り当てられた配置位置の電極から得た波形を示す。
また、ｆＭＲＩ画像の独立成分分析については、ｆＭＲＩ画像で示される脳内の各所の活動状況から得られる各空間パターンを、独立成分として示す。
ここで、図５に示すように、例えば後頭中央部電極Ｏｚの波形の特定時刻の状態ベクトルｘ^ｄ_ｔを得たとき、この状態ベクトルｘ^ｄ_ｔは、ｆＭＲＩ画像の独立成分分析結果の特定時刻の認知状態ｙ_ｔに対応する。
なお、この図５に示す電極の種類は一例を示すものであり、本例のシステムが認知状態を推定する上で、図５に示す全ての種類の電極が必要なことを意味するのではない。

【0041】

図６は、精度推定例を示す。
図６の縦軸は、推定精度ρ（相関係数）の計測対象者間の平均を示し、横軸は埋め込み次元ｄを示す。
図６から判るように、埋め込み次元ｄによって、推定精度ρの平均が変化する。図６の例では、推定精度ρの平均は、埋め込み次元ｄが一定値になるまで、埋め込み次元ｄの増加に連動して徐々に高くなるが、一定値を超えると逆に若干低下する傾向がある。したがって、推定精度ρが最大になる次元ｄを選ぶことで、推定精度ρの高い最適な次元ｄを選択することができる。

【0042】

図７は、表示装置５０の推定結果表示部５２に表示される推定結果の例を示す。
この例では、「デフォルトモードネットワーク」、「顕著性ネットワーク」、「視覚ネットワーク」、「聴覚ネットワーク」、「感覚・運動ネットワーク」、「制御ネットワーク」の６項目の推定結果をレーダーチャートで示す。これら６項目は、脳ネットワークの基本的な構成要素として知られたものである。
計測作業者（医者や検査技師など）は、それぞれの項目ごとの活動状況の推定値を結ぶ線の形状を確認することで、計測対象者の認知状態を判定できるようになる。例えば図７の例では、「デフォルトモードネットワーク」、「感覚・運動ネットワーク」、「制御ネットワーク」の３つの活動が活発であり、他の３つのネットワークの活動が少ない状態と判定でき、脳深部を含む脳全体の活動の特徴が的確に推定できるようになる。これは、各電極の信号の時系列パターンから高次元の状態空間を再構成し、脳全体の活動パターンと同様の情報を復元することで可能となるものである。さらに、学習に用いるデータを増やすことで、この推定精度をさらに向上させることが可能である。

【0043】

したがって、本例のシステムによると、ＭＲＩ装置を使用することなく、脳波計を使って脳深部を含む脳全体の活動の特徴を得ることができ、計測対象者の身体的拘束が少ない方法で計測できると共に、ＭＲＩ装置のような高価な計測装置が不要になるという効果を有する。

【0044】

なお、上述した実施の形態では、端末装置１００は関数学習部１０１と推定処理部１０８の双方を備える構成として、学習処理と推定処理の双方を行うようにしたが、学習処理と推定処理は、それぞれ別の端末装置で行うようにして、データベース部４０に記憶されたデータをそれぞれの端末装置が共有するようにしてもよい。
また、図７に示すレーダーチャートによる推定結果の表示形態は、一例を示すものであり、その他の表示形態で推定結果を表示するようにしてもよい。

【0045】

また、図２に示す端末装置１００の構成は一例であり、その他の構成としてもよい。例えば、既存のパーソナルコンピュータ装置，スマートフォン，タブレット端末などの情報処理装置に、図３のフローチャートに示した学習処理又は図４のフローチャートに示した推定処理を実行するソフトウェア（プログラム）を実装してもよい。このようにすることで、既存の情報処理装置が、ＥＥＧデータから認知状態を推定装置として機能する。
この場合の情報処理装置に実装するプログラムについては、メモリカードや光ディスクなどの記録媒体に記録して、情報処理装置に読み取らせるようにするか、あるいは、インターネットなどを経由して、情報処理装置に伝送するようにしてもよい。

【符号の説明】

【0046】

１０…入力装置、１１…学習用パラメータ入力部、１２…推定用パラメータ入力部、２０…ＭＲＩ装置、２１…学習用ｆＭＲＩデータ、３０…脳波計、３１…学習用ＥＥＧデータ、３２…推定用ＥＥＧデータ、４０…データベース、５０…表示装置、５１…学習結果表示部、５２…推定結果表示部、１００…端末装置、１０１…関数学習部、１０２…画像取り込み部、１０３…成分分析処理部、１０４…学習用ＥＥＧデータ取り込み部、１０５…データ処理部、１０６…推定用ＥＥＧデータ取り込み部、１０７…データ処理部、１０８…信号推定部、１１１…学習結果出力部、１１２…推定結果出力部

【要約】

【課題】ｆＭＲＩを用いた場合と同様の脳の深部の活動に反映される詳細な認知状態を推定することを、脳波計を使って簡単にできるようにする。
【解決手段】機能的核磁気共鳴画像法によるｆＭＲＩ画像データと、頭部の複数の電極から得た脳電図データとの対応を示す状態マッピング関数を取得する関数学習処理を行う。そして、推定用の脳電図データを取得したとき、その取得した脳電図データを、関数学習処理で得た状態マッピング関数を使った演算で、脳電図データを構成する各電極の信号の時系列パターンから多次元の状態空間を再構成し、脳全体の活動パターンの情報を復元する推定処理を行う。この推定処理で得た脳全体の活動パターンの情報を出力する。
【選択図】図２

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】