(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024040721
(43)【公開日】2024-03-26
(54)【発明の名称】処理方法およびプログラム
(51)【国際特許分類】
A61B 5/375 20210101AFI20240318BHJP
【FI】
A61B5/375
【審査請求】未請求
【請求項の数】11
【出願形態】OL
(21)【出願番号】P 2022145247
(22)【出願日】2022-09-13
【国等の委託研究の成果に係る記載事項】(出願人による申告)令和3年度、防衛装備庁、安全保障技術研究推進制度、産業技術力強化法第17条の適用を受ける特許出願
(71)【出願人】
【識別番号】393031586
【氏名又は名称】株式会社国際電気通信基礎技術研究所
(74)【代理人】
【識別番号】110001195
【氏名又は名称】弁理士法人深見特許事務所
(72)【発明者】
【氏名】浅井 智久
(72)【発明者】
【氏名】柏原 志保
(72)【発明者】
【氏名】今水 寛
【テーマコード(参考)】
4C127
【Fターム(参考)】
4C127AA03
4C127AA10
4C127GG10
4C127GG13
4C127HH13
(57)【要約】
【課題】脳活動の状態をより定量的に推定するための新規な解決手段を提供する。
【解決手段】処理方法は、被験者の脳活動の状態を示す脳活動パターンを所定時間に亘って複数取得するステップと、複数の脳活動パターンのうち各組み合わせについての空間的相関を算出することで、空間相関行列を生成するステップと、多次元尺度構成法により空間相関行列を距離行列に変換し、当該距離行列を特異値分解することで、複数の脳活動パターンの各々について、所定次元数の座標を算出するステップと、複数の脳活動パターンの各々と、予め定められた複数の脳状態をそれぞれ示す複数のテンプレートとの間のそれぞれの空間的相関の大きさに基づいて、各脳活動パターンに対応する脳状態を決定するステップとを含む。
【選択図】
図14
【特許請求の範囲】
【請求項1】
被験者の脳活動の状態を示す脳活動パターンを所定時間に亘って複数取得するステップと、
前記複数の脳活動パターンのうち各組み合わせについての空間的相関を算出することで、空間相関行列を生成するステップと、
多次元尺度構成法により前記空間相関行列を距離行列に変換し、当該距離行列を特異値分解することで、前記複数の脳活動パターンの各々について、所定次元数の座標を算出するステップと、
前記複数の脳活動パターンの各々と、予め定められた複数の脳状態をそれぞれ示す複数のテンプレートとの間のそれぞれの空間的相関の大きさに基づいて、各脳活動パターンに対応する脳状態を決定するステップとを備える、処理方法。
【請求項2】
前記複数の脳活動パターンにそれぞれ対応する座標と、対応する脳状態とを同一の座標系上に表現するステップをさらに備える、請求項1に記載の処理方法。
【請求項3】
前記複数のテンプレートは、極性を反転させた一対のテンプレートを複数含み、
前記一対のテンプレートの各々について、一方のテンプレートに対応する座標と、他方のテンプレートに対応する座標との平均値が、前記複数の脳活動パターンにそれぞれ対応する座標の中心として決定される、請求項1に記載の処理方法。
【請求項4】
前記複数のテンプレートのうち第1のテンプレートに対応する座標と、前記複数のテンプレートのうち第2のテンプレートに対応する座標とに基づいて、新たなテンプレートに対応する座標を決定するステップをさらに備える、請求項1に記載の処理方法。
【請求項5】
1または複数の被験者の脳活動の状態を示す複数の脳活動パターンと、予め定められた複数の脳状態をそれぞれ示す複数のテンプレートとを含む標準状態パターン群を取得するステップと、
前記標準状態パターン群に含まれる各組み合わせについての空間的相関を算出することで、第1の空間相関行列を生成するステップと、
多次元尺度構成法により前記第1の空間相関行列を距離行列に変換し、当該距離行列を特異値分解することで、前記第1の空間相関行列に含まれる要素に対応する第1の座標群を算出するステップと、
被験者の脳活動の状態を示す第1の脳活動パターンを取得するステップと、
前記標準状態パターン群および前記第1の脳活動パターンに含まれる各組み合わせについての空間的相関を算出することで、第2の空間相関行列を生成するステップと、
多次元尺度構成法により前記第2の空間相関行列を距離行列に変換し、当該距離行列を特異値分解することで、前記第2の空間相関行列に含まれる要素に対応する第2の座標群を算出するステップと、
前記第2の座標群における前記第1の脳活動パターンに対応する座標の相対的な位置関係に基づいて、第1の座標群における前記第1の脳活動パターンに対応する座標を推定するステップとを備える、処理方法。
【請求項6】
前記第1の脳活動パターンに対応する座標を2次元または3次元の座標系で表示するステップをさらに備える、請求項5に記載の処理方法。
【請求項7】
前記第1の脳活動パターンを取得するステップと、前記第2の空間相関行列を生成するステップと、前記第2の座標群を算出するステップと、前記座標を推定するステップとを繰り返すステップをさらに備え、
前記表示するステップは、順次推定される座標を軌跡として表示するステップを含む、請求項6に記載の処理方法。
【請求項8】
前記表示するステップは、球面プロジェクタを用いて、前記推定される座標を表示するステップを含む、請求項7に記載の処理方法。
【請求項9】
複数の被験者の脳活動の状態を示す複数の脳活動パターンを取得するステップと、
前記取得された複数の脳活動パターンに含まれる各組み合わせについての空間的相関を算出することで、第3の空間相関行列を生成するステップと、
多次元尺度構成法により前記第3の空間相関行列を距離行列に変換し、当該距離行列を特異値分解することで、前記第3の空間相関行列に含まれる要素に対応する第3の座標群を算出するステップと、
前記第3の座標群から抽出された所定数の座標に対応する脳活動パターンを前記標準状態パターン群の前記複数の脳活動パターンとして抽出するステップとをさらに備える、請求項5に記載の処理方法。
【請求項10】
前記所定数の座標は、前記第3の座標群から予め定められた規則に従って抽出される、請求項9に記載の処理方法。
【請求項11】
請求項1~10のうちいずれか1項に記載の処理方法をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、脳活動の状態をより定量的に推定するための処理方法およびプログラムに関する。
【背景技術】
【0002】
脳活動を非侵襲で計測する手法として、代表的には、脳の電気的活動を観測する脳波(electroencephalogram:以下、「EEG」とも略称する。)や脳磁図(magnetoencephalography:以下、「MEG」とも略称する。)、および、脳の血流の状態を観測する機能的磁気共鳴画像法(functional magnetic resonance imaging:以下、「fMRI」とも略称する。)が知られている。
【0003】
被験者から計測される脳活動を示す情報に基づいて当該被験者の神経活動を観測し、当該観測される神経活動に応じて当該被験者をより好ましい方向に誘導するニューロフィードバック(Neuro Feedback:以下、「NF」とも略称する。)トレーニングの手法が開発および提案されている(例えば、非特許文献1および非特許文献2など参照)。
【0004】
脳活動を示す情報を提示するための可視化の手法として、例えば、非特許文献3は、特定の脳領域の活動(EEG)をレベルメータの形で表現する例を開示する。また、非特許文献4は、特定の脳領域の活動(fMRI)を炎の大きさで表現する例を開示する。但し、非特許文献3および非特許文献4に開示される技術は、NFトレーニングでなく、健常者が自分の脳活動の状態を把握するためのものである。
【0005】
また、非特許文献5は、異常な脳波(例えば、脳卒中など)を検出するために、特定の波形を可聴化する技術を開示する。非特許文献5に開示される技術は、NFトレーニングでなく、患者の脳状態を監視するためのものである。
【0006】
また、非特許文献6は、脳波のスペクトルをマッピングしてマルチモーダルに提示する技術を開示する。非特許文献6に開示される技術は、リラクゼーションツールとしての利用が想定されている。
【先行技術文献】
【非特許文献】
【0007】
【非特許文献1】Anastasiia Belinskaia et al, "Short-delay neurofeedback facilitates training of the parietal alpha rhythm," Journal of Neural Engineering, Volume 17, Number 6, 16 December 2020
【非特許文献2】Laura Diaz Hernandez et al, "Towards Using Microstate-Neurofeedback for the Treatment of Psychotic Symptoms in Schizophrenia," A Feasibility Study in Healthy Participants, Brain Topogr 29, 308-321 (2016). https://doi.org/10.1007/s10548-015-0460-4, 19 November 2015
【非特許文献3】Madita Stirner et al, "An Investigation of Awareness and Metacognition in Neurofeedback with the Amygdala Electrical Fingerprint," Consciousness and Cognition, Volume 98, February 2022, 103264. https://doi.org/10.1016/j.concog.2021.103264
【非特許文献4】R. Christopher deCharms et al, "Control over brain activation and pain learned by using real-time functional MRI," PNAS, December 20, 2005, vol.102, no.51. https://www.pnas.org/doi/pdf/10.1073/pnas.0505210102
【非特許文献5】Gerold Baier et al, "Event-based sonification of EEG rhythms in real time," Clinical Neurophysiology 118 (2007) 1377-1386,
【非特許文献6】Thilo Hinterberger et al, "The Sensorium: Psychophysiological Evaluation of Responses to a Multimodal Neurofeedback Environment," Appl Psychophysiol Biofeedback 41, 315-329 (2016). https://doi.org/10.1007/s10484-016-9332-2
【発明の概要】
【発明が解決しようとする課題】
【0008】
例えば、NFトレーニングなどへの応用を想定すると、認知機能に対応した脳活動の状態(全脳状態)をリアルタイムに評価できる技術が要求されている。上述した先行技術文献に開示される背景技術では、このような要求に応えることができない。
【0009】
本発明は、脳活動の状態をより定量的に推定するための新規な解決手段を提供するものである。
【課題を解決するための手段】
【0010】
本発明のある実施の形態に従う処理方法は、被験者の脳活動の状態を示す脳活動パターンを所定時間に亘って複数取得するステップと、複数の脳活動パターンのうち各組み合わせについての空間的相関を算出することで、空間相関行列を生成するステップと、多次元尺度構成法により空間相関行列を距離行列に変換し、当該距離行列を特異値分解することで、複数の脳活動パターンの各々について、所定次元数の座標を算出するステップと、複数の脳活動パターンの各々と、予め定められた複数の脳状態をそれぞれ示す複数のテンプレートとの間のそれぞれの空間的相関の大きさに基づいて、各脳活動パターンに対応する脳状態を決定するステップとを含む。
【0011】
処理方法は、複数の脳活動パターンにそれぞれ対応する座標と、対応する脳状態とを同一の座標系上に表現するステップをさらに含んでいてもよい。
【0012】
複数のテンプレートは、極性を反転させた一対のテンプレートを複数含んでいてもよい。一対のテンプレートの各々について、一方のテンプレートに対応する座標と、他方のテンプレートに対応する座標との平均値が、複数の脳活動パターンにそれぞれ対応する座標の中心として決定されてもよい。
【0013】
処理方法は、複数のテンプレートのうち第1のテンプレートに対応する座標と、複数のテンプレートのうち第2のテンプレートに対応する座標とに基づいて、新たなテンプレートに対応する座標を決定するステップをさらに含んでいてもよい。
【0014】
本発明の別の実施の形態に従う処理方法は、1または複数の被験者の脳活動の状態を示す複数の脳活動パターンと、予め定められた複数の脳状態をそれぞれ示す複数のテンプレートとを含む標準状態パターン群を取得するステップと、標準状態パターン群に含まれる各組み合わせについての空間的相関を算出することで、第1の空間相関行列を生成するステップと、多次元尺度構成法により第1の空間相関行列を距離行列に変換し、当該距離行列を特異値分解することで、第1の空間相関行列に含まれる要素に対応する第1の座標群を算出するステップと、被験者の脳活動の状態を示す第1の脳活動パターンを取得するステップと、標準状態パターン群および第1の脳活動パターンに含まれる各組み合わせについての空間的相関を算出することで、第2の空間相関行列を生成するステップと、多次元尺度構成法により第2の空間相関行列を距離行列に変換し、当該距離行列を特異値分解することで、第2の空間相関行列に含まれる要素に対応する第2の座標群を算出するステップと、第2の座標群における第1の脳活動パターンに対応する座標の相対的な位置関係に基づいて、第1の座標群における第1の脳活動パターンに対応する座標を推定するステップとを含む。
【0015】
処理方法は、第1の脳活動パターンに対応する座標を2次元または3次元の座標系で表示するステップをさらに含んでいてもよい。
【0016】
処理方法は、第1の脳活動パターンを取得するステップと、第2の空間相関行列を生成するステップと、第2の座標群を算出するステップと、座標を推定するステップとを繰り返すステップをさらに含んでいてもよい。表示するステップは、順次推定される座標を軌跡として表示するステップを含んでいてもよい。
【0017】
表示するステップは、球面プロジェクタを用いて、推定される座標を表示するステップを含んでいてもよい。
【0018】
処理方法は、複数の被験者の脳活動の状態を示す複数の脳活動パターンを取得するステップと、取得された複数の脳活動パターンに含まれる各組み合わせについての空間的相関を算出することで、第3の空間相関行列を生成するステップと、多次元尺度構成法により第3の空間相関行列を距離行列に変換し、当該距離行列を特異値分解することで、第3の空間相関行列に含まれる要素に対応する第3の座標群を算出するステップと、第3の座標群から抽出された所定数の座標に対応する脳活動パターンを標準状態パターン群の複数の脳活動パターンとして抽出するステップとをさらに含んでいてもよい。
【0019】
所定数の座標は、第3の座標群から予め定められた規則に従って抽出されてもよい。
【0020】
本発明の別の実施の形態に従えば、上述の処理方法をコンピュータに実行させるためのプログラムが提供される。
【発明の効果】
【0021】
本発明のある実施の形態によれば、脳活動の状態をより定量的に推定するための手段を実現できる。
【図面の簡単な説明】
【0022】
【
図1】本実施の形態に従うニューロフィードバックシステムの構成例を示す模式図である。
【
図2】本実施の形態に従うニューロフィードバックシステムに含まれる処理装置の装置構成を示す模式図である。
【
図3】本実施の形態に従う脳状態を推定するための処理例を説明するための図である。
【
図4】本実施の形態に従う脳状態を示すベクトルの一例を示す図である。
【
図5】本実施の形態に従う脳状態を推定するための脳活動パターンおよびテンプレートを説明するための図である。
【
図6】本実施の形態に従う処理装置が提供するユーザインターフェイス画面の一例を示す模式図である。
【
図7】EEGに含まれる固有次元の評価結果の一例を示す図である。
【
図8】本実施の形態に従う脳状態の推定処理における状態空間を決定するために用いられる脳活動パターンの一例を示す図である。
【
図9】本実施の形態に従う脳状態の推定処理における状態空間を決定するために用いられる空間相関行列の一例を示す図である。
【
図10】本実施の形態に従う脳状態の推定処理における所定数の脳活動パターンから算出された状態空間の一例を示す図である。
【
図11】本実施の形態に従う脳状態の推定処理により決定された状態空間に現れる神経多様体の一例を示す図である。
【
図12】本実施の形態に従う脳状態の推定処理により決定された状態空間に現れる神経多様体の別の一例を示す図である。
【
図13】本実施の形態に従うハイパーアライメントの処理例を示す図である。
【
図14】本実施の形態に従うハイパーアライメントの処理手順を示す模式図である。
【
図15】本実施の形態に従う脳状態を標準空間にマッピングした提示例を示す模式図である。
【
図16】本実施の形態に従う脳状態を標準空間にマッピングした別の提示例を示す模式図である。
【
図17】本実施の形態に従う脳状態を標準空間に離散的にマッピングした提示例を示す模式図である。
【
図18】本実施の形態に従う標準空間を生成する処理手順の一例を示すフローチャートである。
【
図19】本実施の形態に従うハイパーアライメントの処理手順の一例を示すフローチャートである。
【発明を実施するための形態】
【0023】
本発明の実施の形態について、図面を参照しながら詳細に説明する。なお、図中の同一または相当部分については、同一符号を付してその説明は繰り返さない。
【0024】
[A.脳状態]
本実施の形態においては、脳活動の状態の一例として「脳状態」を推定する。推定される「脳状態」は、被験者の脳全体を評価して決定される脳活動の状態を意味する。「脳状態」は、EEG、MEG、fMRIなどの脳活動を計測して得られる情報に基づいて推定される。
【0025】
脳状態としては、予め複数の状態を定義できる。以下では、脳状態として取り得る状態として、先行研究において報告されている「マイクロステート」を用いる。「マイクロステート」は、被験者によらず観測される脳活動の状態を示す最小単位を意味する。マイクロステートは、脳全体の状態ダイナミクスを示す。
【0026】
先行研究において、チャネルの数、前処理手順、被験者などにかかわらず、マイクロステートは4つであることが繰返し報告されている。そこで、本実施の形態においても、脳状態は4つのマイクロステートのいずれかを取るものとする。脳状態に含まれる4つのマイクロステートをmsA,msB,msC,msDと称することもある。但し、脳状態に含まれる状態は4つに限定されることなく、任意の状態数を設定できる。
【0027】
各マイクロステートは、安定状態(アトラクタ)にある範囲とみなすことができる。マイクロステート間で「脳状態」が推移していると考えることで、マイクロステートでラベル付けされた脳状態の遷移の観測、および、各マイクロステートでラベル付けされた脳状態の持続時間の算出が可能であり、これらの特徴量に基づいて、精神疾患のバイオマーカとしての応用などが期待されている。
【0028】
説明の便宜上、以下では、EEGを用いて脳状態を推定する処理例を主として説明するが、本発明の技術的範囲は、EEGを用いて脳状態を推定する処理に限定されるものではなく、脳活動を計測して得られる任意の情報を用いて脳状態を推定する処理を包含する。
【0029】
[B.システム構成例]
次に、本実施の形態に従う脳状態の推定処理の応用例として、NFトレーニングを行うためのニューロフィードバックシステムの構成例について説明する。
【0030】
図1は、本実施の形態に従うニューロフィードバックシステム1の構成例を示す模式図である。
図1を参照して、ニューロフィードバックシステム1は、被験者2が装着したキャップ10を介して計測されるEEGを用いて、被験者2の脳状態をリアルタイムで推定する。ニューロフィードバックシステム1は、推定される脳状態に応じて、視覚的および/または聴覚的なフィードバックを被験者2に与えることで、被験者2を理想的な方向に誘導する。
【0031】
ニューロフィードバックシステム1は、主たるコンポーネントとして、計測回路40と、処理装置100と、ディスプレイ20と、スピーカ30とを含む。
【0032】
計測回路40は、被験者2の脳波を計測する計測部に相当する。より具体的には、計測回路40は、被験者2が装着した複数の電極12を含むキャップ10を介して、被験者2の脳波として複数のチャネル成分(EEGに相当する電気信号)を計測する。計測回路40は、例えば、マルチプレクサ42と、ノイズフィルタ44と、A/D(Analog to Digital)変換器46とを含む。
【0033】
マルチプレクサ42は、キャップ10から出力される複数のチャネル(電極12)を順次選択して、ノイズフィルタ44と電気的に接続する。ノイズフィルタ44は、特定の周波数成分だけを通過させるフィルタであり、選択されるチャネルに現れる信号(電気信号)に含まれるノイズ成分を除去する。例えば、通過帯域を0.016~250Hzと設定できる。
【0034】
A/D変換器46は、ノイズフィルタ44から出力される電気信号(アナログ信号)を所定周期毎にサンプリングして、デジタル信号として出力する。
【0035】
処理装置100は、被験者2の脳状態を推定するとともに、推定される脳状態に応じたフィードバックを出力する。
【0036】
ディスプレイ20は、被験者2に対して視覚的なフィードバックを与える。スピーカ30は、被験者2に対して聴覚的なフィードバックを与える。
【0037】
図2は、本実施の形態に従うニューロフィードバックシステム1に含まれる処理装置100の装置構成を示す模式図である。処理装置100は、典型的には、汎用的なアーキテクチャに従うコンピュータを採用することができる。
図2を参照して、処理装置100は、主たるコンポーネントとして、プロセッサ102と、メモリ104と、入力部106と、ネットワークコントローラ108と、計測インターフェイス110と、ディスプレイコントローラ112と、音声コントローラ114と、ストレージ120とを含む。
【0038】
プロセッサ102は、CPU(Central Processing Unit)やGPU(Graphical Processing Unit)といった演算処理回路からなり、ストレージ120に格納されている各種プログラムに含まれるコードを指定される順序に実行することで、後述する各種機能を実現する。メモリ104は、DRAM(Dynamic Random Access Memory)やSRAM(Static Random Access Memory)などで構成され、プロセッサ102で実行されるプログラムのコードやプログラムの実行に必要な各種ワークデータを保持する。
【0039】
入力部106は、典型的には、マウスまたはキーボードなどで構成され、ユーザからの操作を受付ける。
【0040】
ネットワークコントローラ108は、外部装置(例えば、クラウド上のデータサーバなど)との間でデータを遣り取りする。ネットワークコントローラ108は、有線LAN(Local Area Network)、無線LAN、USB(Universal Serial Bus)、Bluetooth(登録商標)などの任意の通信コンポーネントで構成される。
【0041】
計測インターフェイス110は、計測回路40から出力されるEEG(デジタル信号)を受信する。
【0042】
ディスプレイコントローラ112は、プロセッサ102による処理結果に応じて、ディスプレイ20に画像を表示する。音声コントローラ114は、プロセッサ102による処理結果に応じて、スピーカ30から音声を出力する。なお、画像および音声を同時に出力するコントローラを採用してもよい。
【0043】
ストレージ120は、典型的には、ハードディスクまたはSSD(Solid State Drive)などで構成され、プロセッサ102にて実行される各種プログラム、処理に必要な各種データ、設定値などを保持する。より具体的には、ストレージ120は、OS(Operating System)122と、計測プログラム124と、NFプログラム126とを含む。
【0044】
計測プログラム124は、被験者2のEEGから脳状態を推定するための処理や可視化処理をプロセッサ102に実行させるためのコードを含む。計測プログラム124は、視覚的および/または聴覚的なフィードバックを被験者2に与えるための処理をプロセッサ102に実行させるためのコードを含んでいてもよい。
【0045】
[C.脳状態の推定]
次に、脳状態を推定するための処理例について説明する。
【0046】
図3は、本実施の形態に従う脳状態を推定するための処理例を説明するための図である。
図3(A)には、被験者2が装着したキャップ10を介して計測されるEEGの生信号50(時間波形)の例を示す。
図3(A)には、一例として、32個の電極12のそれぞれで計測した生信号50(32チャネル)の例を示す。すなわち、キャップ10は、被験者2の頭部の領域に対応付けられた32個の電極12を含む。
【0047】
図3(B)には、EEGの生信号50に設定される区間(この例では、100ms)に生じる時間波形の集合(以下、「エポック52」とも称す。)を空間方向でベクトライズする処理例を示す。
図3(B)に示すチャネル空間60は、計測されるEEGの各チャネルを次元として有している。
図3(B)に示すベクトル62は、
図6(A)に示すエポック52に対応する。ベクトル62は、時空間的次元(spatio-temporal dimensionality)に対して設定された脳状態を意味する。ベクトル62の各々は、エポック52に対応する瞬間の脳状態を示すことになる。
【0048】
ベクトル62を構成する各次元の成分は、エポック52における平均値であってもよいし、エポック52に含まれる任意の時点における計測値であってもよい。
【0049】
図4は、本実施の形態に従う脳状態を示すベクトル62の一例を示す図である。
図4を参照して、EEGの各エポック52から生成されるベクトル62をチャネル空間60上に定義できる。
【0050】
チャネル空間60上に定義された多数のベクトル62をクラスタリングすることで、1または複数のクラスタ64を決定できる。十分な数のベクトル62を用いて決定されたクラスタ64の各々は、特定の脳状態を示す。
【0051】
本実施の形態においては、脳状態として、4つのマイクロステートmsA,msB,msC,msDを採用するので、それぞれに対応する4つのクラスタ64A,64B,64C,64Dを決定できる。マイクロステートmsA,msB,msC,msDのそれぞれに対応するクラスタ64A,64B,64C,64Dの重心座標は、32次元のベクトルを意味する。クラスタリングとしては、修正kミーンズ法や階層的クラスタリングなどの公知の方法を用いることができる。
【0052】
同一のクラスタ64に属するベクトル62同士は、互いに類似した特徴を有している。同一のクラスタ64に属するベクトル62同士で共通する特徴を固有空間パターンとも称す。後述するように、固有空間パターン74は、EEGの各チャネルの信号強度を対応する電極12の位置(すなわち、情報を収集している脳の部位)に応じてマッピングしたものに相当する。
【0053】
図5は、本実施の形態に従う脳状態を推定するための脳活動パターンおよびテンプレートを説明するための図である。
図5を参照して、脳活動パターン70は、エポック52毎に脳活動の状態を示す行列である。
図5に示す例では、7×7の行列が採用されており、各行列要素の濃淡が設定される値(±5の範囲)の大きさを示す。
【0054】
計測されるEEGの各チャネルの計測値は、対応する電極12の位置に応じて、脳活動パターン70を示す行列内の特定の位置(行位置×列位置)にマッピングされる。例えば、キャップ10の電極12は、Fp1,Fp2,Fz,F3,F4,F7,F8,F9,F10,FC1,FC2,FC5,FC6,Cz,C3,C4,T7,T8,CP1,CP2,CP5,CP6,Pz,P3,P4,P7,P8,P9,P10,Oz,O1,O2の位置にそれぞれ配置されているとする。なお、レファレンス電極およびグランド電極がFCzおよびFpzの位置にそれぞれ配置されてもよい。
【0055】
計測されるEEGのチャネル数は32であるので、チャネルがマッピングされない行列要素も存在する。チャネルがマッピングされない行列要素については、任意の値(例えば、「0」)が設定されてもよい。
【0056】
脳活動パターン70は、エポック52の周期(例えば、100ms)毎に生成してもよい。生成される脳活動パターン70と、予め用意されたテンプレート72A,72B,72C,72D(以下では、「テンプレート72」と総称することもある。)の各々との間で、空間的相関(類似度)が算出される。算出される空間的相関が最も大きいテンプレート72に対応するマイクロステートが、脳活動パターン70が示す脳状態として決定される。
【0057】
テンプレート72は、一種の空間フィルタであり、各瞬間の脳の電場の強さを表すGFP(global field power)のピークデータセットを示す。テンプレート72A,72B,72C,72Dは、例えば、チャネル空間60上に定義されたクラスタ64A,64B,64C,64Dの重心座標(32次元のベクトル)に基づいて決定してもよい。すなわち、クラスタ64の重心座標を脳活動パターン70と同様の方法で行列にマッピングすることで、テンプレート72を決定できる。
【0058】
図5には、テンプレート72A,72B,72C,72Dに対応する固有空間パターン74A,74B,74C,74Dを示す。固有空間パターン74A,74B,74C,74Dは、テンプレート72A,72B,72C,72Dを空間補間することで生成されたものであり、各マイクロステートにおける脳活動の連続的な分布を示す。
【0059】
[D.脳状態の提示]
次に、推定された脳状態を提示する一例について説明する。
【0060】
図6は、本実施の形態に従う処理装置100が提供するユーザインターフェイス画面の一例を示す模式図である。
【0061】
図6(A)を参照して、処理装置100は、4つの脳状態(マイクロステート)を含む脳状態オブジェクト200と、推定された現在の脳状態を示す現在状態オブジェクト210とをディスプレイ20に表示する。
図6(A)に示すように、処理装置100は、複数の脳状態にそれぞれ対応する複数の領域を含む表示(脳状態オブジェクト200)を被験者2に提示してもよい。
図6(A)に示すようなユーザインターフェイス画面を提供することで、被験者2は、現在の自分の脳状態がいずれの状態であるかを一見して認識できる。
【0062】
図6(B)を参照して、処理装置100は、ターゲットの脳状態を示すターゲットオブジェクト220をさらに表示するようにしてもよい。
図6(B)に示すように、処理装置100は、脳状態オブジェクト200が示す複数の領域に対応付けて、推定された被験者2の脳状態(現在の脳状態)を第1の表示態様(例えば、
図6(B)に示すような丸印)で表示するとともに、ターゲットとなる脳状態を第2の表示態様(例えば、
図6(B)に示すような四角囲み)で表示してもよい。
図6(B)に示すようなユーザインターフェイス画面を提供することで、被験者2は、現在の自分の脳状態がいずれの状態であるかに加えて、いずれの脳状態になるべきかを一見して認識できる。
【0063】
図6(C)を参照して、処理装置100がいずれの脳状態であるかを決定できない場合には、現在状態オブジェクト210は表示されない。
【0064】
さらに、いずれの脳状態であるかを決定できない状態であることを、文字やオブジェクトなどを用いて視覚的に被験者2に通知するようにしてもよいし、音声メッセージや効果音などを用いて聴覚的に被験者2に通知するようにしてもよい。
【0065】
この場合においても、被験者2は、ターゲットの脳状態になるように意識を傾けようとする。
【0066】
[E.状態空間および神経多様体]
上述したようなマイクロステートを用いる方法は、被験者間を比較する場合などには非常に有効であるが、特定の被験者の脳状態を観察するには、脳全体の状態ダイナミクスの遷移を辿れる仕組みを用意しておくことが好ましい。
【0067】
以下では、脳全体の状態ダイナミクスの連続的な遷移を表現できる状態空間について説明する。
【0068】
本実施の形態に従う状態空間においては、脳状態の間をジャンプするのではなく、状態ダイナミクスの滑らかな軌跡を表現できる。このような滑らかな軌跡を表現できる状態空間を神経多様体(neural manifold)と称することもある。
【0069】
本願発明者らは、チャネル空間60におけるEEGに含まれる固有次元を調べた。より具体的には、主成分分析(principal component analysis:PCA)を用いて、32チャネルのEEGに含まれる固有次元を調べた。
【0070】
図7は、EEGに含まれる固有次元の評価結果の一例を示す図である。
図7(A)には、EEGの生信号を用いた場合の評価結果を示し、
図7(B)には、チャネル単位で正規化した場合の評価結果を示す。
【0071】
図7(A)および
図7(B)によれば、次元数が「3」だけあれば、EEGのダイナミクスを十分に表現できることが示唆されている。すなわち、3次元空間を用いることで、グローバルな状態ダイナミクスの表現を十分直感的に行えると言える。なお、3次元空間を特定の平面に投影した2次元空間を表現として用いることもできる。
【0072】
本実施の形態に従う脳状態の推定処理においては、EEGのチャネル空間60(32チャネルであれば32次元)を十分に低い次元空間に圧縮する次元圧縮法を適用する。次元圧縮法としては、主成分分析(PCA)や独立成分分析(independent component analysis:ICA)などの任意の手法を採用できるが、本実施の形態においては、多次元尺度構成法(multi dimensional scaling:MDS)を採用する。多次元尺度構成法によれば、次元圧縮後の空間(典型的には、単純な球面)は滑らかな表面となり、この空間においては、幾何学的に微分可能な状態となる。
【0073】
図8は、本実施の形態に従う脳状態の推定処理における状態空間を決定するために用いられる脳活動パターン76の一例を示す図である。
図9は、本実施の形態に従う脳状態の推定処理における状態空間を決定するために用いられる空間相関行列80の一例を示す図である。
【0074】
図8を参照して、被験者の脳活動の状態を示す脳活動パターン76を所定時間に亘って複数取得する。脳活動パターン76の各々は、EEGの生信号50に対するサンプリング点に対応するものであり、各サンプリング点における脳状態を示すことになる。脳活動パターン76は、脳活動パターン70と同様に、EEGの各チャネルの計測値を対応する位置にマッピングしたものである。所定数は、例えば、500点(500Hzのサンプリングレートで1秒分)に設定できる。
【0075】
例えば、処理装置100は、EEGの各チャネルの計測値をサンプリングするとともに、サンプリングにより取得された各チャネルの計測値をマッピングすることで、脳活動パターン76を生成する。
【0076】
次に、複数の脳活動パターン76のうち各組み合わせについての空間的相関を算出することで、空間相関行列80を生成する。すなわち、所定数の脳活動パターン76のすべての組み合わせについて空間的相関が算出される。算出された空間的相関を対応する位置に配置することで、
図8に示すような空間相関行列80を算出できる。空間相関行列80は、脳活動パターン76間の空間的類似度(各値は、-1~1の範囲をとる)を示す。
【0077】
空間相関行列80に含まれる特徴(例えば、非線形波形やリップル)に着目することで、軌道としての時系列ダイナミクスは、神経多様体としての空間を決定し得る。すなわち、多次元尺度構成法により空間相関行列80を距離行列に変換し、当該距離行列を特異値分解(singular value decomposition:SVD)することで、複数の脳活動パターン76の各々について、所定次元数の座標を算出する。一例として、算出される座標は3次元(XYZ座標)であってもよい。
【0078】
複数の脳活動パターン76にそれぞれ対応する座標の集合が状態空間90および状態空間90に現れる神経多様体92となる。
【0079】
図10は、本実施の形態に従う脳状態の推定処理における所定数の脳活動パターン76から算出された状態空間の一例を示す図である。
図10を参照して、状態空間90には、脳活動パターン76の各々に対応する座標(500点)がプロットされており、また、時間的に連続であるとみなすことができる。
【0080】
このように、本実施の形態に従う状態空間90は、「空間的類似度空間」とも定義でき、状態空間90において時間的に連続な軌跡は、時空間的にも連続である。
【0081】
可能な限り多くの脳活動パターン76から状態空間90へプロットすることで、球状の神経多様体が現れる。すなわち、脳活動パターン76は、状態空間90に決定される球面上のいずれかの座標に存在するとみなすことができ、球面上を時間的に移動することになる。
【0082】
図11は、本実施の形態に従う脳状態の推定処理により決定された状態空間90に現れる神経多様体92の一例を示す図である。
図11を参照して、神経多様体92内の脳活動パターン76は、ノルムがほぼ1になるように分布している。そのため、半径を1とする球面(あるいは球体)を神経多様体92として決定できる。すなわち、神経多様体92を構成する座標群全体の重心(中心)は、状態空間90の原点に相当する。
【0083】
また、脳活動パターン76との間で最も大きい空間的相関を示すテンプレート72に対応する脳状態(マイクロステート)をその脳活動パターン76における脳状態と決定する方法(勝者総取り方式)により、神経多様体92に対して、マイクロステートmsA,msB,msC,msDにそれぞれ対応する領域を決定できる。
【0084】
すなわち、複数の脳活動パターン76の各々と、予め定められた複数の脳状態をそれぞれ示す複数のテンプレート72との間のそれぞれの空間的相関の大きさに基づいて、各脳活動パターンに対応する脳状態(マイクロステート)を決定する。このとき、1つの脳活動パターン76について、マイクロステートmsA,msB,msC,msDについての空間的相関(すなわち、4つの値)が算出されるが、最も空間的相関が大きい脳状態(マイクロステート)を当該脳活動パターン76に対する脳状態として決定してもよい。
【0085】
そして、
図11に示すように、複数の脳活動パターンにそれぞれ対応する座標(プロット)と、対応する脳状態(マイクロステート)とを同一の座標系上に表現してもよい。
【0086】
なお、テンプレート72は、クラスタ64の重心座標に対応するベクトルに基づいて決定できる。例えば、修正kミーンズ法では極性が無視されているので、極性を反転させた2種類のテンプレート72のセットを用意することが好ましい。例えば、前頭部を正としたテンプレート72のセットと、前頭部を負としたテンプレート72のセットとを用意できる。神経多様体92において領域を決定する場合には、2種類のテンプレート72のセットが用いられる。すなわち、テンプレート72は、極性を反転させた一対のテンプレートを複数含む。
【0087】
ここで、神経多様体92の中心点について説明する。互いに極性を反転させたマイクロステートmsAとマイクロステートmsA’とのセットについて見れば、マイクロステートmsAに対応する座標と、マイクロステートmsA’に対応する座標とは、神経多様体の中心点を基準として点対称に配置される。言い換えれば、マイクロステートmsAに対応する座標とマイクロステートmsA’に対応する座標との平均値は、神経多様体92の中心点を意味する。その他のマイクロステートについても同様である。
【0088】
このように、互いに極性を反転させた一対のテンプレートの各々について、一方のテンプレートに対応する座標と、他方のテンプレートに対応する座標との平均値が、神経多様体92の中心として決定される。
【0089】
図12は、本実施の形態に従う脳状態の推定処理により決定された状態空間90に現れる神経多様体92の別の一例を示す図である。
図12(A)~(C)には、状態空間90を異なる視点でそれぞれ描画したものを示す。
【0090】
各マイクロステートを示すテンプレートに対応する座標は、球面である神経多様体92上に存在する。
図12(A)~(C)には、4種類のマイクロステートにそれぞれ対応する座標を含む状態空間90を示す。
【0091】
ここで、神経多様体92を構成する座標群全体の重心(中心)が状態空間90の原点に相当するという特性を利用して、新たなマイクロステートをヒューリスティックに決定あるいは推定することもできる。より具体的には、任意のテンプレートの組み合わせに着目し、それぞれのテンプレートに対応する座標の中心(平均)が新たなマイクロステートに対応する座標の候補になり得る。
【0092】
一例として、
図12(C)には、マイクロステートmsAに対応する座標と、マイクロステートmsBに対応する座標との中心に、新たなマイクロステートの候補となり得るランドマーク78が配置された例を示す。このとき、状態空間90の原点を基準として対称となる位置に、対になるランドマーク78(すなわち、極性を反転させたテンプレートに対応する座標)が配置されることになる。
【0093】
このように、予め用意されている任意の2つのマイクロステートに対応する座標から、新たなマイクロステートに対応する座標を決定してもよい。すなわち、複数のテンプレートのうちあるテンプレートに対応する座標と、別のテンプレートに対応する座標とに基づいて、新たなテンプレートに対応する座標を決定してもよい。
【0094】
新たなテンプレートをヒューリスティックに決定することで、予め用意されているテンプレートを必要に応じて増加させることができる。すなわち、必要に応じた数のマイクロステートを事後的に用意できる。
【0095】
上述したように、本実施の形態に従う状態空間90を用いることで、各瞬間のEEGから算出される脳活動パターン76は、球面である神経多様体92上を連続的に移動することになり、これが状態ダイナミクスの軌跡となる。なお、サンプリングレートが十分に高い(サンプリングの周期が短い)場合には、連続的な軌跡を示すことになるが、サンプリングレートが低い場合には、ジャンプするような軌跡となる可能性もあるため、サンプリングレートを適切に設定することが好ましい。
【0096】
[F.標準空間およびハイパーアライメント]
被験者から計測されるEEGを状態空間に写像した結果は、被験者固有のものとなる。そのため、状態ダイナミクスを統計的に評価する場合には、被験者間で標準化された空間(以下、「標準空間」とも称す。)に写像した場合の座標を決定する必要がある。被験者から計測されるEEGを状態空間に写像した結果を標準空間に配置する処理を、以下では、「ハイパーアライメント」とも称す。
【0097】
図13は、本実施の形態に従うハイパーアライメントの処理例を示す図である。
図13を参照して、被験者毎にEEGを状態空間90に写像した場合には、同じ脳状態であっても、異なる座標にプロットされてしまう可能性がある。
【0098】
そこで、ハイパーアライメントによって、被験者毎に固有の特性を共通化した、標準空間94への写像を実現する。
【0099】
図14は、本実施の形態に従うハイパーアライメントの処理手順を示す模式図である。
【0100】
図14(A)を参照して、まず、ハイパーアライメントに用いられる基本的な状態空間(神経多様体92)を生成する。神経多様体92の生成にあたって、複数の被験者の脳活動の状態を示す複数の脳活動パターン76を取得する。脳活動パターン76は、被験者から計測されるEEGのサンプリングデータが用いられる。
【0101】
神経多様体92の生成には、数人の被験者の数分間に亘るEEG(安静時)があれば十分である。例えば、5人の被験者から100Hzのサンプリングレートで1分間計測すると、合計で30000点の脳活動パターン76を収集できる。
【0102】
そして、取得された複数の脳活動パターン76に含まれる各組み合わせについての空間的相関を算出することで、空間相関行列を生成する。さらに、多次元尺度構成法により空間相関行列を距離行列に変換し、当該距離行列を特異値分解することで、空間相関行列に含まれる要素に対応する座標群を算出する。算出された座標群が神経多様体92を構成する。このように、多次元尺度構成法および特異値分解により、収集された多数の脳活動パターン76から神経多様体92を生成する。神経多様体92には、半径を1とする球面上にプロットされた座標の集合である。
【0103】
次に、生成された神経多様体92から、予め定められた規則に従って、所定数のグリッド96を抽出(サンプリング)する。すなわち、算出された座標群(神経多様体92)から抽出された所定数の座標(グリッド96)に対応する脳活動パターン76が標準状態パターン群の一部として抽出される。
【0104】
サンプリングされるグリッド96は、ハイパーアライメントにおいて座標を決定するための基準(ランドマーク)となる。グリッド96の数が多いほど、ハイパーアライメントの精度は高くなるが、より多くの処理時間を必要とするため、サンプリングされるグリッド96の数は精度と処理時間とのバランス応じて決定される。例えば、50点のグリッド96をサンプリングしてもよい。グリッド96は、神経多様体92(球体)に対して空間的に均等にサンプリングされることが好ましい。
【0105】
次に、サンプリングしたグリッド96に対応する脳活動パターン76(例えば、50点)と、テンプレート72(例えば、極性を反転させた2種類のテンプレート72のセット:8点)とに対して、多次元尺度構成法および特異値分解により、各点を状態空間にプロットする。すなわち、標準状態パターン群に含まれる各組み合わせについての空間的相関を算出することで、空間相関行列を生成する。さらに、多次元尺度構成法により空間相関行列を距離行列に変換し、当該距離行列を特異値分解することで、空間相関行列に含まれる要素に対応する座標群を算出する。算出された座標群が標準空間94を構成する。
【0106】
標準空間94において、グリッド96に対応する座標は、元と同じ座標に配置されるとは限らない。但し、テンプレート72に対応するそれぞれの座標から決定される、神経多様体92の中心点は実質的に変化しないと考えられる。そのため、テンプレート72に対応するそれぞれの座標に基づいて、神経多様体の中心点を推定できる。
【0107】
上述したようなグリッド96に対応する脳活動パターン76とテンプレート72と状態空間にプロットしたものを標準空間94として用いる。標準空間94の生成に用いられた脳活動パターン76およびテンプレート72の集合(例えば、トータル58点)は、標準状態を示す標準状態パターン群に相当する。すなわち、標準状態パターン群は、1または複数の被験者の脳活動の状態を示す複数の脳活動パターン76と、予め定められた複数の脳状態(マイクロステート)をそれぞれ示す複数のテンプレート72とを含む。
【0108】
以上のような処理により、標準状態パターン群と、標準状態パターン群から算出された座標群からなる標準空間94とが用意される。標準空間94および標準状態パターン群を用いて、被験者から計測されるEEGに対応する状態空間(標準空間94)における座標が順次決定される。
【0109】
図14(B)を参照して、被験者から計測されるEEGをサンプリングした新たな脳活動パターン98を標準状態パターン群に追加する。すなわち、被験者の脳活動の状態を示す脳活動パターン98を取得し、標準状態パターン群に追加する。
【0110】
続いて、脳活動パターン98が追加された集合に対して、多次元尺度構成法および特異値分解により、各点を状態空間にプロットして、修正標準空間94Aを生成する。より具体的には、標準状態パターン群および対象の被験者の脳活動パターン98に含まれる各組み合わせについての空間的相関を算出することで、空間相関行列を生成する。さらに、多次元尺度構成法により空間相関行列を距離行列に変換し、当該距離行列を特異値分解することで、空間相関行列に含まれる要素に対応する座標群を算出する。算出された座標群が修正標準空間94Aを構成する。
【0111】
ここで、追加される脳活動パターン98の数(例えば、1個)に対して、標準状態パターン群の数が十分に大きければ、修正標準空間94Aは標準空間94からわずかにずれるだけに過ぎない。すなわち、標準状態パターン群に対応する座標群の相対的な位置関係(例えば、座標間の距離)は、実質的に維持される。
【0112】
そのため、標準空間94と脳活動パターン98が追加された修正標準空間94Aとの間の位置関係に基づいて、厳密な変換を行うことができる。すなわち、修正標準空間94Aを構成する座標群における脳活動パターン98に対応する座標の相対的な位置関係に基づいて、標準空間94を構成する座標群における脳活動パターン98に対応する座標を推定する。このように、脳活動パターン98が追加された修正標準空間94Aにおける座標を元の標準空間94における座標に変換できる。
【0113】
一例として、修正標準空間94Aにおいて、脳活動パターン98に対応する座標の近傍にある複数の座標を抽出する。なお、修正標準空間94A内のすべての座標を抽出してもよい。抽出された近傍座標と脳活動パターン98に対応する座標との相対的な位置関係を決定する。そして、標準空間94において、抽出された複数の近傍座標にそれぞれ対応する座標を特定し、特定された座標に対して、相対的な位置関係を適用することで、標準空間94において脳活動パターン98に対応する座標を決定する。
【0114】
別の一例として、標準状態パターン群について、標準空間94と修正標準空間94Aとの間の写像変換式を決定する。そして、決定された写像変換式を用いて、修正標準空間94Aにおける脳活動パターン98に対応する座標を標準空間94に写像することで、標準空間94において脳活動パターン98に対応する座標を決定する。
【0115】
標準空間94において脳活動パターン98に対応する座標は、脳活動パターン98を標準化した座標を意味する。
【0116】
被験者から計測されるEEGをサンプリングした脳活動パターン98の取得毎に、上述したような処理が繰返し実行される。すなわち、脳活動パターン98の取得、修正標準空間94Aの算出、および、脳活動パターン98に対応する座標の推定といった一連の処理の繰返しによって、
図14(C)に示すように、被験者の状態ダイナミクスの軌跡を標準空間94において表現できる。すなわち、順次推定される座標が軌跡として表示される。
【0117】
本実施の形態に従うハイパーアライメントによれば、被験者間で共通の標準空間94上で状態ダイナミクスの軌跡を表現できるので、被験者間の比較や統計処理などをより正確に行うことができる。
【0118】
また、本実施の形態に従うハイパーアライメントによれば、新たな脳活動パターン98(EEGのサンプリングデータ)が取得される毎に標準空間94における座標を決定できるので、被験者の脳状態をリアルタイムで表現することもできる。このような脳状態をリアルタイムで被験者に提示することで、NFトレーニングをより効率的に行うこともできる。
【0119】
さらに、本実施の形態に従うハイパーアライメントによれば、被験者の脳状態を示す状態ダイナミクスの軌跡を確認できるので、被験者に対するNFトレーニングの効果の確認などを容易に行うことができる。
【0120】
[G.ユーザへの提示]
次に、本実施の形態により算出される座標および軌跡をユーザへ提示するいくつかの方法について例示する。
【0121】
上述したように、本実施の形態に従うハイパーアライメントにより、被験者から計測されたEEGを標準空間94における座標および軌跡(座標の時間的変化)として表現できる。標準空間94は、球状の神経多様体となり、状態ダイナミクスは、半径を1とする球面上を順次移動することになる。そこで、被験者の脳活動パターン98に対応する標準空間94における座標を2次元または3次元の座標系で表示してもよい。
【0122】
図15は、本実施の形態に従う脳状態を標準空間にマッピングした提示例を示す模式図である。
図15を参照して、標準空間を示す球面上に各サンプリング点に対応する座標を順次表示することで、状態ダイナミクスの移動を表現してもよい。
【0123】
なお、標準空間を示す球面を見る方向は、任意に変更できるようにしてもよい。
図15に示す例では、3次元的に表現されているが、視点を特定の軸上に配置することで、2次元的な表現とすることもできる。
【0124】
図16は、本実施の形態に従う脳状態を標準空間にマッピングした別の提示例を示す模式図である。
【0125】
図16(A)には、3次元的な表現例を示す。
図16(A)に示すように、標準空間を示す球面をメッシュ状に表現した上で、被験者の脳状態やテンプレートに対応する座標を任意の方法で表現してもよい。
【0126】
球面プロジェクタを用いて、
図16(A)に示す3次元的な表現を視覚化してもよい。すなわち、球面プロジェクタを用いて、推定される座標を表示するようにしてもよい。球面プロジェクタは、球状の発光体であり、表面上の任意の領域の色を任意に変化させることができる。このような球面プロジェクタを用いることで、状態ダイナミクスの移動をより分かりやすく提示できる。
【0127】
図16(B)には、2次元的な表現例を示す。
図16(B)に示すように、標準空間を特定の2次元座標に投影することで、注目する2次元座標における脳状態の移動を表現することができる。なお、各マイクロステートの領域を併せて表示してもよい。
【0128】
図17は、本実施の形態に従う脳状態を標準空間に離散的にマッピングした提示例を示す模式図である。
図17を参照して、標準空間を連続的に移動する状態ダイナミクスを表現してもよいが、脳状態に対応する領域を離散的に適宜した上で、領域間の遷移を表現してもよい。
図17に示すような離散的な表現を採用することで、目的の脳状態が指定されているNFトレーニングなどには好適である。
【0129】
図15~
図17に示す提示例に限られず、任意の方法および形態で脳全体の状態ダイナミクスや脳状態を表現できる。
【0130】
[H.処理手順]
次に、本実施の形態に従う脳状態の推定処理の処理手順の一例について説明する。
【0131】
図18は、本実施の形態に従う標準空間を生成する処理手順の一例を示すフローチャートである。
図19は、本実施の形態に従うハイパーアライメントの処理手順の一例を示すフローチャートである。
図18および
図19に示す各ステップは、例えば、処理装置100のプロセッサ102が計測プログラム124およびNFプログラム126を実行することで実現されてもよい。
【0132】
図18を参照して、処理装置100は、複数の被験者からそれぞれ計測されたEEGの生信号を取得する(ステップS100)。そして、処理装置100は、それぞれのEEGの生信号を所定のサンプリングレートで複数の脳活動パターンを生成する(ステップS102)。さらに、処理装置100は、生成した複数の脳活動パターンに含まれる各組み合わせについての空間的相関を算出し(ステップS104)、算出された空間的相関から空間相関行列を生成する(ステップS106)。処理装置100は、多次元尺度構成法および特異値分解により、生成された空間相関行列に含まれる要素に対応する座標群を算出する(ステップS108)。算出された座標群が神経多様体92となる。
【0133】
続いて、処理装置100は、生成された神経多様体92から所定数のグリッド96をサンプリングする(ステップS110)。そして、処理装置100は、サンプリングされたグリッド96に対応する脳活動パターンとテンプレート72とからなる標準状態パターン群を生成する(ステップS112)。すなわち、サンプリングされた所定数のグリッド96に対応する脳活動パターンが標準状態パターン群の一部として抽出される。
【0134】
そして、処理装置100は、標準状態パターン群に含まれる各組み合わせについての空間的相関を算出し(ステップS114)、算出された空間的相関から空間相関行列を生成する(ステップS116)。処理装置100は、多次元尺度構成法および特異値分解により、生成された空間相関行列に含まれる要素に対応する座標群を算出する(ステップS118)。算出された座標群が標準空間94となる。最終的に、処理装置100は、標準空間94(座標群)および標準状態パターン群を格納する(ステップS120)。そして、処理は終了する。
【0135】
図19を参照して、処理装置100は、被験者から計測されるEEGをサンプリングした新たな脳活動パターン98を取得し(ステップS200)、取得した脳活動パターン98を標準状態パターン群に追加する(ステップS202)。そして、処理装置100は、追加された脳活動パターンに含まれる各組み合わせについての空間的相関を算出し(ステップS204)、算出された空間的相関から空間相関行列を生成する(ステップS206)。処理装置100は、多次元尺度構成法および特異値分解により、生成された空間相関行列に含まれる要素に対応する座標群を算出する(ステップS208)。算出された座標群が修正標準空間94Aとなる。
【0136】
続いて、処理装置100は、修正標準空間94Aにおける、新たな脳活動パターン98に対応する座標および他の座標との位置関係(相対的な位置関係)を特定する(ステップS210)。そして、処理装置100は、特定した位置関係に基づいて、標準空間94における、新たな脳活動パターン98に対応する座標を推定する(ステップS212)。
【0137】
そして、処理装置100は、新たな脳活動パターン98に対応する標準空間94の座標を出力する(ステップS214)。座標の情報を出力する方法の具体例については後述する。
【0138】
処理装置100は、被験者の観測が継続されているか否かを判断する(ステップS216)。被験者の観測が継続されていれば(ステップS216においてYES)、ステップS200以下の処理が繰り返される。
【0139】
被験者の観測が継続されていなければ(ステップS216においてNO)、処理は終了する。
【0140】
[I.その他]
上述の説明においては、一例として、EEGを用いる場合について例示したが、MEGやfMRIなどであっても適用可能である。MEGやfMRIを用いる場合においても、複数の被験者および複数のサンプリングデータを収集して、空間相関行列を生成することで、同様の処理を実行すればよい。
【0141】
[J.利点]
本実施の形態に従えば、被験者の脳活動パターンを比較的低次元の状態空間に写像して状態ダイナミクスとして表現することで、4つの脳状態(マイクロステート)間の離散的な遷移ではなく、より緻密な脳状態の連続的な遷移や移動を可視化できる。
【0142】
また、本実施の形態に従えば、被験者の脳活動パターンを標準空間に写像することができる。標準空間は、被験者間に差が生じないように標準化(規格化)された空間であり、標準空間上に投影される座標およびその移動(軌跡)を評価することで、複数の被験者に対して共通の基準で評価などを行うことができる。
【0143】
また、本実施の形態に従えば、標準空間上に投影される座標をさまざまな形態で表現することができる。これによって、被験者の脳状態をさまざまな切り口で観察および評価できる。また、NFトレーニングなどにおいても、被験者に対して、分かりやすい情報を提供できる。
【0144】
今回開示された実施の形態は、すべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した実施の形態の説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【符号の説明】
【0145】
1 ニューロフィードバックシステム、2 被験者、10 キャップ、12 電極、20 ディスプレイ、30 スピーカ、40 計測回路、42 マルチプレクサ、44 ノイズフィルタ、46 A/D変換器、50 生信号、52 エポック、60 チャネル空間、62 ベクトル、64,64A,64B,64C,64D クラスタ、70,76,98 脳活動パターン、72,72A,72B,72C,72D テンプレート、74,74A,74B,74C,74D 固有空間パターン、80 空間相関行列、90 状態空間、92 神経多様体、94 標準空間、94A 修正標準空間、96 グリッド、100 処理装置、102 プロセッサ、104 メモリ、106 入力部、108 ネットワークコントローラ、110 計測インターフェイス、112 ディスプレイコントローラ、114 音声コントローラ、120 ストレージ、124 計測プログラム、126 プログラム、200 脳状態オブジェクト、210 現在状態オブジェクト、220 ターゲットオブジェクト、msA,msB,msC,msD マイクロステート。