【文献】
Nikolay Chumerin, et al,Processing and Decoding Steady-State Visual Evoked Potentials for Brain-Computer Interfaces,Digital Image and Signal Processing for Measurement Systems,River Publishers,2012年,1-33
【文献】
Guangyo Bin, et al,VEP-based Brain-Computer Interfaces:Time, Frequency, and Code Modulations,IEEE Computational Intelligence Magazine,2009年11月,Vol.4,Issue 4,22-26
(58)【調査した分野】(Int.Cl.,DB名)
前記脳波測定部は、第一次視覚野から発せられる脳波を異なる位置にて検出する複数の電極からの信号に基づいて、複数の位置における前記脳波を測定することを特徴とする請求項1または請求項2に記載の脳波の周波数検出装置。
【発明を実施するための形態】
【0015】
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【0016】
<第1の実施形態>
図1は、本発明の第1の実施形態における周波数検出装置の機能構成を示す概略ブロック図である。同図において、周波数検出装置1は、周波数検出装置本体100と、電極900とを具備する。周波数検出装置本体100は、信号入力部110と、制御部120と、記憶部150と、結果出力部160とを具備する。制御部120は、脳波測定部121と、周波数スペクトル取得部122と、最大値取得部123と、中央値取得部124と、スペクトル法周波数検出部125とを具備する。
【0017】
周波数検出装置1は、周期的に点滅する視覚刺激を注視している人(以下、「対象者」と称する)の脳波の周波数スペクトルを解析して、視覚刺激の点滅周波数を検出する。より具体的には、周波数検出装置1は、脳波の周波数スペクトルの解析により、SSVEP(定常視覚誘発電位)の周波数を判定し、複数の所定周波数のうち、SSVEPの周波数に対応する周波数を選択する。
周波数検出装置1は、脳波の周波数検出装置の一例に該当する。
【0018】
対象者が異なる周波数で点滅する視覚刺激のいずれかを注視している場合に、周波数検出装置1が対象者の脳波を解析することで、周波数検出装置1は、BCIとして機能することができる。
例えば、6Hz(ヘルツ)で点滅するLED(Light Emitting Diode、発光ダイオード)と、7Hzで点滅するLEDと、8Hzで点滅するLEDとがブレッドボード(Bread Board)に配置され、対象者は、いずれかのLEDを注視する。周波数検出装置1は、対象者の脳波を解析してSSVEPの周波数を判定し、LEDの周波数のうち、判定したSSVEPの周波数に最も近い周波数を選択する。そして、周波数検出装置1は、選択した周波数を示す信号を、操作対象の機器へ出力する。
【0019】
例えば、コンピュータ操作用のBCIとして周波数検出装置1が機能する場合、コンピュータは、周波数検出装置1からの信号に応じた処理を行う。さらに例えば、周波数検出装置1が6Hzを選択したときは、コンピュータはタイピングアプリケーションを起動する。また、周波数検出装置1が7Hzを選択したときは、コンピュータはウェブブラウザを起動する。また、周波数検出装置1が8Hzを選択したときは、コンピュータは、メニュー画面を表示する。
このように、対象者は、いずれのLEDを注視するかの選択によって、コンピュータを操作することができる。
【0020】
あるいは、車椅子操作用のBCIとして周波数検出装置1が機能する場合、車椅子の制御装置が、周波数検出装置1からの信号に応じて車椅子を動作させる。例えば、周波数検出装置1が6Hzを選択したときは、車椅子は前進する。また、周波数検出装置1が7Hzを選択したときは、車椅子は右に曲がる。また、周波数検出装置1が8Hzを選択したときは、車椅子は左に曲がる。
このように、対象者は、いずれのLEDを注視するかの選択によって、車椅子を操作することができる。
【0021】
あるいは、機器の出力の大きさを段階的に調整するためのBCIとして周波数検出装置1が機能する場合、機器の出力の大きさを、周波数検出装置1からの信号に応じて変化させる。例えば、周波数検出装置1が6Hzを選択したときは、出力を小さくする。また、周波数検出装置1が7Hzを選択したときは、出力を中程度にする。また、周波数検出装置1が8Hzを選択したときは、出力を大きくする。
このように、対象者は、いずれのLEDを注視するかの選択によって、機器の出力の大きさを調整することができる。
【0022】
なお、以下では、6Hzで点滅する視覚刺激、7Hzで点滅する視覚刺激、8Hzで点滅する視覚刺激の3つが設けられている場合を例に説明するが、視覚刺激の数や点滅周波数はこれに限らない。視覚刺激の数は、2つ以上であればよい。また、点滅周波数は、SSVEPを検出可能な周波数、かつ、視覚刺激毎に異なる周波数であればよい。
また、以下では、脳波の周波数スペクトルを解析して視覚刺激の点滅周波数を検出する方法を「スペクトル法」と称する。
【0023】
周波数検出装置1において、電極900は、第一次視覚野から発せられる脳波を検出する。周波数検出装置1は、3つの電極900を具備しており、電極900は、それぞれ、脳波国際10−10配置法におけるO
1、O
2、O
zの位置に配置されて、各位置にて脳波を検出する。
【0024】
図2は、電極900の配置を示す説明図である。同図は、脳波国際10−10配置法における電極の位置を示しており、電極900は、同図に示される位置のうち、O
1、O
2およびO
zに配置される。
但し、電極900の配置は、O
1、O
2、O
zの位置に限らず、視覚誘発電位を検出可能な位置であればよい。
【0025】
また、周波数検出装置1が具備する電極900の数は、
図1に示す3つに限らず1つ以上であればよい。一方、周波数検出装置1が複数の電極900を具備し、複数の位置において脳波を取得して解析することで、いずれかの電極において外部からノイズが混入するなど脳波の検出精度が低下した場合でも、周波数の検出精度の低下を抑制することができる。
脳波は完全非侵襲で検出可能であり、電極900の配置も、対象者の体外でよい。この点において、周波数検出装置1は、対象者の負担が小さく、また、簡易的かつ長期的に使用可能である。
【0026】
周波数検出装置本体100は、電極900が検出した脳波を解析して、対象者が注視している視覚刺激の点滅周波数を検出する。周波数検出装置本体100は、例えば、PC(Personal Computer、パソコン)などのコンピュータを用いて実現される。
信号入力部110は、電極900からの信号を取得する。特に、信号入力部110は、電極900が検出した脳波をアナログの脳波検出信号にて取得し、デジタル信号に変換する。信号入力部110は、例えば、周波数検出装置本体100が具備する信号端子およびアナログ/デジタル変換回路(AD変換回路)を含んで構成される。
【0027】
制御部120は、周波数検出装置1の各部を制御して各種機能を実行する。特に、制御部120は、信号入力部110が取得した脳波を解析して、対象者が注視している視覚刺激の点滅周波数を検出する。
制御部120は、例えば、周波数検出装置本体100の具備するCPU(Central Processing Unit、中央処理装置)が、周波数検出装置本体100の具備する記憶デバイスからプログラムを読み出して実行することで実現される。
【0028】
脳波測定部121は、第一次視覚野から発せられる脳波を、電極900を用いて測定する。特に、脳波測定部121は、複数の電極900からの信号に基づいて、複数の位置における前記脳波を測定する。具体的には、脳波測定部121は、電極900の各々が検出して信号入力部110がデジタル化した脳波検出信号を取得する。
【0029】
周波数スペクトル取得部122は、脳波測定部121が測定した脳波の周波数スペクトルを取得する。具体的には、周波数スペクトル取得部122は、脳波測定部121が取得した電極900毎の脳波検出信号の各々に対してフーリエ変換を行う。
ここでいう周波数スペクトルとは、脳波データをフーリエ変換することで、脳波に含まれる周波数成分を解析したデータである。また、以下では、周波数スペクトルにおける、ある周波数成分の大きさを、当該周波数の「パワー値」または「スペクトル強度」と称する。
【0030】
最大値取得部123は、視覚刺激の点滅周波数として設定されている複数の所定周波数の各々について、当該所定周波数を含む第1の所定周波数範囲における、脳波の周波数スペクトルの強度の最大値を取得する。具体的には、最大値取得部123は、周波数スペクトル取得部122が取得した周波数スペクトルについて、視覚刺激の点滅周波数の各々を中心にプラスマイナス(±)0.1Hzの範囲内におけるスペクトル強度の最大値を取得する。例えば、視覚刺激の点滅周波数6Hzに対し、最大値取得部123は、5.9Hz〜6.1Hzの範囲におけるスペクトル強度の最大値を取得する。
最大値取得部123が所定周波数範囲内でスペクトル強度の最大値を取得するのは、視覚刺激の点滅周波数と、SSVEPの周波数との間にずれが生じる場合があるからである。
【0031】
中央値取得部124は、視覚刺激の点滅周波数として設定されている複数の所定周波数の各々について、当該所定周波数を含む第2の所定周波数範囲における、脳波の周波数スペクトルの強度の中央値(Median)を取得する。具体的には、中央値取得部124は、周波数スペクトル取得部122が取得した周波数スペクトルについて、視覚刺激の点滅周波数の各々を中心にプラスマイナス(±)0.3Hzの範囲内におけるスペクトル強度の中央値を取得する。例えば、視覚刺激の点滅周波数6Hzに対し、中央値取得部124は、5.7Hz〜6.3Hzの範囲におけるスペクトル強度の中央値を取得する。
【0032】
ここでいう中央値とは、データを小さい順に並べた場合に中央に位置する値(すなわち、小さいほうから数えても、大きいほうから数えても同じ位置にある値)である。中央値取得部124は、上記の範囲内に含まれる、フーリエ変換におけるサンプリング周波数毎のスペクトル強度のうち、中央値を取得する。
【0033】
スペクトル法周波数検出部125は、視覚刺激の点滅周波数として設定されている複数の所定周波数のうち、最大値取得部123が取得した最大値と、中央値取得部124が取得した中央値との差の大きさが最大の周波数を検出する。すなわち、スペクトル法周波数検出部125は、最大値取得部123が取得した最大値から、中央値取得部124が取得した中央値を減算することで、最大値のスペクトル強度の、近傍周波数のスペクトル強度に対するピークの大きさを求め、ピークが最も大きい周波数を選択する。
【0034】
図3は、脳波測定部121が取得する脳波検出信号の例を示す説明図である。同図の横軸は時間(所定の基準時刻からの経過時間)を示し、縦軸は脳波の振幅(電極900による検出電位(電圧))を示す。線L11は、対象者が6Hzで点滅する視覚刺激を注視している場合に、脳波測定部121が取得する脳波検出信号の例を示している。
【0035】
図4は、周波数スペクトル取得部122が取得する周波数スペクトルの例を示す説明図である。同図の横軸は周波数を示し、縦軸はスペクトル強度を示す。線L21は、
図3の脳波検出信号をフーリエ変換して得られる周波数スペクトルの例を示している。
また、点P21、P22、P23は、それぞれ、視覚刺激の点滅周波数6Hz、7Hz、8Hzに対して最大値取得部123が取得するスペクトル強度の最大値の例を示している。なお、最大値取得部123がスペクトル強度の最大値を取得する周波数の範囲を鎖線にて示している。
区間A21、A22、A23は、それぞれ、視覚刺激の点滅周波数6Hz、7Hz、8Hzに対して中央値取得部124が中央値を取得する周波数の範囲を示している。
【0036】
中央値取得部124が中央値を取得することで、平均値を取得する場合よりも、最大値との差が出易くなる。
ここで、仮に、中央値取得部124が中央値に代えて平均値を取得する場合、平均値算出の基となるデータに、最大値取得部123が取得する最大値が含まれる。この点において、中央値取得部124が取得する平均値が最大値の影響を受け、最大値と平均値との差が小さくなる。これにより、スペクトル法周波数検出部125がピークの最も大きい周波数を選択する精度が低下するおそれがある。
【0037】
一方、SSVEPによる周波数ピークは、
図4の6Hzにおける例のように、視覚刺激の点滅と一致する周波数では高い値を示すが、周辺の周波数帯にはほとんど影響しない。この点において、中央値取得部124が取得する中央値は、最大値取得部123が取得する最大値の影響を直接には受けず、最大値と中央値との差が大きくなる。これにより、スペクトル法周波数検出部125がピークの最も大きい周波数を選択する精度の低下を抑制し得る。
【0038】
記憶部150は、各種データを記憶する。特に、記憶部150は、視覚刺激の点滅周波数として設定されている複数の所定周波数や、制御部120が実行するプログラムを記憶している。また、記憶部150は、制御部120のワーキングメモリとしても機能する。
記憶部150は、周波数検出装置本体100が具備する記憶デバイスを含んで構成される。
【0039】
結果出力部160は、スペクトル法周波数検出部125の検出結果を出力する。すなわち、結果出力部160は、スペクトル法周波数検出部125が検出した周波数を示す信号を出力する。結果出力部160が出力するスペクトル法周波数検出部125の検出結果は、操作対象の機器に対して動作を指示するコマンドとして用いられる。
結果出力部160は、例えば周波数検出装置本体100が具備する通信回路を含んで構成される。
【0040】
次に、
図5を参照して周波数検出装置1の動作について説明する。
図5は、周波数検出装置1が、対象者の注視している視覚刺激の点滅周波数を検出する処理手順の例を示すフローチャートである。
同図の処理において、脳波測定部121は、O
1、O
2、O
zの各電極を用いて脳波を測定する(ステップS101)。すなわち、O
1、O
2、O
zの位置に設置された各電極900が脳波を検出して脳波検出信号を出力し、脳波測定部121は、信号入力部110を介して各脳波検出信号を取得する。
【0041】
次に、制御部120は、ステップS101で得られた脳波毎(従って、電極900毎)に処理を行うループL111を開始する(ステップS111)。以下、ループL111で処理対象となっている脳波を、「処理対象の脳波」と称する。
ループL111において、周波数スペクトル取得部122は、処理対象の脳波に対してフーリエ変換を行って、周波数スペクトルを取得する(ステップS112)。
【0042】
次に、制御部120は、視覚刺激の点滅周波数として設定されている所定周波数毎に処理を行うループL112を開始する(ステップS121)。以下、ループL112で処理対象となっている周波数を、「処理対象の周波数」と称する。
ループL112において、最大値取得部123は、処理対象の脳波の周波数スペクトルについて、処理対象の周波数を中心にプラスマイナス0.1Hzの範囲内における、周波数スペクトルの強度の最大値(周波数成分のピーク強度)を取得する(ステップS122)。
【0043】
次に、中央値取得部124は、処理対象の脳波の周波数スペクトルについて、処理対象の周波数を中心にプラスマイナス0.3Hzの範囲内における、周波数スペクトルの強度の中央値を取得する(ステップS123)。
そして、スペクトル法周波数検出部125は、ステップS122で最大値取得部123が取得した最大値から、ステップS123で中央値取得部124が取得した中央値を減算する(ステップS124)。
【0044】
次に、制御部120は、ループL112の終端処理を行う(ステップS125)。具体的には、制御部120は、視覚刺激の点滅周波数として設定されている所定周波数の全てに対してループL112の処理を行ったか否か判定する。そして、当該所定周波数の全てに対してループL112の処理を行ったと判定した場合は、ループL112を終了する。一方、未処理の所定周波数があると判定した場合は、ステップS121に戻り、引き続き未処理の所定周波数に対してループL112の処理を行う。
【0045】
ループL112を終了すると、スペクトル法周波数検出部125は、ステップS124で得られた差が最大の所定周波数を検出(選択)する(ステップS131)。
次に、制御部120は、ループL111の終端処理を行う(ステップS132)。具体的には、制御部120は、ステップS101で得られた脳波の全てに対してループL111の処理を行ったか否か判定する。そして、全ての脳波に対してループL111の処理を行ったと判定した場合は、ループL111を終了する。一方、未処理の脳波があると判定した場合は、ステップS111に戻り、引き続き未処理の脳波に対してループL111の処理を行う。
【0046】
ループL111を終了すると、スペクトル法周波数検出部125は、O
1、O
2、O
zの各電極が検出した脳波に基づいてステップS131で得られた周波数の多数決を行う(ステップS141)。
そして、結果出力部160は、ステップS142で得られた周波数を示す信号を、周波数検出装置1の検出結果として出力する(ステップS142)。
その後、
図5の処理を終了する。
なお、制御部120が、ループL111の処理、または、ループL112の処理、あるいは両方の処理を並列処理(例えば並行処理)するようにしてもよい。
【0047】
以上のように、周波数スペクトル取得部122は、脳波測定部121が測定した脳波の周波数スペクトルを取得する。そして、最大値取得部123は、視覚刺激の点滅周波数として設定されている複数の所定周波数の各々について、当該所定周波数を含む第1の所定周波数範囲(本実施形態では、所定周波数を中心にプラスマイナス0.1Hzの範囲)における脳波の周波数スペクトルの強度の最大値を取得する。また、中央値取得部124は、視覚刺激の点滅周波数として設定されている複数の所定周波数の各々について、当該所定周波数を含む第2の所定周波数範囲(本実施形態では、所定周波数を中心にプラスマイナス0.3Hzの範囲)における脳波の周波数スペクトルの強度の中央値を取得する。そして、最大値取得部123は、視覚刺激の点滅周波数として設定されている複数の所定周波数のうち、最大値と中央値との差の大きさが最大の周波数を検出する。
【0048】
これにより、周波数検出装置1は、学習を必要とせずに、SSVEPを用いたBCIの出力として、対象者が注視している視覚刺激の点滅周波数を示す信号の出力を行うことができる。
特に、中央値取得部124が中央値を取得することで、最大値取得部123が取得する最大値との差が出易くなり、スペクトル法周波数検出部125がピークの最も大きい周波数を選択する精度の低下を抑制し得る。これにより、周波数検出装置1は、対象者が注視している視覚刺激の点滅周波数を精度よく検出することができる。
このように、周波数検出装置1は、学習を必要とせずに、SSVEPを用いたBCIの出力をより精度よく得ることができる。
【0049】
また、脳波測定部121は、第一次視覚野から発せられる脳波を異なる位置にて検出する複数の電極900からの信号に基づいて、複数の位置における脳波を測定する。
これにより、周波数検出装置1は、いずれかの電極においてノイズが混入するなど脳波の検出精度が低下した場合でも、周波数の検出精度の低下を抑制することができる。
【0050】
なお、本願発明者は、本実施形態における周波数検出方法の有効性を実験にて確認した。以下、当該実験について説明する。
視覚に関して日常生活に不便を感じていない32名(男性27名、女性5名、平均年齢21.09歳)が被験者(上記の「対象者」に相当する)となった。被験者のうち5名(男性4名、女性1名)は、BCIを以前に体験したことがあったが、他の27名は過去に脳波の計測を受けたことがなかった。被験者は、実験の目的について事前に実験者から説明を受け、書面によるインフォームドコンセントを得て実験に参加した。
【0051】
脳波計測にはg.Tec社製の脳波計測システム(g.BCIsys32USB)を用いた。脳波国際10−10法配置におけるO
1、O
2、O
zの位置に電極を装着し、F
zの位置にグラウンド電極、右耳朶にリファレンス電極を装着した。サンプリング周波数は256Hzとし、バンドパスフィルタ(Band Pass Filter)は0.1Hz〜30Hzに設定した。ノッチフィルタ(Notch Filter)は50Hzとした。また、視覚刺激として、マイコン(mbed、ARM)と白色LED(発光ダイオード)による回路をブレッドボード上に構成し、設定周波数で点滅可能とした。オン/オフの時間割合(デューティー比)は50パーセント(%)とした。
【0052】
図6は、有効性の検証実験におけるLEDの発光パターンを示す説明図である。同図に示すように、被験者は、6Hz、7Hzおよび8Hzで点滅するLEDを35秒間、2セットずつ注視する。また、同図に示すように、それぞれの施行毎に30秒間のレスト(閉眼にて休憩)をとり、目の疲労を軽減させる。
実験室内は照明を消した薄暗い状態にあり、被験者は、LEDから50センチメートル(cm)程度離れて当該LEDを注視した。また、外界からの音刺激による影響を除外するために、被験者は耳栓を着用した。
同じ実験を2日間行い、各被験者について充分な脳波データのサンプルを取得した。
【0053】
本願発明者は、MathWorks社の数値解析ソフトウェアMATLAB(登録商標)を用いて、識別率(正しい周波数の検出率)の算出を行った。脳波計のゲイン調整の時間帯を含む計測開始後5秒間のデータは、識別率算出の対象外とした。従って、被験者1人につき、点滅周波数毎に、5秒から35秒までの30秒間×2セット×2日分の合計120秒分のデータを用いて識別率の算出を行った。
【0054】
本願発明者は、上述した、O
1、O
2、O
zの各電極にて検出される脳波の周波数スペクトルを求め、周波数スペクトル強度の最大値と中間値との差が最大となる周波数を検出して多数決を行う方法の識別率を算出した。
加えて、比較のための従来手法として、O
zの電極にて検出される脳波にLDA(Linear Discriminant Analysis、線形判別分析)を適用して、視覚刺激の点滅周波数を検出する方法(以下、「LDA法」と称する)の識別率を算出した。LDAとは、2つのグループに分けられた学習データを用いて予め識別面を求めておき、新たに入力されるデータ(判別対象のデータ)がどちらのグループに属するかを、識別面を用いて判別する方法である。
【0055】
図7は、LDAにおける識別面の例を示す説明図である。同図の横軸、縦軸は、それぞれ、指標値A、指標値Bを示し、指標値Aと指標値Bとの組の学習データがプロットされている。また、各学習データが2つのグループのいずれに属するかは既知である。
識別面は、それぞれのグループの重心を結ぶ直線が垂直二等分される直線(特徴ベクトルが3次元以上の場合は超平面)となる。
図7の例では、点P1001、P1002が、それぞれ、グループ1、グループ2の重心を示し、線L1001が識別面を示す。
なお、以下ではグラフを用いてLDAを行う場合を例に説明するが、グラフの描画を行わずに演算処理にてLDAを行うことも可能である。
【0056】
LDA法では、点滅周波数の検出を行う場合、6Hzを中心にプラスマイナス0.1Hz、7Hzを中心にプラスマイナス0.1Hz、8Hzを中心にプラスマイナス0.1Hzの各々について、周波数スペクトルの最大値を取得する。そして、得られた最大値をそれぞれの周波数帯のパワー値として、3つのパワー値のうち2つずつの各組み合わせを特徴ベクトルとし、被験者が2つの周波数のうちどちらを注視していたかを、識別面に基づいて判別する。
LDAでは2クラス判別(二者択一)方式の判別しか行うことができないので、2つの周波数の組み合わせ3通りの各々について判別を行い、判別結果の多数決を行って、最も多く選択された周波数を検出結果とする。
【0057】
図8は、6Hzのパワー値と7Hzのパワー値との組み合わせに対するLDAの例を示す説明図である。同図の横軸は6Hzのパワー値を示し、縦軸は7Hzのパワー値を示す。線L1011は識別面を示す。
判別対象の点P1011は、識別面(線L1011)で区切られた領域のうち6Hz側に位置しており、LDAにより6Hzと判定される。
【0058】
図9は、7Hzのパワー値と8Hzのパワー値との組み合わせに対するLDAの例を示す説明図である。同図の横軸は7Hzのパワー値を示し、縦軸は8Hzのパワー値を示す。線L1021は識別面を示す。
判別対象の点P1021は、識別面(線L1021)で区切られた領域のうち8Hz側に位置しており、LDAにより8Hzと判定される。
【0059】
図10は、6Hzのパワー値と8Hzのパワー値との組み合わせに対するLDAの例を示す説明図である。同図の横軸は6Hzのパワー値を示し、縦軸は8Hzのパワー値を示す。線L1031は識別面を示す。
判別対象の点P1031は、識別面(線L1031)で区切られた領域のうち6Hz側に位置しており、LDAにより6Hzと判定される。
図8〜
図10に示される3つの判定結果の多数決により、6Hzとの検出結果が得られる。
【0060】
図11は、LDA法において学習により識別面を取得する処理手順を示すフローチャートである。同図の処理において、まず、O
zの位置の電極にて脳波を測定する(ステップS1101)。学習に際しては、視覚刺激の点滅周波数は既知である。
次に、ステップS1101で得られた脳波をフーリエ変換して周波数スペクトルを取得する(ステップS1102)。
【0061】
そして、視覚刺激の点滅周波数として設定されている各所定周波数のピーク強度を検出する(ステップS1103)。具体的には、6Hzを中心にプラスマイナス0.1Hz、7Hzを中心にプラスマイナス0.1Hz、8Hzを中心にプラスマイナス0.1Hzの各々について、周波数スペクトルの最大値を取得する。
次に、
図8〜
図10の例に示される各グラフのように、2つの所定周波数の組み合わせの各グラフに、ステップS1103で得られたピーク強度をプロットする(ステップS1104)。
【0062】
次に、適切な数のデータを得られたか否かを判定する(ステップS1105)。データの数は、少なくとも6個以上であることが望ましい。なお、本願発明者は、より正確を期するため、その10倍程度(60個程度)のデータを用いて実験を行った。
ステップS1105において、適切な数のデータを得られていないと判定した場合(ステップS1105:NO)、ステップS1101へ戻る。
一方、適切な数のデータを得られたと判定した場合(ステップS1105:YES)、各グラフについて、各グループの重心を算出する(ステップS1111)。そして、グラフ毎に識別面を算出する(ステップS1112)。
その後、
図11の処理を終了する。
【0063】
図12は、LDA法において点滅周波数を判定する処理手順を示すフローチャートである。同図の処理において、まず、O
zの位置の電極にて脳波を測定する(ステップS1201)。そして、ステップS1201で得られた脳波をフーリエ変換して周波数スペクトルを取得する(ステップS1202)。
【0064】
次に、視覚刺激の点滅周波数として設定されている各所定周波数のピーク強度を検出する(ステップS1203)。具体的には、6Hzを中心にプラスマイナス0.1Hz、7Hzを中心にプラスマイナス0.1Hz、8Hzを中心にプラスマイナス0.1Hzの各々について、周波数スペクトルの最大値を取得する。
そして、
図8〜
図10の例に示される各グラフのように、2つの所定周波数の組み合わせの各グラフに、ステップS1203で得られたピーク強度をプロットする(ステップS1204)。
【0065】
次に、
図8〜
図10の例のように、各グラフにおいて、判定対象のデータがどちらのグループに含まれるかを識別面に基づいて判定する(ステップS1205)。
そして、グラフ毎の判定結果の多数決を行って、最も多い判定結果を、視覚刺激の点滅周波数の検出結果とする(ステップS1206)。
その後、
図12の処理を終了する。
【0066】
識別率を求める際、何秒で正しい識別が行われるかを調べるために、データを3秒毎に分割して識別率の平均を求めた。同様に、4秒、5秒についてもデータの分割および識別率の平均の算出を行った。
また、LDAによる識別性能を調べるため、4−foldの交差確認を用いた。n−fold(nは正整数)では、データをn分割し、そのうちの1つを識別用データとして使用し、残りを学習用のデータとして使用して正答率を求める。当該手順にて、n分割したデータの各々を識別用データとしたときの正答率を順番に求め、これらを平均することで、識別率を算出する。
今回の実験で用いた4−fold交差確認では、データを4分割して識別率の算出を行った。
【0067】
図13は、4−fold交差確認における識別用データおよび学習用データの選択例を示す説明図である。
同図に示すように、4−fold交差確認では、4分割したデータの1つを順番に識別用データとし、他のデータを学習用データとして、それぞれ識別率を算出する。そして、得られた識別率の平均を算出して推定精度(本実験では、視覚刺激の点滅周波数の検出精度)とする。
【0068】
また、本願発明者は、The MathWorks社の数値解析ソフトウェアMATLAB(登録商標)および日本IBM社の統計解析ソフトウェアSPSS(登録商標)を用いて、O
1、O
2、O
zの各電極にて検出される脳波の周波数スペクトルを求め、周波数スペクトル強度の最大値と中間値との差が最大となる周波数を検出して多数決を行う方法と、LDA法との間における有意差の有無の検定を行った。検定における危険率は5パーセントとし、これ以下の場合は帰無仮説を棄却して2つの群間に統計的な有意差があるとした。
【0069】
まず、Shapilo−Wilk検定によりスペクトル強度データの分布が正規分布に従っているか否かを調べ、正規分布に従っている場合(共にp≧0.05)、2群の比較には対応のあるt検定を用いた。一方、正規分布に従っていない場合(少なくとも1つがp<0.05)、Wilcoxonの符号付順位検定を用いた。
【0070】
図14は、第1の実施形態についての実験結果を示す説明図である。同図において、視覚刺激の点滅周波数6Hz、7Hz、8Hz、これらの実験結果の平均の各々について、識別率の平均値と、危険率pの値とが示されている。「スペクトル法」の欄は、O
1、O
2、O
zの各電極にて検出される脳波の周波数スペクトルを求め、周波数スペクトル強度の最大値と中間値との差が最大となる周波数を検出して多数決を行う方法による識別率の平均値を示している。「LDA」の欄は、LDA法による識別率を示している。同図は、データを3秒毎に分割した場合、4秒毎に分割した場合、5秒毎に分割した場合の各々について実験結果を示している。
【0071】
図14の示す実験結果において、多くのケースで危険率が5パーセント以下となっている。これにより、O
1、O
2、O
zの各電極にて検出される脳波の周波数スペクトルを求め、周波数スペクトル強度の最大値と中間値との差が最大となる周波数を検出して多数決を行う方法の優位性が示されている。
特に、データを4秒毎に分割した場合、および、5秒毎に分割した場合、視覚刺激の点滅周波数6Hz、7Hz、8Hzの全てについて危険率が5パーセント以下(0パーセント)となっており、強い優位性が示されている。
【0072】
また、上述したように、被験者の多くは脳波の測定を初めて経験している。この点において、O
1、O
2、O
zの各電極にて検出される脳波の周波数スペクトルを求め、周波数スペクトル強度の最大値と中間値との差が最大となる周波数を検出して多数決を行う方法は、事前の訓練を必要とせず、すぐに適用可能であるといえる。
【0073】
なお、最大値取得部123が最大値を取得する範囲(第1の所定周波数範囲)の幅は、上述したプラスマイナス0.1Hzに限らない。また、中央値取得部124が中央値を取得する範囲(第2の所定周波数範囲)の幅は、上述したプラスマイナス0.3Hzに限らない。
例えば、最大値取得部123が最大値を取得する範囲(第1の所定周波数範囲)の幅は、プラスマイナス0.5Hzの範囲であってもよく、中央値取得部124が中央値を取得する範囲(第2の所定周波数範囲)の幅は、プラスマイナス3Hzの範囲であってもよい。特に、第1の所定周波数範囲の幅と第2の所定周波数範囲の幅との組み合わせについて、上述したプラスマイナス0.1Hzとプラスマイナス0.3Hzとの組み合わせが好適である。
【0074】
<第2の実施形態>
図15は、本発明の第2の実施形態における周波数検出装置の機能構成を示す概略ブロック図である。同図において、周波数検出装置2は、周波数検出装置本体200と、電極900とを具備する。周波数検出装置本体200は、信号入力部110と、制御部220と、記憶部150と、結果出力部160とを具備する。制御部220は、脳波測定部121と、周期データ切出部227と、加算平均算出部228と、加算法周波数検出部229とを具備する。
図15において
図1の各部に対応して同様の機能を有する部分には同一の符号(110、121、150、160、900)を付して説明を省略する。
【0075】
周波数検出装置2は、脳波から、視覚刺激の点滅周波数に対応する周期として設定されている所定周期毎の時間窓で切り出したデータを足し合わせたデータに基づいて、視覚刺激の点滅周波数を検出する。ここでいう周波数に対応する周期は、具体的には、周波数の逆数としての周期である。
周波数検出装置1(
図1)の場合と同様、周波数検出装置2は、BCIとして機能することができる。
周波数検出装置2は、脳波の周波数検出装置の一例に該当する。
【0076】
周波数検出装置本体200は、電極900が検出した脳波から、視覚刺激の点滅周波数に対応する周期として設定されている所定周期毎の時間窓でデータを切り出し、切り出したデータを足し合わせたデータに基づいて、視覚刺激の点滅周波数を検出する。周波数検出装置本体200は、例えば、PC(Personal Computer、パソコン)などのコンピュータを用いて実現される。
なお、以下では、視覚刺激の点滅周波数に対応する周期に応じた時間窓で脳波データから切り出したデータを足し合わせたデータに基づいて視覚刺激の点滅周波数を検出する方法を「加算法」と称する。
【0077】
制御部220は、周波数検出装置2の各部を制御して各種機能を実行する。特に、制御部220は、信号入力部110が取得した脳波を解析して、対象者が注視している視覚刺激の点滅周波数を検出する。
制御部220は、例えば、周波数検出装置本体200の具備するCPU(Central Processing Unit、中央処理装置)が、周波数検出装置本体200の具備する記憶デバイスからプログラムを読み出して実行することで実現される。
【0078】
周期データ切出部227は、視覚刺激の点滅周波数に対応する周期として設定されている複数の所定周期の各々について、脳波測定部121が測定した脳波から、当該所定周期の各時刻を開始時刻とする周期データを切り出す。すなわち、周期データ切出部227は、脳波測定部121が測定した脳波から、視覚刺激の点滅周波数に対応する周期として設定されている所定周期毎の時間窓でデータを切り出す。
【0079】
加算平均算出部228は、周期データ切出部227が切り出した周期データを、視覚刺激の点滅周波数に対応する周期として設定されている所定周期毎に足し合わせる。これにより、加算平均算出部228は、脳波から切り出されたデータを周期的に重ね合わせる。
具体的には、加算平均算出部228は、視覚刺激の点滅周波数に対応する周期として設定されている所定周期毎に、周期データ切出部227が切り出した周期データの加算平均を算出する。
【0080】
加算平均は、従来より知られている手法だが、SSVEPに対して加算平均を用いることは一般的ではない。特に、定常誘発反応に対しては、ある周波数で定常的に脳波が動いているという捉え方が一般的であり、定常誘発反応のデータを切り取って加算するといった処理は、無用に処理を煩雑にすると考えられ、通常は行われない。
【0081】
また、一般的に加算平均処理を行うような脳波の測定法では、脳波が変化するような刺激(トリガー)を与え、実際に脳波に変化が現れるまでの反応潜時ならびに各潜時での振幅値の変化を測定するため、刺激を与えたタイミングを入力するチャンネルが必要である。これに対して、本願発明における加算平均では、振幅の強度情報のみを利用できればよいので反応潜時を考慮する必要がなく、トリガーを入力するチャンネルも不要である。
【0082】
さらに、一般的に加算平均処理を行うような脳波の測定法では、ベースライン処理を行わなければ好ましい波形を得ることが困難である。これに対して、本願発明における加算平均の場合、振幅強度の最大値と最小値の差を用いるので、ベースライン処理を行わなくても本願発明の効果を奏することが可能である。
なお、加算平均算出部228が、脳波から切り出されたデータを周期的に重ね合わせる処理は、周期データを足し合わせる処理であればよく、加算平均に限らない。例えば、加算平均算出部228が、周期データの加算のみを行って平均を行わないようにしてもよい。
【0083】
図16は、加算平均算出部228が算出する、6Hzに対応する時間窓(6分の1秒周期で設けられた時間窓)で周期データ切出部227が切り出したデータの加算平均の例を示す説明図である。同図の横軸は、時間窓における時間(時間窓開始時刻からの時間)を示す。縦軸は、脳波の振幅(電極900による検出電位)を示す。
線L31は、対象者が点滅周波数6Hzの視覚刺激を注視している場合に、加算平均算出部228が行う加算平均にて得られるデータの例を示している。
【0084】
図17は、加算平均算出部228が算出する、周期データ切出部227が7Hzに対応する時間窓で切り出したデータの加算平均の例を示す説明図である。同図の横軸は、時間窓における時間を示す。縦軸は、脳波の振幅(電極900による検出電位)を示す。
線L41は、対象者が点滅周波数6Hzの視覚刺激を注視している場合に、加算平均算出部228が行う加算平均にて得られるデータの例を示している。
【0085】
図18は、加算平均算出部228が算出する、周期データ切出部227が8Hzに対応する時間窓で切り出したデータの加算平均の例を示す説明図である。同図の横軸は、時間窓における時間を示す。縦軸は、脳波の振幅(電極900による検出電位)を示す。
線L51は、対象者が点滅周波数6Hzの視覚刺激を注視している場合に、加算平均算出部228が行う加算平均にて得られるデータの例を示している。
【0086】
図16〜
図18を参照すると、視覚刺激の点滅周波数に対応する周期と時間窓の設けられる周期とが一致している
図16の例では、脳波の振幅の変化が大きい。これに対し、視覚刺激の点滅周波数に対応する周期と時間窓の設けられる周期とが一致していない
図17の例や
図18の例では、脳波の振幅の変化が小さい。
【0087】
ここで、VEP(視覚誘発電位)の主な成分として、視覚刺激を受けてからおよそ75ミリ秒後、100ミリ秒後、145ミリ秒後に現れる電位変化の成分が知られており、それぞれ、N75成分、P100成分、N145成分と呼ばれている。視覚刺激が周期的に点滅する場合、その周期に対応してこれらの視覚誘発電位も周期的に現れる。
【0088】
従って、視覚刺激の点滅周波数に対応する周期に合わせた周期で脳波データを切り出して加算平均を行った場合、得られる波形に明瞭な視覚誘発電位が現れる。これに対し、視覚刺激の点滅周波数に対応する周期と異なる周期で脳波データを切り出して加算平均を行った場合、切り出したデータ毎に視覚誘発電位の出現位置が異なるので、加算平均にて得られる波形には、明瞭な視覚誘発電位は現れない。
【0089】
加算法周波数検出部229は、加算平均算出部228が生成する、視覚刺激の点滅周波数に対応する周期として設定されている所定周期のうち、当該所定周期毎に周期データを足し合わせたデータの正負ピーク強度の差が最大となる周期に対応する周波数を検出する。具体的には、加算法周波数検出部229は、加算平均算出部228が所定周期毎に生成するデータのうち、最大値と最小値との差が最大のデータを選択し、当該データに対応する所定周波数を検出周波数として取得する。
【0090】
上述したように、視覚刺激の点滅周波数に対応する周期に合わせた周期で脳波データを切り出して加算平均を行った場合、得られる波形に明瞭な視覚誘発電位が現れる。これにより、視覚刺激の点滅周波数に対応する周期に合わせた周期で脳波データを切り出して加算平均を行ったデータでは、最大値と最小値との差が大きくなる。
これに対し、視覚刺激の点滅周波数に対応する周期と異なる周期で脳波データを切り出して加算平均を行った場合、加算平均にて得られる波形には、明瞭な視覚誘発電位は現れない。これにより、視覚刺激の点滅周波数に対応する周期と異なる周期で脳波データを切り出して加算平均を行ったデータでは、最大値と最小値との差が小さくなる。
【0091】
そこで、加算法周波数検出部229が、最大値と最小値との差が最大のデータを選択することで、視覚刺激の点滅周波数に対応する周期に合わせた周期で脳波データを切り出して得られたデータ(従って、視覚刺激の点滅周波数に対応する周期に対応付けられるデータ)を選択することができる。これにより、加算法周波数検出部229は、視覚刺激の点滅周波数を検出することができる。
【0092】
次に、
図19を参照して、周波数検出装置2の動作について説明する。
図19は、周波数検出装置2が、対象者の注視している視覚刺激の点滅周波数を検出する処理手順の例を示すフローチャートである。
同図のステップS201、S211、S221は、それぞれ、
図5のステップS101、S111、S121と同様である。
【0093】
ループL122において、周期データ切出部227は、脳波測定部121が測定した脳波から、視覚刺激の点滅周波数に対応する周期として設定されている所定周期毎の時間窓でデータを切り出す(ステップS222)。
そして、加算平均算出部228は、視覚刺激の点滅周波数に対応する周期として設定されている所定周期毎に、ステップS222で周期データ切出部227が切り出した周期データの加算平均を算出する(ステップS223)。
【0094】
次に、加算法周波数検出部229は、ステップS223で得られた各データについて最大値を検出する(ステップS224)。
また、加算法周波数検出部229は、ステップS223で得られた各データについて最小値を検出する(ステップS225)。
さらに、加算法周波数検出部229は、ステップS223で得られた各データについて、ステップS224で得られた最大値と、ステップS225で得られた最小値との差を算出する(ステップS226)。
【0095】
ステップS227は、
図5のステップS125と同様である。
ループL122を終了すると、加算法周波数検出部229は、ステップS226で得られた差が最大の周波数を選択する(ステップS231)。
ステップS232は、
図5のステップS132と同様である。
【0096】
ループL121を終了すると、加算法周波数検出部229は、O
1、O
2、O
zの各電極が検出した脳波に基づいてステップS231で得られた周波数の多数決を行う(ステップS241)。
そして、結果出力部160は、ステップS241で得られた周波数を示す信号を、周波数検出装置2の検出結果として出力する(ステップS242)。
その後、
図19の処理を終了する。
なお、制御部220が、ループL121の処理、または、ループL122の処理、あるいは両方の処理を並列処理(例えば並行処理)するようにしてもよい。
【0097】
以上のように、周期データ切出部227は、視覚刺激の点滅周波数に対応する周期として設定されている複数の所定周期の各々について、脳波測定部121が取得した脳波から、当該所定周期の各時刻を開始時刻とする周期データを切り出す。そして、加算法周波数検出部229は、視覚刺激の点滅周波数に対応する周期として設定されている所定周期のうち、当該所定周期毎に周期データを足し合わせたデータの正負ピーク強度の差が最大となる周期に対応する周波数を検出する。
【0098】
これにより、周波数検出装置2は、学習を必要とせずに、SSVEPを用いたBCIの出力として、対象者が注視している視覚刺激の点滅周波数を示す信号の出力を行うことができる。
また、加算平均算出部228が周期データの足し合わせ(本実施形態では加算平均)を行うことで、脳波データにノイズが含まれる場合でも、ノイズの影響を低減させることができる。
このように、周波数検出装置2は、学習を必要とせずに、SSVEPを用いたBCIの出力をより精度よく得ることができる。
【0099】
なお、本願発明者は、本実施形態における周波数検出方法の有効性を実験にて確認した。具体的には、本願発明者は、上述した、O
1、O
2、O
zの各電極にて検出される脳波から、視覚刺激の点滅周波数に対応する周期として設定されている所定周期毎の時間窓で切り出したデータの加算平均における最大値と最小値の差が最大の周波数を検出して多数決を行う方法の識別率を算出した。
第1の実施形態で説明した実験で取得した脳波データを使用し、また、第1の実施形態で説明した実験と同様、LDA法との比較を行った。
【0100】
図20は、第2の実施形態についての実験結果を示す説明図である。同図において、視覚刺激の点滅周波数6Hz、7Hz、8Hz、これらの実験結果の平均の各々について、識別率の平均値と、危険率pの値とが示されている。「加算法」の欄は、O
1、O
2、O
zの各電極にて検出される脳波から、視覚刺激の点滅周波数に対応する周期として設定されている所定周期毎の時間窓で切り出したデータの加算平均における最大値と最小値の差が最大の周波数を検出して多数決を行う方法による識別率の平均値を示している。「LDA」の欄は、LDA法による識別率を示している。同図は、データを3秒毎に分割した場合、4秒毎に分割した場合、5秒毎に分割した場合の各々について実験結果を示している。
【0101】
図20の示す実験結果において、多くのケースで危険率が5パーセント以下となっている。これにより、O
1、O
2、O
zの各電極にて検出される脳波から、視覚刺激の点滅周波数に対応する周期として設定されている所定周期毎の時間窓で切り出したデータの加算平均における最大値と最小値の差が最大の周波数を検出して多数決を行う方法の優位性が示されている。
特に、データを5秒毎に分割した場合、視覚刺激の点滅周波数6Hz、7Hz、8Hzの全てについて危険率が5パーセント以下(0パーセント)となっており、強い優位性が示されている。
また、第1の実施形態について説明したのと同様、O
1、O
2、O
zの各電極にて検出される脳波から、視覚刺激の点滅周波数に対応する周期として設定されている所定周期毎の時間窓で切り出したデータの加算平均における最大値と最小値の差が最大の周波数を検出して多数決を行う方法は、事前の訓練を必要とせず、すぐに適用可能であるといえる。
【0102】
なお、周期データ切出部227が脳波からのデータの切出に設定する時間窓の開始タイミングと、視覚刺激の点灯開始タイミングまたは点灯終了タイミングとが一致する必要はない。従って、視覚刺激と周波数検出装置2との同期をとる必要はない。
一方、周期データ切出部227が脳波からのデータの切出に設定する時間窓の開始タイミングと、視覚刺激の点灯開始タイミングまたは点灯終了タイミングとが一致している場合、N75やP100やN145など、視覚刺激の点灯開始等のタイミングとの関係が既知の視覚誘発電位の確認が容易になる。
【0103】
<第3の実施形態>
図21は、本発明の第3の実施形態における周波数検出装置の機能構成を示す概略ブロック図である。同図において、周波数検出装置3は、周波数検出装置本体300と、電極900とを具備する。周波数検出装置本体300は、信号入力部110と、制御部320と、記憶部150と、結果出力部160とを具備する。制御部320は、脳波測定部121と、周波数スペクトル取得部122と、最大値取得部123と、中央値取得部124と、スペクトル法周波数検出部125と、条件判定部326と、周期データ切出部227と、加算平均算出部228と、加算法周波数検出部229とを具備する。
図21において
図1または
図15の各部に対応して同様の機能を有する部分には同一の符号(110、121〜125、150、160、227〜229、900)を付して説明を省略する。
【0104】
周波数検出装置3は、第1の実施形態で説明したスペクトル法と第2の実施形態で説明した加算法の組み合わせにて、視覚刺激の点滅周波数を検出する。周波数検出装置1(
図1)の場合と同様、周波数検出装置3は、BCIとして機能することができる。
周波数検出装置本体300は、電極900が検出した脳波に基づいて、スペクトル法と加算法との組み合わせにて、視覚刺激の点滅周波数を検出する。周波数検出装置本体300は、例えば、PC(Personal Computer、パソコン)などのコンピュータを用いて実現される。
周波数検出装置3は、脳波の周波数検出装置の一例に該当する。
【0105】
制御部320は、周波数検出装置3の各部を制御して各種機能を実行する。特に、制御部320は、信号入力部110が取得した脳波に基づいて、スペクトル法と加算法との組み合わせにて、視覚刺激の点滅周波数を検出する。
制御部320は、例えば、周波数検出装置本体300の具備するCPU(Central Processing Unit、中央処理装置)が、周波数検出装置本体300の具備する記憶デバイスからプログラムを読み出して実行することで実現される。
【0106】
条件判定部326は、スペクトル法周波数検出部125が検出した周波数が所定の条件を満たすか否かを判定する。具体的には、条件判定部326は、スペクトル法周波数検出部125が算出した差が、当該差が最大となる周波数において他の周波数における差の3倍以上あり、かつ、全ての電極で同様の判定結果となるか否かを判定する。このように、条件判定部326は、脳波の周波数スペクトルにおけるピークの大きさを評価する。
【0107】
スペクトル法周波数検出部125が検出した周波数が所定の条件を満たすと判定した場合、条件判定部326は、スペクトル法周波数検出部125が検出した周波数を示すデータを結果出力部160へ出力する。そして、結果出力部160は、当該データを、周波数検出装置本体300の検出結果として周波数検出装置本体300の外部へ出力(送信)する。
一方、スペクトル法周波数検出部125が検出した周波数が所定の条件を満たさないと判定した場合、条件判定部326は、周期データ切出部227、加算平均算出部228および加算法周波数検出部229に、第2の実施形態にて説明した処理を行わせる。この場合、加算法周波数検出部229は、検出した周波数を示すデータを結果出力部160へ出力する。そして、結果出力部160は、当該データを、周波数検出装置本体300の検出結果として出力する。
【0108】
次に、
図22を参照して、周波数検出装置3の動作について説明する。
図22は、周波数検出装置3が、対象者の注視している視覚刺激の点滅周波数を検出する処理手順の例を示すフローチャートである。
同図のステップS301は、
図5のステップS101と同様である。
ステップS302において、制御部320(周波数スペクトル取得部122、最大値取得部123、中央値取得部124およびスペクトル法周波数検出部125)は、
図5のステップS111〜S141と同様の処理を行う。
【0109】
ステップS302の後、条件判定部326は、上述した所定の条件を満たすか否かの判定を行う(ステップS303)。条件を満たすと判定した場合(ステップS303:YES)、条件判定部326は、スペクトル法周波数検出部125の検出した周波数を示す信号を結果出力部160へ出力し、結果出力部160は、当該信号を周波数検出装置本体300の検出結果として出力する(ステップS311)。
その後、
図22の処理を終了する。
【0110】
一方、ステップS303において条件を満たさないと判定した場合(ステップS303:NO)、制御部320(周期データ切出部227、加算平均算出部228および加算法周波数検出部229)は、
図19のステップS211〜S241と同様の処理を行う(ステップS321)。
そして、加算法周波数検出部229は、検出した周波数を示す信号を結果出力部160へ出力し、結果出力部160は、当該信号を周波数検出装置本体300の検出結果として出力する(ステップS322)。
その後、
図22の処理を終了する。
【0111】
以上のように、条件判定部326は、スペクトル法周波数検出部125が検出した周波数が所定の条件を満たすか否かを判定する。スペクトル法周波数検出部125が検出した周波数が所定の条件を満たさないと条件判定部326が判定した場合、周期データ切出部227は、視覚刺激の点滅周波数に対応する周期として設定されている複数の所定周期の各々について、脳波から、当該所定周期の各時刻を開始時刻とする周期データを切り出す。そして、加算法周波数検出部229は、視覚刺激の点滅周波数に対応する周期として設定されている所定周期毎に周期データを足し合わせたデータに基づいて、脳波のピークの周波数を検出する。
【0112】
このように、条件判定部326が、スペクトル法周波数検出部125が検出した周波数に対する条件判定を行うことで、周波数検出装置3は、スペクトル法と加算法とを切り替えて用いて、対象者が注視している視覚刺激の点滅周波数を精度よく検出することができる。
また、上述したように、スペクトル法と加算法とのいずれも学習を必要としない。
このように、周波数検出装置3は、学習を必要とせずに、SSVEPを用いたBCIの出力をより精度よく得ることができる。
【0113】
特に、周波数検出装置3は、スペクトル周波数においてピークがはっきりと示されている場合、スペクトル法を用いて、より正確に視覚刺激の点滅周波数を検出することができる。一方、脳波検出信号へのノイズの混入や個人差などで、スペクトル周波数においてピークがはっきりと示されていない場合、周波数検出装置3は、ノイズに強い加算法を用いて、より正確に視覚刺激の点滅周波数を検出することができる。
【0114】
なお、本願発明者は、本実施形態における周波数検出方法の有効性を実験にて確認した。具体的には、本願発明者は、上述した、スペクトル法と加算法とを組み合わせた方法の識別率を算出した。
第1の実施形態で説明した実験で取得した脳波データを使用し、また、第1の実施形態で説明した実験と同様、LDA法との比較を行った。
【0115】
図23は、第3の実施形態についての実験結果を示す説明図である。同図において、視覚刺激の点滅周波数6Hz、7Hz、8Hz、これらの実験結果の平均の各々について、識別率の平均値と、危険率pの値とが示されている。「組み合わせ」の欄は、スペクトル法と加算法とを組み合わせた方法による識別率の平均値を示している。「LDA」の欄は、LDA法による識別率を示している。同図は、データを3秒毎に分割した場合、4秒毎に分割した場合、5秒毎に分割した場合の各々について実験結果を示している。
【0116】
図23の示す実験結果において、多くのケースで危険率が5パーセント以下となっている。これにより、スペクトル法と加算法とを組み合わせた方法の優位性が示されている。
特に、データを5秒毎に分割した場合、視覚刺激の点滅周波数6Hz、7Hz、8Hzの全てについて危険率が5パーセント以下となっており、強い優位性が示されている。
【0117】
また、第3の実施形態において、スペクトル法の結果が出力された割合(
図21のS303がYESの割合)よりも、加算法の結果が出力された割合(
図21のS303がNoの割合)の方が多く、上述した所定の条件では、加算法による方法の優位性が高いことが確認された。一方、ノイズ等の影響によって加算法では識別率が低い場合であっても、スペクトル法で良好な識別率が得られた場合もあり、スペクトル法と加算法を組み合わせた方法は、双方に補完可能であるため、より精度よく周波数を検出することが可能である。
また、第1の実施形態について説明したのと同様、スペクトル法と加算法とを組み合わせた方法は、事前の訓練を必要とせず、すぐに適用可能であるといえる。
【0118】
なお、制御部120、220および320の全部または一部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各部の処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。
また、「コンピュータシステム」は、WWWシステムを利用している場合であれば、ホームページ提供環境(あるいは表示環境)も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。
【0119】
以上、本発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計変更等も含まれる。